CN116363374A

CN116363374A - 图像语义分割网络持续学习方法、系统、设备及存储介质

Info

Publication number: CN116363374A
Application number: CN202310648233.1A
Authority: CN
Inventors: 王子磊; 林子涵
Original assignee: University of Science and Technology of China USTC
Current assignee: University of Science and Technology of China USTC
Priority date: 2023-06-02
Filing date: 2023-06-02
Publication date: 2023-06-30
Anticipated expiration: 2043-06-02
Also published as: CN116363374B

Abstract

本发明公开了一种图像语义分割网络持续学习方法、系统、设备及存储介质，通过在特征空间中使用对比学习对新增类别的类别知识进行挖掘，显著降低语义分割网络在后续学习阶段特征空间的优化难度，进而提升其对新类别的学习性能。而且，在输出空间中训练一辅助分类器可降低网络模型的优化难度并提升新类别的识别性能；此外，联合伪标签及伪标签降噪技术，使得在语义分割持续学习中无需提供旧类别的标签，降低标注成本。相较于现有方法，本发明无需对知识蒸馏损失进行特殊设计即可显著提升新类别性能，从而提供了一种泛用的、全新的解决方案。本发明作为一种通用性的语义分割持续学习方法，对应用场景均无限制，具有很强的泛化能力与实用价值。

Description

图像语义分割网络持续学习方法、系统、设备及存储介质

技术领域

本发明涉及图像语义分割技术领域，尤其涉及一种图像语义分割网络持续学习方法、系统、设备及存储介质。

背景技术

近年来，深度神经网络在语义分割任务上取得了巨大的成功。然而传统语义分割网络训练方法需要一次性获取全部的训练数据，且训练完成后难以更新。在实际应用中，常要求网络能从数据流中逐渐的学习、更新已学会的知识，从而有效降低数据存储代价与训练代价。但是深度神经网络直接在新数据上学习会导致已学习知识的严重遗忘。在持续学习技术中，通过对学习过程中施加额外的约束，以达到学习新知识的同时不会遗忘已学会的知识的目的。

持续学习的一般手段为使用知识蒸馏来保持新旧网络间知识的一致性。但是这种一致性约束会显著影响网络模型对新知识的学习能力，因此现有方法均关注于针对性设计知识蒸馏技术从而在旧知识保留和新知识学习中取得较好的平衡。具体到语义分割领域，随着学习的进行，可能需要学习过去曾经忽略的类别，从而导致对于一特定输入，其包含的语义信息并不是一成不变的，这要求语义分割网络有更强的新知识学习能力。但是现有学习方法在保证旧知识不遗忘的前提下，对于新知识的学习能力仍然不足，从而导致应用于语义分割任务中对于新增类别的学习效果较差，因此难以胜任这类任务。在授权公告号为CN113205142B的中国发明专利《一种基于增量学习的目标检测方法和装置》中，其仅使用简单的知识蒸馏技术完成旧知识的保留，并未考虑新知识的学习能力，因此难以在语义分割任务中有效的学习新增类别的知识。在公开号为CN111191709A的中国发明专利申请《深度神经网络的持续学习框架及持续学习方法》中，使用一生成网络生成旧类别的数据，并与新数据混合用以训练网络，但是其仅解决图像分类任务。此外，这种方式严重依赖生成器的生成质量，难以胜任大规模、复杂的数据，特别是图像语义分割任务。在公开号为CN111368874A的中国发明专利申请《一种基于单分类技术的图像类别增量学习方法》中，采用输出空间的知识蒸馏和偏好纠正两个手段以实现图像分类任务的持续学习。但是，其主要关注点仍旧在于旧知识保持，无法有效提升新知识的学习能力，从而无法在图像语义分割中直接应用。在授权公告号为CN114463605B的中国发明专利《基于深度学习的持续学习图像分类方法及装置》中，其对每个任务学习一组专用参数以避免遗忘。但是无论在训练和推理时都需要额外的任务标签以选择对应的专用参数，对标记信息的额外需求提升了其应用成本，限制了其应用范围。总体来说，以上现有方案在语义分割任务中对于新增类别的学习效果较差，进而导致总体的语义分割准确度不佳。

有鉴于此，特提出本发明。

发明内容

本发明的目的是提供一种图像语义分割网络持续学习方法、系统、设备及存储介质，解决现有持续学习方法应用于语义分割任务中对新知识学习能力不足的问题，进而填补语义分割持续学习任务相关技术上的空白，能够提升持续学习后的语义分割网络语义分割准确度。

本发明的目的是通过以下技术方案实现的：

一种图像语义分割网络持续学习方法，包括：

使用旧语义分割网络初始化一个完全相同的新语义分割网络，并获取训练图像与新增类别的标签，其中，训练图像中包含有未标记类别，所述未标记类别称为潜在类别；

对每一训练图像按照给定的先验知识分割为多组一致的分割区域；

通过新语义分割网络对训练图像中属于潜在类别的像素进行特征提取，根据特征所在的分割区域进行对比学习，计算出对比学习损失函数；

设置一辅助分类器，对新语义分割网络提取的特征进行分类，利用一组一致的分割区域生成的潜在类别伪标签，作为辅助分类器的监督信息，计算出辅助分类器的分类损失函数；

对旧语义分割网络与新语义分割网络在旧类别上的语义分割结果施加一致性约束，计算出一致性损失函数；

综合所述对比学习损失函数、辅助分类器的分类损失函数、新语义分割网络的分类损失函数与一致性损失函数对所述新语义分割网络进行训练。

一种图像语义分割网络持续学习系统，包括：

新语义分割网络初始化与数据获取模块，用于使用旧语义分割网络初始化一个完全相同的新语义分割网络，并获取训练图像与新增类别的标签，其中，训练图像中包含有未标记类别，所述未标记类别称为潜在类别；

图像预分割模块，用于对每一训练图像按照给定的先验知识分割为多组一致的分割区域；

特征空间对比学习模块，用于通过新语义分割网络对训练图像中属于潜在类别的像素进行特征提取，根据特征所在的分割区域进行对比学习，计算出对比学习损失函数；

辅助分类器模块，用于设置一辅助分类器，对新语义分割网络提取的特征进行分类，利用一组一致的分割区域生成的潜在类别伪标签，作为辅助分类器的监督信息，计算出辅助分类器的分类损失函数；

一致性约束模块，用于对旧语义分割网络与新语义分割网络在旧类别上的语义分割结果施加一致性约束，计算出一致性损失函数；

联合训练模块，用于综合所述对比学习损失函数、辅助分类器的分类损失函数、新语义分割网络的分类损失函数与一致性损失函数对所述新语义分割网络进行训练。

一种处理设备，包括：一个或多个处理器；存储器，用于存储一个或多个程序；

其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现前述的方法。

一种可读存储介质，存储有计算机程序，当计算机程序被处理器执行时实现前述的方法。

由上述本发明提供的技术方案可以看出，通过在特征空间中使用对比学习对潜在类别的类别知识进行挖掘，显著降低语义分割网络在后续学习阶段特征空间的优化难度，进而提升其对潜在类别（即未标记类别）的学习性能。而且，在输出空间中训练一辅助分类器可降低网络模型的优化难度并提升新类别的识别性能；此外，联合伪标签及伪标签降噪技术，使得在语义分割持续学习中无需提供旧类别的标签，降低标注成本。相较于现有方法，本发明无需对知识蒸馏损失进行特殊设计即可显著提升新类别性能，从而提供了一种泛用的、全新的解决方案。本发明作为一种通用性的语义分割持续学习方法，对应用场景均无限制，具有很强的泛化能力与实用价值。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。

图1为本发明实施例提供的一种图像语义分割网络持续学习方法的流程图；

图2为本发明实施例提供的一种图像语义分割网络持续学习方法的框架原理图；

图3为本发明实施例提供的图像预分割模块的示意图；

图4为本发明实施例提供的语义分割对比结果示意图；

图5为本发明实施例提供的一种图像语义分割网络持续学习系统的示意图；

图6为本发明实施例提供的一种处理设备的示意图。

具体实施方式

下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。

首先对本文中可能使用的术语进行如下说明：

术语“包括”、“包含”、“含有”、“具有”或其它类似语义的描述，应被解释为非排它性的包括。例如：包括某技术特征要素（如原料、组分、成分、载体、剂型、材料、尺寸、零件、部件、机构、装置、步骤、工序、方法、反应条件、加工条件、参数、算法、信号、数据、产品或制品等），应被解释为不仅包括明确列出的某技术特征要素，还可以包括未明确列出的本领域公知的其它技术特征要素。

下面对本发明所提供的一种图像语义分割网络持续学习方法、系统、设备及存储介质进行详细描述。本发明实施例中未作详细描述的内容属于本领域专业技术人员公知的现有技术。本发明实施例中未注明具体条件者，按照本领域常规条件或制造商建议的条件进行。

实施例一

本发明实施例提供一种图像语义分割网络持续学习方法，如图1所示，其主要包括如下步骤：

步骤1、使用旧语义分割网络初始化一个完全相同的新语义分割网络，同时准备训练图像与新增类别的标签，其中，训练图像中包含有未标记类别，所述未标记类别称为潜在类别。

本发明实施例中，当需要增加新类别时，仅需使用对应的图像及新增类别的标签进行训练而无需使用旧数据。

本发明实施例中，所述旧语义分割网络是指需要进行持续学习的语义分割网络，利用它来初始化一个新语义分割网络，之后更新的是新语义分割网络的参数，旧语义分割网络不再更新，而是在一致性约束时作为知识蒸馏的教师网络使用。本发明提出的方法能应用在任意全卷积结构的语义分割网络上，使其具有在语义分割任务上的持续学习能力。首先输入待学习的图片及其语义标签训练网络。在需要增加新类别时，仅需提供对应的图片及新增类别的标签进行训练而无需使用旧数据。在训练完成后，输入待分割的图像，即可给出包含所有已学习类别的分割结果。

本发明实施例中，训练图像中有一部分类别未标注，比如训练图像中某个物体所在区域的像素未标注相应类别，表示在当前阶段属于不感兴趣的类别，但考虑到在未来某个阶段可能被感兴趣从而需要学习，因此，这些未标注类别称为潜在类别，需要在当前阶段进行挖掘，以降低未来阶段的学习难度。

步骤2、对每一训练图像按照给定的先验知识分割为多组一致的分割区域。

本发明实施例中，所述多组一致的分割区域主要包括：一组视觉一致的分割区域与一组语义一致的分割区域，可以按照视觉相似度和语义相似度两种不同的先验知识，分别对每一训练图像进行分割，生成每一训练图像对应的一组视觉一致的分割区域与一组语义一致的分割区域；按照视觉相似度分别对每一训练图像进行分割时，使用边界检测器提取训练图像的边界信息，再基于边界对每一训练图像分别进行分割，生成每一训练图像对应的一组视觉一致的分割区域；按照语义相似度分别对每一训练图像进行分割时，对每一训练图像的特征图根据特征的相似度进行聚类，再基于聚类结果对每一训练图像分别进行分割，生成每一训练图像对应的一组语义一致的分割区域，此处训练图像的特征图可利用新语义分割网络获得。

步骤3、通过新语义分割网络对训练图像中属于潜在类别的像素进行特征提取，根据特征所在的分割区域进行对比学习，计算出对比学习损失函数。

本发明实施例中，设计了基于像素-区域的对比学习方式，可以大幅降低计算代价。在具体计算时，每一组一致的分割区域均分别计算对应的对比学习损失，再综合多组一致的分割区域计算出的对比学习损失，计算出对比学习损失函数。并且，此部分针对未标记类别的像素进行对比学习，可以在降低语义分割网络在后续学习阶段特征空间的优化难度，进而提升其对潜在类别的学习性能。

步骤4、设置一辅助分类器，对新语义分割网络提取的特征进行分类，利用一组一致的分割区域（具体为前述语义一致的分割区域）生成的潜在类别伪标签作为辅助分类器的监督信息，计算出辅助分类器的分类损失函数。

本发明实施例中，利用一组视觉一致的分割区域中每个分割区域的特征原型（每个区域包含的所有像素点的特征向量均值），通过聚类的方式生成每个分割区域的语义标签，利用所有分割区域的语义标签，作为辅助分类器的监督信息，其中，每个分割区域的语义标签均为潜在类别伪标签；结合辅助分类器的分类结果与对应的语义标签计算辅助分类器的分类损失函数；所述辅助分类器的分类损失函数能够实现辅助分类器的训练。

本发明实施例中，旧语义分割网络的分类器（即旧分类器）只包含旧类别的分类器权重。新语义分割网络的分类器（新分类器）中旧类别对应权重继承于旧分类器，新增类别权重从之前训练的辅助分类器中挑选，也就是说，利用训练后的辅助分类器在下一次图像语义分割网络持续学习过程中初始化新语义分割网络中的分类器，这一操作可以在新语义分割网络的输出空间中引入潜在类别的知识，进而进一步地降低网络在后续学习阶段的优化难度。

步骤5、对旧语义分割网络与新语义分割网络在旧类别上的语义分割结果施加一致性约束，计算出一致性损失函数。

本发明实施例中，结合新增类别的标签，通过知识蒸馏损失对两个语义分割网络的语义分割结果施加一致性约束，计算出一致性损失函数。

本发明实施例中，前述步骤3~步骤5不区分执行的先后顺序，即三个步骤可以同时执行，也可以按照任意顺序执行。

步骤6、综合所述对比学习损失函数、辅助分类器的分类损失函数与一致性损失函数对所述新语义分割网络进行训练。

进一步的，除了以上步骤中介绍的各类损失函数外，通过旧语义分割网络对训练图像进行分割生成伪标签，结合新增类别的标签生成完整的语义标签，并将完整的语义标签作为监督信号结合新语义分割网络的分割结果，计算新语义分割网络的分类损失函数，将新语义分割网络的分类损失函数与对比学习损失函数、辅助分类器的分类损失函数以及一致性损失函数结合，构建目标损失函数，利用所述目标损失函数对所述新语义分割网络进行训练。

本发明实施例中，综合前述步骤计算的损失函数构建目标损失函数，用于更新对新语义分割网络进行训练，最终达到在语义分割任务上实现持续学习的目的。当然，此过程中也会更新辅助分类器。

本发明实施例提供的上述方案，通过在特征空间中使用对比学习对潜在类别的类别知识进行挖掘，显著降低语义分割网络在后续学习阶段特征空间的优化难度，进而提升其对潜在类别的学习性能。而且，在输出空间中训练一辅助分类器可降低网络模型的优化难度并提升新类别的识别性能；此外，联合伪标签及伪标签降噪技术，使得在语义分割持续学习中无需提供旧类别的标签，降低标注成本，此处所述的伪标签降噪技术是指即增加阈值取高置信度伪标签的技术，具体方式可参照常规技术实现。相较于现有方法，本发明无需对知识蒸馏损失进行特殊设计即可显著提升新类别性能，从而提供了一种泛用的、全新的解决方案。本发明作为一种通用性的语义分割持续学习方法，对应用场景均无限制，具有很强的泛化能力与实用价值。

为了更加清晰地展现出本发明所提供的技术方案及所产生的技术效果，下面以具体实施例对本发明实施例所提供的方法的主要原理进行介绍，再分别介绍各个核心部分。

一、原理介绍。

为了解决现有持续学习方法应用于语义分割任务中对新知识学习能力不足的问题，进而填补语义分割持续学习任务相关技术上的空白，本发明提供的图像语义分割持续学习方法，可以提升网络对新类别的学习能力，从而提升持续学习后的语义分割网络语义分割准确度。在语义分割持续学习任务中，给定训练数据中常存在较多未被标记的类别、且这些类别称为潜在类别，它们在未来很可能被感兴趣从而需要学习。基于此特性，本发明从特征空间和输出空间两个层面上对这些未标记数据中包含的潜在类别进行挖掘与学习，从而降低这些类别在将来需要学习时语义分割网络的更新难度，进而显著提升语义分割网络对潜在类别的学习效果。具体来说：首先，本发明通过两个不同层面的先验知识预分割输入图像，从而挖掘出潜在类别的区域。其次，基于前述潜在类别的挖掘结果，对语义分割网络从特征空间和输出空间分别进行优化，以学习潜在类别的相关知识。最后，本发明使用知识蒸馏技术与伪标签技术解决旧知识保留的问题，以形成一完整的技术框架。

图2展示了本发明上述方法的框架原理图，目前主流的语义分割网络由特征提取器与分类器组成，本发明针对这两个部分分别设计对应的模块以在不同层面上对潜在类别的知识进行挖掘；图2中的旧特征提取器与旧分类器属于旧语义分割网络，新特征提取器与新分类器属于新语义分割网络。具体地，核心内容包含图像预分割模块（执行前述步骤2），特征空间对比学习模块（执行前述步骤3），辅助分类器模块（执行前述步骤4）、伪标签补全与监督学习模块（用于计算新语义分割网络的分类损失函数）和一致性约束模块（执行前述步骤5）。图像预分割模块将输入图像按给定先验知识分割为一组区域以寻找潜在类别。空间对比学习模块基于前述图像预分割模块产生的结果，利用对比学习对特征空间进行优化，以在特征空间层面学习潜在类别的相关知识。辅助分类模块基于前述图像预分割模块产生的结果生成关于潜在类别的伪标签以训练辅助分类器，从而在输出空间中引入潜在类别的知识。伪标签补全与监督学习模块基于伪标签技术获得完整的语义标签，并对对新语义分割网络进行监督。一致性约束模块使用知识蒸馏技术保持旧知识在持续学习中的稳定性。最后，联合上述模块的损失函数对语义分割网络进行训练，以达到持续学习的效果。

二、图像预分割模块。

本发明实施例中，图像预分割模块将输入图像按给定先验知识分割成一组一致性较高的区域。在本发明中分别使用视觉相似度和语义相似度两种不同的先验知识进行处理，以生成视觉一致的分割区域和语义一致的分割区域。

如图3所示，在基于视觉相似度的分割操作中，使用一边界检测器提取图像的边界信息，再直接使用OWT-UCM算法（它是一种分层分割算法）生成基于边界的分割结果，从而生成一系列视觉一致的分割区域。在基于语义相似度的分割操作中，使用KMeans（K均值）聚类算法的方式将每一张图像由新特征提取器输出的特征图根据特征的相似度进行聚类，进而根据特征的相似度将每张图像划分为一系列语义一致的分割区域。这两组分割结果依据不同的先验知识对潜在类别进行挖掘，以作为监督信号指导其他模块学习潜在类别的相关知识。

三、特征空间对比学习模块。

所述特征空间对比学习模块使用对比学习的手段在特征空间中学习潜在类别的知识。对比学习基于像素-区域对比的设计以大幅降低计算代价，在这种对比学习的模式中，每个分割区域使用一个特征原型（原型向量）表示，令像素

的特征（特征向量）表示为

，分割区域s的特征原型/>

由这个分割区域中所有像素的特征向量的均值给出：

；

其中，

表示分割区域s中的像素数目。

每一组一致的分割区域中包含多个分割区域，使用符号S表示一组一致的分割区域，则利用一组一致的分割区域计算出的对比学习损失

表示为：

；

其中，

为温度系数，其使得像素特征/>

靠近正样本区域的特征原型/>

同时远离所有负样本区域特征原型/>

；/>

表示正样本区域的特征原型，正样本区域是指像素

所在的分割区域；/>

表示负样本区域的特征原型，负样本区域是指除去正样本区域之外的分割区域，包括来自于不同图像的分割区域。

通过对比学习的方式，可使潜在类别的特征向量在特征空间中远离已知类别，同时相同的潜在类别互相靠近。在这种学习模式下，区域的分割方法决定了网络模型被如何优化。通过同时使用前述图像预分割模块产生的基于视觉相似度和特征相似度的预分割结果选取对比学习的正、负样本，以使网络产生的特征能同时与视觉相似度和语义相似度保持一致，从而学习到准确的关于潜在类的知识。

综合多组一致的分割区域计算出的对比学习损失，计算出对比学习损失函数

，具体的：如之前所述，本发明获得的多组一致的分割区域包括：一组视觉一致的分割区域与一组语义一致的分割区域，引入基于视觉相似度的对比学习与基于语义相似度的对比学习；具体的：将一组视觉一致的分割区域记为/>

，将一组语义一致的分割区域记为/>

，则对比学习损失函数/>

表示为：

；

其中，

表示利用一组视觉一致的分割区域计算出的对比学习损失，

表示利用一组语义一致的分割区域计算出的对比学习损失，/>

表示一组视觉一致的分割区域中分割区域数目，/>

表示一组语义一致的分割区域中分割区域数目；

表示从阶段1到当前阶段t的所有类别形成的类别集合，即所有已知类别。/>

表示像素/>

不属于已知类别的像素，即它属于潜在类别的像素，也就是说，仅在不属于已知类别的像素上计算上述对比学习损失函数，由于已知类别能通过真实标签或伪标签进行监督，故无需使用无监督学习的手段进行优化。

四、辅助分类器模块。

本发明实施例中，在特征提取器的输出部分新增一个辅助分类器。这一辅助分类器通过潜在类别的伪标签加以训练，以使得此辅助分类器能良好地对潜在类别加以分类。在后续的训练阶段中，则使用此辅助分类器的权重初始化新分类器。从辅助分类器中选择初始化权重的手段为，对每个新增类别在训练集上计算其类别原型，并选取与类别原型最接近的辅助分类器权重用以初始化对应类别的真实分类器权重。这一操作目的为在网络的输出空间中引入潜在类的知识，进而进一步地降低网络在后续学习阶段的优化难度。

训练此辅助分类器的标签基于前述图像预分割模块产生的一组语义一致的分割区域，通过对这些语义一致的分割区域的特征原型使用KMeans聚类以给定每个分割区域的语义标签，从而可以使用分类损失函数（例如，标准的交叉熵损失）优化辅助分类器。对于优化辅助分类器的分类损失函数记为

。由于此处的语义标签属于潜在类别伪标签，它们仅仅是真实类别的粗略近似，为了防止对特征提取器学习带来的不良影响，辅助分类器不回传梯度。

五、伪标签补全与监督学习模块。

本发明实施例中，所使用的伪标签技术直接使用旧语义分割网络对训练图像的分割结果，以补全当前阶段真实标签中未标记出的旧类别，利用补全获得的完整的语义标签对新语义分割网络的语义分割结果进行监督，计算新语义分割网络的分类损失函数

，通过这样的方式，可以使用标准的交叉熵损失函数（即新语义分割网络的分类损失函数）对新语义分割网络进行优化而不会因为旧类别标记缺失而加剧旧类别的遗忘问题。

六、一致性约束模块。

本发明实施例中，使用知识蒸馏损失对旧知识进行保持，以进一步降低遗忘问题。

所述知识蒸馏损失函数（即一致性损失函数

）表示为：

；

；

其中，

表示训练图像，/>

表示训练图像中像素的数目；/>

表示从阶段1到上一阶段t-1的所有类别形成的类别集合，每一个阶段会在上一阶段的基础上增加一些新增类别，即类别集合/>

不包含当前阶段t的新增类别/>

，/>

与/>

均表示类别集合

中的单个类别，/>

与/>

分别表示训练图像中像素/>

属于类别/>

与类别/>

的得分（logits），T为知识蒸馏中的温度参数，它是一个超参数，/>

表示旧语义分割网络输出的像素/>

属于类别/>

的概率；/>

表示经过修正后的新语义分割网络输出的像素/>

属于类别/>

的概率。由于新语义分割网络的分割结果对应的类别集合为/>

（即

），而旧语义分割网络的分割结果对应的类别集合为/>

，因此需要修正操作将二者的输出空间对齐，具体的，修正操作将新语义分割网络输出的像素/>

属于新增类别/>

的概率加和至设定的背景类的概率上，使/>

中的/>

，以解决新、旧语义分割网络概率空间不一致的问题，背景类是语义分割任务中的特殊类别，作为举例，可以设定背景类属于阶段1中的类别/>

。

七、联合训练。

本发明实施例中，联合以上第三~第六部分介绍的损失函数构建目标损失函数Loss对新语义分割网络进行训练，最终达到在语义分割任务上实现持续学习的目的。训练的目标损失函数为以上损失函数的加权和：

；

其中，

与/>

为相应损失函数的权重系数。

八、语义分割。

本发明实施例中，将图像输入至通过上述方案进行训练后的新语义分割网络，获得包含所有已学习类别的语义分割图，此处的所有已学习类别包含前文提到的所有已知类别以及新增类别。

图4展示了本发明上述方案在语义分割上的性能，其中：第一列为输入图像，第二列为基线方案（即使用损失

训练获得的方案）输出的语义分割图，第三列为本发明训练后的新语义分割网络输出的语义分割图，第四列为输入图像对应的真实标签；由此可以直观的体现本发明提供的上述方案能够提升持续学习后的语义分割网络语义分割准确度。

为了更直观的理解本发明的处理流程，下面提供一个具体的示例。

步骤S1、使用深度学习框架建立基于潜在类知识挖掘的语义分割持续学习模型。模型包括：全卷积语义分割网络，图像预分割模块，特征空间对比学习模块，辅助分类器模块、伪标签补全与监督学习模块和一致性约束模块。其中全卷积语义分割网络（简称为语义分割网络）可以选用DeeplabV3，其骨干网络可选用ResNet，MobileNet等网络。在语义分割网络特征提取器的输出部分设置特征空间对比学习模块和辅助分类器模块。在语义分割网络的分类器输出部分设置伪标签补全与监督学习模块与一致性约束模块。图像预分割模块作为独立的模块使用，其使用图像和分割网络特征提取器输出的特征图作为其输入以生成预分割结果。

步骤S2、准备语义分割数据集及对应的新增类别标签，通过随机裁剪的方式改变图像与标签的空间分辨率，使得图像与标签的宽与高均为512×512，并进行归一化处理。

步骤S3、使用图像预分割模块处理图像。在每个学习阶段开始时，对每一张图像逐一处理，使用边界信息生成基于视觉相似度的分割结果，此分割结果在整个学习阶段内保持不变。同时，在训练数据的每一次完整迭代后，使用图像预分割模块处理新语义分割网络中新特征提取器的输出，以对每一张图像生成基于语义相似度的分割结果。在辅助分类模块中，对基于语义相似度的分割结果进行KMeans聚类，以生成训练辅助分类器所需的潜在类别伪标签。

步骤S4、在学习过程中，每次随机从训练数据中选择一组数据输入图2所示的框架，经由框架给出语义分割结果，使用交叉熵损失（新语义分割网络的分类损失函数），无监督的对比学习损失、辅助分类器交叉熵损失与一致性损失函数共同训练网络。若新语义分割网络不处于初始的学习阶段，则一致性损失函数会额外地参与优化过程以保证旧知识不遗忘。

步骤S5、根据上述步骤4中给出的各损失函数计算目标损失函数，通过反向传播算法以及梯度下降策略，使得损失函数最小化，更新语义分割网络的参数权重，直至网络模型收敛，完成当前学习阶段。

步骤S6、在每一次新的学习阶段开始时，使用当前语义分割网络初始化一相同的语义分割网络以学习新知识，当前语义分割网络则不再更新，并作为一致性约束模块中知识蒸馏的教师网络使用。同时对于每一个新增的类别，在给定新训练集上计算其类别原型（及此类别的所有像素的特征向量之平均），并从辅助分类模块中选取与此类别原型最接近的权重初始化真实分类器中的对应权重。

步骤S7、转入步骤S2，使用相同的流程完成所有的学习阶段。

步骤S8、输入测试数据集，计算模型的语义分割性能。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质（可以是CD-ROM，U盘，移动硬盘等）中，包括若干指令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行本发明各个实施例所述的方法。

实施例二

本发明还提供图像语义分割网络持续学习系统，其主要用于实现前述实施例提供的方法，如图5所示，该系统主要包括：

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将系统的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。

实施例三

本发明还提供一种处理设备，如图6所示，其主要包括：一个或多个处理器；存储器，用于存储一个或多个程序；其中，当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现前述实施例提供的方法。

进一步的，所述处理设备还包括至少一个输入设备与至少一个输出设备；在所述处理设备中，处理器、存储器、输入设备、输出设备之间通过总线连接。

本发明实施例中，所述存储器、输入设备与输出设备的具体类型不做限定；例如：

输入设备可以为触摸屏、图像采集设备、物理按键或者鼠标等；

输出设备可以为显示终端；

存储器可以为随机存取存储器（Random Access Memory，RAM），也可为非不稳定的存储器（non-volatile memory），例如磁盘存储器。

实施例四

本发明还提供一种可读存储介质，存储有计算机程序，当计算机程序被处理器执行时实现前述实施例提供的方法。

本发明实施例中可读存储介质作为计算机可读存储介质，可以设置于前述处理设备中，例如，作为处理设备中的存储器。此外，所述可读存储介质也可以是U盘、移动硬盘、只读存储器（Read-Only Memory，ROM）、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。

Claims

1.一种图像语义分割网络持续学习方法，其特征在于，包括：

2.根据权利要求1所述的一种图像语义分割网络持续学习方法，其特征在于，所述对每一训练图像按照给定的先验知识分割为多组一致的分割区域包括：

按照视觉相似度和语义相似度两种不同的先验知识，分别对每一训练图像进行分割，生成每一训练图像对应的一组视觉一致的分割区域与一组语义一致的分割区域；

按照视觉相似度分别对每一训练图像进行分割时，使用边界检测器提取训练图像的边界信息，再基于边界对每一训练图像分别进行分割，生成每一训练图像对应的一组视觉一致的分割区域；

按照语义相似度分别对每一训练图像进行分割时，对每一训练图像的特征图根据特征的相似度聚类，再基于聚类结果对每一训练图像分别进行分割，生成每一训练图像对应的一组语义一致的分割区域；其中，训练图像的特征图利用新语义分割网络获得。

3.根据权利要求1所述的一种图像语义分割网络持续学习方法，其特征在于，所述根据特征所在的分割区域进行对比学习，计算出对比学习损失函数包括：

每一组一致的分割区域中包含多个分割区域，使用符号S表示一组一致的分割区域，每一分割区域s的特征原型表示为

，属于潜在类别的像素/>

的特征表示为/>

，则利用一组一致的分割区域计算出的对比学习损失/>

表示为：

；

其中，

为温度系数；/>

表示正样本区域的特征原型，正样本区域是指像素/>

所在的分割区域；/>

表示负样本区域的特征原型，负样本区域是指除去正样本区域之外的分割区域；

。

4.根据权利要求3所述的一种图像语义分割网络持续学习方法，其特征在于，所述多组一致的分割区域包括：一组视觉一致的分割区域与一组语义一致的分割区域；

将一组视觉一致的分割区域记为

，将一组语义一致的分割区域记为/>

，则对比学习损失函数/>

表示为：

；

其中，

表示利用一组视觉一致的分割区域计算出的对比学习损失，

表示一组视觉一致的分割区域中分割区域数目，/>

表示一组语义一致的分割区域中分割区域数目；

表示所有已知类别形成的类别集合，/>

表示像素/>

不属于类别集合/>

，即它属于潜在类别。

5.根据权利要求1或2所述的一种图像语义分割网络持续学习方法，其特征在于，所述计算出辅助分类器的分类损失函数包括：

利用一组视觉一致的分割区域中每个分割区域的特征原型，通过聚类的方式生成每个分割区域的语义标签，利用所有分割区域的语义标签，作为辅助分类器的监督信息，其中，每个分割区域的语义标签均为潜在类别伪标签；结合辅助分类器的分类结果与对应的语义标签计算辅助分类器的分类损失函数；所述辅助分类器的分类损失函数能够实现辅助分类器的训练；

同时，利用训练后的辅助分类器在下一次图像语义分割网络持续学习过程中初始化新语义分割网络中的分类器。

6.根据权利要求1所述的一种图像语义分割网络持续学习方法，其特征在于，所述对旧语义分割网络与新语义分割网络在旧类别上的语义分割结果施加一致性约束，计算出一致性损失函数包括：

结合新增类别的标签，通过知识蒸馏损失对两个语义分割网络的语义分割结果施加一致性约束，计算出一致性损失函数，表示为：