CN116977635A - 类别增量语义分割学习方法及语义分割方法 - Google Patents
类别增量语义分割学习方法及语义分割方法 Download PDFInfo
- Publication number
- CN116977635A CN116977635A CN202310890134.4A CN202310890134A CN116977635A CN 116977635 A CN116977635 A CN 116977635A CN 202310890134 A CN202310890134 A CN 202310890134A CN 116977635 A CN116977635 A CN 116977635A
- Authority
- CN
- China
- Prior art keywords
- semantic segmentation
- result
- loss
- network model
- current stage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 230000011218 segmentation Effects 0.000 title claims abstract description 195
- 238000000034 method Methods 0.000 title claims abstract description 123
- 238000013140 knowledge distillation Methods 0.000 claims abstract description 30
- 238000000605 extraction Methods 0.000 claims description 34
- 230000006870 function Effects 0.000 claims description 24
- 238000004590 computer program Methods 0.000 claims description 18
- 238000013507 mapping Methods 0.000 claims description 12
- 238000010586 diagram Methods 0.000 claims description 9
- 238000005457 optimization Methods 0.000 claims description 9
- 230000008569 process Effects 0.000 abstract description 25
- 230000000694 effects Effects 0.000 abstract description 16
- 238000012549 training Methods 0.000 description 12
- 238000004364 calculation method Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 241001465754 Metazoa Species 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000008447 perception Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 241000218691 Cupressaceae Species 0.000 description 1
- 235000008331 Pinus X rigitaeda Nutrition 0.000 description 1
- 241000018646 Pinus brutia Species 0.000 description 1
- 235000011613 Pinus brutia Nutrition 0.000 description 1
- 241001106462 Ulmus Species 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000004821 distillation Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/09—Supervised learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/096—Transfer learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Abstract
本发明涉及计算机视觉技术领域，提供一种类别增量语义分割学习方法及语义分割方法，通过将当前阶段的图像样本输入至当前阶段的主网络模型，得到第一结果，通过图像样本中的类别标签与对第一结果进行划分得到的第三结果，采用二分类约束方法计算增量学习损失，通过将当前阶段的图像样本输入至前一阶段的语义分割模型，得到第二结果，并通过第二结果与对第一结果进行划分得到的第四结果计算知识蒸馏损失。通过采用二分类约束方法，可以对增量学习过程中保持前阶段所学习旧知识和学习现阶段新知识两个目标进行解耦，从而使第三结果的有监督学习以及对第四结果的知识蒸馏这两个过程的独立进行，加强语义分割模型最终对所有已知类别的语义分割效果。
Description
技术领域
本发明涉及计算机视觉技术领域，尤其涉及一种类别增量语义分割学习方法及语义分割方法。
背景技术
语义分割致力于针对图像中的每一个像素进行识别并判断出一个具体的类别，是计算机视觉中的基础问题之一。该领域的研究成果已被广泛应用于自动驾驶、智能感知、机器人感知、虚拟世界等多种现实世界场景。
传统的语义分割框架要求在一次训练中使用所有可知类别的数据对语义分割模型进行训练，并不再要求所得的语义分割模型具有持续学习更多知识的迭代能力。该设定下的研究在限定的场景中已经能够得到良好的实验结果。然而，该类学习方式在应对需要不断获取和使用新数据进行学习的开放式场景时，将需要对语义分割模型不断地进行重新训练。这一过程不仅需要存储各个阶段获得的数据，还需要在每个学习阶段反复地使用同样的数据进行训练，这将造成存储与计算成本大幅度上升。
由此，类别增量语义分割学习方法应运而生，该方法的研究目的在于使语义分割模型在每次获取新的数据时能够只使用这一部分数据进行学习，从而不再需要对旧知识相关的数据进行保存，降低了数据的存储成本。另外，由于对语义分割模型进行增量学习时不需要使用旧知识相关的数据，语义分割模型训练的时间成本也将得以降低。
然而，现有的类别增量语义分割学习方法通常是利用掌握旧知识的模型学习新知识，其忽略了学习新知识与保持旧知识这两个增量学习目标之间的耦合性对语义分割效果的影响，导致语义分割效果不佳。
发明内容
本发明提供一种类别增量语义分割学习方法及语义分割方法，用以解决现有技术中由于学习新知识与保持旧知识这两个增量学习目标之间的耦合性，增量语义分割最终效果有限的缺陷，实现对增量学习过程中保持前阶段所学习旧知识和学习现阶段新知识两个目标进行解耦，从而使第三结果的有监督学习以及对第四结果的知识蒸馏这两个过程的独立进行，由此新知识和旧知识可以更好地在当前阶段的语义分割模型中共存，加强语义分割模型最终对所有已知类别的语义分割效果。
本发明提供一种类别增量语义分割学习方法，包括：
将当前阶段的图像样本分别输入至当前阶段的主网络模型以及所述当前阶段的前一阶段的语义分割模型，得到所述主网络模型输出的第一结果以及所述前一阶段的语义分割模型输出的第二结果；
将所述第一结果划分为与所述主网络模型学习的类别对应的第三结果以及与所述当前阶段之前的已知类别对应的第四结果；
基于所述图像样本中的类别标签以及所述第三结果，采用二分类约束方法计算所述主网络模型的增量学习损失，基于所述第二结果以及所述第四结果，计算所述主网络模型的知识蒸馏损失，并基于所述增量学习损失以及所述知识蒸馏损失，确定目标损失；
基于所述目标损失，对所述主网络模型的结构参数进行迭代优化，得到所述当前阶段的语义分割模型。
根据本发明提供的一种类别增量语义分割学习方法，所述方法还包括：
确定所述主网络模型对应的分支解码器模块，所述分支解码器模块与所述主网络模型中的第一特征提取模块连接；
将所述当前阶段的图像样本输入至所述主网络模型，得到所述主网络模型中的第一解码器模块输出的所述第一结果以及所述分支解码器模块输出的第五结果；所述第五结果中的蒙版数量与所述当前阶段所述主网络模型学习的类别数量相同；
基于所述图像样本中的类别标签以及所述第五结果，计算所述分支解码器模块对应的BCE损失；
相应的，基于所述增量学习损失以及所述知识蒸馏损失，确定目标损失，包括：
基于所述增量学习损失、所述知识蒸馏损失以及所述BCE损失，确定所述目标损失。
根据本发明提供的一种类别增量语义分割学习方法，基于所述图像样本中的类别标签以及所述第三结果，采用二分类约束方法计算所述主网络模型的增量学习损失，包括：
基于所述类别标签以及所述第三结果，采用FocalLoss损失函数，计算第一增量学习损失；
基于所述类别标签以及所述第三结果，采用DiceLoss损失函数，计算第二增量学习损失。
根据本发明提供的一种类别增量语义分割学习方法，将所述当前阶段的图像样本输入至所述主网络模型，得到所述第一结果，包括：
将所述图像样本输入至所述第一特征提取模块，得到所述第一特征提取模块输出的第一特征映射图；
将所述第一特征映射图输入至所述第一解码器模块，得到所述第一解码器模块输出的所述第一结果。
根据本发明提供的一种类别增量语义分割学习方法，将所述当前阶段的图像样本输入至所述前一阶段的语义分割模型，得到所述第二结果，包括：
将所述图像样本输入至所述前一阶段的语义分割模型的第二特征提取模块，得到所述第二特征提取模块输出的第二特征映射图；
将所述第二特征映射图输入至所述前一阶段的语义分割模型的第二解码器模块，得到所述第二解码器模块输出的所述第二结果。
根据本发明提供的一种类别增量语义分割学习方法，所述第一结果中的蒙版数量与所述当前阶段及之前的所有类别数量相同；所述第二结果中的蒙版数量与所述当前阶段之前的已知类别数量相同。
本发明还提供一种语义分割方法，包括：
获取目标图像；
将所述目标图像输入至上述的类别增量语义分割学习方法中得到的当前阶段的语义分割模型，得到所述当前阶段的语义分割模型输出的分割结果。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述的类别增量语义分割学习方法，或语义分割方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述的类别增量语义分割学习方法，或语义分割方法。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述的类别增量语义分割学习方法，或语义分割方法。
本发明提供的类别增量语义分割学习方法及语义分割方法，类别增量语义分割学习方法通过将当前阶段的图像样本输入至当前阶段的主网络模型，可以得到第一结果，并通过图像样本中的类别标签与对第一结果进行划分得到的第三结果，采用二分类约束方法计算增量学习损失，通过将当前阶段的图像样本输入至前一阶段的语义分割模型，可以得到第二结果，并通过第二结果与对第一结果进行划分得到的第四结果计算知识蒸馏损失。通过采用二分类约束方法，可以对增量学习过程中保持前阶段所学习旧知识和学习现阶段新知识两个目标进行解耦，从而使第三结果的有监督学习以及对第四结果的知识蒸馏这两个过程的独立进行，由此新知识和旧知识可以更好地在当前阶段的语义分割模型中共存，加强语义分割模型最终对所有已知类别的语义分割效果。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的类别增量语义分割学习方法的流程示意图之一；
图2是本发明提供的类别增量语义分割学习方法的流程示意图之二；
图3是本发明提供的类别增量语义分割学习方法的流程示意图之三；
图4是本发明提供的语义分割方法的流程示意图；
图5是本发明提供的类别增量语义分割学习装置的结构示意图；
图6是本发明提供的语义分割装置的结构示意图；
图7是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的说明书和权利要求书中的术语“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征。在发明的描述中，除非另有说明，“多个”的含义是两个或两个以上。此外，说明书以及权利要求中“和/或”表示所连接对象的至少其中之一，字符“/”，一般表示前后关联对象是一种“或”的关系。
由于现有的类别增量语义分割学习方法通常是利用掌握旧知识的模型学习新知识，其忽略了学习新知识与保持旧知识这两个增量学习目标之间的耦合性对语义分割效果的影响，也未在对两个问题进行解耦上做出尝试，导致语义分割效果不佳。基于此，本发明实施例中提供了一种类别增量语义分割学习方法。
图1为本发明实施例中提供的一种类别增量语义分割学习方法的流程示意图，如图1所示，该方法包括：
S11，将当前阶段的图像样本分别输入至当前阶段的主网络模型以及所述当前阶段的前一阶段的语义分割模型，得到所述主网络模型中的第一解码器模块输出的第一结果以及所述前一阶段的语义分割模型输出的第二结果；
S12，将所述第一结果划分为与所述主网络模型学习的类别对应的第三结果以及与所述当前阶段之前的已知类别对应的第四结果；
S13，基于所述图像样本中的类别标签以及所述第三结果，采用二分类约束方法计算所述主网络模型的增量学习损失，基于所述第二结果以及所述第四结果，计算所述主网络模型的知识蒸馏损失，并基于所述增量学习损失以及所述知识蒸馏损失，确定目标损失；
S14，基于所述目标损失，对所述主网络模型的结构参数进行迭代优化，得到所述当前阶段的语义分割模型。
具体地，本发明实施例中提供的类别增量语义分割学习方法，其执行主体为类别增量语义分割学习装置，该装置可以配置于计算机内，该计算机可以为本地计算机或云计算机，本地计算机可以是电脑、平板等，此处不作具体限定。
首先执行步骤S11，确定当前阶段t需要训练的主网络模型Mt。
可以理解的是，该主网络模型用于学习当前阶段的图像样本中的类别Ct，使该主网络模型可以具有当前阶段及之前的所有类别的语义分割能力，即该主网络模型能够输出的类别数量与当前阶段及之前的所有类别C0：t数量相同。此处，各阶段的图像样本可以是彩色图像，也可以是灰度图像，此处不作具体限定。各阶段的图像样本中的类别是指图像样本中包括的目标对象的类别，均可以包括树、人、动物、建筑物、车辆和道路等中的至少一项，也可以是树、人、动物、建筑物、车辆和道路等中的某一项的二级分类，例如松树、榆树、柏树等，还可以是生成出的不同产品的分类，此处不作具体限定。
将当前阶段的图像样本分别输入至主网络模型Mt以及当前阶段的前一阶段t-1的语义分割模型Mt-1，得到主网络模型Mt输出的第一结果Ot(trunk)以及前一阶段的语义分割模型输出的第二结果Ot-1。
该第一结果即为主网络模型输出的语义分割结果，该第二结果即为前一阶段的语义分割模型输出的语义分割结果。此处，前一阶段的语义分割模型是已经学习了当前阶段之前的已知类别C0：t-1的语义分割模型。
然后执行步骤S12，由于主网络模型Mt能够输出的类别数量与当前阶段及之前的所有类别C0：t数量相同，因此该第一结果Ot(trunk)中既包括了与主网络模型学习的类别Ct对应的第三结果Ot(new)，也包括了与当前阶段之前的已知类别C0：t-1对应的第四结果Ot(old)。进而，可以将第一结果Ot(trunk)划分为第三结果Ot(new)和第四结果Ot(old)。该过程可以表示为：
Ot(old)＝{Ot(trunk)∈C0：t-1}；
Ot(new)＝{Ot(trunk)∈Ct}。
此后执行步骤S13，利用当前阶段的图像样本中的类别标签GTt以及第三结果Ot(new)，采用二分类约束方法计算所述主网络模型的增量学习损失。图像样本中的类别标签GTt是指通过人工标注或软件标注等方式确定的图像样本中各目标对象的类别，当前阶段的图像样本中可以仅包含有主网络模型需要学习的类别，即增量类别。进而，借助于二分类约束方法，可以计算主网络模型的增量学习损失。该增量学习损失可以表征当前阶段的图像样本中的类别标签与第三结果之间的偏差。
利用第二结果Ot-1和第四结果Ot(old)，可以计算主网络模型的知识蒸馏损失。此处，该知识蒸馏损失可以通过KL散度进行计算，计算公式可以为：
其中，Sold为知识蒸馏损失，是第四结果Ot(old)中的第i类取值，/>是第二结果Ot-1中的第i类取值。
进而，利用增量学习损失以及知识蒸馏损失，可以确定出目标损失，该目标损失可以是总损失，可以通过将增量学习损失与知识蒸馏损失进行加权求和得到。特别地，增量学习损失与知识蒸馏损失的权重可以均为1。
最后，执行步骤S14，利用目标损失，对主网络模型的结构参数进行迭代优化，得到当前阶段的语义分割模型。此处，可以利用目标损失，进行反向传播，从而可以实现对主网络模型的结构参数进行优化调整，进而通过重复执行上述步骤S11至S13，实现对主网络模型的迭代优化，直至满足迭代结束条件，得到当前阶段的语义分割模型。
可以理解的是，迭代结束条件可以包括目标损失低于设定阈值或迭代优化过程达到设定次数。
本发明实施例中提供的类别增量语义分割学习方法，通过将当前阶段的图像样本输入至当前阶段的主网络模型，可以得到第一结果，并通过图像样本中的类别标签与对第一结果进行划分得到的第三结果，采用二分类约束方法计算增量学习损失，通过将当前阶段的图像样本输入至前一阶段的语义分割模型，可以得到第二结果，并通过第二结果与对第一结果进行划分得到的第四结果计算知识蒸馏损失。通过采用二分类约束方法，可以对增量学习过程中保持前阶段所学习旧知识和学习现阶段新知识两个目标进行解耦，从而使第三结果的有监督学习以及对第四结果的知识蒸馏这两个过程的独立进行，由此新知识和旧知识可以更好地在当前阶段的语义分割模型中共存，加强语义分割模型最终对所有已知类别的语义分割效果。
在上述实施例的基础上，本发明实施例中提供的类别增量语义分割学习方法，所述方法还包括：
确定所述主网络模型对应的分支解码器模块，所述分支解码器模块与所述主网络模型中的第一特征提取模块连接；
将所述当前阶段的图像样本输入至所述主网络模型，得到所述主网络模型中的第一解码器模块输出的所述第一结果以及所述分支解码器模块输出的第五结果；所述第五结果中的蒙版数量与所述当前阶段所述主网络模型学习的类别数量相同；
基于所述图像样本中的类别标签以及所述第五结果，计算所述分支解码器模块对应的BCE损失；
相应的，基于所述增量学习损失以及所述知识蒸馏损失，确定目标损失，包括：
基于所述增量学习损失、所述知识蒸馏损失以及所述BCE损失，确定所述目标损失。
具体地，本发明实施例中，主网络模型可以包括连接的第一特征提取模块和第一解码器模块，该第一特征提取模块用于进行图像特征提取，第一解码器模块用于对图像特征进行解码，输出语义分割结果。
因此，该方法还可以确定主网络模型对应的分支解码器模块，该分支解码器模块可以与主网络模型中的第一特征提取模块连接，用于辅助该主网络模型的学习过程，该分支解码器模块能够输出的类别数量与当前阶段主网络模型学习的类别Ct数量相同。
因此，在将当前阶段的图像样本输入至主网络模型之后，不仅可以得到第一解码器模块输出的第一结果，还可以得到分支解码器模块输出的第五结果Ot(branch)。由于分支解码器模块能够输出的类别数量与当前阶段主网络模型学习的类别数量相同，因此第五结果中的蒙版数量与当前阶段主网络模型学习的类别数量相同。
此后，利用图像样本中的类别标签以及第五结果，可以计算出分支解码器模块对应的BCE损失。此处，BCE损失是一种二分类约束，其计算公式可以表示为：
其中，Sbranch为BCE损失，可以理解为分支损失，yi为GTt中的第i类取值，为真值，为第五结果Ot(branch)中第i类取值。
进而，目标损失可以通过将增量学习损失、知识蒸馏损失与BCE损失进行加权求和得到。
本发明实施例中，通过引入当前阶段的主网络模型对应的分支解码器模块，使其可以产生与主网络模型需要学习的类别数目一致的蒙版作为输出，并通过BCE损失对其进行约束，可以在特征层面加强新知识和旧知识在语义分割模型中的共存能力，从而进一步提高语义分割模型对所有已知类别的语义分割效果。
在上述实施例的基础上，基于所述图像样本中的类别标签以及所述第三结果，采用二分类约束方法计算所述主网络模型的增量学习损失，包括：
基于所述类别标签以及所述第三结果，采用FocalLoss损失函数，计算第一增量学习损失；
基于所述类别标签以及所述第三结果，采用DiceLoss损失函数，计算第二增量学习损失。
具体地，二分类约束方法采用的损失函数可以包括FocalLoss损失函数和DiceLoss损失函数，因此在计算增量学习损失时，可以利用当前阶段的图像样本的类别标签以及第三结果，分别采用FocalLoss损失函数和DiceLoss损失函数，计算第一增量学习损失和第二增量学习损失，第一增量学习损失和第二增量学习损失共同构成增量学习损失。
第一增量学习损失Sfocal可以通过如下公式计算：
其中，i∈Ct；表示第三结果Ot(new)中的第i类取值。
第二增量学习损失Sdice可以通过如下公式计算：
其中，|·|表示对应类别的像素数量，即类别对应蒙板的前景面积。
本发明实施例中，通过FocalLoss损失函数和DiceLoss损失函数，共同计算增量学习损失，可以使增量学习过程更加准确，使当前阶段的语义分割模型的语义分割效果更好。
在上述实施例的基础上，目标损失S可以通过如下公式计算：
S＝α·Sbranch+β·Sfocal+γ·Sdice+δ·Sold；
其中，α、β、γ、δ分别表示不同损失所对应的超参系数。
在上述实施例的基础上，将所述当前阶段的图像样本输入至所述主网络模型，得到所述第一结果，包括：
将所述图像样本输入至所述第一特征提取模块，得到所述第一特征提取模块输出的第一特征映射图；
将所述第一特征映射图输入至所述第一解码器模块，得到所述第一解码器模块输出的所述第一结果。
具体地，由于主网络模型可以包括连接的包括第一特征提取模块和第一解码器模块，因此在得到第一结果时，可以先将当前阶段t的图像样本It输入至第一特征提取模块Et，得到第一特征提取模块Et输出的第一特征映射图ft。该过程可以表示为：
ft＝Et(It)；
其中，Et(·)代表第一特征提取模块的映射函数。
此后，将第一特征映射图ft输入至第一解码器模块Dt(trunk)，得到第一解码器模块输出的第一结果Ot(trunk)。该过程可以表示为：
Ot(trunk)＝Dt(trunk)(ft)；
其中，Dt(trunk)(·)代表第一解码器模块的映射函数；Ot(trunk)所包含的蒙板数量与已知所有类别C0：t数量一致。
在上述实施例的基础上，将当前阶段t的图像样本It输入至主网络模型，还可以得到由分支解码器模块Dt(bran)输出的第五结果Ot(branch)。该过程可以表示为：
Ot(branch)＝Dt(branch)(ft)；
其中，Dt(branch)(·)代表当前阶段t的模型分支解码器模块的映射函数；Ot(branch)所包含的蒙板数量与主网络模型需要学习的类别Ct数量一致。
在上述实施例的基础上，将所述当前阶段的图像样本输入至所述前一阶段的语义分割模型，得到所述第二结果，包括：
将所述图像样本输入至所述前一阶段的语义分割模型的第二特征提取模块，得到所述第二特征提取模块输出的第二特征映射图；
将所述第二特征映射图输入至所述前一阶段的语义分割模型的第二解码器模块，得到所述第二解码器模块输出的所述第二结果。
具体地，前一阶段的语义分割模型进可以包括连接的第二特征提取模块和第二解码器模块，该第二特征提取模块用于进行图像特征提取，第二解码器模块用于对图像特征进行解码，输出语义分割结果。
因此在得到第二结果时，可以先将当前阶段t的图像样本It输入至第二特征提取模块Et-1，得到第二特征提取模块Et-1输出的第二特征映射图ft-1。该过程可以表示为：
ft-1＝Et-1(It)；
其中，Et-1(·)代表第二特征提取模块的映射函数。
此后，将第二特征映射图ft-1输入至第二解码器模块Dt-1，得到第二解码器模块输出的第二结果Ot-1。该过程可以表示为：
Ot-1＝Dt-1(ft-1)；
其中，Dt-1(·)代表第二解码器模块的映射函数；Ot-1所包含的蒙板数量与当前阶段及之前的所有类别C0：t数量一致。
如图2和图3所示，本发明实施例中提供的类别增量语义分割学习方法，包括如下完整步骤：
确定主网络模型对应的分支解码器模块；
将当前阶段的图像样本It输入分别输入至当前阶段的主网络模型以及前一阶段的语义分割模型，由主网络模型中的第一特征提取模块Et输出第一特征映射图ft，将第一特征映射图ft输入至第一解码器模块Dt(trunk)，由第一解码器模块输出第一结果Ot(trunk)，将第一特征映射图ft输入至分支解码器模块Dt(branch)，由分支解码器模块Dt(branc)输出第五结果Ot(bra)。
由前一阶段的语义分割模型中的第二特征提取模块Et-1输出第二特征映射图ft-1，将第二特征映射图ft-1输入至第二解码器模块Dt-1，由第二解码器模块输出第二结果Ot-1。
将第一结果Ot(trunk)划分为与主网络模型学习的类别对应的第三结果Ot(new)以及与当前阶段之前的已知类别对应的第四结果Ot(old)；
基于图像样本中的类别标签以及第三结果Ot(new)，分别采用FocalLoss损失函数和DiceLoss损失函数计算主网络模型的第一增量学习损失和第二增量学习损失，基于第二结果Ot-1以及第四结果Ot(old)，采用KL散度计算主网络模型的知识蒸馏损失Sold，基于图像样本中的类别标签以及第五结果Ot(bran)，计算分支解码器模块对应的BCE损失，并通过对第一增量学习损失、第二增量学习损失知识蒸馏损失以及BCE损失的加权求和，确定目标损失S；
基于目标损失，对主网络模型的结构参数进行迭代优化，得到当前阶段的语义分割模型。
综上所述，本发明实施例中提供了一种面向类别增量的增量语义分割学习方法，解决了在开放环境下模型将不断获取新数据，需要具备对新类别图像的语义分割能力情况下，传统方法每次使用所有数据对模型进行重新训练，造成存储成本与计算成本高昂的问题。在增量学习过程中的每个阶段，模型仅需使用当前阶段所需学习类别对应的数据和相应标签，以及前一阶段训练所得到的语义分割模型作为指导模型进行训练即可在所有已知类别图像上进行语义分割。
实现本发明实施例中提供的面向类别增量的增量语义分割学习方法，其主要思路是：使用二分类约束对增量学习过程中保持前阶段所学习旧知识和学习现阶段新知识两个目标进行解耦，从而使对旧类相关输出在KL散度下进行的知识蒸馏和对新类相关输出在FocalLoss和DiceLoss约束下使用GT进行有监督学习这两个过程可以独立进行。同时给主网络模型添加分支解码器模块并使其产生与增量学习过程中的当前阶段所要学习的类别数目一致的蒙板作为输出，并使用BCE损失对其进行约束。通过以上方法实现新知识与旧知识在模型中更好地共存，从而最终在所有已知类别上获得更好的语义分割效果。
为了详细说明本发明的具体实施方式及验证发明的有效性，将本发明提供的面向类别增量的增量语义分割学习方法应用于公开语义分割数据集ADE。对于ADE中数据，根据0-100和101-150两个类别族对数据进行划分以模拟增量学习中不同阶段的学习过程。在每个学习阶段，另一阶段相关类别的标签将被预先处理为背景类的一部分。使用ADE的val数据集在所有0到150的类别上进行语义分割测试。如表1所示，为本发明提供的面向类别增量的增量语义分割学习方法在ADE数据集的语义分割结果，评价指标为推理结果与标签的平均交并比(mIoU)：
表1不同组实验下的评价指标取值
其中，mIoU的单位为百分号(％)。可见在增量语义分割学习过程中使用二分类约束可以使新知识和旧知识在语义分割模型中更好地共存，从而使语义分割模型最终在所有已知类上达到更好的语义分割效果。在不使用分支的情况下，二分类约束训练得到的语义分割模型取得的语义分割结果较多分类约束训练得到的语义分割模型取得的语义分割结果高1.6％。
通过对表1中第2组实验和第4组实验的结果比较可以发现，通过给主网络模型添加分支解码器模块可以在特征层面使新知识和旧知识更好地在模型中共存，从而使训练得到的语义分割模型最终在所有已知类上取得更好的分割结果。其中，使用分支解码器模块的语义分割模型取得的语义分割结果较无分支解码器模块的语义分割模型取得的语义分割结果高3.2％。
通过对表1中第3组实验和第4组实验的结果比较可以发现，在增量语义分割学习过程中使用二分类约束可以使新知识和旧知识在语义分割模型中更好地共存，从而使语义分割模型最终在所有已知类上达到更好的语义分割效果。在主网络模型都使用二分类约束的情况下，用二分类约束方法训练分支解码器模块得到的语义分割模型取得的语义分割结果较用多分类约束方法训练分支解码器模块得到的语义分割模型取得的语义分割结果高1.0％。
如图4所示，在上述实施例的基础上，本发明实施例中还提供了一种语义分割方法，包括：
S21，获取目标图像；
S22，将所述目标图像输入至上述各实施例中提供的类别增量语义分割学习方法中得到的当前阶段的语义分割模型，得到所述当前阶段的语义分割模型输出的分割结果。
具体地，本发明实施例中提供的语义分割方法，其执行主体为语义分割装置，该装置可以配置于计算机内，该计算机可以为本地计算机或云计算机，本地计算机可以是电脑、平板等，此处不作具体限定。
首先执行步骤S21，获取目标图像，该目标图像是指需要对其进行语义分割确定其中各像素点的类别的图像。该目标图像可以是彩色图像，也可以是灰度图像，此处不作具体限定。
然后执行步骤S22，将目标图像输入至上述各实施例中提供的类别增量语义分割学习方法中得到的当前阶段的语义分割模型，通过当前阶段的语义分割模型对目标图像进行语义分割，得到对应的分割结果。由于采用了上述各实施例中提供的当前阶段的语义分割模型，可以使最终得到的分割结果更加准确可靠。
如图5所示，在上述实施例的基础上，本发明实施例中还提供了一种类别增量语义分割学习装置，该装置包括：
初始分割模块51，由于将当前阶段的图像样本分别输入至当前阶段的主网络模型以及所述当前阶段的前一阶段的语义分割模型，得到所述主网络模型输出的第一结果以及所述前一阶段的语义分割模型输出的第二结果；
结果划分模块52，由于将所述第一结果划分为与所述主网络模型学习的类别对应的第三结果以及与所述当前阶段之前的已知类别对应的第四结果；
损失计算模块53，由于基于所述图像样本中的类别标签以及所述第三结果，采用二分类约束方法计算所述主网络模型的增量学习损失，基于所述第二结果以及所述第四结果，计算所述主网络模型的知识蒸馏损失，并基于所述增量学习损失以及所述知识蒸馏损失，确定目标损失；
迭代优化模块54，由于基于所述目标损失，对所述主网络模型的结构参数进行迭代优化，得到所述当前阶段的语义分割模型。
在上述实施例的基础上，本发明实施例中提供的类别增量语义分割学习装置，还包括BCE损失计算模块，用于：
确定所述主网络模型对应的分支解码器模块，所述分支解码器模块与所述主网络模型中的第一特征提取模块连接；
将所述当前阶段的图像样本输入至所述主网络模型，得到所述主网络模型中的第一解码器模块输出的所述第一结果以及所述分支解码器模块输出的第五结果；所述第五结果中的蒙版数量与所述当前阶段所述主网络模型学习的类别数量相同；
基于所述图像样本中的类别标签以及所述第五结果，计算所述分支解码器模块对应的BCE损失；
相应的，损失计算模块，具体用于：
基于所述增量学习损失、所述知识蒸馏损失以及所述BCE损失，确定所述目标损失。
在上述实施例的基础上，本发明实施例中提供的类别增量语义分割学习装置，损失计算模块，还具体用于：
基于所述类别标签以及所述第三结果，采用FocalLoss损失函数，计算第一增量学习损失；
基于所述类别标签以及所述第三结果，采用DiceLoss损失函数，计算第二增量学习损失。
在上述实施例的基础上，本发明实施例中提供的类别增量语义分割学习装置，语义分割模块，具体用于：
将所述图像样本输入至所述第一特征提取模块，得到所述第一特征提取模块输出的第一特征映射图；
将所述第一特征映射图输入至所述第一解码器模块，得到所述第一解码器模块输出的所述第一结果。
在上述实施例的基础上，本发明实施例中提供的类别增量语义分割学习装置，语义分割模块，还具体用于：
将所述图像样本输入至所述前一阶段的语义分割模型的第二特征提取模块，得到所述第二特征提取模块输出的第二特征映射图；
将所述第二特征映射图输入至所述前一阶段的语义分割模型的第二解码器模块，得到所述第二解码器模块输出的所述第二结果。
在上述实施例的基础上，本发明实施例中提供的类别增量语义分割学习装置，所述第一结果中的蒙版数量与所述当前阶段及之前的所有类别数量相同；所述第二结果中的蒙版数量与所述当前阶段之前的已知类别数量相同。
具体地，本发明实施例中提供的类别增量语义分割学习装置中各模块的作用与上述方法类实施例中各步骤的操作流程是一一对应的，实现的效果也是一致的，具体参见上述实施例，本发明实施例中对此不再赘述。
如图6所示，在上述实施例的基础上，本发明实施例中还提供了一种语义分割装置，包括：
图像获取模块61，用于获取目标图像；
语义分割模块62，用于将所述目标图像输入至上述各实施例中提供的类别增量语义分割学习方法中得到的当前阶段的语义分割模型，得到所述当前阶段的语义分割模型输出的分割结果。
具体地，本发明实施例中提供的语义分割装置中各模块的作用与上述方法类实施例中各步骤的操作流程是一一对应的，实现的效果也是一致的，具体参见上述实施例，本发明实施例中对此不再赘述。
图7示例了一种电子设备的实体结构示意图，如图7所示，该电子设备可以包括：处理器(Processor)710、通信接口(Communications Interface)720、存储器(Memory)730和通信总线740，其中，处理器710，通信接口720，存储器730通过通信总线740完成相互间的通信。处理器710可以调用存储器730中的逻辑指令，以执行上述各实施例中提供的类别增量语义分割学习方法，或语义分割方法。
此外，上述的存储器730中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各实施例中提供的类别增量语义分割学习方法，或语义分割方法。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各实施例中提供的类别增量语义分割学习方法，或语义分割方法。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种类别增量语义分割学习方法，其特征在于，包括：
将当前阶段的图像样本分别输入至当前阶段的主网络模型以及所述当前阶段的前一阶段的语义分割模型，得到所述主网络模型输出的第一结果以及所述前一阶段的语义分割模型输出的第二结果；
将所述第一结果划分为与所述主网络模型学习的类别对应的第三结果以及与所述当前阶段之前的已知类别对应的第四结果；
基于所述图像样本中的类别标签以及所述第三结果，采用二分类约束方法计算所述主网络模型的增量学习损失，基于所述第二结果以及所述第四结果，计算所述主网络模型的知识蒸馏损失，并基于所述增量学习损失以及所述知识蒸馏损失，确定目标损失；
基于所述目标损失，对所述主网络模型的结构参数进行迭代优化，得到所述当前阶段的语义分割模型。
2.根据权利要求1所述的类别增量语义分割学习方法，其特征在于，所述方法还包括：
确定所述主网络模型对应的分支解码器模块，所述分支解码器模块与所述主网络模型中的第一特征提取模块连接；
将所述当前阶段的图像样本输入至所述主网络模型，得到所述主网络模型中的第一解码器模块输出的所述第一结果以及所述分支解码器模块输出的第五结果；所述第五结果中的蒙版数量与所述当前阶段所述主网络模型学习的类别数量相同；
基于所述图像样本中的类别标签以及所述第五结果，计算所述分支解码器模块对应的BCE损失；
相应的，基于所述增量学习损失以及所述知识蒸馏损失，确定目标损失，包括：
基于所述增量学习损失、所述知识蒸馏损失以及所述BCE损失，确定所述目标损失。
3.根据权利要求2所述的类别增量语义分割学习方法，其特征在于，基于所述图像样本中的类别标签以及所述第三结果，采用二分类约束方法计算所述主网络模型的增量学习损失，包括：
基于所述类别标签以及所述第三结果，采用FocalLoss损失函数，计算第一增量学习损失；
基于所述类别标签以及所述第三结果，采用DiceLoss损失函数，计算第二增量学习损失。
4.根据权利要求2所述的类别增量语义分割学习方法，其特征在于，将所述当前阶段的图像样本输入至所述主网络模型，得到所述第一结果，包括：
将所述图像样本输入至所述第一特征提取模块，得到所述第一特征提取模块输出的第一特征映射图；
将所述第一特征映射图输入至所述第一解码器模块，得到所述第一解码器模块输出的所述第一结果。
5.根据权利要求1-4中任一项所述的类别增量语义分割学习方法，其特征在于，将所述当前阶段的图像样本输入至所述前一阶段的语义分割模型，得到所述第二结果，包括：
将所述图像样本输入至所述前一阶段的语义分割模型的第二特征提取模块，得到所述第二特征提取模块输出的第二特征映射图；
将所述第二特征映射图输入至所述前一阶段的语义分割模型的第二解码器模块，得到所述第二解码器模块输出的所述第二结果。
6.根据权利要求1-4中任一项所述的类别增量语义分割学习方法，其特征在于，所述第一结果中的蒙版数量与所述当前阶段及之前的所有类别数量相同；所述第二结果中的蒙版数量与所述当前阶段之前的已知类别数量相同。
7.一种语义分割方法，其特征在于，包括：
获取目标图像；
将所述目标图像输入至如权利要求1-6中任一项所述的类别增量语义分割学习方法中得到的当前阶段的语义分割模型，得到所述当前阶段的语义分割模型输出的分割结果。
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1-6中任一项所述的类别增量语义分割学习方法，或如权利要求7所述的语义分割方法。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6中任一项所述的类别增量语义分割学习方法，或如权利要求7所述的语义分割方法。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-6中任一项所述的类别增量语义分割学习方法，或如权利要求7所述的语义分割方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310890134.4A CN116977635B (zh) | 2023-07-19 | 2023-07-19 | 类别增量语义分割学习方法及语义分割方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310890134.4A CN116977635B (zh) | 2023-07-19 | 2023-07-19 | 类别增量语义分割学习方法及语义分割方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116977635A true CN116977635A (zh) | 2023-10-31 |
| CN116977635B CN116977635B (zh) | 2024-04-16 |
Family
ID=88480791
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310890134.4A Active CN116977635B (zh) | 2023-07-19 | 2023-07-19 | 类别增量语义分割学习方法及语义分割方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116977635B (zh) |
Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111199242A (zh) * | 2019-12-18 | 2020-05-26 | 浙江工业大学 | 一种基于动态修正向量的图像增量学习方法 |
| US20200175384A1 (en) * | 2018-11-30 | 2020-06-04 | Samsung Electronics Co., Ltd. | System and method for incremental learning |
| CN113344144A (zh) * | 2021-07-29 | 2021-09-03 | 中国人民解放军国防科技大学 | 半监督的小样本类别增量学习方法、装置及分类识别方法 |
| CN114332466A (zh) * | 2022-03-11 | 2022-04-12 | 中国科学技术大学 | 图像语义分割网络持续学习方法、系统、设备及存储介质 |
| CN114609994A (zh) * | 2022-02-24 | 2022-06-10 | 天津大学 | 基于多粒度正则化重平衡增量学习的故障诊断方法及装置 |
| CN114663657A (zh) * | 2022-03-14 | 2022-06-24 | 浙江大学 | 一种偏差上下文信息修正的增量语义分割方法 |
| CN115272858A (zh) * | 2022-07-28 | 2022-11-01 | 中国科学技术大学 | 一种基于域持续性学习的遥感语义分割方法及系统 |
| US20220383052A1 (en) * | 2021-05-18 | 2022-12-01 | Zhejiang University | Unsupervised domain adaptation method, device, system and storage medium of semantic segmentation based on uniform clustering |
| CN115496983A (zh) * | 2022-09-23 | 2022-12-20 | 西安交通大学 | 一种受语义知识指导的类增量学习方法及系统 |
| CN115661450A (zh) * | 2022-10-17 | 2023-01-31 | 北京航空航天大学 | 一种基于对比知识蒸馏的类别增量语义分割方法 |
| CN116089883A (zh) * | 2023-01-30 | 2023-05-09 | 北京邮电大学 | 用于提高已有类别增量学习新旧类别区分度的训练方法 |
| US20230145919A1 (en) * | 2021-11-09 | 2023-05-11 | Samsung Electronics Co., Ltd. | Method and apparatus for class incremental learning |
| CN116129219A (zh) * | 2023-01-16 | 2023-05-16 | 西安电子科技大学 | 一种基于知识稳健-重平衡网络的sar目标类增量识别方法 |
| CN116206104A (zh) * | 2022-12-28 | 2023-06-02 | 苏州数算人工智能科技有限公司 | 用于工业外观缺陷检测的人工智能分割分类算法 |
| CN116258944A (zh) * | 2023-05-15 | 2023-06-13 | 成都理工大学 | 基于双网络的遥感影像分类模型样本增量学习方法 |
| CN116363374A (zh) * | 2023-06-02 | 2023-06-30 | 中国科学技术大学 | 图像语义分割网络持续学习方法、系统、设备及存储介质 |
| CN116363366A (zh) * | 2023-03-31 | 2023-06-30 | 昆明理工大学 | 基于语义分割的输电线路山火监测方法、装置及存储介质 |
| CN116415653A (zh) * | 2021-12-28 | 2023-07-11 | 复旦大学 | 一种基于知识蒸馏的类别增量神经网络模型聚合方法 |
| CN116452818A (zh) * | 2023-05-06 | 2023-07-18 | 重庆邮电大学 | 一种基于特征增强的小样本遥感图像目标检测方法 |
-
2023
- 2023-07-19 CN CN202310890134.4A patent/CN116977635B/zh active Active
Patent Citations (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20200175384A1 (en) * | 2018-11-30 | 2020-06-04 | Samsung Electronics Co., Ltd. | System and method for incremental learning |
| CN111199242A (zh) * | 2019-12-18 | 2020-05-26 | 浙江工业大学 | 一种基于动态修正向量的图像增量学习方法 |
| US20220383052A1 (en) * | 2021-05-18 | 2022-12-01 | Zhejiang University | Unsupervised domain adaptation method, device, system and storage medium of semantic segmentation based on uniform clustering |
| CN113344144A (zh) * | 2021-07-29 | 2021-09-03 | 中国人民解放军国防科技大学 | 半监督的小样本类别增量学习方法、装置及分类识别方法 |
| US20230145919A1 (en) * | 2021-11-09 | 2023-05-11 | Samsung Electronics Co., Ltd. | Method and apparatus for class incremental learning |
| CN116415653A (zh) * | 2021-12-28 | 2023-07-11 | 复旦大学 | 一种基于知识蒸馏的类别增量神经网络模型聚合方法 |
| CN114609994A (zh) * | 2022-02-24 | 2022-06-10 | 天津大学 | 基于多粒度正则化重平衡增量学习的故障诊断方法及装置 |
| CN114332466A (zh) * | 2022-03-11 | 2022-04-12 | 中国科学技术大学 | 图像语义分割网络持续学习方法、系统、设备及存储介质 |
| CN114663657A (zh) * | 2022-03-14 | 2022-06-24 | 浙江大学 | 一种偏差上下文信息修正的增量语义分割方法 |
| CN115272858A (zh) * | 2022-07-28 | 2022-11-01 | 中国科学技术大学 | 一种基于域持续性学习的遥感语义分割方法及系统 |
| CN115496983A (zh) * | 2022-09-23 | 2022-12-20 | 西安交通大学 | 一种受语义知识指导的类增量学习方法及系统 |
| CN115661450A (zh) * | 2022-10-17 | 2023-01-31 | 北京航空航天大学 | 一种基于对比知识蒸馏的类别增量语义分割方法 |
| CN116206104A (zh) * | 2022-12-28 | 2023-06-02 | 苏州数算人工智能科技有限公司 | 用于工业外观缺陷检测的人工智能分割分类算法 |
| CN116129219A (zh) * | 2023-01-16 | 2023-05-16 | 西安电子科技大学 | 一种基于知识稳健-重平衡网络的sar目标类增量识别方法 |
| CN116089883A (zh) * | 2023-01-30 | 2023-05-09 | 北京邮电大学 | 用于提高已有类别增量学习新旧类别区分度的训练方法 |
| CN116363366A (zh) * | 2023-03-31 | 2023-06-30 | 昆明理工大学 | 基于语义分割的输电线路山火监测方法、装置及存储介质 |
| CN116452818A (zh) * | 2023-05-06 | 2023-07-18 | 重庆邮电大学 | 一种基于特征增强的小样本遥感图像目标检测方法 |
| CN116258944A (zh) * | 2023-05-15 | 2023-06-13 | 成都理工大学 | 基于双网络的遥感影像分类模型样本增量学习方法 |
| CN116363374A (zh) * | 2023-06-02 | 2023-06-30 | 中国科学技术大学 | 图像语义分割网络持续学习方法、系统、设备及存储介质 |
Non-Patent Citations (6)
| Title |
|---|
| CVER: "超详细的语义分割中Loss盘点", Retrieved from the Internet <URL:https://zhuanlan.zhihu.com/p/603748226> * |
| NEVER_JIAO: "AnatomyNet:Deep Learnning for Fast and Fully Automated Whole-volume Segmentation Head an Neck", Retrieved from the Internet <URL:https://blog.csdn.net/acmer_future_victor/article/details/124322155> * |
| UMBERTO MICHIEL 等: "Knowledge distillation for incremental learning in semantic segmentation", IEEE * |
| ZHAOXIANG ZHANG 等: "Joint Multisource Saliency and Exemplar Mechanism for Weakly Supervised Video Object Segmentation", IEEE * |
| ZHAOXIANG ZHANG 等: "Towards Noiseless Object Contours for Weakly Supervised Semantic Segmentation", IEEE * |
| 韩克平: "基于卷积神经网络的深度增量学习方法研究", 中国优秀硕士学位论文全文数据库 信息科技辑, no. 07 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116977635B (zh) | 2024-04-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108647585B (zh) | 一种基于多尺度循环注意力网络的交通标识符检测方法 | |
| CN112116030A (zh) | 一种基于向量标准化和知识蒸馏的图像分类方法 | |
| US20190318822A1 (en) | Deep image classification of medical images | |
| CN113076994B (zh) | 一种开集域自适应图像分类方法及系统 | |
| CN111507993A (zh) | 一种基于生成对抗网络的图像分割方法、装置及存储介质 | |
| CN112668579A (zh) | 基于自适应亲和力和类别分配的弱监督语义分割方法 | |
| CN114398855A (zh) | 基于融合预训练的文本抽取方法、系统及介质 | |
| CN112927209A (zh) | 一种基于cnn的显著性检测系统和方法 | |
| CN111967597A (zh) | 神经网络训练及图像分类方法、装置、存储介质、设备 | |
| CN111325766A (zh) | 三维边缘检测方法、装置、存储介质和计算机设备 | |
| CN113569852A (zh) | 语义分割模型的训练方法、装置、电子设备及存储介质 | |
| CN110414541B (zh) | 用于识别物体的方法、设备和计算机可读存储介质 | |
| CN113591978A (zh) | 一种基于置信惩罚正则化的自我知识蒸馏的图像分类方法、设备及存储介质 | |
| CN115984930A (zh) | 微表情识别方法、装置、微表情识别模型的训练方法 | |
| CN116994021A (zh) | 图像检测方法、装置、计算机可读介质及电子设备 | |
| CN116564355A (zh) | 一种基于自注意力机制融合的多模态情感识别方法、系统、设备及介质 | |
| CN113221814A (zh) | 一种道路交通标志识别方法、设备及存储介质 | |
| CN111461229B (zh) | 一种基于目标传递和线搜索的深层神经网络优化及图像分类方法 | |
| CN116977635B (zh) | 类别增量语义分割学习方法及语义分割方法 | |
| CN114882220B (zh) | 基于域自适应先验知识引导gan的图像生成方法及系统 | |
| CN112750128A (zh) | 图像语义分割方法、装置、终端及可读存储介质 | |
| CN115222750A (zh) | 基于多尺度融合注意力的遥感图像分割方法及系统 | |
| CN114092818B (zh) | 语义分割方法、装置、电子设备及存储介质 | |
| CN116524207A (zh) | 基于边缘检测辅助的弱监督rgbd图像显著性检测方法 | |
| CN116090425A (zh) | 一种基于词替换的文本生成方法、系统及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |