CN113221903A - 跨域自适应语义分割方法及系统 - Google Patents

跨域自适应语义分割方法及系统 Download PDF

Info

Publication number
CN113221903A
CN113221903A CN202110511242.7A CN202110511242A CN113221903A CN 113221903 A CN113221903 A CN 113221903A CN 202110511242 A CN202110511242 A CN 202110511242A CN 113221903 A CN113221903 A CN 113221903A
Authority
CN
China
Prior art keywords
target domain
prediction model
domain data
data
semantic segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110511242.7A
Other languages
English (en)
Other versions
CN113221903B (zh
Inventor
张兆翔
宋纯锋
王玉玺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Institute of Automation of Chinese Academy of Science
Original Assignee
Institute of Automation of Chinese Academy of Science
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Institute of Automation of Chinese Academy of Science filed Critical Institute of Automation of Chinese Academy of Science
Priority to CN202110511242.7A priority Critical patent/CN113221903B/zh
Publication of CN113221903A publication Critical patent/CN113221903A/zh
Application granted granted Critical
Publication of CN113221903B publication Critical patent/CN113221903B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种跨域自适应语义分割方法及系统，所述方法包括获取不同域训练数据集；对训练数据集进行迭代训练，建立熵值预测模型：根据熵值预测模型，计算目标域数据的熵值；对各熵值进行多元高斯拟合，通过最大期望算法，得到两个峰值的高斯分布；根据所述高斯分布，确定伪标签；根据伪标签，重新训练目标域数据，构造语义分割模型；基于所述语义分割模型，对待处理数据进行语义分割。本发明通过对不同域训练数据集进行迭代训练，建立熵值预测模型，进而计算熵值，通过多元高斯拟合，最大期望算法，得到高斯分布，确定目标域数据的伪标签，排除手工阈值的干扰，以便于准确构造基于伪标签的语义分割模型，从而实现对待处理数据的自动语义分割。

Description

跨域自适应语义分割方法及系统
技术领域
本发明涉及计算机视觉及模式识别技术领域，特别涉及一种基于不确定性伪标签校正的跨域自适应语义分割方法及系统。
背景技术
领域自适应作为迁移学习的一种，是机器学习领域一个重要且具有挑战性的任务，在图像识别，目标检测以及图像语义分割等领域具有广泛应用。在大数据时代，每天都会有海量的数据产生，但能够用于机器学习的标注数据却很难获取，因为这些数据的标注有些需要耗时的精细标注，比如像素级别的语义分割标注，有些需要标注者有足够的主业知识及经验，比如医学影像的标注，还有些由于数据量极大，标注困难。所以如何利用现有的标注样本，把这部分数据学到的知识迁移到新数据中去，是一个非常具有实际意义的任务。
发明内容
为了解决现有技术中的上述问题，即为了可自动实现对当前数据进行语义分割，本发明的目的在于提供一种跨域自适应语义分割方法及系统。
为解决上述技术问题，本发明提供了如下方案：
一种跨域自适应语义分割方法，所述跨域自适应语义分割方法包括：
获取不同域训练数据集，所述训练数据集包括有标签的源域数据和无标签的目标域数据；
执行以下操作，对所述训练数据集进行迭代训练，建立熵值预测模型：
针对每一次迭代，基于对抗学习网络，根据所述源域数据及目标域数据，得到第一预测模型；
根据所述第一预测模型，确定所述目标域数据中各类别的平均熵；
筛选出平均熵最高的K个类别的目标域数据，采用软采样方法进行重采样；
根据重采样数据，得到第二预测模型；
根据所述第二预测模型，再次计算刷选出的K个类别的目标域数据的平均熵，确定是否有变化，如果有变化，则调整模型参数，进行下次迭代，直至得到迭代阈值结束；如果没有变化，则当前的第二预测模型为熵值预测模型；
根据所述熵值预测模型，计算所述目标域数据的熵值；
对各熵值进行多元高斯拟合，通过最大期望算法，得到两个峰值的高斯分布；
根据所述高斯分布，确定目标域数据的伪标签；
根据目标域的伪标签，重新训练目标域数据，构造基于伪标签的语义分割模型；
基于所述语义分割模型，对待处理数据，进行语义分割。
可选地，所述基于对抗学习网络，根据所述源域数据及目标域数据，得到第一预测模型，具体包括：
根据所述源域数据及对应的标签，构造语义分割损失函数；
基于对抗学习网络，根据所述源域数据，确定对抗学习损失函数；
基于语义分割损失函数、对抗学习损失函数，及所述目标域数据，确定第一预测模型。
可选地，根据以下公式，确定语义分割损失函数Lseg(xs,ys)：
Figure BDA0003060466330000031
其中，H表示源域图像的长，W表示源域图像的宽，C表示源域图像的类别；h,w表示像素位置，c表示该像素类别，xs表示源域图像，ys表示源域图像xs对应的标签数据，
Figure BDA0003060466330000032
表示在位置(h,w)处类别c的值，
Figure BDA0003060466330000033
表示位置(h,w)处类别c的预测结果
可选地，根据以下公式，确定对抗学习损失函数Ladv(xs,xt)：
Figure BDA0003060466330000034
其中，D表示领域判别器函数，xs表示源域图像，xt表示目标域图像，
Figure BDA0003060466330000035
表示在源域图像xs上的期望、
Figure BDA0003060466330000036
表示在目标域图像xt上的期望，
Figure BDA0003060466330000037
表示针对源域图像xs的预测结果，
Figure BDA0003060466330000038
表示针对目标域图像xt的预测结果。
可选地，根据以下公式，确定所述目标域数据中各类别的平均熵
Figure BDA0003060466330000039
Figure BDA00030604663300000310
其中，C表示源域图像的类别；h,w表示像素位置，c表示该像素类别，xt表示目标域图像，
Figure BDA00030604663300000311
表示在位置(h,w)处类别c的预测结果。
可选地，所述筛选出平均熵最高的K个类别的目标域数据，采用软采样方法进行重采样，具体包括：
根据公式
Figure BDA0003060466330000041
进行重采样，得到重采样数据pins(x)；
其中，λ表示超参数，wi表示类别i的重采样权重，pi(x)表示样本x中类别i的采样概率，yi表示类比为i的标签值，si表示类别i的像素数。
可选地，在进行迭代训练之前，还包括：
对训练数据集进行归一化处理，得到统一大小的训练数据集。
为解决上述技术问题，本发明还提供了如下方案：
一种跨域自适应语义分割系统，所述跨域自适应语义分割系统包括：
获取单元，用于获取不同域训练数据集，所述训练数据集包括有标签的源域数据和无标签的目标域数据；
第一建模单元，用于执行以下操作，对所述训练数据集进行迭代训练，建立熵值预测模型：
针对每一次迭代，基于对抗学习网络，根据所述源域数据及目标域数据，得到第一预测模型；
根据所述第一预测模型，确定所述目标域数据中各类别的平均熵；
筛选出平均熵最高的K个类别的目标域数据，采用软采样方法进行重采样；
根据重采样数据，得到第二预测模型；
根据所述第二预测模型，再次计算刷选出的K个类别的目标域数据的平均熵，确定是否有变化，如果有变化，则调整模型参数，进行下次迭代，直至得到迭代阈值结束；如果没有变化，则当前的第二预测模型为熵值预测模型；
计算单元，用于根据所述熵值预测模型，计算所述目标域数据的熵值；
图像处理单元，用于对各熵值进行多元高斯拟合，通过最大期望算法，得到两个峰值的高斯分布；
确定单元，用于根据所述高斯分布，确定目标域数据的伪标签；
第二建模单元，用于根据目标域的伪标签，重新训练目标域数据，构造基于伪标签的语义分割模型；
语义分割单元，用于基于所述语义分割模型，对待处理数据，进行语义分割。
为解决上述技术问题，本发明还提供了如下方案：
一种跨域自适应语义分割系统，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行以下操作：
获取不同域训练数据集，所述训练数据集包括有标签的源域数据和无标签的目标域数据；
执行以下操作，对所述训练数据集进行迭代训练，建立熵值预测模型：
针对每一次迭代，基于对抗学习网络，根据所述源域数据及目标域数据，得到第一预测模型；
根据所述第一预测模型，确定所述目标域数据中各类别的平均熵；
筛选出平均熵最高的K个类别的目标域数据，采用软采样方法进行重采样；
根据重采样数据，得到第二预测模型；
根据所述第二预测模型，再次计算刷选出的K个类别的目标域数据的平均熵，确定是否有变化，如果有变化，则调整模型参数，进行下次迭代，直至得到迭代阈值结束；如果没有变化，则当前的第二预测模型为熵值预测模型；
根据所述熵值预测模型，计算所述目标域数据的熵值；
对各熵值进行多元高斯拟合，通过最大期望算法，得到两个峰值的高斯分布；
根据所述高斯分布，确定目标域数据的伪标签；
根据目标域的伪标签，重新训练目标域数据，构造基于伪标签的语义分割模型；
基于所述语义分割模型，对待处理数据，进行语义分割。
为解决上述技术问题，本发明还提供了如下方案：
一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行以下操作：
获取不同域训练数据集，所述训练数据集包括有标签的源域数据和无标签的目标域数据；
执行以下操作，对所述训练数据集进行迭代训练，建立熵值预测模型：
针对每一次迭代，基于对抗学习网络，根据所述源域数据及目标域数据，得到第一预测模型；
根据所述第一预测模型，确定所述目标域数据中各类别的平均熵；
筛选出平均熵最高的K个类别的目标域数据，采用软采样方法进行重采样；
根据重采样数据，得到第二预测模型；
根据所述第二预测模型，再次计算刷选出的K个类别的目标域数据的平均熵，确定是否有变化，如果有变化，则调整模型参数，进行下次迭代，直至得到迭代阈值结束；如果没有变化，则当前的第二预测模型为熵值预测模型；
根据所述熵值预测模型，计算所述目标域数据的熵值；
对各熵值进行多元高斯拟合，通过最大期望算法，得到两个峰值的高斯分布；
根据所述高斯分布，确定目标域数据的伪标签；
根据目标域的伪标签，重新训练目标域数据，构造基于伪标签的语义分割模型；
基于所述语义分割模型，对待处理数据，进行语义分割。
根据本发明的实施例，本发明公开了以下技术效果：
本发明通过对不同域训练数据集进行迭代训练，建立熵值预测模型，进而通过熵值预测模型计算所述目标域数据的熵值，进一步进行多元高斯拟合，通过最大期望算法，得到两个峰值的高斯分布，确定目标域数据的伪标签，排除手工阈值的干扰，以便于准确构造基于伪标签的语义分割模型，从而实现对待处理数据的自动语义分割。
附图说明
图1是本发明跨域自适应语义分割方法的流程图；
图2是本发明跨域自适应语义分割系统的模块结构示意图。
符号说明：
获取单元—1，第一建模单元—2，计算单元—3，图像处理单元—4，确定单元—5，第二建模单元—6，语义分割单元—7。
具体实施方式
下面参照附图来描述本发明的优选实施方式。本领域技术人员应当理解的是，这些实施方式仅仅用于解释本发明的技术原理，并非旨在限制本发明的保护范围。
本发明的目的是提供一种跨域自适应语义分割方法，通过对不同域训练数据集进行迭代训练，建立熵值预测模型，进而通过熵值预测模型计算所述目标域数据的熵值，进一步进行多元高斯拟合，通过最大期望算法，得到两个峰值的高斯分布，确定目标域数据的伪标签，可排除手工阈值的干扰，以便于准确构造基于伪标签的语义分割模型，从而实现对待处理数据的自动语义分割。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
如图1所示，本发明跨域自适应语义分割方法包括：
步骤100：获取不同域训练数据集，所述训练数据集包括有标签的源域数据和无标签的目标域数据；
步骤200：执行以下操作，对所述训练数据集进行迭代训练，建立熵值预测模型：
步骤210：针对每一次迭代，基于对抗学习网络，根据所述源域数据及目标域数据，得到第一预测模型；
步骤220：根据所述第一预测模型，确定所述目标域数据中各类别的平均熵；
步骤230：筛选出平均熵最高的K个类别的目标域数据，采用软采样方法进行重采样；
步骤240：根据重采样数据，得到第二预测模型；
步骤250：根据所述第二预测模型，再次计算刷选出的K个类别的目标域数据的平均熵，确定是否有变化，如果有变化，则调整模型参数，进行下次迭代，直至得到迭代阈值结束；如果没有变化，则当前的第二预测模型为熵值预测模型；
步骤300：根据所述熵值预测模型，计算所述目标域数据的熵值；
步骤400：对各熵值进行多元高斯拟合，通过最大期望算法，得到两个峰值的高斯分布；
步骤500：根据所述高斯分布，确定目标域数据的伪标签；
步骤600：根据目标域的伪标签，重新训练目标域数据，构造基于伪标签的语义分割模型；
步骤700：基于所述语义分割模型，对待处理数据，进行语义分割。
其中，在步骤100与步骤200之前，本发明跨域自适应语义分割方法还包括：对训练数据集进行归一化处理，得到统一大小的训练数据集。
例如，在本实施例中，归一化处理得到512×1024×3像素的图像数据。
在步骤210中，所述基于对抗学习网络，根据所述源域数据及目标域数据，得到第一预测模型，具体包括：
步骤211：根据所述源域数据及对应的标签，构造语义分割损失函数。
根据以下公式，确定语义分割损失函数Lseg(xs,ys)：
Figure BDA0003060466330000091
其中，H表示源域图像的长，W表示源域图像的宽，C表示源域图像的类别；h,w表示像素位置，c表示该像素类别，xs表示源域图像，ys表示源域图像xs对应的标签数据，
Figure BDA0003060466330000092
表示在位置(h,w)处类别c的值，
Figure BDA0003060466330000093
表示位置(h,w)处类别c的预测结果。
步骤212：基于对抗学习网络，根据所述源域数据，确定对抗学习损失函数。
根据以下公式，确定对抗学习损失函数Ladv(xs,xt)：
Figure BDA0003060466330000101
其中，D表示领域判别器函数，xs表示源域图像，xt表示目标域图像，
Figure BDA0003060466330000102
表示在源域图像xs上的期望、
Figure BDA0003060466330000103
表示在目标域图像xt上的期望，
Figure BDA0003060466330000104
表示针对源域图像xs的预测结果，
Figure BDA0003060466330000105
表示针对目标域图像xt的预测结果
步骤213：基于语义分割损失函数、对抗学习损失函数，及所述目标域数据，确定第一预测模型。
进一步地，在步骤220中，根据以下公式，确定所述目标域数据中各类别的平均熵
Figure BDA0003060466330000106
Figure BDA0003060466330000107
其中，C表示源域图像的类别；h,w表示像素位置，c表示该像素类别，xt表示目标域图像，
Figure BDA0003060466330000108
表示在位置(h,w)处类别c的预测结果。
本发明基于不确定性区域校正的方式，采用熵作为衡量输出确定性的度量方式，熵值高代表输出结果不确定性大，相反，熵值低代表输出结果不确定性低。按类别计算不同类的熵值，对于不确定性高的类通过重采样进行重新训练。
可选地，所述筛选出平均熵最高的K个类别的目标域数据，采用软采样方法进行重采样，具体包括：
根据公式
Figure BDA0003060466330000109
进行重采样，得到重采样数据pins(x)；
其中，λ表示超参数，wi表示类别i的重采样权重，pi(x)表示样本x中类别i的采样概率，yi表示类比为i的标签值，si表示类别i的像素数。
本发明采用软方法进行重采样的类别平衡策略，能有效的解决少量样本由于类别不充分带来的欠拟合问题，也不会导致大量类充分训练造成的过拟合；而且通过对不确定区域进行重采样提高模型的鲁棒性。
在步骤400中，两个峰值的高斯分布Pc由示负样本分布和正样本分布组成。
Pc(Ec)＝Nneg(μneg,σneg)+Npos(μpos,σpos)；
其中，μneg表示负样本的均值、σneg表示负样本的方差、μpos表示正样本的均值、σpos表示正样本的方差，Ec表示在类别c上计算得到的熵值。
在步骤500中，根据所述高斯分布，确定目标域数据的伪标签，具体包括：将满足正样本高斯分布的样本作为伪标签。
优选地，通过梯度反传算法训练模型，利用训练好的跨域自适应的语义分割模型在目标域数据集进行测试。首先将目标域测试数据归一化为统一的大小(如512×1024×3像素)，输入训练好的语义分割模型，得到目标域数据的分割结果，并与测试数据标签进行对比，确定本发明基于伪标签的语义分割模型的性能。
本发明针对伪标签噪声问题，本发明从两个方面提高伪标签质量。首先，通过对不确定区域重采样的方式增强模型的预测性能，另一方面，提出一种自适应的完全无参数的伪标签生成方式，抛出了手工设计伪标签的方式，大大提高了标签生成质量。在具体实现上，一是利用源域和目标域数据通过对抗学习的方式得到初始模型，在该模型基础上，得到各类结果的输出熵的值，然后选取熵值最大的K个类，对其进行重采样训练模型；不断迭代该过程直到熵值最大的类不再变化。二是自适应伪标签生成方式，将预测输出的结果拟合到多元高斯分布中，通过EM算法拟合函数分布，将输出结果拟合到两个不同的分布中，其中正输出的结果作为目标域的伪标签，而负输出的结果忽略不计。本发明从提高伪标签质量的角度解决源域和目标域之间的领域不一致问题，取得了优秀的适应性能。
此外，本发明还提供了一种跨域自适应语义分割系统。如图2所示，本发明跨域自适应语义分割系统包括获取单元1、第一建模单元2、计算单元3、图像处理单元4、确定单元5、第二建模单元6及语义分割单元7。
具体地，所述获取单元1用于获取不同域训练数据集，所述训练数据集包括有标签的源域数据和无标签的目标域数据；
所述第一建模单元2用于执行以下操作，对所述训练数据集进行迭代训练，建立熵值预测模型：
针对每一次迭代，基于对抗学习网络，根据所述源域数据及目标域数据，得到第一预测模型；
根据所述第一预测模型，确定所述目标域数据中各类别的平均熵；
筛选出平均熵最高的K个类别的目标域数据，采用软采样方法进行重采样；
根据重采样数据，得到第二预测模型；
根据所述第二预测模型，再次计算刷选出的K个类别的目标域数据的平均熵，确定是否有变化，如果有变化，则调整模型参数，进行下次迭代，直至得到迭代阈值结束；如果没有变化，则当前的第二预测模型为熵值预测模型。
所述计算单元3用于根据所述熵值预测模型，计算所述目标域数据的熵值；
所述图像处理单元4用于对各熵值进行多元高斯拟合，通过最大期望算法，得到两个峰值的高斯分布。
所述确定单元5用于根据所述高斯分布，确定目标域数据的伪标签。
所述第二建模单元6用于根据目标域的伪标签，重新训练目标域数据，构造基于伪标签的语义分割模型。
所述语义分割单元7用于基于所述语义分割模型，对待处理数据，进行语义分割。
进一步地，本发明还提供了如下方案：
一种跨域自适应语义分割系统，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行以下操作：
获取不同域训练数据集，所述训练数据集包括有标签的源域数据和无标签的目标域数据；
执行以下操作，对所述训练数据集进行迭代训练，建立熵值预测模型：
针对每一次迭代，基于对抗学习网络，根据所述源域数据及目标域数据，得到第一预测模型；
根据所述第一预测模型，确定所述目标域数据中各类别的平均熵；
筛选出平均熵最高的K个类别的目标域数据，采用软采样方法进行重采样；
根据重采样数据，得到第二预测模型；
根据所述第二预测模型，再次计算刷选出的K个类别的目标域数据的平均熵，确定是否有变化，如果有变化，则调整模型参数，进行下次迭代，直至得到迭代阈值结束；如果没有变化，则当前的第二预测模型为熵值预测模型；
根据所述熵值预测模型，计算所述目标域数据的熵值；
对各熵值进行多元高斯拟合，通过最大期望算法，得到两个峰值的高斯分布；
根据所述高斯分布，确定目标域数据的伪标签；
根据目标域的伪标签，重新训练目标域数据，构造基于伪标签的语义分割模型；
基于所述语义分割模型，对待处理数据，进行语义分割。
为解决上述技术问题，本发明还提供了如下方案：
一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行以下操作：
获取不同域训练数据集，所述训练数据集包括有标签的源域数据和无标签的目标域数据；
执行以下操作，对所述训练数据集进行迭代训练，建立熵值预测模型：
针对每一次迭代，基于对抗学习网络，根据所述源域数据及目标域数据，得到第一预测模型；
根据所述第一预测模型，确定所述目标域数据中各类别的平均熵；
筛选出平均熵最高的K个类别的目标域数据，采用软采样方法进行重采样；
根据重采样数据，得到第二预测模型；
根据所述第二预测模型，再次计算刷选出的K个类别的目标域数据的平均熵，确定是否有变化，如果有变化，则调整模型参数，进行下次迭代，直至得到迭代阈值结束；如果没有变化，则当前的第二预测模型为熵值预测模型；
根据所述熵值预测模型，计算所述目标域数据的熵值；
对各熵值进行多元高斯拟合，通过最大期望算法，得到两个峰值的高斯分布；
根据所述高斯分布，确定目标域数据的伪标签；
根据目标域的伪标签，重新训练目标域数据，构造基于伪标签的语义分割模型；
基于所述语义分割模型，对待处理数据，进行语义分割。
相对于现有技术，本发明跨域自适应语义分割系统、计算机可读存储介质与上述跨域自适应语义分割方法的有益效果相同，在此不再赘述。
至此，已经结合附图所示的优选实施方式描述了本发明的技术方案，但是，本领域技术人员容易理解的是，本发明的保护范围显然不局限于这些具体实施方式。在不偏离本发明的原理的前提下，本领域技术人员可以对相关技术特征作出等同的更改或替换，这些更改或替换之后的技术方案都将落入本发明的保护范围之内。

Claims (10)

1.一种跨域自适应语义分割方法，其特征在于，所述跨域自适应语义分割方法包括：
获取不同域训练数据集，所述训练数据集包括有标签的源域数据和无标签的目标域数据；
执行以下操作，对所述训练数据集进行迭代训练，建立熵值预测模型：
针对每一次迭代，基于对抗学习网络，根据所述源域数据及目标域数据，得到第一预测模型；
根据所述第一预测模型，确定所述目标域数据中各类别的平均熵；
筛选出平均熵最高的K个类别的目标域数据，采用软采样方法进行重采样；
根据重采样数据，得到第二预测模型；
根据所述第二预测模型，再次计算刷选出的K个类别的目标域数据的平均熵，确定是否有变化，如果有变化，则调整模型参数，进行下次迭代，直至得到迭代阈值结束；如果没有变化，则当前的第二预测模型为熵值预测模型；
根据所述熵值预测模型，计算所述目标域数据的熵值；
对各熵值进行多元高斯拟合，通过最大期望算法，得到两个峰值的高斯分布；
根据所述高斯分布，确定目标域数据的伪标签；
根据目标域的伪标签，重新训练目标域数据，构造基于伪标签的语义分割模型；
基于所述语义分割模型，对待处理数据，进行语义分割。
2.根据权利要求1所述的跨域自适应语义分割方法，其特征在于，所述基于对抗学习网络，根据所述源域数据及目标域数据，得到第一预测模型，具体包括：
根据所述源域数据及对应的标签，构造语义分割损失函数；
基于对抗学习网络，根据所述源域数据及目标域数据，确定对抗学习损失函数；
基于语义分割损失函数、对抗学习损失函数，及所述目标域数据，确定第一预测模型。
3.根据权利要求2所述的跨域自适应语义分割方法，其特征在于，根据以下公式，确定语义分割损失函数Lseg(xs,ys)：
Figure FDA0003060466320000021
其中，H表示源域图像的长，W表示源域图像的宽，C表示源域图像的类别；h,w表示像素位置，c表示该像素类别，xs表示源域图像，ys表示源域图像xs对应的标签数据，
Figure FDA0003060466320000022
表示在位置(h,w)处类别c的值，
Figure FDA0003060466320000023
表示位置(h,w)处类别c的预测结果。
4.根据权利要求2所述的跨域自适应语义分割方法，其特征在于，根据以下公式，确定对抗学习损失函数Ladv(xs,xt)：
Figure FDA0003060466320000024
其中，D表示领域判别器函数，xs表示源域图像，xt表示目标域图像，
Figure FDA0003060466320000025
表示在源域图像xs上的期望、
Figure FDA0003060466320000026
表示在目标域图像xt上的期望，
Figure FDA0003060466320000027
表示针对源域图像xs的预测结果，
Figure FDA0003060466320000028
表示针对目标域图像xt的预测结果。
5.根据权利要求1所述的跨域自适应语义分割方法，其特征在于，根据以下公式，确定所述目标域数据中各类别的平均熵
Figure FDA0003060466320000029
Figure FDA00030604663200000210
其中，C表示源域图像的类别；h,w表示像素位置，c表示该像素类别，xt表示目标域图像，
Figure FDA00030604663200000211
表示在位置(h,w)处类别c的预测结果。
6.根据权利要求1所述的跨域自适应语义分割方法，其特征在于，所述筛选出平均熵最高的K个类别的目标域数据，采用软采样方法进行重采样，具体包括：
根据公式
Figure FDA0003060466320000031
进行重采样，得到重采样数据pins(x)；
其中，λ表示超参数，wi表示类别i的重采样权重，pi(x)表示样本x中类别i的采样概率，yi表示类比为i的标签值，si表示类别i的像素数。
7.根据权利要求1-6中任一项所述的跨域自适应语义分割方法，其特征在于，在进行迭代训练之前，还包括：
对训练数据集进行归一化处理，得到统一大小的训练数据集。
8.一种跨域自适应语义分割系统，其特征在于，所述跨域自适应语义分割系统包括：
获取单元，用于获取不同域训练数据集，所述训练数据集包括有标签的源域数据和无标签的目标域数据；
第一建模单元，用于执行以下操作，对所述训练数据集进行迭代训练，建立熵值预测模型：
针对每一次迭代，基于对抗学习网络，根据所述源域数据及目标域数据，得到第一预测模型；
根据所述第一预测模型，确定所述目标域数据中各类别的平均熵；
筛选出平均熵最高的K个类别的目标域数据，采用软采样方法进行重采样；
根据重采样数据，得到第二预测模型；
根据所述第二预测模型，再次计算刷选出的K个类别的目标域数据的平均熵，确定是否有变化，如果有变化，则调整模型参数，进行下次迭代，直至得到迭代阈值结束；如果没有变化，则当前的第二预测模型为熵值预测模型；
计算单元，用于根据所述熵值预测模型，计算所述目标域数据的熵值；
图像处理单元，用于对各熵值进行多元高斯拟合，通过最大期望算法，得到两个峰值的高斯分布；
确定单元，用于根据所述高斯分布，确定目标域数据的伪标签；
第二建模单元，用于根据目标域的伪标签，重新训练目标域数据，构造基于伪标签的语义分割模型；
语义分割单元，用于基于所述语义分割模型，对待处理数据，进行语义分割。
9.一种跨域自适应语义分割系统，包括：
处理器；以及
被安排成存储计算机可执行指令的存储器，所述可执行指令在被执行时使所述处理器执行以下操作：
获取不同域训练数据集，所述训练数据集包括有标签的源域数据和无标签的目标域数据；
执行以下操作，对所述训练数据集进行迭代训练，建立熵值预测模型：
针对每一次迭代，基于对抗学习网络，根据所述源域数据及目标域数据，得到第一预测模型；
根据所述第一预测模型，确定所述目标域数据中各类别的平均熵；
筛选出平均熵最高的K个类别的目标域数据，采用软采样方法进行重采样；
根据重采样数据，得到第二预测模型；
根据所述第二预测模型，再次计算刷选出的K个类别的目标域数据的平均熵，确定是否有变化，如果有变化，则调整模型参数，进行下次迭代，直至得到迭代阈值结束；如果没有变化，则当前的第二预测模型为熵值预测模型；
根据所述熵值预测模型，计算所述目标域数据的熵值；
对各熵值进行多元高斯拟合，通过最大期望算法，得到两个峰值的高斯分布；
根据所述高斯分布，确定目标域数据的伪标签；
根据目标域的伪标签，重新训练目标域数据，构造基于伪标签的语义分割模型；
基于所述语义分割模型，对待处理数据，进行语义分割。
10.一种计算机可读存储介质，所述计算机可读存储介质存储一个或多个程序，所述一个或多个程序当被包括多个应用程序的电子设备执行时，使得所述电子设备执行以下操作：
获取不同域训练数据集，所述训练数据集包括有标签的源域数据和无标签的目标域数据；
执行以下操作，对所述训练数据集进行迭代训练，建立熵值预测模型：
针对每一次迭代，基于对抗学习网络，根据所述源域数据及目标域数据，得到第一预测模型；
根据所述第一预测模型，确定所述目标域数据中各类别的平均熵；
筛选出平均熵最高的K个类别的目标域数据，采用软采样方法进行重采样；
根据重采样数据，得到第二预测模型；
根据所述第二预测模型，再次计算刷选出的K个类别的目标域数据的平均熵，确定是否有变化，如果有变化，则调整模型参数，进行下次迭代，直至得到迭代阈值结束；如果没有变化，则当前的第二预测模型为熵值预测模型；
根据所述熵值预测模型，计算所述目标域数据的熵值；
对各熵值进行多元高斯拟合，通过最大期望算法，得到两个峰值的高斯分布；
根据所述高斯分布，确定目标域数据的伪标签；
根据目标域的伪标签，重新训练目标域数据，构造基于伪标签的语义分割模型；
基于所述语义分割模型，对待处理数据，进行语义分割。
CN202110511242.7A 2021-05-11 2021-05-11 跨域自适应语义分割方法及系统 Active CN113221903B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110511242.7A CN113221903B (zh) 2021-05-11 2021-05-11 跨域自适应语义分割方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110511242.7A CN113221903B (zh) 2021-05-11 2021-05-11 跨域自适应语义分割方法及系统

Publications (2)

Publication Number Publication Date
CN113221903A true CN113221903A (zh) 2021-08-06
CN113221903B CN113221903B (zh) 2021-10-15

Family

ID=77094692

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110511242.7A Active CN113221903B (zh) 2021-05-11 2021-05-11 跨域自适应语义分割方法及系统

Country Status (1)

Country Link
CN (1) CN113221903B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113807420A (zh) * 2021-09-06 2021-12-17 湖南大学 一种考虑类别语义匹配的域自适应目标检测方法及系统
CN114399640A (zh) * 2022-03-24 2022-04-26 之江实验室 一种不确定区域发现与模型改进的道路分割方法及装置
CN114547688A (zh) * 2022-02-24 2022-05-27 余姚市亿盛金属制品有限公司 窗帘智能生产车间数据的差分隐私保护方法、装置、计算设备和存储介质
CN115471662A (zh) * 2022-11-03 2022-12-13 深圳比特微电子科技有限公司 语义分割模型的训练方法、识别方法、装置和存储介质
CN116363362A (zh) * 2023-03-08 2023-06-30 阿里巴巴（中国）有限公司 图像语义分割方法、对象识别方法及计算设备
CN117636086A (zh) * 2023-10-13 2024-03-01 中国科学院自动化研究所 无源域适应目标检测方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190392580A1 (en) * 2018-06-26 2019-12-26 Definiens Ag Deep Learning Method For Tumor Cell Scoring On Cancer Biopsies
EP3671531A1 (en) * 2018-12-17 2020-06-24 Promaton Holding B.V. Semantic segmentation of non-euclidean 3d data sets using deep learning
CN112419320A (zh) * 2021-01-22 2021-02-26 湖南师范大学 基于sam与多层uda的跨模态心脏分割方法
CN112699892A (zh) * 2021-01-08 2021-04-23 北京工业大学 一种无监督领域自适应语义分割方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190392580A1 (en) * 2018-06-26 2019-12-26 Definiens Ag Deep Learning Method For Tumor Cell Scoring On Cancer Biopsies
EP3671531A1 (en) * 2018-12-17 2020-06-24 Promaton Holding B.V. Semantic segmentation of non-euclidean 3d data sets using deep learning
CN112699892A (zh) * 2021-01-08 2021-04-23 北京工业大学 一种无监督领域自适应语义分割方法
CN112419320A (zh) * 2021-01-22 2021-02-26 湖南师范大学 基于sam与多层uda的跨模态心脏分割方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
TUAN-HUNG VU: "ADVENT: Adversarial Entropy Minimization for Domain Adaptation in Semantic Segmentation", 《2019 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *
ZHAOXIANG ZHANG ET AL.: "Instance Guided Proposal Network for Person Search", 《IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION (CVPR)》 *

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113807420A (zh) * 2021-09-06 2021-12-17 湖南大学 一种考虑类别语义匹配的域自适应目标检测方法及系统
CN113807420B (zh) * 2021-09-06 2024-03-19 湖南大学 一种考虑类别语义匹配的域自适应目标检测方法及系统
CN114547688A (zh) * 2022-02-24 2022-05-27 余姚市亿盛金属制品有限公司 窗帘智能生产车间数据的差分隐私保护方法、装置、计算设备和存储介质
CN114547688B (zh) * 2022-02-24 2024-05-17 余姚市亿盛金属制品有限公司 窗帘智能生产车间数据的差分隐私保护方法和装置
CN114399640A (zh) * 2022-03-24 2022-04-26 之江实验室 一种不确定区域发现与模型改进的道路分割方法及装置
CN114399640B (zh) * 2022-03-24 2022-07-15 之江实验室 一种不确定区域发现与模型改进的道路分割方法及装置
CN115471662A (zh) * 2022-11-03 2022-12-13 深圳比特微电子科技有限公司 语义分割模型的训练方法、识别方法、装置和存储介质
CN115471662B (zh) * 2022-11-03 2023-05-02 深圳比特微电子科技有限公司 语义分割模型的训练方法、识别方法、装置和存储介质
CN116363362A (zh) * 2023-03-08 2023-06-30 阿里巴巴（中国）有限公司 图像语义分割方法、对象识别方法及计算设备
CN116363362B (zh) * 2023-03-08 2024-01-09 阿里巴巴（中国）有限公司 图像语义分割方法、对象识别方法及计算设备
CN117636086A (zh) * 2023-10-13 2024-03-01 中国科学院自动化研究所 无源域适应目标检测方法及装置

Also Published As

Publication number Publication date
CN113221903B (zh) 2021-10-15

Similar Documents

Publication Publication Date Title
CN113221903B (zh) 跨域自适应语义分割方法及系统
CN108986050B (zh) 一种基于多分支卷积神经网络的图像和视频增强方法
CN114492574A (zh) 基于高斯均匀混合模型的伪标签损失无监督对抗域适应图片分类方法
CN108229675A (zh) 神经网络的训练方法、物体检测方法、装置和电子设备
CN115296984B (zh) 异常网络节点的检测方法及装置、设备、存储介质
CN112949693A (zh) 图像分类模型的训练方法、图像分类方法、装置和设备
CN113706472B (zh) 公路路面病害检测方法、装置、设备及存储介质
CN112016454A (zh) 一种人脸对齐的检测方法
CN110570435A (zh) 用于对车辆损伤图像进行损伤分割的方法及装置
CN116912568A (zh) 基于自适应类别均衡的含噪声标签图像识别方法
CN112508800A (zh) 一种基于注意力机制的单张灰度图像的金属零件表面高光去除方法
CN110866872A (zh) 一种路面裂缝图片预处理智能选择方法、装置及电子设备
CN110400335B (zh) 基于深度学习的纹理图像质量估计方法
CN115797735A (zh) 目标检测方法、装置、设备和存储介质
CN113139564A (zh) 关键点检测模型的训练方法、装置、电子设备及存储介质
CN113326825A (zh) 伪标签生成方法、装置、电子设备及存储介质
Walker et al. The effect of physics-based corrections and data augmentation on transfer learning for segmentation of benthic imagery
CN116246126A (zh) 迭代无监督域自适应方法和装置
CN116486150A (zh) 一种基于不确定性感知的图像分类模型回归误差消减方法
CN115439738A (zh) 一种基于自监督协同重构的水下目标检测方法
CN113610016A (zh) 视频帧特征提取模型的训练方法、系统、设备及存储介质
CN111914751A (zh) 一种图像人群密度识别检测方法及系统
CN117522939B (zh) 一种单目单张模糊图像深度计算方法
CN116310276B (zh) 目标检测方法、装置、电子设备及存储介质
CN115965823B (zh) 一种基于Focal损失函数的在线困难样本挖掘方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant