CN115797642A - 基于一致性正则化与半监督领域自适应图像语义分割算法 - Google Patents

基于一致性正则化与半监督领域自适应图像语义分割算法 Download PDF

Info

Publication number
CN115797642A
CN115797642A CN202310104369.6A CN202310104369A CN115797642A CN 115797642 A CN115797642 A CN 115797642A CN 202310104369 A CN202310104369 A CN 202310104369A CN 115797642 A CN115797642 A CN 115797642A
Authority
CN
China
Prior art keywords
semantic segmentation
network
domain data
loss
target domain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202310104369.6A
Other languages
English (en)
Other versions
CN115797642B (zh
Inventor
刘伟
刘家伟
张苗辉
余晓霞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
East China Jiaotong University
Original Assignee
East China Jiaotong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by East China Jiaotong University filed Critical East China Jiaotong University
Priority to CN202310104369.6A priority Critical patent/CN115797642B/zh
Publication of CN115797642A publication Critical patent/CN115797642A/zh
Application granted granted Critical
Publication of CN115797642B publication Critical patent/CN115797642B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
    • Y02T10/00—Road transport of goods or passengers
    • Y02T10/10—Internal combustion engine [ICE] based vehicles
    • Y02T10/40—Engine management systems

Abstract

基于一致性正则化与半监督领域自适应图像语义分割算法，所述算法将伪标签学习和一致性正则化结合，建模源领域的有监督损失和目标领域的损失，减小源领域数据和目标领域数据之间的领域差异，实现高性能的领域自适应图像语义分割；使用语义分割网络最后一个全连接层对应的特征构建原型网络；使用JS散度构建一致性正则化损失，使语义分割网络和原型网络的预测值一致；最后构建自训练的第二阶段在源领域和目标领域上总的损失函数，训练出高性能的语义分割网络。本发明设计的图像语义分割算法基于半监督领域自适应，只需要给目标领域中的少量图像标记语义标签，减少了图像人工标注的工作量。

Description

基于一致性正则化与半监督领域自适应图像语义分割算法
技术领域
本发明涉及一种基于一致性正则化与半监督领域自适应图像语义分割算法，属图像语义分割技术领域。
背景技术
为了实现高精度跨数据集的图像语义分割，近年来有不少图像语义分割算法采用领域自适应减小领域之间的差异。基于领域自适应的图像分割算法的目标是将在大规模标注源数据集的语义分割模型迁移到一个数据集分布不同的，少量标记或者未标记的目标数据集。根据在训练时是否有可利用的目标领域标签，领域自适应算法可以划分为无监督领域自适应算法和半监督领域自适应算法。其中，无监督领域自适应算法在训练时目标领域数据没有标注信息。半监督领域自适应算法在训练模型时可以使用部分标注或者少量标注的目标领域数据。
在算法性能上，当前基于无监督领域自适应的图像语义分割算法明显落后有监督的图像语义分割算法，主要是因为源领域数据和目标领域数据之间的领域差异。在某些场景中，标注少量目标领域的标签是可行的。因此，相比无监督领域自适应，半监督领域自适应算法的具有更切合实际的前提，具有更好的潜力解决算法在不同数据集上的跨领域泛化问题。
图像语义分割的任务是预测图像中的每个像元的类别。近年来，基于深度卷积网络的图像语义分割取得了长足的进步。训练一个高性能的语义分割网络，往往需要大量标注数据。由于耗时费力且需要一定的专业知识，人工标注采集大量的像素级别的语义分割标注数据集是相当困难的。因此，准确预测图像中所有像元的类别依然是具有挑战的问题，特别当模型在一个数据集（源领域）上训练，在另一个数据集（目标领域）上预测时。源领域和目标领域存在的差异会使在源领域上训练得到的模型在目标领域上精度有一定下降。
发明内容
本发明要解决的技术问题，为了减少数据的标注工作量，解决高精度跨数据集的图像语义分割问题，提出一种基于一致性正则化与半监督领域自适应图像语义分割算法。
实现本发明的技术方案如下，基于一致性正则化与半监督领域自适应图像语义分割算法，所述算法将伪标签学习和一致性正则化结合，建模源领域的有监督损失和目标领域的损失，减小源领域数据和目标领域数据之间的领域差异，实现高性能的领域自适应图像语义分割；使用语义分割网络最后一个全连接层对应的特征构建原型网络；利用样本和原型之间的余弦相似度预测无标签的目标领域样本的类别；使用JS散度（Jensen–Shannondivergence）构建一致性正则化损失，使语义分割网络和原型网络关于无标签的目标领域样本的预测值一致；最后构建自训练的第二阶段在源领域和目标领域上的总的损失函数，训练出高性能的语义分割网络。
所述算法的训练过程由两个阶段的自训练构成，第一阶段为训练语义分割网络和生成伪标签，第二阶段为再次训练语义分割网络；
（1）训练语义分割网络，使用带有标签的源领域数据集合
Figure SMS_1
上的有监督损失
Figure SMS_2
训练语义分割网络
Figure SMS_3
，直到满足一定次数或模型收敛。
（2）为无标签的目标领域数据集合
Figure SMS_4
生成伪标签。
（3）再次训练语义分割网络，充分利用数据集合
Figure SMS_5
、
Figure SMS_6
和
Figure SMS_7
，基于源领域和目标领域上的总损失函数
Figure SMS_8
训练出高性能的语义分割网络。
Figure SMS_11
为带有标记信息的源领域数据集合
Figure SMS_14
；
Figure SMS_18
为带有标记信息的目标领域数据集合
Figure SMS_12
；
Figure SMS_15
为无标记信息的目标领域数据集合
Figure SMS_20
；其中，
Figure SMS_23
、
Figure SMS_9
和
Figure SMS_13
分别表示对应数据集合中样本的数量；
Figure SMS_17
、
Figure SMS_21
和
Figure SMS_10
分别表示对应像元的特征；
Figure SMS_16
和
Figure SMS_19
表示对应像元的语义标签；源领域数据集合和目标领域数据集合上预先定义了
Figure SMS_22
个类别的标签。
源领域的有监督损失计算如下：
对于数据集合
Figure SMS_24
上的任意样本
Figure SMS_25
，将语义分割网络在参数
Figure SMS_26
下关于样本
Figure SMS_27
的预测值表示为
Figure SMS_28
维的向量
Figure SMS_29
；相应地，语义分割模型关于样本
Figure SMS_30
的交叉熵损失表示为：
Figure SMS_31
，
其中，
Figure SMS_33
是向量
Figure SMS_36
的第
Figure SMS_38
个分量，表示语义分割网络在参数
Figure SMS_34
下对样本
Figure SMS_37
关于类别
Figure SMS_39
的预测概率；
Figure SMS_40
是标签
Figure SMS_32
的第
Figure SMS_35
个分量；
从而，参数为
Figure SMS_41
的语义分割网络
Figure SMS_42
关于
Figure SMS_43
的平均交叉熵损失表示为：
Figure SMS_44
，
其中，
Figure SMS_45
为源领域
Figure SMS_46
中的样本数量；
Figure SMS_47
为上述的交叉熵损失函数。
目标领域数据的有监督损失计算如下：
在参数
Figure SMS_48
下，语义分割网络
Figure SMS_49
关于
Figure SMS_50
的平均交叉熵损失表示为：
Figure SMS_51
其中，
Figure SMS_52
是样本
Figure SMS_53
的语义标签；
原型网络构建如下：
所述原型网络
Figure SMS_54
本质上是一个基于余弦相似度的分类器，利用样本和原型之间的余弦相似度预测样本的类别；
对于任意样本
Figure SMS_55
，使用参数为
Figure SMS_56
的语义分割网络
Figure SMS_57
的最后一个全连接层可以提取到的特征为
Figure SMS_58
，在带有标签信息的目标领域数据集合
Figure SMS_59
上，类别
Figure SMS_60
的原型
Figure SMS_61
可以如下计算：
Figure SMS_62
对于无标记信息的目标领域数据集合上的任意样本
Figure SMS_63
，样本
Figure SMS_64
和原型
Figure SMS_65
之间的余弦相似度可以表示为：
Figure SMS_66
其中，
Figure SMS_67
表示特征向量
Figure SMS_68
和原型
Figure SMS_69
的内积；
Figure SMS_70
和
Figure SMS_71
表示对应的向量的模。
使用softmax归一化，原型网络
Figure SMS_72
对样本
Figure SMS_73
的关于类别
Figure SMS_74
的预测概率
Figure SMS_75
用公式如下表示：
Figure SMS_76
其中，exp表示以自然常数e为底的指数函数；
Figure SMS_77
，是一个超参数，起平滑作用，其值通过交叉验证设置。
生成伪标签如下：
使用训练好的语义分割网络
Figure SMS_78
预测无标记信息的目标领域数据集合
Figure SMS_79
的类别标签，即对于任意样本
Figure SMS_80
，使用语义分割网络可以得到该样本的伪标签
Figure SMS_81
；带有伪标签的目标领域数据集合表示为
Figure SMS_82
。
在参数
Figure SMS_83
下，语义分割网络
Figure SMS_84
关于带有伪标签的目标领域数据集合
Figure SMS_85
的平均交叉熵损失表示为：
Figure SMS_86
，
其中，
Figure SMS_87
是语义分割网络
Figure SMS_88
关于样本
Figure SMS_89
的预测标签，
Figure SMS_90
为无标签的目标领域数据集合
Figure SMS_91
中的样本数量。
所述使用JS散度（Jensen–Shannon divergence）使语义分割网络和原型网络的预测值一致。
对于任意样本
Figure SMS_93
，语义分割网络
Figure SMS_94
在参数
Figure SMS_105
下关于
Figure SMS_98
的预测可表示为
Figure SMS_106
维的向量
Figure SMS_96
；原型网络
Figure SMS_102
关于
Figure SMS_95
的预测可表示为
Figure SMS_103
维的向量
Figure SMS_92
；将原型网络
Figure SMS_101
对样本
Figure SMS_100
关于类别
Figure SMS_107
的预测概率表示为
Figure SMS_99
；为简洁表示，令
Figure SMS_104
；使用JS散度，在无标签的目标领域数据集合
Figure SMS_97
上的一致性正则化损失如下表示：
Figure SMS_108
其中，
Figure SMS_109
表示KL散度；
Figure SMS_110
为无标签的目标领域数据集合
Figure SMS_111
中的样本数量。
自训练的第二阶段在源领域和目标领域上总的损失函数为：
Figure SMS_112
其中，
Figure SMS_114
、
Figure SMS_119
和
Figure SMS_122
是对应损失项的权重，权重值一般通过交叉验证手工设置；
Figure SMS_115
为带有标记信息的源领域数据集合；
Figure SMS_118
为带有标记信息的目标领域数据集合；
Figure SMS_121
为无标记信息的目标领域数据集合；
Figure SMS_124
为参数为
Figure SMS_113
的语义分割网络
Figure SMS_117
关于
Figure SMS_120
的平均交叉熵损失；
Figure SMS_123
为无标签的目标领域数据集合
Figure SMS_116
上的一致性正则化损失。
本发明的有益效果是，本发明设计的图像语义分割算法基于半监督领域自适应，只需要给目标领域中的少数图像标记语义标签，减少了图像人工标注的工作量；本发明将自训练和一致性正则化结合，可以缩小下源领域和目标领域之间的差距，有利于提高模型在不同数据集间的泛化性；本发明设计的算法可以充分利用的有标签数据和无标签数据。
附图说明
图1为本发明原型网络的构建示意图；
图2为本发明一致化正则化示意图；
图中:1：目标领域中的标记样本，类别A；2：有标记目标领域数据集合中，类别A的原型；3：无标记目标领域数据集合中的样本，被语义分割网络判断为A类，被原型网络判别为B类；4：有标记目标领域数据集合中，类别B的原型；5：目标领域中的带标记样本，类别B；6：无标记目标领域数据集合中的样本，被语义分割网络判断为B类，被原型网络判断为A类；7：类别分隔线；
图3为本发明算法框架示意图。
具体实施方式
本发明的具体实施方式如下：
本实施例基于一致性正则化与半监督领域自适应图像语义分割算法的目标是充分利用数据集合
Figure SMS_125
、
Figure SMS_126
和
Figure SMS_127
，得到在仅少量标记目标领域上性能优良的语义分割网络
Figure SMS_128
。
给定一个大规模的带有标记信息的源领域数据集合
Figure SMS_129
；
一个小规模的带有标记信息的目标领域数据集合
Figure SMS_130
；
一个大规模的无标记信息的目标领域数据集合
Figure SMS_131
。
其中，
Figure SMS_135
、
Figure SMS_136
和
Figure SMS_139
分别表示对应数据集合中样本的数量；
Figure SMS_134
、
Figure SMS_137
和
Figure SMS_140
分别表示对应像元的特征；
Figure SMS_143
和
Figure SMS_132
表示对应像元的语义标签。源领域数据集合和目标领域数据集合上预先定义了
Figure SMS_138
个类别的标签。本算法包含一个语义分割网络
Figure SMS_141
和一个原型网络
Figure SMS_142
。本算法的语义分割网络
Figure SMS_133
适用多种常用的语义分割网络，如FCN、UNet、SegNet和DeepLab等。
计算源领域上的有监督损失：
对于数据集合
Figure SMS_144
上的任意样本
Figure SMS_145
，将语义分割网络在参数
Figure SMS_146
下关于样本
Figure SMS_147
的预测值表示为
Figure SMS_148
维的向量
Figure SMS_149
。相应地，语义分割模型关于样本
Figure SMS_150
的交叉熵损失可以表示为：
Figure SMS_151
，
其中，
Figure SMS_153
是向量
Figure SMS_156
的第
Figure SMS_158
个分量，表示语义分割网络在参数
Figure SMS_154
下对样本
Figure SMS_157
关于类别
Figure SMS_159
的预测概率。
Figure SMS_160
是标签
Figure SMS_152
的第
Figure SMS_155
个分量。
从而，参数为
Figure SMS_161
的语义分割网络
Figure SMS_162
关于
Figure SMS_163
的平均交叉熵损失可以表示为：
Figure SMS_164
。
计算目标领域上的有监督损失：
在参数
Figure SMS_165
下，语义分割网络
Figure SMS_166
关于
Figure SMS_167
的平均交叉熵损失可以表示为：
Figure SMS_168
其中，
Figure SMS_169
是样本
Figure SMS_170
的语义标签。
在参数
Figure SMS_171
下，语义分割网络
Figure SMS_172
关于带有伪标签的目标领域数据集合
Figure SMS_173
的平均交叉熵损失可以表示为：
Figure SMS_174
。
构建原型网络：
本实施例所构建与使用的原型网络
Figure SMS_175
本质上是一个基于余弦相似度的分类器，利用样本和原型之间的余弦相似度预测样本的类别。
为保证算法的效率，本实施例采用语义分割网络的最后一个全连接层的输出作为特征。对于任意样本
Figure SMS_176
，使用参数为
Figure SMS_177
的语义分割网络
Figure SMS_178
的最后一个全连接层可以提取到的特征为
Figure SMS_179
。
如图1所示，各个原型实质上是对应类别中心，可以通过计算对应类别所有样本特征的平均值得到。例如，在带有标签信息的目标领域数据集合
Figure SMS_180
上，类别
Figure SMS_181
的原型
Figure SMS_182
可以如下计算：
Figure SMS_183
对于无标记信息的目标领域数据集合上的任意样本
Figure SMS_184
，样本
Figure SMS_185
和原型
Figure SMS_186
之间的余弦相似度可以表示为：
Figure SMS_187
，
其中，
Figure SMS_190
表示特征向量
Figure SMS_193
和原型
Figure SMS_195
的内积。
Figure SMS_189
和
Figure SMS_191
表示对应的向量的模。使用softmax归一化，原型网络
Figure SMS_194
对样本
Figure SMS_196
的关于类别
Figure SMS_188
的预测概率
Figure SMS_192
可以用公式如下表示：
Figure SMS_197
；
其中，exp表示以自然常数e为底的指数函数。
Figure SMS_198
是一个超参数，起平滑作用，其值可以通过交叉验证设置。
如图2所示，一致性正则化的目的是为无标记的目标领域数据学习具有判别性并且紧凑的特征。
语义分割网络
Figure SMS_199
和原型网络
Figure SMS_200
都可以用来预测未标记目标领域样本的类别标签。高性能的语义分割网络
Figure SMS_201
和原型网络
Figure SMS_202
对同一个训练样本应当有尽量相同的预测。也就是说，无标记的目标领域数据集合中的样本在特征空间中离对应类别原型的距离要近（即类内紧凑）。为此，本实施例使用JS散度（Jensen–Shannon Divergence）使语义分割网络和原型网络的预测值一致。
具体地，对于任意样本
Figure SMS_211
，语义分割网络
Figure SMS_206
在参数
Figure SMS_217
下关于
Figure SMS_204
的预测可以表示为
Figure SMS_213
维的向量
Figure SMS_207
。原型网络
Figure SMS_219
关于
Figure SMS_208
的预测可以表示为
Figure SMS_216
维的向量
Figure SMS_203
。将原型网络
Figure SMS_212
对样本
Figure SMS_210
关于类别
Figure SMS_218
的预测概率表示为
Figure SMS_205
。
Figure SMS_214
可以通过公式（5）计算得到。为简洁表示，令
Figure SMS_209
。使用JS散度，在无标签的目标领域数据集合
Figure SMS_215
上的一致性正则化损失可以如下表示：
Figure SMS_220
；
其中，
Figure SMS_221
表示KL散度（Kullback-Leibler Divergence）。
图3是本实施例算法框架的结构示意图。
结合参数为
Figure SMS_224
的语义分割网络
Figure SMS_228
关于
Figure SMS_231
的平均交叉熵损失
Figure SMS_225
、语义分割网络
Figure SMS_227
关于
Figure SMS_230
的平均交叉熵损失
Figure SMS_233
、语义分割网络
Figure SMS_222
关于带有伪标签的目标领域数据集合
Figure SMS_226
的平均交叉熵损失
Figure SMS_229
、在无标签的目标领域数据集合
Figure SMS_232
上的一致性正则化损失
Figure SMS_223
，可得，在自训练的第二阶段在源领域和目标领域上的总的损失函数可以表示为：
Figure SMS_234
；
其中，
Figure SMS_235
、
Figure SMS_236
和
Figure SMS_237
是对应损失项的权重。权重值一般通过交叉验证手工设置。
本实施例基于一致性正则化与半监督领域自适应图像语义分割算法的训练过程主要由两个阶段的自训练构成，第一阶段为训练语义分割网络和生成伪标签，第二阶段为再次训练语义分割网络。
第一阶段：
在本算法的第一阶段，训练语义分割网络，根据参数为
Figure SMS_238
的语义分割网络
Figure SMS_239
关于
Figure SMS_240
的平均交叉熵损失的表达式，使用带有标记的源领域样本训练语义分割网络直至收敛。
生成伪标签，在自训练第一阶段的模型训练完成后，使用训练好的语义分割网络
Figure SMS_241
预测无标记信息的目标领域数据集合
Figure SMS_242
的类别标签。即对于任意样本
Figure SMS_243
，使用语义分割网络可以得到该样本的伪标签
Figure SMS_244
（语义分割网络关于该样本类别的预测）。带有伪标签的目标领域数据集合可以表示为
Figure SMS_245
。
第二阶段：
根据自训练的第二阶段总的损失函数
Figure SMS_246
的表达式，充分利用数据集合
Figure SMS_247
、
Figure SMS_248
和
Figure SMS_249
，训练出高性能的跨领域的语义分割网络。

Claims (6)

1.一种基于一致性正则化与半监督领域自适应图像语义分割算法，其特征在于，所述算法将伪标签学习和一致性正则化结合，建模源领域的有监督损失和目标领域的损失，减小源领域数据和目标领域数据之间的领域差异，实现高性能的领域自适应图像语义分割；使用语义分割网络最后一个全连接层对应的特征构建原型网络；利用样本和原型之间的余弦相似度预测无标签的目标领域样本的类别；使用JS散度构建一致性正则化损失，使语义分割网络和原型网络关于无标签的目标领域样本的预测值一致；最后构建自训练的第二阶段在源领域和目标领域上总的损失函数，训练出高性能的语义分割网络；
所述算法的训练过程由两个阶段的自训练构成，第一阶段为训练语义分割网络和生成伪标签，第二阶段为再次训练语义分割网络；
（1）训练语义分割网络，使用带有标签的源领域数据集合
Figure QLYQS_1
上的有监督损失
Figure QLYQS_2
训练语义分割网络
Figure QLYQS_3
，直到满足一定次数或模型收敛；
（2）为无标签的目标领域数据集合
Figure QLYQS_4
生成伪标签；
（3）再次训练语义分割网络，充分利用数据集合
Figure QLYQS_5
、
Figure QLYQS_6
和
Figure QLYQS_7
，基于源领域和目标领域上的总损失函数
Figure QLYQS_8
训练出高性能的语义分割网络；
Figure QLYQS_12
为带有标记信息的源领域数据集合，
Figure QLYQS_15
；
Figure QLYQS_19
为带有标记信息的目标领域数据集合，
Figure QLYQS_11
；
Figure QLYQS_16
为无标记信息的目标领域数据集合
Figure QLYQS_20
；其中，
Figure QLYQS_23
、
Figure QLYQS_9
和
Figure QLYQS_13
分别表示对应数据集合中样本的数量；
Figure QLYQS_17
、
Figure QLYQS_21
和
Figure QLYQS_10
分别表示对应像元的特征；
Figure QLYQS_14
和
Figure QLYQS_18
表示对应像元的语义标签；源领域数据集合和目标领域数据集合上预先定义了
Figure QLYQS_22
种共享的类别标签。
2.根据权利要求1所述的基于一致性正则化与半监督领域自适应图像语义分割算法，其特征在于，所述源领域的有监督损失计算如下：
对于数据集合
Figure QLYQS_24
上的任意样本
Figure QLYQS_25
，将语义分割网络在参数
Figure QLYQS_26
下关于样本
Figure QLYQS_27
的预测值表示为
Figure QLYQS_28
维的向量
Figure QLYQS_29
；相应地，语义分割模型关于样本
Figure QLYQS_30
的交叉熵损失表示为：
Figure QLYQS_31
，
其中，
Figure QLYQS_34
是向量
Figure QLYQS_37
的第
Figure QLYQS_39
个分量，表示语义分割网络在参数
Figure QLYQS_33
下对样本
Figure QLYQS_35
关于类别
Figure QLYQS_38
的预测概率；
Figure QLYQS_40
是标签
Figure QLYQS_32
的第
Figure QLYQS_36
个分量；
从而，参数为
Figure QLYQS_41
的语义分割网络
Figure QLYQS_42
关于
Figure QLYQS_43
的平均交叉熵损失表示为：
Figure QLYQS_44
，
其中，
Figure QLYQS_45
为源领域
Figure QLYQS_46
中的样本数量；
Figure QLYQS_47
为上述的交叉熵损失函数；
目标领域的有监督损失计算如下：
在参数
Figure QLYQS_48
下，语义分割网络
Figure QLYQS_49
关于
Figure QLYQS_50
的平均交叉熵损失表示为：
Figure QLYQS_51
，
其中，
Figure QLYQS_52
是样本
Figure QLYQS_53
的语义标签。
3.根据权利要求1所述的基于一致性正则化与半监督领域自适应图像语义分割算法，其特征在于，所述构建原型网络如下：
利用样本和原型之间的余弦相似度预测样本的类别：
对于任意样本
Figure QLYQS_54
，使用参数为
Figure QLYQS_55
的语义分割网络
Figure QLYQS_56
的最后一个全连接层能提取到的特征为
Figure QLYQS_57
，在带有标签信息的目标领域数据集合
Figure QLYQS_58
上，类别
Figure QLYQS_59
的原型
Figure QLYQS_60
计算如下：
Figure QLYQS_61
，
其中，
Figure QLYQS_62
为有标记目标领域数据集合
Figure QLYQS_63
中的样本数量；
对于无标记信息的目标领域数据集合上的任意样本
Figure QLYQS_64
，样本
Figure QLYQS_65
和原型
Figure QLYQS_66
之间的余弦相似度表示为：
Figure QLYQS_67
，
其中，
Figure QLYQS_68
表示特征向量
Figure QLYQS_69
和原型
Figure QLYQS_70
的内积；
Figure QLYQS_71
和
Figure QLYQS_72
表示对应的向量的模；
使用softmax归一化，原型网络
Figure QLYQS_73
对样本
Figure QLYQS_74
的关于类别
Figure QLYQS_75
的预测概率
Figure QLYQS_76
用公式如下表示：
Figure QLYQS_77
，
其中，exp表示以自然常数e为底的指数函数；
Figure QLYQS_78
，是一个超参数，起平滑作用，其值通过交叉验证设置。
4.根据权利要求1所述的基于一致性正则化与半监督领域自适应图像语义分割算法，其特征在于，所述生成伪标签如下：
使用训练好的语义分割网络
Figure QLYQS_79
预测无标记信息的目标领域数据集合
Figure QLYQS_80
的类别标签，即对于任意样本
Figure QLYQS_81
，使用语义分割网络能够得到该样本的伪标签
Figure QLYQS_82
；带有伪标签的目标领域数据集合表示为
Figure QLYQS_83
；
在参数
Figure QLYQS_84
下，语义分割网络
Figure QLYQS_85
关于带有伪标签的目标领域数据集合
Figure QLYQS_86
的平均交叉熵损失表示为：
Figure QLYQS_87
，
其中，
Figure QLYQS_88
是语义分割网络
Figure QLYQS_89
关于样本
Figure QLYQS_90
的预测标签，
Figure QLYQS_91
为无标签的目标领域数据集合
Figure QLYQS_92
中的样本数量。
5.根据权利要求1所述的基于一致性正则化与半监督领域自适应图像语义分割算法，其特征在于，所述使用JS散度构建一致性正则化损失如下：
对于任意样本
Figure QLYQS_99
，语义分割网络
Figure QLYQS_97
在参数
Figure QLYQS_108
下关于
Figure QLYQS_98
的预测可表示为
Figure QLYQS_102
维的向量
Figure QLYQS_96
；原型网络
Figure QLYQS_107
关于
Figure QLYQS_95
的预测可表示为
Figure QLYQS_105
维的向量
Figure QLYQS_93
；将原型网络
Figure QLYQS_103
对样本
Figure QLYQS_94
关于类别
Figure QLYQS_104
的预测概率表示为
Figure QLYQS_100
；为简洁表示，令
Figure QLYQS_106
；使用JS散度，在无标签的目标领域数据集合
Figure QLYQS_101
上的一致性正则化损失如下表示：
Figure QLYQS_109
，
其中，
Figure QLYQS_110
表示KL散度；
Figure QLYQS_111
为无标签的目标领域数据集合
Figure QLYQS_112
中的样本数量。
6.根据权利要求1所述的基于一致性正则化与半监督领域自适应图像语义分割算法，其特征在于，所述自训练的第二阶段在源领域和目标领域上总的损失函数为：
Figure QLYQS_113
，
其中，
Figure QLYQS_115
、
Figure QLYQS_118
和
Figure QLYQS_122
是对应损失项的权重，权重值一般通过交叉验证手工设置；
Figure QLYQS_116
为带有标记信息的源领域数据集合；
Figure QLYQS_120
为带有标记信息的目标领域数据集合；
Figure QLYQS_123
为无标记信息的目标领域数据集合；
Figure QLYQS_125
为参数为
Figure QLYQS_114
的语义分割网络
Figure QLYQS_119
关于
Figure QLYQS_121
的平均交叉熵损失；
Figure QLYQS_124
为无标签的目标领域数据集合
Figure QLYQS_117
上的一致性正则化损失。
CN202310104369.6A 2023-02-13 2023-02-13 基于一致性正则化与半监督领域自适应图像语义分割算法 Active CN115797642B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310104369.6A CN115797642B (zh) 2023-02-13 2023-02-13 基于一致性正则化与半监督领域自适应图像语义分割算法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310104369.6A CN115797642B (zh) 2023-02-13 2023-02-13 基于一致性正则化与半监督领域自适应图像语义分割算法

Publications (2)

Publication Number Publication Date
CN115797642A true CN115797642A (zh) 2023-03-14
CN115797642B CN115797642B (zh) 2023-05-16

Family

ID=85430983

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310104369.6A Active CN115797642B (zh) 2023-02-13 2023-02-13 基于一致性正则化与半监督领域自适应图像语义分割算法

Country Status (1)

Country Link
CN (1) CN115797642B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117593596A (zh) * 2024-01-19 2024-02-23 四川封面传媒科技有限责任公司 一种敏感信息检测方法、系统、电子设备及介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110322445A (zh) * 2019-06-12 2019-10-11 浙江大学 一种基于最大化预测和标签间相关性损失函数的语义分割方法
CN112233124A (zh) * 2020-10-14 2021-01-15 华东交通大学 基于对抗式学习与多模态学习的点云语义分割方法及系统
CN112699892A (zh) * 2021-01-08 2021-04-23 北京工业大学 一种无监督领域自适应语义分割方法
US20210304352A1 (en) * 2020-03-31 2021-09-30 Robert Bosch Gmbh Multi-view consistency regularization for semantic interpretation of equal-rectangular panoramas
CN113936275A (zh) * 2021-10-14 2022-01-14 上海交通大学 一种基于区域特征对齐的无监督域适应语义分割方法
CN114419323A (zh) * 2022-03-31 2022-04-29 华东交通大学 基于跨模态学习与领域自适应rgbd图像语义分割方法
CN115359485A (zh) * 2022-09-22 2022-11-18 佛山沧科智能科技有限公司 复杂装卸场景目标物标注数据集生成方法、系统和存储介质

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110322445A (zh) * 2019-06-12 2019-10-11 浙江大学 一种基于最大化预测和标签间相关性损失函数的语义分割方法
US20210304352A1 (en) * 2020-03-31 2021-09-30 Robert Bosch Gmbh Multi-view consistency regularization for semantic interpretation of equal-rectangular panoramas
CN112233124A (zh) * 2020-10-14 2021-01-15 华东交通大学 基于对抗式学习与多模态学习的点云语义分割方法及系统
CN112699892A (zh) * 2021-01-08 2021-04-23 北京工业大学 一种无监督领域自适应语义分割方法
CN113936275A (zh) * 2021-10-14 2022-01-14 上海交通大学 一种基于区域特征对齐的无监督域适应语义分割方法
CN114419323A (zh) * 2022-03-31 2022-04-29 华东交通大学 基于跨模态学习与领域自适应rgbd图像语义分割方法
CN115359485A (zh) * 2022-09-22 2022-11-18 佛山沧科智能科技有限公司 复杂装卸场景目标物标注数据集生成方法、系统和存储介质

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
QIANYU ZHOU等: "Uncertainty-aware consistency regularization for cross-domain semantic segmentation", ELSEVIER *
刘腊梅等: "流形正则化的交叉一致性语义分割算法" *
邵伟志等: "基于一致性正则化与熵最小化的半监督学习算法" *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117593596A (zh) * 2024-01-19 2024-02-23 四川封面传媒科技有限责任公司 一种敏感信息检测方法、系统、电子设备及介质
CN117593596B (zh) * 2024-01-19 2024-04-16 四川封面传媒科技有限责任公司 一种敏感信息检测方法、系统、电子设备及介质

Also Published As

Publication number Publication date
CN115797642B (zh) 2023-05-16

Similar Documents

Publication Publication Date Title
CN110717526B (zh) 一种基于图卷积网络的无监督迁移学习方法
CN111444878B (zh) 一种视频分类方法、装置及计算机可读存储介质
CN111552807B (zh) 一种短文本多标签分类方法
CN109117781B (zh) 多属性识别模型的建立方法、装置及多属性识别方法
CN107944410B (zh) 一种基于卷积神经网络的跨领域面部特征解析方法
CN110569359B (zh) 识别模型的训练及应用方法、装置、计算设备及存储介质
WO2021022571A1 (zh) 一种基于交互建模的多标记距离度量学习方法
CN110705591A (zh) 一种基于最优子空间学习的异构迁移学习方法
Deng et al. Strongly augmented contrastive clustering
CN110188827A (zh) 一种基于卷积神经网络和递归自动编码器模型的场景识别方法
CN114255371A (zh) 一种基于组件监督网络的小样本图像分类方法
Nguyen et al. Adaptive nonparametric image parsing
CN115797642B (zh) 基于一致性正则化与半监督领域自适应图像语义分割算法
US20230072445A1 (en) Self-supervised video representation learning by exploring spatiotemporal continuity
CN112990340B (zh) 一种基于特征共享的自学习迁移方法
Zhang et al. Considering three elements of aesthetics: Multi-task self-supervised feature learning for image style classification
CN112528077B (zh) 基于视频嵌入的视频人脸检索方法及系统
Ma et al. Enhanced soft label for semi-supervised semantic segmentation
CN117523295A (zh) 基于类引导元学习的无源域适应的图像分类方法
Ma et al. Multi-scale cooperative multimodal transformers for multimodal sentiment analysis in videos
Wang et al. Learning domain-independent deep representations by mutual information minimization
CN113920127B (zh) 一种训练数据集独立的单样本图像分割方法和系统
CN112750128A (zh) 图像语义分割方法、装置、终端及可读存储介质
CN107993311B (zh) 一种用于半监督人脸识别门禁系统的代价敏感隐语义回归方法
CN115862015A (zh) 文字识别系统的训练方法及装置、文字识别方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant