CN113436197A - 基于生成对抗和类特征分布的域适应无监督图像分割方法 - Google Patents

Abstract

本发明公开了一种基于生成对抗和类特征分布的域适应无监督图像分割方法，其特点是采用对抗学习和基于类特征分布的自学习方法，对目标域图像的无监督语义分割，具体包括：主语义分割和辅助语义分割两个网络以及域对齐对抗和伪标签优化两个模块。本发明与现有技术相比具有分割精度高，多粒度语义一致性的优点，利用对抗学习和基于类特征分布的自学习，实现了对目标域图像的无监督语义分割，通过在全局和类别级别上对齐域来加强域之间的多粒度语义一致性，解决了传统无监督分割方法分割精度不足的问题。

Description

基于生成对抗和类特征分布的域适应无监督图像分割方法

技术领域

本发明涉及图像语义分割技术领域，具体的说是一种基于生成对抗和类特征分布的域适应无监督图像分割方法。

背景技术

在过去十年中，特别是在全卷积神经网络提出后，卷积神经网络已经普遍被用于语义分割任务。然而，有监督的场景语义分割对数据提出了很高的要求，因为人工逐像素标注需要耗费大量的人力和时间。据统计人工标注每张实景场景图的像素级标签至少需要90分钟。因此无监督图像分割的准确度提升问题成为近几年的研究重点。计算机图形学的最新进展使得模拟器能够以较低的工作量生成有标签的合成图像，这启发了人们用带注释的合成图像作为源数据来训练模型，然后将训练好的模型用于未标记的目标数据。然而值得注意的是，合成图像和真实图像之间存在严重的域差异，直接将在源域上训练的模型使用到目标域时效果并不尽人意。为了解决这些由域差异引起的不利影响，一个比较流行的解决方案是域适应。

早期域适应工作被提出来解决回归和分类问题。传统的域适应方法侧重于最小化源域分布和目标域分布之间的距离以缓解差距，其中包括最大平均差异(MMD)损失或使用了其他距离测量，如平均值和协方差。近年来随着生成对抗模型(GAN)的兴起和发展，对抗性训练出色的域对齐能力也被挖掘。

为了将域适应应用于语义分割，在已有方法的基础上，人们尝试了不同的方法来学习像素和上下文知识。这些解决方案可以分为两种类型：全局对齐和类别对齐。全局对齐主要是试图通过在像素级或特征空间上匹配跨域分布来学习域不变表示。随后又引入了对抗性学习来进行域对齐。但是这种域适应方法仅对频繁类较有效，在某些较低频率的类上容易失败，所以之后的方法侧重于类别对齐，通过转移类别级知识来解决局部不匹配问题。比如使用类别级对抗学习策略，或使用类别级自学习去避免大类在伪标签生成上的主导。这些方法要么试图对齐全局特征分布的边缘，要么试图通过局部对齐来传递类别知识。但前者不能消除类级分割的错误，后者局限于局部区域，忽略了整体信息。

发明内容

本发明的目的是针对现有技术的不足而设计的一种基于生成对抗和类特征分布的域适应无监督图像分割方法，采用对抗学习和基于类特征分布的自学习方法，实现了对目标域图像的无监督语义分割，通过在全局和类别级别上对齐域来加强域之间的多粒度语义一致性，较好的解决了无监督图像语义分割准确率较低以及域偏差的问题，进一步实现局部域对齐的同时提高分割精度。

实现本发明目的的具体技术方案是：一种基于生成对抗和类特征分布的域适应无监督图像分割方法，其特点是采用对抗学习和基于类特征分布的自学习方法，对目标域图像的无监督语义分割，具体包括如下步骤：

S1：选择迁移学习任务的源域和目标域数据集；

S2：以源域图像作为输入，预训练主语义分割网络，训练辅助语义分割网络。主语义分割网络与辅助分割网络都基于ResNet网络；

S3：利用辅助分割网络获取源域图像每个类别中心的特征

表示，其中：k＝1，2，...，K；

S4：源域和目标域的图片都输入完整的主分割网络，得到的分割图输入到对应的域对齐对抗模块组；

S5：将所有类别中心的特征C_s表示与目标域分割图输入伪标签优化模块，以得到目标域的伪标签(伪真值)；

S6：通过联合所有损失训练主语义分割后，将目标域图片输入主语义分割网络，前向传播输出目标域语义预测分割结果，实现无标签目标域的无监督图像分割。

所述源域数据是有标签的，所以主语义分割网络的预训练以及辅助语义分割网络的训练是利用源域数据有监督地使用交叉熵损失实现的。令源域表示为D_S＝{(x_s，y_s)|x_s∈R^H×W×3，y_s∈R^H×W}，对于一个源域的样本(x_s，y_s)，所述监督学习使用下述a式：

其中：K为类别总数；

为标签y_s在位置i属于类k的概率；

是模型在样本x_s的位置i处对类k的预测概率。

所述源域和目标域的类别是共享的，其类别特征分布也应该是一致的，即来自源域和目标域的同一类别的特征表示应聚类。利用有标签的源域图像，获取各个类别的类中心特征表示，之后在前向传递目标域数据时，以这些类中心特征表示作为目标来调整主分割网络参数，使得分割网络得到聚类的类特征表示。

使用源域数据训练辅助分割网络后，通过辅助分割网络的编码器可以求得每个类的特征表示向量的平均值，作为每个类中心的特征

表示，所述每个类中心的特征

由下述b式计算：

其中：

指的是源域图像所有属于类k的像素点个数；N_s为源域中的图像总数；

为标签y_s在图像i中位置i属于类k的概率。对于每个图像x_s，f(x_s)为编码器的输出结果，f(x_s)|_j为像素j对应的特征向量。类中心特征表示C_s之后用于伪标签置信度的度量输入伪标签优化模块。

为实现域的全局对齐，主训练过程将源域和目标域数据D_S＝{(x_s，y_s)|x_s∈R^H×W×3，y_s∈R^H×W}和D_T＝{x_t|x_t∈R^H×W×3}都输入完整的语义分割网络得到相对应的语义分割图，分割图接着输入到域对齐对抗模块组，所述对抗模块组需利用鉴别器D实现，鉴别器D的训练损失函数如下述c式：

其中：设定当输出来自源域时z＝0，当输出来自目标域时z＝1，通过训练使鉴别器能够区分两个域。由于主语义分割网络的目的是提取域不变特征，从而减轻域差异，因此在训练主语义分割网络时反向传播对抗损失，使训练好的鉴别器无法判别分割结果来自源于还是目标域。

为实现对主语义分割网络的优化，将反向传播对抗损失，使得主分割网络的输出结果可以迷惑鉴别器，从而使得分割网络对于两个域的输入可以得到相似的分割图，及减小了域偏差，所述主语义分割网络由下述d式进行优化：

将所有类别中心的特征表示C_s表示运用到自学习中，并以C_s为基础提出新的置信度评判标准，在此基础上选取可信的预测结果作为伪标签。在目标域预测结果的基础上由下述e式计算每个像素点的特征与K个类中心

的距离

其中：

为目标域图像

中像素点j的特征向量。通过与K个类中心计算距离可得到最靠近的类k₁，对应距离为

以及第二靠近的类k₂，对应距离为

若

其中Δd为设定阈值，那么就认为像素点j属于类k₁的这个推测是可信的，后续将其作为伪标签

在伪标签的监督下，目标域数据也将反向传播交叉熵损失由下述f式优化主语义分割网络：

并由下述g式加权平均所有的损失，反向传播最后的损失函数，使用SGD进行优化主分割网络：

L＝λ_{seg_s}L_{seg_s}+λ_{seg_ad}vL_{seg_adv}+λ_{seg_t}L_{seg_t} (g)；

其中：λ_{seg_s}为源域交叉熵损失的权重；λ_{seg_adv}为对抗损失权重；λ_{seg_t}为目标域交叉熵损失的权重。

本发明采用主语义分割网络和辅助语义分割网络，以及域对齐对抗模块组和伪标签优化模块组，实现知识从源域到目标域的跨域迁移，其中源域是有标签的合成图像数据集，目标域是无标签真实图像数据集，任务是对目标域图像进行语义分割。本发明利用对抗学习和基于类特征分布的自学习，实现了对目标域图像的无监督语义分割，通过在全局和类别级别上对齐域来加强域之间的多粒度语义一致性，解决了传统无监督分割方法分割精度不足的问题。

本发明与现有技术相比具有以下有益的技术效果：

1)本发明利用对抗学习和基于类特征分布的自学习，实现了对目标域图像的无监督语义分割，通过在全局和类别级别上对齐域来加强域之间的多粒度语义一致性，解决了传统无监督分割方法分割精度不足的问题。

2)本发明提出的生成对抗模块和伪标签优化模块同时考虑对抗学习和分布测量两种促进域对齐的方法，进一步减轻了由域差异引起的错误分类，使分割模型在目标域中得到更好的应用。

3)本发明提出基于类中心距离测量的置信度度量方法来生成伪标签，充分利用源域数据，有监督得获取分布信息，从而能够一定程度上的为无标签的目标域数据提供可监督的信息，提升了自学习的准确度。

4)本发明提出的基于生成对抗和类特征分布的域适应无监督图像分割方法通过结合全局和类别对齐来增强域间的多粒度语义一致性。

附图说明

图1为本发明架构的系统示意图；

图2为实施例1中的目标域图像；

图3为实施例1中的真值标签图；

图4为实施例1未经过域适应的分割结果图像；

图5为实施例1的分割结果图像；

图6为实施例1的全局与类别对齐效果示意图。

具体实施方式

以下通过具体实施例对本发明作进一步的详细说明。

实施例1

参阅附图1，本发明框架主要为两条分支分别处理两个域的图像：a分支处理的图像源域图像(图中以实线表示网络处理流程)经主语义分割网络获得分割图，分割图一方面与真值图像做交叉熵损失，另一方面作为一部分输入训练鉴别器D；同时源域图像经辅助分割网络获得类别中心的特征C_s表示输入伪标签优化模块组以优化目标域伪标签。另一条b分支处理的目标域图像(图中以虚线表示网络处理流)经主分割网络得到分割图，一路输入伪标签优化模块组得到伪标签，另一路作为鉴别器D的输入进行对抗训练，具体步骤分别阐述如下：

(一)、图像源域图像(经辅助分割网络得到类别中心的特征C_s表示的具体步骤如下：

1)利用有标签的源域图像训练辅助分割网络，训练过程中由下述a式进行交叉熵损失优化网络：

2)对于输入的源域图像，辅助语义分割网络的特征提取器(编码器)得到源域各个类的特征表示向量的平均值，作为每个类中心的特征

表示，所述每个类中心

由下述b式计算：

所述源域图像经主分割网络，得到分割结果P_S。由于源域上的数据有正确标签Y_S，与训练辅助分割网络一样，利用交叉熵损失可以对主分割网络实现监督训练。同时P_S后续与目标域分割图P_T共同作为输入训练鉴别器D。

(二)、目标域图像经主语义分割网络，由特征提取器(编码器)得到目标域各个类的特征表示，主语义分割网络最终得到分割结果P_T。通过最小化对抗损失使鉴别器D无法分辨分割图来自源域还是目标域，所述对抗损失由下述d式表示：

同时，每个像素点的特征与K个类中心

的距离由下述e式计算：

得到距离最近的与第二近的类，若两个距离之差大于设定值Δd，则认为距离最近的类为可信的像素点分割结果，即

并由它们组成伪标签

在训练中与预测结果做交叉熵损失，所述交叉熵损失由下述f式计算：

并由下述g式将这些损失加权平均得到最后的损失函数L，并使用SGD进行优化：

L＝λ_{seg_s}L_{seg_s}+λ_seg-advL_seg-adv+λ_{seg_t}L_{seg_t} (g)；

其中：λ_{seg_s}取1，λ_{seg_adv}取0.001，λ_{seg_t}取1。

参阅附图2，验证集中原始的目标域图像为街区的一道路。

参阅附图3，验证集中目标域图像的真值标签图。

参阅附图4，若主语义分割网络仅使用源域图像进行有监督训练，即目标域图像未采用本发明进行域适应的卷积神经网络的分割，其分割结果精度较低，尤其是边缘像素点分类准确率较差，没能很好的保留物体边缘信息。

参阅附图5，目标域图像通过域适应的卷积神经网络，采用本发明进行分割，其分割结果更为准确，有效地保留了物体边缘信息。

通过对比发现，采用本发明分割的更准确，并有效地保留了物体边缘信息，而未进行域适应的卷积神经网络的分割结果在精度上明显不足。

参阅附图6，基于生成对抗和类特征分布的分割方法既可以实现整体域对齐，也可以保证最小化类内距离的同时最大化类间差距。

本发明采用了Deeplabv3的网络结构，ResNet-101的主干，用于由虚拟的合成图像至现实场景图像迁移的任务，与其他目前最前沿的域适应语义分割进行对比。其中，真实图像数据集作为目标域，本实施例使用Cityscapes数据集，并将虚拟合成图像GTA5数据集设置为源域，这与先前工作中的设置相同。Cityscapes是一个真实世界的以车辆为中心的图像数据集。它由三个子集组成：训练集、验证集和测试集。训练集包含2975幅分辨率为2048×1024的未标记图像，验证集包含500个图像及对应的真值图像。所有像素分为19类。GTA5是从真实渲染的计算机游戏GTA中收集的数据集，像素也分为19类。它包含24996张图像，分辨率为1914×1052。在训练期间，我们使用标记的GTA5训练集作为源域，并使用来自Cityscapes训练集的无标注的2975个图像作为目标域。评估来自Cityscapes验证集的500幅图像上的所有方法。采用每个类别的Intersection-over-Union(IoU)和mean-Intersection-over-Union(mIoU)作为评价指标，并考虑了GTA5到Cityscapes任务中所有19个类的IoU和mIoU。其整体对比结果如下表1所示：

表1 GTA5-to-Cityscapes实验结果

其中，“Ours”表示本发明基于生成对抗和类特征分布的域适应方法，为了比较，本发明重现了传统的基于全局对齐的方法“AdaptSegNet”“CLAN”“BDL”，以及基于类对齐的方法“FADA”“CrCDA”。

从上述表1中可以看出，配备Resnet-101主干，基于生成对抗和类特征分布的域适应方法实现了最出色的分割性能。本发明与只关注全局对齐和类别分布的传统方法相比，在小物体类别的分类上展现出了更好的迁移效果，如类别围栏、交通信号灯、交通标识等。对于那些难以转移的类别如地形，公共汽车，本发明的方法优于大多其他方法。本发明不仅使用对抗训练实现了全局对齐，也基于各类实现了局部对齐，同时自学习也对提升分割精度起到了显著的作用。

以上实施例只是对本发明的技术方案和有益效果进行了详细说明，并非用以限制本发明专利，凡在本发明的原则范围内所做的任何修改、补充和等同的等效实施，均应包含于本发明专利的权利要求范围之内。

Claims (6)

1.一种基于生成对抗和类特征分布的域适应无监督图像分割方法，其特征在于采用对抗学习和基于类特征分布的自学习方法，对目标域图像的无监督语义分割，具体包括如下步骤：

S1：选择迁移学习任务的源域和目标域的数据集，两个域像素分为K个类，所述源域为D_S＝{(x_s,y_s)|x_s∈R^H×W×3,y_s∈R^H×W}；所述目标域为D_T＝{x_t|x_t∈R^H×W×3}；

S2：以源域图像作为输入，预训练主语义分割网络，并训练辅助语义分割网络，所述主语义分割网络与辅助分割网络均基于ResNet网络；

S3：利用辅助分割网络获取源域图像每个类别中心的特征

表示，其中：k＝1,2,…,K；

S4：将源域和目标域的图片输入主语义分割网络，得到的分割图输入到对应的域对齐对抗模块组；

S5：将所有类别中心的特征C_s表示与目标域分割图输入伪标签优化模块，以得到目标域的伪标签；

S6：通过联合所有损失训练主语义分割，并将目标域图片输入主语义分割网络，前向传播输出目标域语义预测分割结果，实现无标签目标域的无监督图像分割。

2.根据权利要求1所述基于生成对抗和类特征分布的域适应无监督图像分割方法，其特征在于步骤S2采用有监督学习的方法进行训练，只输入源域图片，经完整的语义分割网络得到语义分割图，并用交叉熵损失作为分割损失进行训练，对于源域D_S＝{(x_s,y_s)|x_s∈R^{H ×W×3},y_s∈R^H×W}中的一个样本(x_s,y_s)，所述监督学习使用下述a式：

其中：K为类别总数；

为标签y_s在位置i属于类k的概率；

为模型在样本x_s的位置i处对类k的预测概率。

3.根据权利要求1所述基于生成对抗和类特征分布的域适应无监督图像分割方法，其特征在于所述步骤S3具体为：对源域图像根据辅助语义分割网络的编码器输出求得源域每个类的特征表示向量的平均值，作为每个类中心的特征

表示，所述特征

由下述b式计算：

其中：

为源域图像中所有属于类k的像素点个数，

N_s为源域中的图像总数；

为标签y_s在图像i中像素j属于类k的概率；对于每个图像x_s，f(x_s)为编码器的输出结果，f(x_s)|_j为像素j对应的特征向量。

4.根据权利要求1所述基于生成对抗和类特征分布的域适应无监督图像分割方法，其特征在于所述步骤S4具体包括：将源域D_S＝{(x_s,y_s)|x_s∈R^H×W×3,y_s∈R^H×W}和目标域D_T＝{x_t|x_t∈R^H×W×3}的图像x_s，x_t输入完整的主语义分割网络，得到相对应的语义分割图p_s和p_t，然后将语义分割图p_s和p_t输入到对应的对抗模块组实现域对齐，所述对抗模块组利用鉴别器D实现，并由下述c式训练损失函数：

其中：设定当输出来自源域时z＝0，当输出来自目标域时z＝1，所述反向传播对抗损失由下述d式优化主语义分割网络：

5.根据权利要求4所述基于生成对抗和类特征分布的域适应无监督图像分割方法，其特征在于所述步骤S5利用S3得到的所有类别中心的特征C_s表示衡量主语义分割网络对目标域图像分割预测的可靠性，并由像素点预测结果作为优化后的伪标签，所述预测结果可靠性由下述e式计算每个像素点的特征与K个类中心

的距离判定：

其中：

为目标域图像

中像素点j的特征向量，即主语义分割网络对目标域图像提取出的特征，并通过与K个类中心计算距离，得到与其最靠近的类k_.，其对应距离为

以及第二靠近的类k₂，对应距离为

若

设定的阈值Δd，则像素点j属于类k_.的推测为可信的，将其作为目标域的伪标签

即设定

若该差小于阈值则为不可信，即

将目标域的伪标签

由下述交叉熵损失f式计算目标域图像的分割损失，对主分割网络网络进行优化：

6.根据权利要求4所述基于生成对抗和类特征分布的域适应无监督图像分割方法，其特征在于所述步骤S6将所有对抗损失加权平均后得到损失函数L，并使用SGD优化主语义分割网络，所述损失函数L由下述g式计算：

L＝λ_{seg_s}L_{seg_s}+λ_{seg_adv}L_{seg_adv}+λ_{seg_t}L_{seg_t} (g)；

其中：λ_{seg_s}为源域交叉熵损失的权重；λ_{seg_adv}为对抗损失权重；λ_{seg_t}为目标域交叉熵损失的权重。

Images