CN113378906B - 一种特征自适应对齐的无监督域适应遥感图像语义分割方法 - Google Patents

Abstract

本发明提供了一种基于对抗学习框架的深度学习无监督域适应遥感图像语义分割方法。该方法总体上包括语义分割模型(Segmentation model)和域判别器(Domain discriminator)两大模块，采用Pytorch深度学习框架进行训练，通过域判别器完成分割模型提取的目标域特征在输出空间向源域特征对齐，从而使得分割模型能够提升在目标域图像上的分割性能。根据遥感影像不同类别、不同区域变化剧烈的特点，本发明在域判别器中加入了类明确模块(CCM)与基于熵的区域注意力模块(ERAM)。二者能够使得不同类别、不同区域的特征能自适应的一起合适的方式在输出空间对齐到源域的特征分布。

Description

一种特征自适应对齐的无监督域适应遥感图像语义分割方法

技术领域

本发明属于图像分割领域，可以应用于无监督域适应遥感图像语义分割领域，利用对抗训练的框架使得在源域上训练的语义分割模型在不需要目标域任何标签的情况下提高对目标域的分割准确性。

背景技术

作为将地物的类别标签分配给图像中的所有像素的一项任务，遥感图像的语义分割随着卷积神经网络的发展已经取得了长足的进步。但是，由于地形，天气条件，传感器成像方法以及文化和经济发展差异等因素，导致不同地理位置、不同时间或者不同传感器上所生成的遥感影像的场景和风格会发生巨大变化(域飘移)。因此，遥感界面临着一个问题，在源域(同一条件下收集的影像集合)上训练有素的模型，无法推广到在不同地理位置，天气条件或传感器中收集的目标域上。

对此，一种最直接的解决方案是，为需要进行分割的目标域图像提供标注数据以使得源域上训练的语义分割模型能够在目标域影像上进行微调，从而最终使得模型能够很好的对目标域影像进行分割。但是，一方面，标注语义分割所需要的像素级标签的需要大量的人力物力；另一方面，遥感图像是海量的，我们不可能为每一个需要分割的目标域单独进行标注。所以，这种微调的方式无法适用于大部分实际场景。

在遥感界普遍采用传统图像处理的方法来缓解遥感图像的域飘移问题。这些方法中主要包括直方图匹配(参考文献R.C.Gonzalez and R.E.Woods,Digital ImageProcessing,3rd ed.Upper Saddle River,NJ,USA:Prentice-Hall,Inc.,2006.)、图匹配(参考文献D.Tuia,J.Munoz-Mari,L.Gomez-Chova,and J.Malo,“Graph matching foradaptation in remote sensing,”IEEE Trans.Geosci.Remote Sens.,vol.51,no.1,pp.329–341,Jan.2013.)、内核主成分分析(参考文献A.A.Nielsen and M.J.Canty,“Kernel principal component and maximum auto correlation factor analyses forchange detection,”Proc.SPIE,vol.7477,p.74770T,Sep.2009.)、颜色恒定算法(参考文献V.Agarwal,B.Abidi,A.Koschan,and M.A.Abidi,“An overview of color constancyalgorithms,”J.Pattern Recognit.Res.,vol.1,no.1,pp.42–54,2006.)等。他们虽然能够一定程度的缓解域飘移，但是分割模型在目标域上的分割精度仍然很低。

基于深度学习的无监督域适应方法虽然能有效的解决域飘移问题，但是它们主要应用于可见光图像。这些方法主要分为三个研究方向：自监督的域适应、风格迁移与对抗学习框架。而基于深度学习的无监督域适应方法来解决遥感图像的域飘移问题的技术方案还处于起步阶段，并且主要集中于研究如何进行目标域图像到源域图像的风格迁移。比如ColorNapGAN(参考文献O.Tasar,S.L.Happy,Y.Tarabalka and P.Alliez,”ColorMapGAN:Unsupervised Domain Adaptation for Semantic Segmentation Using Color MappingGenerative Adversarial Networks,”in IEEE Transactions on Geoscience andRemote Sensing,vol.58,no.10,pp.7178-7193,Oct.2020,doi:10.1109/TGRS.2020.2980417.)根据可见光图像的风格迁移提出一种适合遥感图像特点的风格迁移的方法。但需要注意的是，风格迁移存在一个固有的缺点，即迁移后的图像可能会产生大量的噪声，这导致了原始源域图像的注释与翻译后的源域图像的注释不匹配。基于对抗学习框架的无监督域适应语义分割实际上在可见光图像领域是被研究的最广的，但是在遥感图像上的研究却没有得到充分的重视。因此，如何设计一套适合遥感图像特点的无监督域适应语义分割模型是一项迫切需要解的议题。在可见光图像的进行两个域的特征对齐时，一方面，目标域所有的类别的特征将作为一个整体像源域对齐。另一方面影像中不同的区域的特征也以同一方式对齐到源域特征空间。这种对齐方法忽略了不同类别、不同区域之间的差异性，使得不同类、不同区域的特征不能以其最合适的方式进行对齐。由于遥感影像不同类别、不同区域之间的变化更为剧烈，这个问题在遥感影像域适应时更为突出。

综上所述，针对遥感图像存在的域飘移问题，还需要设计一套更适合遥感影像特点的基于对抗学习框架的无监督域适应遥感图像语义分割技术方案，以使得模型不受人力物力资源的限制，泛化到目标域上实现相对于风格迁移更好的分割精度。

发明内容

针对上述要求，本发明提供了一种基于对抗学习框架的深度学习无监督域适应遥感图像语义分割方法。该方法总体上包括语义分割模型(生成器)和域判别器两大模块，采用Pytorch深度学习框架进行训练，通过域判别器完成分割模型提取的目标域特征在输出空间向源域特征对齐，从而使得分割模型能够提升在目标域图像上的分割性能。根据遥感影像不同类别、不同区域变化剧烈的特点，本发明在域判别器中加入了类明确模块与基于熵的区域注意力模块。二者能够使得不同类别、不同区域的特征能自适应的一起合适的方式在输出空间对齐到源域的特征分布。

本发明所述的一种基于对抗学习框架的深度学习无监督域适应遥感图像语义分割方法，所采用的技术方案是：源域和目标域图像经过语义分割模型的处理后，在输出空间得到对源域和目标域的分割预测。源域的分割预测受到源域地面真值标签的监督以保证分割网络具有分割的能力。然后，两个域的分割预测将输入到域判别器中，在对抗损失的监督与类明确模块与基于熵的区域注意力模块的帮助之下，使得目标域的不同类别、同一图片不同区域的特征自适应的在输出空间与源域的特征分布对齐，从而使得分割网络将在源域地面真值监督下学习到的分割能力泛化到目标域上，实现目标域较好的分割性能。

所述的语义分割模型采用deeplab v2的框架，具体包含空洞resnet101与空洞空间金字塔池化与解码器三个模块。图像张量(B,3,H,W)经过语义分割模型的处理之后输出预测图(B,C,H,W)，其中B，C，H，W分别代表着批量大小、类别数目、图像高度、图像宽度。我们定义

与

分别为分割网络(语义分割模型)对应源域与目标域的输出，x_s为源域图像，x_t为目标域图像。分割网络首先要受到分割损失函数的监督以使得分割网络具有在源域上的分割能力。公式如下：

其中N＝H×W，y_s是源域的像素级标注图像，

表示分割网络对于源域图像x_s在空间位置n处，预测的这个位置属于类别c的概率。

所述的域判别器包括4个堆叠的卷积(可以堆叠更多但效果不明显)与leaky-Relu层、分类层(1×1卷积)、类明确模块与基于熵的区域注意力模块。分类层将产生最后的分类输出(B,1,H,W)，它指示了语义分割模型的输出在是属于源域还是目标域的概率。基于熵的区域注意力模块首先根据目标域分割模型的输出计算熵值：

其中，

表示分割网络对于目标域图像x_t在空间位置n处，预测的这个位置属于类别c的概率；[E_t]ⁿ表示熵值，熵值高的区域分割效果不好，也就意味着该区域特征对齐不理想，需要模型投入更多的注意力来对齐特征。定义

分别为目标域与源域输入经过分类层产生的分类输出。本发明以熵值图为注意力图对分类层产生的分类输出进行加权以强调不同区域的差异：

其中σ代表sigmoid函数，它使得[E_t]ⁿ被归一化到[0,1]区间。

类别明确模块需要为分类输出的每一个位置赋予其所属类别。由于目标域图像没有该信息，所以本发明提出了一种伪标签产生策略以产生目标域的伪地面真值：

其中，

表示目标域的伪地面真值，

表示分割网络对目标域图像在空间位置n处，每一个类别的预测概率，而

是

中对应第c类的预测概率，-1表示当前位置不属于任何类别。当y_t产生以后，利用y_t与y_s获得集合

与

其中i代表集合中的第i个元素，即把经过熵加权后的目标域与源域的分类输出

和

对应的像素集合根据其所属类别划分为不同的子集合[S_t]_c与[S_s]_c。然后，可以用分类损失L_cls来训练域判别器使其具有判别输入来自哪一个域的能力：

其中AP表示对集合求平均值。这样使得每一个类别都聚合成一个单独的表示。最后通过对抗损失函数L_d来训练分割网络来产生使得域判别器无法区分的分割输出：

总的来说，域判别器的训练目标为：

而分割网络的训练目标为：

其中θ_D与θ_F分别为域判别器与分割网络的参数，λ_d是权衡分割L_seg与L_d在训练分割网络时所占的权重的超参数。在训练过程中，我们迭代的优化θ_D与θ_F。

与现有技术相比，本发明的优点和有益效果：

(1)本发明提出了一种基于对抗学习框架的深度学习无监督域适应遥感图像语义分割方，本框架适用于遥感图像语义分割任务的域适应处理，即在源域(一个位置、天气或者传感器下收集的数据影像集)训练的遥感图像语义分割模型可以在目标域(另一个位置、天气或者传感器下收集的数据影像集)上进行分割预测，无需在目标域上再次标注数据进行模型的训练。

(2)相比于其他遥感图像语义分割域适应方法，本框架对于即使源域与目标域存在极大的域飘移的情况也十分适用。

附图说明

图1是本发明实施例中的类别与区域自适应的对抗框架。

图2是本发明实施例中域适应效果图。

具体实施方式

下面结合具体实例和附图，讲解具体本发明中一种基于对抗学习框架的深度学习无监督域适应遥感图像语义分割方法的具体流程。

一、训练阶段

以源域512×512×3的图像x_s及其像素级标注图像y_s与目标域512×512×3图像x_t作为训练图像，主要步骤包括：

1.数据集准备和网络超参数：

1.1将分别收集自不同的两座城市的34张(源域)与38张(目标域)超高分遥

感图像随机裁剪。分别产生3000张与6000张的尺寸为512×512×3的图像块。

1.2把源域与目标域裁剪好的图像块分别转换为以batch size为2的2×512×512×3规格的张量。同时对应的源域的像素级标注图像y_s也需要转换为batch size为2的2×512×512×3规格的张量。转换后将源域与目标域的张量输入到类别与区域自适应的对抗框架中进行训练。训练时分割网络与域判别器的优化目标分别为：

2.分割网络：

本发明使用deeplab v2作为基本的语义分割体系结构。在最后一层特征输出上应用了Atrous空间金字塔池(ASPP)技术，以更好地捕获场景上下文。采样率固定为6、12、18、24。分割体系结构中的特征提取器是ResNet101。在deeplab v2之后，本发明修改最后一层的步幅和膨胀率，以生成更密集的大视场特征地图。

3.域判别器：

域判别器包括4个卷积层，每一个卷积层后面都跟着一个斜率为0.2的leaky-relu层。然后通过再通过一个卷积层，源域和目标域的特征都会产生张量大小为2×512×512的输出。这个张量上每一个像素位置的值都指示着这个位置的特征是来自源域还是目标域。最后，采用本发明提出的类别明确模块(CCM)与基于熵的区域注意力模块(ERAM)进行类别与区域的自适应特征分布对齐。

二、推理测试阶段

推理测试阶段只需使用到分割网络的框架。本质上就是正常的语义分割网络的推理过程。首先将目标域的图片转换为张量，然后将该张量送入分割网络中进行处理，得到分割的预测图。

下面将我们的方法与其他域适应的方法进行了对比，结果展示在表1中，实施细节如下：

数据集：ISPRSVaihingen和ISPRS Potsdam数据集分别包含了德国两座城市Vaihingen和Potsdam的高分辨率遥感图像。它们的成像方法和地面采样距离不同。其中，Vaihingen数据集和Potsdam数据集收集了33张和38张超高分辨率遥(VHR)感图像，这些图像是从较大的VHR正态遥感图像中截取的。它们都包含六类，包括不透水的表面、建筑、低矮植被、树木、汽车和背景/杂物。由于它们来自不同的城市，成像波段不同，所以两组数据的图像风格和内容有很大的不同。因此，它们通常是来自两个不同领域的图像。

由于GPU的限制，我们使用随机裁剪的方法将来自Vaihingen和Potsdam的图像裁剪到512×512的大小。裁剪后，Vaihingen和Potsdam数据集分别生成了3000和6000张图像。以Vaihingen数据集为源域，Potsdam为目标域。源域内的所有图像都参与了模型的训练。在目标域内，我们随机分割30％的图像作为测试集，剩下的70％作为训练集。

实施细节：我们在实现中使用了PyTorch深度学习框架。所有的实验都是在一个11GB显存的NVIDIA 1080TI GPU上完成的。我们的模型，除了域判别器之外都使用随机梯度下降优化器，学习率0.00025，动量0.9，权重衰减0.001。对于域判别器，我们使用学习率为0.001的Adam优化器来训练。为了调节学习率，我们使用了余弦退火策略。

评价指标：我们计算了每一个类别的预测分割图与真值的交并比，以及总体的平均交并比(mIoU)作为评价指标。

比较结果：表1中第二行到第六行的模型(参考文献：Y.-H.Tsai,W.-C.Hung,S.Schulter,K.Sohn,M.-H.Yang,and M.Chandraker,”Learning to adapt structuredoutput space for semanticsegmentation”,in IEEE/CVF Conference on ComputerVision andPattern Recognition(CVPR；Vu,T.H.,Jain,H.,Bucher,M.,Cord,M.,P′erez,P.,”Advent:Adver-sarial entropy minimization for domain adaptation insemantic segmen-tation”,arXiv preprint arXiv:1811.12；Luo,Y.,Zheng,L.,Guan,T.,Yu,J.,Yang,Y.,”Taking a closer look atdomain shift:Category-level adversariesfor semantics consistent domainadaptation”,In Proceedings of the IEEEConference on Computer Visionand Pattern Recognition,2019,pp.2；Minghao Chen,Hongyang Xue,Deng Cai,”Domain Adaptation forSemantic Segmentation WithMaximum Squares Loss”,Proceedings ofthe IEEE/CVF International Conference onComputer Vision(ICCV),2019,pp.2090-2；Wang,Zhonghao and Yu,Mo and Wei,Yunchaoand Feris,Rogerioand Xiong,Jinjun and Hwu,Wen-mei and Huang,Thomas S.andShi,Honghui,”Differential Treatment for Stuff and Things:A SimpleUnsupervisedDomain Adaptation Method for Semantic Segmentation”,in IEEE/CVF Conference onComputer Vision and Pattern Recognition(CVPR),2020；O.Tasar,S.L.Happy,Y.Tarabalka and P.Alliez,”ColorMapGAN:Unsupervised Domain Adaptation forSemantic Segmentation UsingColor Mapping Generative Adversarial Networks,”inIEEE Transactionson Geoscience and Remote Sensing,vol.58,no.10,pp.7178-7193,Oct.2020,doi:10.1109/TGRS.2020.2980417)都是基于对抗性训练框架，对自然图像进行无监督域自适应语义分割。在倒数第二行的ColorMapGAN是基于图像到图像转换框架对遥感影像进行无监督域自适应的模型。通过表1的比较我们可以看到我们的模型要优于其他优秀的无监督域适应模型。除了定量比较外，我们还进行了直观的视觉比较。如图2所示，我们展示了每一个模型对于不同图片的分割结果，此外No adaptation表示没有进行任何的域适应。我们的模型的直观分割效果比其他模型要好很多，可以观察到在物体内部没有明显的错误的分割。除此之外，红色虚线框显示我们的模型减少了负迁移现象。

表1：本发明方法与其他方法的比较，我们展示了每一个类别的交并比以及平均交并比(mIoU)

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (5)

1.一种特征自适应对齐的无监督域适应遥感图像语义分割方法，其特征在于，包括如下步骤：

网络模型训练阶段，将训练图像输入到构建的整体语义分割网络模型中进行训练，直到收敛，具体包括：

步骤1，收集源域图像x_s及其像素级标注图像y_s与目标域图像x_t作为训练图像，将上述训练图像进行随机裁剪成图像块，并将图像块转换为张量；

步骤2，构建整体语义分割网络模型，包括分割网络和域判别器两大模块，

所述的分割网络采用deeplab v2的框架，相当于分类器；域判别器包括多个堆叠的卷积与leaky-Relu层、分类层、类明确模块与基于熵的区域注意力模块；

类别明确模块为分类输出的每一个位置赋予其所属类别，由于目标域图像没有类别信息，所以提出了一种伪标签产生策略以产生目标域的伪地面真值：

其中，[y_t]ⁿ表示目标域的伪地面真值，

表示分割网络对目标域图像在空间位置n处，每一个类别的预测概率，

是

中对应第c类的预测概率；-1表示当前位置不属于任何类别；当y_t产生以后，利用y_t与y_s获得集合

与

其中i代表集合中的第i个元素，即把经过熵加权后的目标域与源域的分类输出

和

对应的像素集合根据其所属类别划分为不同的子集合[S_t]_c与[S_s]_c；然后，利用分类损失L_cls来训练域判别器使其具有判别输入来自哪一个域的能力：

其中AP表示对集合求平均值，这样使得每一个类别都聚合成一个单独的表示，最后通过对抗损失函数来训练分割网络来产生使得域判别器无法区分的分割输出：

网络模型测试阶段，首先将目标域的图片转换为张量，然后将该张量送入训练好的分割网络中进行处理，得到分割的预测图。

2.如权利要求1所述的一种特征自适应对齐的无监督域适应遥感图像语义分割方法，其特征在于：所述分割网络包含空洞resnet101与空洞空间金字塔池化与解码器三个模块，图像张量(B,3,H,W)经过语义分割模型的处理之后输出预测图(B,C,H,W)，其中B，C，H，W分别代表张量大小、类别数目、图像高度、图像宽度；定义

与

分别为语义分割模型对应源域与目标域的输出，分割网络首先要受到分割损失函数的监督以使得分割网络具有在源域上的分割能力，公式如下：

其中N＝H×W，y_s是源域的像素级标注图像，

表示分割网络对于源域图像x_s在空间位置n处，预测的这个位置属于类别c的概率。

3.如权利要求1所述的一种特征自适应对齐的无监督域适应遥感图像语义分割方法，其特征在于：基于熵的区域注意力模块首先根据目标域语义网络的输出计算熵值：

其中，

表示分割网络对于目标域图像x_t在空间位置n处，预测的这个位置属于类别c的概率；[E_t]ⁿ表示熵值，熵值高的区域分割效果不好，也就意味着该区域特征对齐不理想，需要模型投入更多的注意力来对齐特征；定义

分别为目标域与源域输入经过分类层产生的分类输出，以熵值图为注意力图对分类层产生的分类输出进行加权以强调不同区域的差异：

其中σ代表sigmoid函数，它使得[E_t]ⁿ被归一化到[0,1]区间。

4.如权利要求1所述的一种特征自适应对齐的无监督域适应遥感图像语义分割方法，其特征在于：所述域判别器的训练目标为：

分割网络的训练目标为：

其中θ_D与θ_F分别为域判别器与分割网络的参数，λ_d是权衡分割L_seg与L_d在训练分割网络时所占的权重的超参数，在训练过程中，迭代的优化θ_D与θ_F。

5.如权利要求1所述的一种特征自适应对齐的无监督域适应遥感图像语义分割方法，其特征在于：所述的域判别器包括4个堆叠的卷积，每一个卷积层后面都跟着一个斜率为0.2的leaky-relu层；分类层为1×1的卷积，分类层用于产生最后的分类输出，它指示了分割网络的输出在是属于源域还是目标域的概率。

Images