CN112991353B - 一种跨域遥感图像的无监督语义分割方法 - Google Patents

Abstract

本发明公开了一种跨域遥感图像的无监督语义分割方法，该方法包括：获取待分割的无标注目标域遥感图像；将所述待分割的无标注目标域遥感图像输入提前训练好的无监督语义分割模型；所述无监督语义分割模型包括几何一致性约束模块、域适应网络模块和语义分割网络模块；输出与所述待分割的无标注目标域遥感图像尺寸一致的分割结果图。该方法可以提升在有标注源域数据上训练的分割模型在目标域上的分割性能，从而减少语义分割任务对于大规模标注数据的依赖，同时提升语义分割模型在不同图像域上的泛化性能，可实现对待分割的无标注目标域遥感图像的准确分割，且分割精度较高。

Description

一种跨域遥感图像的无监督语义分割方法

技术领域

本发明属于数字图像处理领域，涉及遥感图像解译技术，特别涉及一种跨域遥感图像的无监督语义分割方法。

背景技术

语义分割任务是对图像中的每一个像素赋予一个标签，以实现对图像内容像素级的分类。然而，收集专家标记的数据集尤其是像素级注释是一个需要耗费极大人力物力的过程。目前学术界常见的解决思路是对源域和目标域进行域适应，使得在带标注源域上训练的模型能够迁移到无标注的目标域上并取得可接受的分割性能。

现有技术中，域适应方法通常针对通用数据集构建，如将自动驾驶真实街景数据集Cityscapes作为目标域，将虚拟游戏合成的街景数据作为源域。然而，简单地应用在合成图像上学习的模型可能由于域偏移的问题(域偏移：合成图像和真实图像的数据分布存在巨大的偏差)而导致真实图像上的高泛化误差。有研究者提出从外观层面(appearance-level)和特征表示层面(representation-level)进行域适应。前者使源域图像看起来具有目标域的“风格”，而后者则试图学习域不变表示特征。

然而在遥感图像解译领域，上述方法无法针对遥感目标特性取得有效的域适应效果，其模型在遥感数据上直接训练和测试的效果较差，即在源域上训练的模型在目标域上的分割精度较低。原因在于遥感目标特性与自然场景有较大的分布差异，包括目标种类、目标尺度、图像分辨率和图像成像机制等。且现有方法大多关注于像素级与特征表示级的域适应方法，对于图像级域适应缺乏关注。

发明内容

鉴于上述情况，在遥感图像中，一种常见的特性是遥感目标具有明显的几何特征，且常规的几何变换不改变图像的语义结构。基于此种性质，本发明设计了一种几何一致性约束来提升遥感图像中的语义分割模型从源域到目标域的适应效果，提出了一种跨域遥感图像的无监督语义分割方法，可解决传统在源域上训练的模型在目标域上的分割精度较低的问题。

为实现上述目的，本发明采取的技术方案为：

本发明实施例提供一种跨域遥感图像的无监督语义分割方法，包括以下步骤：

S1、获取待分割的无标注目标域遥感图像；

S2、将所述待分割的无标注目标域遥感图像输入提前训练后的无监督语义分割模型；所述无监督语义分割模型包括几何一致性约束模块、域适应网络模块和语义分割网络模块；

S3、输出与所述待分割的无标注目标域遥感图像尺寸一致的分割结果图。

进一步地，所述无监督语义分割模型的构建步骤包括：

S21、给定源域遥感图像集与目标域遥感图像集；所述源域遥感图像集的图像带有标注，且所述源域遥感图像集与目标域遥感图像集包含相同的目标类别；

S22、将所述源域遥感图像集与目标域遥感图像集送入域适应网络模块，利用对抗学习策略，使用循环一致性约束和所述几何一致性约束模块的预定义映射规则，监督域适应网络模块的训练；

S23、将经所述适应网络模块输出的源域遥感图像集与标注送入语义分割网络模块，利用所述预定义映射规则与交叉熵损失监督训练，获得训练好的无监督语义分割模型。

进一步地，所述几何一致性约束模块的预定义映射规则，包括：顺时针旋转90°和垂直翻转；

所述几何一致性约束模块同时嵌入到所述域适应网络模块和语义分割网络模块。

进一步地，所述步骤S22包括：

S201、将所述源域遥感图像集与目标域遥感图像集送入域适应网络模块；所述域适应网络模块包括：生成器和判别器；

S202、利用对抗学习策略，循环训练生成器和判别器；

S203、定义域适应网络模块中几何一致性损失函数加对抗学习损失，对域适应网络模块进行训练。

进一步地，所述步骤S203中定义域适应网络模块中几何一致性损失函数加对抗学习损失，其形式如下：

其中，L_CAN表示域适应网络的整体损失函数；L_gan(G_XY,D_Y,X,Y)表示源域与目标域遥感图像集之间的对抗学习损失函数；

表示经过所述几何一致性约束模块的预定义映射规则后的源域与目标域遥感图像集之间的对抗学习损失函数；L_cyc(G_XY,G_YX,X,Y)、

分别表示作用于几何变换前后源域和目标域上的循环一致性损失函数；X和Y分别表示源域和目标域遥感图像集；G_XY表示源域到目标域遥感图像集的生成器；

表示预定义映射规则下源域到目标域遥感图像集的生成器；D_Y和

分别表示作用于域Y和域

的判别器；

和

表示预定义几何映射规则分别作用在X和Y上的结果；

表示几何一致性约束损失函数；γ和λ分别为两个系数，用于平衡循环一致性损失和几何一致性损失在模型训练过程中的贡献。

进一步地，所述语义分割网络模块包括：一个编码网络和一个解码网络；其中，所述编码网络包括全卷积网络和空洞池化金字塔，用于提取和融合多尺度图像特征；

所述解码器将编码器提取的图像高层特征上采样为与原始输入相同尺寸的分割结果图。

进一步地，所述步骤23中，所述无监督语义分割模型的整体损失函数L_GSN为：

其中，L_CE为交叉熵损失函数；x_gt和

为源域图像的真实标注及其几何变换后的标注图像；

F(·)表示预定义的几何映射规则；β₁，β₂和δ为系数，用于平衡各损失项在模型训练过程中的权重；在语义分割网络模块中，输入图像y'∈Y'和

y'和

分别为域适应后的源域图像和其再次经过几何变换后图像，对应的语义分割网络输出o＝Seg(y')，

Seg(·)表示语义分割模型；

表示语义分割网络模块中的几何一致性约束。

与现有技术相比，本发明具有如下有益效果：

本发明针对遥感图像语义分割任务，提出一种跨域遥感图像的无监督语义分割方法，以提升在有标注源域数据上训练的分割模型在目标域上分割性能，从而减少语义分割任务对于大规模标注数据的依赖，同时提升语义分割模型在不同图像域上的泛化性能，可实现对待分割的无标注目标域遥感图像的准确分割，且分割精度较高。

本发明的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本发明而了解。本发明的目的和其他优点可通过在所写的说明书、权利要求书、以及附图中所特别指出的结构来实现和获得。

下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

附图说明

附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。在附图中：

图1为本发明实施例提供的跨域遥感图像的无监督语义分割方法流程图；

图2为本发明实施例提供的几何一致性约束示意图；

图3为本发明实施例提供的跨域遥感图像的无监督语义分割模型结构图；

图4为本发明实施例提供的跨域遥感图像的无监督语义分割方法在遥感图像语义分割任务中的效果图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

本发明提供了一种跨域遥感图像的无监督语义分割方法，如图1所示，其中，该方法包括：

S1、获取待分割的无标注目标域遥感图像；

S2、将所述待分割的无标注目标域遥感图像输入提前训练好的无监督语义分割模型；所述无监督语义分割模型包括几何一致性约束模块、域适应网络模块和语义分割网络模块；

S3、输出与所述待分割的无标注目标域遥感图像尺寸一致的分割结果图。

针对遥感图像语义分割任务，通过本实施例提供的跨域遥感图像的无监督语义分割方法，可取得有效的域适应效果。其中，步骤S2中的无监督语义分割模型，可以提升在有标注源域数据上训练的分割模型在目标域上分割性能，从而减少语义分割任务对于大规模标注数据的依赖，同时提升语义分割模型在不同图像域上的泛化性能，可实现对待分割的无标注目标域遥感图像的准确分割，且分割精度较高。

其中，步骤S2中的无监督语义分割模型，构建步骤包括：

S21、给定源域遥感图像集与目标域遥感图像集；所述源域遥感图像集的图像带有标注，且所述源域遥感图像集与目标域遥感图像集包含相同的目标类别；

S22、将所述源域遥感图像集与目标域遥感图像集送入域适应网络模块，利用对抗学习策略，使用循环一致性约束和所述几何一致性约束模块的预定义映射规则，监督域适应网络模块的训练；

S23、将经所述域适应网络模块输出的源域遥感图像集与标注送入语义分割网络模块，利用所述预定义几何映射规则与交叉熵损失监督训练，获得训练好的无监督语义分割模型。

无监督语义分割模型主要包括几何一致性约束模块、域适应网络模块和语义分割网络模块；下面分别对上述各个模块进行详细的说明。

几何一致性约束模块：

几何一致性是指遥感图像中的语义结构不随图像的几何变换而改变。令X和Y分别表示源域和目标域，

分别为源域和目标域中图像样本。F(·)(也可以表达为F(·))为一种预定义的几何变换映射，在本发明实施例中，采用两种几何变换映射，顺时针旋转90°和垂直翻转。

和

为分别作用在X和Y上的结果。基于对抗学习策略，令G_XY和

为两种图像域生成器，分别实现域X到域Y，和域

到域

的适应，D_Y和

分别为作用于域Y和域

的判别器。

本发明实施例中，几何一致性约束模块可同时嵌入到域适应网络模块与语义分割网络模块中。如图2所示，在域适应网络中，给定一个几何变换映射F(·)，则几何一致性约束表现为：

其中F^-1(·)表示F(·)的逆映射。类似地，在语义分割网络中，几何一致性约束可表示为：

F(Seg(x))≈Seg(F(x))，F^-1(Seg(F(x)))≈Seg(x) (2)

其中Seg(·)(也可以表达为Seg(·))表示一个语义分割模型。

域适应网络模块：

域适应网络将源域图像转换为带有目标域“风格”的图像，同时不改变原始图像的语义结构。域适应网络包含以下内容：G_XY，

D_Y，

和几何变换映射F(·)。令X和Y分别表示源域和目标域，x_i∈X，y_i∈Y。域适应网络的目标是学习两个映射G_XY和

如图2所示，给定一个预先定义好的几何变换映射F(·)，将输入图像x∈X和

送入图像域生成器G_XY和

根据前述几何一致性约束，输出y'＝G_XY(x)和

应满足

和

同时考虑正向几何变换F(·)和其逆变换F^-1(·)，定义域适应网络中的几何一致性损失函数L_geo为：

其中，E(·)(也可以表达为E(·))表示分布函数的期望值，x表示源域的数据样本，P_X表示样本分布。在域适应网络中，生成器为一个标准的编码-解码结构，其中编码器包含两个步长为2的卷积层，共9个残差块；解码器同样包含两个步长为2的反卷积层。判别器则用来判别生成器生成的图像属于源域还是目标域，其输出为真/假两种模式。当判别器无法判别生成器生成的图像是否为真实目标域图像时，生成器训练停止，训练判别器，增强其判别能力；循环训练生成器与判别器，直至模型收敛。同时，为优化模型效率，减少参数量，将生成器G_XY和

共享参数，且二者的对抗学习损失函数L_gan(G_XY,D_Y,X,Y)与

拥有相同的形式。

综上所述，域适应网络的损失函数为几何一致性损失加对抗学习损失，其形式如下：

其中，

为业内常用的对抗学习损失函数，E(·)表示分布函数的期望值；x，y分别表示源域和目标域的数据样本，P_X，P_Y分别表示源域和目标域的样本分布。D_Y表示作用于域上的判别器。

为业内常用的循环一致性损失，γ和λ分别为两个系数，用于平衡循环一致性损失和几何一致性损失在模型训练过程中的贡献。

语义分割网络模块：

语义分割网络模块的目的是利用经过域适应网络迁移后的带标注源域数据训练一个分割模型，使其在无标注目标域上同样能够取得良好的分割效果。语义分割网络包含一个编码网络和一个解码网络。其中编码网络包括全卷积网络和空洞池化金字塔，二者均为已有技术，在此不过多赘述；在本发明中用于提取和融合多尺度图像特征；解码器将编码器提取的图像高层特征上采样为与原始输入相同尺寸的分割结果图。

作为语义分割网络的输入，经过域适应模型转换后的源域图像首先通过编码器，全卷积网络提取图像高层特征，该全卷积网络包含四个卷积块，最深层特征图尺寸与原图的1/16；空洞池化金字塔将每个卷积块的输出特征图进行维度上的融合：首先利用1×1卷积对每层特征图进行降维，使得融合之后的特征图维度与编码器提取的最深层特征图一致。解码器网络中，融合后的多尺度特征首先经过4倍上采样和1×1卷积降维，然后与对应编码器同样尺寸的特征图进行维度上的拼接，实现进一步的特征融合，兼顾不同尺寸的目标的分割效果。进一步使用3×3的卷积优化融合特征，然后使用两次2倍上采样，同样与具有相同空间分辨率的编码器特征融合后逐步上采样到与原始输入图像尺寸一致的分割结果图。

在语义分割网络中，输入图像y'∈Y'和

其中y'和

分别为域适应后的源域图像和其再次经过几何变换后图像，F(·)为预定义的几何映射规则；对应的语义分割网络输出o＝Seg(y')，

则语义分割网络中的几何一致性约束

表示为：

其中

本发明使用交叉熵损失函数定义分割损失，则语义分割网络的整体损失函数L_GSN为：

其中，L_CE为交叉熵损失函数，x_gt和

为源域图像的真实标注及其几何变换后的标注图像，

β₁，β₂和δ为系数，用于平衡各损失项在模型训练过程中的权重。

参照图3所示，为上述无监督语义分割模型的结构，本发明实施例提出的一种跨域遥感图像的无监督语义分割方法，具体实施流程如下：

1、给定源域图像集与目标域图像集，其中源域图像带有标注，且源域和目标域图像包含相同的目标类别；其中，比如均包含：建筑物、道路、林地、水体等。

2、将源域图像与目标域图像送入域适应网络模块，利用对抗学习策略，使用循环一致性约束和几何一致性约束使得源域图像转换为目标域图像风格，同时保留源域图像的语义结构；使用上述式(4)中定义的损失函数监督域适应网络的训练；

3、将域适应后的源域图像与标注送入语义分割网络模块，利用几何一致性约束与交叉熵损失监督网络训练，获得训练好的语义分割模型参数；使用式(6)中定义的损失函数监督语义分割网络的训练；

4、利用第3步中训练好的无监督语义分割模型对无标注目标域图像进行推理，输出语义分割结果图。

本发明旨在进行跨域遥感影像语义分割任务。在遥感图像解译领域，语义分割需要大规模密集型标注作为监督信息，而此类密集标注需要大量的人力和时间成本。因此，在一个图像域上训练的图像语义分割模型往往只在同一个图像域上具有较好的鲁棒性。为了减少语义分割模型对数据标注的依赖，提升模型在跨域语义分割任务上的性能，有研究人员提出无监督语义分割方法，即无需目标域的标注信息作为监督，即可在目标域上实现良好的分割效果。通过从像素级层面和特征级层面进行域适应，即将源域图像转换为目标域图像风格，同时在语义分割网络中使用判别器判别提取的输入图像特征属于源域或是目标域。然而此类方法大多针对自然图像，如自动驾驶街景图像数据集。直接使用此类方法进行跨域遥感图像语义分割任务，由于自然图像和遥感图像目标特征的不同，往往难以取得良好的分割效果。

基于此，本发明提出一种跨域遥感图像无监督语义分割方法，将生成对抗学习策略引入语义分割网络，同时针对遥感目标特性，即图像的语义结构不随图像的几何变换而改变，设计了一种几何一致性约束，可以较好地保持域适应前后图像中目标的几何特征。通过将几何一致性约束模块嵌入到域适应网络模块和语义分割网络模块，可以显著提升模型在无标注目标域上的分割性能。在遥感影像建筑物提取任务上，本发明提出的方法可以显著提升语义分割模型在跨域语义分割任务上的性能表现。

如表格1所示,选取两个公开遥感图像建筑物分割数据集Inria和Massachusetts分别作为源域和目标域。使用业内普遍使用的平均交并比(mean Intersection-over-Union,mIoU)作为评价指标，本发明提出的方法可以显著提升跨域语义分割效果。如使用Inria作为源域，Massachusetts作为目标域时，baseline指语义分割网络在源域上训练后直接在目标域上进行推理，加入本发明提出的域适应和几何一致性约束后，在语义分割模型在目标域上的性能(mIoU)得到较大提升，如图4所示，且接近于全监督方法性能(此处全监督方法是指语义分割网络利用了目标域的标注进行模型训练)。

表1：

显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (3)

1.一种跨域遥感图像的无监督语义分割方法，其特征在于，包括以下步骤：

S1、获取待分割的无标注目标域遥感图像；

S2、将所述待分割的无标注目标域遥感图像输入提前训练好的无监督语义分割模型；所述无监督语义分割模型包括几何一致性约束模块、域适应网络模块和语义分割网络模块；

S3、输出与所述待分割的无标注目标域遥感图像尺寸一致的分割结果图；

其中，所述无监督语义分割模型的构建步骤包括：

S21、给定源域遥感图像集与目标域遥感图像集；所述源域遥感图像集的图像带有标注，且所述源域遥感图像集与目标域遥感图像集包含相同的目标类别；

S22、将所述源域遥感图像集与目标域遥感图像集送入域适应网络模块，利用对抗学习策略，使用循环一致性约束和所述几何一致性约束模块的预定义映射规则，监督域适应网络模块的训练；所述几何一致性约束模块的预定义映射规则，包括：顺时针旋转90°和垂直翻转；所述几何一致性约束模块同时嵌入到所述域适应网络模块和语义分割网络模块；

S23、将经所述域适应网络模块输出的源域遥感图像集与标注送入语义分割网络模块，利用所述预定义映射规则与交叉熵损失监督训练，获得训练好的无监督语义分割模型；

所述步骤S22包括：

S201、将所述源域遥感图像集与目标域遥感图像集送入域适应网络模块；所述域适应网络模块包括：生成器和判别器；

S202、利用对抗学习策略，循环训练生成器和判别器；

S203、定义域适应网络模块中几何一致性损失函数加对抗学习损失，对域适应网络模块进行训练；

所述步骤S203中定义域适应网络模块中几何一致性损失函数加对抗学习损失，其形式如下：

其中，L_CAN表示域适应网络的整体损失函数；L_gan(G_XY,D_Y,X,Y)表示源域与目标域遥感图像集之间的对抗学习损失函数；

表示经过所述几何一致性约束模块的预定义映射规则后的源域与目标域遥感图像集之间的对抗学习损失函数；L_cyc(G_XY,G_YX,X,Y)、

分别表示作用于几何变换前后源域和目标域上的循环一致性损失函数；X和Y分别表示源域和目标域遥感图像集；G_XY表示源域到目标域遥感图像集的生成器；

表示预定义映射规则下源域到目标域遥感图像集的生成器；D_Y和

分别表示作用于域Y和域

的判别器；

和

表示预定义几何映射规则分别作用在X和Y上的结果；

表示几何一致性约束损失函数；γ和λ分别为两个系数，用于平衡循环一致性损失和几何一致性损失在模型训练过程中的贡献。

2.根据权利要求1所述的一种跨域遥感图像的无监督语义分割方法，其特征在于，所述语义分割网络模块包括：一个编码网络和一个解码网络；其中，所述编码网络包括全卷积网络和空洞池化金字塔，用于提取和融合多尺度图像特征；

所述解码器将编码器提取的图像高层特征上采样为与原始输入相同尺寸的分割结果图。

3.根据权利要求2所述的一种跨域遥感图像的无监督语义分割方法，其特征在于，所述步骤23中，所述无监督语义分割模型的整体损失函数L_GSN为：

其中，L_CE为交叉熵损失函数；x_gt和

为源域图像的真实标注及其几何变换后的标注图像；

F(·)表示预定义的几何映射规则；β₁，β₂和δ为系数，用于平衡各损失项在模型训练过程中的权重；在语义分割网络模块中，输入图像y'∈Y'和

y'和

分别为域适应后的源域图像和其再次经过几何变换后图像，对应的语义分割网络输出o＝Seg(y')，

Seg(·)表示语义分割模型；

表示语义分割网络模块中的几何一致性约束。

Images