CN112132149A - 一种遥感影像语义分割方法及装置 - Google Patents

Abstract

本发明提供一种遥感影像语义分割方法及装置，该方法包括：通过有标记的遥感影像数据对语义分割对抗网络进行训练；通过未标记的遥感影像数据对所述语义分割对抗网络进行训练，采用生成器权值共享对未标记遥感影像数据进行预测，并在判别器上生成置信度图；根据预定义的损失函数，通过有标记的遥感数据和未标记的遥感数据对语义分割对抗网络迭代训练，优化超参数，基于迭代优化后的语义分割对抗网络进行语义分割。通过该方案解决了现有语义分割模型训练过程中，样本标注工作量过大的问题，实现在小样本条件对语义分割模型进行训练，保证语义分割模型分割的准确性和可靠性的同时，减少样本标注工作量。

Description

一种遥感影像语义分割方法及装置

技术领域

本发明涉及计算机视觉与遥感领域，尤其涉及一种遥感影像语义分割方法及装置。

背景技术

随着分布式计算、深度学习等人工智能技术的大规模应用，遥感影像语义分割(分类)技术取得了突破性发展。遥感影像的语义分割技术，其目的是为待解译的影像上每一个像元赋予对应的语义标签值，使遥感影像中像元具备相应的类别属性信息。作为遥感图像处理领域的基础问题之一，遥感影像语义分割技术可广泛应用于减灾、农作物估产、地表覆盖调查等任务，具有巨大的实际应用价值。

目前，以全卷积神经网络(fully convolutional networks,FCN)为代表的方法被应用于遥感影像语义分割(分类)任务，主要原因在于FCN架构设计简单、模型训练与推理容易使用。尽管通过多种策略，如扩张卷积(dilated/atrous convolution)、金字塔池化(pyramid pooling)、多尺度表征、由粗到精的场景上下文优化等方法，可以使FCN的性能得到极大提升，但高精度的模型在训练时需要大量已标注好的数据，而逐像元的遥感影像语义分割数据标注耗时耗力，往往需要长期专业培训才能完成高质量的数据标注任务，对于遥感影像分割模型的训练而言，样本标注过程工作量过大。

发明内容

有鉴于此，本发明实施例提供了一种遥感影像语义分割方法及装置，以解决遥感影像语义分割模型训练过程中，样本标注工作量过大问题。

在本发明实施例的第一方面，提供了一种遥感影像语义分割方法，包括：

通过有标记的遥感影像数据对语义分割对抗网络进行训练，其中，所述语义分割对抗网络中包含有基于注意力机制的生成器和基于置信度预测机制的判别器；

通过未标记的遥感影像数据对所述语义分割对抗网络进行训练，采用生成器权值共享对未标记遥感影像数据进行预测，并在判别器上生成置信度图；

根据预定义的损失函数，通过有标记的遥感数据和未标记的遥感数据对语义分割对抗网络迭代训练，优化超参数，以基于迭代优化后的语义分割对抗网络对待识别遥感影像数据进行语义分割。

在本发明实施例的第二方面，提供了一种遥感影像语义分割装置，包括：

第一训练模块，用于通过有标记的遥感影像数据对语义分割对抗网络进行训练，其中，所述语义分割对抗网络中包含有基于注意力机制的生成器和基于置信度预测机制的判别器；

第二训练模块，用于通过未标记的遥感影像数据对所述语义分割对抗网络进行训练，采用生成器权值共享对未标记遥感影像数据进行预测，并在判别器上生成置信度图；

迭代优化模块，用于根据预定义的损失函数，通过有标记的遥感数据和未标记的遥感数据对语义分割对抗网络迭代训练，优化超参数，以基于迭代优化后的语义分割对抗网络对待识别遥感影像数据进行语义分割。

在本发明实施例的第三方面，提供了一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如本发明实施例第一方面所述方法的步骤。

本发明实施例的第四方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现本发明实施例第一方面提供的所述方法的步骤。

本发明实施例中，基于有标记的影像数据对语义分割对抗网络训练，在生成器中融入特征通道注意力模块，并结合判别器产生的半监督学习信号，学习未标记数据与有标记的遥感影像语义分割数据间的分布，使未标记数据的整体概率分布与有标记的语义分割数据概率分布相接近，从而在小样本情况下，基于未标记的样本也可以得到最优语义分割预测结果。采用基于对抗学习的语义分割模型，可以大大减少传统全卷积模型训练过程中样本标注的工作量，在少量样本标注的前提下，实现遥感影像语义分割模型训练，并能保障语义分割的准确度，具有较高的实际应用价值。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单介绍，显而易见地，下面描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获取其他附图。

图1为本发明的一个实施例提供的一种遥感影像语义分割方法的流程示意图；

图2为本发明的一个实施例提供的半监督语义分割对抗网络的结构示意图；

图3为本发明的一个实施例提供的语义分割对抗网络中对应的原始影像、注意力预测图、网络置信度预测图、语义分割预测图和语义分割真值示意图。

图4为本发明的一个实施例提供的一种用于遥感影像语义分割的装置的结构示意图。

具体实施方式

为使得本发明的发明目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，下面所描述的实施例仅仅是本发明一部分实施例，而非全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围以下结合附图对本发明的原理和特征进行描述，所举实例只用于解释本发明，并非用于限定本发明的范围。

本发明的说明书或权利要求书及上述附图中的术语“包括”以及其他相近意思表述，意指覆盖不排他的包含，如包含一系列步骤或单元的过程、方法或系统、设备没有限定于已列出的步骤或单元。

请参阅图1，图1为本发明一个实施例提供的一种遥感影像语义分割方法的流程示意图，包括：

S101、通过有标记的遥感影像数据对语义分割对抗网络进行训练，其中，所述语义分割对抗网络中包含有基于注意力机制的生成器和基于置信度预测机制的判别器；

如图2所示所述语义分割对抗网络中生成器融合有注意力机制，判别器中融合有置信度预测机制，可以产生半监督学习信号，学习有标记的遥感影像语义分割数据间的分布，使得未标记的遥感影像数据的整体概率分布与有标记的语义分割数据概率分布相接近。

所述基于注意力机制的生成器中，包含有特征抽取模块和注意力机制模块，在所述特征抽取模块中，利用对称编码-解码结构抽取有标记的遥感影像数据特征。

示例性的，编码-解码网络结构参数如下表：

表1生成器对称编码-解码结构参数

表1中conva-b表示编码-解码模块中组a内第b个卷积操作；poola表示组a内的池化(pooling，即下采样)操作；up-sample-m表示第m个上采样层；网络结构的编码-解码模块中，默认在各个卷积操作后，使用非线性变换函数ReLU(修正线性单元)作为激活函数；C表示网络结构输出特征类别数，本申请中选用C＝11，即地理国情普查标准的第一大类，包括背景、耕地、园地、林地、草地、房屋、道路、构筑物、人工堆掘地、荒漠与裸露地表、水域。

在所述注意力机制模块中，设定特征抽取模块中抽取的遥感影像数据特征为X∈X^H×W×C，则特征的注意力编码函数表示为特征X上所有位置的加权和：

C_i(X)＝f(θ(X)，Φ(X))g(X)； (1)

其中，H和W分别表示特征的宽度和高度，C表示特征类别数，C_i表示注意力编码函数，θ(X)、Φ(X)和g(X)函数均表示输入特征X上的变换函数，f表示所有位置上结对变换函数,公式(1)的稀疏向量为：

式中，vec表示变换矩阵的行空间向量形式，δ_θ与δ_φ是学习到的参数θ、φ的稀疏加权算子，

表示复合映射，p是特征编码函数C_i的阶数，Γ_i(X)是高阶项H^p(·)的转换函数，若使用1×1卷积核，同时令

则公式(2)可以表示为：

通过公式(3)计算得到生成器特征注意力编码，特征编码大小与输入特征维度相同，即注意力特征编码表示为C_i(X)＝vec(C_i(X))∈X^H×W×C。P-timesI表示p次运算，T表示矩阵转置。

所述基于置信度预测机制的判别器为采用全卷积结构的判别器，示例性的，判别器的结构参数如下：

表2判别器结构参数

表2中conva-b表示编码-解码模块中组a内第b个卷积操作；poola表示组a内的池化(pooling，即下采样)操作；up-sample-m表示第m个上采样层；网络结构的编码-解码模块中，默认在各个卷积操作后，使用非线性变换函数ReLU(修正线性单元)作为激活函数；C表示网络结构输出特征类别数，其与生成器相同，本申请中C＝11。

判别器中将沿着输出特征X^D∈X^H×W×C的通道方差作为弱监督信号，弱监督信号计算公式为：

其中，Var表示通道方差，

表示输出特征的第i通道，

为判别器输出特征的所有通道的均值，C表示特征类别数。根据上式计算判别特征的通道方差，可以使网络在训练是发现预测区域内置信度小的区域。

S102、通过未标记的遥感影像数据对所述语义分割对抗网络进行训练，采用生成器权值共享对未标记遥感影像数据进行预测，并在判别器上生成置信度图；

在S101迭代预定次数的基础上，采用权值共享方式，使用S101训练得到的权重对未标记数据进行预测，同时在判别器上产生置信度图，将该置信度图作为半监督信息，根据半监督信息调整网络参数学习状态。

基于S101和S102交替迭代，可以训练得到在小样本条件下可预测语义分割类别的生成器。

S103、根据预定义的损失函数，通过有标记的遥感数据和未标记的遥感数据对语义分割对抗网络迭代训练，优化超参数，以基于迭代优化后的语义分割对抗网络对待识别遥感影像数据进行语义分割。

基于有标记和未标记的遥感影像数据交替迭代训练是以损失函数为驱动的，遵循生成式对抗网络(GAN)的设计准则。

所述预定义的损失函数包括总体损失函数，所述总体损失函数为：

式中，L(G)表示生成器的损失函数，L(G,GT)表示判别器的对抗损失，L(G,D,I)表示训练过程中判别器产生的半监督信号损失，即自学习损失，λ_adv,λ_semi分别表示判别器对抗损失与半监督信号损失的调整系数，如设置为λ_adv＝0.01,λ_semi＝0.1。

生成器的损失函数采用多类别的语义分割交叉熵损失函数，表示为：

式中，

表示从有语义分割标注的数据集

中获取的影像及其相应的标签，h,w表示影像和对应标注的宽度和高度，c是影像上每个像素所属类别，G(·)表示生成器模块的预测函数，根据生成器模块的预测函数函数可得到影像数据语义分割的预测结果。

判别器的损失函数L(G,GT)目标是使生成器的预测函数，即语义分割函数G(·)与one-hot形式的真值间差异得以区别开。若D(·)表示判别器的预测函数，则判别器损失函数的最小化可表示为：

其中‖E‖表示数学期望E的绝对值损失，

与生成器损失函数的符号具有相同含义；

所述半监督学习的损失函数L(D,I)用于监督语义分割网络训练时来自未标记的遥感语义分割数据集

与具有标记的语义分割数据集

其代表了语义分割模型训练时的置信度。本发明中半监督损失函数定义如下：

其中{X,Y}代表来自有标记/未标记的训练数据；I为二值标记矩阵，当矩阵I的元素大于阈值ε_semi时取1，小于等于阈值ε_semi时取0，如可以设定阈值ε_semi＝0.2。

示例性的，基于损失函数迭代训练时，设定初始超参数为：学习率设置为0.0001，动量参数设置为0.9，权重衰减系数设置为0.00005。迭代过程中选取随机梯度下降(SGD)方法进行迭代优化超参数。

在一个实施例中，如图3所示，图3中(a)表示原始遥感影像,(b)表示语义分割对抗网络的注意力预测图，(c)语义分割对抗网络的置信度预测图，(d)语义分割对抗网络的语义分割预测图，(e)表示语义分割真值示意图。

通过本实施例提供的方法，在小样本的条件下训练得到准确可靠的语义分割模型，可以减少传统样本标注过程中的工作量，提高模型训练效率并保障精度。训练时基于有效的网络置信度衡量机制及注意力机制，在未标注样本基础上可以有效保证模型精度。

应理解，上述实施例中各步骤的序号大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

图4为本发明实施例提供的一种用于遥感影像语义分割的装置的结构示意图，该装置包括：

第一训练模块410，用于通过有标记的遥感影像数据对语义分割对抗网络进行训练，其中，所述语义分割对抗网络中包含有基于注意力机制的生成器和基于置信度预测机制的判别器；

其中，所述判别器中将沿着输出特征X^D∈X^H×W×C的通道方差作为弱监督信号，弱监督信号计算公式为：

式中，Var表示通道方差，

表示输出特征的第i通道，

为判别器输出特征的所有通道的均值，C表示特征类别数。

将所述置信度图作为半监督信息，并根据置信度图调整网络参数学习状态。

第二训练模块420，用于通过未标记的遥感影像数据对所述语义分割对抗网络进行训练，采用生成器权值共享对未标记遥感影像数据进行预测，并在判别器上生成置信度图；

迭代优化模块430，用于根据预定义的损失函数，通过有标记的遥感数据和未标记的遥感数据对语义分割对抗网络迭代训练，优化超参数，以基于迭代优化后的语义分割对抗网络对待识别遥感影像数据进行语义分割。

可以理解的是，在一个实施例中，所述电子设备包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述计算机程序执行如实施例一中步骤S101～S103，处理器执行所述计算机程序时实现语义分割模型的训练。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，所述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，包括步骤S101～S103，所述的存储介质包括如：ROM/RAM、磁碟、光盘等。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。

以上所述，以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (8)

1.一种遥感影像语义分割方法，其特征在于，包括：

通过有标记的遥感影像数据对语义分割对抗网络进行训练，其中，所述语义分割对抗网络中包含有基于注意力机制的生成器和基于置信度预测机制的判别器；

通过未标记的遥感影像数据对所述语义分割对抗网络进行训练，采用生成器权值共享对未标记遥感影像数据进行预测，并在判别器上生成置信度图；

根据预定义的损失函数，通过有标记的遥感数据和未标记的遥感数据对语义分割对抗网络迭代训练，优化超参数，以基于迭代优化后的语义分割对抗网络对待识别遥感影像数据进行语义分割。

2.根据权利要求1所述的方法，其特征在于，所述基于注意力机制的生成器中包括：

利用对称编码-解码结构抽取有标记的遥感影像数据特征，将抽取的遥感影像数据特征X∈X^H×W×C的注意力编码函数表示为特征X上所有位置的加权和：

C_i(X)＝f(θ(X)，Φ(X))g(X)； (1)

式中，H和W分别表示特征的宽度和高度，C表示特征类别数，C_i表示注意力编码函数，θ(X)、Φ(X)和g(X)函数均表示输入特征X上的变换函数，表示所有位置上结对变换函数,公式(1)的稀疏向量为：

式中，vec表示变换矩阵的行空间向量形式，δ_θ与δ_φ是学习到的参数θ、φ的稀疏加权算子，p是特征编码函数C_i的阶数，Γ_i(X)是高阶项H^p(·)的转换函数，若使用1×1卷积核，同时令

则公式(2)可以表示为：

通过公式(3)计算得到生成器特征注意力编码，特征编码大小与输入特征维度相同，注意力特征编码表示为C_i(X)vec(C_i(X))∈X^H×W×C。

3.根据权利要求1所述方法，其特征在于，所述判别器中将沿着输出特征X^D∈X^H×W×C的通道方差作为弱监督信号，弱监督信号计算公式为：

其中，Var表示通道方差，

表示输出特征的第i通道，

为判别器输出特征的所有通道的均值，C表示特征类别数。

4.根据权利要求1所述的方法，其特征在于，所述在判别器上生成置信度图还包括：

将所述置信度图作为半监督信息，并根据置信度图调整网络参数学习状态。

5.根据权利要求1所述方法，其特征在于，所述预定义的损失函数包括总体损失函数，所述总体损失函数为：

式中，L(G)表示生成器的损失函数，L(G,GT)表示判别器的对抗损失函数，L(G,D,I)表示训练过程中判别器产生的半监督信号损失，λ_adv,λ_semi分别表示判别器对抗损失与半监督信号损失的调整系数；

所述生成器的损失函数采用多类别的语义分割交叉熵损失函数，表示为：

式中，

表示从有语义分割标注的数据集

中获取的影像及影像相应的标签，h,w表示影像对应标注的宽度和高度，c是影像上每个像素所属类别，G(·)表示生成器的预测函数，根据生成器的预测函数确定影像数据语义分割的预测结果；

所述判别器的对抗损失函数L(G,GT)目标是使生成器的预测函数，若D(·)表示判别器的预测函数，则判别器对抗损失函数的最小化可表示为：

式中，‖E‖表示数学期望E的绝对值损失；

半监督学习的损失函数L(D,I)用于监督模型训练时的未标记的遥感影像语义分割数据集

和有标记的语义分割数据集

代表半监督语义分割网络训练时的置信度，其中，半监督损失函数定义为：

式中，{X,Y}表示来自有标记或未标记的训练数据，Var表示通道方差，I为二值标记矩阵，当矩阵I的元素大于阈值ε_semi时取1，小于等于阈值ε_semi时取0。

6.一种用于遥感影像语义分割的装置，其特征在于，包括：

第一训练模块，用于通过有标记的遥感影像数据对语义分割对抗网络进行训练，其中，所述语义分割对抗网络中包含有基于注意力机制的生成器和基于置信度预测机制的判别器；

第二训练模块，用于通过未标记的遥感影像数据对所述语义分割对抗网络进行训练，采用生成器权值共享对未标记遥感影像数据进行预测，并在判别器上生成置信度图；

迭代优化模块，用于根据预定义的损失函数，通过有标记的遥感数据和未标记的遥感数据对语义分割对抗网络迭代训练，优化超参数，以基于迭代优化后的语义分割对抗网络对待识别遥感影像数据进行语义分割。

7.一种电子设备，包括处理器、存储器以及存储在所述存储器中并在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至5中任一项所述遥感影像语义分割方法的步骤。

8.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5任一项所述遥感影像语义分割方法的步骤。

Images