CN113554655A - 基于多特征增强的光学遥感图像分割方法及装置 - Google Patents

Abstract

本发明公开了一种基于多特征增强的光学遥感图像分割方法及装置，涉及图像处理技术领域。该方法包括：建立基于多特征增强的分割模型，分割模型包括：小尺度特征提取网络、大尺度特征提取网络、多特征生成网络、多特征增强网络和分割网络；对分割模型进行训练；将待分割图像输入到训练后的分割模型中，依次通过5个子神经网络对待分割图像进行处理，得到待分割图像的分割结果。本发明适用于复杂场景下的光学遥感图像分割，能够充分利用图像中丰富的场景上下文和细节外观信息，通过多特征增强模型具有增强细节外观特征和语义结构信息的特点，可提高对光学遥感图像在复杂场景下的精细准确分割能力，从而减少误检或漏检现象的发生。

Description

基于多特征增强的光学遥感图像分割方法及装置

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于多特征增强的光学遥感图像分割方法及装置。

背景技术

随着现代遥感技术的飞速发展，光学遥感图像的空间分辨率越来越高。在高空间分辨率光学遥感图像中，各种地物的空间布局更加清晰、纹理细节更加突出等，同时背景信息如光照、阴影等的干扰作用也明显增强，这给遥感图像的精细分割带来了巨大挑战。

近年来，深度学习技术已广泛应用于遥感图像分割中，并取得了显著的效果。然而，主流的基于深度学习的分割方法如FCN、SegNet、PSPNet等在面对复杂场景下光学遥感图像时，误检或漏检现象较多。

发明内容

本发明所要解决的技术问题是针对现有技术的不足，提供一种基于多特征增强的光学遥感图像分割方法及装置。

本发明解决上述技术问题的技术方案如下：

一种基于多特征增强的光学遥感图像分割方法，包括：

建立基于多特征增强的分割模型，所述分割模型包括5个子神经网络：小尺度特征提取网络、大尺度特征提取网络、多特征生成网络、多特征增强网络和分割网络，所述小尺度特征提取网络和所述大尺度特征提取网络分别与所述多特征生成网络连接，所述多特征生成网络、所述多特征增强网络和所述分割网络依次连接；

对所述分割模型进行训练；

将待分割图像输入到训练后的所述分割模型中，依次通过5个所述子神经网络对所述待分割图像进行处理，得到所述待分割图像的分割结果。

本发明解决上述技术问题的另一种技术方案如下：

一种基于多特征增强的光学遥感图像分割装置，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序，实现如上述技术方案所述的基于多特征增强的光学遥感图像分割方法。

本发明解决上述技术问题的另一种技术方案如下：

一种存储介质，所述存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行如上述技术方案所述的基于多特征增强的光学遥感图像分割方法。

本发明的有益效果是：本发明提供的光学遥感图像分割方法及装置适用于复杂场景下的光学遥感图像分割，通过小尺度特征提取网络、大尺度特征提取网络、多特征生成网络、多特征增强网络和分割网络对待分割图像进行处理，能够充分利用图像中丰富的场景上下文和细节外观信息，通过多特征增强模型具有增强细节外观特征和语义结构信息的特点，可提高对光学遥感图像在复杂场景下的精细准确分割能力，从而减少误检或漏检现象的发生。

本发明附加的方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明实践了解到。

附图说明

图1为本发明光学遥感图像分割方法的实施例提供的流程示意图；

图2为本发明光学遥感图像分割方法的其他实施例提供的实例分割模型示意图；

图3为本发明光学遥感图像分割方法的其他实施例提供的另一实例分割模型示意图；

图4为本发明光学遥感图像分割装置的实施例提供的结构框架示意图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实施例只用于解释本发明，并非用于限定本发明的范围。

如图1所示，为本发明光学遥感图像分割方法的实施例提供的流程示意图，该光学遥感图像分割方法基于多特征增强的分割模型实现，如图2所示，给出了一种示例性的分割模型示意图，该方法包括：

S1，建立基于多特征增强的分割模型，分割模型包括5个子神经网络：小尺度特征提取网络N1、大尺度特征提取网络N2、多特征生成网络N3、多特征增强网络N4和分割网络N5，小尺度特征提取网络N1和大尺度特征提取网络N2分别与多特征生成网络N3连接，多特征生成网络N3、多特征增强网络N4和分割网络N5依次连接；

应理解，这些子神经网络可以包括卷积层、采样层、全连接层等结构，这些子神经网络的具体结构可以根据实际需求设置。

其中，小尺度特征提取网络N1能够提取具有丰富的全局上下文和语义结构信息的小尺度特征图，可以有效抑制复杂场景的干扰；大尺度特征提取网络N2能够提取具有丰富的局部上下文和细节外观信息的大尺度特征图，可以提供图像的细节信息；多特征生成网络N3基于小尺度特征图和大尺度特征图获取多个特征图；多特征增强网络N4能够获取细节外观和语义信息增强后的多个特征图；分割网络N5融合增强后的多个特征图，充分利用各个特征包含的丰富的上下文信息、细节外观信息和语义结构信息，使得基于多特征增强的光学遥感图像分割方法能够实现复杂场景下光学遥感图像的精细准确分割。

应理解，小尺度特征图指的是具有丰富的全局上下文和语义结构信息的特征图，大尺度特征图指的是具有丰富的局部上下文和细节外观信息的特征图。

下面给出一种可能的分割模型的结构。

对于小尺度特征提取网络N1，可以包括图像网格切块层G，线性投影层L，位置编码层P，多头注意力层{MA_i ¹}(i∈{1,…,n_ma ¹},n_ma ¹≥1)，全连接层{FC_i ¹}(i∈{1,…,n_fc ¹},n_fc ¹≥1)，相加层{A_i1 ¹,A_i2 ¹}(i∈{1,…,n_a ¹},n_a ¹≥1)，变形层R，卷积层{C_i ¹}(i∈{1,…,n_c ¹},n_c ¹≥1)，下采样层{D_i ¹}(i∈{1,…,n_d ¹},n_d ¹≥0)。其中，i为变量，n_ma ¹表示多头注意力层的层数，n_fc ¹表示全连接层的层数，n_a ¹表示相加层的层数，n_c ¹表示卷积层的层数，n_d ¹表示下采样层的层数。

对于大尺度特征提取网络N2，可以包括卷积层{C_i ²}(i∈{1,…,n_c ²},n_c ²≥2)，下采样层{D_i ²}(i∈{1,…,n_d ²},n_d ²≥1)。其中，i为变量，n_c ²表示卷积层的层数，n_d ²表示下采样层的层数。

对于多特征生成网络N3，可以包括卷积层{C_i ³或B_i ³}(i∈{1,…,n_c ³},n_c ³≥1)，上采样层{U_i ³}(i∈{1,…,n_u ³},n_u ³≥1)。其中，i为变量，n_c ³表示卷积层的层数，n_u ³表示上采样层的层数。

对于多特征增强网络N4，可以包括图G＝(V,E)，其中V＝{S_i}(i∈{1,…,n_g ⁴},n_g ⁴≥2)为节点，代表不同的特征图；E＝{e_ij}(i,j∈{1,…,n_g ⁴},n_g ⁴≥2,i≠j)为节点间的边。对于节点S_i，将其对应的特征图作为节点初始特征x_i ⁽⁰⁾；对于边e_ij，将节点S_i和S_j之间的关系e_ij＝W(x_i-x_j)作为其特征。

节点特征的更新采用门控循环单元或长短期记忆单元，节点i的初始隐藏状态h_i ⁽⁰⁾设为0，第k次更新迭代的输入为x_i ^(k)＝x_i ^(k-1)+∑e_ij ^(k-1)x_j ^(k-1)(i≠j,k∈{1,…,K},K≥1)。其中，i和j为变量，n_g ⁴表示节点的个数，W为可学习的权重矩阵，K为节点更新迭代次数。

对于分割网络N5，可以包括融合层{M_i ⁵}(i∈{1,…,n_m ⁵},n_m ⁵≥1)，卷积层{C_i ⁵}(i∈{1,…,n_c ⁵},n_c ⁵≥2)，上采样层{U_i ⁵}(i∈{1,…,n_u ⁵},n_u ⁵≥1)。其中，i为变量，n_m ⁵表示融合层的层数，n_c ⁵表示卷积层的层数，n_u ⁵表示上采样层的层数。

例如，图2的分割模型示意图中，小尺度特征提取网络N1包括依次设置的至少一个图像网格切块层G，一个线性投影层L，一个位置编码层P，一个多头注意力层MA₁ ¹、一个全连接层FC₁ ¹，两个相加层A₁₁ ¹、A₁₂ ¹，一个变形层R，一个卷积层C₁ ¹；大尺度特征提取网络N2包括依次设置的至少两个卷积层C₁ ²、C₃ ²，一个下采样层D₁ ²；多特征生成网络N3中包括依次设置的至少一个卷积层B₁ ³，一个上采样层U₂ ³；多特征增强网络N4中包括一个图神经网络，网络包含至少两个节点S₁、S₃，每两个节点之间定义边；分割网络N5包括依次设置的至少一个融合层M₁ ⁵，两个卷积层C₁ ⁵、C₃ ⁵，一个上采样层U₁ ⁵。

通过采用包括多个不同结构特点的子神经网络的多特征增强模型进行训练与识别，由于多特征增强模型具有增强细节外观特征和语义结构信息的特点，从而可提高对光学遥感图像在复杂场景下的精细准确分割能力。

S2，对分割模型进行训练；

可选地，可以预先采集多张光学遥感图像作为整个网络的训练图像，对训练图像进行标注处理后，采用反向传播算法对分割模型进行训练。

例如，以识别植物为例，可以采集1000张包含植物的图像，将其中800张作为训练集，200张作为验证集，通过训练集对分割模型进行训练，通过验证集对分割模型进行验证。

可以根据分割目的预先对训练集的图像进行标注，标注完成后，可以通过预设的训练方法对分割模型进行训练，再使用验证集进行验证。

例如，可以采用反向传播算法对分割模型进行训练。

S3，将待分割图像输入到训练后的分割模型中，依次通过5个子神经网络对待分割图像进行处理，得到待分割图像的分割结果。

例如，可以由小尺度特征提取网络N1将待处理图像经过多层注意力机制处理获得多个小尺度特征图，小尺度特征图包含丰富的全局上下文和语义结构信息；由大尺度特征提取网络N2将待处理图像经过多层卷积层处理获得多个大尺度特征图，大尺度特征图包含丰富的局部上下文和细节外观信息；由多特征生成网络N3将多个小尺度特征图和多个大尺度特征图经过上采样处理，获得多个特征图；由多特征增强网络N4将多个特征图经过图神经网络处理进行信息融合，获得细节外观和语义信息增强后的多个特征图；由分割网络N5融合增强后的多个特征图，经过多个卷积层处理获得最终的分割结果。

本实施例提供的光学遥感图像分割方法适用于复杂场景下的光学遥感图像分割，通过小尺度特征提取网络N1、大尺度特征提取网络N2、多特征生成网络N3、多特征增强网络N4和分割网络N5对待分割图像进行处理，能够充分利用图像中丰富的场景上下文和细节外观信息，通过多特征增强模型具有增强细节外观特征和语义结构信息的特点，可提高对光学遥感图像在复杂场景下的精细准确分割能力，从而减少误检或漏检现象的发生。

可选地，在一些可能的实施方式中，对分割模型进行训练，具体包括：

获取至少一张光学遥感图像作为训练图像，分别对每张训练图像进行预处理：

将预处理后的全部训练图像输入到分割模型中，采用反向传播算法对分割模型进行训练。

可选地，在一些可能的实施方式中，分别对每张训练图像进行预处理，具体包括：

设置至少两种用于区分像素的类别；

基于第一训练图像标注出所有像素的类别；

其中，第一训练图像为全部训练图像中的任意一个训练图像。

例如，可以至少设置为需要识别的目标以及背景，设置为2个类别。也可以设置为需要识别的目标A、目标B以及背景，设置为3个类别。

以识别植物为例，可以对图像中的每个像素进行植物和背景的标注，将植物识别出来，然后将每个像素标注为植物或背景。

可选地，在一些可能的实施方式中，将待分割图像输入到训练后的分割模型中，依次通过5个子神经网络对待分割图像进行处理，得到待分割图像的分割结果，具体包括：

将待分割图像输入到训练后的分割模型中，通过小尺度特征提取网络N1对待分割图像进行处理，得到多个小尺度特征图；

通过大尺度特征提取网络N2对待分割图像进行处理，得到多个大尺度特征图；

通过多特征生成网络N3将多个小尺度特征图和多个大尺度特征图经过上采样处理，获得多个特征图；

通过多特征增强网络N4将多个特征图经过图神经网络处理进行信息融合，获得细节外观和语义信息增强后的多个增强特征图；

通过分割网络N5对多个增强特征图进行融合，得到分割结果。

其中，小尺度特征提取网络N1能够提取具有丰富的全局上下文和语义结构信息的小尺度特征图，可以有效抑制复杂场景的干扰；大尺度特征提取网络N2能够提取具有丰富的局部上下文和细节外观信息的大尺度特征图，可以提供图像的细节信息；多特征生成网络N3基于小尺度特征图和大尺度特征图获取多个特征图；多特征增强网络N4能够获取细节外观和语义信息增强后的多个特征图；分割网络N5融合增强后的多个特征图，充分利用各个特征包含的丰富的上下文信息、细节外观信息和语义结构信息，使得基于多特征增强的光学遥感图像分割方法能够实现复杂场景下光学遥感图像的精细准确分割。

可选地，在一些可能的实施方式中，小尺度特征提取网络N1包括：图像网格切块层、线性投影层、位置编码层、多头注意力层、相加层、全连接层、变形层、卷积层和下采样层；

通过小尺度特征提取网络N1对待分割图像进行处理，得到多个小尺度特征图，具体包括：

通过网格切块层将待分割图像均匀切分成预设大小的图像块；

通过线性投影层提取每个图像块的嵌入向量；

通过位置编码层编码每个图像块的位置向量；

通过多头注意力层、相加层和全连接层对嵌入向量和位置向量进行处理，提取所有图像块间的全局上下文信息，得到每个图像块的全局特征向量；

通过变形层将全局特征向量变形至二维特征图；

通过卷积层对二维特征图进行细化；

通过下采样层对细化后的二维特征图进行降维，得到多个小尺度特征图。

例如，以图3所示分割模型为例，可以通过图像网格切块层G将图像均匀切分成图像块，通过线性投影层L提取每个图像块的嵌入向量，通过位置编码层P编码每个图像块的位置向量，将每个图像块的嵌入向量和位置向量分别相加得到每个图像块的输入向量，通过6组多头注意力层MA₁ ¹、相加层A₁₁ ¹、全连接层FC₁ ¹和相加层A₁₂ ¹提取所有图像块间的全局上下文信息，得到图像的全局特征向量，通过变形层R将图像的全局特征向量变形至二维特征图，通过卷积层C₁ ¹、卷积层C₂ ¹和卷积层C₃ ¹细化特征图，通过下采样层D₁ ¹对特征图进行降维，得到更小尺度的特征图。通过多层多头注意力层提取具有丰富的全局上下文和语义结构信息的小尺度特征图，可以有效抑制复杂场景的干扰。

可选地，在一些可能的实施方式中，大尺度特征提取网络N2包括：卷积层和下采样层；

通过大尺度特征提取网络N2对待分割图像进行处理，得到多个大尺度特征图，具体包括：

通过卷积层对待分割图像进行处理，提取图像特征，得到特征图；

通过下采样层对特征图进行降维，得到多个大尺度特征图。

例如，以图3所示分割模型为例，可以通过卷积层C₁ ²、卷积层C₂ ²、卷积层C₃ ²、卷积层C₄ ²、卷积层C₅ ²和卷积层C₆ ²提取图像特征和细化特征图，通过下采样层D₁ ²和下采样层D₂ ²对图像特征进行降维。通过多层卷积层和下采样层提取具有丰富的局部上下文和细节外观信息的大尺度特征图，可以提供图像的细节信息。

可选地，在一些可能的实施方式中，多特征生成网络N3包括：卷积层和上采样层；

通过多特征生成网络N3将多个小尺度特征图和多个大尺度特征图经过上采样处理，获得多个特征图，具体包括：

通过卷积层对多个小尺度特征图和多个大尺度特征图的特征进行细化；

通过上采样层对细化后的多个小尺度特征图和多个大尺度特征图的特征进行升维，得到具有相同大小的多个特征图。

例如，以图3所示分割模型为例，可以通过卷积层B₁ ³细化特征图，通过上采样层U₁ ³、上采样层U₂ ³和上采样层U₃ ³对图像特征进行升维。该网络用于将小尺度特征提取网络N1提取的小尺度特征图和大尺度特征提取网络N2提取的大尺度特征图变换为相同大小的多个特征图。

可选地，在一些可能的实施方式中，如图3所示，多特征增强网络N4包括一个图神经网络，该图神经网络中设置有4个节点，各个节点之间通过边连接。

每个节点代表不同的特征图，通过特征图间的信息传递，使得每个特征图均包含丰富的细节外观和语义信息，得到增强后的多个特征图，从而有效抑制复杂场景的干扰。

可选地，在一些可能的实施方式中，分割网络N5包括：融合层、上采样层和卷积层；

通过分割网络N5对多个增强特征图进行融合，得到分割结果，具体包括：

通过融合层对多个增强特征图进行融合，得到融合特征图；

通过上采样层对融合特征图的特征进行升维，使融合特征图的大小与待分割图像相同；

通过卷积层对升维后的融合特征图的特征进行细化，并生成得分图，得到最终的分割结果。

例如，以图3所示分割模型为例，可以通过融合层M₁ ⁵融合增强后的多个特征图，通过上采样层U₁ ⁵对特征图的特征进行升维，逐步达到原始图像大小，通过卷积层C₁ ⁵、卷积层C₂ ⁵和卷积层C₃ ⁵细化特征图，其中最后一层卷积层C₄ ⁵用于生成得分图，得到图像最终分割结果。

下面结合图3，给出一种较为优选的分割模型示意图。

如图3所示，为本发明光学遥感图像分割方法的其他实施例提供的另一实例分割模型示意图，小尺度特征提取网络N1包括依次设置的图像网格切块层G、线性投影层L、位置编码层P、多头注意力层MA₁ ¹、相加层A₁₁ ¹、全连接层FC₁ ¹、相加层A₁₂ ¹、变形层R、卷积层C₁ ¹、下采样层D₁ ¹、卷积层C₂ ¹和卷积层C₃ ¹。

应理解，如图中框出的部分，可以将多头注意力层MA₁ ¹、相加层A₁₁ ¹、全连接层FC₁ ¹、相加层A₁₂ ¹作为一组处理层，用于提取图像块间的全局上下文信息，得到每个图像块的全局特征向量，那么还包括并列设置的其余5组相同结构，在图中未标出。

也就是说，在小尺度特征提取网络N1中，共包括1个图像网格切块层，1个线性投影层，1个位置编码层，n_ma ¹＝6个多头注意力层，n_fc ¹＝6个全连接层，n_a ¹＝12个相加层，1个变形层，n_c ¹＝3个卷积层，n_d ¹＝1个下采样层。

大尺度特征提取网络N2包括依次设置的卷积层C₁ ²、卷积层C₂ ²、下采样层D₁ ²、卷积层C₃ ²、卷积层C₄ ²、下采样层D₂ ²、卷积层C₅ ²和卷积层C₆ ²。

也就是说，在大尺度特征提取网络N2中，共包括n_c ²＝6个卷积层，n_d ²＝2个下采样层。

多特征生成网络N3包括依次设置的卷积层B₁ ³、上采样层U₁ ³、上采样层U₂ ³和上采样层U₃ ³。

也就是说，在多特征生成网络N3中，共包括n_c ³＝1个卷积层，n_u ³＝3个上采样层。

多特征增强网络N4包括依次设置的节点S₁、节点S₂、节点S₃和节点S₄，图中各个节点之间通过边连接。

也就是说，在多特征增强网络N4中，共包括n_g ⁴＝4个节点。

分割网络N5包括依次设置的融合层M₁ ⁵、卷积层C₁ ⁵、卷积层C₂ ⁵、上采样层U₁ ⁵、卷积层C₃ ⁵和卷积层C₄ ⁵。

也就是说，在分割网络N5中，共包括n_m ⁵＝1个融合层，n_c ⁵＝4个卷积层，n_u ⁵＝1个上采样层。

其中，线性投影层可以通过全连接层实现每个图像块的嵌入向量生成。位置编码层可通过正弦或余弦函数对图像块在原始图像中的位置进行编码。下采样层可以利用池化操作或带有步进大于1的卷积操作实现，对特征进行降维。

上采样层可以利用转置卷积操作或双线性插值操作或上池化操作实现，对特征进行升维。融合层可以利用加法操作或串接操作或均值操作实现，对多个特征进行信息融合。

需要说明的是，C代表卷积核为3*3的卷积层，B代表卷积核为1*1的卷积层。

小尺度特征提取网络N1中图像网格切块层用于将图像均匀切分成图像块，例如，切成H/16×W/16个图像块，H和W分别为图像的高和宽。线性投影层用于提取每个图像块的嵌入向量。位置编码层用于编码每个图像块的位置向量。将每个图像块的嵌入向量和位置向量分别相加得到每个图像块的输入向量。多头注意力层、相加层和全连接层用于提取所有图像块间的全局上下文信息，得到图像的全局特征向量。变形层用于将图像的全局特征向量变形至二维特征图。卷积层用于细化特征图。下采样层用于对特征图进行降维，得到更小尺度的特征图。该网络通过多层多头注意力层提取具有丰富的全局上下文和语义结构信息的小尺度特征图，可以有效抑制复杂场景的干扰。

大尺度特征提取网络N2中卷积层用于提取图像特征和细化特征图，下采样层用于对图像特征进行降维。该网络通过多层卷积层和下采样层提取具有丰富的局部上下文和细节外观信息的大尺度特征图，可以提供图像的细节信息。

多特征生成网络N3中卷积层用于细化特征图。上采样层用于对图像特征进行升维。该网络用于将小尺度特征提取网络N1提取的小尺度特征图和大尺度特征提取网络N2提取的大尺度特征图变换为相同大小的多个特征图。

多特征增强网络N4中图神经网络用于充分融合多特征生成网络N3输出的多个特征图，通过特征图间的信息传递，使得每个特征图均包含丰富的细节外观和语义信息，得到增强后的多个特征图，从而有效抑制复杂场景的干扰。

分割网络N5中融合层用于融合增强后的多个特征图。上采样层用于对图像特征进行升维，逐步达到原始图像大小。卷积层用于细化特征图，其中最后一层卷积层用于生成得分图，得到图像最终分割结果。

通过并联或级联各个子网络，使得基于多特征增强的光学遥感图像分割方法能够实现复杂场景下光学遥感图像的精细准确分割。

可以理解，在一些实施例中，可以包含如上述各实施方式中的部分或全部。

如图4所示，为本发明光学遥感图像分割装置的实施例提供的结构框架示意图，该光学遥感图像分割装置基于多特征增强的分割模型实现，包括：

存储器10，用于存储计算机程序；

处理器20，用于执行计算机程序，实现如上述任意实施方式公开的基于多特征增强的光学遥感图像分割方法。

需要说明的是，本实施例是与上述各方法实施例对应的产品实施例，对于本实施例中各结构及可选实施方式的说明可以参考上述各方法实施例中的对应说明，在此不再赘述。

在本发明的其他实施例中，还提供一种存储介质，存储介质中存储有指令，当计算机读取指令时，使计算机执行如上述任意实施方式公开的基于多特征增强的光学遥感图像分割方法。

读者应理解，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的方法实施例仅仅是示意性的，例如，步骤的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个步骤可以结合或者可以集成到另一个步骤，或一些特征可以忽略，或不执行。

上述方法如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (10)

1.一种基于多特征增强的光学遥感图像分割方法，其特征在于，包括：

建立基于多特征增强的分割模型，所述分割模型包括5个子神经网络：小尺度特征提取网络、大尺度特征提取网络、多特征生成网络、多特征增强网络和分割网络，所述小尺度特征提取网络和所述大尺度特征提取网络分别与所述多特征生成网络连接，所述多特征生成网络、所述多特征增强网络和所述分割网络依次连接；

对所述分割模型进行训练；

将待分割图像输入到训练后的所述分割模型中，依次通过5个所述子神经网络对所述待分割图像进行处理，得到所述待分割图像的分割结果。

2.根据权利要求1所述的基于多特征增强的光学遥感图像分割方法，其特征在于，对所述分割模型进行训练，具体包括：

获取至少一张光学遥感图像作为训练图像，分别对每张所述训练图像进行预处理：

将预处理后的全部所述训练图像输入到所述分割模型中，采用反向传播算法对所述分割模型进行训练。

3.根据权利要求1或2所述的基于多特征增强的光学遥感图像分割方法，其特征在于，将待分割图像输入到训练后的所述分割模型中，依次通过5个所述子神经网络对所述待分割图像进行处理，得到所述待分割图像的分割结果，具体包括：

将待分割图像输入到训练后的所述分割模型中，通过所述小尺度特征提取网络对所述待分割图像进行处理，得到多个小尺度特征图；

通过所述大尺度特征提取网络对所述待分割图像进行处理，得到多个大尺度特征图；

通过所述多特征生成网络将所述多个小尺度特征图和所述多个大尺度特征图经过上采样处理，获得多个特征图；

通过所述多特征增强网络将所述多个特征图经过图神经网络处理进行信息融合，获得细节外观和语义信息增强后的多个增强特征图；

通过所述分割网络对所述多个增强特征图进行融合，得到分割结果。

4.根据权利要求3所述的基于多特征增强的光学遥感图像分割方法，其特征在于，所述小尺度特征提取网络包括：图像网格切块层、线性投影层、位置编码层、多头注意力层、相加层、全连接层、变形层、卷积层和下采样层；

通过所述小尺度特征提取网络对所述待分割图像进行处理，得到多个小尺度特征图，具体包括：

通过所述网格切块层将所述待分割图像均匀切分成预设大小的图像块；

通过所述线性投影层提取每个所述图像块的嵌入向量；

通过位置编码层编码每个图像块的位置向量；

通过所述多头注意力层、所述相加层和全连接层对所述嵌入向量和所述位置向量进行处理，提取所有图像块间的全局上下文信息，得到每个图像块的全局特征向量；

通过所述变形层将所述全局特征向量变形至二维特征图；

通过所述卷积层对所述二维特征图进行细化；

通过所述下采样层对细化后的所述二维特征图进行降维，得到多个小尺度特征图。

5.根据权利要求3所述的基于多特征增强的光学遥感图像分割方法，其特征在于，所述大尺度特征提取网络包括：卷积层和下采样层；

通过所述大尺度特征提取网络对所述待分割图像进行处理，得到多个大尺度特征图，具体包括：

通过所述卷积层对所述待分割图像进行处理，提取图像特征，得到特征图；

通过所述下采样层对所述特征图进行降维，得到多个大尺度特征图。

6.根据权利要求3所述的基于多特征增强的光学遥感图像分割方法，其特征在于，所述多特征生成网络包括：卷积层和上采样层；

通过所述多特征生成网络将所述多个小尺度特征图和所述多个大尺度特征图经过上采样处理，获得多个特征图，具体包括：

通过所述卷积层对所述多个小尺度特征图和所述多个大尺度特征图的特征进行细化；

通过所述上采样层对细化后的所述多个小尺度特征图和所述多个大尺度特征图的特征进行升维，得到具有相同大小的多个特征图。

7.根据权利要求3所述的基于多特征增强的光学遥感图像分割方法，其特征在于，所述多特征增强网络包括：由至少两个节点组成的图神经网络，每个节点代表不同的特征图，各个节点之间通过边连接；

通过所述多特征增强网络将所述多个特征图经过图神经网络处理进行信息融合，获得细节外观和语义信息增强后的多个增强特征图，具体包括：

通过特征图间的信息传递，获得细节外观和语义信息增强后的多个增强特征图。

8.根据权利要求3所述的基于多特征增强的光学遥感图像分割方法，其特征在于，所述分割网络包括：融合层、上采样层和卷积层；

通过所述分割网络对所述多个增强特征图进行融合，得到分割结果，具体包括：

通过所述融合层对所述多个增强特征图进行融合，得到融合特征图；

通过所述上采样层对所述融合特征图的特征进行升维，使所述融合特征图的大小与所述待分割图像相同；

通过所述卷积层对升维后的所述融合特征图的特征进行细化，并生成得分图，得到最终的分割结果。

9.一种基于多特征增强的光学遥感图像分割装置，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序，实现如权利要求1至8中任一项所述的基于多特征增强的光学遥感图像分割方法。

10.一种存储介质，其特征在于，所述存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行如权利要求1至8中任一项所述的基于多特征增强的光学遥感图像分割方法。

Images