CN115810020B - 一种基于语义引导的由粗到细的遥感图像分割方法及系统 - Google Patents

Abstract

本发明公开了一种基于语义引导的由粗到细的遥感图像分割方法及系统，包括：构建包含粗糙分割网络、语义引导网络和精细分割网络的第一遥感图像分割模型；其中，粗糙分割网络分别与语义引导网络和精细分割网络连接，语义引导网络与精细分割网络连接；基于多个遥感图像样本，对第一遥感图像分割模型进行训练，得到目标遥感图像分割模型；将待测遥感图像输入至目标遥感图像分割模型，得到待测遥感图像的目标图像分割结果。本发明能够充分利用可学习的多类别语义引导向量捕捉各类别全局语义信息，同时重点关注语义模糊区域，提高对复杂场景下多类别目标的精细准确分割能力，提升图像分割精度。

Description

一种基于语义引导的由粗到细的遥感图像分割方法及系统

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于语义引导的由粗到细的遥感图像分割方法及系统。

背景技术

遥感图像蕴含着丰富的信息，能够展现物体的形状、大小、颜色等。近年来，随着遥感图像分辨率的不断提高，其应用领域也愈加广泛，比如农业监测、气象监测、灾害评估、城市规划等。在光学遥感图像中，存在地物类别繁多、同类目标形状多样、多类别间干扰严重等情况，这给遥感图像中不同类别目标的精细分割带来了巨大挑战。

目前，深度学习方法在计算机视觉领域发展迅速，常见的分割模型比如FCN、SegNet、DeepLab、DANet等，已成功应用在遥感图像分割领域中。然而，高分辨率遥感图像中不同类别地物特征的相似性导致在面对多类别复杂干扰情况时，分割精度较差。

因此，亟需提供一种技术方案解决上述技术问题。

发明内容

为解决上述技术问题，本发明提供了一种基于语义引导的由粗到细的遥感图像分割方法及系统。

本发明的一种基于语义引导的由粗到细的遥感图像分割方法的技术方案如下：

构建包含粗糙分割网络、语义引导网络和精细分割网络的第一遥感图像分割模型；其中，所述粗糙分割网络分别与所述语义引导网络和所述精细分割网络连接，所述语义引导网络与所述精细分割网络连接；

基于多个遥感图像样本，对所述第一遥感图像分割模型进行训练，得到目标遥感图像分割模型；

将待测遥感图像输入至所述目标遥感图像分割模型，得到所述待测遥感图像的目标图像分割结果。

本发明的一种基于语义引导的由粗到细的遥感图像分割方法的有益效果如下：

本发明的方法通过粗糙分割网络、语义引导网络和精细分割网络对遥感图像进行处理，能够充分利用可学习的多类别语义引导向量捕捉各类别全局语义信息，同时重点关注语义模糊区域，提高对复杂场景下多类别目标的精细准确分割能力，提升图像分割精度。

在上述方案的基础上，本发明的一种基于语义引导的由粗到细的遥感图像分割方法还可以做如下改进。

进一步，还包括：

获取多个遥感图像样本，并对任一遥感图像样本中的至少两种类别进行标注，得到该遥感图像样本对应的语义标注图像，直至得到每个遥感图像样本对应的语义标注图像。

进一步，所述基于多个遥感图像样本，对第一遥感图像分割模型进行训练，得到目标遥感图像分割模型的步骤，包括：

将任一遥感图像样本输入所述粗糙分割网络，得到并根据该遥感图像样本对应的粗糙特征图，得到该遥感图像样本对应的粗糙多类别得分图；

将所述任一遥感图像样本的粗糙多类别得分图输入所述语义引导网络，得到该遥感图像样本对应的语义引导特征图；

将所述任一遥感图像样本的粗糙特征图和语义引导特征图输入至所述精细分割网络，得到并根据该遥感图像样本对应的精细特征图，得到该遥感图像样本对应的第一图像分割结果；

根据所述任一遥感图像样本对应的第一图像分割结果和语义标注图像，得到该遥感图像样本的损失值，直至得到每个遥感图像样本的损失值；

基于所有的损失值，对所述第一遥感图像分割模型进行优化，得到优化后的遥感图像分割模型，并将所述优化后的遥感图像分割模型作为第一遥感图像分割模型并返回执行所述将任一遥感图像样本输入所述粗糙分割网络的步骤，直至满足预设迭代训练条件时，将所述优化后的遥感图像分割模型确定为所述目标遥感图像分割模型。

进一步，所述粗糙分割网络包括：依次设置的第一卷积层和第二卷积层；所述将任一遥感图像样本输入所述粗糙分割网络，得到并根据该遥感图像样本对应的粗糙特征图，得到该遥感图像样本对应的粗糙多类别得分图的步骤，包括：

将所述任一遥感图像样本输入至所述第一卷积层进行特征提取，得到并将该遥感图像样本对应的粗糙特征图输入至所述第二卷积层进行特征处理，得到该遥感图像样本对应的粗糙多类别得分图。

进一步，所述语义引导网络包括：全局语义引导向量组和引导层；

所述方法还包括：

构建全局语义引导向量组；其中，所述全局语义引导向量组包含多个可学习的语义引导向量；

所述将所述任一遥感图像样本的粗糙多类别得分图输入所述语义引导网络，得到该遥感图像样本对应的语义引导特征图的步骤，包括：

将所述任一遥感图像样本的粗糙多类别得分图和所述全局语义引导向量组输入所述引导层进行处理，得到所述任一遥感图像样本对应的语义引导特征图。

进一步，所述精细分割网络包括：依次设置的融合层、第三卷积层和第四卷积层；所述将所述任一遥感图像样本的粗糙特征图和语义引导特征图输入至所述精细分割网络，得到并根据该遥感图像样本对应的精细特征图，得到该遥感图像样本对应的第一图像分割结果的步骤，包括：

将所述任一遥感图像样本对应的粗糙特征图和语义引导特征图输入至所述融合层进行特征融合，得到该遥感图像样本对应的融合特征图；

将所述任一遥感图像样本对应的融合特征图输入至所述第三卷积层进行特征提取，得到该遥感图像样本对应的精细特征图；

将所述任一遥感图像样本对应的精细特征图输入至所述第四卷积层进行特征处理，得到该遥感图像样本对应的第一图像分割结果。

本发明的一种基于语义引导的由粗到细的遥感图像分割系统的技术方案如下：

包括：模型构建模块、模型训练模块和图像分割模块；

所述模型构建模块用于：构建包含粗糙分割网络、语义引导网络和精细分割网络的第一遥感图像分割模型；其中，所述粗糙分割网络分别与所述语义引导网络和所述精细分割网络连接，所述语义引导网络与所述精细分割网络连接；

所述模型训练模块用于：基于多个遥感图像样本，对第一遥感图像分割模型进行训练，得到目标遥感图像分割模型；

所述图像分割模块用于：将待测遥感图像输入至所述目标遥感图像分割模型，得到所述待测遥感图像的目标图像分割结果。

本发明的一种基于语义引导的由粗到细的遥感图像分割系统的有益效果如下：

本发明的系统通过粗糙分割网络、语义引导网络和精细分割网络对遥感图像进行处理，能够充分利用可学习的多类别语义引导向量捕捉各类别全局语义信息，同时重点关注语义模糊区域，提高对复杂场景下多类别目标的精细准确分割能力，提升图像分割精度。

在上述方案的基础上，本发明的一种基于语义引导的由粗到细的遥感图像分割系统还可以做如下改进。

进一步，还包括：样本处理模块；所述样本处理模块用于：

获取多个遥感图像样本，并对任一遥感图像样本中的至少两种类别进行标注，得到该遥感图像样本对应的语义标注图像，直至得到每个遥感图像样本对应的语义标注图像。

本发明的一种存储介质的技术方案如下：

存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行如本发明的一种基于语义引导的由粗到细的遥感图像分割方法的步骤。

本发明的一种电子设备的技术方案如下：

包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，使所述计算机执行如本发明的一种基于语义引导的由粗到细的遥感图像分割方法的步骤。

附图说明

图1示出了本发明提供的一种基于语义引导的由粗到细的遥感图像分割方法的实施例的流程示意图；

图2示出了本发明提供的一种基于语义引导的由粗到细的遥感图像分割方法的实施例中步骤120的流程示意图；

图3示出了本发明提供的一种基于语义引导的由粗到细的遥感图像分割方法的实施例中的第一遥感图像分割模型的第一结构示意图；

图4示出了本发明提供的一种基于语义引导的由粗到细的遥感图像分割方法的实施例中的第一遥感图像分割模型的第二结构示意图；

图5示出了本发明提供的一种基于语义引导的由粗到细的遥感图像分割系统的实施例的结构示意图。

具体实施方式

图1示出了本发明提供的一种基于语义引导的由粗到细的遥感图像分割方法的实施例的流程示意图。如图1所示，该方法包括如下步骤：

步骤110：构建包含粗糙分割网络N1、语义引导网络N2和精细分割网络N3的第一遥感图像分割模型。

其中，①所述粗糙分割网络N1分别与所述语义引导网络N2和所述精细分割网络N3连接，所述语义引导网络N2与所述精细分割网络N3连接。②粗糙分割网用于：提取包含局部语义上下文信息的粗糙特征图，并得到粗糙多类别得分图。③语义引导网络N2用于：学习得到各类别的全局语义向量，同时识别出语义模糊区域，并基于粗糙多类别得分图和全局语义向量得到语义引导特征图。④精细分割网络N3用于：根据粗糙特征图和语义引导特征图得到包含图像局部语义信息、各类别全局语义信息及增强的难点分割区域信息的精细特征图，并基于精细特征图得到精细分割结果。

步骤120：基于多个遥感图像样本，对第一遥感图像分割模型进行训练，得到目标遥感图像分割模型。

其中，①遥感图像样本为：具有标注类别信息且用于训练第一遥感图像分割模型的遥感图像。②第一遥感图像分割模型为：待训练的遥感图像分割模型。③目标遥感图像分割模型为：训练后的遥感图像分割模型。

步骤130：将待测遥感图像输入至所述目标遥感图像分割模型，得到所述待测遥感图像的目标图像分割结果。

其中，①待测遥感图像为：任意选取的遥感图像。②目标图像分割结果包括：待测遥感图像经过精细分割后的图像，即精细多类别得分图。③目标遥感图像分割模型包括：目标粗糙分割网络N1、目标语义引导网络N2和目标精细分割网络N3。目标粗糙分割网络N1与粗糙分割网络N1的结构相同，但两者的参数不同。目标粗糙分割网络N1是粗糙分割网络N1经过训练后所得到的。目标语义引导网络N2与语义引导网络N2的结构相同，但两者的参数不同。目标语义引导网络N2是语义引导网络N2经过训练后所得到的。目标精细分割网络N3与精细分割网络N3的结构相同，但两者的参数不同。目标精细分割网络N3是精细分割网络N3经过训练后所得到的。

需要说明的是，粗糙分割网络N1、语义引导网络N2和精细分割网络N3中可以包括卷积层、引导层、融合层、上采样层、下采样层等结构，也可以不包括上采样层和下采样层等结构，这些子神经网络的具体结构可以根据实际需求设置。

例如，图3示出了第一遥感图像分割模型的第一结构示意图。图3中的粗糙分割网络N1包括依次设置的至少两个卷积层(第一卷积层C₂ ¹和第二卷积层S₁ ¹)；语义引导网络N2包括依次设置的至少一个全局语义引导向量组V₁ ²，一个引导层G₁ ²；精细分割网络N3中包括依次设置的至少一个融合层M₁ ³，两个卷积层(第三卷积层C₁ ³和第四卷积层F₁ ³)。

较优地，还包括：

获取多个遥感图像样本，并对任一遥感图像样本中的至少两种类别进行标注，得到该遥感图像样本对应的语义标注图像，直至得到每个遥感图像样本对应的语义标注图像。

其中，语义标注图像为：包含至少两个类别的遥感图像。

需要说明的是，对遥感图像样本进行类别标注过程为：预先设置至少两种用于区分像素的类别。例如，可以至少设置为需要识别的目标以及背景，设置为2个类别。也可以设置为需要识别的目标A、目标B以及背景，设置为3个类别。以识别建筑物为例，可以对遥感图像中的每个像素进行建筑物和背景的标注，将建筑物识别出来，然后将每个像素标注为建筑物或背景。

较优地，如图2所示，步骤120包括：

步骤121：将任一遥感图像样本输入所述粗糙分割网络N1，得到并根据该遥感图像样本对应的粗糙特征图，得到该遥感图像样本对应的粗糙多类别得分图。

其中，①粗糙分割网络N1中可以包括卷积层{C_i ¹或S_i ¹}(i∈{1,…,n_c ¹},n_c ¹≥2)，下采样层{D_i ¹}(i∈{1,…,n_d ¹},n_d ¹≥0)，上采样层{U_i ¹}(i∈{1,…,n_u ¹},n_u ¹≥0)。其中，i为变量，n_c ¹表示卷积层的层数，n_d ¹表示下采样层的层数，n_u ¹表示上采样层的层数。②粗糙特征图为：遥感图像样本经过卷积层{C_i ¹}处理后所得到的粗糙特征图。③粗糙多类别得分图为粗糙特征图经过卷积层{S_i ¹}处理后所得到的具有多个类别的预测分数的图像。

步骤122：将所述任一遥感图像样本的粗糙多类别得分图输入所述语义引导网络N2，得到该遥感图像样本对应的语义引导特征图。

其中，①语义引导网络N2可以包括：全局语义引导向量组{V_i ²}(i∈{1,…,n_v ²},n_v ²≥1)，引导层{G_i ²}(i∈{1,…,n_g ²},n_g ²≥1)。其中，i为变量，n_v ²表示全局语义引导向量组的个数，n_g ²表示引导层的层数。具体地，全局语义引导向量组V_i包含N+1个可学习的向量{v₁,v₂,…,v_N,v_N+1}，N为类别数，v_n(n≤N)表示类别n对应的全局语义向量，v_N+1表示难点分割区域特征向量。引导层G_i的输入为粗糙多类别得分图S及全局语义引导向量组V_i，输出为语义引导特征图G_if。首先，将S下采样至G_i在精细分割网络N3中对应的特征图大小；然后，对S中每个像素(i,j)，得到其最大得分s_ij及该得分对应的类别n；接着，判断s_ij是否大于阈值T(比如T取0.4)，如果s_ij≥T，则用类别n对应的全局语义向量v_n对语义引导特征图G_if的像素(i,j)进行赋值；如果s_ij<T，则用难点分割区域特征向量v_N+1对语义引导特征图G_if的像素(i,j)进行赋值。基于此得到的语义引导特征图G_if将包含各类别全局语义信息，同时包含语义模糊区域信息。②语义引导特征图为：粗糙多类别得分图经过全局语义引导向量组{V_i ²}和引导层{G_i ²}处理后所得到的语义引导特征图。

步骤123：将所述任一遥感图像样本的粗糙特征图和语义引导特征图输入至所述精细分割网络N3，得到并根据该遥感图像样本对应的精细特征图，得到该遥感图像样本对应的第一图像分割结果。

其中，①精细分割网络N3可以包括融合层{M_i ³}(i∈{1,…,n_m ³},n_m ³≥1)，卷积层{C_i ³或F_i ³}(i∈{1,…,n_c ³},n_c ³≥2)，下采样层{D_i ³}(i∈{1,…,n_d ³},n_d ³≥0)，上采样层{U_i ³}(i∈{1,…,n_u ³},n_u ³≥0)。其中，i为变量，n_m ³表示融合层的层数，n_c ³表示卷积层的层数，n_d ³表示下采样层的层数，n_u ³表示上采样层的层数。②精细特征图为：粗糙特征图和语义引导特征图经过融合层{M_i ³}和卷积层{C_i ³}处理后所得到的精细特征图。③第一图像分割结果为：精细特征图经过卷积层{F_i ³}处理后所得到的图像分割结果。

步骤124：根据所述任一遥感图像样本对应的第一图像分割结果和语义标注图像，得到该遥感图像样本的损失值，直至得到每个遥感图像样本的损失值。

具体地，将任一遥感图像样本对应的第一图像分割结果和语义标注图像进行对比，并基于第一遥感图像分割模型的损失函数计算得到该遥感图像样本的损失值，并重复步骤121至步骤124的过程，直至得到每个遥感图像样本的损失值。

步骤125：基于所有的损失值，对所述第一遥感图像分割模型进行优化，得到优化后的遥感图像分割模型，并将所述优化后的遥感图像分割模型作为第一遥感图像分割模型并返回执行步骤121，直至满足预设迭代训练条件时，将所述优化后的遥感图像分割模型确定为所述目标遥感图像分割模型。

其中，①预设迭代训练条件为：达到最大迭代训练次数或损失函数收敛等。②优化后的遥感图像分割模型为：经过一次迭代训练后所得到的遥感图像分割模型。

具体地，根据所有的损失值，对第一遥感图像分割模型的参数进行优化，得到优化后的遥感图像分割模型，判断优化后的遥感图像分割模型是否满足预设迭代训练条件；若是，则将所述优化后的遥感图像分割模型确定为所述目标遥感图像分割模型；若否，则将所述优化后的遥感图像分割模型作为第一遥感图像分割模型并返回执行步骤121，直至满足预设迭代训练条件时，将所述优化后的遥感图像分割模型确定为所述目标遥感图像分割模型。

较优地，所述粗糙分割网络N1包括：依次设置的第一卷积层和第二卷积层。

步骤121包括：

将所述任一遥感图像样本输入至所述第一卷积层进行特征提取，得到并将该遥感图像样本对应的粗糙特征图输入至所述第二卷积层进行特征处理，得到该遥感图像样本对应的粗糙多类别得分图。

较优地，所述语义引导网络N2包括：全局语义引导向量组和引导层。

还包括：

构建全局语义引导向量组。

其中，所述全局语义引导向量组包含多个可学习的语义引导向量。

步骤122包括：

将所述任一遥感图像样本的粗糙多类别得分图和全局语义引导向量组输入所述引导层进行处理，得到该遥感图像样本对应的语义引导特征图。

较优地，所述精细分割网络N3包括：依次设置的融合层、第三卷积层和第四卷积层。

步骤123包括：

将所述任一遥感图像样本对应的粗糙特征图和语义引导特征图输入至所述融合层进行特征融合，得到该遥感图像样本对应的融合特征图。

将所述任一遥感图像样本对应的融合特征图输入至所述第三卷积层进行特征提取，得到该遥感图像样本对应的精细特征图。

将所述任一遥感图像样本对应的精细特征图输入至所述第四卷积层进行特征处理，得到所该遥感图像样本对应的第一图像分割结果。

此外，图4示出了第一遥感图像分割模型的第二结构示意图。图4中的粗糙分割网络N1包括12个第一卷积层(C₁ ¹、C₂ ¹、C₃ ¹、C₄ ¹、C₅ ¹、C₆ ¹、C₇ ¹、C₈ ¹、C₉ ¹、C₁₀ ¹、C₁₁ ¹和C₁₂ ¹)、2个第一下采样层(D₁ ¹和D₂ ¹)、2个第一上采样层(U₁ ¹和U₂ ¹)、一个第二卷积层(S₁ ¹)。具体地，通过第一卷积层(C₁ ¹、C₂ ¹、C₃ ¹、C₄ ¹、C₅ ¹、C₆ ¹、C₇ ¹、C₈ ¹、C₉ ¹、C₁₀ ¹、C₁₁ ¹和C₁₂ ¹)将遥感图像样本变换至多个特征图(粗糙特征图)。通过第一下采样层D₁ ¹和D₂ ¹对特征图进行降维，得到更小尺度的特征图。通过第一上采样层U₁ ¹和U₂ ¹对特征图进行升维，得到更大尺度的特征图。通过第二卷积层S₁ ¹(粗糙分割网络N1中的最后一个卷积层)将粗糙特征图转换为粗糙多类别得分图。

图4的语义引导网络N2中，分别设置6个全局语义引导向量组和6个引导层。具体地，通过全局语义引导向量组V₁ ²、全局语义引导向量组V₂ ²、全局语义引导向量组V₃ ²、全局语义引导向量组V₄ ²、全局语义引导向量组V₅ ²和全局语义引导向量组V₆ ²学习各阶段特征对应的N+1个语义引导向量。通过引导层G₁ ²、引导层G₂ ²、引导层G₃ ²、引导层G₄ ²、引导层G₅ ²和引导层G₆ ²对相应的粗糙多类别得分图及全局语义引导向量组进行处理，得到各阶段特征对应的语义引导特征图。

图4中的精细分割网络N3包括：8个融合层(M₁ ³、M₂ ³、M₃ ³、M₄ ³、M₅ ³、M₆ ³、M₇ ³和M₈ ³)、12个第三卷积层(C₁ ³、C₂ ³、C₃ ³、C₄ ³、C₅ ³、C₆ ³、C₇ ³、C₈ ³、C₉ ³、C₁₀ ³、C₁₁ ³和C₁₂ ³)、2个第二下采样层(D₁ ³和D₂ ³)、2个第二上采样层(U₁ ³和U₂ ³)、1个第四卷积层(F₁ ³)。

具体地，通过融合层M₁ ³、M₂ ³、M₃ ³、M₄ ³、M₅ ³、M₆ ³、M₇ ³和M₈ ³对多个特征图(语义引导特征图和粗糙特征图)进行融合。通过第三卷积层C₁ ³、C₂ ³、C₃ ³、C₄ ³、C₅ ³、C₆ ³、C₇ ³、C₈ ³、C₉ ³、C₁₀ ³、C₁₁ ³和C₁₂ ³对特征图进行细化。通过第二下采样层D₁ ³和D₂ ³对特征图进行降维。通过第二上采样层U₁ ³和U₂ ³对特征图进行升维。通过第四卷积层(精细分割网络N3中的最后一个卷积层)F₁ ³将精细特征图变换至第一精细多类别得分图。

需要说明的是，①下采样层可以利用池化操作或带有步进大于1的卷积操作实现，对特征进行降维。②上采样层可以利用转置卷积操作或双线性插值操作或上池化操作实现，对特征进行升维。③融合层可以利用加法操作或串接操作或均值操作实现，对多个特征进行信息融合。④C代表卷积核为3×3的卷积层，S或F代表卷积核为1×1的卷积层。⑤在粗糙分割网络N1中，第一卷积层用于提取粗糙特征图；第二卷积层用于提取粗糙多类别得分图；第一下采样层用于对特征图进行降维，得到更小尺度的特征图；第一上采样层用于对特征图进行升维，得到更大尺度的特征图。⑥在精细分割网络N3中，第三卷积层用于提取精细特征图；第四卷积层用于提取第一精细多类别得分图，第二下采样层用于对特征图进行降维，得到更小尺度的特征图；第二上采样层用于对特征图进行升维，得到更大尺度的特征图。

本实施例的技术方案适用于多类别目标、同类目标形状多样、类别间干扰严重等复杂场景下的遥感图像分割，通过粗糙分割网络N1、语义引导网络N2和精细分割网络N3对待分割图像进行处理，能够充分利用可学习的多类别语义引导向量捕捉各类别全局语义信息，同时重点关注语义模糊区域，提高对复杂场景下多类别目标的精细准确分割能力，提升分割精度。

图5示出了本发明提供的一种基于语义引导的由粗到细的遥感图像分割系统的实施例的结构示意图。如图5所示，该系统200包括：模型构建模块210、模型训练模块220和图像分割模块230。

所述模型构建模块210用于：构建包含粗糙分割网络N1、语义引导网络N2和精细分割网络N3的第一遥感图像分割模型；其中，所述粗糙分割网络N1分别与所述语义引导网络N2和所述精细分割网络N3连接，所述语义引导网络N2与所述精细分割网络N3连接；

所述模型训练模块220用于：基于多个遥感图像样本，对第一遥感图像分割模型进行训练，得到目标遥感图像分割模型；

所述图像分割模块230用于：将待测遥感图像输入至所述目标遥感图像分割模型，得到所述待测遥感图像的目标图像分割结果。

较优地，还包括：样本处理模块；所述样本处理模块用于：

获取多个遥感图像样本，并对任一遥感图像样本中的至少两种类别进行标注，得到该遥感图像样本对应的语义标注图像，直至得到每个遥感图像样本对应的语义标注图像。

本实施例的技术方案适用于多类别目标、同类目标形状多样、类别间干扰严重等复杂场景下的遥感图像分割，通过粗糙分割网络N1、语义引导网络N2和精细分割网络N3对待分割图像进行处理，能够充分利用可学习的多类别语义引导向量捕捉各类别全局语义信息，同时重点关注语义模糊区域，提高对复杂场景下多类别目标的精细准确分割能力，提升分割精度。

上述关于本实施例的一种基于语义引导的由粗到细的遥感图像分割系统200中的各参数和各个模块实现相应功能的步骤，可参考上文中关于一种基于语义引导的由粗到细的遥感图像分割方法的实施例中的各参数和步骤，在此不做赘述。

本发明实施例提供的一种存储介质，包括：存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行如一种基于语义引导的由粗到细的遥感图像分割方法的步骤，具体可参考上文中一种基于语义引导的由粗到细的遥感图像分割方法的实施例中的各参数和步骤，在此不做赘述。

计算机存储介质例如：优盘、移动硬盘等。

本发明实施例提供的一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，使所述计算机执行如一种基于语义引导的由粗到细的遥感图像分割方法的步骤，具体可参考上文中的一种基于语义引导的由粗到细的遥感图像分割方法的实施例中的各参数和步骤，在此不做赘述。

所属技术领域的技术人员知道，本发明可以实现为方法、系统、存储介质和电子设备。

因此，本发明可以具体实现为以下形式，即：可以是完全的硬件、也可以是完全的软件(包括固件、驻留软件、微代码等)，还可以是硬件和软件结合的形式，本文一般称为“电路”、“模块”或“系统”。此外，在一些实施例中，本发明还可以实现为在一个或多个计算机可读介质中的计算机程序产品的形式，该计算机可读介质中包含计算机可读的程序代码。可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)，只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

Claims (7)

1.一种基于语义引导的由粗到细的遥感图像分割方法，其特征在于，包括：

构建包含粗糙分割网络、语义引导网络和精细分割网络的第一遥感图像分割模型；其中，所述粗糙分割网络分别与所述语义引导网络和所述精细分割网络连接，所述语义引导网络与所述精细分割网络连接；

基于多个遥感图像样本，对所述第一遥感图像分割模型进行训练，得到目标遥感图像分割模型；

将待测遥感图像输入至所述目标遥感图像分割模型，得到所述待测遥感图像的目标图像分割结果；

还包括：

获取多个遥感图像样本，并对任一遥感图像样本中的至少两种类别进行标注，得到该遥感图像样本对应的语义标注图像，直至得到每个遥感图像样本对应的语义标注图像；

所述基于多个遥感图像样本，对第一遥感图像分割模型进行训练，得到目标遥感图像分割模型的步骤，包括：

将任一遥感图像样本输入所述粗糙分割网络，得到并根据该遥感图像样本对应的粗糙特征图，得到该遥感图像样本对应的粗糙多类别得分图；

将所述任一遥感图像样本的粗糙多类别得分图输入所述语义引导网络，得到该遥感图像样本对应的语义引导特征图；

将所述任一遥感图像样本的粗糙特征图和语义引导特征图输入至所述精细分割网络，得到并根据该遥感图像样本对应的精细特征图，得到该遥感图像样本对应的第一图像分割结果；

根据所述任一遥感图像样本对应的第一图像分割结果和语义标注图像，得到该遥感图像样本的损失值，直至得到每个遥感图像样本的损失值；

基于所有的损失值，对所述第一遥感图像分割模型进行优化，得到优化后的遥感图像分割模型，并将所述优化后的遥感图像分割模型作为第一遥感图像分割模型并返回执行所述将任一遥感图像样本输入所述粗糙分割网络的步骤，直至满足预设迭代训练条件时，将所述优化后的遥感图像分割模型确定为所述目标遥感图像分割模型；

其中，所述语义引导网络包括：全局语义引导向量组和引导层。

2.根据权利要求1所述的基于语义引导的由粗到细的遥感图像分割方法，其特征在于，所述粗糙分割网络包括：依次设置的第一卷积层和第二卷积层；所述将任一遥感图像样本输入所述粗糙分割网络，得到并根据该遥感图像样本对应的粗糙特征图，得到该遥感图像样本对应的粗糙多类别得分图的步骤，包括：

将所述任一遥感图像样本输入至所述第一卷积层进行特征提取，得到并将该遥感图像样本对应的粗糙特征图输入至所述第二卷积层进行特征处理，得到该遥感图像样本对应的粗糙多类别得分图。

3.根据权利要求1所述的基于语义引导的由粗到细的遥感图像分割方法，其特征在于，所述方法还包括：

构建全局语义引导向量组；其中，所述全局语义引导向量组包含多个可学习的语义引导向量；

所述将所述任一遥感图像样本的粗糙多类别得分图输入所述语义引导网络，得到该遥感图像样本对应的语义引导特征图的步骤，包括：

将所述全局语义引导向量组和所述任一遥感图像样本的粗糙多类别得分图输入所述引导层进行处理，得到该遥感图像样本对应的语义引导特征图。

4.根据权利要求1所述的基于语义引导的由粗到细的遥感图像分割方法，其特征在于，所述精细分割网络包括：依次设置的融合层、第三卷积层和第四卷积层；所述将所述任一遥感图像样本的粗糙特征图和语义引导特征图输入至所述精细分割网络，得到并根据该遥感图像样本对应的精细特征图，得到所述任一遥感图像样本对应的第一图像分割结果的步骤，包括：

将所述任一遥感图像样本对应的粗糙特征图和语义引导特征图输入至所述融合层进行特征融合，得到该遥感图像样本对应的融合特征图；

将所述任一遥感图像样本对应的融合特征图输入至所述第三卷积层进行特征提取，得到该遥感图像样本对应的精细特征图；

将所述任一遥感图像样本对应的精细特征图输入至所述第四卷积层进行特征处理，得到该遥感图像样本对应的第一图像分割结果。

5.一种基于语义引导的由粗到细的遥感图像分割系统，其特征在于，包括：模型构建模块、模型训练模块和图像分割模块；

所述模型构建模块用于：构建包含粗糙分割网络、语义引导网络和精细分割网络的第一遥感图像分割模型；其中，所述粗糙分割网络分别与所述语义引导网络和所述精细分割网络连接，所述语义引导网络与所述精细分割网络连接；

所述模型训练模块用于：基于多个遥感图像样本，对第一遥感图像分割模型进行训练，得到目标遥感图像分割模型；

所述图像分割模块用于：将待测遥感图像输入至所述目标遥感图像分割模型，得到所述待测遥感图像的目标图像分割结果；

还包括：样本处理模块；所述样本处理模块用于：

获取多个遥感图像样本，并对任一遥感图像样本中的至少两种类别进行标注，得到该遥感图像样本对应的语义标注图像，直至得到每个遥感图像样本对应的语义标注图像；

所述模型训练模块具体用于：第一模型训练模块、第二模型训练模块、第三模型训练模块、第四模型训练模块和第五模型训练模块；

所述第一模型训练模块用于：将任一遥感图像样本输入所述粗糙分割网络，得到并根据该遥感图像样本对应的粗糙特征图，得到该遥感图像样本对应的粗糙多类别得分图；

所述第二模型训练模块用于：将所述任一遥感图像样本的粗糙多类别得分图输入所述语义引导网络，得到该遥感图像样本对应的语义引导特征图；

所述第三模型训练模块用于：将所述任一遥感图像样本的粗糙特征图和语义引导特征图输入至所述精细分割网络，得到并根据该遥感图像样本对应的精细特征图，得到该遥感图像样本对应的第一图像分割结果；

所述第四模型训练模块用于：根据所述任一遥感图像样本对应的第一图像分割结果和语义标注图像，得到该遥感图像样本的损失值，直至得到每个遥感图像样本的损失值；

所述第五模型训练模块用于：基于所有的损失值，对所述第一遥感图像分割模型进行优化，得到优化后的遥感图像分割模型，并将所述优化后的遥感图像分割模型作为第一遥感图像分割模型并返回调用所述第一模型训练模块，直至满足预设迭代训练条件时，将所述优化后的遥感图像分割模型确定为所述目标遥感图像分割模型；

其中，所述语义引导网络包括：全局语义引导向量组和引导层。

6.一种存储介质，其特征在于，所述存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行如权利要求1至4中任一项所述的基于语义引导的由粗到细的遥感图像分割方法。

7.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时，使所述计算机执行如权利要求1至4中任一项所述的基于语义引导的由粗到细的遥感图像分割方法。

Images