CN113554656B - 基于图神经网络的光学遥感图像实例分割方法及装置 - Google Patents

Abstract

本发明公开了一种基于图神经网络的光学遥感图像实例分割方法及装置，涉及图像处理技术领域。该方法包括：建立基于图神经网络的实例分割模型，实例分割模型包括4个依次连接的多尺度特征提取网络、基于特征重要性的感兴趣区推荐网络、感兴趣区关系网络和分割网络；对实例分割模型进行训练；将待分割图像输入到训练后的实例分割模型中，依次通过4个子神经网络对待分割图像进行处理，得到待分割图像的实例分割结果。本发明适用于复杂场景及目标遮挡情况下的光学遥感图像实例分割，能够充分利用场景上下文和目标间关系信息，可提高对光学遥感图像在复杂场景及目标遮挡情况下的实例分割能力和实例分割精度。

Description

基于图神经网络的光学遥感图像实例分割方法及装置

技术领域

本发明涉及图像处理技术领域，尤其涉及一种基于图神经网络的光学遥感图像实例分割方法及装置。

背景技术

基于光学遥感图像的目标实例分割一直是计算机视觉、空间科学、测绘学等领域的研究热点。现代遥感技术的快速发展使得光学遥感图像分辨率不断提高，信息量也随之急剧增大。然而，高空间分辨率的光学遥感图像引入了更多的背景干扰如阴影、光照等；此外，光学遥感图像中目标间的相互遮挡造成目标信息的严重缺失，这给光学遥感图像的目标实例分割带来了巨大挑战。

目前，深度学习方法已广泛应用于图像实例分割，比如Mask R-CNN、MS R-CNN、PANet等，然而面对复杂场景及目标遮挡情况下的光学遥感图像，容易导致实例分割精度较低。

发明内容

本发明所要解决的技术问题是针对现有技术的不足，提供一种基于图神经网络的光学遥感图像实例分割方法、一种基于图神经网络的光学遥感图像实例分割方法装置以及一种存储介质。

本发明解决上述技术问题的技术方案如下：

一种基于图神经网络的光学遥感图像实例分割方法，包括：

建立基于图神经网络的实例分割模型，所述实例分割模型包括4个依次连接的子神经网络，依次为多尺度特征提取网络、基于特征重要性的感兴趣区推荐网络、感兴趣区关系网络和分割网络，所述多尺度特征提取网络还与所述感兴趣区关系网络连接；

对所述实例分割模型进行训练；

将待分割图像输入到训练后的所述实例分割模型中，依次通过4个所述子神经网络对所述待分割图像进行处理，得到所述待分割图像的实例分割结果。

本发明解决上述技术问题的另一种技术方案如下：

一种基于图神经网络的光学遥感图像实例分割装置，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序，实现如上述技术方案所述的基于图神经网络的光学遥感图像实例分割方法。

本发明解决上述技术问题的另一种技术方案如下：

一种存储介质，所述存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行如上述技术方案所述的基于图神经网络的光学遥感图像实例分割方法。

本发明的有益效果是：本发明提供的光学遥感图像实例分割方法及装置适用于复杂场景及目标遮挡情况下的光学遥感图像实例分割，依次通过多尺度特征提取网络、基于特征重要性的感兴趣区推荐网络、感兴趣区关系网络和分割网络对待分割图像进行处理，能够充分利用场景上下文和目标间关系信息，可分别具有提取多尺度特征的特点、基于特征重要性推荐感兴趣区的特点、跨特征图融合感兴趣区关系的特点以及预测形心中心性和分割得分图的特点，从而可提高对光学遥感图像在复杂场景及目标遮挡情况下的实例分割能力和实例分割精度。

本发明附加的方面的优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明实践了解到。

附图说明

图1为本发明光学遥感图像实例分割方法的实施例提供的流程示意图；

图2为本发明光学遥感图像实例分割方法的其他实施例提供的实例分割模型示意图；

图3为本发明光学遥感图像实例分割方法的其他实施例提供的另一实例分割模型示意图；

图4为本发明光学遥感图像实例分割装置的实施例提供的结构框架示意图。

具体实施方式

以下结合附图对本发明的原理和特征进行描述，所举实施例只用于解释本发明，并非用于限定本发明的范围。

如图1所示，为本发明光学遥感图像实例分割方法的实施例提供的流程示意图，该光学遥感图像实例分割方法基于图神经网络实现，如图2所示，给出了一种示例性的实例分割模型示意图，该方法包括：

S1，建立基于图神经网络的实例分割模型，实例分割模型包括4个依次连接的子神经网络，依次为多尺度特征提取网络N1、基于特征重要性的感兴趣区推荐网络N2、感兴趣区关系网络N3和分割网络N4，多尺度特征提取网络N1还与感兴趣区关系网络N3连接；

应理解，这些子神经网络可以包括卷积层、采样层、全连接层等结构，这些子神经网络的具体结构可以根据实际需求设置。

其中，多尺度特征提取网络N1能够提取具有丰富细节和语义信息的多尺度特征，有效抑制复杂场景的干扰；基于特征重要性的感兴趣区推荐网络N2能够基于特征的重要性提取感兴趣区，有效识别出包含目标的图像块；感兴趣区关系网络N3能够充分利用场景上下文和感兴趣区之间关系信息，提高严重遮挡情况下感兴趣区特征的有效性；分割网络N4并行实现感兴趣区的类别、边框、形心中心性预测以及像素级分割，提升分割精度。结合各种子网络的优点，使得基于图神经网络的光学遥感图像实例分割方法能够同时实现复杂场景及目标遮挡情况下的有效实例分割。

下面给出一种可能的实例分割模型的结构。

对于多尺度特征提取网络N1，可以包括卷积层{C_i ¹}(i∈{1,…,n_c ¹},n_c ¹≥3)，下采样层{D_i ¹}(i∈{1,…,n_d ¹},n_d ¹≥1)，上采样层{U_i ¹}(i∈{1,…,n_u ¹},n_u ¹≥1)，相加层{A_i ¹}(i∈{1,…,n_a ¹},n_a ¹≥1)。其中，i为变量，n_c ¹表示卷积层的层数，n_d ¹表示下采样层的层数，n_u ¹表示上采样层的层数，n_a ¹表示相加层的层数。

对于基于特征重要性的感兴趣区推荐网络N2，可以包括卷积层{C_i ²或B_i ²}(i∈{1,…,n_c ²},n_c ²≥4)，全连接层{FC_i ²}(i∈{1,…,n_fc ²},n_fc ²≥4)。其中，i为变量，n_c ²表示卷积层的层数，n_fc ²表示全连接层的层数。

对于感兴趣区关系网络N3，可以包括卷积层{C_i ³}(i∈{1,…,n_c ³},n_c ³≥1)，上采样层{U_i ³}(i∈{1,…,n_u ³},n_u ³≥1)，融合层{M_i ³}(i∈{1,…,n_m ³},n_m ³≥1)，池化层{P_i ³}(i∈{1,…,n_p ³},n_p ³≥1)，图神经网络{G_i ³}(i∈{1,…,n_g ³},n_g ³≥2)。其中，i为变量，n_c ³表示卷积层的层数，n_u ³表示上采样层的层数，n_m ³表示融合层的层数，n_p ³表示池化层的层数，n_g ³表示图神经网络(也即特征图)的个数。

其中，对应于特征图k的图神经网络还可表示为图G＝(V,E)，其中：V＝{R_i}(i∈{1,…,n_r},n_r≥2为感兴趣区个数)为节点，代表不同的感兴趣区；E＝{e_ij ^k}∪{e_i ^kq}(i,j∈{1,…,n_r},n_r≥2,i≠j；k,q∈{1,…,n_g ³}，k≠q)为节点间的边，e_ij ^k为特征图k内不同感兴趣区之间的边，e_i ^kq为特征图k和q中同一感兴趣区之间的边。

对于节点R_i ^k，将感兴趣区i在特征图k内的特征及其与场景上下文的融合结果作为节点初始特征x_i ^k(0)；对于边e_ij ^k，将节点R_i ^k和R_j ^k间的关系作为初始特征，包含距离关系d_ij ^k以及视觉特征关系u_ij ^k两部分。其中，d_ij ^k＝W_dV_ij，V_ij＝[w_i,h_i,s_i,w_j,h_j,s_j,2|x_i-x_j|/(w_i+w_j),2|y_i-y_j|/(h_i+h_j)]((x_i,y_i)为感兴趣区i的中心坐标，s_i、w_i和h_i分别为感兴趣区i的面积、宽和高)，W_d为可学习的权重矩阵；u_ij ^k＝W_uf_ij ^k，其中f_ij ^k为节点R_i ^k和R_j ^k融合后的特征，W_u为可学习的权重矩阵；对于边e_i ^kq，将节点R_i ^k和R_i ^q间的视觉关系W_kqf_i ^kq作为初始特征，其中f_i ^kq为节点R_i ^k和R_i ^q融合后的特征，W_kq为可学习的权重矩阵。

节点特征的更新采用门控循环单元或长短期记忆单元，节点R_i ^k的初始隐藏状态h_i ^k(0)设为0，第t次更新迭代的公式为x_i ^k(t)＝x_i ^k(t-1)+∑_j,j≠iw_ij ^k(t-1)x_j ^k(t-1)+∑_q,q≠kw_i ^kq(t-1)x_i ^{q (t-1)}(t∈{1,…,T},T≥1为节点更新迭代次数)，其中w_ij ^k(t-1)＝e_ij ^k(t-1)/∑_j,j≠ie_ij ^k(t-1)，w_i ^{kq (t-1)}＝e_i ^kq(t-1)/∑_q,q≠ke_i ^kq(t-1)。即节点特征x_i ^k的更新来自两个方面：同一特征图内其他感兴趣区的特征x_j ^k和不同特征图内同一感兴趣区的特征x_i ^q，更新权重w_ij ^k和w_i ^kq由感兴趣区之间的关系所决定。

对于分割网络N4，可以包括融合层{M_i ⁴}(i∈{1,…,n_m ⁴},n_m ⁴≥1)，卷积层{C_i ⁴}(i∈{1,…,n_c ⁴},n_c ⁴≥5)，全连接层{FC_i ⁴}(i∈{1,…,n_fc ⁴},n_fc ⁴≥2)，上采样层{U_i ⁴}(i∈{1,…,n_u ⁴},n_u ⁴≥2)。其中，i为变量，n_m ⁴表示融合层的层数，n_c ⁴表示卷积层的层数，n_fc ⁴表示全连接层的层数，n_u ⁴表示上采样层的层数。

例如，图2的实例分割模型示意图中，多尺度特征提取网络N1包括依次设置的至少三个卷积层C₁ ¹、C₇ ¹、C₁₄ ¹，一个下采样层D₃ ¹，一个上采样层U₃ ¹，一个相加层A₃ ¹；基于特征重要性的感兴趣区推荐网络N2包括依次设置的至少四个卷积层B₁ ²、B₄ ²、C₁ ²、C₁₀ ²，四个全连接层FC₁ ²、FC₂ ²、FC₇ ²、FC₈ ²；感兴趣区关系网络N3中包括依次设置的至少一个卷积层C₁ ³，一个上采样层U₁ ³，一个融合层M₁ ³，一个池化层P₁ ³，两个图神经网络G₁ ³、G₄ ³；分割网络N4包括依次设置的至少一个融合层M₁ ⁴，五个卷积层C₁ ⁴、C₄ ⁴、C₈ ⁴、C₉ ⁴、C₁₃ ⁴，两个全连接层FC₁ ⁴、FC₂ ⁴，两个上采样层U₁ ⁴、U₂ ⁴。

S2，对实例分割模型进行训练；

可选地，可以预先采集多张光学遥感图像作为整个网络的训练图像，对训练图像进行标注处理后，采用反向传播算法对实例分割模型进行训练。

例如，以识别植物为例，可以采集1000张包含植物的图像，将其中800张作为训练集，200张作为验证集，通过训练集对实例分割模型进行训练，通过验证集对实例分割模型进行验证。

可以根据分割目的预先对训练集的图像进行标注，标注完成后，可以通过预设的训练方法对实例分割模型进行训练，再使用验证集进行验证。

例如，可以采用反向传播算法对对实例分割模型进行训练。

S3，将待分割图像输入到训练后的实例分割模型中，依次通过4个子神经网络对待分割图像进行处理，得到待分割图像的实例分割结果。

例如，可以由多尺度特征提取网络N1将待处理图像逐层处理获得多尺度特征；由基于特征重要性的感兴趣区推荐网络N2获取多尺度特征的重要性，进而基于重要特征获得一系列候选感兴趣区；由感兴趣区关系网络N3将候选感兴趣区作为节点、感兴趣区间关系作为边构建跨特征图的感兴趣区关系网络N3，通过在同一特征图内不同感兴趣区之间和不同特征图下同一感兴趣区之间进行信息传递和结构推理，将极大提高感兴趣区特征的有效性，提高严重遮挡情况下的实例分割精度；由分割网络N4处理感兴趣区特征，得到感兴趣区所属类别、位置坐标、形心中心性图及像素级分割得分图；基于类别和像素级分割得分图，得到最终实例分割结果。所有感兴趣区的实例分割结果综合起来即为待处理图像的实例分割结果。

本实施例提供的光学遥感图像实例分割方法适用于复杂场景及目标遮挡情况下的光学遥感图像实例分割，依次通过多尺度特征提取网络N1、基于特征重要性的感兴趣区推荐网络N2、感兴趣区关系网络N3和分割网络N4对待分割图像进行处理，能够充分利用场景上下文和目标间关系信息，可分别具有提取多尺度特征的特点、基于特征重要性推荐感兴趣区的特点、跨特征图融合感兴趣区关系的特点以及预测形心中心性和分割得分图的特点，从而可提高对光学遥感图像在复杂场景及目标遮挡情况下的实例分割能力和实例分割精度。

可选地，在一些可能的实施方式中，对实例分割模型进行训练，具体包括：

获取至少一张光学遥感图像作为训练图像，分别对每张训练图像进行预处理：

将预处理后的全部训练图像输入到实例分割模型中，采用反向传播算法对实例分割模型进行训练。

可选地，在一些可能的实施方式中，对每张训练图像进行预处理，具体包括：

基于第一训练图像标注出所有目标的分割图，且将不同目标标注为不同类别，相同类别的不同个体标注为不同编号；

计算出第一训练图像中的每个目标的形心中心性图；

其中，第一训练图像为全部训练图像中的任意一个训练图像。

例如，可以对图像中的植物和背景进行区分，将植物识别出来，然后将植物标注为不同的类别，如植物A、植物B和植物C等，假设对于同样的植物A，在图像中有多个，那么可以使用不同的编号进行标注以区分，例如，可以标注为植物A₁、植物A₂和植物A₃等，同时计算出每个植物的形心中心性图。

可选地，在一些可能的实施方式中，计算出第一训练图像中的每个目标的形心中心性图，具体包括：

根据第一目标中所有像素坐标位置的平均值确定第一目标的形心；

根据第一目标中每个像素与第一目标的形心的距离得到第一目标的形心中心性图；

其中，第一目标为第一训练图像中的任意一个目标。

应理解，每个目标的形心表示为一个目标中所有像素坐标位置的平均值，形心中心性图表示为该目标中每个像素与形心的距离度量，距离形心越近的像素其形心中心性值越高，表明该像素与目标的关联性更强。

通过预测形心中心性，能够提高对光学遥感图像在复杂场景及目标遮挡情况下的实例分割能力。

可选地，在一些可能的实施方式中，将待分割图像输入到训练后的实例分割模型中，依次通过4个子神经网络对待分割图像进行处理，得到待分割图像的实例分割结果，具体包括：

将待分割图像输入到训练后的实例分割模型中，通过多尺度特征提取网络N1对待分割图像进行逐层处理，得到多尺度特征；

通过基于特征重要性的感兴趣区推荐网络N2获取多尺度特征的重要性，基于重要性获得至少一个候选感兴趣区；

通过感兴趣区关系网络N3将每个候选感兴趣区作为节点，将候选感兴趣区之间的关系作为边，构建跨特征图的感兴趣区关系网络N3，根据感兴趣区关系网络N3得到感兴趣区及感兴趣区特征；

通过分割网络N4对感兴趣区特征进行处理，得到对应的感兴趣区的类别、位置坐标、形心中心性图和像素级分割得分图；

根据全部感兴趣区的类别和像素级分割得分图，得到最终的实例分割结果。

其中，多尺度特征提取网络N1能够提取具有丰富细节和语义信息的多尺度特征，有效抑制复杂场景的干扰；基于特征重要性的感兴趣区推荐网络N2能够基于特征的重要性提取感兴趣区，有效识别出包含目标的图像块；感兴趣区关系网络N3能够充分利用场景上下文和感兴趣区之间关系信息，通过在同一特征图内不同感兴趣区之间和不同特征图下同一感兴趣区之间进行信息传递和结构推理，将极大提高感兴趣区特征的有效性，提高严重遮挡情况下的实例分割精度；分割网络N4处理感兴趣区特征，实现感兴趣区的类别、边框、形心中心性预测以及像素级分割，提升分割精度。结合各种子网络的优点，使得基于图神经网络的光学遥感图像实例分割方法能够同时实现复杂场景及目标遮挡情况下的有效实例分割。

需要说明的是，像素级指的是分割得分图是像素尺度上的分割得分图，单位可以为像素。

可选地，在一些可能的实施方式中，根据全部感兴趣区的类别和像素级分割得分图，得到最终的实例分割结果，具体包括：

判断第一感兴趣区的类别是否为背景，如果是，则忽略第一感兴趣区；否则，保留第一感兴趣区对应的像素级分割得分图；

对全部感兴趣区判断完成后，将保留的全部像素级分割得分图综合，得到最终的实例分割结果；

其中，第一感兴趣区为全部感兴趣区中的任意一个感兴趣区。

可选地，在一些可能的实施方式中，通过基于特征重要性的感兴趣区推荐网络N2获取多尺度特征的重要性，基于重要性获得至少一个候选感兴趣区，具体包括：

通过基于特征重要性的感兴趣区推荐网络N2对多尺度特征进行卷积运算，得到特征重要性图，以重要性高于预设值的像素为中心，确定预设大小的特征块是否包含目标的得分，以及目标的位置坐标，根据得分和位置坐标确定候选感兴趣区。

应理解，预设值可以根据实际需求设置，可以根据是否包含目标的得分确定是否包含目标，例如，可以设置一个阈值，当是否包含目标的得分高于这个阈值时，可以认为对应的特征块包含目标，否则不包含。

预设大小可以根据实际需求设置，例如，可以为n×n的小特征块，n为像素值，且n≥3。

例如，以图3所示的实例分割模型为例，可以通过卷积层B₁ ²、卷积层B₂ ²、卷积层B₃ ²和卷积层B₄ ²对多尺度特征提取网络N1输出的多个不同尺度特征分别进行卷积运算，得到特征重要性图，以其中一个为例，将得到的特征重要性图以重要性较高的像素为中心，将n×n的小特征块通过卷积层C₁ ²、卷积层C₂ ²、卷积层C₃ ²、全连接层FC₁ ²和全连接层FC₂ ²进行处理，输出该特征块是否包含目标的得分以及目标的位置坐标，得到候选感兴趣区。

可选地，在一些可能的实施方式中，通过感兴趣区关系网络N3将每个候选感兴趣区作为节点，将候选感兴趣区之间的关系作为边，构建跨特征图的感兴趣区关系网络N3，根据感兴趣区关系网络N3得到感兴趣区及感兴趣区特征，具体包括：

通过感兴趣区关系网络N3将多尺度特征进行上采样运算，得到大小相同的特征图，将全部候选感兴趣区分别输入到每个特征图中，在每个特征图中构建跨特征图的感兴趣区关系网络N3，根据感兴趣区关系网络N3得到感兴趣区及感兴趣区特征，其中，跨特征图的感兴趣区关系网络N3通过在同一特征图内不同感兴趣区之间和不同特征图下同一感兴趣区之间进行信息传递和结构推理。

例如，以图3所示的实例分割模型为例，可以通过上采样层U₁ ³、上采样层U₂ ³、上采样层U₃ ³和卷积层C₁ ³对多尺度特征进行上采样或卷积运算，得到多个大小相同的特征图，再通过融合层M₁ ³和池化层P₁ ³将多个大小相同的特征图进行融合和池化，得到场景上下文特征，场景上下文特征用于与每个感兴趣区特征进行融合，提高感兴趣区的全局场景信息。然后再将全部候选感兴趣区分别输入到每个特征图中，在每个特征图中构建感兴趣区关系网络N3，得到图神经网络G₁ ³、图神经网络G₂ ³、图神经网络G₃ ³和图神经网络G₄ ³，这些图神经网络输出感兴趣区及感兴趣区特征。对于每个感兴趣区及感兴趣区特征，将不同图神经网络的输出结果输出到分割网络N4的融合层M₁ ⁴中进行融合。

下面结合图3，给出一种较为优选的实例分割模型示意图。

如图3所示，为本发明光学遥感图像实例分割方法的其他实施例提供的另一实例分割模型示意图，多尺度特征提取网络N1包括依次设置的卷积层C₁ ¹、卷积层C₂ ¹、下采样层D₁ ¹、卷积层C₃ ¹、卷积层C₄ ¹、下采样层D₂ ¹、卷积层C₅ ¹、卷积层C₆ ¹、下采样层D₃ ¹、卷积层C₇ ¹、卷积层C₈ ¹、卷积层C₉ ¹、上采样层U₁ ¹、相加层A₁ ¹、卷积层C₁₀ ¹、卷积层C₁₁ ¹、上采样层U₂ ¹、相加层A₂ ¹、卷积层C₁₂ ¹、卷积层C₁₃ ¹、上采样层U₃ ¹、相加层A₃ ¹、卷积层C₁₄ ¹和卷积层C₁₅ ¹。

也就是说，在多尺度特征提取网络N1中，共包括n_c ¹＝15个卷积层，n_d ¹＝3个下采样层，n_u ¹＝3个上采样层，n_a ¹＝3个相加层。

基于特征重要性的感兴趣区推荐网络N2包括依次设置的卷积层B₁ ²、卷积层C₁ ²、卷积层C₂ ²、卷积层C₃ ²、全连接层FC₁ ²、全连接层FC₂ ²、卷积层B₂ ²、卷积层C₄ ²、卷积层C₅ ²、卷积层C₆ ²、全连接层FC₃ ²、全连接层FC₄ ²、卷积层B₃ ²、卷积层C₇ ²、卷积层C₈ ²、卷积层C₉ ²、全连接层FC₅ ²、全连接层FC₆ ²、卷积层B₄ ²、卷积层C₁₀ ²、卷积层C₁₁ ²、卷积层C₁₂ ²、全连接层FC₇ ²和全连接层FC₈ ²。

也就是说，在基于特征重要性的感兴趣区推荐网络N2中，共包括n_c ²＝16个卷积层，n_fc ²＝8个全连接层。

感兴趣区关系网络N3包括依次设置的上采样层U₁ ³、上采样层U₂ ³、上采样层U₃ ³、卷积层C₁ ³、融合层M₁ ³、池化层P₁ ³、图神经网络G₁ ³、图神经网络G₂ ³、图神经网络G₃ ³和图神经网络G₄ ³。

以图神经网络G₁ ³为例，可以表示为G₁ ³＝(V₁ ³,E₁ ³)，V₁ ³＝{R₁ ¹,R₂ ¹,R₃ ¹,R₄ ¹}，表示节点，代表不同的感兴趣区，E₁ ³表示节点的边，图中以各个节点之间的箭头表示。

也就是说，在感兴趣区关系网络N3中，共包括n_u ³＝3个上采样层，n_c ³＝1个卷积层，n_m ³＝1个融合层，n_p ³＝1个池化层，n_g ³＝4个图神经网络。

分割网络N4包括依次设置的融合层M₁ ⁴、卷积层C₁ ⁴、卷积层C₂ ⁴、卷积层C₃ ⁴、全连接层FC₁ ⁴、全连接层FC₂ ⁴、卷积层C₄ ⁴、卷积层C₅ ⁴、卷积层C₆ ⁴、上采样层U₁ ⁴、卷积层C₇ ⁴、卷积层C₈ ⁴、卷积层C₉ ⁴、卷积层C₁₀ ⁴、卷积层C₁₁ ⁴、上采样层U₂ ⁴、卷积层C₁₂ ⁴和卷积层C₁₃ ⁴。

也就是说，在分割网络N4中，共包括n_m ⁴＝1个融合层，n_c ⁴＝13个卷积层，n_fc ⁴＝2个全连接层，n_u ⁴＝2个上采样层。

其中，下采样层可以利用池化操作或带有步进大于1的卷积操作实现，对特征进行降维。

上采样层可以利用转置卷积操作或双线性插值操作或上池化操作实现，对特征进行升维。融合层可以利用加法操作或串接操作或均值操作实现，对多个特征进行信息融合。

需要说明的是，C代表卷积核为3*3的卷积层，B代表卷积核为1*1的卷积层。

多尺度特征提取网络N1中卷积层用于提取图像特征，下采样层用于对图像特征进行降维，上采样层用于对图像特征进行升维。该网络通过自底向上的特征降维可以得到语义信息丰富的顶层特征，进而通过自顶向上的特征升维将丰富的语义信息加至底层特征，使得不同层次的特征均包含丰富的细节和语义信息，从而有效抑制复杂场景的干扰。

基于特征重要性的感兴趣区推荐网络N2中卷积层用于提取图像特征或计算特征重要性，全连接层用于计算特征块是否包含目标的得分以及位置坐标。该网络基于多尺度特征提取网络N1输出的多个不同尺度特征，可以有效识别出不同尺度的感兴趣区。

感兴趣区关系网络N3中卷积层用于细化图像特征，上采样层用于对图像特征进行升维，融合层用于融合多个特征图，并通过池化层得到场景上下文信息。图神经网络用于充分利用多个感兴趣区之间的关系信息和场景上下文信息，通过在同一特征图内不同感兴趣区之间和不同特征图下同一感兴趣区之间进行信息传递和结构推理，极大改善感兴趣区特征的有效性，提高严重遮挡情况下的实例分割精度。

分割网络N4中卷积层用于细化融合后的感兴趣区特征，全连接层用于计算感兴趣区的类别得分和位置坐标。该网络通过并行实现感兴趣区的类别、边框、形心中心性预测以及像素级分割，提升分割效率和精度。

通过级联各种子网络，使得基于图神经网络的光学遥感图像实例分割方法能够同时实现复杂场景及目标遮挡情况下的有效实例分割。

可以理解，在一些实施例中，可以包含如上述各实施方式中的部分或全部。

如图4所示，为本发明光学遥感图像实例分割装置的实施例提供的结构框架示意图，该光学遥感图像实例分割装置基于图神经网络实现，包括：

存储器10，用于存储计算机程序；

处理器20，用于执行计算机程序，实现如上述任意实施方式公开的基于图神经网络的光学遥感图像实例分割方法。

需要说明的是，本实施例是与上述各方法实施例对应的产品实施例，对于本实施例中各结构及可选实施方式的说明可以参考上述各方法实施例中的对应说明，在此不再赘述。

在本发明的其他实施例中，还提供一种存储介质，存储介质中存储有指令，当计算机读取指令时，使计算机执行如上述任意实施方式公开的基于图神经网络的光学遥感图像实例分割方法。

读者应理解，在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的方法实施例仅仅是示意性的，例如，步骤的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个步骤可以结合或者可以集成到另一个步骤，或一些特征可以忽略，或不执行。

上述方法如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-OnlyMemory)、随机存取存储器(RAM，RandomAccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到各种等效的修改或替换，这些修改或替换都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

Claims (5)

1.一种基于图神经网络的光学遥感图像实例分割方法，其特征在于，包括：

建立基于图神经网络的实例分割模型，所述实例分割模型包括4个依次连接的子神经网络，依次为多尺度特征提取网络、基于特征重要性的感兴趣区推荐网络、感兴趣区关系网络和分割网络，所述多尺度特征提取网络还与所述感兴趣区关系网络连接；

对所述实例分割模型进行训练；

将待分割图像输入到训练后的所述实例分割模型中，依次通过4个所述子神经网络对所述待分割图像进行处理，得到所述待分割图像的实例分割结果；

将待分割图像输入到训练后的所述实例分割模型中，依次通过4个所述子神经网络对所述待分割图像进行处理，得到所述待分割图像的实例分割结果，具体包括：

将待分割图像输入到训练后的所述实例分割模型中，通过所述多尺度特征提取网络对所述待分割图像进行逐层处理，得到多尺度特征；

通过所述基于特征重要性的感兴趣区推荐网络获取所述多尺度特征的重要性，基于所述重要性获得至少一个候选感兴趣区；

通过所述感兴趣区关系网络将每个所述候选感兴趣区作为节点，将所述候选感兴趣区之间的关系作为边，构建跨特征图的感兴趣区关系网络，根据所述感兴趣区关系网络得到感兴趣区及感兴趣区特征；

通过所述分割网络对所述感兴趣区特征进行处理，得到对应的感兴趣区的类别、位置坐标、形心中心性图和像素级分割得分图；

根据全部感兴趣区的类别和像素级分割得分图，得到最终的实例分割结果；

通过所述感兴趣区关系网络将每个所述候选感兴趣区作为节点，将所述候选感兴趣区之间的关系作为边，构建跨特征图的感兴趣区关系网络，根据所述感兴趣区关系网络得到感兴趣区及感兴趣区特征，具体包括：

通过所述感兴趣区关系网络将所述多尺度特征进行上采样运算，得到大小相同的特征图，将全部所述候选感兴趣区分别输入到每个所述特征图中，在每个所述特征图中构建跨特征图的感兴趣区关系网络，根据所述感兴趣区关系网络得到感兴趣区及感兴趣区特征，其中，所述跨特征图的感兴趣区关系网络通过在同一特征图内不同感兴趣区之间和不同特征图下同一感兴趣区之间进行信息传递和结构推理；

对所述实例分割模型进行训练，具体包括：

获取至少一张光学遥感图像作为训练图像，分别对每张所述训练图像进行预处理：

将预处理后的全部所述训练图像输入到所述实例分割模型中，采用反向传播算法对所述实例分割模型进行训练；

对每张所述训练图像进行预处理，具体包括：

基于第一训练图像标注出所有目标的分割图，且将不同目标标注为不同类别，相同类别的不同个体标注为不同编号；

计算出所述第一训练图像中的每个目标的形心中心性图；

其中，所述第一训练图像为全部训练图像中的任意一个训练图像；

计算出所述第一训练图像中的每个目标的形心中心性图，具体包括：

根据第一目标中所有像素坐标位置的平均值确定所述第一目标的形心；

根据所述第一目标中每个像素与所述第一目标的形心的距离得到所述第一目标的形心中心性图；

其中，所述第一目标为所述第一训练图像中的任意一个目标。

2.根据权利要求1所述的基于图神经网络的光学遥感图像实例分割方法，其特征在于，根据全部感兴趣区的类别和像素级分割得分图，得到最终的实例分割结果，具体包括：

判断第一感兴趣区的类别是否为背景，如果是，则忽略所述第一感兴趣区；否则，保留所述第一感兴趣区对应的像素级分割得分图；

对全部感兴趣区判断完成后，将保留的全部像素级分割得分图综合，得到最终的实例分割结果；

其中，所述第一感兴趣区为全部感兴趣区中的任意一个感兴趣区。

3.根据权利要求1所述的基于图神经网络的光学遥感图像实例分割方法，其特征在于，通过所述基于特征重要性的感兴趣区推荐网络获取所述多尺度特征的重要性，基于所述重要性获得至少一个候选感兴趣区，具体包括：

通过所述基于特征重要性的感兴趣区推荐网络对所述多尺度特征进行卷积运算，得到特征重要性图，以重要性高于预设值的像素为中心，确定预设大小的特征块是否包含目标的得分，以及目标的位置坐标，根据所述得分和所述位置坐标确定候选感兴趣区。

4.一种基于图神经网络的光学遥感图像实例分割装置，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序，实现如权利要求1至3中任一项所述的基于图神经网络的光学遥感图像实例分割方法。

5.一种存储介质，其特征在于，所述存储介质中存储有指令，当计算机读取所述指令时，使所述计算机执行如权利要求1至3中任一项所述的基于图神经网络的光学遥感图像实例分割方法。

Images