CN114529832A

CN114529832A - 一种预设遥感图像重叠阴影分割模型训练方法及装置

Info

Publication number: CN114529832A
Application number: CN202210150658.5A
Authority: CN
Inventors: 冯如
Original assignee: Industrial and Commercial Bank of China Ltd ICBC
Current assignee: Industrial and Commercial Bank of China Ltd ICBC
Priority date: 2022-02-18
Filing date: 2022-02-18
Publication date: 2022-05-24

Abstract

本发明提供一种预设遥感图像重叠阴影分割模型训练方法及装置，涉及深度学习技术领域，可用于金融领域或其他技术领域。所述方法包括：生成所述遥感图像的超像素图像；根据超像素图像中有标注的超像素点和无标注的超像素点，构建有标注的超像素点和无标注的超像素点之间的语义相似度矩阵；根据所述语义相似度矩阵构建标签传播矩阵，获取卷积神经网络的特征矩阵，并根据所述标签传播矩阵和所述特征矩阵进行迭代计算，得到标注有标签的特征矩阵；通过所述有标签的特征矩阵训练所述卷积神经网络，得到训练完成的预设遥感图像重叠阴影分割模型。所述装置执行上述方法。本发明实施例提供的方法及装置，节约大量时间和人工成本。

Description

一种预设遥感图像重叠阴影分割模型训练方法及装置

技术领域

本发明涉及深度学习技术领域，具体涉及一种预设遥感图像重叠阴影分割模型训练方法及装置。

背景技术

遥感图像包含大量的图像信息，需要对遥感图像进行分割，从而得到需要的图像信息。

现有技术通过建立图像分割模型来实现图像分割，图像分割模型是完全监督的，依赖于大规模有标注的数据集进行训练，如果训练所需要的有标注的数据集不足，会使得遥感图像中地物边缘分割模糊，在遥感图像中存在大量阴影，包括建筑物阴影，其中的阴影易重叠，并且相互投射阴影，造成纹理细节难以分辨的问题。但是，要获得大规模有标注的数据集这需要耗费大量的时间和人工成本。

发明内容

针对现有技术中的问题，本发明实施例提供一种预设遥感图像重叠阴影分割模型训练方法及装置，能够至少部分地解决现有技术中存在的问题。

一方面，本发明提出一种预设遥感图像重叠阴影分割模型训练方法，包括：

根据遥感图像中建筑物的阴影部分的稀疏标注点数量，确定待生成超像素的超像素数量，并根据所述超像素数量、所述稀疏标注点数量以及所述遥感图像中的像素点信息生成所述遥感图像的超像素图像；

根据超像素图像中有标注的超像素点和无标注的超像素点，构建有标注的超像素点和无标注的超像素点之间的语义相似度矩阵；

根据所述语义相似度矩阵构建标签传播矩阵，获取卷积神经网络的特征矩阵，并根据所述标签传播矩阵和所述特征矩阵进行迭代计算，得到标注有标签的特征矩阵；

通过所述有标签的特征矩阵训练所述卷积神经网络，得到训练完成的预设遥感图像重叠阴影分割模型。

其中，所述根据超像素图像中有标注的超像素点和无标注的超像素点，构建有标注的超像素点和无标注的超像素点之间的语义相似度矩阵，包括：

以各有标注的超像素点分别为基准，分别计算与作为基准的超像素点在预设距离数值以内的各无标注的超像素点与作为基准的超像素点之间的欧氏距离；

将各欧氏距离作为所述语义相似度矩阵中的矩阵元素，得到所述语义相似度矩阵。

其中，所述根据所述语义相似度矩阵构建标签传播矩阵，包括：

根据预设超参数和所述语义相似度矩阵，获取对角矩阵；所述预设超参数为大于1的预设数值，且作为所述语义相似度矩阵和语义相似度矩阵元素的幂次；

根据所述对角矩阵、所述预设超参数和所述语义相似度矩阵，构建所述标签传播矩阵。

其中，所述根据所述标签传播矩阵和所述特征矩阵进行迭代计算，得到标注有标签的特征矩阵，包括：

对所述特征矩阵进行矢量化处理，将所述标签传播矩阵与矢量化处理后的特征矩阵相乘，将相乘结果赋予矢量化处理后的特征矩阵，并继续执行将所述标签传播矩阵与矢量化处理后的特征矩阵相乘，将相乘结果赋予矢量化处理后的特征矩阵，直到执行次数达到预设迭代次数；

将此时的矢量化处理后的特征矩阵作为标注有标签的特征矩阵。

其中，所述卷积神经网络包括依次相连的基于滤波的自动编码器、级联压缩双注意力模块和密集自动解码器；

所述基于滤波的自动编码器包含卷积核的尺度信息和方向信息；所述级联压缩双注意力模块包括感受野多尺度特征提取子模块、重叠阴影的边界特征提取子模块和所述遥感图像的识别对象类别特征提取子模块；所述感受野多尺度特征提取子模块输出的各级联感受野分支通道分别与所述边界特征提取子模块和所述识别对象类别特征提取子模块相连接。

其中，所述感受野多尺度特征提取子模块包括逐级递增卷积层数量或卷积核大小的级联感受野分支通道。

其中，基于所述预设遥感图像重叠阴影分割模型训练方法的遥感图像分割方法，包括：

获取遥感图像，并对所述遥感图像进行图像处理；

基于所述预设遥感图像重叠阴影分割模型对经过图像处理后的遥感图像进行分割处理，得到去除重叠后的阴影分割图像。

其中，所述遥感图像分割方法还包括：

周期性执行根据阴影分割图像确定所述遥感图像中的阴影长度，并根据太阳高度角和所述阴影长度计算可反映建筑物高度的杆长；

根据相邻周期的杆长差值，确定所述建筑物在所述相邻周期内的高度变化量；

根据所述高度变化量监测所述建筑物的施工进度。

一方面，本发明提出一种预设遥感图像重叠阴影分割模型训练装置，包括：

生成单元，用于根据遥感图像中建筑物的阴影部分的稀疏标注点数量，确定待生成超像素的超像素数量，并根据所述超像素数量、所述稀疏标注点数量以及所述遥感图像中的像素点信息生成所述遥感图像的超像素图像；

构建单元，用于根据超像素图像中有标注的超像素点和无标注的超像素点，构建有标注的超像素点和无标注的超像素点之间的语义相似度矩阵；

计算单元，用于根据所述语义相似度矩阵构建标签传播矩阵，获取卷积神经网络的特征矩阵，并根据所述标签传播矩阵和所述特征矩阵进行迭代计算，得到标注有标签的特征矩阵；

训练单元，用于通过所述有标签的特征矩阵训练所述卷积神经网络，得到训练完成的预设遥感图像重叠阴影分割模型。

再一方面，本发明实施例提供一种电子设备，包括：处理器、存储器和总线，其中，

所述处理器和所述存储器通过所述总线完成相互间的通信；

所述存储器存储有可被所述处理器执行的程序指令，所述处理器调用所述程序指令能够执行如下方法：

本发明实施例提供一种非暂态计算机可读存储介质，包括：

所述非暂态计算机可读存储介质存储计算机指令，所述计算机指令使所述计算机执行如下方法：

本发明实施例提供的预设遥感图像重叠阴影分割模型训练方法及装置，根据遥感图像中建筑物的阴影部分的稀疏标注点数量，确定待生成超像素的超像素数量，并根据所述超像素数量、所述稀疏标注点数量以及所述遥感图像中的像素点信息生成所述遥感图像的超像素图像；根据超像素图像中有标注的超像素点和无标注的超像素点，构建有标注的超像素点和无标注的超像素点之间的语义相似度矩阵；根据所述语义相似度矩阵构建标签传播矩阵，获取卷积神经网络的特征矩阵，并根据所述标签传播矩阵和所述特征矩阵进行迭代计算，得到标注有标签的特征矩阵；通过所述有标签的特征矩阵训练所述卷积神经网络，得到训练完成的预设遥感图像重叠阴影分割模型，无需人工大规模地对数据标注，节约大量时间和人工成本，有助于准确识别遥感图像中的细节内容，并得到去除重叠后的阴影分割图像。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1是本发明一实施例提供的卷积神经网络的结构示意图。

图2是本发明一实施例提供的预设遥感图像重叠阴影分割模型训练方法的流程示意图。

图3是本发明实施例提供的级联压缩双注意力模块的结构示意图。

图4是本发明实施例提供的重叠阴影的边界特征提取子模块的结构示意图。

图5是本发明实施例提供的遥感图像的识别对象类别特征提取子模块的结构示意图。

图6是本发明实施例提供的太阳高度角、杆长和阴影长度关系示意图。

图7是本发明一实施例提供的预设遥感图像重叠阴影分割模型训练装置的结构示意图。

图8为本发明实施例提供的电子设备实体结构示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚明白，下面结合附图对本发明实施例做进一步详细说明。在此，本发明的示意性实施例及其说明用于解释本发明，但并不作为对本发明的限定。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

图1是本发明一实施例提供的卷积神经网络的结构示意图，如图1所示，所述卷积神经网络包括依次相连的基于滤波的自动编码器、级联压缩双注意力模块和密集自动解码器，该卷积神经网络记为GCSBA。

如图1所示，首先，将原始遥感图像输入基于滤波的自动编码器，具体包括：

经过两个1×1的Gabor卷积，通道数为64的卷积层。卷积层提高了网络的非线性表达能力，减少了参数的数量。每个卷积之后是一个BN层，这是为了加快网络的训练和收敛的速度，控制梯度爆炸、防止梯度消失以及过拟合。然后紧接着一个非线性激活函数(Relu)，在整个过程中使用Relu节省了大量的计算量，并且它会使某些神经元的输出值为零，使网络产生稀疏性，降低了参数的相互依赖性，在一定程度上缓解了过拟合问题。

在每个下采样步骤中，本发明实施例使用一个2×2的MaxPooling层，步长为2。为了将特征映射到更高的维度，本发明实施例增加了一倍数量的特征通道，特征通道数值参照表1中“输出尺寸”，例如64、128等。

最关键的部分是使用基于Gabor的卷积核来提取特征，它使网络更加关注形状和纹理信息。级联压缩双注意力模块，记为CSBA模块，它使用多个尺寸的卷积核，增大了感受野，并提供了丰富的全局信息，其核心就是使用多尺度策略和加权思想获取网络中不同尺度的空间和通道信息。

为了恢复图像信息，本发明实施例中添加了密集自动解码器，在恢复高层特征图的分辨率的时候还获得了更多的空间信息和局部信息。卷积层的参数设置表1所示：

表1

图2是本发明一实施例提供的预设遥感图像重叠阴影分割模型训练方法的流程示意图，如图2所示，本发明实施例提供的预设遥感图像重叠阴影分割模型训练方法，包括：

步骤S1：根据遥感图像中建筑物的阴影部分的稀疏标注点数量，确定待生成超像素的超像素数量，并根据所述超像素数量、所述稀疏标注点数量以及所述遥感图像中的像素点信息生成所述遥感图像的超像素图像。

步骤S2：根据超像素图像中有标注的超像素点和无标注的超像素点，构建有标注的超像素点和无标注的超像素点之间的语义相似度矩阵。

步骤S3：根据所述语义相似度矩阵构建标签传播矩阵，获取卷积神经网络的特征矩阵，并根据所述标签传播矩阵和所述特征矩阵进行迭代计算，得到标注有标签的特征矩阵。

步骤S4：通过所述有标签的特征矩阵训练所述卷积神经网络，得到训练完成的预设遥感图像重叠阴影分割模型。

在上述步骤S1中，装置根据遥感图像中建筑物的阴影部分的稀疏标注点数量，确定待生成超像素的超像素数量，并根据所述超像素数量、所述稀疏标注点数量以及所述遥感图像中的像素点信息生成所述遥感图像的超像素图像。装置可以是执行该方法的计算机设备，例如可以包括服务器。可以通过卫星获取定期拍摄的遥感图像，该图像具有分辨率高和内存大等特征，并保存图像信息。

可以采用人工标注的方式对建筑物的阴影部分进行标注，得到稀疏标注点，稀疏标注点可以包括前景稀疏标注点和背景稀疏标注点。

稀疏标注点数量可以包括上述前景稀疏标注点和背景稀疏标注点之和。

稀疏标注点数量记为m，待生成超像素的超像素数量记为k，根据遥感图像中建筑物的阴影部分的稀疏标注点数量，确定待生成超像素的超像素数量，包括：

使k等于预设倍数乘以m，预设倍数可以根据实际情况自主设置，可选为2～5倍。

像素点信息可以包括总像素个数、像素位置等，根据所述超像素数量、所述稀疏标注点数量以及所述遥感图像中的像素点信息生成所述遥感图像的超像素图像，包括：

根据超像素生成方法(SLIC)，基于梯度下降的分割算法进行超像素生成，本发明实施例通过将种子点数量确定为k-m，进而实现对SLIC进行改进，改进后的SLIC记为PSLIC，更加合理的超像素数量使得超像素生成效率大幅提高。

算法思想：将图像从RGB颜色空间转换到CIELAB颜色空间，对应每个像素的(L，a，b)颜色值和(x，y)坐标组成一个5维向量V[L,a,b,x,y]，两个像素的相似性即可由它们的向量距离来度量，距离越大，相似性越小。

(1)确定初始化聚类中心

生成k个超像素，稀疏点标注的先验信息生成了m个点，剩余需生成(k-m)个点，图像中总像素个数为N，均匀分配k-m个种子点，每个超像素大小为

相邻种子点步长

(2)计算距离，更新质心

该算法选取梯度最小的区域作为种子点。由于CIELAB中的色彩空间的彩色图像，计算的为五维欧式距离，x,y表示图像的空间信息，LAB表示图像的颜色信息，则需对不同量纲进行归一化处理，参照如下公式：

D′代表距离度量，d_c代表颜色之间距离，d_s代表空间的坐标距离，N_s表示类内间最大空间距离，

最大的颜色距离N_c在不同图像间存在差异性，会随着聚类结果进行改变。

通过对其进一步优化，将其固定为常数M来避免这个问题。

其中，M表示空间和像素颜色的相对重要性的度量。当M大时，超像素更紧凑；当M小时，超像素更紧密地粘附到图像边界，但是具有较小的规则尺寸和形状。当使用CIELAB色彩空间时，M可以在[1,40]的范围内。

(3)合并孤立点

若在一类标签中含有另一类标签的孤立点，则将这个点归入前者。

在迭代完成后，在一个不规则区域内可能会出现另一类的像素，为了使分割效果更好，采用连通分量进行下一步的修正。采用4领域的连通算法来判断连通分量的面积，如果面积过小，则将该连通分量的分类分给最近的类别。

在上述步骤S2中，装置根据超像素图像中有标注的超像素点和无标注的超像素点，构建有标注的超像素点和无标注的超像素点之间的语义相似度矩阵。

为了提高计算效率，通过像素亲和力网络来预测卷积特征映射f^aff，其中一对特征向量之间的语义亲和性根据它们之间的语义相似度距离表示，通过如下公式表示：

W_ij＝exp{-||f^aff(x_i，y_i)-f^aff(x_j，y_j)||₁}

其中，f^aff(x,y)表示像素亲和力网络对应的卷积特征，W_ij表示语义相似度矩阵中元素，代表在特征图上点(x_i,y_i)和点(x_j,y_j)之间的语义相似度；

其中i表示有标注的超像素，j表示无标注的超像素。如果两个特征离得比较远，那么语义相似度就比较低。

进一步地，所述根据超像素图像中有标注的超像素点和无标注的超像素点，构建有标注的超像素点和无标注的超像素点之间的语义相似度矩阵，包括：

以各有标注的超像素点分别为基准，分别计算与作为基准的超像素点在预设距离数值以内的各无标注的超像素点与作为基准的超像素点之间的欧氏距离；例如，以有标注的超像素点(x_i,y_i)为基准，分别计算与(x_i,y_i)在预设距离数值以内的各无标注的超像素点与(x_i,y_i)之间的欧氏距离。

将各欧氏距离作为所述语义相似度矩阵中的矩阵元素，得到所述语义相似度矩阵。预设距离数值可以根据实际情况自主设置。

为了减轻计算量，本发明实施例在训练期间可以仅考虑足够相邻的坐标相似度，如下公式表示：

其中d(·)表示欧氏距离，γ是预设距离数值，Z表示符合欧氏距离小于预设距离数值的有标注的超像素点和无标注的超像素点的集合。

在上述步骤S3中，装置根据所述语义相似度矩阵构建标签传播矩阵，获取卷积神经网络的特征矩阵，并根据所述标签传播矩阵和所述特征矩阵进行迭代计算，得到标注有标签的特征矩阵。

根据所述语义相似度矩阵构建标签传播矩阵，通过如下公式表示：

T＝D^-1W，其中D_ii＝∑_jW_ij

其中，W表示语义相似度矩阵，T表示标签传播矩阵，D表示对角矩阵，用于W的行方向归一化，D中的元素为D_ii，D-¹表示D的逆矩阵。通过构建标签传播矩阵，有助于为没有标注的超像素点的特征，打上标注。

进一步地，所述根据所述语义相似度矩阵构建标签传播矩阵，包括：

根据预设超参数和所述语义相似度矩阵，获取对角矩阵；所述预设超参数为大于1的预设数值，且作为所述语义相似度矩阵和语义相似度矩阵元素的幂次；预设超参数记为β，根据如下公式获取对角矩阵：

可以理解的是，由于W_ij的数值在0～1之间，通过该计算步骤可以忽略接近0的W_ij的数值，即忽略无关紧要的语义相似度的影响。

根据所述对角矩阵、所述预设超参数和所述语义相似度矩阵，构建所述标签传播矩阵，根据如下公式构建标签传播矩阵：

其中，

表示点乘。

进一步地，所述根据所述标签传播矩阵和所述特征矩阵进行迭代计算，得到标注有标签的特征矩阵，包括：

对所述特征矩阵进行矢量化处理，将所述标签传播矩阵与矢量化处理后的特征矩阵相乘，将相乘结果赋予矢量化处理后的特征矩阵，并继续执行将所述标签传播矩阵与矢量化处理后的特征矩阵相乘，将相乘结果赋予矢量化处理后的特征矩阵，直到执行次数达到预设迭代次数；预设迭代次数记为t，可以根据实际情况自主设置。

将此时的矢量化处理后的特征矩阵作为标注有标签的特征矩阵，可以根据如下公式表示：

其中，

表示标注有标签的特征矩阵、T表示标签传播矩阵、vec(M_c)表示矢量化处理后的特征矩阵、M_c表示卷积神经网络中第c类识别对象的特征、C表示识别对象的特征集合，也包括背景。

以t＝3为例，对根据所述标签传播矩阵和所述特征矩阵进行迭代计算，得到标注有标签的特征矩阵，举例说明如下：

对于首次迭代计算，计算T¹·vec(M_c)1，vec(M_c)1表示首次迭代计算时的vec(M_c)；T¹表示首次迭代计算。

对于第二次迭代计算，计算T²·vec(M_c)2，vec(M_c)2表示第二次迭代计算时的vec(M_c)；T²表示第二次迭代计算。

其中，vec(M_c)2＝T¹·vec(M_c)1。

对于第三次迭代计算，计算T³·vec(M_c)3，vec(M_c)3表示第三次迭代计算时的vec(M_c)；T³表示第三次迭代计算。

其中，vec(M_c)3＝T²·vec(M_c)2。以此类推不再赘述。

在上述步骤S4中，装置通过所述有标签的特征矩阵训练所述卷积神经网络，得到训练完成的预设遥感图像重叠阴影分割模型。卷积神经网络构建完成后，进一步地，可以采用如下现有训练方法进行训练：

设置优化函数及参数。运用Adam算法对卷积神经网络进行训练，默认参数默认值分别如下：β₁＝0.9,β₂＝0.999，并对图像进行翻转，旋转等数据增强的操作。

进一步地，所述卷积神经网络包括依次相连的基于滤波的自动编码器、级联压缩双注意力模块和密集自动解码器；

所述基于滤波的自动编码器用于捕获各卷积层中多尺度和多方向的特征。

所述级联压缩双注意力模块用于对基于滤波的自动编码器输出的卷积特征图进行特征提取，得到融合有空间位置加权和压缩通道加权的特征图。

所述密集自动解码器用于对融合有空间位置加权和压缩通道加权的特征图中特征的关联关系进行提取，并映射到输出空间。

所述感受野多尺度特征提取子模块用于提取不同感受野的多尺度特征。

所述重叠阴影的边界特征提取子模块用于提取重叠阴影的边界特征。

所述识别对象类别特征提取子模块用于提取遥感图像中识别对象类别特征。

所述感受野多尺度特征提取子模块包括逐级递增卷积层数量或卷积核大小的级联感受野分支通道。如图3所示，各级联感受野分支通道对应图3中Feature Map下方的四条分支。从左到右逐级递增卷积层数量或卷积核大小。

进一步地，本发明实施例还包括基于所述预设遥感图像重叠阴影分割模型训练方法的遥感图像分割方法，遥感图像分割方法包括：

获取遥感图像，并对所述遥感图像进行图像处理；对遥感图像进行图像处理，包括进行数据预处理，不作具体限定。

所述基于预设遥感图像重叠阴影分割模型对经过图像处理后的遥感图像进行分割处理，包括：

基于所述基于滤波的自动编码器对经过图像处理后的遥感图像进行特征提取，得到卷积特征图；所述卷积特征图包含各卷积层中多尺度和多方向的特征；所述基于滤波的自动编码器包含卷积核的尺度信息和方向信息；将切割后的遥感图像打包送入基于滤波的自动编码器，具体可以为基于Gabor的自动编码器模块。Gabor滤波器在提取丰富的特征方面是非常有用的，并且具有很好的可解释性，Gabor滤波器的表达式为现有成熟技术，如下所示：

x′＝xcos(9)+ysin(θ)，y′＝-xsin(θ)+ycos(θ)

其中，(x,y)分别表示像素坐标位置，υ表示卷积核的尺度信息、θ表示卷积核的方向信息，σ表示高斯过程的标准差，γ为Gabor滤波器的空间宽高比，

表示相位的偏移量。

Gabor滤波器是由不同参数的选择产生的。上式所涉及的参数过多，是不易于调整的，本发明实施例采用Gabor滤波器对纹理特征提取进行参数设定，仅需要考虑卷积核的尺度信息和卷积核的方向信息。

获取基于滤波的自动编码器，包括：

根据卷积滤波器和Gabor滤波器得到所述基于滤波的自动编码器；其中，所述卷积滤波器预先完成学习。

基于滤波的自动编码器可以理解为经过Gabor调制过的调制滤波器，调制滤波器

如下表示：

其中，

表示点乘计算，C_i是卷积滤波器，可以为一个3×3卷积滤波器，对于每个卷积层，可以设置预设尺度数值，预设尺度数值可以根据实际情况自主设置，可选为4，即1,2,3,4。

参照上述预设尺度数值，对于每个尺度，方向的数量等于输出通道数量的四分之一。参照表1，对于通道数量为64的卷积层，方向的数量为16；对于通道数量为128的卷积层，方向的数量为32。

如果设置预设尺度数值为8，对于每个尺度，方向的数量等于输出通道数量的八分之一，参照表1，对于通道数量为64的卷积层，方向的数量为8；对于通道数量为128的卷积层，方向的数量为16。

卷积滤波器反向传播过程为现有成熟技术，如下所示：

其中，L为损失函数、η为反向传播计算参数，为本领域常规参数。从中可以看出，在卷积核更新的时候，学习过的卷积滤波器C_i需要更新，不仅更加紧凑和高效，而且对方向和尺度变化也有更强的鲁棒性，而Gabor滤波器作为常数是不进行改变的。因此，本发明实施例只需要计算卷积核的梯度。从上面的分析可以看出，该模块捕获了每一层中多尺度和多方向的特征。

在本发明实施例提出的模块中，Gabor小波不用于创建初步的特征子空间，而是自然地融入到CNN的深层架构中。由于Gabor滤波器在每个卷积层中都与卷积核相结合，可以提取出有效的初步特征，最大限度地减少信息损失。

此外，利用Gabor小波对卷积核进行调制的策略，可以从不同的尺度和方向中提取出更多具有代表性的空间特征。在设计的模型中，卷积层中加入了4个尺度和Gabor滤波器，其多尺度、多方向的特性使提取的特征更有区别性。

所述基于所述级联压缩双注意力模块对所述卷积特征图进行特征提取，得到融合有空间位置加权和压缩通道加权的特征图，包括：

基于各级联感受野分支通道获取各级联感受野分支通道输出的局部特征图；如图3所示，各级联感受野分支通道对应图3中Feature Map下方的四条分支。

基于所述边界特征提取子模块对各级联感受野分支通道输出的局部特征图进行特征提取，得到包含空间位置加权的特征图，以及基于所述识别对象类别特征提取子模块对各级联感受野分支通道输出的局部特征图进行特征提取，得到包含压缩通道加权的特征图；所述边界特征提取子模块对应图3中SPA；所述识别对象类别特征提取子模块对应图3中SCA。

将所述包含空间位置加权的特征图和所述包含压缩通道加权的特征图相加；对应图3中将SPA和SCA相加。

将各级联感受野分支通道之间的相加结果再进行相加，得到融合有空间位置加权和压缩通道加权的特征图。对应图3中三个Sum相加。

可参照图3中的图示，该方法首先获取输入特征图的压缩通道注意特征图，即包含压缩通道加权的特征图(SCA)和压缩位置注意特征图，即包含空间位置加权的特征图(SPA)，然后将通道级注意特征图与位置级注意特征图相结合，执行元素间的求和来实现特征融合，得到最终的压缩注意特征图，即融合有空间位置加权和压缩通道加权的特征图。最终的压缩注意特征图可以充分利用通道和空间位置内的相互依赖关系，通过连接操作与输入特征图相结合，在不破坏信息的前提下提高特征的识别能力。

基于所述密集自动解码器对所述特征图中特征的关联关系进行提取，并映射到输出空间。该步骤与现有技术相同，不再赘述。

进一步地，如图3所示，所述感受野多尺度特征提取子模块包括逐级递增卷积层数量或卷积核大小的级联感受野分支通道。按照从左到右的顺序，第一个级联感受野分支通道包括一个卷积层，该卷积层的卷积核大小为3×3。感受野多尺度特征提取子模块，可以记为ACSP。

第二个级联感受野分支通道包括两个卷积层，卷积层的卷积核大小分别为3×3和1×1；卷积层数量递增。

第三个级联感受野分支通道包括两个卷积层，卷积层的卷积核大小分别为3×3和3×3；卷积核大小递增。

第四个级联感受野分支通道包括三个卷积层，卷积层的卷积核大小分别为3×3、3×3和1×1；卷积层数量递增。

ACSP包括四个级联分支，在特征图层次进行级联多尺度操作，这样既可以在每个分支中使用不同的感受野来学习特征，也可以解决由池化操作引起的原始特征图太小的问题。

经过基于滤波的自动编码器提取出来的特征图，设置不同的空洞率(Atrousrate)r，在采样点之间填充r-1个零，生成不同膨胀率的卷积。相当于卷积核大小从K×K扩展到f×f，f由下式计算：

f＝K+(K-1)×(r-1)

在不增加滤波器中参数量的前提下，经过连续的膨胀卷积，自底向上的计算方法(down-top)感受野的计算方法为：

其中，l_k是第k层的每个像素点的感受野，f_k是第k层卷积核的大小(高或者宽，假设高宽相等)，s_i是第i层卷积的步长。

ACSP通过四个不同的级联分支来提取不同感受野的多尺度特征。以图3中第2个分支为例，经过膨胀率为3的3×3的卷积核之后，感受野变为7×7，再经过膨胀率为1的1×1的卷积核之后，感受野还为7×7。

以此类推其第一到第四个级联分支感受野分别为3，7，9，17这四个尺度。在这个模块中，多个尺度的特征被表示为F_s＝{F₁～F₄}

其中，s表示第几个尺度，它在每个分支中，应用一个Relu激活函数进行激活后，分别放入到重叠阴影的边界特征提取子模块(记为SPA)和遥感图像的识别对象类别特征提取子模块(记为SCA)中。

如图4所示，所述边界特征提取子模块包括边界特征提取第一通道、边界特征提取第二通道和边界特征提取第三通道；其中：

所述边界特征提取第一通道包括卷积层、平均池化层、最大池化层和激活层；其中一个卷积层的输出端分别与所述平均池化层的输入端和所述最大池化层的输入端相连接；平均池化层对应图4的Average Pooling，最大池化层对应图4的Max-Pooling，激活层对应图4的σ(·)。

与平均池化层的输入端和最大池化层的输入端相连接的其中一个卷积层为第一个1×1Conv。

所述平均池化层的输出端和所述最大池化层的输出端共同作为其中一个卷积层的输入端；该卷积层为第二个1×1Conv。

其中一个卷积层的输出端与所述激活层的输入端相连接；该卷积层为第三个1×1Conv。

所述边界特征提取第二通道包括至少一个卷积层。

所述边界特征提取第三通道用于引入所述遥感图像的局部特征；遥感图像的局部特征为F(i,j)；其中i和j分别表示像素点位置。

所述边界特征提取第一通道与所述边界特征提取第二通道通过点乘方式相连，并将点乘相连结果与所述边界特征提取第三通道通过相加方式相连。点乘方式对应

相加方式对应

所述基于所述边界特征提取子模块对各级联感受野分支通道输出的局部特征图进行特征提取，包括：

将所述局部特征图分别输入所述边界特征提取第一通道、所述边界特征提取第二通道和所述边界特征提取第三通道；

将所述边界特征提取第一通道和所述边界特征提取第二通道的输出结果进行点乘计算，将点乘计算结果与所述边界特征提取第三通道的输出结果相加，得到包含空间位置加权的特征图。

从ACSP各分支获取局部特征：

F(i，j)∈R^C×H×W

其中，C,H,W分别表示特征图的通道，高，宽。F_k(i,j)表示提取第k个通道的特征。

重叠阴影的边界特征提取子模块首先对特征应用两个1×1的卷积，分别生成两个特征映射Q_k和K_k。

其中k∈{1,2,...C}。

Q_k分别通过一个平均池化层和最大池化层融合后得到P_k。经过两个1×1的卷积层和sigmoid激活层得到压缩位置权值S_k，然后与K_k(i,j)∈R^C×W×H做点乘得到注意力矩阵图。

该注意力矩阵图对任意两个像素点之间空间关系的特征进行建模。最后将其乘以一个尺度参数λ_p，然后将其与特征F_k(i,j)做像素间的相加，得到一个加权的注意力特征图

相关公式如下：

K_k(i，j)＝k_1×1*F_k(i，j)

Q_k(i，j)＝k_1×1*F_k(i，j)

S_k＝σ(k_1×1*(k_1×1*(P_k))

上式中的不同通道的k_1×1表示相同的卷积层，但是位于不同通道；λ_p初始化为0。*表示卷积操作。特征

是第k个原始特征加上空间位置的加权特征。最后，将所有通道的特征连接起来成为F_SPA特征图。SPA所保留的这些空间信息提高了像素级预测的精度，帮助细化像素定位和目标边界。

如图5所示，所述识别对象类别特征提取子模块包括识别对象类别特征提取第一通道、识别对象类别特征提取第二通道、识别对象类别特征提取第三通道和识别对象类别特征提取第四通道；其中：

所述识别对象类别特征提取第一通道包括卷积层和激活层；所述卷积层的输出端与所述激活层的输入端相连；卷积层对应1×1Conv。激活层对应σ(·)。

所述识别对象类别特征提取第二通道和所述识别对象类别特征提取第四通道都用于引入所述遥感图像的局部特征；识别对象类别特征提取第二通道对应

和F(i,j)之间的通道；识别对象类别特征提取第四通道对应

和F(i,j)之间的通道。

所述识别对象类别特征提取第三通道用于对识别对象类别特征进行累加计算；识别对象类别特征提取第三通道对应

和

之间的通道。

所述识别对象类别特征提取第一通道与所述识别对象类别特征提取第二通道通过点乘方式相连；点乘方式对应

将点乘相连结果与所述边界特征提取第三通道串联连接。

将串联连接的所述边界特征提取第三通道与所述边界特征提取第四通道通过相加方式相连。相加方式对应

所述基于所述识别对象类别特征提取子模块对各级联感受野分支通道输出的局部特征图进行特征提取，包括：

将所述局部特征图分别输入所述识别对象类别特征提取第一通道、所述识别对象类别特征提取第二通道和所述识别对象类别特征提取第四通道；

将所述识别对象类别特征提取第一通道的输出结果与所述识别对象类别特征提取第二通道的输出结果进行点乘计算；

将点乘计算结果输入所述识别对象类别特征提取第三通道；

将所述识别对象类别特征提取第三通道的输出结果与所述识别对象类别特征提取第四通道的输出结果相加，得到包含压缩通道加权的特征图。

SCA首先把局部特征F(i,j)∈R^C×W×H经过1×1的卷积以及sigmoid激活层得到压缩通道权值S(i,j)。然后与F_c(i,j)做像素间的点乘得到通道注意力图。F_c(i,j)表示提取第c个通道的特征；S_c(i,j)表示提取第c个通道的压缩通道权值。激活层对应σ(·)

最后，将点乘结果进行累加求和，然后乘以一个尺度参数λ_c，并与特征F(i,j)执行相加操作得到最终输出，相关公式如下：

S(i，j)＝σ(k_1×1*F(i，j))

其中，cc表示识别对象类别总数，该公式将所有压缩通道的特征加权融合到原始特征中。它强调与类相关的特征映射，提高了不同类之间的特征识别能力。

本发明实施例的方法具有如下有益效果：

1.通过引入一种新的弱监督学习框架，有效地解决了遥感图像分割缺少标记训练数据的问题，该框架仅使用少量的点标注就能获得良好的分割效果。

2.该设计能够通过改进的超像素生成方法来识别复杂背景下的各种对象模式。因此，它可以准确地区分遥感图像中单个建筑物阴影。

3.在弱监督框架中嵌入了由于在端到端训练框架中嵌入了像素亲和力网络动态标签传播，提升了弱监督遥感图像的分割精度。

本发明实施例提供的预设遥感图像重叠阴影分割模型训练方法，根据遥感图像中建筑物的阴影部分的稀疏标注点数量，确定待生成超像素的超像素数量，并根据所述超像素数量、所述稀疏标注点数量以及所述遥感图像中的像素点信息生成所述遥感图像的超像素图像；根据超像素图像中有标注的超像素点和无标注的超像素点，构建有标注的超像素点和无标注的超像素点之间的语义相似度矩阵；根据所述语义相似度矩阵构建标签传播矩阵，获取卷积神经网络的特征矩阵，并根据所述标签传播矩阵和所述特征矩阵进行迭代计算，得到标注有标签的特征矩阵；通过所述有标签的特征矩阵训练所述卷积神经网络，得到训练完成的预设遥感图像重叠阴影分割模型，无需人工大规模地对数据标注，节约大量时间和人工成本，有助于准确识别遥感图像中的细节内容，并得到去除重叠后的阴影分割图像。

以各有标注的超像素点分别为基准，分别计算与作为基准的超像素点在预设距离数值以内的各无标注的超像素点与作为基准的超像素点之间的欧氏距离；可参照上述说明，不再赘述。

将各欧氏距离作为所述语义相似度矩阵中的矩阵元素，得到所述语义相似度矩阵。可参照上述说明，不再赘述。

本发明实施例提供的预设遥感图像重叠阴影分割模型训练方法，能够方便且有效地构建语义相似度矩阵。

根据预设超参数和所述语义相似度矩阵，获取对角矩阵；所述预设超参数为大于1的预设数值，且作为所述语义相似度矩阵和语义相似度矩阵元素的幂次；可参照上述说明，不再赘述。

根据所述对角矩阵、所述预设超参数和所述语义相似度矩阵，构建所述标签传播矩阵。可参照上述说明，不再赘述。

本发明实施例提供的预设遥感图像重叠阴影分割模型训练方法，将预设超参数设置为大于1的预设数值，减少大量无关数据，节约大量训练时间。

对所述特征矩阵进行矢量化处理，将所述标签传播矩阵与矢量化处理后的特征矩阵相乘，将相乘结果赋予矢量化处理后的特征矩阵，并继续执行将所述标签传播矩阵与矢量化处理后的特征矩阵相乘，可参照上述说明，不再赘述。将相乘结果赋予矢量化处理后的特征矩阵，直到执行次数达到预设迭代次数；

将此时的矢量化处理后的特征矩阵作为标注有标签的特征矩阵。可参照上述说明，不再赘述。

本发明实施例提供的预设遥感图像重叠阴影分割模型训练方法，通过设置预设迭代次数，能够有效且灵活地获取标注有标签的特征矩阵。

所述基于滤波的自动编码器包含卷积核的尺度信息和方向信息；所述级联压缩双注意力模块包括感受野多尺度特征提取子模块、重叠阴影的边界特征提取子模块和所述遥感图像的识别对象类别特征提取子模块；所述感受野多尺度特征提取子模块输出的各级联感受野分支通道分别与所述边界特征提取子模块和所述识别对象类别特征提取子模块相连接。可参照上述说明，不再赘述。

本发明实施例提供的预设遥感图像重叠阴影分割模型训练方法，通过基于滤波的自动编码器、级联压缩双注意力模块和密集自动解码器依次提取图像特征，进一步能够有助于准确识别遥感图像中的细节内容，并得到去除重叠后的阴影分割图像。

进一步地，所述感受野多尺度特征提取子模块包括逐级递增卷积层数量或卷积核大小的级联感受野分支通道。可参照上述说明，不再赘述。

本发明实施例提供的预设遥感图像重叠阴影分割模型训练方法，在每个分支中使用不同的感受野来学习特征，可以解决由池化操作引起的原始特征图太小的问题。

进一步地，本发明实施例提供的基于所述预设遥感图像重叠阴影分割模型训练方法的遥感图像分割方法，包括：

获取遥感图像，并对所述遥感图像进行图像处理；可参照上述说明，不再赘述。

基于所述预设遥感图像重叠阴影分割模型对经过图像处理后的遥感图像进行分割处理，得到去除重叠后的阴影分割图像。可参照上述说明，不再赘述。

本发明实施例提供的遥感图像分割方法，能够准确识别遥感图像中的细节内容，并得到去除重叠后的阴影分割图像。

进一步地，所述遥感图像分割方法还包括：

周期性执行根据阴影分割图像确定所述遥感图像中的阴影长度，并根据太阳高度角和所述阴影长度计算可反映建筑物高度的杆长；相邻周期对应的时间长度可以根据实际情况自主设置，可选为1个月。得到阴影分割图像后，就可以计算出阴影长度，如图6所示，阴影长度为L。

可以根据如下公式实现根据太阳高度角ρ和阴影长度计算可反映建筑物高度的杆长H：

ρ＝arcsin(sinαsinγ+cosαcosγcosw)

其中α为赤纬角，γ是纬度，w是时角，L为阴影长度

赤纬角根据如下公式进行计算：

N为自一月一日起第几天。

时角根据如下公式进行计算：

ω为正表示偏东，ω为负表示偏西，计算时将其化为弧度制，t为当地时间。

其中，t根据如下公式进行计算：

其中，BJS为北京时间、β为经度。

根据相邻周期的杆长差值，确定所述建筑物在所述相邻周期内的高度变化量。

根据所述高度变化量监测所述建筑物的施工进度。根据高度变化量就可以计算得到建筑物的施工进度，进而可以监督建筑物的施工进度，辅助进行贷款风险评估等工作。

本发明实施例提供的遥感图像分割方法，能够监督建筑物的施工进度，辅助进行贷款风险评估等工作。

需要说明的是，本发明实施例提供的遥感图像分割方法可用于金融领域，也可用于除金融领域之外的任意技术领域，本发明实施例对遥感图像分割方法的应用领域不做限定。

图7是本发明一实施例提供的遥感图像分割装置的结构示意图，如图7所示，本发明实施例提供的遥感图像分割装置，包括生成单元701、构建单元702、计算单元703和训练单元704，其中：

生成单元701用于根据遥感图像中建筑物的阴影部分的稀疏标注点数量，确定待生成超像素的超像素数量，并根据所述超像素数量、所述稀疏标注点数量以及所述遥感图像中的像素点信息生成所述遥感图像的超像素图像；构建单元702用于根据超像素图像中有标注的超像素点和无标注的超像素点，构建有标注的超像素点和无标注的超像素点之间的语义相似度矩阵；计算单元703用于根据所述语义相似度矩阵构建标签传播矩阵，获取卷积神经网络的特征矩阵，并根据所述标签传播矩阵和所述特征矩阵进行迭代计算，得到标注有标签的特征矩阵；训练单元704用于通过所述有标签的特征矩阵训练所述卷积神经网络，得到训练完成的预设遥感图像重叠阴影分割模型。

具体的，装置中的生成单元701用于根据遥感图像中建筑物的阴影部分的稀疏标注点数量，确定待生成超像素的超像素数量，并根据所述超像素数量、所述稀疏标注点数量以及所述遥感图像中的像素点信息生成所述遥感图像的超像素图像；构建单元702用于根据超像素图像中有标注的超像素点和无标注的超像素点，构建有标注的超像素点和无标注的超像素点之间的语义相似度矩阵；计算单元703用于根据所述语义相似度矩阵构建标签传播矩阵，获取卷积神经网络的特征矩阵，并根据所述标签传播矩阵和所述特征矩阵进行迭代计算，得到标注有标签的特征矩阵；训练单元704用于通过所述有标签的特征矩阵训练所述卷积神经网络，得到训练完成的预设遥感图像重叠阴影分割模型。

本发明实施例提供的预设遥感图像重叠阴影分割模型训练装置，根据遥感图像中建筑物的阴影部分的稀疏标注点数量，确定待生成超像素的超像素数量，并根据所述超像素数量、所述稀疏标注点数量以及所述遥感图像中的像素点信息生成所述遥感图像的超像素图像；根据超像素图像中有标注的超像素点和无标注的超像素点，构建有标注的超像素点和无标注的超像素点之间的语义相似度矩阵；根据所述语义相似度矩阵构建标签传播矩阵，获取卷积神经网络的特征矩阵，并根据所述标签传播矩阵和所述特征矩阵进行迭代计算，得到标注有标签的特征矩阵；通过所述有标签的特征矩阵训练所述卷积神经网络，得到训练完成的预设遥感图像重叠阴影分割模型，无需人工大规模地对数据标注，节约大量时间和人工成本，有助于准确识别遥感图像中的细节内容，并得到去除重叠后的阴影分割图像。

本发明实施例提供预设遥感图像重叠阴影分割模型训练装置的实施例具体可以用于执行上述各方法实施例的处理流程，其功能在此不再赘述，可以参照上述方法实施例的详细描述。

图8为本发明实施例提供的电子设备实体结构示意图，如图8所示，所述电子设备包括：处理器(processor)801、存储器(memory)802和总线803；

其中，所述处理器801、存储器802通过总线803完成相互间的通信；

所述处理器801用于调用所述存储器802中的程序指令，以执行上述各方法实施例所提供的方法，例如包括：

本实施例公开一种计算机程序产品，所述计算机程序产品包括存储在非暂态计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，计算机能够执行上述各方法实施例所提供的方法，例如包括：

本实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储计算机程序，所述计算机程序使所述计算机执行上述各方法实施例所提供的方法，例如包括：

本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在本说明书的描述中，参考术语“一个实施例”、“一个具体实施例”、“一些实施例”、“例如”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims

1.一种预设遥感图像重叠阴影分割模型训练方法，其特征在于，包括：

2.根据权利要求1所述的预设遥感图像重叠阴影分割模型训练方法，其特征在于，所述根据超像素图像中有标注的超像素点和无标注的超像素点，构建有标注的超像素点和无标注的超像素点之间的语义相似度矩阵，包括：

3.根据权利要求2所述的预设遥感图像重叠阴影分割模型训练方法，其特征在于，所述根据所述语义相似度矩阵构建标签传播矩阵，包括：

4.根据权利要求1所述的预设遥感图像重叠阴影分割模型训练方法，其特征在于，所述根据所述标签传播矩阵和所述特征矩阵进行迭代计算，得到标注有标签的特征矩阵，包括：

5.根据权利要求1至4任一所述的预设遥感图像重叠阴影分割模型训练方法，其特征在于，所述卷积神经网络包括依次相连的基于滤波的自动编码器、级联压缩双注意力模块和密集自动解码器；

6.根据权利要求5所述的预设遥感图像重叠阴影分割模型训练方法，其特征在于，所述感受野多尺度特征提取子模块包括逐级递增卷积层数量或卷积核大小的级联感受野分支通道。

7.一种基于如权利要求1所述预设遥感图像重叠阴影分割模型训练方法的遥感图像分割方法，其特征在于，包括：

获取遥感图像，并对所述遥感图像进行图像处理；

8.根据权利要求7所述的遥感图像分割方法，其特征在于，所述遥感图像分割方法还包括：

根据所述高度变化量监测所述建筑物的施工进度。

9.一种预设遥感图像重叠阴影分割模型训练装置，其特征在于，包括：

10.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述方法的步骤。

11.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至8中任一项所述方法的步骤。