CN115830596A - 基于融合金字塔注意力的遥感图像语义分割方法 - Google Patents

Abstract

本发明涉及遥感图像处理技术领域，具体涉及基于融合金字塔注意力的遥感图像语义分割方法，包括：获取遥感图像输入语义分割网络的主干网得到浅层特征图和深层特征图；将浅层特征图输入空间注意力模块的卷积神经网络中得到第一、第二和第三特征图，根据第一和第二特征图得到特征矩阵；根据特征矩阵和第三特征图得到空间注意力特征图；将空间注意力特征图输入金字塔注意力模块中得到全局特征图；将深层特征图利用通道注意力模块进行重塑得到第一、第二和第三通道特征图，根据第一和第二通道特征图得到通道注意力矩阵；根据通道注意力矩阵得到增强特征图；对全局特征图和增强特征图进行融合得到语义分割图像。本发明能更好的区分细小边界。

Description

基于融合金字塔注意力的遥感图像语义分割方法

技术领域

本发明涉及遥感图像处理技术领域，具体涉及一种基于融合金字塔注意力的遥感图像语义分割方法。

背景技术

语义分割在遥感数据提取和分类中有着广泛的应用。现有语义分割网络专注于通过各种不同的方式来捕获上下文信息，对不同层级的特征进行简单融合，最终提升语义分割准确度。然而低级语义特征缺乏空间语境指导，高级语义特征倾向于对大型对象编码，使得空间细节较为粗糙，易造成对遥感图像中小目标识别度不高的现象。

发明内容

为了解决现有的语义分割网络对遥感图像中小目标识别度不高的技术问题，本发明的目的在于提供一种基于融合金字塔注意力的遥感图像语义分割方法，所采用的技术方案具体如下：

获取遥感图像输入语义分割网络的主干网得到浅层特征图和深层特征图；

将浅层特征图输入空间注意力模块的卷积神经网络中得到第一、第二和第三特征图，根据第一和第二特征图得到特征矩阵；根据特征矩阵和第三特征图得到空间注意力特征图；

将空间注意力特征图输入金字塔注意力模块中，将不同尺度的空洞卷积串联后分为三条支路，将三条支路的输出进行融合得到全局特征图；

将深层特征图利用通道注意力模块进行重塑得到第一、第二和第三通道特征图，根据第一和第二通道特征图得到通道注意力矩阵；根据通道注意力矩阵和第三通道特征图得到增强特征图；对全局特征图和增强特征图进行融合得到语义分割图像。

优选地，所述根据第一和第二特征图得到特征矩阵具体为：

将第一特征图重塑后再进行转置获得的特征图与第二特征图重塑后的特征图相乘得到特征矩阵。

优选地，所述根据特征矩阵和第三特征图得到空间注意力特征图具体为：

计算第三特征图进行重塑后的特征图与特征矩阵的转置矩阵的乘积，所述乘积乘上预设的第一比例系数后与浅层特征图进行求和运算得到空间注意力特征图。

优选地，所述特征矩阵的获取方法具体为：

其中，S_ji为特征矩阵中第i行第j列位置元素的取值，

为第一特征图重塑后转置对应的矩阵中第i行位置元素的取值，Q_j表示第二特征图进行重塑后对应的矩阵中第j列位置元素的取值，N＝H×W，H为第一特征图的高，W为第一特征图的宽。

优选地，所述空间注意力特征图的获取方法具体为：

其中，K_j为空间注意力特征图中第j列位置元素的取值，α为第一比例系数，

为特征矩阵的转置矩阵中第i行第j列位置元素的取值，V_i为第三特征图对应的矩阵中第i行位置元素的取值，I_j为浅层特征图对应的矩阵中第j列位置元素的取值，N＝H×W，H为第一特征图的高，W为第一特征图的宽。

优选地，所述根据第一和第二通道特征图得到通道注意力矩阵具体为：

将第一通道特征图进行转置处理后与第二通道特征图相乘，将相乘的结果利用softmax函数得到通道注意力矩阵。

优选地，所述根据通道注意力矩阵和第三通道特征图得到增强特征图具体为：

将通道注意力矩阵与第三通道特征图进行转置后对应的矩阵相乘，计算相乘得到的结果与预设的第二比例系数的乘积，以乘积结果与深层特征图之和为增强特征图。

优选地，所述语义分割网络的主干网为ResNet50网络。

优选地，所述语义分割网络采用多元学习率衰减策略，每轮学习率乘以

其中，iter表示当前迭代轮数，total_iter表示总迭代轮数。

本发明实施例至少具有如下有益效果：

本发明的语义分割网络通过两个并行的分支，即空间注意力模块和通道注意力模块，将注意力机制分别嵌入到高层次与低层次特征中，卷积层通过空间注意力模块提取特征图中的空间特征信息，通过通道注意力模块提取特征图中的通道特征信息，能够有效帮助网络进行信息传播，提升模型精度。同时，改进了金字塔注意力模块，将三个不同的膨胀系数对应的空洞卷积进行串联，使得空洞卷积只分为三条支路，最终将三条支路的输出进行融合得到全局特征图，减小了计算量的同时，也增强了模型对目标边界的提取能力。本发明的语义分割网络扩大了感受野，更好的融合低层语义信息，对目标的细小边界的识别度更加精准。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案和优点，下面将对实施例或现有技术描述中所需要使用的附图作简单的介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1是本发明的一种基于融合金字塔注意力的遥感图像语义分割方法的流程图；

图2是本发明实施例的空间注意力模块的网络结构示意图；

图3是本发明实施例的金字塔注意力模块的网络结构示意图；

图4是本发明实施例的通道注意力模块的网络结构示意图。

具体实施方式

为了更进一步阐述本发明为达成预定发明目的所采取的技术手段及功效，以下结合附图及较佳实施例，对依据本发明提出的一种基于融合金字塔注意力的遥感图像语义分割方法，其具体实施方式、结构、特征及其功效，详细说明如下。在下述说明中，不同的“一个实施例”或“另一个实施例”指的不一定是同一实施例。此外，一或多个实施例中的特定特征、结构、或特点可由任何合适形式组合。

除非另有定义，本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。

下面结合附图具体的说明本发明所提供的一种基于融合金字塔注意力的遥感图像语义分割方法的具体方案。

实施例：

请参阅图1，其示出了本发明一个实施例提供的一种基于融合金字塔注意力的遥感图像语义分割方法的流程图，包括以下步骤：

步骤一，获取遥感图像输入语义分割网络的主干网得到浅层特征图和深层特征图；将浅层特征图输入空间注意力模块的卷积神经网络中得到第一、第二和第三特征图，根据第一和第二特征图得到特征矩阵；根据特征矩阵和第三特征图得到空间注意力特征图。

需要说明的是，注意力机制是将人的感知行为去应用到机器学习当中，本质是为了让模型更多的去关注图像中重要的信息而忽略无关背景信息，通过给予模型每一个输入项不同的权重，权重的大小就代表了该输入对于整体而言需要受关注的程度。基于此，将注意力机制分为全局和局部注意力机制，局部注意力机制的特点是权重只有0和1，而全局注意力机制的权重则在0和1之间。

为了充分利用深层和浅层网络有效信息，更好的融合多层卷积特征，平衡感受野与分辨率之间的关系，构建语义分割网络架构，通过强化低级特征和上下文特征提取遥感影像中的目标。

通过ResNet主干网获取到不同层次特征图，送入两个分支。将从主干网提取出的浅层特征送入空间注意力模块中，聚集浅层特征中的空间信息，接着送入金字塔注意力模块，获取多尺度信息，另一个分支则是将主干网输出的特征图送入通道注意力模块中，最后将两个分支的输出进行特征融合，得到更加准确的分割结果。

本发明实施例中的语义分割模型包含的空间注意力模块和通道注意力模块均为全局注意力，卷积层通过空间注意力模块提取特征图中的空间特征信息，通过通道注意力模块提取特征图中的通道特征信息，能够有效帮助网络进行信息传播，提升模型精度。

然后，在预训练过的ResNet50网络基础上，删除了降采样操作并且在最后两个block中使用空洞卷积，有助于减小模型参数量，然后将其作为语义分割网络的主干网。获取遥感图像，利用主干网提取浅层特征和深层特征，即将遥感图像输入语义分割网络的主干网中输出浅层特征图和深层特征图。

其中，在本实施例中，遥感图像采用的是建筑物图像。具体地，语义分割网络的数据集是WHU建筑物航空影像数据集和ISPRS Potsdam数据集。WHU建筑物航空影像数据集为二分类数据集，分别是建筑物(Building)和其他(Others)，将数据集划分为训练集4736张，测试集2416张，验证集1036张。

ISPRS Potsdam是较为常见的遥感图像数据集，该数据集包含了38张6000×6000的正射影像图和标准化DSM。考虑到许多遥感数据集没有DSM，在本实施例中并未使用标准化DSM数据集。划分了背景、小车、建筑物、树木、低矮植被、不透明表面这6种类别，随机选取18张作为训练集，6张为验证集。由于ISPRS Potsdam数据集单张图像的大小非常大，不利于语义分割网络的训练，所以将其分割为256×256的大小，通过旋转平移操作扩张数据集，分批次送入网络进行训练。

最后，从浅层的主干网中增加了一个分支，将从主干网提取出的浅层特征送入空间注意力模块中。即卷积神经网络中不同层级的特征图具有不同的表现力。浅层网络中有大量的背景噪声，会对分割效果造成一定影响，但其中也包含着边缘细节、目标位置等有效信息可以充分挖掘利用。为此引入空间注意力模块，过滤背景信息，使模型更多的聚焦在目标特征上，生成更加有效的特征图。

将浅层特征图输入空间注意力模块的卷积神经网络中得到第一、第二和第三特征图，根据第一和第二特征图得到特征矩阵；根据特征矩阵和第三特征图得到空间注意力特征图。

如图2所示的空间注意力模块的网络结构示意图中，主干网输出的浅层特征图I的尺寸为C×H×W，C表示浅层特征图的通道数，H表示浅层特征图的高，W表示浅层特征图的宽，将浅层特征图I分别输入卷积层，生成第一特征图P、第二特征图Q和第三特征图V。

第一特征图的尺寸为C×H×W，将第一特征图P重塑，重塑后的第一特征图尺寸为C×N，N＝H×W，再做转置处理。第二特征图Q的尺寸为C×H×W，将第二特征图Q重塑，重塑后的第二特征图尺寸为C×N，N＝H×W。将第二特征图重塑后与第一特征图重塑后再进行转置获得的特征图相乘，得到特征矩阵S，特征矩阵S的尺寸为N×N，用公式表示为：

其中，S_ji为特征矩阵中第i行第j列位置元素的取值，表示浅层特征图中第i个位置元素和第j个位置元素的相关性，两个位置的特征越相似，相关性就越大。

为第一特征图重塑后转置对应的矩阵(C×N)中第i行位置元素的取值，Q_j表示第二特征图进行重塑后对应的矩阵(C×N)中第j列位置元素的取值。N＝H×W，H为第一特征图的高，W为第一特征图的宽。

计算第三特征图V进行重塑后的特征图与特征矩阵S的转置矩阵的乘积，所述乘积乘上比例系数后与浅层特征图进行求和运算得到空间注意力特征图K。即将捕获到的空间关联信息与原始特征图中的信息进行一次融合，再乘一个预设的第一比例系数α，把结果调整为和原始输入一样的大小，最后和原始特征进行求和运算得到最终特征图，用公式表示为：

其中，K_j为空间注意力特征图中第j列位置元素的取值，α为第一比例系数，实施者可根据具体实施场景进行设置，

为特征矩阵的转置矩阵中第i行第j列位置元素的取值，V_i为第三特征图对应的矩阵中第i行位置元素的取值，I_j为浅层特征图对应的矩阵中第j列位置元素的取值，N＝H×W，H为第一特征图的高，W为第一特征图的宽。

需要说明的是，在图2的空间注意力模块的网络结构示意图中，Conv表示卷积层，reshape表示重塑，Transpose表示转置，multiply表示乘。

步骤二，将空间注意力特征图输入金字塔注意力模块中，将不同尺度的空洞卷积串联后分为三条支路，将三条支路的输出进行融合得到全局特征图。

需要说明的是，语义分割任务中，提升分割精确度最关键的一点就是上下文信息，而增加感受野可以有效增加网络可利用信息。常规的神经网络为了增加感受野，常会进行降采样操作，虽然增加了感受野但是图像分辨率越来越低，造成了信息丢失。空洞卷积可以明确控制在深度卷积网络中计算特征响应的分辨率，且能够有效增加感受野。本发明实施例中的金字塔注意力模块(AASPP)，能够减小金字塔池化模块运算量，增加空洞卷积之间的信息传递。

如图3所示的金字塔注意力模块的网络结构示意图，图中K表示空间注意力特征图，Y表示全局特征图。将空间注意力特征图K分别输入不同尺寸的空洞卷积中，对膨胀系数为6、12和18的三个空洞卷积进行串联，该方式增大了感受野，增强了卷积支路相关性，同时通过一个自适应均值池化模块，获取全局特征。后利用一个1×1卷积层对上一层的输出进一步提取特征并降维，最后上采样回原始尺寸。

本发明实施例中金字塔注意力模块是将三个不同的膨胀系数对应的空洞卷积进行串联，使得空洞卷积只分为三条支路，最终将三条支路的输出进行融合得到全局特征图Y，减小了计算量的同时，也增强了模型对目标边界的提取能力。

步骤三，将深层特征图利用通道注意力模块进行重塑得到第一、第二和第三通道特征图，根据第一和第二通道特征图得到通道注意力矩阵；根据通道注意力矩阵和第三通道特征图得到增强特征图；对全局特征图和增强特征图进行融合得到语义分割图像。

在卷积神经网络中，不同特征通道作用于不同的语义信息，构建通道注意力模块，利用通道之间的联系去增强特定语义特征，使相似的语义特征之间相互促进。

深层网络感受野较大，提取到的特征则是抽象的，因为其感受野之间的叠加区域增多，图像信息被压缩后获取到的是比较全局的信息，所以将主干网的输出第一特征图，输入通道注意力模块中，通过它去建立各个特征通道之间的关系，针对任务的特点去增强有效通道信息，抑制无用通道信息，提高了特征表示能力。

如图4所示的通道注意力模块的网络结构示意图中，将深层特征图U进行重塑得到第一通道特征图I1、第二通道特征图I2和第三通道特征图I3，尺寸大小均为C×N，其中N＝H×W。将第一通道特征图I1进行转置处理后与第二通道特征图I2相乘后，将相乘的结果利用softmax函数得到通道注意力矩阵X，尺寸大小为C×C，用公式表示为：

其中，X_ji为通道注意力矩阵中第i行第j列位置元素的取值，通道注意力矩阵中包含了通道特征图不同通道之间的相关信息，X_ji衡量了第i个通道对第j个通道的影响力。

为第一通道特征图重塑后转置对应的矩阵(C×N)中第i行位置元素的取值，I2_j表示第二通道特征图进行重塑后对应的矩阵(C×N)中第j列位置元素的取值，C为通道数。

与空间注意力类似，为了使通道注意力图中的关联信息能够传递给最终的特征图，将通道注意力矩阵X与第三通道特征图进行转置后对应的矩阵相乘，计算相乘得到的结果与预设的第二比例系数的乘积，把结果乘以预设的第二比例系数β并重塑回原来的大小，即C×H×W，以乘积结果与深层特征图之和为增强特征图G，用公式表示为：

其中，K_j为空间注意力特征图中第j列位置元素的取值，β为第二比例系数，实施者可根据具体实施场景进行设置，X_ji为通道注意力矩阵中第i行第j列位置元素的取值，

为第三通道特征图转置后对应的矩阵中第i行位置元素的取值，U_j为深层特征图对应的矩阵中第j列位置元素的取值。

将浅层特征和深层特征进行融合，即对全局特征图和增强特征图进行融合得到语义分割图像。由于密集连接可以促进特征的聚合以及帮助信息传播，故采用密集连接将增强过的深浅层特征集成，提升了语义分割性能。

进一步的，交并比是衡量预测图像和输入图像重叠的程度，像素精度是预测输入图像中各个像素对应的标签是否属于正确的类别，故可以利用平均交并比以及像素精度来评价语义分割网络的输出结果的优劣。

同时，需要说明的是，本发明实施例中所有数据集的训练均采用多元学习率衰减策略，每轮学习率乘以

其中，iter表示当前迭代轮数，total_iter表示总迭代轮数。优化器使用的是SGD算法，该优化器动量设置为0.9，初始学习率设置为1e-4，Batch_size设置为8。在训练期间为了扩展数据集，对图片进行了随机翻转，模型从0开始训练，进行100个epoch的迭代。本发明实施例中所使用的主干网ResNet50是在ImageNet数据集上预训练过的，其他的卷积核是随机初始化的。

综上所述，本发明在预训练的ResNet50网络基础上，删除了降采样操作并且在最后两个block中使用空洞卷积，有助于减小模型参数量，然后将其作为语义分割网络的主干网。

从浅层的主干网中增加了一个分支，利用浅层特征空间信息丰富，能够利用更多的细粒度特征，而且此时特征图每个像素点对应的感受野重叠区域很小，网络能够捕获更细节信息等特点从中提取纹理边界等信息。

同时为了弥补浅层网感受野小的问题，将从主干网提取出的浅层特征送入空间注意力模块中，聚集浅层特征中的空间信息，接着输入金字塔注意力模块，通过不同尺度的空洞卷积提取多尺度信息，在不损失分辨率的情况下增加网络感受野。

深层网络感受野较大，提取到的特征则是抽象的，因为其感受野之间的叠加区域增多，图像信息被压缩后获取到的是比较全局的信息。

将主干网的输出即深层特征图输入通道注意力模块中，建立各个特征通道之间的关系，针对任务的特点增强有效通道信息，抑制无用通道信息，提高了特征表示能力。最后将浅层特征和深层特征进行融合，即对全局特征图和增强特征图进行融合得到语义分割图像。由于密集连接可以促进特征的聚合以及帮助信息传播，故采用密集连接将增强过的深浅层特征集成，提升了语义分割性能。

以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的范围，均应包含在本申请的保护范围之内。

Claims (9)

1.一种基于融合金字塔注意力的遥感图像语义分割方法，其特征在于，该网络包括：

获取遥感图像输入语义分割网络的主干网得到浅层特征图和深层特征图；

将浅层特征图输入空间注意力模块的卷积神经网络中得到第一、第二和第三特征图，根据第一和第二特征图得到特征矩阵；根据特征矩阵和第三特征图得到空间注意力特征图；

将空间注意力特征图输入金字塔注意力模块中，将不同尺度的空洞卷积串联后分为三条支路，将三条支路的输出进行融合得到全局特征图；

将深层特征图利用通道注意力模块进行重塑得到第一、第二和第三通道特征图，根据第一和第二通道特征图得到通道注意力矩阵；根据通道注意力矩阵和第三通道特征图得到增强特征图；对全局特征图和增强特征图进行融合得到语义分割图像。

2.根据权利要求1所述的一种基于融合金字塔注意力的遥感图像语义分割方法，其特征在于，所述根据第一和第二特征图得到特征矩阵具体为：

将第一特征图重塑后再进行转置获得的特征图与第二特征图重塑后的特征图相乘得到特征矩阵。

3.根据权利要求1所述的一种基于融合金字塔注意力的遥感图像语义分割方法，其特征在于，所述根据特征矩阵和第三特征图得到空间注意力特征图具体为：

计算第三特征图进行重塑后的特征图与特征矩阵的转置矩阵的乘积，所述乘积乘上预设的第一比例系数后与浅层特征图进行求和运算得到空间注意力特征图。

4.根据权利要求2所述的一种基于融合金字塔注意力的遥感图像语义分割方法，其特征在于，所述特征矩阵的获取方法具体为：

其中，S_ji为特征矩阵中第i行第j列位置元素的取值，

为第一特征图重塑后转置对应的矩阵中第i行位置元素的取值，Q_j表示第二特征图进行重塑后对应的矩阵中第j列位置元素的取值，N＝H×W，H为第一特征图的高，W为第一特征图的宽。

5.根据权利要求3所述的一种基于融合金字塔注意力的遥感图像语义分割方法，其特征在于，所述空间注意力特征图的获取方法具体为：

其中，K_j为空间注意力特征图中第j列位置元素的取值，α为第一比例系数，

为特征矩阵的转置矩阵中第i行第j列位置元素的取值，V_i为第三特征图对应的矩阵中第i行位置元素的取值，I_j为浅层特征图对应的矩阵中第j列位置元素的取值，N＝H×W，H为第一特征图的高，W为第一特征图的宽。

6.根据权利要求1所述的一种基于融合金字塔注意力的遥感图像语义分割方法，其特征在于，所述根据第一和第二通道特征图得到通道注意力矩阵具体为：

将第一通道特征图进行转置处理后与第二通道特征图相乘，将相乘的结果利用softmax函数得到通道注意力矩阵。

7.根据权利要求1所述的一种基于融合金字塔注意力的遥感图像语义分割方法，其特征在于，所述根据通道注意力矩阵和第三通道特征图得到增强特征图具体为：

将通道注意力矩阵与第三通道特征图进行转置后对应的矩阵相乘，计算相乘得到的结果与预设的第二比例系数的乘积，以乘积结果与深层特征图之和为增强特征图。

8.根据权利要求1所述的一种基于融合金字塔注意力的遥感图像语义分割方法，其特征在于，所述语义分割网络的主干网为ResNet50网络。

9.根据权利要求1所述的一种基于融合金字塔注意力的遥感图像语义分割方法，其特征在于，所述语义分割网络采用多元学习率衰减策略，每轮学习率乘以

其中，iter表示当前迭代轮数，total_iter表示总迭代轮数。

Images