CN115439751A

CN115439751A - 一种融合多注意力的高分辨率遥感影像道路提取方法

Info

Publication number: CN115439751A
Application number: CN202211159222.9A
Authority: CN
Inventors: 闫志恒; 邵红娟; 任超; 李毅; 尹安超; 张胜国; 刘启睿
Original assignee: Guilin University of Technology
Current assignee: Guilin University of Technology
Priority date: 2022-09-22
Filing date: 2022-09-22
Publication date: 2022-12-06

Abstract

本发明涉及遥感图像处理技术领域，具体涉及一种融合多注意力的高分辨率遥感影像道路提取方法，基于膨胀残差协同注意力网络，同时结合空洞卷积模块，提取更高维的道路特征信息；在U型结构的跳跃连接部分使用轻量自注意力模块，捕获特征信息的长距离依赖关系；面向通道的交叉注意力模块，消除自注意力机制模块与解码器特征的歧义，提高特征图还原能力；最后使用训练权重对未标记遥感影像进行预测，计算熵值，使用高熵值预测结果为未标注影像打上标签，和原始标签混合输入到训练网络。本发明经过融合多注意力的深度学习道路提取方法，有效建立道路长距离通道与位置信息关系，提高了道路提取的效率。

Description

一种融合多注意力的高分辨率遥感影像道路提取方法

技术领域

本发明涉及遥感图像处理技术领域，具体涉及一种融合多注意力的高分辨率遥感影像道路提取方法。

背景技术

遥感影像道路自动提取在城市规划、地理参考、智能交通导航、地理空间数据集成和智能交通系统中起着重要作用。然而，由于遥感影像中存在的噪声、遮挡和道路结构的复杂性，使得道路自动提取极具挑战性。传统的道路提取方法包括支持向量机，数学形态学方法，模板匹配等方法，对于少量遥感数据信息提取容易取得良好的提取效果。随着深度学习技术在实际生产生活中的广泛应用，在海量的遥感数据中快速高效的提取遥感影像信息具有重要指导价值。

基于深度学习的遥感影像道路提取方法提高了道路提取的效率，但无法同时兼顾通道间的信息与位置信息。尽管后来的注意力机制尝试在降低通道数后通过卷积来提取位置注意力信息，但卷积感受野受限，缺乏对长距离特征信息的利用，同时深度学习需要大量的标签数据的支持，需要耗费大量人工进行标注。

发明内容

本发明的目的在于提供一种融合多注意力的高分辨率遥感影像道路提取方法，旨在融合多注意力机制，建立道路长距离通道与位置信息关系，恢复道路的细节信息，改进现有的遥感影像道路提取方法，提高道路提取的效率。

为实现上述目的，本发明提供了一种融合多注意力的高分辨率遥感影像道路提取方法，包括下列步骤：

基于膨胀残差协同注意力神经网络，以编码器解码器体系结构作为基础网络模型；

预处理输入数据，结合空洞卷积模块，提取高维的道路特征信息；

使用轻量自注意力模块，捕获特征信息的长距离依赖关系；

加入面向通道的交叉注意力模块，训练模型至收敛；

利用训练得到的权重，对未标注影像进行道路预测。

其中，基于膨胀残差协同注意力神经网络，以编码器解码器体系结构作为基础网络模型；

使用轻量自注意力模块，捕获特征信息的长距离依赖关系；

加入面向通道的交叉注意力模块，训练模型至收敛；

利用训练得到的权重，对未标注影像进行道路预测。

其中，预处理输入数据的过程，包括裁剪和数据增强，其中采用尺寸为256的滑动窗口裁剪影像，数据增强包括上下左右翻转，随机旋转以及尺度缩放，然后以256*256*3的样式输入网络。

其中，预处理输入数据划分训练集和验证集，其中验证集用于对卷积神经网络的训练分割准确度进行验证，训练集用于对卷积神经网络的训练进行参数调整，训练集和验证集的比例为8：2。

其中，结合空洞卷积模块，具体为在最后一层输入空洞空间金字塔，分别输入一个1*1卷积和三个3*3卷积，分别采用1，2，4，8扩张率的卷积，将经过不同扩张率四层特征图进行拼接输入到卷积核为1的卷积中，进行通道调整。

其中，加入面向通道的交叉注意力模块的过程，具体为解码网络通过线性插值上采样操作逐步恢复原始图像尺寸，每层上采样模块最后加入面向通道的交叉注意力模块。

其中，在训练模型至收敛的过程中，通过训练损失与验证损失确定网络是否达到收敛，收敛则停止训练，获得训练后的MAG-Unet分割模型，将测试集输入至训练后的MAG-Unet分割模型，输出分割结果。

其中，在利用训练得到的权重，对未标注影像进行道路预测的过程中，根据像素熵值给预测结果打标签，混合原始标签输入网络进行训练。

其中，给预测结果打标签的过程，具体为利用像素熵值计算判断输出结果的可靠性，对高熵值部分打上标签，对预测输出标签进行剪切，与原始标签混合后的数据增强。

本发明提供了一种融合多注意力的高分辨率遥感影像道路提取方法，基于膨胀残差协同注意力网络，同时结合空洞卷积模块，提取更高维的道路特征信息；在U型结构的跳跃连接部分使用轻量自注意力模块，捕获特征信息的长距离依赖关系；面向通道的交叉注意力模块，消除自注意力机制模块与解码器特征的歧义，提高特征图还原能力；最后使用训练权重对未标记遥感影像进行预测，计算熵值，使用高熵值预测结果为未标注影像打上标签，和原始标签混合输入到训练网络。本发明经过融合多注意力的深度学习道路提取方法，有效建立道路长距离通道与位置信息关系，提高了道路提取的效率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明的一种融合多注意力的高分辨率遥感影像道路提取方法的流程示意图。

图2是本发明的具体实施方式中的MAG-Unet卷积神经网络的结构图。

图3是本发明的具体实施方式中的协同注意力结构图。

图4是本发明的具体实施方式中的轻量自注意力结构图。

图5是本发明的具体实施方式中的面向通道的交叉注意力模块示意图。

具体实施方式

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

请参阅图1，本发明提供了一种融合多注意力的高分辨率遥感影像道路提取方法，包括下列步骤：

S1：基于膨胀残差协同注意力神经网络，以编码器解码器体系结构作为基础网络模型；

S2：预处理输入数据，结合空洞卷积模块，提取高维的道路特征信息；

S3：使用轻量自注意力模块，捕获特征信息的长距离依赖关系；

S4：加入面向通道的交叉注意力模块，训练模型至收敛；

S5：利用训练得到的权重，对未标注影像进行道路预测。

以下结合具体实施例与实施步骤作进一步说明：

请参阅图2至图5，以编码器—解码器结构作为基础网络模型，编码器部分采用改进膨胀ResNet101，第一层部分使用卷积替换最大池化，有效消除栅格效应；前三个残差结构与ResNet101保持一致，但在每一个残差结构的第一个3×3卷积后加入协同注意力分支，协同注意力模块首先使用两个1维向量的编码操作。对于输入，使用池化操作X pool，Ypool来编码水平方向和垂直方向特征，有效捕捉单方向上的长距离关系同时保留另一个方向上的空间信息，帮助网络更准确地定位目标。特征输出可以用以下公式表示：

将水平与垂直方向特征进行拼接，经过含有正则化的卷积层后利用通道划分使结构与经过两个一维编码的结构保持一致，将输出经过sigmoid激活合并成权重矩阵。每个权重都包含了通道间信息、横向空间信息和纵向空间信息，能够帮助网络更准确地定位目标信息，增强识别能力。第四层残差使用膨胀卷积，膨胀率为2，保持分辨率的同时具有和原始结构相似的感受野。前四层输出结果输入轻量自注意力，轻量自注意力和自注意力结构相似，有三个分支Q,K,V，不同于自注意力的Q直接与K转置直接相乘，先使用步长为k,卷积核为k×k的深度可分离卷积来减少注意力操作之前K和V的空间大小，

对应的轻量级Attention定义为：

B是随机初始化且可学习的相对位置偏差。使用轻量自注意力替换跳跃连接，实现对特征图之间长距离特征的充分利用。最后一层输入空洞空间金字塔，分别输入一个1×1卷积和三个3×3卷积，分别采用1，2，4，8扩张率的卷积，将经过不同扩张率四层特征图进行拼接输入到卷积核为1的卷积中，进行通道调整，提取不同尺度上的道路信息，保证道路识别精度的同时实现道路细节的提取。首先进行全局平均池化，产生向量G(X)∈R^C×1×1及其第k个通道

使用这个操作来嵌入全局空间信息，然后生成注意力掩码。接着通过熵；

对预测结果的可靠性进行衡量，将最可靠的部分筛选出来，再通过常规方式打上伪标签：

接着，输入经过预处理的训练数据集，初始化模型超参数，对改进的道路分割网络进行训练；在本发明中，使用交并比损失函数和交叉熵损失共同作为损失函数。其中，在二分类的情况下，交叉熵损失函数的计算公式如下:

其中，y表示真实的像素标签值，y′表示预测的标签像素值，N表示标签的类别数。交并比损失计算公式如下所示：

其中，X和Y分别表示生成的预测图和真实的标签。

最终的损失函数为交叉熵函数和交并比损失的总和:L_Loss＝L_cross+L_IoU。

具体实施例的操作步骤如下：

S1～S2：搭建高分影像道路提取网络MAG-Unet，采用尺寸为256的滑动窗口裁剪影像，以裁剪后的256×256×3波段的高分数据作为输入数据，基于编码器-解码器构建神经网络架构；

其中，进行预处理的过程包括将高分数据进行裁剪和数据增强，数据增强主要包括上下左右翻转，随机旋转以及尺度缩放；然后以256×256×3的高分数据输入网络。

并且对经过预处理的高分影像划分训练集和验证集，其中验证集用于对卷积神经网络的训练分割准确度进行验证，训练集用于对卷积神经网络的训练进行参数调整，其中训练集和验证集的比例为8：2。

将裁剪后的影像输入编码网络，取消原始Resnet101在初始的7×7卷积后接的最大池化操作，使用步长为2的两个扩张卷积操作替代，后面三个下采样阶段使用和Resnet101相似的结构，不同点在每一个残差块的第一个3×3卷积后加入协同注意力分支，在第四次下采样的卷积过程中，将膨胀系数改成2，输出特征图的尺寸和上一层保持一致，保持和残差操作相同的视野域，最后得到输出特征维度为16×16×512

卷积层之后的特征图中含有丰富的空间语义信息，将特征图输入改进ASPP模块中，经过1，2，4，8扩张率的空洞卷积后输入1×1网络，提取不同尺度上的道路信息，保证道路识别精度的同时实现道路细节的提取。

感受野的计算公式为：S＝k+(k-1)(n-1)其中，k表示卷积核大小，n表示空洞卷积率。

S3：将此前输出的64×64×128，32×32×256，16×16×512，16×16×512分别输入轻量自注意力模块，建立长距离依赖关系。

S4：解码网络通过线性插值上采样操作逐步恢复原始图像尺寸，每层上采样模块最后加入面向通道的交叉注意力模块，面向通道的交叉注意力模块对采样过后的特征和经过跳跃连接的特征使用平均池化操作消除自注意力机制模块与解码器特征的歧义，利用线性操作帮助上采样层有效恢复道路目标细节信息。

具体的，本实验使用Adam优化算法，相比SGD、RMSprop和AdaGrad优化器，其使模型更快收敛到性能最优，使用Adam中默认参数，其中学习率设为0.001，指数衰减率β₁＝0.9，β₂＝0.999，常数设置ε＝10-8，每经10个迭代周期，将学习率衰减为原来的1/2；选择交叉损失熵函数与交并比损失在模型反向传播过程中更新网络参数；训练迭代次数为300次。

S5：利用训练得到的权重，对未标注影像进行道路预测，根据像素熵值将预测结果中可靠性较高的利用常规方法打上标签，混合原始标签输入网络进行训练。

综上所述，本发明与现有算法相比，其显著优点在于：

(1)本发明采用改进的膨胀残差神经网络ResNet101作预处理，取消原始残差网络在7×7卷积后接的最大池化操作，使用步长为2的两个扩张卷积操作替代，后面三个下采样阶段使用和残差网络相似的结构，改进部分为在残差块的第一个3×3卷积后加入协同注意力分支，第四次下采样的卷积过程中，将膨胀系数改成2，对道路目标进行初始的分类；(2)本发明采用了编码器—解码器的网络结构，这种结构模型对道路特征提取与细节恢复表现出良好性能；(3)本发明采用空洞空间卷积池化金字塔，在编码器-解码器中间添加空洞空间卷积池化金字塔，这将有助于提取出道路影像不同层次的特征语义信息；(4)跳跃连接使用轻量自注意力模块，在不增加参数量与浮点计算的基础上，捕获长距离依赖关系，编码器部分使用面向通道的交叉注意力模块，消除自注意力机制模块与解码器特征的歧义，提高特征图还原能力，从而提高道路分割的完整性；(5)本发明利用高熵值预测为未标注影像打上标签，可以充分利用遥感影像，扩充遥感影像道路数据集。

以上所揭露的仅为本发明一种较佳实施例而已，当然不能以此来限定本发明之权利范围，本领域普通技术人员可以理解实现上述实施例的全部或部分流程，并依本发明权利要求所作的等同变化，仍属于发明所涵盖的范围。

Claims

1.一种融合多注意力的高分辨率遥感影像道路提取方法，其特征在于，包括下列步骤：

使用轻量自注意力模块，捕获特征信息的长距离依赖关系；

加入面向通道的交叉注意力模块，训练模型至收敛；

利用训练得到的权重，对未标注影像进行道路预测。

2.如权利要求1所述的融合多注意力的高分辨率遥感影像道路提取方法，其特征在于，

基于膨胀残差协同注意力神经网络，以编码器解码器体系结构作为基础网络模型的过程，具体为搭建高分影像道路提取网络MAG-Unet，编码器部分采用改进膨胀ResNet101，第一层部分使用卷积替换最大池化，前三个残差结构与ResNet101保持一致，在每一个残差块的第一个3*3卷积后加入协同注意力分支，在第四次下采样的卷积过程中，将膨胀系数改成2，输出特征图的尺寸和上一层保持一致。

3.如权利要求1所述的融合多注意力的高分辨率遥感影像道路提取方法，其特征在于，

预处理输入数据的过程，包括裁剪和数据增强，其中采用尺寸为256的滑动窗口裁剪影像，数据增强包括上下左右翻转，随机旋转以及尺度缩放，然后以256*256*3的样式输入网络。

4.如权利要求3所述的融合多注意力的高分辨率遥感影像道路提取方法，其特征在于，

预处理输入数据划分训练集和验证集，其中验证集用于对卷积神经网络的训练分割准确度进行验证，训练集用于对卷积神经网络的训练进行参数调整，训练集和验证集的比例为8：2。

5.如权利要求1所述的融合多注意力的高分辨率遥感影像道路提取方法，其特征在于，

结合空洞卷积模块，具体为在最后一层输入空洞空间金字塔，分别输入一个1*1卷积和三个3*3卷积，分别采用1，2，4，8扩张率的卷积，将经过不同扩张率四层特征图进行拼接输入到卷积核为1的卷积中，进行通道调整。

6.如权利要求2所述的融合多注意力的高分辨率遥感影像道路提取方法，其特征在于，

加入面向通道的交叉注意力模块的过程，具体为解码网络通过线性插值上采样操作逐步恢复原始图像尺寸，每层上采样模块最后加入面向通道的交叉注意力模块。

7.如权利要求6所述的融合多注意力的高分辨率遥感影像道路提取方法，其特征在于，

在训练模型至收敛的过程中，通过训练损失与验证损失确定网络是否达到收敛，收敛则停止训练，获得训练后的MAG-Unet分割模型，将测试集输入至训练后的MAG-Unet分割模型，输出分割结果。

8.如权利要求7所述的融合多注意力的高分辨率遥感影像道路提取方法，其特征在于，

在利用训练得到的权重，对未标注影像进行道路预测的过程中，根据像素熵值给预测结果打标签，混合原始标签输入网络进行训练。

9.如权利要求8所述的融合多注意力的高分辨率遥感影像道路提取方法，其特征在于，

给预测结果打标签的过程，具体为利用像素熵值计算判断输出结果的可靠性，对高熵值部分打上标签，对预测输出标签进行剪切，与原始标签混合后的数据增强。