CN114694031A - 一种基于多任务注意力机制的遥感图像典型地物提取方法 - Google Patents

Abstract

本发明公开了一种基于多任务注意力机制的遥感图像典型地物提取方法，利用四个注意力模块从内部和外部融合全局特征，增大了模型的感受野，从而解决地物要素分布范围广、区域面积大的问题；利用多任务机制构建多解码器结构，从而降低不同地物类型对模型参数的竞争，从而较少相似地物的误判；利用边缘提取任务和距离图提取任务，增加了边缘约束，从而提升了边缘提取的效果，最终实现了对多类典型地物要素的智能提取，且提取精度较高。

Description

一种基于多任务注意力机制的遥感图像典型地物提取方法

技术领域

本发明属于遥感图像处理技术领域，更为具体地讲，涉及一种基于多任务注意力机制的遥感图像典型地物提取方法。

背景技术

随着遥感图像的空间分辨率越来越高，遥感图像上地物的结构、形状、纹理等细节信息在肉眼看来都变得清晰可分辨，这使得利用遥感图像得到典型地物信息的空间分布成为了可能。典型地物提取是高分辨率遥感应用服务链的核心技术之一，在全球变化，灾害检测，资源管控等多个领域都发挥了巨大作用。在全球变化领域，提取到建筑，森林，草地，农田，水体等地物类型的空间分布，有助于了解各地物的变化情况；在灾害检测领域，遥感图像能够帮助政府实时动态检测灾害地点和面积，为救灾方案的制订提供信息支持；在资源管控领域，遥感技术能够实时提供资源类型的分布情况，有助于实现资源的精细化管理。

为了得到地物分类空间分布信息，最精准的方法是采用人工标注。然而这种方式成本高，效率低，无法大规模应用。因此，需要设计针对性的算法，利用计算机来实现遥感图像地物分类的自动化、智能化与高效化。

近年来，随着深度学习的不断发展，计算机视觉领域也不断取得重大突破，对于日常生活中的简单图像分类场景，深度学习模型已经能够媲美人类。而对于遥感图像的典型地物要素提取任务所属的语义分割任务，在深度学习技术的支持下也取得了精度上的巨大提升。2015年之前，深度学习技术仅在图像分类与检测中得到了广泛的应用，而在图像分割领域，由于密集预测任务时间复杂度较高，难以得到真正的应用。直到FCN的出现，利用一个端到端的全卷积神经网络，实现了高效的图像分割。模型利用反卷积对最后一个卷积层的结果做上采样，将输出图像尺寸恢复到与输入图像相同的尺寸，而输出图像的每一个点正是输入图像的类别预测结果。该模型充分利用的神经网络自动学习特征的特性，大大提升了图像分割的精度。随后出现了一系列的网络对FCN结构做了改进，例如UNet、采用编码器-解码器结构、编码器部分提取特征、解码器部分解译特征，利用卷积神经网络的反向传播技术自动训练参数，得到高精度的语义分割模型。但经典的UNet等模型感受野受限，在提取遥感图像中的大范围地物目标时通常精度较低；另外，遥感图像中的部分地物种类特征较为相似，需要结合周边上下文信息综合判断，这为深度学习模型的全局特征获取能力带来了挑战；此外，深度学习模型在不同地物类别的边缘提取效果通常较差，边界通常不够清晰。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于多任务注意力机制的遥感图像典型地物提取方法，利用多解码器四重注意力提取模型自动从遥感图像中学习多种典型地物的特征，进而实现了对多类典型地物要素的智能提取，且提取精度较高。

为实现上述发明目的，本发明一种基于多任务注意力机制的遥感图像典型地物提取方法，其特征在于，包括以下步骤：

(1)、构建训练数据集；

(1.1)、下载多张遥感图像，将每一张遥感图像均裁剪为m*n大小的图块；

(1.2)、利用语义分割标注工具将遥感图像中的典型地物用不同形状标记，其中，典型地物包括背景、不透水地面、车辆、树木、草地和建筑；

(1.3)、将各个典型地物对应的像素值设为0、1、2、3、4、5，从而生成标签图像，其中，背景区域的像素值设为0，不透水地面的像素值设为1，以此类推；

(1.4)、记标签图像为label，在每一张label中，将不同地物相邻区域的像素值设置为255，其余部分设置为0，得到边缘二值图label_edge；

(1.5)、对边缘二值图label_edge做进一步的距离变换，得到距离图label_dis；

(1.6)、将每一张遥感图像与对应的标签图像、边缘二值图和距离图作为一组训练数据，从而构成训练数据集；

(2)、搭建并训练多解码器四重注意力网络；

以一组训练数据作为多解码器四重注意力网络的输入；

多解码器四重注意力网络以编码器作为开始，编码器包含两个卷积模块和4 个级联的下采样单元；其中，每个卷积模块包含了一个3x3的卷积层，一个批标准化层以及一个Relu激活函数；每个下采样单元包含了一个2x2的池化层和两个卷积模块组成；

遥感图像通过编码操作后，得到编码特征图F^C×H×W，其中，C、H、W分别表示编码特征图的通道数、高和宽；再将F^C×H×W输入到解码器进行解码操作；

多解码器四重注意力网络共计包含6个结构相同的解码器，每一类典型地物分配一个解码器，每个解码器输出对应典型地物的分类概率权重图；

其中，每个解码器包含四个并联的注意力模块，记为PAM、CAM、LAM 和EAM；在PAM中，F^C×H×W经过3个卷积操作得到三个分支，三个分支的结果分别记为

将

与

点乘后进行softmax 运算，再与

点乘，得到PAM的输出结果，记为

在CAM中，F^C×H×W同样经过3个卷积操作得到三个分支，三个分支的结果分别记为

将

与

点乘后进行softmax运算，再与

点乘，得到CAM 的输出结果，记为

在LAM中，F^C×H×W经过2个卷积操作得到两个分支，两个分支的结果分别记为

将

进行softmax运算，得到LAM 的注意力概率图att_L，再与

求和后得到LAM的输出结果，记为

在 EAM中，F^C×H×W同样经过2个卷积操作得到两个分支，两个分支的结果分别记为

将

进行softmax运算，得到EAM的注意力概率图att_E，再与

求和后得到LAM的输出结果，记为

然后将PAM和CAM的输出结果

与

求和后经过一层卷积模块，得到单通道的输出特征图，再与LAM和EAM的输出结果

求和，最后经过上采样得到解码器的输出结果；

接着，解码器的输出结果再输入到三个分支：地物提取分支、边缘提取分支、距离图提取分支；

其中，地物提取分支对输入的多个类别的分类概率图进行合并操作，得到一个多通道的分类概率权重图P；边缘提取分支将输入的多个类别的分类概率权重图输入到两个级联的卷积模块提取边缘特征，得到边缘特征图P_edge；距离图提取分支与边缘提取分支结构相同，用于提取距离特征，得到距离特征图P_dis；

计算本轮训练后的多解码器四重注意力网络的损失函数值Loss_total：

Loss_total＝Loss_att+Loss_seg+Loss_MSE+Loss_dt

其中，Loss_att为LAM和EAM的注意力损失值，Loss_seg为地物提取分支的损失值，Loss_MSE为边缘提取分支的损失值，Loss_dt为距离图提取分支的损失值；

最后，利用每一组训练数据对多解码器四重注意力网络进行训练，至当损失函数收敛，则停止训练，从而得到训练完成的多解码器四重注意力网络；

(3)、遥感图像典型地物可视化提取；

将待提取的遥感图像裁剪为m*n大小的图块，然后再输入至训练完成的多解码器四重注意力网络，从而输出遥感图像中各个典型地物对应的标签值0、1、 2、3、4、5，再将标签值映射到彩色范围，形成可视化图像。

本发明的发明目的是这样实现的：

本发明一种基于多任务注意力机制的遥感图像典型地物提取方法，利用四个注意力模块从内部和外部融合全局特征，增大了模型的感受野，从而解决地物要素分布范围广、区域面积大的问题；利用多任务机制构建多解码器结构，从而降低不同地物类型对模型参数的竞争，从而较少相似地物的误判；利用边缘提取任务和距离图提取任务，增加了边缘约束，从而提升了边缘提取的效果，最终实现了对多类典型地物要素的智能提取，且提取精度较高。

同时，本发明一种基于多任务注意力机制的遥感图像典型地物提取方法还具有以下有益效果：

(1)、本发明基于编码器-解码器结构，新增了多个注意力模块，融合了全局特征，用于改善大范围地物目标的提取精度以及不同地物边缘的提取效果；

(2)、针对遥感图像中的地物目标通常分布范围广，区域面积大的问题，本发明引入了四重注意力机制，提取更多全局特征；

(3)、针对遥感图像中的相似地物误判问题，本发明引入了多任务机制，将一个多分类地物提取问题转化为多个二分类地物提取问题，降低不同类别间的参数竞争关系，将模型的多分类解码器替换为多个二分类解码器，每个解码器依然由四个注意力模块组成；

(4)、针对边缘区域的误判问题，本发明引入额外的边缘提取任务，优化边缘提取任务的损失函数，并新增了边缘注意力模块，增强模型对边缘信息的注意力。

附图说明

图1是本发明多解码器四重注意力网络的整体结构图；

图2单个解码器结构图；

图3为PAM结构图；

图4为CAM结构图；

图5为LAM结构图；

图6为EAM结构图；

图7为实验结果图，(a)图为原始图像，(b)图为标签图像，(c)图为UNet 实验结果图，(d)图为MD QANet实验结果图。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

实施例

为了方便描述，先对具体实施方式中出现的相关专业术语进行说明：

FCN(Fully Convolutional Network)：全卷积神经网络

PAM(Position Attention Module)：位置注意力模块

CAM(Channel Attention Module)：通道注意力模块

LAM(Label Attention Module)：标签注意力模块

EAM(Edge Attention Module)：边缘注意力模块

MD QANet(Multi-Decoder Quadruple Attention Network)：多解码器四重注意力网络

在本实施例中，一种基于多任务注意力机制的遥感图像典型地物提取方法，包括以下步骤：

(1)、构建训练数据集；

(1.1)、下载多张遥感图像，将每一张遥感图像均裁剪为m*n大小的图块，在本实施例中，裁剪为1024*1024大小的图块；

(1.2)、利用语义分割标注工具将遥感图像中的典型地物用不同形状标记，其中，典型地物包括背景、不透水地面、车辆、树木、草地和建筑；

(1.3)、将各个典型地物对应的像素值设为0、1、2、3、4、5，从而生成标签图像，其中，背景区域的像素值设为0，不透水地面的像素值设为1，以此类推；

(1.4)、记标签图像为label，在每一张label中，将不同地物相邻区域的像素值设置为255，其余部分设置为0，得到边缘二值图label_edge；

(1.5)、对边缘二值图label_edge做进一步的距离变换，得到距离图label_dis；

(1.6)、将每一张遥感图像与对应的标签图像、边缘二值图和距离图作为一组训练数据，从而构成训练数据集；

(2)、搭建并训练多解码器四重注意力网络；

以一组训练数据作为多解码器四重注意力网络的输入；

多解码器四重注意力网络以编码器作为开始，编码器包含两个卷积模块和4 个级联的下采样单元；其中，每个卷积模块包含了一个3x3的卷积层，一个批标准化层以及一个Relu激活函数；每个下采样单元包含了一个2x2的池化层和两个卷积模块组成；

遥感图像通过编码操作后，得到编码特征图F^C×H×W，其中，C、H、W分别表示编码特征图的通道数、高和宽；再将F^C×H×W输入到解码器进行解码操作；

在多解码器四重注意力网络中，解码器数量与典型地物要素类别数相同，共计包含6个结构相同的解码器，每一类典型地物分配一个解码器，每个解码器输出对应典型地物的分类概率权重图；

其中，如图2所示，每个解码器包含四个并联的注意力模块，记为PAM、 CAM、LAM和EAM；

在PAM中，如图3所示，F^C×H×W经过3个卷积操作得到三个分支，三个分支的结果分别记为

将

与

点乘后进行 softmax运算，再与

点乘，得到PAM的输出结果，记为

在CAM中，如图4所示，F^C×H×W同样经过3个卷积操作得到三个分支，三个分支的结果分别记为

将

与

点乘后进行 softmax运算，再与

点乘，得到CAM的输出结果，记为

在LAM中，如图5所示，F^C×H×W经过2个卷积操作得到两个分支，两个分支的结果分别记为

将

进行softmax运算，得到LAM的注意力概率图att_L，再与

求和后得到LAM的输出结果，记为

在EAM中，如图6所示，F^C×H×W同样经过2个卷积操作得到两个分支，两个分支的结果分别记为

将

进行softmax运算，得到EAM 的注意力概率图att_E，再与

求和后得到LAM的输出结果，记为

然后将PAM和CAM的输出结果

与

求和后经过一层卷积模块，得到单通道的输出特征图，再与LAM和EAM的输出结果

求和，最后经过上采样得到解码器的输出结果；

接着，解码器的输出结果再输入到三个分支：地物提取分支、边缘提取分支、距离图提取分支；

其中，地物提取分支对输入的多个类别的分类概率图进行合并操作，得到一个多通道的分类概率权重图P；边缘提取分支将输入的多个类别的分类概率权重图输入到两个级联的卷积模块提取边缘特征，得到边缘特征图P_edge；距离图提取分支与边缘提取分支结构相同，用于提取距离特征，得到距离特征图P_dis；

计算本轮训练后的多解码器四重注意力提取模型的损失函数值Loss_total：

Loss_total＝Loss_att+Loss_seg+Loss_MSE+Loss_dt

其中，Loss_att为LAM和EAM的注意力损失值，Loss_seg为地物提取分支的损失值，Loss_MSE为边缘提取分支的损失值，Loss_dt为距离图提取分支的损失值；

最后，利用每一组训练数据对多解码器四重注意力网络进行训练，至当损失函数收敛，则停止训练，从而得到训练完成的多解码器四重注意力网络；

(3)、遥感图像典型地物可视化提取；

将待提取的遥感图像裁剪为m*n大小的图块，然后再输入至训练完成的多解码器四重注意力网络，从而输出遥感图像中各个典型地物对应的标签值0、1、 2、3、4、5，再将标签值映射到彩色范围，形成可视化图像。

如图7所示，通过对输出图像的分析，可以看出本发明切实提升了对遥感图像典型地物的提取精度。

其中，在图7中，(a)是待提取典型地物的遥感图像，(b)是制作好的标签图像，(c)是UNet模型的提取结果图，(d)是MD QANet模型的提取结果图。从提取结果图中可以看出，图中第一行对于大范围的建筑区域，MD QANet的提取效果明显由于UNet，连贯性更好，且地物的边缘更加清晰准确。第二行与第三行中，UNet在部分相似地物间产生了误判，而MDQANet较好的解决了该问题。

综述，本发明针对遥感图像中的地物目标通常分布范围广，区域面积大的问题，本发明引入了四重注意力机制，提取更多全局特征。具体来说，将经典深度学习网络模型的解码器替换为多个注意力模块并联，包括两个自注意力模块(位置注意力和通道注意力)和一个标签注意力模块，分别从内部和外部提取信息，优化全局特征的提取。针对遥感图像中的相似地物误判问题，本发明引入了多任务机制，将一个多分类地物提取问题转化为多个二分类地物提取问题，降低不同类别间的参数竞争关系，将模型的多分类解码器替换为多个二分类解码器，每个解码器依然由四个注意力模块组成。针对边缘区域的误判问题，本发明引入额外的边缘提取任务，优化边缘提取任务的损失函数，增强模型对边缘信息的注意力。

尽管上面对本发明说明性的具体实施方式进行了描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。

Claims (5)

1.一种基于多任务注意力机制的遥感图像典型地物提取方法，其特征在于，包括以下步骤：

(1)、构建训练数据集；

(1.1)、下载多张遥感图像，将每一张遥感图像均裁剪为m*n大小的图块；

(1.2)、利用语义分割标注工具将遥感图像中的典型地物用不同形状标记，其中，典型地物包括背景、不透水地面、车辆、树木、草地和建筑；

(1.3)、将各个典型地物对应的像素值设为0、1、2、3、4、5，从而生成标签图像，其中，背景区域的像素值设为0，不透水地面的像素值设为1，以此类推；

(1.4)、记标签图像为label，在每一张label中，将不同地物相邻区域的像素值设置为255，其余部分设置为0，得到边缘二值图label_edge；

(1.5)、对边缘二值图label_edge做进一步的距离变换，得到距离图label_dis；

(1.6)、将每一张遥感图像与对应的标签图像、边缘二值图和距离图作为一组训练数据，从而构成训练数据集；

(2)、搭建并训练多解码器四重注意力网络；

以一组训练数据作为多解码器四重注意力提取模型的输入；

多解码器四重注意力网络以编码器作为开始，编码器包含两个卷积模块和4个级联的下采样单元；其中，每个卷积模块包含了一个3x3的卷积层，一个批标准化层以及一个Relu激活函数；每个下采样单元包含了一个2x2的池化层和两个卷积模块组成；

遥感图像通过编码操作后，得到编码特征图F^C×H×W，其中，C、H、W分别表示编码特征图的通道数、高和宽；再将F^C×H×W输入到解码器进行解码操作；

多解码器四重注意力网络共计包含6个结构相同的解码器，每一类典型地物分配一个解码器，每个解码器输出对应典型地物的分类概率权重图；

其中，每个解码器包含四个并联的注意力模块，记为PAM、CAM、LAM和EAM；在PAM中，F^{C ×H×W}经过3个卷积操作得到三个分支，三个分支的结果分别记为

将

与

点乘后进行softmax运算，再与

点乘，得到PAM的输出结果，记为

在CAM中，F^C×H×W同样经过3个卷积操作得到三个分支，三个分支的结果分别记为

将

与

点乘后进行softmax运算，再与

点乘，得到CAM的输出结果，记为

在LAM中，F^C×H×W经过2个卷积操作得到两个分支，两个分支的结果分别记为

将

进行softmax运算，得到LAM的注意力概率图att_L，再与

求和后得到LAM的输出结果，记为

在EAM中，F^C×H×W同样经过2个卷积操作得到两个分支，两个分支的结果分别记为

将

进行softmax运算，得到EAM的注意力概率图att_E，再与

求和后得到LAM的输出结果，记为

然后将PAM和CAM的输出结果

与

求和后经过一层卷积模块，得到单通道的输出特征图，再与LAM和EAM的输出结果

求和，最后经过上采样得到解码器的输出结果；

接着，解码器的输出结果再输入到三个分支：地物提取分支、边缘提取分支、距离图提取分支；

其中，地物提取分支对输入的多个类别的分类概率图进行合并操作，得到一个多通道的分类概率权重图P；边缘提取分支将输入的多个类别的分类概率权重图输入到两个级联的卷积模块提取边缘特征，得到边缘特征图P_edge；距离图提取分支与边缘提取分支结构相同，用于提取距离特征，得到距离特征图P_dis；

计算本轮训练后的多解码器四重注意力提取模型的损失函数值Loss_total：

Loss_total＝Loss_att+Loss_seg+Loss_MSE+Loss_dt

其中，Loss_att为LAM和EAM的注意力损失值，Loss_seg为地物提取分支的损失值，Loss_MSE为边缘提取分支的损失值，Loss_dt为距离图提取分支的损失值；

最后，利用每一组训练数据对多解码器四重注意力网络进行训练，至当损失函数收敛，则停止训练，从而得到训练完成的多解码器四重注意力网络；

(3)、遥感图像典型地物可视化提取；

将待提取的遥感图像裁剪为m*n大小的图块，然后再输入至训练完成的多解码器四重注意力网络，从而输出遥感图像中各个典型地物对应的标签值0、1、2、3、4、5，再将标签值映射到彩色范围，形成可视化图像。

2.根据权利要求1所述的基于多任务注意力机制的遥感图像典型地物提取方法，其特征在于，所述Loss_att满足：

其中，l_i表示标签图像label中第i个像素点的值，

表示注意力概率图att_L中第i个像素点的值，

表示注意力概率图att_E中第i个像素点的值，N表示像素点总数，N＝m*n。

3.根据权利要求1所述的基于多任务注意力机制的遥感图像典型地物提取方法，其特征在于，所述Loss_seg满足：

其中，p_i表示分类概率权重图P中第i个像素点的值。

4.根据权利要求1所述的基于多任务注意力机制的遥感图像典型地物提取方法，其特征在于，所述Loss_MSE满足：

其中，p_dis[i]表示距离特征图P_dis中第i个像素点的值，l_dis[i]表示距离图label_dis中第i个像素点的值。

5.根据权利要求1所述的基于多任务注意力机制的遥感图像典型地物提取方法，其特征在于，所述Loss_dt满足：

θ＝{i∈A|p_edge[i]≥0.5&l_edge[i]＜0.5,p_edge[i]＜0.5&l_edge[i]≥0.5}

其中，l_edge[i]表示边缘二值图label_edge中第i个像素点的值，p_edge[i]表示边缘特征图P_edge中第i个像素点的值，θ表示i的取值范围集合，A表示所有像素的集合，&表示与运算。

Images