CN113887645A - 一种基于联合注意力孪生网络的遥感图像融合分类方法 - Google Patents

Abstract

本发明公开了一种基于联合注意力孪生网络的遥感图像融合分类方法，包括以下步骤：将高光谱和多光谱图像作为数据集进行处理；构建孪生网络模块，提取高光谱和多光谱图像的共性特征；将孪生网络的输出特征作为联合注意力模块的输入，实现特征降维；添加自注意力模块进行加权操作；将多层卷积网络输出的特征图与注意力模块得到的增强特征进行连接，并添加互注意力模块；将两部分多层卷积网络提取出的高光谱和多光谱图像特征进行融合，通过全连接层进行分类，获取遥感图像的分类结果。本发明的方法，可以有效提取高光谱和多光谱图像的共性特征，而且通过联合注意力模块使得图像各自的光谱和空间信息得到增强，进而提高融合分类效果。

Description

一种基于联合注意力孪生网络的遥感图像融合分类方法

技术领域

本发明属于遥感图像分类应用，涉及一种基于联合注意力孪生网络的遥感图像融合分类方法。

背景技术

遥感图像分类是指基于不同遥感图像的分类识别任务，是遥感领域的关键组成部分，被广泛应用于自然灾害预防、城乡规划等领域。现阶段遥感领域发展迅猛，多传感器并存，为遥感行业的发展提供了有力的保障。

光学遥感影像具有分辨率高、覆盖范围广和成本低等优点，利用遥感影像进行地物分类多基于光学影像，但当前的遥感应用大多基于单一数据源，未能充分利用多源传感器的综合信息。同一场景的多源遥感图像所观测的地物类型相同，但由于传感器不同，成像机制和物理含义不同，多源信息间存在差异性、冗余性、互补性和协作性，多源遥感图像的融合能够综合利用不同来源获取的地物信息，做到更全面、更具针对性的对地观测，因此多源遥感图像的融合成为遥感图像分类的热点发展方向之一。

由于存在上述问题，针对多源遥感图像融合分类依据提出一些算法，但是效果仍没有达到最佳，性能提升空间很大，因此多源遥感图像融合分类问题依然有很大的研究价值。

发明内容

针对上述技术问题，本发明提供一种基于联合注意力孪生网络的遥感图像融合分类方法，不仅可以有效提取高光谱和多光谱图像的共性特征，而且通过联合注意力模块使得图像各自的光谱和空间信息得到增强，进而提高融合分类效果。

为实现上述目的，本发明采用的技术方案为：

步骤一、将同一区域的高光谱图像和多光谱图像作为数据集进行处理，并划分训练集、测试集和验证集：

步骤101、对多光谱遥感图像和高光谱遥感图像进行配准和标注，并将配准好的图像和标注图像的像素点划分为k×k的像素块大小，利用中心点相邻的像素点特征信息来增强判别能力；

步骤102、对划分好的像素块进行随机分割，构建训练集、测试集和验证集，输入到孪生网络模块；

步骤二、构建孪生网络模块，提取高光谱图像和多光谱图像的共性特征：

步骤201、构建卷积神经网络ResNet-101，包括五个卷积模块，分别为Conv1-x、Conv2-x、Conv3-x、Conv4-x、Conv5-x；

步骤202、采用双分支ResNet-101网络作为孪生网络，分别对高光谱图像和多光谱图像进行特征提取，生成局部特征F_h和F_m，特征提取器之间共享参数，使得模型能够获得更一致的特征图对，并且模型的网络参数也极大减少；

步骤三、将孪生网络的输出特征作为联合注意力模块的输入，实现特征降维：

步骤301、构建卷积神经网络作为联合注意力模块，共包含两部分多层卷积网络H-Net和M-Net，每部分均由两分支三层卷积网络组成，分别为光谱注意力分支和空间注意力分支；

步骤302、F_h作为H-Net的输入，用于实现高光谱图像的特征降维，光谱注意力分支和空间注意力分支均包含Conv1-h、Conv2-h、Conv3-h三个卷积层，通过CNN实现特征降维，输出降维后的特征图分别为C_h1、C_h2、C_h3和S_h1、S_h2、S_h3；

步骤303、F_m作为M-Net的输入，用于实现多光谱图像的特征降维，光谱注意力分支和空间注意力分支均包含Conv1_m、Conv2_m、Conv3_m三个卷积层，通过CNN实现特征降维，输出降维后的特征图分别为C_m1、C_m2、C_m3和S_m1、S_m2、S_m3；

步骤四、添加自注意力模块进行加权操作，使网络更多关注有效信息：

步骤401、将H-Net中空间注意力分支第一个卷积层的输出S_h1作为空间注意力模块的输入，

其中C为通道数，H为图像像素高度，W为图像像素宽度，通过三个卷积层得到三个新的特征Q_h1、K_h1和V_h1，

将维度转化为

其中N＝H×W，N为像素数，在K_h1和Q_h1之间进行矩阵乘法，并通过softmax层得到空间注意力图H₁，

步骤402、在V_h1和H₁之间进行矩阵乘法，通过尺度β进行加权，并与输入S_h1相加，得到最终的空间注意力特征：

其中x_ji表示通道i对通道j的影响，β被初始化为0，并可逐渐学习，E可以描述长期的相关性并增强特征的可辨别性；

步骤403、将H-Net中光谱注意力分支第一个卷积层的输出C_h1作为光谱注意力模块的输入，

在C_h1和

之间进行矩阵乘法，再通过一个softmax层计算光谱注意力特征H_1-，

步骤404、将H_1'与C_h1进行矩阵相乘，将维度转化后，通过尺度α进行加权，并与输入C_h1相加，得到最终的光谱注意力特征；

其中x_ji表示通道i对通道j的影响，α被初始化为0，并可逐渐学习，E包含所有通道特征的加权和，可以描述长期的相关性并增强特征的可辨别性；

步骤405、在H-Net和M-Net的每一个卷积层后添加自注意力模块，将空间注意力分支中各卷积层的输出作为空间自注意力模块的输入，同步骤401和步骤402；光谱注意力分支中各卷积层的输出作为光谱自注意力模块的输入，同步骤403和步骤404；

步骤406、将步骤405中每个自注意力模块的输出与该模块的输入相乘，得到注意力加权后的增强特征，并作为下一个卷积层的输入，逐层递进，分别得到H-Net两分支的输出S_h3'和C_h3'、M-Net两分支的输出S_m3'和C_m3'，输出特征将高光谱和多光谱中丰富的光谱特征和空间特征提取出来，并过滤了冗余特征，使特征更加突出；

步骤五、将多层卷积网络输出的特征图与注意力模块得到的增强特征进行连接，并添加互注意力模块，进一步增强特征的表达能力：

步骤501、将H-Net两分支的输出S_h3'和C_h3'相加，得到输出特征F_h1，融合了高光谱的光谱增强特征和空间增强特征，M-Net两分支的输出S_m3'和C_m3'相加，得到M-Net的输出特征F_m1，融合了多光谱的光谱增强特征和空间增强特征；

步骤502、在H-Net中，将光谱注意力分支第三个注意力模块的输出与空间注意力分支第三个卷积层的输出S_h3逐元素相乘，得到融合高光谱图像光谱特征和空间特征的互注意力特征F_h2；

步骤六、将两部分多层卷积网络H-Net和M-Net提取出的高光谱和多光谱图像特征进行融合，并通过全连接层进行分类，以获取遥感图像的分类结果：

步骤601、将步骤五得到的自注意力融合特征F_h1、F_m1和互注意力融合特征F_h2均转化为二维矩阵，并进行拼接；

步骤602、将步骤601输出的拼接特征输入到全连接层进行分类，将全连接层的通道数设置为与遥感图像分类类别M相等，由此可得到图像各个类别的得分，得分最高的类别即为预测的结果。

本发明提供的基于联合注意力孪生网络的遥感图像融合分类方法，与现有技术相比，具有以下特点：

(1)由于本发明采用孪生网络结构，具有两个权值共享的子网络，可以提取高光谱图像和多光谱图像的共性特征，提高了模型的泛化能力。

(2)由于本发明引入自注意力模块和互注意力模块，用于提取遥感图像的光谱特征和空间特征，使模型能够充分利用多源遥感图像的有效信息，从而使模型更具判断力，增强特征的表达能力。

(3)由于本发明采用深度残差网络作为孪生网络的子网络，使模型能够很好的提取局部特征并消除梯度消失问题，有助于提高模型的性能。

附图说明

图1为本发明的流程框图；

具体实施方式

下面结合附图及本发明的实施对本发明的方法作进一步的详细的说明。显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1表示的是一种基于联合注意力孪生网络的遥感图像融合分类方法流程图。

如图1所示，以高光谱图像和多光谱图像数据集作为输入，说明本发明的合理性与有效性，包含具体步骤如下：

步骤一、将同一区域的高光谱图像和多光谱图像作为数据集进行处理，并划分训练集、测试集和验证集：

步骤101、对多光谱遥感图像和高光谱遥感图像进行配准和标注，并将配准好的图像和标注图像的像素点划分为k×k的像素块大小，利用中心点相邻的像素点特征信息来增强判别能力；

步骤102、对划分好的像素块进行随机分割，构建训练集、测试集和验证集，输入到孪生网络模块；

步骤二、构建孪生网络模块，提取高光谱图像和多光谱图像的共性特征：

步骤201、构建卷积神经网络ResNet-101，包括五个卷积模块，分别为Conv1_x、Conv2_x、Conv3_x、Conv4_x、Conv5_x；

步骤202、采用双分支ResNet-101网络作为孪生网络，分别对高光谱图像和多光谱图像进行特征提取，生成局部特征F_h和F_m，特征提取器之间共享参数，使得模型能够获得更一致的特征图对，并且模型的网络参数也极大减少；

步骤三、将孪生网络的输出特征作为联合注意力模块的输入，实现特征降维：

步骤301、构建卷积神经网络作为联合注意力模块，共包含两部分多层卷积网络H-Net和M-Net，每部分均由两分支三层卷积网络组成，分别为光谱注意力分支和空间注意力分支；

步骤302、F_h作为H-Net的输入，用于实现高光谱图像的特征降维，光谱注意力分支和空间注意力分支均包含Conv1_h、Conv2_h、Conv3_h三个卷积层，通过CNN实现特征降维，输出降维后的特征图分别为C_h1、C_h2、C_h3和S_h1、S_h2、S_h3；

步骤303、F_m作为M-Net的输入，用于实现多光谱图像的特征降维，光谱注意力分支和空间注意力分支均包含Conv1_m、Conv2_m、Conv3_m三个卷积层，通过CNN实现特征降维，输出降维后的特征图分别为C_m1、C_m2、C_m3和S_m1、S_m2、S_m3；

步骤四、添加自注意力模块进行加权操作，使网络更多关注有效信息：

步骤401、将H-Net中空间注意力分支第一个卷积层的输出S_h1作为空间注意力模块的输入，

其中C为通道数，H为图像像素高度，W为图像像素宽度，通过三个卷积层得到三个新的特征Q_h1、K_h1和V_h1，

将维度转化为

其中N＝H×W，N为像素数，在K_h1和Q_h1之间进行矩阵乘法，并通过softmax层得到空间注意力图H₁，

步骤402、在V_h1和H₁之间进行矩阵乘法，通过尺度β进行加权，并与输入S_h1相加，得到最终的空间注意力特征：

其中x_ji表示通道i对通道j的影响，β被初始化为0，并可逐渐学习，E可以描述长期的相关性并增强特征的可辨别性；

步骤403、将H-Net中光谱注意力分支第一个卷积层的输出C_h1作为光谱注意力模块的输入，

在C_h1和

之间进行矩阵乘法，再通过一个softmax层计算光谱注意力特征H_1'，

步骤404、将H_1'与C_h1进行矩阵相乘，将维度转化后，通过尺度α进行加权，并与输入C_h1相加，得到最终的光谱注意力特征；

其中x_ji表示通道i对通道j的影响，α被初始化为0，并可逐渐学习，E包含所有通道特征的加权和，可以描述长期的相关性并增强特征的可辨别性；

步骤405、在H-Net和M-Net的每一个卷积层后添加自注意力模块，将空间注意力分支中各卷积层的输出作为空间自注意力模块的输入，同步骤401和步骤402；光谱注意力分支中各卷积层的输出作为光谱自注意力模块的输入，同步骤403和步骤404；

步骤406、将步骤405中每个自注意力模块的输出与该模块的输入相乘，得到注意力加权后的增强特征，并作为下一个卷积层的输入，逐层递进，分别得到H-Net两分支的输出S_h3'和C_h3'、M-Net两分支的输出S_m3'和C_m3'，输出特征将高光谱和多光谱中丰富的光谱特征和空间特征提取出来，并过滤了冗余特征，使特征更加突出；

步骤五、将多层卷积网络输出的特征图与注意力模块得到的增强特征进行连接，并添加互注意力模块，进一步增强特征的表达能力：

步骤501、将H-Net两分支的输出S_h3'和C_h3'相加，得到输出特征F_h1，融合了高光谱的光谱增强特征和空间增强特征，M-Net两分支的输出S_m3'和C_m3'相加，得到M-Net的输出特征F_m1，融合了多光谱的光谱增强特征和空间增强特征；

步骤502、在H-Net中，将光谱注意力分支第三个注意力模块的输出与空间注意力分支第三个卷积层的输出S_h3逐元素相乘，得到融合高光谱图像光谱特征和空间特征的互注意力特征F_h2；

步骤六、将两部分多层卷积网络H-Net和M-Net提取出的高光谱和多光谱图像特征进行融合，并通过全连接层进行分类，以获取遥感图像的分类结果：

步骤601、将步骤五得到的自注意力融合特征F_h1、F_m1和互注意力融合特征F_h2均转化为二维矩阵，并进行拼接；

步骤602、将步骤601输出的拼接特征输入到全连接层进行分类，将全连接层的通道数设置为与遥感图像分类类别M相等，由此可得到图像各个类别的得分，得分最高的类别即为预测的结果。

Claims (1)

1.一种基于联合注意力孪生网络的遥感图像融合分类方法，其特征在于，包括以下步骤：

步骤一、将同一区域的高光谱图像和多光谱图像作为数据集进行处理，并划分训练集、测试集和验证集：

步骤101、对多光谱遥感图像和高光谱遥感图像进行配准和标注，并将配准好的图像和标注图像的像素点划分为k×k的像素块大小，利用中心点相邻的像素点特征信息来增强判别能力；

步骤102、对划分好的像素块进行随机分割，构建训练集、测试集和验证集，输入到孪生网络模块；

步骤二、构建孪生网络模块，提取高光谱图像和多光谱图像的共性特征：

步骤201、构建卷积神经网络ResNet-101，包括五个卷积模块，分别为Conv1-x、Conv2-x、Conv3-x、Conv4-x、Conv5-x；

步骤202、采用双分支ResNet-101网络作为孪生网络，分别对高光谱图像和多光谱图像进行特征提取，生成局部特征F_h和F_m，特征提取器之间共享参数，使得模型能够获得更一致的特征图对，并且模型的网络参数也极大减少；

步骤三、将孪生网络的输出特征作为联合注意力模块的输入，实现特征降维：

步骤301、构建卷积神经网络作为联合注意力模块，共包含两部分多层卷积网络H-Net和M-Net，每部分均由两分支三层卷积网络组成，分别为光谱注意力分支和空间注意力分支；

步骤302、F_h作为H-Net的输入，用于实现高光谱图像的特征降维，光谱注意力分支和空间注意力分支均包含Conv1-h、Conv2-h、Conv3-h三个卷积层，通过CNN实现特征降维，输出降维后的特征图分别为C_h1、C_h2、C_h3和S_h1、S_h2、S_h3；

步骤303、F_m作为M-Net的输入，用于实现多光谱图像的特征降维，光谱注意力分支和空间注意力分支均包含Conv1_m、Conv2_m、Conv3_m三个卷积层，通过CNN实现特征降维，输出降维后的特征图分别为C_m1、C_m2、C_m3和S_m1、S_m2、S_m3；

步骤四、添加自注意力模块进行加权操作，使网络更多关注有效信息：

步骤401、将H-Net中空间注意力分支第一个卷积层的输出S_h1作为空间注意力模块的输入，

其中C为通道数，H为图像像素高度，W为图像像素宽度，通过三个卷积层得到三个新的特征Q_h1、K_h1和V_h1，

将维度转化为

其中N＝H×W，N为像素数，在K_h1和Q_h1之间进行矩阵乘法，并通过softmax层得到空间注意力图H₁，

步骤402、在V_h1和H₁之间进行矩阵乘法，通过尺度β进行加权，并与输入S_h1相加，得到最终的空间注意力特征：

其中x_ji表示通道i对通道j的影响，β被初始化为0，并可逐渐学习，E可以描述长期的相关性并增强特征的可辨别性；

步骤403、将H-Net中光谱注意力分支第一个卷积层的输出C_h1作为光谱注意力模块的输入，

在C_h1和

之间进行矩阵乘法，再通过一个softmax层计算光谱注意力特征H_1'，

步骤404、将H_1'与C_h1进行矩阵相乘，将维度转化后，通过尺度α进行加权，并与输入C_h1相加，得到最终的光谱注意力特征；

其中x_ji表示通道i对通道j的影响，α被初始化为0，并可逐渐学习，E包含所有通道特征的加权和，可以描述长期的相关性并增强特征的可辨别性；

步骤405、在H-Net和M-Net的每一个卷积层后添加自注意力模块，将空间注意力分支中各卷积层的输出作为空间自注意力模块的输入，同步骤401和步骤402；光谱注意力分支中各卷积层的输出作为光谱自注意力模块的输入，同步骤403和步骤404；

步骤406、将步骤405中每个自注意力模块的输出与该模块的输入相乘，得到注意力加权后的增强特征，并作为下一个卷积层的输入，逐层递进，分别得到H-Net两分支的输出S_h3'和C_h3'、M-Net两分支的输出S_m3'和C_m3'，输出特征将高光谱和多光谱中丰富的光谱特征和空间特征提取出来，并过滤了冗余特征，使特征更加突出；

步骤五、将多层卷积网络输出的特征图与注意力模块得到的增强特征进行连接，并添加互注意力模块，进一步增强特征的表达能力：

步骤501、将H-Net两分支的输出S_h3'和C_h3'相加，得到输出特征F_h1，融合了高光谱的光谱增强特征和空间增强特征，M-Net两分支的输出S_m3'和C_m3'相加，得到M-Net的输出特征F_m1，融合了多光谱的光谱增强特征和空间增强特征；

步骤502、在H-Net中，将光谱注意力分支第三个注意力模块的输出与空间注意力分支第三个卷积层的输出S_h3逐元素相乘，得到融合高光谱图像光谱特征和空间特征的互注意力特征F_h2；

步骤六、将两部分多层卷积网络H-Net和M-Net提取出的高光谱和多光谱图像特征进行融合，并通过全连接层进行分类，以获取遥感图像的分类结果：

步骤601、将步骤五得到的自注意力融合特征F_h1、F_m1和互注意力融合特征F_h2均转化为二维矩阵，并进行拼接；

步骤602、将步骤601输出的拼接特征输入到全连接层进行分类，将全连接层的通道数设置为与遥感图像分类类别M相等，由此可得到图像各个类别的得分，得分最高的类别即为预测的结果。

Images