CN112464787A - 基于空间融合注意力的遥感图像舰船目标细粒度分类方法 - Google Patents

Abstract

基于空间融合注意力的遥感图像舰船目标细粒度分类方法，对目标进行图像采集后进行卷积操作，得到卷积特征图；对于输入的卷积特征图先进行自注意力的建模，提取出一维的通道间的均值相关性系数，并构建均值相关性系数下的卷积特征图，后利用空间注意力提取出均值相关性系数下的卷积特征图中二维的空间注意力权重，将自注意力的建模模块和空间注意力建模模块进行级联结合作为空间融合注意力模块可以嵌入到分类网络中，利用分类网络进行最后的细粒度分类。本发明通过两个模块的级联结合分类网络，提高了对舰船目标细粒度特征的学习能力，进而提高了分类结果准确率，同时两个模块采用Block结构设计，使其能够灵活的结合各种分类网络。

Description

基于空间融合注意力的遥感图像舰船目标细粒度分类方法

技术领域

本发明属于图像处理领域，更具体的说是涉及基于空间融合注意力的遥感图像舰船目标细粒度分类方法。

背景技术

遥感图像海上舰船目标上进行精确识别，有助于获取更有效的类信息和提高识别的准确度，在港口内外商船渔、船舰的实时监控、海上军事舰船目标检测和精细识别方面具有重要的意义。近年来，深度学习技术的快速发展，细粒度分类相关的研究受到了越来越多的关注。但由于目前有关遥感图像舰船目标研究主要集中舰船目标的检测和后续进行背景和目标的二分类。少部分的文献专门进行了舰船目标多分类任务，但是分类的类别数量也十分有限，总的来说，海面舰船目标精细化的细分类鲜有研究。

在已知的研究任务和参考文献中，舰船检测是有关舰船目标的主要研究内容，识别分类只进行两类分类(背景和舰船)，少部分的研究针对舰船目标识别任务做了多分类任务。但多分类的研究也只是在军舰、民船和商船之间进行相对细致的划分。这样导致舰船目标的分类精度远远达不到实际应用的需求，需要解决遥感图像舰船目标细粒度特征提取的问题。

遥感图像中舰船目标往往具有较大的长宽比，在图像纹理、灰度特征等方面和自然图像也有很大的不同。这给细粒度分类算法的特征提取能力提出了很高的要求。为了能够更有效的进行舰船目标的分类，需要注意到舰船目标的特征，利用细粒度分类算法能够有效的进行特征的提取和学习，满足舰船目标精细化分类的要求。

因此，为了解决遥感图像舰船目标细粒度分类准确率低的问题，提出了基于空间融合注意力的遥感图像舰船目标细粒度分类技术。

发明内容

有鉴于此，本发明提供了一种基于空间融合注意力的遥感图像舰船目标细粒度分类方法，更加有效的对舰船目标的细粒度特征进行学习，进而提高了分类准确率。

为了实现上述目的，本发明采用如下技术方案：

基于空间融合注意力的遥感图像舰船目标细粒度分类方法，对目标进行图像采集，对采集图像进行.卷积操作，得到卷积特征图；对于输入的卷积特征图先进行自注意力的建模，提取出一维的通道均值相关性系数，并构建均值相关性系数下的卷积特征图，后利用空间注意力提取出图像中二维的空间注意力权重，将自注意力的建模模块和空间注意力建模模块进行级联结合作为空间融合注意力模块可以嵌入到分类网络中，利用分类网络进行最后的细粒度分类。

进一步，所述自注意力的建模方法如下，

S1：在卷积特征图的基础上利用重新建模Reshape得到尺寸为c×hw的二维数组X，卷积特征图F∈R^w×h×c，其中c，h，w，分别代表特征通道数、输入高度和宽度；

S2：对二维数组X进行转置操作得到X^T，将X与X^T进行点乘运算，得到c×c的二维数组，代表着每一个通道之间的相关关系，进而得到每个通道的相关性系数；

S3：对所有通道的相关性系数取平均，得到一维通道均值相关性系数。

S4：将一维通道均值相关性系数与对应各通道相乘，代入F∈R^w×h×c中，得到均值相关性系数下的卷积特征图F'∈R^w×h×c，其中F'的维度和F的维度一致。

进一步，所述空间注意力建模方法如下，

S21：对特征图F'进行多角度池化操作，通过最大池化得到w×h×1的特征图一通过平均池化得到w×h×1的特征图二；

S22：对得到的w×h×1的特征图，利用3×3卷积进行噪声和背景的处理，维度保持不变，得到w×h×1的特征图三和w×h×1的特征图四；

S23：将最大池化和平均池化下最终输出的w×h×1的特征图三和w×h×1的特征图四联合成为w×h×2的特征图；

S24：对w×h×2的特征图进行7×7卷积核进行卷积操作，并利用Sigmiod激活函数得到映射尺寸为w×h×1的一维特征图，即空间注意力权重；

S25：将空间注意力权重代入F∈R^w×h×c，获得带有空间注意力权重的特征图F”∈R^{w ×h×c}。

进一步，所述自注意力建模和空间注意力建模均采用Block的结构化设计，能够移植到其他分类网络中。

进一步，所述分类网络为VGA-19或ResNet-50。

本发明的技术效果：

(1)采用卷积特征图的自注意力建模机制，利用矩阵的操作，可以得到特征图中个通道之间的相关性，极大的提高了网络的特征提取能力；

(2)本发明方法采用的空间注意力机制结合最大池化和平均池化两个方面并有效的利用卷积操作能够最大化的利用图像中目标的位置信息；

(3)采用Block模块化设计，使得空间融合注意力结构的可移植性和便捷性有了极大的提高；

(4)结合自注意力建模和空间注意力建模，两个模块的级联能够更加有效的对舰船目标的细粒度特征进行学习。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明中空间融合注意力模块总体结构示意图；

图2为本发明中自注意力建模结构示意图；

图3为本发明中空间注意力建模结构示意图；

图4为空间融合注意力模块嵌入ResNet网络结构示意图；

图5为网络结构注意力可视化结果图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

如图1，本发明公开了基于空间融合注意力的遥感图像舰船目标细粒度分类方法，对目标进行图像采集，对采集图像进行.卷积操作，得到卷积特征图；对于输入的卷积特征图先进行自注意力的建模，提取出一维的通道均值相关性系数，并构建均值相关性系数下的卷积特征图，后利用空间注意力提取出图像中二维的空间注意力权重，将自注意力的建模模块和空间注意力建模模块进行级联结合作为空间融合注意力模块可以嵌入到分类网络中，利用分类网络进行最后的细粒度分类。

为了进一步优化上述技术方案，自注意力的建模方法如下，如图2，

S1：在卷积特征图的基础上利用重新建模Reshape得到尺寸为c×hw的二维数组X，卷积特征图F∈R^w×h×c，其中c，h，w，分别代表特征通道数、输入高度和宽度；

S2：对二维数组X进行转置操作得到X^T，将X与X^T进行点乘运算，得到c×c的二维数组，代表着每一个通道之间的相关关系，进而得到每个通道的相关性系数；

S3：对所有通道的相关性系数取平均，得到一维通道均值相关性系数。

S4：将一维通道均值相关性系数与对应各通道相乘，代入F∈R^w×h×c中，得到均值相关性系数下的卷积特征图F'∈R^w×h×c，其中F'的维度和F的维度一致。

为了进一步优化上述技术方案，空间注意力建模方法如下，如图3，

S21：对特征图F'进行多角度池化操作，通过最大池化得到w×h×1的特征图一通过平均池化得到w×h×1的特征图二；

S22：对得到的w×h×1的特征图，利用3×3卷积进行噪声和背景的处理，维度保持不变，得到w×h×1的特征图三和w×h×1的特征图四；

S23：将最大池化和平均池化下最终输出的w×h×1的特征图三和w×h×1的特征图四联合成为w×h×2的特征图；

S24：对w×h×2的特征图利用7×7卷积核进行卷积操作，并利用Sigmiod激活函数得到映射尺寸为w×h×1的一维特征图，即空间注意力权重；

S25：将空间注意力权重代入F∈R^w×h×c，获得带有空间注意力权重的特征图F”∈R^{w ×h×c}；

其中代入过程为将空间注意力权重与卷积特征图F中对应元素相乘。

为了进一步优化上述技术方案，自注意力建模和空间注意力建模均采用Block的结构化设计，能够移植到其他分类网络中。

为了进一步优化上述技术方案，分类网络为VGG-19或ResNet-50。

如图4，为空间注意力模块嵌入ResNet网络的结构示意图，获取ResNet网络中前方的卷积特征图作为本发明输入的卷积特征图F，经过自注意力模块(Self AttentionModule)得到一维通道均值相关性系数下的卷积特征图F'，其中

将F'输入到空间注意力模块(Spatial Attention Module)中，得到带有空间注意力权重的特征图F”，其中

用本发明下得到的特征图F”，代替原分类网络中的卷积特征图F，完成模块的嵌入，最后利用softmax层进行最后的细粒度分类。

为了进一步优化上述技术方案，本发明网络的训练和测试采用遥感图像舰船目标数据集和自然图像舰船目标细粒度分类数据集，空间融合注意力算法实验结果如下表所示：

表1空间融合注意力算法实验结果

网络模型	top-1准确率
		VGG-19	87.36
ResNet-50	90.81
		本发明方法	93.71

其中第一行为VGG-19网络的分类结果准确率，第二行为ResNet-50网络的分类结果准确率，第三行为采用本发明中的空间融合注意力模块结合ResNet-50网络的分类结果准确率，可以发现本发明对于舰船目标的细粒度分类准确率有着显著提升。

如图5，为网络结构注意力可视化结果图，选择了八艘舰船进行基于ResNet-50网络下的分类对比，根据可视化结果图可以看出ResNet-50网络下仍然会受到背景海面以及地物干扰，在航母以及大型舰船目标上收到的干扰较大，而当将本发明中的空间融合注意力模块嵌入ResNet-50网络中进行分类，可以看出清晰度更高，受到的干扰更少。

本发明利用级联的自注意力模块和空间注意力模块，利用空间注意力模块可以根据图像中舰船目标的位置信息进行判定，同时，在卷积特征图上引入了空间注意力权重，大大提高了特征的提取和学习能力，结合分类网络进行分类后细粒度分类准确率能够得到显著提升；同时自注意力模块和空间注意力模块均为Block结构设计，可以直接移植到各种网络中，因此具有很高的灵活性。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (5)

1.基于空间融合注意力的遥感图像舰船目标细粒度分类方法，其特征在于，对目标进行图像采集，对采集图像进行卷积操作，得到卷积特征图；对于输入的卷积特征图先进行自注意力的建模，提取出一维的通道均值相关性系数，并构建通道均值相关性系数下的卷积特征图，后利用空间注意力提取出通道均值相关性系数下的卷积特征图中二维的空间注意力权重，将自注意力的建模模块和空间注意力建模模块进行级联结合作为空间融合注意力模块嵌入到分类网络中，利用分类网络进行最后的细粒度分类。

2.根据权利要求1中所述的基于空间融合注意力的遥感图像舰船目标细粒度分类方法，其特征在于，所述自注意力的建模方法如下，

S1：在卷积特征图的基础上利用重新建模Reshape得到尺寸为c×hw的二维数组X，卷积特征图F∈R^w×h×c，其中c，h，w，分别代表特征通道数、输入高度和宽度；

S2：对二维数组X进行转置操作得到X^T，将X与X^T进行点乘运算，得到c×c的二维数组，代表着每一个通道之间的相关关系，进而得到每个通道的相关性系数；

S3：对所有通道的相关性系数取平均，得到一维通道均值相关性系数；

S4：将一维通道均值相关性系数与对应各通道相乘，代入F∈R^w×h×c中，得到均值相关性系数下的卷积特征图F'∈R^w×h×c，其中F'的维度和F的维度一致。

3.根据权利要求2中所述的基于空间融合注意力的遥感图像舰船目标细粒度分类方法，其特征在于，所述空间注意力建模方法如下，

S21：对特征图F'进行多角度池化操作，通过最大池化得到w×h×1的特征图一通过平均池化得到w×h×1的特征图二；

S22：对得到的w×h×1的特征图，利用3×3卷积进行噪声和背景的处理，维度保持不变，得到w×h×1的特征图三和w×h×1的特征图四；

S23：将最大池化和平均池化下最终输出的w×h×1的特征图三和w×h×1的特征图四联合成为w×h×2的特征图；

S24：对w×h×2的特征图进行7×7卷积核进行卷积操作，并利用Sigmiod激活函数得到映射尺寸为w×h×1的一维特征图，即空间注意力权重；

S25：将空间注意力权重代入F∈R^w×h×c，获得带有空间注意力权重的特征图F”∈R^w×h×c。

4.根据权利要求1中所述的基于空间融合注意力的遥感图像舰船目标细粒度分类方法，其特征在于，所述自注意力建模和空间注意力建模均采用Block的结构化设计，能够移植到其他分类网络中。

5.根据权利要求4中所述的基于空间融合注意力的遥感图像舰船目标细粒度分类方法，其特征在于，所述分类网络为VGA-19或ResNet-50。

Images