CN113435288A - 一种基于mff-ma模块的sar图像舰船目标识别方法 - Google Patents

Abstract

本发明公开了一种基于MFF‑MA模块的SAR图像舰船目标识别方法，首先将扩充、整理好后的SAR图像送入改进的VGG模型；通过改进VGG网络的前4个卷积单元充分提取SAR图像特征，通过多层次特征融合模块得到输出特征图U；其次，将特征图U∈R^C×H×W送入多尺度注意力模块进一步提高重要特征的权重；最后，将MA模块中两个并行的注意力子模块得到的输出特征图进行逐元素相加的特征融合，再由一个全连接层生成最终分类结果。本发明缓解了数据不平衡问题，通过MFF模块充分挖掘丰富的深层次信息，通过MA模块来降低舰船目标的“类间相似性过高”的负面影响，分别对空间维度和通道维度上的语义依赖关系进行建模，提高了特征的辨别能力。

Description

一种基于MFF-MA模块的SAR图像舰船目标识别方法

技术领域

本发明属于合成孔径雷达图像处理与目标识别技术领域，具体涉及一种基于MFF-MA模块的SAR图像舰船目标识别方法。

背景技术

合成孔径雷达(Synthetic Aperture Radar,SAR)成像不受天气、光照等诸多条件的影响，能够宏观、长期、连续、动态、实时地对海洋进行观测，被广泛应用于军事和民用领域。近年来，利用SAR图像进行舰船目标检测和识别的研究得到了高度重视，已成为海洋应用领域的一个重要研究方向和信息技术的一个热点话题。然而SAR图像特征随着不同的姿态，俯仰角，成像参数等具有较大变化，其存在的相干斑噪声更是严重降低了图像的可解译程度，也给后续的目标检测及分类带去极大挑战。对于舰船这种复杂的目标，仅仅是手动提取的特征常常没办法深刻细致、全面精确地对舰船的特点进行描述。

近年来神经网络和深度学习的快速发展给SAR-ATR领域带来了新的启示。以卷积神经网络(CNN)为代表的深度学习方法在图像检测、识别领域取得了巨大进展。相比传统的人工设计寻找特征，利用特征进行分类的方法，国内外较多专业研究人员尝试直接利用CNN以及搭建不同的卷积神经网络架构进行SAR图像的特征提取及分类，但这类方法的有效性严重依赖于训练数据的质量和数量，而中等分辨率SAR图像存在类间距小，类内距大的问题。如何进一步挖掘中等分辨率SAR图像中的深层次特征来提高识别率的问题亟待解决。

发明内容

发明目的：为了解决上述现有技术中存在的不足，本发明基于特征融合和注意力机制，提出了一种基于MFF-MA模块的SAR图像舰船目标识别方法，解决了不平衡中等分辨率SAR图像应用深度学习方法的特征提取及特征解译问题，并研究了此估计方法的性能。

技术方案：本发明提出一种基于MFF-MA模块的SAR图像舰船目标识别方法，具体包括以下步骤：

(1)将扩充、整理好后的SAR图像送入改进的VGG16模型；所述改进的VGG16模型为嵌入多层次特征融合模块的VGG16作为骨干网络；

(2)将特征图U∈R^C×H×W送入挤压-激励模块，通过损失函数来学习特征权重，得到加权后的特征图A；

(3)将经过(2)获得的特征图A∈R^C×H×W送入两个并行的注意力子模块；即通过位置注意力模块增强特征的表示能力，同时通过通道注意力模块增强特征图的判别能力；

(4)将步骤(3)中两个注意力子模块得到的输出特征图经过一个卷积层后进行逐元素相加的特征融合，再由一个全连接层生成最终分类结果。

进一步地，步骤(1)所述改进的VGG16模型为将原始VGG16网络中的输入层由3通道改为单通道；在模型中将最后一个卷积单元去除，并将原有的三个全连接层替换为一个全连接层；通过MFF模块得到输出特征图U，即将第四个卷积块的最后一层卷积层进行反卷积，再与第三个卷积块的最后一层卷积层得到的特征图进行融合。

进一步地，所述步骤(2)实现过程如下：

在挤压部分，进行全局平均池化操作得到特征图的全局信息：

进入激励部分，通过两个全连接层和非线性层来学习C个特征图的权重P，即：

p＝F_ex(z,W)＝σ(g(z,W))＝σ(W₂δ(W₁z))

对特征图和对应的权重进行“逐通道乘法”操作，得到最终的输出：

a_c＝F_scale(u_c,p_c)＝p_cu_c

其中，A＝[a₁,a₂,...,a_c]为加权后得到的特征图。

进一步地，步骤(3)所述的通过位置注意力模块增强特征的表示能力实现过程如下：

通过卷积层得到三个新的特征图B、C和D，将特征图reshape至R^C×N，其中N＝H×W是像素数；在B和C的转置上应用一次矩阵乘法获得位置注意力图S∈R^N×N：

其中，s_ji表示第i个位置对第j个位置的影响，两个位置的特征越相似对这个值的影响越大；对D和S的转置应用一次矩阵乘法，reshape至R^C×H×W，乘上一个权重系数α，与原始特征A进行一个逐元素的相加操作得到最终输出E∈R^C×H×W，即：

进一步地，步骤(3)所述的通过通道注意力模块增强特征图的判别能力实现过程如下：

对特征图A进行reshape操作至R^C×N，在A与A的转置上应用一次矩阵乘法获得通道注意力图X∈R^N×N：

其中，x_ji表示第i个通道对第j个通道的影响；对X的转置和A进行一次矩阵乘法，reshape至R^C×H×W；乘上权重系数β，与原始特征A进行一个逐元素的相加操作得到最终输出F∈R^C×H×W：

有益效果：与现有技术相比，本发明的有益效果：在不平衡中等分辨率SAR图像目标识别过程中，首先利用数据扩充手段一定程度上缓解了数据不平衡问题，然后通过MFF模块充分挖掘SAR图像的深层次特征，再通过MA模块来降低舰船目标的“类间相似性过高”的负面影响，利用双重注意力机制分别对空间维度和通道维度上的语义依赖关系进行建模，进一步提高特征的辨别能力。

附图说明

图1为本发明的流程示意图；

图2为改进的骨干网络的结构和MFF模块结构示意图；

图3为输入原始SAR图像的实例图；

图4为MA模块中SE子模块的结构示意图；

图5为MA模块中PAM子模块的结构示意图；

图6为MA模块中CAM子模块的结构示意图。

具体实施方式

下面结合附图对本发明作进一步详细说明。

如图1所示，本发明提供一种基于MFF-MA模块的SAR图像舰船目标识别方法，具体包括以下步骤：

步骤1、将扩充后处理好的SAR图像送入改进的VGG模型，改进的VGG16模型为嵌入多层次特征融合(Multi-level feature fusion,MFF)模块的VGG16作为骨干网络。

为了适用于单通道的SAR图像，将原始VGG16网络中的输入层由3通道改为单通道；为了防止网络过拟合，在模型中将最后一个卷积单元去除，并将原有的三个全连接层替换为一个全连接层，通过VGG网络的前4个卷积块充分提取SAR图像特征。设计MFF模块，即：将第四个卷积块的最后一层卷积层进行反卷积(deconv)，再与第三个卷积块的最后一层卷积层得到的特征图进行融合，得到输出特征图U，参见图2。图3为输入原始SAR图像的实例，第一行为散货船，第二行为集装箱船，第三行为油轮。

步骤2、通过MFF模块，得到输出特征图U∈R^C×H×W，将U送入多尺度注意力(Multi-scale attention,MA)模块。

首先送入挤压-激励模块(Squeeze-and-Excitation block,SE block)，通过损失函数来学习特征权重，得到加权后的特征图A，如图4所示，通过损失函数来学习特征权重。在Squeeze部分，进行全局平均池化得到特征图的全局信息：

然后就进入Excitation部分，通过两个全连接层和非线性层来学习张量U中C个特征图的权重P，即：

p＝F_ex(z,W)＝σ(g(z,W))＝σ(W₂δ(W₁z))

最后再对特征图和对应的权重进行“逐通道乘法”操作，得到最终的输出：

a_c＝F_scale(u_c,p_c)＝p_cu_c

其中，A＝[a₁,a₂,...,a_c]为加权后得到的特征图。

将特征图A∈R^C×H×W送入两个并行的注意力模块；通过位置注意力模块(positionattention module,PAM)增强特征的表示能力，同时通过通道注意力模块(channelattention module,CAM)增强特征图的判别能力。

在位置注意力模块PAM中，如图5所示，首先通过卷积层得到三个新的特征图B、C和D，将他们reshape至R^C×N，其中N＝H×W是像素数。接着在B和C的转置上应用一次矩阵乘法获得位置注意力图S∈R^N×N：

其中，s_ji表示第i个位置对第j个位置的影响，两个位置的特征越相似对这个值的影响越大。然后对D和S的转置应用一次矩阵乘法，reshape至R^C×H×W，然后乘上一个权重系数α(初始化为0)，与原始特征A进行一个逐元素的相加操作得到最终输出E∈R^C×H×W，即：

最终的特征E的每一个位置是所有位置的特征和原始特征的带权重相加得到，因此能够聚合全局语义信息，建立丰富的上下文关系，进而增强特征的表示能力。

在通道注意力模块CAM中，如图6所示，首先对特征图A进行reshape操作至R^C×N，然后在A与A的转置上应用一次矩阵乘法获得通道注意力图X∈R^N×N：

其中，x_ji表示第i个通道对第j个通道的影响。之后对X的转置和A进行一次矩阵乘法，reshape至R^C×H×W，然后乘上一个权重系数β(初始化为0)，与原始特征A进行一个逐元素的相加操作得到最终输出F∈R^C×H×W，即：

最终输出的每个通道的特征都是所有通道的特征和原始特征图的带权重相加得到，从而增强了通道特征图之间的全局语义依赖，最终增强了特征图的判别能力。

步骤3：将步骤2得到的输出特征图经过一个卷积层后进行逐元素相加的特征融合，再由一个全连接层生成最终分类结果。

本发明采用tensorflow1.10.0-GPU及NVIDIA GeForce GTX 1080Ti实验平台仿真基于多尺度注意力机制的SAR图像舰船目标识别方法的性能，仿真结果如表1、表2所示，验证了本发明的正确性、可行性和有效性，识别率优于目前同类方法，在SAR图像智能解译领域中有很好的理论指导意义。

表1为本发明的方法与基线方法的实验结果对比表

表1为本发明的方法与基线方法的实验结果对比表，实验数据集为公开中等分辨率舰船SAR图像数据集OpenSARShip，识别率为10次实验的平均结果，每次实验的训练集和测试集为随机划分得到。由表1可知，本发明提出的方法识别率高于原始VGG网络以及单独嵌入SE模块、PAM-CAM模块和MA模块的网络，从而证明了所提方法的有效性。

表2为本发明的方法与近年来使用相同数据库的文献的实验结果对比表

表2为本发明的方法与近年来使用相同数据库的文献的实验结果对比表。这些文献的实验数据集同样为OpenSARShip。由表2可知，本发明提出的方法同样优于目前已有方法，证明了所提方法的优越性。

Claims (5)

1.一种基于MFF-MA模块的SAR图像舰船目标识别方法，其特征在于，包括以下步骤：

(1)将扩充、整理好后的SAR图像送入改进的VGG16模型；所述改进的VGG16模型为嵌入多层次特征融合模块的VGG16作为骨干网络；

(2)将特征图U∈R^C×H×W送入挤压-激励模块，通过损失函数来学习特征权重，得到加权后的特征图A；

(3)将经过(2)获得的特征图A∈R^C×H×W送入两个并行的注意力子模块；即通过位置注意力模块增强特征的表示能力，同时通过通道注意力模块增强特征图的判别能力；

(4)将步骤(3)中两个注意力子模块得到的输出特征图经过一个卷积层后进行逐元素相加的特征融合，再由一个全连接层生成最终分类结果。

2.根据权利要求1所述的基于MFF-MA模块的SAR图像舰船目标识别方法，其特征在于，步骤(1)所述改进的VGG16模型为将原始VGG16网络中的输入层由3通道改为单通道；在模型中将最后一个卷积单元去除，并将原有的三个全连接层替换为一个全连接层；通过MFF模块得到输出特征图U，即将第四个卷积块的最后一层卷积层进行反卷积，再与第三个卷积块的最后一层卷积层得到的特征图进行融合。

3.根据权利要求1所述的基于MFF-MA模块的SAR图像舰船目标识别方法，其特征在于，所述步骤(2)实现过程如下：

在挤压部分，进行全局平均池化操作得到特征图的全局信息：

进入激励部分，通过两个全连接层和非线性层来学习C个特征图的权重P，即：

p＝F_ex(z,W)＝σ(g(z,W))＝σ(W₂δ(W₁z))

对特征图和对应的权重进行“逐通道乘法”操作，得到最终的输出：

a_c＝F_scale(u_c,p_c)＝p_cu_c

其中，A＝[a₁,a₂,...,a_c]为加权后得到的特征图。

4.根据权利要求1所述的基于MFF-MA模块的SAR图像舰船目标识别方法，其特征在于，步骤(3)所述的通过位置注意力模块增强特征的表示能力实现过程如下：

通过卷积层得到三个新的特征图B、C和D，将特征图reshape至R^C×N，其中N＝H×W是像素数；在B和C的转置上应用一次矩阵乘法获得位置注意力图S∈R^N×N：

其中，s_ji表示第i个位置对第j个位置的影响，两个位置的特征越相似对这个值的影响越大；对D和S的转置应用一次矩阵乘法，reshape至R^C×H×W，乘上一个权重系数α，与原始特征A进行一个逐元素的相加操作得到最终输出E∈R^C×H×W，即：

5.根据权利要求1所述的基于MFF-MA模块的SAR图像舰船目标识别方法，其特征在于，步骤(3)所述的通过通道注意力模块增强特征图的判别能力实现过程如下：

对特征图A进行reshape操作至R^C×N，在A与A的转置上应用一次矩阵乘法获得通道注意力图X∈R^N×N：

其中，x_ji表示第i个通道对第j个通道的影响；对X的转置和A进行一次矩阵乘法，reshape至R^C×H×W；乘上权重系数β，与原始特征A进行一个逐元素的相加操作得到最终输出F∈R^C×H×W：

Images