CN111563473A - 基于密集特征融合和像素级注意力的遥感舰船识别方法 - Google Patents

Abstract

本发明属于图像目标识别领域，提供了一种基于密集特征融合和像素级注意力的遥感舰船识别方法，其主旨在于克服经典神经网络在遥感图像舰船目标识别任务下的易将多个密集目标识别为一个目标、小目标大量漏检、边界框易重叠等问题。其主要方案为，对遥感图像数据集进行数据集划分，得到训练集和测试集，并进行训练集的数据增强；计算原始遥感图像数据集的RGB三通道平均值r_mean，g_mean，b_mean，将扩充后数据集中的图像的RGB三通道值与r_mean，g_mean，b_mean对应相减；将得到的数据集输入改进的Faster RCNN网络进行训练，该网络的核心模块为密集特征融合网络和像素级注意力网络，网络输出候选旋转框及其类别得分；对得到的结果进行基于skew IOU的旋转框非极大值抑制，即可得到遥感图像舰船目标的识别结果。

Description

基于密集特征融合和像素级注意力的遥感舰船识别方法

技术领域

本发明涉及一种基于密集特征融合和像素级注意力的遥感舰船识别方法，属于遥感图像处理中的目标识别领域。

背景技术

随着遥感技术的实时性和运行性的大幅增加，各类遥感图像产品正向着多尺度、多频率、全天候、高精度和高效快速的目标发展。面对海量的遥感图像，人工解译已经无法胜任，对遥感图像的二次信息提取和目标识别等数据处理变得越来越重要，已变成遥感图像的主要研究方向，对于遥感图像的处理越来越反映出整个领域结构及软硬件水平最主要的衡量标准。

遥感技术也越来越多的被用在海洋探测识别的领域中来，其中遥感图像舰船目标识别， 尤其是复杂背景下的船舶自动检测和识别在国防建设、港口船舶航行管理、海洋渔业监控、 海上救援、货物运输等方面均有重要应用价值。

目前对于遥感图像舰船目标识别任务主要有两类方法，一类是基于传统人工特征结合分类器的方法，此类方法对专家先验知识有一定要求，识别正确率依赖人工特征的设计，稳定性较差；另一类是基于深度学习的方法，此类方法降低了对专家先验知识的要求，稳定性较好。基于深度学习的方法可进一步划分为以YOLOv3为代表的单步识别网络和以Faster RCNN为代表的双步识别网络，单步识别网络速度更快但精度有所欠缺，双步识别网络速度稍慢但精度较高。但由于遥感图像舰船目标的图像质量差、背景复杂、舰船目标的尺度跨度大、长宽比极端、分布密集等特点与难点，经典神经网络在遥感图像舰船目标识别任务也表现出了一定的局限性。

此外，由于目前缺乏大规模的遥感图像舰船目标公开数据集，考虑到数据集标注工作的耗时性，遥感图像舰船目标数据集规模受限，样本量过少时会引起网络的过拟合现象。针对小样本学习问题，目前的研究主要集中在两个方向：数据扩充和迁移学习。其中，数据扩充通过旋转、随机裁剪、添加噪声等手段在原数据集的基础上扩大数据集规模，可有效解决过拟合现象；迁移学习在超大规模数据集上训练出的预训练模型的基础上进行网络参数的微调，可以在极大地缩短网络训练时间的同时减少过拟合现象。

发明内容

本发明的目的在于：针对遥感图像舰船目标的图像质量差、背景复杂、舰船目标的尺度跨度大、长宽比极端、分布密集等问题，在Fatser RCNN网络的基础上引入密集特征融合网络和像素级注意力网络以及其他改进措施，克服经典神经网络在遥感图像舰船目标识别任务下的易将多个密集目标识别为一个目标、小目标大量漏检、边界框易重叠等局限性，提升识别准确率和鲁棒性。

本发明为解决上述技术问题采用以下技术方案：

一种基于密集特征融合和像素级注意力的遥感舰船识别方法，包括如下步骤：

步骤1：对获取的遥感图像数据集进行数据集划分，得到训练集和测试集，通过随机翻转、旋转、添加高斯噪声手段进行训练集的数据增强以降低小样本学习情况下的过拟合风险；

步骤2：计算原始遥感图像数据集的RGB三通道平均值r_mean，g_mean，b_mean，将步骤1得到的扩充后数据集中的图像的RGB三通道值与r_mean，g_mean，b_mean对应相减，经过RBG均值相减操作后的数据集更能在网络训练中突出目标的差异性，提升训练效果；

步骤3：将步骤2得到的数据集输入改进的Faster RCNN网络进行训练，网络输出旋转框及其类别得分；

步骤4：对步骤3得到的结果进行基于skew IOU的旋转框的非极大值抑制，即可得到遥感图像舰船目标的识别结果。

进一步地，所述步骤1的具体步骤如下：

步骤1.1：将遥感图像数据集随机划分为训练集与测试集；

步骤1.2：对步骤1.1所得训练集进行数据扩充，数据扩充手段包括：翻转、旋转、随机裁剪、高斯噪声，将以上扩充手段随机组合应用在训练集图像上。

进一步地，所述步骤3的具体计算方法如下：

步骤3.1：使用经ImageNet预训练的Resnet网络参数进行网络初始化；

步骤3.2：锁定网络底层参数，使其在整体训练过程中保持初始值；

步骤3.3：随机选取步骤2得到的图像样本输入改进的Faster RCNN网络，该网络可分为划个网络部件：基于Resnet的特征融合网络、像素级注意力网络、基于RPN的识别网络；

其中，基于Resnet的特征融合网络先使用残差块结构对原始图像进行特征提取，得到分辨率分别为原图的1/4²，1/8²，1/16²，1/32²的4个特征图C_i(i∈[2，51)，然后进行自顶向下的特征融合得到4个特征图P_i(i∈[2，5])，式为：

P₅＝Conv_1×1(C₅)

其中，A为CBAM模块，Upsample为双线性差值上采样；

像素级注意力网络包括空间注意力分支和通道注意力分支，其中，空间注意力分支以特征图P_i(i∈[2，5])为输入，经过4层256通道的Conv_3×3操作与2个1层的2通道Conv_3×3操作后，再经过softmax操作，得到2个与P_i(i∈[2，5])相同分辨率的单通道掩模M₁与M₂， M₁与M₂的取值均在[0，1]区间，其中M₁用于区分目标与背景，为了突出目标、抑制背景， M₂用于区分目标与目标，为了在密集目标情况下突出目标边界，掩模M₁与M₂加权相加得到空间注意力掩模M；通道注意力分支以特征图P_i(i∈[2，5])为输入，经过CBAM模块的通道注意力提取部分后得到通道数与P_i(i∈[2，5])相同的长宽为1×1的通道注意力C，将 P_i(i∈[2，5])与空间注意力掩模M相乘，再与通道注意力C相乘得到P′_i(i∈[2，5])；

基于RPN的识别网络以P′_i(i∈[2，5])为输入，分别经过共享权重的RPN网络后在特征图的每个点上得到K个水平候选框，在特征图P₂′上对水平候选框进行ROI Align，其结果经过两个全连接层后输入并联的水平框回归分支、旋转框回归分支、舰船底层类别预测分支、舰船上级类别预测分支，各个分支的全连接层的神经元个数分别为4K，5K，K，K，其中水平框的回归公式为：

ux＝(x-x_a)/w_a，u_y＝(y-y_a)/h_a，

u_w＝log(w/w_a)，u_h＝log(h/h_a)，

u′_x＝(x′-x_a)/w_a，u′y＝(y′-y_a)/h_a，

u′_w＝log(w′/w_a)，u′_h＝log(h′/h_a)，

其中，(x，y)代表水平框的中心点坐标，w代表水平框的宽，h代表水平框的宽长，x，x_a，x′分别代表预测框、锚框(Anchor)、真实框的中心x轴坐标，y，y_a，y′分别代表预测框、锚框、真实框的中心y轴坐标，w，w_a，w′分别代表预测框、锚框、真实框的宽，h，h_a，h′分别代表预测框、锚框、真实框的宽；

旋转框的回归公式为：

v_x＝(x-x_a)/w_a，v_y＝(y-y_a)/h_a，

v_w＝log(w/w_a)，v_h＝log(h/h_a)，v_θ＝θ-θ_a

v′_x＝(x′-x_a)/w_a，v′_y＝(y′-y_a)/h_a，

v′_w＝log(w′/w_a)，v′_h＝log(h′/h_a)，v′_θ＝θ′-θ_a

其中，θ，θ_a，θ′分别代表预测框、锚框、真实框的旋转角度；

步骤3.4：根据步骤3.3的输出计算损失函数，具体为：

其中N，M分别表示候选框和真实框的总个数，t_n和

分别代表目标的底层标签和上级标签，p_n和

分别代表经由softmax函数计算得到的舰船底层类别和上层类别的概率分布， t′_n只能取0或1(t′_n取1表示前景，取0表示背景)，v′_*j，u′_*j分别表示预测的旋转框回归向量和水平框回归向量，v_*j，u_*j分别表示旋转框的目标回归向量和水平框的目标回归向量，

分别代表掩模一在(i，j)像素处的真实标签和预测值，

分别代表掩模二在 (i，j)像素处的真实标签和预测值，IoU，

分别代表预测框n与对应真实框k_n、预测框n与真实框k，预测框n对应的真实框k_n与真实框k的交并比，超参数λ_i(i∈[1，5])和α均为权重系数，L_cls，L_{cls_up}和L_att均为softmax交叉熵函数，L_reg为smooth L1函数；

步骤3.5：判断当前训练次数达到预设值，若未达到，则进行下一步，若达到，则将测试集输入训练完毕的网络得到旋转框及其类别得分，然后跳至步骤4；

步骤3.6：根据步骤3.4计算得到的损失，使用Adam算法进行反向传播，更新网络参数，具体为：

其中t为迭代轮次，W^[t]为经t次迭代后的网络权重，L为步骤3.4得到的损失函数，α为学习率，β₁和β₂为超参数，

均为第t次迭代时产生的中间变量，网络权重更新之后，返回步骤3.3；

进一步地，所述步骤4的具体步骤如下：

步骤4.1：创建存放待处理旋转候选框的集合H，初始化为步骤3得到的全体共N个旋转预测框，并将集合H中的旋转候选框按步骤3得到的类别得分降序排序；

步骤4.2：创建存放最优框的集合M，初始化为空集；

步骤4.3：将集合H中得分最高的框m从集合H移动到集合M；

步骤4.4：遍历集合中的所有旋转候选框，分别与框m计算skew IOU交并比，若高于阈值，则将该框从集合H中移除；

步骤4.5：若集合H为空，则输出最优框集合M，M即为遥感图像舰船目标的识别结果，若不为空，则返回步骤4.3；

综上所述，由于采用了上述技术方案，本发明的有益效果是：

1.一种基于密集特征融合和像素级注意力的遥感舰船识别方法，通过使卷积神经网络的方式避免使用人工设计特征，提高了对遥感图像舰船目标的识别稳定性；

2.本发明采用旋转框对舰船目标进行框定，避免了使用水平框时目标边界框时不可接受的大量重叠，边界框之间的大量重叠会导致后续非极大值抑制操作错误地抑制预测正确的边界框，从而导致大量漏检，使用旋转框在避免该问题的同时极大地提高了舰船目标识别结果的视觉效果，但舰船目标的高长宽比特性使得旋转框的准确性对角度信息高度敏感，微小的角度偏差就会导致预测框与真实框交并比的急剧下降，不利于后续的非极大值抑制操作，本发明保留了水平边界框回归分支，帮助网络更快地学习到目标位置，使网络更专注于角度信息的学习，极大提升了网络的识别准确率；此外，在旋转框回归分支的损失函数中新增IOU因子，解决角度周期性引起的损失函数突变问题，进一步提升了识别准确率；

3.本发明在Faster RCNN网络的基础上新增了自顶向下的密集特征融合网络，平衡了高层特征图语义信息强但位置信息弱、低层特征图语义信息弱但位置信息强的矛盾，密集特征融合网络的各层输出都参与RPN网络对候选框的提取，各层特征图的感受野与各个尺寸的锚框相匹配，使得RPN网络输出的候选框精度更高，使用密集特征融合网络的特征最丰富、分辨率最高的最底层网络进行最后的位置和类别预测，密集特征融合网络的引入大大提升了对各个尺度尤其是小型舰船的识别效果，极大减少了小型舰船的漏检问题；

4.本发明新增了像素级注意力网络，该网络的可监督特性利于网络针对特定目的的学习，双掩模机制的引入使网络既能突出目标、抑制背景杂波，又能在密集目标场景下突出目标间的边界、减少目标间的粘连模糊现象，像素级注意力网络的引入极大提升了复杂场景下密集舰船目标的识别准确率；

5.本发明在预测网络中新增了上级标签分支，帮助网络学习众多舰船类别的潜在类间关系，提升了对数量较少的舰船类别的识别准确率和鲁棒性，降低了数量较少的舰船类别的过拟合风险。

附图说明

为了更清楚地说明本发明实施例的技术方案，本发明将通过例子并参照附图的方式说明，其中：

图1是基于密集特征融合和像素级注意力的遥感舰船识别方法的流程图；

图2是基于Resnet的特征融合网络的网络结构图；

图3是像素级注意力网络的网络结构图；

图4是底层类别与上级类别的概念释义图；

图5是本发明实施例一采用的原始遥感图像；

图6是本发明实施例一的注意力掩模真实值；

图7是本发明实施例一经过网络的输出结果；

图8是本发明实施例一的舰船目标最终识别结果；

图9是若干遥感图像样本实施本发明后的识别结果。

具体实施方式

本说明书中公开的所有特征，或公开的所有方法或过程中的步骤，除了互相排斥的特征和/或步骤以外，均可以以任何方式组合。

下面结合图1至图9对本发明作详细说明。

一种基于密集特征融合和像素级注意力的遥感图像舰船目标识别方法，流程图如图1所示，具体包括如下步骤：

步骤1：对获取的遥感图像数据集进行数据集划分，得到训练集和测试集，通过随机翻转、旋转、添加高斯噪声手段进行训练集的数据增强以降低小样本学习情况下的过拟合风险；

步骤1.1：根据遥感图像数据集的图像数量进行数据集的划分，一般情况下，若图像数量的数量级在10⁴及以下，可按照7∶3的比例随机划分训练集与测试集，若图像数量的数量级在105及以上，可按照98∶2的比例随机划分训练集与测试集；

步骤1.2：对步骤1.1所得训练集进行数据扩充，数据扩充手段包括：翻转、旋转、随机裁剪、高斯噪声，将以上扩充手段随机组合应用在训练集图像上，使用扩充后的训练集进行网络的训练可以提升网络的鲁棒性，避免过拟合现象。

步骤2：计算原始遥感图像数据集的RGB三通道平均值r_mean，g_mean，b_mean，将步骤1得到的扩充后数据集中的图像的RGB三通道值与r_mean，g_mean，b_mean对应相减，经过RBG均值相减操作后的数据集更能在网络训练中突出目标的差异性，提升训练效果；

步骤3：将步骤2得到的数据集输入改进的Faster RCNN网络进行训练，示例样本如图 5所示；

步骤3.1：使用经ImageNet预训练的Resnet网络参数进行网络初始化；

步骤3.2：锁定网络参数中的底层参数，使其在整体训练过程中保持初始值；

步骤3.3：随机选取步骤3.2得到的图像样本输入改进的Faster RCNN网络，该网络可划分为三个网络部件：基于Resnet的特征融合网络、像素级注意力网络、基于RPN的识别网络；

其中，基于Resnet的特征融合网络的结构图如图2所示，先使用残差块结构对原始图像进行特征提取，得到分辨率分别为原图的1/4²，1/8²，1/16²，1/32²的4个特征图C_i(i∈[2，5D ，然后进行自顶向下的特征融合得到4个特征图P_i(i∈[2，5])，式为：

P₅＝Conv_1×1(C₅)

其中，A为CBAM模块，Upsample为双线性差值上采样；

像素级注意力网络结构如图3所示，包括空间注意力分支和通道注意力分支，其中，空间注意力分支以特征图P_i(i∈[2，5])为输入，经过4层256通道的Conv_3×3操作与2个1层的 2通道Conv_3×3操作后，再经过softmax操作，得到2个与P_i(i∈[2，5])相同分辨率的单通道掩模M₁与M₂，M₁与M₂的取值均在[0，1]区间，其中M₁用于区分目标与背景，为了突出目标、抑制背景，M₂用于区分目标与目标，为了在密集目标情况下突出目标边界，掩模M₁与M₂加权相加得到空间注意力掩模M，监督网络学习M₁与M₂的两个真实值掩模分别如图6(a)、图6(b)所示，分别意在区分目标与背景、目标与目标；通道注意力分支以特征图P_i(i∈[2，5]) 为输入，经经过CBAM模块的通道注意力提取部分后得到通道数与P_i(i∈[2，5])相同的长宽为1×1的通道注意力C，将P_i(i∈[2，5])与空间注意力掩模M相乘，再与通道注意力C相乘得到P′_i(i∈[2，5])；

基于RPN的识别网络以P_i′(i∈[2，5])为输入，分别经过共享权重的RPN网络后在特征图的每个点上得到K个水平候选框，在特征图P₂′上对水平候选框进行ROI Align，其结果经过两个全连接层后输入并联的水平框回归分支、旋转框回归分支、舰船底层类别预测分支、舰船上级类别预测分支(底层类别与上级类别的含义详见图4)，各个分支的全连接层的神经元个数分别为4K，5K，K，K。其中水平框的回归公式为：

u_x＝(x-x_a)/w_a，u_y＝(y-y_a)/h_a，

u_w＝log(w/w_a)，u_h＝log(h/h_a)，

u′_x＝(x′-x_a)/w_a，u′_y＝(y′-y_a)/h_a，

u′_w＝log(w′/w_a)，u′_h＝log(h′/h_a)，

其中，(x，y)代表水平框的中心点坐标，w代表水平框的宽，h代表水平框的宽长，x，x_a，x′分别代表预测框、锚框(Anchor)、真实框的中心x轴坐标，y，y_a，y′分别代表预测框、锚框、真实框的中心y轴坐标，w，w_a，w′分别代表预测框、锚框、真实框的宽，h，h_a，h′分别代表预测框、锚框、真实框的宽；

旋转框的回归公式为：

v_x＝(x-x_a)/w_a，v_y＝(y-y_a)/h_a，

v_w＝log(w/w_a)，v_h＝log(h/h_a)，v_θ＝θ-θ_a

v′_x＝(x′-x_a)/w_a，v′_y＝(y′-y_a)/h_a，

v′_w＝log(w′/w_a)，v′_h＝log(h′/h_a)，v′_θ＝θ′-θ_a

其中，θ，θ_a，θ′分别代表预测框、锚框、真实框的旋转角度；

步骤3.4：根据步骤3.3的输出计算损失函数，具体为：

其中N，M分别表示候选框和真实框的总个数，t_n和

分别代表目标的底层标签和上级标签，p_n和

分别代表经由softmax函数计算得到的舰船底层类别和上层类别的概率分布， t′_n只能取0或1(t′_n取1表示前景，取0表示背景)，v′_*j，u′_*j分别表示预测的旋转框回归向量和水平框回归向量，v_*j，u_*j分别表示旋转框的目标回归向量和水平框的目标回归向量，

分别代表掩模一在(i，j)像素处的真实标签和预测值，

分别代表掩模二在 (i，j)像素处的真实标签和预测值，IoU，IoU_nk，

分别代表预测框n与对应真实框k_n、预测框n与真实框k，预测框n对应的真实框k_n与真实框k的交并比，超参数λ_i(i∈[1，5])和α均为权重系数，L_cls，L_{els_up}和L_att均为softmax交叉熵函数，L_reg为smooth L1函数；

步骤3.5：判断当前训练次数达到预设值，若未达到，则进行下一步，若达到，则将测试集输入训练完毕的网络得到旋转框及其类别得分，然后跳至步骤4；

步骤3.6：根据步骤3.4计算得到的损失，使用Adam算法进行反向传播，更新网络参数，具体为：

其中t为迭代轮次，W[^t]为经t次迭代后的网络权重，L为步骤3.4得到的损失函数，α为学习率，β₁和β₂为超参数，

均为第t次迭代时产生的中间变量，网络权重更新之后，返回步骤3.3；

步骤4：对步骤3得到的结果进行基于skewIOU的旋转框的非极大值抑制，即可得到遥感图像舰船目标的识别结果。

步骤4.1：创建存放待处理候选框的集合H，初始化为步骤3得到的全体共N个预测框，并将集合H中的候选框按步骤3得到的类别得分降序排序；

步骤4.2：创建存放最优框的集合M，初始化为空集；

步骤4.3：将集合H中得分最高的框m从集合H移动到集合M；

步骤4.4：遍历集合中的所有候选框，分别与框m计算skew IOU交并比，如果高于阈值 (对于旋转框框定的舰船目标一般为0.05)，则将该框从集合H中移除；

步骤4.5：若集合H为空，则输出最优框集合M，M即为遥感图像舰船目标的识别结果，若不为空，则返回步骤4.3，示例样本的输出结果如图8所示，图9提供了若干其他遥感图像样本的识别结果；

本发明在获取遥感图像数据集后，先组合翻转、旋转、随机裁剪、高斯噪声等手段对训练集进行数据扩充；再减去原数据集的RBG三通道平均值；然后输入改进的FasterRCNN 网络进行训练，输出舰船目标的旋转标定框及各类别得分；最后进行旋转框的非极大值抑制，输出最优旋转标定框及舰船类别。本发明针对遥感图像舰船目标的图像质量差、背景复杂、舰船目标的尺度跨度大、长宽比极端、分布密集等问题，大量改进了Faster RCNN网络，大大提高了复杂场景下密集舰船目标的识别准确率，提升了对各个尺度尤其是小型舰船的识别效果，提升了对数量较少的舰船类别的识别准确率和鲁棒性，同时由于采用了旋转框进行目标框定，极大提升了输出结果的视觉效果。

以上所述，仅为本发明的优选实施方式，但本发明的保护范围并不局限于此，任何熟悉本领域的技术人员在本发明所揭露的技术范围内，可不经过创造性劳动想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书所限定的保护范围为准。

Claims (4)

1.一种基于密集特征融合和像素级注意力的遥感舰船识别方法，其特征在于，包括如下步骤：

步骤1：对获取的遥感图像数据集进行数据集划分，得到训练集和测试集，通过随机翻转、旋转、添加高斯噪声手段进行训练集的数据增强以降低小样本学习情况下的过拟合风险：

步骤2：计算原始遥感图像数据集的RGB三通道平均值r_mean，g_mean，b_mean，将步骤1得到的扩充后数据集中的图像的RGB三通道值与r_mean，g_mean，b_mean对应相减；

步骤3：将步骤2得到的数据集输入改进的Faster RCNN网络进行训练，网络输出候选旋转框及其类别得分；

步骤4：对步骤3得到的结果进行基于skew IOU的旋转框非极大值抑制，即可得到遥感图像舰船目标的识别结果。

2.根据权利要求1所述的一种基于密集特征融合和像素级注意力的遥感舰船识别方法，其特征在于，所述步骤1的具体步骤如下：

步骤1.1：将遥感图像数据集随机划分为训练集与测试集；

步骤1.2：对步骤1.1所得训练集进行数据扩充，数据扩充手段包括：翻转、旋转、随机裁剪、高斯噪声，将以上扩充手段随机组合应用在训练集图像上。

3.根据权利要求1所述的一种基于密集特征融合和像素级注意力的遥感舰船识别方法，其特征在于，所述步骤3具体如下：

步骤3.1：使用经ImageNet预训练的Resnet网络参数进行网络初始化；

步骤3.2：锁定网络底层参数，使其在整体训练过程中保持初始值；

步骤3.3：随机选取步骤2得到的图像样本输入改进的Faster RCNN网络，该网络可划分为三个网络部件：基于Resnet的特征融合网络、像素级注意力网络、基于RPN的识别网络：

其中，基于Resnet的特征融合网络先使用残差块结构对原始图像进行特征提取，得到分辨率分别为原图的1/4²，1/8²，1/16²，1/32²的4个特征图C_i(i∈[2，5])，然后进行自顶向下的特征融合得到4个特征图P_i(i∈[2，5])，式为：

P₅＝Conv_1×1(C₅)

其中，A为CBAM模块，Upsample为双线性差值上采样；

像素级注意力网络包括空间注意力分支和通道注意力分支，其中，空间注意力分支以特征图P_i(i∈[2，5])为输入，经过4层256通道的Conv_3×3操作与2个1层的2通道Conv_3×3操作后，再经过soffmax操作，得到2个与P_i(i∈[2，5])相同分辨率的单通道掩模M₁与M₂，M₁与M₂的取值均在[0，1]区间，其中M₁用于区分目标与背景，为了突出目标、抑制背景，M₂用于区分目标与目标，为了在密集目标情况下突出目标边界，掩模M₁与M₂加权相加得到空间注意力掩模M；通道注意力分支以特征图P_i(i∈[2，5])为输入，经过CBAM模块的通道注意力提取部分后得到通道数与P_i(i∈[2，5])相同的长宽为1×1的通道注意力C，将P_i(i∈[2，5])与空间注意力掩模M相乘，再与通道注意力C相乘得到P′_i(i∈[2，5])；

基于RPN的识别网络以P_i′(i∈[2，5])为输入，分别经过共享权重的RPN网络后在特征图的每个点上得到K个水平候选框，在特征图P₂′上对水平候选框进行ROI Align，其结果经过两个全连接层后输入并联的水平框回归分支、旋转框回归分支、舰船底层类别预测分支、舰船上级类别预测分支，各个分支的全连接层的神经元个数分别为4K，5K，K，K，其中水平框的回归公式为：

u_x＝(x-x_a)/w_a，u_y＝(y-y_a)/h_a，

u_w＝log(w/w_a)，u_h＝log(h/h_a)，

u′_x＝(x′-x_a)/w_a，u′_y＝(y′-y_a)/h_a，

u′_w＝log(w′/w_a)，u′_h＝log(h′/h_a)，

其中，(x，y)代表水平框的中心点坐标，w代表水平框的宽，h代表水平框的宽长，x，x_a，x′分别代表预测框、锚框(Anchor)、真实框的中心x轴坐标，y，y_a，y′分别代表预测框、锚框、真实框的中心y轴坐标，w，w_a，w′分别代表预测框、锚框、真实框的宽，h，h_a，h′分别代表预测框、锚框、真实框的宽；

旋转框的回归公式为：

v_x＝(x-x_a)/w_a，v_y＝(y-y_a)/h_a，

v_w＝log(w/wa)，v_h＝log(h/h_a)，ν_θ＝θ-θ_a

v′_x＝(x′-x_a)/w_a，v′_y＝(y′-y_a)/h_a，

v′_w＝log(w′/w_a)，v′_h＝log(h′/h_a)，v′_θ＝θ′-θ_a

其中，θ，θ_a，θ′分别代表预测框、锚框、真实框的旋转角度；

步骤3.4：根据步骤3.3的输出计算损失函数，具体为：

其中N，M分别表示候选框和真实框的总个数，t_n和

分别代表目标的底层标签和上级标签，p_n和

分别代表经由softmax函数计算得到的舰船底层类别和上层类别的概率分布，t′_n只能取0或1(t′_n取1表示前景，取0表示背景)，v′_*j，u′_*j分别表示预测的旋转框回归向量和水平框回归向量，v_*j，u_*j分别表示旋转框的目标回归向量和水平框的目标回归向量，

分别代表掩模一在(i，j)像素处的真实标签和预测值，

分别代表掩模二在(i，j)像素处的真实标签和预测值，IoU，IoU_nk，

分别代表预测框n与对应真实框k_n、预测框n与真实框k，预测框n对应的真实框k_n与真实框k的交并比，超参数λ_i(i∈[1，5])和α均为权重系数，L_cls，L_{cls_up}和L_att均为softmax交叉熵函数，L_reg为smooth L1函数；

步骤3.5：判断当前训练次数达到预设值，若未达到，则进行下一步，若达到，则将测试集输入训练完毕的网络得到旋转框及其类别得分，然后跳至步骤4；

步骤3.6：根据步骤3.4计算得到的损失，使用Adam算法进行反向传播，更新网络参数，具体为：

其中t为迭代轮次，W^[t]为经t次迭代后的网络权重，L为步骤3.4得到的损失函数，α为学习率，β₁和β₂为超参数，

均为第t次迭代时产生的中间变量，网络权重更新之后，返回步骤3.3。

4.根据权利要求1所述的一种基于密集特征融合和像素级注意力的遥感舰船识别方法，其特征在于，所述步骤4的具体步骤如下：

步骤4.1：创建存放待处理旋转候选框的集合H，初始化为步骤3得到的全体共N个旋转预测框，并将集合H中的旋转候选框按步骤3得到的类别得分降序排序；

步骤4.2：创建存放最优框的集合M，初始化为空集；

步骤43：将集合H中得分最高的框m从集合H移动到集合M；

步骤4.4：遍历集合中的所有旋转候选框，分别与框m计算skew IOU交并比，若高于阈值，则将该框从集合H中移除；

步骤4.5：若集合H为空，则输出最优框集合M，M即为遥感图像舰船目标的识别结果，若不为空，则返回步骤4.3。

Images