CN111723748A - 一种红外遥感图像舰船检测方法 - Google Patents

Abstract

本项目属于遥感图像处理中的目标识别领域，提供一种红外遥感图像舰船检测方法，解决现有基于人工设计特征的检测方法过程繁琐、鲁棒性低、适用范围窄等问题和基于深度学习红外遥感图像复杂海洋环境下舰船目标小，存在大量漏检和误检的问题。其主要方案包括，创建红外遥感舰船数据集，进行线下数据增强，并将数据集划分成训练集、验证集、测试集；将划分后的训练集输入改进的RefineDet检测网络进行训练，该检测网络的核心是基础特征提取网络ResNet101和结合视觉显著性模块CBAM的特征金字塔特征融合模块FPN，检测过程是一种两步级联回归的模式，将有助于提高舰船目标的类别识别和位置回归精度，网络输出阈值过滤后的类别置信度和回归框再采用非极大值抑制即得最终的舰船目标检测结果。

Description

一种红外遥感图像舰船检测方法

技术领域

一种红外遥感图像舰船检测方法，用于红外遥感图像成像舰船目标检测，属于遥感及红外图像处理中的目标检测领域。

背景技术

目标检测任务是找出图像中所有特定的目标，确定其位置和大小，由于在图像或视频中目标拥有大小不同尺寸，同时易受光照、遮挡和相似物体干扰等因素的影响，因此目标检测问题一直是机器视觉领域极具挑战的任务。目标检测在监控设备，人脸识别，自动驾驶，国防安全等领域得到广泛应用。

遥感图像中的目标检测任务是在给定的航空或卫星图片中标记出一个或多个感兴趣的地物目标。其中舰船检测是遥感检测领域的一个研究热点，在渔业管理，污染检测和海洋安全等领域有着广泛应用。

总体来说，遥感图像舰船检测方法可以分为传统和深度学习方法两类。基于传统方法的舰船检测所需要的步骤主要包括：海陆分离、舰船候选区域检测、消除非舰船的候选区域、舰船分类四个部分。然而，在实际应用中传统检测方法流程繁琐，且对复杂场景下的噪声和杂波敏感，鲁棒性低。

近年来深度学习已开始应用于遥感图像舰船目标检测。基于卷积神经网络的舰船目标检识检测速度快、识别精度高，在复杂海洋环境下对目标的检测也有较高鲁棒性。但训练网络过程中需要大量的训练样本。基于深度学习的目标检测可主要划分为基于候选区域提取的模型和基于回归的模型。基于候选区域提取的模型，该类方法实际上是先提取感兴趣目标区域，再进行特征提取和分类，代表的检测框架包括R-CNN，Fast-CNN，Faster-CNN等。候选区域提取的模型也被称为两阶段检测模型，该模型包含两次目标检测过程，候选区域提取模块是第一个检测器，用于检测目标和背景区域，候选区域分类和位置修正构成了第二个检测器，第二检测器对第一检测器的检测结果进行修正，使得两阶段检测器拥有较高的检测精度。但同时也增加了模型的复杂程度，制约了模型检测速度的提高。基于回归的模型，该模型不再需要提取候选区域，将检测问题转为回归问题，常见典型算法有SSD，YOLO等。基于回归的模型也被称为单阶段检测模型，用于分析输入图像的像素值与图像中目标位置和类别等变量之间的关系。两种检测模型相比较，前者的优越性表现为检测准确率高和鲁棒性高，后者优越性表现为检测速度快和算法复杂度低。

现有的遥感舰船目标检测文献中，为实现在海量遥感图像中快速检测舰船目标，大多数文献采用深度学习单阶段检测算法，如对SSD检测框架的改进以达到检测实时性的要求，但检测精度不及二阶段检测算法。也有部分文献为保证检测精度，同时降低虚警率，选择采用鲁棒性更强、稳定性较高的二阶段检测算法Faster-CNN，但导致检测速度下降。因此需要一种能满足实时性需求，同时能提高检测精度，降低虚警率的红外遥感图像舰船检测方法来克服以上问题。

发明内容

本发明的目的在于：本发明提供了一种红外遥感图像舰船检测方法，克服现有方法在面对遥感图像舰船检测精度和速度之间的权衡下不能实现实时准确定位舰船目标位置的问题，在实现实时检测情况下能够提高检测能力。

本发明为解决上述技术问题采用的技术方案如下：

一种红外遥感图像舰船检测方法，包括如下步骤：

步骤1：制作红外遥感图像舰船目标数据集，并将数据集划分成训练集，验证集和测试集对训练集进行线下数据增强，得到增强后的训练集；

步骤2：将步骤1中数据增强后的训练集输入改进的RefineDet网络进行训练，网络训练阶段采用迁移学习策略，通过RefineDet网络结构中两步级联回归的方式进行训练，得到改进的RefineDe网络，损失函数中的类别损失函数为交叉熵损失函数,位置损失为SmoothL1 损失；

步骤3：网络检测阶段，测试集数据输入改进的RefineDe网络，通过两步级联回归获得舰船目标类别置信度和目标候选框；

步骤4：对步骤3获得的目标候选框进行非极大值抑制处理，即可获得图像中的舰船目标。

上述技术方案中，所述步骤1包括如下步骤：

步骤1.1：制作红外遥感舰船数据集，获取红外遥感图像并标记舰船目标；

步骤1.2：对步骤1.1制作的数据集进行划分，包括训练集、验证集、测试集，对训练集进行线下数据增强，包括翻转、缩放、裁剪、亮度调节、添加噪声。

上述技术方案中，所述步骤2包括如下步骤：

步骤2.1：采用迁移学习策略，使用ImageNet的预训练权重对ResNet101基础特征网络进行参数初始化，冻结网络底层的参数；

步骤2.2：随机选取步骤1.2训练集中的样本输入改进的RefineDet网络，该检测网络的核心是基础特征提取网络ResNet101和结合视觉显著性模块CBAM的特征金字塔特征融合模块FPN，检测过程是一种两步级联回归的模式：

其中，基础特征提取网络ResNet101是由残差模块堆叠而成，将步骤1.2的数据增强后的训练集输入Resnet101模型，获得4个不同尺寸和通道数的基础特征层[C₁ C₂ C₃C₄]；

然后将获得的4个基础特征层进行自顶向下的特征融合，特征融合采用的是结合视觉显著性模块CBAM的特征金字塔网络FPN，获得4个特征融合后的特征层[P₁ P₂ P₃ P₄]，特征融合的公式为：

P₄＝Conv_1×1(C₄)

其中，CBAM为视觉显著性模块，Upsample为上采样模块，

表示在通道维度熵进行连结操作，视觉显著性模块CBAM的作用是分别从通道显著性和空间显著性两方面对特征层进行处理，首先对特征图张量通道维度c中的每个通道添加权重，然后对特征图张量空间维度w×h 中的每个像素位置添加不同权重，通道显著性和空间显著性的公式如下：

通道显著性M_c(F)＝σ(MLP(AvgPool_c(F))+MLP(MaxPool_c(F)))

空间显著性M_s(F)＝σ(Conv_3×3([AvgPool_s(F)；MaxPool_s(F)]))

其中F是上采样后特征层和原特征层在通道维度上连接后的特征层，AvgPool_c和MaxPool_c是分别基于宽和高维度的全局平均池化和全局最大池化，AvgPool_s和MaxPool_s是基于通道维度的全局平均池化和全局最大池化，MLP是多层感知机，σ是sigmoid激活函数；

通道显著性中MLP输出的特征进行像素级加和操作，再通过sigmoid激活操作，生成最终通道显著性特征图，其张量的形状为[1，1，channels]；空间显著性中将池化后的结果在通道维度上做连接操作后其张量形状为[w，h，2]，再通过卷积操作降维成[w，h，1]，再通过sigmoid激活操作获得最后的空间显著性特征图；

步骤2.3将每个空间显著性特征图按其尺寸大小划分成S×S个单元格，每个单元格分配 a个a∈(3，6，9…)不同长宽比的舰船候选区生成框，对于每个特征图将会生成S×S×a个候选区生成框，候选区生成框长宽比通过聚类算法对数据集中实际目标大小进行聚类获得，所有空间显著性特征图对应的候选区生成框都将匹配一个实际目标框，然后将候选区生成框与其匹配的实际目标框编码，获得每个候选区生成框的位置偏移信息，用于之后位置损失函数的计算，位置编码公式如下：

其中：(g^cx，g^cy，g^w，g^h)为真实目标位置信息，g^cxg^cy为真实目标框的中心坐标，g^wg^h为真实目标框宽和高；(d^cx，d^cy，d^w，d^h)为生成框位置信息，d^cx，d^cy为生成框的中心坐标，d^w，d^h为生成框宽和高；

为编码后的偏移位置信息，

为中心坐标偏移编码结果，

为宽高编码结果；

步骤2.4在基础特征层[C₁ C₂ C₃ C₄]上引出检测网络称为生成框细化模块ARM；在融合特征层[P₁ P₂ P₃ P₄]上引出检测网络称为目标检测模块ODM；

生成框细化模块ARM获得基础特征层特征图[C₁ C₂ C₃ C₄]中每一个候选区生成框是否存在检测目标的置信度和位置信息，预测是否存在检测目标的置信度输出特征图形如S×S×(2×a)，S代表特征图的网格数，2分别代表不存在目标和存在目标置信度的得分，a代表每个网格对应生成框个数；预测位置输出的特征图形如S×S×(4×a)，S代表特征图的网格数，a代表每个网格对应生成框个数，4代表预测的位置偏移信息

目标检测模块ODM获得融合后特征图[P₁ P₂ P₃ P₄]中每一个舰船候候选区生成框所对应不同目标类别和背景的置信度和位置信息；预测不同目标类别和背景的置信度输出特征图形如 S×S×((classes+1)×a)，S代表特征图的网格数，classes代表不同舰船类别的置信度，1 代表背景的置信度，a代表每个网格对应生成框个数；预测位置输出的特征图形如 S×S×(4×a)，S代表特征图的网格数，a代表每个网格对应生成框个数，4代表预测的位置偏移信息

步骤2.5计算损失函数

对生成框细化模块ARM处理后的预测是否存在检测目标的置信度进行交叉熵损失计算得到置信度损失值Loss_c_arm，对生成框细化模块ARM处理后粗调的候选框进行SmoothL1回归，得到位置损失值Loss_l_arm；

对目标检测模块ODM处理后的预测不同目标类别和背景的置信度进行交叉熵损失计算计算得到置信度损失值Loss_c_odm，对目标检测模块ODM处理后精调的候选框进行SmoothL1回归，得到位置损失值Loss_l_odm；

训练过程中的总损失Loss即为总置信度损失和总位损失的和，总损失将在训练阶段进行反向求导直到达到收敛；

二分类交叉熵损失

多分类交叉熵损失

SmoothL1位置回归

其中

是第i个生成框对应的真实类别数值标签，

表示存在检测目标的回归框，

是第i个生成框的位置信息，p_i和

是ARM模块中预测的存在目标的置信度和候选框的位置信息，c_i和

是0DM模块中预测不同类别目标的置信度和候选框位置信息，N_arm和N_odm是各阶段正例生成框的个数，L_b是二分交叉熵损失，L_m是多类别交叉熵损失，L_r是SmoothL1位置损失；

步骤2.6根据步骤2.5得到的总损失，使用SGD优化器进行反向传播，更新网络参数，判断当前训练次数，若达到设定的最大训练次数，保存模型权重，并进入步骤3网络检测部分。

上述技术方案中，所述步骤3包括如下步骤：

步骤3.1：网络检测阶段，获得生成框细化模块ARM的输出，将置信度小于设定阈值的候选框设定为负样本，以达到过滤掉部分负样本候选框，减小分类器的搜索范围；

步骤3.2：获得目标检测模块ODM的输出，生成框细化模块ARM中对应的被设定为负样本的候选框在目标检测模块ODM中被认定为不包含检测目标，将背景类别的置信度置为1，其余置信度置为0，生成框细化模块ARM中正样本的回归框偏移预测值和生成框做第一次解码操作获得修正后的回归框，目标检测模块ODM中的正样本的回归框偏移预测值和修正后的回归框做第二次解码操作获得最终的舰船目标候选框，将偏移位置信息解码还原成真实预测框位置信息需要经过以下公式处理：

其中：

为预测框的中心坐标相较固定生成框的中心坐标偏移距离，

分别为预测框宽和高相较固定生成框的宽和高之比的对数值；(d^cx，d^cy，d^w，d^h)为生成框位置信息， d^cx，d^cy为生成框的中心坐标，d^w，d^h为生成框宽和高；(p^cx，p^cy，p^w，p^h)为生成框模块解码后的预测框信息；

上述技术方案中，所述步骤4包括如下步骤：

步骤4.1：将步骤3获得的舰船目标候选框按照置信度得分从大到小排列后存放到集合 H，创建保留候选框集合S，初始化为空集，并设定保留框集合最大元素个数；

步骤4.2：将最大置信度的候选框与余下的所有候选框计算IOU交并比，将IOU交并比大于设定阈值的候选框从集合H中剔除，将最大置信度的候选框放入候选框集合S；

步骤4.3：重复步骤4.1和步骤4.2直到候选框集合元素达到最大值或H集合中已无候选框可参与IOU交并比计算，候选框集合S即为最终舰船目标检测结果。

综上所述，由于采用了上述技术方案，本发明的有益效果是：

1.一种红外遥感图像舰船检测方法，制作红外遥感图像舰船数据集并进行数据增强，为深度学习提供足够丰富的数据样本。通过使用卷积神经网络的方式避免使用人工设计特征，提高了对红外遥感图像下小舰船目标的检测的鲁棒性；

2.本发明在深度学习单阶段目标检测模型框架RefineDet的基础上，利用Resnet101作为基础网络，使用结合显著性模块CBAM的特征金字塔模型FPN进行特征融合，克服了浅层特征层有强位置信息但缺乏丰富的语义信息、深层特征层有强语义信息但缺乏位置信息的缺点，能有效应对目标尺寸变化的问题，提升了对小目标的检测能力，可适用范围更广；

3.由于遵循了单阶段目标检测框架，充分利用RefineDet中的生成框细化模块和目标检测模块来减少检测过程中的虚假舰船目标，降低虚警率。使该系统能够准确、高效、鲁棒地检测各种复杂海洋场景下的舰船目标，具体表现为在红外遥感舰船数据下能达到检测精度 0.883，召回率0.901，F1-score 0.892；

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1为本发明红外遥感图像舰船检测系统流程图；

图2为本发明基础特征提取网络ResNet101结构(以输入图像512为例)，图中a、b、c、d、e、 f均为图2的一部分；

图3为视觉显著性CBAM模块；

图4为结合视觉显著性CBAM模块的特征金字塔网络

图5为本发明红外遥感图像舰船检测结果图一；

图6为本发明红外遥感图像舰船检测结果图二；

图7为本发明红外遥感图像舰船检测结果图三。

具体实施方式

以下结合实施例对本发明的特征和性能作进一步的详细描述。

实施例1

如图1-7所示，一种红外遥感图像舰船检测方法，包括如下步骤：

步骤1包括如下步骤：

步骤1.1制作红外遥感舰船数据集，从Landset卫星网站下载并标记舰船目标；

步骤1.2对步骤1.1制作的数据集进行划分，包括训练集、验证集、测试集，对训练集进行线下数据增强，包括翻转、缩放、裁剪、亮度调节、添加噪声等。

步骤2中包括如下步骤：

步骤2.1采用迁移学习策略，使用ImageNet的预训练权重对ResNet101基础特征网络进行参数初始化，冻结网络底层的参数；

步骤2.2随机选取步骤1.2训练集中的样本输入改进的RefineDet网络，该检测网络的核心是基础特征提取网络ResNet101和结合视觉显著性模块CBAM的特征金字塔特征融合模块FPN，检测过程是一种两步级联回归的模式：

其中，基础特征提取网络ResNet101是由残差模块堆叠而成，将步骤1.2的数据增强后的训练集输入Resnet101模型，获得4个不同尺寸和通道数的基础特征层[C₁ C₂ C₃ C₄](如输入特征图尺寸320*320输出特征图尺寸为40*40，20*20，10*10，5*5)；

然后将获得的C个基础特征层进行自顶向下的特征融合，特征融合采用的是结合视觉显著性模块CBAM的特征金字塔网络FPN，获得4个特征融合后的特征层[P₁ P₂ P₃ P₄]，特征融合的公式为：

P₄＝Conv_1×1(C₄)

其中，CBAM为视觉显著性模块，Upsample为上采样模块，

表示在通道维度熵进行连结操作。视觉显著性模块CBAM的作用是分别从通道显著性和空间显著性两方面对特征层进行处理，首先对特征图张量通道维度c中的每个通道添加权重，然后对特征图张量空间维度w×h 中的每个像素位置添加不同权重，通道显著性和空间显著性的公式如下：

通道显著性M_c(F)＝σ(MLP(AvgPool_c(F))+MLP(MaxPool_c(F)))

空间显著性M_s(F)＝σ(Conv_3×3([AvgPool_s(F)；MaxPool_s(F)]))

其中F是上采样后特征层和原特征层在通道维度上连接后的特征层，AvgPool_c和MaxPool_c是分别基于宽和高维度的全局平均池化和全局最大池化，AvgPool_s和MaxPool_s是基于通道维度的全局平均池化和全局最大池化，MLP是多层感知机，σ是sigmoid激活函数。

通道显著性中MLP输出的特征进行像素级加和操作，再通过sigmoid激活操作，生成最终通道显著性特征图，其张量的形状为[1，1，channels]；空间显著性中将池化后的结果在通道维度上做连接操作后其张量形状为[w，h，2]，再通过卷积操作降维成[w，h，1]，再通过sigmoid激活操作获得最后的空间显著性特征图；

步骤2.3将每个特征图按其尺寸大小划分成S×S个单元格，每个单元格分配a个 a∈(3，6，9…)不同长宽比的舰船候选区生成框，对于每个特征图将会生成S×S×a个候选区生成框。生成框长宽比可通过聚类算法对数据集中实际目标大小进行聚类获得，所有特征图对应的生成框都将匹配一个实际目标框，然后将生成框与其匹配的实际目标框编码，获得每个生成框的位置偏移信息，用于之后位置损失函数的计算，位置编码公式如下：

其中：(g^cx，g^cy，g^w，g^h)为真实目标位置信息，g^cxg^cy为真实目标框的中心坐标，g^wg^h为真实目标框宽和高；(d^cx，d^cy，d^w，d^h)为生成框位置信息，d^cx，d^cy为生成框的中心坐标，d^w，d^h为生成框宽和高；

为编码后的偏移位置信息，

为中心坐标偏移编码结果，

为宽高编码结果；

步骤2.4在基础特征层[C₁ C₂ C₃ C₄]上引出检测网络称为生成框细化模块ARM(Anchor Refine Module)；在融合特征层[P₁ P₂ P₃ P₄]上引出检测网络称为目标检测模块ODM(Object Detect Module)。

ARM模块获得基础特征层特征图[C₁ C₂ C₃ C₄]中每一个生成框是否存在检测目标的置信度和位置信息，预测是否存在检测目标的置信度输出特征图形如S×S×(2×a)，S代表特征图的网格数，2分别代表不存在目标和存在目标置信度的得分，a代表每个网格对应生成框个数。预测位置输出的特征图形如S×S×(4×a)，S代表特征图的网格数，a代表每个网格对应生成框个数，4代表预测的位置偏移信息

ODM模块获得融合后特征图[P₁ P₂ P₃ P₄]中每一个舰船候选区域边界框所对应不同目标类别和背景的置信度和位置信息；预测不同目标类别和背景的置信度输出特征图形如 S×S×((classes+1)×a)，S代表特征图的网格数，classes代表不同舰船类别的置信度，1 代表背景的置信度，a代表每个网格对应生成框个数。预测位置输出的特征图形如 S×S×(4×a)，S代表特征图的网格数，a代表每个网格对应生成框个数，4代表预测的位置偏移信息

步骤2.5计算损失函数

对生成框细化模块ARM处理后的预测是否存在检测目标的置信度进行交叉熵损失计算得置信度损失值Loss_c_arm，对生成框细化模块ARM处理后粗调的候选框进行SmoothL1回归位置损失值Loss_l_arm；

对目标检测模块ODM处理后的预测不同目标类别和背景的置信度进行交叉熵损失计算计算得置信度损失值Loss_c_odm，对目标检测模块ODM处理后精调的候选框进行SmoothL1 位置损失值Loss_l_odm；

训练过程中的总损失Loss即为总置信度损失(Loss_c_arm+Loss_c_odm)和总位损失 (Loss_l_arm+Loss_l_odm)的和，总损失将在训练阶段进行反向求导直到达到收敛。

二分类交叉熵损失

多分类交叉熵损失

SmoothL1位置回归

其中

是第i个生成框对应的真实类别数值标签，

表示存在检测目标(背景数值标签为0)的回归框，

是第i个生成框的位置信息，p_i和

是ARM模块中预测的存在目标的置信度和候选框的位置信息，c_i和

是ODM模块中预测不同类别目标的置信度和候选框位置信息， N_arm和N_odm是各阶段正例生成框的个数，L_b是二分交叉熵损失，L_m是多类别交叉熵损失，L_r是SmoothL1位置损失；

步骤2.6根据步骤2.5得到的损失，使用SGD优化器进行反向传播，更新网络参数，判断当前训练次数，若达到设定的最大训练次数，保存模型权重，并进入步骤3网络检测部分。

步骤2.7训练阶段参数的具体设置如下：初始学习率设置为0.001，总共训练250个epoch，150个epoch之后，学习率缩小为原来的1/10，即变为0.0001，200个batch之后，学习率继续衰减，减小到0.00001；优化器SGD中的动量momentum设置为0.9，权值衰减系数weight_decay设置为0.0005。

步骤3的具体步骤为：

步骤3.1网络检测阶段，获得生成框细化模块ARM的输出，将置信度小于设定阈值的候选框设定为负样本，以达到过滤掉部分负样本候选框，减小分类器的搜索范围。

步骤3.2获得目标检测模块ODM的输出，ARM中对应的被设定为负样本的候选框在目标检测模块ODM中被认定为不包含检测目标，将背景类别的置信度置为1，其余置信度为0。ARM 中正样本的回归框偏移预测值和生成框做第一次解码操作获得修正后的回归框，ODM中的正样本的回归框偏移预测值和修正后的回归框做第二次解码操作获得最终的舰船目标候选框。将偏移位置信息解码还原成真实预测框位置信息需要经过以下公式处理：

其中：

为预测框的中心坐标相较固定生成框的中心坐标偏移距离，

分别为预测框宽和高相较固定生成框的宽和高之比的对数值；(d^cx，d^cy，d^w，d^h)为生成框位置信息， d^cx，d^cy为生成框的中心坐标，d^w，d^h为生成框宽和高；(p^cx，p^cy，p^w，p^h)为生成框模块解码后的预测框信息。

步骤4的具体步骤为：

步骤4.1：将步骤3获得的舰船目标候选框按照置信度得分从大到小排列后存放到集合 H，创建保留候选框集合S，初始化为空集，并设定保留框集合最大元素个数；

步骤4.2：将最大置信度的候选框与余下的所有候选框计算IOU交并比，将IOU交并比大于设定阈值的候选框从集合H中剔除，将最大置信度的候选框放入候选框集合S；

步骤4.3：重复步骤4.1和步骤4.2直到候选框集合元素达到最大值或H集合中已无候选框可参与IOU交并比计算，候选框集合S即为最终舰船目标检测结果；

根据附图进行效果分析：图5、6、7表示的。

综上，利用两步级联回归方法即提高红外遥感图像下小目标舰船检测的能力；同时避免了传统单阶段检测算法检测精度不高和双阶段检测算法检测速度较慢的问题，从而提高了检测目标检测的能力。

以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种红外遥感图像舰船检测方法，其特征在于：包括如下步骤：

步骤1：制作红外遥感图像舰船目标数据集，并将数据集划分成训练集，验证集和测试集对训练集进行线下数据增强，得到增强后的训练集；

步骤2：将步骤1中数据增强后的训练集输入改进的RefineDet网络进行训练，网络训练阶段采用迁移学习策略，通过RefineDet网络结构中两步级联回归的方式进行训练，得到改进的RefineDe网络，损失函数中的类别损失函数为交叉熵损失函数，位置损失为SmoothL1损失；

步骤3：网络检测阶段，测试集数据输入改进的RefineDe网络，通过两步级联回归获得舰船目标类别置信度和目标候选框；

步骤4：对步骤3获得的目标候选框进行非极大值抑制处理，即可获得图像中的舰船目标。

2.根据权利要求1所述的一种红外遥感图像舰船检测方法，其特征在于：所述步骤1包括如下步骤：

步骤1.1：制作红外遥感舰船数据集，获取红外遥感图像并标记舰船目标；

步骤1.2：对步骤1.1制作的数据集进行划分，包括训练集、验证集、测试集，对训练集进行线下数据增强，包括翻转、缩放、裁剪、亮度调节、添加噪声。

3.根据权利要求1或2任一所述的一种红外遥感图像舰船检测方法，其特征在于：所述步骤2包括如下步骤：

步骤2.1：采用迁移学习策略，使用ImageNet的预训练权重对ResNet101基础特征网络进行参数初始化，冻结网络底层的参数；

步骤2.2：随机选取步骤1.2训练集中的样本输入改进的RefineDet网络，该检测网络的核心是基础特征提取网络ResNet101和结合视觉显著性模块CBAM的特征金字塔特征融合模块FPN，检测过程是一种两步级联回归的模式：

其中，基础特征提取网络ResNet101是由残差模块堆叠而成，将步骤1.2的数据增强后的训练集输入Resnet101模型，获得4个不同尺寸和通道数的基础特征层[C₁ C₂ C₃ C₄]；

然后将获得的4个基础特征层进行自顶向下的特征融合，特征融合采用的是结合视觉显著性模块CBAM的特征金字塔网络FPN,获得4个特征融合后的特征层[P₁ P₂ P₃ P₄],特征融合的公式为：

P₄＝Conv_1×1(C₄)

其中，CBAM为视觉显著性模块，Upsample为上采样模块,

表示在通道维度熵进行连结操作，视觉显著性模块CBAM的作用是分别从通道显著性和空间显著性两方面对特征层进行处理，首先对特征图张量通道维度c中的每个通道添加权重，然后对特征图张量空间维度w×h中的每个像素位置添加不同权重,通道显著性和空间显著性的公式如下：

通道显著性M_c(F)＝σ(MLP(AvgPool_c(F))+MLP(MaxPool_c(F)))

空间显著性M_s(F)＝σ(Conv_3×3([AvgPool_s(F)；MaxPool_s(F)]))

其中F是上采样后特征层和原特征层在通道维度上连接后的特征层，AvgPool_c和MaxPool_c是分别基于宽和高维度的全局平均池化和全局最大池化，AvgPool_s和MaxPool_s是基于通道维度的全局平均池化和全局最大池化，MLP是多层感知机，σ是sigmoid激活函数；

通道显著性中MLP输出的特征进行像素级加和操作，再通过sigmoid激活操作，生成最终通道显著性特征图,其张量的形状为[1,1,channels]；空间显著性中将池化后的结果在通道维度上做连接操作后其张量形状为[w,h,2]，再通过卷积操作降维成[w,h,1],再通过sigmoid激活操作获得最后的空间显著性特征图；

步骤2.3将每个空间显著性特征图按其尺寸大小划分成S×S个单元格，每个单元格分配a个a∈(3,6,9…)不同长宽比的舰船候选区生成框,对于每个特征图将会生成S×S×a个候选区生成框，候选区生成框长宽比通过聚类算法对数据集中实际目标大小进行聚类获得,所有空间显著性特征图对应的候选区生成框都将匹配一个实际目标框，然后将候选区生成框与其匹配的实际目标框编码，获得每个候选区生成框的位置偏移信息，用于之后位置损失函数的计算，位置编码公式如下：

其中：(g^cx,g^cy,g^w,g^h)为真实目标位置信息，g^cxg^cy为真实目标框的中心坐标，g^wg^h为真实目标框宽和高；(d^cx,d^cy,d^w,d^h)为生成框位置信息，d^cx,d^cy为生成框的中心坐标，d^w,d^h为生成框宽和高；

为编码后的偏移位置信息，

为中心坐标偏移编码结果，

为宽高编码结果；

步骤2.4在基础特征层[C₁ C₂ C₃ C₄]上引出检测网络称为生成框细化模块ARM；在融合特征层[P₁ P₂ P₃ P₄]上引出检测网络称为目标检测模块ODM、；

生成框细化模块ARM获得基础特征层特征图[C₁ C₂ C₃ C₄]中每一个候选区生成框是否存在检测目标的置信度和位置信息，预测是否存在检测目标的置信度输出特征图形如S×S×(2×a)，S代表特征图的网格数，2分别代表不存在目标和存在目标置信度的得分，a代表每个网格对应生成框个数；预测位置输出的特征图形如S×S×(4×a)，S代表特征图的网格数，a代表每个网格对应生成框个数，4代表预测的位置偏移信息

目标检测模块ODM获得融合后特征图[P₁ P₂ P₃ P₄]中每一个舰船候候选区生成框所对应不同目标类别和背景的置信度和位置信息；预测不同目标类别和背景的置信度输出特征图形如S×S×((classes+1)×a)，S代表特征图的网格数，classes代表不同舰船类别的置信度，1代表背景的置信度，a代表每个网格对应生成框个数；预测位置输出的特征图形如S×S×(4×a)，S代表特征图的网格数，a代表每个网格对应生成框个数，4代表预测的位置偏移信息

步骤2.5计算损失函数

对生成框细化模块ARM处理后的预测是否存在检测目标的置信度进行交叉熵损失计算得到置信度损失值Loss_c_arm,对生成框细化模块ARM处理后粗调的候选框进行SmoothL1回归，得到位置损失值Loss_l_arm；

对目标检测模块ODM处理后的预测不同目标类别和背景的置信度进行交叉熵损失计算计算得到置信度损失值Loss_c_odm,对目标检测模块ODM处理后精调的候选框进行SmoothL1回归，得到位置损失值Loss_l_odm；

训练过程中的总损失Loss即为总置信度损失和总位损失的和，总损失将在训练阶段进行反向求导直到达到收敛；

二分类交叉熵损失

多分类交叉熵损失

SmoothL1位置回归

其中

是第i个生成框对应的真实类别数值标签,

表示存在检测目标的回归框，

是第i个生成框的位置信息，p_i和

是ARM模块中预测的存在目标的置信度和候选框的位置信息，c_i和

是ODM模块中预测不同类别目标的置信度和候选框位置信息，N_arm和N_odm是各阶段正例生成框的个数，L_b是二分交叉熵损失，L_m是多类别交叉熵损失,L_r是SmoothL1位置损失；

步骤2.6根据步骤2.5得到的总损失，使用SGD优化器进行反向传播，更新网络参数，判断当前训练次数，若达到设定的最大训练次数，保存模型权重，并进入步骤3网络检测部分。

4.根据权利要求1或2任一所述的一种红外遥感图像舰船检测方法，其特征在于：所述步骤3包括如下步骤：

步骤3.1：网络检测阶段，获得生成框细化模块ARM的输出，将置信度小于设定阈值的候选框设定为负样本，以达到过滤掉部分负样本候选框，减小分类器的搜索范围；

步骤3.2：获得目标检测模块ODM的输出，生成框细化模块ARM中对应的被设定为负样本的候选框在目标检测模块ODM中被认定为不包含检测目标，将背景类别的置信度置为1，其余置信度置为0，生成框细化模块ARM中正样本的回归框偏移预测值和生成框做第一次解码操作获得修正后的回归框，目标检测模块ODM中的正样本的回归框偏移预测值和修正后的回归框做第二次解码操作获得最终的舰船目标候选框，将偏移位置信息解码还原成真实预测框位置信息需要经过以下公式处理：

其中：

为预测框的中心坐标相较固定生成框的中心坐标偏移距离，

分别为预测框宽和高相较固定生成框的宽和高之比的对数值；(d^cx，d^cy，d^w，d^h)为生成框位置信息，d^cx，d^cy为生成框的中心坐标，d^w，d^h为生成框宽和高；(p^cx，p^cy，^w，p^h)为生成框模块解码后的预测框信息。

5.根据权利要求1或2任一所述的一种红外遥感图像舰船检测方法，其特征在于：所述步骤4包括如下步骤：

步骤4.1：将步骤3获得的舰船目标候选框按照置信度得分从大到小排列后存放到集合H，创建保留候选框集合S，初始化为空集，并设定保留框集合最大元素个数；

步骤4.2：将最大置信度的候选框与余下的所有候选框计算IOU交并比，将IOU交并比大于设定阈值的候选框从集合H中剔除，将最大置信度的候选框放入候选框集合S；

步骤4.3：重复步骤4.1和步骤42直到候选框集合元素达到最大值或H集合中已无候选框可参与IOU交并比计算，候选框集合S即为最终舰船目标检测结果。

Images