CN114049478A - 基于改进Cascade R-CNN的红外船舶图像快速识别方法及系统 - Google Patents

Abstract

本发明公开一种基于改进Cascade R‑CNN的红外船舶图像快速识别方法及系统，方法包括：搭建基于Cascade R‑CNN的改进红外船舶网络；构建红外船舶图像数据集，对改进红外船舶网络进行训练和测试，得到训练好的红外船舶识别模型，并选取mAP最高的3个红外船舶识别模型；基于Soft‑NMS算法获取多个交并比阈值，并通过获取的多个交并比阈值对3个红外船舶识别模型进行优化，得到最优交并比阈值和最优红外船舶识别模型；基于最优红外船舶识别模型识别红外船舶图像中的目标船舶。本发明通过融合红外船舶特征与分类，解决了港口区域夜间作业时，因夜间光照不足导致引航员判断失误进而引发航行风险的问题。

Description

基于改进Cascade R-CNN的红外船舶图像快速识别方法及 系统

技术领域

本发明涉及海事视频图像处理技术领域，具体为基于改进Cascade R-CNN的红外船舶图像快速识别方法及系统。

背景技术

目标识别在众多科学技术领域有着广泛的应用，正在渗透到军事和港口的各个方面。与光探测物体相比，红外探测物体具有同样的精度、更长的工作距离和更好的抗干扰能力，这归因于红外探测具有研究人员和设备难以隐藏的热辐射。红外图像中船舶类型的识别存在成像质量差和视点变化导致自遮挡的缺陷，其主要问题是：第一特征提取难以区分不同的目标，第二如何使用所选的表示法对新的目标图像进行分类。

目前，对于第一个问题，在噪声、失真或部分遮挡的情况下，通过对图像比例缩放改变图像数据维度，或者通过平移、旋转将原始的特征进行重新组合以便于后续的使用。对于第二个问题，统计方法特别适合于复杂的分类问题，支持向量机、RCNN和YOLO已经成为涉及分类的机器学习任务的一种日益流行的工具。

随着港口货运量与日俱增，港口区域夜间作业频繁，光照昏暗对船舶进出港产生严重影响，对引航员夜视力及瞭望判断的影响也逐渐增大，因此，急需要一种解决方案，能够获得较好的夜间视觉，便于引航员提高诊断效率，减小船舶风险。

发明内容

为克服上述现有技术的不足，本发明提供一种基于改进Cascade R-CNN的红外船舶图像快速识别方法及系统，解决港口区域夜间作业时，因夜间光照不足导致引航员判断失误进而引发航行风险的问题。

根据本发明说明书的一方面，提供一种基于改进Cascade R-CNN的红外船舶图像快速识别方法，包括：

搭建基于Cascade R-CNN的改进红外船舶网络，包括：以ResNeXt-101网络作为特征提取网络对红外船舶图像进行特征提取，提取的特征图经由FPN+PAN网络输入RPN网络（Region Proposal Networks，区域生成网络），由RPN网络提取感兴趣ROI区域，并利用Focal损失函数进行损失计算；

构建红外船舶图像数据集，对改进红外船舶网络进行训练和测试，得到训练好的红外船舶识别模型，并选取mAP（mean of Average Precision，平均精度均值）最高的3个红外船舶识别模型；

基于Soft-NMS算法获取多个交并比阈值，并通过获取的多个交并比阈值对3个红外船舶识别模型进行优化，得到最优交并比阈值和最优红外船舶识别模型；

基于最优红外船舶识别模型识别红外船舶图像中的目标船舶。

上述技术方案在原有Cascade R-CNN网络基础上，通过调整特征提取网络、添加FPN+PAN网络结构来得到具有多种大小及尺寸的锚定框作为目标检测的候选框，并通过引入适应船舶检测的损失函数进行目标船舶预测锚定框的损失计算，从而构建出检测速度更快的改进红外船舶网络；然后对构建的网络进行训练和测试，选出mAP最高的3个红外船舶识别模型，并利用Soft-NMS算法的多个交并比阈值对选出的模型进行优化得到最优模型，利用最优模型进行红外船舶图像中目标船舶的识别，从而实现高准确率、高检测效率的目标船舶识别。

上述技术方案将红外船舶特征和分类融合在一起，实现了目标船舶的高效、准确识别，具有较高的实际应用价值。

作为进一步的技术方案，搭建基于Cascade R-CNN的改进红外船舶网络，进一步包括：

以ResNeXt-101网络作为特征提取网络，提取的特征图输入至FPN+PAN网络；

FPN网络（Feature Pyramid Networks，特征金字塔网络）输出的新特征图均输入到PAN网络（Pyramid Attention Network，金字塔注意力网络）中，FPN网络从顶部向下传达强语义特征，PAN网络特征从底层向高层传递强定位特征，从不同的主干层对不同的检测层进行参数聚合，再输入到RPN网络；

RPN网络基于FPN+PAN网络上生成的所有新特征图得到不同大小、不同尺寸的锚定框，这些锚定框的位置和坐标值由两个

层卷积层预测得到，在修改锚定框参数后，将这些锚定框作为候选框输入到级联网络；

级联网络通过Focal损失函数进行损失计算。

上述技术方案改进了现有的Cascade R-CNN网络，采用性能更好的ResNeXt-101网络作为Cascade R-CNN网络的特征提取网络，并结合FPN网络自上向下传达强语义特征和PAN网络自下向上传达强定位特征的特性，从不同的主干层对不同的特征层进行参数聚合，进而通过RPN网络生成不同大小、不同尺寸的锚定框，并通过锚定框参数调整，适应不同极端尺度的船舶检测，提高检测精度，且采用更适应于船舶检测的损失函数来进行损失计算，最终使搭建的红外船舶网络更适应于船舶目标检测且检测速度快、检测精度高。

作为进一步的技术方案，ResNeXt-101网络包括5个卷积部分，每个卷积部分由若干个基本的卷积单元块堆叠组成，每经过一个卷积部分，特征图的分辨率缩小一半，后四个卷积部分的输出生成一连串的特征图块，这些一连串的特征图块输入至FPN+PAN网络。该技术方案的第一个卷积部分采用卷积加池化，后四个卷积部分均采用残差网络卷积，5个卷积部分均采用1X1卷积，运算复杂度低，有助于提高网络的检测效率。

作为进一步的技术方案，考虑到船舶为扁长形状的影响，在RPN网络中修改锚定框的参数，包括生成的锚定框的长宽比、锚定框坐标和生成的锚定框的比例数量。该技术方案通过修改锚定框的参数来增加锚定框的多样性，以适应各种极端尺度的船舶的检测识别，从而提高网络的检测精度。

作为进一步的技术方案，在目标船舶预测锚定框非极大值抑制方面，修改NMS算法中使用的交并比阈值，形成Soft-NMS算法，Soft-NMS算法在区间(0,1)上分别选取0.1、0.2、0.3、0.4、0.5、0.6、0.7、0.8和0.9作为9个不同的交并比阈值；通过9个交并比阈值分别进行IOU筛选，若IOU超过设定的交并比阈值，则降低锚定框的置信度；筛选完成后，对所有锚定框的置信度进行判断，若置信度降低后低于预设值，则排除对应的锚定框，若置信度降低后仍然高于预设值，则保留对应的锚定框。

上述技术方案能够使重叠物体能够更大程度被保留下来，避免因阈值过小导致重叠物体容易被删的情况，解决了现有NMS算法的阈值确定难题。

作为进一步的技术方案，所述方法进一步包括：

重新采集新的红外船舶图像，构建验证集；

基于验证集，对由9个交并比阈值与3个mAP最高的红外船舶识别模型形成的27组关联数据进行验证，确定最优交并比阀值及最优红外船舶识别模型。

上述技术方案通过9个交并比阈值对选出的模型进行优化，27组关联数据分别通过重新构建的验证集分进行验证，进而确定最优阈值和最优模型。

作为进一步的技术方案，所述方法进一步包括：

构建红外船舶图像数据集，对于数据集中的每张红外船舶图像，通过LabelImg程序对船舶区域进行标注，标注类型包括：

，

每张红外船舶图像标注后，均形成一个与之对应的

文件标注；

对数据集中的红外船舶图像进行归一化处理；

对数据集中的红外船舶图像进行随机缩放、旋转、平移和放射变换；

对数据集中灰度均匀的红外船舶图像，进行对比度增强；

对数据集中的红外船舶图像进行随机划分，按照8:2的比例将数据集划分为训练集和测试集。

根据本发明说明书的一方面，提供一种基于改进Cascade R-CNN的红外船舶图像快速识别系统，包括：

搭建模块，用于搭建基于Cascade R-CNN的改进红外船舶网络，包括：以ResNeXt-101网络作为特征提取网络对红外船舶图像进行特征提取，提取的特征图经由FPN+PAN网络输入RPN网络，由RPN网络提取感兴趣ROI区域，并利用Focal损失函数进行损失计算；

训练测试模块，用于构建红外船舶图像数据集，对改进红外船舶网络进行训练和测试，得到训练好的红外船舶识别模型，并选取mAP最高的3个红外船舶识别模型；

优化模块，用于基于Soft-NMS算法获取多个交并比阈值，并通过获取的多个交并比阈值对3个红外船舶识别模型进行优化，得到最优交并比阈值和最优红外船舶识别模型；

识别模块，用于基于最优红外船舶识别模型识别红外船舶图像中的目标船舶。

上述技术方案通过搭建模块得到基于Cascade R-CNN的改进红外船舶网络，通过训练测试模块对搭建的网络进行训练和测试，得到mAP最高的3个模型；然后通过优化模块进行模型优化，确定最优的交并比阈值及最优的模型；最后利用最优的模型实现红外船舶图像的快速识别，具有识别速度快、识别精度高的优势，能够应用于港口夜间作业时的目标船舶检测识别，为引航员提供准确的视觉识别结果，解决港口区域夜间作业时，因夜间光照不足导致引航员判断失误进而引发航行风险的问题。

作为进一步的技术方案，所述系统还包括数据预处理模块，用于对数据集中的红外船舶图像进行预处理，包括标注、归一化、随机缩放、旋转、平移、放射变换或对比度增强中的一或多种。

作为进一步的技术方案，所述系统包括配置模块，用于配置锚定框的参数、交并比阈值及置信度的预设值。

与现有技术相比，本发明的有益效果在于：

（1）本发明在原有Cascade R-CNN网络基础上，通过调整特征提取网络、添加FPN+PAN网络结构来得到具有多种大小及尺寸的锚定框作为目标检测的候选框，并通过引入适应船舶检测的损失函数进行目标船舶预测锚定框的损失计算，从而构建出检测速度更快的改进红外船舶网络；然后对构建的网络进行训练和测试，选出mAP最高的3个红外船舶识别模型，并利用Soft-NMS算法的多个交并比阈值对选出的网络进行优化得到最优网络，利用最优网络进行红外船舶图像中目标船舶的识别，从而实现高准确率、高检测效率的目标船舶识别。

（2）本发明通过搭建模块得到基于Cascade R-CNN的改进红外船舶网络，通过训练测试模块对搭建的网络进行训练和测试，得到mAP最高的3个模型；然后通过优化模块进行模型优化，确定最优的交并比阈值及最优的模型；最后利用最优的网络实现红外船舶图像的快速识别，具有识别速度快、识别精度高的优势，能够应用于港口夜间作业时的目标船舶检测识别，为引航员提供准确的视觉识别结果，解决港口区域夜间作业时，因夜间光照不足导致引航员判断失误进而引发航行风险的问题。

（3）相对传统船舶识别，本发明将红外船舶特征和分类融合在一起，对红外船舶目标检测的mAP值可以达到91.22％，检测速度达到了37.6帧每秒，准确率高、速度快，具有较高的实际应用价值。

附图说明

图1是根据本发明实施例的基于改进Cascade R-CNN的红外船舶图像快速识别方法的流程示意图；

图2是根据本发明实施例的ResNext-101特征提取网络中的一个模块结构示意图；

图3是根据本发明实施例的FPN+PAN网络的模块结构示意图；

图4是根据本发明实施例的RPN网络的模块结构示意图；

图5是根据本发明实施例的基于Cascade R-CNN的改进红外船舶网络的结构意图；

图6（a）是根据本发明实施例利用NMS算法进行非极大值抑制的检测效果示意图；

图6（b）是根据本发明实施例利用Soft-NMS算法进行非极大值抑制的检测效果示意图；

图7（a）、图7（b）、图7（c）分别是根据本发明实施例得到的三个mAP最高的红外船舶识别模型示意图；

图8（a）、图8（b）、图8（c）、图8（d）分别是根据本发明实施例利用最优红外船舶识别模型进行红外船舶检测的效果示意图。

具体实施方式

以下将结合附图对本发明各实施例的技术方案进行清楚、完整的描述，显然，所描述发实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施例，都属于本发明所保护的范围。

针对港口区域夜间作业，光照昏暗会影响引航员夜视力及瞭望的判断，进而导致船舶航行风险的问题，本发明提供一种基于改进Cascade R-CNN的红外船舶图像快速识别方法及系统。本发明通过港口红外监控获取红外船舶图像，通过算法提取红外船舶特征，并将红外船舶特征与分类融合在一起，实现准确且快速识别夜间船舶的目的，降低了由于夜间光照不足导致引航员误判引发的航行风险，确保了船舶安全进出港口，并提高了港口船舶监控的效能。

本发明一方面提供一种基于改进Cascade R-CNN的红外船舶图像快速识别方法，如图1所示。本发明选用的处理平台为Intel i7-9900k、NVIDIA RTX3090ti组合，操作系统为Linux64 系统下的Ubuntu16.04平台。本发明方法选择在深度学习框架Pytorch上进行实现。

所述方法包括以下步骤：

步骤1：针对红外船舶图像，构建带有标注与标签的红外船舶数据集；

步骤2：搭建基于Cascade R-CNN的改进红外船舶网络；

步骤3：对红外船舶数据集进行归一化和数据增强处理，并对红外船舶数据集按照8:2的比例划分为训练集、测试集；

步骤4：利用训练集和测试集分别对基于Cascade R-CNN的改进红外船舶网络进行训练和测试，得到红外船舶识别模型，并选出mAP最高的3个模型；

步骤5：采集新的红外船舶图像，构建验证集；

步骤6：修改Soft-NMS配置网络文件中非极大值抑制算法中使用的交并比阈值，在区间(0,1)上分别选取0.1、0.2、0.3、0.4、0.5、0.6、0.7、0.8和0.9；

步骤7：将9个交并比阈值与3个模型进行数据关联形成27组关联数据，利用验证集分别进行验证，进一步确定最优阀值和最优模型，最后利用确定的最优模型进行船舶识别。

对红外船舶图像数据集中的图像进行处理，包括以下步骤：

1)对数据集中的每张红外船舶图像，通过LabelImg程序对船舶区域进行标注，一共七个分类

，每张红外船舶图像标注后，都形成一个与之对应的

文件标注；

2)对数据集中的红外船舶图像进行归一化处理，消除其他变换函数对图像变换的影响；

3)对数据集中的红外船舶图像进行随机缩放、旋转、平移和放射变换，使得模型具有更好的鲁棒性；

4)数据集中的红外船舶图像，若灰度大致均匀，则进行对比度增强处理；

5)对数据集中的红外船舶图像，进行随机划分，按照训练集、测试集8:2的比例进行划分。

本发明的改进红外船舶网络是在级联卷积神经网络Cascade R-CNN的基础上修改得到，具体的网络结构修改包括以下五个方面：

（1）将ResNet特征提取网络替换成ResNeXt-101

原始的Cascade R-CNN采用残差网络ResNet作为其特征提取网络。ResNet是通过跨层连接的方式，在线性转换和非线性转换之间寻求一个平衡，随着网络层的不断加深，模型准确率不断提高达到最大值（准确率饱和），并通过浅层和深层网络的信息进行横向连接，保证在反向传播时，避免出现梯度的消失现象，使深层网络能顺利收敛。

ResNeXt是比ResNet性能更好的分类网络，它最大的特点就是采用分组卷积的形式，通过控制分组的数量（Cardinality）来达到两种策略的平衡，如图2所示。其中的“Cardinality”概念是它的最大特色，也就是单元块的分支数，ResNeXt中“Cardinality”值越大，效果就越好。公式（1）为ResNeXt网络的数学模型，其中C就是“Cardinality”分支数，x、y为输入值和输出值，

表示单个分支中三个卷积层的堆叠结构，通过分组卷积，使得网络的性能进一步提升。

（1）

因此，考虑到ResNeXt-101的性能，本发明将ResNet特征提取网络替换成ResNeXt-101，作为Cascade R-CNN的特征提取网络，获取更好的效果。

（2）增加自顶向下的FPN特征金字塔网络和自底向上的PAN特征金字塔网络

一般情况下，在进行目标预测时，低层的特征语义信息比较少，但是目标位置准确；高层的特征语义信息比较丰富，但是目标位置比较粗略。多数的目标检测算法都是只采用顶层特征做预测。也有些算法采用多尺度特征融合的方式，但一般是采用融合后的特征做预测，而FPN网络和PAN网络不一样，它们是在不同特征层，独立进行预测。

FPN网络为自顶而下的特征金字塔网络，PAN网络为自底向上的特征金字塔网络。FPN网络通过上采样自上而下，其中的横向连接将上采样的结果与PAN网络自下而上生成的相同大小特征图进行融合，融合后再通过

的卷积核对每个融合结果进行卷积，消除采样中的混叠效应。如图3所示，FPN网络中生成的特征图P2、P3、P4、P5，与PAN网络卷积结果N2、N3、N4、N5相对应。

综上所述，FPN网络自上向下传达强语义特征，PAN网络自下向上传达强定位特征，两两联手，从不同的主干层对不同的特征层进行参数聚合。

（3）通过区域生成网络RPN网络增加锚定框比例

RPN网络原理类似于一个二分类的目标检测器，如图4所示。输入图片经卷积网络ResNeXt-101处理后，快速有效地扫描图片中的每个位置，以确定给定区域是否需要进一步处理。RPN网络会计算出对应原图生成k个边界框建议，每个框建议有两个分数，代表成为框内物体的概率，这些区域对应的矩形框被称为锚定框。

锚定框的尺度大小的设定是至关重要的，例如长而细的物体，船舶、公共汽车，就不能用方形边界框表示。锚定框需要调整，才能知道不同大小物体的存在。在检测时，才能提高网络的检测精度。

RPN网络原先采用k=9个锚点，分别为3个ratios和3个scales。针对红外船舶，需设置锚定框的参数，增加锚定框的多样性。因此本发明在原有的基础上增加了锚定框的比例数量，生成的锚定框的长宽比

、锚定框

和生成的锚定框的比例数量k=12，以适应数据集中船舶的各种极端尺度，从而提高网络的检测精度。

（4）损失函数由原本的Cross Entropy损失函数修改为了Focal损失函数

Focal损失函数，解决了目标检测中正负样本极不平衡和难分类样本学习的问题。在红外船舶数据集中，由于船舶和背景的相似性和样本难分类，故引入了Focal损失函数，如公式（2）。

（2）

其中，x表示检查结果，class表示真实标签，

表示真实标签的权重因子，j表示样本，

表示可调节的聚焦参数。正负样本极不平衡是由于红外船舶图片在色彩上有缺失，定位目标生成大量的锚定框，而图中目标(正样本)个数很少，大量的锚定框处于相似的灰色背景区域(负样本)，这就导致了正负样本极不平衡。

Focal损失函数和原来的Cross Entropy损失函数对比多一个调制系数，通过赋值权重的方式，使难分的样本权重更大。其中二分类平衡Cross Entropy损失函数，交叉熵函数如公式（3），先定义权重因子

，后变形的损失函数如公式（4）。

（3）

（4）

其中，p表示检查结果，y表示真实标签，

表示真实标签的权重因子。

二分类平衡交叉熵采用权重因子

平衡正负样本的重要性，但是没有区分难易样本。Focal损失函数在此基础上，增加一个调节因子

降低易分类样本权重，

是可调节的聚焦参数，聚焦于困难样本的训练，公式如（5）。

（5）

例如红外船舶'sailboat'和'fishing boat'的二分类问题，样本

属于类别'sailboat'的

，样本

属于类别'sailboat'的

，显然前者更可能是类别'sailboat'。假设

，那么对于

，调制系数则为0.1，与此同时

，调制系数则为0.4，通过调制系数使难分的样本（

）的权重更大。本发明通过减小分类样本的权重，使得模型在训练时更专注于权重更大的难分类样本，解决训练样本的类别不均衡问题。

（5）非极大值抑制，修改为Soft-NMS算法

目标检测网络在进行模型推理时，图像中的目标物体区域往往会产生许多不同置信度的目标框，有些目标框的结果是冗余的，这些结果会影响模型的准确度。非极大值抑制（NMS）将目标对象区域中相对较大和置信度较低的其他结果全部去除进行过滤，以此来筛选出最佳的检测结果。但当IOU超过某个阈值后，则会直接删除该目标框。阈值的确定较为困难，设小了会出现重叠的物体容易被删掉的情况，设置过高又容易导致误检。

为了解决这问题，将原本使用的NMS算法公式（6）修改为Soft-NMS算法公式（7）。NMS算法执行过程中，会对IOU进行筛选，而Soft-NMS算法，通过引入权值函数，并设定阈值的方式，使得在IOU超过某个阈值后，不再直接删除该目标框，而是降低它的置信度(得分)，如果得分低到一个阈值，就会被排除；但是如果降低后仍然较高，就会被保留。

（6）

（7）

其中，

表示当前检测框的得分，

表示IoU的阈值，M表示得分最高的检测框，

表示待处理框，

表示最高得分检测框M与有待处理框重叠的分数。

从公式6和7中可以看出，对于NMS算法来说，当IOU小于一个值后，会直接删除目标框，但对于Soft-NMS算法，只会降低目标框的置信度。使用Soft-NMS算法后，重叠的物体较之前被更大程度的保留下来，模型得到更好的优化，如图6(a)和图6(b)所示，非极大值抑制替换前后检测效果对比，其中图6(a)为调整前的检测效果，图6(b)为调整后的检测效果。

本发明在搭建好基于Cascade R-CNN的改进红外船舶网络后，通过构建红外船舶图像数据集对网络进行训练测试，得到红外船舶识别模型，并重新构建红外船舶图像验证集对模型进行验证优化，具体包括以下三个方面：

（1）利用红外船舶图像数据集进行网络训练和测试，选取mAP最高的三个模型

在mmdetection框架下，配置基于Cascade R-CNN的改进红外船舶网络，如图5所示。将训练集、测试集放入配置的根目录中，运行

来训练和测试红外船舶网络，保存mAP最高的三个模型

、

、

，如图7（a）至图7（c）所示。

（2）采集新的红外船舶图像，构建验证集

采集新的红外船舶图像，对图像中的船舶进行标注，构建验证集。目的是为了确定Soft-NMS算法的交并比阀值，可以用来看网络是否过拟合，以及评估网络的泛化能力。

（3）3个红外船舶快速识别模型和9个Soft-NMS交并比阈值，共27组分别通过验证集，确定最优阀值和模型

修改Soft-NMS配置网络文件中非极大值抑制算法中使用的交并比阈值，在区间(0,1)上分别选取0.1、0.2、0.3、0.4、0.5、0.6、0.7、0.8和0.9。9个Soft-NMS算法的交并比阈值与3个红外船舶识别模型，形成27组关联数据，分别通过验证集进行验证，进一步确定最优阀值和模型，如图8（a）至图8（d）所示为最优模型的红外船舶检测效果图。

本发明另一方面提供一种基于改进Cascade R-CNN的红外船舶图像快速识别系统，包括：搭建模块、训练测试模块、优化模块和识别模块。

其中，搭建模块用于搭建基于Cascade R-CNN的改进红外船舶网络，包括：

（1）在原有Cascade R-CNN网络基础上，将ResNet特征提取网络替换成ResNeXt-101：

用ResNeXt-101替换原Cascade R-CNN网络中的残差网络ResNet，具体使用ResNeXt-101（

）网络。在网络的基本组成单元中，卷积分支的数量为32个，每个单元块的最终输出是将这32个卷积分支的结果叠加并加上原始输入的结果。采用这种结构，红外船舶图像具有更好的特征提取能力和更小的计算量。

（2）增加自顶向下的FPN特征金字塔网络和自底向上的PAN特征金字塔

ResNeXt-101网络的5个卷积部分输出4个不同分辨率的特征图作为特征集。FPN网络通过上采样，使其与下一层具有相同的级别。下层特征图的大小保持不变，下层特征图经过

卷积核处理，使同层的通道数更高。将FPN网络和PAN网络同一层的特征图横向相加后，进行

卷积，消除上采样带来的混叠效应，FPN网络中生成的特征图P2、P3、P4、P5分别对应PAN网络中生成的特征图N2、N3、N4、N5相对应，然后通过步长为2的最大池化操作得到最后一个特征图N6，共5个融合特征图形成FPN+PAN网络结构，并与后续的RPN网络相连。

（3）通过RPN网络增加锚定框比例

本发明将原来的3种锚定框比例增加到12种。针对红外船舶，设置锚定框的参数，生成的锚定框的长宽比

、锚定框

。

（4）将损失函数由原本的Cross Entropy损失函数修改为了Focal损失函数：

替换损失函数，解决了目标检测中正负样本极不平衡和难分类样本学习的问题。Focal 损失函数中和原来的Cross Entropy损失函数对比多一个调制系数，增加一个调节因子

，降低易分类样本权重，

是可调节的聚焦参数，聚焦于困难样本的训练。减小分类样本的权重，使得模型在训练时更专注于权重更大的难分类样本，解决训练样本的类别不均衡问题。

训练测试模块，用于构建红外船舶图像数据集，对改进红外船舶网络进行训练和测试，得到训练好的红外船舶识别模型，并选取mAP最高的3个红外船舶识别模型。

在mmdetection框架下，配置改进后的Cascade R-CNN网络。将训练集、测试集放入配置的根目录中，运行

训练红外船舶模型，保存mAP最高的三个模型

、

、

。

优化模块，用于基于Soft-NMS算法获取多个交并比阈值，并通过获取的多个交并比阈值对3个红外船舶识别模型进行优化，得到最优交并比阈值和最优红外船舶识别模型。

NMS算法修改为Soft-NMS算法。NMS算法在执行过程中，会根据阀值直接对IOU进行筛选，不符合则直接删除目标框，而这种方式会导致出现重叠的物体容易被删掉，降低了检测精度。而Soft-NMS算法，通过引入权值函数，并设定阈值的方式，使得在IOU超过某个阈值后，不再直接删除该目标框，而是降低它的置信度(得分)，如果得分低到一个阈值，就会被排除；但是如果降低后仍然较高，就会被保留。

采集新的红外船舶图像，对图像中的船舶进行标注，构建验证集。

修改Soft-NMS配置网络文件中非极大值抑制算法中使用的交并比阈值，在区间(0,1)上分别选取0.1、0.2、0.3、0.4、0.5、0.6、0.7、0.8和0.9。9个Soft-NMS算法的交并比阈值与3个红外船舶识别模型，形成27组关联数据，分别通过验证集进行验证，进一步确定最优阀值和模型。

Soft-NMS算法的核心就是降低置信度。举例来说，若一艘船上有3个重叠的目标框，置信度分别为0.9，0.7，0.85 。选择得分最高的目标框，经过第一次处理过后，得分变成了0.9，065，0.55（此时将得分最高的保存在D中）。这时候再选择第二个目标框作为得分最高的，处理后置信度分别为0.65，0.45（这时候3个目标框也都还在），最后选择第三个，处理后得分不改变。最终经过Soft-NMS算法抑制后的三个框的置信度分别为0.9，0.65，0.45。最后设置阈值，将得分小于阈值的去掉。

识别模块，实时获取港口的红外船舶图像，并基于最优红外船舶识别模型识别红外船舶图像中的目标船舶。

本发明系统选用的处理平台为Intel i7-9900k、 NVIDIA RTX3090ti组合，操作系统为Linux64 系统下的Ubuntu16.04平台。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案。

Claims (10)

1.基于改进Cascade R-CNN的红外船舶图像快速识别方法，其特征在于，包括：

搭建基于Cascade R-CNN的改进红外船舶网络，包括：以ResNeXt-101网络作为特征提取网络对红外船舶图像进行特征提取，提取的特征图经由FPN+PAN网络输入RPN网络，由RPN网络提取感兴趣ROI区域，并利用Focal损失函数进行损失计算；

构建红外船舶图像数据集，对改进红外船舶网络进行训练和测试，得到训练好的红外船舶识别模型，并选取mAP最高的3个红外船舶识别模型；

基于Soft-NMS算法获取多个交并比阈值，并通过获取的多个交并比阈值对3个红外船舶识别模型进行优化，得到最优交并比阈值和最优红外船舶识别模型；

基于最优红外船舶识别模型识别红外船舶图像中的目标船舶。

2.根据权利要求1所述基于改进Cascade R-CNN的红外船舶图像快速识别方法，其特征在于，搭建基于Cascade R-CNN的改进红外船舶网络，进一步包括：

以ResNeXt-101网络作为特征提取网络，提取的特征图输入至FPN+PAN网络；

FPN网络输出的新特征图均输入到PAN网络中，FPN网络从顶部向下传达强语义特征，PAN网络特征从底层向高层传递强定位特征，从不同的主干层对不同的检测层进行参数聚合，再输入到RPN网络；

RPN网络基于FPN+PAN网络上生成的所有新特征图得到不同大小、不同尺寸的锚定框，这些锚定框的位置和坐标值由两个3×3层卷积层预测得到，在修改锚定框参数后，将这些锚定框作为候选框输入到级联网络；

级联网络通过Focal损失函数进行损失计算。

3.根据权利要求2所述基于改进Cascade R-CNN的红外船舶图像快速识别方法，其特征在于，ResNeXt-101网络包括5个卷积部分，每个卷积部分由若干个基本的卷积单元块堆叠组成，每经过一个卷积部分，特征图的分辨率缩小一半，后四个卷积部分的输出生成一连串的特征图块，这些一连串的特征图块输入至FPN+PAN网络。

4.根据权利要求2所述基于改进Cascade R-CNN的红外船舶图像快速识别方法，其特征在于，考虑到船舶为扁长形状的影响，在RPN网络中修改锚定框的参数，包括生成的锚定框的长宽比、锚定框坐标和生成的锚定框的比例数量。

5.根据权利要求2所述基于改进Cascade R-CNN的红外船舶图像快速识别方法，其特征在于，在目标船舶预测锚定框非极大值抑制方面，修改NMS算法中使用的交并比阈值，形成Soft-NMS算法，Soft-NMS算法在区间(0,1)上分别选取0.1、0.2、0.3、0.4、0.5、0.6、0.7、0.8和0.9作为9个不同的交并比阈值；通过9个交并比阈值分别进行IOU筛选，若IOU超过设定的交并比阈值，则降低锚定框的置信度；筛选完成后，对所有锚定框的置信度进行判断，若置信度降低后低于预设值，则排除对应的锚定框，若置信度降低后仍然高于预设值，则保留对应的锚定框。

6.根据权利要求5所述基于改进Cascade R-CNN的红外船舶图像快速识别方法，其特征在于，所述方法进一步包括：

重新采集新的红外船舶图像，构建验证集；

基于验证集，对由9个交并比阈值与3个mAP最高的红外船舶识别模型形成的27组关联数据进行验证，确定最优交并比阀值及最优模型。

7.根据权利要求1所述基于改进Cascade R-CNN的红外船舶图像快速识别方法，其特征在于，所述方法进一步包括：

构建红外船舶图像数据集，对于数据集中的每张红外船舶图像，通过LabelImg程序对船舶区域进行标注，标注类型包括：

，

每张红外船舶图像标注后，均形成一个与之对应的

文件标注；

对数据集中的红外船舶图像进行归一化处理；

对数据集中的红外船舶图像进行随机缩放、旋转、平移和放射变换；

对数据集中灰度均匀的红外船舶图像，进行对比度增强；

对数据集中的红外船舶图像进行随机划分，按照8:2的比例将数据集划分为训练集和测试集。

8.基于改进Cascade R-CNN的红外船舶图像快速识别系统，其特征在于，包括：

搭建模块，用于搭建基于Cascade R-CNN的改进红外船舶网络，包括：以ResNeXt-101网络作为特征提取网络对红外船舶图像进行特征提取，提取的特征图经由FPN+PAN网络输入RPN网络，由RPN网络提取感兴趣ROI区域，并利用Focal损失函数进行损失计算；

训练测试模块，用于构建红外船舶图像数据集，对改进红外船舶网络进行训练和测试，得到训练好的红外船舶识别模型，并选取mAP最高的3个红外船舶识别模型；

优化模块，用于基于Soft-NMS算法获取多个交并比阈值，并通过获取的多个交并比阈值对3个红外船舶识别模型进行优化，得到最优交并比阈值和最优红外船舶识别模型；

识别模块，用于基于最优红外船舶识别模型识别红外船舶图像中的目标船舶。

9.根据权利要求8所述基于改进Cascade R-CNN的红外船舶图像快速识别系统，其特征在于，所述系统还包括数据预处理模块，用于对数据集中的红外船舶图像进行预处理，包括标注、归一化、随机缩放、旋转、平移、放射变换或对比度增强中的一或多种。

10.根据权利要求8所述基于改进Cascade R-CNN的红外船舶图像快速识别系统，其特征在于，所述系统包括配置模块，用于配置锚定框的参数、交并比阈值及置信度的预设值。

Images