CN113158787A - 一种复杂海洋环境下船舶检测分类方法 - Google Patents

Abstract

本发明公开了一种复杂海洋环境下船舶检测分类方法，包括如下步骤：S1，通过对船舶样本的数据集训练得到深度卷积神经网络模型；S2，通过训练好的深度卷积神经网络模型对船舶的类别和位置信息进行预测；所述的深度卷积神经网络模型包括：主干特征提取网络，所述的主干特征提取网络包括不同尺度特征层；多尺度特征融合网络，其包括若干个多层特征融合模块和若干个多层感受野模块，所述的多层特征融合模块连接其中不同尺度的特征层；检测网络，其连接于多尺度特征融合网络。本发明相比于现有的基于深度学习的船舶检测算法，具有较高的检测精度，能够适合与复杂海洋环境下的船舶检测。

Description

一种复杂海洋环境下船舶检测分类方法

技术领域

本发明涉及属于目标检测跟踪技术，具体涉及在背景较为复杂的海上船舶检测和分类方法。

背景技术

海洋环境下的目标检测是计算机视觉领域中一个重要研究方向，尤其是对船舶进行检测和分类，这不仅为码头管理、港口监控和安全航行提供了重要信息，而且在海上侦察走私船舶、海上救援等方面也发挥着重要作用。计算机辅助船舶检测的方法极大促进了该项研究的发展，提高了检测效率，释放了人力资源。近年来，随着基于深度卷积神经网络的目标检测技术的飞速发展，为视频和图像处理提供了新的理论和方法，使得在目标检测过程中不再需要手动选择特征。

目前基于深度学习的目标检测算法可以分为两类:一类是基于区域的目标检测算法，形成了以基于区域的卷积神经网络(R-CNN)为代表的两阶段算法。这类算法由于其检测精度高，在船舶检测方面有所应用，但它们检测的速度慢不足以满足实时检测的要求。第二种是基于回归的目标检测算法，形成了以你只看一次(YOLO)和单次多边界框检测器(SSD)为代表的单阶段算法。该类算法将检测问题转化为回归问题，大大提高了检测速度，在实时船舶检测方面优势比较突出。

但是考虑到海洋环境的复杂性，船舶检测会受到拍摄距离,海杂波，光照强度，天气变化,复杂背景以及船舶颜色和海面颜色对比不明显等因素的影响,单单凭借肉眼或现有的船舶检测算法，效率低、成本高且检测未必准确，难以达到令人满意的监测结果，进而虚警和漏检的情况会时常出现。

总而言之，基于深度学习的目标检测仍然是一个具有挑战性的课题，面对复杂的水面环境，检测中仍存在复杂海洋环境下小船舶检测难以及不能够准确识别船舶种类的问题。因此准确、快速地检测与识别复杂背景下的船舶目标,赢得更可能多的反应与处理时间，已成为当前船舶检测方法上急需解决的难题，这一课题的研究具有重大的现实意义。

发明内容

鉴于现有技术所存在的上述问题，本发明的目的是提供一种基于改进YOLOv4的复杂海洋环境下船舶检测和分类方法，用于快速准确地检测出海面上的船舶目标，较之前的船舶检测算法，对于复杂海洋背景下的小船舶检测精度改进明显。

为了实现以上目的，本发明是通过以下技术方案实现的：

一种复杂海洋环境下船舶检测分类方法，其特点是，包括如下步骤：

S1，通过对船舶样本的数据集训练得到深度卷积神经网络模型；

S2，通过训练好的深度卷积神经网络模型对船舶的类别和位置信息进行预测；

所述的深度卷积神经网络模型包括：

主干特征提取网络，所述的主干特征提取网络包括不同尺度特征层；

多尺度特征融合网络，其包括若干个多层特征融合模块和若干个多层感受野模块，所述的多层特征融合模块连接其中不同尺度的特征层；

检测网络，其连接于多尺度特征融合网络。

所述的主干特征提取网络为CSPDarknet53。

所述的多层特征融合模块融合三个尺度特征层，所述多层特征融合模块输入为特征层F_13×13、特征层F_26×26和特征层F_52×52，输出为F'_26×26；所述多层特征融合模块通过CONCAT1和CONCAT2两个级联操作来融合多层特征，其中CONCAT1连接了当前特征层及通过金字塔池化结构、特征提取模块和2倍上采样的深层特征，CONCAT2则连接了CONCAT1出来后经过一次1×1的卷积的特征与通过下采样的浅层特征，该模块融合了三个不同尺度的特征层，输出F'_26×26可用如下的公式表示：

F'_26×26＝[F_13×13,F_26×26,F_52×52]。

所述的多层特征融合模块融合四个尺度特征层，所述多层特征融合模块输入为特征层F_13×13、特征层F_26×26、特征层F_52×52和特征层F_104×104，输出为F'_52×52；所述多层特征融合模块通过CONCAT1和CONCAT2两个级联操作来融合多层特征；其中CONCAT1连接了经过多层特征融合模块和特征提取模块的深层特征以及连接当前特征层，CONCAT2则连接了三个不同尺度的特征层，分别为经过金字塔池化结构、特征提取模块和上采样操作的更深层特征、经过CONCAT1和Conv2D的当前特征以及通过最大池化操作的浅层特征，输出F'_52×52可用如下的公式表示：

F'_52×52＝[F_13×13,F_26×26,F_52×52,F_104×104]。

所述的深度卷积神经网络模型的总损失的数学定义：

其中，IOU为预测框与真实框的交并比，b为预测框中心点坐标，b^gt为真实框中心点坐标，ρ(b,b^gt)代表预测框和真实框的中心点的欧式距离，c代表的是能够同时包含预测框和真实框的最小闭包区域的对角线距离，αυ为对长宽比的惩罚项，用来测量长宽比的一致性，υ是一个正数，具体定义如下：

其中，ω^gt和h^gt为真实框的宽、高，ω和h为预测框的宽、高；若真实框和预测框的宽高相似，那么υ为0，则惩罚项αυ将不起作用。

所述的数据集包括：不同背景环境、不同天气状况、白天和黑夜以及各种类别的船舶样本。

采用两个用于目标检测任务的指标作为评估指标：平均精度mAP和每秒帧数FPS，计算公式如下：

式中TP为指对象本来为正样本，网络识别为正样本，FP为指对象本来为负例，网络识别为正样本，FN为对象本来为正样本，网络识别为负样本，因此TP+FP是检测到的所有船舶数量，TP+FN表示实际船舶总数。

本发明与现有技术相比，具有以下优点：

平均精度高：本发明在原有网络的尺度基础上增加一个浅层尺度，同时在尺度融合之后加入改进特征融合模块，使得低层的细节信息和高层的抽象信息融合更加充分，一定程度上提升了整个算法的性能。

改进特征融合模块，在不增加计算量的同时，提高整个模型的检测准确率。

本发明与其他流行检测算法在相同数据集上做对比，尤其是对复杂海洋环境下的小船舶精度效果更胜一筹。

附图说明

图1为本发明深度卷积神经网络模型的结构示意图；

图2为本发明提出的融合三个尺度特征层的多层特征融合模块(MFF)；

图3为本发明提出的融合四个尺度特征层的多层特征融合模块(MFF)；

图4为本发明提出的多层感受野模块(M-RFB)。

图5为本发明方法的流程图。

具体实施方式

以下结合附图，通过详细说明一个较佳的具体实施例，对本发明做进一步阐述。

如图5所示，一种复杂海洋环境下船舶检测分类方法，包括如下步骤：

S1，通过对船舶样本的数据集训练得到深度卷积神经网络模型；

S2，通过训练好的深度卷积神经网络模型对船舶的类别和位置信息进行预测；

所述的深度卷积神经网络模型包括：

主干特征提取网络，所述的主干特征提取网络包括不同尺度特征层；

多尺度特征融合网络，其包括若干个多层特征融合模块和若干个多层感受野模块，所述的多层特征融合模块连接其中不同尺度的特征层；

检测网络，其连接于多尺度特征融合网络。

如图1所示，本发明的主干特征提取网络依然延用CSPDarknet53网络。在融合多层特征前也同样对13×13的特征层采用空间金字塔池化结构(SPP)，这主要是因为金字塔池化结构能够极大地增加感受野，分离出最显著的上下文特征，且几乎没有降低网络运行速度。另外，我们融合了主干网络中的四个不同尺度特征层进入到特征融合部分，并且将特征提取模块(FE)、多层特征融合模块(MFF)、多层感受野模块(M-RFB)三个模块融合成新的PANet结构，即采用特征提取模块(FE)进行特征提取，采用多层特征融合模块(MFF)来更大程度的增强上下文语义信息，采用多层感受野模块(M-RFB)自底向上地融合特征来进一步的扩大特征层感受野。

如附图2所示，是本发明的网络中的融合三个尺度特征层的多层特征融合模块(MFF)，该模块的输入为F_13×13、F_26×26、F_52×52三个特征层，输出为F'_26×26。该模块主要由通过CONCAT1和CONCAT2两个级联操作来融合多层特征。其中CONCAT1连接了当前特征层与通过金字塔池化结构(SPP)、特征提取模块(FE)和2倍上采样的深层特征(13×13)，CONCAT2则连接了CONCAT1出来后经过一次1×1的卷积的特征(26×26)与通过下采样的浅层特征(52×52)。该模块融合了三个不同尺度的特征层，输出F'_26×26可用如下的公式表示：

F'_26×26＝[F_13×13,F_26×26,F_52×52]

如附图3所示，是本发明的网络中的融合四个尺度特征层的多层特征融合模块(MFF)，该模块的输入为F_13×13、F_26×26、F_52×52、F_104×104三个特征层，输出为F'_52×52。同样是通过CONCAT1和CONCAT2两个级联操作来融合多层特征。CONCAT1连接了经过多层特征融合模块(MFF)以及特征提取模块(FE)的深层特征(26×26)与当前特征(52×52)，CONCAT2则连接了三个不同尺度的特征层，分别为经过金字塔池化结构(SPP)、特征提取模块(FE)和上采样操作的更深层特征(13×13)、经过CONCAT1和Conv2D的当前特征(52×52)以及通过最大池化操作的浅层特征(104×104)。即该模块将四个尺度的特征信息都充分融合。输出F'_52×52可用如下的公式表示：

F'_52×52＝[F_13×13,F_26×26,F_52×52,F_104×104]

通过上述将主干网络中的4个相邻尺度(浅、稍浅、深、更深)的特征融合在一起，使特征更加丰富，以便更好地检测。

对于融合多层感受野模块(M-RFB)，在多层特征融合模块(MFF)的基础上进一步融合多层特征，增加自底向上融合的路径从较浅层尺度引入语义特征，以此来进一步扩大不同区域的感受野和语义特征。

所述的深度卷积神经网络模型的总损失的数学定义：

其中，IOU为预测框与真实框的交并比，b为预测框中心点坐标，b^gt为真实框中心点坐标，ρ(b,b^gt)代表预测框和真实框的中心点的欧式距离，c代表的是能够同时包含预测框和真实框的最小闭包区域的对角线距离，αυ为对长宽比的惩罚项，用来测量长宽比的一致性，υ是一个正数，具体定义如下：

其中，ω^gt和h^gt为真实框的宽、高，ω和h为预测框的宽、高；若真实框和预测框的宽高相似，那么υ为0，则惩罚项αυ将不起作用。

所述的数据集包括：不同背景环境、不同天气状况、白天和黑夜以及各种类别的船舶样本。

如附图4所示，是本发明的网络中的多层感受野模块(M-RFB)，该模块输入为F₁，F₂，F₃三个特征层，F₁表示当前特征层、F₂表示当前特征层经过多层特征融合模块(MFF)或者金字塔池化结构(SPP)和特征提取模块(FE)出来的特征层、F₃表示通过最大池化操作或者多层感受野模块(M-RFB)的浅层特征。F₁、F₂、F₃三个特征层首先分别通过1×1或3×3的卷积操作以减少它们的通道数，以此来降低计算量；然后在通过膨胀率为1、3和5的膨胀卷积操作，来扩大特征层的感受野区域；最后进行级联操作，这样可以把浅层特征与当前特征融合，来进一步扩大特征层的感受野。该模块的输出F_output可用如下的公式表示：

F_output＝[F₁,F₂,F₃]

所述的采用两个广泛用于目标检测任务的指标作为评估指标：平均精度mAP和每秒帧数FPS，计算公式如下：

式中TP为指对象本来为正样本，网络识别为正样本，FP为指对象本来为负例，网络识别为正样本，FN为对象本来为正样本，网络识别为负样本，因此TP+FP是检测到的所有船舶数量，TP+FN表示实际船舶总数。

本发明的训练基于TensorFlow 2.3.0框架，算法的编程语言为Python 3.8.1，硬件平台为Intel(R)Core(TM)i5-8500 CPU,3.00GHz,NVIDIA GTX 1070GPU。预设训练参数为：动量为0.9，权值衰减为0.0005，初始学习率为1e-3，总的时期为100。在实施的过程中为了加快网络训练的速度，我们先随机冻结一些层进行训练，此时模型所需要训练的层数较少，因此将批量大小设置为8，训练时期为50个时期。当50个时期训练结束后，再来训练网络的所有层数，这时的批量大小设置为4，训练剩下的50个时期，直到训练结束。

表1中将本发明方法取得的检测性能与现有方法做了对比。评估指标为平均精度(mAP)和每秒帧数(FPS)，具体公式前文中已经提出。

表1与现有方法的对比(最优和次优结果分别用黑体和斜体表示)

从表中结果可以看出本发明具有较好的检测性能。

尽管本发明的内容已经通过上述优选实施例作了详细介绍，但应当认识到上述的描述不应被认为是对本发明的限制。在本领域技术人员阅读了上述内容后，对于本发明的多种修改和替代都将是显而易见的。因此，本发明的保护范围应由所附的权利要求来限定。

Claims (7)

1.一种复杂海洋环境下船舶检测分类方法，其特征在于，包括如下步骤：

S1，通过对船舶样本的数据集训练得到深度卷积神经网络模型；

S2，通过训练好的深度卷积神经网络模型对船舶的类别和位置信息进行预测；

所述的深度卷积神经网络模型包括：

主干特征提取网络，所述的主干特征提取网络包括不同尺度特征层；

多尺度特征融合网络，其包括若干个多层特征融合模块和若干个多层感受野模块，所述的多层特征融合模块连接其中不同尺度的特征层；

检测网络，其连接于多尺度特征融合网络。

2.如权利要求1所述的复杂海洋环境下船舶检测分类方法，其特征在于，所述的主干特征提取网络为CSPDarknet53。

3.如权利要求1所述的复杂海洋环境下船舶检测分类方法，其特征在于，所述的多层特征融合模块融合三个尺度特征层，所述多层特征融合模块输入为特征层F_13×13、特征层F_26×26和特征层F_52×52，输出为F'_26×26；所述多层特征融合模块通过第一级联单元CONCAT1和第二级联单元CONCAT2两个级联操作来融合多层特征，其中CONCAT1连接了当前特征层及通过金字塔池化结构、特征提取模块和2倍上采样的深层特征，CONCAT2则连接了CONCAT1出来后经过一次1×1的卷积的特征与通过下采样的浅层特征，该模块融合了三个不同尺度的特征层，输出F'_26×26可用如下的公式表示：

F'_26×26＝[F_13×13,F_26×26,F_52×52]。

4.如权利要求1所述的复杂海洋环境下船舶检测分类方法，其特征在于，所述的多层特征融合模块融合四个尺度特征层，所述多层特征融合模块输入为特征层F_13×13、特征层F_26×26、特征层F_52×52和特征层F_104×104，输出为F'_52×52；所述多层特征融合模块通过第一级联单元CONCAT1和第二级联单元CONCAT2两个级联操作来融合多层特征；其中CONCAT1连接了经过多层特征融合模块和特征提取模块的深层特征以及连接当前特征层，CONCAT2则连接了三个不同尺度的特征层，分别为经过金字塔池化结构、特征提取模块和上采样操作的更深层特征、经过CONCAT1和卷积层Conv2D的当前特征以及通过最大池化操作的浅层特征，输出F'_52×52可用如下的公式表示：

F'_52×52＝[F_13×13,F_26×26,F_52×52,F_104×104]。

5.如权利要求1所述的复杂海洋环境下船舶检测分类方法，其特征在于，所述的深度卷积神经网络模型的总损失的数学定义：

其中，IOU为预测框与真实框的交并比，b为预测框中心点坐标，b^gt为真实框中心点坐标，ρ(b,b^gt)代表预测框和真实框的中心点的欧式距离，c代表的是能够同时包含预测框和真实框的最小闭包区域的对角线距离，αυ为对长宽比的惩罚项，用来测量长宽比的一致性，υ是一个正数，具体定义如下：

其中，ω^gt和h^gt为真实框的宽、高，ω和h为预测框的宽、高；若真实框和预测框的宽高相似，那么υ为0，则惩罚项αυ将不起作用。

6.如权利要求1所述的复杂海洋环境下船舶检测分类方法，其特征在于，所述的数据集包括：不同背景环境、不同天气状况、白天和黑夜以及各种类别的船舶样本。

7.如权利要求1所述的复杂海洋环境下船舶检测分类方法，其特征在于，采用两个用于目标检测任务的指标作为评估指标：平均精度mAP和每秒帧数FPS，计算公式如下：

式中TP为指对象本来为正样本，网络识别为正样本，FP为指对象本来为负例，网络识别为正样本，FN为对象本来为正样本，网络识别为负样本，因此TP+FP是检测到的所有船舶数量，TP+FN表示实际船舶总数。

Images