CN115272701B - 基于自适应特征提取与解耦预测头的船舶目标检测方法 - Google Patents

Abstract

本发明公开了一种基于自适应特征提取与解耦预测头的船舶目标检测方法，包括：S1、构建指定范围内的船舶数据集；S2、利用YOLOv4的骨干网络CSPDarknet53‑DCN进行自适应特征提取操作，输出多层语义特征图；S3、利用具有两个并行分支的解耦预测结构的卷积神经网络，对输入的特征图进行计算，上分支输出船舶的类别，下分支输出目标的位置坐标和置信度；S4、设定分类损失、置信度损失、边框回归损失，并计算联合损失，然后在构建的船舶数据集上对YOLOv4网络进行训练，确定网络的参数，得到水上船舶检测模型；S5、将采集的船舶视频数据输入检测网络中，输出检测结果，并在原始图像上可视化检测框与船舶类别。本发明具有视频图像监视应用中船只检测精度高、时效性好的特点。

Description

基于自适应特征提取与解耦预测头的船舶目标检测方法

技术领域

本发明涉及图像处理技术领域，具体涉及的是一种基于自适应特征提取与解耦预测头的船舶目标检测方法。

背景技术

我国海洋资源十分丰富，同时内陆水道众多，水运十分便利。船舶运输凭借运价低、运量大、污染少、损耗小等优点，在我国交通运输体系中始终占据着举足轻重的地位。

近年来，随着船舶运输业的快速发展，船舶数量不断增加，导致航道密度持续增大，在此情况下，部分违法船只会利用关闭AIS和GPS系统的手段来躲避监管，进行偷渡和走私等违法犯罪活动。为了改善水上交通状况、实现有序的运输管理，并打击各种水上违法犯罪活动，各海事机构和港航部门制定了许多切实可行的方法和措施，其中实现对船舶的实时检测识别便是非常重要的手段之一。

目前，基于深度学习的船舶目标算法主要是改进YOLOv3和改进Faster R-CNN两类，它们的改进主要是将数据增强、改进损失函数、神经架构搜索等通用目标检测技巧直接应用船舶检测任务中，虽然有一定的检测效率，但是这些方法既没有深入研究船舶的外形特点以及船舶高纵横比外形对卷积神经网络特征提取的影响，也没有分析船舶分类预测任务和回归预测任务的相互影响，以及反向传播的梯度更新过程，导致了船舶检测精度不高，时效性不好的问题，难以很好地符合水上交通状况及运输管理的实际需要。

发明内容

本发明的目的在于提供一种基于自适应特征提取与解耦预测头的船舶目标检测方法，具有视频图像监视应用中船只检测精度高、时效性好的特点。

为实现上述目的，本发明采用的技术方案如下：

基于自适应特征提取与解耦预测头的船舶目标检测方法，包括以下步骤：

S1、构建指定范围内的船舶数据集；

S2、将图像特征图输入到残差网络中，并利用1×1卷积预测特征采样点的坐标偏移offset，然后将输入特征图与offset送入YOLOv4的骨干网络CSPDarknet53-DCN中进行自适应特征提取操作，输出多层语义特征图；

S3、利用具有两个并行分支的解耦预测结构的卷积神经网络，对输入的特征图进行计算，上分支输出船舶的类别，下分支输出目标的位置坐标和置信度；

S4、分别设定分类损失、置信度损失、边框回归损失，并计算联合损失，然后在构建的船舶数据集上对YOLOv4网络进行训练，确定网络的参数，得到水上船舶检测模型；

S5、基于步骤S4中训练的检测模型，将采集的船舶视频数据输入检测网络中，输出检测结果，并在原始图像上可视化检测框与船舶类别。

具体地，所述步骤S1包括以下步骤：

S101、在港口架设摄像头，获取若干段船舶视频，然后利用opencv读取视频并抽帧保存，获得至少200k张图像，筛除模糊、无目标的无效图像，获得7k的图像数据，图像尺寸为1920×1080；

S102、在Labelme标注软件中导入图像数据，手工勾画船舶目标的最小外接正矩形框，并选择对应的类别，完成检测目标标注；

S103、随机划分5000张作为训练集，2000张作为测试集，最终构建目标检测标准数据集。

进一步地，所述步骤S101中，每间隔8帧保存1帧。

具体地，所述步骤S2包括以下步骤：

S201：在残差块网络中，对形状为H×W×C的输入特征图Input连接一个标准3×3卷积Conv进行特征提取，Conv的规格为3×3×S，得到形状为H×W×S的特征图；

S202：将步骤S201中得到的特征图送入到左分支中，采用1×1卷积将特征图通道数降低为H×W×S/2；

S203、串联K个相同的Residual network，在残差网络中，利用1×1卷积计算特征图的坐标偏移图offset；

S204、将特征图与offset送入DCN卷积算子中提取偏移坐标处的语义特征；

S205、将Residual network的输出特征图接一个1×1卷积，输出形状为H×W×S/2的特征图；

S206、将步骤S201中得到的特征图送入到右分支中，该分支只包含一个1×1卷积，用于降低特征通道数，输出形状为H×W×S/2的特征图；

S207：将步骤S205和S206的输出特征图进行通道拼接操作，再接一个1×1卷积对拼接后的特征图进行融合，输出形状为H×W×S的特征图。

所述步骤S3具体为：基于多分支解耦结构的预测网络，将输入特征图送入卷积预测网络中，其中，上分支只包含一个1×1卷积，且卷积的个数为船舶的类别数C，计算输出船舶目标的类别；下分支只包含一个1×1卷积，且卷积的个数设置为5，计算输出船舶目标的坐标和置信度。

进一步地，所述步骤S4中，利用交叉熵损失作为分类损失和置信度损失，CIoULoss损失作为边框回归损失。

再进一步地，所述步骤S4中，利用梯度反向传播算法对YOLOv4网络进行训练。

具体地，所述步骤S4包括以下步骤：

S401:分别计算预测目标与真实目标的分类损失L_cls、边框回归损失L_reg和置信度损失L_obj，并按照如下公式计算网络的联合损失L：

L＝L_cls+L_obj+L_reg；

S402、对YOLOv4网络进行训练，经过12轮遍历后，确定模型参数，得到用于船舶目标检测的检测模型。

具体地，所述步骤S5包括以下步骤：

S501、对采集的视频流进行解码，获取实时图像数据；

S502、将图像的尺寸调整为640×640并输入到步骤S4训练后的检测网络模型中，得到检测框及对应的船舶类别；

S503、根据图像的缩放比例将检测框调整到原始图像的尺寸，在原始图像上，用颜色框标示出船只位置，并标记船舶的类别，展示图像并保存。

与现有技术相比，本发明具有以下有益效果：

本发明基于YOLOv4基础检测网络，在骨干网络中融合可变形卷积进行自适应深度特征提取，能有效降低背景特征信息的影响，避免过多的噪声影响，从而显著提升船舶的定位精度。而解耦预测网络利用并行分支分别预测检测框的位置和类别，增强了网络的特征解码和预测能力，同时多分支预测提升了网络的梯度反向传播效率，有利于网络的收敛。如此一来，通过YOLOv4+自适应深度特征提取+具有两个并行分支的解耦预测头的深度配合，本发明只需将采集的船舶视频图像数据输入训练后的网络，即高时效、高精度地实现视频航行的船只检测及实时结果的可视化展示，进而为改善水上交通状况以及实现有序的运输管理提供了重要的保障。

附图说明

图1为本发明-实施例的流程示意图。

图2为本发明-实施例的架构示意图。

图3为本发明-实施例中骨干网络的残差连接网络结构示意图。

图4为本发明-实施例中多任务解耦预测网络结构示意图。

具体实施方式

下面结合附图说明和实施例对本发明作进一步说明，本发明的实施包含但不限于以下实施例。

实施例

本实施例提供了一种利用深度学习的船舶目标检测方法，能实现视频航行的船只检测及实时结果的可视化展示，并具有视频图像监视应用中船只检测精度高、时效性好的特点。本实施例的总体流程主要包含构建指定范围内的船舶数据集，DCN提取船舶目标特征，解耦预测头计算船舶坐标、类别和置信度，计算多任务联合损失并反向传播训练网络，模型测试与检测结果可视化几大环节，具体如下所述(如图1所示)：

一、构建指定范围内的船舶数据集

在本实施例中，主要是利用航道监测球机摄像头采集船舶视频数据，然后将视频切片保存为图像，并利用Labelme软件进行手工标注，最终构建船舶数据集，其过程如下：

(1)在港口架设摄像头，获取若干段船舶视频，然后利用opencv(跨平台计算机视觉和机器学习软件库)读取视频并抽帧保存(每间隔8帧保存1帧)，获得200k张图像，筛除模糊、无目标的无效图像，获得7k的图像数据，图像尺寸为1920*1080；

(2)在Labelme标注软件中导入图像数据，手工勾画船舶目标的最小外接正矩形框，并选择对应的类别，完成检测目标标注；Labelme是由麻省理工的计算机科学和人工智能实验室研发的图像标注工具，可用于创建定制化标注任务或执行图像标注；

(3)随机划分5000张作为训练集，2000张作为测试集，最终构建目标检测标准数据集。

二、DCN提取船舶目标特征

在本实施例中，主要是将图像特征图输入到残差网络中，并利用1×1卷积预测特征采样点的坐标偏移offset，然后将输入特征图与offset送入YOLOv4的骨干网络CSPDarknet53-DCN中进行自适应特征提取操作，输出多层语义特征图，具体过程如下：

(1)在残差块网络中，对输入特征图Input(H×W×C)，连接一个标准3×3卷积Conv(3×3×S)进行特征提取，得到形状为H×W×S的特征图；

(2)将得到的特征图(H×W×S)送入到左分支中，首先采用1×1卷积降低特征图通道数(H×W×S/2)；然后串联K个相同的Residual network，在残差网络中，利用1×1卷积计算特征图的坐标偏移图offset，再将特征图与offset送入DCN卷积算子中提取偏移坐标处的语义特征；最后Residual network的输出特征图接一个1×1卷积，输出H×W×S/2的特征图；

(3)将(1)中得到的特征图(H×W×S)送入到右分支中，该分支只包含一个1×1卷积，用于降低特征通道数，输出形状为H×W×S/2的特征图；

(4)将(2)和(3)的输出特征图进行通道拼接操作，再接一个1×1卷积对拼接后的特征图进行融合，输出形状为H×W×S的特征图。

上述整个流程的构架如图2所示，骨干网络的残差连接网络结构如图3所示。

三、解耦预测头计算船舶坐标、类别和置信度

在本实施例中，主要是利用具有两个并行分支的解耦预测结构的卷积神经网络，对输入的特征图进行计算，上分支输出船舶的类别，下分支输出目标的位置坐标和置信度，其过程为：基于多分支解耦结构的预测网络，将输入特征图送入卷积预测网络中，其中，上分支只包含一个1×1卷积，且卷积的个数为船舶的类别数C，计算输出船舶目标的类别；下分支只包含一个1×1卷积，且卷积的个数设置为5，计算输出船舶目标的坐标和置信度。

四、计算多任务联合损失并反向传播训练网络

本实施例中，在计算多任务联合损失并反向传播训练网络时，首先利用交叉熵损失作为分类损失和置信度损失，CIoU Loss损失作为边框回归损失，并计算联合损失；然后在构建的船舶数据集上，利用梯度反向传播算法对YOLOv4网络进行训练，确定网络的参数，最终得到水上船舶检测模型。多任务解耦预测网络结构如图4所示。

具体如下：

(1)分别计算预测目标与真实目标的分类损失L_cls、边框回归损失L_reg和置信度损失L_obj，并按照如下公式计算网络的联合损失L：

L＝L_cls+L_obj+L_reg；

(2)对YOLOv4网络进行训练，经过12轮遍历后，确定模型参数，得到用于船舶目标检测的检测模型。

本实施例在针对数据集进行遍历训练上，每次迭代的输入为4张图片压缩的张量，即每轮的迭代次数为训练样本的张数除以4。整个12轮遍历中，前1000次迭代学习率从0.001到0.01线性变化，除第9轮和第11轮遍历训练样本的学习率为前一轮的1/10，后续迭代的学习率与前一次相同的。

五、模型测试与检测结果可视化

主要是利用训练后的检测模型，将采集的船舶视频数据输入检测网络中，输出检测结果，并在原始图像上可视化检测框与船舶类别，具体如下：

(1)对来自球机摄像头的视频流进行解码，获取实时图像数据；

(2)将图像的尺寸调整为640×640并输入到训练后的检测网络模型中，得到检测框及对应的船舶类别；

(3)根据图像的缩放比例将检测框调整到原始图像的尺寸，在原始图像上，用颜色框标示出船只位置，并标记船舶的类别，展示图像并保存。

效果验证：

在包含6种船舶共7000张船舶图像的SeaShip7000开源船舶检测数据集上，Faster-RCNN、YOLOv3及FCOS等现有主流目标检测方案的速度分别为40.4、50.1、35.4帧每秒，而本实施例方案达到了129.8帧每秒，效率远远高于三种现有的目标检测方案。与此同时，本实施例方案也以77.1mAP的精度超过了上述三种方案的73.1、67.3及71.5mAP。因此，本发明相比现有技术来说，技术进步十分明显，具有突出的实质性特点和显著的进步。

上述实施例仅为本发明的优选实施方式，不应当用于限制本发明的保护范围，凡在本发明的主体设计思想和精神上作出的毫无实质意义的改动或润色，其所解决的技术问题仍然与本发明一致的，均应当包含在本发明的保护范围之内。

Claims (8)

1.基于自适应特征提取与解耦预测头的船舶目标检测方法，其特征在于，包括以下步骤：

S1、构建指定范围内的船舶数据集；

S2、将图像特征图输入到残差网络中，并利用1×1卷积预测特征采样点的坐标偏移offset，然后将输入特征图与offset送入YOLOv4的骨干网络CSPDarknet53-DCN中进行自适应特征提取操作，输出多层语义特征图；该步骤包括以下步骤：

S201、在残差块网络中，对形状为H×W×C的输入特征图Input连接一个标准3×3卷积Conv进行特征提取，Conv的规格为3×3×S，得到形状为H×W×S的特征图；

S202、将步骤S201中得到的特征图送入到左分支中，采用1×1卷积将特征图通道数降低为H×W×S/2；

S203、串联K个相同的Residual network，在残差网络中，利用1×1卷积计算特征图的坐标偏移图offset；

S204、将特征图与offset送入DCN卷积算子中提取偏移坐标处的语义特征；

S205、将Residual network的输出特征图接一个1×1卷积，输出形状为H×W×S/2的特征图；

S206、将步骤S201中得到的特征图送入到右分支中，该分支只包含一个1×1卷积，用于降低特征通道数，输出形状为 H×W×S/2的特征图；

S207、将步骤S205和S206的输出特征图进行通道拼接操作，再接一个1×1卷积对拼接后的特征图进行融合，输出形状为 H×W×S的特征图；

S3、利用具有两个并行分支的解耦预测结构的卷积神经网络，对输入的特征图进行计算，上分支输出船舶的类别，下分支输出目标的位置坐标和置信度；

S4、分别设定分类损失、置信度损失、边框回归损失，并计算联合损失，然后在构建的船舶数据集上对YOLOv4网络进行训练，确定网络的参数，得到水上船舶检测模型；

S5、基于步骤S4中训练的检测模型，将采集的船舶视频数据输入检测网络中，输出检测结果，并在原始图像上可视化检测框与船舶类别。

2.根据权利要求1所述的基于自适应特征提取与解耦预测头的船舶目标检测方法，其特征在于，所述步骤S1包括以下步骤：

S101、在港口架设摄像头，获取若干段船舶视频，然后利用opencv读取视频并抽帧保存，获得至少200k张图像，筛除模糊、无目标的无效图像，获得7k的图像数据，图像尺寸为1920×1080；

S102、在Labelme标注软件中导入图像数据，手工勾画船舶目标的最小外接正矩形框，并选择对应的类别，完成检测目标标注；

S103、随机划分5000张作为训练集，2000张作为测试集，最终构建目标检测标准数据集。

3.根据权利要求2所述的基于自适应特征提取与解耦预测头的船舶目标检测方法，其特征在于，所述步骤S101中，每间隔8帧保存1帧。

4.根据权利要求1~3任一项所述的基于自适应特征提取与解耦预测头的船舶目标检测方法，其特征在于，所述步骤S3具体为：基于多分支解耦结构的预测网络，将输入特征图送入卷积预测网络中，其中，上分支只包含一个1×1卷积，且卷积的个数为船舶的类别数C，计算输出船舶目标的类别；下分支只包含一个1×1卷积，且卷积的个数设置为5，计算输出船舶目标的坐标和置信度。

5.根据权利要求4所述的基于自适应特征提取与解耦预测头的船舶目标检测方法，其特征在于，所述步骤S4中，利用交叉熵损失作为分类损失和置信度损失，CIoU Loss损失作为边框回归损失。

6.根据权利要求5所述的基于自适应特征提取与解耦预测头的船舶目标检测方法，其特征在于，所述步骤S4中，利用梯度反向传播算法对YOLOv4网络进行训练。

7.根据权利要求5或6所述的基于自适应特征提取与解耦预测头的船舶目标检测方法，其特征在于，所述步骤S4包括以下步骤：

S401、分别计算预测目标与真实目标的分类损失L _cls 、边框回归损失L _reg 和置信度损失L _obj ，并按照如下公式计算网络的联合损失L：

L = L _cls + L _obj + L _reg ；

S402、对YOLOv4网络进行训练，经过12轮遍历后，确定模型参数，得到用于船舶目标检测的检测模型。

8.根据权利要求7所述的基于自适应特征提取与解耦预测头的船舶目标检测方法，其特征在于，所述步骤S5包括以下步骤：

S501、对采集的视频流进行解码，获取实时图像数据；

S502、将图像的尺寸调整为640×640并输入到步骤S4训练后的检测网络模型中，得到检测框及对应的船舶类别；

S503、根据图像的缩放比例将检测框调整到原始图像的尺寸，在原始图像上，用颜色框标示出船只位置，并标记船舶的类别，展示图像并保存。