CN112464883A

CN112464883A - 一种自然场景下船舶目标自动检测识别方法与系统

Info

Publication number: CN112464883A
Application number: CN202011460723.1A
Authority: CN
Inventors: 米勇; 曾祥进; 郑安义; 邓晨; 宋彭彭
Original assignee: Wuhan Institute of Technology
Current assignee: Wuhan Institute of Technology
Priority date: 2020-12-11
Filing date: 2020-12-11
Publication date: 2021-03-09
Anticipated expiration: 2040-12-11
Also published as: CN112464883B

Abstract

本发明公开了一种自然场景下船舶目标自动检测识别方法，包括以下步骤：采集船舶目标视频流信息，分帧读取船舶目标视频流信息，去除其中的杂点生成目标图像；对目标图像进行数据增强，生成增强图像，丰富训练数据集的数据；构建深度学习多尺度特征融合网络，将训练数据集的数据传入深度学习网络进行模型训练，生成训练模型；根据训练模型对船舶目标视频流实时检测，在船舶目标视频流中自动标记船舶目标。本发明适用于多场景的船舶目标自动检测识别，在夜晚、雨雪、大雾等天气条件下检测精度较高，对不同类型的大小船舶检测效果好有效解决目标漏检问题，提升了检测准确率，抗干扰能力强，鲁棒性好，能实现复杂环境下的船舶高精度实时检测。

Description

一种自然场景下船舶目标自动检测识别方法与系统

技术领域

本发明属于图像处理及模式识别领域，尤其涉及到一种自然场景下船舶目标自动检测识别方法与系统。

背景技术

随着国内水上交通事业的发展，水上交通安全也得到了各方面的重视，能实时准确识别检测船舶的类型和位置对船舶安全航行具有重要意义。在对船舶进行检测过程中，面临着船舶目标的尺度大小、岸边背景特征复杂以及天气干扰等问题，能实时准确的检测船舶目标具有很大的挑战。

传统的目标检测方法首先要获取目标物体的轮廓，然后在对轮廓区域的图像进行分类。对于实时检测的物体可以使用背景差分法和背景建模法提取目标物体轮廓区域，在进行分类时使用SIFT，HOG等人工设计特征，通过支持向量机(SVM)等分类器达到分类效果。由于在实际检测时水面的波纹以及船舶速度等均会对目标物体区域的提取造成干扰，同时人工设计的特征提取器在尺度、旋转和噪声等情况下鲁棒性较弱，从而使模型在实际检测过程中效果较差，不具有普适性。

发明内容

本发明的目的在于，提供一种自然场景下船舶目标自动检测识别算法，能够克服自然场景下船舶目标背景复杂、船舶目标尺度变化大以及环境光照变化的影响，实时检测船舶并分辨船舶类型。

为解决上述技术问题，本发明的技术方案为：

一种自然场景下船舶目标自动检测识别方法，包括以下步骤：

S1、采集船舶目标视频流信息，分帧读取船舶目标视频流信息；

S2、对目标图像进行数据增强，生成增强图像，丰富训练数据集的数据；

S3、构建深度学习多尺度特征融合网络，将训练数据集的数据传入深度学习网络进行模型训练，生成训练模型；

S4、根据训练模型对船舶目标视频流实时检测，在船舶目标视频流中自动标记船舶目标。

进一步地，所述S2中图像增强方法包括图像缩放、图像平移、图像加雾处理、图像低照度调整和图像拼接。

进一步地，所述S2中构建多尺度模型的方法具体为：

在YOLOv3网络结构基础上构建4层检测模块，分别包含32倍，16倍，8倍，4倍下采样特征图；

加入特征融合机制，通过Darknet-53网络进行特征提取后并经过几次卷积得到32倍粗尺度特征图，32倍粗尺度特征图进行上采样并将其与第四个残差块的输出拼接起来得到16倍特征图，16倍特征图进行上采样并将其与第三个残差块的输出拼接起来得到8倍特征图，8倍特征图进行上采样并将其与第二个残差块的输出拼接起来得到4倍特征图；

形成尺度分别为13x13，26x26，52x52，104x104的4个尺度特征图，分别对应大，中，小，特小目标的检测。

进一步地，所述S3具体为：

S3.1、使用GIoU计算预测框坐标回归损失，其公式如下，

为目标框和真实框最小外包面积，为目标框和真实框覆盖的总面积，当IoU值为0时，GIoU的值依然存在，且C会根据目标框和真实框的变化而变化；

使用GIoU计算初步损失L_GIoU，其公式如下，

L_GIoU＝1-GIoU；

使用Focal loss损失函数代替YOLOv3中的置信度损失函数和类别损失函数，Focal损失是在交叉熵损失的基础上修改而来，其公式如下，

FL(p,y)＝-αy(1-p)^γlog(p)-(1-α)(1-y)p^γlog(1-p)

其中，p为网络输出值，y为实际标签值，γ为控制难易样本参数，γ始终大于0，α为控制正负样本参数；当p越大时，(1-p)^γ越小，损失越小；

改进后的损失函数使用GIoU损失作为预测框坐标回归损失，使用Focal loss损失函数作为置信度损失函数和类别损失函数以得到精度更高的最终损失Loss，其公式如下，

S3.2、采用DBSCAN和K-means混合聚类算法对训练数据进行聚类分析，通过DBSCAN方法得聚类的个数和每个类的中心点，然后将中心点作为K-Means的起始点，利用K-Means算法获得最终的先验框；

S3.3、生成训练模型，进行迭代训练更新参数，设置迭代次数500，学习率步长为0.001。

一种用于实现如上述的自然场景下船舶目标自动检测识别方法的系统，包括采集模块，增强模块，训练模块和检测模块；其中，

所述采集模块，用于采集船舶目标视频流信息，分帧读取船舶目标视频流信息，去除其中的杂点生成目标图像；

所述增强模块，用于对目标图像进行数据增强，生成增强图像，丰富训练数据集的数据；

所述训练模块，用于构建深度学习多尺度特征融合网络，将训练数据集的数据传入深度学习网络进行模型训练，生成训练模型；

所述检测模块，用于根据训练模型对船舶目标视频流实时检测，在船舶目标视频流中自动标记船舶目标。

进一步地，所述增强模块中的图像增强方法包括图像缩放、图像平移、图像加雾处理、图像低照度调整和图像拼接。

进一步地，所述增强模块中的构建多尺度模型的方法具体为：

进一步地，所述训练模块中生成训练模型的步骤如下：

使用GIoU计算预测框坐标回归损失，其公式如下，

使用GIoU计算初步损失L_GIoU，其公式如下，

L_GIoU＝1-GIoU；

FL(p,y)＝-αy(1-p)^γlog(p)-(1-α)(1-y)p^γlog(1-p)

采用DBSCAN和K-means混合聚类算法对训练数据进行聚类分析，通过DBSCAN方法得聚类的个数和每个类的中心点，然后将中心点作为K-Means的起始点，利用K-Means算法获得最终的先验框；

生成训练模型，进行迭代训练更新参数，设置迭代次数500，学习率步长为0.001。

一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现任一项所述方法的步骤。

与现有技术相比，本发明的有益效果为：

本发明适用于各个场景的船舶目标自动检测识别，在夜晚、雨雪以及大雾等天气条件下检测精度较高，同时本发明对不同类型的大小船舶检测效果好有效解决目标漏检问题，大大提升检测准确率，抗干扰能力强，鲁棒性好，能实现复杂环境下的船舶高精度实时检测。

附图说明

图1为本发明实施例的流程图；

图2为本发明实施例中训练网络结构图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

如图1所示，本发明一种自然场景下船舶目标自动检测识别方法按照以下方式进行：

步骤1：在监控视频下，获取船舶目标图像，共获取7000张船舶目标图像，分辨率均为1920x1080，共包含6个船舶类型，包括矿砂船、散装货船、普通货船、集装箱船、渔船、客船。对原始数据进行数据增强操作，主要包括以下几种方法：(1)缩放：将图像按照比例随机放大或缩小。(2)平移：将图像在水平或竖直方向随机平移。(3)模糊处理：将图片进行加雾处理，达到模糊效果。(4)低照度调整；降低图像的灰度值，达到变暗的效果。(5)拼接：将图像随机裁剪，多张图片裁剪后拼接成一幅图像。

步骤2：在YOLOv3网络在原始网络结构基础上构建4层检测模块，包含32倍，16倍，8倍，4倍下采样特征图，尺度扩大后，网络能提取更完备的大小目标特征。在构建多尺度特征图时，加入特征融合机制，通过Darknet-53网络进行特征提取后并经过几次卷积得到32倍粗尺度特征图，32倍粗尺度特征图进行上采样并将其与第四个残差块的输出拼接起来得到16倍特征图，16倍特征图进行上采样并将其与第三个残差块的输出拼接起来得到8倍特征图，8倍特征图进行上采样并将其与第二个残差块的输出拼接起来得到4倍特征图。最终模型形成13x13，26x26，52x52，104x104这4个尺度特征图，分别对应大，中，小，特小目标的检测。改进后的算法结构如图2所示。

步骤3：使用均方误差损失函数作为回归预测损失会造成两个检测框的损失值一致，但是效果却区别很大，本发明使用GIoU来计算预测框坐标回归损失，其公式如下，

为目标框和真实框最小外包面积，为目标框和真实框覆盖的总面积，当IoU值为0时，GIoU的值依然存在，且C会根据目标框和真实框的变化而变化，从而很好解决直接使用IoU计算损失函数的问题。GIoU来计算损失函数的公式如下，

L_GIoU＝1-GIoU

在船舶目标检测过程中受到复杂背景的影响，会存在大量的难分样本，使用交叉熵损失函数会使各个样本的权重一样，占总的损失值中多的是容易分的样本，因此模型优化的方向并不是我们所希望的那样。为了提高模型检测的准确率，使用Focal loss损失函数代替YOLOv3中的置信度损失函数和类别损失函数。Focal损失是在交叉熵损失的基础上修改而来，其公式如下，

FL(p,y)＝-αy(1-p)^γlog(p)-(1-α)(1-y)p^γlog(1-p)

其中，p为网络输出值，y为实际标签值，γ为控制难易样本参数，γ始终大于0，α为控制正负样本参数。当p越大时，(1-p)^γ越小，从而减少了大概率目标的损失贡献，加强了网络对难分目标的学习。改进后的网络损失函数如下式，

改进后的损失函数使用GIoU损失作为预测框坐标回归损失，使用Focal loss损失函数代替YOLOv3中的置信度损失函数和类别损失函数，解决了目标定位精度不高和背景干扰问题，提高了网络检测的准确率。

步骤4：采用DBSCAN和K-means混合聚类算法对训练数据进行聚类分析。通过DBSCAN方法得聚类的个数和每个类的中心点，然后将中心点作为K-Means的起始点，利用K-Means算法获得最终的先验框。

步骤5：经过上述步骤后，可以进行迭代训练更新参数，设置迭代次数500，学习率步长为0.001。训练完成后，使用该模型进行实时检测。

还提供一种用于实现如上述的自然场景下船舶目标自动检测识别方法的系统，包括采集模块，增强模块，训练模块和检测模块；其中，

需要指出，根据实施的需要，可将本申请中描述的各个步骤/部件拆分为更多步骤/部件，也可将两个或多个步骤/部件或者步骤/部件的部分操作组合成新的步骤/部件，以实现本发明的目的。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims

1.一种自然场景下船舶目标自动检测识别方法，其特征在于，包括以下步骤：

2.根据权利要求1所述的方法，其特征在于，所述S2中图像增强方法包括图像缩放、图像平移、图像加雾处理、图像低照度调整和图像拼接。

3.根据权利要求1所述的方法，其特征在于，所述S3中构建多尺度模型的方法具体为：

4.根据权利要求1所述的方法，其特征在于，所述S3具体为：

S3.1、使用GIoU计算预测框坐标回归损失，其公式如下，

使用GIoU计算初步损失L_GIoU，其公式如下，

L_GIoU＝1-GIoU；

FL(p,y)＝-αy(1-p)^γlog(p)-(1-α)(1-y)p^γlog(1-p)

5.一种用于实现如权利要求1所述的自然场景下船舶目标自动检测识别方法的系统，其特征在于，包括采集模块，增强模块，训练模块和检测模块；其中，

6.根据权利要求5所述的系统，其特征在于，所述增强模块中的图像增强方法包括图像缩放、图像平移、图像加雾处理、图像低照度调整和图像拼接。

7.根据权利要求5所述的系统，其特征在于，所述训练模块中的构建多尺度模型的方法具体为：

8.根据权利要求5所述的系统，其特征在于，所述训练模块中生成训练模型的步骤如下：

使用GIoU计算预测框坐标回归损失，其公式如下，

使用GIoU计算初步损失L_GIoU，其公式如下，

L_GIoU＝1-GIoU；

FL(p,y)＝-αy(1-p)^γlog(p)-(1-α)(1-y)p^γlog(1-p)

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4任一项所述方法的步骤。