CN109784278A

CN109784278A - 基于深度学习的海上弱小运动船舶实时检测方法

Info

Publication number: CN109784278A
Application number: CN201910044089.4A
Authority: CN
Inventors: 周薇娜; 丁豪文
Original assignee: Shanghai Maritime University
Current assignee: Shanghai Maritime University
Priority date: 2019-01-17
Filing date: 2019-01-17
Publication date: 2019-05-21
Anticipated expiration: 2039-01-17
Also published as: CN109784278B

Abstract

本发明涉及基于深度学习的海上弱小运动船舶实时检测方法，步骤包含：步骤1、对海上监控系统视频中的图像进行目标检测处理；步骤2、对输入图像大小进行统一尺寸操作；步骤3、使用网络结构的第一部分来提取小目标特征；步骤4、对于提取到的特征，使用网络结构的第二部分的分类器对图像从浅层网络学习小目标的有效特征，再综合深层网络的位置信息，最终对小目标进行分类。所述网络结构为全卷积网络类型，且包含两个部分，第一部分的作用是提取目标的有效特征；第二部分的作用是检测目标并确定最终检测结果。

Description

基于深度学习的海上弱小运动船舶实时检测方法

技术领域

本发明属于目标检测跟踪技术，具体涉及在背景较为单一的RGB彩色图像和各类红外图像中对弱小目标的高效检测方法。

背景技术

目标检测是各种高级视觉任务的前提，在各类图像处理任务中应用广泛。现有的目标检测技术，如人脸检测、行人检测等已经有了非常成熟的应用方案，相对而言，在弱小运动船舶目标检测方面还没有十分成熟的应用方案。一般来说，弱小运动船舶目标检测主要应用于智能监控系统，由于监控系统的连续性和事态的突发性，人工监控不能时刻保持警惕，这样就容易出现疏忽，进而造成不可估量的损失，因此人们对基于视频图像的监控系统智能化的要求越来越迫切。而弱小目标的智能监控系统更是视觉信息处理任务中的重点和难点。由于弱小目标图像可利用信息少且易受噪声影响、海上复杂多变的天气环境造成视线受阻等原因，使得许多识别算法难以达到令人满意的识别结果，严重影响弱小目标检测系统的可靠性和实用性，因此海上弱小运动船舶实时检测这一研究课题具有重大的现实意义。

发明内容

本发明的目的是提供一种新的网络框架来更加准确又快速地对海上监控系统视频中的图像进行目标检测处理，尤其是提高对于小目标识别度，最终对小目标进行分类。

为了达到上述目的，本发明通过以下技术方案来实现。

一种引用SELU(Scaled Exponential Linear Units)激活函数的新的网络结构，基于YOLO(You Only Look Once)深度学习目标检测算法。具体的网络结构主体框架使用了YOLOv3算法，借鉴了YOLOv2的简单结构，选择性剔除冗余的残差网络结构，维护小目标的有效信息，以提高检测速度。

优选地，所述网络结构为全卷积网络类型，且包含两个部分，第一部分的作用是提取目标的有效特征；第二部分的作用是检测目标并确定最终检测结果；

所述网络框架的第一部分加入新的网络基本单元；

所述新的网络基本单元包含两个3*3卷积层和两个1*1卷积层；

第一3*3卷积层后连接第一1*1卷积层，以增加非线性而不改变卷积层的感受域；

所述第一1*1卷积层后再连接第二1*1的卷积层，以维护小目标的细节信息；

所述第二1*1卷积层后再连接第二3*3的卷积层，以形成3-1-1-3网络基本单元，且每个卷积层的输出部分加入SELU激活函数。

一种基于深度学习的海上弱小运动船舶实时检测方法，步骤包含：

步骤1、对海上监控系统视频中的图像进行目标检测处理；

步骤2、对输入图像大小进行统一尺寸操作；

步骤3、使用网络结构的第一部分来提取小目标特征；

步骤4、对于提取到的特征，使用网络结构的第二部分的分类器对图像从浅层网络学习小目标的有效特征，再综合深层网络的位置信息，最终对小目标进行分类。

优选地，所述的小目标是弱小船舶目标，且其像素大小为小于等于80×40像素。

优选地，网络结构的第一部分的SELU激活函数引入自归一化的属性，使神经元激励值自动地收敛到零均值和单位方差。

优选地，网络结构的第二部分使用多尺度预测策略。

优选地，所述步骤4的分类结果有三种表达形式，分别是目标的位置、类别和置信度。

优选地，所述步骤1中的海上监控系统视频图像包含RGB彩色图像、红外图像。

本发明针对海上弱小目标，综合了YOLOv2和v3的优点，然后在两个方面对YOLO算法进行了改进：a)针对性地减少网络层数，选择性剔除残差网络，并在浅层加入新的网络结构，提高对小目标检测能力，并显著提高检测速率；b)加入SELU激活函数，使模型训练收敛速度更快，对噪声更具鲁棒性。

附图说明

图1为本发明提出的新的网络框架示意图；

图2为本发明实现的多尺度预测示意图；

图3为本发明提出的网络基本单元图；

图4为本发明实现海上弱小运动船舶实时检测方法的流程图。

具体实施方式

为了使本发明实现的技术手段、创作特征、达成目的与功效易于明白了解，下面结合说明书附图，进一步阐述本发明，但本发明的实施方式不限于此。

本发明提出了一种引用SELU激活函数的新的网络结构，所述网络结构的主体框架基于YOLOv3算法，借鉴了YOLOv2的简单结构的选择性剔除冗余的残差网络结构，维护小目标的有效信息，以提高检测速度。如附图1所示，此算法结构为全卷积网络类型，其由8层卷积神经网络组成。此网络大致可分为两部分，第一部分为前5层网络，作用是提取目标的有效特征；第二部分为最后3层，即第6、7、8层，它们为检测层，其采用了如附图2所示的多尺度预测策略。

每个检测层通过3种尺寸的锚箱(Anchor)预测目标边界框坐标、目标置信度值和类别概率，最后比较9种尺寸的检测结果，使用非极大值抑制方法确定最终检测结果。其中，每一层使用K-means聚类算法来选择锚箱的大小，如表1所示。

表1 Anchor的宽度和高度表

此外本发明还在所述网络框架的第2、3、4层加入新的网络基本单元。如附图3所示，所述新的网络基本单元包含两个3*3卷积层和两个1*1卷积层；第一3*3卷积层后连接第一1*1卷积层，以增加非线性而不改变卷积层的感受域；所述第一1*1卷积层后再连接第二1*1的卷积层，以维护小目标的细节信息；所述第二1*1卷积层后再连接第二3*3的卷积层，以形成3-1-1-3网络基本单元，且每个卷积层的输出部分加入SELU激活函数。

进一步地，在本发明中网络结构的第一部分的SELU激活函数引入自归一化的属性，使神经元激励值自动地收敛到零均值和单位方差。

如附图4所示，本发明的基于上述网络框架来实现海上弱小运动船舶实时检测方法，其步骤包含：

步骤1、对海上监控系统视频中的图像进行目标检测处理；

步骤2、对输入图像大小统一成416×416像素大小；

步骤3、使用网络结构的第一部分来提取小目标特征，以提高网络框架对噪声的鲁棒，提高对小目标的分辨能力；所述的噪声包含：海岸线海天线、摄像头或传感器噪声、海天杂波噪声和天气影响噪声；

步骤4、对于提取到的特征，使用网络结构的第二部分的分类器对图像从浅层网络学习小目标的有效特征，再综合深层网络的位置信息，最终对小目标进行分类。所述的分类结果有三种表达形式，分别是目标的位置、类别和置信度。

本发明的海上监控系统视频图像包含RGB彩色图像、红外图像。且本发明所述的弱小船舶目标，要求能够在416×416像素大小的图像中检测到大小为80×40像素的船舶目标。

本发明所做实验的硬件配置为Intel i7 8700k处理器、NVIDIA TITAN XP显卡、64GB RAM的服务器，软件环境为Ubuntu16.04系统、Darknet框架。数据集来源于上海海事大学和Singapore Maritime Dataset(SMD)，训练集图片有280张，测试集图片有80张，总共360张船舶图像，所有数据标签都为发明人手工标注，具有很好的特性。

本发明在模型训练过程中使用的是随机梯度下降法，设定初始学习率为0.001，动量(momentum)为0.9，权重衰减(decay)为0.005，批大小(batchsize)为16，使用0.001的学习率迭代训练数据12 000次，然后再用0.000 1的学习率迭代到18 000次，最后用0.000 01的学习率迭代到21 000次。正负样本的IOU(Intersection-Over-Union)设置为0.5，即大于此阈值就设定为正样本，否则设定为负样本。

mAP(Mean Average Precision)反映目标检测精度。公式1和公式2为mAP的计算公式，其中AP(Average Precision)表示单一类别的检测精度；R表示数据集中某个类别所有目标的数量；n表示数据集中所有目标的数量；j表示目标的序号，若与真实值相关，I_j为1，否则I_j为0；而R_j是前j个目标中相关目标的数量。q表示某一类别；Q_R表示总的类别数量。mAP值介于0～1之间，值越大表示该算法的检测精度越高。

将本发明与目前流行的几种目标检测算法进行对比。如表2所示，本发明的检测算法拥有最高的检测精确度，虽然YOLOv2和YOLO-tiny的检测速率快，但其检测精度较低，实用性较差。FPS(Frame per second)为每秒的检测帧数，代表目标检测速度。

表2 检测算法对比

综上所述，本发明公开了一种海上弱小目标的高效检测方法，可以用于RGB彩色图像或红外图像的海上监控场景。该方法加入了3-1-1-3网络基本单元，并将其嵌入到卷积神经网络中的适当位置，提高对小目标的分辨能力；此外本发明还在网络结构中用SELU激活函数。实验结果表明，本文提出的算法(Ours)在小目标检测方面相对于原YOLO检测算法表现更为优异，且实时性更强。

以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。本发明要求保护范围由所附的权利要求书及其等效物界定。

Claims

1.一种引用SELU激活函数的新的网络结构，其特征在于，网络结构为全卷积网络类型，且包含两个部分，第一部分的作用是提取目标的有效特征；第二部分的作用是检测目标并确定最终检测结果；

所述网络框架的第一部分加入新的网络基本单元；

所述新的网络基本单元包含两个3*3卷积层和两个1*1卷积层；

2.一种基于深度学习的海上弱小运动船舶实时检测方法，其特征在于，步骤包含：

步骤1、对海上监控系统视频中的图像进行目标检测处理；

步骤2、对输入图像大小进行统一尺寸操作；

步骤3、使用如权利要求1所述的网络结构的第一部分来提取小目标特征；

步骤4、对于提取到的特征，使用如权利要求1所述的网络结构的第二部分的分类器对图像从浅层网络学习小目标的有效特征，再综合深层网络的位置信息，最终对小目标进行分类。

3.如权利要求2所述的基于深度学习的海上弱小运动船舶实时检测方法，其特征在于，所述的小目标是弱小船舶目标，且其像素大小为小于等于80×40像素。

4.如权利要求2所述的基于深度学习的海上弱小运动船舶实时检测方法，其特征在于，网络结构的第一部分的SELU激活函数引入自归一化的属性，使神经元激励值自动地收敛到零均值和单位方差。

5.如权利要求2所述的基于深度学习的海上弱小运动船舶实时检测方法，其特征在于，网络结构的第二部分使用多尺度预测策略。

6.如权利要求2所述的基于深度学习的海上弱小运动船舶实时检测方法，其特征在于，所述步骤4的分类结果有三种表达形式，分别是目标的位置、类别和置信度。

7.如权利要求2-6任一项所述的基于深度学习的海上弱小运动船舶实时检测方法，其特征在于，所述步骤1中的海上监控系统视频图像包含RGB彩色图像、红外图像。