CN109299688A

CN109299688A - 基于可变形快速卷积神经网络的舰船检测方法

Info

Publication number: CN109299688A
Application number: CN201811094792.8A
Authority: CN
Inventors: 曲延云; 张怡晨; 丁瑶; 陈蓉; 李翠华
Original assignee: Xiamen University
Current assignee: Xiamen University
Priority date: 2018-09-19
Filing date: 2018-09-19
Publication date: 2019-02-01
Anticipated expiration: 2038-09-19
Also published as: CN109299688B

Abstract

基于可变形快速卷积神经网络的舰船检测方法，涉及图像处理。检测方法包括模型训练阶段和舰船检测阶段。可用于民用领域，代替人工实时地对特定港口、港湾、海域对船只进行分类检测，可用于视频监控或图像中的船只检测，也可以对军事港口进行船只检测监控，能及早发现军事情报，为我方军事指挥提供作战依据，掌握战场主动权。通过对兼顾速度和准确度的端到端方法Faster R‑CNN的改进，根据舰船目标的特有性质，对Faster R‑CNN基础网络、RoI‑wise子网络和损失函数进行修改，得到可变形快速卷积神经网络的检测网络的模型结构，实验结果显示，比原Faster R‑CNN方法具有更好的检测速度和精度。

Description

基于可变形快速卷积神经网络的舰船检测方法

技术领域

本发明涉及图像处理，尤其是涉及基于可变形快速卷积神经网络的舰船检测方法。

背景技术

海面舰船目标检测属于通用目标检测的特殊场景，是从复杂的海岸及海洋背景中找到目标并对目标进行定位的过程，具有十分广泛的应用前景和使用价值。

近年来，针对光学图像的舰船目标检测算法研究，国内外许多学者已经做了大量的工作。大致可以分为基于分类学习、特征判别、霍夫投票等检测算法。但该类方法通常对光照变化、拍摄角度、边缘噪声等比较敏感，容易造成虚警，算法鲁棒性不强。

深度学习是当前主流的机器学习方法之一，在计算机视觉领域取得了巨大的成功，但深度学习应用在舰船检测方面的算法的研究较少。

卷积神经网络相关的检测算法系列有：R-CNN^[4]、Fast R-CNN^[5]、Faster R-CNN^[7]等，它们都是理论与实践相结合的经典方法。首先是R-CNN，是深度学习用于目标检测的开山之作，其算法的核心思想是首先使用选择性搜索(Selective Search)算法提取候选区域，而后对每一个候选区域对应的图像块分别使用卷积神经网络(AlexNet)提取相应的特征，最后接上一个分类器对该区域是否包含目标进行分类预测。但R-CNN方法的检测速度却被广为诟病，其主要原因是对所有的候选区域进行特征提取时存在大量的重复计算。FastR-CNN是对R-CNN的改进，其提出了一种叫感兴趣区域池化(RoI pooling)的算法来解决上述问题。感兴趣区域池化可以把不同尺寸大小的感兴趣区域池化成一个固定大小的特征图，从而极大地提升了Fast R-CNN的检测效率。在Fast R-CNN之后的问题就是如何把感兴趣候选区域生成部分也放入GPU计算，于是Faster R-CNN提出了区域生成网络(RegionProposal Network，RPN)用来生成候选区域，使得R-CNN系列的检测速度得到了极大的提升，并且是一个端到端的目标检测系统。

上述这些方法虽然能够有效地检测出视频或图像中的大部分的舰船，但是在速度、准确度以及尺寸较小的目标的检测上仍有比较大的提升空间。

参考文献：

[1]Dai J,Qi H,Xiong Y,et al.Deformable convolutional networks[J].CoRR,abs/1703.06211,2017,1(2):3.

[2]Lin T,Goyal P,Girshick R,et al.Focal loss for dense objectdetection[J].arXiv preprint arXiv:1708.02002,2017.

[3]He K,Zhang X,Ren S,et al.Deep residual learning for imagerecognition:Proceedings of the IEEE conference on computer vision and patternrecognition,2016[C].

[4]Girshick R.Fast R-CNN:IEEE International Conference on ComputerVision,2015[C].

[5]Girshick R,Donahue J,Darrell T,et al.Rich feature hierarchies foraccurate object detection and semantic segmentation:Proceedings of the IEEEconference on computer vision and pattern recognition,2014[C].

[6]http://www.datafountain.cn/projects/2017CCF/.

[7]Ren S,He K,Girshick R,et al.Faster r-cnn:Towards real-time objectdetection with region proposal networks:Advances in neural informationprocessing systems,2015[C].

[8]Kingma D,Ba J.Adam:A Method for Stochastic Optimization[J].Computer Science,2014.

[9]Everingham M,Gool L V,Williams C K I,et al.The Pascal,VisualObject Classes(VOC)Challenge[J].International Journal of Computer Vision,2010,88(2):303-338.

[10]Lin T Y,Maire M,Belongie S,et al.Microsoft COCO:Common objects incontext[M]//Computer Vision–ECCV 2014.Springer International Publishing,2014:740-755.

发明内容

本发明的目的在于针对上述现有技术的不足，提供在复杂的海面图像中准确并快速地检测出舰船目标的基于可变形快速卷积神经网络的舰船检测方法。

本发明包括以下步骤：

1)模型训练阶段。

在步骤1)中，所述模型训练阶段可包括：

(1)数据集采集，并对采集到的数据集进行筛选，得到训练集图像。将训练集中的每张图像都缩放到1024×1024大小，形成最终的训练数据集；

(2)设计可变形快速卷积神经网络的检测网络的模型结构；

(3)将1024×1024尺度下的训练数据输入可变形快速卷积神经网络中进行训练，可变形快速卷积神经网络的网络优化算法使用Adam(adaptive moment estimation)^[8]算法，主要的训练参数设置如下：初始学习率α＝0.0001、学习动量momentum＝0.9和权值衰减weight_decay＝0.0005，每次训练的批处理量batch_size＝128。

在步骤1)第(1)部分中，所述数据集进行筛选的具体步骤如下：

(a)原始的数据集中存在着大量的空矩形框标注问题，所述空矩形框标注问题为一个点、一条线、长宽比大于1︰20、面积小于280等，使用先验统计信息对空标现象进行去除；

(b)解决类别不平衡问题，从所有未标注的图像中人工筛选出1000～3000张图像进行人工标注，其中每一张图像中所包含的游轮游艇的数量占到图像中总船数的70％以上；

(c)对数据集中出现的多种天气状况进行整理，确保数据集图像包含晴天、薄雾、云天等天气情况。

在步骤1)第(2)部分中，所述设计可变形快速卷积神经网络的检测网络的模型结构的具体步骤如下：

(a)将分类器的类别数设置为货船类、游艇类、游轮类和背景类等4大类，即将特定的矩形包围框(Bounding Box)是某类别的置信度替换为该矩形包围框是货船、游艇、游轮的置信度；

(b)修改Faster R-CNN的基础网络部分，将深度卷积网络ResNet-101^[3]中的res5a_branch2b、res5b_branch2b和res5c_branch2b这三个卷积层的卷积方式从常规卷积改变为可变形卷积和空洞卷积，并将res5a_branch1和res5a_branch2a的卷积核步长由2变为1；

(c)修改Faster R-CNN中的RoI-wise子网络，将感兴趣区域池化层(RoI poolingLayer)的位置调整为第五组卷积模块之后，并将原始的矩形感兴趣区域池化(RoIpooling)将替换为可变形感兴趣区域池化(deformable RoI pooling)，对RoI-wise子网络中的全连接层的维度由原始的4096维修改为1024维。

2)舰船检测阶段。

在步骤2)中，所述舰船检测阶段可包括：

(1)输入一张待检测的图像X，并将图像X缩放到1024×1024大小；

(2)将图像X输入步骤1)第(3)部分训练好的可变形快速卷积神经网络并运行，得到网络预测出的矩形区域；

(3)将预测出的矩形区域使用置信分数衰减的非极大值抑制算法进行后处理，得到最终的检测结果，即舰船所在的矩形区域。

在步骤2)第(3)部分中，所述将预测出的矩形区域使用置信分数衰减的非极大值抑制算法进行后处理，得到最终的舰船矩形区域的具体方法为：

(a)输入可变形快速卷积神经网络预测出的矩形区域；

(b)将所有预测出的矩形区域按照置信分数进行降序排列；

(c)计算每两个矩形区域box_i和box_j的交并比(Jaccard Overlap)，其中矩形A和矩形B的交并比指的是矩形A和矩形B相交区域的面积与包含矩形A和矩形B的最小外接矩形面积的比值，即：

Overlap(i,j)＝JaccardOverlap(box_i,box_j)

(d)对于Overlap(i,j)≥α,α＝0.4的矩形，对置信分数较低的矩形框进一步降低其置信分数，在更新得分后的矩形区域集合中，删除置信分数低于阈值θ＜0.5的矩形区域，剩余的矩形区域即为舰船的检测区域，算法流程如下：

①算法输入：

1.1 B_in：初始状态的检测框集合，B_in＝{b₁,...,b_N}；

1.2 S：检测框的置信分数，S＝{s₁,...,s_N}；

1.3 N：输入的检测框个数；

1.4 b_k：每个检测框，b_k包含四个数值[cx,cy,w,h]，(cx,cy)表示b_k的中心点坐标，w表示b_k的宽度，h表示b_k的高度；

1.5置信分数阈值θ；

1.6非极大值抑制(NMS，Non-maximum suppression)阈值N_t；

②算法流程：

1、for each s_i in S

2、if s_i＜θ

3、B_in＝B_in-b_i

4、begin

5、B_out←{}

6、while B_in≠empty do

7、m←argmax(S)

8、M←b_m

9、B_out←B_outUM；B_in←B_in-M

10、for b_i in B_out do

11、if IoU(M,b_i)＞N_t then

12、s_i←s_if(JaccardOverlap(M,b_i))

13、return B_out,S

14、end

其中，s_i为：

③算法输出：

B_out：检测结果集合，初始状态的B_out＝{}。

本发明可用于民用领域，代替人工实时地对特定港口、港湾、海域对船只进行分类检测，可用于视频监控或图像中的船只检测，本发明也可以对军事港口进行船只检测监控，能及早发现军事情报，为我方军事指挥提供作战依据，掌握战场主动权。

本发明的技术方案是通过对兼顾速度和准确度的端到端方法Faster R-CNN的改进，根据舰船目标的特有性质，对Faster R-CNN基础网络、RoI-wise子网络和损失函数进行修改，得到可变形快速卷积神经网络的检测网络的模型结构，实验结果显示，比原FasterR-CNN方法具有更好的检测速度和精度。

与现有的舰船检测技术相比，本发明具有以下突出优点：

1、第一，本发明针对舰船目标固有特征将可变形卷积算法^[1]引入检测过程，增强了卷积神经网络对于舰船目标特征提取的能力，对ResNet-101^[3]基础网络最后一个模块的卷积核步长进行了调整，提升了ResNet-101基础网络输出特征图的分辨率，提升小尺寸舰船目标的检测效果。第二，对RoI-wise子网络在检测框架中的位置进行了调整，将感兴趣区域池化替换为可变形感兴趣区域池化(deformable RoI pooling)，并对RoI-wise子网络中的全连接层进行修改，加快舰船目标检测的速度。第三，使用本发明提出的置信分数衰减的非极大值抑制算法(Decay-NMS)进行后处理，同时将可变形快速卷积神经网络的分类损失函数替换为Focal Loss^[2]，进一步加强了检测效果。

2、本发明与现有的其他舰船检测方法相比，改进了舰船检测的性能，在本发明的数据库上mAP(mean Average Precision)^[9,10]达到了93.30％，单尺度检测上速度为每张图像75ms，在性能和准确率上都超过了当前其他方法。

附图说明

图1为本发明实施例的流程图；

图2为本发明实施例的三种天气情况下的部分检测结果图。在图2中，图(a)为晴天，图(b)为薄雾，图(c)为云天。

具体实施方式

以下结合附图对本发明的实施示例及效果作详细描述。

参照图1，本发明的实施步骤如下：

步骤1，获取训练集图像。

现有的舰船检测方法训练集图像来自中国计算机协会(CCF)^[6]提供的比赛数据，该数据集包含了不同光照、不同拍摄角度、不同天气等各种场景，舰船多数为小目标，且背景复杂，包括港口、海岛、海面干扰船只等，具体过程为：

数据集采集阶段，并对采集到的数据集进行筛选得到训练集图像，将上述训练集中的每张图像都缩放到1024×1024大小，形成最终的训练数据集；

步骤2，修改原始Faster R-CNN网络中的设置，设计适合舰船检测的可变形快速卷积神经网络，具体过程为：

(1)将分类器的类别数设置为C＝4，替代原来的C＝21，即设置货船、游艇、游轮、背景四种类别。

(2)修改Faster R-CNN的基础网络部分，将深度卷积网络ResNet-101[3]中的res5a_branch2b、res5b_branch2b和res5c_branch2b这三个卷积层的卷积方式从常规卷积改变为可变形卷积和空洞卷积，并将res5a_branch1和res5a_branch2a的卷积核步长从2变为1。

(3)修改Faster R-CNN中的RoI-wise子网络，将感兴趣区域池化层(RoI poolingLayer)的位置调整为第五组卷积模块之后，并将原始的矩形感兴趣区域池化(RoIpooling)将替换为可变形感兴趣区域池化(deformable RoI pooling)，对RoI-wise子网络中的全连接层的维度由原始的4096维修改为1024维。

步骤3，将1024×1024尺度下的训练数据输入可变形快速卷积神经网络中进行训练，可变形快速卷积神经网络的网络优化算法使用Adam(adaptive moment estimation)^[8]算法，主要的训练参数设置如下：初始学习率α＝0.0001、学习动量momentum＝0.9和权值衰减weight_decay＝0.0005，每次训练的批处理量batch_size＝128。；

步骤4，获得一张用来做舰船检测的图像X，可以从网络上下载或者生活中拍摄得到，并将图像X缩放到1024×1024大小。

步骤5，将图像X输入训练好的可变形快速卷积神经网络并运行，得到网络预测出的矩形区域。

步骤6，将预测出的矩形区域使用置信分数衰减的非极大值抑制算法进行后处理，得到最终的检测结果，即舰船所在的矩形区域。具体过程为：

(1)把所有矩形区域按照其置信度进行降序排列；

(2)计算每两个矩形区域box_i和box_j的交并比(Jaccard Overlap)，其中矩形A和矩形B的交并比指的是矩形A和矩形B相交区域的面积与包含矩形A和矩形B的最小外接矩形面积的比值，即：

Overlap(i,j)＝JaccardOverlap(box_i,box_j)

(3)对于Overlap(i,j)≥α,α＝0.4的矩形，对置信分数较低的矩形进一步降低其置信分数，在更新得分后的矩形区域集合中，删除置信分数低于阈值θ＜0.5的矩形区域，剩余的矩形区域即为舰船的检测区域。

本发明的效果可通过以下仿真实验进一步说明。

(1)仿真条件

本发明的实验是在CPU为Intel(R)Core(TM)i7-6800K CPU@3.40GHz，GPU为GeForce GTX 1080，内核为4.4.0-53-generic，操作系统为Linux Mint 18.1Cinnamon 64-bit，深度学习框架为MXNet，编程语言为Python。

在仿真实验中，将本发明与现有Faster R-CNN的方法在本发明的数据库上进行对比分析；

(2)仿真内容

实验一，用本发明的方法与原始的Faster R-CNN在本发明数据库上采用VOC 2012[9]的评估标准AP@0.5和AP@0.7(交并比阈值为0.5和0.7时的平均精度)进行对比，可变形快速卷积神经网络与Faster R-CNN的实验结果对比(mAP)如表1所示。

表1

表1的结果表明，可变形快速卷积神经网络算法相较原始版本的Faster R-CNN显示出了相当的优越性，其中在AP阈值为0.5时，本发明将mAP提高了2.16％，值得注意的是其中游艇类(该类全为小目标)AP提升了4.11％，这充分说明了可变形快速卷积神经网络算法对小尺寸目标检测的有效性，而当AP阈值为0.7时，可变形快速卷积神经网络算法mAP提升了11.34％，游艇类的AP提升为17.11％，这说明可变形快速卷积神经网络算法在严苛测试环境下，不仅对小尺寸目标检测效果仍有大幅提升，而且算法的鲁棒性更好。图2为本算法在三种天气情况下的部分检测结果图，从图2中可以看到，本发明无论是在晴天，还是在复杂气象条件下都有较好的检测效果。

本发明不仅可以代替人工实时地对特定港口、港湾、海域的船只进行监控，而且可以及时有效地监视敌方军事港口的船只，能及早发现军事情报，掌握战场主动权。

Claims

1.基于可变形快速卷积神经网络的舰船检测方法，其特征在于包括以下步骤：

1)模型训练阶段；

2)舰船检测阶段。

2.如权利要求1所述基于可变形快速卷积神经网络的舰船检测方法，其特征在于在步骤1)中，所述模型训练阶段包括：

(1)数据集采集，并对采集到的数据集进行筛选，得到训练集图像，将训练集中的每张图像都缩放到1024×1024大小，形成最终的训练数据集；

(2)设计可变形快速卷积神经网络的检测网络的模型结构；

(3)将1024×1024尺度下的训练数据输入可变形快速卷积神经网络中进行训练，可变形快速卷积神经网络的网络优化算法使用Adam算法，训练参数设有：初始学习率α＝0.0001、学习动量momentum＝0.9和权值衰减weight_decay＝0.0005，每次训练的批处理量batch_size＝128。

3.如权利要求2所述基于可变形快速卷积神经网络的舰船检测方法，其特征在于在步骤1)第(1)部分中，所述数据集进行筛选的具体步骤如下：

(a)原始的数据集中存在着大量的空矩形框标注问题，所述空矩形框标注问题为一个点、一条线、长宽比大于1︰20、面积小于280，使用先验统计信息对空标现象进行去除；

(c)对数据集中出现的多种天气状况进行整理，确保数据集图像包含晴天、薄雾、云天天气情况。

4.如权利要求2所述基于可变形快速卷积神经网络的舰船检测方法，其特征在于在步骤1)第(2)部分中，所述设计可变形快速卷积神经网络的检测网络的模型结构的具体步骤如下：

(a)将分类器的类别数设置为货船类、游艇类、游轮类和背景类4大类，即将特定的矩形包围框是某类别的置信度替换为该矩形包围框是货船、游艇、游轮的置信度；

(b)修改Faster R-CNN的基础网络部分，将深度卷积网络ResNet-101中的res5a_branch2b、res5b_branch2b和res5c_branch2b三个卷积层的卷积方式从常规卷积改变为可变形卷积和空洞卷积，并将res5a_branch1和res5a_branch2a的卷积核步长由2变为1；

(c)修改Faster R-CNN中的RoI-wise子网络，将感兴趣区域池化层的位置调整为第五组卷积模块之后，并将原始的矩形感兴趣区域池化将替换为可变形感兴趣区域池化，对RoI-wise子网络中的全连接层的维度由原始的4096维修改为1024维。

5.如权利要求1所述基于可变形快速卷积神经网络的舰船检测方法，其特征在于在步骤2)中，所述舰船检测阶段包括：

(1)输入一张待检测的图像X，并将图像X缩放到1024×1024大小；

6.如权利要求5所述基于可变形快速卷积神经网络的舰船检测方法，其特征在于在步骤2)第(3)部分中，所述将预测出的矩形区域使用置信分数衰减的非极大值抑制算法进行后处理，得到最终的舰船矩形区域的具体方法为：

(a)输入可变形快速卷积神经网络预测出的矩形区域；

(b)将所有预测出的矩形区域按照置信分数进行降序排列；

(c)计算每两个矩形区域box_i和box_j的交并比，其中矩形A和矩形B的交并比指的是矩形A和矩形B相交区域的面积与包含矩形A和矩形B的最小外接矩形面积的比值，即：

Overlap(i,j)＝JaccardOverlap(box_i,box_j)

①算法输入：

1.1B_in：初始状态的检测框集合，B_in＝{b₁,...,b_N}；

1.2S：检测框的置信分数，S＝{s₁,...,s_N}；

1.3N：输入的检测框个数；

1.4b_k：每个检测框，b_k包含四个数值[cx,cy,w,h]，(cx,cy)表示b_k的中心点坐标，w表示b_k的宽度，h表示b_k的高度；

1.5置信分数阈值θ；

1.6非极大值抑制(NMS，Non-maximum suppression)阈值N_t；

②算法流程：

1、for each s_i in S

2、if s_i＜θ

3、B_in＝B_in-b_i

4、begin

5、B_out←{}

6、while B_in≠empty do

7、m←argmax(S)

8、M←b_m

9、B_out←B_outUM；B_in←B_in-M

10、for b_i in B_out do

11、if IoU(M,b_i)＞N_t then

12、s_i←s_if(JaccardOverlap(M,b_i))

13、return B_out,S

14、end

其中，s_i为：

③算法输出：

B_out：检测结果集合，初始状态的B_out＝{}。