CN112560671A - 基于旋转卷积神经网络的船舶检测方法 - Google Patents

Abstract

基于旋转卷积神经网络的船舶检测方法，本发明涉及船舶检测方法。本发明的目的是为了解决现有海面船舶特征信息受到干扰甚至被淹没的问题。过程为：一、根据输入图像生成卷积神经网络特征图；二、构建多尺度特征金字塔网络，对特征图进行特征提取，映射产生不同大小的anchor；三、分类筛选出候选框；四、用旋转椭圆边界框代替候选框，进行回归预测；五、计算RPN的损失函数；六、筛选输出RoI Align；七、RoI Align产生特征图，作为全连接的输入，利用Softmax Loss和L1 Loss完成分类和定位以及船头方向的回归；八、将待测舰船图片输入训练好的网络模型，得到分类结果。本发明用于船舶检测领域。

Description

基于旋转卷积神经网络的船舶检测方法

技术领域

本发明涉及船舶检测方法。

背景技术

我们国家拥有着1万8千公里海岸线和300万平方公里海洋国土，海洋大国的称号实至名归。但我国海域的特点也比较奇特：近海的海水比较浅，离海岸线60海里以内同时水深不足100米的海域占据了我国整体海域面积的98.5％。从资源利用的角度来说，随着陆地资源的逐渐开发，陆地资源日益消耗，对海洋开发和保护的重要性日益凸现；从另一个角度，由于海洋防卫在我国国防体系中也占有着极其重要的地位，所以在科技高速发展的今日，无论是在国防建设或者在国民经济，海洋的地位日益增强，而舰船作为人类海洋海洋活动的主要载体，对舰船的监测是维护我国海洋安全及开发战略的重要手段之一。舰船检测在军事、民用等领域都有着广阔的实际应用场景，是世界各个国家一项尤为重要的传统任务。在民用领域，可用来打击不法分子的走私等违法行为，也可用于辅助定位遇难船只为救援提供保障。在军事领域，可用于重点海域的实时监测，掌握敌舰的部署情况从而生成海上战斗情报并配合武器精确制导等。

近年来，深度学习在计算机视觉领域取得了巨大的成功。基于深度学习的目标检测方法受到了广泛的关注，并取得了很大的成果。卷积神经网络(RCNN)在目标检测中大放异彩。虽然RCNN在计算速度和存储空间上存在一些明显的缺陷，但其检测结果远优于传统的检测方法。Fast-RCNN通过共享计算，显著提高了检测效率，有效减少了存储空间。Faster-RCNN采用RPN(trainableregion proposal network,RPN)代替选择性搜索方法，在提高检测效率和准确率的同时实现端到端训练。它包括两个阶段：区域建议和区域分类。

上述方法称为水平区域检测，该方法适用于自然场景检测，不适用于卫星遥感船舶检测。在卫星遥感图像中，船舶纵横比大，在复杂的场景中往往排列密集。当船舶倾斜时，水平边界框的冗余区域和船舶之间的重叠区域会比较大。具体来说，复杂的场景中往往会包含很多噪声目标，这对舰船检测的性能有很大的影响。此外，大量的冗余区域会引入大量的噪声，使特征信息受到干扰甚至被淹没。

近年来，船舶检测已经被广泛的方法研究。在这一节中，我们简要回顾了现有的基于机器学习的船舶检测算法和基于深度学习的船舶检测算法。

在过去的几年里，一些基于机器学习的方法被提出用于船舶的检测。Yu,Y.D.等人和Zhu,C.等人提出了一种海陆空分割的纹理和形状特征，然后采用对比盒算法或半监督层次分类等算法得到候选目标区域。Bi F等人使用自下而上的视觉注意机制在整个检测场景中选择突出的候选区域。Yang等人提出了一种新的海面分析检测框架，解决了高分辨率光学卫星图像中各种海面的船舶自动检测任务。该方法首先利用两个新特征来分析海面是否均匀。然后，他们提出了一种结合像素和区域特征的线性函数来选择候选舰船。最后，采用紧致性和长宽比对虚警进行滤波。Shi等人提出了一种以“由粗到细”的方式检测船舶的方法。特别是采用异常检测器和局部形状特征将光学图像转化为高光谱形式，然后通过高光谱算法提取船舶。Corbane等人提出了一套完整的基于统计方法、数学形态学和小波分析、Radon变换等信号处理技术的船舶检测处理链。

尽管以上这些基于机器学习的船舶检测算法显示出不错的性能，但它们在复杂场景中的实用性较差。随着深度卷积神经网络在目标检测中的应用，基于深度学习的船舶检测算法也广泛用于遥感船舶检测中。Kang M等人将Faster R-CNN生成的对象建议用于CFAR算法的保护窗口，然后拾取小对象，从而重新评估检测网络中分类得分相对较低的边界框。Zhang R等人提出了一种基于CNN的新的船舶检测模型，称为SCNN，并结合了从船舶模型中提取的经过特殊设计的建议以及改进的显着性检测方法。Kang M等人用多层融合构建了一个基于上下文区域的CNN，用于SAR舰船探测，这是一个精心设计的深度分层网络，由具有高分辨率的RPN和具有上下文特征的物体检测网络组成。唐等人采用压缩域进行快速舰船候选提取，而DNN被用于高级特征表示和分类，ELM被用于有效的特征池和决策。

以上这些方法主要基于水平区域检测。检测结果具有很大的冗余区域，并且不利于NMS操作。

发明内容

本发明的目的是为了解决现有海面环境的复杂、船舶的密集，水平区域检测结果具有很大的冗余区域，会引入大量的噪声，导致船舶特征信息受到干扰甚至被淹没的问题，而提出基于旋转卷积神经网络的船舶检测方法。

基于旋转卷积神经网络的船舶检测方法具体过程为：

步骤一、根据输入图像生成卷积神经网络特征图；

步骤二、构建多尺度特征金字塔网络，对步骤一所得的特征图进行特征提取，提取特征后映射产生不同大小的anchor；

步骤三、用旋转非极大抑制对步骤一中得到的anchor进行筛选标记，即计算anchor与地面真值的IoU，然后输入RPN网络，RPN网络从标记框中判断正样本的anchor和负样本的anchor，即分类任务，对于正样本的anchor，回归获得真正的目标，即回归任务；分类筛选出候选框；

步骤四、用旋转椭圆边界框代替步骤三中输出的每个特征图的候选框，对旋转椭圆边界框进行回归预测；

步骤五、计算RPN的损失函数；

步骤六、经过旋转非极大抑制对步骤三中用旋转椭圆边界框替换后的候选框进一步筛选，最终输出给RoI Align；

步骤七、RoI Align产生固定大小的特征图，作为下一层的全连接的输入，最后利用Softmax Loss和L1 Loss完成分类和定位以及船头方向的回归；

步骤八、采用DOTA作为数据集，随机选择一半DOTA数据集作为训练集，训练步骤一至步骤七确定的网络模型，直至收敛得到训练好的网络模型，将待测舰船图片输入训练好的网络模型，得到分类结果。

本发明的有益效果为：

本发明构建了一个基于旋转区域的端到端船舶检测框架，该框架能够处理不同的复杂场景，检测密集的目标，减少冗余的检测区域，设计了许多新结构，例如，本发明设计了旋转椭圆边界框，可以更加拟合船的形状，改进了传统的特征金字塔，它能有效地将低层的位置信息和高层的语义信息结合起来，为目标检测提供更高级的特征。在此基础上，提出了自适应的ROI对齐方法，以减少冗余噪声区域的影响，同时保持语义和空间信息的完整性。此外，还通过预测发现了船舶的停靠方向和航行方向。最后，采用旋转非极大值抑制对已获得清晰的预测更严格的约束。基于DOTA数据集的旋转区域检测实验表明，本发明的检测方法具有较好的检测性能。

针对上述问题，本发明提出了一种基于端到端旋转区域的高分辨率卫星图像舰船检测目标检测框架，该框架能够处理不同复杂场景，检测密集目标，减少冗余检测区域，如图2所示。此外，本发明的框架可以预测船舶的靠泊和航行方向，这是水平区域检测无法实现的。

本发明的框架主要由五个连续部分组成：多尺度特征金字塔网络、自适应感兴趣区域(ROI)对齐、旋转椭圆边界框回归、船头方向预测和旋转非极大值抑制(R-NMS)。与基于卷积神经网络(CNN)的检测方法相比，本发明的框架更适合于小目标船舶检测，并取得了更好的检测性能。利用DOTA数据集对本发明所提出的方法进行了仿真验证，结果表明，本发明方法同传统船舶检测方法有更好的效果。

本发明提出了一种基于多尺度旋转区域CNN的新型目标检测模型，该模型有效地集成了低层位置信息和高层语义信息。同时，该方法减轻了建议中多余噪声区域的影响，得到了带有航向的旋转边界框。与其他基于深度学习的船舶检测框架相比，即使在密集的场景中，本发明的方法也可以实现最新的检测性能。

本发明的旋转区域船舶检测方法的总体框架包括、多尺度特征金字塔网络、自适应ROI对齐、旋转椭圆边界框回归、船舶方向预测和旋转非极大值抑制这五个重要组成部分。首先，多尺度特征金字塔网络是一种有效的多尺度特征融合网络，它增强了特征的传播，保证了特征的有效性，提升了检测多尺度物体的能力。然后，从RPN获得候选区域，为下一阶段提供高质量的候选区域。为了保持语义和空间的完整性信息，本发明设计了自适应ROI对齐，以减轻建议中冗余噪声区域的影响。此外，与传统的框架相比，本发明模型的第二阶段有水平分支和旋转分支，分别预测水平边界框和旋转边界框。同时，旋转分支也可以预测船舶的停泊和航行方向。最后使用具有更严格约束的旋转非极大值抑制来获得最终的预测。

本发明构建了一个基于旋转区域的端到端船舶检测框架，该框架能够处理不同的复杂场景，检测密集的目标，减少冗余的检测区域，设计了许多新结构，例如，本发明设计了一种新的多尺度特征融合网络，称为多尺度特征金字塔网络，它能有效地将低层的位置信息和高层的语义信息结合起来，为目标检测提供更高级的特征。在此基础上，提出了自适应的ROI对齐方法，以减少冗余噪声区域的影响，同时保持语义和空间信息的完整性。此外，还通过预测发现了船舶的停靠方向和航行方向。最后，采用R-NMS对已获得清晰的预测更严格的约束。基于DOTA数据集的旋转区域检测实验表明，本发明的检测方法具有较好的检测性能。

附图说明

图1为本发明流程图；

图2为本发明旋转区域检测图；

图3为多尺度特征金字塔网络示意图；

图4为特征图连接方式示意图；

图5为自适应RoI对齐方法示意图；

图6为旋转边界框和船首方向的表示图；

图7为不同Thresh下测试结果图；

图8为RPN分类损失函数变化曲线图；

图9为RPN位置损失函数变化曲线图；

图10为RPN总损失函数变化曲线图；

图11a为候选框1的IoU示意图；

图11b为候选框1的IoU示意图；

图11c为候选框1和2的IoU示意图。

具体实施方式

具体实施方式一：结合图1说明本实施方式，本实施方式基于旋转卷积神经网络的船舶检测方法具体过程为：

步骤一、根据输入图像生成卷积神经网络特征图；

步骤二、构建多尺度特征金字塔网络，对步骤一所得的特征图进行特征提取，提取特征后映射产生不同大小的anchor；

步骤三、用旋转非极大抑制对步骤一中得到的anchor进行筛选标记，即计算anchor与地面真值的IoU，然后输入RPN网络，RPN网络从标记框中判断哪些anchor是正样本(包含目标)，哪些anchor是负样本(背景)，即分类任务，对于正样本的anchor，回归获得真正的目标，即回归任务；分类筛选出候选框；RPN获得候选框的目的是为了生成优质的感兴趣区域候选框。

长宽高比是船的主要特征。但是，一旦船舶倾斜，候选区域的冗余区域相对较大。大量的噪音会降低特征提取的质量，甚至会导致淹没特征。本发明设计了一种叫做自适应RoI对齐(Adaptive ROI Align)方法，它是在RoI Align的基础上加上了旋转操作。具体做法为：根据图像旋转的逆运算公式，确定当前坐标点，即给定Align后的坐标点(x,y)在源图像(VGG16输出的feature map)上的坐标(x₀,y₀)，求相应的变换矩阵。根据变换矩阵，求出源图像中倾斜roi的中心，用双线性插值对roi的中心求像素值。自适应RoI对齐(AdaptiveROI Align)可以保留空间信息，同时留下少量的噪声来提高网络的稳定性。

步骤四、用旋转椭圆边界框代替步骤三中输出的每个特征图的候选框，对旋转椭圆边界框进行回归预测；

步骤五、计算RPN的损失函数；

步骤六、经过旋转非极大抑制对步骤三中用旋转椭圆边界框替换后的候选框进一步筛选，最终输出给RoI Align；

步骤七、RoI Align产生很多个固定大小的特征图，作为下一层的全连接的输入，最后利用Softmax Loss和L1 Loss完成分类和定位以及船头方向的回归；

步骤八、采用DOTA作为数据集，随机选择一半DOTA数据集作为训练集，训练步骤一至步骤七确定的网络模型，直至收敛得到训练好的网络模型，将待测舰船图片输入训练好的网络模型，得到分类结果。

具体实施方式二：本实施方式与具体实施方式一不同的是：所述步骤一中根据输入图像生成卷积神经网络特征图；具体过程为：

选用VGG16卷积神经网络生成卷积神经网络特征图，该神经网络由多组卷积层、激活函数层和池化层组成，激活函数选择Relu函数，VGG16卷积神经网络结构如下表所示：

卷积层一包括卷积层1和卷积层2，每层卷积有64个3×3，步长为1的卷积核；卷积层一输出连接池化层1，池化层1有2个2×2大小的卷积核；池化层1输出连接卷积层二，卷积层二包括卷积层3和卷积层4，每层卷积有128个3×3，步长为1的卷积核；卷积层二输出连接池化层2，池化层2有2个2×2大小的卷积核；池化层2输出连接卷积层三，卷积层三包括卷积层5、卷积层6和卷积层7，每层卷积有256个3×3，步长为1的卷积核；卷积层三输出连接池化层3，池化层3有2个2×2大小的卷积核；池化层3输出连接卷积层四，卷积层四包括卷积层8、卷积层9和卷积层10，每层卷积有512个3×3，步长为1的卷积核；卷积层四输出连接池化层4，池化层4有2个2×2大小的卷积核；池化层4输出连接卷积层五，卷积层五包括卷积层11、卷积层12和卷积层13，每层卷积有512个3×3，步长为1的卷积核；

卷积层1至卷积层13后连接Relu函数；

800×800的三通道遥感图像输入VGG16卷积神经网络，生成卷积神经网络特征图。

其它步骤及参数与具体实施方式一相同。

具体实施方式三：本实施方式与具体实施方式一或二不同的是：所述所述步骤二中构建多尺度特征金字塔网络，对步骤一所得的特征图进行特征提取，提取特征后映射产生不同大小的anchor；具体过程为：

多尺度特征金字塔网络选用resnet_101为主网络，选取残差网络的卷积层2、卷积层3、卷积层4、卷积层5作为自底而上的特征提取部分；

卷积层2输出连接卷积层3，卷积层3输出连接卷积层4，卷积层4输出连接卷积层5；

卷积层2包括3个残差块，每个残差块有3层；

第1层卷积核大小为1×1，卷积核个数64；

第2层卷积核大小为3×3，卷积核个数64；

第3层卷积核大小为1×1，卷积核个数256；

卷积层2输出的特征图尺寸为56×56；输出的步长为4；

卷积层3包括4个残差块，每个残差块有3层；

第1层卷积核大小为1×1，卷积核个数128；

第2层卷积核大小为3×3，卷积核个数128；

第3层卷积核大小为1×1，卷积核个数512；

卷积层3输出的特征图尺寸为28×28；输出的步长为8；

卷积层4包括23个残差块，每个残差块有3层；

第1层卷积核大小为1×1，卷积核个数256；

第2层卷积核大小为3×3，卷积核个数256；

第3层卷积核大小为1×1，卷积核个数1024；

卷积层4输出的特征图尺寸为14×14；输出的步长为16；

卷积层5包括3个残差块，每个残差块有3层；

第1层卷积核大小为1×1，卷积核个数512；

第2层卷积核大小为3×3，卷积核个数512；

第3层卷积核大小为1×1，卷积核个数2048；

卷积层5输出的特征图尺寸为7×7；输出的步长为32；

多尺度金字塔网络的主网络是resnet-101，它的网络结构如下表所示：

低层次的位置信息和高层次的语义信息对目标检测非常重要，传统的图像金字塔任务是将不同尺度的图片进行特征提取，主要使用人工提取特征，在人工提取特征的时代，大量使用特征化图像金字塔。它们非常重要，以至于像DPM这样的物体检测器需要密集的比例采样才能获得好的结果。但是这种做法变相的增加了训练数据，提高了运算耗时，所以这种做法已经很少被使用。特征金字塔是融合多级信息的一种有效的多尺度方法，通过高层特征进行上采样和低层特征进行自顶向下的连接，而且每一层都会进行预测。

本发明的主网络是ResNet，多尺度特征金字塔网络分为三个部分：一个自底而上的路径，一个自顶而下的路径和中间的连接部分；

自底而上的路径：选取每个残差块的最后一层{c₂,c₃,c₄,c₅}作为特征映射，根据残差网络结构，每个特征映射的步长对应于{4，8，16，32}；

自顶而下的路径：首先用一个1×1的卷积核将C5的通道数降为256，得到特征图P5，P5为目标预测的第一个特征映射；

用1×1的卷积核处理C4，得到M4，再对P5进行2倍上采样，将上采样的结果与M4融合，对融合后的结果做3×3的卷积得到特征图P4；

用1×1的卷积核处理C3，得到M3，再对P4进行2倍上采样，将P4上采样的结果和P5上采样的结果相加后与M3融合，对融合后的结果做3×3的卷积得到特征图P3；

用1×1的卷积核处理C2，得到M2，再对P3进行2倍上采样，将P3上采样的结果、P4上采样的结果和P5上采样的结果相加后与M2融合，对融合后的结果做3×3的卷积得到特征图P2；

对C5直接施加3×3大小，步长为2的卷积操作得到C6，P6等于C6；

所述C6为卷积层6，C5为卷积层5，C4为卷积层4，C3为卷积层3，C2为卷积层2；

将P2、P3、P4、P5的通道数设置为256；

中间的连接部分：采取1×1的卷积核连接(就是自顶而下的路径中的1×1的卷积核)；

具体定义如下：

P₅＝Conv_1×1(C₅)

式中，C₅是卷积层5，P₅是C₅对应的融合特征映射，Conv_1×1(C₅)是卷积运算，P_i是C_i对应的融合特征映射，Conv_k×k(.)表示卷积运算，k表示卷积核的大小，Upsample(.)表示上采样过程，

表示级联操作；i取值为2，3，4；C_i表示卷积层；

为了将特征金字塔网络嵌在RPN区域候选网络，生成不同尺度特征并融合作为RPN网络的输入。对每一个层，映射不同尺度大小的框(anchor)，特征图P2映射大小为32×32的anchor，特征图P3映射大小为64×64的anchor，特征图P4映射大小为128×128的anchor，特征图P5映射大小为256×256的anchor；特征图P6映射大小为512×512的anchor。

以输入800×800的可见光三通道遥感图像为例，经VGG16生成50×50大小的特征图，多尺度特征金字塔网络生成的anchor的尺寸为32²，64²，128²，256²，512²，anchor的比例为{1:7,1:5,1:3,1:2,1,2,3,5,7}，共生成50×50×45＝112500个anchor。

每一个特征图上的特征点产生9个锚点，以及18个分类输出(2×9和45个回归输出(5×9)；

实验表明，多尺度特征金字塔具有很好的融合特性，显著提高了检测性能。

其它步骤及参数与具体实施方式一或二相同。

具体实施方式四：本实施方式与具体实施方式一至三之一不同的是：所述步骤三中旋转非极大抑制具体过程为：

NMS是为了获得具有较小重叠(Intersection-over-Union，IoU)的高质量候选框。当船舶密集排列时，传统的NMS经常面临这样的困境，即相邻anchor具有较大的IoU重叠。因此，轴对齐边界框上的IoU计算方式可能导致旋转边界框的IoU不准确，进一步破坏边界框预测。针对这种问题，提出了一种任意旋转边界框的IoU计算方法。

1)将步骤二中特征图映射的框1绘制在一张白色图片上绘制出椭圆的区域，假设为灰色区域，如图11a，采用图像分割算法分割灰色区域获得像素数量AREA_2；

2)将步骤二中特征图映射的框2绘制到白色图像上，假设为黑色区域，如图11b，采用图像分割算法分割黑色区域获得像素数量AREA_1；

3)将框1和框2同时绘制到白色图像上，如图11c，采用图像分割算法分割灰色区域获得像素数量AREA_3；

4)由此，两者之间的交集即为AREA_1+AREA_2-AREA_3，并集为AREA_3。

其它步骤及参数与具体实施方式一至三之一相同。

具体实施方式五：本实施方式与具体实施方式一至四之一不同的是：所述步骤四中用旋转椭圆边界框代替步骤三中输出的每个特征图的候选框(矩形边界框)，对旋转椭圆边界框进行回归预测；具体过程为：

传统的边界框是一个矩形，通常用{x_min,y_min,x_max,y_max}表示，它分别表示边界框左上角点和右下角点的坐标。但是这显然不再适合表示旋转边界框。为了更一般地表示边界框，本发明使用五个变量{x,y,w,h,θ}来唯一确定任意边界框；为了更好地拟合船只的形状，用旋转椭圆边界框代替步骤二中输出的每个特征图的候选框(矩形边界框)，x和y代表椭圆的中心点坐标；θ是x轴逆时针旋转遇到的，与椭圆相切的矩形的第一条边时所旋转的角度；同时定义变量w和h，存在两种情况：当w＞h时，w为椭圆的长轴，h为椭圆的短轴；当w≤h时，h为椭圆的长轴，w为椭圆的短轴；θ的取值范围为[-90°，0°)；

在RPN的训练过程中，每个锚被分配一个二进制类标签和五个参数坐标。特征映射通过3×3卷积层输入到RPN网络，由两个1×1卷积层分别进行回归和分类。本发明定义从所有锚点中找到正负样本，称之为小批量(mini-batch)。正样本需要满足以下条件：锚与Ground-truth之间的IoU重叠大于0.7。负样本定义为：锚与Ground-truth的IoU重叠小于0.3，正负样本总数为256，比例为0.5。类似于RPN阶段，第二阶段对每个proposal进行分类，并使用五个参数坐标t回归最终的旋转边界框。mini-batch中正负样品比例为1：1，阈值为0.5，样品总数为128个。

定义角度参数后，旋转边界框能更准确地定位物体。旋转椭圆边界框的回归定义如下：

t_θ＝θ-θ_a+kπ/2

此处，x和y代表椭圆的中心点坐标；w,h分别是椭圆的长轴和短轴，x,x_a,x^*分别对应椭圆预测框(predicted box)、锚框(anchor box)、真实框(ground-truth box)的中心点的x坐标值；y,y_a,y^*分别对应椭圆预测框、锚框、真实框的y坐标值；w,w_a,w^*分别对应椭圆预测框、锚框、真实框的长轴；h,h_a,h^*分别对应椭圆预测框、锚框、真实框的短轴；θ、θ_a、θ^*为椭圆预测框、锚框、真实框的旋转角度；t＝(t_x,t_y,t_w,t_h,t_θ)为预测向量，

是t对应的回归向量；参数k∈Z使得θ一直在[-90°，0°)；Z为整数。

其它步骤及参数与具体实施方式一至四之一相同。

具体实施方式六：本实施方式与具体实施方式一至五之一不同的是，所述步骤五和步骤七中损失函数为：

使用如下的多任务学习代价函数：

其中，N_cls表示从所有锚点中找到正负样本数(mini-batch的大小)，N_reg表示有目标的anchor的个数，l_i表示目标的标签(1为正样本)，p_i是第i个anchor预测为物体的概率，p_j表示目标为前景时的概率，u_j，v_k代表预测的预测框坐标变化量，

代表正样本anchor的地面真值的坐标变化量，

h_k分别代表船头方向的真实值和预测值变化量，超参数λ₁,λ₂,λ₃维持四种损失任务的平衡；实验中使用λ₁＝λ₂＝1，λ₃＝10；

表示的是RPN的分类损失，

代表RPN的位置损失，

代表fast r-cnn的位置损失，

代表fast r-cnn的船首方向的损失；

此处L_cls和L_reg定义如下：

L_cls(p_i,l_i)＝-logp_il_i

式中，

为

或

t_i为u_j、v_k或h_k；x为预测值和真实值的差值。

其它步骤及参数与具体实施方式一至五之一相同。

实验过程中Thresh与测试集重复检测框的数量间的关系如图7，其中GT为真实值，DC为本发明算法的检测数量，在Thresh为[0.1,0.5]范围内，GT/DC的比值为1，表示准确率为100％。

采用以下实施例验证本发明的有益效果：

实施例一：

为了验证上面基于卷积神经网络设计的旋转目标检测模型效果，采用数据集DOTA作为实验数据集，共188282张图片，图片像素在800×800到4000×4000之间，分为15个类别。为了确保训练数据和测试数据分布近似匹配，随机选择一半原始图像作为训练集，1/6作为验证集，1/3作为测试集。

所有实验都是在深度学习框架tensorlfow1.5.0上实现的，使用ResNet-101网络作为预训练模型，迭代次数为30k次，训练过程中，RPN损失函数变化如图8～图10所示。

图8～图10是训练过程中误差损失函数变化趋势，由图8～图10可发现,随着迭代次数的增加，损失函数都呈现明显的下降趋势并且损失值在30k步左右开始稳定。

本发明还可有其它多种实施例，在不背离本发明精神及其实质的情况下，本领域技术人员当可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (6)

1.基于旋转卷积神经网络的船舶检测方法，其特征在于：所述方法具体过程为：

步骤一、根据输入图像生成卷积神经网络特征图；

步骤二、构建多尺度特征金字塔网络，对步骤一所得的特征图进行特征提取，提取特征后映射产生不同大小的anchor；

步骤三、用旋转非极大抑制对步骤一中得到的anchor进行筛选标记，即计算anchor与地面真值的IoU，然后输入RPN网络，RPN网络从标记框中判断正样本的anchor和负样本的anchor，即分类任务，对于正样本的anchor，回归获得真正的目标，即回归任务；分类筛选出候选框；

步骤四、用旋转椭圆边界框代替步骤三中输出的每个特征图的候选框，对旋转椭圆边界框进行回归预测；

步骤五、计算RPN的损失函数；

步骤六、经过旋转非极大抑制对步骤三中用旋转椭圆边界框替换后的候选框进一步筛选，最终输出给RoIAlign；

步骤七、RoI Align产生固定大小的特征图，作为下一层的全连接的输入，最后利用Softmax Loss和L1 Loss完成分类和定位以及船头方向的回归；

步骤八、采用DOTA作为数据集，随机选择一半DOTA数据集作为训练集，训练步骤一至步骤七确定的网络模型，直至收敛得到训练好的网络模型，将待测舰船图片输入训练好的网络模型，得到分类结果。

2.根据权利要求1所述基于旋转卷积神经网络的船舶检测方法，其特征在于：所述步骤一中根据输入图像生成卷积神经网络特征图；具体过程为：

选用VGG16卷积神经网络生成卷积神经网络特征图，VGG16卷积神经网络结构如下：

卷积层一包括卷积层1和卷积层2，每层卷积有64个3×3，步长为1的卷积核；卷积层一输出连接池化层1，池化层1有2个2×2大小的卷积核；池化层1输出连接卷积层二，卷积层二包括卷积层3和卷积层4，每层卷积有128个3×3，步长为1的卷积核；卷积层二输出连接池化层2，池化层2有2个2×2大小的卷积核；池化层2输出连接卷积层三，卷积层三包括卷积层5、卷积层6和卷积层7，每层卷积有256个3×3，步长为1的卷积核；卷积层三输出连接池化层3，池化层3有2个2×2大小的卷积核；池化层3输出连接卷积层四，卷积层四包括卷积层8、卷积层9和卷积层10，每层卷积有512个3×3，步长为1的卷积核；卷积层四输出连接池化层4，池化层4有2个2×2大小的卷积核；池化层4输出连接卷积层五，卷积层五包括卷积层11、卷积层12和卷积层13，每层卷积有512个3×3，步长为1的卷积核；

卷积层1至卷积层13后连接Relu函数；

800×800的三通道遥感图像输入VGG16卷积神经网络，生成卷积神经网络特征图。

3.根据权利要求2所述基于旋转卷积神经网络的船舶检测方法，其特征在于：所述步骤二中构建多尺度特征金字塔网络，对步骤一所得的特征图进行特征提取，提取特征后映射产生不同大小的anchor；具体过程为：

多尺度特征金字塔网络选用resnet_101为主网络，选取网络的卷积层2、卷积层3、卷积层4、卷积层5作为自底而上的特征提取部分；

卷积层2输出连接卷积层3，卷积层3输出连接卷积层4，卷积层4输出连接卷积层5；

卷积层2包括3个残差块，每个残差块有3层；

第1层卷积核大小为1×1，卷积核个数64；

第2层卷积核大小为3×3，卷积核个数64；

第3层卷积核大小为1×1，卷积核个数256；

卷积层2输出的特征图尺寸为56×56；输出的步长为4；

卷积层3包括4个残差块，每个残差块有3层；

第1层卷积核大小为1×1，卷积核个数128；

第2层卷积核大小为3×3，卷积核个数128；

第3层卷积核大小为1×1，卷积核个数512；

卷积层3输出的特征图尺寸为28×28；输出的步长为8；

卷积层4包括23个残差块，每个残差块有3层；

第1层卷积核大小为1×1，卷积核个数256；

第2层卷积核大小为3×3，卷积核个数256；

第3层卷积核大小为1×1，卷积核个数1024；

卷积层4输出的特征图尺寸为14×14；输出的步长为16；

卷积层5包括3个残差块，每个残差块有3层；

第1层卷积核大小为1×1，卷积核个数512；

第2层卷积核大小为3×3，卷积核个数512；

第3层卷积核大小为1×1，卷积核个数2048；

卷积层5输出的特征图尺寸为7×7；输出的步长为32；

多尺度特征金字塔网络分为三个部分：一个自底而上的路径，一个自顶而下的路径和中间的连接部分；

自底而上的路径：选取每个残差块的最后一层{c₂,c₃,c₄,c₅}作为特征映射，每个特征映射的步长对应于{4，8，16，32}；

自顶而下的路径：首先用一个1×1的卷积核将C5的通道数降为256，得到特征图P5；

用1×1的卷积核处理C4，得到M4，再对P5进行2倍上采样，将上采样的结果与M4融合，对融合后的结果做3×3的卷积得到特征图P4；

用1×1的卷积核处理C3，得到M3，再对P4进行2倍上采样，将P4上采样的结果和P5上采样的结果相加后与M3融合，对融合后的结果做3×3的卷积得到特征图P3；

用1×1的卷积核处理C2，得到M2，再对P3进行2倍上采样，将P3上采样的结果、P4上采样的结果和P5上采样的结果相加后与M2融合，对融合后的结果做3×3的卷积得到特征图P2；

对C5直接施加3×3大小，步长为2的卷积操作得到C6，P6等于C6；

所述C6为卷积层6，C5为卷积层5，C4为卷积层4，C3为卷积层3，C2为卷积层2；

将P2、P3、P4、P5的通道数设置为256；

中间的连接部分：采取1×1的卷积核连接；

特征图P2映射大小为32×32的anchor，特征图P3映射大小为64×64的anchor，特征图P4映射大小为128×128的anchor，特征图P5映射大小为256×256的anchor；特征图P6映射大小为512×512的anchor；

多尺度特征金字塔网络的P2、P3、P4、P5、P6层映射不同尺寸的anchor。

4.根据权利要求3所述基于旋转卷积神经网络的船舶检测方法，其特征在于：所述步骤三中旋转非极大抑制具体过程为：

1)将步骤二中特征图映射的框1绘制在一张白色图片上绘制出椭圆的区域，设为灰色区域，采用图像分割算法分割灰色区域获得像素数量AREA_2；

2)将步骤二中特征图映射的框2绘制到白色图像上，设为黑色区域，采用图像分割算法分割黑色区域获得像素数量AREA_1；

3)将框1和框2同时绘制到白色图像上，采用图像分割算法分割灰色区域获得像素数量AREA_3；

4)由此，两者之间的交集即为AREA_1+AREA_2-AREA_3，并集为AREA_3。

5.根据权利要求4所述基于旋转卷积神经网络的船舶检测方法，其特征在于：所述步骤四中用旋转椭圆边界框代替步骤三中输出的每个特征图的候选框，对旋转椭圆边界框进行回归预测；具体过程为：

用旋转椭圆边界框代替步骤二中输出的每个特征图的候选框，x和y代表椭圆的中心点坐标；θ是x轴逆时针旋转遇到的，与椭圆相切的矩形的第一条边时所旋转的角度；同时定义变量w和h，存在两种情况：当w＞h时，w为椭圆的长轴，h为椭圆的短轴；当w≤h时，h为椭圆的长轴，w为椭圆的短轴；θ的取值范围为[-90°，0°)；

旋转椭圆边界框的回归定义如下：

t_θ＝θ-θ_a+kπ/2

此处，x和y代表椭圆的中心点坐标；w,h分别是椭圆的长轴和短轴，x,x_a,x^*分别对应椭圆预测框、锚框、真实框的中心点的x坐标值；y,y_a,y^*分别对应椭圆预测框、锚框、真实框的y坐标值；w,w_a,w^*分别对应椭圆预测框、锚框、真实框的长轴；h,h_a,h^*分别对应椭圆预测框、锚框、真实框的短轴；θ、θ_a、θ^*为椭圆预测框、锚框、真实框的旋转角度；t＝(t_x,t_y,t_w,t_h,t_θ)为预测向量，

是t对应的回归向量；参数k∈Z使得θ一直在[-90°，0°)；Z为整数。

6.根据权利要求5所述基于旋转卷积神经网络的船舶检测方法，其特征在于：所述步骤五和步骤七中损失函数具体为：

使用如下的多任务学习代价函数：

其中，N_cls表示从所有锚点中找到正负样本数，N_reg表示有目标的anchor的个数，l_i表示目标的标签，p_i是第i个anchor预测为物体的概率，p_j表示目标为前景时的概率，u_j，v_k代表预测的预测框坐标变化量，

代表正样本anchor的地面真值的坐标变化量，

h_k分别代表船头方向的真实值和预测值变化量，超参数λ₁,λ₂,λ₃维持四种损失任务的平衡；实验中使用λ₁＝λ₂＝1，λ₃＝10；

表示的是RPN的分类损失，

代表RPN的位置损失，

代表fast r-cnn的位置损失，

代表fast r-cnn的船首方向的损失；

此处L_cls和L_reg定义如下：

L_cls(p_i,l_i)＝-logp_il_i

式中，

为

或

t_i为u_j、v_k或h_k；x为预测值和真实值的差值。

Images