CN115641510A - 一种遥感影像舰船检测识别方法 - Google Patents

Abstract

本发明涉及一种遥感影像舰船检测识别方法，属于舰船检测识别技术领域，首先获取训练图像的多尺度图像特征图；利用R‑RPN网络生成包围锚框；获取包围锚框标签；计算包围锚框和包围锚框标签之间的第一损失函数；然后将包围锚框进行缩放、旋转和平移操作，得到若干个候选检测框，计算交并比；并计算交并比最大的候选检测框与包围锚框标签之间的第二损失函数；最后根据第一和第二损失函数更新网络参数，得到舰船检测模型。本发明获取多尺度的图像特征图，有效解决了舰船排列过于密集的问题，对检测锚框添加旋转角度，利用旋转矩形框对任意朝向的舰船进行检测识别，解决了舰船方向不固定的问题。

Description

一种遥感影像舰船检测识别方法

技术领域

本发明涉及舰船检测识别技术领域，特别是涉及一种遥感影像舰船检测识别方法及系统。

背景技术

遥感图像的海面目标识别对我国国防建设具有重要作用，海面监控和海面战场侦察图像具有数据量大、背景凌乱、高效性要求高、干扰大等特点，所以图像必须经过一定的系统进行处理，才能从已经获取的图像中进一步获得对人有用的信息。

现有的方法大都尝试将针对自然图像目标检测的算法直接迁移到光学遥感图像，然而，针对光学遥感图像中舰船目标排列密集，且舰船方向不固定的问题，现有的针对自然图像目标检测的算法进行舰船检测具有较高的误检率。

发明内容

本发明的目的是提供一种遥感影像舰船检测识别方法，有效解决了舰船方向不固定以及排列密集的问题，降低了舰船检测的误检率。

为实现上述目的，本发明提供了如下方案：

一种舰船检测模型的训练方法，所述方法包括：

利用多尺度图像特征提取网络获取训练图像的多尺度图像特征图；

利用R-RPN网络生成包围所述多尺度图像特征图中目标位置的包围锚框；所述包围锚框的参数包括：长边参数、短边参数、中心点位置参数以及旋转角度参数；

获取包围锚框标签；

计算所述包围锚框和所述包围锚框标签之间的损失函数，得到第一损失函数；

利用二次调优网络将所述包围锚框进行缩放、旋转和平移操作，得到若干个候选检测框；

计算每个所述候选检测框与所述包围锚框标签的交并比；

将交并比最大的候选检测框作为检测框；

计算所述检测框与所述包围锚框标签之间的损失函数，得到第二损失函数；

利用梯度下降法根据所述第一损失函数和所述第二损失函数更新舰船检测网络的网络参数，得到舰船检测模型；所述舰船检测网络包括：多尺度图像特征提取网络、R-RPN网络和二次调优网络。

一种舰船检测模型的训练系统，所述系统包括：

特征获取模块，用于利用多尺度图像特征提取网络获取训练图像的多尺度图像特征图；

包围锚框生成模块，用于利用R-RPN网络生成包围所述多尺度图像特征图中目标位置的包围锚框；所述包围锚框的参数包括：长边参数、短边参数、中心点位置参数以及旋转角度参数；

标签获取模块，用于获取包围锚框标签；

第一损失函数计算模块，用于计算所述包围锚框和所述包围锚框标签之间的损失函数，得到第一损失函数；

候选检测框生成模块，用于利用二次调优网络将所述包围锚框进行缩放、旋转和平移操作，得到若干个候选检测框；

交并比计算模块，用于计算每个所述候选检测框与所述包围锚框标签的交并比；

检测框获取模块，用于将交并比最大的候选检测框作为检测框；

第二损失函数计算模块，用于计算所述检测框与所述包围锚框标签之间的损失函数，得到第二损失函数；

网络参数更新模块，用于利用梯度下降法根据所述第一损失函数和所述第二损失函数更新舰船检测网络的网络参数，得到舰船检测模型；所述舰船检测网络包括：多尺度图像特征提取网络、R-RPN网络和二次调优网络。

一种舰船检测方法，所述方法包括：

获取舰船检测模型；所述舰船检测模型包括：多尺度图像特征提取网络模型、R-RPN网络模型和二次调优网络模型；

利用所述多尺度图像特征提取网络模型获取待检测图像的多尺度图像特征图；

利用R-RPN网络模型生成包围所述多尺度图像特征图中目标位置的包围锚框；所述包围锚框的参数包括：长边参数、短边参数、中心点位置参数以及旋转角度参数；

利用所述二次调优网络模型对所述包围锚框进行缩放、旋转和平移后生成检测框。

一种舰船检测系统，所述系统包括：

模型获取模块，用于获取舰船检测模型；所述舰船检测模型包括：多尺度图像特征提取网络模型、R-RPN网络模型和二次调优网络模型；

多尺度图像特征图获取模块，用于利用所述多尺度图像特征提取网络模型获取待检测图像的多尺度图像特征图；

包围锚框生成模块，用于利用R-RPN网络模型生成包围所述多尺度图像特征图中目标位置的包围锚框；所述包围锚框的参数包括：长边参数、短边参数、中心点位置参数以及旋转角度参数；

检测框生成模块，用于利用所述二次调优网络模型对所述包围锚框进行缩放、旋转和平移后生成检测框。

根据本发明提供的具体实施例，本发明公开了以下技术效果：

本发明提供了一种遥感影像舰船检测识别方法，首先利用多尺度图像特征提取网络获取训练图像的多尺度图像特征图；利用R-RPN网络生成包围所述多尺度图像特征图中目标位置的包围锚框；所述包围锚框的参数包括：长边参数、短边参数、中心点位置参数以及旋转角度参数；然后获取包围锚框标签；计算所述包围锚框和所述包围锚框标签之间的损失函数，得到第一损失函数；利用二次调优网络将所述包围锚框进行缩放、旋转和平移操作，得到若干个候选检测框；计算每个所述候选检测框与所述包围锚框标签的交并比；将交并比最大的候选检测框作为检测框；计算所述检测框与所述包围锚框标签之间的损失函数，得到第二损失函数；最后利用梯度下降法根据所述第一损失函数和所述第二损失函数更新舰船检测网络的网络参数，得到舰船检测模型；所述舰船检测网络包括：多尺度图像特征提取网络、R-RPN网络和二次调优网络。本发明获取多尺度的图像特征图，有效解决了舰船排列过于密集的问题，并对传统的检测锚框添加旋转角度，利用旋转矩形框对任意朝向的舰船进行检测识别，有效解决了舰船方向不固定的问题，提高了遥感影像舰船目标识别的效率，降低了舰船检测的误检率。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例一提供的舰船检测模型的训练方法流程图。

图2为本发明实施例一提供的HRSC2016-Annotation标注格式示意图。

图3为本发明实施例一提供的DOTA数据集标注格式示意图。

图4为本发明实施例一提供的多尺度图像特征图提取示意图。

图5为本发明实施例一提供的“锚框”设置策略示意图。

图6为本发明实施例一提供的旋转矩形检测框的交并比计算示意图。

图7为本发明实施例一提供的目标指派示意图。

图8为本发明实施例一提供的目标框长宽比与角度回归的关系示意图。

图9为本发明实施例一提供的包围锚框固定大小特征获取示意图。

图10为本发明实施例二提供的舰船检测模型的训练系统的框图。

图11为本发明实施例三提供的舰船检测方法流程图。

图12为本发明实施例四提供的舰船检测系统的框图。

图13为本发明实施例五提供的舰船检测模型的训练方法流程图。

图14为本发明实施例六提供的舰船检测方法流程图。

图15、图16、图17、图18、图19、图20和图21为本发明实施例六提供的舰船检测结果示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

遥感图像的海面目标识别对我国国防建设具有重要作用，海面监控和海面战场侦察图像具有数据量大、背景凌乱、高效性要求高、干扰大等特点，所以图像必须经过一定的系统进行处理，才能从已经获取的图像中进一步获得对人有用的信息。

传统的舰船检测、识别方法难以适应海量的数据，而且需要人工设计特征表达。人为设计特征的过程是非常耗时的，成本较大。另外从海量的数据中训练出一个准确的分类器也是非常困难的。随着人工智能技术的发展，提出了一系列基于深度学习的目标检测算法。然而，这些算法大都尝试将针对自然图像目标检测的算法直接迁移到光学遥感图像，虽然相比于传统的基于手工设计特征的算法取得了很大的进展，但由于舰船目标自身存在的一些检测难点，这些针对自然图像目标检测的算法在舰船检测上仍难以取得令人满意的结果。

深度学习具有极强的特征学习能力和表达能力，相比于现有的基于手工特征的舰船目标检测方法，能够提取复杂的全局信息和上下文信息，基于深度学习的算法具有充分的潜力去解决上述难点问题，通过使用Faster R-CNN算法和SSD算法，并调用Caffe深度学习框架和GPU来提升计算机的运算速度，通过实验证明了这两种深度学习算法在舰船目标识别领域的实用性，提升了舰船目标识别的速度和精确度。

本发明利用深度学习方法，针对光学遥感图像中舰船目标排列密集，且舰船方向不固定，纵横比大，存在背景干扰等问题，提出一种旋转矩形框舰船目标检测方法，通过该方法解决了检测舰船目标任意朝向问题，降低了误检率，通过多尺度、多区域池化改善了云层、海浪、油污和岛屿对检测的干扰问题，提高了舰船目标检测效率。

本发明的目的是提供一种遥感影像舰船检测识别方法，有效解决了舰船方向不固定以及排列密集的问题，降低了舰船检测的误检率。其中，遥感影像舰船检测识别方法包括：舰船检测模型的训练方法以及舰船检测方法。

为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。

实施例一：

如图1所示，本实施例提供了一种舰船检测模型的训练方法，所述方法包括：

S1、利用多尺度图像特征提取网络获取训练图像的多尺度图像特征图。

首先，利用CNN网络获取训练图像的多尺度卷积特征，得到多尺度图像特征图。然后，利用上采样和卷积操作统一所述多尺度图像特征图的分辨率和特征维度。

本实施例中训练图像使用舰船目标数据集Dataset1。数据集包括：含有标签的PASCAL格式数据集图片50张、HRSC数据集图片1680张，全部转换为对应的PASCAL格式，按照9:1比例划分训练集和测试集。

如图2和图3所示，HRSC2016和DOTA数据集分别使用不同的标注格式对被标注图像中的全部舰船目标的检测框进行描述，包括检测框的中心点位置、长、宽以及偏转角度，需注意的是，虽两种标注格式对应的偏转角取值范围均为0-360°且均以顺时针方向为正，但二者参考的0°位置不一样，训练前将两种标注格式转换成同一种格式，得到数据集Dataset1。

本实施例使用了Faster R-CNN的基本算法框架，其构成包括四个主要部分：多尺度图像特征提取模块、旋转矩形检测框（Rotated Bounding Box，R-BB）候选区域推荐网络（Rotated Region Proposal Network，即R-RPN）、二次调优网络、R-BB非极大值抑制（Rotated Non-Maximation Suppress，R-NMS）去重模块。通过调用Caffe深度学习框架提供的卷积、池化、归一化以及各类矩阵运算等接口，可编写实现Faster R-CNN算法完成网络构建。

图像特征提取在基本Faster Rcnn检测算法框架中充当着基础，其效果优劣，很大程度上决定了目标检测效果的上限。多尺度舰船目标检测，尤其是小尺度舰船目标检测，是光学遥感图像舰船目标检测任务中存在的难点问题之一。与其他典型目标相比，由于存在大量舰船目标并排密集排列，小尺度舰船目标在光学遥感图像中大量存在。基本的FasterRcnn仅使用最后一层特征图用于候选区域生成和特征提取，直接使用其检测舰船会丢失大量关于小尺度舰船目标的信息，使得检测效果较差。最后一层特征图是经过数次降采样操作获得的，其对小目标的细节特征的损失过大，无法支持小舰船目标的精细检测，一方面容易造成检测精度不佳，另一方面则容易造成漏检。

由于卷积网络的特性，浅层网络包含丰富的细节信息，适合目标边缘位置等的精细回归，深层网络则包含丰富的语义信息，对于目标类别等高级任务更有效，如果能将不同层提取的信息相结合，就能够更好获取目标的特征，进而提升目标检测的效果。基于此前提，本实施例针对传统Faster R-CNN在特征提取方面存在的不足，提出一种多尺度特征提取方法，如图4所示：

（1）利用CNN获得多尺度卷积特征：

使用VGG16或ResNet50等经典CNN网络提取得到基本的多尺度图像特征，以ResNet50为例，使用其C2、C3、C4、C5层的特征图即可得到深度由浅入深的，空间分辨率分别为4像素、8像素、16像素以及32像素的多个的特征图，此外，由于不同层的卷积核数设定不一致，此时的特征图上每个“特征点”的维度并不一致。

（2）融合不同深度和分辨率特征图：

为融合不同尺度、特征维度的特征图，本实施例按分辨率自低向高使用上采样操作提升低分辨率特征图的尺寸以与更高分辨率特征图相匹配，并采用尺寸为1×1的具有相同卷积核数量的卷积操作将不同特征维度的基本特征图映射至相同的特征维度后参与融合计算。为充分传递低分辨率特征图的语义信息，高分辨率特征图（以C3为例）融合的对象为已经与更低分辨率融合（对应C5）后的特征图（融合后的C4），最低分辨率的特征图（如C5）则直接由基本的C5特征经1×1卷积运算获得。

S2、利用R-RPN网络生成包围所述多尺度图像特征图中目标位置的包围锚框；所述包围锚框的参数包括：长边参数、短边参数、中心点位置参数以及旋转角度参数。

首先要人为设置基准锚框；然后利用R-RPN网络来预测相对基准锚框的偏移量；最后根据预测的偏移量对基准锚框的位置、大小和角度进行修正后得到R-RPN网络生成的包围锚框。

具体来讲，先进行目标描述及基准锚框设置。本实施例中的锚框利用的是改进后的R-BB框。改进就是在之前的R-BB框4个数值项描述方法的基础上扩展了角度值及相应偏移量表示，具体如下：

基本Faster Rcnn算法中使用和坐标轴平行的正矩形边界框来表示图像中的目标。然而，对于密集排列且呈现不同角度的舰船目标，使用正矩形边界框来定位会遇到一系列问题，例如对于同一舰船目标，当处于不同的角度时，使用正矩形边界框，会对应于不同尺度和纵横比的正矩形边界框，此外正矩形边界框的宽度和高度和舰船目标的实际尺度无关，通过检测框也难以准确获得舰船目标的朝向等物理属性。R-BB表示方法在正矩形框四元组（x，y，w，h）表示法基础上扩展了一个角度参数θ，即R-BB采用五元组（x，y，w，h，θ）表示目标位置，其中x、y分别对应R-BB中心点相对原始图像横、纵向的像素偏差，w、h分别为R-BB的长边和短边，θ则表示R-BB长边相对横正方向的偏转角度。与正矩形边界框相比，R-BB可以更紧密地围绕舰船目标的轮廓，可以有效弥补正矩形边界框表征能力的不足。

由于神经网络算法自身的特性，直接用网络预测目标位置R-BB的相关数值不能取得很好的效果，为此，在Faster Rcnn需要进行一定的转换表示：

（1）目标描述

在Faster Rcnn算法中，预测的目标检测框（包括RPN阶段预测的候选检测框以及二次调优阶段预测的目标检测框）被分成“基准框”和网络预测的“相对偏移量”两部分进行表示，其中“基准框”在RPN预测阶段对应预先设置的锚框，在二次调优阶段则对应输入“候选检测框”。

本实施例中继承了基本Faster Rcnn算法中对R-BB五元组中前4个数值项的描述方法，并在此基础上扩展了角度值及相应偏移量表示，则对于五元组表示的基准框：

A(Xa，Ya，Wa，Ha，θa)。其中，Xa、Ya分别表示R-BB基准框中心点在原图像中的像素坐标，用水平方向和垂直方向上相对于图像左上角偏离的像素数表示；Wa、Ha分别表示R-BB基准框的尺寸，用长边和短边的像素数表示；θa表示R-BB基准框的偏转角度，用长边相对于图像水平向右方向的偏转角度（单位为弧度）表示，以逆时针方向为正。

D（Dx，Dy，Dw，Dh，Dθ）其中，Dx、Dy分别表示网络预测的相对基准框A中心位置Xa和Ya的偏移量，使用像素偏差与基准框尺寸Wa和Ha的比值表示；Dw、Dh表示网络预测的相对基准框A尺寸Wa和Ha的偏移量，用像素偏差与基准框尺寸比值再求对数表示；Dθ表示网络预测的相对于基准框A偏转角度θa的偏移量（单位为弧度）。

则预测的目标检测框的五元组为：

P(Xa+Dx×Wa，Ya+Dy×Ha，Wa×e^Dw，Ha×e^Dh，θa+Dθ)。其中，Xa+Dx×Wa、Ya+Dy×Ha分别表示修正后的R-BB框中心点在原图像中的像素坐标，用水平方向和垂直方向上相对于图像左上角偏离的像素数表示；Wa×e(Dw)、Ha×e(Dh)分别表示修正后R-BB框的尺寸，用长边和短边的像素数表示，其中e(x)表示自然底数e的x次幂；θa+Dθ表示修正后R-BB框的偏转角度，用长边相对于图像水平向右方向的偏转角度（单位为弧度）表示，以逆时针方向为正。

（2）锚框设置

根据基本Faster Rcnn算法的思路，算法会根据多尺度特征图的每个“特征点”预设多个以该特征点所在位置为中心的、具有不同尺度、形态比例等特性的“锚框”作为RPN预测阶段的“基准框”。

在R-RPN，由于多了angle维度，基本Faster Rcnn的“锚框”设置策略显然无法满足需求，为此，本实施例对Faster Rcnn的锚框设置策略进行了扩展，将每个特征点的不同尺度（Scale）、长宽比（Ratio）以及旋转角度（Angle）的全部k个锚框，都分别逆时针旋转0°、30°、60°、90°、120°、150°，即得到k×6个具有角度的锚框，如图5所示。

S3、获取包围锚框标签。

获取包围锚框标签之后，计算生成的所述包围锚框和所述包围锚框标签的交并比；将所述交并比小于0.5的包围锚框删除。由于生成的包围锚框有可能将真正的舰船检测目标以外的“虚假目标”也包围起来，故而将交并比小于0.5的包围锚框删除，这些包围锚框可能是包围住的海浪，礁石等，本实施例中先利用交并比小于0.5的条件筛选生成的包围锚框，剩下的包围锚框才是指派成功的包围锚框，然后进行后续的步骤。

建立网络预测结果与图像人工标注之间的映射关系并按减小误差的方向去进行优化是机器学习训练的核心内容，而在Faster Rcnn中，完成这两项任务的模块分别是“目标指派”和“损失函数”。本实施例中由于目标的描述方式发生改变，这两者也需进行针对性地适配：

目标指派：如图6所示，Faster Rcnn采用真实目标（ground truth，gt）的正矩形检测框与预测使用的（prediction，p）“正矩形基准框”的交并比（Intersection Over Union，IoU）评估gt与p之间的匹配程度，gt表示包围锚框标签，p表示指派成功的包围锚框，但原有IoU计算方法无法适应旋转矩阵的匹配需求，本实施例中使用旋转矩形检测框的交并比（Rotated Bounding Box based IoU，RIoU）评估gt和p之间匹配程度。其中Si表示两个矩形框公共部分，如图中阴影部分所示，Sgt为真实目标框面积，Sp为被匹配的基准框的面积，训练中，真实目标框将被指派给RIoU＞0.5的全部基准框，用于误差计算，如图7所示。

RIoU=Si/(Sgt+Sp-Si)。

S4、计算所述包围锚框和所述包围锚框标签之间的损失函数，得到第一损失函数。

本实施例中计算所述包围锚框和所述包围锚框标签之间的宽度损失和方向向量损失；根据所述宽度损失和方向向量损失得到第一损失函数。

宽度损失的计算公式为：

；其中，Lw为宽度损失；Wgt表示包围锚框标签的宽度，Wp表示包围锚框的宽度。

所述方向向量损失的计算公式为：

；其中，Lv为方向向量损失；

表示包围锚框标签的向量，

表示包围锚框的向量。

作为一种具体的实施方式，本实施例中检测框回归损失函数（对应基本FasterRcnn中的Lreg）计算方法包括：

合适的损失函数设置是模型效果的实现和精度提升的重要前提，在基本FasterRcnn中，使用Lreg表示预测候选框（训练RPN，以锚框为基准）和检测框（训练二次调优网络，以候选框为基准）的回归损失，并采用直接回归中心点坐标、长宽的方法计算。但本实施例由于使用了R-BB进行目标描述，且目标的长宽比大，角度的变化对IoU的影响明显，对角度的回归要求十分严格，若直接回归中心点坐标、长宽和角度，则角度的微小变化会导致IoU剧变，无法获得较好的候选框和检测框的预测效果。

故而，本实施例中，提出采用向量损失函数（Vector Loss）和宽度回归损失函数（Width Regression Loss）来进行Faster Rcnn算法中的Lreg的计算，以此对旋转框的回归效果进行改进。如图8所示，向量的长度是旋转框的长宽比，向量的尾部是旋转框的中心，头部朝向旋转框的旋转方向。长宽比越大，向量越长，向量头需要回归的距离也就越长，相当于长宽比大的旋转目标对角度的回归更为严格。

对于旋转矩形检测框B(Xb，Yb，Wb，Hb，θb)，其向量可以表示为:

其中，Xb、Yb分别表示R-BB框中心点在原图像中的像素坐标，用水平方向和垂直方向上相对于图像左上角偏离的像素数表示；Wb、Hb分别表示R-BB框的尺寸，用长边和短边的像素数表示；θb表示R-BB框的偏转角度，用长边相对于图像水平向右方向的偏转角度（单位为弧度）表示，以逆时针方向为正。

对于完成匹配的gt和p，gt表示包围锚框标签，p表示指派成功的包围锚框（指派成功即为交并比大于0.5）。设其向量表示分别为Vgt=

和Vp=

，则该配对的Vector Loss按如下方式计算：

。其中，向量的表示方法是利用二元组的形式进行表示的，

表示向量Vgt的起始点坐标，

表示向量Vgt的结束点坐标；

表示向量Vp的起始点坐标，

表示向量Vp的结束点坐标。

本实施例中的向量是在计算损失函数值时，对生成的R-BB包围锚框的一种间接表示，向量起始点是包围框的中心点，长度为矩形框长边的长度，方向平行于长边所指方向，而结束点坐标则据向量起始点坐标、向量长度、向量方向使用现有的坐标换算方法计算。其中，向量的大小是生成的R-BB包围锚框的长边除以短边，方向和生成的R-BB包围锚框长边平行，由此便得到了向量的起点、大小和方向，从而可以算出终点，从而得到了生成的R-BB包围锚框的向量表示。

在这里，Vgt用于表示包围锚框标签、Vp则用于表示指派成功的包围锚框，当包围锚框标签和包围锚框都使用向量形式表示后，就可以使用Vector Loss函数计算损失函数值，进而对网络参数进行训练。

设gt和p的宽度分别为Wgt和Wp，则宽度回归的loss按如下公式计算：

。

则损失函数Lreg按如下方式计算：Lreg=Lv+Lw。

同时还根据所述包围锚框标签计算所述R-RPN网络生成的所述包围锚框的置信度。

“置信度”值是现有神经网络二分类技术的中间产物，是由神经网络直接预测得到的：

(1)对于检测框“是否舰船目标”的二分类任务，神经网络的预测值是实数区间(0，1)上的连续数值。

(2)为了得到离散的二分类结果，需设置阈值，根据网络预测值相对阈值的大小，得到“是/否”舰船目标的结果。

(3)神经网络预测的这个实数区间(0，1)区间上的值即为所述的“置信度”数值。

(4)训练时，与真实包围框存在对应关系的基准框的“置信度”预测值，被训练为趋近于实数“1”；与真实包围框不存在对应关系的候选框的“置信度”预测值，被训练为趋近于实数”0“。

(5)真实框与基准框之间的对应关系，则由“目标指派”模块进行确定，本实施例中的真实包围框即包围锚框标签，基准框即生成的包围锚框。

S5、利用二次调优网络将所述包围锚框进行缩放、旋转和平移操作，得到若干个候选检测框。本实施例中的候选检测框利用的是改进后的R-BB框。

S6、计算每个所述候选检测框与所述包围锚框标签的交并比。

首先，利用R-ROI Warp模块，根据候选框从多尺度图像特征图中采样得到二次调优计算交并比所需的固定大小特征，输入至二次调优网络。

在基本Faster Rcnn的二次调优阶段，需使用ROI Pooling根据RPN生成的候选检测框从多尺度特征图中裁剪相关的特征区域，ROI Pooling成固定大小后作为二次调优中分类和回归的输入特征。然而，由于本实施例中使用R-BB作为候选检测框，基本的ROIPooling操作将无法利用候选检测框提供的形态信息。为此，本实施例提出R-ROI Warp操作为Faster Rcnn二次调优阶段提供所需的固定大小特征，如图9所示。

R-ROI Warp根据R-BB候选检测框（即旋转后的包围锚框）的位置，计算出需在多尺度图像特征图上采样的点的位置（R-BB中的黑点所在位置），采用经典的双线性插值算法从多尺度图像特征图中采样取得相应点位的特征向量，得到固定大小（如4×4）的包围锚框的特征图，作为二次调优网络的输入。其中，采样点位置的计算过程如下：（1）设后续二次调优所需的特征图的大小为n×n（如n=4时，则采样得到4×4大小的特征）；（2）将候选检测框沿着长和宽方向等分为n份，得到n×n个小方格，则每个方格的中心点即为采样点位置。

二次调优的作用是对RPN网络给出的候选检测框（即包围框）进行进一步修正，该部分的输入为RPN阶段输出的候选检测框以及通过R-ROI Warp操作获得的候选框区域内的图像特征图。

二次调优阶段主要是将RPN阶段预测得到的包围锚框作为基准锚框；然后利用二次调优网络来预测相对于基准锚框的偏移量；最后利用预测的偏移量对包围锚框的位置、大小、角度进行纠正，得到二次调优阶段预测的候选检测框，然后再计算得到的候选检测框与包围锚框标签的交并比，进行后续的步骤。

S7、将交并比最大的候选检测框作为检测框。

S8、计算所述检测框与所述包围锚框标签之间的损失函数，得到第二损失函数。此处计算损失函数时，也是根据上文中的方法先对检测框进行向量表示，然后再计算损失函数。

同时还根据所述包围锚框标签计算所述检测框的置信度，置信度的计算方法如上文所述。

S9、利用梯度下降法根据所述第一损失函数和所述第二损失函数更新舰船检测网络的网络参数，得到舰船检测模型；所述舰船检测网络包括：多尺度图像特征提取网络、R-RPN网络和二次调优网络。

本实施例中先将第一损失函数和第二损失函数求和，得到综合损失函数，然后利用梯度下降法根据所述综合损失函数更新舰船检测网络的网络参数，得到舰船检测模型。

反复执行上述步骤，并持续观察各部分损失函数值和测试集预测精度的变化情况，直至梯度下降优化操作不再能带来损失函数值的持续降低以及测试集预测精度提升，停止训练，保存多尺度图像特征提取网络、R-RPN网络、二次调优网络的权重值，即得到训练成熟的舰船检测模型。

实施例二：

如图10所示，本实施例提供了一种舰船检测模型的训练系统，所述系统包括：

特征获取模块M1，用于利用多尺度图像特征提取网络获取训练图像的多尺度图像特征图。

包围锚框生成模块M2，用于利用R-RPN网络生成包围所述多尺度图像特征图中目标位置的包围锚框；所述包围锚框的参数包括：长边参数、短边参数、中心点位置参数以及旋转角度参数。

标签获取模块M3，用于获取包围锚框标签。

第一损失函数计算模块M4，用于计算所述包围锚框和所述包围锚框标签之间的损失函数，得到第一损失函数。

候选检测框生成模块M5，用于利用二次调优网络将所述包围锚框进行缩放、旋转和平移操作，得到若干个候选检测框。

交并比计算模块M6，用于计算每个所述候选检测框与所述包围锚框标签的交并比。

检测框获取模块M7，用于将交并比最大的候选检测框作为检测框。

第二损失函数计算模块M8，用于计算所述检测框与所述包围锚框标签之间的损失函数，得到第二损失函数。

网络参数更新模块M9，用于利用梯度下降法根据所述第一损失函数和所述第二损失函数更新舰船检测网络的网络参数，得到舰船检测模型；所述舰船检测网络包括：多尺度图像特征提取网络、R-RPN网络和二次调优网络。

实施例三：

如图11所示，本实施例提供了一种舰船检测方法，所述方法包括：

A1、获取实施例一中训练好的舰船检测模型；所述舰船检测模型包括：多尺度图像特征提取网络模型、R-RPN网络模型和二次调优网络模型。

A2、利用所述多尺度图像特征提取网络模型获取待检测图像的多尺度图像特征图。

A3、利用R-RPN网络模型生成包围所述多尺度图像特征图中目标位置的包围锚框；所述包围锚框的参数包括：长边参数、短边参数、中心点位置参数以及旋转角度参数。然后，从全部各个位置的包围锚框中删除置信度小于0.5的检测框。

A4、利用所述二次调优网络模型对所述包围锚框进行缩放、旋转和平移后生成检测框。

在所述利用所述二次调优网络模型对所述包围锚框进行缩放、旋转和平移后生成检测框之后，还包括：

利用非极大值抑制的方法去除重复的检测框。

本实施例中主要是基于人工智能的遥感图像舰船目标识别技术，通过对FasterR-CNN网络的构建，进行分析，然后利用多尺度检测方法，进行算法改进，优化检测效果，最后利用旋转矩形框对任意朝向的舰船进行检测识别，提高了遥感影像舰船目标识别的效率。

实施例四：

如图12所示，本实施例提供了一种舰船检测系统，所述系统包括：

模型获取模块N1，用于获取舰船检测模型；所述舰船检测模型包括：多尺度图像特征提取网络模型、R-RPN网络模型和二次调优网络模型；

多尺度图像特征图获取模块N2，用于利用所述多尺度图像特征提取网络模型获取待检测图像的多尺度图像特征图；

包围锚框生成模块N3，用于利用R-RPN网络模型生成包围所述多尺度图像特征图中目标位置的包围锚框；所述包围锚框的参数包括：长边参数、短边参数、中心点位置参数以及旋转角度参数；

检测框生成模块N4，用于利用所述二次调优网络模型对所述包围锚框进行缩放、旋转和平移后生成检测框。

实施例五：

如图13所示，本实施例提供了一种舰船检测模型的训练方法。用于进行遥感图像舰船目标检测的Faster Rcnn算法，包括算法训练和纯预测两种模式，其中算法训练是算法应用取得优秀效果的前提，纯预测模式则是在生产环境中应用时的运行状态。

训练模式的最终目的是为了得到最终训练成熟的Faster Rcnn算法，即成熟的舰船检测模型，在训练模式下，算法输入为训练集中的图片及相应标注数据，本实施例中参照基本Faster Rcnn中推荐的两阶段训练法进行网络权重调优，以获得具备较好检测效果的训练成熟的Faster Rcnn算法。基本步骤如下：

（1）构建舰船图像数据集Dataset1（包括HRSC2016，DOTA），构建Faster Rcnn网络，按基本Faster Rcnn中建议设置卷积核数及滑动步长、池化核尺寸、通道数、训练学习速率、正负样本比例等参数。

（2）Dataset1的图像输入Faster Rcnn的多尺度图像特征提取模块，得到多尺度图像特征。

（3）完成锚框设置，多尺度图像特征经R-RPN网络和锚框生成算法叠加，预测得到多尺度图像特征图上全部各个目标位置的R-RPN预测检测框。

（4）从Dataset1中读取图像相应的真实检测框标签，并建立真实检测框与各个锚框的指派关系。建立指派关系就是计算真实检测框标签与生成的覆盖每个目标位置的各个锚框之间的交并比。

（5）对成功指派真实检测框的R-RPN预测检测框，计算Lreg（回归损失函数）的值，并按基本Faster Rcnn中相关步骤，将该损失函数值输入梯度下降优化方法。成功指派就是交并比大于0.5的锚框选择，小于0.5的锚框删除。

（6）由于训练不充分的R-RPN网络预测的候选检测框质量较差，难以满足后续二次调优网络的候选框输入，为此，本实施例参照基本Faster Rcnn中采用两步训练法进行处理，即在训练初期阶段利用真实目标R-BB做一定幅度的随机缩放、旋转、平移等操作后，模拟R-RPN预测的候选检测框，如图13中标号为①的虚线所示；当R-RPN训练至可以输出具有较高质量的候选检测框以后，则直接使用R-RPN预测的候选检测框用于二次调优网络的候选检测框输入。

（7）使用R-ROI Warp模块，根据候选框从多尺度图像特征图中采样得到二次调优所需的固定大小特征，输入至二次调优网络。

（8）二次调优网络输出和输入的候选检测框叠加后，预测得到全部候选框经二次调优后的最终检测框，建立真实检测框与各个候选检测框的指派关系。二次调优是因为RPN网络已经基于锚框对目标置信度和位置进行了预测，但是效果不够精细，需要二次调优，“二次调优”网络是基于R-ROI Warp操作获得的候选框区域的特征后，再次对目标置信度和位置进行更精细的修正，因此称“二次调优”。具体方法是利用FRCNN网络，与R-RPN一样，扩展了对偏转角度的预测。

（9）对成功指派的最终检测框，计算Lreg的值，随后按照基本Faster Rcnn中的二次调优损失函数计算方法，计算二次调优阶段的损失函数值，并按基本Faster Rcnn中相关步骤，将该损失函数值输入梯度下降优化方法。

（10）使用基本Faster Rcnn中的梯度下降算法进行多尺度特征提取网络、RPN网络以及二次调优网络中有关权重的优化。

（11）按照Faster Rcnn的两步训练法，反复执行步骤（2）-（10），并持续观察各部分损失函数值和测试集预测精度的变化情况，直至梯度下降优化操作不再能带来损失函数值的持续降低以及测试集预测精度提升，停止训练，保存多尺度图像特征提取网络、R-RPN网络、二次调优网络的权重值，即得到训练成熟的舰船检测模型。

实施例六：

如图14所示，本实施例提供了一种舰船检测方法，使用实施例五中训练成熟的舰船检测模型对输入图像处理，输出舰船目标的检测结果，其具体步骤如下：

（1）待检测图像输入舰船检测模型，经多尺度图像特征提取模块后，得到待检测图像的多尺度图像特征。

（2）多尺度图像特征经R-RPN网络和锚框设置模块，预测得到多尺度图像特征图上全部各个位置的R-RPN预测检测框。

（3）按照基本Faster Rcnn中选择RPN候选框同样的方法，从全部各个位置的预测检测框中删除置信度小于0.5的检测框，得到R-RPN候选检测框，输入R-ROI Warp模块。

（4）使用R-ROI Warp模块，根据候选检测框从多尺度图像特征图中采样得到二次调优所需的固定大小特征，输入至二次调优网络。

（5）候选检测框和相应R-ROI Warp特征经二次调优网络处理后，预测得到全部候选框经二次调优后的最终检测框。由于R-RPN预测的候选框有可能不是舰船目标，经二次调优后这类情况可能会被识别出来，按照基本Faster Rcnn中方法，再次对二次调优后的候选框中置信度小于0.5的检测框进行删除。

（6）对于（5）中得到的结果，基于RIoU的R-NMS进行去重处理，即得对输入图像中舰船目标的最终检测结果。

基于RIoU的R-NMS去重：基本Faster Rcnn在预测模式下，会根据最终预测结果中置信度字段值大于0.5的全部检测框，进行R-NMS操作，去除重复的检测框，留下的检测框即为算法检测结果。本实施例中由于使用R-BB进行目标描述，基本Faster Rcnn R-NMS处理中评估正矩形检测框之间重叠度的IoU算法也将无法使用。本实施例中使用RIoU替换IoU算法进行R-BB检测框之间重叠度评估，解决原始版本R-NMS无法适用的问题，最终结果如图15、图16、图17、图18、图19、图20和图21所示。

本实施例提供的一种舰船检测方法具有以下优势：

1、能够快速识别变化剧烈、数量多，体积小的海面舰船目标。

2、能利用旋转矩形框识别任意朝向的舰船，避免了利用垂直矩形框识别舰船造成的重叠影像检测效果的问题。

3、通过高度定制的矩形框生成策略解决了舰船漏检、误检的问题。

4、通过多尺度、多区域池化，改善了云层、海浪、油污和岛屿造成的干扰问题。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种舰船检测模型的训练方法，其特征在于，所述方法包括：

利用多尺度图像特征提取网络获取训练图像的多尺度图像特征图；

利用R-RPN网络生成包围所述多尺度图像特征图中目标位置的包围锚框；所述包围锚框的参数包括：长边参数、短边参数、中心点位置参数以及旋转角度参数；

获取包围锚框标签；

计算所述包围锚框和所述包围锚框标签之间的损失函数，得到第一损失函数；

利用二次调优网络将所述包围锚框进行缩放、旋转和平移操作，得到若干个候选检测框；

计算每个所述候选检测框与所述包围锚框标签的交并比；

将交并比最大的候选检测框作为检测框；

计算所述检测框与所述包围锚框标签之间的损失函数，得到第二损失函数；

利用梯度下降法根据所述第一损失函数和所述第二损失函数更新舰船检测网络的网络参数，得到舰船检测模型；所述舰船检测网络包括：多尺度图像特征提取网络、R-RPN网络和二次调优网络。

2.根据权利要求1所述的舰船检测模型的训练方法，其特征在于，在所述获取包围锚框标签之后，还包括：

计算所述包围锚框和所述包围锚框标签的交并比；

将所述交并比小于0.5的包围锚框删除。

3.根据权利要求1所述的舰船检测模型的训练方法，其特征在于，所述计算所述包围锚框和所述包围锚框标签之间的损失函数，得到第一损失函数，具体包括：

计算所述包围锚框和所述包围锚框标签之间的宽度损失和方向向量损失；

根据所述宽度损失和方向向量损失得到第一损失函数。

4.根据权利要求3所述的舰船检测模型的训练方法，其特征在于，所述宽度损失的计算公式为：

；其中，Lw为宽度损失；Wgt表示包围锚框标签的宽度，Wp表示包围锚框的宽度；

所述方向向量损失的计算公式为：

；其中，Lv为方向向量损失；

表示包围锚框标签的向量，

表示包围锚框的向量。

5.根据权利要求1所述的舰船检测模型的训练方法，其特征在于，所述利用多尺度图像特征提取网络获取训练图像的多尺度图像特征图，具体包括：

利用CNN网络获取训练图像的多尺度卷积特征，得到多尺度图像特征图。

6.根据权利要求1所述的舰船检测模型的训练方法，其特征在于，在所述利用多尺度图像特征提取网络获取训练图像的多尺度图像特征图之后，还包括：

利用上采样和卷积操作统一所述多尺度图像特征图的分辨率和特征维度。

7.一种舰船检测模型的训练系统，其特征在于，所述系统包括：

特征获取模块，用于利用多尺度图像特征提取网络获取训练图像的多尺度图像特征图；

包围锚框生成模块，用于利用R-RPN网络生成包围所述多尺度图像特征图中目标位置的包围锚框；所述包围锚框的参数包括：长边参数、短边参数、中心点位置参数以及旋转角度参数；

标签获取模块，用于获取包围锚框标签；

第一损失函数计算模块，用于计算所述包围锚框和所述包围锚框标签之间的损失函数，得到第一损失函数；

候选检测框生成模块，用于利用二次调优网络将所述包围锚框进行缩放、旋转和平移操作，得到若干个候选检测框；

交并比计算模块，用于计算每个所述候选检测框与所述包围锚框标签的交并比；

检测框获取模块，用于将交并比最大的候选检测框作为检测框；

第二损失函数计算模块，用于计算所述检测框与所述包围锚框标签之间的损失函数，得到第二损失函数；

网络参数更新模块，用于利用梯度下降法根据所述第一损失函数和所述第二损失函数更新舰船检测网络的网络参数，得到舰船检测模型；所述舰船检测网络包括：多尺度图像特征提取网络、R-RPN网络和二次调优网络。

8.一种舰船检测方法，其特征在于，所述方法包括：

获取舰船检测模型；所述舰船检测模型包括：多尺度图像特征提取网络模型、R-RPN网络模型和二次调优网络模型；

利用所述多尺度图像特征提取网络模型获取待检测图像的多尺度图像特征图；

利用R-RPN网络模型生成包围所述多尺度图像特征图中目标位置的包围锚框；所述包围锚框的参数包括：长边参数、短边参数、中心点位置参数以及旋转角度参数；

利用所述二次调优网络模型对所述包围锚框进行缩放、旋转和平移后生成检测框。

9.根据权利要求8所述的舰船检测方法，其特征在于，在所述利用所述二次调优网络模型对所述包围锚框进行缩放、旋转和平移后生成检测框之后，还包括：

利用非极大值抑制的方法去除重复的检测框。

10.一种舰船检测系统，其特征在于，所述系统包括：

模型获取模块，用于获取舰船检测模型；所述舰船检测模型包括：多尺度图像特征提取网络模型、R-RPN网络模型和二次调优网络模型；

多尺度图像特征图获取模块，用于利用所述多尺度图像特征提取网络模型获取待检测图像的多尺度图像特征图；

包围锚框生成模块，用于利用R-RPN网络模型生成包围所述多尺度图像特征图中目标位置的包围锚框；所述包围锚框的参数包括：长边参数、短边参数、中心点位置参数以及旋转角度参数；

检测框生成模块，用于利用所述二次调优网络模型对所述包围锚框进行缩放、旋转和平移后生成检测框。

Images