CN113191372B - 一种舰船目标有向检测模型的构建方法及应用 - Google Patents

Abstract

本发明公开了一种舰船目标有向检测模型的构建方法及应用，属于计算机视觉技术领域，包括：S1、构建舰船目标有向检测模型；S2、以最小化分类置信度预测值与真实值之间的差异以及最小化预测边界框感知与真实边界框感知之间的差异为目标，采用训练集训练舰船目标有向检测模型；本发明使用单阶段无锚框的检测网络，以特征融合图上各像素点所在的位置为原点建立直角坐标系，并将直角坐标系上原点到预测边界框各条边的垂足的相对位置坐标所组成的向量作为边界框感知向量，可以更好的表示不同方向、不同长宽比的舰船目标，提高了检测的精度；另外，边界框感知向量可以直接回归舰船目标的位置参数和类别，大大减少了计算量。

Description

一种舰船目标有向检测模型的构建方法及应用

技术领域

本发明属于计算机视觉技术领域，更具体地，涉及一种舰船目标有向检测模型的构建方法及应用。

背景技术

舰船是海洋上的主要的运输载体和军事目标，对舰船目标进行自动检测在民用和军用领域都有重要的意义。然而对舰船目标进行检测时，由于舰船目标的朝向是任意的，现有的采用水平包围框定位舰船的检测网络会包含过多背景信息，不利于特征提取和后续的分类定位；且当目标密集排列时，各水平框之间存在较高的重叠，进行非极大值抑制后容易出现漏检问题。故研究一种舰船目标有向检测方法存在重要意义。

现有的舰船目标有向检测方法常采用有向目标检测算法来检测舰船目标，即采用有向包围框来检测舰船目标，然而现有的有向包围框在网络训练时存在参数回归不一致和角度损失不连续等问题。另外，现有的有向检测算法主要来源于基于锚的两阶段网络，除了存在上述参数回归不一致和角度损失不连续的问题，由于在进行有向目标检测时，有方向的锚框需要在水平锚框的基础上增加角度信息，且每增设一个角度，就需要将所有的水平锚框旋转同样的角度，网络计算过程复杂，检测速度较慢，且基于锚框机制的舰船目标检测算法依赖于预设尺寸比例的良好设计，如果增加不同角度的锚框会使得锚框数量成倍增加，加大了运算成本；如：专利CN112069910公开了一种遥感图像多方向舰船目标检测方法，其采用了5参数回归法(x,y,w,h,θ)，这5个参数在回归时对交并比的影响不一致，增加了网络回归难度，运算成本较高；且角度周期性使其角度参数在临界状态跳变，导致角度损失不连续，难以应用于实时的舰船目标检测。

发明内容

针对现有技术的以上缺陷或改进需求，本发明提供一种舰船目标有向检测模型的构建方法及应用，用以解决现有技术由于基于锚框机制进行检测而导致的无法快速精确检测有向舰船目标的技术问题。

为了实现上述目的，第一方面，本发明提供了一种舰船目标有向检测模型的构建方法，包括：

S1、构建舰船目标有向检测模型；舰船目标有向检测模型包括：依次级联的多级卷积神经网络、多尺度特征金字塔、预测模块和非极大值抑制模块；多级卷积神经网络用于对输入图像进行不同深度的卷积运算得到多个不同尺度的特征图，并输出到多尺度特征金字塔中进行特征融合，得到多个不同尺度的特征融合图；预测模块包括多个并联的预测器，预测器的个数与特征融合图的个数相同，且一个特征融合图对应输入到一个预测器中；预测器用于分别计算特征融合图中各像素点的分类置信度预测值和边界框感知向量预测值，以对输入图像中舰船目标的位置进行预测，得到舰船目标的预测边界框；非极大值抑制模块用于对各预测器所得的预测边界框进行非极大值抑制，得到舰船目标；特征融合图上第i个像素点的边界框感知向量的预测值t_i ^*＝(Δx_{i_1},Δy_{i_1},Δx_{i_2},Δy_{i_2},Δx_{i_3},Δy_{i_3},Δx_{i_4},Δy_{i_4})；以特征融合图上第i个像素点所在的位置为原点建立直角坐标系，Δx_{i_j}和Δy_{i_j}分别表示原点到预测边界框第j条边的垂足的相对位置坐标；j取值为1、2、3、4，分别对应第一象限、第二象限、第三象限和第四象限的垂足；

S2、以最小化分类置信度预测值与真实值之间的差异以及最小化预测边界框感知与真实边界框感知之间的差异为目标，采用预采集好的训练集训练上述舰船目标有向检测模型；其中，训练集包括舰船样本图及其对应的标签；标签包括舰船样本图中舰船目标的真实目标框信息。

进一步优选地，预测器包括并联的第一卷积块和第二卷积块；第一卷积块用于计算特征融合图中各像素点的分类置信度预测值；第二卷积块用于计算特征融合图中各像素点的边界框感知向量预测值；

此时，舰船目标有向检测模型包括第一分类分支和第二回归分支；第一分类分支为从多级卷积神经网络到第一卷积块所构成的支路；第二回归分支为从多级卷积神经网络到第二卷积块所构成的支路；

上述步骤S2包括：以最小化分类置信度预测值与真实值之间的差异为目标，反向更新第一分类分支上的参数；与此同时，以最小化预测边界框感知与真实边界框感知之间的差异为目标，反向更新第二回归分支上的参数。

进一步优选地，第一分类分支的损失函数为：

其中，n为舰船样本图所对应的特征融合图上的像素点个数；score_i为舰船样本图所对应的特征融合图上第i个像素点的分类置信度预测值；α为平衡因子；γ为控制因子；score_{gt_i}为舰船样本图所对应的特征融合图上第i个像素点的分类置信度真实值。

进一步优选地，最小化预测边界框感知与真实边界框感知之间的差异包括：最小化边界框感知向量预测值与真实值之间的差异；

此时，第二回归分支的损失函数为：

L_{coord_i}＝smooth_L1(Δx_{i_1}-Δx_{gt_i_1})+smooth_L1(Δy_{i_1}-Δy_{gt_i_1})+smooth_L1(Δx_{i_2}-Δx_{gt_i_2})+smooth_L1(Δy_{i_2}-Δy_{gt_i_2})+smooth_L1(Δx_{i_3}-Δx_{gt_i_3})+smooth_L1(Δy_{i_3}-Δy_{gt_i_3})+smooth_L1(Δx_{i_4}-Δx_{gt_i_4})+smooth_L1(Δy_{i_4}-Δy_{gt_i_4})

其中，n为舰船样本图所对应的特征融合图上的像素点个数；smooth_L1(·)表示smoothL1损失函数；以舰船样本图所对应的特征融合图上第i个像素点所在的位置为原点建立直角坐标系，Δx_{gt_i_j}和Δy_{gt_i_j}分别表示原点到真实边界框第j条边的垂足的相对位置坐标；L_{restraint_i}为舰船样本图所对应的特征融合图上的第i个像素点与预测边界框共线和垂直的约束。

进一步优选地，最小化预测边界框感知与真实边界框感知之间的差异还包括：最小化预测边界框角度和真实边界框角度之间的差值；

此时，第二回归分支的损失函数为：

其中，w、h分别表示真实边界框的长和宽，Δθ_i表示舰船样本图所对应的特征融合图上的第i个像素点所对应的预测边界框角度和真实边界框角度之间的差值。

进一步优选地，预测器还包括与第一卷积块和第二卷积块并联的第三卷积块，用于对特征融合图中各像素点，分别计算其在特征融合图中的位置到预测边界框中心的相对距离，得到其定位置信度的预测值；此时，预测器用于结合分类置信度、边界框感知向量和定位置信度的预测值，对输入图像中舰船目标的位置进行预测，得到舰船目标的预测边界框；

其中，特征融合图上第i个像素点的定位置信度的预测值为：

舰船目标有向检测模型还包括第三分类分支；第三分类分支为从多级卷积神经网络到第三卷积块所构成的支路；

上述步骤S2还包括：以最小化定位置信度的预测值与真实值之间的差异为目标，反向更新第三分类分支上的参数。

进一步优选地，在训练第三分类分支时，基于舰船样本图上舰船目标的真实目标框信息，得到真实目标框内的内切椭圆；在内切椭圆内部生成正样本椭圆，其中，正样本椭圆的长轴、短轴长度分别是内切椭圆长轴、短轴长度的二分之一，中心与内切椭圆的中心重合；以舰船样本图上正样本椭圆内部的像素点为正样本，正样本椭圆与内切椭圆之间环形区域内的像素点为负样本，训练第三分类分支。

进一步优选地，第三分类分支的损失函数为：

其中，m为舰船样本图所对应的特征融合图上的用于训练第三分类分支的像素点个数；confidence_{gt_pos_i}为舰船样本图所对应的特征融合图上第i个像素点的定位置信度真实值，具体为：

进一步优选地，训练上述舰船目标有向检测模型的方法还包括：

3)、获取训练集中的各舰船样本图的掩模图像；具体为：对训练集中的各舰船样本图，分别执行以下操作：基于舰船样本图上舰船目标的真实目标框信息，得到真实目标框内的内切椭圆，以该内切椭圆来标注舰船样本图中舰船目标的位置；将舰船样本图中内切椭圆内部及边缘上像素点的像素值置为1，其余像素点的像素值置为0，得到中间掩模图像；对中间掩模图像进行下采样，使中间掩模图像的大小与多级卷积神经网络最后一级输出的特征图的大小相同，得到舰船样本图的掩模图像；

4)、在采用步骤S2训练舰船目标有向检测模型的同时，通过最小化舰船样本图的掩模图像与多级卷积神经网络最后一级输出的特征图之间的差异，进一步训练舰船目标有向检测模型中多级卷积神经网络中的参数。

进一步优选地，多级卷积神经网络的级数大于或等于3，其后三级的输出端均与多尺度特征金字塔的输入端相连；预测模块包括3个并联的预测器，以分别对较大的舰船目标、大小适中的舰船目标以及较小的舰船目标进行检测。

第二方面，本发明提供了一种舰船目标有向检测方法，包括：将待检测的舰船图像输入到采用本发明第一方面任意一项所述的舰船目标有向检测模型的构建方法所构建的舰船目标有向检测模型中，得到舰船目标的位置信息。

第三方面，本发明还提供一种机器可读存储介质，所述机器可读存储介质存储有机器可执行指令，所述机器可执行指令在被处理器调用和执行时，所述机器可执行指令促使所述处理器实现如上所述的任一种舰船目标有向检测模型的构建方法和/或如上所述的舰船目标有向检测方法。

总体而言，通过本发明所构思的以上技术方案，能够取得以下有益效果：

1、本发明提供了一种舰船目标有向检测模型的构建方法，使用单阶段的检测网络将特征融合图中的每一个像素点作为训练对象，避免使用锚框，使模型参数量大幅减少，提升训练和检测的速度；在此基础上，本发明采用边界框感知向量来表示位置参数，通过以特征融合图上各像素点所在的位置为原点建立直角坐标系，并将直角坐标系上原点到预测边界框各条边的垂足的相对位置坐标所组成的向量作为边界框感知向量，每个像素点均对应计算一个边界框感知向量，由于边界框感知向量可以分布在坐标系的任意位置，可以更好的表示不同方向、不同长宽比的舰船目标，提高了检测的精度，与此同时，边界框感知向量可以直接回归舰船目标的位置参数和类别，大大减少了计算量；由此可知，本发明所构建的舰船目标有向检测模型能够快速精确的检测有向舰船目标。

2、本发明所提供的舰船目标有向检测模型的构建方法，最小化预测边界框感知与真实边界框感知之间的差异时，还考虑到了预测边界框角度和真实边界框角度之间的差值，并通过最大化对比预测边界框和真实边界框之间的交并比来最小化预测边界框角度和真实边界框角度之间的差值，使得网络在角度相差比较小时，对角度变化的更敏感，从而解决了角度损失不连续的问题，加快模型的收敛速度，并提高了检测精度。

3、由于舰船目标的长宽比较大，预测的像素点越靠近真实边界框的中心，该点包含的信息越能代表舰船目标，而特征融合图上的特征点不一定落在目标边界框的正中心，远离目标中心的特征点的边界框感知向量t^*的每个参数值相差较大，甚至会达到几倍的差距；这些极端的特征点不利于预测器回归边界框感知向量，会产生许多低质量的预测边界框。故本发明所提供的舰船目标有向检测模型的构建方法，进一步引入定位置信度预测分支来压缩这些低质量的预测框，定位置信度用来衡量特征融合图中每个像素点位置到目标中心的相对距离，其变化范围从0到1，越靠近目标中心的像素点的定位置信度越接近于1，通过将定位置信度的预测值与真实值之间的差异最小化，可以进一步提高检测精确度。

4、本发明所提供的舰船目标有向检测模型的构建方法，在最小化预测边界框感知与真实边界框感知之间的差异和最小化定位置信度的预测值与真实值之间的差异时，采用边界框感知向量将现有技术中的5参数回归法(x,y,w,h,θ)中的参数均转化为相对位置坐标的形式来表示，解决了现有技术中参数回归不一致的问题，大大加快了模型的收敛速度，并提高了检测的精确度。

5、本发明所提供的舰船目标有向检测模型的构建方法，在最小化定位置信度的预测值与真实值之间的差异时，基于舰船样本图上舰船目标的真实目标框信息，得到真实目标框内的内切椭圆；在内切椭圆内部生成正样本椭圆，其中，正样本椭圆的长轴、短轴长度分别是内切椭圆长轴、短轴长度的二分之一，中心与内切椭圆的中心重合；以舰船样本图上正样本椭圆内部的像素点为正样本，正样本椭圆与内切椭圆之间环形区域内的像素点为负样本，训练第三分类分支，可以提高接近目标中心的特征点的置信度，降低低质量的预测框数量，进一步提高了模型的预测能力。

6、本发明所提供的舰船目标有向检测模型的构建方法，在训练舰船目标有向检测模型时还使用舰船目标的掩模图像辅助网络训练，通过最小化舰船样本图的掩模图像与多级卷积神经网络最后一级输出的特征图之间的差异，进一步训练舰船目标有向检测模型中多级卷积神经网络中的参数。加快了网络收敛速度，同时也提高了模型的检测精度。

7、本发明所提供的舰船目标有向检测模型的构建方法，采用多尺度特征金字塔将低维特征图与高维特征图融合，使浅层特征图和深层特征图的丰富的语义信息融合，可以实现不同尺度舰船目标的检测，大大提高了网络对小目标的检测能力。

附图说明

图1为本发明实施例1提供的舰船目标有向检测模型的构建方法流程图；

图2为本发明实施例1提供的舰船目标有向检测模型结构示意图；

图3为本发明实施例1提供的有向舰船目标的标签表示示意图；其中，(a)为一种方向下的有向舰船目标的标签表示示意图；(b)为另一种方向下的有向舰船目标的标签表示示意图；

图4为本发明实施例1提供的预测边界框和真实边界框角度损失变化曲线图；其中，(a)为采用预测边界框和真实边界框交并比表示角度损失的变化曲线图；(b)为采用预测边界框和真实边界框的smooth L1损失来表示角度损失的变化曲线图；

图5为本发明实施例1提供的采用预测边界框和真实边界框的交并比来表示角度损失的示意图；

图6为本发明实施例1提供的目标边界框内的一点到有向框四条边的距离的示意图；

图7为本发明实施例1提供的在训练第三分类分支时确定正负样本的过程示意图；

图8为本发明实施例1提供的确定舰船样本图掩模图像的过程示意图。

具体实施方式

为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。此外，下面所描述的本发明各个实施方式中所涉及到的技术特征只要彼此之间未构成冲突就可以相互组合。

实施例1、一种舰船目标有向检测模型的构建方法，如图1所示，包括：

S1、构建舰船目标有向检测模型；舰船目标有向检测模型包括：依次级联的多级卷积神经网络(即多个级联的卷积神经网络)、多尺度特征金字塔、预测模块和非极大值抑制模块；多级卷积神经网络用于对输入图像进行不同深度的卷积运算得到多个不同尺度的特征图，并输出到多尺度特征金字塔中进行特征融合，得到多个不同尺度的特征融合图；预测模块包括多个并联的预测器，预测器的个数与特征融合图的个数相同，且一个特征融合图对应输入到一个预测器中；预测器用于分别计算特征融合图中各像素点的分类置信度预测值和边界框感知向量预测值，以对输入图像中舰船目标的位置进行预测，得到舰船目标的预测边界框；非极大值抑制模块用于对各预测器所得的预测边界框进行非极大值抑制，得到舰船目标；特征融合图上第i个像素点的边界框感知向量的预测值t_i ^*＝(Δx_{i_1},Δy_{i_1},Δx_{i_2},Δy_{i_2},Δx_{i_3},Δy_{i_3},Δx_{i_4},Δy_{i_4})；以特征融合图上第i个像素点所在的位置为原点建立直角坐标系，Δx_{i_j}和Δy_{i_j}分别表示原点到预测边界框第j条边的垂足的相对位置坐标；j取值为1、2、3、4，分别对应第一象限、第二象限、第三象限和第四象限的垂足；

S2、以最小化分类置信度预测值与真实值之间的差异以及最小化预测边界框感知与真实边界框感知之间的差异为目标，采用预采集好的训练集训练上述舰船目标有向检测模型；其中，训练集包括舰船样本图及其对应的标签；标签包括舰船样本图中舰船目标的真实目标框信息。

本实施例中所采用的训练集来源于DOTA数据集里的舰船数据集；舰船数据集中的舰船样本图像大小任意且包含不同类别、大小、角度的舰船；标签为的真实目标框左上角顶点的坐标、真实目标框的长度、宽度以及目标的类别。本实施例在训练舰船目标有向检测模型时需要对训练集中的标签进行转换，转换后的标签包含舰船样本图上像素点的位置坐标，以及该像素点与该像素点到真实目标框四条边的垂足相对坐标，并且相对坐标的横坐标与纵坐标均取自身的绝对值。如图3所示为有向舰船目标的标签表示示意图，其中，图3中的(a)表示一种方向下的有向舰船目标的标签表示示意图；图3中的(b)表示另一种方向下的有向舰船目标的标签表示示意图；以舰船样本图上像素点p_t(其在舰船样本图上的位置为(x_t,y_t))为例，以像素点p_t所在的位置为原点建立直角坐标系，每一对(Δx_{gt_t_j},Δy_{gt_t_j})表示原点到预测目标框第j条边的垂足的相对位置坐标，四个垂足分别落在第一、第二、第三、第四象限，j的取值为1、2、3、4，对应第一、第二、第三、第四象限的垂足，相对坐标的坐标值可能为正数也可能为负数；在本实例中，Δx_{gt_t_j}和Δy_{gt_t_j}均取自身的绝对值，即回归的对象的值始终为正值。

需要说明的是，在训练集中，本发明使用的是与船头方向一致的真实目标框，而不是水平方向的真实目标框，为舰船目标的有向检测建立基础。

为了进一步说明本发明所提供的舰船目标有向检测模型的构建方法，下面以预测器的个数为3进行详述，此时，多级卷积神经网络的级数大于或等于3；具体地，如图2所示，多级卷积神经网络由5级卷积神经网络级联而成，其后三级的输出端均与多尺度特征金字塔的输入端相连；预测模块包括3个并联的预测器，以分别对较大的舰船目标、大小适中的舰船目标以及较小的舰船目标进行检测。在本实例中，采用多级卷积神经网络得到了三个不同尺度的特征图，不同尺度的特征图用来检测不同大小的舰船目标；最深层的特征图用来预测大的舰船目标，中等层的特征图预测中等大小的舰船目标，最浅层的特征图用来预测小的舰船目标。本实施例中，将多级卷积神经网络第三级、第四级和第五级(最后一级)输出的特征图分别记为特征图f₃、特征图f₄和特征图f₅，其大小分别为h₃×w₃×c₃、h₄×w₄×c₄和h₅×w₅×c₅；特征图f₅预测的目标大小范围为(512,+∞)；特征图f₄预测的目标大小范围为(256,512)，特征图f₃预测的目标大小范围为(1,256)；其中，目标大小范围表示目标预测框的长边所在的范围。

本发明采用多尺度特征金字塔进行特征图的融合，使浅层特征图和深层特征图的丰富的语义信息融合，提高网络对小目标的检测能力；本实施例中，对特征图f₅进行上采样，使其尺寸与特征图f₄的尺寸一致；对特征图f₄进行1×1的卷积操作，使特征图f₄的通道数与特征图f₅的通道数相等；将卷积操作后的特征图f₄与上采样后的特征图f₅进行通道拼接融合(优选为按元素值相加进行融合)，并将融合后的特征图采用3×3的卷积核进行卷积，消除混叠效应，得到多级卷积神经网络第四级输出所对应的特征融合图f₄'。进一步地，按照相同的步骤，将特征融合图f₄'与特征图f₃进行融合得到多级卷积神经网络第三级输出所对应的特征融合图f₃'。而多级卷积神经网络第五级输出所对应的特征融合图f₅'仍然为为特征图f₅。

具体地，预测器包括并联的第一卷积块和第二卷积块；第一卷积块用于计算特征融合图中各像素点的分类置信度预测值；第二卷积块用于计算特征融合图中各像素点的边界框感知向量预测值(即预测边界框的位置参数)；此时，舰船目标有向检测模型包括第一分类分支和第二回归分支；第一分类分支为从多级卷积神经网络到第一卷积块所构成的支路；第二回归分支为从多级卷积神经网络到第二卷积块所构成的支路；上述步骤S2包括：以最小化分类置信度预测值与真实值之间的差异为目标，反向更新第一分类分支上的参数；与此同时，以最小化预测边界框感知与真实边界框感知之间的差异为目标，反向更新第二回归分支上的参数；

本实施例中，第一卷积块和第二卷积块均为4个级联的3*3大小的卷积层。具体地，以特征融合图f₅'为例，其大小为H₅×W₅×C₅，其上每一个像素点都视为一个训练样本。采用第一卷积块预测其上每一个像素点的分类置信度时，使用3×3的卷积核进行对特征融合图f₅'进行卷积，步长为1，经过四次卷积操作后，使用1×1×1的卷积操作得到大小为H₅×W₅×1的分类置信度图，其通道数为1，图上每一个点的像素值代表该点为正样本的概率。在训练第一分类分支时，计算分类置信度图的焦点损失作为分类置信度预测值与真实值之间的预测差值(即将分类置信度图带入到第一分类分支的损失函数中)；对损失函数求导，反向传播更新计算参数，反向传播更新网络参数；重复执行此步骤，直到第一分类分支的损失函数值达到第一设定阈值(本实施例中取值为0.2)或达到第一设定训练次数(本实施例中设置为14000次)。其中，第一分类分支的损失函数为：

其中，score_i为舰船样本图所对应的特征融合图上第i个像素点的分类置信度预测值；α为平衡因子；γ为控制因子；score_{gt_i}为舰船样本图所对应的特征融合图上第i个像素点的分类置信度真实值。本实施例中，γ取值为2，α取值为0.25。

采用第二卷积块预测其上每一个像素点的边界框感知向量时，对特征融合图f₅'经过四次卷积操作，卷积核大小为3×3，保持通道数不变，最后使用1×1×1的卷积操作得到大小为H₅×W₅×8的边界框感知向量预测图，其中H₅×W₅代表对特征融合图f₅'上每一个像素点都回归预测边界框的位置坐标；具体地，特征融合图上第i个像素点的边界框感知向量的预测值为t_i ^*＝(Δx_{i_1},Δy_{i_1},Δx_{i_2},Δy_{i_2},Δx_{i_3},Δy_{i_3},Δx_{i_4},Δy_{i_4})；以特征融合图上第i个像素点所在的位置为原点建立直角坐标系，Δx_{i_j}和Δy_{i_j}分别表示原点到预测边界框第j条边的垂足的相对位置坐标；j取值为1、2、3、4，分别对应第一象限、第二象限、第三象限和第四象限的垂足；同样的，相对坐标的坐标值可能为正数也可能为负数，在本实施例中，Δx_{i_j}和Δy_{i_j}均取自身的绝对值；根据第i个像素点和边界框感知向量的预测值t^*可以确定预测边界框的位置、大小和方向；特征融合图上第i个像素点所对应的预测边界框的长、宽和旋转角度分别记为w_i、h_i、θ_i，计算公式如下：

w_i＝max(((Δx_{i_1}+Δx_{i_3})²+(Δy_{i_1}+Δy_{i_3})²)^1/2,((Δx_{i_2}+Δx_{i_4})²+(Δy_{i_2}+Δy_{i_4})²)^1/2)

h_i＝min(((Δx_{i_1}+Δx_{i_3})²+(Δy_{i_1}+Δy_{i_3})²)^1/2,((Δx_{i_2}+Δx_{i_4})²+(Δy_{i_2}+Δy_{i_4})²)^1/2)

若(Δx_{i_1}+Δx_{i_3})²+(Δy_{i_1}+Δy_{i_3})²≥(Δx_{i_2}+Δx_{i_4})²+(Δy_{i_2}+Δy_{i_4})²：

否则：

在训练第二回归分支时，最小化预测边界框感知与真实边界框感知之间的差异包括：最小化边界框感知向量预测值与真实值之间的差异；边界框感知向量预测值与真实值之间的预测偏差使用smoothL1损失来表示。同时，需要保证每一对(Δx_{i_j},Δy_{i_j})是第i个像素点到预测边界框的垂足，所以需要加上共线和垂直约束。具体地，第二回归分支的损失函数为：

L_{coord_i}＝smooth_L1(Δx_{i_1}-Δx_{gt_i_1})+smooth_L1(Δy_{i_1}-Δy_{gt_i_1})+smooth_L1(Δx_{i_2}-Δx_{gt_i_2})+smooth_L1(Δy_{i_2}-Δy_{gt_i_2})+smooth_L1(Δx_{i_3}-Δx_{gt_i_3})+smooth_L1(Δy_{i_3}-Δy_{gt_i_3})+smooth_L1(Δx_{i_4}-Δx_{gt_i_4})+smooth_L1(Δy_{i_4}-Δy_{gt_i_4})

其中，n为舰船样本图所对应的特征融合图上的像素点个数；smooth_L1(·)表示smoothL1损失函数；以舰船样本图所对应的特征融合图上第i个像素点所在的位置为原点建立直角坐标系，Δx_{gt_i_j}和Δy_{gt_i_j}分别表示原点到真实边界框第j条边的垂足的相对位置坐标；L_{restraint_i}为舰船样本图所对应的特征融合图上的第i个像素点与预测边界框共线和垂直的约束。

优选地，最小化预测边界框感知向量与真实边界框感知向量之间的差异还可以包括：最小化预测边界框角度和真实边界框角度之间的差值；本实施例中，在表示预测边界框角度和真实边界框角度的损失时，不直接计算两者的差值，而是转化为对比预测边界框和真实边界框之间的交并比来计算，使得网络在角度相差比较小时，对角度变化的更敏感。如图4所示为预测边界框和真实边界框角度损失变化曲线图；其中，图4中的(a)为采用预测边界框和真实边界框交并比表示角度损失的变化曲线图；图4中的(b)为采用预测边界框和真实边界框的smoothL1损失来表示角度损失的变化曲线图。通过对比图4可以看出，采用交并比表示角度损失时，角度差Δθ越接近于0，说明预测边界框越接近真实边界框的角度，对应的角度损失和梯度也均较小；角度差Δθ越接近90°，说明预测边界框和真实边界框的角度偏差越大，对应的损失和梯度较大。相比于smoothL1损失，交并比损失函数使得模型Δθ较大时可以较快速收敛，在Δθ较小时参数更新的步长较小，不容易发生模型震荡现象；故本发明通过最大化对比预测边界框和真实边界框之间的交并比来最小化预测边界框角度和真实边界框角度之间的差值。进一步地，如图5所示为采用预测边界框和真实边界框的交并比来表示角度损失的示意图，其中，虚线框表示预测边界框，实线框表示真实边界框；预测边界框的长宽和真实边界框的长宽一致，预测边界框的中心和真实边界框的中心重合，预测边界框的旋转角度等于预测出来的旋转角度，也就是用边界框感知向量的预测值t^*计算得到的角度，真实边界框的旋转角度和预测边界框的旋转角度的差值为Δθ；预测边界框与真实边界框的交并比(IoU)为：

因此预测的旋转角度和真实的旋转角度的偏差可用以下损失函数表示，即第二回归分支的损失函数为：

其中，w、h分别表示真实边界框的长和宽，Δθ_i表示舰船样本图所对应的特征融合图上的第i个像素点所对应的预测边界框角度和真实边界框角度之间的差值。

对第二回归分支的损失函数求导，反向传播更新计算参数，反向传播更新网络参数，重复执行此步骤，直到第二回归分支的损失函数值达到第二设定阈值(本实施例中设置为0.2)或达到第二设定训练次数(本实施例中设置为14000)。

需要说明的是，舰船目标存在大长宽比的特点，使用有方向的锚框需要预先手工精心设计锚框的比例、方向和尺度，而采用本发明所提供的边界框感知向量可以更好的表示不同方向、不同长宽比的舰船目标，提高检测的精度。

由于特征融合图上的特征点不一定落在目标边界框的正中心，远离目标中心的特征点的边界框感知向量t^*的每个参数值相差较大，甚至会达到几倍的差距；这些极端的特征点不利于预测器回归边界框感知向量，会产生许多低质量的预测边界框。故本发明可以进一步引入定位置信度预测分支来压缩这些低质量的预测框。优选地，预测器还包括与第一卷积块和第二卷积块并联的第三卷积块，用于对特征融合图中各像素点，分别计算其在特征融合图中的位置到预测边界框中心的相对距离，得到其定位置信度的预测值；此时，预测器用于结合分类置信度、边界框感知向量和定位置信度的预测值，对输入图像中舰船目标的位置进行预测，得到舰船目标的预测边界框。在本实例中，采用第三卷积块对特征融合图f₅'经过四次卷积操作，卷积核大小为3×3，保持通道数不变，最后使用1×1×1的卷积操作得到大小为H₅×W₅×1的定位置信度图，其中H₅×W₅代表对特征融合图上每一个像素点预测该点为真实目标框中心点的概率，即定位置信度。

需要说明的是，定位置信度用来衡量特征融合图中每个像素点位置到目标中心的相对距离，其变化范围从0到1，越靠近目标中心的像素点的定位置信度越接近于1。特征融合图中每一个像素点预测其为真实边界框的中心点的概率，由于舰船目标的长宽比较大，预测的像素点越靠近真实边界框的中心，该点包含的信息越能代表舰船目标。如图6所示，将目标边界框内的一点到有向框四条边的距离分别记为l、t、r、b；该点的定位置信度计算公式为：

这种计算方式使得接近目标中心的点对应的定位置信度更高。

对于特征融合图上第i个像素点，上述l、t、r、b用边界框感知向量t_i ^*＝(Δx_{i_1},Δy_{i_1},Δx_{i_2},Δy_{i_2},Δx_{i_3},Δy_{i_3},Δx_{i_4},Δy_{i_4})表示后，特征融合图上第i个像素点的定位置信度的预测值为：

此时，舰船目标有向检测模型还包括第三分类分支；第三分类分支为从多级卷积神经网络到第三卷积块所构成的支路；上述步骤S2还包括：以最小化定位置信度的预测值与真实值之间的差异为目标，反向更新第三分类分支上的参数。

需要说明的是，由于使用有方向的锚框的检测算法存在角度损失不连续和参数回归不一致的问题，本发明采用边界框感知向量可以解决参数回归不一致的问题，并且结合上述角度损失函数可以解决角度损失不连续的问题。

另外，由于现有的基于锚框机制的有向目标检测算法中的有方向的锚框是在水平锚框的基础上增加了角度信息，每增设一个角度，就需要将所有的水平锚框旋转同样的角度。现有的有向目标检测算法至少使用六个指向角的锚框组，才能回归各个方向的目标，这使得计算量相对于水平目标检测网络成倍增加，检测速度将难以满足实时检测的需求。而边界框感知向量是直接对回归目标的位置参数和类别，减少了计算量，提高了检测速度。

第三分类分支的损失函数为：

其中，m为舰船样本图所对应的特征融合图上的用于训练第三分类分支的像素点个数；confidence_{gt_pos_i}为舰船样本图所对应的特征融合图上第i个像素点的定位置信度真实值，具体为：

对第三分类分支的损失函数求导，反向传播更新计算参数，反向传播更新网络参数，重复执行此步骤，直到第三分类分支的损失函数值(本实施例中设置为0.2)达到第三设定阈值或达到第三设定训练次数(本实施例中设置为14000)。

需要说明的是，特征融合图上的每一个像素点视为训练样本，该像素点落在真实边界框时视为正样本；本实施例中，如果像素点不是正样本，将其定位置信度置为0，只对正样本的像素点计算损失，此时，m为正样本的个数。

优选地，为了进一步提高网络的预测能力，在训练第三分类分支时，基于舰船样本图上舰船目标的真实目标框信息，得到真实目标框内的内切椭圆；具体地，如图7所示，舰船样本图中的每一个舰船目标，都用和舰船目标船头方向一致的矩形框进行标注，该矩形框为真实目标框，以该矩形的中心为中心，该矩形的长边作为椭圆的长轴，短边作为椭圆的短轴，生成真实目标框的内切椭圆椭圆。进一步地，在内切椭圆内部生成正样本椭圆，其中，正样本椭圆的长轴、短轴长度分别是内切椭圆长轴、短轴长度的二分之一，中心与内切椭圆的中心重合；以舰船样本图上正样本椭圆内部的像素点为正样本，正样本椭圆与内切椭圆之间环形区域内的像素点为负样本，训练第三分类分支；特征融合图上的其余点均被忽略，不参与训练，可以提高接近目标中心的特征点的置信度，降低低质量的预测框数量，进一步提高了模型的预测能力。同样的，本实施例中，如果像素点不是正样本，将其定位置信度置为0，只对正样本的像素点计算损失，此时，m为正样本的个数。

进一步地，对特征图f₃、特征图f₄所对应的各分类分支均按照上述特征图f₅所对应的第一分类分支、第二回归分支和第三分类分支的训练方法进行训练。经过上述过程，获得网络训练的权重参数文件，舰船目标有向检测模型训练完成，可以用于待检测的舰船图像的检测。

优选地，本实施例在多级卷积神经网络最后一级之后设置掩模图像辅助训练机制，对舰船目标有向检测模型进行训练。此时，上述训练舰船目标有向检测模型的方法还包括：

1)、获取训练集中的各舰船样本图的掩模图像；具体为：对训练集中的各舰船样本图，分别执行以下操作：如图8所示，基于舰船样本图上舰船目标的真实目标框信息，得到真实目标框内的内切椭圆，以该内切椭圆来标注舰船样本图中舰船目标的位置；将舰船样本图中内切椭圆内部及边缘上像素点的像素值置为1，其余像素点的像素值置为0，得到中间掩模图像；对中间掩模图像进行下采样，使中间掩模图像的大小与多级卷积神经网络最后一级输出的特征图的大小相同，得到舰船样本图的掩模图像；

2)、在采用步骤S2训练舰船目标有向检测模型的同时，通过最小化舰船样本图的掩模图像与多级卷积神经网络最后一级输出的特征图之间的差异，进一步训练舰船目标有向检测模型中多级卷积神经网络中的参数。具体地，训练舰船目标有向检测模型中多级卷积神经网络中的参数的损失函数为：

其中，N为舰船样本图的掩模图像上像素点的个数；p_{mask_i}为舰船样本图的掩模图像上第i个像素点的像素值，p_i为级卷积神经网络最后一级输出的特征图上第i个像素点的像素值。

本实施例利用舰船样本图的掩模图像和多级卷积神经网络最后一级输出的特征图的二元交叉熵损失具体量化舰船样本图的掩模图像与多级卷积神经网络最后一级输出的特征图之间的差值，对上述损失函数求导，反向传播更新计算参数，反向传播更新网络参数；重复执行此步骤，直到上述损失函数值达到设定阈值或达到设定的训练次数。本发明使特征提取网络在不增加网络深度的同时，提高特征提取能力，更利于目标的检测。

需要说明的是，本实施例中，在采用训练集训练上述舰船目标有向检测模型前，首先设置舰船目标有向检测模型的训练参数，并输入预训练结果作为卷积计算的初始计算参数。具体地，根据训练集中舰船样本图数量设定每次参数更新需要的图像数量和训练的总迭代次数，设定学习率、学习率更新节点、设定阈值等参数，预训练一般在ImageNet2012数据集上进行。

进一步需要说明的是，在现有的有向边界框的表示中，RRPN网络使用了(Δx,Δy,w,h,θ)五个参数来表示旋转矩形框，需要预设多个不同大小、长宽比和角度的锚框(如3×3×6共54个)以提高网络对不同目标的检测精度，运算量成倍增加；该预测方式因角度的周期性在临界情况下会出现损失不连续的情况，即预测1°和89°对旋转框的外观表示来说很接近，但在网络计算损失时两者相差88°，会产生一个非常大的损失，使网络收敛困难。为了解决上述问题，R2CNN算法提出了一种新的旋转框表示方式(x₁,y₁,x₂,y₂,h)，其中，(x₁,y₁)表示旋转框左上角点，(x₂,y₂)表示从左上角点起顺时针方向的第二个点，h表示矩形框的高。该方法不直接预测角度，从而避免角度周期性带来的影响，但是舰船目标在目标框角点位置的特征不明显，预测旋转框两个角点的难度较大，并且存在参数回归不一致的问题。进一步地，GlidingVertex算法提出了(x,y,w,h,α₁,α₂,α₃,α₄)八参数回归法来避免5参数法的回归不一致问题。其中(x,y,w,h)表示预测的旋转框的外接水平矩形框，α₁,α₂,α₃,α₄表示从水平框左上角点起，顺时针方向上旋转框四个顶点相对水平框四个角点的偏移量，但是该方法需要对水平框的4个角点排序，同样存在临界情况下损失不连续的问题。而本发明所提供的边界框感知向量，每个像素点均对应计算一个边界框感知向量，由于边界框感知向量可以分布在坐标系的任意位置，可以更好的表示不同方向、不同长宽比的舰船目标，提高了检测的精度，与此同时，边界框感知向量可以直接回归舰船目标的位置参数和类别，大大减少了计算量；另外，本发明基于边界框感知向量来表示目标舰船的角度，可以解决解决参数回归不一致的问题；且本发明基于边界框感知向量来设计角度损失函数(即第二回归分支的损失函数)，可以解决角度损失不连续的问题。

实施例2、

一种舰船目标有向检测方法，包括：将待检测的舰船图像输入到采用本发明实施例1中的舰船目标有向检测模型的构建方法所构建的舰船目标有向检测模型中，得到舰船目标的位置信息。

具体地，待检测的舰船图像输入到训练后的舰船目标有向检测模型中，利用舰船目标有向检测模型中训练好的多级卷积神经网络对待检测的舰船图像进行卷积操作、特征图的融合，输出不同尺度的特征融合图；对于不同尺度的特征融合图，分别采用对应的预测器预测其上每一个像素点的分类置信度、定位置信度和边界框感知向量，每一个像素点的分类置信度和定位置信度的乘积为该点的预测置信度；并采用非极大值抑制模块取预测置信度得分最高的预设数量的像素点(本实施例中取前1000个像素点)，再从中筛选预测置信度得分大于预设置信度阈值(本实施例中取值为0.1)的点，根据回归得到的边界框感知向量t^*得到预测边界框，对目预测边界框做非极大值抑制(NMS)操作，得到最终的预测边界框。具体地，根据类别分类概率从小到大的顺序将舰船目标的预测边界框进行排序，从概率最大的预测开始，分别判断其他预测边界框与其交并比(IoU)是否大于第一预设交并比阈值(本实施例中取值为0.5)；若超过第一预设交并比阈值，则舍弃类别概率小的预测边界框，标记并保留概率最大的预测边界框。从剩下的未标记的预测边界框中，选择概率最大的，然后判断与其他预测边界框的交并比，交并比大于第二预设交并比阈值(本实施例中取值为0.5)，就舍弃其中概率小的预测框，最后标记并保留下概率最大的预测边界框；重复上述过程，直至所有预测边界框均被标记；所有的被标记保留下的预测边界框即为最终舰船目标的位置。

相关技术方案同实施例1，这里不做赘述。

实施例3、

一种机器可读存储介质，所述机器可读存储介质存储有机器可执行指令，所述机器可执行指令在被处理器调用和执行时，所述机器可执行指令促使所述处理器实现实施例1中的舰船目标有向检测模型的构建方法和/或实施例2中的舰船目标有向检测方法。

相关技术方案同实施例1和实施例2，这里不做赘述。

本领域的技术人员容易理解，以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种舰船目标有向检测模型的构建方法，其特征在于，包括：

S1、构建舰船目标有向检测模型；所述舰船目标有向检测模型包括：依次级联的多级卷积神经网络、多尺度特征金字塔、预测模块和非极大值抑制模块；所述多级卷积神经网络用于对输入图像进行不同深度的卷积运算得到多个不同尺度的特征图，并输出到所述多尺度特征金字塔中进行特征融合，得到多个不同尺度的特征融合图；所述预测模块包括多个并联的预测器，所述预测器的个数与所述特征融合图的个数相同，且一个所述特征融合图对应输入到一个所述预测器中；所述预测器用于分别计算特征融合图中各像素点的分类置信度预测值和边界框感知向量预测值，以对输入图像中舰船目标的位置进行预测，得到舰船目标的预测边界框；所述非极大值抑制模块用于对各所述预测器所得的预测边界框进行非极大值抑制，得到舰船目标；特征融合图上第i个像素点的边界框感知向量的预测值t_i ^*＝(Δx_{i_1},Δy_{i_1},Δx_{i_2},Δy_{i_2},Δx_{i_3},Δy_{i_3},Δx_{i_4},Δy_{i_4})；以特征融合图上第i个像素点所在的位置为原点建立直角坐标系，Δx_{i_j}和Δy_{i_j}分别表示原点到预测边界框第j条边的垂足的相对位置坐标；j取值为1、2、3、4，分别对应第一象限、第二象限、第三象限和第四象限的垂足；

S2、以最小化分类置信度预测值与真实值之间的差异以及最小化预测边界框感知与真实边界框感知之间的差异为目标，采用预采集好的训练集训练所述舰船目标有向检测模型；其中，所述训练集包括舰船样本图及其对应的标签；所述标签包括舰船样本图中舰船目标的真实目标框信息。

2.根据权利要求1所述的舰船目标有向检测模型的构建方法，其特征在于，所述预测器包括并联的第一卷积块和第二卷积块；所述第一卷积块用于计算特征融合图中各像素点的分类置信度预测值；所述第二卷积块用于计算特征融合图中各像素点的边界框感知向量预测值；

此时，所述舰船目标有向检测模型包括第一分类分支和第二回归分支；所述第一分类分支为从所述多级卷积神经网络到所述第一卷积块所构成的支路；所述第二回归分支为从所述多级卷积神经网络到所述第二卷积块所构成的支路；

所述步骤S2包括：以最小化分类置信度预测值与真实值之间的差异为目标，反向更新所述第一分类分支上的参数；与此同时，以最小化预测边界框感知与真实边界框感知之间的差异为目标，反向更新所述第二回归分支上的参数。

3.根据权利要求2所述的舰船目标有向检测模型的构建方法，其特征在于，所述最小化预测边界框感知与真实边界框感知之间的差异包括：最小化边界框感知向量预测值与真实值之间的差异；

此时，所述第二回归分支的损失函数为：

L_{coord_i}＝smooth_L1(Δx_{i_1}-Δx_{gt_i_1})+smooth_L1(Δy_{i_1}-Δy_{gt_i_1}) +smooth_L1(Δx_{i_2}-Δx_{gt_i_2})+smooth_L1(Δy_{i_2}-Δy_{gt_i_2}) +smooth_L1(Δx_{i_3}-Δx_{gt_i_3})+smooth_L1(Δy_{i_3}-Δy_{gt_i_3})+smooth_L1(Δx_{i_4}-Δx_{gt_i_4})+smooth_L1(Δy_{i_4}-Δy_{gt_i_4})

其中，n为舰船样本图所对应的特征融合图上的像素点个数；smooth_L1(·)表示smoothL1损失函数；以舰船样本图所对应的特征融合图上第i个像素点所在的位置为原点建立直角坐标系，Δx_{gt_i_j}和Δy_{gt_i_j}分别表示原点到真实边界框第j条边的垂足的相对位置坐标；L_{restraint_i}为舰船样本图所对应的特征融合图上的第i个像素点与预测边界框共线和垂直的约束。

4.根据权利要求3所述的舰船目标有向检测模型的构建方法，其特征在于，所述最小化预测边界框感知与真实边界框感知之间的差异还包括：最小化预测边界框角度和真实边界框角度之间的差值；

此时，所述第二回归分支的损失函数为：

其中，w、h分别表示真实边界框的长和宽，Δθ_i表示舰船样本图所对应的特征融合图上的第i个像素点所对应的预测边界框角度和真实边界框角度之间的差值。

5.根据权利要求2所述的舰船目标有向检测模型的构建方法，其特征在于，所述预测器还包括与所述第一卷积块和所述第二卷积块并联的第三卷积块，用于对特征融合图中各像素点，分别计算其在特征融合图中的位置到预测边界框中心的相对距离，得到其定位置信度的预测值；此时，所述预测器用于结合分类置信度、边界框感知向量和定位置信度的预测值，对输入图像中舰船目标的位置进行预测，得到舰船目标的预测边界框；

其中，特征融合图上第i个像素点的定位置信度的预测值为：

所述舰船目标有向检测模型还包括第三分类分支；所述第三分类分支为从所述多级卷积神经网络到所述第三卷积块所构成的支路；

所述步骤S2还包括：以最小化定位置信度的预测值与真实值之间的差异为目标，反向更新所述第三分类分支上的参数。

6.根据权利要求5所述的舰船目标有向检测模型的构建方法，其特征在于，在训练所述第三分类分支时，基于舰船样本图上舰船目标的真实目标框信息，得到真实目标框内的内切椭圆；在所述内切椭圆内部生成正样本椭圆，其中，所述正样本椭圆的长轴、短轴长度分别是所述内切椭圆长轴、短轴长度的二分之一，中心与所述内切椭圆的中心重合；以舰船样本图上正样本椭圆内部的像素点为正样本，正样本椭圆与内切椭圆之间环形区域内的像素点为负样本，训练所述第三分类分支。

7.根据权利要求5或6所述的舰船目标有向检测模型的构建方法，其特征在于，所述第三分类分支的损失函数为：

其中，m为舰船样本图所对应的特征融合图上的用于训练第三分类分支的像素点个数；confidence_{gt_pos_i}为舰船样本图所对应的特征融合图上第i个像素点的定位置信度真实值，具体为：

其中，以舰船样本图所对应的特征融合图上第i个像素点所在的位置为原点建立直角坐标系，Δx_{gt_i_j}和Δy_{gt_i_j}分别表示原点到真实边界框第j条边的垂足的相对位置坐标。

8.根据权利要求1-6任意一项所述的舰船目标有向检测模型的构建方法，其特征在于，训练所述舰船目标有向检测模型的方法还包括：

1)、获取所述训练集中的各舰船样本图的掩模图像；具体为：对所述训练集中的各舰船样本图，分别执行以下操作：基于舰船样本图上舰船目标的真实目标框信息，得到真实目标框内的内切椭圆，以所述真实目标框内的内切椭圆来标注舰船样本图中舰船目标的位置；将舰船样本图中内切椭圆内部及边缘上像素点的像素值置为1，其余像素点的像素值置为0，得到中间掩模图像；对所述中间掩模图像进行下采样，使所述中间掩模图像的大小与所述多级卷积神经网络最后一级输出的特征图的大小相同，得到舰船样本图的掩模图像；

2)、在采用所述步骤S2训练舰船目标有向检测模型的同时，通过最小化舰船样本图的掩模图像与所述多级卷积神经网络最后一级输出的特征图之间的差异，进一步训练所述舰船目标有向检测模型中所述多级卷积神经网络中的参数。

9.一种舰船目标有向检测方法，其特征在于，包括：将待检测的舰船图像输入到采用权利要求1-8任意一项所述的舰船目标有向检测模型的构建方法所构建的舰船目标有向检测模型中，得到舰船目标的位置信息。

10.一种机器可读存储介质，其特征在于，所述机器可读存储介质存储有机器可执行指令，所述机器可执行指令在被处理器调用和执行时，所述机器可执行指令促使所述处理器实现权利要求1-8任意一项所述的舰船目标有向检测模型的构建方法和/或如权利要求9所述的舰船目标有向检测方法。

Images