CN110796037B - 基于轻量级感受野金字塔的星载光学遥感图像舰船目标检测方法 - Google Patents

Abstract

为了解决星载光学遥感图像舰船目标检测中舰船目标尺度变化大、星载平台计算量严重受限的问题，通过将引入轻量化的多尺度特征提取网络模块，可以有效提升深度学习网络对于舰船目标的检测效率。本发明公开了一种基于轻量级感受野金字塔的星载光学遥感图像舰船目标检测方法，采取引入空洞卷积构建轻量级感受野金字塔的方法，根据感受野金字塔提取的多尺度特征构建多尺度特征融合检测模块，在限制网络规模的情况下，提高对光学遥感图像舰船目标特性的适应能力。

Description

基于轻量级感受野金字塔的星载光学遥感图像舰船目标检测 方法

技术领域

本发明属于遥感图像处理领域，尤其涉及光学遥感图像的目标检测方法。

背景技术

基于光学遥感图像的舰船检测一直是遥感目标识别领域的研究热点，在民用和军用领域，舰船均为十分重要的战略目标。随着深度学习的兴起，早期手工特征已逐渐不能满足逐渐复杂的光学遥感视觉识别任务，而深度学习在计算机视觉的广泛应用中显示出了较强的特征表示能力。如何设计适合光学遥感图像舰船目标特性的深度学习检测网络，成为了遥感图像舰船目标检测的重大挑战。

为了提升深度学习目标检测网络的各方面性能，研究学者们相继提出许多有价值的目标检测方法。基于深度学习的目标检测方法主要分为两大类：基于区域提名的两阶段检测和基于回归的单阶段检测。Girshick于2014年提出了一种两目标检测框架R-CNN，通过提取候选区域，训练CNN网络结合SVM和回归器进行目标检测，其对比传统目标检测算法在准确率上有突破性进展，但其识别过程划分为三部分，消耗大量的时间与存储资源用于三步之间的资源转存。后续提出SPP-Nets通过空间金字塔池化使网络输入图片没有尺寸限制，加快了训练网络的时间。R-CNN的后续衍生网络Fast R-CNN结合SPP-Nets和Overfeat的特点，引入ROI池化概念，同时合并CNN特征提取和分类回归两部分，取得更好地检测效果同时加快了网络的训练速度。之后的两阶段检测集大成之作Faster R-CNN将前两代算法中的区域提名整合到CNN中，实现了检测网络的端到端形式，进一步减少了时间的损耗。

另一类单阶段检测网络将检测任务表述成一个统一的、端到端的回归问题，不进行区域提名，只处理一次图片同时得到位置和分类。Joseph Redmon于2016年提出YOLO系列算法，其通过划分等分的网格分配预测的样本，相比于基于区域提名的检测方法，全局处理使得背景错误较少，但相对牺牲了小物体检测精度。单阶段网络检测速度相较两阶段网络有了突破性进展，已能做到实时检测。之后的SSD网络是单阶段模型早期的集大成者，引入两阶段模型的anchor box机制同时使用多尺度特征图，达到接近两阶段模型精度的同时，拥有比两阶段模型快一个数量级的速度。在YOLO的后续版本YOLOv2中，同样引入anchor机制，YOLOv3中则采用近似ResNet的特征提取网络并引入多尺度，在COCO数据集上mAP达到57.9％。

虽然基于深度学习的光学遥感图像检测方法发展较为迅速，但针对舰船目标的特性，目前的目标检测方法仍存在很大问题。遥感图像中的舰船目标由于自身型号变化与拍摄分辨率变化存在检测目标尺度变化大的特性，同时其存在靠岸停泊与海面航行等多种姿态，往往需要深层网络或者图像金字塔等大型多尺度特征融合结构，重新调节尺度并聚合特征图，但计算量大大增加，才能对目标特征进行很好地表征。这与光学遥感图像目标检测的应用平台——星载平台的有限计算资源形成矛盾。目前的光学遥感图像目标检测方法很难保持对于多尺度目标高检测精度的同时满足星载平台对网络规模的制约。

发明内容

本发明针对现有技术的不足，提供一种基于轻量级感受野金字塔的星载光学遥感图像舰船目标检测方法。

本发明的技术方案为一种基于轻量级感受野金字塔的星载光学遥感图像舰船目标检测方法，包含以下步骤：

步骤1，构建特征提取模块，获得特征提取模块特征图；所述特征提取模块包含3个结构相同的子模块，每个子模块包括1个卷积层和1个最大池化层；

步骤2，根据步骤1所得特征提取模块特征图构建轻量级感受野金字塔模块，获得尺度目标特征图；所述轻量级感受野金字塔模块包括4个引入空洞卷积的卷积层支路、1个连接层和一个传统卷积层，其中4个卷积层支路的输入均为步骤1所得特征提取模块特征图，随后，将4个卷积层支路的输出特征图输入连接层，最后再通过一个传统卷积层进行多尺度特征融合，即获得对应4个尺度目标的特征图；

步骤3，根据步骤2所得多尺度目标特征图构建多尺度特征融合检测模块，多尺度特征融合检测模块分为三条检测支路，其中：

第一尺度支路包括4个支路子模块，分别记为支路子模块1、支路子模块2、支路子模块3、支路子模块4，前3个支路子模块包括1个传统卷积层和1个最大池化层，第4个支路子模块包括若干个传统卷积层，第一尺度支路以步骤2中轻量级感受野金字塔模块输出特征图作为输入，输出N_p个检测结果参数，N_p＝3*(5+N_c)，其中N_c为光学遥感图像舰船数据集舰船类别标注个数；

第二尺度支路分别以第一尺度支路中的支路子模块2的输出特征图，以及第一尺度支路中的支路子模块4的输出进行卷积和上采样之后的特征图作为输入，将两个特征图依次输入连接层、2个传统卷积层，输出N_p个检测结果参数；

第三尺度支路分别以第一尺度支路中的支路子模块1的输出特征图，以及第二尺度支路的输出进行卷积和上采样之后的特征图作为输入，将两个特征图依次输入连接层、2个传统卷积层，输出N_p个检测结果参数；

步骤4，结合步骤1，2，3中的3个模块，构造基于轻量级感受野金字塔的星载光学遥感图像舰船目标检测网络；然后对输入训练集图片划分网格，在各网格内通过预设尺寸的候选框生成预测框，通过预测框参数和标注真实框参数计算损失函数，计算完训练集内所有图片得到本次迭代损失函数值，完成一次迭代，网络训练以网络损失值为依据，当损失值随迭代次数收敛时，获得网络权重值；最后利用训练好的目标检测网络对待检测图片进行舰船目标检测。

进一步的，步骤1中构建特征提取模块的具体实现过程如下，

子模块一卷积层通道数为16，将416*416尺寸的3通道输入图片进行卷积操作得到416*416尺寸的16通道的特征图，经过步长为2尺寸为2*2的最大值池化操作后，生成尺寸为208*208的16通道子模块一特征图；子模块二卷积层通道数为32，将208*208尺寸的16通道子模块一特征图进行卷积操作得到208*208尺寸的32通道的特征图，经过步长为2尺寸为2*2的最大值池化操作后，生成尺寸为104*104的32通道子模块二特征图；子模块三卷积层通道数为64，将104*104尺寸的32通道子模块二特征图进行卷积操作得到104*104尺寸的64通道的特征图，经过步长为2尺寸为2*2的最大值池化操作后，生成尺寸为52*52的64通道特征提取模块特征图。

进一步的，步骤2中轻量级感受野金字塔模块的具体实现过程如下，

引入空洞卷积，设置卷积稀释度R_c＝1为默认状态，定义稀释度R_c与原始卷积尺寸k_c和稀释后卷积尺寸k_a关系为：k_a＝(k_c-1)*R_c+1，新增的卷积核参数位置用0填充；当R_c＝1时，空洞卷积层等效于传统卷积层，获得相同感受野大小的特征图；当R_c≠1时，空洞卷积层卷积核尺寸发生变化，获得相较于同卷积核尺寸的传统卷积层更大的感受野特征图；

四条卷积层支路设置如下：支路1由通道数等于步骤1特征提取模块输出特征图通道数的1个卷积核尺寸为1*1的传统卷积层构成，此支路输出特征图对应最大的感受野信息；

支路2由通道数等于步骤1特征提取模块输出特征图通道数的1个卷积核尺寸为3*3的传统卷积层构成，此支路输出特征图对应步骤1中特征提取网络输出特征图感受野信息，对应最小的感受野信息；

支路3由通道数等于步骤1特征提取模块输出特征图通道数的1个卷积核尺寸为3*3的空洞卷积层构成，其稀释度设置为2，实际卷积尺寸为5*5，此支路输出特征图对应中型的感受野信息；

支路4由通道数等于步骤1特征提取模块输出特征图通道数的1个卷积核尺寸为3*3的空洞卷积层构成，其稀释度设置为3，实际卷积尺寸为7*7，此支路输出特征图对应较大的感受野信息。

进一步的，步骤3中第一尺度支路的具体处理过程如下，

输入特征图为步骤2中轻量级感受野金字塔模块输出特征图；

第一尺度支路子模块1包含卷积核尺寸为3*3通道数为128的传统卷积层和尺寸为2*2，步长为2的最大池化层；子模块1输出特征图尺寸下降至26*26，特征图感受野进一步扩大；

第一尺度支路子模块2包含卷积核尺寸为3*3通道数为256的传统卷积层和尺寸为2*2，步长为2的最大池化层；子模块2输入特征图为子模块1输出特征图，子模块2输出特征图尺寸下降至13*13，特征图感受野达到最大；

第一尺度支路子模块3包含卷积核尺寸为3*3通道数为512的传统卷积层和尺寸为2*2，步长为1的最大池化层；子模块3输入特征图为子模块2输出特征图，子模块3输出特征图尺寸不变；子模块3输出特征图输入卷积核尺寸为3*3通道数为1024的传统卷积层，此时特征图通道数达到最大，特征图尺寸对应大型舰船特征；

第一尺度支路子模块4为检测头模块，包含卷积核尺寸为1*1通道数为256的传统卷积层，卷积核尺寸为3*3通道数为512的传统卷积层和卷积核尺寸为1*1通道数为N_p的传统卷积层，输出N_p个检测结果参数；子模块4输入特征图为卷积核尺寸为3*3通道数为1024的传统卷积层的输出特征图；

所述结果参数包括预测框的6种属性，分别为边框横坐标，边框纵坐标，边框宽，边框高，变框置信度和类别概率。

进一步的，步骤3中第二尺度支路的具体处理过程如下，

第二尺度支路的输入特征图1为第一尺度支路子模块2中卷积核尺寸为3*3通道数为256的传统卷积层的输出特征图，其尺寸为26*26，通道数为256；输入特征图2为第一尺度支路子模块4中卷积核尺寸为1*1通道数为256的传统卷积层的输出特征图经过卷积核尺寸为1*1通道数为128的传统卷积层和上采样层得到，其尺寸为26*26，通道数为128；输入特征图1和2输入连接层，得到尺寸为26*26，通道数为384的连接层输出特征图，该特征图对应中型舰船特征，作为输入特征图输入由卷积核尺寸为3*3通道数为256的传统卷积层和卷积核尺寸为1*1通道数为N_p的传统卷积层组成的检测头子模块，输出结果参数组成同第一尺度支路。

进一步的，步骤3中第三尺度支路的具体处理过程如下，

第三尺度支路的输入特征图1为第一尺度支路子模块1中卷积核尺寸为3*3通道数为128的传统卷积层的输出特征图，其尺寸为52*52，通道数为128；输入特征图2为第二尺度支路倒数第二层卷积核尺寸为3*3通道数为256的传统卷积层的输出特征图经过卷积核尺寸为1*1通道数为128的传统卷积层和上采样层得到，其尺寸为52*52，通道数为128；输入特征图1和2输入连接层，得到尺寸为52*52，通道数为256的连接层输出特征图，该特征图对应小型舰船特征，作为输入特征图输入由卷积核尺寸为3*3通道数为128的传统卷积层和卷积核尺寸为1*1通道数为N_p的传统卷积层组成的检测头子模块，输出结果参数组成同第一尺度支路。

进一步的，步骤4中的损失函数分为四部分，分别为边框回归中心点坐标损失，边框回归长宽损失，边框置信度损失和类别预测损失，整体的损失函数由上述四部分加和得到，具体实现方式如下：

定义S_n ²为每张图片被网络划分网格数，B_n为每个网格产生的候选框数，

为表示第i个网格的第j个候选框是否负责该物体的二值参数，若负责则

否则

所述负责，是指第i个网格的第j个候选框与该物体的标注框的重合度在所有候选框与该标注框的重合度中最大；

表示第i个网格的第j个候选框是否不负责该物体的二值参数，若不负责则

否则

为第i个网格的第j个预测框的置信度，

为训练中的置信度标注真实值，其取值由网格候选框产生的预测框是否负责该物体决定，若负责则

否则

所述负责，是指第i个网格的第j个预测框与该物体的标注框的重合度在所有候选框与该标注框的重合度中最大；

第一部分为边框中心坐标损失loss_xy，用

式子计算得到，其中x_i，y_i为网络输出的预测框中心点横纵坐标归一化后的值，

为目标标注框中心点横纵坐标归一化后的值；该项损失函数实质为第i个网格的第j个候选框负责一个真实目标时，该候选框产生的预测框中心点坐标与真实目标的标注框中心点坐标的差距；

所述归一化，指将网络输出的预测框中心点对于网格相对值的横纵坐标和宽高对于候选框相对值转化为对于图像的真实坐标和预测框真实宽高的计算过程；预测框中心点真实横坐标

其中t_x为网络输出的预测框中心点对于网格的相对值横坐标，c_x为中心点在特征图中的横坐标；预测框中心点真实纵坐标

其中t_y为网络输出的预测框中心点对于网格的相对值纵坐标，c_y为中心点在特征图中的纵坐标；预测框真实宽

其中p_w为候选框的宽，t_w为网络输出的预测框宽对于网格的相对值；预测框真实高

其中p_h为候选框的高，t_h为网络输出的预测框高对于网格的相对值；

第二部分为边框宽高损失loss_wh，用

式子计算得到，其中w_i，h_i为网络输出的预测框宽高归一化后的值，

为目标标注框宽高归一化后的值；该项损失函数实质为第i个网格的第j个候选框负责一个真实目标时，该候选框产生的预测框尺寸与真实目标的标注框尺寸的差距；

第三部分为置信度损失loss_con，用

式子计算得到，其中λ_noobj预测框内不包含物体的置信度损失部分的权重系数；

第四部分为类别损失loss_con，用

式子计算得到，其中

为标注框真实类别概率，

为预测框类别概率，该损失函数实质为第i个网格的第j个候选框负责一个真实目标时，该候选框产生的预测框类别概率与真实目标的标注框类别概率的差距。

进一步的，步骤1中的特征提取模块，步骤2中的轻量级感受野金字塔模块，以及步骤3中的多尺度特征融合检测模块中所有卷积操作后均引入非线性函数作为激励函数。

本发明针对星载光学遥感图像舰船目标检测对舰船目标多尺度变化和星载平台计算力制约的问题，利用空洞卷积参数量少，能根据参数设置不同提取不同尺度目标特征的特性，通过设计多尺度特征融合检测模块配合轻量级感受野金字塔特征提取模块，采用单阶段神经网络架构训练，提高了光学遥感图像舰船目标检测精度，并控制了网络参数量。

附图说明

图1是本发明实施例的舰船目标检测方法的流程图。

图2是本发明实施例的轻量级感受野金字塔结构示意图。

图3是本发明实施例的完整网络结构示意图。

图4是本发明实施例的网络训练损失函数计算流程图。

具体实施方式

本发明主要基于深度学习神经网络，考虑光学遥感图像舰船目标尺度多样性和星载平台计算设备的制约，提出的一种基于轻量级感受野金字塔的星载光学遥感图像舰船目标检测的实验方法及系统。本方法充分考虑了不同舰船型号和不同图片分辨率的特征特性，通过引入空洞卷积构建轻量级感受野金字塔结构来在限制参数量情况下获取多尺度目标特征图。通过本发明获得的结果更加科学，更加精确。

本发明提供的方法能够用计算机软件技术实现流程。参见图1，实施例以单阶段目标检测框架为例对本发明的流程进行一个具体的阐述，如下：

步骤1，构建特征提取模块。特征提取模块包含3个结构相同的子模块，由尺寸为3*3卷积层和尺寸为2*2的最大池化层组成。

实施例具体的实施过程说明如下：

定义I_c为卷积层输入特征图尺寸，O_c为卷积层输出特征图尺寸，k_c为卷积层卷积核尺寸，p_c为卷积层衬垫大小，s_c为卷积步长，f_c为卷积层滤波器个数，n_c为滤波器中卷积核个数。定义I_m为池化层输入特征图尺寸，O_m为池化层输出特征图尺寸，k_m为池化层池化尺寸，p_m为池化层衬垫大小，s_m为池化步长。

网络中卷积层对每个通道维度的特征图执行二维卷积操作，即将卷积核在二维数据上滑窗，对当前输入的卷积核尺寸部分的数据进行矩阵乘法，将结果汇为单个输出像素。输出特征为在输入数据相同位置上的加权和，权值为卷积核参数。为保证输出特征图与输入特征图尺寸相同，本发明使用衬垫算法，即用额外零像素填充边缘，保证滑动时的卷积核可以允许原始边缘像素位于其中心，同时延伸到边缘之外的零像素，从而产生与输入相同大小的输出。填充的零数量由衬垫大小p_c决定，输入特征图尺寸填充后变为I_c+2*p_c。卷积层输出特征图尺寸

执行本发明技术方案时卷积步长恒为1。每层卷积层存在等同于输出特征图通道数的滤波器，每个滤波器中存在等同于输入特征图通道数的卷积核个数，每个滤波器中每个卷积核在各自对应的输入通道上进行二维卷积操作，得到的特征图对应位置相加再加上偏置，最终得到等同于滤波器个数的输出特征图。

为保证检测网络实际效果，本发明建议在步骤1构建的特征提取模块，后续步骤2构建的轻量级感受野金字塔模块，和步骤3构建的多尺度目标特征图构建的多尺度特征融合检测模块中所有卷积操作后均引入非线性函数作为激励函数，提高深层神经网络的特征表达能力，本实施例采用LeakyRelu函数作为激活函数，其函数计算公式为f(x)＝max(0.01x,x)。同时为了保证检测网络在步骤4网络训练中能快速收敛，本发明建议在卷积操作后引入批量归一化，引入可学习重构参数

β＝E[x^(k)]，其中x^(k)为k维卷积层输出特征图，k维批量归一化输出

该操作主要针对步骤4网络训练进行优化，能改善网络梯度，允许更大的学习率，大幅提高训练速度并减少对初始化的强烈依赖。也可以采用小学习率和初始化训练权重优化步骤4，执行本发明技术方案时则无需进行批量归一化操作。

网络中最大池化层对每个通道维度的特征图进行最大池化操作，即将特征图不重叠地分割成若干个池化尺寸大小的小块，每个小块内只取最大的数字，再舍弃其他节点后，保持原有的平面结构得到输出特征图。最大池化层可对提取到的特征信息进行降维，一方面使特征图变小，简化网络计算复杂度并在一定程度上避免过拟合的出现，一方面进行特征压缩，提取主要特征，同时还能提供一定的旋转不变性。若池化步长为1，则为保证输出特征图与输入特征图尺寸相同，本发明使用与卷积层相同的衬垫算法，输入特征图尺寸填充后变为I_m+2*p_m。池化层输出特征图尺寸

否则不采用衬垫算法。

实施例具体的实施方案如下：

子模块一卷积层通道数为16，将416*416尺寸的3通道输入图片进行卷积操作得到416*416尺寸的16通道的特征图，经过步长为2尺寸为2*2的最大值池化操作后，生成尺寸为208*208的16通道子模块一特征图。子模块二卷积层通道数为32，将208*208尺寸的16通道子模块一特征图进行卷积操作得到208*208尺寸的32通道的特征图，经过步长为2尺寸为2*2的最大值池化操作后，生成尺寸为104*104的32通道子模块二特征图。子模块三卷积层通道数为64，将104*104尺寸的32通道子模块二特征图进行卷积操作得到104*104尺寸的64通道的特征图，经过步长为2尺寸为2*2的最大值池化操作后，生成尺寸为52*52的64通道特征提取模块特征图。

步骤2，根据采用步骤1所得特征提取模块特征图构建轻量级感受野金字塔模块。

一般进行构建时，根据当前的数据集判断轻量级感受野金字塔模块构建于特征提取模块后还是检测模块中。实施例指定构建于特征提取模块后，构建时可以调整位置，构建者根据步骤3的多尺度特征融合检测模块设计，保证检测模块所采用的多张不同尺寸特征图在轻量级感受野金字塔模块之后即可。网络构建实现为现有技术，本发明的技术方案直接采用特征提取模块输出特征图作为轻量级感受野金字塔模块输入，轻量级感受野金字塔模块输出特征图直接作为后续步骤3多尺度特征融合检测模块输入。为便于实施参考起见，本发明进一步提供实施例的轻量级感受野金字塔构建具体方式如下：

本发明引入空洞卷积结构，设置卷积稀释度R_c＝1为默认状态，定义稀释度R_c与原始卷积尺寸k_c和稀释后卷积尺寸k_a关系为：k_a＝(k_c-1)*R_c+1。新增的卷积核参数位置用0填充。当R_c＝1时，空洞卷积层等效于传统卷积层，获得相同感受野大小的特征图；当R_c≠1时，空洞卷积层卷积核尺寸发生变化，获得相较于同卷积核尺寸的传统卷积层更大的感受野特征图。

如图2所示，具体流程中轻量级感受野金字塔模块分为四条支路。支路1由通道数等于步骤1特征提取模块输出特征图通道数的1个卷积核尺寸为1*1的传统卷积层构成，其等效于一个大稀释度的尺寸为3*3的空洞卷积。因为图像边界响应无法捕捉远距离信息，大稀释度的空洞卷积往往会退化为尺寸为1*1的常规卷积。此支路输出特征图对应最大的感受野信息，其提取的特征对于航母级舰船更为敏感。

支路2由通道数等于步骤1特征提取模块输出特征图通道数的1个卷积核尺寸为3*3的传统卷积层构成，此支路输出特征图对应步骤1中特征提取网络输出特征图感受野信息，对应最小的感受野信息，其提取的特征对于小型渔船更为敏感。

支路3由通道数等于步骤1特征提取模块输出特征图通道数的1个卷积核尺寸为3*3的空洞卷积层构成，其稀释度设置为2，实际卷积尺寸为5*5，此支路输出特征图对应中型的感受野信息，其提取的特征对于中型货轮更为敏感。

支路4由通道数等于步骤1特征提取模块输出特征图通道数的1个卷积核尺寸为3*3的空洞卷积层构成，其稀释度设置为3，实际卷积尺寸为7*7，此支路输出特征图对应较大的感受野信息，其提取的特征对于军舰、大型货轮更为敏感。

4个卷积层输入均为步骤1所得特征提取模块特征图。随后，将4个卷积层的输出特征图输入连接层，即获得对应4个尺度目标的整合特征图。

所述连接层，是指将输入的特征图按先后顺序，在通道维度上拼接，即连接层输出特征图通道数等于输入特征图通道数之和，在本实施例代码实现中，直接进行特征图数组在通道维度上的合并。

通过该结构提取包含不同尺度信息的特征图时，由于没有有效的利用不同通道在相同空间位置上的特征信息，故在上述并行结构的连接层后补充一个通道数等于步骤1特征提取模块输出特征图通道数两倍的卷积核尺寸为3*3常规卷积层进行多尺度特征融合，增强浅层特征表达能力。

除航母外，为了适航，舰船多呈轴对称结构,且一般为舰首较尖的狭长形状；不同的舰船由于其用途不同，外形结构和大小也相应地有所差异，尺度差异超过20倍。该结构参数量小，且能有效适应海面舰船由于图像分辨率，船只型号和天气状况造成较大尺度变化。

步骤3，根据采用步骤2所得多尺度目标特征图构建多尺度特征融合检测模块。

在步骤2所得多尺度目标特征图之后构建多种尺度的卷积层用于分类和检测。本实施例采用3种尺度特征图(13*13，26*26，52*52)，增强网络对多尺度船只目标的检测能力。

如图3所示，具体流程中多尺度特征融合检测模块分为三条检测支路。第一尺度支路的输入特征图为步骤2中轻量级感受野金字塔模块输出特征图。

第一尺度支路子模块1包含卷积核尺寸为3*3通道数为128的传统卷积层和尺寸为2*2，步长为2的最大池化层。子模块1输出特征图尺寸下降至26*26，特征图感受野进一步扩大。

第一尺度支路子模块2包含卷积核尺寸为3*3通道数为256的传统卷积层和尺寸为2*2，步长为2的最大池化层。子模块2输入特征图为子模块1输出特征图，子模块2输出特征图尺寸下降至13*13，特征图感受野达到最大。

第一尺度支路子模块3包含卷积核尺寸为3*3通道数为512的传统卷积层和尺寸为2*2，步长为1的最大池化层。子模块3输入特征图为子模块2输出特征图，子模块3输出特征图尺寸不变。子模块3输出特征图输入卷积核尺寸为3*3通道数为1024的传统卷积层，此时特征图通道数达到最大，特征图尺寸对应大型舰船特征。

第一尺度支路子模块4为检测头模块，包含卷积核尺寸为1*1通道数为256的传统卷积层，卷积核尺寸为3*3通道数为512的传统卷积层和卷积核尺寸为1*1通道数为18的传统卷积层，输出18个检测结果参数。子模块4输入特征图为卷积核尺寸为3*3通道数为1024的传统卷积层的输出特征图。

所述结果参数包括三个预测框的各6种属性，分别为边框横坐标，边框纵坐标，边框宽，边框高，变框置信度和类别概率共18个参数。本实施例将所有船只目标标注为类别1，也可以将船只目标标注为多个类别，执行本发明技术方案时则输出参数量根据类别数有所变化，输出检测结果参数个数N_p通过N_p＝3*(5+N_c)式子获得，其中N_c为光学遥感图像舰船数据集舰船类别标注个数。本实施例中多尺度特征融合检测模块的卷积层除去最后一层卷积核尺寸为1*1，通道数为18的卷积层外，均采用LeakyRelu函数作为激活函数，并引入批量归一化操作。

第二尺度支路的输入特征图1为第一尺度支路子模块2中卷积核尺寸为3*3通道数为256的传统卷积层的输出特征图，其尺寸为26*26，通道数为256。输入特征图2为第一尺度支路子模块4中卷积核尺寸为1*1通道数为256的传统卷积层的输出特征图经过卷积核尺寸为1*1通道数为128的传统卷积层和上采样层得到，其尺寸为26*26，通道数为128。输入特征图1和2输入连接层，得到尺寸为26*26，通道数为384的连接层输出特征图，该特征图对应中型舰船特征，作为输入特征图输入由卷积核尺寸为3*3通道数为256的传统卷积层和卷积核尺寸为1*1通道数为18的传统卷积层组成的检测头子模块，输出结果参数组成同第一尺度支路。

所述上采样层，是指对输入特征图，在像素点值之间采用合适的插值算法插入新的元素。本实施例采用双线性插值法，本领域人员可自行根据具体情况设定插值方法。

第三尺度支路的输入特征图1为第一尺度支路子模块1中卷积核尺寸为3*3通道数为128的传统卷积层的输出特征图，其尺寸为52*52，通道数为128。输入特征图2为第二尺度支路倒数第二层卷积核尺寸为3*3通道数为256的传统卷积层的输出特征图经过卷积核尺寸为1*1通道数为128的传统卷积层和上采样层得到，其尺寸为52*52，通道数为128。输入特征图1和2输入连接层，得到尺寸为52*52，通道数为256的连接层输出特征图，该特征图对应小型舰船特征，作为输入特征图输入由卷积核尺寸为3*3通道数为128的传统卷积层和卷积核尺寸为1*1通道数为18的传统卷积层组成的检测头子模块，输出结果参数组成同第一尺度支路。

步骤4，根据采用步骤1，2，3构造的基于轻量级感受野金字塔的星载光学遥感图像舰船目标检测构造的网络，对数据集进行网络训练。网络训练以网络损失值为依据，当损失值随迭代次数下降至不再大范围波动时，视为网络收敛，获得网络权重值。如图4所示，本发明损失函数分为四部分，具体计算方式如下：

定义S_n ²为每张图片被网络划分网格数，B_n为每个网格产生的候选框数，

为表示第i个网格的第j个候选框是否负责该物体的二值参数，若负责则

否则

所述负责，指第i个网格的第j个候选框与该物体的标注框的重合度在所有候选框与该标注框的重合度中最大。

表示第i个网格的第j个候选框是否不负责该物体的二值参数，若不负责则

否则

为第i个网格的第j个预测框的置信度。

为训练中的置信度标注真实值，其取值由网格候选框产生的预测框是否负责该物体决定，若负责则

否则

所述负责第i个网格的第j个预测框与该物体的标注框的重合度在所有候选框与该标注框的重合度中最大。

第一部分为边框中心坐标损失loss_xy，其可用

式子计算得到，其中x_i，y_i为网络输出的预测框中心点横纵坐标归一化后的值，

为目标标注框中心点横纵坐标归一化后的值。该项损失函数实质为第i个网格的第j个候选框负责一个真实目标时，该候选框产生的预测框中心点坐标与真实目标的标注框中心点坐标的差距。

所述归一化，指将网络输出的预测框中心点对于网格相对值的横纵坐标和宽高对于候选框相对值转化为对于图像的真实坐标和预测框真实宽高的计算过程。预测框中心点真实横坐标

其中t_x为网络输出的预测框中心点对于网格的相对值横坐标，c_x为中心点在特征图中的横坐标；预测框中心点真实纵坐标

其中t_y为网络输出的预测框中心点对于网格的相对值纵坐标，c_y为中心点在特征图中的纵坐标；预测框真实宽

其中p_w为候选框的宽，t_w为网络输出的预测框宽对于网格的相对值；预测框真实高

其中p_h为候选框的高，t_h为网络输出的预测框高对于网格的相对值。

第二部分为边框宽高损失loss_wh，其可用

式子计算得到，其中w_i，h_i为网络输出的预测框宽高归一化后的值，

为目标标注框宽高归一化后的值。该项损失函数实质为第i个网格的第j个候选框负责一个真实目标时，该候选框产生的预测框尺寸与真实目标的标注框尺寸的差距。

第三部分为置信度损失loss_con，其可用

式子计算得到，其中λ_noobj预测框内不包含物体的置信度损失部分的权重系数。对于光学遥感图像，大部分内容不包含待检测物体，即没有物体的计算部分损失贡献会大于有物体的计算部分，这会导致网络倾向于预测单元格内不含物体。因此，本发明设计损失函数时减少不包含物体计算部分的贡献权重。

第四部分为类别损失loss_con，其可用

式子计算得到，其中

为标注框真实类别概率，

为预测框类别概率。该损失函数实质为第i个网格的第j个候选框负责一个真实目标时，该候选框产生的预测框类别概率与真实目标的标注框类别概率的差距。

具体训练流程中，对输入训练集图片划分网格，在各网格内通过预设尺寸的候选框生成预测框，通过预测框参数和标注真实框参数计算损失函数，计算完训练集内所有图片得到本次迭代损失函数值，完成一次迭代。

实施例过程训练涉及参数如下表：

其中Batch与Subdivisions参数控制一次送入网络训练的图片张数，Resizewidth与Resize height为网络训练输入图片归一化后尺寸，Learning rate为网络训练学习率，决定网络收敛速度，Max batches为网络训练迭代最大次数，Policy为网络训练学习率下降策略，本实施例选择steps策略，即每训练到一定迭代次数，学习率变为自身的十分之一，设置10000次和20000次迭代时各下降一次学习率。本领域技术人员可以需要根据具体情况设定其他方式，或者参照本发明实施例提供的方式自行设置表中数值。

本文中所描述的具体实施例仅仅是对本发明精神作举例说明。本发明所属技术领域的技术人员可以对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，但并不会偏离本发明的精神或者超越所附权利要求书所定义的范围。

Claims (8)

1.一种基于轻量级感受野金字塔的星载光学遥感图像舰船目标检测方法，其特征在于，包含以下步骤：

步骤1，构建特征提取模块，获得特征提取模块特征图；所述特征提取模块包含3个结构相同的子模块，每个子模块包括1个卷积层和1个最大池化层；

步骤2，根据步骤1所得特征提取模块特征图构建轻量级感受野金字塔模块，获得尺度目标特征图；所述轻量级感受野金字塔模块包括4个引入空洞卷积的卷积层支路、1个连接层和一个传统卷积层，其中4个卷积层支路的输入均为步骤1所得特征提取模块特征图，随后，将4个卷积层支路的输出特征图输入连接层，最后再通过一个传统卷积层进行多尺度特征融合，即获得对应4个尺度目标的特征图；

步骤3，根据步骤2所得多尺度目标特征图构建多尺度特征融合检测模块，多尺度特征融合检测模块分为三条检测支路，其中：

第一尺度支路包括4个支路子模块，分别记为支路子模块1、支路子模块2、支路子模块3、支路子模块4，前3个支路子模块包括1个传统卷积层和1个最大池化层，第4个支路子模块包括若干个传统卷积层，第一尺度支路以步骤2中轻量级感受野金字塔模块输出特征图作为输入，输出N_p个检测结果参数，N_p＝3*(5+N_c)，其中N_c为光学遥感图像舰船数据集舰船类别标注个数；

第二尺度支路分别以第一尺度支路中的支路子模块2的输出特征图，以及第一尺度支路中的支路子模块4的输出进行卷积和上采样之后的特征图作为输入，将两个特征图依次输入连接层、2个传统卷积层，输出N_p个检测结果参数；

第三尺度支路分别以第一尺度支路中的支路子模块1的输出特征图，以及第二尺度支路的输出进行卷积和上采样之后的特征图作为输入，将两个特征图依次输入连接层、2个传统卷积层，输出N_p个检测结果参数；

步骤4，结合步骤1，2，3中的3个模块，构造基于轻量级感受野金字塔的星载光学遥感图像舰船目标检测网络；然后对输入训练集图片划分网格，在各网格内通过预设尺寸的候选框生成预测框，通过预测框参数和标注真实框参数计算损失函数，计算完训练集内所有图片得到本次迭代损失函数值，完成一次迭代，网络训练以网络损失值为依据，当损失值随迭代次数收敛时，获得网络权重值；最后利用训练好的目标检测网络对待检测图片进行舰船目标检测。

2.如权利要求1所述的一种基于轻量级感受野金字塔的星载光学遥感图像舰船目标检测方法，其特征在于：步骤1中构建特征提取模块的具体实现过程如下，

子模块一卷积层通道数为16，将416*416尺寸的3通道输入图片进行卷积操作得到416*416尺寸的16通道的特征图，经过步长为2尺寸为2*2的最大值池化操作后，生成尺寸为208*208的16通道子模块一特征图；子模块二卷积层通道数为32，将208*208尺寸的16通道子模块一特征图进行卷积操作得到208*208尺寸的32通道的特征图，经过步长为2尺寸为2*2的最大值池化操作后，生成尺寸为104*104的32通道子模块二特征图；子模块三卷积层通道数为64，将104*104尺寸的32通道子模块二特征图进行卷积操作得到104*104尺寸的64通道的特征图，经过步长为2尺寸为2*2的最大值池化操作后，生成尺寸为52*52的64通道特征提取模块特征图。

3.如权利要求1所述的一种基于轻量级感受野金字塔的星载光学遥感图像舰船目标检测方法，其特征在于：步骤2中轻量级感受野金字塔模块的具体实现过程如下，

引入空洞卷积，设置卷积稀释度R_c＝1为默认状态，定义稀释度R_c与原始卷积尺寸k_c和稀释后卷积尺寸k_a关系为：k_a＝(k_c-1)*R_c+1，新增的卷积核参数位置用0填充；当R_c＝1时，空洞卷积层等效于传统卷积层，获得相同感受野大小的特征图；当R_c≠1时，空洞卷积层卷积核尺寸发生变化，获得相较于同卷积核尺寸的传统卷积层更大的感受野特征图；

四条卷积层支路设置如下：支路1由通道数等于步骤1特征提取模块输出特征图通道数的1个卷积核尺寸为1*1的传统卷积层构成，此支路输出特征图对应最大的感受野信息；

支路2由通道数等于步骤1特征提取模块输出特征图通道数的1个卷积核尺寸为3*3的传统卷积层构成，此支路输出特征图对应步骤1中特征提取网络输出特征图感受野信息，对应最小的感受野信息；

支路3由通道数等于步骤1特征提取模块输出特征图通道数的1个卷积核尺寸为3*3的空洞卷积层构成，其稀释度设置为2，实际卷积尺寸为5*5，此支路输出特征图对应中型的感受野信息；

支路4由通道数等于步骤1特征提取模块输出特征图通道数的1个卷积核尺寸为3*3的空洞卷积层构成，其稀释度设置为3，实际卷积尺寸为7*7，此支路输出特征图对应较大的感受野信息。

4.如权利要求1所述的一种基于轻量级感受野金字塔的星载光学遥感图像舰船目标检测方法，其特征在于：步骤3中第一尺度支路的具体处理过程如下，

输入特征图为步骤2中轻量级感受野金字塔模块输出特征图；

第一尺度支路子模块1包含卷积核尺寸为3*3通道数为128的传统卷积层和尺寸为2*2，步长为2的最大池化层；子模块1输出特征图尺寸下降至26*26，特征图感受野进一步扩大；

第一尺度支路子模块2包含卷积核尺寸为3*3通道数为256的传统卷积层和尺寸为2*2，步长为2的最大池化层；子模块2输入特征图为子模块1输出特征图，子模块2输出特征图尺寸下降至13*13，特征图感受野达到最大；

第一尺度支路子模块3包含卷积核尺寸为3*3通道数为512的传统卷积层和尺寸为2*2，步长为1的最大池化层；子模块3输入特征图为子模块2输出特征图，子模块3输出特征图尺寸不变；子模块3输出特征图输入卷积核尺寸为3*3通道数为1024的传统卷积层，此时特征图通道数达到最大，特征图尺寸对应大型舰船特征；

第一尺度支路子模块4为检测头模块，包含卷积核尺寸为1*1通道数为256的传统卷积层，卷积核尺寸为3*3通道数为512的传统卷积层和卷积核尺寸为1*1通道数为N_p的传统卷积层，输出N_p个检测结果参数；子模块4输入特征图为卷积核尺寸为3*3通道数为1024的传统卷积层的输出特征图；

所述结果参数包括预测框的6种属性，分别为边框横坐标，边框纵坐标，边框宽，边框高，变框置信度和类别概率。

5.如权利要求4所述的一种基于轻量级感受野金字塔的星载光学遥感图像舰船目标检测方法，其特征在于：步骤3中第二尺度支路的具体处理过程如下，

第二尺度支路的输入特征图1为第一尺度支路子模块2中卷积核尺寸为3*3通道数为256的传统卷积层的输出特征图，其尺寸为26*26，通道数为256；输入特征图2为第一尺度支路子模块4中卷积核尺寸为1*1通道数为256的传统卷积层的输出特征图经过卷积核尺寸为1*1通道数为128的传统卷积层和上采样层得到，其尺寸为26*26，通道数为128；输入特征图1和2输入连接层，得到尺寸为26*26，通道数为384的连接层输出特征图，该特征图对应中型舰船特征，作为输入特征图输入由卷积核尺寸为3*3通道数为256的传统卷积层和卷积核尺寸为1*1通道数为N_p的传统卷积层组成的检测头子模块，输出结果参数组成同第一尺度支路。

6.如权利要求5所述的一种基于轻量级感受野金字塔的星载光学遥感图像舰船目标检测方法，其特征在于：步骤3中第三尺度支路的具体处理过程如下，

第三尺度支路的输入特征图1为第一尺度支路子模块1中卷积核尺寸为3*3通道数为128的传统卷积层的输出特征图，其尺寸为52*52，通道数为128；输入特征图2为第二尺度支路倒数第二层卷积核尺寸为3*3通道数为256的传统卷积层的输出特征图经过卷积核尺寸为1*1通道数为128的传统卷积层和上采样层得到，其尺寸为52*52，通道数为128；输入特征图1和2输入连接层，得到尺寸为52*52，通道数为256的连接层输出特征图，该特征图对应小型舰船特征，作为输入特征图输入由卷积核尺寸为3*3通道数为128的传统卷积层和卷积核尺寸为1*1通道数为N_p的传统卷积层组成的检测头子模块，输出结果参数组成同第一尺度支路。

7.如权利要求1所述的一种基于轻量级感受野金字塔的星载光学遥感图像舰船目标检测方法，其特征在于：步骤4中的损失函数分为四部分，分别为边框回归中心点坐标损失，边框回归长宽损失，边框置信度损失和类别预测损失，整体的损失函数由上述四部分加和得到，具体实现方式如下：

定义S_n ²为每张图片被网络划分网格数，B_n为每个网格产生的候选框数，

为表示第i个网格的第j个候选框是否负责真实目标的二值参数，若负责则

否则

所述负责，是指第i个网格的第j个候选框与真实目标的标注框的重合度在所有候选框与该标注框的重合度中最大；

表示第i个网格的第j个候选框是否不负责真实目标的二值参数，若不负责则

否则

为第i个网格的第j个预测框的置信度，

为训练中的置信度标注真实值，其取值由网格候选框产生的预测框是否负责真实目标决定，若负责则

否则

所述负责，是指第i个网格的第j个预测框与真实目标的标注框的重合度在所有候选框与该标注框的重合度中最大；

第一部分为边框中心坐标损失loss_xy，用

式子计算得到，其中x_i，y_i为网络输出的预测框中心点横纵坐标归一化后的值，

为目标标注框中心点横纵坐标归一化后的值；该项损失函数实质为第i个网格的第j个候选框负责一个真实目标时，该候选框产生的预测框中心点坐标与真实目标的标注框中心点坐标的差距；

所述归一化，指将网络输出的预测框中心点对于网格相对值的横纵坐标和宽高对于候选框相对值转化为对于图像的真实坐标和预测框真实宽高的计算过程；预测框中心点真实横坐标

其中t_x为网络输出的预测框中心点对于网格的相对值横坐标，c_x为中心点在特征图中的横坐标；预测框中心点真实纵坐标

其中t_y为网络输出的预测框中心点对于网格的相对值纵坐标，c_y为中心点在特征图中的纵坐标；预测框真实宽

其中p_w为候选框的宽，t_w为网络输出的预测框宽对于网格的相对值；预测框真实高

其中p_h为候选框的高，t_h为网络输出的预测框高对于网格的相对值；

第二部分为边框宽高损失loss_wh，用

式子计算得到，其中w_i，h_i为网络输出的预测框宽高归一化后的值，

为目标标注框宽高归一化后的值；该项损失函数实质为第i个网格的第j个候选框负责一个真实目标时，该候选框产生的预测框尺寸与真实目标的标注框尺寸的差距；

第三部分为置信度损失loss_con，用

式子计算得到，其中λ_noobj预测框内不包含物体的置信度损失部分的权重系数；

第四部分为类别损失loss_con，用

式子计算得到，其中

为标注框真实类别概率，

为预测框类别概率，该损失函数实质为第i个网格的第j个候选框负责一个真实目标时，该候选框产生的预测框类别概率与真实目标的标注框类别概率的差距。

8.如权利要求1-7任一权利要求所述的一种基于轻量级感受野金字塔的星载光学遥感图像舰船目标检测方法，其特征在于：步骤1中的特征提取模块，步骤2中的轻量级感受野金字塔模块，以及步骤3中的多尺度特征融合检测模块中所有卷积操作后均引入非线性函数作为激励函数。

Images