CN112270259A - 基于轻量级卷积神经网络的sar图像舰船目标快速检测方法 - Google Patents

Abstract

本发明提供一种基于轻量级卷积神经网络的SAR图像舰船目标快速检测方法，各级联卷积模块的级联单元的卷积层输出的所有特征图均输入特征聚合单元进行特征聚合，再将得到的聚合特征图输入下一个级联卷积模块；双通道卷积模块两个通道输出的特征图也进行特征聚合后再输入下一个双通道卷积模块；由此可以提高各卷积层生成的特征图的利用率，既能够减少参数量，又能够在减少对原始SAR图像数据量需求的情况下，保证目标检测系统的准确度。

Description

基于轻量级卷积神经网络的SAR图像舰船目标快速检测方法

技术领域

本发明属于雷达遥感技术和计算机视觉技术领域，尤其涉及一种基于轻量级卷积神经网络的SAR图像舰船目标快速检测方法。

背景技术

SAR是Synthetic Aperture Radar的首字母缩写，指合成孔径雷达，这是一种能够全天时、全天候工作的主动式微波遥感成像雷达，在海域监控、资源勘测、重点区域监测、海上态势感知等军事和民用领域有广泛且重要的应用，发挥着光学、红外等其他遥感手段无可替代的作用。我国作为一个拥有上万公里海岸线和数百万平方公里海洋国土面积的海洋大国，为了维护国家领海主权和合法权益不受非法侵害，开展基于SAR图像的海上舰船目标快速检测对及时掌握我国海域的舰船目标分布及活动状态具有重要的现实意义。

近几年，卷积神经网络(Convolutional Neural Network,CNN)强大的图像表示和特征提取能力及其在图像分类、目标检测、目标识别、变化检测等计算机视觉任务中的巨大成功吸引了越来越多研究人员将其迁移和推广到SAR图像舰船目标检测中，取得了较高的检测精度，尤其对复杂场景中不同尺度、不同分辨率、不同成像质量的舰船目标保持了较高的准确度，且整个检测过程是一体化、端到端的。

当前，基于CNN的SAR图像舰船目标检测主要借助于迁移学习技术，利用在源域(通常指光学图像，如ImageNet数据集)上训练好的模型参数文件来初始化SAR舰船检测的CNN模型，在此基础上利用少量精确的边框级标注的舰船目标SAR图像数据集来训练模型，最终使其获得较高精度的检测舰船的能力。但源域与SAR图像在统计、视觉、变换域特征等方面有很大差异，这限制了CNN对SAR图像中舰船目标的特征表征；此外，这类方法通常参数量巨大，模型太“重”，检测速度慢，实际应用中无法集成至计算资源有限的便携式、嵌入式设备中。为此，摒弃迁移学习技术，从参数随机初始化的网络开始训练(即从零训练)可以有效解决这一问题；同时，考虑到获取和制作大规模精确标注的舰船目标SAR图像数据集的成本太高、周期较长、难度较大，因此，在保证一定检测精度的前提下设计一种参数量少的轻量级、从零训练的SAR图像舰船目标快速检测方法是现有条件下解决上述问题的有效途径。

发明内容

为解决上述问题，本发明提供一种基于轻量级卷积神经网络的SAR图像舰船目标快速检测方法，参数量少、运算量小、检测速度快、检测精度较高、鲁棒性较强，能够满足在实际应用场景下SAR图像检测任务对检测速度、精度和鲁棒性的需求，尤其适合于便携式、嵌入式设备等计算资源和存储空间有限的场景。

一种基于轻量级卷积神经网络的SAR图像舰船目标快速检测方法，采用训练好的骨干网络和后处理模块检测SAR图像中的舰船目标，所述骨干网络包括初级卷积模块，多个级联卷积模块、多个双通道卷积模块以及后处理模块，其中，所述级联卷积模块包括降维单元、级联单元以及特征聚合单元，且各级联卷积模块中级联单元包含的卷积层的数量不完全相同；所述双通道卷积模块包括第一通道、第二通道以及特征聚合单元；

所述初级卷积模块用于对原始SAR图像进行特征提取，得到初级特征图；

各级联卷积模块的降维单元用于对上一个级联卷积模块输出的聚合特征图进行降维，将降维后的聚合特征图发送到级联单元中的各卷积层进行前向传播，特征聚合单元再将前向传播过程中由级联单元的各卷积层输出的特征图进行特征聚合，将得到的聚合特征图输入到下一个级联卷积模块；其中，第一个级联卷积模块的降维单元对初级卷积模块输出的初级特征图进行降维；对于最后一个级联卷积模块的特征聚合单元输出的聚合特征图、降维单元输出的降维后的聚合特征图，将两者依次进行降维、特征聚合后，再将最终得到的聚合特征图输入到第一个双通道卷积模块；

各双通道卷积模块的两个通道用于对上一个双通道卷积模块输出的聚合特征图进行降维和特征提取后，特征聚合单元再将两个通道输出的特征图进行特征聚合，将得到的聚合特征图输入下一个双通道卷积模块；其中，第一个双通道卷积模块接收的是最后一个级联卷积模块最终输出的聚合特征图；最后一个双通道卷积模块输出的聚合特征图作为特征图提取结果；

所述后处理模块用于根据特征图提取结果获取最终的舰船目标检测结果。

进一步地，所述后处理模块用于根据特征图提取结果获取最终的舰船目标检测结果具体为：

以预定义的大小和长宽比的滑动窗口遍历作为特征提取结果的特征聚合图，得到多个默认框；

对多个默认框进行边框回归和类别回归，对多个默认框进行边框回归和类别回归，得到舰船目标的位置；

将得到的舰船目标的位置映射回原始SAR图像，得到舰船目标的边界框；

采用非极大值抑制算法剔除属于同一个舰船目标的冗余边界框，得到舰船目标检测结果。

进一步地，一种基于轻量级卷积神经网络的SAR图像舰船目标快速检测方法，还可以将其他双通道卷积模块输出的聚合特征图以及最后两个级联卷积模块输出的聚合特征图作为特征图提取结果，其中，各双通道卷积模块、级联卷积模块输出的聚合特征图的尺度不同。

进一步地，所述级联卷积模块的数量为三个，所述双通道卷积模块的数量为四个；其中，第一个级联卷积模块的降维单元包括一个池化层、级联单元包括6个级联的前置卷积层，特征聚合单元包括一个特征聚合层和一个后置卷积层；第二个级联卷积模块的降维单元包括一个池化层、级联单元包括8个级联的前置卷积层、特征聚合单元包括一个特征聚合层与两个后置卷积层；第三个级联卷积模块的降维单元包括一个池化层、级联单元包括16个级联的前置卷积层、特征聚合单元包括两个后置卷积层以及两个特征聚合层；双通道卷积模块的第一通道由两个卷积层级联而成，第二通道由池化层和卷积层级联而成；

初级特征图的获取方法为：

S1：将包含舰船目标的SAR图像作为训练样本，并获取框选SAR图像中舰船目标的边界框的坐标；

S2：将所述SAR图像输入初级卷积模块，经由初级卷积模块对SAR图像进行特征提取，得到初级特征图；

第一级特征聚合图的获取方法为：

S3：所述初级特征图首先经过池化层进行下采样，将初级特征图的分辨率降低一半，而后在6个前置卷积层中前向传播，每个前置卷积层均得到48个前置特征图；将6个前置卷积层输出的所有前置特征图输入特征聚合层进行特征聚合后，再经由后置卷积层降低前置特征图的通道维数，得到第一级特征聚合图；

第二级特征聚合图的获取方法为：

S4：所述第一级特征聚合图首先经过池化层进行二倍下采样，然后在8个前置卷积层中前向传播，每个前置卷积层均得到48个前置特征图；将8个前置卷积层输出的所有前置特征图输入特征聚合层进行特征聚合后，再经由两个后置卷积层降低前置特征图的通道维数，得到第二级特征聚合图；

第三级特征聚合图的获取方法为：

S5：所述第二级特征聚合图首先经过池化层进行二倍下采样，然后在16个前置卷积层中前向传播，每个前置卷积层均得到48个前置特征图；将16个前置卷积层输出的所有前置特征图输入其中一个特征聚合层进行特征聚合后，再经由其中一个后置卷积层降低前置特征图的通道维数，得到第三级中间特征图；同时，所述第二级特征图还直接经由另一个后置卷积层降低第二级特征聚合图的通道维数，得到另一个第三级中间特征图；最后两个第三级中间特征图经由另一个特征聚合层进行特征聚合，得到第三级特征聚合图；

双通道卷积模块输出的各级特征聚合图的获取方法为：

S6：所述第三级特征聚合图顺次在四个双通道卷积模块中的两个通道进行传递，分别得到不同分辨率的聚合特征图。

进一步地，后处理模块分别将第二个级联卷积模块、第三个级联卷积模块以及四个双通道卷积模块输出的六种不同分辨率的特征图作为舰船目标检测的源特征图执行以下步骤，得到舰船目标在原始输入的SAR图像中的位置：

S71：以预定义的大小和长宽比的滑动窗口遍历源特征图，得到多个默认框；

S72：通过边框回归与类别回归从遍历得到的所有默认框中得到不同大小的舰船目标的边界框，最后采用非极大值抑制算法剔除属于同一个舰船目标的边界框，确定舰船目标在原始输入的SAR图像中的检测位置；

S8：根据S72中得到的舰船目标的位置与步骤S1中标注的舰船目标在SAR图像中真实的边界框位置计算当前迭代的损失值；

S9：判断当前迭代次数是否达到预先设定的最大迭代次数，若达到，则此时得到的网络为最终的骨干网络，且得到的舰船目标在原始输入的SAR图像中的检测位置为舰船目标在原始输入的SAR图像中的最终位置，若未达到，进入步骤S10；其中，第一次迭代时，仅判断当前迭代次数是否小于预先设定的最大迭代次数；

S10：将训练损失值用于反向传播，通过SGD算法调整各卷积模块在获取各级特征聚合图时采用的卷积核的权重参数，完成各卷积模块所采用的卷积核的权重参数的更新；然后获取下一批次的包含舰船目标的SAR图像作为新的训练样本，采用更新后的各卷积模块重复步骤S2～S8，再次得到损失值，直到本次迭代得到的损失值与上一次迭代得到的损失值的差值小于预设阈值或当前迭代次数等于预先设定的最大迭代次数。

进一步地，所述SAR图像的大小为300×300，初级特征图的大小为150×150，第一级聚合特征图的大小为75×75，第二级聚合特征图的大小为38×38，第三级中间特征图的大小为19×19，第三级聚合特征图的大小为19×19，四个双通道卷积模块中输出的聚合特征图大小分别为10×10、5×5、3×3以及1×1。

进一步地，所述初级卷积模块包括三个级联的卷积层。

进一步地，所述SAR图像包括不同分辨率、不同场景、不同噪声图像以及不同成像质量的图像。

有益效果：

1、本发明提供一种基于轻量级卷积神经网络的SAR图像舰船目标快速检测方法，各级联卷积模块的级联单元的卷积层输出的所有特征图均输入特征聚合单元进行特征聚合，再将得到的聚合特征图输入下一个级联卷积模块；双通道卷积模块两个通道输出的特征图也进行特征聚合后再输入下一个双通道卷积模块；由此可以高效的提取特征图，并提高各卷积层生成的特征图的利用率，既能够减少参数量，又能够在减少对原始SAR图像数据量需求的情况下，保证目标检测的准确度。

2、本发明采用八个卷积模块级联构成的骨干网络作为SAR图像舰船目标检测方法特征提取的主体，同时由于高分辨率的特征图适合于检测小尺寸的目标，低分辨率的特征图适合于检测大尺寸的目标，则本发明的目标检测方法能够输出的六种不同分辨率的特征图，能够适配不同大小的舰船目标的检测，大大提高检测的准确率；同时，本发明提供的骨干网络中，三个级联卷积模块中的前置卷积层输出的所有前置特征图均输入特征聚合层进行特征聚合，提高各卷积层生成的特征图的利用率，仅需要用少量的边框级标注的SAR图像数据训练后就能达到较高的准确度。

此外，本发明不需要利用在ImageNet数据集上预训练好的模型来初始化本发明骨干网络的参数，从而摆脱了对预训练模型的依赖，消除了现有的基于迁移学习的SAR图像舰船目标检测中的学习偏差和域不适应现象，而且极大地拓展了设计骨干网络的灵活性，使本领域的相关人员可以根据具体任务和所采用的数据集进一步有针对性地改进和优化网络结构，实现更高准确率的精准检测。

附图说明

图1为本发明提供的一种SAR图像舰船目标快速检测方法的原理框图；

图2为本发明提供的一种级联卷积模块的原理框图；

图3为本发明提供的一种双通道卷积模块的原理框图；

图4为本发明提供的骨干网络结构图；

图5为本发明提供的特征聚合示意图。

具体实施方式

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述。

如图1所示，一种基于轻量级卷积神经网络的SAR图像舰船目标快速检测方法，采用训练好的骨干网络和后处理模块检测SAR图像中的舰船目标，所述骨干网络包括初级卷积模块，多个级联卷积模块、多个双通道卷积模块以及后处理模块，其中，如图2所示，所述级联卷积模块包括降维单元、级联单元以及特征聚合单元，且各级联卷积模块中级联单元包含的卷积层的数量不完全相同；如图3所示，所述双通道卷积模块包括第一通道、第二通道以及特征聚合单元；

所述初级卷积模块用于对原始SAR图像进行特征提取，得到初级特征图；

各级联卷积模块的降维单元用于对上一个级联卷积模块输出的聚合特征图进行降维，将降维后的聚合特征图发送到级联单元中的各卷积层进行前向传播，特征聚合单元再将前向传播过程中由级联单元的各卷积层输出的特征图进行特征聚合，将得到的聚合特征图输入到下一个级联卷积模块；其中，第一个级联卷积模块的降维单元对初级卷积模块输出的初级特征图进行降维；对于最后一个级联卷积模块的特征聚合单元输出的聚合特征图、降维单元输出的降维后的聚合特征图，将两者依次进行降维、特征聚合后，再将最终得到的聚合特征图输入到第一个双通道卷积模块；

各双通道卷积模块的两个通道用于对上一个双通道卷积模块输出的聚合特征图进行降维和特征提取后，特征聚合单元再将两个通道输出的特征图进行特征聚合，将得到的聚合特征图输入下一个双通道卷积模块；其中，第一个双通道卷积模块接收的是最后一个级联卷积模块最终输出的聚合特征图；最后一个双通道卷积模块输出的聚合特征图作为特征图提取结果。

所述后处理模块用于根据特征图提取结果获取最终的舰船目标检测结果，具体包括以下步骤：

以预定义的大小和长宽比的滑动窗口遍历作为特征提取结果的特征聚合图，得到多个默认框；

对多个默认框进行边框回归和类别回归，对多个默认框进行边框回归和类别回归，得到舰船目标的位置；

将得到的舰船目标的位置映射回原始SAR图像，得到舰船目标的边界框；

采用非极大值抑制算法剔除属于同一个舰船目标的冗余边界框，得到舰船目标检测结果。

需要说明的是，边框回归和类别回归的作用是从大量默认框中筛选出包含舰船的默认框，但是由于这个默认框的大小和形状是预先定义的，和舰船的真实大小和形状有一定的偏差，因此边框回归和类别回归还为每个默认框计算一个偏移量，这个偏移量加上默认框的位置坐标然后映射回原始输入图像即为本次预测的舰船边界框。

所述后处理模块用于对提取得到的特征图进行边框回归和类别回归，得到舰船目标的多个边界框，最后采用非极大值抑制算法剔除冗余边界框，得到最终的舰船目标检测结果。

需要说明的是，除了将最后一个双通道卷积模块输出的特征聚合图作为特征图提取结果，还可以将其他双通道卷积模块输出的特征聚合图以及最后两个级联卷积模块输出的特征聚合图作为特征图提取结果，其中，各双通道卷积模块、级联卷积模块输出的聚合特征图的尺度不同。同理，本发明的后处理模块还可以以预定义的大小和长宽比的滑动窗口遍历各双通道卷积模块、级联卷积模块输出的不同尺度的聚合特征图，然后将得到的大量的默认框进行边框回归和类别回归，得到舰船目标的位置；进而根据舰船目标的位置得到不同大小的舰船目标的边界框，最后采用非极大值抑制算法剔除属于同一个舰船目标的边界框，得到最终的舰船目标检测结果。

也就是说，在聚合特征图上以滑动窗口的方式按照预定义的形状和大小密集地生成大量默认框，对这些默认框进行边框回归和类别回归得到不同大小和形状的舰船目标的边界框，最后采用非极大值抑制算法剔除属于同一个舰船目标的冗余边界框，保留对舰船目标包裹最紧凑的一个作为最终的舰船检测结果。

进一步地，如图4所示，可以采用八个卷积模块级联构成骨干网络作为一种基于轻量级卷积神经网络的SAR图像舰船目标快速检测方法特征提取的主体；具体的，八个卷积模块包括一个初级卷积模块，三个级联卷积模块以及四个双通道卷积模块，其中，第一个级联卷积模块的降维单元包括一个池化层、级联单元包括6个级联的前置卷积层，特征聚合单元包括一个特征聚合层和一个后置卷积层；第二个级联卷积模块的降维单元包括一个池化层、级联单元包括8个级联的前置卷积层、特征聚合单元包括一个特征聚合层与两个后置卷积层；第三个级联卷积模块的降维单元包括一个池化层、级联单元包括16个级联的前置卷积层、特征聚合单元包括两个后置卷积层以及两个特征聚合层；双通道卷积模块的第一通道由两个卷积层级联而成，第二通道由池化层和卷积层级联而成；同时，后两个级联卷积模块和四个双通道卷积模块分别输出一种尺度的特征图。

需要说明的是，本发明提供的如图4所示的骨干网络一共由50个卷积层、7个最大池化层和8个特征聚合层组成的轻量级网络，该骨干网络的总参数量为3.24M，乘法运算量(MACC)为4.35G；其中，箭头表示相邻层的连接关系及模型内部的数据(特征图)流向；卷积层1、卷积层41、卷积层44、卷积层47、卷积层50的卷积参数均为：卷积核大小3×3、卷积步长2、扩充1个像素，输出特征图的通道数依次为64、256、128、128、128；卷积层10、卷积层19、卷积层20、卷积层37、卷积层38、卷积层39、卷积层40、卷积层42、卷积层43、卷积层45、卷积层46、卷积层48、卷积层49的卷积参数均为：卷积核大小1×1、卷积步长1、扩充0个像素，输出特征图的通道数依次为48、48、800、256、256、256、256、128、128、128、128、128、128；其余卷积层的卷积参数均为：卷积核大小3×3、卷积步长1、扩充1个像素，其中卷积层2的输出特征图通道数为64，卷积层3的输出特征图通道数为128，其余未单列的卷积层的输出特征图通道数均为48；所有卷积层均由卷积、BatchNorm层、Scale层和ReLU层组成；所有池化层均为采用步长为2的2×2最大池化，并包括BatchNorm和Scale层；所有的特征聚合层均按照通道维将输入的特征图聚合在一起，特征聚合的示意图见附图5；骨干网络的输入图像大小为300×300×3。

池化层1/2/3/4/5/6/7的作用在于以下采样的方式降低特征图的分辨率，从而达到增大感受野的目的，特征图分辨率越低，其感受野越大，特征图上一个像素对应于原始输入图像上的区域越大，分辨率越低的特征图更有利于检测大尺寸的舰船，反之则更有利于检测小尺寸的舰船。例如卷积层3输出的特征图的大小为150×150，经过池化层1后特征图大小为75×75；卷积层10输出的特征图的大小为75×75，经过池化层2的下采样后特征图大小为38×38。

卷积层10的卷积核大小为1×1，步长1，扩充0像素，卷积核个数为48，其作用在于对特征聚合1输出的特征图进行降维，将特征图数量从288(＝48×6)减小至48，实现中间层特征图的高效利用和特征融合的目的。

卷积层19的卷积核大小为1×1、步长1、扩充0像素，卷积核个数为48，其作用在于对特征聚合2输出的特征图进行降维，将特征图数量从384(＝48×8)减小至48，实现中间层特征图的高效利用和特征融合的目的；

卷积层20的卷积核大小为1×1、步长1、扩充0像素，卷积核个数为800，其作用在于对卷积层19输出的特征图进行升维，将特征图数量从48增加至800，以保证在该层输出的特征图上通过边框回归和类别回归定位目标位置、鉴别目标类型的准确度。

卷积层39的卷积核大小为1×1、步长1、扩充0像素，卷积核个数为256，其作用在于将池化层4输出的特征图(大小为10×10)进行降维，将特征图数量从512减少至256，并起到特征融合的效果。

卷积层40的卷积核大小为1×1、步长1、扩充0像素，卷积核个数为256，其作用在于将特征融合4输出的特征图(大小为19×19)进行降维，将特征图数量从512减少至256，并起到特征融合的效果。

卷积层41的卷积核大小3×3、卷积步长2、扩充1像素，卷积核个数为256，其作用在于将卷积层40输出的特征图的大小从19×19减小为10×10，实现降低特征图分辨率，增大感受野的目的，同时起到特征提取的作用。

需要说明的是，本发明设计的骨干网络在ubuntu16.04操作系统下利用开源的深度学习框架Caffe和Python编程语言搭建；下面介绍所述骨干网络的构建方法，具体包括以下步骤：

S1：将包含舰船目标的SAR图像作为训练样本，并获取框选SAR图像中舰船目标的边界框的坐标，其中，SAR图像的大小为300×300×3。

需要说明的是，CNN网络训练样本和测试样本可以通过如下方式获取：

1)获取包含舰船目标的SAR图像，将其裁剪为300×300像素大小的目标切片，图像的类型应尽可能丰富，包括多种分辨率、多种场景、不同噪声强度、不同成像质量的图像，图像数量最好不少于1000幅。

例如，采用现有的SSDD数据集，按照4:1的比例随机划分训练集和测试集，即从所有的1160幅图像中随机选择928幅图像作为训练样本，其余的232幅图像作为测试样本，随机选择采用MATLAB2019B的randperm()函数实现。

2)在每一个切片中准确标注舰船在图像中的位置，即舰船的边界框坐标，将其保存为*.xml格式的标签文件，每个切片对应一个标签文件，图像与标签文件的命名应一一对应。

新建train.txt和test.txt两个文本文档，提取928幅训练集图像的文件名(不包含后缀.jpg)保存至train.txt，每一行一个文件名，同样，将232幅测试集图像的文件名保存至test.txt；按照PASCAL VOC的格式将所有*.jpg图像保存至JPEGImages文件夹，将与图像一一对应的所有*.xml格式的标签文件保存在Annotations文件夹，将train.txt和test.txt保存至ImageSets/Main文件夹中。

S2：将所述SAR图像输入初级卷积模块，经由初级卷积模块对SAR图像进行特征提取，得到大小为150×150的初级特征图；其中，所述初级卷积模块包括三个级联的卷积层。

也就是说，第1个卷积模块的输入为骨干网络的原始输入，大小为300×300×3的SAR图像。

S3：构建第一个级联卷积模块，其中，第一个级联卷积模块包括池化层、6个级联的前置卷积层、特征聚合层以及后置卷积层；所述初级特征图首先经过池化层进行下采样，将初级特征图的分辨率降低一半，而后在6个前置卷积层中前向传播，每个前置卷积层均得到48个前置特征图；将6个前置卷积层输出的所有前置特征图输入特征聚合层进行特征聚合后，再经由后置卷积层降低前置特征图的通道维数，得到大小为75×75的第一级特征聚合图。

S4：构建第二个级联卷积模块，其中，第二个级联卷积模块包括池化层、8个级联的前置卷积层、特征聚合层以及两个后置卷积层；所述第一级聚合特征图首先经过池化层进行二倍下采样，然后在8个前置卷积层中前向传播，每个前置卷积层均得到48个前置特征图；将8个前置卷积层输出的所有前置特征图输入特征聚合层进行特征聚合后，再经由两个后置卷积层降低前置特征图的通道维数，得到大小为38×38的第二级特征聚合图。

S5：构建第三个级联卷积模块，其中，第三个级联卷积模块包括池化层、16个级联的前置卷积层、两个后置卷积层以及两个特征聚合层；所述第二级特征聚合图首先经过池化层进行二倍下采样，然后在16个前置卷积层中前向传播，每个前置卷积层均得到48个前置特征图；将16个前置卷积层输出的所有前置特征图输入其中一个特征聚合层进行特征聚合后，再经由其中一个后置卷积层降低前置特征图的通道维数，得到大小为19×19的第三级中间特征图；同时，所述第二级特征图还直接经由另一个后置卷积层降低第二级特征图的通道维数，得到另一个大小为19×19的第三级中间特征图；最后两个第三级中间特征图经由另一个特征聚合层进行特征聚合，得到大小为19×19的第三级聚合特征图。

S6：所述第三级特征聚合图顺次在四个双通道卷积模块中进行传递，分别得到大小为10×10、5×5、3×3以及1×1的聚合特征图。

需要说明的是，池化的方式不增加参数，速度快，卷积的方式效果好，但会增加参数量，影响速度；因此，本发明构建双通道卷积模块，综合了两种方式的优点，即通过两个卷积层级联的方式提高准确率，又通过池化层和卷积层级联的方式提高速度。

S7：分别将第二个联卷积模块、第三个级联卷积模块以及四个双通道卷积模块输出的六种不同尺度的特征图作为舰船目标检测的源特征图执行以下步骤，得到舰船目标在原始输入的SAR图像中的位置：

S71：以预定义的大小和长宽比的滑动窗口遍历源特征图，得到多个默认框。

S72：通过边框回归与类别回归从遍历得到的所有默认框中得到不同大小的舰船目标的边界框，最后采用非极大值抑制算法剔除属于同一个舰船目标的边界框，确定舰船目标在原始输入的SAR图像中的检测位置。

也就是说，本发明选择卷积层20、特征聚合层4、特征聚合层5、特征聚合层6、特征聚合层7、特征聚合层8六个层输出的六种尺度的特征图(对应的分辨率依次为38×38、19×19、10×10、5×5、3×3、1×1)作为舰船目标检测的源输出层，通过边框回归和类别回归从这六个源输出层上最终定位目标在原始输入图像中的位置、鉴别其类别，实现快速检测。

S8：根据S72中得到的舰船目标的位置与步骤S1中标注的舰船目标在SAR图像中真实的边界框位置计算当前迭代的损失值。

S9：判断当前迭代次数是否达到预先设定的最大迭代次数，若达到，则此时得到的网络为最终的骨干网络，且得到的舰船目标在原始输入的SAR图像中的检测位置为舰船目标在原始输入的SAR图像中的最终位置，若未达到，进入步骤S10。

S10：将训练损失值用于反向传播，通过SGD算法调整各卷积模块在获取各级特征图时采用的卷积核的权重参数，完成各卷积模块所采用的卷积核的权重参数的更新；然后获取下一批次的包含舰船目标的SAR图像作为新的训练样本，采用更新后的各卷积模块重复步骤S2～S8，再次得到损失值，直到本次迭代得到的损失值与上一次迭代得到的损失值的差值小于预设阈值或当前迭代次数等于预先设定的最大迭代次数。

需要说明的是，除了判断当前迭代次数是否达到预设的最大迭代次数，还可以通过：1)训练一定次数，测试一次准确率，若连续几次(如3次或5次等，没有明确的次数要求)测试的准确率基本上稳定，则可以认为算法收敛，结束训练；2)相对较多次迭代(比如1000、5000等)中，损失值整体上稳定，不再减小(局部肯定是有小幅度波动的)。

由此可见，本发明可以分批次将训练样本中的SAR图像输入网络中，根据每一次前向传播中网络预测的舰船目标位置与类别和标签文件中标注的舰船位置计算本次训练的损失值，通过后向传播算法将该损失值反馈至所有卷积层以实现参数更新，多次重复该过程直至损失值不再减小，模型收敛、在测试集上的检测准确率稳定。

例如，假设迭代50000次后，损失值不再减小，测试准确率几乎不变，模型收敛，将此时网络的所有参数以*.caffemodel的格式保存至硬盘，本发明涉及的SAR图像舰船目标快速检测方法在SSDD_Test上的平均准确率、平均每一幅图像的检测耗时、模型的参数量和模型的乘法运算次数如表1所示：

表1

平均准确率	平均每幅图像检测耗时	参数量	运算量
				79.36％	15.50ms	3.84M	4.68G

需要说明的是，对每一个训练批次的输入图像，还可以通过数据增强策略扩充训练图像的数量以增大训练的数据量。

骨干网络训练完成后，可以按照如下步骤进行SAR图像舰船目标快速检测：

步骤4a)采用如上保存的*.caffemodel文件初始化搭建好的骨干网络；

步骤4b)将待检测图像的大小统一为300×300×3；

步骤4c)依次将步骤4b中的每一幅待检测图像输入步骤4a中初始化后的骨干网络；

步骤4d)获得模型预测的目标位置、类别和置信度；

步骤4e)通过非极大值抑制算法抑制步骤4d中预测的属于同一个目标的多个边界框，保留对目标包裹最紧凑的一个作为最终预测结果；

步骤4f)将步骤4e预测的结果映射到原输入图像中，即得到本发明对该幅图像的检测结果。

也就是说，基于轻量级骨干网络的SAR图像舰船目标快速检测方法为：将任意一幅待检测图像的大小统一为300×300×3；将每一幅待检测图像输入训练好的骨干网络以提取图像特征；以卷积层20、特征聚合层4、特征聚合层5、特征聚合层6、特征聚合层7、特征聚合层8六个层输出的特征图作为检测的源特征图进行多尺度检测，采用滑动窗口的方式在源输出层提取的源特征图上生成预定义大小和形状的默认框；通过边框回归与类别回归从所有默认框中确定舰船目标的位置、类别、及其置信度；采用非极大值抑制算法剔除属于同一舰船目标的冗余边界框，最终得到舰船目标在图像中的位置。

由此可见，与已有的SAR图像舰船检测方法相比，本发明是一种轻量级的骨干网络，其优势至少体现在：

(1)参数量少，运算量小，与本发明的骨干网络相比，SSD300骨干网络的参数量为22.94M，MACC为30.13G，SSD512的参数量为22.94M，MACC为86.71G，RefineDet骨干网络的参数量为33.33M，MAC为37.22G，DSOD骨干网络的参数量为11.8M，MACC为13.75G，ScratchDet骨干网络的参数量为23.05M，MACC为32.75G。

(2)从零训练，本发明不需要利用在ImageNet数据集上预训练好的模型来初始化本发明骨干网络的参数，这摆脱了检测方法对预训练模型的依赖，消除了现有的基于迁移学习的SAR图像舰船目标检测中的学习偏差和域不适应现象，而且极大地拓展了设计骨干网络的灵活性，使本领域的相关人员可以根据具体任务和所采用的数据集进一步有针对性地改进和优化网络结构，实现更高准确率的精准检测。

(3)训练本发明设计的SAR舰船检测算法所需要的边框级标注的SAR图像数据量少。

当然，本发明还可有其他多种实施例，在不背离本发明精神及其实质的情况下，熟悉本领域的技术人员当然可根据本发明作出各种相应的改变和变形，但这些相应的改变和变形都应属于本发明所附的权利要求的保护范围。

Claims (8)

1.一种基于轻量级卷积神经网络的SAR图像舰船目标快速检测方法，其特征在于，采用训练好的骨干网络和后处理模块检测SAR图像中的舰船目标，所述骨干网络包括初级卷积模块，多个级联卷积模块、多个双通道卷积模块以及后处理模块，其中，所述级联卷积模块包括降维单元、级联单元以及特征聚合单元，且各级联卷积模块中级联单元包含的卷积层的数量不完全相同；所述双通道卷积模块包括第一通道、第二通道以及特征聚合单元；

所述初级卷积模块用于对原始SAR图像进行特征提取，得到初级特征图；

各级联卷积模块的降维单元用于对上一个级联卷积模块输出的聚合特征图进行降维，将降维后的聚合特征图发送到级联单元中的各卷积层进行前向传播，特征聚合单元再将前向传播过程中由级联单元的各卷积层输出的特征图进行聚合，将得到的聚合特征图输入到下一个级联卷积模块；其中，第一个级联卷积模块的降维单元对初级卷积模块输出的初级特征图进行降维；对于最后一个级联卷积模块的特征聚合单元输出的特征聚合图、降维单元输出的降维后的聚合特征图，将两者依次进行降维、特征聚合后，再将最终得到的聚合特征图输入到第一个双通道卷积模块；

各双通道卷积模块的两个通道用于对上一个双通道卷积模块输出的特征聚合图进行降维和特征提取后，特征聚合单元再将两个通道输出的特征图进行特征聚合，将得到的聚合特征图输入下一个双通道卷积模块；其中，第一个双通道卷积模块接收的是最后一个级联卷积模块最终输出的聚合特征图；最后一个双通道卷积模块输出的特征聚合图作为特征图提取结果；

所述后处理模块用于根据特征图提取结果获取最终的舰船目标检测结果。

2.如权利要求1所述的一种基于轻量级卷积神经网络的SAR图像舰船目标快速检测方法，其特征在于，所述后处理模块用于根据特征图提取结果获取最终的舰船目标检测结果具体为：

以预定义的大小和长宽比的滑动窗口遍历作为特征提取结果的特征聚合图，得到多个默认框；

对多个默认框进行边框回归和类别回归，得到舰船目标的位置；

将得到的舰船目标的位置映射回原始SAR图像，得到舰船目标的边界框；

采用非极大值抑制算法剔除属于同一个舰船目标的冗余边界框，得到舰船目标检测结果。

3.如权利要求1所述的一种基于轻量级卷积神经网络的SAR图像舰船目标快速检测方法，其特征在于，还可以将其他双通道卷积模块输出的聚合特征图以及最后两个级联卷积模块输出的聚合特征图作为特征图提取结果，其中，各双通道卷积模块、级联卷积模块输出的聚合特征图的尺度不同。

4.如权利要求3所述的一种基于轻量级卷积神经网络的SAR图像舰船目标快速检测方法，其特征在于，所述级联卷积模块的数量为三个，所述双通道卷积模块的数量为四个；其中，第一个级联卷积模块的降维单元包括一个池化层、级联单元包括6个级联的前置卷积层，特征聚合单元包括一个特征聚合层和一个后置卷积层；第二个级联卷积模块的降维单元包括一个池化层、级联单元包括8个级联的前置卷积层、特征聚合单元包括一个特征聚合层与两个后置卷积层；第三个级联卷积模块的降维单元包括一个池化层、级联单元包括16个级联的前置卷积层、特征聚合单元包括两个后置卷积层以及两个特征聚合层；双通道卷积模块的第一通道由两个卷积层级联而成，第二通道由池化层和卷积层级联而成；

初级特征图的获取方法为：

S1：将包含舰船目标的SAR图像作为训练样本，并获取框选SAR图像中舰船目标的边界框的坐标；

S2：将所述SAR图像输入初级卷积模块，经由初级卷积模块对SAR图像进行特征提取，得到初级特征图；

第一级聚合特征图的获取方法为：

S3：所述初级特征图首先经过池化层进行下采样，将初级特征图的分辨率降低一半，而后在6个前置卷积层中前向传播，每个前置卷积层均得到48个前置特征图；将6个前置卷积层输出的所有前置特征图输入特征聚合层进行特征聚合后，再经由后置卷积层降低前置特征图的通道维数，得到第一级聚合特征图；

第二级聚合特征图的获取方法为：

S4：所述第一级聚合特征图首先经过池化层进行二倍下采样，然后在8个前置卷积层中前向传播，每个前置卷积层均得到48个前置特征图；将8个前置卷积层输出的所有前置特征图输入特征聚合层进行特征聚合后，再经由两个后置卷积层降低前置特征图的通道维数，得到第二级聚合特征图；

第三级聚合特征图的获取方法为：

S5：所述第二级聚合特征图首先经过池化层进行二倍下采样，然后在16个前置卷积层中前向传播，每个前置卷积层均得到48个前置特征图；将16个前置卷积层输出的所有前置特征图输入其中一个特征聚合层进行特征聚合后，再经由其中一个后置卷积层降低前置特征图的通道维数，得到第三级中间特征图；同时，所述第二级特征图还直接经由另一个后置卷积层降低第二级特征聚合图的通道维数，得到另一个第三级中间特征图；最后两个第三级中间特征图经由另一个特征聚合层进行特征聚合，得到第三级聚合特征图；

双通道卷积模块输出的各级聚合特征图的获取方法为：

S6：所述第三级特征聚合图顺次在四个双通道卷积模块中的两个通道进行传递，分别得到大小不同的聚合特征图。

5.如权利要求4所述的一种基于轻量级卷积神经网络的SAR图像舰船目标快速检测方法，其特征在于，后处理模块分别将第二个级联卷积模块、第三个级联卷积模块以及四个双通道卷积模块输出的六种不同尺度的特征图作为舰船目标检测的源特征图执行以下步骤，得到舰船目标在原始输入的SAR图像中的位置：

S71：以预定义的大小和长宽比的滑动窗口遍历源特征图，得到多个默认框；

S72：通过边框回归与类别回归从遍历得到的所有默认框中得到不同大小的舰船目标的边界框，最后采用非极大值抑制算法剔除属于同一个舰船目标的边界框，确定舰船目标在原始输入的SAR图像中的检测位置；

S8：根据S72中得到的舰船目标的位置与步骤S1中标注的舰船目标在SAR图像中真实的边界框位置计算当前迭代的损失值；

S9：判断当前迭代次数是否达到预先设定的最大迭代次数，若达到，则此时得到的网络为最终的骨干网络，且得到的舰船目标在原始输入的SAR图像中的检测位置为舰船目标在原始输入的SAR图像中的最终位置，若未达到，进入步骤S10；

S10：将训练损失值用于反向传播，通过SGD算法调整各卷积模块在获取各级特征聚合图时采用的卷积核的权重参数，完成各卷积模块所采用的卷积核的权重参数的更新；然后获取下一批次的包含舰船目标的SAR图像作为新的训练样本，采用更新后的各卷积模块重复步骤S2～S8，再次得到损失值，直到当前迭代次数等于预先设定的最大迭代次数。

6.如权利要求4一种基于轻量级卷积神经网络的SAR图像舰船目标快速检测方法，其特征在于，所述SAR图像的大小为300×300，初级特征图的大小为150×150，第一级聚合特征图的大小为75×75，第二级聚合特征图的大小为38×38，第三级中间特征图的大小为19×19，第三级聚合特征图的大小为19×19，四个双通道卷积模块中输出的聚合特征图大小分别为10×10、5×5、3×3以及1×1。

7.如权利要求4一种基于轻量级卷积神经网络的SAR图像舰船目标快速检测方法，其特征在于，所述初级卷积模块包括三个级联的卷积层。

8.如权利要求1一种基于轻量级卷积神经网络的SAR图像舰船目标快速检测方法，其特征在于，所述SAR图像包括不同分辨率、不同场景、不同噪声图像以及不同成像质量的图像。

Images