CN111967292A - 一种轻量级的sar图像船只检测方法 - Google Patents

Abstract

本发明公开了一种轻量级的SAR图像船只检测方法，它是基于深度学习理论的检测模型。该方法是使用轻量级深度分离卷积神经网络、采用更少的卷积层和设置更窄的卷积通道建立的，其网络结构主要由骨干网络、特征融合模块、特征增强模块和尺度共享特征金字塔模块组成。骨干网络实现船只特征的提取，特征融合模块进行深层特征和浅层特征的融合，特征增强模块完成船只特征的增强，尺度共享特征金字塔模块保证多尺度特征的充分共享。该方法实现了97.07％mAP精度和233FPS速度，且该方法的模型尺寸仅为0.82MB，达到了轻量级的要求。

Description

一种轻量级的SAR图像船只检测方法

技术领域

本发明属于合成孔径雷达(Synthetic Aperture Radar,SAR)图像解译技术领域，涉及一种轻量级的SAR图像船只检测方法。

背景技术

合成孔径雷达(SAR)是一种能够全天时、全天候工作的主动式微波传感器，与光学传感器相比，其更适合对气候多变的海洋环境进行监测，因为其可在夜晚、雨雾气候条件下持续工作。SAR图像中的船只是一种高价值的海洋目标，对其有效检测有利于海难营救、海洋交通管理、海洋渔业管理、战时军事部署、海洋环境保护等。详见文献“王健林.基于卷积神经网络的SAR图像舰船检测算法研究[D].内蒙古科技大学,2019.”。

自从1978年美国发射了第一颗SAR卫星以来，利用SAR进行海洋探索的相关研究日益增长，例如海船燃油泄漏监察、海冰融化监测、海洋地质测绘等。特别地，海洋船只的检测也成为一项重点任务，船只是海洋上最常见的目标，在各种海洋活动中扮演着越来越重要的角色。在军事领域中，船只检测可作为战时敌方侦探的重要工具，为我方战时战策的及时调整部署提供重要情报；在民用方面，船只检测可以便于海洋交通的管理，海洋渔业的管理，海洋非法捕捞、非法排放污染物监测，海盗打击，海洋灾难救援等方面的应用。详见文献“刘洁瑜,赵彤,刘敏.基于RetinaNet的SAR图像舰船目标检测[J].湖南大学学报(自然科学版),2020,47(02):85-91.”。

目前为止，众多SAR图像船只检测算法已经被提出，例如传统的CFAR的方法，该类型的方法利用事先建立好的海杂波模型，使用滑动窗口对图像进行检索，根据海杂波模型提供的船只检测阈值，来确定是否包含船只，其中常见的海杂波模型有基于高斯分布、基于瑞丽分布、基于K分布等。但是基于CFAR的方法，很难建立准确的杂波模型，并且模型容易受到洋流、气候等负面的影响，因此导致其很难应用在较复杂场景的条件下。详见文献“杨学志, 宋辉,杜扬,张晰,孟俊敏.基于Rice-CFAR的SAR图像舰船检测[J].合肥工业大学学报(自然科学版),2015,38(04):463-467.”。

随着人工智能技术的迅速发展，现如今越来越多的学者开始研究基于深度学习的SAR图像船只检测算法。基于深度学习的方法主要采用深度卷积神经网络来自动提取船只的特征，通过学习训练来拟合数据的数学分布，通过回归进行推理得到船只在SAR图像中的坐标位置。目前一些源自计算机视觉领域的目标检测器，如Fast R-CNN，Faster R-CNN，YOLO，RetinaNet等，已被成功地应用到SAR图像船只检测领域，但是由于数据源的差异和检测难易程度的差异，导致这些现有的检测器直接应用存在模型尺度过大的缺点，这严重影响SAR 解译的实时性应用。因此，为了解决以上这个问题，本发明提出了一种轻量级的SAR图像船只检测模型，该模型仅有0.82MB，低于现有的其他模型数十倍甚至数百倍，能够部署在嵌入式设备中，为SAR图像解译带来极大的便利。

发明内容

本发明属于合成孔径雷达(SAR)图像解译技术领域，公开了一种轻量级的SAR图像船只检测方法，它是基于深度学习理论的检测模型。该方法是使用轻量级深度分离卷积神经网络、采用更少的卷积层和设置更窄的卷积通道建立的，其网络结构主要由骨干网络、特征融合模块、特征增强模块和尺度共享特征金字塔模块组成。骨干网络实现船只特征的提取，特征融合模块进行深层特征和浅层特征的融合，特征增强模块完成船只特征的增强，尺度共享特征金字塔模块保证多尺度特征的充分共享。该方法实现了97.07％mAP精度和233FPS速度，且该方法的模型尺寸仅为0.82MB，达到了轻量级的要求。

为了方便描述本发明的内容，首先作以下术语定义：

定义1经典的图像重采样

经典的图像重采样指在对采样后形成的由离散数据组成的数字图像按所需的像元位置或像元间距重新采样，以构成几何变换后的新图像。重采样过程本质上是图像恢复过程,它用输入的离散数字图像重建代表原始图像二维连续函数,再按新的像元间距和像元位置进行采样。其数学过程是根据重建的连续函数(曲面),用周围二像元点的值估计或内插出新采样点的值, 相当于用采样函数与输入图像作二维卷积运算。经典的图像重采样方法详见文献“李心爱.图像滤波检测和重采样检测方法研究[D].西安理工大学,2017.”。

定义2标准的Keras框架下卷积神经网络建立方法

Keras是一个用Python编写的高级神经网络API，它能够以TensorFlow,CNTK,或者Theano作为后端运行。Keras的开发重点是支持快速的实验。能够以最小的时延把你的想法转换为实验结果，是做好研究的关键。标准的Keras框架下卷积神经网络建立方法是指使用Keras深度学习框架，使用python语言，在某开发环境下，建立卷积神经网络。在该标准的Keras框架下，使用简单的函数调用以实现不同尺寸的卷积核、不同大小的卷积步长、不同类型的卷积形式。

详细的建立方法详见网站“https://keras.io/zh/”。

定义3标准深度分离卷积方法

深度分离卷积方法是将标准的卷积过程转化为深度卷积和1×1的点卷积来构建整个网络，其中深度卷积为一组二维卷积核，每次仅处理一个通道。首先，对逐个通道进行卷积，其次，在前一个输出的特征图的基础上使用1×1的点卷积来运算，最终得到了一个指定数量的通道数。深度卷积在输入的每个通道上独立地执行空间卷积，一个卷积核负责一个通道，一个通道只被一个卷积核卷积，因此一个深度卷积操作比传统卷积操作减少了不少的参数数量。同时因为深度卷积对每一个通道都进行了学习，而不是所有通道对应同一个滤波器，所以可得到质量更佳的特征。逐点卷积采用1×1的卷积窗口进行卷积，从而把深度卷积的输出映射到一个新的通道空间中。深度分离卷积把两步分离开来，先进行特征抽取，再进行特征融合，实现通道相关性和通道相关性的解耦和再耦合，这样做可以充分利用模型参数进行表示学习，使用更少的参数，取得更好的效果。详见文献“徐毓,赖华,余正涛,等.基于深度可分离卷积的汉越神经机器翻译[J].厦门大学学报(自然科学版),2020,59(2):220-224.”。

深度分离卷积的建立步骤详见文献“Howard,A.G.；Zhu,M.；Chen,B.；Kalenichenko,D.； Wang,W.；Weyand,T.；Andreetto,M.；Adam,H.MobileNets:EfficientConvolutional Neural Networks for Mobile Vision Applications.arXiv 2017,arXiv:1704.04861.”。

定义4Keras框架

Keras框架是一个由Python编写的开源人工神经网络库，可以作为Tensorflow、Microsoft-CNTK和Theano的高阶应用程序接口，进行深度学习模型的设计、调试、评估、应用和可视化。Keras在代码结构上由面向对象方法编写，完全模块化并具有可扩展性，其运行机制和说明文档有将用户体验和使用难度纳入考虑，并试图简化复杂算法的实现难度。Keras支持现代人工智能领域的主流算法，包括前馈结构和递归结构的神经网络，也可以通过封装参与构建统计学习模型。在硬件和开发环境方面，Keras支持多操作系统下的多GPU并行计算，可以根据后台设置转化为Tensorflow、Microsoft-CNTK等系统下的组件。Keras的主要开发者是谷歌工程师

Chollet，此外其GitHub项目页面包含6名主要维护者和超过 800名直接贡献者。Keras在其正式版本公开后，除部分预编译模型外，按MIT许可证开放源代码。

在Keras框架下建立网络模型的步骤可详见网站“https://keras.io/zh/”。

定义5骨干网络

在深度学习领域中，骨干网络是指大型的图像特征提取网络，例如VGG网络，ResNet 网络、DenseNet网络等。骨干网络通常由多层卷积神经网络构成，这些卷积神经网络可通过多层和多通道的卷积核对目标进行自动的特征提取。由于骨干网络占整个检测模型中参数数量较大的比例，因此对最终模型性能起到决定性作用，因此被称为模型的骨干。详见文献“林均鹏.基于深度学习目标检测的应用研究[D].电子科技大学,2019.”。

定义6标准的卷积神经网络特征提取

标准的卷积神经网络特征提取是指利用卷积神经网络的卷积核在图像上进行滑动，并根据卷积核参数的权重确定输出像素的大小。一般地，可设置不同的卷积核的参数可以获得图像的不同的特征，例如边缘、纹理、对比度等。详见文献“R.Girshick,J.Donahue,T.Darrell and J.Malik.Rich feature hierarchies for accurate object detectionand semantic segmentation.arXiv e-prints,arXiv:1311.2524.”。

定义7标准特征融合方法

特征融合是指将不同等级的特征进行融合，这里的不同等级在深度学习领域是指网络的不同深度。一般地，网络的前端提取的是浅层特征，这些浅层特征具有较强的空间信息，网络的后端提取的是深层特征，这些深层特征具有较强的语义信息。将浅层特征和深层特征进行融合，可以利用彼此的优势，实现上下文的结合，避免信息的损失，提高特征利用率，从而提高检测精度。详见文献“Kang,M.,et al.(2017).Contextual Region-BasedConvolutional Neural Network with Multilayer Fusion for SAR ShipDetection.Remote Sensing 9(8).”。

定义8标准的concatenate操作

标准的concatenate操作是指将不同的特征图进行合并堆叠操作，该类型操作的目的是为了实现的特征重复利用，也可通过该操作将不同等级的特征图进行合并堆叠操作，从而实现定义4中的特征融合。详见文献“Gao Huang,Z.L.,Laurens van der Maaten,Kilian Q.Weinberger (2016).Densely Connected Convolutional Networks.arXiv:1608.06993.”。

定义9标准特征增强方法

特征增强是指将具有相同尺寸的特征图进行定义5中的标准的concatenate操作，达到特征翻倍的效果。特征增强可以使最终用于目标检测的特征更具有鲁棒性和代表能力，也能使模型所提取到的特征被更加充分地利用。详见文献“Zhang,T.,et al.(2019).Depthwise Separable Convolution Neural Network for High-Speed SAR ShipDetection.Remote Sensing 11(21).”。

定义10特征金字塔

特征金字塔是指具有不同尺寸的特征图来构成的金字塔结构，用于检测多尺度目标。识别不同尺度的物体是计算机视觉中的一个基本挑战，在目标检测领域中，常用的解决方案是构造特征金字塔网络低层的特征语义信息比较少，但是目标位置准确；高层的特征语义信息比较丰富，但是目标位置比较粗略。因此使用卷积神经网络的深层特征，往往需要将深层的特征和浅层的特征相融合，这两种特征相融合才能达到最好的效果。当目标尺度变化较大时，小目标适用于低层特征，而大目标适用于高层的特征，根据目标的尺寸，选取特征金字塔中不同层的特征，预测在不同特征层独立进行。特征金字塔的建立流程详见文献“Tsung-Yi Lin,P. D.,Ross Girshick,Kaiming He,Bharath Hariharan,SergeBelongie(2016).Feature Pyramid Networks for Object Detection.arXiv:1612.03144”。

定义11标准尺度共享方法

尺度共享是指多个检测尺度的信息进行互相分享使用。具体地，在定义7的特征金字塔中，对金字塔具有不同层级和尺度的特征图进行自上到下，自下到上，上下重复特征利用。尺度共享目的是为了提高多尺度的检测性能，能够使金字塔特征更加鲁棒，并且能够避免不同层级的信息损失。详见文献“任少卿.基于特征共享的高效物体检测[D].中国科学技术大学,2016.”。

定义12标准上采样方法

标准上采样是指通过双线性插值对特征图尺寸进行扩展，其实现过程类似于图像的上采样，标准上采样的作用是保证定义8的特征共享的顺利执行，以确保进行尺度共享的特征图具有相同的尺度，以便最终的加法操作。详见文献“Tsung-Yi Lin,P.D.,RossGirshick,Kaiming He,Bharath Hariharan,Serge Belongie(2016).Feature PyramidNetworks for Object Detection. arXiv:1612.03144”和网站“https://blog.csdn.net/stf1065716904/article/details/78450997”。

定义13标准下采样方法

标准下采样是指通过最大池化对特征图尺寸进行缩减，其是标准上采样的相反过程，其实现过程类似于图像的下采样。标准下采样能够使大特征图的特征融合到小特征图的特征中。详见文献“LeCun Yann,Bottou,L.；Bengio Yoshua；Haffner,P.Gradient-basedlearning applied to document recognition.Proceedings of the IEEE,vol.86,no.11,pp.2278-2323,Nov.,1998.”。

定义14 SSDD

SSDD是指一个名为SSDD的数据集，英文全称为SAR Ship Detection Dataset。SSDD数据集中包含1160张SAR图像，共有2358只舰船，平均每张图像中有2.03只舰船，最小的舰船为7×7像素，最大的舰船为211×298像素。另外，数据集中的SAR图像具有多种极化模型、多种分辨率、多种舰船场景，能够有效验证舰船检测器的鲁棒性。详见文献“张晓玲,张天文,师君,韦顺军.基于深度分离卷积神经网络的高速高精度SAR舰船检测[J].雷达学报,2019,8(06):841-851.”。

定义15标准的YOLOv3检测方法

标准的YOLOv3测试方法指在测试集上对检测模型进行最终测试，得到检测模型在测试集上的检测结果。测试过程中，当交并比IOU>0.5,且得分s>0.5时，则该测试结果有效。详见文献“Redmon,J.,&Farhadi,A..(2018).YOLOv3:an incremental improvement.arXiv2018, arXiv:1804.02767.https://arxiv.org/abs/1804.02767.”。

定义16标准的mAP指标精度评估方法

mAP是指均值平均精度，英文全称为mean Average Precision。在目标检测领域，mAP被用来去衡量一个检测模型的精度优劣。其计算公式为

其中P为精度，R为召回率。详见网站“https://www.cnblogs.com/zongfa/p/9783972.html”。

定义17标准的FPS指标精度评估方法

FPS是指平均每秒的帧数，英文全称为Frames Per Second。在目标检测领域，FPS被用来去衡量一个检测模型的速度优劣。其计算公式为FPS＝1/T，其中T为检测时间。详见文献“张晓玲,张天文,师君,韦顺军.基于深度分离卷积神经网络的高速高精度SAR舰船检测[J].雷达学报,2019,8(06):841-851.”。

定义18标准的模型尺寸评估方法

模型尺寸是指检测模型文件的大小，占据计算机存储空间的大小，常用的单位为MB。是衡量一个检测模型大小的评估指标，一般，如果一个模型的模型尺寸小于10MB，可被认为是轻量级的模型。详见文献“F.N.Iandola,S.Han,M.W.Moskewicz,K.Ashraf,W.J.Dally and K.Keutzer.SqueezeNet:AlexNet-level accuracy with 50x fewerparameters and&lt；0.5MB model size.arXiv preprint,arXiv:1602.07360.https://arxiv.org/abs/1602.07360”。

定义19现有技术YOLOv3

现有技术YOLOv3是指一种名为YOLOv3的现有目标检测模型，英文全称为You OnlyLook Once v3。详见文献“Redmon Joseph；Farhadi A.YOLOv3:an incrementalimprovement. arXiv preprint,arXiv:1804.02767.https://arxiv.org/abs/1804.02767.”。

定义20现有技术RetinaNet

现有技术RetinaNet是指一种名为RetinaNet的现有目标检测模型，详见文献“LinTsung-Yi； Priya Goyal；Ross Girshick；Kaiming He；Piotr Dollár.Focal loss fordense object detection.arXiv preprint,arXiv:1708.02002.https://arxiv.org/abs/1708.02002.”。

本发明提供了一种轻量级的SAR图像船只检测方法，它包括以下几个步骤：

步骤1输入SAR图像

输入一幅待检测的SAR图像，记为A。

步骤2对输入的SAR图像进行重采样

使用定义1中的经典的图像重采样方法对输入的SAR图像A进行重采样，得到一幅大小为160×160尺寸的新的SAR图像，记为B。

步骤3建立骨干网络

见附图1，使用定义2中的标准的Keras框架下卷积神经网络建立方法，利用定义3中的深度分离卷积，在定义4中的Keras框架下，根据定义5的骨干网络的定义，建立骨干网络。最终得到的骨干网络包含15个卷积层，分别记为第1到第15层。

具体地，采用定义3中的深度分离卷积方法，设置第1个卷积层的卷积核尺寸为3×3，卷积通道数为8，步长为2；设置第2个卷积层的卷积核尺寸为3×3，卷积通道数为16，步长为2；设置第3个卷积层的卷积核尺寸为3×3，卷积通道数为16，步长为1；设置第4个卷积层的卷积核尺寸为3×3，卷积通道数为32，步长为2；设置第5个卷积层的卷积核尺寸为3×3，卷积核通道数为32，步长为1；设置第6个卷积层的卷积核尺寸为3×3，卷积核通道数为32，步长为1；设置第7个卷积层的卷积核尺寸为3×3，卷积核通道数为64，步长为2；设置第8 个卷积层的卷积核尺寸为3×3，卷积核通道数为64，步长为1；设置第9个卷积层的卷积核尺寸为3×3，卷积核通道数为64，步长为1；设置第10个卷积层的卷积核尺寸为3×3，卷积核通道数为64，步长为1；设置第11个卷积层的卷积核尺寸为3×3，卷积核通道数为128，步长为2；设置第12个卷积层的卷积核尺寸为3×3，卷积核通道数为128，步长为1；设置第 13个卷积层的卷积核尺寸为3×3，卷积核通道数为128，步长为1；设置第14个卷积层的卷积核尺寸为3×3，卷积核通道数为128，步长为1；设置第15个卷积层的卷积核尺寸为3×3，卷积核通道数为128，步长为1。至此，本发明检测模型中的骨干网络建立完毕。

步骤4使用骨干网络对船只进行特征提取

使用定义6中的标准的卷积神经网络特征提取方法，对步骤2中的SAR图像B中的船只进行特征提取，得到的船只的特征，记为F1。

步骤5建立特征融合模块

见附图2，使用定义2中的标准的Keras框架下卷积神经网络建立方法，根据定义7特征融合的定义，借助定义8中的标准的concatenate操作方法，建立特征融合模块，最终得到的骨干网络包含2个卷积层，分别记为第16层和第17层。具体地，根据定义2中的Keras框架使用方法，设置第16个卷积层的卷积核尺寸为17×17，卷积核通道数为8，步长为16；设置第17个卷积层的卷积核尺寸为5×5，卷积核通道数为16，步长为4。根据定义5中的标准的concatenate操作方法，将本特征融合模块的第16层融合到第11到第15层，将本特征融合模块的第17层融合到第7到第10层。至此，本发明检测模型中的特征融合模块建立完毕。

步骤6使用特征融合模块对船只特征进行融合

使用定义7中的特征融合方法，对步骤4中的舰船特征F1进行融合，得到融合后的船只特征，记为F2。

步骤7建立特征增强模块

见附图3，使用定义2中的标准的Keras框架下卷积神经网络建立方法，在定义9中的特征增强含义的指导下，借助定义8中的标准的concatenate操作，建立特征增强模块。具体地，利用定义5中的标准的concatenate操作方法，将第11到第15个卷积层和第16层进行特征增强(即增强倍数为6)，得到第一个检测尺度S1的特征图；将第7到第10个卷积层和第17 层进行特征增强(即增强倍数为5)，得到第二个检测尺度S2的特征图；将第4到第6个卷积层直接进行特征增强(即增强倍数为3)，得到第三个检测尺度S3的特征图。至此，本发明检测模型中的特征增强模块建立完毕。

步骤8使用特征增强模块对船只特征进行增强

使用定义9中的特征增强的方法，对步骤6中融合后的船只特征F2进行特征增强，得到增强后的船只特征，记为F3。

步骤9建立尺度共享特征金字塔模块

见附图4，使用定义2中的标准的Keras框架下卷积神经网络建立方法，建立尺度共享特征金字塔模块。

首先，根据定义10中特征金字塔的建立流程，根据定义11中的尺度共享的含义，利用定义12中的标准上采样方法，将第二个检测尺度S2的特征图进行2倍上采样，上采样的结果和第一个检测尺度S1的特征图相加；将第三个检测尺度S3的特征图进行2倍上采样，上采样的结果和第二个检测尺度S2的特征图相加；将第三个检测尺度S2的特征图进行4倍上采样，上采样的结果和第一个检测尺度S1的特征图相加。

根据定义11中的尺度共享的含义，利用定义13中的标准下采样方法，将第一个检测尺度S1的特征图进行2倍下采样，下采样的结果和第二个检测尺度S2的特征图相加；将第二个检测尺度S2的特征图进行2倍下采样，下采样的结果和第三个检测尺度S3的特征图相加；将第一个检测尺度S1的特征图进行4倍下采样，下采样的结果和第三个检测尺度S3的特征图相加。至此，本发明检测模型中的尺度共享特征金字塔模块建立完毕。

步骤10使用尺度共享特征金字塔模块对船只特征进行尺度共享

使用定义11中的尺度共享的方法，对步骤8中增强后的船只特征F3进行尺度共享，得到共享后的船只特征，记为F4。

步骤11进行SAR图像中船只检测

见附图5，使用定义15中的标准的YOLOv3检测方法，利用步骤10中得到的共享后的船只特征F4，对步骤1中输入的SAR图像A中船只进行检测，得到船只的检测结果，检测结果记为result。

步骤12检测性能评估

见附图6，使用定义16中精度评估指标mAP，在定义14中的SSDD数据集上，对步骤11中船只检测结果result进行精度评估，得到检测精度为97.07％。

使用定义17中速度评估指标FPS，在定义14中的SSDD数据集上，对步骤11中船只检测结果result进行速度评估，得到检测速度为233FPS。

使用定义18中的模型尺寸和轻量级评估指标，在定义14中的SSDD数据集上，对步骤11中船只检测结果result进行模型评估，得到模型尺寸为0.82MB。

本发明的精度评估指标mAP，检测速度为233FPS和模型尺寸0.82MB均优于定义19中的现有技术YOLOv3和定义20中的现有技术RetinaNet。本发明中的SAR图像船只检测方法的检测模型只有0.82MB，满足了定义18中轻量级的要求。

本发明的创新点在于使用轻量级深度分离卷积神经网络、采用更少的卷积层和设置更窄的卷积通道来建立SAR图像船只检测模型。

本发明的优点在于在结合骨干网络、特征融合模块、特征增强模块和尺度共享特征金字塔模块条件下，能够实现了97.07％mAP精度和233FPS速度，且方法的模型尺寸仅为0.82MB，达到了轻量级的要求。

附图说明

图1为本发明中轻量级的SAR图像船只检测方法的骨干网络的示意图。

图2为本发明中轻量级的SAR图像船只检测方法的特征融合模块的示意图。

图3为本发明中轻量级的SAR图像船只检测方法的特征增强模块的示意图。

图4为本发明中轻量级的SAR图像船只检测方法的尺度共享特征金字塔模块的示意图。

图5为本发明中轻量级的SAR图像船只检测方法的系统框图。

图6为本发明中轻量级的SAR图像船只检测方法的检测精度、检测速度和模型尺寸的示意图。

具体实施方式

步骤1输入SAR图像

输入一幅待检测的SAR图像，记为A。

步骤2对输入的SAR图像进行重采样

使用定义1中的经典的图像重采样方法对输入的SAR图像A进行重采样，得到一幅大小为160×160尺寸的新的SAR图像，记为B。

步骤3建立骨干网络

见附图1，使用定义2中的标准的Keras框架下卷积神经网络建立方法，利用定义3中的深度分离卷积，在定义3中的Keras框架下，根据定义5的骨干网络的定义，建立骨干网络。最终得到的骨干网络包含15个卷积层，分别记为第1到第15层。具体地，根据定义3中的Keras框架使用方法，设置第1个卷积层的卷积核尺寸为3×3，卷积通道数为8，步长为2；设置第2个卷积层的卷积核尺寸为3×3，卷积通道数为16，步长为2；设置第3个卷积层的卷积核尺寸为3×3，卷积通道数为16，步长为1；设置第4个卷积层的卷积核尺寸为3×3，卷积通道数为32，步长为2；设置第5个卷积层的卷积核尺寸为3×3，卷积核通道数为32，步长为1；设置第6个卷积层的卷积核尺寸为3×3，卷积核通道数为32，步长为1；设置第7 个卷积层的卷积核尺寸为3×3，卷积核通道数为64，步长为2；设置第8个卷积层的卷积核尺寸为3×3，卷积核通道数为64，步长为1；设置第9个卷积层的卷积核尺寸为3×3，卷积核通道数为64，步长为1；设置第10个卷积层的卷积核尺寸为3×3，卷积核通道数为64，步长为1；设置第11个卷积层的卷积核尺寸为3×3，卷积核通道数为128，步长为2；设置第12 个卷积层的卷积核尺寸为3×3，卷积核通道数为128，步长为1；设置第13个卷积层的卷积核尺寸为3×3，卷积核通道数为128，步长为1；设置第14个卷积层的卷积核尺寸为3×3，卷积核通道数为128，步长为1；设置第15个卷积层的卷积核尺寸为3×3，卷积核通道数为128，步长为1。至此，本发明检测模型中的骨干网络建立完毕。

步骤4使用骨干网络对船只进行特征提取

使用定义6中的标准的卷积神经网络特征提取方法，借助步骤3中已建立的骨干网络对步骤2中的SAR图像B中的船只进行特征提取，得到的船只的特征，记为F1。

步骤5建立特征融合模块

见附图2，使用定义2中的标准的Keras框架下卷积神经网络建立方法，根据定义7特征融合的定义，借助定义8中的标准的concatenate操作方法，建立特征融合模块，最终得到的骨干网络包含2个卷积层，分别记为第16层和第17层。具体地，根据定义2中的Keras框架使用方法，设置第16个卷积层的卷积核尺寸为17×17，卷积核通道数为8，步长为16；设置第17个卷积层的卷积核尺寸为5×5，卷积核通道数为16，步长为4。根据定义5中的标准的concatenate操作方法，将本特征融合模块的第16层融合到第11到第15层，将本特征融合模块的第17层融合到第7到第10层。至此，本发明检测模型中的特征融合模块建立完毕。

步骤6使用特征融合模块对船只特征进行融合

使用定义7中的特征融合方法，借助步骤5中的特征融合模块，对步骤4中的舰船特征 F1进行融合，得到融合后的船只特征，记为F2。

步骤7建立特征增强模块

见附图3，使用定义2中的标准的Keras框架下卷积神经网络建立方法，在定义9中的特征增强含义的指导下，借助定义8中的标准的concatenate操作，建立特征增强模块。具体地，利用定义5中的标准的concatenate操作方法，将第11到第15个卷积层和第16层进行特征增强(即增强倍数为6)，得到第一个检测尺度S1的特征图；将第7到第10个卷积层和第17 层进行特征增强(即增强倍数为5)，得到第二个检测尺度S2的特征图；将第4到第6个卷积层直接进行特征增强(即增强倍数为3)，得到第三个检测尺度S3的特征图。至此，本发明检测模型中的特征增强模块建立完毕。

步骤8使用特征增强模块对船只特征进行增强

使用定义9中的特征增强的方法，借助步骤7中建立的特征增强模块，对步骤6中融合后的船只特征F2进行特征增强，得到增强后的船只特征，记为F3。

步骤9建立尺度共享特征金字塔模块

见附图4，使用定义2中的标准的Keras框架下卷积神经网络建立方法，建立尺度共享特征金字塔模块。

首先，根据定义10中特征金字塔的建立流程，根据定义11中的尺度共享的含义，利用定义12中的标准上采样方法，将第二个检测尺度S2的特征图进行2倍上采样，上采样的结果和第一个检测尺度S1的特征图相加；将第三个检测尺度S3的特征图进行2倍上采样，上采样的结果和第二个检测尺度S2的特征图相加；将第三个检测尺度S2的特征图进行4倍上采样，上采样的结果和第一个检测尺度S1的特征图相加。根据定义11中的尺度共享的含义，利用定义13中的标准下采样方法，将第一个检测尺度S1的特征图进行2倍下采样，下采样的结果和第二个检测尺度S2的特征图相加；将第二个检测尺度S2的特征图进行2倍下采样，下采样的结果和第三个检测尺度S3的特征图相加；将第一个检测尺度S1的特征图进行4倍下采样，下采样的结果和第三个检测尺度S3的特征图相加。至此，本发明检测模型中的尺度共享特征金字塔模块建立完毕。

步骤10使用尺度共享特征金字塔模块对船只特征进行尺度共享

使用定义11中的尺度共享的方法，借助步骤9中建立的尺度共享特征金字塔，对步骤8 中增强后的船只特征F3进行尺度共享，得到共享后的船只特征，记为F4。

步骤11进行SAR图像中船只检测

见附图5，使用定义15中的标准的YOLOv3检测方法，利用步骤10中得到的共享后的船只特征F4，对步骤1中输入的SAR图像A中船只进行检测，得到船只的检测结果，检测结果记为result。

步骤12检测性能评估

见附图6，使用定义16中精度评估指标mAP，在定义14中的SSDD数据集上，对步骤11中船只检测结果result进行精度评估，得到检测精度为97.07％。使用定义17中速度评估指标FPS，在定义14中的SSDD数据集上，对步骤11中船只检测结果result进行速度评估，得到检测速度为233FPS。使用定义18中的模型尺寸和轻量级评估指标，在定义14中的SSDD 数据集上，对步骤11中船只检测结果result进行模型评估，得到模型尺寸为0.82MB。

本发明的精度评估指标mAP，检测速度为233FPS和模型尺寸0.82MB均优于定义19中的现有技术YOLOv3和定义20中的现有技术RetinaNet。本发明中的SAR图像船只检测方法的检测模型只有0.82MB，满足了定义18中轻量级的要求。

Claims (1)

1.一种轻量级的SAR图像船只检测方法，其特征是它包括以下几个步骤：

步骤1输入SAR图像

输入一幅待检测的SAR图像，记为A；

步骤2对输入的SAR图像进行重采样

采用经典的图像重采样方法对输入的SAR图像A进行重采样，得到一幅大小为160×160尺寸的新的SAR图像，记为B；

步骤3建立骨干网络

采用标准的深度分离卷积方法，设置第1个卷积层的卷积核尺寸为3×3，卷积通道数为8，步长为2；设置第2个卷积层的卷积核尺寸为3×3，卷积通道数为16，步长为2；设置第3个卷积层的卷积核尺寸为3×3，卷积通道数为16，步长为1；设置第4个卷积层的卷积核尺寸为3×3，卷积通道数为32，步长为2；设置第5个卷积层的卷积核尺寸为3×3，卷积核通道数为32，步长为1；设置第6个卷积层的卷积核尺寸为3×3，卷积核通道数为32，步长为1；设置第7个卷积层的卷积核尺寸为3×3，卷积核通道数为64，步长为2；设置第8个卷积层的卷积核尺寸为3×3，卷积核通道数为64，步长为1；设置第9个卷积层的卷积核尺寸为3×3，卷积核通道数为64，步长为1；设置第10个卷积层的卷积核尺寸为3×3，卷积核通道数为64，步长为1；设置第11个卷积层的卷积核尺寸为3×3，卷积核通道数为128，步长为2；设置第12个卷积层的卷积核尺寸为3×3，卷积核通道数为128，步长为1；设置第13个卷积层的卷积核尺寸为3×3，卷积核通道数为128，步长为1；设置第14个卷积层的卷积核尺寸为3×3，卷积核通道数为128，步长为1；设置第15个卷积层的卷积核尺寸为3×3，卷积核通道数为128，步长为1；至此，本发明检测模型中的骨干网络建立完毕；

步骤4使用骨干网络对船只进行特征提取

采用标准的卷积神经网络特征提取方法，对步骤2中的SAR图像B中的船只进行特征提取，得到的船只的特征，记为F1；

步骤5建立特征融合模块

采用标准的Keras框架使用方法，设置第16个卷积层的卷积核尺寸为17×17，卷积核通道数为8，步长为16；设置第17个卷积层的卷积核尺寸为5×5，卷积核通道数为16，步长为4；

采用标准的concatenate操作方法，将特征融合模块的第16层融合到第11到第15层，将特征融合模块的第17层融合到第7到第10层；至此，本发明检测模型中的特征融合模块建立完毕；

步骤6使用特征融合模块对船只特征进行融合

采用特征融合方法，对步骤4中的舰船特征F1进行融合，得到融合后的船只特征，记为F2；

步骤7建立特征增强模块

采用标准的concatenate操作方法，将第11到第15个卷积层和第16层进行特征增强，即增强倍数为6，得到第一个检测尺度S1的特征图；

采用标准的concatenate操作方法，将第7到第10个卷积层和第17层进行特征增强(即增强倍数为5)，得到第二个检测尺度S2的特征图；

采用标准的concatenate操作方法，将第4到第6个卷积层直接进行特征增强(即增强倍数为3)，得到第三个检测尺度S3的特征图；至此，本发明检测模型中的特征增强模块建立完毕；

步骤8使用特征增强模块对船只特征进行增强

采用标准特征增强的方法，对步骤6中融合后的船只特征F2进行特征增强，得到增强后的船只特征，记为F3；

步骤9建立尺度共享特征金字塔模块

采用标准的Keras框架下卷积神经网络建立方法，建立尺度共享特征金字塔模块：

首先，采用标准上采样方法，将第二个检测尺度S2的特征图进行2倍上采样，上采样的结果和第一个检测尺度S1的特征图相加；

采用标准上采样方法，将第三个检测尺度S3的特征图进行2倍上采样，上采样的结果和第二个检测尺度S2的特征图相加；

采用标准上采样方法，将第三个检测尺度S2的特征图进行4倍上采样，上采样的结果和第一个检测尺度S1的特征图相加；

然后，采用标准下采样方法，将第一个检测尺度S1的特征图进行2倍下采样，下采样的结果和第二个检测尺度S2的特征图相加；

采用标准下采样方法，将第二个检测尺度S2的特征图进行2倍下采样，下采样的结果和第三个检测尺度S3的特征图相加；

采用标准下采样方法，将第一个检测尺度S1的特征图进行4倍下采样，下采样的结果和第三个检测尺度S3的特征图相加；至此，本发明检测模型中的尺度共享特征金字塔模块建立完毕；

步骤10采用尺度共享特征金字塔模块对船只特征进行尺度共享

采用标准的尺度共享的方法，对步骤8中增强后的船只特征F3进行尺度共享，得到共享后的船只特征，记为F4；

步骤11进行SAR图像中船只检测

采用标准的YOLOv3检测方法和步骤10中得到的共享后的船只特征F4，对步骤1中输入的SAR图像A中船只进行检测，得到船只的检测结果，检测结果记为result；

步骤12检测性能评估

采用精度评估指标mAP，在SSDD数据集上，对步骤11中船只检测结果result进行精度评估，得到检测精度为97.07％；

采用速度评估指标FPS，在SSDD数据集上，对步骤11中船只检测结果result进行速度评估，得到检测速度为233FPS；

采用模型尺寸和轻量级评估指标，在SSDD数据集上，对步骤11中船只检测结果result进行模型评估，得到模型尺寸为0.82MB。

Images