CN110826428A - 一种高速的sar图像中船只检测方法 - Google Patents

Abstract

本发明公开了一种高速的SAR图像中船只检测方法，它是基于深度学习理论，首先利用卷积神经网络和深度分离卷积神经网络构建了一个轻量级的船只检测框架，然后使用深度分离神经网络构建很少的参数数量高速的SAR图像中船只检测模型，借助YOLOv3检测器的基本思想，并且通过特征融合原理和多尺度原理来提高检测精度。与传统方法比较，本发明能够实现高速的SAR图像中船只检测，克服现有技术存在检测速度慢的不足，同时具有较小的检测精度损失。

Description

一种高速的SAR图像中船只检测方法

技术领域

本发明属于合成孔径雷达(SAR)图像解译技术领域，涉及一种高速的SAR图像中船只检测方法。

背景技术

合成孔径雷达(SAR)作为一种具有全天时、全天候、信息量丰富的遥感成像技术，已成为当今对地观测的重要手段，在地形图像生成、目标探测与侦察、目标精确打击、国土资源勘查和自然灾害监测等国民经济与军事领域得到越来越广泛的应用。随着SAR技术不断成熟，成像分辨率不断提高，使得通过SAR图像的目标检测技术受到越来越广泛的关注。特别地，SAR在海洋领域也有广泛地应用，例如海洋交通管理，海洋渔业管理，海洋环境保护，海洋灾难救援等。详见文献“张庆君,韩晓磊,刘杰.星载合成孔径雷达遥感技术进展及发展趋势[J].航天器工程,2017,26(06):1-8.”。

近年来，SAR图像中船只检测也成为了一个研究热点，因为它可以实现便捷的海洋交通管理，船只溢油监测，船只灾难救援等。SAR图像中的船只是重要的有价值的目标，尤其在国防军事领域，可以有效地保护国家海洋权益，为解决海洋争端提供一种有效的解决手段。特别地，SAR工作不受白昼、气候条件的影响，特别适用于变幻莫测的海洋环境，从而弥补了光学传感器的缺点。详见文献“孟凡超,鲍勇.合成孔径雷达在舰船目标高分辨监视和测绘中的应用[J].舰船科学技术,2018,40(22):157-159.”。

目前现有的SAR图像中船只检测技术已经从不同的角度实现了良好的船只检测结果，并且具有较高的检测精度，但是现有的这些技术在提高检测精度的同时却牺牲了检测速度，因此限制了它们在一些实时性要求较高领域中的应用，例如战争场景、灾难救援场景等。

因此，为了克服现有技术存在检测速度慢的不足，本发明提出了一种高速的SAR图像中船只检测方法。

发明内容

本发明属于合成孔径雷达(SAR)图像解译技术领域，本发明公开了一种高速的SAR图像中船只检测方法，用于解决现有技术中存在检测速度慢的问题。该方法基于深度学习理论，首先利用卷积神经网络和深度分离卷积神经网络构建了一个轻量级的船只检测框架，然后借助YOLOv3检测器的基本思想，从而提高了船只检测速度，并且通过特征融合原理和多尺度原理来提高检测精度，最终能够实现SAR图像中船只的高速检测，并且具有较小的检测精度损失。

为了方便描述本发明的内容，首先作以下术语定义：

定义1：SSDD数据集

SSDD数据集是指SAR船只检测数据集，英文全称为SAR Ship Detection Dataset，其可以用于训练深度学习模型,用于研究人员在这个统一的数据集去评价他们算法的性能。在SSDD数据集中,一共有1160幅图像和2456艘船只平均每幅图像有2.12艘船。后续根据任务需要会增加样本个数,扩充数据集。相比于有9000多幅图像、20类目标的PASCAL VOC数据集，SSDD足够大到可以对船只这一类目标进行训练检测器。SSDD数据集可从参考文献“李健伟,曲长文,彭书娟,邓兵.基于卷积神经网络的SAR图像舰船目标检测[J].系统工程与电子技术,2018,40(09):1953-1959.”中获得。

定义2：标准的Keras框架下的YOLOv3数据格式

标准的Keras框架下的YOLOv3数据格式指在深度学习领域中一种训练、验证和测试所需要的数据集标签的格式。其标准数据格式为image，x，y，w，h和class，其中image为图片的路径，x为船只真实框的左上角横坐标，y为船只真实框的左上角纵坐标，w为船只真实框的宽度，h为船只真实框的高度，class为船只的类别。详见网站“https://github.com/qqwweee/keras-yolo3”。

定义3：经典的卷积神经网络

经典的卷积神经网络指一类包含卷积计算且具有深度结构的前馈神经网络。卷积神经网络仿造生物的视知觉机制构建，可以进行监督学习和非监督学习，其隐含层内的卷积核参数共享和层间连接的稀疏性使得卷积神经网络能够以较小的计算量进行特征提取。近年来,卷积神经网络在计算机视觉、自然语言处理、语音识别等领域取得了突飞猛进的发展,其强大的特征学习能力引起了国内外专家学者广泛的关注。经典的卷积神经网络方法详见文献“张索非,冯烨,吴晓富.基于深度卷积神经网络的目标检测算法进展[J/OL].南京邮电大学学报(自然科学版),2019(05):1-9.https://doi.org/10.14132/j.cnki.1673-5439.2019.05.010.”。

定义4：卷积核

卷积核就是图像处理时，给定输入图像，输入图像中一个小区域中像素加权平均后成为输出图像中的每个对应像素，其中权值由一个函数定义，这个函数称为卷积核。卷积核的作用在于特征的抽取，越是大的卷积核尺寸就意味着更大的感受野，当然随之而来的是更多的参数。早在1998年，LeCun发布的LetNet-5模型中就会出，图像空域内具有局部相关性，卷积的过程是对局部相关性的一种抽取。卷积核设置方法详见文献“Lecun Y,BottouL,Bengio Y,et al.Gradient-based learning applied to document recognition[J].Proceedings of the IEEE,1998,86(11):2278-2324.”。

定义5：卷积核尺寸

卷积核尺寸就是指卷积核的长度，宽度和深度，记为L×W×D，其中L代表长度，W代表宽度，D代表深度。设置卷积核的尺寸就是指确定L，W和D的具体数值。一般地，在达到相同感受野的情况下，卷积核越小，所需要的参数和计算量越小。具体来说，卷积核的长度和宽度必须大于1才有提升感受野的作用，而大小为偶数的卷积核即使对称地加补零操作也不能保证输入特征谱尺寸和输出特征谱尺寸不变，一般都用3作为卷积核大小。详见网站“https://www.sohu.com/a/241208957_787107”。

定义6：深度分离卷积神经网络

深度分离卷积神经网络方法指将传统的卷积神经网络分为两个步骤实现，第一部分是进行通道内的特征信息提取；第二部分是跨通道间的特征信息提取，两部分以串联方式连接。深度可分离卷积神经网络能够大量减少网络参数数量和计算量，能够构建一个轻量级的网络结构。详见文献“曹渝昆,桂丽嫒.一种基于深度可分离的轻量级卷积神经网络方法[J/OL].计算机工程:1-8[2019-10-15].https://doi.org/10.19678/j.issn.1000-3428.0055152.”。

定义7：分离卷积

分离卷积指卷积核只对输入特征谱的其中一层进行卷积运算，无需对输入特征谱的所有深度上的通道进行运算，可以有效地降低参数数量。详见文献“L.Sifre.Rigid-motion scattering for image classification.PhD thesis,Ph.D.thesis,2014”。

定义8：点状卷积

点状卷积指长度和宽度均为1的卷积核，点状卷积是定义3中的经典卷积，目的是为了弥补定义7中分离卷积所带来的精度损失。详见文献“L.Sifre.Rigid-motionscattering for image classification.PhD thesis,Ph.D.thesis,2014”。

定义9：多尺度检测

多尺度检测指检测器为了检测出不同尺寸的船只目标，在不同尺寸的输出特征谱上进行船只检测。国内外研究学者对多尺度物体目标检测的研究越来越青睐,多尺度目标检测已经成为计算机视觉领域的一大热点研究问题，因为多尺度检测可以有效地提高检测精度。多尺度检测的尺寸指需要输出检测的特征谱的长度和宽度，分别记为L和W。设置多尺度检测尺寸就是确定L和W的值。详见文献“杨龙,苏娟,黄华,李响.一种基于深层次多尺度特征融合CNN的SAR图像舰船目标检测算法[J/OL].光学学报:1-13[2019-10-15].”。

定义10：上采样和上采样倍数

上采样指在原有图像像素的基础上在像素点之间采用合适的插值算法插入新的元素，上采样倍数指在进行上采样操作后的图像尺寸与原有图像尺寸的比值，对于上采样来说，这个比值需大于1。详见网站“https://www.jianshu.com/p/587c3a45df67”。

定义11：浅层特征和深层特征

在深度学习中，浅层特征指网络前段卷积层提取的特征，具有较弱的语义含义；深层特征指网络后端卷积层提取的特征，具有较强的语义含义。浅层特征和深层特征设置方法详见网站“https://blog.csdn.net/TTdreamloong/article/details/79798817”。

定义12：特征融合

在深度学习中，特征融合指将浅层特征和深层特征向融合，也就是说将网络中的不同深度的层输出特征谱进行融合，可以实现较弱语义和较强语义的结合，能够提高船只检测精度。特征融合方法详见网站“https://blog.csdn.net/TTdreamloong/article/details/79798817”。

定义13：经典的图像重采样

经典的图像重采样指在对采样后形成的由离散数据组成的数字图像按所需的像元位置或像元间距重新采样，以构成几何变换后的新图像。重采样过程本质上是图像恢复过程,它用输入的离散数字图像重建代表原始图像二维连续函数,再按新的像元间距和像元位置进行采样。其数学过程是根据重建的连续函数(曲面),用周围二像元点的值估计或内插出新采样点的值,相当于用采样函数与输入图像作二维卷积运算。经典的图像重采样方法详见文献“李心爱.图像滤波检测和重采样检测方法研究[D].西安理工大学,2017.”。

定义14：标准的SAR图像中船只检测框

标准的SAR图像中船只检测框就是船只检测结果的参数，该参数由检测框的左上角横坐标x，左上角纵坐标y，宽度w，长度h和得分s组成。该五项参数唯一确定了船只检测框在图像中的位置。标准的SAR图像中船只检测框生成方法详见文献“李健伟,曲长文,彭书娟,邓兵.基于卷积神经网络的SAR图像舰船目标检测[J].系统工程与电子技术,2018,40(09):1953-1959.”。

定义15：非极大值抑制

非极大值抑制方法是一种去除非极大值的算法，就是抑制不是极大值的元素，可以理解为局部最大搜索。这个局部代表的是一个邻域，邻域有两个参数可变，一是邻域的维数，二是邻域的大小，常用于计算机视觉中的边缘检测、物体识别等。详见文献“Hosang,J.；Benenson,R.；Schiele,B.Learning Non-maximum Suppression.In Proceedings of the2017IEEE Conference on Computer Vision and Pattern Recognition,Honolulu,HI,USA,21–26July 2017；pp.6469–6477.”。

定义16：YOLOv3

YOLOv3指YOLO算法的第3版本，该版本在v1和v2的基础上形成，YOLOv3采用新能更好的DarkNet-53作为骨干网络，采用多尺度检测方法能够有效提高检测精度，同时其基本原理是采用单阶段检测器的基本思想，因此具有较快的检测速度，目前为现有技术中检测速度最优的方法。详见文献“Redmon,J.,&Farhadi,A..(2018).YOLOv3:an incrementalimprovement.arXiv 2018,arXiv:1804.02767.https://arxiv.org/abs/1804.02767.”。

定义17：经典的Adam算法

经典的Adam算法是一种可以替代传统随机梯度下降过程的一阶优化算法，它能基于训练数据迭代地更新神经网络权重。Adam算法和传统的随机梯度下降不同。随机梯度下降保持单一的学习率更新所有的权重，学习率在训练过程中并不会改变。而Adam通过计算梯度的一阶矩估计和二阶矩估计而为不同的参数设计独立的自适应性学习率。详见文献“Kingma,D.；Ba,J.Adam:A Method for Stochastic Optimization.arXiv 2014,arXiv:1412.6980.”。

定义18：标准的YOLOv3验证方法

标准的YOLOv3验证方法指一种用于调整检测模型和对检测模型进行初步评估的方法，该验证方法在验证集上执行，目的是为了避免网络陷入过拟合。验证过程中，当交并比IOU>0.5，验证成功，否则失败。详见文献“Redmon,J.,&Farhadi,A..(2018).YOLOv3:anincremental improvement.arXiv 2018,arXiv:1804.02767.https://arxiv.org/abs/1804.02767.”。

定义19：标准的YOLOv3测试方法

标准的YOLOv3测试方法指在测试集上对检测模型进行最终测试，得到检测模型在测试集上的检测结果。测试过程中，当交并比IOU>0.5,且得分s>0.5时，则该测试结果有效。详见文献“Redmon,J.,&Farhadi,A..(2018).YOLOv3:an incremental improvement.arXiv2018,arXiv:1804.02767.https://arxiv.org/abs/1804.02767.”。

定义20：召回率和精确率计算方法

召回率R指在所有的正样本中，预测正确的数量。精确率P指预测为正例的结果中，正确的个数所占的比例。召回率和精确率曲线P(R)指以R为自变量，P为因变量的函数，以上参数数值的求法详见文献“李航.统计学习方法[M].北京:清华大学出版社,2012.”。

定义21：标准的检测时间计算方法

标准的检测时间指检测模型检测一张图像所需要的时间，单位为毫秒ms。在深度学习中，采用Python中的time函数库进行计时得到该标准的检测时间。详见文献“李航.统计学习方法[M].北京:清华大学出版社,2012.”。

本发明提供了一种高速的SAR图像中船只检测方法，它包括以下几个步骤：

步骤1、准备数据集

从定义1中得到SSDD数据集，采用随机的方法调整SSDD数据集中的SAR图像次序，得到新的SSDD数据集，记为SSDD_new；

按照7:2:1的比例将SSDD_new数据集划分为三部分，得到训练集，验证集和测试集，训练集记为Train，验证集记为Val，测试集记为Test。

采用定义2中的标准Keras框架下的YOLOv3数据格式，对Train，Val和Test中的数据格式进行调整，最终得到新的训练集，新的验证集和新的测试集，新的训练集记为Train_new，新的验证集记为Val_new和新的测试集记为Test_new；至此完成数据集的准备。

步骤2、建立船只特征提取网络

采用定义3中的经典的卷积神经网络方法建立船只特征提取网络的输入层，得到由经典的卷积神经网络组成的船只特征提取网络的第1层(输入层)，记为C1，并且根据定义5中的卷积核尺寸原理，采用定义4中卷积核设置方法设置C1的卷积核尺寸为3×3×32。

采用定义6中的深度分离卷积神经网络方法，构建船只特征提取网络的中间层，得到第2，3,4,5,6,7,8,9,10,11,12,13,14层，分别记为C2，C3，C4，C5，C6，C7，C8，C9，C10，C11，C12，C13，C14。

根据定义7中的分离卷积原理和定义8中的点状卷积原理，采用定义4中的卷积核设置方法，进行如下操作：

设置C2的分离卷积的卷积核尺寸为3×3×32，点状卷积的卷积核尺寸为1×1×64；设置C3的分离卷积的卷积核尺寸为3×3×64，点状卷积的卷积核尺寸为1×1×128；设置C4的分离卷积的卷积核尺寸为3×3×128，点状卷积的卷积核尺寸为1×1×128；设置C5的分离卷积的卷积核尺寸为3×3×128，点状卷积的卷积核尺寸为1×1×256；设置C6的分离卷积的卷积核尺寸为3×3×256，点状卷积的卷积核尺寸为1×1×256；设置C7的分离卷积的卷积核尺寸为3×3×256，点状卷积的卷积核尺寸为1×1×512；设置C8，C9，C10，C11，C12的分离卷积的卷积核尺寸均为3×3×512，点状卷积的卷积核尺寸均为1×1×512；设置C13的分离卷积的卷积核尺寸为3×3×512，点状卷积的卷积核尺寸为1×1×1024；设置C14的分离卷积的卷积核尺寸为3×3×1024，点状卷积的卷积核尺寸为1×1×1024。最终，得到船只特征提取网络。

步骤3、建立多尺度船只检测网络

采用定义9中的多尺度检测方法，设置3种检测尺度，依次得到检测尺度1，记为S1，检测尺度2，记为S2，检测尺度3，记为S3。并且仍采用定义9中方法设置S1的尺寸为5×5，设置S2的尺寸为10×10，设置S3的尺寸为20×20。

步骤3.1建立S1的船只检测网络

采用定义3中的经典卷积神经网络方法建立S1的网络结构，得到第15层，记为C15，第16层，记为C16，第17层，记为C17。采用定义4中的方法，设置C15的卷积核尺寸为1×1×32，C16的卷积核尺寸为3×3×64，C17的卷积核的尺寸为1×1×18；最终得到检测尺度S1的船只检测网络；至此，得到了S1的船只检测网络。

步骤3.2建立S2的船只检测网络

采用定义3中的经典卷积神经网络方法建立S2的网络结构的输入层，即第18层，记为C18。采用定义4中的卷积核设置方法，设置C18的卷积核尺寸为1×1×16；

采用定义10中的标准的上采样方法建立S2的网络的结构的第19层并设置其上采样倍数为2，记为C19；

采用定义3中的经典卷积神经网络方法建立S2的网络结构的第20层，记为C20，第21层，记为C21，第22层，记为C22；

采用定义4中的卷积核设置方法，设置C20的卷积核尺寸为1×1×16,设置C21的卷积核尺寸为3×3×32,设置C22的卷积核尺寸为1×1×18；至此，得到了S2的船只检测网络。

步骤3.3建立S3的船只检测网络

采用定义3中的经典卷积神经网络方法建立S3的网络结构的输入层，即第23层，记为C23。采用定义4中的卷积核设置方法，设置C23的卷积核尺寸为1×1×8

采用定义10中的标准上采样方法建立S3的网络结构的第24层并设置其上采样倍数为2，记为C24；

采用定义3中的经典卷积神经网络方法建立S3的网络结构的第25层，记为C25，第26层，记为C26，第27层，记为C27；

采用定义4中的卷积核设置方法，设置C25的卷积核尺寸为1×1×8,设置C26的卷积核尺寸为3×3×16,设置C27的卷积核尺寸为1×1×18。至此，得到了S3的船只检测网络。

步骤4、建立特征融合网络

根据定义11中的浅层特征和深层特征定义和定义12中的特征融合定义，设置两个特征融合网络，分别为特征融合网络1，记为F1，特征融合网络2，记为F2。

步骤4.1建立F1的特征融合网络

根据定义12中的特征融合方法，将步骤2中的第10层C10的输出和步骤3.2中的第19层C19的输出进行融合，得到融合输出；建立了F1的特征融合网络。

步骤4.2建立F2的特征融合网络

根据定义12中的特征融合方法，将步骤2中的第6层C6的输出和步骤3.3中的第24层C24的输出进行融合，得到融合输出；建立了F2的特征融合网络。

步骤5、建立船只检测模型

采用定义13中的经典的图像重采样的方法将步骤1中的Train_new和Val_new进行重采样，得到长度和宽度均为160×160的图像；

然后将重采样后的Train_new在步骤2、3、4所建立的网络上按照定义17中的经典的Adam算法进行训练，并将重采样后的Val_new在步骤2、3、4所建立的网络上按照定义18中的标准的YOLOv3验证方法进行验证；训练和验证完成后得到船只检测模型。

步骤6、测试船只检测模型

采用定义13中的经典的图像重采样的方法将步骤1中的Test_new进行重采样，得到长度和宽度均为160×160的图像；然后将将重采样后的Test_new在步骤5中获得的船只检测模型上按照定义19中的标准的YOLOv3测试方法进行测试，得到船只检测模型的测试结果。采用定义14中标准的SAR图像中船只检测框生成方法，在步骤3中得到的检测尺度S1，S2和S3上生成9个检测框，其中每个检测尺度生成3个检测框。

步骤7、执行非极大值抑制

采用定义15中的非极大值抑制方法对步骤6中获得9个检测框进行非极大值抑制，得到唯一的船只检测框。

步骤8、评估船只检测模型

采用定义20中的召回率和精确率计算方法，求出精确率P，召回率R，精确率和召回率曲线P(R)；采用公式其中，P为精确率，R为召回率，P(R)为精确率和召回率曲线，mAP为平均精度，来对步骤7中获得的船只检测框进行精度评估，得到该船只检测框的平均精度mAP。

采用定义21中的标准的检测时间计算方法求出标准的检测时间T；采用公式其中T为标准的检测时间，FPS为帧率，对步骤7中获得的船只检测框进行速度评估，得到步骤7中生成检测框的速度FPS。

本发明的创新点在于使用深度分离神经网络构建高速的SAR图像中船只检测模型，该模型具有更少的参数数量，更少的计算量和更小的模型，使得本发明中的船只检测模型具有更快的检测速度，检测速度为111FPS(FPS为帧率)。同时，为了弥补由深度分离卷积神经网络带来的精度损失，采用建立多尺度船只检测网络和特征融合网络来提高精度，检测精度为94.13％mAP(mAP为平均精度)。

本发明的优点在于能够实现高速的SAR图像中船只检测，克服现有技术存在检测速度慢的不足，同时具有较小的检测精度损失。

附图说明

图1为本发明中的高速的SAR图像中船只检测方法的网络结构示意图。

图2为本发明中的高速的SAR图像中船只检测方法的检测精度和检测速度。

具体实施方式

下面结合附图1对本发明的作进一步详细描述。

步骤1、准备数据集

从定义1中得到SSDD数据集，采用随机的方法调整SSDD数据集中的SAR图像次序，得到新的SSDD数据集，记为SSDD_new；按照7:2:1的比例将SSDD_new数据集划分为三部分，得到训练集，验证集和测试集，训练集记为Train，验证集记为Val，测试集记为Test。至此完成数据集的准备。

步骤2、建立船只特征提取网络

如图1所示，采用定义3中的经典的卷积神经网络建立船只特征提取网络的输入层，得到由经典的卷积神经网络组成的船只特征提取网络的第1层(输入层)，记为C1，并且根据定义5中的卷积核尺寸原理，采用定义4中方法设置C1的卷积核尺寸为3×3×32。

采用定义6中的深度分离卷积神经网络构建船只特征提取网络的中间层，得到第2，3,4,5,6,7,8,9,10,11,12,13,14层，分别记为C2，C3，C4，C5，C6，C7，C8，C9，C10，C11，C12，C13，C14。

根据定义7中的分离卷积原理和定义8中的点状卷积原理，采用定义4中的方法，进行如下操作：

设置C2的分离卷积的卷积核卷积核尺寸为3×3×32，点状卷积的卷积核尺寸为1×1×64；设置C3的分离卷积的卷积核尺寸为3×3×64，点状卷积的卷积核尺寸为1×1×128；设置C4的分离卷积的卷积核尺寸为3×3×128，点状卷积的卷积核尺寸为1×1×128；设置C5的分离卷积的卷积核尺寸为3×3×128，点状卷积的卷积核尺寸为1×1×256；设置C6的分离卷积的卷积核尺寸为3×3×256，点状卷积的卷积核尺寸为1×1×256；设置C7的分离卷积的卷积核尺寸为3×3×256，点状卷积的卷积核尺寸为1×1×512；设置C8，C9，C10，C11，C12的分离卷积的卷积核尺寸均为3×3×512，点状卷积的卷积核尺寸均为1×1×512；设置C13的分离卷积的卷积核尺寸为3×3×512，点状卷积的卷积核尺寸为1×1×1024；设置C14的分离卷积的卷积核尺寸为3×3×1024，点状卷积的卷积核尺寸为1×1×1024。最终，得到船只特征提取网络。

步骤3、建立多尺度船只检测网络

如图1所示，采用定义9中的方法，设置3种检测尺度，依次得到检测尺度1，记为S1，检测尺度2，记为S2，检测尺度3，记为S3。并且仍采用定义9中方法设置S1的尺寸为5×5，设置S2的尺寸为10×10，设置S3的尺寸为20×20。

步骤3.1建立S1的船只检测网络

采用定义3中的经典卷积神经网络建立S1的网络结构，第15层，记为C15，第16层，记为C16，第17层，记为C17。采用定义4中的方法，设置C15的卷积核尺寸为1×1×32，C16的卷积核尺寸为3×3×64，C17的卷积核的尺寸为1×1×18。最终得到检测尺度S1的船只检测网络。至此，得到了S1的船只检测网络。

步骤3.2建立S2的船只检测网络

采用定义3中的经典卷积神经网络建立S2的网络结构的输入层，即第18层，记为C18。采用定义4中的方法，设置C18的卷积核尺寸为1×1×16。采用定义10中的上采样方法建立S2的网络的结构的第19层并设置其上采样倍数为2，记为C19。采用定义3中的经典卷积神经网络建立S2的网络结构的第20层，记为C20，第21层，记为C21，第22层，记为C22。采用定义4中的方法，设置C20的卷积核尺寸为1×1×16,设置C21的卷积核尺寸为3×3×32,设置C22的卷积核尺寸为1×1×18。至此，得到了S2的船只检测网络。

步骤3.3建立S3的船只检测网络

采用定义3中的经典卷积神经网络建立S3的网络结构的输入层，即第23层，记为C23。采用定义4中的方法，设置C23的卷积核尺寸为1×1×8。采用定义10中的上采样方法建立S3的网络结构的第24层并设置其上采样倍数为2，记为C24。采用定义3中的经典卷积神经网络建立S3的网络结构的第25层，记为C25，第26层，记为C26，第27层，记为C27。采用定义4中的方法，设置C25的卷积核尺寸为1×1×8,设置C26的卷积核尺寸为3×3×16,设置C27的卷积核尺寸为1×1×18。至此，得到了S3的船只检测网络。

步骤4、建立特征融合网络

如图1所示，根据定义11中的浅层特征和深层特征基本原理和定义12中的特征融合基本原理，设置两个特征融合网络，分别为特征融合网络1，记为F1，特征融合网络2，记为F2。

步骤4.1建立F1的特征融合网络

根据定义12中的方法，将步骤2中的第10层C10的输出和步骤3.2种的第19层C19的输出进行融合，得到融合输出，记为X1。至此，建立了F1的特征融合网络。

步骤4.2建立F2的特征融合网络

根据定义12中的方法，将步骤2中的第6层C6的输出和步骤3.3中的第24层C24的输出进行融合，得到融合输出，记为X2。至此，建立了F2的特征融合网络。

步骤5、建立船只检测模型

采用定义13中的经典的图像重采样的方法将步骤1中的Train_new和Val_new进行重采样，最终得到长度和宽度均为160×160的图像。然后将重采样后的Train_new在步骤2、3、4所建立的网络上按照定义17中的经典的Adam算法进行训练，并将重采样后的Val_new在步骤2、3、4所建立的网络上按照定义18中的标准的YOLOv3验证方法进行验证。最终，训练和验证完成后得到船只检测模型。

步骤6、测试船只检测模型

采用定义13中的经典的图像重采样的方法将步骤1中的Test_new进行重采样，最终得到长度和宽度均为160×160的图像。然后将将重采样后的Test_new在步骤5中获得的船只检测模型上按照定义19中的标准的YOLOv3测试方法进行测试，得到船只检测模型的测试结果。根据定义14中标准的SAR图像中船只检测框，在步骤3中得到的检测尺度S1，S2和S3上生成9个检测框，其中每个检测尺度生成3个检测框。

步骤7、执行非极大值抑制

采用定义15中的方法对步骤6中获得9个检测框进行非极大值抑制，最终得到唯一的船只检测框。

步骤8、评估船只检测模型

采用定义20中的方法求出精确率P，召回率R，精确率和召回率曲线P(R)；采用公式

其中，P为精确率，R为召回率，P(R)为精确率和召回率曲线，mAP为平均精度，来对步骤7中获得的船只检测框进行精度评估，得到该船只检测框的平均精度mAP。

如图2所示，本发明实现了与现有技术中定义16中的YOLOv3具有相似的检测精度，但检测速度是的YOLOv3的2.5倍，表明本发明能够实现高速的SAR图像中船只检测，并且具有损失较小的精度损失。

Claims (1)

1.一种高速的SAR图像中船只检测方法，其特征是它包括以下几个步骤：

步骤1、准备数据集

对于SSDD数据集，采用随机的方法调整SSDD数据集中的SAR图像次序，得到新的SSDD数据集，记为SSDD_new；

按照7:2:1的比例将SSDD_new数据集划分为三部分，得到训练集，验证集和测试集，训练集记为Train，验证集记为Val，测试集记为Test；

采用标准Keras框架下的YOLOv3数据格式，对Train，Val和Test中的数据格式进行调整，最终得到新的训练集，新的验证集和新的测试集，新的训练集记为Train_new，新的验证集记为Val_new和新的测试集记为Test_new；至此完成数据集的准备；

步骤2、建立船只特征提取网络

采用经典的卷积神经网络方法建立船只特征提取网络的输入层，得到由经典的卷积神经网络组成的船只特征提取网络的第1层(输入层)，记为C1，采用卷积核设置方法设置C1的卷积核尺寸为3×3×32；

采用深度分离卷积神经网络方法，构建船只特征提取网络的中间层，得到第2，3,4,5,6,7,8,9,10,11,12,13,14层，分别记为C2，C3，C4，C5，C6，C7，C8，C9，C10，C11，C12，C13，C14；

根据分离卷积原理和定义8中的点状卷积原理，采用卷积核设置方法，进行如下操作：

设置C2的分离卷积的卷积核尺寸为3×3×32，点状卷积的卷积核尺寸为1×1×64；设置C3的分离卷积的卷积核尺寸为3×3×64，点状卷积的卷积核尺寸为1×1×128；设置C4的分离卷积的卷积核尺寸为3×3×128，点状卷积的卷积核尺寸为1×1×128；设置C5的分离卷积的卷积核尺寸为3×3×128，点状卷积的卷积核尺寸为1×1×256；设置C6的分离卷积的卷积核尺寸为3×3×256，点状卷积的卷积核尺寸为1×1×256；设置C7的分离卷积的卷积核尺寸为3×3×256，点状卷积的卷积核尺寸为1×1×512；设置C8，C9，C10，C11，C12的分离卷积的卷积核尺寸均为3×3×512，点状卷积的卷积核尺寸均为1×1×512；设置C13的分离卷积的卷积核尺寸为3×3×512，点状卷积的卷积核尺寸为1×1×1024；设置C14的分离卷积的卷积核尺寸为3×3×1024，点状卷积的卷积核尺寸为1×1×1024；最终，得到船只特征提取网络；

步骤3、建立多尺度船只检测网络

采用多尺度检测方法，设置3种检测尺度，依次得到检测尺度1，记为S1，检测尺度2，记为S2，检测尺度3，记为S3；并且仍采用定义9中方法设置S1的尺寸为5×5，设置S2的尺寸为10×10，设置S3的尺寸为20×20；

步骤3.1 建立S1的船只检测网络

采用经典卷积神经网络方法建立S1的网络结构，得到第15层，记为C15，第16层，记为C16，第17层，记为C17；采用定义4中的方法，设置C15的卷积核尺寸为1×1×32，C16的卷积核尺寸为3×3×64，C17的卷积核的尺寸为1×1×18；最终得到检测尺度S1的船只检测网络；至此，得到了S1的船只检测网络；

步骤3.2 建立S2的船只检测网络

采用经典卷积神经网络方法建立S2的网络结构的输入层，即第18层，记为C18；采用定义4中的卷积核设置方法，设置C18的卷积核尺寸为1×1×16；

采用标准的上采样方法建立S2的网络的结构的第19层并设置其上采样倍数为2，记为C19；

采用经典卷积神经网络方法建立S2的网络结构的第20层，记为C20，第21层，记为C21，第22层，记为C22；

采用卷积核设置方法，设置C20的卷积核尺寸为1×1×16,设置C21的卷积核尺寸为3×3×32,设置C22的卷积核尺寸为1×1×18；至此，得到了S2的船只检测网络；

步骤3.3 建立S3的船只检测网络

采用经典卷积神经网络方法建立S3的网络结构的输入层，即第23层，记为C23；采用定义4中的卷积核设置方法，设置C23的卷积核尺寸为1×1×8

采用标准上采样方法建立S3的网络结构的第24层并设置其上采样倍数为2，记为C24；

采用经典卷积神经网络方法建立S3的网络结构的第25层，记为C25，第26层，记为C26，第27层，记为C27；

采用卷积核设置方法，设置C25的卷积核尺寸为1×1×8,设置C26的卷积核尺寸为3×3×16,设置C27的卷积核尺寸为1×1×18；至此，得到了S3的船只检测网络；

步骤4、建立特征融合网络

按照浅层特征和深层特征定义和特征融合定义，设置两个特征融合网络，分别为特征融合网络1，记为F1，特征融合网络2，记为F2；

步骤4.1 建立F1的特征融合网络

根据特征融合方法，将步骤2中的第10层C10的输出和步骤3.2中的第19层C19的输出进行融合，得到融合输出；建立了F1的特征融合网络；

步骤4.2 建立F2的特征融合网络

根据特征融合方法，将步骤2中的第6层C6的输出和步骤3.3中的第24层C24的输出进行融合，得到融合输出；建立了F2的特征融合网络；

步骤5、建立船只检测模型

采用经典的图像重采样的方法将步骤1中的Train_new和Val_new进行重采样，得到长度和宽度均为160×160的图像；

然后将重采样后的Train_new在步骤2、3、4所建立的网络上，采用经典的Adam算法进行训练，并将重采样后的Val_new在步骤2、3、4所建立的网络上采用标准的YOLOv3验证方法进行验证；训练和验证完成后得到船只检测模型；

步骤6、测试船只检测模型

采用经典的图像重采样的方法将步骤1中的Test_new进行重采样，得到长度和宽度均为160×160的图像；然后将将重采样后的Test_new在步骤5中获得的船只检测模型上采用标准的YOLOv3测试方法进行测试，得到船只检测模型的测试结果；采用标准的SAR图像中船只检测框生成方法，在步骤3中得到的检测尺度S1，S2和S3上生成9个检测框，其中每个检测尺度生成3个检测框；

步骤7、执行非极大值抑制

采用非极大值抑制方法对步骤6中获得9个检测框进行非极大值抑制，得到唯一的船只检测框；

步骤8、评估船只检测模型

采用召回率和精确率计算方法，求出精确率P，召回率R，精确率和召回率曲线P(R)；采用公式其中，P为精确率，R为召回率，P(R)为精确率和召回率曲线，mAP为平均精度，来对步骤7中获得的船只检测框进行精度评估，得到该船只检测框的平均精度mAP；

采用标准的检测时间计算方法求出标准的检测时间T；采用公式

其中T为标准的检测时间，FPS为帧率，对步骤7中获得的船只检测框进行速度评估，得到步骤7中生成检测框的速度FPS。

Images