CN113989665B - 一种基于路由聚合感知fpn的sar船只检测方法 - Google Patents

一种基于路由聚合感知fpn的sar船只检测方法 Download PDF

Info

Publication number
CN113989665B
CN113989665B CN202111238191.1A CN202111238191A CN113989665B CN 113989665 B CN113989665 B CN 113989665B CN 202111238191 A CN202111238191 A CN 202111238191A CN 113989665 B CN113989665 B CN 113989665B
Authority
CN
China
Prior art keywords
fpn
layer
feature
classical
convolution kernel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111238191.1A
Other languages
English (en)
Other versions
CN113989665A (zh
Inventor
张晓玲
胥小我
张天文
杨景皓
师君
韦顺军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202111238191.1A priority Critical patent/CN113989665B/zh
Publication of CN113989665A publication Critical patent/CN113989665A/zh
Application granted granted Critical
Publication of CN113989665B publication Critical patent/CN113989665B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Abstract

本发明公开了一种基于路由聚合感知FPN的SAR船只检测方法，该方法主要包括准备数据集、构建特征提取FPN、构建特征融合FPN、构建路由聚合感知FPN、建立船只检测模型、测试船只检测模型和评估船只检测模型六个部分。它是通过基于原始的FPN，增加了路由聚合分支，引入了注意力模块，构建了路由聚合感知FPN，优化网络结构以提高准确性，从而实现了船只检测中船只语高层语义信息和底层空间信息的充分提取，达到提高SAR图像中船只目标检测精度的目的。在公知的SAR船只数据集即SSDD数据集上的方正实验结果表明，与现有技术中特征金字塔网络FPN方法相比，本发明可将SAR船只检测精度提高约3％。

Description

一种基于路由聚合感知FPN的SAR船只检测方法
技术领域
本发明属于合成孔径雷达(Synthetic Aperture Radar,SAR)图像解译技术领域，涉及一种基于路由聚合感知FPN的SAR船只检测方法。
背景技术
合成孔径雷达(SAR)属于一种微波成像雷达，也是一种可以产生高分辨率图像的机载雷达或星载雷达。与光学传感器相比，SAR可以穿透云雾，在恶劣的气象条件下也可以完成观测任务。SAR已成为当今对地观测的重要手段，被广泛的应用于遥感和地图测绘。特别地，SAR在海洋领域也有广泛地应用，例如海洋交通管理，海洋渔业管理，海洋环境保护，海洋灾难救援等。详见文献“张庆君,韩晓磊,刘杰.星载合成孔径雷达遥感技术进展及发展趋势[J].航天器工程,2017,26(06):1-8.”。
自1978年首颗SAR卫星Seasat发射以来，利用SAR图像进行舰船检测一直受到众多学者的关注。SAR图像船只检测在海洋交通管制、渔业管理、海洋灾害救援等方面发挥着重要作用。利用SAR进行船只探测是一种很好的选择，因为SAR不受天气和光线的负面影响。这说明SAR非常适合用于海洋监测。详见文献“孟凡超,鲍勇.合成孔径雷达在舰船目标高分辨监视和测绘中的应用[J].舰船科学技术,2018,40(22):157-159.”。
由于不同的分辨率和不同类型的船舶具有不同的尺度，SAR图像中的船舶呈现出多尺度分布。目前，采用特征金字塔网络(FPN)对多尺度船舶进行检测是一种标准方案。许多学者开始对原始FPN的性能进行改进。目前现有的基于FPN的SAR图像中船只检测技术均取得了良好的多尺度舰船检测性能。然而，它们都忽略了低层次的空间位置信息，这导致了它们对小型船舶的检测性能差，SAR船只检测仍然是一个具有挑战性的问题。
因此，为解决上述问题，本发明提出了一种基于路由聚合感知FPN的SAR船只检测方法。该方法提出了路由聚合感知FPN(PAA-FPN)，有效提高了对于小型船只的检测性能。
发明内容
本发明属于合成孔径雷达(SAR)图像解译技术领域，公开了一种基于路由聚合感知FPN的SAR船只检测方法，用来解决现有检测技术精度不足的问题。该方法主要包括准备数据集，构建特征提取FPN，构建特征融合FPN，构建路由聚合感知FPN，建立船只检测模型，测试船只检测模型和评估船只检测模型六个部分。该方法基于原始的FPN，增加了路由聚合分支，引入了注意力模块，构建了路由聚合感知FPN，从而优化网络结构以提高准确性。在公知的SAR船只数据集(即SSDD数据集)上的实验结果表明，与现有技术中定义17中的FPN相比较，本发明可将SAR船只检测精度提高约3％。
为了方便描述本发明的内容，首先作以下术语定义：
定义1：SSDD数据集
SSDD数据集是指SAR船只检测数据集，英文全称为SAR Ship Detection Dataset，其可以用于训练深度学习模型，用于研究人员在这个统一的数据集去评价他们算法的性能。在SSDD数据集中，一共有1160幅图像和2456艘船只平均每幅图像有2.12艘船。后续根据任务需要会增加样本个数，扩充数据集。相比于有9000多幅图像、20类目标的PASCAL VOC数据集，SSDD足够大到可以对船只这一类目标进行训练检测器。SSDD数据集可从参考文献“李健伟,曲长文,彭书娟,邓兵.基于卷积神经网络的SAR图像舰船目标检测[J].系统工程与电子技术,2018,40(09):1953-1959.”中获得。
定义2：经典的卷积神经网络方法
经典的卷积神经网络(CNN)指一类包含卷积计算且具有深度结构的前馈神经网络。卷积神经网络仿造生物的视知觉机制构建，可以进行监督学习和非监督学习，其隐含层内的卷积核参数共享和层间连接的稀疏性使得卷积神经网络能够以较小的计算量进行特征提取。近年来，卷积神经网络在计算机视觉、自然语言处理、语音识别等领域取得了突飞猛进的发展，其强大的特征学习能力引起了国内外专家学者广泛的关注。经典的卷积神经网络方法详见文献“张索非,冯烨,吴晓富.基于深度卷积神经网络的目标检测算法进展[J/OL].南京邮电大学学报(自然科学版),2019(05):1-9.https://doi.org/10.14132/j.cnki.1673-5439.2019.05.010.”。
定义3：经典的CNN特征提取方法
经典的CNN特征提取，即通过CNN对原始输入图像进行特征提取。总而言之，原始输入图像经过不同特征的卷积操作变成了一系列的特征图。在CNN中，卷积层中卷积核在图像上不断滑动运算。同时，最大池化层负责在内积结果上取每一局部块的最大值。因此，CNN通过卷积层和最大池化层实现了图片特征提取方法。经典CNN特征提取详见网站“https://blog.csdn.net/qq_30815237/article/details/86703620”。
定义4：卷积核
卷积核就是图像处理时，给定输入图像，输入图像中一个小区域中像素加权平均后成为输出图像中的每个对应像素，其中权值由一个函数定义，这个函数称为卷积核。卷积核的作用在于特征的抽取，越是大的卷积核尺寸就意味着更大的感受野，当然随之而来的是更多的参数。早在1998年，LeCun发布的LetNet-5模型中就会出，图像空域内具有局部相关性，卷积的过程是对局部相关性的一种抽取。卷积核设置方法详见文献“Lecun Y,BottouL,Bengio Y,et al.Gradient-based learning applied to document recognition[J].Proceedings of the IEEE,1998,86(11):2278-2324.”。
定义5：经典的卷积核尺寸设置方法
卷积核尺寸就是指卷积核的长度，宽度，深度，记为L×W×D，其中L代表长度，W代表宽度，D代表深度。设置卷积核的尺寸就是指确定L，W，D的具体数值。一般地，在达到相同感受野的情况下，卷积核越小，所需要的参数和计算量越小。具体来说，卷积核的长度和宽度必须大于1才有提升感受野的作用，而大小为偶数的卷积核即使对称地加补零操作也不能保证输入特征谱尺寸和输出特征谱尺寸不变，一般都用3作为卷积核大小。卷积核尺寸设置方法详见文献“Lecun Y,Bottou L,Bengio Y,et al.Gradient-based learningapplied to document recognition[J].Proceedings of the IEEE,1998,86(11):2278-2324.”。
定义6：经典的卷积核步长设置方法
卷积核步长就是指每次移动卷积核的长度，记为S。设置卷积核的步长就是指确定S的具体数值。一般地，步长越大，提取特征越少；反之，提取特征越多。一般卷积层都用1作为卷积核步长，最大池化层都用2作为卷积核步长。经典的卷积核步长设置方法详见文献“Lecun Y,Bottou L,Bengio Y,et al.Gradient-based learning applied to documentrecognition[J].Proceedings of the IEEE,1998,86(11):2278-2324.”。
定义7：经典的卷积层
卷积层由若干卷积单元组成，每个卷积单元的参数都是通过反向传播算法最佳化得到的。卷积运算的目的是提取输入的不同特征，第一层卷积层可能只能提取一些低级的特征如边缘、线条和角等层级，更多层的网络能从低级特征中迭代提取更复杂的特征。经典的卷积层详见网站“https://www.zhihu.com/question/49376084”。
定义8：经典的最大池化层
最大池化层用于提取前一层网络区域内所有神经元的最大值，目的是为了在反向传播中，需要把梯度值传到对应最大值所在的位置。最大池化层能减小卷积层参数误差造成估计均值的偏移，更多的保留纹理信息。经典的最大池化层详见文献“Lin M,Chen Q,YanS.Network in network[J].arXiv preprint arXiv:1312.4400,2013.”。
定义9：经典的图像重采样方法
经典的图像重采样指在对采样后形成的由离散数据组成的数字图像按所需的像元位置或像元间距重新采样，以构成几何变换后的新图像。重采样过程本质上是图像恢复过程，它用输入的离散数字图像重建代表原始图像二维连续函数，再按新的像元间距和像元位置进行采样。其数学过程是根据重建的连续函数(曲面)，用周围二像元点的值估计或内插出新采样点的值，相当于用采样函数与输入图像作二维卷积运算。经典的图像重采样方法详见文献“李心爱.图像滤波检测和重采样检测方法研究[D].西安理工大学,2017.”。
定义10：经典的1×1卷积方法
1×1卷积，即特征通过长度，宽度均为1卷积核的处理。1×1卷积方法主要用于调节通道数，对不同的通道上的像素点进行线性组合，然后进行非线性化操作，可以完成升维和降维的功能。经典的1×1卷积方法详见网站“https://zhuanlan.zhihu.com/p/37910136”。
定义11：上采样和上采样倍数
上采样指在原有图像像素的基础上在像素点之间采用合适的插值算法插入新的元素，上采样倍数指在进行上采样操作后的图像尺寸与原有图像尺寸的比值，对于上采样来说，这个比值需大于1。上采样为池化的逆过程，上采样在CNN中由上采样层实现。上采样和上采样倍数详见网站“https://www.jianshu.com/p/587c3a45df67”。
定义12：经典的全局注意力机制方法
全局注意力机制模仿的是人类观察模式，旨在抑制某些无效信息的流动，从而使得重要信息得以保留。全局注意力机制可以描述为
Figure BDA0003318221420000041
其中f(·)表示Ii和Ij之间的相似性运算符号，g(·)表示第j个位置的特征表示的运算符号，c(·)表示归一化系数运算符号，其中Ii表示第i个位置的输入，Oi表示第i个位置的输出。其中，第i个位置信息表示当前位置的响应，第j个位置信息表示全局响应。全局注意力机制详见文献“A.Vaswani,et al.,“Attention is all you need,”Int.Conf.on Neural InformationProcess-ing Systems(NIPS),pp.6000–6010,2017.”。
定义13：下采样和下采样倍数
下采样指在原有图像像素的基础上在像素点之间采用合适的下采样算法保留局部元素，下采样倍数指在进行下采样操作后的图像尺寸与原有图像尺寸的比值，对于上采样来说，这个比值需小于1。下采样为上采样的逆过程，下采样在CNN中由池化层实现。下采样和下采样倍数详见网站“https://blog.csdn.net/xiaotiig/article/details/111256700”。
定义14：经典的Adam算法
经典的Adam算法是一种可以替代传统随机梯度下降过程的一阶优化算法，它能基于训练数据迭代地更新神经网络权重。Adam算法和传统的随机梯度下降不同。随机梯度下降保持单一的学习率更新所有的权重，学习率在训练过程中并不会改变。而Adam通过计算梯度的一阶矩估计和二阶矩估计而为不同的参数设计独立的自适应性学习率。详见文献“Kingma,D.；Ba,J.Adam:A Method for Stochastic Optimization.arXiv 2014,arXiv:1412.6980.”。
定义15：标准的检测网络测试方法
标准的检测网络测试方法指在测试集上对检测模型进行最终测试，得到检测模型在测试集上的检测结果。详见文献“C.Lu,and W.Li,“Ship Classification in High-Resolution SAR Images via Transfer Learning with Small Training Dataset,”Sensors,vol.19,no.1,pp.63,2018.”。
定义16：标准的评价指标计算方法
精确率Precision指在所有预测得到的正样本中，预测正确的数量。精确率Precision定义为
Figure BDA0003318221420000051
其中#表示数字，TP表示真正例，FP表示真负例；
召回率Recall指在所有的正样本中，预测正确的数量。召回率Recall定义为
Figure BDA0003318221420000052
其中#表示数字，TP表示真正例，FN表示假负例；
平均精度AP同时兼顾了检测模型的精确率Precision和召回率Recall。平均精度AP定义为
Figure BDA0003318221420000053
其中P(R)表示以Recall为自变量，Precision为因变量的函数；
以上参数数值的求法详见文献“李航.统计学习方法[M].北京:清华大学出版社,2012.”。
定义17：FPN
FPN，即特征金字塔网络(Feature pyramid network)，它是CVPR2017年的一篇文章所提出的算法。FPN在目标检测中融入了特征金字塔，可以同时利用低层特征高分辨率和高层特征的高语义信息，通过融合这些不同层的特征达到很好的预测效果。因此，FPN提高了目标检测的准确率，尤其体现在小物体的检测上。FPN详见文献“Lin,T.-Y.；Dollar,P.；Girshick,R.；He,K.；Hariharan,B.；et al.Feature pyramid networks for objectdetection.In Proceedings of the IEEE Conference on Computer Vision andPattern Recognition(CVPR),2017；pp.936-944.”。
本发明提供了一种基于路由聚合感知FPN的SAR船只检测方法，它包括以下步骤：
步骤1、准备数据集
对于定义1中提供的公知的SSDD数据集，采用随机的方法调整SSDD数据集中的SAR图像次序，得到新的SSDD数据集，记为SSDD_new；
按照8:2的比例将SSDD_new数据集划分为两部分，得到训练集和测试集，训练集记为Train_SSDD，测试集记为Test_SSDD；
步骤2、构建特征提取FPN
步骤2.1：第1层FPN特征提取
采用定义2中的经典的卷积神经网络方法建立特征提取FPN的输入层，得到由经典的卷积神经网络组成的特征提取FPN的第1层，记为f1，该层由定义7中经典的卷积层和定义8中经典的最大池化层组成，分别记为C1，M1，其中根据定义4中的卷积核原理，采用定义5中经典卷积核尺寸设置方法设置C1的卷积核尺寸为3×3×16，采用定义6中经典卷积核步长设置方法设置C1的卷积核步长为1，采用定义6中经典卷积核步长设置方法设置M1的卷积核步长为2；
采用定义3中的经典的CNN特征提取方法，对步骤1中得到的训练集Train_SSDD中的一幅SAR图像进行处理，得到第1层特征输出，记为A1；
步骤2.2：第2层FPN特征提取
采用定义2中的经典的卷积神经网络方法建立特征提取FPN的中间层，得到由经典的卷积神经网络组成的特征提取FPN的第2层，记为f2，该层由定义7中经典的卷积层和定义8中经典的最大池化层组成，分别记为C2，M2，其中根据定义4中的卷积核原理，采用定义5中经典卷积核尺寸设置方法设置C2的卷积核尺寸为3×3×32，采用定义6中经典卷积核步长设置方法设置C2的卷积核步长为1，采用定义6中经典卷积核步长设置方法设置M2的卷积核步长为2；
采用定义3中的经典的CNN特征提取方法，对步骤2.1中得到的第1层特征输出A1进行处理，得到第2层特征输出，记为A2；
步骤2.3：第3层FPN特征提取
采用定义2中的经典的卷积神经网络方法建立特征提取FPN的中间层，得到由经典的卷积神经网络组成的特征提取FPN的第3层，记为f3，该层由定义7中经典的卷积层和定义8中经典的最大池化层组成，分别记为C3，M3，其中根据定义4中的卷积核原理，采用定义5中经典卷积核尺寸设置方法设置C3的卷积核尺寸为3×3×64，采用定义6中经典卷积核步长设置方法设置C3的卷积核步长为1，采用定义6中经典卷积核步长设置方法设置M3的卷积核步长为2；
采用定义3中的经典的CNN特征提取方法，对步骤2.2中得到的第2层特征输出A2进行处理，得到第3层特征输出，记为A3；
步骤2.4：第4层FPN特征提取
采用定义2中的经典的卷积神经网络方法建立特征提取FPN的中间层，得到由经典的卷积神经网络组成的特征提取FPN的第4层，记为f4，该层由定义7中经典的卷积层和定义8中经典的最大池化层组成，分别记为C4，M4，其中根据定义4中的卷积核原理，采用定义5中经典卷积核尺寸设置方法设置C4的卷积核尺寸为3×3×128，采用定义6中经典卷积核步长设置方法设置C4的卷积核步长为1，采用定义6中经典卷积核步长设置方法设置M4的卷积核步长为2；
采用定义3中的经典的CNN特征提取方法，对步骤2.3中得到的第3层特征输出A3进行处理，得到第4层特征输出，记为A4；
最终，得到构建的特征提取FPN和所有层的特征输出，分别记为Backbone-FPN和As,s＝1,...,4。
步骤3、构建特征融合FPN
采用公式P1＝Conv1×1(A1)+UpSamping2×(A2)，计算得到特征融合FPN的第1层的融合特征输出，记为P1，其中Conv1×1(·)表示定义10中的1×1卷积运算符号，UpSamping2×(·)表示定义11中上采样倍数为2条件下的上采样运算符号，其中A1为特征提取FPN的第1层特征输出；
采用公式P2＝Conv1×1(A2)+UpSamping2×(A3)，计算得到特征融合FPN的第2层的融合特征输出，记为P2，其中Conv1×1(·)表示定义10中的1×1卷积运算符号，UpSamping2×(·)表示定义11中上采样倍数为2条件下的上采样运算符号，其中A2为特征提取FPN的第2层特征输出；
采用公式P3＝Conv1×1(A3)+UpSamping2×(A4)，计算得到特征融合FPN的第3层的融合特征输出，记为P3，其中Conv1×1(·)表示定义10中的1×1卷积运算符号，UpSamping2×(·)表示定义11中上采样倍数为2条件下的上采样运算符号，其中A3为特征提取FPN的第3层特征输出；
采用公式P4＝Conv1×1(A4)，计算得到特征融合FPN的第4层的融合特征输出，记为P4，其中Conv1×1(·)表示定义10中的1×1卷积运算符号，其中A4为特征提取FPN的第4层特征输出；
由此得到构建的特征融合FPN和所有层的融合特征输出，分别记为FPN和Ps,s＝1,...,4；步骤4、构建路由聚合感知FPN
采用公式Q1＝Conv1×1(attention(P1))，计算得到路由聚合感知FPN的第1层的特征输出，记为Q1，其中Conv1×1(·)表示定义10中的1×1卷积运算符号，attention(·)表示定义12中的全局注意力运算符号，其中P1为特征融合FPN的第1层特征输出；
采用公式Q2＝Conv1×1(P2)+DownSamping2×(attention(Q1))，计算得到路由聚合感知FPN的第2层的特征输出，记为Q2，其中Conv1×1(·)表示定义10中的1×1卷积运算符号，attention(·)表示定义12中的全局注意力运算符号，DownSamping2×(·)表示定义13中下采样倍数为2条件下的下采样运算符号，其中P2为特征融合FPN的第2层特征输出，Q1为路由聚合感知FPN的第1层特征输出；
采用公式Q3＝Conv1×1(P3)+DownSamping2×(attention(Q2))，计算得到路由聚合感知FPN的第3层的特征输出，记为Q3，其中Conv1×1(·)表示定义10中的1×1卷积运算符号，attention(·)表示定义12中的全局注意力运算符号，DownSamping2×(·)表示定义13中下采样倍数为2条件下的下采样运算符号，其中P3为特征融合FPN的第3层特征输出，Q2为路由聚合感知FPN的第2层特征输出；
采用公式Q4＝Conv1×1(P4)+DownSamping2×(attention(Q3))，计算得到路由聚合感知FPN的第4层的特征输出，记为Q4，其中Conv1×1(·)表示定义10中的1×1卷积运算符号，attention(·)表示定义12中的全局注意力运算符号，DownSamping2×(·)表示定义13中下采样倍数为2条件下的下采样运算符号，其中P4为特征融合FPN的第4层特征输出，Q3为路由聚合感知FPN的第3层特征输出；
由此得到路由聚合感知FPN的所有层的最终特征输出，记为Qs,s＝1,...,4；
至此，完成了路由聚合感知FPN的构建；
步骤5、建立船只检测模型
将步骤1中得到的训练集Train_SSDD作为输入，在步骤4所完成的路由聚合感知FPN上采用定义14中的经典的Adam算法进行训练，训练完成后得到船只检测模型，记为PAA-FPN；
步骤6、测试船只检测模型
采用定义9的经典的图像重采样方法对步骤1中得到的测试集Test_SSDD进行图像采样，得到每个图像重新整形为512×512大小的新的测试集Test_SSDD_Reszie；
采用得到的测试集Test_SSDD_Resize，在步骤5中得到的船只检测模型PAA-FPN上采用定义15中的标准的检测网络测试方法进行测试，得到测试集在船只检测模型的测试结果，记为Result；
步骤7、评估船只检测模型
以步骤6中得到的船只检测模型的测试结果Result作为输入，采用定义16中的标准的评价指标计算方法，求出平均精度，召回率和精确率，分别记为AP,Recall和Precision；
至此，整个方法结束。
本发明的创新点在于在原始FPN基础上建立了一个自下而上的分支，引入了注意力模型，实现了船只检测中船只高层语义信息和底层空间信息的充分提取，使得本发明中的船只检测模型具有更优越的检测精度。在公知的SAR船只数据集(即SSDD数据集)上的实验结果表明，与现有技术中定义17中的FPN相比较，本发明可将SAR船只检测精度提高约3％。
本发明的优点在于实现了船只检测中船只语高层语义信息和底层空间信息的充分提取，能够提供SAR图像中船只目标检测的方法，用来解决现有小型船只目标检测精度不足的问题。
附图说明
图1为本发明中的SAR图像中船只目标检测方法的流程示意图。
图2为本发明中的SAR图像中船只目标检测方法的平均精度，召回率和精确率。
具体实施方式
下面结合附图1对本发明作进一步详细描述。
步骤1、准备数据集
由图1所示，对于定义1中提供的公知的SSDD数据集，采用随机的方法调整SSDD数据集中的SAR图像次序，得到新的SSDD数据集，记为SSDD_new；
按照8:2的比例将SSDD_new数据集划分为两部分，得到训练集和测试集，训练集记为Train_SSDD，测试集记为Test_SSDD；
步骤2、构建特征提取FPN
步骤2.1：第1层FPN特征提取
由图1所示，采用定义2中的经典的卷积神经网络方法建立特征提取FPN的输入层，得到由经典的卷积神经网络组成的特征提取FPN的第1层，记为f1，该层由定义7中经典的卷积层和定义8中经典的最大池化层组成，分别记为C1，M1，其中根据定义4中的卷积核原理，采用定义5中经典卷积核尺寸设置方法设置C1的卷积核尺寸为3×3×16，采用定义6中经典卷积核步长设置方法设置C1的卷积核步长为1，采用定义6中经典卷积核步长设置方法设置M1的卷积核步长为2；
采用定义3中的经典的CNN特征提取方法，对步骤1中得到的训练集Train_SSDD中的一幅SAR图像进行处理，得到第1层特征输出，记为A1；
步骤2.2：第2层FPN特征提取
由图1所示，采用定义2中的经典的卷积神经网络方法建立特征提取FPN的中间层，得到由经典的卷积神经网络组成的特征提取FPN的第2层，记为f2，该层由定义7中经典的卷积层和定义8中经典的最大池化层组成，分别记为C2，M2，其中根据定义4中的卷积核原理，采用定义5中经典卷积核尺寸设置方法设置C2的卷积核尺寸为3×3×32，采用定义6中经典卷积核步长设置方法设置C2的卷积核步长为1，采用定义6中经典卷积核步长设置方法设置M2的卷积核步长为2；
采用定义3中的经典的CNN特征提取方法，对步骤2.1中得到的第1层特征输出A1进行处理，得到第2层特征输出，记为A2；
步骤2.3：第3层FPN特征提取
由图1所示，采用定义2中的经典的卷积神经网络方法建立特征提取FPN的中间层，得到由经典的卷积神经网络组成的特征提取FPN的第3层，记为f3，该层由定义7中经典的卷积层和定义8中经典的最大池化层组成，分别记为C3，M3，其中根据定义4中的卷积核原理，采用定义5中经典卷积核尺寸设置方法设置C3的卷积核尺寸为3×3×64，采用定义6中经典卷积核步长设置方法设置C3的卷积核步长为1，采用定义6中经典卷积核步长设置方法设置M3的卷积核步长为2；
采用定义3中的经典的CNN特征提取方法，对步骤2.2中得到的第2层特征输出A2进行处理，得到第3层特征输出，记为A3；
步骤2.4：第4层FPN特征提取
由图1所示，采用定义2中的经典的卷积神经网络方法建立特征提取FPN的中间层，得到由经典的卷积神经网络组成的特征提取FPN的第4层，记为f4，该层由定义7中经典的卷积层和定义8中经典的最大池化层组成，分别记为C4，M4，其中根据定义4中的卷积核原理，采用定义5中经典卷积核尺寸设置方法设置C4的卷积核尺寸为3×3×128，采用定义6中经典卷积核步长设置方法设置C4的卷积核步长为1，采用定义6中经典卷积核步长设置方法设置M4的卷积核步长为2；
采用定义3中的经典的CNN特征提取方法，对步骤2.3中得到的第3层特征输出A3进行处理，得到第4层特征输出，记为A4；
最终，得到构建的特征提取FPN和所有层的特征输出，分别记为Backbone-FPN和As,s＝1,...,4；
步骤3、构建特征融合FPN
由图1所示，采用公式P1＝Conv1×1(A1)+UpSamping2×(A2)，计算得到特征融合FPN的第1层的融合特征输出，记为P1，其中Conv1×1(·)表示定义10中的1×1卷积运算符号，UpSamping2×(·)表示定义11中上采样倍数为2条件下的上采样运算符号，其中A1为特征提取FPN的第1层特征输出；
采用公式P2＝Conv1×1(A2)+UpSamping2×(A3)，计算得到特征融合FPN的第2层的融合特征输出，记为P2，其中Conv1×1(·)表示定义10中的1×1卷积运算符号，UpSamping2×(·)表示定义11中上采样倍数为2条件下的上采样运算符号，其中A2为特征提取FPN的第2层特征输出；
采用公式P3＝Conv1×1(A3)+UpSamping2×(A4)，计算得到特征融合FPN的第3层的融合特征输出，记为P3，其中Conv1×1(·)表示定义10中的1×1卷积运算符号，UpSamping2×(·)表示定义11中上采样倍数为2条件下的上采样运算符号，其中A3为特征提取FPN的第3层特征输出；
采用公式P4＝Conv1×1(A4)，计算得到特征融合FPN的第4层的融合特征输出，记为P4，其中Conv1×1(·)表示定义10中的1×1卷积运算符号，其中A4为特征提取FPN的第4层特征输出；
由此得到构建的特征融合FPN和所有层的融合特征输出，分别记为FPN和Ps,s＝1,...,4；步骤4、构建路由聚合感知FPN
由图1所示，采用公式Q1＝Conv1×1(attention(P1))，计算得到路由聚合感知FPN的第1层的特征输出，记为Q1，其中Conv1×1(·)表示定义10中的1×1卷积运算符号，attention(·)表示定义12中的全局注意力运算符号，其中P1为特征融合FPN的第1层特征输出；
采用公式Q2＝Conv1×1(P2)+DownSamping2×(attention(Q1))，计算得到路由聚合感知FPN的第2层的特征输出，记为Q2，其中Conv1×1(·)表示定义10中的1×1卷积运算符号，attention(·)表示定义12中的全局注意力运算符号，DownSamping2×(·)表示定义13中下采样倍数为2条件下的下采样运算符号，其中P2为特征融合FPN的第2层特征输出，Q1为路由聚合感知FPN的第1层特征输出；
采用公式Q3＝Conv1×1(P3)+DownSamping2×(attention(Q2))，计算得到路由聚合感知FPN的第3层的特征输出，记为Q3，其中Conv1×1(·)表示定义10中的1×1卷积运算符号，attention(·)表示定义12中的全局注意力运算符号，DownSamping2×(·)表示定义13中下采样倍数为2条件下的下采样运算符号，其中P3为特征融合FPN的第3层特征输出，Q2为路由聚合感知FPN的第2层特征输出；
采用公式Q4＝Conv1×1(P4)+DownSamping2×(attention(Q3))，计算得到路由聚合感知FPN的第4层的特征输出，记为Q4，其中Conv1×1(·)表示定义10中的1×1卷积运算符号，attention(·)表示定义12中的全局注意力运算符号，DownSamping2×(·)表示定义13中下采样倍数为2条件下的下采样运算符号，其中P4为特征融合FPN的第4层特征输出，Q3为路由聚合感知FPN的第3层特征输出；
由此得到路由聚合感知FPN的所有层的最终特征输出，记为Qs,s＝1,...,4；
至此，完成了路由聚合感知FPN的构建；
步骤5、建立船只检测模型
由图1所示，将步骤1中得到的训练集Train_SSDD作为输入，在步骤4所完成的路由聚合感知FPN上采用定义14中的经典的Adam算法进行训练，训练完成后得到船只检测模型，记为PAA-FPN；
步骤6、测试船只检测模型
由图1所示，采用定义9的经典的图像重采样方法对步骤1中得到的测试集Test_SSDD进行图像采样，得到每个图像重新整形为512×512大小的新的测试集Test_SSDD_Reszie；
采用得到的测试集Test_SSDD_Resize，在步骤5中得到的船只检测模型PAA-FPN上采用定义15中的标准的检测网络测试方法进行测试，得到测试集在船只检测模型的测试结果，记为Result；
步骤7、评估船只检测模型
由图1所示，以步骤6中得到的船只检测模型的测试结果Result作为输入，采用定义16中的标准的评价指标计算方法，求出平均精度，召回率和精确率，分别记为AP,Recall和Precision；
至此，整个方法结束。
如图2所示，在公知的SAR船只数据集(即SSDD数据集)上的实验结果表明，本发明实现了比现有技术中定义17中的FPN更高的平均精度，召回率和精确率，表明本发明能够实现高精度的SAR图像中船只目标检测。

Claims (1)

1.一种基于路由聚合感知FPN的SAR船只检测方法，其特征是它包括以下步骤：
步骤1、准备数据集
对于公知的SSDD数据集，采用随机的方法调整SSDD数据集中的SAR图像次序，得到新的SSDD数据集，记为SSDD_new；
按照8:2的比例将SSDD_new数据集划分为两部分，得到训练集和测试集，训练集记为Train_SSDD，测试集记为Test_SSDD；
步骤2、构建特征提取FPN
步骤2.1：第1层FPN特征提取
采用经典的卷积神经网络方法建立特征提取FPN的输入层，得到由经典的卷积神经网络组成的特征提取FPN的第1层，记为f1，该层由经典的卷积层和经典的最大池化层组成，分别记为C1，M1，其中根据卷积核原理，采用经典卷积核尺寸设置方法设置C1的卷积核尺寸为3×3×16，采用经典卷积核步长设置方法设置C1的卷积核步长为1，采用经典卷积核步长设置方法设置M1的卷积核步长为2；
采用经典的CNN特征提取方法，对步骤1中得到的训练集Train_SSDD中的一幅SAR图像进行处理，得到第1层特征输出，记为A1；
步骤2.2：第2层FPN特征提取
采用经典的卷积神经网络方法建立特征提取FPN的中间层，得到由经典的卷积神经网络组成的特征提取FPN的第2层，记为f2，该层由经典的卷积层和经典的最大池化层组成，分别记为C2，M2，其中根据卷积核原理，采用经典卷积核尺寸设置方法设置C2的卷积核尺寸为3×3×32，采用经典卷积核步长设置方法设置C2的卷积核步长为1，采用经典卷积核步长设置方法设置M2的卷积核步长为2；
采用经典的CNN特征提取方法，对步骤2.1中得到的第1层特征输出A1进行处理，得到第2层特征输出，记为A2；
步骤2.3：第3层FPN特征提取
采用经典的卷积神经网络方法建立特征提取FPN的中间层，得到由经典的卷积神经网络组成的特征提取FPN的第3层，记为f3，该层由经典的卷积层和经典的最大池化层组成，分别记为C3，M3，其中根据卷积核原理，采用经典卷积核尺寸设置方法设置C3的卷积核尺寸为3×3×64，采用经典卷积核步长设置方法设置C3的卷积核步长为1，采用经典卷积核步长设置方法设置M3的卷积核步长为2；
采用经典的CNN特征提取方法，对步骤2.2中得到的第2层特征输出A2进行处理，得到第3层特征输出，记为A3；
步骤2.4：第4层FPN特征提取
采用经典的卷积神经网络方法建立特征提取FPN的中间层，得到由经典的卷积神经网络组成的特征提取FPN的第4层，记为f4，该层由经典的卷积层和经典的最大池化层组成，分别记为C4，M4，其中根据卷积核原理，采用经典卷积核尺寸设置方法设置C4的卷积核尺寸为3×3×128，采用经典卷积核步长设置方法设置C4的卷积核步长为1，采用经典卷积核步长设置方法设置M4的卷积核步长为2；
采用经典的CNN特征提取方法，对步骤2.3中得到的第3层特征输出A3进行处理，得到第4层特征输出，记为A4；
最终，得到构建的特征提取FPN和所有层的特征输出，分别记为Backbone-FPN和As,s＝1,...,4；
步骤3、构建特征融合FPN
采用公式P1＝Conv1×1(A1)+UpSamping2×(A2)，计算得到特征融合FPN的第1层的融合特征输出，记为P1，其中Conv1×1(·)表示1×1卷积运算符号，UpSamping2×(·)表示上采样倍数为2条件下的上采样运算符号，其中A1为特征提取FPN的第1层特征输出；
采用公式P2＝Conv1×1(A2)+UpSamping2×(A3)，计算得到特征融合FPN的第2层的融合特征输出，记为P2，其中Conv1×1(·)表示1×1卷积运算符号，UpSamping2×(·)表示上采样倍数为2条件下的上采样运算符号，其中A2为特征提取FPN的第2层特征输出；
采用公式P3＝Conv1×1(A3)+UpSamping2×(A4)，计算得到特征融合FPN的第3层的融合特征输出，记为P3，其中Conv1×1(·)表示1×1卷积运算符号，UpSamping2×(·)表示上采样倍数为2条件下的上采样运算符号，其中A3为特征提取FPN的第3层特征输出；
采用公式P4＝Conv1×1(A4)，计算得到特征融合FPN的第4层的融合特征输出，记为P4，其中Conv1×1(·)表示1×1卷积运算符号，其中A4为特征提取FPN的第4层特征输出；
由此得到构建的特征融合FPN和所有层的融合特征输出，分别记为FPN和Ps,s＝1,...,4；
步骤4、构建路由聚合感知FPN
采用公式Q1＝Conv1×1(attention(P1))，计算得到路由聚合感知FPN的第1层的特征输出，记为Q1，其中Conv1×1(·)表示1×1卷积运算符号，attention(·)表示全局注意力运算符号，其中P1为特征融合FPN的第1层特征输出；
采用公式Q2＝Conv1×1(P2)+DownSamping2×(attention(Q1))，计算得到路由聚合感知FPN的第2层的特征输出，记为Q2，其中Conv1×1(·)表示1×1卷积运算符号，attention(·)表示全局注意力运算符号，DownSamping2×(·)表示下采样倍数为2条件下的下采样运算符号，其中P2为特征融合FPN的第2层特征输出，Q1为路由聚合感知FPN的第1层特征输出；
采用公式Q3＝Conv1×1(P3)+DownSamping2×(attention(Q2))，计算得到路由聚合感知FPN的第3层的特征输出，记为Q3，其中Conv1×1(·)表示1×1卷积运算符号，attention(·)表示全局注意力运算符号，DownSamping2×(·)表示下采样倍数为2条件下的下采样运算符号，其中P3为特征融合FPN的第3层特征输出，Q2为路由聚合感知FPN的第2层特征输出；
采用公式Q4＝Conv1×1(P4)+DownSamping2×(attention(Q3))，计算得到路由聚合感知FPN的第4层的特征输出，记为Q4，其中Conv1×1(·)表示1×1卷积运算符号，attention(·)表示全局注意力运算符号，DownSamping2×(·)表示下采样倍数为2条件下的下采样运算符号，其中P4为特征融合FPN的第4层特征输出，Q3为路由聚合感知FPN的第3层特征输出；
由此得到路由聚合感知FPN的所有层的最终特征输出，记为Qs,s＝1,...,4；
至此，完成了路由聚合感知FPN的构建；
步骤5、建立船只检测模型
将步骤1中得到的训练集Train_SSDD作为输入，在步骤4所完成的路由聚合感知FPN上采用经典的Adam算法进行训练，训练完成后得到船只检测模型，记为PAA-FPN；
步骤6、测试船只检测模型
采用经典的图像重采样方法对步骤1中得到的测试集Test_SSDD进行图像采样，得到每个图像重新整形为512×512大小的新的测试集Test_SSDD_Reszie；
采用得到的测试集Test_SSDD_Resize，在步骤5中得到的船只检测模型PAA-FPN上采用标准的检测网络测试方法进行测试，得到测试集在船只检测模型的测试结果，记为Result；
步骤7、评估船只检测模型
以步骤6中得到的船只检测模型的测试结果Result作为输入，采用标准的评价指标计算方法，求出平均精度，召回率和精确率，分别记为AP,Recall和Precision；
至此，整个方法结束。
CN202111238191.1A 2021-10-25 2021-10-25 一种基于路由聚合感知fpn的sar船只检测方法 Active CN113989665B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111238191.1A CN113989665B (zh) 2021-10-25 2021-10-25 一种基于路由聚合感知fpn的sar船只检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111238191.1A CN113989665B (zh) 2021-10-25 2021-10-25 一种基于路由聚合感知fpn的sar船只检测方法

Publications (2)

Publication Number Publication Date
CN113989665A CN113989665A (zh) 2022-01-28
CN113989665B true CN113989665B (zh) 2023-04-07

Family

ID=79740761

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111238191.1A Active CN113989665B (zh) 2021-10-25 2021-10-25 一种基于路由聚合感知fpn的sar船只检测方法

Country Status (1)

Country Link
CN (1) CN113989665B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110084210A (zh) * 2019-04-30 2019-08-02 电子科技大学 基于注意力金字塔网络的sar图像多尺度舰船检测方法
CN110826428A (zh) * 2019-10-22 2020-02-21 电子科技大学 一种高速的sar图像中船只检测方法
CN111368671A (zh) * 2020-02-26 2020-07-03 电子科技大学 基于深度学习的sar图像舰船目标检测识别一体化方法
CN112285712A (zh) * 2020-10-15 2021-01-29 电子科技大学 一种提高sar图像中靠岸船只检测精度的方法
CN112507777A (zh) * 2020-10-10 2021-03-16 厦门大学 一种基于深度学习的光学遥感图像舰船检测与分割方法
CN113344045A (zh) * 2021-05-21 2021-09-03 电子科技大学 一种结合hog特征提高sar船只分类精度的方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110472483B (zh) * 2019-07-02 2022-11-15 五邑大学 一种面向sar图像的小样本语义特征增强的方法及装置

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110084210A (zh) * 2019-04-30 2019-08-02 电子科技大学 基于注意力金字塔网络的sar图像多尺度舰船检测方法
CN110826428A (zh) * 2019-10-22 2020-02-21 电子科技大学 一种高速的sar图像中船只检测方法
CN111368671A (zh) * 2020-02-26 2020-07-03 电子科技大学 基于深度学习的sar图像舰船目标检测识别一体化方法
CN112507777A (zh) * 2020-10-10 2021-03-16 厦门大学 一种基于深度学习的光学遥感图像舰船检测与分割方法
CN112285712A (zh) * 2020-10-15 2021-01-29 电子科技大学 一种提高sar图像中靠岸船只检测精度的方法
CN113344045A (zh) * 2021-05-21 2021-09-03 电子科技大学 一种结合hog特征提高sar船只分类精度的方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
cheng G等.multi-class geospatial object detection and geographic image classification based on collection of part detectors.ISPRS journal of photogrammetry and remote sensing.2014,119-132. *
于野 ; 艾华 ; 贺小军 ; 于树海 ; 钟兴 ; 朱瑞飞 ; .A-FPN算法及其在遥感图像船舶检测中的应用.遥感学报.2020,第24卷(第02期),107-115. *

Also Published As

Publication number Publication date
CN113989665A (zh) 2022-01-28

Similar Documents

Publication Publication Date Title
CN110135267B (zh) 一种大场景sar图像细微目标检测方法
CN112488210A (zh) 一种基于图卷积神经网络的三维点云自动分类方法
Jiang et al. A semisupervised Siamese network for efficient change detection in heterogeneous remote sensing images
CN111797717A (zh) 一种高速高精度的sar图像船只检测方法
CN110826428A (zh) 一种高速的sar图像中船只检测方法
CN113705331B (zh) 一种基于四元特征金字塔网络的sar船只检测方法
CN111310666A (zh) 一种基于纹理特征的高分辨率影像地物识别与分割方法
CN112285712A (zh) 一种提高sar图像中靠岸船只检测精度的方法
CN110991257B (zh) 基于特征融合与svm的极化sar溢油检测方法
CN114565860B (zh) 一种多维度增强学习合成孔径雷达图像目标检测方法
CN113344045B (zh) 一种结合hog特征提高sar船只分类精度的方法
Chen et al. Geospatial transformer is what you need for aircraft detection in SAR Imagery
US20220277581A1 (en) Hand pose estimation method, device and storage medium
CN114594461A (zh) 基于注意力感知与缩放因子剪枝的声呐目标检测方法
CN115482518A (zh) 一种面向交通场景的可扩展多任务视觉感知方法
CN115393690A (zh) 一种轻量化神经网络的空对地观测多目标识别方法
CN116563682A (zh) 一种基于深度霍夫网络的注意力方案和条带卷积语义线检测的方法
CN115049945A (zh) 一种基于无人机图像的小麦倒伏面积提取方法和装置
CN115497002A (zh) 一种多尺度特征融合的激光雷达遥感分类方法
Jiang et al. Semantic segmentation network combined with edge detection for building extraction in remote sensing images
CN113989665B (zh) 一种基于路由聚合感知fpn的sar船只检测方法
CN114022779B (zh) 一种基于比例尺网络的sar船只检测方法
CN114022778B (zh) 一种基于显著性cnn的sar靠岸船只检测方法
CN114511504B (zh) 一种视频sar动目标阴影检测方法
CN114332151B (zh) 一种基于阴影Video-SAR中感兴趣目标跟踪方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant