CN113705331B - 一种基于四元特征金字塔网络的sar船只检测方法 - Google Patents
一种基于四元特征金字塔网络的sar船只检测方法 Download PDFInfo
- Publication number
- CN113705331B CN113705331B CN202110775256.XA CN202110775256A CN113705331B CN 113705331 B CN113705331 B CN 113705331B CN 202110775256 A CN202110775256 A CN 202110775256A CN 113705331 B CN113705331 B CN 113705331B
- Authority
- CN
- China
- Prior art keywords
- fpn
- layer
- convolution
- classical
- feature
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 97
- 238000000034 method Methods 0.000 claims abstract description 107
- 238000012360 testing method Methods 0.000 claims abstract description 40
- 230000006798 recombination Effects 0.000 claims abstract description 36
- 238000005215 recombination Methods 0.000 claims abstract description 36
- 230000008447 perception Effects 0.000 claims abstract description 7
- 230000002776 aggregation Effects 0.000 claims abstract description 5
- 238000004220 aggregation Methods 0.000 claims abstract description 5
- 238000011176 pooling Methods 0.000 claims description 69
- 238000013527 convolutional neural network Methods 0.000 claims description 45
- 238000000605 extraction Methods 0.000 claims description 40
- 238000007493 shaping process Methods 0.000 claims description 24
- 238000012549 training Methods 0.000 claims description 23
- 238000013528 artificial neural network Methods 0.000 claims description 22
- 238000004422 calculation algorithm Methods 0.000 claims description 21
- 230000006870 function Effects 0.000 claims description 20
- 238000012545 processing Methods 0.000 claims description 20
- 238000004364 calculation method Methods 0.000 claims description 13
- 230000004927 fusion Effects 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 10
- 238000012952 Resampling Methods 0.000 claims description 9
- 230000007246 mechanism Effects 0.000 claims description 9
- 230000008569 process Effects 0.000 claims description 9
- 230000003321 amplification Effects 0.000 claims description 8
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 8
- 238000007500 overflow downdraw method Methods 0.000 claims description 8
- 238000005070 sampling Methods 0.000 claims description 8
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 7
- 230000004913 activation Effects 0.000 claims description 6
- 230000008521 reorganization Effects 0.000 claims description 6
- 238000010276 construction Methods 0.000 claims description 4
- 238000011156 evaluation Methods 0.000 claims description 4
- 238000009825 accumulation Methods 0.000 claims description 3
- 238000010998 test method Methods 0.000 claims description 2
- 238000005516 engineering process Methods 0.000 abstract description 6
- 239000010410 layer Substances 0.000 description 174
- 238000012935 Averaging Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 3
- 238000005457 optimization Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 238000001228 spectrum Methods 0.000 description 3
- 238000013461 design Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 230000018109 developmental process Effects 0.000 description 2
- 230000001537 neural effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 101100136092 Drosophila melanogaster peng gene Proteins 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000001174 ascending effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000004438 eyesight Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 239000012467 final product Substances 0.000 description 1
- 238000013100 final test Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 239000011229 interlayer Substances 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 238000004513 sizing Methods 0.000 description 1
- 238000007655 standard test method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000013526 transfer learning Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
- G06F18/253—Fusion techniques of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Bioinformatics & Computational Biology (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Computational Linguistics (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于四元特征金字塔网络的SAR船只检测方法，用来解决现有检测技术精度不足的问题。它主要包括准备数据集，基于变形卷积构建变形卷积FPN，基于内容感知重组特征构建特征重组FPN，基于路由聚合空间感知构建空间注意力FPN，基于平衡尺度全局注意力构建平衡尺度FPN，建立船只检测模型，测试船只检测模型和评估船只检测模型八个部分。该方法基于原始的FPN，构建了变形卷积FPN，特征重组FPN，空间注意力FPN和平衡尺度FPN，从而优化网络结构以提高准确性。在公知的SAR船只数据集(即SSDD数据集)上的实验结果表明，与其他12个先进的SAR船只检测器相比，本发明实现了最先进的SAR船只检测精度。
Description
技术领域
本发明属于合成孔径雷达(Synthetic Aperture Radar,SAR)图像解译技术领域，涉及一种基于四元特征金字塔网络的SAR船只检测方法。
背景技术
合成孔径雷达(SAR)是一种能够全天时、全天候工作的主动式遥感技术。与光学传感器相比，SAR可以穿透云雾，在恶劣的气象条件下也可以完成观测任务。SAR已成为当今对地观测的重要手段，在地形图像生成、目标探测与侦察、国土资源勘查和自然灾害监测等国民经济得到越来越广泛的应用。特别地，SAR在海洋领域也有广泛地应用，例如海洋交通管理，海洋渔业管理，海洋环境保护，海洋灾难救援等。详见文献“张庆君,韩晓磊,刘杰.星载合成孔径雷达遥感技术进展及发展趋势[J].航天器工程,2017,26(06):1-8.”。
随着SAR成像分辨率的不断提高，SAR图像船只目标检测技术成为了研究的热点。特别的，在民用方面，SAR图像船只检测技术可以检测搜索遭遇危险的船只并展开搜救；在军用方面，SAR图像船只检测技术可以监视海面从而维护国家安全。详见文献“王智勇,窦浩,田金文.SAR图像船只目标快速检测方法研究[J].船只电子工程,2016,36(09):27-30+88.”。
目前现有的SAR图像中船只检测技术已经从不同的角度实现了良好的船只检测结果，并且具有较高的检测精度。然而，由于复杂的背景干扰(如港口设施、海杂波、易变的海洋状态等)，多尺度船只特征的差异，小型船只的特征模糊，SAR船只检测仍然是一个具有挑战性的问题。
因此，为解决上述问题，本发明提出了一种基于四元特征金字塔网络的SAR船只检测方法。该方法提出了四种特征金字塔网络(FPN)——变形卷积FPN，特征重组FPN，空间注意力FPN，平衡尺度FPN，保证了卓越的SAR图像中船只检测精度。
发明内容
本发明属于合成孔径雷达(SAR)图像解译技术领域，公开了一种基于四元特征金字塔网络的SAR船只检测方法，用来解决现有检测技术精度不足的问题。该方法主要包括准备数据集，基于变形卷积构建变形卷积FPN，基于内容感知重组特征构建特征重组FPN，基于路由聚合空间感知构建空间注意力FPN，基于平衡尺度全局注意力构建平衡尺度FPN，建立船只检测模型，测试船只检测模型和评估船只检测模型八个部分。该方法基于原始的FPN，构建了变形卷积FPN，特征重组FPN，空间注意力FPN和平衡尺度FPN，从而优化网络结构以提高准确性。在公知的SAR船只数据集(即SSDD数据集)上的实验结果表明，与其他12个先进的SAR船只检测器相比，本发明实现了最先进的SAR船只检测精度。
为了方便描述本发明的内容，首先作以下术语定义：
定义1：SSDD数据集
SSDD数据集是指SAR船只检测数据集，英文全称为SAR Ship Detection Dataset，其可以用于训练深度学习模型，用于研究人员在这个统一的数据集去评价他们算法的性能。在SSDD数据集中，一共有1160幅图像和2456艘船只平均每幅图像有2.12艘船。后续根据任务需要会增加样本个数，扩充数据集。相比于有9000多幅图像、20类目标的PASCAL VOC数据集，SSDD足够大到可以对船只这一类目标进行训练检测器。SSDD数据集可从参考文献“李健伟,曲长文,彭书娟,邓兵.基于卷积神经网络的SAR图像舰船目标检测[J].系统工程与电子技术,2018,40(09):1953-1959.”中获得。
定义2：经典的卷积神经网络方法
经典的卷积神经网络(CNN)指一类包含卷积计算且具有深度结构的前馈神经网络。卷积神经网络仿造生物的视知觉机制构建，可以进行监督学习和非监督学习，其隐含层内的卷积核参数共享和层间连接的稀疏性使得卷积神经网络能够以较小的计算量进行特征提取。近年来，卷积神经网络在计算机视觉、自然语言处理、语音识别等领域取得了突飞猛进的发展，其强大的特征学习能力引起了国内外专家学者广泛的关注。经典的卷积神经网络方法详见文献“张索非,冯烨,吴晓富.基于深度卷积神经网络的目标检测算法进展[J/OL].南京邮电大学学报(自然科学版),2019(05):1-9.https://doi.org/10.14132/j.cnki.1673-5439.2019.05.010.”。
定义3：经典的CNN特征提取方法
经典的CNN特征提取，即通过CNN对原始输入图像进行特征提取。总而言之，原始输入图像经过不同特征的卷积操作变成了一系列的特征图。在CNN中，卷积层中卷积核在图像上不断滑动运算。同时，最大池化层负责在内积结果上取每一局部块的最大值。因此，CNN通过卷积层和最大池化层实现了图片特征提取方法。经典CNN特征提取详见网站“https://blog.csdn.net/qq_30815237/article/details/86703620”。
定义4：变形卷积
在变形卷积中，标准卷积核增强了偏移Δpn，并在训练中自适应地学习来建模目标的形状特征，计算公式为其中，/>表示在pn∈R条件下的求和运算符号，p0表示初始位置，pn表示第n个像素位置，R表示卷积区域，w(pn)表示pn对应的权重参数，Δpn表示在第n个像素位置上学习到的偏移，y(p0)表示最终输出。变形卷积详见文献“Dai,J.；Qi,H.；Xiong,Y.；Li,Y.；Zhang,G.；Hu,H.；Wei,Y.DeformableConvolutional Networks.In Proceedings of the IEEE International Conference onComputer Vision(ICCV),2017；pp.764–773.”。
定义5：卷积核
卷积核就是图像处理时，给定输入图像，输入图像中一个小区域中像素加权平均后成为输出图像中的每个对应像素，其中权值由一个函数定义，这个函数称为卷积核。卷积核的作用在于特征的抽取，越是大的卷积核尺寸就意味着更大的感受野，当然随之而来的是更多的参数。早在1998年，LeCun发布的LetNet-5模型中就会出，图像空域内具有局部相关性，卷积的过程是对局部相关性的一种抽取。卷积核设置方法详见文献“Lecun Y,BottouL,Bengio Y,et al.Gradient-based learning applied to document recognition[J].Proceedings of the IEEE,1998,86(11):2278-2324.”。
定义6：经典的卷积核尺寸设置方法
卷积核尺寸就是指卷积核的长度，宽度，深度，记为L×W×D，其中L代表长度，W代表宽度，D代表深度。设置卷积核的尺寸就是指确定L，W，D的具体数值。一般地，在达到相同感受野的情况下，卷积核越小，所需要的参数和计算量越小。具体来说，卷积核的长度和宽度必须大于1才有提升感受野的作用，而大小为偶数的卷积核即使对称地加补零操作也不能保证输入特征谱尺寸和输出特征谱尺寸不变，一般都用3作为卷积核大小。卷积核尺寸设置方法详见文献“Lecun Y,Bottou L,Bengio Y,et al.Gradient-based learningapplied to document recognition[J].Proceedings of the IEEE,1998,86(11):2278-2324.”。
定义7：经典的卷积核步长设置方法
卷积核步长就是指每次移动卷积核的长度，记为S。设置卷积核的步长就是指确定S的具体数值。一般地，步长越大，提取特征越少；反之，提取特征越多。一般卷积层都用1作为卷积核步长，最大池化层都用2作为卷积核步长。经典的卷积核步长设置方法详见文献“Lecun Y,Bottou L,Bengio Y,et al.Gradient-based learning applied to documentrecognition[J].Proceedings of the IEEE,1998,86(11):2278-2324.”。
定义8：经典的卷积层
卷积层由若干卷积单元组成，每个卷积单元的参数都是通过反向传播算法最佳化得到的。卷积运算的目的是提取输入的不同特征，第一层卷积层可能只能提取一些低级的特征如边缘、线条和角等层级，更多层的网络能从低级特征中迭代提取更复杂的特征。经典的卷积层详见网站“https://www.zhihu.com/question/49376084”。
定义9：经典的最大池化层
最大池化层用于提取前一层网络区域内所有神经元的最大值，目的是为了在反向传播中，需要把梯度值传到对应最大值所在的位置。最大池化层能减小卷积层参数误差造成估计均值的偏移，更多的保留纹理信息。经典的最大池化层详见文献“Lin M,Chen Q,YanS.Network in network[J].arXiv preprint arXiv:1312.4400,2013.”。
定义10：经典的图像重采样方法
经典的图像重采样指在对采样后形成的由离散数据组成的数字图像按所需的像元位置或像元间距重新采样，以构成几何变换后的新图像。重采样过程本质上是图像恢复过程，它用输入的离散数字图像重建代表原始图像二维连续函数，再按新的像元间距和像元位置进行采样。其数学过程是根据重建的连续函数(曲面)，用周围二像元点的值估计或内插出新采样点的值，相当于用采样函数与输入图像作二维卷积运算。经典的图像重采样方法详见文献“李心爱.图像滤波检测和重采样检测方法研究[D].西安理工大学,2017.”。
定义11：经典的1×1卷积方法
1×1卷积，即特征通过长度，宽度均为1卷积核的处理。1×1卷积方法主要用于调节通道数，对不同的通道上的像素点进行线性组合，然后进行非线性化操作，可以完成升维和降维的功能。经典的1×1卷积方法详见网站“https://zhuanlan.zhihu.com/p/37910136”。
定义12：特征放大
特征放大，即特征升维操作。输入特征经过特征放大操作，实现了跨通道的信息组合，得到了通道数增加的输出特征。本发明通过1×1卷积方法实现特征放大操作。在本发明中，特征放大是将L×L×C维度特征空间通过线性变换映射到L×L×(8×C)维度特征空间。特征放大详见网站“https://zhuanlan.zhihu.com/p/37910136”。
定义13：内容编码
内容编码，即特征降维操作。输入特征经过特征降维操作，实现了跨通道的信息组合，得到了通道数减少的输出特征。内容编码减少了冗余的参数，使得新特征图的特征表达更佳。本发明通过1×1卷积方法实现内容编码操作。在本发明中，内容编码是将L×L×(8×C)维度特征空间通过线性变换映射到L×L×(22×5×5)维度特征空间。内容编码操作详见网站“https://zhuanlan.zhihu.com/p/37910136”。
定义14：像素重组
像素重组，即单像超分辨率的重构。在基于深层神经网络的常见模型中，低分辨率(LR)输入图像在重建之前使用单个滤波器(通常是双三次插值)被放大到高分辨率(HR)空间，这种方法被证明是可优化的。因此，像素重组操作引入了一个有效的子像素卷积层，该层学习了一个升序滤波器阵列，将最终的LR特征图升级到HR输出。在本发明中，像素重组是将L×L×(22×5×5)维度特征空间通过线性变换映射到2L×2L×(5×5)维度特征空间。像素重组详见文献“W.Shi et al.,"Real-Time Single Image and Video Super-Resolution Using an Efficient Sub-Pixel Convolutional Neural Network,"2016IEEE Conference on Computer Vision and Pattern Recognition(CVPR),2016,pp.1874-1883,doi:10.1109/CVPR.2016.207.”。
定义15：softmax激活函数
softmax激活函数，旨在增加网络的非线性表达能力。softmax通过两步将多检测输出转换为概率：分子方面，通过指数函数，将实数输出映射到零到正无穷；分母方面，将所有结果相加，进行归一化。softmax就是按照这两步将在负无穷到正无穷上的预测结果转换为概率。在本发明中，softmax激活函数在CNN中由softmax层实现。softmax激活函数详见网站“https://blog.csdn.net/lz_peter/article/details/84574716”。
定义16：经典的特征融合方法
在深度学习中，特征融合指将浅层特征和深层特征向融合，也就是说将网络中的不同深度的层输出特征谱进行融合，可以实现较弱语义和较强语义的结合，能够提高船只检测精度。特征融合方法详见网站“https://blog.csdn.net/TTdreamloong/article/details/79798817”。
定义17：全局平均池化
全局平均池化指将特征图所有像素值相加求平均，得到一个数值，即用该数值表示对应特征图。全局平均池化可以替代全连接层。相对于全连接层，全局平均池化减少了参数数量，减少了计算量，缓解了过拟合现象。在本发明中，通过平均池化层实现全局平均池化。全局平均池化详见文献“Lin M,Chen Q,Yan S.Network in network[J].arXivpreprint arXiv:1312.4400,2013.”。
定义18：全局最大池化和池化步长
全局最大池化指对特征图像素值求最大，得到一个最大数值，而去忽略其他分数低的区域。池化步长指在进行全局最大池化操作后的图像尺寸与原有图像尺寸的比值，对于全局最大池化来说，这个比值需小于1。全局最大池化能减小卷积层参数误差造成估计均值的偏移，更多的保留纹理信息。在本发明中，通过最大池化层实现全局最大池化。全局最大池化和池化步长详见文献“Lin M,Chen Q,Yan S.Network in network[J].arXivpreprint arXiv:1312.4400,2013.”。
定义19：级联操作
级联操作，即concatenate操作，是网络结构设计中很重要的一种操作，经常用于将特征联合，多个卷积特征提取框架提取的特征融合或者是将输出层的信息进行融合。级联操作是通道数的合并，也就是说描述图像本身的特征增加了，而每一特征下的信息是没有增加。在本发明中实现的二维向量的级联操作，相当于拉长二维向量。级联操作详见网站“https://blog.csdn.net/u012193416/article/details/79479935”。
定义20：上采样和上采样倍数
上采样指在原有图像像素的基础上在像素点之间采用合适的插值算法插入新的元素，上采样倍数指在进行上采样操作后的图像尺寸与原有图像尺寸的比值，对于上采样来说，这个比值需大于1。上采样为池化的逆过程，上采样在CNN中由上采样层实现。上采样和上采样倍数详见网站“https://www.jianshu.com/p/587c3a45df67”。
定义21：经典的全局注意力机制方法
全局注意力机制模仿的是人类观察模式，旨在抑制某些无效信息的流动，从而使得重要信息得以保留。全局注意力机制可以描述为其中f(·)表示Ii和Ij之间的相似性运算符号，g(·)表示第j个位置的特征表示的运算符号，/>表示归一化系数运算符号，其中Ii表示第i个位置的输入，Oi表示第i个位置的输出。其中，第i个位置信息表示当前位置的响应，第j个位置信息表示全局响应。全局注意力机制详见文献“A.Vaswani,et al.,“Attention is all you need,”Int.Conf.on Neural InformationProcess-ing Systems(NIPS),pp.6000–6010,2017.”。
定义22：经典的Adam算法
经典的Adam算法是一种可以替代传统随机梯度下降过程的一阶优化算法，它能基于训练数据迭代地更新神经网络权重。Adam算法和传统的随机梯度下降不同。随机梯度下降保持单一的学习率更新所有的权重，学习率在训练过程中并不会改变。而Adam通过计算梯度的一阶矩估计和二阶矩估计而为不同的参数设计独立的自适应性学习率。详见文献“Kingma,D.；Ba,J.Adam:A Method for Stochastic Optimization.arXiv 2014,arXiv:1412.6980.”。
定义23：标准的检测网络测试方法
标准的检测网络测试方法指在测试集上对检测模型进行最终测试，得到检测模型在测试集上的检测结果。详见文献“C.Lu,and W.Li,“Ship Classification in High-Resolution SAR Images via Transfer Learning with Small Training Dataset,”Sensors,vol.19,no.1,pp.63,2018.”。
定义24：标准的评价指标计算方法
精确率P指在所有预测得到的正样本中，预测正确的数量。精确率P定义为其中#表示数字，TP表示真正例，FP表示真负例；
召回率R指在所有的正样本中，预测正确的数量。召回率R定义为其中#表示数字，TP表示真正例，FN表示假负例；
平均精度mAP同时兼顾了检测模型的精确率P和召回率R。平均精度mAP定义为其中P(R)表示以R为自变量，P为因变量的函数；
以上参数数值的求法详见文献“李航.统计学习方法[M].北京:清华大学出版社,2012.”。定义25：标准的检测时间计算方法
标准的检测时间指检测模型检测一张图像所需要的时间，单位为毫秒ms。在深度学习中，采用Python中的time函数库进行计时得到该标准的检测时间。标准的检测时间计算方法详见文献“李航.统计学习方法[M].北京:清华大学出版社,2012.”。
定义26：经典待学习的加权矩阵WO
待学习的加权矩阵WO，即矩阵参数在CNN训练中自学习得到。在深度学习中，该矩阵参数属于反向传播中需要被优化器更新的参数，称之为parameter(如权重等)。本发明中，加权矩阵WO通过调用Python中的torch.nn.Parameter函数和训练1×1卷积层实现，旨在让矩阵参数变量在学习的过程中不断的修改其值以达到最优化。经典待学习的加权矩阵WO详见网站“https://www.jianshu.com/p/d8b77cc02410”。
本发明提供了一种基于四元特征金字塔网络的SAR船只检测方法，它包括以下步骤：
步骤1、准备数据集
对于定义1中提供的公知的SSDD数据集，采用随机的方法调整SSDD数据集中的SAR图像次序，得到新的SSDD数据集，记为SSDD_new；
按照7:3的比例将SSDD_new数据集划分为两部分，得到训练集和测试集，训练集记为Train_SSDD，测试集记为Test_SSDD。
步骤2、基于变形卷积构建变形卷积FPN
步骤2.1：第1层FPN特征提取
采用定义2中的经典的卷积神经网络方法建立变形卷积FPN的输入层，得到由经典的卷积神经网络组成的变形卷积FPN的第1层，记为f1，该层由定义8中经典的卷积层和定义9中经典的最大池化层组成，分别记为C1，M1，其中根据定义4中的变形卷积原理，采用定义6中经典卷积核尺寸设置方法设置C1的变形卷积的卷积核尺寸为3×3×8，采用定义7中经典卷积核步长设置方法设置C1的变形卷积的卷积核步长为1，采用定义7中经典卷积核步长设置方法设置M1的卷积核步长为2；
采用定义3中的经典的CNN特征提取方法，对步骤1.2中得到的训练集Train_SSDD中的一幅SAR图像进行处理，得到第1层特征输出，记为A1；
步骤2.2：第2层FPN特征提取
采用定义2中的经典的卷积神经网络方法建立变形卷积FPN的中间层，得到由经典的卷积神经网络组成的变形卷积FPN的第2层，记为f2，该层由定义8中经典的卷积层和定义9中经典的最大池化层组成，分别记为C2，M2，其中根据定义4中的变形卷积原理，采用定义6中经典卷积核尺寸设置方法设置C2的变形卷积的卷积核尺寸为3×3×16，采用定义7中经典卷积核步长设置方法设置C2的变形卷积的卷积核步长为1，采用定义7中经典卷积核步长设置方法设置M2的卷积核步长为2；
采用定义3中的经典的CNN特征提取方法，对步骤2.1中得到的第1层特征输出A1进行处理，得到第2层特征输出，记为A2；
步骤2.3：第3层FPN特征提取
采用定义2中的经典的卷积神经网络方法建立变形卷积FPN的中间层，得到由经典的卷积神经网络组成的变形卷积FPN的第3层，记为f3，该层由定义8中经典的卷积层和定义9中经典的最大池化层组成，分别记为C3，M3，其中根据定义4中的变形卷积原理，采用定义6中卷积核尺寸设置方法设置C3的变形卷积的卷积核尺寸为3×3×32，采用定义7中经典卷积核步长设置方法设置C3的变形卷积的卷积核步长为1，采用定义7中经典卷积核步长设置方法设置M3的卷积核步长为2；
采用定义3中的经典的CNN特征提取方法，对步骤2.2中得到的第2层特征输出A2进行处理，得到第3层特征输出，记为A3；
步骤2.4：第4层FPN特征提取
采用定义2中的经典的卷积神经网络方法建立变形卷积FPN的中间层，得到由经典的卷积神经网络组成的变形卷积FPN的第4层，记为f4，该层由定义8中经典的卷积层和定义9中经典的最大池化层组成，分别记为C4，M4，其中根据定义4中的变形卷积原理，采用定义6中经典卷积核尺寸设置方法设置C4的变形卷积的卷积核尺寸为3×3×64，采用定义7中经典卷积核步长设置方法设置C4的变形卷积的卷积核步长为1，采用定义7中经典卷积核步长设置方法设置M4的卷积核步长为2；
采用定义3中的经典的CNN特征提取方法，对步骤2.3中得到的第3层特征输出A3进行处理，得到第4层特征输出，记为A4；
步骤2.5：第5层FPN特征提取
采用定义2中的经典的卷积神经网络方法建立变形卷积FPN的中间层，得到由经典的卷积神经网络组成的变形卷积FPN的第5层，记为f5，该层由定义8中经典的卷积层和定义9中经典的最大池化层组成，分别记为C5，M5，其中根据定义4中的变形卷积原理，采用定义6中经典卷积核尺寸设置方法设置C5的变形卷积的卷积核尺寸为3×3×128，采用定义7中经典卷积核步长设置方法设置C5的变形卷积的卷积核步长为1，采用定义7中经典卷积核步长设置方法设置M5的卷积核步长为2；
采用定义3中的经典的CNN特征提取方法，对步骤2.4中得到的第4层特征输出A4进行处理，得到第5层特征输出，记为A5；
最终，得到构建的变形卷积FPN和所有层的特征输出，分别记为DE-CO-FPN和As,s＝1,...,5。
步骤3、基于内容感知重组特征构建特征重组FPN
遍历步骤2得到的变形卷积FPN的所有层的特征输出As,s＝1,...,5，具体步骤是：
采用公式Ws＝softmax{shuffle[fencode(famplify(As))]}，计算得到特征重组FPN的第s层的核预测特征输出，记为Ws，其中famplify(·)表示定义12中的特征放大运算符号，fencode(·)表示定义13中的内容编码运算符号，shuffle[·]表示定义14中的像素重组运算符号，softmax{·}表示定义15中的softmax激活函数运算符号，其中As为步骤2得到的变形卷积FPN的第s层特征输出；
采用公式计算得到特征重组FPN的第s层的重组特征输出，记为/>其中φ(·,·)表示标准的卷积运算符号，其中N(As,5)为As中的5×5正方形像素域，Ws为特征重组FPN的第s层的核预测特征输出；
采用定义16经典的特征融合方法，对重组特征输出和步骤2中得到的特征输出As进行处理，得到特征重组FPN的第s层特征输出，记为Bs；
其中，初始计数s＝5，并且每次遍历后更新计数s＝s-1，直到s＝1后停止遍历，由此得到遍历后的特征重组FPN的所有层的输出特征，记为Bs,s＝1,...,5；
步骤4、基于路由聚合空间感知构建空间注意力FPN
遍历步骤3得到的特征重组FPN的所有层的特征输出Bs,s＝1,...,5，具体步骤是：
采用公式计算得到空间注意力FPN的第s层的空间注意力特征输出，记为Qs，其中GAP(·)表示定义17中的全局平均池化运算符号，GMP(·)表示定义18中的全局最大池化运算符号，其中/>表示定义19中的级联操作运算符号，fencode(·)表示定义13中的内容编码运算符号，softmax{·}表示定义15中的softmax激活函数运算符号，×表示乘法运算符号，其中Bs为步骤3得到的特征重组FPN的第s层特征输出；
采用定义16经典的特征融合方法，对空间注意力特征输出Qs和步骤3中得到的特征输出Bs进行处理，得到空间注意力FPN的第s层特征输出，记为Cs；
其中，初始计数s＝1，并且每次遍历后更新计数s＝s+1，直到s＝5后停止遍历，由此得到遍历后的空间注意力FPN的所有层的特征输出，记为Cs,s＝1,...,5；
步骤5、基于平衡尺度全局注意力构建平衡尺度FPN
步骤5.1：特征金字塔整形
采用公式H1＝MaxPool4×(C1)，计算得到平衡尺度FPN的第1层的整形特征输出，记为H1，其中MaxPool4×(·)表示定义18中池化步长为4条件下的全局最大池化运算符号，其中C1为空间注意力FPN的第1层特征输出；
采用公式H2＝MaxPool2×(C2)，计算得到平衡尺度FPN的第2层的整形特征输出，记为H2，其中MaxPool2×(·)表示定义18中池化步长为2条件下的全局最大池化运算符号，其中C2为空间注意力FPN的第2层特征输出；
采用公式H3＝C3，计算得到平衡尺度FPN的第3层的整形特征输出，记为H3，其中C3为空间注意力FPN的第3层特征输出；
采用公式，H4＝UpSamping2×(C4)计算得到平衡尺度FPN的第4层的整形特征输出，记为H4，其中UpSamping2×(·)表示定义20中上采样倍数为2条件下的上采样运算符号，其中C4为空间注意力FPN的第4层特征输出；
采用公式H5＝UpSamping4×(C5)，计算得到平衡尺度FPN的第5层的整形特征输出，记为H5，其中UpSamping4×(·)表示定义20中上采样倍数为4条件下的上采样运算符号，其中C5为空间注意力FPN的第5层特征输出；
由此得到平衡尺度FPN的所有层的整形特征输出，记为Hs,s＝1,...,5；
步骤5.2：平衡的多尺度特征融合
采用公式计算得到平衡的多尺度融合特征，记为H，其中/>表示累加运算符号，其中Hs为步骤5.1得到的第s层的整形特征输出；
步骤5.3：全局注意力细化
采用定义21的经典的全局注意力机制方法，对步骤5.2得到的多尺度融合特征H进行处理，得到的自我注意力输出，记为O；
采用公式I′＝WOO+H，计算得到全局注意力输出，记为I′，其中WO为定义26中的待学习的加权矩阵；
步骤5.4：特征金字塔还原
采用公式D1＝UpSamping4×(I′)，计算得到平衡尺度FPN的第1层的最终特征输出，记为D1，其中UpSamping4×(·)表示定义20中上采样倍数为4条件下的上采样运算符号，其中I′为步骤5.3得到的全局注意力输出；
采用公式D2＝UpSamping2×(I′)，计算得到平衡尺度FPN的第2层的最终特征输出，记为D2，其中UpSamping2×(·)表示定义20中上采样倍数为2条件下的上采样运算符号，其中I′为步骤5.3得到的全局注意力输出；
采用公式D3＝I′，计算得到平衡尺度FPN的第3层的最终特征输出，记为D3，其中I′为步骤5.3得到的全局注意力输出；
采用公式D4＝MaxPool2×(I′)，计算得到平衡尺度FPN的第4层的最终特征输出，记为D4，其中MaxPool2×(·)表示定义18中池化步长为2条件下的全局最大池化运算符号，其中I′为步骤5.3得到的全局注意力输出；
采用公式D5＝MaxPool4×(I′)，计算得到平衡尺度FPN的第5层的最终特征输出，记为D5，其中MaxPool4×(·)表示定义18中池化步长为4条件下的全局最大池化运算符号，其中I′为步骤5.3得到的全局注意力输出；
由此得到四元特征金字塔网络的所有层的最终特征输出，记为Ds,s＝1,...,5；
至此，完成了四元特征金字塔网络的构建。
步骤6、建立船只检测模型
将步骤1中得到的训练集Train_SSDD作为输入，在步骤5所完成的四元特征金字塔网络上采用定义22中的经典的Adam算法进行训练，训练完成后得到船只检测模型，记为Quad-FPN。
步骤7、测试船只检测模型
采用定义10的经典的图像重采样方法对步骤1中得到的测试集Test_SSDD进行图像采样，得到每个图像重新整形为128×128大小的新的测试集Test_SSDD_Reszie；
采用得到的测试集Test_SSDD_Resize，在步骤6中得到的船只检测模型Quad-FPN上采用定义23中的标准的检测网络测试方法进行测试，得到测试集在船只检测模型的测试结果，记为Result。
步骤8、评估船只检测模型
以步骤7中得到的船只检测模型的测试结果Result作为输入，采用定义24中的标准的评价指标计算方法，求出精确率，召回率和平均精度，分别记为P,R和mAP；
以步骤7中得到的船只检测模型的测试结果Result作为输入，采用定义25中的标准的检测时间计算方法求出标准的检测时间，记为T；
采用公式计算得到模型检测的帧率，记为FPS，其中T为标准的检测时间；
至此，整个方法结束。
本发明的创新点在于在原始FPN基础上引入了变形卷积，特征重组，空间注意力和平衡尺度的机制，实现了船只检测中船只语义信息和空间信息的充分提取，使得本发明中的船只检测模型具有更优越的检测精度。该方法在公知的SSDD数据集上达到的准确率是95.29％。
本发明的优点在于实现了船只检测中船只语义信息和空间信息的充分提取，能够提供SAR图像中船只目标检测的方法，用来解决现有船只目标检测精度不足的问题。
附图说明
图1为本发明中的提供SAR图像中船只目标检测方法的流程示意图。
图2为本发明中的SAR图像中船只目标检测方法同其他12个SAR船只检测器关于精确率，召回率，平均精度和帧率的数值比较表
具体实施方式
下面结合附图1对本发明作进一步详细描述。
步骤1、准备数据集
如图1所示，对于定义1中提供的公知的SSDD数据集，采用随机的方法调整SSDD数据集中的SAR图像次序，得到新的SSDD数据集，记为SSDD_new；
按照7:3的比例将SSDD_new数据集划分为两部分，得到训练集和测试集，训练集记为Train_SSDD，测试集记为Test_SSDD。
步骤2、基于变形卷积构建变形卷积FPN
步骤2.1：第1层FPN特征提取
如图1所示，采用定义2中的经典的卷积神经网络方法建立变形卷积FPN的输入层，得到由经典的卷积神经网络组成的变形卷积FPN的第1层，记为f1，该层由定义8中经典的卷积层和定义9中经典的最大池化层组成，分别记为C1，M1，其中根据定义4中的变形卷积原理，采用定义6中经典卷积核尺寸设置方法设置C1的变形卷积的卷积核尺寸为3×3×8，采用定义7中经典卷积核步长设置方法设置C1的变形卷积的卷积核步长为1，采用定义7中经典卷积核步长设置方法设置M1的卷积核步长为2；
采用定义3中的经典的CNN特征提取方法，对步骤1.2中得到的训练集Train_SSDD中的一幅SAR图像进行处理，得到第1层特征输出，记为A1；
步骤2.2：第2层FPN特征提取
如图1所示，采用定义2中的经典的卷积神经网络方法建立变形卷积FPN的中间层，得到由经典的卷积神经网络组成的变形卷积FPN的第2层，记为f2，该层由定义8中经典的卷积层和定义9中经典的最大池化层组成，分别记为C2，M2，其中根据定义4中的变形卷积原理，采用定义6中经典卷积核尺寸设置方法设置C2的变形卷积的卷积核尺寸为3×3×16，采用定义7中经典卷积核步长设置方法设置C2的变形卷积的卷积核步长为1，采用定义7中经典卷积核步长设置方法设置M2的卷积核步长为2；
采用定义3中的经典的CNN特征提取方法，对步骤2.1中得到的第1层特征输出A1进行处理，得到第2层特征输出，记为A2；
步骤2.3：第3层FPN特征提取
如图1所示，采用定义2中的经典的卷积神经网络方法建立变形卷积FPN的中间层，得到由经典的卷积神经网络组成的变形卷积FPN的第3层，记为f3，该层由定义8中经典的卷积层和定义9中经典的最大池化层组成，分别记为C3，M3，其中根据定义4中的变形卷积原理，采用定义6中卷积核尺寸设置方法设置C3的变形卷积的卷积核尺寸为3×3×32，采用定义7中经典卷积核步长设置方法设置C3的变形卷积的卷积核步长为1，采用定义7中经典卷积核步长设置方法设置M3的卷积核步长为2；
采用定义3中的经典的CNN特征提取方法，对步骤2.2中得到的第2层特征输出A2进行处理，得到第3层特征输出，记为A3；
步骤2.4：第4层FPN特征提取
如图1所示，采用定义2中的经典的卷积神经网络方法建立变形卷积FPN的中间层，得到由经典的卷积神经网络组成的变形卷积FPN的第4层，记为f4，该层由定义8中经典的卷积层和定义9中经典的最大池化层组成，分别记为C4，M4，其中根据定义4中的变形卷积原理，采用定义6中经典卷积核尺寸设置方法设置C4的变形卷积的卷积核尺寸为3×3×64，采用定义7中经典卷积核步长设置方法设置C4的变形卷积的卷积核步长为1，采用定义7中经典卷积核步长设置方法设置M4的卷积核步长为2；
采用定义3中的经典的CNN特征提取方法，对步骤2.3中得到的第3层特征输出A3进行处理，得到第4层特征输出，记为A4；
步骤2.5：第5层FPN特征提取
如图1所示，采用定义2中的经典的卷积神经网络方法建立变形卷积FPN的中间层，得到由经典的卷积神经网络组成的变形卷积FPN的第5层，记为f5，该层由定义8中经典的卷积层和定义9中经典的最大池化层组成，分别记为C5，M5，其中根据定义4中的变形卷积原理，采用定义6中经典卷积核尺寸设置方法设置C5的变形卷积的卷积核尺寸为3×3×128，采用定义7中经典卷积核步长设置方法设置C5的变形卷积的卷积核步长为1，采用定义7中经典卷积核步长设置方法设置M5的卷积核步长为2；
采用定义3中的经典的CNN特征提取方法，对步骤2.4中得到的第4层特征输出A4进行处理，得到第5层特征输出，记为A5；
最终，得到构建的变形卷积FPN和所有层的特征输出，分别记为DE-CO-FPN和As,s＝1,...,5。
步骤3、基于内容感知重组特征构建特征重组FPN
如图1所示，遍历步骤2得到的变形卷积FPN的所有层的特征输出As,s＝1,...,5，具体步骤是：
采用公式Ws＝softmax{shuffle[fencode(famplify(As))]}，计算得到特征重组FPN的第s层的核预测特征输出，记为Ws，其中famplify(·)表示定义12中的特征放大运算符号，fencode(·)表示定义13中的内容编码运算符号，shuffle[·]表示定义14中的像素重组运算符号，softmax{·}表示定义15中的softmax激活函数运算符号，其中As为步骤2得到的变形卷积FPN的第s层特征输出；
采用公式计算得到特征重组FPN的第s层的重组特征输出，记为/>其中φ(·,·)表示标准的卷积运算符号，其中N(As,5)为As中的5×5正方形像素域，Ws为特征重组FPN的第s层的核预测特征输出；
采用定义16经典的特征融合方法，对重组特征输出和步骤2中得到的特征输出As进行处理，得到特征重组FPN的第s层特征输出，记为Bs；
其中，初始计数s＝5，并且每次遍历后更新计数s＝s-1，直到s＝1后停止遍历，由此得到遍历后的特征重组FPN的所有层的输出特征，记为Bs,s＝1,...,5；
步骤4、基于路由聚合空间感知构建空间注意力FPN
如图1所示，遍历步骤3得到的特征重组FPN的所有层的特征输出Bs,s＝1,...,5，具体步骤是：
采用公式计算得到空间注意力FPN的第s层的空间注意力特征输出，记为Qs，其中GAP(·)表示定义17中的全局平均池化运算符号，GMP(·)表示定义18中的全局最大池化运算符号，其中/>表示定义19中的级联操作运算符号，fencode(·)表示定义13中的内容编码运算符号，softmax{·}表示定义15中的softmax激活函数运算符号，×表示乘法运算符号，其中Bs为步骤3得到的特征重组FPN的第s层特征输出；
采用定义16经典的特征融合方法，对空间注意力特征输出Qs和步骤3中得到的特征输出Bs进行处理，得到空间注意力FPN的第s层特征输出，记为Cs；
其中，初始计数s＝1，并且每次遍历后更新计数s＝s+1，直到s＝5后停止遍历，由此得到遍历后的空间注意力FPN的所有层的特征输出，记为Cs,s＝1,...,5；
步骤5、基于平衡尺度全局注意力构建平衡尺度FPN
步骤5.1：特征金字塔整形
如图1所示，采用公式H1＝MaxPool4×(C1)，计算得到平衡尺度FPN的第1层的整形特征输出，记为H1，其中MaxPool4×(·)表示定义18中池化步长为4条件下的全局最大池化运算符号，其中C1为空间注意力FPN的第1层特征输出；
采用公式H2＝MaxPool2×(C2)，计算得到平衡尺度FPN的第2层的整形特征输出，记为H2，其中MaxPool2×(·)表示定义18中池化步长为2条件下的全局最大池化运算符号，其中C2为空间注意力FPN的第2层特征输出；
采用公式H3＝C3，计算得到平衡尺度FPN的第3层的整形特征输出，记为H3，其中C3为空间注意力FPN的第3层特征输出；
采用公式，H4＝UpSamping2×(C4)计算得到平衡尺度FPN的第4层的整形特征输出，记为H4，其中UpSamping2×(·)表示定义20中上采样倍数为2条件下的上采样运算符号，其中C4为空间注意力FPN的第4层特征输出；
采用公式H5＝UpSamping4×(C5)，计算得到平衡尺度FPN的第5层的整形特征输出，记为H5，其中UpSamping4×(·)表示定义20中上采样倍数为4条件下的上采样运算符号，其中C5为空间注意力FPN的第5层特征输出；
由此得到平衡尺度FPN的所有层的整形特征输出，记为Hs,s＝1,...,5；
步骤5.2：平衡的多尺度特征融合
如图1所示，采用公式计算得到平衡的多尺度融合特征，记为H，其中表示累加运算符号，其中Hs为步骤5.1得到的第s层的整形特征输出；
步骤5.3：全局注意力细化
如图1所示，采用定义21的经典的全局注意力机制方法，对步骤5.2得到的多尺度融合特征H进行处理，得到的自我注意力输出，记为O；
采用公式I′＝WOO+H，计算得到全局注意力输出，记为I′，其中WO为定义26中的待学习的加权矩阵；
步骤5.4：特征金字塔还原
如图1所示，采用公式D1＝UpSamping4×(I′)，计算得到平衡尺度FPN的第1层的最终特征输出，记为D1，其中UpSamping4×(·)表示定义20中上采样倍数为4条件下的上采样运算符号，其中I′为步骤5.3得到的全局注意力输出；
采用公式D2＝UpSamping2×(I′)，计算得到平衡尺度FPN的第2层的最终特征输出，记为D2，其中UpSamping2×(·)表示定义20中上采样倍数为2条件下的上采样运算符号，其中I′为步骤5.3得到的全局注意力输出；
采用公式D3＝I′，计算得到平衡尺度FPN的第3层的最终特征输出，记为D3，其中I′为步骤5.3得到的全局注意力输出；
采用公式D4＝MaxPool2×(I′)，计算得到平衡尺度FPN的第4层的最终特征输出，记为D4，其中MaxPool2×(·)表示定义18中池化步长为2条件下的全局最大池化运算符号，其中I′为步骤5.3得到的全局注意力输出；
采用公式D5＝MaxPool4×(I′)，计算得到平衡尺度FPN的第5层的最终特征输出，记为D5，其中MaxPool4×(·)表示定义18中池化步长为4条件下的全局最大池化运算符号，其中I′为步骤5.3得到的全局注意力输出；
由此得到四元特征金字塔网络的所有层的最终特征输出，记为Ds,s＝1,...,5；
至此，完成了四元特征金字塔网络的构建。
步骤6、建立船只检测模型
如图1所示，将步骤1中得到的训练集Train_SSDD作为输入，在步骤5所完成的四元特征金字塔网络上采用定义22中的经典的Adam算法进行训练，训练完成后得到船只检测模型，记为Quad-FPN。
步骤7、测试船只检测模型
如图1所示，采用定义10的经典的图像重采样方法对步骤1中得到的测试集Test_SSDD进行图像采样，得到每个图像重新整形为128×128大小的新的测试集Test_SSDD_Reszie；
采用得到的测试集Test_SSDD_Resize，在步骤6中得到的船只检测模型Quad-FPN上采用定义23中的标准的检测网络测试方法进行测试，得到测试集在船只检测模型的测试结果，记为Result。
步骤8、评估船只检测模型
如图1所示，以步骤7中得到的船只检测模型的测试结果Result作为输入，采用定义24中的标准的评价指标计算方法，求出精确率，召回率和平均精度，分别记为P,R和mAP；
如图1所示，以步骤7中得到的船只检测模型的测试结果Result作为输入，采用定义25中的标准的检测时间计算方法求出标准的检测时间，记为T；
采用公式计算得到模型检测的帧率，记为FPS，其中T为标准的检测时间；
至此，整个方法结束。
如图2所示，本发明在公知的SSDD数据集上达到的准确率是95.29％。同时，本发明实现了若干现有技术中最高的检测精度，表明本发明能够实现高精度的SAR图像中船只目标检测。
Claims (1)
1.一种基于四元特征金字塔网络的SAR船只检测方法，其特征是它包括以下步骤：
步骤1、准备数据集
对于公知的SSDD数据集，采用随机的方法调整SSDD数据集中的SAR图像次序，得到新的SSDD数据集，记为SSDD_new；
按照7:3的比例将SSDD_new数据集划分为两部分，得到训练集和测试集，训练集记为Train_SSDD，测试集记为Test_SSDD；
步骤2、基于变形卷积构建变形卷积FPN
步骤2.1：第1层FPN特征提取
采用经典的卷积神经网络方法建立变形卷积FPN的输入层，得到由经典的卷积神经网络组成的变形卷积FPN的第1层，记为f1，该层由经典的卷积层和经典的最大池化层组成，分别记为C1，M1，其中根据变形卷积原理，采用经典卷积核尺寸设置方法设置C1的变形卷积的卷积核尺寸为3×3×8，采用经典卷积核步长设置方法设置C1的变形卷积的卷积核步长为1，采用经典卷积核步长设置方法设置M1的卷积核步长为2；
采用经典的CNN特征提取方法，对步骤1.2中得到的训练集Train_SSDD中的一幅SAR图像进行处理，得到第1层特征输出，记为A1；
步骤2.2：第2层FPN特征提取
采用经典的卷积神经网络方法建立变形卷积FPN的中间层，得到由经典的卷积神经网络组成的变形卷积FPN的第2层，记为f2，该层由经典的卷积层和经典的最大池化层组成，分别记为C2，M2，其中根据变形卷积原理，采用经典卷积核尺寸设置方法设置C2的变形卷积的卷积核尺寸为3×3×16，采用经典卷积核步长设置方法设置C2的变形卷积的卷积核步长为1，采用经典卷积核步长设置方法设置M2的卷积核步长为2；
采用经典的CNN特征提取方法，对步骤2.1中得到的第1层特征输出A1进行处理，得到第2层特征输出，记为A2；
步骤2.3：第3层FPN特征提取
采用经典的卷积神经网络方法建立变形卷积FPN的中间层，得到由经典的卷积神经网络组成的变形卷积FPN的第3层，记为f3，该层由经典的卷积层和经典的最大池化层组成，分别记为C3，M3，其中根据变形卷积原理，采用卷积核尺寸设置方法设置C3的变形卷积的卷积核尺寸为3×3×32，采用经典卷积核步长设置方法设置C3的变形卷积的卷积核步长为1，采用经典卷积核步长设置方法设置M3的卷积核步长为2；
采用经典的CNN特征提取方法，对步骤2.2中得到的第2层特征输出A2进行处理，得到第3层特征输出，记为A3；
步骤2.4：第4层FPN特征提取
采用经典的卷积神经网络方法建立变形卷积FPN的中间层，得到由经典的卷积神经网络组成的变形卷积FPN的第4层，记为f4，该层由经典的卷积层和经典的最大池化层组成，分别记为C4，M4，其中根据变形卷积原理，采用经典卷积核尺寸设置方法设置C4的变形卷积的卷积核尺寸为3×3×64，采用经典卷积核步长设置方法设置C4的变形卷积的卷积核步长为1，采用经典卷积核步长设置方法设置M4的卷积核步长为2；
采用经典的CNN特征提取方法，对步骤2.3中得到的第3层特征输出A3进行处理，得到第4层特征输出，记为A4；
步骤2.5：第5层FPN特征提取
采用经典的卷积神经网络方法建立变形卷积FPN的中间层，得到由经典的卷积神经网络组成的变形卷积FPN的第5层，记为f5，该层由经典的卷积层和经典的最大池化层组成，分别记为C5，M5，其中根据变形卷积原理，采用经典卷积核尺寸设置方法设置C5的变形卷积的卷积核尺寸为3×3×128，采用经典卷积核步长设置方法设置C5的变形卷积的卷积核步长为1，采用经典卷积核步长设置方法设置M5的卷积核步长为2；
采用经典的CNN特征提取方法，对步骤2.4中得到的第4层特征输出A4进行处理，得到第5层特征输出，记为A5；
最终，得到构建的变形卷积FPN和所有层的特征输出，分别记为DE-CO-FPN和As,s＝1,...,5；
步骤3、基于内容感知重组特征构建特征重组FPN
遍历步骤2得到的变形卷积FPN的所有层的特征输出As,s＝1,...,5，具体步骤是：
采用公式Ws＝softmax{shuffle[fencode(famplify(As))]}，计算得到特征重组FPN的第s层的核预测特征输出，记为Ws，其中famplify(·)表示特征放大运算符号，fencode(·)表示内容编码运算符号，shuffle[·]表示像素重组运算符号，softmax{·}表示softmax激活函数运算符号，其中As为步骤2得到的变形卷积FPN的第s层特征输出；
采用公式计算得到特征重组FPN的第s层的重组特征输出，记为其中φ(·,·)表示标准的卷积运算符号，其中N(As,5)为As中的5×5正方形像素域，Ws为特征重组FPN的第s层的核预测特征输出；
采用经典的特征融合方法，对重组特征输出和步骤2中得到的特征输出As进行处理，得到特征重组FPN的第s层特征输出，记为Bs；
其中，初始计数s＝5，并且每次遍历后更新计数s＝s-1，直到s＝1后停止遍历，由此得到遍历后的特征重组FPN的所有层的输出特征，记为Bs,s＝1,...,5；
步骤4、基于路由聚合空间感知构建空间注意力FPN
遍历步骤3得到的特征重组FPN的所有层的特征输出Bs,s＝1,...,5，具体步骤是：
采用公式计算得到空间注意力FPN的第s层的空间注意力特征输出，记为Qs，其中GAP(·)表示全局平均池化运算符号，GMP(·)表示全局最大池化运算符号，其中/>表示级联操作运算符号，fencode(·)表示内容编码运算符号，softmax{·}表示softmax激活函数运算符号，×表示乘法运算符号，其中Bs为步骤3得到的特征重组FPN的第s层特征输出；
采用经典的特征融合方法，对空间注意力特征输出Qs和步骤3中得到的特征输出Bs进行处理，得到空间注意力FPN的第s层特征输出，记为Cs；
其中，初始计数s＝1，并且每次遍历后更新计数s＝s+1，直到s＝5后停止遍历，由此得到遍历后的空间注意力FPN的所有层的特征输出，记为Cs,s＝1,...,5；
步骤5、基于平衡尺度全局注意力构建平衡尺度FPN
步骤5.1：特征金字塔整形
采用公式H1＝MaxPool4×(C1)，计算得到平衡尺度FPN的第1层的整形特征输出，记为H1，其中MaxPool4×(·)表示池化步长为4条件下的全局最大池化运算符号，其中C1为空间注意力FPN的第1层特征输出；
采用公式H2＝MaxPool2×(C2)，计算得到平衡尺度FPN的第2层的整形特征输出，记为H2，其中MaxPool2×(·)表示池化步长为2条件下的全局最大池化运算符号，其中C2为空间注意力FPN的第2层特征输出；
采用公式H3＝C3，计算得到平衡尺度FPN的第3层的整形特征输出，记为H3，其中C3为空间注意力FPN的第3层特征输出；
采用公式，H4＝UpSamping2×(C4)计算得到平衡尺度FPN的第4层的整形特征输出，记为H4，其中UpSamping2×(·)表示上采样倍数为2条件下的上采样运算符号，其中C4为空间注意力FPN的第4层特征输出；
采用公式H5＝UpSamping4×(C5)，计算得到平衡尺度FPN的第5层的整形特征输出，记为H5，其中UpSamping4×(·)表示上采样倍数为4条件下的上采样运算符号，其中C5为空间注意力FPN的第5层特征输出；
由此得到平衡尺度FPN的所有层的整形特征输出，记为Hs,s＝1,...,5；
步骤5.2：平衡的多尺度特征融合
采用公式计算得到平衡的多尺度融合特征，记为H，其中/>表示累加运算符号，其中Hs为步骤5.1得到的第s层的整形特征输出；
步骤5.3：全局注意力细化
采用经典的全局注意力机制方法，对步骤5.2得到的多尺度融合特征H进行处理，得到的自我注意力输出，记为O；
采用公式I′＝WOO+H，计算得到全局注意力输出，记为I′，其中WO为待学习的加权矩阵；
步骤5.4：特征金字塔还原
采用公式D1＝UpSamping4×(I′)，计算得到平衡尺度FPN的第1层的最终特征输出，记为D1，其中UpSamping4×(·)表示上采样倍数为4条件下的上采样运算符号，其中I′为步骤5.3得到的全局注意力输出；
采用公式D2＝UpSamping2×(I′)，计算得到平衡尺度FPN的第2层的最终特征输出，记为D2，其中UpSamping2×(·)表示上采样倍数为2条件下的上采样运算符号，其中I′为步骤5.3得到的全局注意力输出；
采用公式D3＝I′，计算得到平衡尺度FPN的第3层的最终特征输出，记为D3，其中I′为步骤5.3得到的全局注意力输出；
采用公式D4＝MaxPool2×(I′)，计算得到平衡尺度FPN的第4层的最终特征输出，记为D4，其中MaxPool2×(·)表示池化步长为2条件下的全局最大池化运算符号，其中I′为步骤5.3得到的全局注意力输出；
采用公式D5＝MaxPool4×(I′)，计算得到平衡尺度FPN的第5层的最终特征输出，记为D5，其中MaxPool4×(·)表示池化步长为4条件下的全局最大池化运算符号，其中I′为步骤5.3得到的全局注意力输出；
由此得到四元特征金字塔网络的所有层的最终特征输出，记为Ds,s＝1,...,5；
至此，完成了四元特征金字塔网络的构建；
步骤6、建立船只检测模型
将步骤1中得到的训练集Train_SSDD作为输入，在步骤5所完成的四元特征金字塔网络上采用经典的Adam算法进行训练，训练完成后得到船只检测模型，记为Quad-FPN；
步骤7、测试船只检测模型
采用经典的图像重采样方法对步骤1中得到的测试集Test_SSDD进行图像采样，得到每个图像重新整形为128×128大小的新的测试集Test_SSDD_Reszie；
采用得到的测试集Test_SSDD_Resize，在步骤6中得到的船只检测模型Quad-FPN上采用标准的检测网络测试方法进行测试，得到测试集在船只检测模型的测试结果，记为Result；
步骤8、评估船只检测模型
以步骤7中得到的船只检测模型的测试结果Result作为输入，采用标准的评价指标计算方法，求出精确率，召回率和平均精度，分别记为P,R和mAP；
以步骤7中得到的船只检测模型的测试结果Result作为输入，采用标准的检测时间计算方法求出标准的检测时间，记为T；
采用公式计算得到模型检测的帧率，记为FPS，其中T为标准的检测时间；
至此，整个方法结束。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110775256.XA CN113705331B (zh) | 2021-07-08 | 2021-07-08 | 一种基于四元特征金字塔网络的sar船只检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110775256.XA CN113705331B (zh) | 2021-07-08 | 2021-07-08 | 一种基于四元特征金字塔网络的sar船只检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113705331A CN113705331A (zh) | 2021-11-26 |
| CN113705331B true CN113705331B (zh) | 2023-12-05 |
Family
ID=78648423
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110775256.XA Active CN113705331B (zh) | 2021-07-08 | 2021-07-08 | 一种基于四元特征金字塔网络的sar船只检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113705331B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114612769B (zh) * | 2022-03-14 | 2023-05-26 | 电子科技大学 | 一种融入局部结构信息的集成感知红外成像舰船检测方法 |
| CN115019174B (zh) * | 2022-06-10 | 2023-06-16 | 西安电子科技大学 | 基于像素重组和注意力的上采样遥感图像目标识别方法 |
| CN116310959B (zh) * | 2023-02-21 | 2023-12-08 | 南京智蓝芯联信息科技有限公司 | 一种复杂场景下低质量摄像机画面识别方法及系统 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110826428A (zh) * | 2019-10-22 | 2020-02-21 | 电子科技大学 | 一种高速的sar图像中船只检测方法 |
| CN112285712A (zh) * | 2020-10-15 | 2021-01-29 | 电子科技大学 | 一种提高sar图像中靠岸船只检测精度的方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110472627B (zh) * | 2019-07-02 | 2022-11-08 | 五邑大学 | 一种端到端的sar图像识别方法、装置及存储介质 |
-
2021
- 2021-07-08 CN CN202110775256.XA patent/CN113705331B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110826428A (zh) * | 2019-10-22 | 2020-02-21 | 电子科技大学 | 一种高速的sar图像中船只检测方法 |
| CN112285712A (zh) * | 2020-10-15 | 2021-01-29 | 电子科技大学 | 一种提高sar图像中靠岸船只检测精度的方法 |
Non-Patent Citations (3)
| Title |
|---|
| Tianwen Zhang 等.HOG-ShipCLSNet: A Novel Deep Learning Network With HOG Feature Fusion for SAR Ship Classification.IEEE Transactions on Geoscience and Remote Sensing.2021,全文. * |
| 师君.高速、多目标ISAR仿真及成像研究.中国优秀硕士学位论文全文数据库 (信息科技辑).2005,I136-566. * |
| 董颖博.基于深度学习的SAR图像船舶检测与分类方法研究.中国优秀硕士学位论文全文数据库 (工程科技Ⅱ辑).2021,C036-35. * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113705331A (zh) | 2021-11-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110135267B (zh) | 一种大场景sar图像细微目标检测方法 | |
| CN113705331B (zh) | 一种基于四元特征金字塔网络的sar船只检测方法 | |
| US20230169623A1 (en) | Synthetic aperture radar (sar) image target detection method | |
| Venugopal | Automatic semantic segmentation with DeepLab dilated learning network for change detection in remote sensing images | |
| Jiang et al. | A semisupervised Siamese network for efficient change detection in heterogeneous remote sensing images | |
| CN111310666B (zh) | 一种基于纹理特征的高分辨率影像地物识别与分割方法 | |
| CN111797881B (zh) | 图像分类方法及装置 | |
| CN113344045B (zh) | 一种结合hog特征提高sar船只分类精度的方法 | |
| CN112285712A (zh) | 一种提高sar图像中靠岸船只检测精度的方法 | |
| CN109190511B (zh) | 基于局部与结构约束低秩表示的高光谱分类方法 | |
| CN111882031A (zh) | 一种神经网络蒸馏方法及装置 | |
| Zhang et al. | Image target recognition model of multi-channel structure convolutional neural network training automatic encoder | |
| Li et al. | A CNN-GCN framework for multi-label aerial image scene classification | |
| CN117788296B (zh) | 基于异构组合深度网络的红外遥感图像超分辨率重建方法 | |
| CN115272670A (zh) | 一种基于掩膜注意交互的sar图像舰船实例分割方法 | |
| Jiang et al. | Semantic segmentation network combined with edge detection for building extraction in remote sensing images | |
| Raj J et al. | Lightweight SAR ship detection and 16 class classification using novel deep learning algorithm with a hybrid preprocessing technique | |
| CN117011640A (zh) | 基于伪标签滤波的模型蒸馏实时目标检测方法及装置 | |
| Shen et al. | HAMNet: hyperspectral image classification based on hybrid neural network with attention mechanism and multi-scale feature fusion | |
| CN113989665B (zh) | 一种基于路由聚合感知fpn的sar船只检测方法 | |
| Zheng et al. | A Review of Image Classification Algorithms in IoT | |
| CN114022779B (zh) | 一种基于比例尺网络的sar船只检测方法 | |
| CN114511504B (zh) | 一种视频sar动目标阴影检测方法 | |
| Amy et al. | Transfer Learning Based Convolutional Neural Network for Classification of Remote Sensing Images | |
| Sun et al. | Optimal Parameter Selection in Hyperspectral Classification Based on Convolutional Neural Network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |