CN113408340B - 基于增强型特征金字塔的双极化sar小型船只检测方法 - Google Patents
基于增强型特征金字塔的双极化sar小型船只检测方法 Download PDFInfo
- Publication number
- CN113408340B CN113408340B CN202110514236.7A CN202110514236A CN113408340B CN 113408340 B CN113408340 B CN 113408340B CN 202110514236 A CN202110514236 A CN 202110514236A CN 113408340 B CN113408340 B CN 113408340B
- Authority
- CN
- China
- Prior art keywords
- dual
- feature
- target
- module
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 37
- 230000004927 fusion Effects 0.000 claims description 25
- 238000000034 method Methods 0.000 claims description 21
- 238000012549 training Methods 0.000 claims description 20
- 238000000605 extraction Methods 0.000 claims description 13
- 238000010586 diagram Methods 0.000 claims description 11
- 238000011176 pooling Methods 0.000 claims description 9
- 230000003044 adaptive effect Effects 0.000 claims description 6
- 230000009977 dual effect Effects 0.000 claims description 6
- 230000000694 effects Effects 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 5
- 238000004364 calculation method Methods 0.000 claims description 4
- 241000287196 Asthenes Species 0.000 claims description 2
- 238000010276 construction Methods 0.000 claims description 2
- 210000002569 neuron Anatomy 0.000 claims description 2
- FFBHFFJDDLITSX-UHFFFAOYSA-N benzyl N-[2-hydroxy-4-(3-oxomorpholin-4-yl)phenyl]carbamate Chemical compound OC1=C(NC(=O)OCC2=CC=CC=C2)C=CC(=C1)N1CCOCC1=O FFBHFFJDDLITSX-UHFFFAOYSA-N 0.000 claims 1
- 230000007246 mechanism Effects 0.000 abstract description 13
- 230000008034 disappearance Effects 0.000 abstract description 2
- 230000006870 function Effects 0.000 description 17
- 230000010287 polarization Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 6
- 238000012795 verification Methods 0.000 description 6
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 4
- 238000002679 ablation Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 3
- 230000002349 favourable effect Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000005484 gravity Effects 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000013468 resource allocation Methods 0.000 description 2
- 235000002566 Capsicum Nutrition 0.000 description 1
- 239000006002 Pepper Substances 0.000 description 1
- 235000016761 Piper aduncum Nutrition 0.000 description 1
- 235000017804 Piper guineense Nutrition 0.000 description 1
- 244000203593 Piper nigrum Species 0.000 description 1
- 235000008184 Piper nigrum Nutrition 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000012216 screening Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
- 230000003313 weakening effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Evolutionary Computation (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了基于增强型特征金字塔的双极化SAR小型船只检测方法，针对合成孔径雷达(SAR)图像中小型船只通常散射强度弱，在图像中仅占少量像素而导致的漏检问题，该方法设计了双极化自适应通道融合模块，通过检测结果的反馈来自动学习双极化SAR数据中两个通道融合系数，由系数加权得到融合通道输入特征提取网络。在本发明改进的注意力增强型低层特征金字塔中，降低深度网络下采样次数得到低层特征金字塔并在大尺度特征图上进行预测可以缓解小型船只在SAR图像中占据像素较少而导致特征消失问题，与此同时引入了空间与通道注意力机制。
Description
技术领域
本发明涉及一种双极化自适应通道融合与注意力增强型低层特征金字塔的SAR小型船只目标检测方法，属于SAR自动目标检测技术领域。
背景技术
合成孔径雷达(Synthetic Aperture Radar，SAR)是一种基于主动式微波传感的高分辨率成像雷达，相比于被动成像的光学遥感，SAR具有全天时、全天候、不受云层遮挡等优点，可广泛的应用于环境地形调查、军事侦察、海洋监测等领域，SAR图像船只目标检测是海洋监测的一个重要技术手段。
传统的船只目标检测多是通过阈值法与手工提取特征等方法在大场景SAR图像中将船只与海面背景区分开，阈值法在不同场景SAR图像中需要根据背景信息设置不同的阈值，不具备普适性，而手工提取特征操作复杂且需要一定的先验知识，技术要求较高。随着计算机视觉的不断发展，深度学习被应用到目标检测领域，基于深度学习的目标检测方法可以根据人工标注的SAR船只数据自主学习船只目标的主要特征并更新模型的参数用于检测，目前深度学习凭借其操作简单、模型鲁棒性高等优点被广泛应用于SAR船只目标检测。
小型船只在SAR图像中散射强度通常较弱，占据的像素数较少，由于深度网络具有下采样模块，基于深度学习的方法提取到的小型船只特征有限，部分船只所占图像素过少甚至导致在下采样过程中出现特征消失。提取特征不足导致在检测过程中船只目标极易被背景杂波与近岸强目标干扰，造成大量漏检。本发明可以自适应融合双极化SAR的两个通道数据来丰富小型船只目标的特征，并引入空间注意力与通道注意力机制针对小型船只构建了一个注意力增强型低层特征金字塔来进行特征增强与特征筛选，改善了小型船只目标的漏检问题，提升了检测效果。
发明内容
本发明的主要目的是针对SAR图像中小型船只目标由于尺度较小、散射强度较弱导致的漏检问题，提供了一种基于双极化自适应通道融合与注意力增强型低层特征金字塔的SAR小型船只目标检测方法。本发明主要的实施对象是Sentinel-1所采集的图像，主要工作是对其进行小型船只目标检测。
本发明的技术方案具体来说，主要包括如下内容：
1.双极化自适应通道融合：极化SAR图像多个极化通道有利于深度卷积神经网络提取出更多的信息，双极化SAR图像具有VH和VV两个极化通道，将两个通道同时送入特征提取网络往往达不到最好的效果且出现特征冗余，而手动设置参数进行双通道融合需要较强的先验知识，双极化自适应通道融合通过检测结果损失的反馈来自动学习VH与VV的融合系数，通过系数加权得到融合通道输入特征提取网络。
2.低层特征金字塔：多尺度特征图根据深度的不同可分为低层特征图与高层特征图，低层特征图往往对应着定位信息，高层特征图往往对应着语义信息，特征金字塔可以有效融合低层与高层特征。针对小型船只目标尺度较小，在深度网络特征提取过程中出现特征较少甚至特征消失问题，通过降低深度网络下采样次数可以得到低层特征金字塔并在大尺度特征图上进行预测可以缓解该问题。
3.空间与通道注意力机制：注意力机制是一种资源分配机制，可以根据感兴趣目标设定不同的重要程度来分配资源，在深度神经网络中，需要分配的资源就是权重，可以通过增加感兴趣目标的权重来提升目标检测效果。空间注意力在空间范围上提取小型船只目标的显著特征，通道注意力通过通道的升降维筛选出有利于小型船只目标检测的特征通道并降低了特征冗余。
基于双极化自适应通道融合与注意力增强型低层特征金字塔的SAR小型船只检测方法，包括以下步骤：
步骤(1)剔除双极化SAR数据集中不包含船只目标的纯背景图像，并对图像进行数据增强与归一化。
为了平衡正负样本的数量并减少训练时间，需要将已标注数据中的纯背景切片剔除，原数据共9000张切片，经过背景剔除的得到数据切片共1859张，每张切片的大小都为800×800像素，为了训练出的深度模型更具有鲁棒性，需要进行数据增强，通过随机裁剪、旋转、反转等增强方式提升模型的旋转不变性，通过增加椒盐噪声提升模型的抗干扰能力。
数据归一化有利于深度网络的学习，VH与VV单通道输入图像每个像素的取值范围都是0～255之间，为了减轻深度网络学习压力，需要将每个像素按照原始比例归一化到0～1之间，归一化方式如下：
式中Pxy代表在图像中像素坐标为(x,y)的点对应的灰度值大小。
步骤(2)构建双极化通道自适应融合模块。
双极化SAR数据相对单极化具有类似的空间分辨率但增加了一个极化维度的信息。与传统人工手动设置双极化通道融合参数相比，双极化通道自适应融合模块可以在训练过程中可以针对VH和VV通道学习两个权重参数，如式(1)，其中λ1为VH通道学习到的权重，λ2为VV通道设置的权重，Iadapt为最终的输入，其中λ1+λ2＝1。
Iadapt＝λ1×VH+λ2×VV
双极化自适应通道融合模块整体结构如图1所示，其中Softmax用于将λ1和λ2归一化到0～1之间，且λ1+λ2＝1。Softmax可以将多个神经元的输出，映射到(0,1)区间内，能够看成概率，假定一个数组V，Vi表示其中第i个元素，那么这个元素的Softmax值Si计算方式如下：
其中j为所有元素个数。
步骤(3)构建注意力增强型低层特征金字塔模块。
小型船只检测网络整体结构如图2所示，其中右下部分为注意力增强型特征金字塔模块，包含了低层特征金字塔结构、空间注意力模块以及通道注意力模块。
为了减少计算量并增大感受野，特征提取网络通常需要进行32倍降采样，然而小型船只经过32倍降采样，特征图中对应的特征极少甚至消失，考虑到该问题，CNN特征提取模块只进行了16倍降采样来保留小型船只更多的特征，为了精确定位小型船只的中心位置，通过特征金字塔模块融合低层与高层信息并在最终融合得到的大尺度特征图上进行预测。
注意力机制是一种资源分配机制，可以根据感兴趣目标设定不同的重要程度来分配资源，在深度神经网络中，需要分配的资源就是权重，可以通过增加感兴趣目标的权重来提升目标检测效果。
S＝Conv[Maxpool3(x),Maxpool5(x),Maxpool7(x)]
C＝Sigmoid(Avepool 3(x)+Maxpool3(x))×x
结合图2与上公式所示，S为空间注意力的输出，C为通道注意力的输出，x为输入特征，Conv表示卷积操作，Maxpool3、Maxpool5、Maxpool7分别代表核为3、5、7的最大池化，Avepool3表示核为3的平均池化，sigmoid函数用于将输出限制在0和1之间，[,]表示特征拼接。
空间注意力模块将特征图经过3，5，7不同尺度的最大池化来学习船只目标的显著特征，增强大尺度特征图上小型目标的关键点信息。通道注意力模块通过最大池化与平均池化提取不同通道上关于小型船只目标的显著信息，从拼接后特征图的多通道中筛选出有助于检测相应目标的特征，在减少计算量的同时可以更好地区分小型船只目标与背景杂波和其他强散射非船目标。
步骤(4)损失函数的构建
损失函数(loss function)是用来估量模型的预测值f(x)与真实值Y的不一致程度，它是一个非负实值函数,通常使用L(Y,f(x))来表示，损失函数越小，模型的鲁棒性就越好。损失函数是经验风险函数的核心部分，也是结构风险函数重要组成部分。模型的结构风险函数包括了经验风险项和正则项。
设定输入图I∈RW×H×1像，W为图像宽度，H为图像高度。网络输出的关键点热力图为其中R代表得到输出相对于原图的步长stride。C代表类别个数，此处只有小型船只一个目标，所以设置为1。
核心loss公式如下：
和Focal loss形式类似，α和β是超参数，N代表的是图像关键点个数。当Yxyc＝1时，对于易分样本来说，预测值接近于1，/>就是一个很小的值，这样loss就很小，起到了矫正作用。
对于难分样本来说，预测值接近于0，/>就比较大，相当于加大了其训练的比重。
对于otherwise的情况下Yxy用高斯核计算，如下公式所示。
x和y是对应的像素坐标，和/>是x和y的平均值，/>是方差。/>代表关键点的预测值，N是特征图中的关键点，α和β这两个超参数是用来平衡困难样本损失函数的影响，可以通过减少容易样本对损失的贡献并增加困难样本的影响力来更好地将目标与背景区分开。
图3是一个简单的高斯核示意图，纵坐标是Yxyc，分为A区(距离中心点较近，但是值在0-1之间)和B区(距离中心点很远接近于0)。对于A区来说，由于其周围是一个高斯核生成的中心，Yxyc的值是从1慢慢变到0。对于B区来说，的预测值理应是0，如果该值比较大比如为1，那么/>作为权重会变大，惩罚力度也加大了。如果预测值接近于0，那么/>会很小，让其损失比重减小。对于(1-Yxyc)β来说，B区的值比较大，弱化了中心点周围其他负样本的损失比重。
由于注意力增强型低层特征金字塔提取出的特征图空间分辨率变为原来输入图像的四分之一。相当于输出特征图上一个像素点对应原始图像的4×4的区域，这会带来较大的误差，因此引入了偏置值和偏置的损失值。设骨干网络输出的偏置值为这个偏置值用L1loss来训练：
其中p代表目标框中心点，R代表下采样倍数4，代表偏差值。
假设第k个目标，类别为Ck的目标框的表示为那么其中心点坐标位置为/>目标的长和宽大小为/> 对长和宽进行训练的是L1Loss函数：
其中是网络输出的结果。
整体的损失函数是以上三者的综合，并且分配了不同的权重。
Ldet＝Lk+λsizeLsize+λoffsetLoffset
式中λsize＝0.1,λoffsize＝1。
与现有技术相比较，本发明的双极化自适应通道融合可以充分利用双极化SAR图像的两个通道，通过参数学习得到不同权重来融合两个通道中有利于小型船只检测信息，相比于只输入VH通道漏检率降低了13.08％。降低特征金字塔下采样次数构建低层特征金字塔可以获取更高分辨率的小型船只目标特征，引入空间注意力可以在空间范围上提取小型船只目标的显著特征，引入通道注意力可以降低特征冗余，筛选出有利于小型船只目标检测的特征通道，低层特征金字塔、空间注意力机制与通道注意力机制构成了注意力增强型低层特征金字塔模块。
附图说明
图1为双极化自适应通道融合模块结构图。
图2为小型船只目标检测整体结构图。
图3为高斯核分布示意图。
图4为网络模型参数训练流程图
图5为不同算法部分检测结果对比图。
具体实施方式
以下结合附图对本发明的实施过程和实验结果做进一步的描述。
本发明实施使用的样例数据是于的2020年由电子科技大学(成都)发布由15幅大场景sentinel-1影像标注得到的LS-SSDD-v1.0数据集，提供VV和VH两种极化方式，每张大图尺寸为24000×16000像素大小，分辨率为5×20m，其中共2358只船只目标，以AIS数据与谷歌地球为参考采用Labelimg软件进行标注。数据集中标注的目标框所占像素数均小于2342，在大场景影像中均为小型目标，采用800×800大小的滑窗进行依次裁剪共得到9000张船只切片，包括大量不含船只目标的纯背景切片，该数据集主要特点为大场景、小目标、背景丰富，是一个只包含小型船只目标的SAR数据集。
具体实施步骤如下所示：
步骤1、Sentinel-1数据的预处理。
本为了平衡正负样本的数量并减少训练时间，将纯背景切片剔除，原数据切片中前6000张影像经过背景剔除得到1123张切片作为训练集，后3000张经过背景剔除得到736张切片作为测试集，经过背景剔除的数据切片共1859张。之后再将数据集图像中的每个像素点的像素值都除以255，把图像的像素值归一化到0～1之间。
步骤2、设定网络具体参数。
1)特征提取网络结构参数
特征提取模块结构参考了Resnet-18，并做了一些细节的调整来适应数据。针对输入维度为800×800×1的灰度图像，首先使用64个尺寸为7×7的卷积滤波器来增加其通道数并进行滤波。此处采用了先在特征图四周填充零再进行卷积操作的方式，来保证输出特征图的尺寸不变而通道数增多。
网络的中间部分由3个具有相似结构的残差卷积模块堆叠而成，每个模块中包含2个残差结构，经过每个模块后的输出维度显示在表1中。
表1特征提取网络参数的设置
2)特征金字塔模块结构参数
特征金字塔模块包括特征融合与注意力机制，特征融合模块是将两组尺度大小相同的特征图进行通道维度方向的拼接，拼接之后尺度大小不变，通道维度为二者原始通道维度相加，高层与低层特征图的特征融合需要高层特征图进行参数为2的上采样，通道维数不变。
注意力机制中，空间注意力包括3个Maxpooling模块，池化尺度分辨设置为3、5、7。通道注意力包括一个Maxpooling模块和一个Avepooling模块，尺度都设置为3。
3)损失函数和优化器的参数设定
优化器采用的是随机梯度下降(SGD)，学习率lr设置值为0.001，动量Momentum设置为0.9，weight decay设置为5e-4。在训练的过程中，每隔100个epoch完整训练后就将学习率降低为原来的一半，参考Focal loss的参数设置，分类损失函数中α和β分别设置为2和4。
4)其他参数
设置训练次数为250个epoch，由于单张图片大小为800×800，防止占用显存过大，设置batch size为4。
步骤3、训练网络模型
通过以上步骤将数据和网络结构都准备好后，接下来便可以开始训练网络模型。数据是按照批次(batch)的形式被输入网络，单个批次中的每个样本数据都是以并行的形式在网络中计算传递。一个批次的训练相当于一次迭代(iteration)，当所有的训练数据都在网络中训练过一遍后即为完成一轮(epoch)迭代。训练前会先设定最大的训练轮数，每完成一轮迭代后会利用当前的模型参数对验证集进行一次测试，并记录下验证集的测试精度，每当出现更好的验证结果时就将当前网络模型保存下来。
网络模型参数的训练过程如图4流程所示，具体步骤如下：
(1)对网络的参数进行初始化。
(2)开始进行一轮迭代。
(3)对训练数据进行打乱并按照批次大小M划分出N个批次(数据量小于等于M×N)。
(4)把一个批次的数据输入进网络中，经过网络的前向计算得到输出结果，再通过总的损失函数得到本次迭代的损失。
(5)通过梯度求导的链式法则，将损失反向传播到网络的每一层得到该层权重W和偏置b的梯度。
(6)最后再通过SGD优化函数更新网络参数。
(7)回到步骤(4)进行下一个批次的迭代，直到所有的批次全都完成计算即为完成一轮迭代。
(8)用此刻的模型对验证集的数据进行测试，并记录结果。
(9)返回步骤(2)，直到达到设定的最大的训练轮数。
步骤4、结果预测与验证
对照小型船只检测算法整体结构图2，结果预测过程伪代码如下：
为了验证本发明方法在SAR小型船只目标数据集上的表现，针对LS-SSDD-v1.0数据集进行结果验证并与其他常用算法进行对比，除此之外对双极化自适应通道融合模块与增强型特征金字塔模块进行消融实验。
表2本发明方法与其他常用算法结果对比
| 方法 | 准确率 | 召回率 | AP@0.5 | 测试集检测时间 |
| CascadeR-CNN | 57.68％ | 77.04％ | 69.90％ | 72.63s |
| YOLOv4 | 70.69％ | 70.70％ | 70.70％ | 36.44s |
| CenterNet | 69.26％ | 59.85％ | 59.85％ | 46.49s |
| 本发明方法 | 67.92％ | 80.40％ | 71.76％ | 31.68s |
表2中展示了本发明的实验结果以及其他一些检测方法，其中时间是检测736个图像切片的总时间(800×800像素)。部分结果对比如图5所示，本发明方法在召回率，AP和时间指标上优于其他方法，准确率指标低于YOLOv4和CenterNet，但这是可以接受的，因为召回率指标在小型船只目标检测中比其他几个指标更重要。
表3双极化自适应通道融合模块消融实验
表3中λ1＝0，λ2＝1代表单VV通道输入，λ1＝1，λ2＝0代表单VH通道输入，由表中结果可知，相比于单通道输入SAR数据与手工设置融合参数，自适应融合可以有效提升召回率指标，减少小型船只目标的漏检。
表4注意力增强型低层特征金字塔模块消融实验
表4中，相比于特征金字塔，低层特征金字塔保留了更多的小型船只特征，可有效提升准确率、召回率与AP指标。在特征金字塔的基础上增加了注意力机制之后召回率与AP指标得到了提升，但是准确率略有降低，结合了注意力机制与低层特征金字塔之后，准确率、召回率与AP指标均得到有效提升，不仅减少了漏检，还降低了虚警，进一步证明了本发明方法的有效性。
Claims (2)
1.基于增强型特征金字塔的双极化SAR小型船只检测方法，其特征在于：包括以下步骤：
步骤(1)剔除双极化SAR数据集中不包含船只目标的纯背景图像，并对图像进行数据增强与归一化；
将每个像素按照原始比例归一化到0～1之间，归一化方式如下：
式中Pxy代表在图像中像素坐标为(x,y)的点对应的灰度值大小；
步骤(2)构建双极化通道自适应融合模块；
双极化通道自适应融合模块在训练过程中针对VH和VV通道学习两个权重参数，λ1为VH通道学习到的权重，λ2为VV通道设置的权重，Iadapt为最终的输入，其中λ1+λ2＝1；
Iadapt＝λ1×VH+λ2×VV
双极化自适应通道融合模块整体结构中，Softmax用于将λ1和λ2归一化到0～1之间，且λ1+λ2＝1；Softmax将多个神经元的输出，映射到(0,1)区间内，能够看成概率，假定一个数组V，Vi表示其中第i个元素，那么这个元素的Softmax值Si计算方式如下：
其中j为所有元素个数；
步骤(3)构建注意力增强型低层特征金字塔模块；
小型船只检测网络整体结构中的注意力增强型特征金字塔模块，包含低层特征金字塔结构、空间注意力模块以及通道注意力模块；
为减少计算量并增大感受野，特征提取网络进行32倍降采样，然而小型船只经过32倍降采样，CNN特征提取模块进行降采样来保留小型船只更多的特征；通过特征金字塔模块融合低层与高层信息并在最终融合得到的大尺度特征图上进行预测，以精确定位小型船只的中心位置；
S＝Conv[Maxpool3(x),Maxpool5(x),Maxpool7(x)]
C＝Sigmoid(Avepool 3(x)+Maxpool3(x))×x
S为空间注意力的输出，C为通道注意力的输出，x为输入特征，Conv表示卷积操作，Maxpool3、Maxpool5、Maxpool7分别代表核为3、5、7的最大池化，Avepool3表示核为3的平均池化，sigmoid函数用于将输出限制在0和1之间，[,]表示特征拼接；
空间注意力模块将特征图经过3，5，7不同尺度的最大池化来学习船只目标的显著特征，增强大尺度特征图上小型目标的关键点信息；
步骤(4)损失函数的构建
设定输入图I∈RW×H×1像，W为图像宽度，H为图像高度；网络输出的关键点热力图为其中R代表得到输出相对于原图的步长stride；C代表类别个数，此处只有小型船只一个目标，所以设置为1；
核心loss公式如下：
和Focal loss形式类似，α和β是超参数，N代表的是图像关键点个数；
对于otherwise的情况下Yxy用高斯核计算，如下公式所示；
x和y是对应的像素坐标，和/>是x和y的平均值，/>是方差；/>代表关键点的预测值，N是特征图中的关键点，α和β这两个超参数是用来平衡困难样本损失函数的影响，通过减少容易样本对损失的贡献并增加困难样本的影响力来更好地将目标与背景区分开。
2.根据权利要求1所述的基于增强型特征金字塔的双极化SAR小型船只检测方法，其特征在于：步骤(4)中，引入偏置值和偏置的损失值，设骨干网络输出的偏置值为这个偏置值用L1 loss来训练：
其中p代表目标框中心点，R代表下采样倍数4， 代表偏差值；
假设第k个目标，类别为Ck的目标框的表示为那么其中心点坐标位置为/>目标的长和宽大小为/> 对长和宽进行训练的是L1 Loss函数：
其中是网络输出的结果；
整体的损失函数是以上三者的综合，并且分配了不同的权重；
Ldet＝Lk+λsize Lsize+λoffset Loffset
式中λsize＝0.1,λoffsize＝1。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110514236.7A CN113408340B (zh) | 2021-05-12 | 2021-05-12 | 基于增强型特征金字塔的双极化sar小型船只检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110514236.7A CN113408340B (zh) | 2021-05-12 | 2021-05-12 | 基于增强型特征金字塔的双极化sar小型船只检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113408340A CN113408340A (zh) | 2021-09-17 |
| CN113408340B true CN113408340B (zh) | 2024-03-29 |
Family
ID=77678331
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110514236.7A Active CN113408340B (zh) | 2021-05-12 | 2021-05-12 | 基于增强型特征金字塔的双极化sar小型船只检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113408340B (zh) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113839898B (zh) * | 2021-10-13 | 2023-09-01 | 遨海科技有限公司 | 海上ais通信信道扩容数据可靠备份传输的方法和装置 |
| CN114022682A (zh) * | 2021-11-05 | 2022-02-08 | 天津大学 | 一种基于注意力的二次特征融合机制的弱小目标检测方法 |
| CN115019180B (zh) * | 2022-07-28 | 2023-01-17 | 北京卫星信息工程研究所 | Sar图像舰船目标检测方法、电子设备及存储介质 |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109492556A (zh) * | 2018-10-28 | 2019-03-19 | 北京化工大学 | 面向小样本残差学习的合成孔径雷达目标识别方法 |
| WO2019144575A1 (zh) * | 2018-01-24 | 2019-08-01 | 中山大学 | 一种快速行人检测方法及装置 |
| CN110084210A (zh) * | 2019-04-30 | 2019-08-02 | 电子科技大学 | 基于注意力金字塔网络的sar图像多尺度舰船检测方法 |
| CN110705457A (zh) * | 2019-09-29 | 2020-01-17 | 核工业北京地质研究院 | 一种遥感影像建筑物变化检测方法 |
| CN111160268A (zh) * | 2019-12-30 | 2020-05-15 | 北京化工大学 | 一种基于多任务学习的多角度sar目标识别方法 |
| CN111563414A (zh) * | 2020-04-08 | 2020-08-21 | 西北工业大学 | 一种基于非局部特征增强的sar图像舰船目标检测方法 |
| CN111797717A (zh) * | 2020-06-17 | 2020-10-20 | 电子科技大学 | 一种高速高精度的sar图像船只检测方法 |
| AU2020103901A4 (en) * | 2020-12-04 | 2021-02-11 | Chongqing Normal University | Image Semantic Segmentation Method Based on Deep Full Convolutional Network and Conditional Random Field |
-
2021
- 2021-05-12 CN CN202110514236.7A patent/CN113408340B/zh active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019144575A1 (zh) * | 2018-01-24 | 2019-08-01 | 中山大学 | 一种快速行人检测方法及装置 |
| CN109492556A (zh) * | 2018-10-28 | 2019-03-19 | 北京化工大学 | 面向小样本残差学习的合成孔径雷达目标识别方法 |
| CN110084210A (zh) * | 2019-04-30 | 2019-08-02 | 电子科技大学 | 基于注意力金字塔网络的sar图像多尺度舰船检测方法 |
| CN110705457A (zh) * | 2019-09-29 | 2020-01-17 | 核工业北京地质研究院 | 一种遥感影像建筑物变化检测方法 |
| CN111160268A (zh) * | 2019-12-30 | 2020-05-15 | 北京化工大学 | 一种基于多任务学习的多角度sar目标识别方法 |
| CN111563414A (zh) * | 2020-04-08 | 2020-08-21 | 西北工业大学 | 一种基于非局部特征增强的sar图像舰船目标检测方法 |
| CN111797717A (zh) * | 2020-06-17 | 2020-10-20 | 电子科技大学 | 一种高速高精度的sar图像船只检测方法 |
| AU2020103901A4 (en) * | 2020-12-04 | 2021-02-11 | Chongqing Normal University | Image Semantic Segmentation Method Based on Deep Full Convolutional Network and Conditional Random Field |
Non-Patent Citations (3)
| Title |
|---|
| 一种基于场景合成和锚点约束的SAR目标检测网络;金啸宇;尹嫱;倪军;周勇胜;张帆;洪文;;南京信息工程大学学报(自然科学版)(第02期);全文 * |
| 双向特征融合的数据自适应SAR图像舰船目标检测模型;张筱晗;姚力波;吕亚飞;简涛;赵志伟;藏洁;;中国图象图形学报(第09期);全文 * |
| 基于特征金字塔的多尺度特征融合网络;郭启帆;刘磊;张珹;徐文娟;靖稳峰;;工程数学学报(第05期);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113408340A (zh) | 2021-09-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113408340B (zh) | 基于增强型特征金字塔的双极化sar小型船只检测方法 | |
| CN108052911B (zh) | 基于深度学习的多模态遥感影像高层特征融合分类方法 | |
| CN113065558B (zh) | 一种结合注意力机制的轻量级小目标检测方法 | |
| Zhou et al. | Polarimetric SAR image classification using deep convolutional neural networks | |
| CN112308019A (zh) | 基于网络剪枝和知识蒸馏的sar舰船目标检测方法 | |
| CN113569667B (zh) | 基于轻量级神经网络模型的内河船舶目标识别方法及系统 | |
| CN110991257B (zh) | 基于特征融合与svm的极化sar溢油检测方法 | |
| CN111914924B (zh) | 一种快速舰船目标检测方法、存储介质及计算设备 | |
| CN113408423A (zh) | 适用于tx2嵌入式平台的水产品目标实时检测方法 | |
| CN113344045B (zh) | 一种结合hog特征提高sar船只分类精度的方法 | |
| CN112215119A (zh) | 一种基于超分辨率重建的小目标识别方法、装置及介质 | |
| CN116486243A (zh) | 基于DP-ViT的声呐图像目标检测方法 | |
| CN113962281A (zh) | 基于Siamese-RFB的无人机目标跟踪方法 | |
| CN116580322A (zh) | 一种地面背景下无人机红外小目标检测方法 | |
| CN116563726A (zh) | 一种基于卷积神经网络的遥感图像舰船目标检测方法 | |
| CN116152678A (zh) | 小样本条件下基于孪生神经网络的海洋承灾体识别方法 | |
| CN116469020A (zh) | 一种基于多尺度和高斯Wasserstein距离的无人机图像目标检测方法 | |
| CN113989612A (zh) | 基于注意力及生成对抗网络的遥感影像目标检测方法 | |
| CN115909332A (zh) | 一种基于通道特征加强的农业遥感图像语义分割方法 | |
| CN113313185B (zh) | 一种基于自适应空谱特征提取的高光谱图像分类方法 | |
| CN114283082A (zh) | 一种基于注意力机制的红外小目标检测方法 | |
| CN114119382A (zh) | 一种基于注意力生成对抗网络的图像去雨滴方法 | |
| Feng et al. | An underwater image enhancement strategy based on pyramid attention mechanism | |
| CN117975504A (zh) | 一种新的伪装目标检测方法、装置、设备及存储介质 | |
| CN114373118B (zh) | 基于改进yolov4的水下目标检测方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |