CN112528896A - 一种面向sar图像的飞机目标自动检测方法及系统 - Google Patents

一种面向sar图像的飞机目标自动检测方法及系统 Download PDF

Info

Publication number
CN112528896A
CN112528896A CN202011496837.1A CN202011496837A CN112528896A CN 112528896 A CN112528896 A CN 112528896A CN 202011496837 A CN202011496837 A CN 202011496837A CN 112528896 A CN112528896 A CN 112528896A
Authority
CN
China
Prior art keywords
feature
airport
network
airplane
layer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011496837.1A
Other languages
English (en)
Other versions
CN112528896B (zh
Inventor
肖红光
王杰岚
陈立福
潘舟浩
邢进
黄园媛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changsha University of Science and Technology
Original Assignee
Changsha University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changsha University of Science and Technology filed Critical Changsha University of Science and Technology
Priority to CN202011496837.1A priority Critical patent/CN112528896B/zh
Priority claimed from CN202011496837.1A external-priority patent/CN112528896B/zh
Publication of CN112528896A publication Critical patent/CN112528896A/zh
Application granted granted Critical
Publication of CN112528896B publication Critical patent/CN112528896B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种面向SAR图像的飞机目标自动检测方法及系统，本发明面向SAR图像的飞机目标自动检测方法包括：针对机场SAR图像进行机场检测，得到机场掩膜和机场矩形轮廓；针对机场SAR图像的机场矩形轮廓进行飞机检测，得到无掩膜的飞机检测结果；针对无掩膜的飞机检测结果使用机场掩膜去除虚警，得到最终的飞机检测结果。本发明能够快速和精确地定位机场区域，显著地降低了飞机检测的虚警率，而且减少了后续飞机检测的计算量，飞机检测精度和速度上均表现较好。

Description

一种面向SAR图像的飞机目标自动检测方法及系统
技术领域
本发明涉及面向SAR图像的图像目标识别技术，具体涉及一种面向SAR图像的飞机目标自动检测方法及系统。
背景技术
合成孔径雷达(Synthetic Aperture Radar，SAR)是一种先进的主动式微波对地观测设备，而且成像几何属于斜距投影类型。它有一定的穿透作用，可以有效探测被伪装的目标。目前高分辨SAR系统的分辨率已经可以达到厘米级，能够清晰的对大型战术目标进行清晰的成像，有效的帮助军事人员对目标进行识别。另外，SAR还具有全天时全天候的工作特点，适合在各种恶劣的战场条件下完成侦查任务。自1978年以来，SAR凭借其独特的成像机制吸引了雷达科学界的无数目光，其在军事和民用领域都得到了广泛的应用。飞机检测可以更加有效地对机场进行管理，而且获取飞机的数量与位置等信息在军事领域具有重要价值。因此，对SAR图像进行飞机目标检测具有重要意义。
传统的SAR图像目标检测方法主要分为两类。(1)基于单特征的方法。这种方法通常利用雷达散射截面积(Radar Cross Section，RCS)信息挑选对比度较亮的部分作为候选目标。其中最常见的检测方法为基于杂波统计与阈值提取的恒虚警率算法(ConstantFalse Alarm Rate，CFAR)。1968年，在CFAR的基础上，Finn等人提出了CA-CFAR算法。1973年，Goldstein[19]将CFAR方法进一步拓展到对数正态分布和Weibull分布的背景噪声即声名卓著的Goldstein检测器。然而，CFAR算法没有考虑目标的结构信息，这样会导致目标定位不精确。(2)基于多特征的方法。将多种特征融合在一起，再检测目标。2015年，Tan Yi-hua等人将梯度纹理显著图与CFAR算法结合检测机场的飞机目标。然而，特征设计起来很复杂，设计时间长，并且同种特征组合不一定适用于所有的场景，不具有高效性。总的来说，传统的SAR图像目标检测方法存在许多难以攻破的问题。
许多研究者开始研究机器学习算法，如SVM(Support Vector Machine)AdaBoost(Adaptive Boosting)等，来进行SAR图像目标检测。虽然机器学习算法与传统目标检测方法相比，检测效果有一定的提升，但它们仅适用于小样本情况，难以设计具有高泛化能力的特征。
近年来，深度学习算法迅速发展，广泛应用于许多领域。深度学习目标检测算法主要分为两阶段检测与单阶段检测两大类，其中前者的检测过程是“由粗到细”的过程，而后者的检测过程为“一步完成”。在两阶段检测算法中：Girshick等人提出了R-CNN(Region-Convolution Neural Network)，它首先从先验框中提取出候选框、然后对候选框做进一步筛选得到最终预测结果，但是R-CNN的检测速度很低。2014年，He等人提出了SPP-net(Spatial Pyramid Pooling-net)，SPPNet的主要贡献是引入了空间金字塔池(SPP)层，有效地提高了检测速度。2015年，Girshick[25]在R-CNN和SPP-net的基础上进一步改进，提出了Fast R-CNN，检测精度和速度都大幅度提升。Ren等人在Fast R-CNN基础上提出FasterR-CNN，Faster R-CNN的主要贡献是引入了RPN(Region Proposal Network)网络，实现了网络的端到端训练。2017年，He等人又提出了Mask R-CNN，不仅提升了目标检测效果，还使得算法能满足语义分割任务的精度要求。2015年，R.Joseph等人提出了YOLO算法，它是第一个一阶段深度学习目标检测算法，与二阶段检测算法相比，大大地提高了检测速度，但是检测精度有所下降。后来，R.Joseph在YOLO算法地基础上做了一系列改进，提出了v2和v3版本，在保证检测速度的前提下提升了检测精度。Liu等人在YOLO的基础上引入了特征金字塔网络(FPN)，提出了SSD(Single Shot multibox Detector)目标检测算法。SSD达到了和两阶段方法相当的精度，并且检测速度较快。2019年，Mingxing Tan等人提出了Efficientdet，它引入了weighted bi-directional feature pyramid network(BIFPN)和复合缩放的方法，显著提高了网络的检测效率。2020年，Alexey Bochkovskiy等人提出了YOLOv4算法，与之前的版本相比，YOLOv4在检测速度和精度上都有所提升。
随着深度学习目标检测技术和合成孔径雷达成像技术的发展，许多学者使用深度学习算法对SAR图像进行目标检测，与传统SAR图像目标检测方法和机器学习算法相比，具有更高的检测精度和更短的测试时间，取得了很大的研究进展。飞机目标具有尺寸小，形态多样，分布密集等特点，与跑道，桥梁建筑物等目标检测相比难度更大，因此，飞机目标检测是SAR图像目标检测中的难点。WANG Siyu等人提出了改进的显著性预检测方法，从而实现SAR图像候选飞机目标多快速粗定位；然后使用CNN(Convolutional Neural Network)，实现对候选目标的精确检测，检测效果较好，但是测试时间较长。GUO Qian等人采用了一种自适应鉴别算子的机场检测算法，首先精确地提取机场区域，然后再将散射信息与深度学习融合进行飞机目标检测。机场检测算法有利于快速定位机场区域，减少计算量，提升算法效率，但是采用的机场检测算法为传统算法，对于高分辨率图像，机场区域提取时间长，而且该框架不能完全自动地进行飞机检测。Siyu Tan等人提出了机场检测算法GCAM，先对SAR图像进行下采样，然后使用GCAM网络对下采样后的图像进行检测，再使用坐标映射和上采样得到精确的机场区域，不仅精度高，而且测试时间短。
但是，针对SAR图像飞机目标尺寸小，形态各异，背景复杂等问题，现有技术都普遍存在准确度不足、虚警率高的问题。
发明内容
本发明要解决的技术问题：针对现有技术的上述问题，提供一种面向SAR图像的飞机目标自动检测方法及系统，本发明能够快速和精确地定位机场区域，显著地降低了飞机检测的虚警率，而且减少了后续飞机检测的计算量，飞机检测精度和速度上均表现较好。
为了解决上述技术问题，本发明采用的技术方案为：
一种面向SAR图像的飞机目标自动检测方法，包括：
1)针对机场SAR图像进行机场检测，得到机场掩膜和机场矩形轮廓；
2)针对机场SAR图像的机场矩形轮廓进行飞机检测，得到无掩膜的飞机检测结果；
3)针对无掩膜的飞机检测结果使用机场掩膜去除虚警，得到最终的飞机检测结果。
可选地，步骤1)包括：针对机场SAR图像首先进行下采样，然后使用卷积神经网络CNN提取机场区域，再将提取得到的机场区域通过坐标映射和上采样得到机场SAR图像的机场掩膜，最后根据机场掩膜得到机场的矩形轮廓。
可选地，步骤2)包括：
2.1)针对机场SAR图像的机场矩形轮廓，使用高效加权特征融合与注意力网络EWFAN以滑窗的方式进行飞机检测，得到初步的飞机检测结果；
2.2)使用坐标映射，将滑窗的每个窗口中飞机目标的坐标转换成它在原机场SAR图像中的坐标，得到原机场SAR图像的初步飞机检测结果；
2.3)过滤重叠框，得到无掩膜的飞机检测结果。
可选地，所述高效加权特征融合与注意力网络EWFAN包括：
主干网络和下采样网络，用于提取机场SAR图像的机场矩形轮廓的五层特征图；
加权特征融合与空间注意模块，用于提取五层特征图得到五层有效特征层；
分类回归网络，用于在五层有效特征层中的每一个有效特征层的每一个网格上生成多个尺寸和长宽比不同的框，然后对每一个有效特征层中的先验框进行分类与回归来预测结果。
可选地，所述加权特征融合与空间注意模块包括：
加权双向特征金字塔网络BIFPN，包括从下往上的五层，第1层P3层将输入的特征图P3与第2～5层自上而下的融合特征图融合后输出特征图P3'，第2层P4层将输入的特征图P4与第3～5层自上而下的融合特征图融合、再与特征图P3'融合输出特征图P4'，第3层P5层将输入的特征图P5与第4～5层自上而下的融合特征图融合后、再与特征图P5、特征图P4'融合输出特征图P5'，第4层P6层将输入的特征图P6与第5层的特征图P7再融合后、再与特征图P6、特征图P5'融合输出特征图P6'，第6层P7层将输入的特征图P7与特征图P6'融合输出特征图P7'，且加权双向特征金字塔网络BIFPN中移除了只有一个输入来源的点；
自适应有效的特征融合模块ASFF，包括ASFF-1模块、ASFF-2模块和ASFF-3模块，其中ASFF-1模块对应加权双向特征金字塔网络BIFPN的P5层，ASFF-2模块对应加权双向特征金字塔网络BIFPN的P4层，ASFF-3模块对应加权双向特征金字塔网络BIFPN的P3层，且ASFF-1模块、ASFF-2模块和ASFF-3模块分别将第1～3层输入的特征图作为输出；ASFF-1模块、ASFF-2模块和ASFF-3模块中任意第i个模块ASFF-i的处理步骤包括：(1)将输入的第1～3层输入的特征图调整尺寸为相同大小；(2)将调整后的三张特征图分别进行1×1卷积操作将通道数由原来的64降维到16，然后再将三张特征图拼接在一起，得到一个通道数为48的特征层；(3)将通道数为48的特征层进行1×1卷积操作将通道数降维到3，最后通过softmax激活函数以归一化，得到最终的权重α3，β3和γ3，将权重α3，β3和γ3分别与调整尺寸为相同大小的特征图相乘再相加，就得到了新的融合特征ASFF-i。
剩余空间注意模块RSAM，与加权双向特征金字塔网络BIFPN的第4、5层一一对应，用于在通道维度上对特征图分别进行平均池化和最大池化操作，由原来的一层通道数为64的特征图变为两张通道数为1的中间特征图，再将这两个结果做连接操作，然后经过一个卷积操作，将通道数降维到1维，接下来经过sigmoid函数进行归一化，得到空间注意力特征权重，然后将空间注意力特征权重与输入相乘，再进行跳跃连接，最后使用激活函数relu激活得到最终的结果。
可选地，所述分类回归网络包括分类网络ClassNet和预测框网络BoxNet，类网络ClassNet采用3次64通道的卷积和1次n_b×n_c的卷积，n_b指的是该特征层所拥有的先验框数量，n_c指的是网络目标检测类别数，用于预测每一个预测框的类别；预测框网络BoxNet采用3次64通道的卷积和1次n_b x 4的卷积，用于预测每一个先验框的回归情况。
可选地，所述高效加权特征融合与注意力网络EWFAN在训练阶段时，损失函数采用CIF损失函数，所述CIF损失函数为CIOU损失函数与focal损失函数两者的结合。
可选地，所述CIF损失函数的函数表达式为：
LCIF＝Lfl+Lciou
Lfl＝-(1-pt)γlog(pt)
Figure BDA0002842416510000041
Figure BDA0002842416510000042
其中，LCIF表示CIF损失函数，Lfl为总分类损失，Lciou为总回归损失，pt为中间变量，y是标签值，正样本的标签值y为1，p是类别预测概率且取值在0-1之间，γ为可调参数，可调参数γ用于解决难易样本的不平衡，IOU为IOU损失函数，x和xt分别表示预测框B与真实框Bt的中心点，d(·)是欧氏距离，a是最小能覆盖预测框B与真实框Bt的对角线长度，μ是长宽比的权重函数，β为度量长宽比的相似性的参数。
此外，本发明还提供一种面向SAR图像的飞机目标自动检测系统，包括相互连接的微处理器和存储器，所述微处理器被编程或配置以执行所述面向SAR图像的飞机目标自动检测方法的步骤，或者所述存储器中存储有被编程或配置以执行所述面向SAR图像的飞机目标自动检测方法的计算机程序。
此外，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有被编程或配置以执行所述面向SAR图像的飞机目标自动检测方法的计算机程序。
和现有技术相比，本发明具有下述优点：
1、由于飞机只分布在机场区域，如果直接在SAR图像上进行飞机检测，检测结果的虚警率较高，因此本发明引入机场检测算法，可以快速和精确地定位机场区域，显著地降低了飞机检测的虚警率，而且减少了后续飞机检测的计算量。
2、本发明针对机场SAR图像的机场矩形轮廓进行飞机检测，得到无掩膜的飞机检测结果；针对无掩膜的飞机检测结果使用机场掩膜去除虚警，得到最终的飞机检测结果。得到初步飞机检测结果后，使用机场掩膜去除虚警，在一定程度上降低了检测结果的虚警率。
3、针对机场SAR图像的机场矩形轮廓进行飞机检测，本发明进一步提出了使用高效加权特征融合与注意力网络EWFAN(Efficient Weighted Feature Fusion andAttention Network)以滑窗的方式进行飞机检测，它有效地整合了加权特征融合模块和空间注意力机制，并且引入了CIF损失函数，EWFAN属于轻量型网络，它在检测精度和速度上均表现较好，并且也可以用于其他SAR图像目标的检测。
附图说明
图1为本发明实施例方法的基本流程示意图。
图2为本发明实施例方法的基本原理示意图。
图3为本发明实施例中进行机场检测的原理示意图。
图4为本发明实施例中进行飞机检测的原理示意图。
图5为本发明实施例中高效加权特征融合与注意力网络EWFAN的结构示意图。
图6为本发明实施例中加权双向特征金字塔网络BIFPN的结构示意图。
图7为本发明实施例中自适应有效的特征融合模块ASFF的结构示意图。
图8为本发明实施例中剩余空间注意模块RSAM的结构示意图。
图9为本发明实施例中分类回归网络结构与先验框生成示意图。
图10为现有IOU损失函数存在的技术问题分析。
图11为本发明实施例中采用NMS过滤的原理示意图。
图12为本发明实施例中飞机目标检测结果对比示意图。
图13为本发明实施例中针对机场1的飞机检测结果。
图14为本发明实施例中针对机场2的飞机检测结果。
图15为本发明实施例中针对机场3的飞机检测结果。
具体实施方式
如图1和图2所示，本实施例面向SAR图像的飞机目标自动检测方法包括：
1)针对机场SAR图像进行机场检测，得到机场掩膜和机场矩形轮廓；
2)针对机场SAR图像的机场矩形轮廓进行飞机检测，得到无掩膜的飞机检测结果；
3)针对无掩膜的飞机检测结果使用机场掩膜去除虚警，得到最终的飞机检测结果。
本实施例中，使用机场检测算法得到机场掩膜和矩形轮廓，这样可以快速和精确地定位机场区域，减少了后续飞机检测的计算量，而且显著地降低了飞机检测的虚警率。
由于传统的机场检测算法对于高分辨SAR图像的机场提取时间较长，而且不能实现自动提取，作为一种可选的实施方式，如图3所示，本实施例中步骤1)包括：针对机场SAR图像首先进行下采样(这样可以减少机场提取的时间)，然后使用卷积神经网络CNN提取机场区域，再将提取得到的机场区域通过坐标映射和上采样得到机场SAR图像的机场掩膜，最后根据机场掩膜得到机场的矩形轮廓，因此检测飞机时，只需在机场矩形轮廓中进行检测。
如图4所示，本实施例步骤2)包括：
2.1)针对机场SAR图像的机场矩形轮廓，使用高效加权特征融合与注意力网络EWFAN以滑窗的方式进行飞机检测，得到初步的飞机检测结果；
2.2)使用坐标映射，将滑窗的每个窗口中飞机目标的坐标转换成它在原机场SAR图像中的坐标，得到原机场SAR图像的初步飞机检测结果；
2.3)过滤重叠框，得到无掩膜的飞机检测结果。
本实施例中在得到机场的矩形轮廓后，我们先在机场矩形框内以滑窗的方式检测飞机，窗口尺寸与数据集中图片的尺寸相同，并且相邻的窗口会有20％的重叠，这样可以保证每个区域都能被完整地检测到。然后我们使用坐标映射，将每个窗口中飞机目标的坐标转换成它在原图中的坐标，得到原始SAR图像的初步飞机检测结果。由于滑窗有一定的重叠率，因此会导致重叠框的出现，这里我们使用NMS算法过滤重叠框以得到最终检测结果。
如图5所示，本实施例中高效加权特征融合与注意力网络EWFAN包括：
主干网络和下采样网络，用于提取机场SAR图像的机场矩形轮廓的五层特征图；
加权特征融合与空间注意模块(Weighted Feature Fusion and SpatialAttention Module，简称WFAM)，用于提取五层特征图得到五层有效特征层；
分类回归网络，用于在五层有效特征层中的每一个有效特征层的每一个网格上生成多个尺寸和长宽比不同的框，然后对每一个有效特征层中的先验框进行分类与回归来预测结果。
Efficientdet是谷歌大脑团队Mingxing Tan等人提出的一种高效的目标检测网络，它将Efficientnet同样由该团队提出)和新提出的weighted bi-directional featurepyramid network(BIFPN)结合起来，与精度相近的目标检测算法相比，做到了用更少的参数计算量达到了更高的精度。它将Efficientnet作为主干网络，输入图像通过主干网络和下采样得到五层特征图。然后将将五层特征图分别输入BIFPN中，经过两层BIFPN层后，得到五层有效特征层。再通过分类回归网络来预测结果，最后使用NMS算法得到最终预测结果。Efficientdet算法的检测速度较快，但是检测结果的虚警率较高，因此仍有较大的提升空间。本实施例中高效加权特征融合与注意力网络EWFAN基于EfficientDet-d0框架实现，继续使用Efficientnet作为主干网络，输入图像经过主干网络与下采样后，得到五层尺寸不同的特征图，尺寸分别为64×64，32×32，16×16，8×8，4×4。然后，我们在将五层特征图分别输入加权特征融合与空间注意模块WFAM中，得到五层有效特征层。加权特征融合与空间注意模块WFAM由BiFPN，ASFF和RSAM构成，BiFPN和ASFF对特征图进行加权特征融合，其中，ASFF更加关注空间信息融合，并且有效抑制负样本的干扰，RSAM将SAM与残差连接方法结合，可以高效地提取空间特征，并且与原始SAM相比，提高了网络的性能和收敛速度。接着网络会在每一个有效特征层的每一个网格上生成9个尺寸和长宽比不同的框，然后在分类回归网络中对每一个有效特征层中的先验框进行分类与回归来预测结果，在训练阶段，我们提出了CIF损失函数，CIF损失函数将CIOU LOSS与focal loss结合，不仅提升了目标回归的稳定性与精度，而且加快了收敛速度。在测试阶段，我们使用NMS算法对先验框进行筛选，最后得到预测结果。
如图5所示，加权特征融合与空间注意模块WFAM包括：
加权双向特征金字塔网络BIFPN(weighted bi-directional feature pyramidnetwork)，如图6所示，包括从下往上的五层，第1层P3层将输入的特征图P3与第2～5层自上而下的融合特征图融合后输出特征图P3'，第2层P4层将输入的特征图P4与第3～5层自上而下的融合特征图融合、再与特征图P3'融合输出特征图P4'，第3层P5层将输入的特征图P5与第4～5层自上而下的融合特征图融合后、再与特征图P5、特征图P4'融合输出特征图P5'，第4层P6层将输入的特征图P6与第5层的特征图P7再融合后、再与特征图P6、特征图P5'融合输出特征图P6'，第6层P7层将输入的特征图P7与特征图P6'融合输出特征图P7'，且加权双向特征金字塔网络BIFPN中移除了只有一个输入来源的点；加权双向特征金字塔网络BIFPN是Efficientdet中高效的双向特征金字塔算法。与Efficientdet-D0不同的是，在WFAM中BIFPN只有一层，用于对特征图进行初步特征融合。BIFPN网络的结构如图6所示。BIFPN以FPN为基础进行了一系列改进:(1)BIFPN不仅有自上而下的融合，也有自下而上的融合，这样可以更好地融合特征的语义信息与空间信息。(2)BIFPN移除了只有一个输入来源的点，这样能在基本不影响精度的前提下提高效率。(3)使用快速正则化的方法进行简单的加权融合，可以使网络快速学习有用特征。(4)BIFPN在中间三层特征融合中加入了跳跃连接，将每层的原始特征图与输出相加，这样可以融合更多的特征。
自适应有效的特征融合模块ASFF(Adaptively Efficient Feature Fusion)，如图7所示，包括ASFF-1模块、ASFF-2模块和ASFF-3模块，其中ASFF-1模块对应加权双向特征金字塔网络BIFPN的P5层，ASFF-2模块对应加权双向特征金字塔网络BIFPN的P4层，ASFF-3模块对应加权双向特征金字塔网络BIFPN的P3层，且ASFF-1模块、ASFF-2模块和ASFF-3模块分别将第1～3层输入的特征图作为输出；ASFF-1模块、ASFF-2模块和ASFF-3模块中任意第i个模块ASFF-i的处理步骤包括：(1)将输入的第1～3层输入的特征图调整尺寸为相同大小；(2)将调整后的三张特征图分别进行1×1卷积操作将通道数由原来的64降维到16，然后再将三张特征图拼接在一起，得到一个通道数为48的特征层；(3)将通道数为48的特征层进行1×1卷积操作将通道数降维到3，最后通过softmax激活函数以归一化，得到最终的权重α3，β3和γ3，将权重α3，β3和γ3分别与调整尺寸为相同大小的特征图相乘再相加，就得到了新的融合特征ASFF-i。
其中步骤(1)将输入的第1～3层输入的特征图调整尺寸为相同大小时，ASFF-1对应P5层，ASFF-2对应P4层，ASFF-3对应P3层。在ASFF-a中，与ASFF-a对应特征图b尺寸不变，将其他两层特征图调整为与特征图b相同大小。以ASFF-2为例，P4层尺寸不变，P3层特征图经过下采样，尺寸由64减小为32，得到P3_resized,P5层特征图经过上采样，尺寸由16增大为32，得到P5_resized,这样就将三张特征图的尺寸调整成了相同大小。其中，上采样使用插值的方法，下采样使用一个3×3卷积(步长为2)将尺寸减小为原来的一半，如果需要将尺寸减小为原来的1/4，则先使用2步最大池化层，再用2步卷积。
其中步骤(2)进行自适应融合时。继续以ASFF-2为例，首先,将调整后的三张特征图分别进行1×1卷积操作，将通道数由原来的64降维到16，然后三张特征图拼接在一起，这样就得到了一个通道数为48的特征层，再进行1×1卷积操作将通道数降维到3，最后通过softmax以归一化，得到最终的权重α3，β3和γ3，将权重α3，β3和γ3分别与P3_resized、P3_resized、P4相乘，然后将三个结果相加，就得到了新的融合特征ASFF-2。
新的融合特征计算方式与softmax归一化方式所示：
Figure BDA0002842416510000081
上式中，
Figure BDA0002842416510000091
表示表示通道之间输出特征图Wl的第(i,j)个向量，其中上标l表示所在特征图的层级，下标ij表示在输出特征图Wl上的位置为(i,j)，
Figure BDA0002842416510000092
表示特征图
Figure BDA0002842416510000093
调整为
Figure BDA0002842416510000094
相同尺寸后在位置(i,j)上的特征向量，
Figure BDA0002842416510000095
和
Figure BDA0002842416510000096
分别表示在位置(i,j)上三个不同级别对于l的空间重要性权重，
Figure BDA0002842416510000097
其中n为除l层级外的其它某一特征图；
Figure BDA0002842416510000098
其中，
Figure BDA0002842416510000099
分别为三个权重的控制参数。
Figure BDA00028424165100000910
和
Figure BDA00028424165100000911
使用上述相同的定义方式。
虽然BIFPN对特征图进行了初步特征融合，但是由于飞机目标尺寸大小差距大，而且形态各异，仅仅使用BIFPN的检测效果不理想。虽然检测结果中漏警偏少，但是虚警很多，这大大降低了检测结果的可靠性。因此本文引入了自适应有效的特征融合模块ASFF。自适应有效的特征融合模块ASFF通过对每张融合的特征图设置自学习的权重来进行加权融合，这种方法要优于直接衔接或者相加以及快速归一化融合等方式，可以有效抑制负样本的干扰，很好地解决了单阶段检测中不同特征尺度之间的不一致性地问题。另外，自适应有效的特征融合模块ASFF对网络参数量和测试速度影响很小。
剩余空间注意模块RSAM(Residual Spatial Attention Module)，如图8所示，与加权双向特征金字塔网络BIFPN的第4、5层一一对应，用于在通道维度上对特征图分别进行平均池化和最大池化操作，由原来的一层通道数为64的特征图变为两张通道数为1的中间特征图，再将这两个结果做连接操作，然后经过一个卷积操作，将通道数降维到1维，接下来经过sigmoid函数进行归一化，得到空间注意力特征权重，然后将空间注意力特征权重与输入相乘，再进行跳跃连接，最后使用激活函数relu激活得到最终的结果。本实施例引入的剩余空间注意模块RSAM，并在SAM的基础上加入跳跃连接，既能有效提取特征，又能提高网络鲁棒性与收敛速度。
本实施例中高效加权特征融合与注意力网络EWFAN基于EfficientDet-d0框架，并引入了自适应有效的特征融合模块ASFF和剩余空间注意模块RSAM对特征进行融合与提取，提出了Weighted Feature Fusion and Spatial Attention Module(WFAM)。与原始的BiFPN相比，WFAM可以更加有效的减少背景信息对飞机目标检测的干扰，提取有用的特征并抑制无用的特征，并且对网络的参数量和检测速度影响很小。本实施例中，加权特征融合与空间注意模块WFAM通过加权双向特征金字塔网络BIFPN可以对特征进行初步加权融合，自适应有效的特征融合模块ASFF可以增强飞机目标的显著性，抑制背景特征对于飞机目标检测的影响；另外，本实施例将SAM与残差结构相结合，提出了剩余空间注意模块RSAM，既能高效提取有用的特征，又能提高网络的鲁棒性。RSAM主要关注空间信息，在小目标检测中，由于目标尺寸小，在低分辨率特征图上的空间信息较少，因此，引入RSAM可以有效增强空间信息，从而提高小目标检测的效果。首先，我们在通道维度上对特征图分别进行平均池化和最大池化操作，由原来的一层通道数为64的特征图变为两张通道数为1的中间特征图，再将这两个结果做concat操作，然后经过一个卷积操作，将通道数降维到1维，接下来经过sigmoid进行归一化，得到空间注意力特征权重(spatial attention feature)，然后将空间注意力特征权重与输入相乘，再进行跳跃连接，最后使用relu激活函数，得到最终的结果。
数据通过高效加权特征融合与注意力网络EWFAN后，生成五层有效特征层，网络在每一层有效特征层上生成大量先验框，其中，每一层的每一个网格点预先生成9个先验框，分类回归网络具体结构与先验框生成如图9所示。分类回归网络包括分类网络ClassNet和预测框网络BoxNet，类网络ClassNet采用3次64通道的卷积和1次n_b×n_c的卷积，n_b指的是该特征层所拥有的先验框数量，n_c指的是网络目标检测类别数，用于预测每一个预测框的类别；预测框网络BoxNet采用3次64通道的卷积和1次n_b×4的卷积，用于预测每一个先验框的回归情况。本实施例中，根据数据集中飞机目标的长宽比分布，我们将先验框的长宽比改为0.6，1.12，1.57三种，与原始长宽比相比可在一定程度上提高网络的检测精度。
在训练阶段，本实施例中使用损失函数来计算网络预测的结果与真实值的差距程度，再使用优化器optimizer减小模型输出值与真实标签之间的差异。
传统IOU损失函数定义如下：
Figure BDA0002842416510000101
Liou＝1–IOU
其中，B表示预测框，Bt表示真实框。
显然，在传统的IOU loss中，回归损失只考虑了预测框与真实框的交并比，这样会导致很多问题，从而影响网络训练与测试效果。图10描述了在不同情况下，IOU LOSS相同的问题。(1)当两个框无交集时，很近的无交集框和很远的无交集框的输出一样，这样就失去了梯度方向，无法优化；(2)当预测框被真实框包含时，不同位置下具有相同面积的预测框与真实框的IOU相同，这样会导致预测框不准确等问题；(3)没有考虑两个框之间的长宽比，在飞机目标检测中，目标的形态各异，而且分布密集，甚至会出现两个真实框之间有小面积重叠的现象，因此不考虑长宽比会造成预测框不精确，分类错误等问题。CIOU损失函数针对IOU损失函数的缺点进行了改进，可以在一定程度上提高飞机目标检测的精度。它将回归损失与其相关系数定义如下：
Figure BDA0002842416510000102
Figure BDA0002842416510000111
Figure BDA0002842416510000112
其中，x和xt分别表示B和Bt中心点，d(·)是欧氏距离，a是最小能覆盖B与Bt的对角线长度，μ是长宽比的权重函数，而β用来度量长宽比的相似性.w和wt分别表示B和Bt的宽度，h和ht分别表示B和Bt的高度。惩罚项d2(x,xt)/a2考虑了预测框与真实框之间的中心距离，不仅解决了两个框无交集时没有梯度方向的问题，还能在两个框有交集时减小两个框的中心点距离。μβ惩罚项考虑了预测框与真实框的长宽比的差异性，可以使预测框的长宽比更接近真实框的长宽比。
本实施例中，高效加权特征融合与注意力网络EWFAN在训练阶段时，损失函数采用CIF损失函数，CIF损失函数为CIOU损失函数与focal损失函数两者的结合，可以在一定程度上提高网络的回归精度以及鲁棒性，进一步提升了网络的飞机检测效果，可以在一定程度上提高飞机目标检测的精度。本实施例中，CIF损失函数的函数表达式为：
LCIF＝Lfl+Lciou
Lfl＝-(1-pt)γlog(pt)
Figure BDA0002842416510000113
Figure BDA0002842416510000114
其中，LCIF表示CIF损失函数，Lfl为总分类损失，Lciou为总回归损失，pt为中间变量，y是标签值，正样本的标签值y为1，p是类别预测概率且取值在0-1之间，γ为可调参数，可调参数γ用于解决难易样本的不平衡，IOU为IOU损失函数，x和xt分别表示预测框B与真实框Bt的中心点，d(·)是欧氏距离，a是最小能覆盖预测框B与真实框Bt的对角线长度，μ是长宽比的权重函数，β为度量长宽比的相似性的参数。
在测试阶段，一个目标上会生成多个置信度不同的预测框，这样会在很大程度上影响检测效果。因此，我们使用NMS算法对预测框进行筛选，保留最优的预测框，删除这个目标上所有其余的预测框，使得每一个目标只对应一个预测框，这样可以有效的减少虚警的数量。首先，我们将检测图像上的所有预测框按照置信度由高到低排序，找出置信度最高的框A。然后计算图像上其他所有的预测框与A的IOU，判断他们的IOU是否大于设定的IOU阈值(一般在0-0.5之间，本实施例中设定为0.5)，如果大于阈值，则删除，否则保留。然后继续找出其余的预测框中置信度最大的框，不断重复以上步骤，直到每个检测到的目标只对应一个预测框。NMS算法的简单示意图如图11所示。得到初步飞机检测结果后，我们使用机场掩膜去除跑道外的预测框，可以进一步降低虚警率。在图11中，总共有6个预测框，首先对它们的置信度进行排序，得到置信度最高的框A，然后将与A框IOU高于阈值的B框和C框去除，再找出剩余的框中除A框之外置信度最高的D框，最后将与D框IOU高于阈值的两个框去除，得到最终结果。在本文的飞机检测算法中，由于飞机目标很密集而且有时会有小面积重叠，因此将IOU阈值设定为0.5。
在本实施例中，实验中使用的数据是Gaofen-3系统获得的1m分辨率SAR图像。我们使用了多张包含机场与飞机的图像及进行了训练与测试。首先，我们使用RSlabel工具在SAR图像上标记样本中的飞机，分为两类：背景和飞机，然后利用生成的标签文件与原始SAR图像，使用python程序自动生成数据集，数据集包含尺寸为500×500的5480个飞机切片与他们对应的标签文件。另外，训练集与验证集的比例为4:1，我们使用了三个机场的SAR图像进行了飞机检测。为了验证本实施例中方法的有效性，本实施例中使用检测率(DR)、虚警率(FAR)、漏警率(MAR)、虚警个数(F)和漏警个数(M)五个评价指标来衡量网络的效果。其中，检测率表示网络正确检测到的飞机目标数量与标签中飞机目标数量(L)之比，虚警率是虚警个数与网络检测出的飞机目标个数(S)之比,漏检率则是漏警个数和标签中飞机目标数量之比。具体计算公式如下：
Figure BDA0002842416510000121
在本实施例中，我们将使用机场检测算法的飞机目标检测结果与未使用的检测结果进行对比，如图12所示，其中(a)为未使用机场检测得到的测试结果，(b)为机场掩膜图，(c)为使用机场检测算得到的测试结果，我们将多张SAR图像上的测试结果综合起来，进行了详细的性能比较，如表1和表2所示。通过实验结果可以看出，使用本实施例中提出的机场检测算法后，飞机目标检测算法的虚警率显著降低。图12中，我们展示了两个场景下使用机场检测算法的飞机测试结果与未使用机场检测算法的测试结果。可以看出，未使用机场检测算法时有4个虚警，使用机场检测算法后没有虚警。因此，使用机场检测算法后飞机检测的虚警均有明显减少。
表1：机场检测算法效果对比。
检测率 虚警率 漏警率 虚警个数 漏警个数
Efficientdet(raw) 97.7％ 30.6％ 2.6％ 130 8
Efficientdet(mask) 96.4％ 11.8％ 3.6％ 39 11
表2：网络机场检测算法效果对比。
检测率 虚警率 漏警率 虚警个数 漏警个数
EWFAN(raw) 97.4％ 7.2％ 2.6％ 23 8
EWFAN(mask) 95.4％ 3.3％ 4.6％ 10 14
在表1和表2中，Efficientdet(raw)表示未使用机场检测算法和掩膜，Efficientdet(mask)表示使用机场检测算法和掩膜。可以看出，对于Efficientdet网络，使用机场检测算法和掩膜后，虚警减少了18.8％，但是漏警率增加了1％，漏警率稍有增加的原因是有几个飞机目标不在跑道内，因此使用掩膜后它们被去除了。对于本实施例中的高效加权特征融合与注意力网络EWFAN，使用机场检测算法和掩膜后，虚警降低到了3.3％。综合两个网络的对比结果我们发现，使用机场检测算法和掩膜去除虚警后，虚警率会大大较少另外，虽然使用掩膜筛选虚警会导致漏警率有小幅度增加，但是虚警率有明显降低，因此，对于网络整体飞机检测效果的提升仍有一定作用。
机场1的飞机目标都偏小，并且飞机周围有很多与飞机目标相似的物体会对飞机检测造成干扰，从而使飞机检测的虚警增多，另外机场1中飞机分布很密集，甚至有些目标框会有小面积重叠，这也增大了检测的难度。机场1的尺寸为12000×14400，图13展示了机场3中的各个网络的飞机检测结果。图13(a)是分辨率为1-m的高分3系统的SAR图像；图13(b)是(a)的机场掩膜和矩形轮廓；图13(c)是(a)的飞机目标标签；图13(d)-(f)分别展示了Efficientdet算法，YOLOv4算法和EWFAN算法的检测结果，其中绿色框代表正确检测的飞机，红色的框代表虚警，黄色的框代表的是漏警。对于整张图像，EWFAN算法的检测结果只有一个虚警；YOLOv4的检测结果中出现了6个虚警，Efficientdet算法的检测结果最差，出现了9个虚警，与EWFAN算法相比虚警个数显著增加。YOLOv4和Efficientdet均不能很好地提取飞机目标的特征以及抑制与正样本相似的负样本的干扰，在本实施例中的高效加权特征融合与注意力网络EWFAN中，本实施例中的高效加权特征融合与注意力网络EWFAN可以很好地增强正样本地显著性，并且抑制负样本的干扰，所以检测结果中虚警很少。
机场2的飞机非常小，但是由于飞机目标总数较少而且整体背景信息干扰较少，机场2的飞机检测效果是三个机场中最好的。机场2的尺寸为9600×9600。图14(a)-(f)是与图13类型相同的图像。图14展示了机场2中的各个网络的飞机检测结果。由图14可知，三个网络的检测结果中都没有漏警，但是Efficientdet算法有一个虚警，YOLOv4算法有两个很小的虚警，本实施例中的高效加权特征融合与注意力网络EWFAN没有虚警。本实施例中的高效加权特征融合与注意力网络EWFAN的CIF损失函数和本实施例中的高效加权特征融合与注意力网络EWFAN都能有效检测虚警，从而使检测效果优于Efficientdet和YOLOv4。
机场3的背景较复杂，有很多建筑物等背景的干扰，因此存在虚警的可能性较大。机场3图像的尺寸为14400×16800，图15(a)-(f)是与图13类型相同的图像。从整体的检测结果来看，本实施例中的高效加权特征融合与注意力网络EWFAN、YOLOv4、Efficientdet的检测率都很高，但是虚警率差别较大。我们可以发现本实施例中的高效加权特征融合与注意力网络EWFAN的检测结果最好，在细节图中只有一个虚警，并且没有漏警。Efficientdet算法的检测结果最差，它具有较多虚警，并且预测框不精确，说明Efficientdet算法的回归精度较低，本实施例中的高效加权特征融合与注意力网络EWFAN引入CIF损失函数，很好地解决了这个问题。
表3展示了使用机场检测算法和掩膜去除虚警时，不同网络的SAR图像飞机检测结果。综合三个机场的结果分析，Efficientdet,YOLOv4,和本实施例中提出的算法的检测率相似，三者的检测率都在95％以上。然而，它们的虚警率差别很大，Efficientdet，YOLOv4和本实施例中的高效加权特征融合与注意力网络EWFAN的总虚警率分别为11.8％，7.6％和3.3％，Efficientdet的虚警率最高，说明Efficientdet的飞机检测能力较差，与Efficientdet相比，YOLOv4的虚警率有所降低，但是仍然高于本实施例中的高效加权特征融合与注意力网络EWFAN，说明本实施例中的高效加权特征融合与注意力网络EWFAN可以很好的增强目标的显著性和抑制背景信息的干扰。结合表1和表3可知，本实施例中提出的飞机检测框架与未使用机场检测算法和使用掩膜去除虚警的Efficientdet网络相比，漏警率几乎不变，虚警率减少了27.3％，表明本实施例中提出的飞机检测框架可以显著提升整体的检测效果。
表3不同网络SAR图像飞机检测结果对比。
Figure BDA0002842416510000141
表4和表5分别展示了使用机场检测算法前后的不同网络测试时间，未使用机场检测算法时，Efficientdet，YOLOv4和本实施例中的高效加权特征融合与注意力网络EWFAN平均测试时间分别为18.20s，15.91s和18.58s。其中，与Efficientdet相比，本实施例中的高效加权特征融合与注意力网络EWFAN测试时间只增加了0.38s，几乎可以忽略。使用机场检测算法后，Efficientdet，YOLOv4和本实施例中的高效加权特征融合与注意力网络EWFAN平均测试时间分别为7.37s，6.77s和7.51s，说明机场检测算法缩短了测试时间。由表6可知，机场区域平均提取时间为7.89s，对于本实施例中的高效加权特征融合与注意力网络EWFAN，使用机场提取算法的整个框架平均运行时间为15.4s,与未使用机场提取算法相比，缩短了3.18s，这说明本实施例中提出的SAR图像飞机检测框架不仅能显著提升检测效果，而且在一定程度上缩短了运行时间，具有一定的高效性。
表4不同网络SAR图像飞机检测测试时间对比(未使用机场检测算法)
网络 机场1 机场2 机场3 平均
Efficientdet 17.97s 8.89s 27.75s 18.20s
YOLOv4 15.61s 8.09s 24.04s 15.91s
EWFAN(本实施例) 18.21s 9.03s 28.50s 18.58s
表5不同网络SAR图像飞机检测测试时间对比(使用机场检测算法)
网络 机场1 机场2 机场3 平均
Efficientdet 5.19s 4.39s 12.52s 7.37s
YOLOv4 4.80s 4.17s 11.35s 6.77s
EWFAN(本实施例) 5.32s 4.46s 12.74s 7.51s
表6 SAR图像机场提取时间
机场1 机场2 机场3 平均
时间 7.6s 6.73s 9.33s 7.89s
综上所述，本实施例面向SAR图像的飞机目标自动检测方法将机场检测算法与EWFAN算法和掩膜去除虚警的方法结合，大大提升了飞机检测效果，并且几乎不影响测试时间，该技术对于工程应用很有帮助。机场检测算法可以快速定位机场区域，得到机场掩膜和机场矩形轮廓，显著地减少了飞机检测的计算量与虚警率，掩膜去除虚警地方法可以进一步地降低飞机检测虚警率。与Efficientdet和YOLOv4相比，本实施例中的高效加权特征融合与注意力网络EWFAN在SAR图像上进行飞机检测更具优势。我们提出了WFAM模块和CIFloss。本实施例中的高效加权特征融合与注意力网络EWFAN用于对特征图进行自适应加权融合与提取，可以增强有用特征，抑制无用特征，从而达到去除虚警的目的；CIF损失函数可以进一步降低虚警率，并且可以使预测框更贴近飞机目标。然而，我们还注意到，尽管本实施例中的高效加权特征融合与注意力网络EWFAN的虚警率很低，但是漏警率与Efficientdet和YOLOv4几乎一样，因此这也是我们以后需要研究的方向。本实施例面向SAR图像的飞机目标自动检测方法的虚警率和漏警率都很低，并且三个机场的平均运行时间只需15.4s，这说明该框架具有一定的高效性，本实施例面向SAR图像的飞机目标自动检测方法可以自动且高效地检测飞机，并且对其他类型的飞机目标同样适用，这对工程应用很有帮助。
此外，本实施例还提供一种面向SAR图像的飞机目标自动检测系统，包括相互连接的微处理器和存储器，所述微处理器被编程或配置以执行前述面向SAR图像的飞机目标自动检测方法的步骤，或者所述存储器中存储有被编程或配置以执行前述面向SAR图像的飞机目标自动检测方法的计算机程序。
此外，本实施例还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有被编程或配置以执行前述面向SAR图像的飞机目标自动检测方法的计算机程序。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种面向SAR图像的飞机目标自动检测方法，其特征在于，包括：
1)针对机场SAR图像进行机场检测，得到机场掩膜和机场矩形轮廓；
2)针对机场SAR图像的机场矩形轮廓进行飞机检测，得到无掩膜的飞机检测结果；
3)针对无掩膜的飞机检测结果使用机场掩膜去除虚警，得到最终的飞机检测结果。
2.根据权利要求1所述的面向SAR图像的飞机目标自动检测方法，其特征在于，步骤1)包括：针对机场SAR图像首先进行下采样，然后使用卷积神经网络CNN提取机场区域，再将提取得到的机场区域通过坐标映射和上采样得到机场SAR图像的机场掩膜，最后根据机场掩膜得到机场的矩形轮廓。
3.根据权利要求1所述的面向SAR图像的飞机目标自动检测方法，其特征在于，步骤2)包括：
2.1)针对机场SAR图像的机场矩形轮廓，使用高效加权特征融合与注意力网络EWFAN以滑窗的方式进行飞机检测，得到初步的飞机检测结果；
2.2)使用坐标映射，将滑窗的每个窗口中飞机目标的坐标转换成它在原机场SAR图像中的坐标，得到原机场SAR图像的初步飞机检测结果；
2.3)过滤重叠框，得到无掩膜的飞机检测结果。
4.根据权利要求3所述的面向SAR图像的飞机目标自动检测方法，其特征在于，所述高效加权特征融合与注意力网络EWFAN包括：
主干网络和下采样网络，用于提取机场SAR图像的机场矩形轮廓的五层特征图；
加权特征融合与空间注意模块，用于提取五层特征图得到五层有效特征层；
分类回归网络，用于在五层有效特征层中的每一个有效特征层的每一个网格上生成多个尺寸和长宽比不同的框，然后对每一个有效特征层中的先验框进行分类与回归来预测结果。
5.根据权利要求4所述的面向SAR图像的飞机目标自动检测方法，其特征在于，所述加权特征融合与空间注意模块包括：
加权双向特征金字塔网络BIFPN，包括从下往上的五层，第1层P3层将输入的特征图P3与第2～5层自上而下的融合特征图融合后输出特征图P3′，第2层P4层将输入的特征图P4与第3～5层自上而下的融合特征图融合、再与特征图P3′融合输出特征图P4′，第3层P5层将输入的特征图P5与第4～5层自上而下的融合特征图融合后、再与特征图P5、特征图P4′融合输出特征图P5′，第4层P6层将输入的特征图P6与第5层的特征图P7再融合后、再与特征图P6、特征图P5′融合输出特征图P6′，第6层P7层将输入的特征图P7与特征图P6′融合输出特征图P7′，且加权双向特征金字塔网络BIFPN中移除了只有一个输入来源的点；
自适应有效的特征融合模块ASFF，包括ASFF-1模块、ASFF-2模块和ASFF-3模块，其中ASFF-1模块对应加权双向特征金字塔网络BIFPN的P5层，ASFF-2模块对应加权双向特征金字塔网络BIFPN的P4层，ASFF-3模块对应加权双向特征金字塔网络BIFPN的P3层，且ASFF-1模块、ASFF-2模块和ASFF-3模块分别将第1～3层输入的特征图作为输出；ASFF-1模块、ASFF-2模块和ASFF-3模块中任意第i个模块ASFF-i的处理步骤包括：(1)将输入的第1～3层输入的特征图调整尺寸为相同大小；(2)将调整后的三张特征图分别进行1×1卷积操作将通道数由原来的64降维到16，然后再将三张特征图拼接在一起，得到一个通道数为48的特征层；(3)将通道数为48的特征层进行1×1卷积操作将通道数降维到3，最后通过softmax激活函数以归一化，得到最终的权重α3，β3和γ3，将权重α3，β3和γ3分别与调整尺寸为相同大小的特征图相乘再相加，就得到了新的融合特征ASFF-i。
剩余空间注意模块RSAM，与加权双向特征金字塔网络BIFPN的第4、5层一一对应，用于在通道维度上对特征图分别进行平均池化和最大池化操作，由原来的一层通道数为64的特征图变为两张通道数为1的中间特征图，再将这两个结果做连接操作，然后经过一个卷积操作，将通道数降维到1维，接下来经过sigmoid函数进行归一化，得到空间注意力特征权重，然后将空间注意力特征权重与输入相乘，再进行跳跃连接，最后使用激活函数relu激活得到最终的结果。
6.根据权利要求4所述的面向SAR图像的飞机目标自动检测方法，其特征在于，所述分类回归网络包括分类网络ClassNet和预测框网络BoxNet，类网络ClassNet采用3次64通道的卷积和1次n_b×n_c的卷积，n_b指的是该特征层所拥有的先验框数量，n_c指的是网络目标检测类别数，用于预测每一个预测框的类别；预测框网络BoxNet采用3次64通道的卷积和1次n_b×4的卷积，用于预测每一个先验框的回归情况。
7.根据权利要求4所述的面向SAR图像的飞机目标自动检测方法，其特征在于，所述高效加权特征融合与注意力网络EWFAN在训练阶段时，损失函数采用CIF损失函数，所述CIF损失函数为CIOU损失函数与focal损失函数两者的结合。
8.根据权利要求7所述的面向SAR图像的飞机目标自动检测方法，其特征在于，所述CIF损失函数的函数表达式为：
LCIF＝Lfl+Lciou
Lfl＝-(1-pt)γlog(pt)
Figure FDA0002842416500000021
Figure FDA0002842416500000022
其中，LCIF表示CIF损失函数，Lfl为总分类损失，Lciou为总回归损失，pt为中间变量，y是标签值，正样本的标签值y为1，p是类别预测概率且取值在0-1之间，γ为可调参数，可调参数γ用于解决难易样本的不平衡，IOU为IOU损失函数，x和xt分别表示预测框B与真实框Bt的中心点，d(·)是欧氏距离，a是最小能覆盖预测框B与真实框Bt的对角线长度，μ是长宽比的权重函数，β为度量长宽比的相似性的参数。
9.一种面向SAR图像的飞机目标自动检测系统，包括相互连接的微处理器和存储器，其特征在于，所述微处理器被编程或配置以执行权利要求1～8中任意一项所述面向SAR图像的飞机目标自动检测方法的步骤，或者所述存储器中存储有被编程或配置以执行权利要求1～8中任意一项所述面向SAR图像的飞机目标自动检测方法的计算机程序。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有被编程或配置以执行权利要求1～8中任意一项所述面向SAR图像的飞机目标自动检测方法的计算机程序。
CN202011496837.1A 2020-12-17 一种面向sar图像的飞机目标自动检测方法及系统 Active CN112528896B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011496837.1A CN112528896B (zh) 2020-12-17 一种面向sar图像的飞机目标自动检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011496837.1A CN112528896B (zh) 2020-12-17 一种面向sar图像的飞机目标自动检测方法及系统

Publications (2)

Publication Number Publication Date
CN112528896A true CN112528896A (zh) 2021-03-19
CN112528896B CN112528896B (zh) 2024-05-31

Family

ID=

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112926534A (zh) * 2021-04-02 2021-06-08 北京理工大学重庆创新中心 一种基于变换域信息融合的sar图形船只目标检测方法
CN113128564A (zh) * 2021-03-23 2021-07-16 武汉泰沃滋信息技术有限公司 一种基于深度学习的复杂背景下典型目标检测方法及系统
CN113283475A (zh) * 2021-04-27 2021-08-20 南方电网数字电网研究院有限公司 目标检测方法、装置、设备和存储介质
CN113378763A (zh) * 2021-06-25 2021-09-10 长沙理工大学 一种面向sar图像的目标自动检测方法及系统
CN113536963A (zh) * 2021-06-25 2021-10-22 西安电子科技大学 基于轻量化yolo网络的sar图像飞机目标检测方法
CN113553667A (zh) * 2021-08-12 2021-10-26 东北大学 一种基于深度学习的飞机结构件设计方法
CN113567984A (zh) * 2021-07-30 2021-10-29 长沙理工大学 一种sar图像中人造小目标的检测方法及系统
CN114118124A (zh) * 2021-09-29 2022-03-01 北京百度网讯科技有限公司 图像检测方法和装置
CN114170421A (zh) * 2022-02-10 2022-03-11 青岛海尔工业智能研究院有限公司 图像检测方法、装置、设备及存储介质
CN115828154A (zh) * 2022-11-25 2023-03-21 中山大学 一种lpi雷达信号识别方法、系统、设备和存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5430445A (en) * 1992-12-31 1995-07-04 Raytheon Company Synthetic aperture radar guidance system and method of operating same
CN103914846A (zh) * 2014-04-10 2014-07-09 西安电子科技大学 基于三重判别随机场的sar图像分割方法
CN104833971A (zh) * 2015-04-15 2015-08-12 北京理工大学 基于滑动散射中心的双/多基地雷达图像ps点关联方法
US9146312B1 (en) * 2011-05-25 2015-09-29 Sandia Corporation Pre-processing SAR image stream to facilitate compression for transport on bandwidth-limited-link
WO2017218492A1 (en) * 2016-06-14 2017-12-21 The Trustees Of Columbia University In The City Of New York Neural decoding of attentional selection in multi-speaker environments
CN112084901A (zh) * 2020-08-26 2020-12-15 长沙理工大学 基于gcam的高分辨率sar图像机场跑道区自动检测方法及系统

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5430445A (en) * 1992-12-31 1995-07-04 Raytheon Company Synthetic aperture radar guidance system and method of operating same
US9146312B1 (en) * 2011-05-25 2015-09-29 Sandia Corporation Pre-processing SAR image stream to facilitate compression for transport on bandwidth-limited-link
CN103914846A (zh) * 2014-04-10 2014-07-09 西安电子科技大学 基于三重判别随机场的sar图像分割方法
CN104833971A (zh) * 2015-04-15 2015-08-12 北京理工大学 基于滑动散射中心的双/多基地雷达图像ps点关联方法
WO2017218492A1 (en) * 2016-06-14 2017-12-21 The Trustees Of Columbia University In The City Of New York Neural decoding of attentional selection in multi-speaker environments
CN112084901A (zh) * 2020-08-26 2020-12-15 长沙理工大学 基于gcam的高分辨率sar图像机场跑道区自动检测方法及系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
SIYU TAN 等: "Geospatial Contextual Attention Mechanism for Automatic and Fast Airport Detection in SAR Imagery", 《IEEE ACCESS》, vol. 8, 18 September 2020 (2020-09-18), pages 173627 - 173640, XP011811750, DOI: 10.1109/ACCESS.2020.3024546 *
王杰岚: "基于深度学习的SAR图像飞机目标自动检测算法研究", 《长沙理工大学 硕士学位论文》, 1 April 2022 (2022-04-01), pages 1 - 77 *
赵琰 等: "复杂环境大场景SAR图像飞机目标快速检测", 《电波科学学报》, vol. 35, no. 4, 31 August 2020 (2020-08-31), pages 594 - 602 *

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113128564A (zh) * 2021-03-23 2021-07-16 武汉泰沃滋信息技术有限公司 一种基于深度学习的复杂背景下典型目标检测方法及系统
CN112926534A (zh) * 2021-04-02 2021-06-08 北京理工大学重庆创新中心 一种基于变换域信息融合的sar图形船只目标检测方法
CN113283475A (zh) * 2021-04-27 2021-08-20 南方电网数字电网研究院有限公司 目标检测方法、装置、设备和存储介质
CN113378763A (zh) * 2021-06-25 2021-09-10 长沙理工大学 一种面向sar图像的目标自动检测方法及系统
CN113536963A (zh) * 2021-06-25 2021-10-22 西安电子科技大学 基于轻量化yolo网络的sar图像飞机目标检测方法
CN113536963B (zh) * 2021-06-25 2023-08-15 西安电子科技大学 基于轻量化yolo网络的sar图像飞机目标检测方法
CN113567984A (zh) * 2021-07-30 2021-10-29 长沙理工大学 一种sar图像中人造小目标的检测方法及系统
CN113567984B (zh) * 2021-07-30 2023-08-22 长沙理工大学 一种sar图像中人造小目标的检测方法及系统
CN113553667A (zh) * 2021-08-12 2021-10-26 东北大学 一种基于深度学习的飞机结构件设计方法
CN113553667B (zh) * 2021-08-12 2023-10-27 东北大学 一种基于深度学习的飞机结构件设计方法
CN114118124A (zh) * 2021-09-29 2022-03-01 北京百度网讯科技有限公司 图像检测方法和装置
CN114118124B (zh) * 2021-09-29 2023-09-12 北京百度网讯科技有限公司 图像检测方法和装置
CN114170421A (zh) * 2022-02-10 2022-03-11 青岛海尔工业智能研究院有限公司 图像检测方法、装置、设备及存储介质
CN115828154A (zh) * 2022-11-25 2023-03-21 中山大学 一种lpi雷达信号识别方法、系统、设备和存储介质
CN115828154B (zh) * 2022-11-25 2023-10-03 中山大学 一种lpi雷达信号识别方法、系统、设备和存储介质

Similar Documents

Publication Publication Date Title
Yu et al. Scale match for tiny person detection
CN113567984B (zh) 一种sar图像中人造小目标的检测方法及系统
US8509478B2 (en) Detection of objects in digital images
CN108154159B (zh) 一种基于多级检测器的具有自恢复能力的目标跟踪方法
Zhao et al. Multi-scale image block-level F-CNN for remote sensing images object detection
CN109117836A (zh) 一种基于焦点损失函数的自然场景下文字检测定位方法和装置
CN110263731B (zh) 一种单步人脸检测系统
CN112330701A (zh) 基于极坐标表示的组织病理图像细胞核分割方法及系统
Zhou et al. Building segmentation from airborne VHR images using Mask R-CNN
Zeng et al. A lightweight adaptive roi extraction network for precise aerial image instance segmentation
Shen et al. Fast and accurate multi-class geospatial object detection with large-size remote sensing imagery using CNN and Truncated NMS
Zhang et al. Nearshore vessel detection based on Scene-mask R-CNN in remote sensing image
Liu et al. Multi-scale feature fusion UAV image object detection method based on dilated convolution and attention mechanism
Gao et al. Traffic sign detection based on ssd
Yildirim et al. Ship detection in optical remote sensing images using YOLOv4 and Tiny YOLOv4
CN113902978A (zh) 基于深度学习的可解释性sar图像目标检测方法及系统
Huang et al. Anchor-free weapon detection for x-ray baggage security images
CN116385876A (zh) 基于yolox的光学遥感影像地物检测方法
CN112528896B (zh) 一种面向sar图像的飞机目标自动检测方法及系统
Chen et al. Improved yolov3 algorithm for ship target detection
Li et al. Online rail fastener detection based on YOLO network
CN112528896A (zh) 一种面向sar图像的飞机目标自动检测方法及系统
CN116310795A (zh) 一种sar飞机检测方法、系统、装置及存储介质
CN115272882A (zh) 一种基于遥感影像的离散建筑物检测方法及系统
Long et al. Accurate identification of infrared ship in island-shore background based on visual attention

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant