CN111666854B - 融合统计显著性的高分辨率sar影像车辆目标检测方法 - Google Patents

融合统计显著性的高分辨率sar影像车辆目标检测方法 Download PDF

Info

Publication number
CN111666854B
CN111666854B CN202010474473.0A CN202010474473A CN111666854B CN 111666854 B CN111666854 B CN 111666854B CN 202010474473 A CN202010474473 A CN 202010474473A CN 111666854 B CN111666854 B CN 111666854B
Authority
CN
China
Prior art keywords
target detection
image
statistical
sar image
vehicle target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010474473.0A
Other languages
English (en)
Other versions
CN111666854A (zh
Inventor
徐新
杨瑞
李曦嵘
眭海刚
徐川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202010474473.0A priority Critical patent/CN111666854B/zh
Publication of CN111666854A publication Critical patent/CN111666854A/zh
Application granted granted Critical
Publication of CN111666854B publication Critical patent/CN111666854B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/08—Detecting or categorising vehicles

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供一种融合统计显著性的高分辨率SAR影像车辆目标检测方法，包括读入高分辨率单极化SAR影像，根据车辆目标中车体区域和阴影区域的成像特性，利用有向均值差滤波器提取影像中具有显著统计特征的区域；原始SAR数据与统计特征显著性图融合，以用于采用深度神经网络框架对车辆目标进行检测，通过融合特征有利于目标检测模型将注意力放在具有显著统计特征的区域；训练目标检测模型，包括选择训练样本，以融合特征为输入，训练获得车辆目标检测的模型；所述目标检测模型是改进的YOLOv3模型，改进方式为在网络输入端提取原始SAR影像与有向均值差滤波结果，并进行特征融合；利用训练好的目标检测模型，在待检测的高分辨率单极化SAR影像中进行车辆目标检测。

Description

融合统计显著性的高分辨率SAR影像车辆目标检测方法
技术领域
本发明属于合成孔径雷达(Synthetic Aperture Radar，SAR)图像目标识别技术领域，更进一步涉及融合统计显著性的高分辨率SAR影像车辆目标检测方法。
背景技术
SAR是一种微波成像雷达，通过主动发射、接收电磁波，能够实现全天时、全天候对地观测，为地物目标的解译提供了丰富的散射信息。SAR已发展有星载、机载、无人机载等多种系统平台，其成像性能也从中低分辨率向高分辨率发展，使得SAR具备了对舰船、坦克、车辆等众多目标(地面或海面的，固定或机动的目标)进行探测和识别的能力。SAR影像车辆目标(如汽车、卡车、坦克等)检测在军事领域具有重要的研究和应用价值，对陆上战术战略目标的探测与识别发挥重要作用。
传统SAR影像目标检测一般分为目标检测、鉴别和分类三个步骤。其中目标检测用于选出可能为目标的候选区域，目标鉴别进一步去除自然杂波虚警等非目标区域，目标分类最终确定目标类型。根据目标与杂波的散射特性不同所表现出的特征差异，传统SAR影像目标检测主要分为以下几类：(1)基于对比度的一类目标检测方法(2)基于图像其他特征的一类目标检测方法(3)基于复图像特征的一类目标检测方法。在中低分辨率的SAR影像中，车辆目标具有高亮的灰度值，与背景具有明显差异，因此基于对比度的一类目标检测方法，特别是恒虚警率检测(Constant False Alarm Rate，CFAR)算法是最为常用的一类方法。CFAR算法根据经典的统计检测理论，在给定的虚警概率条件下，首先根据目标所处周围背景杂波的统计特性自适应求取检测阈值，然后将待检测像素和自适应阈值进行比较，判断其是否为目标点；通过参考窗口的滑动，实现对所有像素的自适应检测。在高分辨率SAR图像中，由于感兴趣目标呈现分布式，因而为了去除目标像素对杂波模型参数估计的影响，绝大多数CFAR算法是在参考滑窗中根据目标大小设立保护区域(或称警戒区域)。基于不同的背景杂波建模假设和门限设计策略，CFAR系列算法在SAR影像目标检测具有良好的表现，是传统SAR影像目标检测方法中广泛使用、最为经典的方法之一。随着深度学习的发展，深度学习方法在目标检测领域取得了巨大突破，许多SAR影像车辆目标检测的研究借鉴了自然图像、光学影像中目标检测的思路，取得了突出的识别效果，现有的深度学习方法，如FastR-CNN(Fast Region-Convolutional Neural Network)，YOLO(You Only Look Once)，SSD(Single Shot MultiBox)，DRBox(Rotaition Invariant Detector with RotatableBounding Box)等，在经典的SAR影像车辆数据集MSTAR中识别准确率可高达99％以上。
然而，随着SAR系统成像性能的不断提升，SAR影像分辨率已经可以达到亚米水平。以Sandia实验室的机载FARAD Ka波段SAR影像和miniSAR影像为例，其分辨率高达0.1米。在高分辨率SAR影像中，车辆目标不再单纯的表现为高亮的近似矩形的目标，其车辆结构、轮廓等细节得以显示；另一方面，在Ku波段和Ka波段SAR影像中，受角度等成像因素影响，车辆目标有时不表现出强烈的金属散射，因而与相对暗黑的背景区域没有显著差异，这使得传统基于统计或基于对比度的CFAR类检测算法性能受到影响。此外，Ku波段和Ka波段电磁波穿透性较弱，Ku波段和Ka波段的SAR影像背景更加复杂，目标检测易受遮挡产生的雷达阴影等因素所干扰。尽管深度学习方法具有较强的特征学习和表征能力，在背景单一、目标与背景差异明显的MSTAR标准数据集中取了出色的识别结果，但深度学习方法依赖大量训练样本，如何在有限的SAR车辆目标样本下，在大范围、复杂场景、低对比度的高分辨率SAR影像中高效检测车辆目标仍是一项挑战。
发明内容
本发明针对高分辨率SAR影像中部分车辆目标与背景区域相似，现有技术如基于统计对比度的一类目标检测方法难以准确定位和检测车辆目标的问题，提出一种融合统计显著性的高分辨率SAR影像车辆目标检测方法。
本发明所采用的技术方案是一种融合统计显著性的高分辨率SAR影像车辆目标检测方法，包括以下步骤，
步骤1，读入高分辨率单极化SAR影像；
步骤2，根据车辆目标中车体区域和阴影区域的成像特性，利用有向均值差滤波器提取影像中具有显著统计特征的区域，包括通过有向均值差滤波器，利用局部灰度均值与上、下、左、右四个相邻局部区域的灰度均值之差刻画局部区域的统计显著性，生成四幅统计特征显著性图；
步骤3，原始SAR数据与统计特征显著性图融合，以用于采用深度神经网络框架对高分辨率单极化SAR影像中的车辆目标进行检测，通过融合特征有利于目标检测模型将注意力放在具有显著统计特征的区域；
步骤4，训练目标检测模型，包括选择训练样本，以根据步骤3所得融合特征作为输入，训练并获得车辆目标检测的模型；所述目标检测模型是改进的YOLOv3模型，改进方式为在网络输入端提取原始SAR影像与有向均值差滤波结果，并进行特征融合；
步骤5，车辆目标检测，包括利用步骤4中训练好的目标检测模型，在待检测的高分辨率单极化SAR影像中进行车辆目标检测。
而且，步骤2中，有向均值差滤波器利用局部灰度均值与上、下、左、右四个相邻局部区域的灰度均值之差刻画局部区域的统计显著性，定义如下，
Figure BDA0002515385430000031
Figure BDA0002515385430000032
Figure BDA0002515385430000033
Figure BDA0002515385430000034
其中，OMDFU(X(p,q))、OMDFD(X(p,q))、OMDFL(X(p,q))、OMDFR(X(p,q))分别为上(U)、下(D)、左(L)、右(R)四个方向的有向均值差滤波器；
ws为滤波器窗长，为奇数；hw＝(ws+1)/2，为半窗长；
(p,q)为滤波器当前窗口中心像素的位置，i,j为滤波器窗内像素位置的横纵坐标索引变量，X为输入影像，X(p,q)为输入影像在中心点为(p,q)处的像素值，X(i,j)为输入影像在(i,j)处的像素值。
而且，所述深度神经网络框架包括2个模块，每个模块由1个卷积层、1个批归一化层、1个LeakyReLu层组成；
步骤3中，将输入的原始SAR影像和步骤2中提取的四个方向的统计特征显著性图OMDF_U,OMDF_D,OMDF_L,OMDF_R尺寸缩放，以适应目标检测网络的输入，然后将原始图像和四幅统计特征显著性图按通道连结，得到输入图；输入图通过深度神经网络框架后，获得特征图作为所提取的融合特征图。
而且，步骤4中，以最小化目标框损失、置信度损失和类别损失为优化目标，通过反向传播算法优化网络参数，实现训练并获得车辆目标检测的模型。
借鉴传统基于统计对比度的一类目标检测方法思路，本专利设计了一种有向均值差滤波器，提取原始高分辨率SAR影像中统计特征具有显著性的区域；随后，将提取得到的显著性区域图像与原始高分辨率SAR影像进行特征融合，并使用深度学习目标检测模型YOLOv3进行车辆目标的检测。
和现有技术相比，本发明的优点是：
1、设计了一种有向均值差滤波器，提取影像中具有显著统计特征的区域。有向均值差滤波器利用局部灰度均值与上、下、左、右四个相邻局部区域的灰度均值之差刻画局部区域的统计显著性，充分利用了高分辨率SAR影像中车辆目标“车体-地面阴影”的成像结构特性，利用四个方向的灰度统计差值信息，增强了车辆目标与背景的对比度，减少成像角度对目标检测的影响，有利于后续的检测；
2、融合原始高分辨率SAR影像与统计特征显著性图。有向均值差滤波器所提取的统计特征显著性图可以有效地刻画原始影像中，具有统计显著性的区域，因此可以看做一种统计纹理特征。将原始高分辨率SAR影像与统计特征显著性图进行融合，目标检测模型可以将注意力放在具有显著统计特征的区域，通过训练调整参数，强化此区域特征的学习和表征，有助于减少复杂背景的干扰，提升目标检测的准确率；
3、采用YOLOv3模型实现目标检测，具有速度快、多尺度的优势，能够在不同目标尺寸下获得快而准的检测结果。YOLOv3的Darknet采用了全部卷积层的形式，卷积层之间没有池化层和全卷积层，因此相比于其他网络具有更轻的结构和更少的参数，且目标预测框生成方式更快，因此具有轻量、快速的优势；同时YOLOv3在三个不同尺度的特征上进行预测，并融合预测结果，因此能够对不同尺寸的车辆目标均实现较好的检测效果。并且，本发明进一步提出改进得到目标模型，在网络输入端提取原始SAR影像与有向均值差滤波结果，并进行特征融合，使YOLOv3网络快速聚焦含有车辆目标的区域，相较原始的YOLOv3网络目标检测准确率、目标框预测精度均有明显提升。
附图说明
图1是本发明实施例的流程图；
图2是本发明实施例有向均值差滤波器的原理示意图；
图3是本发明实施例有向均值差滤波器对高分辨率单极化SAR影像的滤波效果图；
图4是本发明实施例SAR数据与统计特征显著性图融合方法示意图；
图5是本发明实施例YOLOv3网路模型结构图；
图6是本发明实施例融合统计特征显著性图前后目标检测模型对车辆区域响应的可视化对比图，其中图6a为输入的SAR影像，图6b为原始的YOLOv3模型第二层卷积层特征可视化结果图，图6c为融合特征后的YOLOv3模型第二层卷积层特征可视化结果图；
图7是本发明实施例部分测试影像及有向均值差滤波的结果图，其中图7a、图7f为两幅测试影像，图7b-7e和图7g-7j分别为两幅测试影像对应的OMDFU、OMDFD、OMDFL、OMDFR四个有向均值差滤波结果；
图8是本发明实施例部分测试影像车辆目标的检测结果图，其中图8a-8d为四幅测试影像，图8e-8h分别为四幅测试影像对应的车辆目标检测结果图。
具体实施方式
以下结合附图和实施例详细说明本发明技术方案。
本发明实施例中提供的一种融合统计显著性的高分辨率SAR影像车辆目标检测方法如图1所示，包括以下步骤：
步骤1，读入高分辨率单极化SAR影像。
高分辨率一般指分辨率优于1米，具体实施时根据情况输入。
步骤2，利用有向均值差滤波器提取影像中具有显著统计特征的区域。
有向均值差滤波器利用局部灰度均值与上、下、左、右四个相邻局部区域的灰度均值之差刻画局部区域的统计显著性，其定义如下：
Figure BDA0002515385430000051
Figure BDA0002515385430000052
Figure BDA0002515385430000053
Figure BDA0002515385430000054
其中，OMDFU(X(p,q))、OMDFD(X(p,q))、OMDFL(X(p,q))、OMDFR(X(p,q))分别为上(U)、下(D)、左(L)、右(R)四个方向的有向均值差滤波器，ws为滤波器窗长，为奇数，本实施例设置为15，hw＝(ws+1)/2，为半窗长，(p,q)为滤波器当前窗口中心像素的位置，i,j为滤波器窗内像素位置的横纵坐标索引变量，X为输入影像，X(p,q)为输入影像在中心点为(p,q)处的像素值，X(i,j)为输入影像在(i,j)处的像素值。
对图像边界区域，利用上述公式计算滤波结果时会超出输入图像范围。此时，本专利利用最邻近有合法值的像素值滤波结果替代无法计算的情况。附图2以图示的方式展示了有向均值差滤波器的计算方法，取3x3个滤波器窗大小的区域，每个滤波器窗大小为ws×ws，其中，中心滤波器窗内的像素均值记为Xc，中心滤波器窗上侧、下侧、左侧和右侧四个滤波器窗内的像素均值分别记为U,D,L,R，则四个方向的有向均值差滤波结果可分别由Xc-U,Xc-D,Xc-L,Xc-R计算获得。
附图3展示了车辆目标“车体-阴影”的成像特性及有向均值差滤波器对高分辨率单极化SAR影像的滤波效果，其中局部区域1包含3个车辆目标，车体具有较强的后向散射，表现出高亮的图像特点，车辆产生的地面阴影表现出暗黑的图像特点；而局部区域2包含多个车辆目标，但车辆目标亮度较低，与背景环境的对比度小，差异不明显，难以发现。附图3中OMDF_U,OMDF_D,OMDF_L,OMDF_R分别为原始SAR图像通过滤波器OMDFU(X(p,q))、OMDFD(X(p,q))、OMDFL(X(p,q))、OMDFR(X(p,q))滤波后的结果图像，可以看出，有向均值差滤波结果可以有效地将含有目标的区域显著性的提取出来，特别是在原始影像中与背景差异性较小的车辆目标，增加包含车辆目标区域与背景的对比度和差异，同时抑制不包含目标的复杂背景区域。
步骤3，原始SAR数据与统计特征显著性图融合，所得融合特征有利于目标检测模型将注意力放在具有显著统计特征的区域。
本专利采用深度神经网络框架对高分辨率单极化SAR影像中的车辆目标进行检测，因此设计了基于卷积模块的原始SAR数据与统计特征显著性图融合方法。实施例采用的深度神经网络框架包括2个模块，每个模块由1个卷积层、1个批归一化层、1个LeakyReLu层组成。LeakyReLu表示泄露整流线性单元。
神经网络中一个神经单元的输入和输出关系可由下式表示：
Figure BDA0002515385430000061
其中，x为输入，y为输出，f(ω,b)为输入的映射函数，ωmd,bmd为输入映射系数，ωkm,bkm为输出映射系数，σ(·)为激活函数，M,D分别为输入层、隐藏层神经元个数，m、d、k分别为遍历输入层、隐藏层和输出层神经元个数时的标记变量。
原始SAR数据与统计特征显著性图融合方法如附图4所示。首先将输入的原始SAR影像和步骤2中提取四个方向的统计特征显著性图OMDF_U,OMDF_D,OMDF_L,OMDF_R尺寸缩放至416×416像素大小，以适应目标检测网络的输入，然后将原始图像和四幅统计特征显著性图按通道连结，得到大小为5×416×416的输入图。输入图通过特征融合网络，即由2个“卷积层-批归一化层-LeakyReLu层”模块组成的网络，获得16×416×416大小的特征图，其中卷积层的卷积核数为16，卷积步长为1，边缘以0填充一个像素大小以保证图像尺寸不变，该特征图即为所提取的融合特征图。
对于卷积层，相应映射函数fc(ωc,bc)可由下式表示：
Figure BDA0002515385430000071
其中，Ψ为卷积核，ωc,bc为映射函数fc的参数，其中ωc为卷积核参数，ωc[ic,jc]为卷积核参数ωc在卷积核坐标为[ic,jc]处的值，bc为偏置参数，bc[ic,jc]为偏置在卷积核坐标为[ic,jc]处的值，(ni,nj)为卷积核Ψ内的像素位置索引变量，x为输入变量，x[ic-ni,jc-nj]为输入变量在像素位置为[ic-ni,jc-nj]的取值；
对于批归一化层，相应映射函数fbn(ωbn,bbn)可由下式表示：
Figure BDA0002515385430000072
其中：
Figure BDA0002515385430000073
Figure BDA0002515385430000074
为x输入的归一化值，Var为方差运算，E为均值运算，ωbn,bbn为映射函数fbn的参数，又称重构系数，其中ωbn为重构加权系数，bbn为重构偏置系数；对于LeakyReLu激活层，激活函数σ(·)为：
Figure BDA0002515385430000075
其中，a为尺度因子，为一大于1的整数。
通过“卷积层-批归一化层-LeakyReLU层”模块获得的尺寸为16×416×416的特征图包含了从原始SAR影像中提取到的特征fori，以及从四幅统计特征显著性图提取到的对应特征fu,fl,fd,fr。因此，所获得的尺寸为16x416x416的特征图可以表示为：
ffusion＝[fori；fu；fl；fd；fr]
通过将原始高分辨率SAR影像与统计特征显著性图进行融合，融合特征ffusion有助于目标检测模型将注意力放在具有显著统计特征的区域，通过训练调整模型参数，使检测模型聚焦于具有统计显著性的区域，学习和表征这些重要区域的特征，有助于减少复杂背景的干扰，提升目标检测的准确率。
步骤4，训练目标检测模型。
选择60％的样本数据作为训练样本，以步骤3中的融合特征作为输入，采用反向传播算法训练目标检测模型。应当指出，通过本专利对原始SAR数据与统计特征显著性图融合，提取到的特征适用于通用的深度学习目标检测算法，能够实现目标检测性能的提升。在本专利中，以文献Redmon,Joseph,Farhadi,Ali.YOLOv3:An Incremental Improvement[J].2018.arXiv:1804.02767提出的YOLOv3目标检测模型为例，进行改进，即在网络输入端提取原始SAR影像与有向均值差滤波结果，并进行特征融合。YOLOv3网络结构以Darkne53为骨架网络，并嵌入三种尺度的检测网络，分别用作特征提取及多尺度预测，其网络结构如附图5所示，其中Darknet53由卷积层和残差层构成，共包含53个卷积层，各卷积层输出的特征尺寸大小如附图5中标识所示，通过卷积操作将输入的融合特征图尺寸逐渐降至8×8，并在特征图尺寸分别为32×32、16×16和8×8时将这三个尺度下的特征图分别通过三个不同尺度的卷积层进行目标检测，并输出检测结果。附图5中网络的输入为附图4的输出，即提取到的融合特征图。YOLOv3在三种尺度进行特征融合，并输出三种尺度下的预测结果特征图，通过非极大值抑制算法筛选出的预测框作为最终的检测框。
YOLOv3的损失函数包括三部分：目标框损失、置信度损失和类别损失：
Loss＝BBoxLoss+ConfidenceLoss+ClassLoss
目标框损失BBoxLoss为：
Figure BDA0002515385430000081
其中，B为一个cell能够预测的边界框数目，一般取为3，cell为检测格子，cellNumber为检测格子内包含的像素数，本实施例中三个尺度的cell大小分别为13x13,26x26,52x52,因此cellNumber为13x13+26x26+52x52＝3549。
bx,by,bw,bh分别为网络预测的x,y的中心像素坐标、宽度和高度。lx,ly,lw,lh是真值的x,y中心像素坐标、宽度和高度。1obj代表该cell内是否有目标，有为1，无为0。
置信度损失ConfidenceLoss为：
Figure BDA0002515385430000091
其中，po,qo分别为目标真值和预测输出的概率，KL(po,qo)为二者的交叉熵，m为掩模系数，正样本恒为1，负样本依条件为0或1。
类别损失ClassLoss为：
Figure BDA0002515385430000092
其中，C为目标类别个数，本专利中C＝1，即车辆目标，c为遍历目标类别个数时的标记变量。
综上，YOLOv3目标检测的损失函数Loss为：
Figure BDA0002515385430000093
以步骤3中的融合特征作为输入，以最小化上式中的损失函数Loss为目标，通过反向传播算法优化网络参数，可训练获得车辆目标检测的模型。
步骤5，车辆目标检测。
将步骤4中训练完成的模型参数保存。以原始的单通道高分辨率SAR影像与四幅统计特征显著性图作为输入，利用训练后的模型及参数进行运算，即可获得检测结果图。附图6对比了原始YOLOv3模型与本专利融合统计特征显著性图后，目标检测网络卷积层特征图的差异，其中图6a为输入的SAR影像，图6b为原始的YOLOv3模型第二层卷积层特征可视化结果图，图6c为融合特征后的YOLOv3模型第二层卷积层特征可视化结果图。可以看出，融合统计特征显著性图后，模型对于具有车辆目标的区域响应更加强烈，即目标检测模型将注意力放在具有显著统计特征的区域，聚焦具有统计显著性区域的特征学习和表征，有助于提升车辆目标的检测精度。
具体实施时，以上流程可采用计算机软件技术实现自动运行，运行方法的系统装置也应当在本发明的保护范围内。
下面，结合Sandia实验室机载FARAD Ka波段高分辨率单极化SAR影像和miniSAR高分辨率单极化SAR数据的对本发明的有效性和准确性做进一步说明。
1.测试数据
机载FARAD Ka波段高分辨率单极化SAR影像8幅，分辨率约0.1米，miniSAR影像为Ku波段高分辨率单极化SAR数据15幅，分辨率约0.1米。
2.有向均值差滤波
附图7展示了部分测试影像及有向均值差滤波的结果，其中图7a、图7f为两幅测试影像，图7b-7e和图7g-7j分别为两幅测试影像对应的OMDFU、OMDFD、OMDFL、OMDFR四个有向均值差滤波结果。可看到有向均值差滤波结果可以有效地将含有目标的区域显著性的提取出来，特别是在原始影像中与背景差异性较小的车辆目标，同时抑制不包含目标的复杂背景区域。
3.目标检测结果
附图8展示了部分测试影像车辆目标的检测结果，其中图8a-8d为四幅测试影像，图8e-8h分别为四幅测试影像对应的车辆目标检测结果图。下表汇总了23幅测试数据的影像信息及目标检测准确率。为了体现本专利方法的优势，下表也对比了仅采用YOLOv3时目标检测的准确率。附图8对比了部分车辆目标与背景相似的区域，可以看出，融合有向均值差滤波结果后，目标检测模型可以将注意力放在具有显著统计特征的区域，一方面增强了目标与背景的差异，另一方面有助于减少复杂背景的干扰，提升目标检测的准确率。
表1机载FARAD Ka波段0.1米分辨率单极化SAR影像信息及检测准确率
Figure BDA0002515385430000101
表2机载miniSARKu波段0.1米分辨率单极化SAR影像信息及检测准确率
Figure BDA0002515385430000111
本发明的创新之处在于，设计了一种有向均值差滤波器，提取影像中具有显著统计特征的区域。有向均值差滤波器利用四个方向的灰度统计差值信息，刻画车辆目标“车体-阴影”的成像结构特征，增强了车辆目标与背景的对比度，减少成像角度对目标检测的影响，有利于后续的检测；将原始高分辨率SAR影像与统计特征显著性图进行融合，可以使目标检测模型将注意力放在具有显著统计特征的区域，通过训练调整参数，强化学习和表征可能包含目标区域的特征，提升目标检测的准确率。
以上所述仅为本发明的优选实施例而已，并不用以限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (3)

1.一种融合统计显著性的高分辨率SAR影像车辆目标检测方法，其特征在于：包括以下步骤，
步骤1，读入高分辨率单极化SAR影像；
步骤2，根据车辆目标中车体区域和阴影区域的成像特性，利用有向均值差滤波器提取影像中具有显著统计特征的区域，包括通过有向均值差滤波器，利用局部灰度均值与上、下、左、右四个相邻局部区域的灰度均值之差刻画局部区域的统计显著性，生成四幅统计特征显著性图；
步骤3，原始SAR数据与统计特征显著性图融合，以用于采用深度神经网络框架对高分辨率单极化SAR影像中的车辆目标进行检测，通过融合特征有利于目标检测模型将注意力放在具有显著统计特征的区域；
步骤4，训练目标检测模型，包括选择训练样本，以根据步骤3所得融合特征作为输入，训练并获得车辆目标检测的模型；所述目标检测模型是改进的YOLOv3模型，改进方式为在网络输入端提取原始SAR影像与有向均值差滤波结果，并进行特征融合；
步骤5，车辆目标检测，包括利用步骤4中训练好的目标检测模型，在待检测的高分辨率单极化SAR影像中进行车辆目标检测；
步骤2中，有向均值差滤波器利用局部灰度均值与上、下、左、右四个相邻局部区域的灰度均值之差刻画局部区域的统计显著性，定义如下，
Figure FDA0003651690990000011
Figure FDA0003651690990000012
Figure FDA0003651690990000013
Figure FDA0003651690990000014
其中，OMDFU(X(p,q))、OMDFD(X(p,q))、OMDFL(X(p,q))、OMDFR(X(p,q))分别为上(U)、下(D)、左(L)、右(R)四个方向的有向均值差滤波器；
ws为滤波器窗长，为奇数；hw＝(ws+1)/2，为半窗长；
(p,q)为滤波器当前窗口中心像素的位置，i,j为滤波器窗内像素位置的横纵坐标索引变量，X为输入影像，X(p,q)为输入影像在中心点为(p,q)处的像素值，X(i,j)为输入影像在(i,j)处的像素值。
2.根据权利要求1所述融合统计显著性的高分辨率SAR影像车辆目标检测方法，其特征在于：所述深度神经网络框架包括2个模块，每个模块由1个卷积层、1个批归一化层、1个LeakyReLu层组成；
步骤3中，将输入的原始SAR影像和步骤2中提取的四个方向的统计特征显著性图OMDF_U,OMDF_D,OMDF_L,OMDF_R尺寸缩放，以适应目标检测网络的输入，然后将原始图像和四幅统计特征显著性图按通道连结，得到输入图；输入图通过深度神经网络框架后，获得特征图作为所提取的融合特征图。
3.根据权利要求1或2所述融合统计显著性的高分辨率SAR影像车辆目标检测方法，其特征在于：步骤4中，以最小化目标框损失、置信度损失和类别损失为优化目标，通过反向传播算法优化网络参数，实现训练并获得车辆目标检测的模型。
CN202010474473.0A 2020-05-29 2020-05-29 融合统计显著性的高分辨率sar影像车辆目标检测方法 Active CN111666854B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010474473.0A CN111666854B (zh) 2020-05-29 2020-05-29 融合统计显著性的高分辨率sar影像车辆目标检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010474473.0A CN111666854B (zh) 2020-05-29 2020-05-29 融合统计显著性的高分辨率sar影像车辆目标检测方法

Publications (2)

Publication Number Publication Date
CN111666854A CN111666854A (zh) 2020-09-15
CN111666854B true CN111666854B (zh) 2022-08-30

Family

ID=72385233

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010474473.0A Active CN111666854B (zh) 2020-05-29 2020-05-29 融合统计显著性的高分辨率sar影像车辆目标检测方法

Country Status (1)

Country Link
CN (1) CN111666854B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112699832B (zh) * 2021-01-12 2023-07-04 腾讯科技（深圳）有限公司 目标检测方法、装置、设备以及存储介质
CN112904338B (zh) * 2021-01-20 2023-12-26 西安电子科技大学 一种基于能量损失的多通道高分辨sar图像阴影检测方法
CN112883907B (zh) * 2021-03-16 2022-07-05 云南师范大学 小体积模型的滑坡检测方法及装置
WO2022217551A1 (zh) * 2021-04-15 2022-10-20 华为技术有限公司 目标检测方法和装置
CN113657196B (zh) * 2021-07-27 2024-05-28 中国科学院自动化研究所 Sar图像目标检测方法、装置、电子设备和存储介质
CN116416440B (zh) * 2023-01-13 2024-02-06 北京百度网讯科技有限公司 目标识别方法、模型训练方法、装置、介质和电子设备

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7330565B1 (en) * 2002-02-26 2008-02-12 The United States Of America As Represented By The Secretary Of The Army Scale insensitive vehicle detection algorithm for flir imagery
CN102118547A (zh) * 2011-03-29 2011-07-06 四川长虹电器股份有限公司 图像加权滤波的方法
CN102999909A (zh) * 2012-11-19 2013-03-27 西安电子科技大学 基于改进视觉注意模型的sar目标检测方法
CN105354541A (zh) * 2015-10-23 2016-02-24 西安电子科技大学 基于视觉注意模型和恒虚警率的sar图像目标检测方法
CN105427314A (zh) * 2015-11-23 2016-03-23 西安电子科技大学 基于贝叶斯显著性的sar图像目标检测方法
US10032077B1 (en) * 2015-10-29 2018-07-24 National Technology & Engineering Solutions Of Sandia, Llc Vehicle track identification in synthetic aperture radar images
CN110135267A (zh) * 2019-04-17 2019-08-16 电子科技大学 一种大场景sar图像细微目标检测方法
CN110929736A (zh) * 2019-11-12 2020-03-27 浙江科技学院 多特征级联rgb-d显著性目标检测方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107274401B (zh) * 2017-06-22 2020-09-04 中国人民解放军海军航空大学 一种基于视觉注意机制的高分辨率sar图像舰船检测方法
CN111126335B (zh) * 2019-12-31 2021-05-04 珠海大横琴科技发展有限公司 一种结合显著性和神经网络的sar船只识别方法及系统

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7330565B1 (en) * 2002-02-26 2008-02-12 The United States Of America As Represented By The Secretary Of The Army Scale insensitive vehicle detection algorithm for flir imagery
CN102118547A (zh) * 2011-03-29 2011-07-06 四川长虹电器股份有限公司 图像加权滤波的方法
CN102999909A (zh) * 2012-11-19 2013-03-27 西安电子科技大学 基于改进视觉注意模型的sar目标检测方法
CN105354541A (zh) * 2015-10-23 2016-02-24 西安电子科技大学 基于视觉注意模型和恒虚警率的sar图像目标检测方法
US10032077B1 (en) * 2015-10-29 2018-07-24 National Technology & Engineering Solutions Of Sandia, Llc Vehicle track identification in synthetic aperture radar images
CN105427314A (zh) * 2015-11-23 2016-03-23 西安电子科技大学 基于贝叶斯显著性的sar图像目标检测方法
CN110135267A (zh) * 2019-04-17 2019-08-16 电子科技大学 一种大场景sar图像细微目标检测方法
CN110929736A (zh) * 2019-11-12 2020-03-27 浙江科技学院 多特征级联rgb-d显著性目标检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Fast ship detection of synthetic aperture radar images via multi-view features and clustering;Shigang W.等;《2014 International Joint Conference on Neural Networks (IJCNN)》;20140904;第404-410页 *
超高分辨率的SAR图像车辆目标检测;妥杏娃;《中国优秀硕士学位论文全文数据库 信息科技辑》;20190215;第I136-1252页 *

Also Published As

Publication number Publication date
CN111666854A (zh) 2020-09-15

Similar Documents

Publication Publication Date Title
CN111666854B (zh) 融合统计显著性的高分辨率sar影像车辆目标检测方法
CN111626290B (zh) 一种复杂海面环境下的红外舰船目标检测识别方法
Chen et al. Ship detection from coastal surveillance videos via an ensemble Canny-Gaussian-morphology framework
CN112288008B (zh) 一种基于深度学习的马赛克多光谱图像伪装目标检测方法
CN114202696A (zh) 基于上下文视觉的sar目标检测方法、装置和存储介质
Wang et al. Machine learning-based ship detection and tracking using satellite images for maritime surveillance
CN106886760A (zh) 一种基于空谱信息结合的高光谱舰船检测方法
Zhao et al. SAR ship detection based on end-to-end morphological feature pyramid network
CN112348758B (zh) 一种光学遥感图像数据增强方法及目标识别方法
Zhao et al. An adaptation of CNN for small target detection in the infrared
Zhang et al. Nearshore vessel detection based on Scene-mask R-CNN in remote sensing image
Tao et al. Radio frequency interference signature detection in radar remote sensing image using semantic cognition enhancement network
Xu et al. COCO-Net: A dual-supervised network with unified ROI-loss for low-resolution ship detection from optical satellite image sequences
Kong et al. Lightweight algorithm for multi-scale ship detection based on high-resolution SAR images
Dai et al. GCD-YOLOv5: An armored target recognition algorithm in complex environments based on array lidar
Bustos et al. A systematic literature review on object detection using near infrared and thermal images
CN117079117B (zh) 水下图像处理及目标识别的方法及装置、存储介质及电子设备
Zhao et al. Multitask learning for SAR ship detection with Gaussian-mask joint segmentation
Song et al. Ship detection in haze and low-light remote sensing images via colour balance and DCNN
CN116343057A (zh) 一种联合sar与光学图像的舰船目标检测与识别方法
Chen et al. Infrared dim target detection method based on local feature contrast and energy concentration degree
Zhao et al. Deep learning-based laser and infrared composite imaging for armor target identification and segmentation in complex battlefield environments
Zha et al. SAR ship localization method with denoising and feature refinement
Wu et al. Object-Enhanced YOLO Networks for Synthetic Aperture Radar Ship Detection
Amjadipour et al. Estimation of free parameters of morphological profiles for building extraction using SAR images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant