CN112149591B - 用于sar图像的ssd-aeff自动桥梁检测方法及系统 - Google Patents

用于sar图像的ssd-aeff自动桥梁检测方法及系统 Download PDF

Info

Publication number
CN112149591B
CN112149591B CN202011043606.5A CN202011043606A CN112149591B CN 112149591 B CN112149591 B CN 112149591B CN 202011043606 A CN202011043606 A CN 202011043606A CN 112149591 B CN112149591 B CN 112149591B
Authority
CN
China
Prior art keywords
feature
aeff
ssd
feature maps
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011043606.5A
Other languages
English (en)
Other versions
CN112149591A (zh
Inventor
陈立福
翁婷
邢学敏
潘舟浩
袁志辉
李振洪
邢进
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changsha University of Science and Technology
Original Assignee
Changsha University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changsha University of Science and Technology filed Critical Changsha University of Science and Technology
Priority to CN202011043606.5A priority Critical patent/CN112149591B/zh
Publication of CN112149591A publication Critical patent/CN112149591A/zh
Application granted granted Critical
Publication of CN112149591B publication Critical patent/CN112149591B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Abstract

本发明公开了一种用于SAR图像的SSD‑AEFF自动桥梁检测方法及系统，本发明方法包括将待检测的SAR图像通过SSD网络模型的主干网络获取多种尺寸的特征图；将得到的多种尺寸的特征图划分为尺寸较大的部分特征图、尺寸较小的部分特征图，将尺寸较大的部分特征图利用自适应高效特征融合模块AEFF基于有效注意力机制和自适应特征融合通过加权的方式进一步提取特征图；将在自适应高效特征融合模块AEFF输出的特征图和尺寸较小的部分特征图上产生的候选框直接分类回归，并经非极大值抑制筛选产生桥梁检测结果。本发明基于有效注意力机制和自适应特征融合通过加权的方式进一步提取特征图，能够突显有效特征，提升网络检测效果。

Description

用于SAR图像的SSD-AEFF自动桥梁检测方法及系统
技术领域
本发明涉及合成孔径雷达(Synthetic Aperture Radar,SAR)图像识别技术，具体涉及一种用于SAR图像的SSD-AEFF自动桥梁检测方法及系统。
背景技术
合成孔径雷达(Synthetic Aperture Radar,SAR)是一种微波主动成像雷达，其穿透性强、作用距离远，具有对大范围区域全天时、全天候观测成像的能力。SAR凭借其成像特性，已广泛应用于国民经济和国防军事等领域。为了获取图像中感兴趣的目标，需要对成像后的SAR图像进行解译。SAR图像目标自动检测是实现SAR图像智能解译的关键技术之一。传统的SAR图像目标检测方法以手动设计的特征为主，通常基于图像的空间、纹理、光谱等信息，例如梯度直方图和纹理描述图。这种方法需要丰富的经验和理论知识支撑，特征维数多且计算复杂。另一种传统的检测方法是基于图像中目标的物理信息构建模型，例如，外形特征和几何结构。模型的构建贴近目标的物理本质，鲁棒性和通用性会更好。但是，物理模型仿真计算复杂，难以实时应用。随着深度学习技术的飞速发展，深度神经网络超越了传统SAR图像目标检测技术，被广泛应用于SAR图像目标自动检测中。深度神经网络不需要提取手动设计的特征，具有优秀的图像数据处理和特征自学习的能力，在SAR图像目标检测中表现出了无可比拟的优越性。
水上桥梁作为重要的交通设施之一，也是交通运输的关键枢纽。因此，SAR图像桥梁目标检测在民用和军事等领域都有着重要的应用，也是近年来研究的热点。
Keiller Nogueira等人选用了经典的深度学习方法——SSD算法(Single ShotMultiBox Detector)来检测光学遥感卫星图像中的桥梁目标，并将其封装到插件中方便使用。SSD网络属于one-stage算法，通过主干网络得到特征图后，生成候选框直接分类回归，一步到位完成检测过程。SSD采用多尺度特征图用于检测，一般是选用6个不同尺度的特征图。由于主干网络输出的特征图较大，算法后续会使用步长为2、卷积核为3的卷积模块来降低特征图的大小用于目标的检测。尺寸较大的特征图负责检测相对较小的目标，尺寸较小的特征图负责检测较大的目标。同时，网络会在特征图的每个位置上生成尺度和长宽比不同的若干个先验框，预测的边界框便是在这些先验框的基础上得到的。不同尺寸和长宽比的先验框的设置是为了适应不同尺寸的检测目标。与其他算法不同的是，SSD算法在得到先验框后，直接使用3×3的卷积层对不同特征图上的先验框进行分类和回归，再使用NMS来生成最终结果。因此，SSD算法相对来说检测速度较快，但在精度和虚警去除上还有较大的提升空间。SSD算法由主干网络VGG生成多尺度特征图后，产生候选框，直接分类回归，因此其检测速度较快。VGG网络结构简单并且卷积层之间采用相同的参数，从而训练速度较快。相反地，网络结构简单和网络深度较浅造成了VGG对图像特征提取能力不强。在SAR图像中提取桥梁目标时，由于SAR图像背景较为复杂，有些桥梁目标不明显及存在很多相似目标，这些都为其特征提取增加了较大难度。因此，SAR图像特征提取的不显著性导致SSD算法在检测桥梁目标时会存在较多的虚警。
发明内容
本发明要解决的技术问题：针对SSD算法特征提取特征的显著性不强的问题，提供一种用于SAR图像的SSD-AEFF自动桥梁检测方法及系统，本发明通过将尺寸较大的部分特征图利用自适应高效特征融合模块AEFF基于有效注意力机制和自适应特征融合通过加权的方式进一步提取特征图，能够突显有效特征，提升网络检测效果。
为了解决上述技术问题，本发明采用的技术方案为：
一种用于SAR图像的SSD-AEFF自动桥梁检测方法，包括：
1)输入待检测的SAR图像；
2)将待检测的SAR图像通过SSD网络模型的主干网络获取多种尺寸的特征图；
3)将得到的多种尺寸的特征图划分为尺寸较大的部分特征图、尺寸较小的部分特征图，将尺寸较大的部分特征图利用自适应高效特征融合模块AEFF基于有效注意力机制和自适应特征融合通过加权的方式进一步提取特征图；
4)将在自适应高效特征融合模块AEFF输出的特征图和尺寸较小的部分特征图上产生的候选框直接分类回归，并经非极大值抑制筛选产生桥梁检测结果。
可选地，所述自适应高效特征融合模块AEFF包括与尺寸较大的部分特征图中包含的特征图数量一一对应的通道，每一个通道均包括一个有效注意力机制网络eSE和一个自适应性特征融合模块ASFF，所述有效注意力机制网络eSE用于将对应通道的特征图提取得到目标特征图，所述自适应性特征融合模块ASFF用于各个通道的目标特征图根据权重进行融合。
可选地，所述各个通道的目标特征图根据权重进行融合的步骤包括：将相邻通道的目标特征图缩放到本通道目标特征图的相同大小，将本通道目标特征图、缩放后的相邻通道的目标特征图分别采用1×1的卷积模块获取特征图的通道信息并压缩通道数，将压缩通道数后的特征图拼接后使用1×1卷积层学习各层的权重信息得到权重标量图，最后将权重标量图通过softmax函数使权重范围为[0,1]且各点权重之和为1。
可选地，所述有效注意力机制网络eSE的函数表达式如下式所示：
AeSE(X)＝σ(WC(Fgap(X)))
Figure BDA0002707346480000031
Figure BDA0002707346480000032
上式中，X∈RC×W×H表示输入的特征图，C表示通道，W为宽度，H为高度，AeSE(X)表示计算得到的权重向量，σ表示Sigmoid激活函数，WC表示全连接层，Fgap表示全局平均池化，Xi,j表示特征图中的第i行第j列的像素，Xrefine为经权重加权后的目标特征图，
Figure BDA0002707346480000033
为相乘操作。
可选地，步骤2)的步骤包括：将待检测的SAR图像输入SSD网络模型的主干网络，通过主干网络的conv4_3层和conv_7层得到尺寸分别为38和19的特征图，然后针对尺寸为19的特征图逐步使用步长为2、卷积核为3的卷积模块将特征图尺寸减小至10、5、3和1，从而得到尺寸分别为38、19、10、5、3和1的六种尺寸的特征图。
可选地，步骤3)中尺寸较大的部分特征图是指尺寸分别为38、19、10的特征图，尺寸较小的部分特征图是指尺寸分别为5、3、1的特征图。
可选地，步骤2)中SSD网络模型的主干网络为VGG网络。
此外，本发明还提供一种用于SAR图像的SSD-AEFF自动桥梁检测系统，包括：
输入程序单元，用于输入待检测的SAR图像；
特征提取程序单元，用于将待检测的SAR图像通过SSD网络模型的主干网络获取多种尺寸的特征图；
特征融合提取程序单元，用于将得到的多种尺寸的特征图划分为尺寸较大的部分特征图、尺寸较小的部分特征图，将尺寸较大的部分特征图利用自适应高效特征融合模块AEFF基于有效注意力机制和自适应特征融合通过加权的方式进一步提取特征图；
分类检测程序单元，用于将在自适应高效特征融合模块AEFF输出的特征图和尺寸较小的部分特征图上产生的候选框直接分类回归，并经非极大值抑制筛选产生桥梁检测结果。
此外，本发明还提供一种用于SAR图像的SSD-AEFF自动桥梁检测系统，包括计算机设备，所述计算机设备至少包括相互连接的微处理器和存储器，所述微处理器被编程或配置以执行所述用于SAR图像的SSD-AEFF自动桥梁检测方法的步骤，或者所述存储器中存储有被编程或配置以执行所述用于SAR图像的SSD-AEFF自动桥梁检测方法的计算机程序。
此外，本发明还提供一种计算机可读存储介质，该计算机可读存储介质中存储有被编程或配置以执行所述用于SAR图像的SSD-AEFF自动桥梁检测方法的计算机程序。
和现有技术相比，本发明具有下述优点：本发明通过将尺寸较大的部分特征图利用自适应高效特征融合模块AEFF基于有效注意力机制和自适应特征融合通过加权的方式进一步提取特征图，能够突显有效特征，提升网络检测效果，在保证精度和速度的情况下消除了大量的虚警。
附图说明
图1为本发明实施例方法的基本检测原理示意图。
图2为本发明实施例中采用的自适应性特征融合模块ASFF的结构示意图。
图3为本发明实施例中自适应高效特征融合模块AEFF的结构示意图。
图4为本发明实施例中有效注意力机制网络eSE的结构示意图。
具体实施方式
如图1所示，本实施例用于SAR图像的SSD-AEFF自动桥梁检测方法包括：
1)输入待检测的SAR图像；
2)将待检测的SAR图像通过SSD网络模型的主干网络获取多种尺寸的特征图；
3)将得到的多种尺寸的特征图划分为尺寸较大的部分特征图、尺寸较小的部分特征图，将尺寸较大的部分特征图利用自适应高效特征融合模块AEFF(AdaptivelyEfficient Feature Fusion)进一步提取特征图；
4)将在自适应高效特征融合模块AEFF输出的特征图和尺寸较小的部分特征图上产生的候选框直接分类回归，并经非极大值抑制筛选产生桥梁检测结果。
参见图1，本实施例中将带有自适应高效特征融合模块AEFF增强的SSD网络模型命名为A Single-Shot Detector Based on Adaptively Efficient Feature Fusion(SSD-AEFF)网络。本实施例用于SAR图像的SSD-AEFF自动桥梁检测方法实际上是对SSD网络模型的增强，因此仍然是以SSD网络模型作为框架，在其基础上进行改进以增强其特征提取能力。为了去除虚警，在SSD网络模型的多尺度特征图(多种尺寸的特征图)后加入了自适应高效特征融合模块AEFF，增强特征的显著性，减少了背景特征的影响。
基于检测速度的考虑，本实施例步骤2)中SSD网络模型的主干网络为VGG网络(参见图1，具体为VGG16网络)。由于VGG16网络为现有网络模型，故在此不再详述。
本实施例中，步骤2)的步骤包括：将待检测的SAR图像输入SSD网络模型的主干网络，通过主干网络的conv4_3层和conv_7层得到尺寸分别为38和19的特征图，然后针对尺寸为19的特征图逐步使用步长为2、卷积核为3的卷积模块将特征图尺寸减小至10、5、3和1，从而得到尺寸分别为38、19、10、5、3和1的六种尺寸的特征图。
本实施例中，步骤3)中尺寸较大的部分特征图是指尺寸分别为38、19、10的特征图，尺寸较小的部分特征图是指尺寸分别为5、3、1的特征图。本实施例中在尺度为38、19和10三个特征图后引入自适应高效特征融合模块AEFF，得到与原尺寸相同的三个增强后的特征图。自适应高效特征融合模块AEFF是由有效注意力机制和自适应特征融合巧妙的构建而成。网络在6个特征图上按照设定好的尺寸和长宽比生成不同大小的候选框，再直接使用3×3的卷积层进行分类和回归，最后通过非极大值抑制(NMS)生成最终的桥梁检测结果。
本实施例中，自适应高效特征融合模块AEFF包括与尺寸较大的部分特征图中包含的特征图数量一一对应的通道，每一个通道均包括一个有效注意力机制网络eSE(effective Squeeze-Excitation)和一个自适应性特征融合模块ASFF(AdaptivelySpatial Feature Fusion)，所述有效注意力机制网络eSE用于将对应通道的特征图提取得到目标特征图，所述自适应性特征融合模块ASFF用于各个通道的目标特征图根据权重进行融合。
SSD网络模型采用多尺度特征图用于目标检测。检测大尺寸目标时，通常与语义信息丰富的特征图映射相联系；检测小尺寸目标时，则与细节信息丰富的特征图映射相关联。当检测某一个目标时若在某一尺寸的特征图中被指定为正样本，在其他尺寸的特征图中相应的区域则应被视为背景。因此，若某一特征图上包含不同尺寸大小目标的检测，不同尺度特征图间的冲突便显现出来了。为解决这一问题，本实施例中引入了自适应性特征融合模块ASFF。自适应性特征融合模块ASFF的本质是使网络自适应的学习不同尺寸特征图之间的空间权重再分别进行融合，得到融合后对应尺寸的特征图进行下一步的网络训练。其原理如下：通过主干网络得到不同尺寸的特征图，其分辨率和通道数互不相同，因此，在融合前需要转换特征图的分辨率和通道数。例如，将分辨率为n的特征图记为Fn。首先，利用1×1的卷积层将不同分辨率特征图的通道数转换成与特征图Fn相同。对于分辨率小于Fn的特征图，使用双线性差值的方法来增加其分辨率。对于分辨率大于Fn的特征图，当分辨率是Fn的2倍时，使用步长为2、卷积核为3的卷积层降低其分辨率；当分辨率是Fn的4倍时，先使用步长为2的最大值池化层，再添加步长为2的3×3的卷积层，以此类推。以三个特征图为例，融合后分辨率为n的特征图记为Ln，则Ln在(i,j)位置上输出的向量
Figure BDA0002707346480000051
为：
Figure BDA0002707346480000052
上式中，通式
Figure BDA0002707346480000053
表示特征图Fm转换成Fn相同分辨率后在位置(i,j)上的特征向量，
Figure BDA0002707346480000054
Figure BDA0002707346480000055
和
Figure BDA0002707346480000056
分别表示在位置(i,j)上Fm对于特征图Fn的空间权重。本实施例中使用softmax函数将
Figure BDA0002707346480000057
定义如下：
Figure BDA0002707346480000061
上式中，
Figure BDA0002707346480000062
分别为三个权重的控制参数。
分别使用1×1的卷积层计算Fm→n的权重控制参数标量图
Figure BDA0002707346480000063
使网络能够自适应的学习和计算不同尺寸特征图对应的空间权重，如图2所示。另外，
Figure BDA0002707346480000064
分别满足条件
Figure BDA0002707346480000065
和
Figure BDA0002707346480000066
Figure BDA0002707346480000067
和
Figure BDA0002707346480000068
使用上述相同的定义方式。
为了增强特征的表达，本实施例中将有效注意力机制和自适应特征融合模块巧妙的融合在一起提出了自适应高效特征融合模块AEFF。有效注意力机制能够提升有用特征并抑制对当前任务无用或用处不大的特征。自适应特征融合通过减小当前特征层和相邻特征层信息的冲突提升检测结果。两者融合在一起则可以减少冗余特征和相邻特征层信息的干扰获取SAR图像的有效特征。首先，有效注意力机制采用全局池化层压缩特征图使其具有全局感受野，再使用全连接层拟合特征通道之间的相关性计算出权重向量，最后通过sigmoid函数归一化。得到的归一化权重向量加权到原始的特征图上将与检测目标相关的信息突显出来，得到目标特征图。将通过有效注意力机制增强之后的特征图输入到自适应高效特征融合模块AEFF。参见图4，本实施例中各个通道的目标特征图根据权重进行融合的步骤包括：将相邻通道的目标特征图缩放到本通道目标特征图的相同大小，将本通道目标特征图、缩放后的相邻通道的目标特征图分别采用1×1的卷积模块获取特征图的通道信息并压缩通道数，将压缩通道数后的特征图拼接后使用1×1卷积层学习各层的权重信息得到权重标量图，最后将权重标量图通过softmax函数使权重范围为[0,1]且各点权重之和为1。自适应高效特征融合模块AEFF将各个权重标量图分别加权到原始的各个特征图上以减小特征层信息之间的冲突，再将加权后的特征图相加得到融合后的特征图用于下一步的网络训练。尺寸小于10的特征图干扰信息量较少，因此本实施例中只在尺寸为38,19,10的特征图后加入了自适应高效特征融合模块AEFF。加入自适应高效特征融合模块AEFF后，网络能够更好的提取SAR图像的有效特征，减少背景信息的干扰，准确的学习到目标特征。
特征图的各个通道都包含着丰富的图像信息，网络在进行目标检测时，若不能及时的获取有效信息则会降低网络的性能。本实施例中引入有效注意力机制网络eSE来提高网络分辨特征通道之间有效信息的能力，并抑制无用信息。有效注意力机制网络eSE是对SE网络模块的改进，使其更能提取有效信息。SE网络模块是通过建模特征通道之间的相互依赖性，给相应特征通道获取一个权重，来抑制冗余特征，增强有用特征。SE网络模块使用全局平均池化得到尺寸为1×1×C的特征图，此时的特征图具有全局感受野。再由两个全连接层(Fully Conected，FC)构成一个“瓶颈”结构来拟合特征通道之间的相关性。第一个全连接层通过压缩比例r将特征图通道数压缩到C/r，第二个全连接层再将特征图通道数扩展到原始的尺寸C。最后经过Sigmoid激活函数将特征向量归一化为0到1之间，即得到权重向量。然而，两个全连接层通过压缩比例r对特征通道数进行压缩和扩展会导致特征通道信息的流失。针对这个问题，有效注意力机制网络eSE提出了使用一个维度为C的全连接层替代两个全连接层的方法，保留通道信息，并提升模型效果，其结构如图4所示。参见图4，该有效注意力机制网络eSE的函数表达式如下式所示：
AeSE(X)＝σ(WC(Fgap(X)))
Figure BDA0002707346480000071
Figure BDA0002707346480000072
上式中，X∈RC×W×H表示输入的特征图，C表示通道，W为宽度，H为高度，AeSE(X)表示计算得到的权重向量，σ表示Sigmoid激活函数，WC表示全连接层，Fgap表示全局平均池化，Xi,j表示特征图中的第i行第j列的像素，Xrefine为经权重加权后的目标特征图，
Figure BDA0002707346480000073
为相乘操作。将得到的权重向量AeSE(X)通过缩放操作加权到最初的特征图X的各个通道上，达到增强有用特征、抑制冗余特征的目的。最后再借鉴残差模块的思想，将原始特征和增强后的特征相加，得到最终的特征图输入到网络下一步的训练中。
桥梁目标自动检测在SAR图像解译中非常具有挑战性。SAR图像背景复杂、桥梁目标不明显及相似目标过多等在很大程度上影响了桥梁检测效果。对此，本实施例将在自适应高效特征融合AEFF输出的3个特征图与原主干网络产生的3个小尺寸特征图上产生的候选框直接分类回归，并经非极大值抑制(Non-Maximum Suppression，NMS)筛选产生桥梁检测结果。本实施例在多尺度特征图上按照固定的长宽比生成8732个先验框。这些先验框大部分重叠在一起，同一个位置会存在多个先验框。非极大值抑制则可以去除这些多余的先验框并保留与目标最匹配的先验框。首先，网络在检测过程中会为每个先验框计算一个置信度，并将置信度从高到低排列选出置信度最高的框。然后，依次计算其他框与该置信度最高的框的交并比(IOU)。若交并比(IOU)大于阈值则删除，小于阈值则保留。阈值可自行设置，通常设置为0.45。最后，将该置信度最高的先验框进行标记并保留。在保留下来的未标记的先验框中重新按照置信度排列，再选取出置信度最高的框重复上述操作。在多次重复操作之后即可得到与目标最匹配的先验框。
为了对本实施例用于SAR图像的SSD-AEFF自动桥梁检测方法进行验证，本实施例中选取多景3m分辨率的TerraSAR影像制作成数据集用于网络训练，数据集仿照VOC数据集的格式制作。首先，使用PhotoShop工具将大尺度的SAR图像裁剪成500×500的小图，再使用LabelImg工具标注小尺寸SAR图像中的桥梁目标，并制作成xml文件用于训练。数据集包含水上桥梁和背景两类目标，总共含有1560张样本，其中80％用于训练，20％用于测试。本实施例中实验环境为CPU Inter至强金牌5120，GPU(单)为NVIDIA RTX 2080Ti。
本实施例中的所有模型都是采用SGD算法优化。我们使用2个GPU训练网络模型，每个GPU每次输入两张图片。作为对比的SSD网络模型、Faster-RCNN网络模型和本实施例方法中的SSD-AEFF网络模型均训练150个周期(epochs)，初始学习率分别为8-e4、1-e3、8-e4。EfficientDet采用模型D0训练100个周期，初始学习率为3-e4。所有模型均使用相同的数据集训练。
为了验证本实施例中方法的有效性，将本实施例方法中的SSD-AEFF网络的检测结果分别与Faster-RCNN网络模型、SSD网络模型和EfficientDet网络模型进行了比较，各算法的评价指标如表1所示。本实施例中使用检测率、虚警率和漏警率三个评价指标来衡量网络的效果。其中，检测率表示网络正确检测到的桥梁目标数量和实际存在的桥梁目标数量之比，虚警率则是虚警目标数量和网络检测到的所有目标数量之比，漏警率为漏检的桥梁目标数量和实际存在的桥梁目标数量之比。
表1不同算法的桥梁检测率对比。
网络模型 检测率 漏警率
Faster-RCNN 0.822 0.337
SSD 0.932 0.343
EfficientDet 0.945 0.627
SSD-AEFF 0.945 0.103
由表1可看出，Faster-RCNN网络模型的检测率是0.822，虚警率是0.337，说明检测结果中存在一定数量的漏检和虚警；SSD网络模型的检测率是0.932，虚警率和Faster-RCNN网络模型相似，说明SSD网络模型的漏检目标远远少于Faster-RCNN但虚警目标数量与其差不多；而EfficientDet网络模型的检测率是0.945，说明漏检目标比SSD网络模型还要少，但虚警率达到了0.624，说明其检测结果中存在大量的虚警；本实施例中提出的算法检测率和EfficientDet网络模型相同，但虚警率比Faster-RCNN网络模型、SSD网络模型下降了至少20％，比EfficientDet网络模型下降了52％，说明虚警目标的数量大大减少了。
为了便于对比各个模型的检测效果，本实施例中选取了一部分未放入数据集中的中国佛山地区的3m分辨率TerraSAR图像进行检测，尺寸为17000×10500。由于该SAR图像尺寸较大，本实施例中将选取两个典型的场景(场景1和场景2)进行检测结果的对比，可以直观的看到各个模型的检测效果：
场景1由于存在湖泊、大面积的树木和较多的支流，背景较复杂，因此存在虚警的可能性较大。从整体的检测结果来看，Faster-RCNN网络模型、SSD网络模型、EfficientDet网络模型均存在漏检的情况，且存在较大程度的虚警。而本实施例方法得到的桥梁检测完整，且只存在一个虚警。
场景2由于SAR图像独特的成像方式，河流在图像中像素颜色较暗，桥梁、船舶等像素颜色较亮，因此，河流当中的船舶容易被误检为桥梁。另外，村庄、房屋形成的亮条纹也容易被误检为桥梁。从检测结果发现，Faster-RCNN网络模型、SSD网络模型、EfficientDet网络模型在场景2都存在不同数量的虚警，而本实施例方法的检测效果非常好。
综上所述，针对SAR图像桥梁目标自动检测，本实施例中在SSD网络模型的基础上进行改进，提出了SSD-AEFF网络模型。为了最大程度不影响模型的检测速度，主干网络保留了VGG网络。本实施例中算法使用VGG网络提取图像特征，并使用3×3卷积模块获得多尺度特征图。融合注意力机制和自适应特征融合巧妙构建了自适应高效特征融合模块AEFF，用于获取有效特征，降低背景特征的干扰。AEFF模块添加在尺寸较大的3个特征图后，获取融合后的特征，结合原始的小尺寸的特征图使用3×3的卷积层直接进行分类和回归，最后通过NMS筛选得到最终的桥梁检测结果。从TerraSAR图像的检测结果中也可以看到，Faster-RCNN网络模型、SSD网络模型和EfficientDet网络模型都存在大量的虚警，而本实施例方法采用的SSD-AEFF网络模型的虚警率最低，为0.113。结果表明，本实施例采用的网络模型对于SAR图像桥梁目标的自动检测有着较为满意的结果。本实施例中算法的检测率高于Faster-RCNN网络模型和SSD网络模型，但和EfficientDet网络模型相同均为0.945。
此外，本实施例还提供一种用于SAR图像的SSD-AEFF自动桥梁检测系统，包括：
输入程序单元，用于输入待检测的SAR图像；
特征提取程序单元，用于将待检测的SAR图像通过SSD网络模型的主干网络获取多种尺寸的特征图；
特征融合提取程序单元，用于将得到的多种尺寸的特征图划分为尺寸较大的部分特征图、尺寸较小的部分特征图，将尺寸较大的部分特征图利用自适应高效特征融合模块AEFF基于有效注意力机制和自适应特征融合通过加权的方式进一步提取特征图；
分类检测程序单元，用于将在自适应高效特征融合模块AEFF输出的特征图和尺寸较小的部分特征图上产生的候选框直接分类回归，并经非极大值抑制筛选产生桥梁检测结果。
此外，本实施例还提供一种用于SAR图像的SSD-AEFF自动桥梁检测系统，包括计算机设备，所述计算机设备至少包括相互连接的微处理器和存储器，所述微处理器被编程或配置以执行前述用于SAR图像的SSD-AEFF自动桥梁检测方法的步骤，或者所述存储器中存储有被编程或配置以执行前述用于SAR图像的SSD-AEFF自动桥梁检测方法的计算机程序。
此外，本实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有被编程或配置以执行前述用于SAR图像的SSD-AEFF自动桥梁检测方法的计算机程序。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (8)

1.一种用于SAR图像的SSD-AEFF自动桥梁检测方法，其特征在于，包括：
1)输入待检测的SAR图像；
2)将待检测的SAR图像通过SSD网络模型的主干网络获取多种尺寸的特征图；
3)将得到的多种尺寸的特征图划分为尺寸较大的部分特征图、尺寸较小的部分特征图，将尺寸较大的部分特征图利用自适应高效特征融合模块AEFF基于有效注意力机制和自适应特征融合通过加权的方式进一步提取特征图；所述自适应高效特征融合模块AEFF包括与尺寸较大的部分特征图中包含的特征图数量一一对应的通道，每一个通道均包括一个有效注意力机制网络eSE和一个自适应性特征融合模块ASFF，所述有效注意力机制网络eSE用于将对应通道的特征图提取得到目标特征图，所述自适应性特征融合模块ASFF用于各个通道的目标特征图根据权重进行融合；所述各个通道的目标特征图根据权重进行融合的步骤包括：将相邻通道的目标特征图缩放到本通道目标特征图的相同大小，将本通道目标特征图、缩放后的相邻通道的目标特征图分别采用1×1的卷积模块获取特征图的通道信息并压缩通道数，将压缩通道数后的特征图拼接后使用1×1卷积层学习各层的权重信息得到权重标量图，最后将权重标量图通过softmax函数使权重范围为[0,1]且各点权重之和为1；
4)将在自适应高效特征融合模块AEFF输出的特征图和尺寸较小的部分特征图上产生的候选框直接分类回归，并经非极大值抑制筛选产生桥梁检测结果。
2.根据权利要求1所述的用于SAR图像的SSD-AEFF自动桥梁检测方法，其特征在于，所述有效注意力机制网络eSE的函数表达式如下式所示：
AeSE(X)＝σ(WC(Fgap(X)))
Figure FDA0003742107690000011
Figure FDA0003742107690000012
上式中，X∈RC×W×H表示输入的特征图，C表示通道，W为宽度，H为高度，AeSE(X)表示计算得到的权重向量，σ表示Sigmoid激活函数，WC表示全连接层，Fgap表示全局平均池化，Xi,j表示特征图中的第i行第j列的像素，Xrefine为经权重加权后的目标特征图，
Figure FDA0003742107690000013
为相加操作。
3.根据权利要求1所述的用于SAR图像的SSD-AEFF自动桥梁检测方法，其特征在于，步骤2)的步骤包括：将待检测的SAR图像输入SSD网络模型的主干网络，通过主干网络的conv4_3层和conv_7层得到尺寸分别为38和19的特征图，然后针对尺寸为19的特征图逐步使用步长为2、卷积核为3的卷积模块将特征图尺寸减小至10、5、3和1，从而得到尺寸分别为38、19、10、5、3和1的六种尺寸的特征图。
4.根据权利要求3所述的用于SAR图像的SSD-AEFF自动桥梁检测方法，其特征在于，步骤3)中尺寸较大的部分特征图是指尺寸分别为38、19、10的特征图，尺寸较小的部分特征图是指尺寸分别为5、3、1的特征图。
5.根据权利要求1所述的用于SAR图像的SSD-AEFF自动桥梁检测方法，其特征在于，步骤2)中SSD网络模型的主干网络为VGG网络。
6.一种用于SAR图像的SSD-AEFF自动桥梁检测系统，其特征在于，包括：
输入程序单元，用于输入待检测的SAR图像；
特征提取程序单元，用于将待检测的SAR图像通过SSD网络模型的主干网络获取多种尺寸的特征图；
特征融合提取程序单元，用于将得到的多种尺寸的特征图划分为尺寸较大的部分特征图、尺寸较小的部分特征图，将尺寸较大的部分特征图利用自适应高效特征融合模块AEFF基于有效注意力机制和自适应特征融合通过加权的方式进一步提取特征图；所述自适应高效特征融合模块AEFF包括与尺寸较大的部分特征图中包含的特征图数量一一对应的通道，每一个通道均包括一个有效注意力机制网络eSE和一个自适应性特征融合模块ASFF，所述有效注意力机制网络eSE用于将对应通道的特征图提取得到目标特征图，所述自适应性特征融合模块ASFF用于各个通道的目标特征图根据权重进行融合；所述各个通道的目标特征图根据权重进行融合的步骤包括：将相邻通道的目标特征图缩放到本通道目标特征图的相同大小，将本通道目标特征图、缩放后的相邻通道的目标特征图分别采用1×1的卷积模块获取特征图的通道信息并压缩通道数，将压缩通道数后的特征图拼接后使用1×1卷积层学习各层的权重信息得到权重标量图，最后将权重标量图通过softmax函数使权重范围为[0,1]且各点权重之和为1；
分类检测程序单元，用于将在自适应高效特征融合模块AEFF输出的特征图和尺寸较小的部分特征图上产生的候选框直接分类回归，并经非极大值抑制筛选产生桥梁检测结果。
7.一种用于SAR图像的SSD-AEFF自动桥梁检测系统，包括计算机设备，所述计算机设备至少包括相互连接的微处理器和存储器，其特征在于，所述微处理器被编程或配置以执行权利要求1～5中任意一项所述用于SAR图像的SSD-AEFF自动桥梁检测方法的步骤，或者所述存储器中存储有被编程或配置以执行权利要求1～5中任意一项所述用于SAR图像的SSD-AEFF自动桥梁检测方法的计算机程序。
8.一种计算机可读存储介质，其特征在于，该计算机可读存储介质中存储有被编程或配置以执行权利要求1～5中任意一项所述用于SAR图像的SSD-AEFF自动桥梁检测方法的计算机程序。
CN202011043606.5A 2020-09-28 2020-09-28 用于sar图像的ssd-aeff自动桥梁检测方法及系统 Active CN112149591B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011043606.5A CN112149591B (zh) 2020-09-28 2020-09-28 用于sar图像的ssd-aeff自动桥梁检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011043606.5A CN112149591B (zh) 2020-09-28 2020-09-28 用于sar图像的ssd-aeff自动桥梁检测方法及系统

Publications (2)

Publication Number Publication Date
CN112149591A CN112149591A (zh) 2020-12-29
CN112149591B true CN112149591B (zh) 2022-09-09

Family

ID=73895432

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011043606.5A Active CN112149591B (zh) 2020-09-28 2020-09-28 用于sar图像的ssd-aeff自动桥梁检测方法及系统

Country Status (1)

Country Link
CN (1) CN112149591B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112598604A (zh) * 2021-03-04 2021-04-02 成都东方天呈智能科技有限公司 一种盲脸复原方法及系统
CN113378763B (zh) * 2021-06-25 2022-11-22 长沙理工大学 一种面向sar图像的目标自动检测方法及系统
CN113538347B (zh) * 2021-06-29 2023-10-27 中国电子科技集团公司电子科学研究院 基于高效双向路径聚合注意力网络的图像检测方法及系统
CN113486810A (zh) * 2021-07-08 2021-10-08 国网江苏省电力有限公司徐州供电分公司 一种公园盗猎鸟类的智能识别方法
CN114419049A (zh) * 2022-03-31 2022-04-29 科大天工智能装备技术（天津）有限公司 一种桥梁钢索断裂探测方法及系统
CN114821346B (zh) * 2022-06-28 2022-09-02 深圳安德空间技术有限公司 一种基于嵌入式平台的雷达图像智能识别方法和系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110084292A (zh) * 2019-04-18 2019-08-02 江南大学 基于DenseNet和多尺度特征融合的目标检测方法
CN110084210A (zh) * 2019-04-30 2019-08-02 电子科技大学 基于注意力金字塔网络的sar图像多尺度舰船检测方法
CN110533084A (zh) * 2019-08-12 2019-12-03 长安大学 一种基于自注意力机制的多尺度目标检测方法
CN110929578A (zh) * 2019-10-25 2020-03-27 南京航空航天大学 一种基于注意力机制的抗遮挡行人检测方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113316792B (zh) * 2019-02-19 2024-03-26 赫尔实验室有限公司 将学习到的知识从eo域迁移到sar域的系统、方法、介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110084292A (zh) * 2019-04-18 2019-08-02 江南大学 基于DenseNet和多尺度特征融合的目标检测方法
CN110084210A (zh) * 2019-04-30 2019-08-02 电子科技大学 基于注意力金字塔网络的sar图像多尺度舰船检测方法
CN110533084A (zh) * 2019-08-12 2019-12-03 长安大学 一种基于自注意力机制的多尺度目标检测方法
CN110929578A (zh) * 2019-10-25 2020-03-27 南京航空航天大学 一种基于注意力机制的抗遮挡行人检测方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A Lightweight Feature Optimizing Network for Ship Detection in SAR Image;Xiaohan Zhang等;《IEEE Access》;20190923;第141622-141678页 *
复杂场景下单通道SAR目标检测及鉴别研究进展综述;杜兰 等;《雷达学报》;20200306;第1-10页 *

Also Published As

Publication number Publication date
CN112149591A (zh) 2020-12-29

Similar Documents

Publication Publication Date Title
CN112149591B (zh) 用于sar图像的ssd-aeff自动桥梁检测方法及系统
CN110472627B (zh) 一种端到端的sar图像识别方法、装置及存储介质
CN112288008B (zh) 一种基于深度学习的马赛克多光谱图像伪装目标检测方法
CN111753682B (zh) 一种基于目标检测算法的吊装区域动态监控方法
Sun et al. Global Mask R-CNN for marine ship instance segmentation
CN111898432A (zh) 一种基于改进YOLOv3算法的行人检测系统及方法
CN114255403A (zh) 基于深度学习的光学遥感图像数据处理方法及系统
CN115526935A (zh) 基于全局和局部信息的像素级抓取位姿检测方法及系统
CN117037004A (zh) 基于多尺度特征融合和上下文增强的无人机影像检测方法
CN116168240A (zh) 基于注意力增强的任意方向密集舰船目标检测方法
Zhang et al. Nearshore vessel detection based on Scene-mask R-CNN in remote sensing image
Fan et al. A novel sonar target detection and classification algorithm
Zhang et al. Light-SDNet: a lightweight CNN architecture for ship detection
Dai et al. GCD-YOLOv5: An armored target recognition algorithm in complex environments based on array lidar
Fu et al. A case study of utilizing YOLOT based quantitative detection algorithm for marine benthos
Gopal et al. Tiny object detection: Comparative study using single stage CNN object detectors
Gui et al. A scale transfer convolution network for small ship detection in SAR images
Huang et al. EST-YOLOv5s: SAR Image Aircraft Target Detection Model Based on Improved YOLOv5s
CN110826575A (zh) 一种基于机器学习的水下目标识别方法
Zhang et al. Research on ship target detection based on improved YOLOv5 algorithm
Lei et al. Ship detection based on deep learning under complex lighting
Wu et al. Object-Enhanced YOLO Networks for Synthetic Aperture Radar Ship Detection
Hu et al. Aircraft Targets Detection in Remote Sensing Images with Feature Optimization
CN113971755B (zh) 基于改进yolov3模型的全天候海面目标检测方法
CN116503603B (zh) 一种基于弱监督语义分割和特征弥补的类间遮挡目标检测网络模型的训练方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant