CN113469191A - 基于多层特征融合注意力机制的sar图像叠掩区提取方法 - Google Patents

基于多层特征融合注意力机制的sar图像叠掩区提取方法 Download PDF

Info

Publication number
CN113469191A
CN113469191A CN202110662456.4A CN202110662456A CN113469191A CN 113469191 A CN113469191 A CN 113469191A CN 202110662456 A CN202110662456 A CN 202110662456A CN 113469191 A CN113469191 A CN 113469191A
Authority
CN
China
Prior art keywords
module
fusion
attention mechanism
convolution
features
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110662456.4A
Other languages
English (en)
Other versions
CN113469191B (zh
Inventor
陈立福
蔡兴敏
袁志辉
邢进
罗汝
谭思雨
翁婷
王杰岚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changsha University of Science and Technology
Original Assignee
Changsha University of Science and Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changsha University of Science and Technology filed Critical Changsha University of Science and Technology
Priority to CN202110662456.4A priority Critical patent/CN113469191B/zh
Publication of CN113469191A publication Critical patent/CN113469191A/zh
Application granted granted Critical
Publication of CN113469191B publication Critical patent/CN113469191B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于多层特征融合注意力机制的SAR图像叠掩区提取方法，包括将输入的SAR图像与其对应的相干系数图和干涉相位图进行通道融合再利用滑窗切分为图像样本，将图像样本输入多层特征融合注意机制网络实现叠掩区提取，其中多层特征融合注意机制网络包括编码器和解码器，编码器包含骨干网络、AASP模块以及SEB模块，解码器基于编码器输出特征实现叠掩区提取。本发明将SAR图像与其对应的相干系数图和干涉相位图进行通道融合来显式增强叠掩区的语义信息，进而将融合后的图像输入多层特征融合注意机制网络提取叠掩区本质特征并给出检测结果，具有边缘区域的提取效果好、漏检和误检区域少、运行性能高的优点。

Description

基于多层特征融合注意力机制的SAR图像叠掩区提取方法
技术领域
本发明涉及合成孔径雷达干涉测量(Interferometric Synthetic ApertureRadar，InSAR)技术，具体涉及一种基于多层特征融合注意力机制的SAR图像叠掩区提取方法。
背景技术
合成孔径雷达干涉测量(Interferometric Synthetic Aperture Radar，InSAR)具有全天时全天候成像且不受天气影响等优势，被广泛应用于地形测绘和地表形变监测等领域。然而InSAR的侧视成像方式所造成的斜距上的距离压缩、叠掩和阴影现象对这项技术的广泛应用造成严重影响，特别是叠掩的存在严重破坏了干涉相位的连续性，导致InSAR技术在数据处理工作中无法准确滤波和解缠。
叠掩是侧视成像过程中出现的一种特殊的距离压缩，在多山地区及高大建筑物之处尤为明显。如图1所示，在地形起伏的区域，当坡度θ与局部雷达俯角β之和大于90°时，山顶回波比山脚回波更早被雷达接收，从而在雷达图像的距离向上出现山脚山顶影像倒置的叠掩现象，表现在图中为AB在斜距图像中变成线段B'A'。
许多学者对叠掩区域的检测做了研究，其中使用传统数学几何模型和图像处理等方法较多，如基于InSAR相干系数图的判别方法、基于强度图进行阈值分割的方法、基于数字图像处理的滤波边界锐化方法，但这些方法都存在不同程度的局限性。由于SAR图像中固有的相干斑噪声，使用阈值分割或数字图像处理手段很难在SAR图像上准确提取出叠掩区域。此外，由于叠掩区域是来自不同位置点回波的叠加，相干系数值不具有统一特点，仅仅依靠图像和相干系数值也不能很好地检测叠掩区域。值得一提的是，在干涉相位图叠掩区域存在明显的相位梯度反相，与其他区域表现出明显不同的特征。因此结合干涉相位图能够显式增强叠掩区域的语义信息，有利于叠掩的检测。因此，本文将同一叠掩区域的三种图像进行通道融合，再检测叠掩区域。
近年来，基于深度学习网络的计算机视觉方法发展迅速。利用深度学习技术可以提取深层次SAR图像特征，对于复杂背景的叠掩区域检测具有重要意义。例如，利用光学图像、干涉相干数据和DEM做成数据集进行分割来提取叠掩目标、使用卷积神经网络(CNN-ISS)和卷积长短期记忆网络(CLSTM-ISS)进行叠掩区域提取等。这些方法可以解决传统方法中的人为辅助要求和阈值设定，但是仍存在一些问题。在他们的工作中，检测之前都要做大量的预处理，很难实现InSAR图像叠掩区域的自动检测。另外，SAR图像与光学图像相比没有明显的边缘特征，且叠掩目标之间存在类内差异性，这就要求深度学习网络具备更强的多尺度特征融合能力和更好的边缘细节提取能力。
发明内容
本发明要解决的技术问题：针对现有技术的上述问题，提供一种基于多层特征融合注意力机制的SAR图像叠掩区提取方法，本发明具有边缘区域的提取效果好、漏检和误检区域少、运行性能高的优点。
为了解决上述技术问题，本发明采用的技术方案为：
一种基于多层特征融合注意力机制的SAR图像叠掩区提取方法，包括将输入的SAR图像与其对应的相干系数图和干涉相位图进行通道融合再利用滑窗切分为图像样本，将图像样本输入多层特征融合注意机制网络实现叠掩区提取。
可选地，所述进行通道融合是指分别提取SAR图像、相干系数图以及干涉相位图的一个通道得到r、g、b通道图像，将r、g、b通道图像顺序合成为一张三通道图像作为通道融合得到的融合图像。
可选地，所述多层特征融合注意机制网络包括：
编码器，包含骨干网络、AASP模块以及SEB模块的编码器，用于通过骨干网络对图像样本进行特征提取得到低级特征、中间级特征和高级特征，通过AASP模块对骨干网络输出的高级特征进行多尺度深入提取得到多尺度特征，通过SEB模块融合骨干网络输出的中间级特征并改善空间细节表达得到中间级融合特征；
解码器，用于将骨干网络提取得到的低级特征、AASP模块输出的多尺度特征、SEB模块输出的中间级融合特征采用分步解码，通过流对齐模块进行特征融合并逐步恢复特征分辨率，最终实现叠掩区提取。
可选地，所述编码器的骨干网络为带有空洞卷积的ResNet_101网络。
可选地，所述带有空洞卷积的ResNet_101网络依次包括：卷积层和最大池化层，用于针对输入图像样本降低图像分辨率；第一残差模块res-1，用于对卷积层和最大池化层的输出进行特征提取得到低级特征；第二残差模块res-2，用于对第一残差模块res-1输出的低级特征进行特征提取得到部分中间级特征；第三残差模块res-3，用于对第二残差模块res-2输出的部分中间级特征进行特征提取得到另一部分中间级特征；第四残差模块res-4，用于对第三残差模块res-3输出的另一部分中间级特征进行特征提取得到高级特征；所述第一残差模块res-1、第二残差模块res-2、第三残差模块res-3、第四残差模块res-4均为由残差单元组成，其中第四残差模块res-4使用空洞率分别为2、4、8的空洞卷积级联替换最后一个卷积层以加深网络层数、丰富特征图的语义信息。
可选地，所述AASP模块包括：
四条并行注意力池化分支，用于对骨干网络输出的高级特征从不同感受野上捕捉图像的上下文信息；
有效通道注意力机制ReCA，用于结合通道维度对对四条并行注意力池化分支输出的多尺度特征进行优劣筛选以改善多尺度提取效果、提高物体检测精度；
全局平均池化支路GAP，用于对骨干网络输出的高级特征做降采样处理以防止过拟合；
融合模块，用于将有效通道注意力机制ReCA输出的特征、全局平均池化支路GAP输出的特征进行融合后得到最终的多尺度特征；
有效通道注意力机制ReCA包括：
全局平均池化模块，用于将有效通道注意力机制ReCA的输入特征X使用全局平均池化提取全局特征得到1×1×C的向量；
包含自适应卷积核的一维卷积，用于将得到的1×1×C的向量进行通道间的信息交互学习；
权重映射模块，用于基于sigmoid函数将通道间的信息交互学习结果获得通道映射权重AeCA；
点乘模块，用于将有效通道注意力机制ReCA的输入特征X、通道映射权重AeCA两者相乘以给输入特征X进行逐像素权重赋值实现特征再筛选，最终再与输入特征X相加平衡特征得到输入特征X对应的输出特征。
可选地，所述SEB模块包括：多层级融合模块MCF，用于将骨干网络输出的两个中间级特征中分别通过不同组数的Pyconv金字塔卷积进行特征再提取，经过逐像素相乘实现特征融合；空间信息聚合模块SIA，用于将多层级融合模块MCF输出的融合特征通过3×3卷积和批归一化激活BN-ReLu后进行矩阵分解，针对矩阵分解分别用1×k+k×1和k×1+1×k的深度卷积来聚合空间信息、在降低计算量的同时保留原始大卷积核的感受野后再融合，将再融合结果通过包含小卷积核的残差结构后再与再融合结果自身融合；所述包含小卷积核的残差结构包括依次相连的3×3卷积、ReLu激活函数层和3×3卷积。
可选地，所述解码器包括：
第一1×1卷积，用于将AASP模块提取得到多尺度特征进行降维；
第一流对齐模块，用于将第一1×1卷积输出的降维后的特征上采样2倍后再与SEB模块得到的中间级融合特征融合；
第二1×1卷积，用于将第一流对齐模块输出的特征进行降维；
第三1×1卷积，用于将骨干网络输出的低级特征进行降维；
第二流对齐模块，用于将第二1×1卷积降维后的特征上采样2倍、第三1×1卷积降维后的特征上采样2倍后再进行特征融合；
3×3卷积，用于将第二流对齐模块输出的特征进行特征细化；
上采样模块，用于将3×3卷积输出的特征进行双线性插值4倍上采样得到最后的叠掩提取结果。
此外，本发明还提供一种基于多层特征融合注意力机制的SAR图像叠掩区提取系统，包括相互连接的微处理器和存储器，该微处理器被编程或配置以执行前述基于多层特征融合注意力机制的SAR图像叠掩区提取方法的步骤。
此外，本发明还提供一种计算机可读存储介质，该计算机可读存储介质中存储有被编程或配置以执行前述基于多层特征融合注意力机制的SAR图像叠掩区提取方法的计算机程序。
和现有技术相比，本发明具有下述优点：叠掩是侧视成像雷达中出现的一种几何失真现象，在多山地区及高大建筑物之处尤为明显，这造成该区域雷达强度图像不能真实反映目标特点，也造成了相位失真，从而严重影响了雷达图像的广泛应用。本发明基于多层特征融合注意力机制的SAR图像叠掩区提取方法将SAR图像与其对应的相干系数图和干涉相位图进行通道融合来显式增强叠掩区的语义信息，进而将融合后的图像输入多层特征融合注意机制网络提取叠掩区本质特征并给出检测结果，具有边缘区域的提取效果好、漏检和误检区域少、运行性能高的优点。
附图说明
图1为叠掩的形成原理示意图。
图2为本发明实施例方法的基本原理示意图。
图3为本发明实施例中通道融合前后及标签图的对比示例。
图4为本发明实施例中有效通道注意力机制ReCA的结构示意图。
图5为本发明实施例中SEB模块的结构示意图。
图6为本发明实施例方法和对比方法关于叠掩I提取结果对比示意图。
图7为本发明实施例方法和对比方法关于叠掩II提取结果对比示意图。
具体实施方式
如图2所示，本实施例基于多层特征融合注意力机制的SAR图像叠掩区提取方法，包括将输入的SAR图像与其对应的相干系数图和干涉相位图进行通道融合再利用滑窗切分为图像样本，将图像样本输入多层特征融合注意机制网络实现叠掩区提取。本实施例基于多层特征融合注意力机制的SAR图像叠掩区提取方法将SAR图像与其对应的相干系数图和干涉相位图进行通道融合来显式增强叠掩区的语义信息，进而将融合后的图像输入多层特征融合注意机制网络提取叠掩区本质特征并给出检测结果，具有边缘区域的提取效果好、漏检和误检区域少、运行性能高的优点。
本实施例中，进行通道融合是指分别提取SAR图像、相干系数图以及干涉相位图的一个通道得到r、g、b通道图像，将r、g、b通道图像顺序合成为一张三通道图像作为通道融合得到的融合图像。图3中，子图(a)为SAR图像的示例，子图(b)为相干系数图的示例，子图(c)为干涉相位图的示例，子图(d)为融合图像的示例，子图(e)为叠掩区的标签图。参见子图(d)可知，在融合图像中叠掩区域的地理空间信息明显地区别于背景区域，进而对融合图像进行滑窗制作数据集用来训练。
本实施例中提出了一种多层特征融合注意机制网络(Multi-layer featurefusion attention mechanism,MF2AM)来实现InSAR图像叠掩区的自动检测。参见图2，本实施例中的多层特征融合注意机制网络包括：
编码器，包含骨干网络、AASP模块以及SEB模块的编码器，用于通过骨干网络对图像样本进行特征提取得到低级特征、中间级特征和高级特征，通过AASP模块对骨干网络输出的高级特征进行多尺度深入提取得到多尺度特征，通过SEB模块融合骨干网络输出的中间级特征并改善空间细节表达得到中间级融合特征；
解码器，用于将骨干网络提取得到的低级特征、AASP模块输出的多尺度特征、SEB模块输出的中间级融合特征采用分步解码，通过流对齐模块进行特征融合并逐步恢复特征分辨率，最终实现叠掩区提取。
本实施例中，编码器的骨干网络为带有空洞卷积的ResNet_101网络。ResNet(残差)网络具有跳跃连接、优化残差等特点，非常适合搭建语义分割网络。
参见图2，本实施例中带有空洞卷积的ResNet_101网络依次包括：卷积层和最大池化层，用于针对输入图像样本降低图像分辨率；第一残差模块res-1，用于对卷积层和最大池化层的输出进行特征提取得到低级特征；第二残差模块res-2，用于对第一残差模块res-1输出的低级特征进行特征提取得到部分中间级特征；第三残差模块res-3，用于对第二残差模块res-2输出的部分中间级特征进行特征提取得到另一部分中间级特征；第四残差模块res-4，用于对第三残差模块res-3输出的另一部分中间级特征进行特征提取得到高级特征；所述第一残差模块res-1、第二残差模块res-2、第三残差模块res-3、第四残差模块res-4均为由残差单元组成，其中第四残差模块res-4使用空洞率分别为2、4、8的空洞卷积级联替换最后一个卷积层以加深网络层数、丰富特征图的语义信息。
参见图2可知，带有空洞卷积的ResNet_101网络首先经过一个卷积层和最大池化层降低图像分辨率，然后通过四个由残差单元组成的残差模块(res-block)进行初步语义特征提取。其中第四残差模块res-4使用空洞率分别为2、4、8的空洞卷积级联替换最后一个卷积层，加深网络层数，丰富特征图的语义信息。本实施例中，将第二残差模块res-2和第三残差模块res-3的输出特征图作为SEB模块的输入，res4的输出特征图作为AASP模块的输入。
参见图2，AASP(Attention-based Atrous Spatial Pyramid，基于注意力的多孔空间金字塔)模块包括：
四条并行注意力池化分支，用于对骨干网络输出的高级特征从不同感受野上捕捉图像的上下文信息；
有效通道注意力机制ReCA，用于结合通道维度对四条并行注意力池化分支输出的多尺度特征进行优劣筛选以改善多尺度提取效果、提高物体检测精度；
全局平均池化支路GAP，用于对骨干网络输出的高级特征做降采样处理以防止过拟合；
融合模块，用于将有效通道注意力机制ReCA输出的特征、全局平均池化支路GAP输出的特征进行融合后得到最终的多尺度特征。
AASP模块由五个并行工作的分支组成，包括由4个不同空洞率不同尺度的卷积与有效通道注意力机制(Residual efficient channel attention,ReCA)组成的4条并行注意力池化分支，以及一条全局平均池化支路(global avg pooling,GAP)。AASP模块的输入特征图包含2048个通道和丰富的语义信息，其中GAP对特征图做降采样处理，以防止网络过拟合；4个不同空洞率的卷积能有效从不同感受野上捕捉图像的上下文信息；有效通道注意力机制ReCA结合通道维度对多尺度特征进行优劣筛选，改善多尺度提取效果，提高物体检测精度。注意力机制被广泛应用于语义分割、目标检测等深度学习任务中。现有的有效通道注意模块eCA(efficient channel attention)将自注意力模块(Squeeze-and-ExcitationModule，SE)中两个先降维后升维的卷积替换成更有效的连接方式，通过自适应选择卷积核的一维卷积来捕获局部的跨通道信息交互，避免了特征维度缩减造成的信息丢失，在降低参数的同时获得性能的提升。本实施例中进一步将eCA与跳跃连接结合得到ReCA，改善多尺度特征的提取效果。
当输入特征图的大小为X∈RH×W×C，有效通道注意力映射为AeCA(X)∈R1×1×C,有效通道注意力机制ReCA的详细结构如图4。参见图4，有效通道注意力机制ReCA包括：
全局平均池化模块，用于将有效通道注意力机制ReCA的输入特征X使用全局平均池化提取全局特征得到1×1×C的向量；
包含自适应卷积核的一维卷积，用于将得到的1×1×C的向量进行通道间的信息交互学习；
权重映射模块，用于基于sigmoid函数将通道间的信息交互学习结果获得通道映射权重AeCA；
点乘模块(图中表示为Fscale(⊙))，用于将有效通道注意力机制ReCA的输入特征X、通道映射权重AeCA两者相乘以给输入特征X进行逐像素权重赋值实现特征再筛选，最终再与输入特征X相加平衡特征得到输入特征X对应的输出特征。
其中，包含自适应卷积核的一维卷积用于捕获局部的跨通道交互，卷积核k决定交互的覆盖范围，不同的通道数和不同卷积块交互范围可能会有所不同，因此认为k与通道维数C有关，当给定通道维数C，自适应确定内核大小k，具体计算如下：
Figure BDA0003115643390000071
上式中，ψ(C)表示内核大小k关于通道维数C的函数，γ取值为2，b取值为1，C为输入的通道维数，|t|odd表示最接近t的奇数。
随着深度学习网络层数加深，特征分辨率逐渐降低，后续解码中单纯的上采样无法准确地恢复图像中的语义和空间信息，也导致提取的目标边缘结果较差。本实施例提出SEB(semantic embedding branch，语义嵌入分支)模块融合强语义高层次特征和细节低层次特征来提升特征表达能力，加强后续上采样时图像中像素的连续性，增加特征中的空间和语义信息，从而提高物体的边界分割。参见图2和图5，本实施例中SEB模块包括：
多层级融合模块MCF(Multi-Chanel Fusion)，用于将骨干网络输出的两个中间级特征分别通过不同组数的Pyconv金字塔卷积进行特征再提取，经过逐像素相乘实现特征融合；Pyconv并行多个空间分辨率和深度不同的卷积核在多个尺度上处理输入，且不会额外增加网络参数量。参见图5，Pyconv2和Pyconv3为不同组数的Pyconv金字塔卷积，且逐像素相乘实现特征融合时由于特征大小不同，针对两个中间级特征中的高层特征还需要进行上采样以放大至于底层特征大小一致。
空间信息聚合模块SIA(Spatial information aggregation)，用于将多层级融合模块MCF输出的融合特征通过3×3卷积和批归一化激活BN-ReLu后进行矩阵分解，针对矩阵分解结果分别用1×k+k×1和k×1+1×k的深度卷积来聚合空间信息后再融合，将再融合结果通过包含小卷积核的残差结构后再与再融合结果自身融合；所述包含小卷积核的残差结构包括依次相连的3×3卷积、ReLu激活函数层和3×3卷积。空间信息聚合模块SIA采用完全分离卷积，利用矩阵分解原理，用1×k+k×1和k×1+1×k的深度卷积(depth-wiseconvolution)来代替大核k×k卷积来聚合空间信息，在降低计算量的同时保留原始大卷积核的感受野。然后通过包含小卷积核的残差结构进一步提高目标边界附近的定位能力，提高边缘激活值，优化边缘信息的提取。
参见图2，本实施例中解码器包括：
第一1×1卷积，用于将AASP模块提取得到多尺度特征进行降维；
第一流对齐模块，用于将第一1×1卷积输出的降维后的特征上采样2倍后再与SEB模块得到的中间级融合特征融合；
第二1×1卷积，用于将第一流对齐模块输出的特征进行降维；
第三1×1卷积，用于将骨干网络输出的低级特征进行降维；
第二流对齐模块，用于将第二1×1卷积降维后的特征上采样2倍、第三1×1卷积降维后的特征上采样2倍后再进行特征融合；
3×3卷积，用于将第二流对齐模块输出的特征进行特征细化；
上采样模块，用于将3×3卷积输出的特征进行双线性插值4倍上采样得到最后的叠掩提取结果。
本实施例中针对解码器采用流对齐模块代替插值上采样，用高分辨率特征图指引低分辨率特征图来实现更灵活的特征对齐，旨在减少直接对高级特征进行空间维度恢复造成的误差。
综上所述，本实施例中的多层特征融合注意机制网络包括三个部分：图像通道融合、编码器和解码器。图像通道融合增强图像中叠掩区的语义信息，有效提高叠掩区的提取精度。编码器包括三部分：骨干网络ResNet101对图像进行初步特征提取；AASP模块对骨干网络输出的高级特征进行多尺度深入提取；SEB模块融合骨干网络输出的中间级特征并改善空间细节表达。解码器包含三个输入，一是AASP模块输出的高层多尺度特征；二是骨干网络输出的低级特征；三是SEB模块输出的中间融合特征。解码器采用分步解码，通过流对齐模块进行特征融合并逐步恢复特征分辨率，最终实现叠掩区提取。
为了进一步对本实施例基于多层特征融合注意力机制的SAR图像叠掩区提取方法进行验证，下文将进行相关验证试验。
一、关于数据集
本实施例中本实施例使用的是毫米波InSAR图像，包括SAR图像、对应的相干系数图、InSAR缠绕相位图以及标注的标签。首先将融合后的三通道图像使用滑窗切分方法生成512×512的图像数据集，进而进行数据增强，包括水平和垂直翻转、顺时针旋转90度、180度、逆时针旋转90度共5种数据增强，最终生成1635张样本。训练集和验证集的比例为4:1。本实施例实验软件环境为：pytorch 1.20,CUDA 10.0和Python 3.7；硬件环境为：CPUInter至强金牌5120；GPU(单)NVIDIA RTX 2080Ti。
二、关于训练参数设置
本实施例中，网络训练的过程中学习率设置为0.005，权重衰减值为0.0005。输入图片的batch size为8，网络训练迭代100次，最终会保存训练结果最好的一个epoch。训练过程中对输入图片进行随机裁剪，随机裁剪的窗口大小为512×512。
三、实验结果分析。
为更好地评估算法性能，本实施例选择像素精度(Pixel accuracy，PA)和交并比(Intersection over union，IOU)、平均像素比(Mean pixel accuracy，MPA)和平均交并比(Mean intersection over union，MIOU)作为评价指标，PA代表正确分类的像素占总像素的比例，IOU表示分割结果和真实结果的交集与并集之比，MPA表示每个类别中正确的像素数量与该类别所有像素数量比值的均值，MIOU代表每个类别上IOU的平均，具体定义为：
Figure BDA0003115643390000091
Figure BDA0003115643390000092
上式中，k表示目标的类别，一幅图像中共有k+1类(其中包含一类背景)；Pij表示实际类型为i类但被预测为j类的像素数量，是假正样本；同理Pji表示实际类型为j类但被预测为i类的像素数量，是假负样本；Pii表示i类真正的像素数量。
为验证本实施例方法的有效性，本实施例做了两组独立测试，并分别与GCAM、Deeplabv3+进行了对比实验。实验结果图见图6和7，其中图6为叠掩I提取结果图，图7为叠掩Ⅱ的提取结果图，其中子图(a)为SAR图像，子图(b)标签，子图(c)为现有GCAM方法结果，子图(d)为现有DeepLabV3+方法得到的结果，子图(e)为本实施例方法得到的结果。
由图6可知，虽然叠掩区域在SAR图像中显示为高亮区域，与周围地物有一定区别，但只靠高亮度无法准确确定是否为叠掩区。本实施例将图像I的三通道融合图进行测试，测试图大小为5120×6525像素。图像I中叠掩特征集中在右侧，并且叠掩区域的边缘特征比较复杂，包含的边缘信息最多，这要求网络有较好的全局语义信息学习能力且能有效解码边缘信息。如图6中子图(c)～(e)，我们标记了主要的漏检绿框和误检蓝框，其中GCAM方法存在一处较为明显的漏检，且有大面积误检；DeepLabV3+方法存在小区域的误检，主要集中在边缘区域，其中还包括三处漏检；本实施例提出网络的检测结果与真实叠掩结果最为接近，对边缘区域的提取效果也更好，漏检和误检区域都最少。对比(e)和(d)可以发现，本实施例方法中SEB模块和AASP模块的加入加强了网络语义特征和边缘特征的学习。
实验图像Ⅱ中的有明显的叠掩区域，大小为5120×4350像素，如图7中子图(a)所示。由结果图7中子图(c)～(e)可以看出GCAM方法存在大面积漏检区域，DeepLabV3+方法存在一处较为明显的漏检，边缘区域误检也很多。我们的网络提取结果最好，只有几处非常小的漏检区域，在边缘提取上也做的最好。这也说明我们网络语义嵌入分支有效增加边缘细节信息，FAM通过低层特征引导高层特征恢复分辨率，可以有效减少直接对高级特征空间维度恢复造成的误差。
为更好评估InSAR图像叠掩提取的性能，表1给出了不同网络在两个实验中的提取精度，表2给出了各网络的训练和测试时间。
表1：不同网络在两个实验中的提取精度对比。
Figure BDA0003115643390000101
表2：不同网络的训练和测试时间对比。
Figure BDA0003115643390000102
参见表1和表2可知，本实施例方法中的多层特征融合注意机制网络MF2AM对两个叠掩区的平均提取精度达0.9601，平均IOU达0.9310，均高于GCAM和Deeplabv3+。根据表1，本实施例算法对同一叠掩区的PA和IOU差值最小，说明本实施例方法中的多层特征融合注意机制网络MF2AM对叠掩区的虚检和漏检都非常少；GCAM方法易产生虚检，因此叠掩区域的IOU值较低；Deeplabv3+方法虽然整体提取效果相对GCAM方法有所提高，但对样本的边缘细节信息学习上存在不足。根据表2，从训练时间来看，Deeplabv3+方法和GCAM方法的训练时间和MF2AM差不多，但是精度却相差很大；从对两个叠掩区的测试时间来看，本实施例方法中的多层特征融合注意机制网络MF2AM的平均测试时间只有7.97s，Deeplabv3+方法的平均测试时间为7.45s，GCAM方法的平均测试时间为9.45s。AASP模块和SEB模块的加入给网络带来了少许参数量，因此，本实施例方法中的多层特征融合注意机制网络MF2AM的训练和测试时间比Deeplabv3+略长。综合来看，本实施例方法中的多层特征融合注意机制网络MF2AM能够实现对InSAR图像叠掩区的高精度快速提取。
综上所述，本实施例基于多层特征融合注意力机制的SAR图像叠掩区提取方法将深度学习与InSAR图像的地理空间信息结合，提出了一种自动快速检测叠掩区域的多层特征融合注意机制网络MF2AM。该多层特征融合注意机制网络MF2AM首先将SAR图像与对应相干系数图和干涉相位图进行通道融合，充分利用叠掩的相位特性。多层特征融合注意机制网络MF2AM包括编码和解码部分，其中编码部分采用骨干网络resnet101提取四级特征，进而采用AASP和SEB分别改善高层特征的多尺度上下文语义信息提取和中层特征的细节信息融合。解码部分采用分步解码，降低直接对特征进行插值上采样所造成的边缘误差。多层特征融合注意机制网络MF2AM对毫米波InSAR系统的叠掩提取结果表明，仅有极少的虚检和漏检，且边缘区域的提取效果显著提高，能高精度且快速地实现叠掩区域的提取。本实施例将深度学习与InSAR图像的地理空间信息进行了很好的结合，为其他学者进行InSAR研究提供了一个重要思路，对拓展深度学习在InSAR方面的应用起到了重要的推动作用。
此外，本实施例还提供一种基于多层特征融合注意力机制的SAR图像叠掩区提取系统，包括相互连接的微处理器和存储器，该微处理器被编程或配置以执行前述基于多层特征融合注意力机制的SAR图像叠掩区提取方法的步骤。此外，本实施例还提供一种计算机可读存储介质，该计算机可读存储介质中存储有被编程或配置以执行前述基于多层特征融合注意力机制的SAR图像叠掩区提取方法的计算机程序。
本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
以上所述仅是本发明的优选实施方式，本发明的保护范围并不仅局限于上述实施例，凡属于本发明思路下的技术方案均属于本发明的保护范围。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理前提下的若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (10)

1.一种基于多层特征融合注意力机制的SAR图像叠掩区提取方法，其特征在于，包括将输入的SAR图像与其对应的相干系数图和干涉相位图进行通道融合再利用滑窗切分为图像样本，将图像样本输入多层特征融合注意机制网络实现叠掩区提取。
2.根据权利要求1所述的基于多层特征融合注意力机制的SAR图像叠掩区提取方法，其特征在于，所述进行通道融合是指分别提取SAR图像、相干系数图以及干涉相位图的一个通道得到r、g、b通道图像，将r、g、b通道图像顺序合成为一张三通道图像作为通道融合得到的融合图像。
3.根据权利要求1所述的基于多层特征融合注意力机制的SAR图像叠掩区提取方法，其特征在于，所述多层特征融合注意机制网络包括：
编码器，包含骨干网络、AASP模块以及SEB模块的编码器，用于通过骨干网络对图像样本进行特征提取得到低级特征、中间级特征和高级特征，通过AASP模块对骨干网络输出的高级特征进行多尺度深入提取得到多尺度特征，通过SEB模块融合骨干网络输出的中间级特征并改善空间细节表达得到中间级融合特征；
解码器，用于将骨干网络提取得到的低级特征、AASP模块输出的多尺度特征、SEB模块输出的中间级融合特征采用分步解码，通过流对齐模块进行特征融合并逐步恢复特征分辨率，最终实现叠掩区提取。
4.根据权利要求3所述的基于多层特征融合注意力机制的SAR图像叠掩区提取方法，其特征在于，所述编码器的骨干网络为带有空洞卷积的ResNet_101网络。
5.根据权利要求4所述的基于多层特征融合注意力机制的SAR图像叠掩区提取方法，其特征在于，所述带有空洞卷积的ResNet_101网络依次包括：卷积层和最大池化层，用于针对输入图像样本降低图像分辨率；第一残差模块res-1，用于对卷积层和最大池化层的输出进行特征提取得到低级特征；第二残差模块res-2，用于对第一残差模块res-1输出的低级特征进行特征提取得到部分中间级特征；第三残差模块res-3，用于对第二残差模块res-2输出的部分中间级特征进行特征提取得到另一部分中间级特征；第四残差模块res-4，用于对第三残差模块res-3输出的另一部分中间级特征进行特征提取得到高级特征；所述第一残差模块res-1、第二残差模块res-2、第三残差模块res-3、第四残差模块res-4均为由残差单元组成，其中第四残差模块res-4使用空洞率分别为2、4、8的空洞卷积级联替换最后一个卷积层以加深网络层数、丰富特征图的语义信息。
6.根据权利要求3所述的基于多层特征融合注意力机制的SAR图像叠掩区提取方法，其特征在于，所述AASP模块包括：
四条并行注意力池化分支，用于对骨干网络输出的高级特征从不同感受野上捕捉图像的上下文信息；
有效通道注意力机制ReCA，用于结合通道维度对对四条并行注意力池化分支输出的多尺度特征进行优劣筛选以改善多尺度提取效果、提高物体检测精度；
全局平均池化支路GAP，用于对骨干网络输出的高级特征做降采样处理以防止过拟合；
融合模块，用于将有效通道注意力机制ReCA输出的特征、全局平均池化支路GAP输出的特征进行融合后得到最终的多尺度特征；
所述有效通道注意力机制ReCA包括：
全局平均池化模块，用于将有效通道注意力机制ReCA的输入特征X使用全局平均池化提取全局特征得到1×1×C的向量；
包含自适应卷积核的一维卷积，用于将得到的1×1×C的向量进行通道间的信息交互学习；
权重映射模块，用于基于sigmoid函数将通道间的信息交互学习结果获得通道映射权重AeCA；
点乘模块，用于将有效通道注意力机制ReCA的输入特征X、通道映射权重AeCA两者相乘以给输入特征X进行逐像素权重赋值实现特征再筛选，最终再与输入特征X相加平衡特征得到输入特征X对应的输出特征。
7.根据权利要求3所述的基于多层特征融合注意力机制的SAR图像叠掩区提取方法，其特征在于，所述SEB模块包括：多层级融合模块MCF，用于将骨干网络输出的两个中间级特征中分别通过不同组数的Pyconv金字塔卷积进行特征再提取，经过逐像素相乘实现特征融合；空间信息聚合模块SIA，用于将多层级融合模块MCF输出的融合特征通过3×3卷积和批归一化激活BN-ReLu后进行矩阵分解，针对矩阵分解分别用1×k+k×1和k×1+1×k的深度卷积来聚合空间信息、在降低计算量的同时保留原始大卷积核的感受野后再融合，将再融合结果通过包含小卷积核的残差结构后再与再融合结果自身融合；所述包含小卷积核的残差结构包括依次相连的3×3卷积、ReLu激活函数层和3×3卷积。
8.根据权利要求3所述的基于多层特征融合注意力机制的SAR图像叠掩区提取方法，其特征在于，所述解码器包括：
第一1×1卷积，用于将AASP模块提取得到多尺度特征进行降维；
第一流对齐模块，用于将第一1×1卷积输出的降维后的特征上采样2倍后再与SEB模块得到的中间级融合特征融合；
第二1×1卷积，用于将第一流对齐模块输出的特征进行降维；
第三1×1卷积，用于将骨干网络输出的低级特征进行降维；
第二流对齐模块，用于将第二1×1卷积降维后的特征上采样2倍、第三1×1卷积降维后的特征上采样2倍后再进行特征融合；
3×3卷积，用于将第二流对齐模块输出的特征进行特征细化；
上采样模块，用于将3×3卷积输出的特征进行双线性插值4倍上采样得到最后的叠掩提取结果。
9.一种基于多层特征融合注意力机制的SAR图像叠掩区提取系统，包括相互连接的微处理器和存储器，其特征在于，该微处理器被编程或配置以执行权利要求1～8中任意一项所述基于多层特征融合注意力机制的SAR图像叠掩区提取方法的步骤。
10.一种计算机可读存储介质，其特征在于，该计算机可读存储介质中存储有被编程或配置以执行权利要求1～8中任意一项所述基于多层特征融合注意力机制的SAR图像叠掩区提取方法的计算机程序。
CN202110662456.4A 2021-06-15 2021-06-15 基于多层特征融合注意力机制的sar图像叠掩区提取方法 Active CN113469191B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110662456.4A CN113469191B (zh) 2021-06-15 2021-06-15 基于多层特征融合注意力机制的sar图像叠掩区提取方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110662456.4A CN113469191B (zh) 2021-06-15 2021-06-15 基于多层特征融合注意力机制的sar图像叠掩区提取方法

Publications (2)

Publication Number Publication Date
CN113469191A true CN113469191A (zh) 2021-10-01
CN113469191B CN113469191B (zh) 2022-09-09

Family

ID=77869954

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110662456.4A Active CN113469191B (zh) 2021-06-15 2021-06-15 基于多层特征融合注意力机制的sar图像叠掩区提取方法

Country Status (1)

Country Link
CN (1) CN113469191B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114511515A (zh) * 2022-01-17 2022-05-17 山东高速路桥国际工程有限公司 一种基于BoltCorrDetNet网络的螺栓腐蚀检测系统和检测方法
CN116403116A (zh) * 2023-06-08 2023-07-07 江苏省地质调查研究院 一种统筹多观测指标的D-InSAR地表形变时空特征精细感知方法
WO2024077741A1 (en) * 2022-10-13 2024-04-18 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Convolutional neural network filter for super-resolution with reference picture resampling functionality in versatile video coding
CN117975297A (zh) * 2024-04-01 2024-05-03 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 联合多源数据辅助的城区地表形变危险性精细识别方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190179009A1 (en) * 2017-12-08 2019-06-13 International Business Machines Corporation Crop classification and growth tracking with synthetic aperture radar
CN110618409A (zh) * 2019-09-09 2019-12-27 长沙理工大学 顾及叠掩及阴影的多通道InSAR干涉图仿真方法及系统
CN112083422A (zh) * 2020-08-26 2020-12-15 长沙理工大学 基于多级深度学习网络的单航过InSAR系统端对端分类方法
CN112766154A (zh) * 2021-01-19 2021-05-07 中国地质大学（武汉） 一种高分辨率sar图像建筑物叠掩提取方法
CN113408540A (zh) * 2021-05-17 2021-09-17 中国电子科技集团公司电子科学研究院 一种合成孔径雷达图像叠掩区提取方法及存储介质

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190179009A1 (en) * 2017-12-08 2019-06-13 International Business Machines Corporation Crop classification and growth tracking with synthetic aperture radar
CN110618409A (zh) * 2019-09-09 2019-12-27 长沙理工大学 顾及叠掩及阴影的多通道InSAR干涉图仿真方法及系统
CN112083422A (zh) * 2020-08-26 2020-12-15 长沙理工大学 基于多级深度学习网络的单航过InSAR系统端对端分类方法
CN112766154A (zh) * 2021-01-19 2021-05-07 中国地质大学（武汉） 一种高分辨率sar图像建筑物叠掩提取方法
CN113408540A (zh) * 2021-05-17 2021-09-17 中国电子科技集团公司电子科学研究院 一种合成孔径雷达图像叠掩区提取方法及存储介质

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
LICHUN SUI ET AL.: "Mining Subsidence Prediction by Combining Support Vector Machine Regression and Interferometric Synthetic Aperture Radar Data", 《ISPRS INTERNATIONAL JOURNAL OF GEO-INFORMATION》 *
袁志辉 等: "顾及叠掩与阴影的多通道InSAR干涉图仿真方法", 《武汉大学学报(信息科学版)》 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114511515A (zh) * 2022-01-17 2022-05-17 山东高速路桥国际工程有限公司 一种基于BoltCorrDetNet网络的螺栓腐蚀检测系统和检测方法
WO2024077741A1 (en) * 2022-10-13 2024-04-18 Guangdong Oppo Mobile Telecommunications Corp., Ltd. Convolutional neural network filter for super-resolution with reference picture resampling functionality in versatile video coding
CN116403116A (zh) * 2023-06-08 2023-07-07 江苏省地质调查研究院 一种统筹多观测指标的D-InSAR地表形变时空特征精细感知方法
CN116403116B (zh) * 2023-06-08 2023-08-29 江苏省地质调查研究院 一种统筹多观测指标的D-InSAR地表形变时空特征精细感知方法
CN117975297A (zh) * 2024-04-01 2024-05-03 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 联合多源数据辅助的城区地表形变危险性精细识别方法
CN117975297B (zh) * 2024-04-01 2024-06-11 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 联合多源数据辅助的城区地表形变危险性精细识别方法

Also Published As

Publication number Publication date
CN113469191B (zh) 2022-09-09

Similar Documents

Publication Publication Date Title
CN113469191B (zh) 基于多层特征融合注意力机制的sar图像叠掩区提取方法
CN111047551B (zh) 一种基于U-net改进算法的遥感影像变化检测方法及系统
CN109934200B (zh) 一种基于改进M-Net的RGB彩色遥感图像云检测方法及系统
CN111047516A (zh) 图像处理方法、装置、计算机设备和存储介质
CN113298818A (zh) 基于注意力机制与多尺度特征的遥感图像建筑物分割方法
CN111833273B (zh) 基于长距离依赖的语义边界增强方法
CN112083422A (zh) 基于多级深度学习网络的单航过InSAR系统端对端分类方法
CN113538246B (zh) 基于无监督多阶段融合网络的遥感图像超分辨率重建方法
CN113298718A (zh) 一种单幅图像超分辨率重建方法及系统
CN115063786A (zh) 一种高位远景模糊车牌检测方法
CN113887472A (zh) 基于级联颜色及纹理特征注意力的遥感图像云检测方法
CN114266957A (zh) 一种基于多降质方式数据增广的高光谱图像超分辨率复原方法
CN114187520A (zh) 一种建筑物提取模型及其应用方法
CN115661611A (zh) 一种基于改进Yolov5网络的红外小目标检测方法
CN115578262A (zh) 基于afan模型的偏振图像超分辨率重建方法
Babu et al. An efficient image dahazing using Googlenet based convolution neural networks
CN111539434B (zh) 基于相似度的红外弱小目标检测方法
CN112818840A (zh) 无人机在线检测系统和方法
CN113344110B (zh) 一种基于超分辨率重建的模糊图像分类方法
CN113256528B (zh) 基于多尺度级联深度残差网络的低照度视频增强方法
CN115830502A (zh) 一种基于背景抑制与特征融合的红外小目标检测方法
Won et al. An experiment on image restoration applying the cycle generative adversarial network to partial occlusion Kompsat-3A image
CN114219738A (zh) 单幅图像多尺度超分辨重建网络结构及方法
CN114724023A (zh) 一种基于孪生网络的水体变化检测方法
CN112651926A (zh) 一种基于递归注意力机制的裂纹检测的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant