CN113011305B - 基于语义分割和条件随机场的sar图像道路提取方法和装置 - Google Patents

基于语义分割和条件随机场的sar图像道路提取方法和装置 Download PDF

Info

Publication number
CN113011305B
CN113011305B CN202110273216.5A CN202110273216A CN113011305B CN 113011305 B CN113011305 B CN 113011305B CN 202110273216 A CN202110273216 A CN 202110273216A CN 113011305 B CN113011305 B CN 113011305B
Authority
CN
China
Prior art keywords
road
sar
inputting
features
semantic segmentation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110273216.5A
Other languages
English (en)
Other versions
CN113011305A (zh
Inventor
何奇山
赵凌君
赵琰
张思乾
唐涛
熊博莅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
National University of Defense Technology
Original Assignee
National University of Defense Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by National University of Defense Technology filed Critical National University of Defense Technology
Priority to CN202110273216.5A priority Critical patent/CN113011305B/zh
Publication of CN113011305A publication Critical patent/CN113011305A/zh
Application granted granted Critical
Publication of CN113011305B publication Critical patent/CN113011305B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/182—Network patterns, e.g. roads or rivers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Algebra (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Image Analysis (AREA)

Abstract

本申请涉及一种基于语义分割和条件随机场的SAR图像道路提取方法和装置。所述方法包括：获取SAR道路图像样本，将SAR道路图像样本输入预先设置的语义分割模型，通过多层卷积神经网络对SAR道路图像样本进行特征提取，将提取得到的浅层特征输入解码器的并联通道，将提取得到的深层特征输入空间金字塔模块进行处理，得到编码器特征，将编码器特征输入解码器中通过上采样后输入至并联通道，通过多次上采样输出道路提取预测结果；然后引入二阶点对全连接条件随机场，输出SAR图像道路。采用上述方法，可以提高道路提取的准确性和全面性。

Description

基于语义分割和条件随机场的SAR图像道路提取方法和装置
技术领域
本申请涉及计算机技术领域，特别是涉及一种基于语义分割和条件随机场的SAR图像道路提取方法和装置。
背景技术
合成孔径雷达(Synthetic Aperture Radar,SAR)是一种主动式成像雷达，具备多种极化方式、成像条件不受天气条件影响的特点。单极化SAR提取算法依据道路光滑对雷达波产生镜面散射的性质，主要利用灰度特征来提取道路，目前方法按照传统图像处理方法可分为阈值分割和区域生长，随着计算机视觉领域深度学习的兴起和遥感数据的丰富，语义分割模型在SAR影像像素级分类任务如海陆分割、建筑区域获取等中取得了显著的性能提升，然而，考虑到实际处理尺寸和计算机性能，现有的大尺寸SAR图语义分割处理流程可总结为两种模式，模式一，首先对大场景图像进行分块，将分块切片逐一通过网络得到检测结果，最后通过非极大阈值算法拼接得到检测结果。模式二，首先对SAR图通过插值等下采样方法降低图像输入尺寸，然后通过网络得到输出结果，最后通过上采样恢复原始尺寸。
然而，模式一中，在图像切片上进行预测，避免了因降采样而导致的信息缺失，但是网络无法提取切片之外的语义信息，导致其特征感受野大大减少，由于SAR机场图像结构复杂且周边干扰严重，这种模式容易出现区域性的判别错误，导致分割效果不增反降，此外这种模式耗时长，应用价值不高。模式二中，由于对图像首先进行下采样，在网络前向传递过程中又为了提取高维特征而减少特征尺寸，这种方法所得特征图能够获得极大的感受野特征，但是图像细节损失严重。
发明内容
基于此，有必要针对上述技术问题，提供一种能够显著改善道路细节和提升边缘分割准确性的基于语义分割和条件随机场的SAR图像道路提取方法和装置。
一种基于语义分割和条件随机场的SAR图像道路提取方法，所述方法包括：
获取SAR道路图像样本；
将所述SAR道路图像样本输入预先设置的语义分割模型；所述语义分割模型包括：空间金字塔编码器和解码器；所述空间金字塔编码器包括：多层卷积神经网络和空间金字塔模块；
通过所述多层卷积神经网络对所述SAR道路图像样本进行特征提取，将提取得到的浅层特征输入解码器的并联通道，将提取得到的深层特征输入空间金字塔模块进行处理，得到编码器特征；
将所述编码器特征输入解码器中通过上采样后输入至所述并联通道，通过多次上采样输出道路提取预测结果；
根据所述道路提取预测结果，通过交叉熵损失函数对所述语义分割模型进行训练，得到训练好的语义分割模型；
将待预测SAR道路图像输入训练好的语义分割模型，得到待预测的SAR道路预测概率图，以及对所述待预测SAR道路图像进行滤波处理，将所述SAR道路预测概率图和滤波后的待预测SAR道路图像输入二阶点对全连接条件随机场，输出SAR图像道路。
在其中一个实施例中，所述空间金字塔模块包括：多个不同膨胀率的空洞卷积和一个全局池化模块；还包括：将提取得到的深层特征输入空间金字塔模块中多个不同膨胀率的空洞卷积和一个全局池化模块，并且通过1×1通道卷积通道得到编码器特征。
在其中一个实施例中，还包括：所述语义分割模型包括：空间金字塔编码器和解码器模块。
在其中一个实施例中，还包括：所述多层卷积神经网络为ResNet101残差网络；还包括：通过ResNet101残差网络对所述SAR道路图像样本进行特征提取，将ResNet101残差网络的第一层卷积块和第二层残差块输出的特征作为浅层特征。
在其中一个实施例中，所述并联通道包括：第一并联通道和第二并联通道；还包括：将所述第一层卷积块输出的浅层特征通过1×1卷积块后输入至第二并联通道；将所述第二层残差块输出的浅层特征通过1×1卷积块后输入至第一并联通道。
在其中一个实施例中，还包括：将所述编码器特征输入解码器中通过两次2倍上采样卷积模块后输入至所述第一并联通道；所述2倍上采样卷积模块包括：线性插值模块、3×3卷积模块、BatchNorm批归一化模块和Relu激活函数组成；将所述第一并联通道的输出通过一次所述2倍上采样卷积模块后，输入至所述第二并联通道，将所述第二并联通道的输出通过一次所述2倍上采样卷积模块后，得到道路提取预测结果。
在其中一个实施例中，还包括：获取交叉熵损失函数为：
Figure BDA0002973798810000031
其中，K表示单次训练SAR道路图像样本的数量，W表示图像宽度，H表示图像高度，k表示当前SAR道路图像样本，(i,j)表示像素点的坐标，p(xk,i,j)表示第k个SAR道路图像样本在(i,j)处像素属于道路的概率真值，p(xk,i,j)表示第k个SAR道路图像样本在(i,j)处像素属于道路的后验概率；根据所述道路提取预测结果，通过交叉熵损失函数对所述语义分割模型进行训练，得到训练好的语义分割模型。
在其中一个实施例中，还包括：对所述待预测SAR道路图像进行滤波处理，将滤波后的待预测SAR道路图像输入二阶点对全连接条件随机场，观测得到道路条件概率满足吉布斯分布为：
Figure BDA0002973798810000032
其中，Z(Y)为归一化项，以使∑P(X|Y)＝1，E(X|Y)是一个条件势能项；
对所述条件势能项进行一元势函数和二元点对势函数形式的加权，得到点对随机场的势能量表达式为：
Figure BDA0002973798810000033
其中，Ei为一元势函数，Ei,j为二元势函数，Ei(x)＝-log(p(xi))，p(xi)为训练好的语义分割模型输出的后验概率；
二元势函数为：
Figure BDA0002973798810000041
其中，当xi＝xj时，u(xi,xj)为1，否则u(xi,xj)为0；
根据高斯核函数，建立点对之间联系的概率图模型为km(xi,xj)；
其中，每个高斯核函数km为：
Figure BDA0002973798810000042
其中，w1和w2表示权重，超参数σα,σβ,σγ为高斯核的尺度因子，Pi和Pj表示第i个和第j个像素属于道路的后验概率，Ii和Ij表示第i个和第j个像素的原始数据灰度值；
将求解最大道路条件概率的问题转化为NP-hard问题；通过所述概率图模型构建迭代模型对所述NP-hard问题进行求解，输出SAR图像道路。
一种基于语义分割和条件随机场的SAR图像道路提取装置，所述装置包括：
样本获取模块，用于获取SAR道路图像样本；
道路提取模块，用于将所述SAR道路图像样本输入预先设置的语义分割模型；所述语义分割模型包括：空间金字塔编码器和解码器；所述空间金字塔编码器包括：多层卷积神经网络和空间金字塔模块；通过所述多层卷积神经网络对所述SAR道路图像样本进行特征提取，将提取得到的浅层特征输入解码器的并联通道，将提取得到的深层特征输入空间金字塔模块进行处理，得到编码器特征；将所述编码器特征输入解码器中通过上采样后输入至所述并联通道，通过多次上采样输出道路提取预测结果；
训练模块，用于根据所述道路提取预测结果，通过交叉熵损失函数对所述语义分割模型进行训练，得到训练好的语义分割模型；
输出模块，用于将待预测SAR道路图像输入训练好的语义分割模型，得到待预测的SAR道路预测概率图，以及对所述待预测SAR道路图像进行滤波处理，将所述SAR道路预测概率图和滤波后的待预测SAR道路图像输入二阶点对全连接条件随机场，输出SAR图像道路。
上述基于语义分割和条件随机场的SAR图像道路提取方法、装置、计算机设备和存储介质，首先通过多层卷积神经网络对SAR道路图像样本进行特征提取，分别可以提取深层特征和浅层特征，对于浅层特征，输入至编码器，对于深层特征，输入至空间金字塔模块中进行处理，得到编码器特征。由此可以知道，浅层特征尺寸分辨率较高，较为完整的保留了图像的细节，适合检测包含道路图像中细小的区域，深层特征具备良好的语意信息，对于既长又宽的道路检测性能较好，最终在解码器中，通过并联通道将深层特征和浅层特征进行融合输出，便于提高道路的提取性能，另一方面，通过提取出道路的特征，引入全连接条件随机场，既能去除连通区域过远的灰度相似性区域，又能改善图像细节平滑边界，从而改善由于降采样而导致的图像信息损失，在语义特征上引入了像元之间的纹理和位置信息，优化SAR道路的分割结果。
附图说明
图1为一个实施例中基于语义分割和条件随机场的SAR图像道路提取方法的流程示意图；
图2为一个实施例中基于改进DeepLab的SAR图像道路提取网络；
图3为一个实施例中普通卷积和空洞卷积的结构示意图；
图4为另一个实施例中语义分割和条件随机场的SAR图像道路装置的结构示意图；
图5为一个实施例中计算机设备的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。
在其中一个实施例中，如图1所示，提供一种基于语义分割和条件随机场的SAR图像道路提取方法，具体步骤如下：
步骤102，获取SAR道路图像样本。
SAR道路图像样本指的是已标注的SAR道路图像，例如：以SAR道路图像和对应的图像真值作为SAR道路图像样本。
道路可以是建筑物之间的道路，也可以是机场跑道等，再次不做具体的限制。
以高分系列卫星获取的机场道路SAR道路预测概率图进行标注为例，机场道路SAR道路预测概率图中机场道路标注为类别“1”，对应的像素值为“255”，其余背景为类别“0”，对应的像素值为0，从而得到机场道路SAR道路预测概率图的真值。
步骤104，将SAR道路图像样本输入预先设置的语义分割模型。
语义分割模型包括：空间金字塔编码器和解码器；空间金字塔编码器包括：多层卷积神经网络和空间金字塔模块。
初始时，预先设置的语义分割模型中的网络参数为初值，通过样本训练之后，才可以进行图像分割。
步骤106，通过多层卷积神经网络对SAR道路图像样本进行特征提取，将提取得到的浅层特征输入解码器的并联通道，将提取得到的深层特征输入空间金字塔模块进行处理，得到编码器特征。
并联通道包括两个输入，可以对输入的特征进行融合输出，从而使得输出具备输入特征的特性。本实施例中，通过多层卷积神经网络对SAR道路图像样本进行特征提取，多层卷积神经网络中不同层位置可以输出浅层特征和深层特征，对于浅层特征，可以输出至解码器，对于深层特征，可以输入至空间金字塔模块进行处理，得到编码器特征，值得说明的是编码器特征也是深层特征，并且通过空间金字塔模块处理后，具备更大的感受野。
步骤108，将编码器特征输入解码器中通过上采样后输入至并联通道，通过多次上采样输出道路提取预测结果。
上采样的目的是将编码器特征尺寸转化至浅层特征相应的尺寸，因此，如何设置上采样的倍率，可以根据实际的项目需求设置，在此不做限制。
步骤110，将待预测SAR道路图像输入训练好的语义分割模型，得到待预测的SAR道路预测概率图，以及对待预测SAR道路图像进行滤波处理，将SAR道路预测概率图和滤波后的待预测SAR道路图像输入二阶点对全连接条件随机场，输出SAR图像道路。
在经过多次上采样时，导致图像信息损失，从而引入全连接条件随机场，一方面，去除连通区域过远的灰度相似性区域，改善图像细节平滑边界，另一方面又可以改善由于降采样而导致的图像信息损失，在语义特征上引入了像元之间的纹理和位置信息，优化SAR道路的分割结果。
上述基于语义分割和条件随机场的SAR图像道路提取方法中，首先通过多层卷积神经网络对SAR道路图像样本进行特征提取，分别可以提取深层特征和浅层特征，对于浅层特征，输入至编码器，对于深层特征，输入至空间金字塔模块中进行处理，得到编码器特征。由此可以知道，浅层特征尺寸分辨率较高，较为完整的保留了图像的细节，适合检测包含道路图像中细小的区域，深层特征具备良好的语意信息，对于既长又宽的道路检测性能较好，最终在解码器中，通过并联通道将深层特征和浅层特征进行融合输出，便于提高道路的提取性能，另一方面，通过提取出道路的特征，引入全连接条件随机场，既能去除连通区域过远的灰度相似性区域，又能改善图像细节平滑边界，从而改善由于降采样而导致的图像信息损失，在语义特征上引入了像元之间的纹理和位置信息，优化SAR道路的分割结果。
在其中一个实施例中，空间金字塔模块包括：多个不同膨胀率的空洞卷积和一个全局池化模块；在得到编码器特征时，将提取得到的深层特征输入空间金字塔模块中多个不同膨胀率的空洞卷积和一个全局池化模块，并且通过1×1通道卷积通道得到编码器特征。
在其中一个实施例中，多层卷积神经网络为ResNet101残差网络，在特征提取时，通过ResNet101残差网络对所述SAR道路图像样本进行特征提取，将ResNet101残差网络的第一层卷积块和第二层残差块输出的特征作为浅层特征。
具体如图2所示，普通3×3卷积核的特征接受范围为其卷积核大小，卷积神经网络通过叠加卷积层来提升深层特征感受野，然而深层的网络往往也导致特征尺度大幅下降图像细节丢失严重，空洞卷积在卷积核内部插入空值，在不增加层数的情况下，提高卷积核的感受野大小，使输出特征具有更好的上下文信息。如图3所示，普通卷积(a)感受野只有3×3，而相同卷积核大小的空洞卷积(b)在膨胀率为2的条件下能达到5×5的感受野。对于SAR道路以外区域，例如水域和田地，由于其覆盖区域连通且对雷达产生镜面散射或漫散射回波而呈现与道路相似的灰度特征，空洞卷积能够扩大减少层数和参数量，提取更大的周边环境特征来提升当前区域的像素准确率。
本实施例中，空间金字塔(ASPP)卷积模块由4个不同膨胀率的空洞卷积和一个全局池化特征层构成，该模块能够采集不同大小的上下文信息，提高模型的表征能力，具体采用与DeepLabV3网络相同的膨胀率(6,12,18)。ASPP输出特征维度为1024，再通过1×1通道卷积，得到编码器特征，长宽高大小为(H/16,W/16,256)。
在其中一个实施例中，如图2所示，并联通道包括：第一并联通道和第二并联通道，将第一层卷积块输出的浅层特征通过1×1卷积块后输入至第二并联通道；将第二层残差块输出的浅层特征通过1×1卷积块后输入至第一并联通道。
在其中一个实施例中，将编码器特征输入解码器中通过两次2倍上采样卷积模块后输入至第一并联通道；2倍上采样卷积模块包括：线性插值模块、3×3卷积模块、BatchNorm批归一化模块和Relu激活函数组成；将第一并联通道的输出通过一次所述2倍上采样卷积模块后，输入至第二并联通道，将第二并联通道的输出通过一次所述2倍上采样卷积模块后，得到道路提取预测结果。
具体的，卷积神经网络深层特征具备良好的语义信息，对于机场既长又宽的跑道检测性能较好，浅层特征尺寸分辨率较高，较完整保留了图像细节，适合检测机场跑道的细小区域。如图2所示，编码器在ResNet101特征提取网络中将2种浅层特征直接输出到解码器，记为low_level_feat0和low_level_feat1，尺寸分别为(H/2,W/2,64)和(H/4,W/4,256)。
解码器首先接受深层语义特征，然后通过两个2倍上采样卷积模块，得到4倍上采样的特征图high_level_feat1。每个2倍上采样卷积模块由线性插值、3×3卷积、BatchNorm批归一化和Relu激活函数组成。接着，high_level_feat1和low_level_feat1通过通道并连组合成具备深层和浅层的组合特征，通过2倍上采样卷积模块再与low_level_feat0通道并连得到最终的SAR道路特征。
为了将特征图映射得到像素的道路后验概率，输出层采用SoftMax激活函数为：
Figure BDA0002973798810000091
其中，fk(xi,j)是位置坐标为(i,j)的像素经由网络输出的第k类的特征值，
Figure BDA0002973798810000092
为该像素属于机场道路的后验概率，T为SoftMax软化系数，当T越小，机场道路与背景的概率分布协方差越大，在训练时T＝1，测试阶段时T＝0.8。设单批次训练图像K幅，图像大小为M×N，交叉熵损失函数定义如下式所示：
Figure BDA0002973798810000093
其中，K表示单次训练SAR道路图像样本的数量，W表示图像宽度，H表示图像高度，k表示当前SAR道路图像样本，(i,j)表示像素点的坐标，p(xk,i,j)表示第k个SAR道路图像样本在(i,j)处像素属于道路的概率真值，p(xk,i,j)表示第k个SAR道路图像样本在(i,j)处像素属于道路的后验概率。
在其中一个实施例中，对所述待预测SAR道路图像进行滤波处理，将滤波后的待预测SAR道路图像输入二阶点对全连接条件随机场，观测得到道路条件概率满足吉布斯分布为：
Figure BDA0002973798810000094
其中，Z(Y)为归一化项，以使∑P(X|Y)＝1，E(X|Y)是一个条件势能项；
对所述条件势能项进行一元势函数和二元点对势函数形式的加权，得到点对随机场的势能量表达式为：
Figure BDA0002973798810000095
其中，Ei为一元势函数，Ei,j为二元势函数，Ei(x)＝-log(p(xi))，p(xi)为训练好的语义分割模型输出的后验概率；
二元势函数为：
Figure BDA0002973798810000096
其中，当xi＝xj时，u(xi,xj)为1，否则u(xi,xj)为0；
根据高斯核函数，建立点对之间联系的概率图模型为km(xi,xj)；
其中，每个高斯核函数km为：
Figure BDA0002973798810000101
其中，w1和w2表示权重，超参数σα,σβ,σγ为高斯核的尺度因子，Pi和Pj表示第i个和第j个像素属于道路的后验概率，Ii和Ij表示第i个和第j个像素的原始数据灰度值；
将求解最大道路条件概率的问题转化为NP-hard问题；通过所述概率图模型构建迭代模型对所述NP-hard问题进行求解，输出SAR图像道路。
CRF(条件随机场)模型是统计学中经典的无向概率图模型，用于对序列的概率分布求解，在图像分割领域中。过去用于解决图像去噪和平滑边界，假设Y表示观测图像，X表示对应的标记真值，则CRF(X,Y)表示基于观测图像Y条件下的无向概率图模型。本实施例中采用全连接随机场来优化网络模型的分割结果。
具体的，由于SAR为斜距成像系统，使均匀分布的目标地物在成像上产生明显不均匀的灰度变换，从而导致SAR道路预测概率图出现明显的相干斑噪声，会对基于灰度和位置信息的概率图模型产生巨大的噪声影响，所以必须对其进行滤波处理，本文采用了Frost滤波算法，在减少SAR道路预测概率图斑点噪声同时，也保留了边缘和细节信息。
Frost滤波的数学模型如下：
s(i,j)＝s0(i,j)n0(i,j)
其中，s(i,j)为观测图像，s0(i,j)为不含噪声图像，n0(i,j)表示斑点噪声，均值为1，方差为σ2，Frost滤波输出如下式：
Figure BDA0002973798810000102
wkl＝exp(-DklρVi,j/Ii,j)
式中，wkl为滤波器权值，Dkl是窗口(k,l)与窗口(i,j)欧氏距离，ρ为微调因子，Vi,j和Ii,j分别为窗口内所有像元灰度值的方差和均值。
根据概率模型理论，可以把SAR机场道路标注看成一个条件随机场，基于滤波后观测图像的道路条件概率满足吉布斯分布为：
Figure BDA0002973798810000111
其中，Z(Y)为归一化项，确保∑P(X|Y)＝1，E(X|Y)是一个条件势能项，本实施例选用一元势函数和二元点对势函数形式的加权。点对随机场的势能量表达式如下：
Figure BDA0002973798810000112
其中，Ei为一元势函数，Ei,j为二元势函数，这里Ei(x)＝-log(p(xi))，p(xi)为语义分割模型输出的后验概率，此概率由深层和浅层融合的语义特征得出。二阶势函数的形式如下：
Figure BDA0002973798810000113
当xi＝xj时，u(xi,xj)为1，其余情况u(xi,xj)为0。通过点对势函数，概率图模型建立起图像任意两点的联系km(xi,xj)并配上权重wm。每个高斯核函数km为：
Figure BDA0002973798810000114
其中，第一个高斯核依赖于位置信息和灰度强度信息，第二个高斯核只依赖于位置信息。超参数σα,σβ,σγ为高斯核的尺度因子。
实际上求解最大后验概率argmaxP(X＝x|Y)问题被证明是NP-hard问题，所以实际处理中采用平均场近似估计的方法。此方法通过迭代计算概率分布Q来缩小和目标概率分布P之间的距离，分布距离采用KL散度：
Figure BDA0002973798810000115
迭代更新公式如下：
Figure BDA0002973798810000116
全连接条件随机场的一元势函数根据语义分割模型得到粗糙的分割图，二元势函数建立起像元之间的位置联系，既能去除与机场连通区域过远的灰度相似性区域，又能改善图像细节平滑边界，因此DenseCRF()能有效改善由于降采样而导致的图像信息损失，在语义特征上引入了像元之间的纹理和位置信息，优化SAR跑道的分割结果。
在实际应用时，所有实验采用相同的网络参数设置。由于计算显存有限，网络单次训练批大小设置为2，训练轮次epoch_total设置为100，输入数据尺寸为900。初始学习率为0.005，采用学习率多项式衰减法，学习率更新公式如下：
Figure BDA0002973798810000121
其中，Lr0为初始学习率，α为0.9，调整学习率衰减速度。采用带动量的随机梯度下降法，动量momentum设置为0.9。
另外，还给出一种评价指标，实验条件下，采用如下评价指标定量评价实验结果，像素准确度(PA)，类加权像素准确度(MPA)，交并比(MIoU)，类加权交并比(FWIoU)。上述评价指标计算公式如下：
Figure BDA0002973798810000122
Figure BDA0002973798810000123
Figure BDA0002973798810000124
Figure BDA0002973798810000125
Figure BDA0002973798810000126
其中，k＝2为类数，类别0为背景，1为机场道路。pij为实际为第i类、预测为第j类的像素个数，即p00和p11为真正例，p01和p10为假正例和假负例。
应该理解的是，虽然图1的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些子步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
在一个实施例中，如图4所示，提供了一种基于语义分割和条件随机场的SAR图像道路提取装置，包括：样本获取模块402、道路提取模块404、训练模块406和输出模块408，其中：
样本获取模块402，用于获取SAR道路图像样本；
道路提取模块404，用于将所述SAR道路图像样本输入预先设置的语义分割模型；所述语义分割模型包括：空间金字塔编码器和解码器；所述空间金字塔编码器包括：多层卷积神经网络和空间金字塔模块；通过所述多层卷积神经网络对所述SAR道路图像样本进行特征提取，将提取得到的浅层特征输入解码器的并联通道，将提取得到的深层特征输入空间金字塔模块进行处理，得到编码器特征；将所述编码器特征输入解码器中通过上采样后输入至所述并联通道，通过多次上采样输出道路提取预测结果；
训练模块406，用于根据所述道路提取预测结果，通过交叉熵损失函数对所述语义分割模型进行训练，得到训练好的语义分割模型；
输出模块408，用于将待预测SAR道路图像输入训练好的语义分割模型，得到待预测的SAR道路预测概率图，以及对所述待预测SAR道路图像进行滤波处理，将所述SAR道路预测概率图和滤波后的待预测SAR道路图像输入二阶点对全连接条件随机场，输出SAR图像道路。
在其中一个实施例中，所述空间金字塔模块包括：多个不同膨胀率的空洞卷积和一个全局池化模块；道路提取模块404还用于将提取得到的深层特征输入空间金字塔模块中多个不同膨胀率的空洞卷积和一个全局池化模块，并且通过1×1通道卷积通道得到编码器特征。
在其中一个实施例中，所述多层卷积神经网络为ResNet101残差网络；道路提取模块404还用于通过ResNet101残差网络对所述SAR道路图像样本进行特征提取，将ResNet101残差网络的第一层卷积块和第二层残差块输出的特征作为浅层特征。
在其中一个实施例中，所述并联通道包括：第一并联通道和第二并联通道；道路提取模块404还用于将所述第一层卷积块输出的浅层特征通过1×1卷积块后输入至第二并联通道；将所述第二层残差块输出的浅层特征通过1×1卷积块后输入至第一并联通道。
在其中一个实施例中，道路提取模块404还用于将所述编码器特征输入解码器中通过两次2倍上采样卷积模块后输入至所述第一并联通道；所述2倍上采样卷积模块包括：线性插值模块、3×3卷积模块、BatchNorm批归一化模块和Relu激活函数组成；将所述第一并联通道的输出通过一次所述2倍上采样卷积模块后，输入至所述第二并联通道，将所述第二并联通道的输出通过一次所述2倍上采样卷积模块后，得到道路提取预测结果。
在其中一个实施例中，训练模块406还用于获取交叉熵损失函数为：
Figure BDA0002973798810000141
其中，K表示单次训练SAR道路图像样本的数量，W表示图像宽度，H表示图像高度，k表示当前SAR道路图像样本，(i,j)表示像素点的坐标，p(xk,i,j)表示第k个SAR道路图像样本在(i,j)处像素属于道路的概率真值，p(xk,i,j)表示第k个SAR道路图像样本在(i,j)处像素属于道路的后验概率；根据所述道路提取预测结果，通过交叉熵损失函数对所述语义分割模型进行训练，得到训练好的语义分割模型。
在其中一个实施例中，输出模块408还用于对所述待预测SAR道路图像进行滤波处理，将滤波后的待预测SAR道路图像输入二阶点对全连接条件随机场，观测得到道路条件概率满足吉布斯分布为：
Figure BDA0002973798810000142
其中，Z(Y)为归一化项，以使∑P(X|Y)＝1，E(X|Y)是一个条件势能项；
对所述条件势能项进行一元势函数和二元点对势函数形式的加权，得到点对随机场的势能量表达式为：
Figure BDA0002973798810000143
其中，Ei为一元势函数，Ei,j为二元势函数，Ei(x)＝-log(p(xi))，p(xi)为训练好的语义分割模型输出的后验概率；
二元势函数为：
Figure BDA0002973798810000151
其中，当xi＝xj时，u(xi,xj)为1，否则u(xi,xj)为0；
根据高斯核函数，建立点对之间联系的概率图模型为km(xi,xj)；
其中，每个高斯核函数km为：
Figure BDA0002973798810000152
其中，w1和w2表示权重，超参数σα,σβ,σγ为高斯核的尺度因子，Pi和Pj表示第i个和第j个像素属于道路的后验概率，Ii和Ij表示第i个和第j个像素的原始数据灰度值；
将求解最大道路条件概率的问题转化为NP-hard问题；通过所述概率图模型构建迭代模型对所述NP-hard问题进行求解，输出SAR图像道路。
关于基于语义分割和条件随机场的SAR图像道路提取装置的具体限定可以参见上文中对于基于语义分割和条件随机场的SAR图像道路提取方法的限定，在此不再赘述。上述基于语义分割和条件随机场的SAR图像道路提取装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，提供了一种计算机设备，该计算机设备可以是终端，其内部结构图可以如图5所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种基于语义分割和条件随机场的SAR图像道路提取方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图5中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，该存储器存储有计算机程序，该处理器执行计算机程序时实现上述实施例中方法的步骤。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述实施例中方法的步骤。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种基于语义分割和条件随机场的SAR图像道路提取方法，其特征在于，所述方法包括：
获取SAR道路图像样本；
将所述SAR道路图像样本输入预先设置的语义分割模型；所述语义分割模型包括：空间金字塔编码器和解码器；所述空间金字塔编码器包括：多层卷积神经网络和空间金字塔模块；
通过所述多层卷积神经网络对所述SAR道路图像样本进行特征提取，将提取得到的浅层特征输入解码器的并联通道，将提取得到的深层特征输入空间金字塔模块进行处理，得到编码器特征；
将所述编码器特征输入解码器中通过上采样后输入至所述并联通道，通过多次上采样输出道路提取预测结果；
根据所述道路提取预测结果，通过交叉熵损失函数对所述语义分割模型进行训练，得到训练好的语义分割模型；
将待预测SAR道路图像输入训练好的语义分割模型，得到SAR道路预测概率图，以及对所述待预测SAR道路图像进行滤波处理，将所述SAR道路预测概率图和滤波后的待预测SAR道路图像输入二阶点对全连接条件随机场，输出SAR图像道路。
2.根据权利要求1所述的方法，其特征在于，所述空间金字塔模块包括：多个不同膨胀率的空洞卷积和一个全局池化模块；
将提取得到的深层特征输入空间金字塔模块进行处理，得到编码器特征，包括：
将提取得到的深层特征输入空间金字塔模块中多个不同膨胀率的空洞卷积和一个全局池化模块，并且通过1×1通道卷积通道得到编码器特征。
3.根据权利要求1所述的方法，其特征在于，所述多层卷积神经网络为ResNet101残差网络；
通过所述多层卷积神经网络对所述SAR道路图像样本进行特征提取，包括：
通过ResNet101残差网络对所述SAR道路图像样本进行特征提取，将ResNet101残差网络的第一层卷积块和第二层残差块输出的特征作为浅层特征。
4.根据权利要求3所述的方法，其特征在于，所述并联通道包括：第一并联通道和第二并联通道；
所述将提取得到的浅层特征输入解码器的并联通道，包括：
将所述第一层卷积块输出的浅层特征通过1×1卷积块后输入至第二并联通道；
将所述第二层残差块输出的浅层特征通过1×1卷积块后输入至第一并联通道。
5.根据权利要求4所述的方法，其特征在于，将所述编码器特征输入解码器中通过上采样后输入至所述并联通道，通过多次上采样输出道路提取预测结果，包括：
将所述编码器特征输入解码器中通过两次2倍上采样卷积模块后输入至所述第一并联通道；所述2倍上采样卷积模块包括：线性插值模块、3×3卷积模块、BatchNorm批归一化模块和Relu激活函数组成；
将所述第一并联通道的输出通过一次所述2倍上采样卷积模块后，输入至所述第二并联通道，将所述第二并联通道的输出通过一次所述2倍上采样卷积模块后，得到道路提取预测结果。
6.根据权利要求1至5任一项所述的方法，其特征在于，根据所述道路提取预测结果，通过交叉熵损失函数对所述语义分割模型进行训练，得到训练好的语义分割模型，包括：
获取交叉熵损失函数为：
Figure FDA0002973798800000021
其中，K表示单次训练SAR道路图像样本的数量，W表示图像宽度，H表示图像高度，k表示当前SAR道路图像样本，(i,j)表示像素点的坐标，p(xk,i,j)表示第k个SAR道路图像样本在(i,j)处像素属于道路的概率真值，p(xk,i,j)表示第k个SAR道路图像样本在(i,j)处像素属于道路的后验概率；
根据所述道路提取预测结果，通过交叉熵损失函数对所述语义分割模型进行训练，得到训练好的语义分割模型。
7.根据权利要求1至5任一项所述的方法，其特征在于，将待预测SAR道路图像输入训练好的语义分割模型，得到SAR道路预测概率图，以及对所述待预测SAR道路图像进行滤波处理，将所述SAR道路预测概率图和滤波后的待预测SAR道路图像输入二阶点对全连接条件随机场，输出SAR图像道路，包括：
对所述待预测SAR道路图像进行滤波处理，将滤波后的待预测SAR道路图像输入二阶点对全连接条件随机场，观测得到道路条件概率满足吉布斯分布为：
Figure FDA0002973798800000031
其中，Z(Y)为归一化项，以使∑P(X|Y)＝1，E(X|Y)是一个条件势能项；
对所述条件势能项进行一元势函数和二元点对势函数形式的加权，得到点对随机场的势能量表达式为：
Figure FDA0002973798800000032
其中，Ei为一元势函数，Ei,j为二元势函数，Ei(x)＝-log(p(xi))，p(xi)为训练好的语义分割模型输出的后验概率；
二元势函数为：
Figure FDA0002973798800000033
其中，当xi＝xj时，u(xi,xj)为1，否则u(xi,xj)为0；
根据高斯核函数，建立点对之间联系的概率图模型为km(xi,xj)；
其中，每个高斯核函数km为：
Figure FDA0002973798800000034
其中，w1和w2表示权重，超参数σα,σβ,σγ为高斯核的尺度因子，Pi和Pj表示第i个和第j个像素属于道路的后验概率，Ii和Ij表示第i个和第j个像素的原始数据灰度值；
将求解最大道路条件概率的问题转化为NP-hard问题；通过所述概率图模型构建迭代模型对所述NP-hard问题进行求解，输出SAR图像道路。
8.一种基于语义分割和条件随机场的SAR图像道路提取装置，其特征在于，所述装置包括：
样本获取模块，用于获取SAR道路图像样本；
道路提取模块，用于将所述SAR道路图像样本输入预先设置的语义分割模型；所述语义分割模型包括：空间金字塔编码器和解码器；所述空间金字塔编码器包括：多层卷积神经网络和空间金字塔模块；通过所述多层卷积神经网络对所述SAR道路图像样本进行特征提取，将提取得到的浅层特征输入解码器的并联通道，将提取得到的深层特征输入空间金字塔模块进行处理，得到编码器特征；将所述编码器特征输入解码器中通过上采样后输入至所述并联通道，通过多次上采样输出道路提取预测结果；
训练模块，用于根据所述道路提取预测结果，通过交叉熵损失函数对所述语义分割模型进行训练，得到训练好的语义分割模型；
输出模块，用于将待预测SAR道路图像输入训练好的语义分割模型，得到SAR道路预测概率图，以及对所述待预测SAR道路图像进行滤波处理，将所述SAR道路预测概率图和滤波后的待预测SAR道路图像输入二阶点对全连接条件随机场，输出SAR图像道路。
9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至7中任一项所述方法的步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
CN202110273216.5A 2021-03-12 2021-03-12 基于语义分割和条件随机场的sar图像道路提取方法和装置 Active CN113011305B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110273216.5A CN113011305B (zh) 2021-03-12 2021-03-12 基于语义分割和条件随机场的sar图像道路提取方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110273216.5A CN113011305B (zh) 2021-03-12 2021-03-12 基于语义分割和条件随机场的sar图像道路提取方法和装置

Publications (2)

Publication Number Publication Date
CN113011305A CN113011305A (zh) 2021-06-22
CN113011305B true CN113011305B (zh) 2022-09-09

Family

ID=76406676

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110273216.5A Active CN113011305B (zh) 2021-03-12 2021-03-12 基于语义分割和条件随机场的sar图像道路提取方法和装置

Country Status (1)

Country Link
CN (1) CN113011305B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113408462B (zh) * 2021-06-29 2023-05-02 西南交通大学 基于卷积神经网络与类别热力图的滑坡遥感信息提取方法
CN113537020B (zh) * 2021-07-07 2022-12-09 中国人民解放军国防科技大学 基于改进神经网络的复数sar图像目标识别方法
CN113569750B (zh) * 2021-07-29 2023-07-07 上海动亦科技有限公司 一种基于空间特征聚合的道路目标检测识别方法
CN113763392B (zh) * 2021-11-10 2022-03-18 北京中科慧眼科技有限公司 用于路面平坦度检测的模型预测方法、系统和智能终端

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108062756B (zh) * 2018-01-29 2020-04-14 重庆理工大学 基于深度全卷积网络和条件随机场的图像语义分割方法
CN110232394B (zh) * 2018-03-06 2021-08-10 华南理工大学 一种多尺度图像语义分割方法
CN108876796A (zh) * 2018-06-08 2018-11-23 长安大学 一种基于全卷积神经网络和条件随机场的道路分割系统及方法
CN111369563B (zh) * 2020-02-21 2023-04-07 华南理工大学 一种基于金字塔空洞卷积网络的语义分割方法

Also Published As

Publication number Publication date
CN113011305A (zh) 2021-06-22

Similar Documents

Publication Publication Date Title
CN113011305B (zh) 基于语义分割和条件随机场的sar图像道路提取方法和装置
CN108154192B (zh) 基于多尺度卷积与特征融合的高分辨sar地物分类方法
CN111310666B (zh) 一种基于纹理特征的高分辨率影像地物识别与分割方法
Xu et al. Inter/intra-category discriminative features for aerial image classification: A quality-aware selection model
CN110189255B (zh) 基于两级检测的人脸检测方法
CN111914686B (zh) 基于周域关联和模式识别的sar遥感图像水域提取方法、装置及系统
CN111639719B (zh) 基于时空运动和特征融合的足迹图像检索方法
CN112308860A (zh) 基于自监督学习的对地观测图像语义分割方法
CN111126359A (zh) 基于自编码器与yolo算法的高清图像小目标检测方法
CN107358203B (zh) 一种基于深度卷积阶梯网络的高分辨sar图像分类方法
CN112115916B (zh) 域适应Faster R-CNN半监督SAR检测方法
CN111008644B (zh) 基于局部动态能量函数fcn-crf模型的生态变化监测方法
CN113111835A (zh) 卫星遥感图像语义分割方法、装置、电子设备和存储介质
CN112950780A (zh) 一种基于遥感影像的网络地图智能生成方法及系统
Huang et al. RDCa-Net: Residual dense channel attention symmetric network for infrared and visible image fusion
CN114612315A (zh) 一种基于多任务学习的高分辨率影像缺失区域重建方法
CN113591608A (zh) 一种基于深度学习的高分辨率遥感影像不透水面提取方法
CN113627481A (zh) 一种面向智慧园林的多模型组合的无人机垃圾分类方法
Zhou et al. ASFusion: Adaptive visual enhancement and structural patch decomposition for infrared and visible image fusion
CN112418227A (zh) 基于双自注意力机制的监控视频卡车分割方法
Zeng et al. Masanet: Multi-angle self-attention network for semantic segmentation of remote sensing images
CN116310832A (zh) 遥感图像处理方法、装置、设备、介质及产品
Yufeng et al. Research on SAR image change detection algorithm based on hybrid genetic FCM and image registration
CN115542279A (zh) 一种气象雷达杂波分类识别方法及装置
CN115205308A (zh) 一种基于线状滤波和深度学习的眼底图像血管分割方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant