CN109344837A - 一种基于深度卷积网络和弱监督学习的sar图像语义分割方法 - Google Patents

一种基于深度卷积网络和弱监督学习的sar图像语义分割方法 Download PDF

Info

Publication number
CN109344837A
CN109344837A CN201811231323.6A CN201811231323A CN109344837A CN 109344837 A CN109344837 A CN 109344837A CN 201811231323 A CN201811231323 A CN 201811231323A CN 109344837 A CN109344837 A CN 109344837A
Authority
CN
China
Prior art keywords
extremely
region
homogeneous
sar image
pixel subspace
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811231323.6A
Other languages
English (en)
Other versions
CN109344837B (zh
Inventor
刘芳
崔元浩
焦李成
郭雨薇
古晶
侯彪
杨淑媛
陈璞花
李玲玲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Xidian University
Original Assignee
Xidian University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Xidian University filed Critical Xidian University
Priority to CN201811231323.6A priority Critical patent/CN109344837B/zh
Publication of CN109344837A publication Critical patent/CN109344837A/zh
Application granted granted Critical
Publication of CN109344837B publication Critical patent/CN109344837B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Astronomy & Astrophysics (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开一种基于深度卷积网络和弱监督学习的SAR图像语义分割方法，利用SAR图像混合像素子空间互不连通的极不匀质区域的编号作为SAR图像混合像素子空间训练图像块的样本标签，本发明的标签只能表明不同的图像块是否来自同一个极不匀质区域，属于弱监督学习的过程，本发明采用弱监督深度学习的方法来学习SAR图像混合像素子空间的极不匀质区域。基于这种弱监督标签，不仅节省了大量的人力、物力，也利用深度学习很好地挖掘了SAR图像结构复杂的极不匀质区域地物表示问题，将测试输出向量进行区域统计编码，提高了极不匀质区域表征能力，从而提高SAR图像语义分割的性能。

Description

一种基于深度卷积网络和弱监督学习的SAR图像语义分割 方法
技术领域
本发明属于图像处理技术领域，涉及一种基于深度卷积网络和弱监督学习的SAR图像语义分割方法。
背景技术
合成孔径雷达(SAR，Synthetic Aperture Radar)是遥感技术领域的重要进展，用来获取地球表面的高分辨图像。与其他类型的成像技术相比，SAR有着非常重要的优势，它不受云层、降雨或者大雾等大气条件以及光照强度的影响，能够全天时、全天候地获取高分辨遥感数据。SAR技术对于军事、农业、地理等许多领域具有重要指导意义。
图像分割是指根据颜色、灰度和纹理等特征将图像划分成若干个互不相交的区域的过程。目前图像分割常用的方法有：基于边缘检测的方法、基于阈值的方法、基于区域生长和分水岭的方法及基于聚类的方法等。由于SAR独特的成像机理，SAR图像中含有许多相干斑噪声，导致很多光学图像的传统方法都不能直接用于SAR图像的分割。SAR图像的传统分割方法包括一些基于聚类如K-means、FCM等的方法，以及其他一些有监督和半监督的方法。它们往往需要靠人工经验进行特征提取，然而提取的特征的好坏对于SAR图像的分割结果有着重要影响。对于有监督和半监督的方法，需要有标签数据，SAR图像的标签数据很少，获取标签数据的成本很高。
目前大多数深度学习模型是一种有监督学习，都需要提前指定训练样本的真实标签，然后利用深度学习的优秀的泛化性能带预测训练集未出现过的新样本，并给出新样本的类别。而无监督学习方法，一种方式是利用人工设计特征来表示一种类型的样本，然后对这些特征进行聚类；另外就是通过设计学习模型来提取特定的样本特征，并用提取到的特征重构原始样本来指导特征提取的过程。
刘芳等在其发表的论文“基于层次视觉语义和自适应邻域多项式隐模型的SAR图像分割”(IEEE Trancactions on Geoscience and Remote Sensing，2016,54(7):4287-4301.)中提出了一种基于层次视觉语义和自适应邻域多项式隐模型的SAR图像分割方法，该方法在SAR图像素描图的基础上，提出了SAR图像的层次视觉语义。该层次视觉语义把SAR图像划分为聚集区域、结构区域和匀质区域。基于该划分，对不同特性的区域采用了不同的分割方法。对于聚集区域，提取灰度共生矩阵特征，并采用局部线性约束编码的方法得到每个聚集区域的表示，进而采用层次聚类的方法进行分割。对结构区域，通过分析边模型和线模型，设计了视觉语义规则定位边界和线目标。另外，边界和线目标包含了强烈的方向信息，因此设计了基于几何结构窗的多项式隐模型进行分割。对匀质区域，为了能找到恰当的邻域去表示中心像素，设计了基于自适应窗口的多项式隐模型进行分割。这三个区域的分割结果被整合到一起得到最后的分割结果。该方法对每个聚集区域所对应的像素空间中的每个极不匀质区域来说，用人工设计的特征来描述每个极不匀质区域，虽然计算机在提取人工设计的特征时，其计算速度会非常快；但存在人工设计的特征未必都能够很好地描述每个不同的SAR图像所具有的不同的复杂结构特点的极不匀质区域；因而，会影响由多个极不匀质区域组成的混合像素子空间的分割结果。
西安电子科技大学在其申请的专利“基于脊波反卷积网络和稀疏分类的SAR图像分割方法”(专利申请号201510675676.5，公开号105374033B)中公开了一种基于脊波反卷积网络和稀疏分类的SAR图像分割方法。其实现步骤如下：(1)素描化合成孔径雷达SAR图像；(2)划分SAR图像为不同语义的区域；(3)对聚集区域和匀质区域分别训练脊波反卷积网络RDN；(4)合并相似的聚集区域；(5)合并相似的匀质区域；(6)基于分水岭方法，对步骤(2)获得的结构区域进行分割；(7)得到分割后的合成孔径雷达SAR图像。对于聚集区域的特征学习，但它过分注重一个区域中单个样本的特征表示学习，而同一个区域中的样本不一定是同一种结构或者地物信息，因此对单个样本很好的学习，并不一定能利于样本所在区域的表示；并且在聚集区域聚合过程中，操作单元也是不同聚集区单个样本的特征，这其实不利于同种地物聚集区的合并，和不同地物聚集区的分割，因为单个样本特征相似或者不相似并不足以表示不同聚集区间的相似性的大小。
发明内容
本发明针对上述已有技术的不足，提出一种基于深度卷积网络和弱监督学习的SAR图像语义分割方法，用弱监督信息指导深度卷积网络的训练，进一步挖掘了混合像素子空间的语义信息；通过区域统计编码，提高了极不匀质区域表征能力，从而提高SAR图像语义分割的性能。
本发明是通过以下技术方案来实现：
一种基于深度卷积网络和弱监督学习的SAR图像语义分割方法，包括如下步骤：
步骤1，根据素描模型提取SAR图像的素描图；
步骤2，将得到的素描图进行区域化得到区域图；
步骤3，依据得到的区域图将原SAR图像分为混合像素子空间、匀质像素子空间和结构像素子空间；
步骤4，将混合像素子空间互不连通的极不均质区域进行编号，并进行滑动窗口采集图像块，利用图像块所在极不匀质区域的编号作为SAR图像混合像素子空间图像块的样本标签信息，构建混合像素子空间的训练集和测试集；
步骤5，构建基于弱监督学习的深度卷积网络模型；
步骤6，将步骤4构建好的训练集的数据输入深度卷积网络模型中，训练模型参数；
步骤7，利用步骤6训练好的深度卷积网络模型，对混合像素子空间的互不连通的极不匀质区域进行区域统计编码；
步骤8，对步骤7得到的混合像素子空间进行分割；
步骤9，对结构像素子空间进行分割；
步骤10，对匀质像素子空间进行分割；
步骤11，对三个子空间的分割结果进行整合，从而得到SAR图像最终的区域划分结果。
优选的，步骤4中构建混合像素子空间的训练集和测试集，步骤如下：
步骤4.1，将混合像素子空间互不连通的极不均质区域进行编号1～M；
步骤4.2，对每个极不匀质区域用窗口滑动采集图像块，构成图像块集合：
其中N1～NM表示每个极不匀质区域的采样图像数量；
将每个图样块所在极不匀质区域的编号编码为M位的独热码作为该图像块的标签信息：
其中*表示一个极不匀质区域任意图像块的序号；
步骤4.3，在属于每个极不匀质区域的图像块集合中随机选取百分比为β的图像块作为训练样本构成训练样本集：
相应的标签信息作为对应训练样本的标签信息：
每个极不匀质区域的剩余图像块做为测试样本集：
其中，β为10％～30％。
进一步的，步骤4.2中，对每个极不匀质区域用32×32的窗口滑动采集图像块，滑动步长为2。
进一步的，步骤4.3中，在属于每个极不匀质区域的图像块集合中随机选取20％图像块作为训练样本构成训练样本集，每个极不匀质区域的剩余的80％图像块做为测试样本集。
优选的，步骤5中构建基于弱监督学习的深度卷积网络模型G，该网络由9个网络层构成，其中包含4个卷积层、3个最大池化层和2个全连接层；其具体网络结构如下所示：
网络的目标函数是均方差函数L：
其中Di表式一个批次中第i个极不匀质区域训练样本集Xtrain和标签信息Ytrain的序列集合，|Di|表示Di中元素的个数。
优选的，步骤7中利用训练好的深度卷积网络模型，对混合像素子空间的不同区域进行区域编码，步骤如下：
步骤7.1，将测试集中的每个样本输入训练好的深度卷积网络模型得到相应的输出为M维向量，表示该样本对于M个极不匀质区域的响应值；
步骤7.2，每个极不匀质区域的统计编码向量用该区域所有测试样本对于各极不匀质区域的响应值的均值来表示：
其中nr表示第r个极不匀质区域的测试样本的数量，pr,j表示第r个极不匀质区域的第j个测试样本的网络输出向量，
优选的，步骤8具体是：利用层次聚类法，对每个极不匀质区域的统计编码向量进行聚类，得到SAR图像混合像素子空间的分割结果。
优选的，步骤9具体是：采用视觉语义规则提取线目标，然后用基于几何结构窗的多项式隐模型的结构区域分割方法，对结构像素子空间进行分割，得到结构像素子空间的分割结果。
优选的，步骤10具体是：采用基于自适应窗口选择的多项式隐模型的匀质区域分割方法，对匀质像素子空间进行分割，得到匀质像素子空间的分割结果。
与现有技术相比，本发明具有以下有益的技术效果：
本发明利用SAR图像混合像素子空间互不连通的极不匀质区域的编号作为SAR图像混合像素子空间训练图像块的样本标签，深度学习样本标签的强弱指的是标签蕴含的信息量的多少，本发明的标签只能表明不同的图像块是否来自同一个极不匀质区域，属于弱监督学习的过程。即本发明采用弱监督深度学习的方法来学习SAR图像混合像素子空间的极不匀质区域。基于这种弱监督标签，不仅节省了大量的人力、物力，也利用深度学习很好地挖掘了SAR图像结构复杂的极不匀质区域地物表示问题。本发明可应用于对合成孔径雷达SAR的不同区域准确地进行分割，可进一步用于SAR图像中的目标检测与识别。
进一步的，由于本发明的标签信息并不是完全有监督标签，是一种弱监督标签，并且本发明对于混合地物子空间的样本学习不在于追求训练准确性，因此设计了较少的卷积网络(总共四个卷积、四个池化和两个全连接)，首先可以避免训练过拟合，其次也能减少训练时间。
进一步的，由于本发明的弱监督标签，对于不同极不匀质区域的样本分配了不同的标签，因此对一个极不匀质区域的训练，实际相当于深度学习模型学习了一种相应类型的“地物”表示。而实际情况是每一个极不匀质区域中不仅仅是一种地物类型，而是由多种地物类型的混合。反映到本发明的编码方式上，就是从统计意义上描述了极不匀质区域之间地物表示的相似性和差异性。这种编码方式，一方面是综合考虑了每个极不匀质区域的所有样本信息，另一方面编码向量长度由极不匀质区域的个数决定，维数更小，更有利于区域描述，使同地物类型区域距离更近，不同类别区域距离更远。
附图说明
图1是本发明的流程图；
图2是本发明深度卷积网络结构图；
图3是本发明的仿真图；
图4是本发明对于互不连通聚集极不匀质区域的区域编码结果图；
图5是本发明仿真结果示意图。
具体实施方式
下面结合具体的实施例对本发明做进一步的详细说明，所述是对本发明的解释而不是限定。
本发明所述的基于深度卷积网络和弱监督学习的SAR图像语义分割方法，包括如下步骤：
(1)根据素描模型提取SAR图像的素描图；
(2)素描图进行区域化得到区域图；
(3)依据区域图将原SAR图像分为混合像素子空间、匀质像素子空间和结构像素子空间；
(4)构建混合像素子空间的训练集和测试集；
(5)构建基于弱监督学习的深度卷积网络模型；
(6)将(4)构建好的训练集的数据输入深度卷积网络模型中，训练模型参数；
(7)利用(6)训练好的深度卷积网络模型，对混合像素子空间的互不连通的极不匀质区域进行区域统计编码；
(8)分割SAR图像混合像素子空间：
利用层次聚类法，对每个极不匀质区域的统计编码向量进行聚类，得到SAR图像混合像素子空间的分割结果；
(9)对结构像素子空间进行分割：
采用视觉语义规则提取线目标，然后用基于几何结构窗的多项式隐模型的结构区域分割方法，对结构像素子空间进行分割，得到结构像素子空间的分割结果；
(10)对匀质像素子空间进行分割：
采用基于自适应窗口选择的多项式隐模型的匀质区域分割方法，对匀质像素子空间进行分割，得到匀质像素子空间的分割结果；
(11)对三个子空间的分割结果进行整合，从而得到SAR图像最终的区域划分结果。
参照附图1，本发明的具体实施步骤如下：
步骤1，SAR图像素描化。
输入合成孔径雷达SAR图像。
按照以下步骤，建立合成孔径雷达SAR图像的素描模型：
第1步，在[100,150]范围内，任意选取一个数，作为模板的总数；
第2步，构造具有不同方向和尺度的由像素点组成的边、线的一个模板，利用模板的方向和尺度信息构造各向异性高斯函数，通过该高斯函数，计算模板中每个像素点的加权系数，统计模板中所有像素点的加权系数，其中，尺度个数取值为3～5，方向个数取值为18；
第3步，按照下式，计算与模板区域坐标相对应的合成孔径雷达SAR图像中像素点的均值：
其中，μ表示与模板区域坐标相对应的合成孔径雷达SAR图像中所有像素点的均值，∑表示求和操作，g表示模板第Ω个区域中任意一个像素点对应的坐标，∈表示属于符号，wg表示模板第Ω个区域中像素点在坐标g处的权重系数，wg的取值范围为wg∈[0,1]，Ag表示与模板第Ω个区域中像素点在坐标g处对应的合成孔径雷达SAR图像中的像素点的值；
第4步，按照下式，计算与模板区域坐标相对应的合成孔径雷达SAR图像中像素点的方差值：
其中，ν表示与模板区域坐标相对应的合成孔径雷达SAR图像中所有像素点的方差值；
第5步，按照下式，计算合成孔径雷达SAR图像中每个像素点针对比值算子的响应值：
其中，R表示合成孔径雷达SAR图像中每个像素点针对比值算子的响应值，min{·}表示最小值操作，a和b分别表示模板中的两个不同的区域，μa表示模板区域a中所有像素点的均值，μb表示模板区域b中所有像素点的均值；
第6步，按照下式，计算合成孔径雷达SAR图像中每个像素针对相关性算子的响应值：
其中，C表示合成孔径雷达SAR图像中每个像素针对相关性算子的响应值，表示平方根操作，a和b分别表示模板中两个不同区域，νa表示模板区域a中所有像素点的方差值，νb表示模板区域b中所有像素点的方差值，μa表示模板区域a中所有像素点的均值，μb表示模板区域b中所有像素点的均值；
第7步，按照下式，计算合成孔径雷达SAR图像中每个像素点针对各个模板的响应值：
其中，F表示合成孔径雷达SAR图像中每个像素点针对各个模板的响应值，表示平方根操作，R和C分别表示合成孔径雷达SAR图像中像素点针对比值算子和合成孔径雷达SAR图像中像素点针对相关性算子的响应值；
第8步，判断所构造的模板是否等于所选取模板的总数，若是，则执行第2步，否则，执行第9步；
第9步，从各个模板中选择具有最大响应值的模板，作为合成孔径雷达SAR图像的模板，并将该模板的最大响应值作为合成孔径雷达SAR图像中像素点的强度，将该模板的方向作为合成孔径雷达SAR图像中像素点的方向，获得合成孔径雷达SAR图像的边线响应图和梯度图；
第10步，按照下式，计算合成孔径雷达SAR图像强度图的强度值，得到强度图：
其中，I表示合成孔径雷达SAR图像强度图的强度值，r表示合成孔径雷达SAR图像边线响应图中的值，t表示合成孔径雷达SAR图像梯度图中的值；
第11步，采用非极大值抑制方法，对强度图进行检测，得到建议草图；
第12步，选取建议草图中具有最大强度的像素点，将建议草图中与该最大强度的像素点连通的像素点连接形成建议线段，得到建议素描图；
第13步，按照下式，计算建议素描图中素描线的编码长度增益：
其中，CLG表示建议素描图中素描线的编码长度增益，∑表示求和操作，J表示当前素描线邻域中像素点的个数，Aj表示当前素描线邻域中第j个像素点的观测值，Aj,0表示在当前素描线不能表示结构信息的情况下，该素描线邻域中第j个像素点的估计值，ln(·)表示以e为底的对数操作，Aj,1表示在当前素描线能够表示结构信息的情况下，该素描线邻域中第j个像素点的估计值；
第14步，在[5,50]范围内，任意选取一个数，作为阈值T；
第15步，选出所有建议素描线中CLG>T的建议素描线，将其组合成合成孔径雷达SAR图像的素描图。
从素描模型提取合成孔径雷达SAR图像的素描图。
本发明使用的合成孔径雷达SAR图像素描模型是Jie-Wu等人于2014年发表在IEEETransactions on Geoscience and Remote Sensing杂志上的文章《Local maximalhomogenous region search for SAR speckle reduction with sketch-basedgeometrical kernel function》中所提出的模型。
步骤2，素描图进行区域化得到区域图：
在SAR图像素描图的基础上，通过赋予素描线段的语义信息，根据语义素描线段聚集程度的统计分布和语义素描线段空间拓扑结构的关系，建立了求解聚集区域的计算模型和获取聚集区域的方法，在此基础上构建了区域图。
按照合成孔径雷达SAR图像的素描图中素描线段的聚集度，将素描线划分为表示聚集地物的聚集素描线和表示边界、线目标、孤立目标的边界素描线、线目标素描线、孤立目标素描线。
根据素描线段聚集度的直方图统计，选取聚集度等于最优聚集度的素描线段作为种子线段集{Ek,k＝1,2,...,m}，其中，Ek表示种子线段集中的任一条素描线段，k表示种子线段集中任一条素描线段的标号，m表示种子线段的总条数，{·}表示集合操作。
以未被选取添加进种子线段集和的线段作为基点，以此基点递归求解线段集合。
构造一个半径为最优聚集度区间上界的圆形基元，用该圆形基元对线段集合中的线段进行膨胀，对膨胀后的线段集合由外向内进行腐蚀，在素描图上得到以素描点为单位的聚集区域。
根据素描线段聚集程的统计分布和素描线段空间拓扑结构的关系，建立了求解聚集区域的计算模型和获取聚集区域的方法，在此基础上构建了聚集区域图。
对表示边界、线目标以及孤立目标的素描线，以每个素描线的每个素描点为中心构造大小为5×5的几何结构窗，得到结构区域。
将素描图中除去聚集区域和结构区域以外的部分作为不可素描区域。
将素描图中的聚集区域、不可素描区域和结构区域合并，得到包括聚集区域、无素描线区域和结构区域的合成孔径雷达SAR图像的区域图。
步骤3，将包括聚集区域、无素描线区域和结构区域的区域图，映射到合成孔径雷达SAR图像中，得到合成孔径雷达SAR图像的混合像素子空间、匀质像素子空间和结构像素子空间。
步骤4，构建混合像素子空间的训练集和测试集。
第1步，将混合像素子空间互不连通的极不均质区域进行编号1～M；
第2步，对每个极不匀质区域用32×32的窗口滑动采集图像块，滑动步长为2，构成图像块集合：
其中N1～NM表示每个极不匀质区域的采样图像块数量。将每个图样块所在极不匀质区域的编号编码为M位的独热码作为该图像块的标签信息：
其中*表示一个极不匀质区域任意图像块的序号。
第3步，在属于每个极不匀质区域的图像块集合中随机选取百分比为β的图像块作为训练样本构成训练样本集：
相应的标签信息作为对应训练样本的标签信息：
每个极不匀质区域的剩余的像块做为测试样本集：
其中，β为10％～30％。
步骤5，参照附图2，构建基于弱监督学习的深度卷积网络模型。
构建深度卷积网络模型G，该网络一共由9个网络层构成(不包含输入层)，其中包含4个卷积层，3个最大池化层和2个全连接层。其具体网络结构如下：
网络的目标函数是均方差函数L：
其中Di表式一个批次中第i个极不匀质区域训练样本集Xtrain和标签信息Ytrain的序列集合，|Di|表示Di中元素的个数。
步骤6，构建好的训练集的数据输入深度卷积网络模型中，训练模型参数。
步骤7，利用训练好的深度卷积网络模型，对混合像素子空间的互不连通的极不匀质区域进行统计编码。
第1步，将测试集中的每个样本输入训练好的深度卷积网络模型得到相应的输出为M维向量，表示该样本对于M个极不匀质区域的响应值。需要指出本发明并没有像一般的分类卷积网络，在测试阶段将测试样本的网络输出向量最大响应值的维度作为分类类别，因为本发明的目的不是对单个测试样本进行分类，所以本发明保留了测试集样本的原始网络输出，进行下面的处理。
第2步，每个极不匀质区域的统计编码向量用该区域所有测试样本对于各极不匀质区域的响应值的均值来表示：
其中nr表示第r个极不匀质区域的测试样本的数量，pr,j表示第r个极不匀质区域的第j个测试样本的网络输出向量：
步骤8，分割SAR图像混合像素子空间。
利用层次聚类法，对每个极不匀质区域的统计编码向量进行聚类，得到SAR图像混合像素子空间的分割结果。
步骤9，分割结构像素子空间。
采用视觉语义规则提取线目标，然后用基于几何结构窗的多项式隐模型的结构区域分割方法，对结构像素子空间进行分割，得到结构像素子空间的分割结果。本发明使用的结构区域分割方法是Fang-Liu等人于2016年发表在IEEE Trancactions on Geoscienceand Remote Sensing杂志上的文章《SAR Image Segmentation Based on HierarchicalVisual Semantic and Adaptive Neighborhood Multinomial Latent Model》中所提出的模型。
步骤10，分割匀质像素子空间。
采用基于自适应窗口选择的多项式隐模型的匀质区域分割方法，对匀质像素子空间进行分割，得到匀质像素子空间的分割结果。本发明使用的基于自适应窗口选择的多项式隐模型的匀质区域分割方法是Fang-Liu等人于2016年发表在IEEE Trancactions onGeoscience and Remote Sensing杂志上的文章《SAR Image Segmentation Based onHierarchical Visual Semantic and Adaptive Neighborhood Multinomial LatentModel》中所提出的模型。
步骤11，将混合像素子空间、匀质像素子空间和结构像素子空间的分割结果整合，得到合成孔径雷达SAR图像的最终分割结果。
下面结合仿真图对本发明的效果做进一步的描述。
1.仿真条件：
硬件平台为：Xeon(R)CPU E5-2630 v4@2.20GHz×40
显卡：GTX 1080
内存为62.8G
软件平台为Keras，是python中一个以CNTK、TensorFlow或者Theano为计算后台的深度学习建模环境。本发明仿真所使用的合成孔径雷达SAR图像为，X波段分辨率为1米的Pyramid图。
2.仿真内容：
本发明的仿真实验是对SAR图像中的Pyramid图进行分割，如图3(a)所示的Pyramid图。该图来源于X波段分辨率为1米的合成孔径雷达SAR图像。
采用本发明的SAR图像素描化步骤，对图3(a)所示的Pyramid图素描化，得到如图3(b)所示的素描图。
采用本发明的划分像素子空间步骤，对图3(b)所示的素描图区域化，得到如图3(c)所示的区域图。图3(c)中的白色空间表示聚集区域，其他的为无素描线区域和结构区域。根据图3(c)所示区域图可以得到如图3(d)所示的Pyramid图像混合像素子空间图，图3(d)的标号为互不连通的各极不均质区域的编号。
采用本发明基于深度卷积网络和弱监督学习的SAR图像语义分割方法中的网络模型，对3(d)所示的Pyramid混合像素子空间进行学习，并进行区域统计编码，得到如图4所示的极不匀质区域统计编码向量。4(a)～4(f)分别表示图3(d)中极不匀质区域1、2、3、4、5、6的统计编码向量。该仿真实验中，是在属于每个极不匀质区域的图像块集合中随机选取20％的图像块作为训练样本构成训练样本集，每个极不匀质区域的剩余的80％图像块做为测试样本集。本发明还对随机选取10％和30％的图像块分别作为训练样本构成训练样本集进行了实验，实验证明也能够达到相同的目的。
对图4所示的Pyramid混合像素子空间各极不匀质区域的统计编码向量进行0.1阈值的层次聚类，得到图5(a)所示的混合像素子空间的聚类结构，其中白色区域表示未处理的地物空间，其余相同颜色的区域表示同一种地物空间，不同颜色的区域表示不同的地物空间。
采用本发明的合并分割结果步骤，合并图5(a)所示的混合像素子空间分割结果、匀质像素子空间分割结果和结构像素子空间分割结果，得到图5(c)，图5(c)是图3(a)Pyramid图像的最终分割结果图。
3.仿真效果分析：
图5(a)是本发明方法对Pyramid图像的混合像素子空间分割结果图，图5(b)是基于灰度共生矩阵特征得到的混合像素子空间分割结果图。图5(c)是本发明方法对Pyramid图像的最终分割结果图，图5(d)是“基于层次视觉语义和自适应邻域多项式隐模型的SAR图像分割”结果图。通过结果对比，并结合图3(d)，可以看出极不匀质区域3和极不匀质区域2是同一种地物，而极不匀质区域3与极不匀质区域5、6不是同一种地物，对比方法却将极不区域3与极不匀质区域5和6聚为了一类，而本发明方法得到了更合理的混合像素子空间的分割结果。使用本发明方法对合成孔径雷达SAR图像进行语义分割，提高了SAR图像语义分割的性能。
本发明具有以下有益的技术效果：
第一，本发明采用弱监督深度学习的方法来学习SAR图像混合像素子空间的极不匀质区域。本发明利用层次视觉语义模型，可以很方便提取到SAR混合像素子空间的样本，虽然本发明并没有单个样本级的图像类别标签，但是可以知道视觉语义模型得到的SAR图像混合像素子空间中任何一个极不匀质区域为一种或几种地物的集合，拥有地物集聚这样较为笼统的语义信息，而SAR图像混合像素子空间中两个互不连通的极不匀质区域是相似的还是不相似的，是本发明需要探究的问题。因此本发明利用SAR图像混合像素子空间互不连通的极不匀质区域的编号作为SAR图像混合像素子空间训练图像块的样本标签。深度学习样本标签的强弱指的是标签蕴含的信息量的多少，本发明的标签只能表明不同的图像块是否来自同一个极不匀质区域，所含有的信息十分有限，但非常重要。基于这种弱监督标签，不仅节省了大量的人力，物力，也利用深度学习很好地挖掘了SAR图像结构复杂的极不匀质区域地物表示问题。
第二，由于本发明的弱监督标签，不同极不匀质区域的样本分配了不同的标签，因此对一个极不匀质区域的训练，实际相当于深度学习模型学习了一种相应类型的“地物”表示。而实际情况是每一个极不匀质区域中不仅仅是一种地物类型，而是由多种地物类型的混合。反映到本发明的编码方式上，就是从统计意义上描述了极不匀质区域之间地物表示的相似性和差异性。这种编码方式，一方面是综合考虑了每个极不匀质区域的所有样本信息，另一方面编码向量长度由极不匀质区域的个数决定，维数更小，更有利于区域描述，使同地物类型区域距离更近，不同类别区域距离更远。
第三，由于本发明对于混合地物子空间的样本学习不过于追求训练准确性，因此设计了较少的卷积网络(总共四个卷积、四个池化和两个全连接)，首先可以避免训练过拟合，其次也能减少训练时间。

Claims (9)

1.一种基于深度卷积网络和弱监督学习的SAR图像语义分割方法，其特征在于，包括如下步骤：
步骤1，根据素描模型提取SAR图像的素描图；
步骤2，将得到的素描图进行区域化得到区域图；
步骤3，依据得到的区域图将原SAR图像分为混合像素子空间、匀质像素子空间和结构像素子空间；
步骤4，将混合像素子空间互不连通的极不均质区域进行编号，并进行滑动窗口采集图像块，利用图像块所在极不匀质区域的编号作为SAR图像混合像素子空间图像块的样本标签信息，构建混合像素子空间的训练集和测试集；
步骤5，构建基于弱监督学习的深度卷积网络模型；
步骤6，将步骤4构建好的训练集的数据输入深度卷积网络模型中，训练模型参数；
步骤7，利用步骤6训练好的深度卷积网络模型，对混合像素子空间的互不连通的极不匀质区域进行区域统计编码；
步骤8，对步骤7得到的混合像素子空间进行分割；
步骤9，对结构像素子空间进行分割；
步骤10，对匀质像素子空间进行分割；
步骤11，对三个子空间的分割结果进行整合，从而得到SAR图像最终的区域划分结果。
2.根据权利要求1所述的基于深度卷积网络和弱监督学习的SAR图像语义分割方法，其特征在于，步骤4中构建混合像素子空间的训练集和测试集，步骤如下：
步骤4.1，将混合像素子空间互不连通的极不均质区域进行编号1～M；
步骤4.2，对每个极不匀质区域用窗口滑动采集图像块，构成图像块集合：
其中N1～NM表示每个极不匀质区域的采样图像数量；
将每个图样块所在极不匀质区域的编号编码为M位的独热码作为该图像块的标签信息：
其中*表示一个极不匀质区域任意图像块的序号；
步骤4.3，在属于每个极不匀质区域的图像块集合中随机选取百分比为β的图像块作为训练样本构成训练样本集：
相应的标签信息作为对应训练样本的标签信息：
每个极不匀质区域的剩余图像块做为测试样本集：
其中，β为10％～30％。
3.根据权利要求2所述的基于深度卷积网络和弱监督学习的SAR图像语义分割方法，其特征在于，步骤4.2中，对每个极不匀质区域用32×32的窗口滑动采集图像块，滑动步长为2。
4.根据权利要求2所述的基于深度卷积网络和弱监督学习的SAR图像语义分割方法，其特征在于，步骤4.3中，在属于每个极不匀质区域的图像块集合中随机选取20％图像块作为训练样本构成训练样本集，每个极不匀质区域的剩余的80％图像块做为测试样本集。
5.根据权利要求1所述的基于深度卷积网络和弱监督学习的SAR图像语义分割方法，其特征在于，步骤5中构建基于弱监督学习的深度卷积网络模型G，该网络由9个网络层构成，其中包含4个卷积层、3个最大池化层和2个全连接层；其具体网络结构如下所示：
网络的目标函数是均方差函数L：
其中Di表式一个批次中第i个极不匀质区域训练样本集Xtrain和标签信息Ytrain的序列集合，|Di|表示Di中元素的个数。
6.根据权利要求1所述的基于深度卷积网络和弱监督学习的SAR图像语义分割方法，其特征在于，步骤7中利用训练好的深度卷积网络模型，对混合像素子空间的不同区域进行区域编码，步骤如下：
步骤7.1，将测试集中的每个样本输入训练好的深度卷积网络模型得到相应的输出为M维向量，表示该样本对于M个极不匀质区域的响应值；
步骤7.2，每个极不匀质区域的统计编码向量用该区域所有测试样本对于各极不匀质区域的响应值的均值来表示：
其中nr表示第r个极不匀质区域的测试样本的数量，pr,j表示第r个极不匀质区域的第j个测试样本的网络输出向量，
7.根据权利要求1所述的基于深度卷积网络和弱监督学习的SAR图像语义分割方法，其特征在于，步骤8具体是：利用层次聚类法，对每个极不匀质区域的统计编码向量进行聚类，得到SAR图像混合像素子空间的分割结果。
8.根据权利要求1所述的基于深度卷积网络和弱监督学习的SAR图像语义分割方法，其特征在于，步骤9具体是：采用视觉语义规则提取线目标，然后用基于几何结构窗的多项式隐模型的结构区域分割方法，对结构像素子空间进行分割，得到结构像素子空间的分割结果。
9.根据权利要求1所述的基于深度卷积网络和弱监督学习的SAR图像语义分割方法，其特征在于，步骤10具体是：采用基于自适应窗口选择的多项式隐模型的匀质区域分割方法，对匀质像素子空间进行分割，得到匀质像素子空间的分割结果。
CN201811231323.6A 2018-10-22 2018-10-22 一种基于深度卷积网络和弱监督学习的sar图像语义分割方法 Active CN109344837B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811231323.6A CN109344837B (zh) 2018-10-22 2018-10-22 一种基于深度卷积网络和弱监督学习的sar图像语义分割方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811231323.6A CN109344837B (zh) 2018-10-22 2018-10-22 一种基于深度卷积网络和弱监督学习的sar图像语义分割方法

Publications (2)

Publication Number Publication Date
CN109344837A true CN109344837A (zh) 2019-02-15
CN109344837B CN109344837B (zh) 2022-03-04

Family

ID=65311550

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811231323.6A Active CN109344837B (zh) 2018-10-22 2018-10-22 一种基于深度卷积网络和弱监督学习的sar图像语义分割方法

Country Status (1)

Country Link
CN (1) CN109344837B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113554327A (zh) * 2021-07-29 2021-10-26 上海千内云教育软件科技有限公司 一种基于深度学习的素描作品智能分档以及量化评分方法
CN115862014A (zh) * 2023-02-27 2023-03-28 中国地质大学（武汉） 矿区语义分割模型构建方法、装置及矿区语义分割方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105374033A (zh) * 2015-10-19 2016-03-02 西安电子科技大学 基于脊波反卷积网络和稀疏分类的sar图像分割方法
CN105389798A (zh) * 2015-10-19 2016-03-09 西安电子科技大学 基于反卷积网络与映射推理网络的sar图像分割方法
CN106611420A (zh) * 2016-12-30 2017-05-03 西安电子科技大学 基于反卷积网络和素描图方向约束的sar图像分割方法
CN106611422A (zh) * 2016-12-30 2017-05-03 西安电子科技大学 基于素描结构的随机梯度贝叶斯sar图像分割方法
CN106611421A (zh) * 2016-12-30 2017-05-03 西安电子科技大学 基于特征学习和素描线段约束的sar图像分割方法
CN106611423A (zh) * 2016-12-30 2017-05-03 西安电子科技大学 基于脊波滤波器和反卷积结构模型的sar图像分割方法
CN106683102A (zh) * 2016-12-30 2017-05-17 西安电子科技大学 基于脊波滤波器和卷积结构模型的sar图像分割方法
CN107292268A (zh) * 2017-06-23 2017-10-24 西安电子科技大学 快速脊波反卷积结构学习模型的sar图像语义分割方法
CN107341813A (zh) * 2017-06-15 2017-11-10 西安电子科技大学 基于结构学习和素描特性推理网络的sar图像分割方法
CN107403434A (zh) * 2017-07-28 2017-11-28 西安电子科技大学 基于两阶段聚类的sar图像语义分割方法
CN107464247A (zh) * 2017-08-16 2017-12-12 西安电子科技大学 一种基于g0分布的随机梯度变分贝叶斯sar图像分割方法

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105374033A (zh) * 2015-10-19 2016-03-02 西安电子科技大学 基于脊波反卷积网络和稀疏分类的sar图像分割方法
CN105389798A (zh) * 2015-10-19 2016-03-09 西安电子科技大学 基于反卷积网络与映射推理网络的sar图像分割方法
CN106611420A (zh) * 2016-12-30 2017-05-03 西安电子科技大学 基于反卷积网络和素描图方向约束的sar图像分割方法
CN106611422A (zh) * 2016-12-30 2017-05-03 西安电子科技大学 基于素描结构的随机梯度贝叶斯sar图像分割方法
CN106611421A (zh) * 2016-12-30 2017-05-03 西安电子科技大学 基于特征学习和素描线段约束的sar图像分割方法
CN106611423A (zh) * 2016-12-30 2017-05-03 西安电子科技大学 基于脊波滤波器和反卷积结构模型的sar图像分割方法
CN106683102A (zh) * 2016-12-30 2017-05-17 西安电子科技大学 基于脊波滤波器和卷积结构模型的sar图像分割方法
CN107341813A (zh) * 2017-06-15 2017-11-10 西安电子科技大学 基于结构学习和素描特性推理网络的sar图像分割方法
CN107292268A (zh) * 2017-06-23 2017-10-24 西安电子科技大学 快速脊波反卷积结构学习模型的sar图像语义分割方法
CN107403434A (zh) * 2017-07-28 2017-11-28 西安电子科技大学 基于两阶段聚类的sar图像语义分割方法
CN107464247A (zh) * 2017-08-16 2017-12-12 西安电子科技大学 一种基于g0分布的随机梯度变分贝叶斯sar图像分割方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
FANG LIU等: "SAR Image Segmentation Based on Hierarchical Visual Semantic and Adaptive Neighborhood Multinomial Latent Model", 《IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING》 *
JIE WU等: "Local Maximal Homogeneous Region Search for SAR speckle reduction with sketch-based geometrical kernel function", 《IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING》 *
YIPING DUAN等: "Adaptive Hierarchical Multinomial Latent Model With Hybrid Kernel Function for SAR Image Semantic Segmentation", 《 IEEE TRANSACTIONS ON GEOSCIENCE AND REMOTE SENSING》 *
YIPING DUAN等: "SAR Image segmentation based on convolutional-wavelet neural network and markov random field", 《PATTERN RECOGNITION》 *
于文倩: "基于自适应频域信息和深度学习的SAR图像分割", 《中国优秀硕士学位论文全文数据库 信息科技辑》 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113554327A (zh) * 2021-07-29 2021-10-26 上海千内云教育软件科技有限公司 一种基于深度学习的素描作品智能分档以及量化评分方法
CN115862014A (zh) * 2023-02-27 2023-03-28 中国地质大学（武汉） 矿区语义分割模型构建方法、装置及矿区语义分割方法
CN115862014B (zh) * 2023-02-27 2023-04-28 中国地质大学（武汉） 矿区语义分割模型构建方法、装置及矿区语义分割方法

Also Published As

Publication number Publication date
CN109344837B (zh) 2022-03-04

Similar Documents

Publication Publication Date Title
Blaschke et al. Image segmentation methods for object-based analysis and classification
CN106611420B (zh) 基于反卷积网络和素描图方向约束的sar图像分割方法
Wang et al. An automatic region-based image segmentation algorithm for remote sensing applications
Zhou et al. On detecting road regions in a single UAV image
CN103049763B (zh) 一种基于上下文约束的目标识别方法
CN109146889A (zh) 一种基于高分辨率遥感图像的农田边界提取方法
CN106651884B (zh) 基于素描结构的平均场变分贝叶斯sar图像分割方法
CN106683102B (zh) 基于脊波滤波器和卷积结构学习模型的sar图像分割方法
CN106611423B (zh) 基于脊波滤波器和反卷积结构模型的sar图像分割方法
CN106611422B (zh) 基于素描结构的随机梯度贝叶斯sar图像分割方法
CN109063754A (zh) 一种基于OpenStreetMap的遥感影像多特征联合分类方法
Su et al. Machine learning-assisted region merging for remote sensing image segmentation
CN113223042B (zh) 一种遥感影像深度学习样本智能采集方法及设备
Wu et al. ALS data based forest stand delineation with a coarse-to-fine segmentation approach
CN116977633A (zh) 地物要素分割模型训练方法、地物要素分割方法及装置
CN109344837A (zh) 一种基于深度卷积网络和弱监督学习的sar图像语义分割方法
Patel et al. Adaboosted extra trees classifier for object-based multispectral image classification of urban fringe area
Albert et al. Land use classification using conditional random fields for the verification of geospatial databases
Zhao et al. Improving object-oriented land use/cover classification from high resolution imagery by spectral similarity-based post-classification
Vukadinov et al. An algorithm for coastline extraction from satellite imagery
CN115205691B (zh) 一种水稻种植区域识别方法、装置、存储介质及设备
Ayazi et al. Comparison of traditional and machine learning base methods for ground point cloud labeling
Prasvita et al. Deep Learning Model for Automatic Detection of Oil Palm Trees in Indonesia with YOLO-V5
Jovanović et al. Object based image analysis in forestry change detection
Zhang et al. A Mapping Approach for Eucalyptus Plantations Canopy and Single-Tree Using High-Resolution Satellite Images in Liuzhou, China

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant