CN109409375B - 一种基于轮廓结构学习模型的sar图像语义分割方法 - Google Patents

Abstract

本发明公开了一种基于轮廓结构学习模型的SAR图像语义分割方法，实现步骤：(1)素描化SAR图像，得到素描图；(2)素描图区域化得到区域图，依据区域图划分SAR图像的像素子空间；(3)对于混合聚集结构地物像素子空间中的极不匀质区域，采用均匀采样方法得到各区域样本集；(4)建立地物轮廓结构学习模型；(5)通过地物轮廓结构学习模型得到样本结构特征，并分割混合聚集结构地物像素子空间；(6)匀质像素子空间和结构像素子空间分割；(7)合并三部分的分割结果，得到最终的SAR图像分割图。本发明的分割结果具有较好的区域一致性和分割准确性，可用于SAR图像的语义分割。本发明主要解决现有技术SAR图像分割不准确问题。

Description

一种基于轮廓结构学习模型的SAR图像语义分割方法

技术领域

本发明属于图像处理技术领域，特别涉及一种基于轮廓结构学习模型的SAR图像语义分割方法，可进一步用于SAR图像目标识别与检测。

背景技术

合成孔径雷达(Synthetic Aperture Radar,SAR)是遥感技术领域的重要方向。在能见度极低气象条件下，可以获取类似光学照相的高分辨率雷达图像。SAR具有全天时、全天候的优势，在军事、地质、测绘等领域有着广泛的应用。随着SAR数据的不断积累、SAR技术的不断发展，自动化解译SAR图像成为技术领域的一个研究方向。SAR图像分割是SAR图像理解与解译的关键，分割的准确性直接影响到后续SAR图像理解与解译效果。

SAR图像成像原理导致其具有多尺度、多方向、高分辨，同时具有乘性相干斑噪声的特点。对于图像中的混合聚集结构地物像素子空间，该空间一般包含多个极不匀质区域，极不匀质区域中的地物结构复杂、形式多样。在混合聚集结构地物像素子空间中提取样本集，通过机器学习模型得到样本的特征表示，然后利用每个极不匀质区域的样本集特征对这些区域进行聚类，从而达到混合聚集结构地物像素子空间的分割。

学习到的样本特征质量直接影响到后续SAR图像分割的准确性。已有的特征表示方法包括Gabor特征、灰度共生矩阵、SAR-SIFT特征等，这些特征仅仅包含了像素级的低层次信息，很容易受到相干斑噪声的影响。基于深度学习方法得到的特征表示需要SAR图像的标记样本，实际中很难得到标记信息。依据SAR图像的高层语义先验信息，构建一种基于轮廓结构学习模型的SAR图像语义分割方法，地物轮廓结构学习模型减少了相干斑噪声对特征学习的干扰，同时学习到的特征中包含图像的结构信息。

刘芳，段一平，李玲玲，焦李成等在其发表的论文“基于层次视觉语义和自适应邻域多项式隐模型的SAR图像分割”(IEEE Trancactions on Geoscience and RemoteSensing，2016,54(7):4287-4301.)中提出了一种基于层次视觉语义和自适应邻域多项式隐模型的SAR图像分割方法，该方法在SAR图像素描图的基础上，提出了SAR图像的层次视觉语义。该层次视觉语义把SAR图像划分为混合聚集结构地物像素子空间，结构像素子空间和匀质像素子空间。对于混合聚集结构地物像素子空间，提取灰度共生矩阵特征，并采用局部线性约束编码得到每个极不匀质区域的表示，然后用层次聚类方法进行分割。对结构区域，通过分析边模型和线模型，设计了视觉语义规则定位边界和线目标。另外，边界和线目标包含了强烈的方向信息，因此设计了基于几何结构窗的多项式隐模型进行分割。对匀质像素子空间，为了能找到恰当的邻域去表示中心像素，设计了基于自适应窗口的多项式隐模型进行分割。这三个像素子空间的分割结果被整合到一起得到最后的分割结果。该方法的不足之处是，在对混合聚集结构地物像素子空间中的多个极不匀质区域进行表示时，相比于学习的特征，人工设计的特征很难做到都能很好地描述每幅图像的每个极不匀质区域；因而，会影响由多个极不匀质区域组成的混合聚集结构地物像素子空间的分割结果。

发明内容

本发明的目的在于针对上述已有技术中的不足，提出一种基于轮廓结构学习模型的SAR图像语义分割方法，以提高SAR图像分割的准确性。

为实现上述目的，包括的技术方案如下：

一种基于轮廓结构学习模型的SAR图像语义分割方法，包括以下步骤：

步骤1，提取SAR图像的素描图；

步骤2，对步骤1得到的素描图进行区域化处理，得到SAR图像的区域图，区域图将SAR图像划分为混合聚集结构地物像素子空间、结构像素子空间和匀质像素子空间，混合聚集结构地物像素子空间中包含多个极不匀质区域；

步骤3，对混合聚集结构地物像素子空间中的每个极不匀质区域均匀采样，得到各个极不匀质区域的样本集；

步骤4，建立地物轮廓结构学习模型；

步骤5，利用地物轮廓结构学习模型对混合聚集结构地物像素子空间中的样本块进行轮廓结构特征学习，得到样本块的轮廓结构特征；

步骤6，利用轮廓结构特征对混合聚集结构地物像素子空间进行分割；对结构像素子空间进行分割；对匀质像素子空间进行分割；

步骤7，合并混合聚集结构地物像素子空间的分割结果、结构像素子空间的分割结果和匀质像素子空间的分割结果，得到合成孔径雷达SAR图像的最终分割结果。

所述步骤3中，采用39×39的窗口进行间隔为8的均匀采样。

所述步骤4的具体过程包括以下步骤：

步骤4.1，根据样本块X_i的素描图中的素描线信息，统计素描线段的方向信息和位置信息；

步骤4.2，根据素描线段的方向信息构造曲线波滤波器，曲线波滤波器的尺度和位移随机初始化；

步骤4.3，对曲线波滤波器进行无监督结构初始化学习，具体为：根据步骤4.2构造的曲线波滤波器分别与样本块X_i进行卷积，并计算能量保真目标函数；最小化能量保真目标函数，得到样本块X_i的滤波器集合C_i；

步骤4.4，运用步骤4.3中的曲线波滤波器初始化结构能量保真目标函数中的滤波器，提取样本块X_i中的第j个几何结构块X′_i,j，再建立几何结构块X′_i,j的结构能量保真目标函数和形状约束，再根据建立的结构能量保真目标函数和形状约束进行更新，得到新的滤波器集合。

所述步骤4.2中，所述曲线波滤波器为：

其中，

(x,y)是图像中像素点的位置，x代表水平方向坐标，y代表垂直方向的坐标，k₁表示水平方向的位移参数，k₂表示垂直方向的位移参数，r是曲线波滤波器中的尺度参数，D_r是以尺度参数r作为变量的曲线波滤波器的缩放算子，θ是曲线波滤波器中的方向参数，R_θ是以方向参数θ作为变量的曲线波滤波器的旋转算子，cos表示余弦操作，exp表示以自然常数e为底的指数操作，

为所求的曲线波滤波器。

所述步骤4.3中，所述能量保真目标函数为：

其中：*代表卷积操作，∑代表求和操作，||·||_F代表frobenius范数操作，X_i表示第i个样本块，i∈{1,2,...,N}；

代表对样本块X_i进行扩充；C_i,j为样本块X_i的第j个曲线波滤波器，j∈{1,2,...,M_i}，M_i表示输入的第i个样本块对应的曲线波滤波器的总数。

所述步骤4.4中，根据样本块X_i的素描线信息，提取样本块中的几何结构块，所述几何结构块对应于素描图中的素描线段，当素描图中有素描线段时，建立以素描线段为轴心，宽度为7，长度为素描线段长度的几何结构窗，在样本块X_i中取几何结构窗内的样本块作为几何结构块。

所述步骤4.4中，所述几何结构块X′_i,j的结构能量保真目标函数为：

其中，X_i的第j个几何结构窗内的样本块为X′_i,j，j∈{1,2,...,M_i}，M_i表示输入的第i个样本块对应的曲线波滤波器的总数，

代表对X′_i,j进行扩充。

所述步骤4.4中，所述几何结构块X′_i,j的形状约束为：

|a_r-a′_r|≤λ×[max(a_r)-min(a_r)]r∈{1,2,...,R}

|b_c-b′_c|≤λ×[max(b_c)-min(b′_c)]c∈{1,2,...,C}

其中，λ为平衡因子，几何结构窗中，素描线段位于轴心位置，共有R行像素点平行于素描线段，C列像素点垂直素描线段；平行于素描线段的行像素点均值设为a_r，其中r∈{1,2,...,R}；垂直于素描线段的列像素点均值设为b_c，其中c∈{1,2,...,C}；对于由C_i,j得出的几何结构特征图，同样定义了平行于素描线段的行像素点均值a′_r，其中r∈{1,2,...,R}；垂直于素描线段的列像素点均值b′_c，其中c∈{1,2,...,C}。

所述步骤5包括如下步骤：

步骤5.1，将步骤3得到的样本集的样本块依次送入步骤4建立的地物轮廓结构学习模型中；

步骤5.2，根据样本块X_i的素描图中的素描线信息，得到素描线段的方向和位置，对每条素描线段定义一个曲线波滤波器，素描线段的个数共有m条，曲线波滤波器的方向参数由素描线段的方向决定，曲线波滤波器的位移参数和尺度参数随机初始化；

步骤5.3，将样本块X_i与步骤5.2中的曲线波滤波器分别进行卷积操作，得到对应特征图；

步骤5.4，利用步骤4.3中的能量保真目标函数，计算样本块X_i的能量保真项；

步骤5.5，最小化能量保真目标函数，得到m个曲线波滤波器{k₁,k₂,...,k_m}；

步骤5.6，根据样本块X_i和素描线段信息得到几何结构块集合{X′_i,1,X′_i,2,...,X′_i,m}；

步骤5.7，对于几何结构块X′_i,j和步骤5.5得出的曲线波滤波器k_j，利用步骤4.4中的结构能量保真目标函数，计算几何结构块的结构能量保真项；

最小化结构能量保真目标函数，迭代优化曲线波滤波器k_j，使得出的几何结构特征图y_j满足步骤(4.4)中的形状约束；

步骤5.8，对于几何结构块集合{X′_i,1,X′_i,2,...,X′_i,m}中每个几何结构块，重复步骤5.7，得到曲线波滤波器集合{k₁,k₂,...,k_m}；

步骤5.9，将曲线波滤波器集合{k₁,k₂,...,k_m}作为样本块X_i的轮廓结构特征。

所述步骤5.5和步骤5.7中，采用L-BFGS优化算法，最小化结构能量保真目标函数。

本发明与现有技术相比具有如下优点：

由于本发明由SAR图像的区域图将SAR图像划分为混合聚集结构地物像素子空间、匀质像素子空间和结构像素子空间，对混合聚集结构地物像素子空间的多个极不匀质区域进行轮廓结构特征学习和分割，克服了现有技术对于SAR图像的分割停留在像素级别的缺陷，本发明能够在语义层次上分割SAR图像，提高SAR图像分割的区域一致性。由于本发明使用地物轮廓结构学习模型，针对SAR图像中能描述地物形状的几何结构块进行局部约束建模，使结构特征学习更为准确，克服了现有技术中特征学习目标函数对图像整体建模所导致的结构特征模糊，甚至不准确的问题，进而提高SAR图像分割的准确性。

附图说明

图1是本发明基于轮廓结构学习模型的SAR图像语义分割方法的流程图；

图2是本发明地物轮廓结构学习模型示意图；

图3(a)是本发明SAR图像中的Pyramid图；

图3(b)是图3(a)的素描图；

图3(c)是本发明通过区域化素描图3(b)得到Pyramid的区域图；

图3(d)是本发明根据图3(c)的区域划分，得到Pyramid图的混合聚集结构地物像素子空间；

图4(a)是基于层次视觉语义和自适应邻域多项式隐模型的SAR图像分割方法，得到的混合聚集结构地物像素子空间的分割结果；

图4(b)是地物轮廓结构学习模型得到的混合聚集结构地物像素子空间的分割结果；

图4(c)是基于层次视觉语义和自适应邻域多项式隐模型的SAR图像分割方法，得到的最终分割结果图；

图4(d)是本发明对Pyramid图像的最终分割结果图。

具体实施方式

下面结合附图和实施例来对本发明作进一步的说明。

参照图1，本发明的基于轮廓结构学习模型的SAR图像语义分割方法包括以下步骤：

步骤1，利用SAR图像的素描模型，提取素描图。

输入合成孔径雷达SAR图像，利用合成孔径雷达SAR图像的素描模型，得到SAR图像的素描图，其具体过程如下：

步骤1.1，在[100，150]范围内，任意选取一个数，作为模板的总数；

步骤1.2，构造具有不同方向和尺度的由像素点组成的边、线的一个模板，利用模板的方向和尺度信息构造各向异性高斯函数，通过该高斯函数，计算模板中每个像素点的加权系数，统计模板中所有像素点的加权系数，其中，尺度个数取值为3～5，方向个数取值为18；

步骤1.3，按照下式，计算与模板区域坐标相对应的合成孔径雷达SAR图像中像素点的均值：

其中，μ表示与模板区域坐标相对应的合成孔径雷达SAR图像中所有像素点的均值，∑表示求和操作，g表示模板第Ω个区域中任意一个像素点对应的坐标，∈表示属于符号，w_g表示模板第Ω个区域中像素点在坐标g处的权重系数，w_g的取值范围为w_g∈[0,1]，A_g表示与模板第Ω个区域中像素点在坐标g处对应的合成孔径雷达SAR图像中的像素点的值；

步骤1.4，按照下式，计算与模板区域坐标相对应的合成孔径雷达SAR图像中像素点的方差值：

其中，v表示与模板区域坐标相对应的合成孔径雷达SAR图像中所有像素点的方差值；

步骤1.5，按照下式，计算合成孔径雷达SAR图像中每个像素点针对比值算子的响应值：

其中，R表示合成孔径雷达SAR图像中每个像素点针对比值算子的响应值，min{·}表示最小值操作，a和b分别表示模板中的两个不同的区域，μ_a表示模板区域a中所有像素点的均值，μ_b表示模板区域b中所有像素点的均值；

步骤1.6，按照下式，计算合成孔径雷达SAR图像中每个像素针对相关性算子的响应值：

其中，C表示合成孔径雷达SAR图像中每个像素针对相关性算子的响应值，a和b分别表示模板中两个不同区域，v_a表示模板区域a中所有像素点的方差值，v_b表示模板区域b中所有像素点的方差值，μ_a表示模板区域a中所有像素点的均值，μ_b表示模板区域b中所有像素点的均值；

步骤1.7，按照下式，计算合成孔径雷达SAR图像中每个像素点针对各个模板的响应值：

其中，F表示合成孔径雷达SAR图像中每个像素点针对各个模板的响应值，R和C分别表示合成孔径雷达SAR图像中像素点针对比值算子和合成孔径雷达SAR图像中像素点针对相关性算子的响应值；

步骤1.8，判断所构造的模板是否等于所选取模板的总数，若不是，则返回步骤1.2，否则，执行步骤1.9；

步骤1.9，从各个模板中选择具有最大响应值的模板，作为合成孔径雷达SAR图像的模板，并将该模板的最大响应值作为合成孔径雷达SAR图像中像素点的强度，将该模板的方向作为合成孔径雷达SAR图像中像素点的方向，获得合成孔径雷达SAR图像的边线响应图和梯度图；

步骤1.10，按照下式，计算合成孔径雷达SAR图像强度图的强度值，得到强度图：

其中，I表示合成孔径雷达SAR图像强度图的强度值，r表示合成孔径雷达SAR图像边线响应图中的值，t表示合成孔径雷达SAR图像梯度图中的值；

步骤1.11，采用非极大值抑制方法，对强度图进行检测，得到建议草图；

步骤1.12，选取建议草图中具有最大强度的像素点，将建议草图中与该最大强度的像素点连通的像素点连接形成建议线段，得到建议素描图；

步骤1.13，按照下式，计算建议素描图中素描线的编码长度增益：

其中，CLG表示建议素描图中素描线的编码长度增益，∑表示求和操作,J表示当前素描线邻域中像素点的个数，A_j表示当前素描线邻域中第j个像素点的观测值，A_j,0表示在当前素描线不能表示结构信息的情况下，该素描线邻域中第j个像素点的估计值，ln(·)表示以e为底的对数操作，A_j,1表示在当前素描线能够表示结构信息的情况下，该素描线邻域中第j个像素点的估计值；

步骤1.14，在[5，50]范围内，任意选取一个数，作为阈值T；

步骤1.15，选出所有建议素描线中CLG>T的建议素描线，将其组合成合成孔径雷达SAR图像的素描图；

步骤2，SAR图像像素子空间划分。

步骤2.1，按照合成孔径雷达SAR图像的素描图中素描线段的聚集度，将素描线划分为表示聚集地物的聚集素描线和表示边界、线目标、孤立目标的边界素描线、线目标素描线和孤立目标素描线；

步骤2.2，根据素描线段聚集度的直方图统计，选取聚集度等于最优聚集度的素描线段作为种子线段集{E_k,k＝1,2,...,m}，其中，E_k表示种子线段集中的任一条素描线段，k表示种子线段集中任一条素描线段的标号，m表示种子线段的总条数，{·}表示集合操作；

步骤2.3，以未被选取添加进种子线段集和的线段作为基点，以此基点递归求解线段集合；

步骤2.4，构造一个半径为最优聚集度区间上界的圆形基元，用该圆形基元对线段集合中的线段进行膨胀，对膨胀后的线段集合由外向内进行腐蚀，在素描图上得到以素描点为单位的聚集区域；

步骤2.5，对表示边界、线目标以及孤立目标的素描线，以每个素描线的每个素描点为中心构造大小为5×5的几何结构窗，得到结构区域；

步骤2.6，将素描图中除去聚集区域和结构区域以外的部分作为不可素描区域；

步骤2.7，将素描图中的聚集区域、结构区域和不可素描区域合并，得到包括聚集区域、结构区域和无素描线区域的合成孔径雷达SAR图像的区域图；

步骤2.8，利用区域图划分合成孔径雷达SAR图像，像素空间上的合成孔径雷达SAR图像划分为混合聚集结构地物像素子空间、结构像素子空间和匀质像素子空间；混合聚集结构地物像素子空间中包含多个极不匀质区域。

步骤3，对于混合聚集结构地物像素子空间中的每个极不匀质区域，采用39×39的窗口进行间隔为8的均匀采样，得到各个极不匀质区域的样本集；

步骤4，建立地物轮廓结构学习模型：

步骤4.1，对于样本块X_i，根据X_i的素描图中的素描线信息，统计素描线段的方向信息和位置信息；

步骤4.2，构造曲线波滤波器，曲线波滤波器的方向由素描线段的方向决定，滤波器的尺度和位移随机初始化，按照下式，构造曲线波滤波器：

其中，

(x,y)是图像中像素点的位置，x代表水平方向坐标，y代表垂直方向的坐标，k₁表示水平方向的位移参数，k₂表示垂直方向的位移参数，r是曲线波滤波器中的尺度参数，D_r是以尺度参数r作为变量的曲线波滤波器的缩放算子，θ是曲线波滤波器中的方向参数，R_θ是以方向参数θ作为变量的曲线波滤波器的旋转算子，cos表示余弦操作，exp表示以自然常数e为底的指数操作，

即为所求的曲线波滤波器；

步骤4.3，对曲线波滤波器无监督结构初始化学习，根据步骤4.2构造的滤波器分别与图像块即样本块X_i进行卷积，并计算能量保真目标函数：

其中：*代表卷积操作，∑代表求和操作，||·||_F代表frobenius范数操作，X_i表示第i个样本块，i∈{1,2,...,N}。

代表对样本块X_i进行扩充。C_i,j为样本块X_i的第j个曲线波滤波器，j∈{1,2,...,M_i}，M_i表示输入的第i个样本块对应的曲线波滤波器的总数。

最小化能量保真目标函数，得到图像X_i的滤波器集合C_i；

步骤4.4，对学习到的曲线波滤波器进行无监督结构约束更新，根据样本块X_i的素描线信息，提取样本块中的几何结构块。几何结构块对应于素描图中的素描线段，当素描图中有素描线段时，建立以素描线段为轴心，宽度为7，长度为素描线段长度的几何结构窗，在X_i中取几何结构窗内的样本块作为几何结构块。

对于几何结构块定义结构能量保真目标函数和形状约束，结构能量保真目标函数为：

其中X_i的第j个几何结构窗内的样本块为X′_i,j，j∈{1,2,...,M_i}，M_i表示输入的第i个样本块对应的曲线波滤波器的总数，

代表对X′_i,j进行扩充。

C_i,j除了满足结构能量保真目标函数，还满足形状约束：

|a_r-a′_r|≤λ×[max(a_r)-min(a_r)]r∈{1,2,...,R}

|b_c-b′_c|≤λ×[max(b_c)-min(b′_c)]c∈{1,2,...,C}

λ为平衡因子，几何结构窗中，素描线段位于轴心位置，共有R行像素点平行于素描线段，C列像素点垂直素描线段。平行于素描线段的行像素点均值设为a_r，其中r∈{1,2,...,R}。垂直于素描线段的列像素点均值设为b_c，其中c∈{1,2,...,C}。对于由C_i,j得出的几何结构特征图，同样定义了平行于素描线段的行像素点均值a′_r，其中r∈{1,2,...,R}。垂直于素描线段的列像素点均值b′_c，其中c∈{1,2,...,C}。

步骤5，无监督结构特征学习：

步骤5.1，将步骤3得到的样本块依次送入地物轮廓结构学习模型中；

步骤5.2，对于样本块X_i，根据X_i的素描图中的素描线信息，得到素描线段的方向和位置，素描线段的个数共有m条。对每条素描线段都定义一个曲线波滤波器，滤波器的方向参数由素描线段的方向决定，滤波器的位移和尺度参数随机初始化；

步骤5.3，将样本块X_i与步骤5.2中的曲线波滤波器分别进行卷积操作，得到对应特征图；

步骤5.4，利用步骤4.3中的能量保真目标函数，计算样本块X_i的能量保真项；

步骤5.5)采用L-BFGS优化算法，最小化能量保真目标函数，得到m个曲线波滤波器{k₁,k₂,...,k_m}；

步骤5.6，样本块X_i和素描线段信息得到几何结构块{X′_i,1,X′_i,2,...,X′_i,m}；

步骤5.7，对于几何结构块X′_i,j和步骤(5.5)得出的曲线波滤波器k_j，利用步骤4.4中的结构能量保真目标函数，计算几何结构块的结构能量保真项；采用L-BFGS优化算法，最小化结构能量保真目标函数，迭代优化曲线波滤波器k_j，使得出的几何结构特征图y_j满足步骤4.4中的形状约束；

步骤5.8，对于所有的几何结构块{X′_i,1,X′_i,2,...,X′_i,m}，重复步骤5.7，得到m个曲线波滤波器形成的集合{k₁,k₂,...,k_m}；

步骤5.9将学习到的曲线波滤波器{k₁,k₂,...,k_m}作为样本块X_i的轮廓结构特征；

步骤6，混合聚集结构地物像素子空间分割：

步骤6.1，对步骤3中得到的样本块，运用步骤5得到轮廓结构特征，拼接所有极不匀质区域的轮廓结构特征，将拼接后的特征集合作为码本；

步骤6.2，极不匀质区域的所有轮廓结构特征，分别与码本中的每个特征进行内积操作，得到该区域在码本上的投影矩阵；

步骤6.3，对每个极不匀质区域的投影矩阵进行最大值操作，得到该极不匀质区域的结构特征向量；

步骤6.4，采用层次聚类算法，对所有极不匀质区域的结构特征向量进行聚类，输出混合聚集结构像素子空间的分割结果，其中层次聚类的阈值选为0.1；

步骤7，结构像素子空间分割：

采用视觉语义规则提取线目标，然后用基于几何结构窗的多项式隐模型的结构区域分割方法，对结构像素子空间进行分割，得到结构像素子空间的分割结果。

步骤8，匀质像素子空间分割：

采用基于自适应窗口选择的多项式隐模型的匀质区域分割方法，对匀质像素子空间进行分割，得到匀质像素子空间的分割结果。

步骤9，合并混合聚集结构地物像素子空间、匀质像素子空间和结构像素子空间的分割结果，得到合成孔径雷达SAR图像的最终分割结果。

本发明的效果通过以下仿真结果进行说明。

1、仿真条件：

本发明仿真的硬件条件为：智能感知与图像理解实验室图形工作站；本发明仿真所使用的合成孔径雷达SAR图像为：X波段分辨率为1米的Pyramid图。

2、仿真内容：

本发明的仿真内容是对SAR图像中的Pyramid图进行分割。

本发明中的地物轮廓结构学习模型示意图，如图2，Pyramid图为图3(a)。

本发明通过SAR图像素描化步骤，得到图3(a)的素描图，如图3(b)。

本发明通过区域化素描图3(b)，得到Pyramid的区域图，如图3(c)。

本发明根据图3(c)的区域划分，得到Pyramid图的混合聚集结构地物像素子空间，如图3(d)。

图4(a)-图4(d)是分割结果图，分割结果图中灰度等级从0到255，白色为255，黑色为0，在白色和黑色之间还有以1为间隔的许多灰度等级。采用本发明地物轮廓结构学习模型的SAR图像语义分割方法，对图3(d)所示的混合聚集结构地物像素子空间进行分割，得到图4(b)所示的分割结果，图4(b)中区域包含的灰度等级有40、85、105、150、226。灰度等级为226的区域表示未处理的区域，其余相同颜色的区域表示相同地物组成的区域，不同颜色的区域代表不同地物组成的区域。

采用本发明的分割结果合并步骤，把混合聚集结构地物像素子空间的分割结果图4(b)，和匀质像素子空间的分割结果、结构像素子空间的分割结果进行合并，得到最终的分割结果，如图4(d)。图4(d)中区域包含的灰度等级有40、54、85、105、129、150、176、201、226等。

3、仿真效果分析：

图4(a)是基于层次视觉语义和自适应邻域多项式隐模型的SAR图像分割方法，得到的混合聚集结构地物像素子空间的分割结果，图4(a)中区域包含的灰度等级有40、105、226；图4(b)是地物轮廓结构学习模型得到的混合聚集结构像素子空间的分割结果。图4(c)是基于层次视觉语义和自适应邻域多项式隐模型的SAR图像分割方法，得到的最终分割结果图，图4(c)中区域包含的灰度等级有40、54、105、129、176、201、226等；图4(d)是本发明对Pyramid图像的最终分割结果图。通过对比可以得出结论，在层次聚类算法取相同的阈值的情况下，本发明方法对于混合聚集结构地物像素子空间的分割结果更合理。使用本发明方法对于合成孔径雷达SAR图像进行分割，保证了区域分割的一致性，同时提高了分割的准确性。

Claims (9)

1.一种基于轮廓结构学习模型的SAR图像语义分割方法，其特征在于，包括以下步骤：

步骤1，提取SAR图像的素描图；

步骤2，对步骤1得到的素描图进行区域化处理，得到SAR图像的区域图，区域图将SAR图像划分为混合聚集结构地物像素子空间、结构像素子空间和匀质像素子空间，混合聚集结构地物像素子空间中包含多个极不匀质区域；

步骤3，对混合聚集结构地物像素子空间中的每个极不匀质区域均匀采样，得到各个极不匀质区域的样本集；

步骤4，建立地物轮廓结构学习模型；

步骤5，利用地物轮廓结构学习模型对混合聚集结构地物像素子空间中的样本块进行轮廓结构特征学习，得到样本块的轮廓结构特征；

步骤6，利用轮廓结构特征对混合聚集结构地物像素子空间进行分割；对结构像素子空间进行分割；对匀质像素子空间进行分割；

步骤7，合并混合聚集结构地物像素子空间的分割结果、结构像素子空间的分割结果和匀质像素子空间的分割结果，得到合成孔径雷达SAR图像的最终分割结果；

所述步骤4的具体过程包括以下步骤：

步骤4.1，根据样本块X_i的素描图中的素描线信息，统计素描线段的方向信息和位置信息；

步骤4.2，根据素描线段的方向信息构造曲线波滤波器，曲线波滤波器的尺度和位移随机初始化；

步骤4.3，对曲线波滤波器进行无监督结构初始化学习，具体为：根据步骤4.2构造的曲线波滤波器分别与样本块X_i进行卷积，并计算能量保真目标函数；最小化能量保真目标函数，得到样本块X_i的曲线波滤波器集合C_i；

步骤4.4，运用步骤4.3中的曲线波滤波器初始化结构能量保真目标函数中的滤波器，提取样本块X_i中的第j个几何结构块X′_i,j，再建立几何结构块X′_i,j的结构能量保真目标函数和形状约束，再根据建立的结构能量保真目标函数和形状约束进行更新，得到新的滤波器集合。

2.根据权利要求1所述的一种基于轮廓结构学习模型的SAR图像语义分割方法，其特征在于，所述步骤3中，采用39×39的窗口进行间隔为8的均匀采样。

3.根据权利要求1所述的一种基于轮廓结构学习模型的SAR图像语义分割方法，其特征在于，所述步骤4.2中，所述曲线波滤波器为：

其中，

(x,y)是图像中像素点的位置，x代表水平方向坐标，y代表垂直方向的坐标，k₁表示水平方向的位移参数，k₂表示垂直方向的位移参数，r是曲线波滤波器中的尺度参数，D_r是以尺度参数r作为变量的曲线波滤波器的缩放算子，θ是曲线波滤波器中的方向参数，R_θ是以方向参数θ作为变量的曲线波滤波器的旋转算子，cos表示余弦操作，exp表示以自然常数e为底的指数操作，

为所求的曲线波滤波器。

4.根据权利要求1所述的一种基于轮廓结构学习模型的SAR图像语义分割方法，其特征在于，所述步骤4.3中，所述能量保真目标函数为：

其中：*代表卷积操作，∑代表求和操作，||·||_F代表frobenius范数操作，X_i表示第i个图像块，i∈{1,2,...,N}；

代表对图像块X_i进行扩充；C_i,j为图像块X_i的第j个曲线波滤波器，j∈{1,2,...,M_i}，M_i表示输入的第i个图像块对应的曲线波滤波器的总数。

5.根据权利要求1所述的一种基于轮廓结构学习模型的SAR图像语义分割方法，其特征在于，所述步骤4.4中，根据样本块X_i的素描线信息，提取样本块中的几何结构块，所述几何结构块对应于素描图中的素描线段，当素描图中有素描线段时，建立以素描线段为轴心，宽度为7，长度为素描线段长度的几何结构窗，在样本块X_i中取几何结构窗内的图像块作为几何结构块。

6.根据权利要求1所述的一种基于轮廓结构学习模型的SAR图像语义分割方法，其特征在于，所述步骤4.4中，所述几何结构块X′_i,j的结构能量保真目标函数为：

其中，X_i的第j个几何结构窗内的样本块为X′_i,j，j∈{1,2,...,M_i}，M_i表示输入的第i个图像块对应的曲线波滤波器的总数，

代表对X′_i,j进行扩充。

7.根据权利要求1所述的一种基于轮廓结构学习模型的SAR图像语义分割方法，其特征在于，所述步骤4.4中，所述几何结构块X′_i,j的形状约束为：

|a_r-a′_r|≤λ×[max(a_r)-min(a_r)]r∈{1,2,...,R}

|b_c-b′_c|≤λ×[max(b_c)-min(b_c′)]c∈{1,2,...,C}

其中，λ为平衡因子，几何结构窗中，素描线段位于轴心位置，共有R行像素点平行于素描线段，C列像素点垂直素描线段；平行于素描线段的行像素点均值设为a_r，其中r∈{1,2,...,R}；垂直于素描线段的列像素点均值设为b_c，其中c∈{1,2,...,C}；对于由C_i,j得出的几何结构特征图，同样定义了平行于素描线段的行像素点均值a′_r，其中r∈{1,2,...,R}；垂直于素描线段的列像素点均值b′_c，其中c∈{1,2,...,C}。

8.根据权利要求1所述的一种基于轮廓结构学习模型的SAR图像语义分割方法，其特征在于，所述步骤5包括如下步骤：

步骤5.1，将步骤3得到的样本集的样本块依次送入步骤4建立的地物轮廓结构学习模型中；

步骤5.2，根据样本块X_i的素描图中的素描线信息，得到素描线段的方向和位置，对每条素描线段定义一个曲线波滤波器，素描线段的个数共有m条，曲线波滤波器的方向参数由素描线段的方向决定，曲线波滤波器的位移参数和尺度参数随机初始化；

步骤5.3，将样本块X_i与步骤5.2中的曲线波滤波器分别进行卷积操作，得到对应特征图；

步骤5.4，利用步骤4.3中的能量保真目标函数，计算样本块X_i的能量保真项；

步骤5.5，最小化能量保真目标函数，得到m个曲线波滤波器{k₁,k₂,...,k_m}；

步骤5.6，根据图像块X_i和素描线段信息得到几何结构块集合{X′_i,1,X′_i,2,...,X′_i,m}；

步骤5.7，对于几何结构块X′_i,j和步骤5.5得出的曲线波滤波器k_j，利用步骤4.4中的结构能量保真目标函数，计算几何结构块的结构能量保真项；

最小化结构能量保真目标函数，迭代优化曲线波滤波器k_j，使得出的几何结构特征图y_j满足步骤4.4中的形状约束；

步骤5.8，对于几何结构块集合{X′_i,1,X′_i,2,...,X′_i,m}中每个几何结构块，重复步骤5.7，得到曲线波滤波器集合{k₁,k₂,...,k_m}；

步骤5.9，将曲线波滤波器集合{k₁,k₂,...,k_m}作为样本块X_i的轮廓结构特征。

9.根据权利要求8所述的一种基于轮廓结构学习模型的SAR图像语义分割方法，其特征在于，所述步骤5.5和步骤5.7中，采用L-BFGS优化算法，最小化结构能量保真目标函数。

Images