CN107403434B - 基于两阶段聚类的sar图像语义分割方法 - Google Patents

Abstract

本发明公开了一种基于两阶段聚类的SAR图像语义分割方法，主要解决现有技术合成孔径雷达SAR图像分割不准确的问题。其实现步骤如下：1)根据SAR图像的素描模型提取素描图；2)将素描图区域化得到区域图，根据区域图将SAR图像划分为混合聚集结构地物像素子空间、结构像素子空间和匀质像素子空间；3)设计混合聚集结构地物像素子空间中极不匀质区域的方向统计向量；4)依据方向统计向量对混合聚集结构地物像素子空间进行分割；5)对结构像素子空间和匀质像素子空间依次进行相应的分割；6)对所述三个子空间的分割结果进行合并，得到SAR图像的最终分割结果。本发明能获得SAR图像的良好分割效果，可用于目标分类和图像解译。

Description

基于两阶段聚类的SAR图像语义分割方法

技术领域

本发明属于图像处理技术领域，特别涉及一种合成孔径雷达SAR图像分割方法，可应用于目标检测，目标分类，目标定位，目标识别和图像解译。

背景技术

合成孔径雷达SAR特别适合大面积的地标成像，其能够穿透云雾、雨雪，具有全天候工作能力。随着SAR图像技术的快速发展，越来越多的SAR图像数据被获得，通过计算机来自动解译SAR图像成为了一个急需解决的问题。而SAR图像分割是SAR图像解译的前提，分割的结果直接影响SAR图像处理的结果。

在SAR成像过程中，目标的位置在方向上按雷达飞行的时序记录成像，而在距离向是按目标反射信息先后来记录成像及斜距成像，因而它有不同于一般光学图像的透视收缩、定点位移、阴影和叠掩这些几何特征。由于这些特征的存在，使得在光学图像中通过几何形状、灰度、纹理和颜色等特征人眼可辨识和解释的目标在高分辨SAR图像中却变得非常困难，很多光学图像的传统方法都不能直接用于SAR图像的分割。SAR图像的传统分割方法需要靠人工经验进行特征提取，其花费时间短但是提取的特征的好坏对于SAR图像的分割结果有着关键作用。贝叶斯机器学习作为无监督特征学习的关键技术，可以用于SAR图像分割任务。然而其特征学习过程需要花费大量时间。

西安电子科技大学在其申请的专利“基于反卷积网络与映射推理网络的SAR图像分割方法”(专利申请号CN201510679181.X，公开号CN105389798A)中公开了一种反卷积网络与映射推理网络的SAR图像分割方法。该方法根据合成孔径雷达SAR图像的素描图得到划分的区域图，将区域图映射到原图得到聚集、匀质和结构区域。分别对聚集和匀质区域中各个互不连通的区域进行无监督训练，得到表征各个互不连通区域结构特征的滤波器集合。分别对两类区域中的互不连通区域间的结构特征进行比较推理，得到聚集和匀质区域的分割结果。对结构区域在素描线段指导下使用超像素合并进行分割。合并各区域分割结果完成SAR图像分割。该方法存在的不足之处是，在对聚集区域中互不连通区域间的结构特征进行比较推理的时候，该方法采用的是自组织特征映射SOM网络的推理方法，这种推理方法需要人为确定聚类数，且聚类时间较久，导致聚类准确性降低，影响了SAR图像分割的准确性。

刘芳，段一平，李玲玲，焦李成等在其发表的论文“基于层次视觉语义和自适应邻域多项式隐模型的SAR图像分割”(IEEE Trancactions on Geoscience and RemoteSensing，2016,54(7):4287-4301.)中提出了一种基于层次视觉语义和自适应邻域多项式隐模型的SAR图像分割方法，该方法根据合成孔径雷达SAR图像的素描模型提取出SAR图像的素描图，采用素描线区域化方法，得到SAR图像的区域图，并将区域图映射到SAR图像中，最终将合成孔径SAR图像划分为聚集区域、匀质区域和结构区域。基于该划分，对不同特性的区域采用了不同的分割方法。对于聚集区域，提取了灰度共生矩阵特征，并采用局部线性约束编码的方法得到每个聚集区域的表示，进而采用层次聚类的方法进行分割。对结构区域，设计了视觉语义规则定位边界和线目标并设计了基于几何结构窗的多项式隐模型进行分割。对匀质区域，设计了基于自适应窗口的多项式隐模型进行分割。最后整合这三个区域的分割结果得到最后的分割结果。该方法的不足之处是，提取SAR图像的特征时用到SAR图像的像素级特征，而没有学习SAR图像中由于像素之间的相关性而特有的结构特征，导致分割结果不够准确。

发明内容

本发明的目的在于针对上述已有技术中的不足，提出一种基于两阶段聚类的SAR图像语义分割方法，以将人工设计特征与学习的特征相结合，缩短聚类时间，提高分割的准确性。

为实现上述目的，包括的技术方案如下：

(1)对合成孔径雷达SAR图像进行素描化，即输入合成孔径雷达SAR图像，建立合成孔径雷达SAR图像的素描模型，从素描模型中提取合成孔径雷达SAR图像的素描图；

(2)根据SAR图像的素描图结合层次视觉语义模型，将包括聚集区域、无素描线区域和结构区域的区域图，映射到输入的合成孔径雷达SAR图像上，得到合成孔径雷达SAR图像中的混合聚集结构地物像素子空间Ⅰ、匀质区域像素子空间Ⅱ和结构像素子空间Ⅲ；

(3)对混合聚集结构地物像素子空间Ⅰ中在空间上不连通的极不匀质区域，将其对应到语义空间中的素描图部分，统计这些素描图部分中素描线段的方向信息，将方向划分为18个区间，得到每个方向区间内的素描线段个数，并对其进行归一化处理，得到每个极不匀质区域的方向统计向量B；

(4)依据方向统计向量对混合聚集结构地物像素子空间Ⅰ进行分割：

(4a)利用近邻传播AP聚类算法，在混合聚集结构地物像素子空间中，对所有在空间上不连通的极不匀质区域的方向统计向量进行聚类，得到混合聚集结构地物像素子空间Ⅰ的第一阶段聚类结果；

(4b)判断第一阶段聚类结果中是否有相同的类标:

如果没有相同的类标，则混合聚集结构地物像素子空间Ⅰ分割完成；

如果有相同的类标，则对具有相同类标的极不匀质区域，再采用基于素描结构的平均场变分贝叶斯推理网络进行特征学习，用局部约束的线性编码处理学到的特征得到每一个区域的一个表示，然后用层次聚类法对得到的表示进行第二阶段的聚类，完成对混合聚集结构地物像素子空间Ⅰ的分割；

(5)对结构像素子空间Ⅲ进行分割：

采用视觉语义规则提取线目标，并用基于几何结构窗的多项式隐模型的结构区域分割方法对结构像素子空间进行分割，得到结构像素子空间的分割结果；

(6)对匀质区域像素子空间Ⅱ进行分割：

采用基于自适应窗口选择的多项式隐模型的匀质区域分割方法对匀质区域像素子空间进行分割，得到匀质区域像素子空间的分割结果；

(7)将SAR图像混合聚集结构地物像素子空间Ⅰ、匀质结构像素子空间Ⅱ和结构像素子空间Ⅲ的分割结果进行融合，得到最终的SAR图像分割结果。

本发明与现有技术相比具有以下优点：

第一，本发明由于为混合聚集结构地物像素子空间Ⅰ中每个互不连通的极不匀质区域设计了方向统计向量，该方向统计向量不仅有效的利用了素描线段的方向信息，而且还利用了图像统计特征。

实验表明，本发明设计的方向统计向量是有效的，可以有效的用于SAR图像混合聚集结构地物像素子空间Ⅰ的分割。

第二，本发明由于通过两阶段聚类方法对混合聚集结构地物像素子空间Ⅰ进行分割，克服了现有技术在提取SAR图像的特征时仅仅只用到SAR图像的像素级特征，而没有用到SAR图像中的结构特征的不足，使得本发明可以求取SAR图像的特征向量并自动提取SAR图像的结构特征，获得更好的区域一致性。

第三，由于本发明通过对方向统计向量和结构特征向量进行聚类，克服了现有技术基于反卷积网络与映射推理网络中的人为确定聚类数目且聚类时间久的缺点，使得本发明不仅能更精确地得到SAR图像的分割结果，而且缩短了SAR图像的分割时间，提高了分割的效率。

附图说明

图1是本发明的实现流程图；

图2是本发明中提取的素描图，区域图和混合聚集结构地物像素子空间示意图；

图3是用本发明和现有方法对混合聚集结构地物像素子空间的分割结果图。

具体实施方式

下面结合附图对本发明做进一步的描述。

参照图1，本发明的具体步骤如下。

步骤1，对SAR图像素描化。

本步骤的具体实现参见Jie-Wu等人于2014年发表在IEEE Transactions onGeoscience and Remote Sensing杂志上的文章《Local maximal homogenous regionsearch for SAR speckle reduction with sketch-based geometrical kernelfunction》，其包括：

1a)输入合成孔径雷达SAR图像，建立合成孔径雷达SAR图像的素描模型:

1a1)在[100,150]范围内，任意选取一个数，作为模板的总数；

1a2)构造具有不同方向和尺度的由像素点组成的边、线的一个模板，利用模板的方向和尺度信息构造各向异性高斯函数，通过该高斯函数，计算模板中每个像素点的加权系数，统计模板中所有像素点的加权系数，其中，尺度个数取值为3～5，方向个数取值为18；

1a3)按照下式，计算与模板区域坐标相对应的合成孔径雷达SAR图像中像素点的均值：

其中，μ表示与模板区域坐标相对应的合成孔径雷达SAR图像中所有像素点的均值，∑表示求和操作，g表示模板第Ω个区域中任意一个像素点对应的坐标，∈表示属于符号，w_g表示模板第Ω个区域中像素点在坐标g处的权重系数，w_g的取值范围为w_g∈[0,1]，A_g表示与模板第Ω个区域中像素点在坐标g处对应的合成孔径雷达SAR图像中的像素点的值；

1a4)按照下式，计算与模板区域坐标相对应的合成孔径雷达SAR图像中像素点的方差值：

其中，ν表示与模板区域坐标相对应的合成孔径雷达SAR图像中所有像素点的方差值；

1a5)按照下式，计算合成孔径雷达SAR图像中每个像素点针对比值算子的响应值：

其中，R表示合成孔径雷达SAR图像中每个像素点针对比值算子的响应值，min{·}表示最小值操作，a和b分别表示模板中的两个不同的区域，μ_a表示模板区域a中所有像素点的均值，μ_b表示模板区域b中所有像素点的均值；

1a6)按照下式，计算合成孔径雷达SAR图像中每个像素针对相关性算子的响应值：

其中，C表示合成孔径雷达SAR图像中每个像素针对相关性算子的响应值，表示平方根操作，a和b分别表示模板中两个不同区域，ν_a表示模板区域a中所有像素点的方差值，ν_b表示模板区域b中所有像素点的方差值，μ_a表示模板区域a中所有像素点的均值，μ_b表示模板区域b中所有像素点的均值；

1a7)按照下式，计算合成孔径雷达SAR图像中每个像素点针对各个模板的响应值：

其中，F表示合成孔径雷达SAR图像中每个像素点针对各个模板的响应值，表示平方根操作，R和C分别表示合成孔径雷达SAR图像中像素点针对比值算子和合成孔径雷达SAR图像中像素点针对相关性算子的响应值；

1a8)判断所构造的模板是否等于所选取模板的总数，若不是，则执行1a2)，否则，执行1a9)；

1a9)从各个模板中选择具有最大响应值的模板，作为合成孔径雷达SAR图像的模板，并将该模板的最大响应值作为合成孔径雷达SAR图像中像素点的强度，将该模板的方向作为合成孔径雷达SAR图像中像素点的方向，获得合成孔径雷达SAR图像的边线响应图和梯度图；

1a10)按照下式，计算合成孔径雷达SAR图像强度图的强度值，得到强度图：

其中，I表示合成孔径雷达SAR图像强度图的强度值，r表示合成孔径雷达SAR图像边线响应图中的值，t表示合成孔径雷达SAR图像梯度图中的值；

1a11)采用非极大值抑制方法，对强度图进行检测，得到建议草图；

1a12)选取建议草图中具有最大强度的像素点，将建议草图中与该最大强度的像素点连通的像素点连接形成建议线段，得到建议素描图；

1a13)按照下式，计算建议素描图中素描线的编码长度增益：

其中，CLG表示建议素描图中素描线的编码长度增益，∑表示求和操作,J表示当前素描线邻域中像素点的个数，A_j表示当前素描线邻域中第j个像素点的观测值，A_j,0表示在当前素描线不能表示结构信息的情况下，该素描线邻域中第j个像素点的估计值，ln(·)表示以e为底的对数操作，A_j,1表示在当前素描线能够表示结构信息的情况下，该素描线邻域中第j个像素点的估计值；

1a14)在[5,50]范围内，任意选取一个数，作为阈值T；

1a15)选出所有建议素描线中CLG>T的建议素描线，将其组合成合成孔径雷达SAR图像的素描图；

1b)从素描模型中提取合成孔径雷达SAR图像的素描图：即将合成孔径雷达SAR图像输入到素描模型中，得到合成孔径雷达SAR图像的素描图。

步骤2，划分像素空间：

2a)采用素描线区域化方法，对合成孔径雷达SAR图像的素描图进行区域化处理，得到包括聚集区域、无素描线区域和结构区域的合成孔径雷达SAR图像的区域图，实现过程参见Liu-Fang等人于2016年在Pattern Recognition上的文章《Hierarchical semanticmodel and scattering mechanism based PolSAR image classification》，其步骤如下：

2a1)按照合成孔径雷达SAR图像的素描图中素描线段的聚集度，将素描线划分为表示聚集地物的聚集素描线和表示边界、线目标、孤立目标的边界素描线、线目标素描线、孤立目标素描线；

2a2)根据素描线段聚集度的直方图统计，选取聚集度等于最优聚集度的素描线段作为种子线段集{E_k,k＝1,2,...,m}，其中，E_k表示种子线段集中的任一条素描线段，k表示种子线段集中任一条素描线段的标号，m表示种子线段的总条数，{·}表示集合操作；

2a3)以未被选取添加进种子线段集和的线段作为基点，以此基点递归求解线段集合；

2a4)构造一个半径为最优聚集度区间上界的圆形基元，用该圆形基元对线段集合中的线段进行膨胀，对膨胀后的线段集合由外向内进行腐蚀，在素描图上得到以素描点为单位的聚集区域；

2a5)对表示边界、线目标以及孤立目标的素描线，以每个素描线的每个素描点为中心构造大小为5×5的几何结构窗，得到结构区域；

2a6)将素描图中除去聚集区域和结构区域以外的部分作为不可素描区域；

2a7)将素描图中的聚集区域、结构区域和不可素描区域合并，得到包括聚集区域、结构区域和无素描线区域的合成孔径雷达SAR图像的区域图；

2b)将包括聚集区域、无素描线区域和结构区域的区域图，映射到输入的合成孔径雷达SAR图像中，得到合成孔径雷达SAR图像中的混合聚集结构地物像素子空间Ⅰ、匀质区域像素子空间Ⅱ和结构像素子空间Ⅲ。

步骤3，设计方向统计向量。

3a)将混合聚集结构地物像素子空间Ⅰ中在空间上不连通的极不匀质区域，对应到语义空间中的素描图部分，并提取这些素描图部分中的素描线段方向信息；

3b)将方向0°～180°平均等分18个区间，分别为[0°,10°)、[10°,20°)、[20°,30°)、[30°,40°)、[40°,50°)、[50°,60°)、[60°,70°)、[70°,80°)、[80°,90°)、[90°,100°)、[100°,110°)、[110°,120°)、[120°,130°)、[130°,140°)、[140°,150°)、[150°,160°)、[160°,170°)和[170°,180°)，并将3a)提取到的所有素描线段依据其方向信息划分到这18个区间中，得到18个表示区间内素描线段个数的数值；

3c)将3b)中的18个数值组成一个18维的向量，并将这个向量进行归一化操作，得到一个18维的方向统计向量。

步骤4，依据方向统计向量对混合聚集结构地物像素子空间Ⅰ进行分割。

4a)利用近邻传播AP聚类算法，在混合聚集结构地物像素子空间Ⅰ中，对所有在空间上不连通的极不匀质区域的方向统计向量进行聚类，得到混合聚集结构地物像素子空间Ⅰ的第一阶段聚类结果；

4a1)对混合聚集结构地物像素子空间中Ⅰ所有在空间上不连通的极不匀质区域，获得其方向统计向量；

4a2)将第i个极不匀质区域R_i和第j个极不匀质区域R_j方向统计向量的欧式距离作为这两个区域的相似度s_ij，计算第i个极不匀质区域R_i与所有极不匀质区域的相似度s_i1,s_i2,...,s_ij,...,s_iL，并计算这些相似度值的中值，将该中值作为极不匀质区域R_i的参考度p_i；

4a3)利用近邻传播AP聚类算法，将4a2)的相似度和参考度作为AP聚类的参数设定，在混合聚集结构地物像素子空间Ⅰ中，对所有在空间上不连通的极不匀质区域的方向统计向量进行聚类，得到混合聚集结构地物像素子空间Ⅰ的第一阶段分割结果；

(4b)判断第一阶段聚类结果中是否有相同的类标:

如果没有相同的类标，则混合聚集结构地物像素子空间Ⅰ分割完成；

如果有相同的类标，则对具有相同类标的极不匀质区域，执行步骤(4c)；

(4c)采用基于素描结构的平均场变分贝叶斯推理网络进行特征学习，完成对混合聚集结构地物像素子空间Ⅰ的分割：

本步骤的具体实现参见西安电子科技大学刘芳等人申请的专利“基于素描结构的平均场变分贝叶斯SAR图像分割方法”，专利申请号：201611262018.4，其实现步骤如下：

4c1)将平均场变分贝叶斯推理网络模型的输入层、隐层和重构层均设置为441个神经元，将输入层与隐层、隐层与重构层之间的连接均设置为全连接；

4c2)按照下式，计算平均场变分贝叶斯推理网络模型的变分下界：

其中，L(Q)表示平均场变分贝叶斯推理网络模型的变分下界，P(V|W,H,c)表示V关于W，H，c的条件概率，V表示平均场变分贝叶斯推理网络模型中的输入层，W表示平均场变分贝叶斯推理网络模型的连接权值，H表示平均场变分贝叶斯推理网络模型中的隐层，c表示平均场变分贝叶斯推理网络模型中隐层的偏置，b表示平均场变分贝叶斯推理网络模型中输入层的偏置，P(W)表示W的先验概率，P(H|b)表示H关于b的条件概率，Q(W)表示W的变分分布概率,Q(H)表示H的变分分布概率；

4c3)按照下式，计算结构重构误差：

其中，M表示输入图像块的总数，表示第i个输入图像块的重构图像块，s_i表示第i个素描块，SM(·)表示求素描块操作，C(·)表示求素描线长度操作；

4c4)按21×21的窗口对同类标的每个极不匀质区域进行隔一采样，得到多个图像块样本；

4c5)对每个图像块样本，在素描图中取与图像块样本一一对应的素描块样本；

4c6)对每个极不匀质区域，产生出每个区域对应的一组符合不均匀地物分布G⁰分布的随机数；

4c7)用得到的随机数对平均场变分贝叶斯推理网络的权值和偏置进行初始化，得到初始化后的平均场变分贝叶斯推理网络：

首先，估计不均匀地物分布G⁰分布概率密度的参数，得到形状参数α，尺度参数γ，和等效视数n三个参数的值；

接着，按照下式，计算不均匀地物分布G⁰分布的概率密度P(I(x,y))：

其中，I(x,y)表示坐标为(x,y)的像素点的强度值，n表示合成孔径雷达SAR图像的等效视数，α表示合成孔径雷达SAR图像的形状参数，γ表示合成孔径雷达SAR图像的尺度参数，Γ(·)表示伽马函数，其取值由下式得到：

其中，u表示自变量，t表示积分变量；

接着，根据概率密度P(I(x,y))计算符合不均匀地物分布G⁰分布的随机矩阵A；

接着，从随机矩阵A中选取前441列，作为平均场变分贝叶斯推理网络的权值的初始值；

然后，从随机矩阵A中任意选取两列，分别作为平均场变分贝叶斯推理网络中可视层偏置初始值和平均场变分贝叶斯推理网络中隐层偏置的初始值，完成对平均场变分贝叶斯推理网络的初始化；

4c8)对平均场变分贝叶斯推理网络进行更新；

4c9)根据更新后的网络，得到与样本图像块数量相同的重构图像块；

4c10)对每个重构图像块求其素描图，作为重构素描块；

4c11)利用4c3)中的结构重构误差公式，求重构素描块和原素描块的结构误差G；

4c12)判断G是否大于阈值0.2，若是，则返回4c8)，否则，执行4c13)；

4c13)用局部约束的线性编码处理学到的特征得到每一个区域的一个表示，然后用层次聚类法对得到的表示进行第二阶段的聚类：

第一步，对每个互不连通区域，取其训练后的平均场变分贝叶斯推理网络的权值，作为该区域的特征集合；

第二步，将同类标所有极不匀质区域的特征集合拼接，将拼接后的特征集合作为码本；

第三步，对同类标的每个极不匀质区域的所有特征，分别计算与码本中的每个特征的内积，得到每个极不匀质区域所有特征在码本上的投影向量；

第四步，对同类标的每个极不匀质区域的投影向量进行最大池化，得到每个极不匀质区域对应的一个结构特征向量；

第五步，将同类标的第个极不匀质区域和第个极不匀质区域结构特征向量的欧氏距离作为两个区域的相似度

第六步，利用层次聚类算法，将第五步中的相似度作为层次聚类的参数，并给定层次聚类阈值参数，对同类标的所有极不匀质区域的结构特征向量进行层次聚类，得到混合聚集结构地物像素子空间Ⅰ的第二阶段聚类结果，完成混合聚集结构地物像素子空间Ⅰ的分割。

步骤5，对结构像素子空间Ⅲ进行分割。

采用视觉语义规则提取线目标，然后用基于几何结构窗的多项式隐模型的结构区域分割方法，对结构像素子空间Ⅲ进行分割，得到结构像素子空间Ⅲ的分割结果。

本步骤的具体实现参见Fang-Liu等人于2016年发表在IEEE Trancactions onGeoscience and Remote Sensing杂志上的文章《SAR Image Segmentation Based onHierarchical Visual Semantic and Adaptive Neighborhood Multinomial LatentModel》中所提出的模型。

步骤6，对匀质区域像素子空间Ⅱ进行分割。

采用基于自适应窗口选择的多项式隐模型的匀质区域分割方法，对匀质区域像素子空间Ⅱ进行分割，得到匀质区域像素子空间Ⅱ的分割结果。

本步骤的具体实现参见Fang-Liu等人于2016年发表在IEEE Trancactions onGeoscience and Remote Sensing杂志上的文章《SAR Image Segmentation Based onHierarchical Visual Semantic and Adaptive Neighborhood Multinomial LatentModel》中所提出的模型。

步骤7，合并分割结果。

将混合聚集结构地物像素子空间Ⅰ、匀质区域像素子空间Ⅱ和结构像素子空间Ⅲ的分割结果进行合并，得到合成孔径雷达SAR图像的最终分割结果。

下面结合仿真图对本发明的效果做进一步的描述。

1.仿真条件：

本发明仿真的硬件条件为：智能感知与图像理解实验室图形工作站；本发明仿真所使用的合成孔径雷达SAR图像为：X波段分辨率为1米的Pyramid图。

2.仿真内容：

仿真1，用本发明对SAR图像Pyramid图混合聚集结构地物像素子空间进行仿真，结果如图2，其中：

图2(a)为SAR图像Pyramid图的原图；

图2(b)为采用本发明中的SAR图像素描化步骤对图2(a)提取的素描图；

图2(c)为采用本发明中的SAR图像区域化步骤对图2(b)所示的素描图进行区域化后得到的区域图；

图2(d)为采用本发明中的划分混合聚集结构地物像素子空间步骤将图2(c)所示区域图中的白色区域映射到图2(a)后，得到的Pyramid混合聚集结构地物像素子空间图。

仿真2，用本发明和现有方法对图2(a)所述的SAR图像进行分割，结果如图3，其中：

图3(a)为采用本发明中的分割混合聚集结构地物像素子空间步骤，对图2(d)进行第一阶段聚类的结果图；

图3(b)为采用本发明中的分割混合聚集结构地物像素子空间步骤对图3(a)进行第二阶段聚类的结果图；

图3(c)为采用本发明对2(a)的最终分割结果图；

图3(d)是采用现有基于层次视觉语义和自适应邻域多项式隐模型的SAR图像分割方法对2(a)分割结果图。

3.仿真效果分析：

通过图3(c)和图3(d)的对比分割结果图可得出结论：本发明方法对于混合聚集结构地物像素子空间的分割结果更为合理，并且提高了分割的效率和准确性。

Claims (5)

1.一种基于两阶段聚类的SAR图像语义分割方法，包括：

(1)对合成孔径雷达SAR图像进行素描化，即输入合成孔径雷达SAR图像，建立合成孔径雷达SAR图像的素描模型，从素描模型中提取合成孔径雷达SAR图像的素描图；

(2)对SAR图像的素描图进行区域化处理，得到合成孔径雷达SAR图像的区域图，将包括聚集区域、无素描线区域和结构区域的区域图，映射到输入的合成孔径雷达SAR图像上，得到合成孔径雷达SAR图像中的混合聚集结构地物像素子空间Ⅰ、匀质区域像素子空间Ⅱ和结构像素子空间Ⅲ；

(3)对混合聚集结构地物像素子空间Ⅰ中在空间上不连通的极不匀质区域，将其对应到语义空间中的素描图部分，统计这些素描图部分中素描线段的方向信息，将方向划分为18个区间，得到每个方向区间内的素描线段个数，并对其进行归一化处理，得到每个极不匀质区域的方向统计向量B；

(4)依据方向统计向量对混合聚集结构地物像素子空间Ⅰ进行分割：

(4a)利用近邻传播AP聚类算法，在混合聚集结构地物像素子空间Ⅰ中，对所有在空间上不连通的极不匀质区域的方向统计向量进行聚类，得到混合聚集结构地物像素子空间Ⅰ的第一阶段聚类结果；

(4b)判断第一阶段聚类结果中是否有相同的类标:

如果没有相同的类标，则混合聚集结构地物像素子空间Ⅰ分割完成；

如果有相同的类标，则对具有相同类标的极不匀质区域，再采用基于素描结构的平均场变分贝叶斯推理网络进行特征学习，用局部约束的线性编码处理学到的特征得到每一个区域的一个表示，然后用层次聚类法对得到的表示进行第二阶段的聚类，完成对混合聚集结构地物像素子空间Ⅰ的分割；

(5)对结构像素子空间Ⅲ进行分割：

采用视觉语义规则提取线目标，并用基于几何结构窗的多项式隐模型的结构区域分割方法对结构像素子空间Ⅲ进行分割，得到结构像素子空间Ⅲ的分割结果；

(6)对匀质区域像素子空间Ⅱ进行分割：

采用基于自适应窗口选择的多项式隐模型的匀质区域分割方法对匀质区域像素子空间Ⅱ进行分割，得到匀质区域像素子空间Ⅱ的分割结果；

(7)将SAR图像混合聚集结构地物像素子空间Ⅰ、匀质结构像素子空间Ⅱ和结构像素子空间Ⅲ的分割结果进行融合，得到最终的SAR图像分割结果。

2.根据权利要求1所述的方法，其中步骤(3)中统计素描图部分中素描线段的方向信息，按如下步骤进行：

3a)将混合聚集结构地物像素子空间Ⅰ中在空间上不连通的极不匀质区域，对应到语义空间中的素描图部分，并提取这些素描图部分中的素描线段方向信息；

3b)将方向0°～180°平均等分18个区间，分别为[0°,10°)、[10°,20°)、[20°,30°)、[30°,40°)、[40°,50°)、[50°,60°)、[60°,70°)、[70°,80°)、[80°,90°)、[90°,100°)、[100°,110°)、[110°,120°)、[120°,130°)、[130°,140°)、[140°,150°)、[150°,160°)、[160°,170°)和[170°,180°)，并将3a)提取到的所有素描线段依据其方向信息划分到这18个区间中，得到18个表示区间内素描线段个数的数值；

3c)将3b)中的18个数值组成一个18维的向量，并将这个向量进行归一化操作，得到一个18维的方向统计向量。

3.根据权利要求1所述的方法，其中步骤(4a)中对所有在空间上不连通的极不匀质区域的方向统计向量进行聚类，按如下步骤进行：

4a1)对混合聚集结构地物像素子空间中Ⅰ所有在空间上不连通的极不匀质区域，获得其方向统计向量；

4a2)将第i个极不匀质区域R_i和第j个极不匀质区域R_j方向统计向量的欧式距离作为这两个区域的相似度s_ij，计算第i个极不匀质区域R_i与所有极不匀质区域的相似度s_i1,s_i2,...,s_ij,...,s_iL，并计算这些相似度值的中值，将该中值作为极不匀质区域R_i的参考度p_i；

4a3)利用近邻传播AP聚类算法，将4a2)的相似度和参考度作为AP聚类的参数设定，在混合聚集结构地物像素子空间Ⅰ中，对所有在空间上不连通的极不匀质区域的方向统计向量进行聚类。

4.根据权利要求1所述的方法，其中步骤(4b)中采用基于素描结构的平均场变分贝叶斯推理网络进行特征学习,按如下步骤进行：

4b1)将平均场变分贝叶斯推理网络模型的输入层、隐层和重构层均设置为441个神经元，将输入层与隐层、隐层与重构层之间的连接均设置为全连接；

4b2)按照下式，计算平均场变分贝叶斯推理网络模型的变分下界：

其中，L(Q)表示平均场变分贝叶斯推理网络模型的变分下界，P(V|W,H,c)表示V关于W，H，c的条件概率，V表示平均场变分贝叶斯推理网络模型中的输入层，W表示平均场变分贝叶斯推理网络模型的连接权值，H表示平均场变分贝叶斯推理网络模型中的隐层，c表示平均场变分贝叶斯推理网络模型中隐层的偏置，b表示平均场变分贝叶斯推理网络模型中输入层的偏置，P(W)表示W的先验概率，P(H|b)表示H关于b的条件概率，Q(W)表示W的变分分布概率,Q(H)表示H的变分分布概率；

4b3)按照下式，计算结构重构误差：

其中，M表示输入图像块的总数，表示第i个输入图像块的重构图像块，s_i表示第i个素描块，SM(·)表示求素描块操作，C(·)表示求素描线长度操作；

4b4)按21×21的窗口对同类标的每个极不匀质区域进行隔一采样，得到多个图像块样本；

4b5)对每个图像块样本，在素描图中取与图像块样本一一对应的素描块样本；

4b6)对每个极不匀质区域，产生出每个区域对应的一组符合不均匀地物分布G⁰分布的随机数；

4b7)用得到的随机数对平均场变分贝叶斯推理网络的权值和偏置进行初始化，得到初始化后的平均场变分贝叶斯推理网络：

首先，估计不均匀地物分布G⁰分布概率密度的参数，得到形状参数α，尺度参数γ，和等效视数n三个参数的值；

接着，按照下式，计算不均匀地物分布G⁰分布的概率密度P(I(x,y))：

其中，I(x,y)表示坐标为(x,y)的像素点的强度值，n表示合成孔径雷达SAR图像的等效视数，α表示合成孔径雷达SAR图像的形状参数，γ表示合成孔径雷达SAR图像的尺度参数，Γ(·)表示伽马函数，其取值由下式得到：

其中，u表示自变量，t表示积分变量；

接着，根据概率密度P(I(x,y))计算符合不均匀地物分布G⁰分布的随机矩阵A；

接着，从随机矩阵A中选取前441列，作为平均场变分贝叶斯推理网络的权值的初始值；

然后，从随机矩阵A中任意选取两列，分别作为平均场变分贝叶斯推理网络中可视层偏置初始值和平均场变分贝叶斯推理网络中隐层偏置的初始值，完成对平均场变分贝叶斯推理网络的初始化；

4b8)对平均场变分贝叶斯推理网络进行更新；

4b9)根据更新后的网络，得到与样本图像块数量相同的重构图像块；

4b10)对每个重构图像块求其素描图，作为重构素描块；

4b11)利用4b3)中的结构重构误差公式，求重构素描块和原素描块的结构误差G；

4b12)判断G是否大于阈值0.2，若是，则返回4b8)，否则，结束基于素描结构的平均场变分贝叶斯推理网络进行特征学习的过程。

5.根据权利要求1所述的方法，其中步骤(4b)中用层次聚类法对每一个区域的一个表示进行第二阶段的聚类，按如下步骤进行：

4b13)将同类标的第个极不匀质区域和第个极不匀质区域表示的欧氏距离作为两个区域的相似度

4b14)利用层次聚类算法，将4b13)中的相似度作为层次聚类的参数，并给定层次聚类阈值参数，对同类标的所有极不匀质区域的表示进行层次聚类。