CN104346814A - 基于层次视觉语义的sar图像分割方法 - Google Patents

Abstract

本发明公开了一种基于层次视觉语义的SAR图像分割方法，主要解决现有技术很难保持区域一致性及边界、线目标定位不精确的问题。其实现步骤为：1.根据SAR图像的素描图，提取SAR图像的区域图，构建层次视觉语义；2.根据区域图将SAR图像划分为聚集、结构和匀质区域；3.对聚集区域进行分割；4.对结构区域法进行分割；5.在结构区域中设计视觉语义规则定位线目标；6.对匀质区域进行分割；7.将聚集、结构、匀质区域和线目标的分割结果合并得到最终分割结果。本发明保持了SAR图像中区域的一致性，提高了边界和线目标的定位精度，实现了SAR图像良好的分割效果，可用于后续的目标分类、识别和跟踪。

Description

基于层次视觉语义的SAR图像分割方法

技术领域

本发明属于图像处理技术领域，涉及SAR图像分割方法，可用于后续目标识别和跟踪。

背景技术

合成孔径雷达SAR具有全天候全天时、穿透性、远距离、高分辨率等成像特点，在国防建设、国民经济与社会发展的各个领域获得了广泛的应用。SAR图像分割是SAR图像解译中一个基本而关键的问题，它是将人们感兴趣的目标从图像背景中提取出来，为后续的分类、跟踪、识别等处理提供基础。

现有的SAR图像分割方法主要分为基于特征的方法和基于模型的方法两大类。

基于特征的方法，其主要强调图像的特征，比如灰度共生矩阵特征、SAR-sift特征、Gabor特征等，这些特征很容易受SAR图像相干斑噪声的影响，使分割结果的一致性很难保持。

基于模型的方法，其由于考虑了图像的上下文信息，因此受到了很大的关注，例如Markov随机场方法、基于区域的Markov随机场方法和多项式隐模型方法等。Markov随机场方法是最基本的上下文方法，它用图像的灰度特征作为似然模型，并用Gibbs分布作为图像的先验模型，根据最大后验准则得到图像的分割结果。该方法没有考虑SAR图像的纹理特征，并且使用了尺度较小的上下文窗口，容易造成SAR图像过分割。基于区域的Markov随机场方法首先把图像分割成超像素，在超像素上用Markov随机场方法得到分割结果。该方法虽然能在一定程度上提高区域一致性，但是仍然不能得到语义上一致性的区域。多项式隐模型方法同时考虑图像的灰度特征和纹理特征作为似然模型，并用具有聚集特性的多项式逻辑回归模型作为图像的先验模型，再用分类的期望最大化方法得到图像的分割结果，然而预先定义的上下文窗口不能满足SAR图像内容多尺度的需求，在分割过程中容易造成边界定位不精确和线目标的丢失。

发明内容

本发明的目的在于针对上述已有方法的不足，提出了一种基于层次视觉语义的SAR图像分割方法，以提升SAR图像的分割效果。

本发明技术方案是这样实现的：

一.技术原理

上述基于模型的方法由于没有考虑图像的语义信息，因此很难把SAR图像分割成语义上一致性的区域。这是由于SAR成像机制决定了SAR图像在刻画地物上的目标时会出现与目标对应的阴影，如一颗树的亮斑和阴影，一栋房子的亮斑和阴影等。当许多树、房子聚集在一起组成森林、城区时，在SAR图像中森林、城区这些场景会出现许多成对的明区域和暗区域。现有的许多无监督分割方法都会把明区域分成一类，暗区域分成另一类，而不会把他们分成一致性的区域。事实上，SAR图像是一些有意义的区域的组合，而低层的特征很难满足高层语义上的需求。因此，本发明是在SAR图像分割中引入语义信息，并用语义信息作为指导，使不同特性的区域能用适合区域特性的方法进行分割，在保持图像分割结果一致性的同时精确的定位图像的边界和线目标，实现SAR图像语义分割。

二.技术方案

根据上述原理，本发明的技术方案包括如下步骤：

(1)根据SAR图像的素描图，提取SAR图像的区域图，构建第一层为素描图第二层为区域图的层次视觉语义信息；

(2)根据区域图，将SAR图像划分为聚集、结构和匀质这三个区域；

(3)对聚集区域用水平集方法定位边界，并用基于局部线性约束编码的层次聚类方法进行分割；

(4)在结构区域中进行分割：

4a)对结构区域中的每个像素点，并建立基于该几何结构窗的多项式逻辑回归先验模型，根据该模型，计算几何结构窗内中心像素的先验概率p₁；

4b)对结构区域中的每个像素点，将其像素灰度的概率密度和纹理的概率密度相乘得到似然概率p₂，其中灰度的概率密度由Nakagami分布得到，纹理的概率密度由t分布得到；

4c)将先验概率p₁和似然概率p₂相乘得到后验概率p₁₂，根据最大后验概率准则，得到结构区域分割结果；

(5)根据SAR图像中的线目标和素描线的关系设计视觉语义规则：

5a)设定线目标与素描线两者之间的关系：

设第i条素描线l_i与第j条素描线l_j之间的距离为D_ij，l_i的方向为O_i，l_j的方向为O_j，i,j∈[1,2,...,S]，S为素描线的总条数；

将宽度大于3个像素的线目标用两条素描线l_i和l_j表示，l_i和l_j之间的距离D_ij小于T₁且方向差(O_i-O_j)小于10度，其中T₁＝5；

设定第s条素描线l_s的几何结构窗w_s内每一列的平均灰度为A_i，设定相邻列的灰度差为AD_i＝|A_i-A_i+1|，设定z_s＝[z_s1,z_s2,...,z_s9]为相邻列的灰度差AD_i的标记向量；

将宽度小于3个像素的线目标用单个素描线l_s表示，l_s的几何结构窗w_s内，计算相邻列的灰度差AD_i，如果AD_i＞T₂，则z_si＝1；否则z_si＝0，z_s中有两个元素的值为1，其余为0，其中T₂＝34；

5b)根据上述关系，设计视觉语义规则如下：

设L₁,L₂是表示线目标的素描线的集合；

规则1：如果D_ij＜T₁并且|O_i-O_j|，则l_i,l_j∈L₁；

规则2：如果sum(z_s)＝2，则l_s∈L₂，其中sum(·)表示参量元素的和；

(6)对线目标进行分割：

在结构区域的分割结果上，根据线目标的素描线的集合L₁，标记l_i和l_j之间的区域为线目标；

在结构区域的分割结果上，根据线目标的素描线的集合L₂，标记覆盖l_s的区域为线目标；

(7)对匀质区域进行分割：

7a)对匀质区域中的每个像素点，建立3×3的方形窗口，并计算该窗口的标准差σ₁；

7b)将窗口增加两行两列，计算当前窗口的标准差σ₂；

7c)设标准差阈值T₃＝3，如果|σ₁-σ₂|＜T₃，则把当前窗口作为最终的窗口大小，执行7d)；否则返回到7b)；

7d)对匀质区域的中每个像素点，根据步骤7c)得到的窗口大小，建立基于该窗口的多项式逻辑回归先验模型，根据该模型，计算该窗口内中心像素的先验概率p₁'；

7e)对匀质区域中的每个像素点，将其像素灰度的概率密度和纹理的概率密度相乘得到似然概率p₂'，其中灰度的概率密度由Nakagami分布得到，纹理的概率密度由t分布得到；

7f)将先验概率p₁'与似然概率p₂'相乘得到后验概率p₁₂'，根据最大后验概率准则，得到匀质区域分割结果；

(8)将聚集区域、结构区域、线目标和匀质区域的分割结果合并，得到最终分割结果。

本发明与现有技术相比具有如下优点：

第一：本发明用SAR图像素描图，提取区域图，构建层次视觉语义信息，将层次视觉语义引入SAR图像分割，使分割结果具有语义上的一致性；

第二：本发明考虑了SAR图像不同的结构特性，根据区域图，将SAR图像划分为聚集、结构和匀质区域这三个区域，并针对不同特性的区域采用适合区域特性的方法进行分割，在保持匀质区域和聚集区域一致性的同时，提高了结构区域的边界定位精确。

第三：本发明根据SAR图像中的线目标和素描线的关系，设计视觉语义规则，提高了线目标定位的准确性；

仿真结果表明，本发明在保持SAR图像分割中区域一致性的同时，对边界和线目标能进行精确的定位，提升了SAR图像的分割效果。

附图说明

图1是本发明对SAR图像分割的流程图；

图2是本发明中线目标与素描线的关系示意图；

图3是本发明中提取线目标的素描线子流程图；

图4是本发明提取线目标的素描线结果图；

图5是用本发明与现有方法对Ku波段分辨率为3米的Chianlake图像分割结果对比图；

图6是用本发明与现有方法对Ku波段分辨率为1米的Piperiver图像分割结果对比图。

具体实施方式

参照图1，本发明的实施步骤如下：

步骤1，根据SAR图像素描图，提取区域图，构建层次视觉语义信息。

(1.1)利用SAR图像初始素描图获取方法，提取SAR图像素描图；

(1.2)设第m条素描线l_m与第n条素描线l_n之间的距离为D_mn，m,n∈[1,2,...,S]，S为素描线的总条数，定义l_m的聚集度a(l_m)为：

$a\left(l_m\right)=\frac{1}{V}\underset{i=1}{\overset{v}{\mathrm{\Σ}}}\mathrm{sort}\left(D_{\mathrm{mn}}\right),n\∈[\mathrm{1,2},...,S],$

其中，sort(·)表示将参量中的元素按非降序排列，V是参数且其取值范围为[3-9]，

根据上述素描线的聚集度的a(l_m)的大小对素描线进行分类：如果a(l_m)＜T₄，则素描线为聚集的素描线，否则，素描线为非聚集的素描线，T₄取值为10；

(1.3)组成区域图：

对聚集的素描线，采用形态学闭操作的区域提取算子，得到聚集区域；

对非聚集的素描线，采用几何结构窗的区域提取算子，得到结构区域；

将剩下的区域为作为不可素描区域；

用聚集区域、结构区域和不可素描区域组成SAR图像区域图；

(1.4)将SAR图像素描图作为第一层语义，将SAR图像区域图作为第二层语义，构成层次视觉语义信息。

步骤2，将区域图映射到SAR图像，将SAR图像划分为聚集区域、结构区域和匀质区域。

步骤3，对聚集区域用水平集方法定位边界，并用基于局部线性约束编码的层次聚类方法进行分割。

(3.1)用水平集方法对聚集区域的边界进行定位；

(3.2)对聚集区域内的每个像素提取12维灰度共生矩阵特征，用k-means将该特征分成256类；

(3.3)用局部线性约束编码对步骤(3.2)中的256类特征进行特征编码，得到256维的向量，并用max-pooling(最大池化)的方法，得到这个区域的最终表示；

(3.4)把每个区域的最终表示作为输入，用层次聚类方法得到聚集区域的分割结果。

步骤4，在结构区域中进行分割。

4a)对结构区域中的每个像素点，根据素描线的方向建立几何结构窗，并建立基于该几何结构窗的多项式逻辑回归先验模型，根据该模型，计算几何结构窗内中心像素的先验概率p₁，p₁按如下公式计算：

$p_1=\frac{\exp \left(\mathrm{\η}(1+x_k)\right)}{\underset{i=1}{\overset{K}{\mathrm{\Σ}}}\exp \left(\mathrm{\η}(1+x_i)\right)},$

其中K＝3为分割的类别数，x_k为几何结构窗内属于第k类的像素个数，x_i为几何结构窗内属于第i类的像素个数，η取值为1，exp(·)为指数函数，k∈[1,...,K]；

4b)对结构区域中的每个像素点，将其像素灰度的概率密度和纹理的概率密度相乘得到似然概率p2，其中灰度的概率密度由Nakagami分布得到，纹理的概率密度由t分布得到；

4c)将先验概率p₁和似然概率p₂相乘得到后验概率p₁₂，根据最大后验概率准则，得到结构区域分割结果。

步骤5，根据SAR图像中的线目标和素描线的关系设计视觉语义规则。

5a)设定线目标与素描线两者之间的关系：

设第i条素描线l_i与第j条素描线l_j之间的距离为D_ij，l_i的方向为O_i，l_j的方向为O_j，i,j∈[1,2,...,S]，S为素描线的总条数；

将宽度大于3个像素的线目标用两条素描线l_i和l_j表示，l_i和l_j之间的距离D_ij小于T₁且方向差(O_i-O_j)小于10度，其中T₁＝5，如果2(a)所示；

设定第s条素描线l_s的几何结构窗w_s内每一列的平均灰度为A_i，设定相邻列的灰度差为AD_i＝|A_i-A_i+1|，设定z_s＝[z_s1,z_s2,...,z_s9]为相邻列的灰度差AD_i的标记向量；

将宽度小于3个像素的线目标用单个素描线l_s表示，l_s的几何结构窗w_s内，计算相邻列的灰度差AD_i，如果AD_i＞T₂，则z_si＝1；否则z_si＝0，z_s中有两个元素的值为1，其余为0，其中T₂＝34，如果2(b)所示；

5b)根据上述关系，设计视觉语义规则如下：

设L₁,L₂是表示线目标的素描线的集合；

规则1：如果D_ij＜T₁并且|O_i-O_j|，则l_i,l_j∈L₁；

规则2：如果sum(z_s)＝2，则l_s∈L₂，其中sum(·)表示参量元素的和；

线目标的素描线提取过程如图3所示，真实SAR图像中线目标的素描线的集合如图4中黑色的素描线所示；

步骤6，对线目标进行分割。

在结构区域的分割结果上，根据线目标的素描线的集合L₁，标记l_i和l_j之间的区域为线目标；

在结构区域的分割结果上，根据线目标的素描线的集合L₂，标记覆盖l_s的区域为线目标；

步骤7，对匀质区域进行分割。

7a)对匀质区域中的每个像素点，建立3×3的方形窗口，并计算该窗口的标准差σ₁；

7b)将窗口增加两行两列，计算当前窗口的标准差σ₂；

7c)设标准差阈值T₃＝3，如果|σ₁-σ₂|＜T₃，则把当前窗口做为最终的窗口大小，执行7d)；否则返回到7b)；

7d)对匀质区域的中每个像素点，根据步骤7c)得到的窗口大小，建立基于该窗口的多项式逻辑回归先验模型，根据该模型，计算该窗口内中心像素的先验概率p₁'，p₁'按如下公式计算：

${p_1}^{\′}=\frac{\exp \left({\mathrm{\η}}^{\′}(1+{x_{k^{\′}}}^{\′})\right)}{\underset{i=1}{\overset{K^{\′}}{\mathrm{\Σ}}}\exp \left({\mathrm{\η}}^{\′}(1+{x_{i^{\′}}}^{\′})\right)},$

其中K'＝3为分割的类别数，x_k'为步骤7c)得到的窗口内属于第k'类的像素个数，x_i'为步骤7c)得到的窗口内属于第i'类的像素个数，η'取值为1，exp(·)指数函数，k'∈[1,...,K']；

7e)对匀质区域中的每个像素点，将其像素灰度的概率密度和纹理的概率密度相乘得到似然概率p₂'，其中灰度的概率密度由Nakagami分布得到，纹理的概率密度由t分布得到；

7f)将先验概率p₁'与似然概率p₂'相乘得到后验概率p₁₂'，根据最大后验概率准则，得到匀质区域分割结果；

步骤8，将聚集区域、结构区域、线目标和匀质区域的分割结果合并，得到最终分割结果。

本发明的效果可通过以下仿真进一步说明：

1.仿真条件

(1)本实验使用的是Ku波段分辨率为3米的Chianlake图像和Ku波段分

辨率为1米的Piperiver图像；

(2)本实验中，两条素描线的距离阈值T₁＝5，几何结构窗相邻像素的灰度阈值T₂＝34，标准差阈值T₃＝3，聚集度阈值T₄＝10。

2.仿真内容与结果

仿真1，用多项式隐模型方法、基于素描图的多项式隐模型方法和本发明方法这三种方法对Chinalake图像进行分割实验，实验结果如图5所示。其中图5(a)是Chinalake原图像，图5(b)是用多项式隐模型方法对Chinalake图像的分割结果，图5(c)是用基于素描图的多项式隐模型方法对Chinalake图像的分割结果，图5(d)是用本发明方法对Chinalake图像的分割结果。

从图5可见，本发明方法在定位线目标方面比多项式隐模型方法有优势；本发明方法在保持区域一致性方面比基于素描图的多项式隐模型方法有优势。

仿真2，用多项式隐模型方法、基于素描图的多项式隐模型方法和本发明方法这三种方法对Piperiver图像进行分割实验，实验结果如图6所示。其中图6(a)为Piperiver原图像，图6(b)是用多项式隐模型方法对Piperiver图像的分割结果，图6(c)是用基于素描图的多项式隐模型方法对Piperiver图像的分割结果，图6(d)是用本发明方法对Piperiver图像的分割结果。

从图6可见，本发明方法在定位边界方面比多项式隐模型方法有优势；本发明方法在保持区域一致性方面比基于素描图的多项式隐模型方法有优势，特别是城区、森林等区域。

综上所述，本发明不仅保持了SAR图像中区域的一致性，而且提高了边界和线目标的定位精度，使分割结果具有语义上的一致性，获得了SAR图像良好的分割效果。

以上描述仅是本发明的一个具体实例，并不构成对本发明的任何限制。显然对于本领域的专业人员来说，在了解了本发明内容和原理后，都可能在不背离本发明原理、结构的情况下，进行形式和细节上的各种修正和改变，但是这些基于本发明思想的修正和改变仍在本发明的权利要求保护范围之内。

Claims (4)

1.一种基于层次视觉语义的SAR图像分割方法，其特征在于：包括如下步骤：

(1)根据SAR图像的素描图，提取SAR图像的区域图，构建第一层为素描图第二层为区域图的层次视觉语义信息；

(2)根据区域图，将SAR图像划分为聚集、结构和匀质这三个区域；

(3)对聚集区域用水平集方法定位边界，并用基于局部线性约束编码的层次聚类方法进行分割；

(4)在结构区域中进行分割：

4a)对结构区域中的每个像素点，根据素描线的方向建立几何结构窗，并建立基于该几何结构窗的多项式逻辑回归先验模型，根据该模型，计算几何结构窗内中心像素的先验概率p₁；

4b)对结构区域中的每个像素点，将其像素灰度的概率密度和纹理的概率密度相乘得到似然概率p₂，其中灰度的概率密度由Nakagami分布得到，纹理的概率密度由t分布得到；

4c)将先验概率p₁和似然概率p₂相乘得到后验概率p₁₂，根据最大后验概率准则，得到结构区域分割结果；

(5)根据SAR图像中的线目标和素描线的关系设计视觉语义规则：

5a)设定线目标与素描线两者之间的关系：

设第i条素描线l_i与第j条素描线l_j之间的距离为D_ij，l_i的方向为O_i，l_j的方向为O_j，i,j∈[1,2,...,S]，S为素描线的总条数；

将宽度大于3个像素的线目标用两条素描线l_i和l_j表示，l_i和l_j之间的距离D_ij小于T₁且方向差(O_i-O_j)小于10度，其中T₁＝5；

设定第s条素描线l_s的几何结构窗w_s内每一列的平均灰度为A_i，设定相邻列的灰度差为AD_i＝|A_i-A_i+1|，设定z_s＝[z_s1,z_s2,...,z_s9]为相邻列的灰度差AD_i的标记向量；

将宽度小于3个像素的线目标用单个素描线l_s表示，l_s的几何结构窗w_s内，计算相邻列的灰度差AD_i，如果AD_i＞T₂，则z_si＝1；否则z_si＝0，z_s中有两个元素的值为1，其余为0，其中T₂＝34；

5b)根据上述关系，设计视觉语义规则如下：

设L₁,L₂是表示线目标的素描线的集合；

规则1：如果D_ij＜T₁并且|O_i-O_j|＜10，则l_i,l_j∈L₁；

规则2：如果sum(z_s)＝2，则l_s∈L₂，其中sum(·)表示参量元素的和；

(6)对线目标进行分割：

在结构区域的分割结果上，根据线目标的素描线的集合L₁，标记l_i和l_j之间的区域为线目标；

在结构区域的分割结果上，根据线目标的素描线的集合L₂，标记覆盖l_s的区域为线目标；

(7)对匀质区域进行分割：

7a)对匀质区域中的每个像素点，建立3×3的方形窗口，并计算该窗口的标准差σ₁；

7b)将窗口增加两行两列，计算当前窗口的标准差σ₂；

7c)设标准差阈值T₃＝3，如果|σ₁-σ₂|＜T₃，则把当前窗口作为最终的窗口大小，执行7d)；否则返回到7b)；

7d)对匀质区域的中每个像素点，根据步骤7c)得到的窗口大小，建立基于该窗口的多项式逻辑回归先验模型，根据该模型，计算该窗口内中心像素的先验概率p′₁；

7e)对匀质区域中的每个像素点，将其像素灰度的概率密度和纹理的概率密度相乘得到似然概率p₂'，其中灰度的概率密度由Nakagami分布得到，纹理的概率密度由t分布得到；

7f)将先验概率p₁'与似然概率p₂'相乘得到后验概率p₁₂'，根据最大后验概率准则，得到匀质区域分割结果；

(8)将聚集区域、结构区域、线目标和匀质区域的分割结果合并，得到最终分割结果。

2.根据权利要求1所述的基于层次视觉语义的SAR图像分割方法，其特征在于：其中步骤(1)所涉及根据SAR图像的素描图，提取SAR图像的区域图，构建第一层为素描图第二层为区域图的层次视觉语义信息，按如下步骤进行：

(1.1)利用SAR图像初始素描图获取方法，提取SAR图像素描图；

(1.2)设第m条素描线l_m与第n条素描线l_n之间的距离为D_mn，m,n∈[1,2,...,S]，S为素描线的总条数，定义l_m的聚集度a(l_m)为：

$a\left(l_m\right)=\frac{1}{V}\underset{i=1}{\overset{v}{\mathrm{\Σ}}}\mathrm{sort}\left(D_{\mathrm{mn}}\right),n\∈[\mathrm{1,2},...,S],$

其中，sort(·)表示将参量中的元素按非降序排列，V是参数且其取值范围为[3-9]，

根据上述素描线的聚集度，将素描线划分为聚集的素描线和非聚集的素描线；

(1.3)组成区域图：

对聚集的素描线，采用形态学闭操作的区域提取算子，得到聚集区域；

对非聚集的素描线，采用几何结构窗的区域提取算子，得到结构区域；

将剩下的区域为作为不可素描区域；

用聚集区域、结构区域和不可素描区域组成SAR图像区域图。

(1.4)将SAR图像素描图作为第一层语义，将SAR图像区域图作为第二层语义，构成层次视觉语义信息。

3.根据权利要求1所述的基于层次视觉语义的SAR图像分割方法，其特征在于：其中所述步骤4a)中计算几何结构窗内中心像素的先验概率p₁，按如下公式计算：

$p_1=\frac{\exp \left(\mathrm{\η}(1+x_k)\right)}{\underset{i=1}{\overset{K}{\mathrm{\Σ}}}\exp \left(\mathrm{\η}(1+x_i)\right)}$

其中K＝3为分割的类别数，x_k为几何结构窗内属于第k类的像素个数，x_i为几何结构窗内属于第i类的像素个数，η取值为1，exp(·)为指数函数，k∈[1,...,K]。

4.根据权利要求1所述的基于层次视觉语义的SAR图像分割方法，其特征在于：其中所述步骤7d)中计算该窗口内中心像素的先验概率p₁'，按如下公式进行：

${p_1}^{\′}=\frac{\exp \left({\mathrm{\η}}^{\′}(1+{x_{k^{\′}}}^{\′})\right)}{\underset{i=1}{\overset{K^{\′}}{\mathrm{\Σ}}}\exp \left({\mathrm{\η}}^{\′}(1+{x_{i^{\′}}}^{\′})\right)},$

其中K'＝3为分割的类别数，x_k'为步骤7c)得到的窗口内属于第k'类的像素个数，x_i'为步骤7c)得到的窗口内属于第i'类的像素个数，η'取值为1，exp(·)指数函数，k'∈[1,...,K']。