CN103198479B - 基于语义信息分类的sar图像分割方法 - Google Patents

Abstract

本发明公开一种基于语义信息分类的SAR图像分割方法，主要解决现有分割方法无法通过无监督分割得到一致连通的地物目标聚集形成的如森林、建筑群等地物区域的问题。其实现过程为：(1)对输入的SAR图像使用初始素描模型得到表示图像结构信息的初始素描图；(2)在初始素描图上进行语义信息分析，得到所有线段的语义信息分类结果；(3)基于语义信息分析划分出由地物目标聚集形成的地物区域；(4)对剩余区域，分为待确定区域和非线段区域，分别进行相应的SAR图像分割，完成最终的SAR图像分割。本发明与现有技术相比，通用性强，可以实现对含有大片地物目标聚集形成的地物区域的SAR图像的分割，分割结果一致连通性好，边缘定位准确，并可分割出独立的地物目标。

Description

基于语义信息分类的SAR图像分割方法

技术领域

本发明属于图像处理技术领域，涉及SAR图像的分割方法，可用于SAR图像的处理及解译。

背景技术

图像分割是将图像划分成多个具有相似特征区域的技术与过程，是图像处理中的重要问题。计算机视觉中图像理解，包括目标检测、目标特征提取和目标识别等，都依赖于图像分割的质量。图像分割的两个主要衡量标准为：分割区域边缘定位的准确性以及分割区域内部特征的一致性。按照分割策略，图像分割方法大致可分为：依据特征的不连续性进行分割、依据特征的相似性进行分割和综合两种信息的进行分割三大类。

SAR图像分割是从SAR图像处理到SAR图像解译的关键步骤，是进行目标识别、数据压缩、传递等进一步处理的最基本且关键的技术。所以高质量的分割方法对SAR图像处理显得尤为重要。但由于SAR图像的特殊成像机理，SAR图像和光学图像存在很大差异，大量的相干斑噪声、复杂繁多的目标、交杂的阴影使得SAR图像的分割变得相当复杂。目前用于SAR图像分割的方法处理思路可粗分为两类：基于灰度级的分割、基于纹理的分割。然而，在实际应用中，这两类方法依存在如下一些不足：

（1）基于灰度级的分割方法，以像素或超像素为处理单位，对SAR图像进行无监督地分割，但是这类方法在SAR图像中的森林、建筑物群等地物区域上存在严重的过分割现象，得不到一致性较好的连通区域，不利于后续的图像处理，如图像分类、目标识别；

（2）基于纹理的分割方法，通过纹理分析方法提取SAR图像地物的纹理特征来描绘地物的特性，来进行SAR图像分割，虽然可以得到在森林、建筑物等地物区域上得到一致连通的分割结果，但是要求提供用于描述纹理的模型，并提供用于学习模型参数的样本数据，属于有监督的SAR图像分割，不能实现对SAR图像数据的自动处理，限制了这一类分割算法在SAR图像自动解译系统中的应用。

发明内容

本发明的目的在于克服上述已有SAR图像分割方法的不足，从视觉计算理论出发，根据SAR图像中不同地物内像素灰度的邻域变化所蕴含的属性，提出一种基于语义信息分类的SAR图像分割方法，进行地物内像素灰度邻域变化的描述和使用，并结合传统使用灰度信息进行分割的分割方法，完成对含有复杂灰度变化的地物的分割，以提高连通区域的一致性，并实现对SAR图像数据的自动处理。

为实现上述目的，本发明的主要思路是，使用初始素描模型得到表示图像多尺度像素灰度邻域变化的初始素描图，依据初始素描图定义其线段的聚集性数值和分布结构特征来表达线段在SAR图像中所蕴含的不同语义信息，并按照线段的语义信息对线段进行分类；基于语义信息进行分析，在初始素描图上获取连通区域，完成对含有复杂灰度变化的线段地物区域的分割；对初始素描图中的剩余区域，通过一种基于部分区域的分水岭分割方法实现这部分SAR图像的分割，完成基于初始素描图和语义信息分类的SAR图像分割。具体步骤包括如下：

（1）使用初始素描模型得到SAR图像的初始素描图，该初始素描图包含线段集合{S_i,i=1,2,...,n}，n为线段的总数；

（2）定义并计算初始素描图中所有线段的聚集性数值和分布结构，根据这些聚集性数值和分布结构进行线段的分类：

2a）计算初始素描图所包含的线段集合中所有线段S_i,i=1,2,...,n与其K-近邻线段的欧式距离的均值，表示为线段S_i的聚集性数值a_i：

$a_i=\frac{1}{M}\underset{j=1}{\overset{M}{\mathrm{\Σ}}}{D}_{\mathrm{ij}}$

其中(x_i,y_i)、(x_j,y_j)分别为线段S_i、S_j的中点坐标，M表示与线段S_i相近邻的线段的个数，D_ij表示线段S_i、S_j的欧式距离；

2b）对线段的聚集性数值a_i,i=1,2,...n进行直方图统计，根据直方图的最高峰值点计算线段S_i,i=1,2,...,n的最优聚集性数值区间R：

R=[P-δ,P+δ]=[L,U]，

其中，P是聚集性数值直方图中最高峰值点对应的聚集性数值，δ是系统参数，取值为4，L、U分别表示最优聚集性数值区间R的下界、上界;

2c）划分线段S_i,i=1,2,...,n的分布结构特征，规定与线段S_i距离小于最优聚集性数值区间上界U的线段为线段S_i的相邻线段，如果相邻线段分布在线段S_i的两侧，则线段S_i的分布结构划为双侧聚集；如果相邻线段全部分布在线段S_i的某一侧，则线段S_i的分布结构划为单侧聚集；

2d）根据线段S_i,i=1,2,...,n的聚集性数值a_i,i=1,2,...n和分布结构特征进行线段的分类标记，即将聚集性数值在最优聚集性数值区间内，且分布结构为双侧聚集的线段标记为一类，剩余线段标记为另一类。

（3）根据步骤(2)对线段S_i,i=1,2,...,n的分类结果，完成SAR图像中地物目标聚集形成的线段地物区域的划分，得到地物区域集合{ER_k,k=1,2,...,m}，m是划分得到的区域个数：

3a）根据线段聚集性数值a_i,i=1,2,...n的直方图统计，选取聚集性数值等于最优聚集性数值P的线段作为种子线段集{E_k,k=1,2,...,m}；

3b）对于种子线段集{E_k,k=1,2,...,m}，如果线段E_k没有被添加进某个线段集合，则以线段E_k为基点递归地求解新的线段集合{ES_i,i=1,2,...,l}，l<=m；

3c）使用半径为最优聚集性数值区间上界U的圆形基元，先对线段集合中的线段进行膨胀，然后在线段集合外进行腐蚀，在初始素描图上得到以像素为单位的区域；

3d）提取初始素描图中区域在SAR图像上的对应的线段地物区域，即森林、建筑物群区域，完成对初始素描图中地物区域的划分；

（4）对初始素描图中地物区域划分后的剩余区域，采用基于部分区域的分水岭方法再进行分割，完成整个SAR图像的分割：

4a）提取步骤（3）得到的线段地物区域的边缘和初始素描图中不在线段地物区域内的孤立线段，使用半径为最优聚集性数值区间上界U的圆形结构元素膨胀得到待确定区域，将初始素描图中除线段地物区域和待确定区域外的部分称为非线段区域；

4b）计算SAR图像的比值梯度响应值，其值位于[0，1]之间，将其中对应的待确定区域和非线段区域的边缘处像素的梯度响应值赋值为1，并将梯度响应量化为[0，255]之间的数值，得到最终的梯度图；

4c）在梯度图上进行分水岭分割，分别提取待确定区域和非线段区域的SAR图像的分水岭过分割结果；

4d）对待确定区域的过分割结果进行合并操作，得到临界区域，对非线段区域的过分割结果进行合并操作，得到非线段地物区域；

4f）设置基于灰度特征的阈值T1=20，将步骤（4d）得到的临界区域相邻的非线段区域分割结果中的区域灰度距离表示为l，并将这两个参数进行比较：

如果l≥T1，则将临界区域合并到步骤（3d）中提取的线段地物区域中；

如果l<T1，则将临界区域合并到步骤（4d）得到的非线段区域中，

最后将剩余未处理的临界区域作为独立的地物目标，得到最终的SAR图像分割结果。

本发明与现有技术相比，具有如下优点：

1、对地物目标聚集形成的地物区域的分割结果一致连通性较好

本发明首先在初始素描图上，通过对线段蕴含的语义信息进行分析，无监督地得到由地物目标聚集形成的地物区域，从而保证分割结果中同一地物区域的一致连通。

2、能正确检测出所有的独立地物目标

本发明考虑初始素描图中的孤立线段，提取待确定区域，从待确定区域的SAR图像分割得到的临界区域中，正确完整地分割出了所有的独立地物目标，保证了点、线等地物目标没有被淹没在其它地物区域的分割结果中。

3、可自动处理SAR图像数据

本发明由于不需要提供用于描述SAR图像纹理的模型，也不需要提供用于学习模型参数的样本数据，属于无监督的SAR图像分割方法，因而能够完成对SAR图像数据的自动处理。

附图说明

图1是本发明的流程图；

图2是本发明中的仿真实验使用的原SAR图像；

图3是对图2使用初始素描模型得到的初始素描图；

图4是本发明中线段聚集性数值的直方图统计结果图；

图5是本发明中基于语义信息的线段分类结果图；

图6是本发明中基于语义信息分析得到的区域结果图；

图7是本发明中待确定区域SAR图像分割的结果图；

图8是本发明中非线段区域SAR图像分割的结果图；

图9是用本发明对SAR图像的最终分割结果图。

具体实施方式

下面结合附图对本发明做进一步描述。

参照图1，本发明的具体实施步骤如下：

步骤1，获取SAR图像结构信息的初始素描图。

输入如图2所示的一幅SAR图像，使用初始素描模型将其划分为可素描部分和不可素描部分，分别用以表示图像中的结构信息和纹理信息，再利用文中提出的草图追踪算法对图像结构信息的可素描部分进行提取和描述，得到初始素描图，该初始素描图包含单像素宽的线段集合{S_i,i=1,2,...,n}，如图3所示，n为线段的总数，取值为1362；

所述的初始素描模型，参见Cheng-enGuo等人于2007年发表在计算机视觉与图形理解杂志上的文章《PrimalSketch：IntegratingTextureandStructure》。

步骤2，定义并计算图3中线段的聚集性数值和分布结构，依据这些计算结果进行线段分类标记。

2a）计算图3中所有线段S_i,i=1,2,...n与其K-近邻线段的欧式距离的均值，表示为线段S_i的聚集性数值a_i：

$a_i=\frac{1}{M}\underset{j=1}{\overset{M}{\mathrm{\&Sigma;}}}{D}_{\mathrm{ij}}$

其中(x_i,y_i)、(x_j,y_j)分别为线段S_i、S_j的中点坐标，M表示与线段S_i相近邻的线段的个数，D_ij表示线段S_i、S_j的欧式距离，n取值为1362；

2b）统计所有线段S_i,i=1,2,...n的聚集性数值a_i,i=1,2,...n，得到聚集性数值直方图，结果如图4所示，根据该直方图计算线段S_i的最优聚集性数值区间R：

R=[P-δ,P+δ]=[L,U]，

其中，P是聚集性数值直方图中最高峰值点对应的聚集性数值，δ是系统参数，取值为4，L、U分别表示最优聚集性数值区间R的下界、上界；

2c）划分图3中线段S_i的分布结构特征，即将与线段S_i距离小于最优聚集性数值区间上界U的线段定义为线段S_i的相邻线段，如果该相邻线段分布在线段S_i的两侧，则线段S_i的分布结构称为双侧聚集；如果该相邻线段全部分布在线段S_i的某一侧，则线段S_i的分布结构称为单侧聚集；

2d）根据线段S_i的聚集性数值a_i和分布结构特征，对图3中的线段进行分类标记，即将聚集性数值在最优聚集性数值区间内，且分布结构为双侧聚集的线段标记为一类，将剩余线段标记为另一类，结果如图5所示。

步骤3，根据图5所示的线段分类结果，完成SAR图像中地物目标聚集形成的线段地物区域的划分，得到地物区域集合{ER_k,k=1,2,...,m}，m是划分得到的区域个数。

3a）根据线段聚集性数值a_i,i=1,2,...n的直方图统计，选取聚集性数值等于最优聚集性数值P的线段作为种子线段集{E_k,k=1,2,...,m}，m取值为236；

3b）对于种子线段集{E_k,k=1,2,...,m}，如果该线段E_k没有被添加进线段集合{ES_i,i=1,2,...,m}中，则以线段E_k为基点，递归地求解其他新的线段集合{ES'_i,i=1,2,...,l}，l取值为21；

3c）使用直径为最优聚集性数值区间上界U的圆形基元，先对线段集合{ES_i,i=1,2,...,m}中的线段进行膨胀，然后在线段集合{ES_i,i=1,2,...,m}外进行腐蚀，在初始素描图上得到以像素为单位的区域，结果如图6(a)所示；

3d）根据3c)得到的以像素为单位的区域，提取初始素描图中的线段地物区域{ER_k,k=1,2,...,m}，结果如图6(b)所示。

步骤4，利用基于部分区域的分水岭方法，对图5中除线段地物区域外的剩余区域进行分割，完成整体SAR图像的分割。

4a）提取图5中线段地物区域的边缘和初始素描图中不在线段地物区域内的孤立线段，将半径为最优聚集性数值区间上界U的圆形基元进行膨胀，得到待确定区域，并将初始素描图中除地物区域和待确定区域外的部分称为非线段区域；

4b）计算SAR图像的比值梯度响应值，即以图像上的每一个像素为中心，使用大小为9×9的窗口，计算窗口内像素灰度值在方向0°、90°、45°和135°上的比值，其中最大的比值就是窗口中心像素最终的比值响应值，该比值梯度响应值位于[0，1]之间，将待确定区域和非线段区域的边缘处像素的梯度响应值赋值为1，并将梯度响应量化为[0，255]之间的数值，得到最终的梯度图；

4c）在梯度图上进行分水岭分割，分别提取待确定区域和非线段区域的SAR图像的分水岭过分割结果，结果分别如图7(a)和图8(a)所示，其中图7(a)是待确定区域SAR图像分割的结果图，图8(a)是非线性区域的SAR图像分割的结果图；

分水岭分割过程参见FernandMeyer1994年在ELSEVIER的SignalProcessing上发表的《Topographicdistanceandwatershedlines》；

4d）对待确定区域的过分割结果进行合并操作，得到临界区域，对非线段区域的过分割结果进行合并操作，得到非线段地物区域，结果分别如图7(b)和图8(b)所示，其中图7(b)是将待确定区域的过分割结果进行合并的结果图，图8(b)是将非线段区域的过分割结果进行合并的结果图；

4e）设置基于灰度特征的阈值T1=20，将步骤（4d）得到的临界区域相邻的非线段区域分割结果中的区域灰度距离表示为l，并将这两个参数进行比较：

如果l≥T1，则将临界区域合并到步骤（3d）中提取的线段地物区域中；

如果l<T1，则将临界区域合并到步骤（4d）得到的非线段区域中；

最后将剩余未处理的临界区域作为独立的地物目标，得到最终的SAR图像分割结果，如图9(b)所示。

本发明的优点由以下仿真的数据和图像进一步说明：

1.仿真条件

(1)仿真实验中使用的SAR图像是Ku波段1m分辨率SAR图像，如图2所示，图像场景是美国新墨西哥州阿尔伯克基RioGrande河的一段，图像大小为550×430，其中包含了大片的由树木聚集成的森林区域，以及树木、桥梁等独立目标。

(2)仿真实验中得到的原SAR图像的初始素描图中共有1362条线段，如图3所示。

(3)仿真实验中对两条线段共线关系的判定规则是，若两条线段之间的夹角小于5°，且到图像左上角顶点像素的距离差值小于3。

(4)仿真实验中，相邻线段相对于线段S_i的方位的判定规则是，若两条线段中点的连线和线段S_i的夹角大于等于10°，则相邻线段位于线段S_i的一侧。

2.仿真内容与结果

仿真1，运用本发明的SAR图像分割方法，在原SAR图像的初始素描图上，采用语义信息进行线段分类，分类结果如图5所示，其中黑色线段是聚集性数值a_i位于聚集性数值最优区间R内，且分布结构为双侧聚集的线段，浅灰色线段是其它剩余的线段；

仿真2，运用基于语义信息分析的地物区域划分方法，将初始素描图进行地物区域划分，得到21个地物区域，如图6所示。其中图6(a)是在初始素描图上进行基于语义信息分析的区域划分的结果，得到线段聚集的森林等区域，其中，图中黑色曲线是区域的边界，浅灰色线段是各线段集合中的线段，图6(b)是这些区域对应于原SAR图像上的地物区域，黑色曲线描述所得到的地物区域的边界信息；

仿真3，对初始素描图中剩余区域的待确定区域进行SAR图像分割，分割结果如图7所示，其中图7(a)是对图6中地物区域边缘和不在线段地物区域内部的孤立线段膨胀得到的待确定区域的分水岭过分割结果；图7(b)是待确定区域的过分割结果在以灰度为特征、阈值为20的约束下的合并结果；

仿真4，对初始素描图中剩余区域的非线段区域进行SAR图像分割，分割结果如图8所示，其中图8(a)是对非线段区域进行分水岭分割的过分割结果，图8(b)是非线段区域在以灰度为特征、阈值为25的约束下的合并结果。

仿真5，将仿真2得到的地物区域划分结果、仿真3得到的待确定区域的SAR图像分割结果以及仿真4得到的非线段区域的SAR图像分割结果进行合并处理，得到最终的SAR图像分割结果，如图9所示，其中图9(a)是Rutgers的RIUL实验室实现的MeanShift分割算法在空间窗大小为13、特征空间窗为13、最小区域阈值为1的条件下的SAR图像分割结果，图9(b)是基于初始素描图和语义信息分析的SAR图像分割方法的SAR图像分割结果。

从图6可见，利用本发明在SAR图像的初始素描图上进行基于语义信息分析的地物区域的划分，虽然得到的地物区域的细节描述不是很准确，但划分出的地物区域一致连通性高，且能得到SAR图像上所有的地物目标聚集形成的地物区域如森林都能较好地提取。

从图9可见，本发明将剩余区域分为待确定区域和非线段区域分别进行相应的SAR图像分割，得到的最终SAR图像分割结果中，线段地物区域的分割结果也有了较好的边缘定位准确度，并且准确得到了大部分独立地物目标如树木、桥梁的分割结果。

综上所述，本发明是一种基于语义信息分类的SAR图像分割方法，可以有效地分割出地物目标聚集形成的地物区域和独立的地物目标，并且分割结果具有较好的边缘准确度，可以有效地用于具有大片如森林、建筑物群的SAR图像的无监督分割。

Claims (2)

1.一种基于语义信息分类的SAR图像分割方法，具体步骤包括如下：

(1)使用初始素描模型得到SAR图像的初始素描图，该初始素描图包含线段集合{S_i,i＝1,2,...,n}，n为线段的总数；

(2)定义并计算初始素描图中所有线段的聚集性数值和分布结构，根据这些聚集性数值和分布结构进行线段的分类：

2a)计算初始素描图所包含的线段集合中所有线段S_i,i＝1,2,...,n与其K-近邻线段的欧式距离的均值，表示为线段S_i的聚集性数值a_i：

$a_i=\frac{1}{M}\underset{j=1}{\overset{M}{\mathrm{\&Sigma;}}}{D}_{\mathrm{ij}}$

其中(x_i,y_i)、(x_j,y_j)分别为线段S_i、S_j的中点坐标，M表示与线段S_i相近邻的线段的个数，D_ij表示线段S_i、S_j的欧式距离；

2b)对线段的聚集性数值a_i,i＝1,2,...n进行直方图统计，根据直方图的最高峰值点计算线段S_i,i＝1,2,...,n的最优聚集性数值区间R：

R＝[P-δ,P+δ]＝[L,U]，

其中，P是聚集性数值直方图中最高峰值点对应的聚集性数值，δ是系统参数，取值为4，L、U分别表示最优聚集性数值区间R的下界、上界；

2c)划分线段S_i,i＝1,2,...,n的分布结构特征，规定与线段S_i距离小于最优聚集性数值区间上界U的线段为线段S_i的相邻线段，如果相邻线段分布在线段S_i的两侧，则线段S_i的分布结构划为双侧聚集；如果相邻线段全部分布在线段S_i的某一侧，则线段S_i的分布结构划为单侧聚集；

2d)根据线段S_i,i＝1,2,...,n的聚集性数值a_i,i＝1,2,...n和分布结构特征进行线段的分类标记，即将聚集性数值在最优聚集性数值区间内，且分布结构为双侧聚集的线段标记为一类，剩余线段标记为另一类；

(3)根据步骤(2)对线段S_i,i＝1,2,...,n的分类结果，完成SAR图像中地物目标聚集形成的线段地物区域的划分，得到地物区域集合{ER_k,k＝1,2,...,m}，m是划分得到的区域个数：

3a)根据线段聚集性数值a_i,i＝1,2,...n的直方图统计，选取聚集性数值等于最优聚集性数值P的线段作为种子线段集：{E_k,k＝1,2,...,m}；

3b)对于种子线段集{E_k,k＝1,2,...,m}，如果该线段E_k没有被添加进线段集合{ES_i,i＝1,2,...,m}中，则以线段E_k为基点，递归地求解其他新的线段集合{ES'_i,i＝1,2,...,l}，l取值为21；

3c)使用半径为最优聚集性数值区间上界U的圆形基元，先对线段集合中的线段进行膨胀，然后在线段集合外进行腐蚀，在初始素描图上得到以像素为单位的区域；

3d)提取初始素描图中区域在SAR图像上的对应的线段地物区域，即森林、建筑物群区域，完成对初始素描图中地物区域的划分；

(4)对初始素描图中地物区域划分后的剩余区域，采用基于部分区域的分水岭方法再进行分割，完成整个SAR图像的分割：

4a)提取步骤(3)得到的线段地物区域的边缘和初始素描图中不在线段地物区域内的孤立线段，将半径为最优聚集性数值区间上界U的圆形基元进行膨胀，得到待确定区域，将初始素描图中除线段地物区域和待确定区域外的部分称为非线段区域；

4b)计算SAR图像的比值梯度响应值，其值位于[0，1]之间，将其中对应的待确定区域和非线段区域的边缘处像素的梯度响应值赋值为1，并将梯度响应量化为[0，255]之间的数值，得到最终的梯度图；

4c)在梯度图上进行分水岭分割，分别提取待确定区域和非线段区域的SAR图像的分水岭过分割结果；

4d)对待确定区域的过分割结果进行合并操作，得到临界区域，对非线段区域的过分割结果进行合并操作，得到非线段地物区域；

4f)设置基于灰度特征的阈值T1＝20，将步骤(4d)得到的临界区域相邻的非线段区域分割结果中的区域灰度距离表示为l，并将这两个参数进行比较：

如果l≥T1，则将临界区域合并到步骤(3d)中提取的线段地物区域中；

如果l<T1，则将临界区域合并到步骤(4d)得到的非线段区域中；

最后将剩余未处理的临界区域作为独立的地物目标，得到最终的SAR图像分割结果。

2.根据权利要求1所述的基于语义信息分类的SAR图像分割方法，其中步骤4b)所述的计算SAR图像的比值梯度响应值的过程为：以图像上的每一个像素为中心，使用大小为9×9的窗口，计算窗口内像素灰度值在方向0°、90°、45°和135°上的比值，其中最大的比值就是窗口中心像素最终的比值响应值。