CN109712153A

CN109712153A - 一种遥感图像城区超像素分割方法

Info

Publication number: CN109712153A
Application number: CN201811594274.2A
Authority: CN
Inventors: 项德良; 王世晞; 张亮; 徐建忠
Original assignee: Hangzhou Shiping Information & Technology Co Ltd
Current assignee: Hangzhou Shiping Information & Technology Co Ltd
Priority date: 2018-12-25
Filing date: 2018-12-25
Publication date: 2019-05-03

Abstract

一种遥感图像城区超像素分割方法，包括：步骤一、初始化SAR图像的聚类中心；步骤二、在局部邻域内进行梯度计算，对初始化聚类中心进行优化和调整；步骤三、定义SAR图像的像素相似性测度；步骤四、根据像素相似性测度和搜索范围的限定进行迭代聚类；步骤五、消除孤立像素；步骤六、生成超像素边缘和超像素分割结果。本发明针对SAR图像相干斑噪声特点以及建筑物复杂几何特性，定义SAR图像的像素相似性测度，根据像素相似性测度和搜索范围的限定进行迭代聚类，考虑了SAR图像中像素灰度和位置信息，基于SLIC方法改进超像素生成策略，对SAR图像相干斑噪声有一定鲁棒性，能较好的保持图像细节。

Description

一种遥感图像城区超像素分割方法

技术领域

本发明属于遥感图像信息处理领域，具体涉及一种遥感图像城区超像素分割方法，用于对合成孔径雷达(SAR)图像复杂城区建筑物进行精细化分割生成图像对象，为面向对象的遥感图像信息提取奠定基础，为SAR图像分类以及建筑物检测提供重要的特征信息。

背景技术

合成孔径雷达(Synthetic Aperture Radar，SAR)是一种高分辨率微波遥感成像雷达，作为应用广泛的遥感传感器，其具有全天时、全天候、多波段、穿透性强等特点。快速有效地实现SAR图像的自动解译，提取图像中所需要的重要目标信息将是雷达遥感图像研究领域的重要发展方向。SAR图像分割作为该发展方向的核心内容，在遥感图像处理领域中占据重要地位。传统的SAR图像分割算法以像素为单元进行分割，而基于超像素的SAR图像分割算法是以超像素代替传统的逐像素用于后续分割。相比而言，基于超像素的SAR图像分割在很大程度上提高了分割准确率，降低了后续图像处理复杂度，具有十分必要的应用需求。

超像素为图像上的像素灰度、位置以及光谱等特征相近或相似的匀质区域，并且该区域形状规则，易于处理，因此超像素生成与分割技术是当前图像分割、分类、降噪等应用的研究热点。超像素具有下列特点：(1)具有保持图像边界信息能力，即超像素的边界应该尽可能为图像的边界；(2)从图像预处理角度考虑，超像素生成算法需要尽可能简单易用并且高效；(3)超像素在图像分割中应该有效区分不同目标并且保持目标结构细节信息。

已有研究提出各种光学图像超像素生成算法，如Meanshift方法，Quickshift方法，Normalized-Cuts方法，Turbopixel方法，这些方法计算复杂度较高并且超像素分割结果的边界保持能力较弱。当前应用广泛的是一种简单线性迭代聚类(Simple LinearIterative Clustering，SLIC)方法，该方法在图像一个局部区域内采用K均值迭代聚类的方法生成超像素，具有高效、简单并且边界保持性好的优点。由于SAR图像不同于光学图像的侧视成像特点以及固有的相干斑噪声影响，上述传统的光学图像超像素生成算法不能直接应用在SAR图像上。针对SAR图像超像素生成，武汉大学Fachao Qin等人基于Wishart像素距离测度改进了传统的SLIC超像素生成方法，使其有效应用在全极化SAR图像中。上海交通大学Liu Bin等人提出一种基于Wishart距离测度的改进Normalized cuts方法用来生成SAR图像的超像素，该方法能对SAR图像得到比较理想的分割效果。西安电子科技大学Gan等人提出利用ROEWA算子提取边界能量和Turbopixel算法生成超像素图，再结合马尔可夫场模型对异化超像素图进行相干斑噪声抑制，完成SAR图像超像素分割。电子科技大学JilanFeng等人提出结合幅度和纹理特征以及条件随机场构建超像素，并合并图像初始分割结果对SAR图像实现面向对象的生成和分割，探索利用基于SAR图像统计模型和像素灰度均值比的能量函数最优化生成超像素。上述的超像素生成算法大都是来自传统光学图像超像素生成算法，虽然针对SAR图像的噪声特性进行了改进，并非针对SAR图像特点而设计的，此外在SAR图像复杂城区应用效果还不理想，针对高分辨率建筑物的精细化分割精度还不够，还需要进一步研究。

发明内容

本发明的目的在于针对上述现有技术中的问题，提供一种遥感图像城区超像素分割方法，针对SAR图像相干斑噪声特点以及建筑物复杂几何特性，基于SLIC方法改进超像素生成策略并应用到SAR图像分割中，能较好的保持图像细节，对相干斑中噪声也有一定鲁棒性。

为了实现上述目的，本发明采用的技术方案为，包括以下步骤：

步骤一、初始化SAR图像的聚类中心；

步骤二、在局部邻域内进行梯度计算，对初始化聚类中心进行优化和调整；

步骤三、定义SAR图像的像素相似性测度；

步骤四、根据像素相似性测度和搜索范围的限定进行迭代聚类；

步骤五、消除孤立像素；

步骤六、生成超像素边缘和超像素分割结果。

步骤一首先将初始的聚类中心按照均匀网格方式分布在图像内，图像的像素个数为N，设定超像素个数为k，网格边长为假设S＝{(h,w)|1≤h≤H,1≤w≤W}是二维图像矩阵坐标，I＝{I(h,w)|(h,w)∈S}为待处理的SAR图像，将SAR图像划分为m'×n'个网格，其中，regionSize为相邻聚类中心距离，也即网格的边长。

步骤二优化和调整的过程为：以每个聚类中心为窗口基准，在每个聚类中心周围大小为3×3的范围内搜索最小梯度值，并记录下该最小梯度值所对应的位置，替换为新的聚类中心。

SAR图像的像素特征矢量为[I,X,Y]，I为像素强度，[X,Y]为其空间位置坐标；

像素i和j的强度比率距离为：

其中，I_i和I_j分别表示以像素i和j为中心的局部区域所有像素强度特征矢量，变量M为该局部区域内像素个数，函数G表示标准高斯核函数；定义相似度如下：

这里，r_i,j,k表示特征矢量I_i和I_j第k个元素的比率，其概率密度定义为：

其中，L为SAR图像的等效视数，Γ(·)为Gamma函数；

像素空间位置距离定义为：

其中，x_i,y_i和x_j,y_j分别为像素i和j在图像中的空间位置坐标；

采用标准高斯核函数将上述距离映射为相似度，即：

定义最终的SAR图像的像素相似度为：

S(i,j)＝S_I(i,j)+λ·S_XY(i,j)；

参数λ用于平衡细节丰富区域与匀质区域的相似度指标。

所述的步骤四以聚类中心为核心，在其2S×2S的邻域范围内搜索，在聚类过程中，将与类别中心距离最小的像素归为当前类别，并重新计算聚类中心，按照此方法不断迭代，直到遇到终止条件，即前后迭代聚类中心的差值小于设定的阈值E。所述的步骤五将最终结果中存在的孤立点归为距离最近的类别，以此消除聚类过程中存在的孤立点。所述的步骤六在得到超像素之后，每个像素具有唯一的标签，根据像素标签信息进行超像素内部灰度值平均，得到超像素分割结果图，根据超像素标签的不同计算梯度，从而得到超像素的边缘。

与现有技术相比，本发明具有如下的有益效果：针对SAR图像相干斑噪声特点以及建筑物复杂几何特性，定义SAR图像的像素相似性测度，根据像素相似性测度和搜索范围的限定进行迭代聚类，本发明考虑了SAR图像中像素灰度和位置信息，基于SLIC方法改进超像素生成策略，对SAR图像相干斑噪声有一定鲁棒性，能较好的保持图像细节。

附图说明

图1图像初始化聚类中心和搜索边界；

图2聚类算法像素迭代搜索范围：(a)全图搜索；(b)局部搜索；

图3本发明SAR图像超像素生成算法描述流程图；

图4实测SAR图像超像素生成结果图：

(a)原始图像；(b)本发明的生成结果图；(c)Meanshift的生成结果图；

(d)Quickshift的生成结果图；(e)Normalized-Cuts的生成结果图；(f)Turbopixel的生成结果图。

图5针对实测SAR图像在不同的regionSize和λ下得到的边界回召率折线图；

图6针对实测SAR图像在不同的maxIter下得到的边界回召率折线图；

图7不同方法针对实测SAR图像在不同的regionSize下得到的边界回召率折线图；

图8不同方法针对仿真SAR图像在1视到8视相干斑条件下得到的边界回召率折线图；

具体实施方式

下面结合附图对本发明做进一步的详细说明。

参见图3，本发明遥感图像城区超像素分割方法包括以下步骤：

步骤一、针对SAR图像，假设S＝{(h,w)|1≤h≤H,1≤w≤W}是二维图像矩阵坐标，I＝{I(h,w)|(h,w)∈S}为待处理的SAR图像，将其按图1中的方式划分为m'×n'个网格，即：

其中，regionSize为相邻聚类中心距离，也即网格的边长；

步骤二、为避免初始化聚类中心落在图像边界或者噪声点上，需要以每个聚类中心为窗口基准，在每个聚类中心周围大小为3×3的范围内搜索最小梯度值，并记录下该最小梯度值对应的位置，替换为新的聚类中心；

步骤三、该步骤需要定义SAR图像相似性测度，SAR图像像素相似性测度在很多文献中已有研究。首先传统的SLIC方法定义的相似度如下：

3a)像素i的相似度特征为f_i＝[l_i a_i b_i x_i y_i]^T，其中[l_i a_i b_i]为像素LAB颜色空间三个参数，[x_i y_i]为像素的空间位置坐标。由于这两种特征的量纲和取值范围不同，需要分别计算距离，如下所示：

其中，d_c为颜色空间特征距离，d_s为像素空间位置距离，D为结合颜色特征和空间信息的像素距离测度。在实际计算中，D为下式：

参数m为调节两种距离测度的因子，当m较大时，空间距离测度占主要，生成的超像素会更规则；当m较小时，颜色距离测度占主要，生成的超像素对图像边界拟合性更好，但同时规则性也较差。

3b)和SLIC定义的光学图像相似度不同，SAR图像像素特征矢量为[I,X,Y]，其中I为像素强度，[X,Y]为其空间位置坐标，定义像素i和j的强度比率距离为：

其中，I_i和I_j分别表示以像素i和j为中心的局部区域所有像素强度特征矢量，变量M为该局部区域内像素个数，函数G表示标准高斯核函数。

根据该距离的概率密度函数定义相似度如下：

这里r_i,j,k表示特征矢量I_i和I_j第k个元素的比率，其概率密度定义为：

其中L为SAR图像的等效视数，Γ(·)为Gamma函数。

像素空间位置距离定义为：

其中，x_i,y_i和x_j,y_j分别为像素i和j在图像中的空间位置坐标，本发明采用标准高斯核函数将上述距离映射为相似度，即：

类似SLIC中定义的像素相似度，这里采用参数λ来平衡两种相似度指标，定义最终的SAR图像像素相似度为：

S(i,j)＝S_I(i,j)+λ·S_XY(i,j)；

上式定义的相似度具有以下几点不同：

(1)同时考虑局部邻域像素灰度和位置信息；

(2)该测度对相干斑噪声有一定鲁棒性，能适用于SAR图像分割以及超像素生成；

(3)该测度需要的设置参数较少，只有平衡参数λ以及局部区域窗口尺寸一般认为八邻域可以有效描述中心像素特征，因此M可设为9。

此外可以看出，本发明中的像素相似度定义和SLIC方法在形式上类似，不同之处在于前者考虑的是像素的比率距离而后者为颜色空间欧氏距离。另外本发明是在中心像素的局部邻域内计算像素相似性而传统SLIC方法是针对单个中心像素进行计算，因此本发明方法在相似度计算上考虑了更多的局部信息，有助于抑制相干斑噪声影响。

步骤四、该步骤描述SAR图像根据之前定义的相似度在局部邻域内进行迭代聚类，针对每个聚类中心，利用K均值迭代算法将其局部搜索区域内像素按照本发明中定义的相似度进行聚类，然后更新新的聚类中心，最终同一类别的像素就组成一个超像素。需要指出的是在每个种子点周围的邻域内为每个像素点分配类标签(即属于哪个聚类中心)时，和标准的K均值聚类在整幅图像中搜索不同，本发明中限定的搜索范围为2S×2S，可以加速算法收敛。

步骤五、SAR图像超像素生成之后需要进行后处理，即增强超像素内部连通性。经过上述聚类迭代优化步骤之后可能出现以下问题，如多连通情况、超像素尺寸过小，单个超像素被切割成多个不连续超像素等，这些情况可以通过增强连通性解决。主要思路是：新建一张标记表，表内元素均为-1，按照“Z”型走向(从左到右，从上到下顺序)将不连续的超像素、尺寸过小超像素重新分配给邻近的超像素，遍历过的像素点分配给相应的标签，直到所有点遍历完毕为止。

步骤六、在得到最终的超像素之后，需要赋予给每个像素单独的标签，同一个超像素内部的像素都具有相同的标签，不同的超像素具有不同的标签。根据像素标签在3*3邻域内计算梯度，即利用Sobel或者Canny边缘检测算子得到超像素的边缘；此外还利用像素标签作为辅助信息得到超像素的灰度均值，即为超像素包含的所有像素的灰度均值。

本发明中，采用基于SAR图像像素比值距离和迭代聚类进行超像素生成以及分割的原理是：针对SAR图像复杂城区的精细化分割需求，本发明提出一种超像素分割方法，该方法针对SAR图像复杂城区生成超像素并应用到图像分割中，能较好的保持城区图像中建筑物细节，同时对相干斑中噪声也有一定鲁棒性。本发明改进了SAR图像相似度定义后，得出的分割结果必然更加合理、有效和精确，符合应用需求。

以下经过实验对本发明的分割效果进行验证：

实验采用的SAR数据为美国California地区Ku波段256行×256列大小的SAR图像，空间分辨率为3米，等效视数为4，包含多种地物类型诸如跑道、城市建筑物、道路、草地等。本发明中的实验采用实测SAR图像来验证超像素生成算法有效性并与其它算法进行对比，此外进一步利用仿真SAR图像来验证本发明方法对相干斑噪声的鲁棒性。

为了定量评估超像素生成效果，这里采用边界回召率(Boundary Recall)来计算超像素对图像目标边界的拟合度。边界回召率定义为目标真实边界像素落在超像素边界两个像素范围内的百分比，该指标被广泛用于衡量图像分割结果的边界保持性。

实验过程如下：

对上述Ku波段SAR图像分别用本发明方法、Meanshift、Quickshift、Normalized-Cuts和Turbopixel算法生成超像素结果。由于本发明方法包含3个参数，分别为最大迭代次数maxIter、超像素网格边长regionSize以及平衡参数λ，因此在实验中通过设置不同的参数并分别计算超像素边界回召率从而确定最佳的参数值。为了简便起见，其中maxIter设为15，其他maxIter值亦可得到本实验所示类似结果。其余四种方法的最优参数值可分别从相应文献中得到。

实验结果与分析阐述如下：

从图5可以看出，参数regionSize显著影响了超像素的边界回召率，如果该值过大，则超像素的分割精度不高，不能有效保持目标边界；如果该值过小，则又会造成过分割，并且计算复杂度显著增加，因此需要根据SAR图像场景的复杂程度来定义参数regionSize。由于在图4中存在复杂城区，因此regionSize设为300从而达到最高的边界回召率，如图5所示。

参数λ定义了在超像素生成过程中灰度相似性与位置相似性的相对权重，影响着超像素的规则性和紧致性。针对图4所示SAR图像，从图5可看出，λ为2时边界回召率最高。

图6给出了本发明针对实测SAR图像在不同的maxIter下生成的超像素边界回召率，其中λ设为2，regionSize设为300。可以看出，迭代次数maxIter对超像素生成精度影响不大，当maxIter超过15时，超像素的边界回召率趋于稳定。考虑到增加迭代次数会显著提高计算量，因此实验中将maxIter设为15。从图4和图7可看出，Meanshift和Quickshift算法对SAR图像相干斑噪声敏感，生成的超像素不规则并且对边界拟合度较低，因此精度较差。本发明和Turbopixel算法在图像均匀区域能产生规则的超像素，在复杂城区也能较好的拟合目标边界从而保持图像细节信息。需要指出的是，Turbopixel算法由于采用了Gaussian低通滤波因此对图像噪声有一定的鲁棒性，但和本发明相比，其边界回召率较低，同时算法耗时也较高。Normalized-Cuts算法由于在分割过程中考虑了图像轮廓和灰度信息，因此能得到较好的分割结果，但该方法对SAR图像相干斑噪声敏感。此外该方法耗时较长，计算复杂度较高。

图8给出了不同方法针对仿真SAR图像在相干斑为1视到8视条件下的超像素边界回召率。通过对普通纹理图像添加Gamma噪声从而生成相干斑，视数越低，则噪声强度越大。从图8可看出，在不同的噪声强度下，本发明方法和Turbopixel算法的边界回召率比较稳定，表明这两种方法对相干斑有较好的鲁棒性。Normalized-Cuts算法对噪声非常敏感，当噪声强度较弱时，该方法能得到较高的边界回召率，但是当噪声强度增大时，超像素精度显著下降。Meanshift和Quickshift算法同样对噪声敏感，并且在不同程度噪声下，其生成的超像素精度也要低于其他方法。从以上结果可看出，本发明方法对SAR图像相干斑具有较好的鲁棒性，在均匀图像区域能得到规则超像素，同时在复杂城区也能有效保持图像细节，这说明本发明在SAR图像复杂城区超像素生成以及精细化分割中是有效的。

Claims

1.一种遥感图像城区超像素分割方法，其特征在于，包括以下步骤：

步骤一、初始化SAR图像的聚类中心；

步骤三、定义SAR图像的像素相似性测度；

步骤五、消除孤立像素；

步骤六、生成超像素边缘和超像素分割结果。

2.根据权利要求1所述的遥感图像城区超像素分割方法，其特征在于：所述的步骤一首先将初始的聚类中心按照均匀网格方式分布在图像内，图像的像素个数为N，设定超像素个数为k，网格边长为假设S＝{(h,w)|1≤h≤H,1≤w≤W}是二维图像矩阵坐标，I＝{I(h,w)|(h,w)∈S}为待处理的SAR图像，将SAR图像划分为m'×n'个网格，其中，regionSize为相邻聚类中心距离，也即网格的边长。

3.根据权利要求1所述的遥感图像城区超像素分割方法，其特征在于，所述步骤二优化和调整的具体过程为：以每个聚类中心为窗口基准，在每个聚类中心周围大小为3×3的范围内搜索最小梯度值，并记录下该最小梯度值所对应的位置，替换为新的聚类中心。

4.根据权利要求1所述的遥感图像城区超像素分割方法，其特征在于，SAR图像的像素特征矢量为[I,X,Y]，I为像素强度，[X,Y]为其空间位置坐标，像素i和j的强度比率距离为：

其中，L为SAR图像的等效视数，Γ(·)为Gamma函数；

像素空间位置距离定义为：

采用标准高斯核函数将上述距离映射为相似度，即：

定义最终的SAR图像的像素相似度为：

S(i,j)＝S_I(i,j)+λ·S_XY(i,j)；

参数λ用于平衡细节丰富区域与匀质区域的相似度指标。

5.根据权利要求1所述的遥感图像城区超像素分割方法，其特征在于，所述的步骤四以聚类中心为核心，在其2S×2S的邻域范围内搜索，在聚类过程中，将与类别中心距离最小的像素归为当前类别，并重新计算聚类中心，直到前后迭代聚类中心的差值小于设定的阈值E。

6.根据权利要求1所述的遥感图像城区超像素分割方法，其特征在于：所述的步骤五将最终结果中存在的孤立点归为距离最近的类别，以此消除聚类过程中存在的孤立点。

7.根据权利要求1所述的遥感图像城区超像素分割方法，其特征在于：所述的步骤六在得到超像素之后，每个像素具有唯一的标签，根据像素标签信息进行超像素内部灰度值平均，得到超像素分割结果图，根据超像素标签的不同计算梯度，从而得到超像素的边缘。