CN102024262B - 利用流形谱聚类进行图像分割的方法 - Google Patents

Abstract

本发明公开了一种利用流形谱聚类进行图像分割的方法，主要解决现有方法的存储规模大、计算效率和分割精度低的问题。实现步骤为：(1)输入一幅图像，提取输入图像的颜色和纹理特征，并利用分水岭算法获得输入图像的流形集；(2)计算流形特征集，构造距离矩阵，由弗洛伊德算法得流行距离矩阵；(3)计算相似度矩阵，进而构造度矩阵以及归一化拉普拉斯矩阵；(4)特征分解归一化拉普拉斯矩阵，进而构造谱矩阵；(5)对谱矩阵进行归一化，得到归一化谱矩阵，由k均值算法得流形集的标签向量，输出分割结果。本发明存储规模小、计算效率和分割精度高，可应用于医学图像检测病灶区、精密零件表面缺陷检测、卫星拍摄的地形地貌照片的处理。

Description

利用流形谱聚类进行图像分割的方法

技术领域

本发明属于图像处理领域，涉及一种图像分割方法，具体地说是一种基于谱聚类的图像分割的方法，可用于目标检测与跟踪及对卫星拍摄地形地貌照片的处理。

背景技术

数字图像处理技术是一个跨学科的领域。随着计算机科学技术的不断发展，图像处理和分析逐渐形成了自己的科学体系，图像分割是一种重要的图像处理技术，可应用于医学图像检测病灶区、精密零件表面缺陷检测、处理卫星拍摄的地形地貌照片等。图像分割是从图像处理到图像分析的关键步骤，可以说，图像分割结果的好坏直接影响对图像的理解。为后续工作有效进行而将图像划分为若干个有意义区域的技术称为图像分割，也就是将图像中具有特殊涵义的不同区域区分开来，这些区域是互相不交叉的，每一个区域都满足特定区域的一致性，在分割结果中：1)每个区域的像素有着相同的特征；2)不同子区域具有不同的特征，并且它们没有公共特征；3)分割的所有子区域的并集就是原来的图像；4)各个子集是连通的区域。

图像分割的方法和种类有很多，常见的分割技术：阈值分割技术，微分算子边缘检测，区域增长技术，聚类分割技术。基于图论的谱聚类图像分割方法是近年来国际上分割领域的研究热点。

基于图论的谱聚类图像分割，是将图像映射为带权无向图，把像素点视作节点，利用最小剪切准则得到图像的最佳分割。该方法本质上将图像分割问题转化为最优化问题。Shi和Malik在2000年根据谱图理论建立了2-way划分的Normailized-Cut(Ncut)的目标函数，设计了用于图像分割的算法，由此发展出一系列算法，如Ng和Weiss提出的k-way划分的Ncut算法；Meila和Shi提出的Normalized Cut与随机游动关系的算法；Zha和Dhillon提出的基于二分图的算法等。在这些经典的算法中都采用高斯相似函数计算相似度矩阵W，当数据量变大时，即数据点个数n很大时，相似度矩阵W为n*n的矩阵，存储和特征分解都很困难，尤其对于一副图像更大，同时高斯相似函数中存在人为手动设置尺度参数的问题。为了解决此问题Fowlkes et al.提出了基于Nystrom逼近的谱聚类应用于图像分割，此方法首先随机选择l(l＝n)个样本点，计算一个小的相似度矩阵S其大小为l*l，对其进行特征分解，然后采用Nystrom方法逼近原始相似度矩阵W。这个方法虽然克服了数据量大的问题，但是依旧存在一些问题：1)随机选择样本点使得它结果不稳定；2)它依旧采用了高斯相似函数计算相似度，必须人为手动设置尺度参数；3)计算样本点和图像中剩余的像素点之间的相似度时时间很长，使得分割效率较低。

发明内容

本发明的目的在于克服上述已有技术的不足，提出一种利用流形谱聚类进行图像分割的方法，使得分割的结果稳定，并且不需要人为设置尺度参数，提高分割的效率。

为实现上述目的，本发明将流形距离测度的思想引入谱聚类图像分割方法中，其具体步骤包括如下：

1)输入一幅图像，在Luv颜色空间中获得该图像的颜色特征F_C＝{f_L，f_u，f_v}，并提取图像的十维小波纹理特征F_W＝{f₁，f₂，...，f₁₀}，采用特征融合的方法将颜色特征与小波纹理特征进行融合，得到图像的融合特征F＝aF_C+bF_W，其中F的每一行表示一个像素点的特征，f_L、f_u、f_v分别表示Luv颜色空间的亮度分量L、色度坐标分量u和色度坐标分量v的特征，f_i表示小波纹理特征F_W第i维特征i＝1，2...10，a和b分别表示颜色特征和纹理特征所占的比例，且a+b＝1；

2)采用分水岭算法将该输入图像预分割为流形集

将各流形所包含的所有像素点特征的平均值分别作为各流形的流形特征，得到流形特征集

其中流形m_i为分水岭算法预分割输入图像所得的第i个区域，i＝1，2，...，n，n表示流形集M的大小，mfⁱ为第i个流形m_i的流形特征；

3)计算每个流形特征mfⁱ与其他流形特征之间的欧氏距离，依据每个流形特征mfⁱ的所有欧氏距离寻找到流形m_i的k个近邻流形，构造一个大小为n*n的距离矩阵：d＝[d_ij]_n*n当第j个流形m_j是m_i的k个近邻中的一个时，d_ij等于mfⁱ与mf^j之间的欧氏距离，否则为-1表示不连通，且d_ii＝0，其中i，j＝1，2，...，n，k的取值范围为5到9之间的整数，依据不同的图像人为选择不同的值，d_ij表示距离矩阵d的第i行第j列元素，d_ii表示距离矩阵d的第i行第i列元素；

4)使用弗洛伊德算法根据距离矩阵d计算各个流形之间的最短路径，得到大小为n*n的流形距离矩阵：D＝[D_ij]_n*n，其中D_ij为第i个流形m_i与第j个流形m_j之间的最短路径，其中D_ij表示流形距离矩阵D中第i行第j列元素；

5)构造大小为n*n相似度矩阵：W＝[W_ij]_n*n，其中第i行第j列的元素

对角线元素为0，且当D_ij＝-1时W_ij等于0；

6)计算度矩阵A＝[A_ij]_n*n，其中第i行第i列的元素

其它元素为0，并计算归一化拉普拉斯矩阵L＝A^-1/2WA^-1/2；

7)对归一化拉普拉斯矩阵L进行特征分解，并取该L的前K个最大的特征值对应的特征向量构造谱矩阵：V＝{v₁，v₂，...，v_K}，其中K为人为设定的图像分类数，v_i为L的第i个特征向量i＝1，2，...K；

8)计算归一化谱矩阵Y＝[Y_ij]_n*n，其中第i行第j列的元素V_ij为谱矩阵V的第i行第i列的元素；

9)采用k均值聚类算法，将归一化谱矩阵Y的各行聚为K类，得到聚类标签向量

其中c_i表示第i个流形m_i被分割为第c_i类，c_i∈{1，2，...K}；

10)将图像中有相同标签的流形分配同一种颜色，输出分割后的图像。

本发明与现有基于Nystrom逼近的谱聚类应用于图像分割方法相比具有如下优点：

1.本发明采用分水岭算法预分割图像得到流形集，比Nystrom随机选择样本点稳定，因此本发明能够得到稳定的分割结果。

2.本发明采用了流形距离度量两个流形之间的距离，根据流行距离计算相似度矩阵，不需要人为设置尺度参数。

3.本发明的相似度矩阵是一个稀疏矩阵，特征分解时耗费的时间短，因此本发明的分割效率高。

附图说明

图1是本发明的流程图；

图2是本发明仿真试验中使用的原始测试图像sea、airplane和fox；

图3是现有基于Nystrom逼近谱聚类方法和本发明在三幅测试图像上的分割结果。

具体实施方式

参照图1，本发明的实现步骤包括如下：

步骤1，提取输入图像的融合特征。

(1.1)输入一幅图像，提取该图像在Luv颜色空间的颜色特征，所有像素点的颜色特征构成一个大小为N*3的矩阵F_C＝{f_L，f_u，f_v}，其每一行代表一个像素的颜色特征，N表示该图像的像素点数，f_L、f_u、f_v分别表示Luv颜色空间的亮度分量L、色度坐标分量u和色度坐标分量v的特征；

(1.2)采用三层小波分解，在每个像素点上获得10维的纹理特征，所有像素点的纹理特征构成一个大小为N*10的矩阵F_W＝{f₁，f₂，...，f₁₀}，其每一行代表一个像素点的纹理特征，f_i表示第i维纹理特征i＝1，2...10；

(1.3)计算输入图像的融合特征：F＝aF_C+bF_W，融合特征F的大小为N*13，其每一行代表一个像素点的融合特征，a和b分别表示颜色特征和纹理特征所占的比例，且a+b＝1，仿真实验中a＝0.6，b＝0.4。

步骤2，预分割输入图像得到流形集。

(2.1)采用分水岭算法预分割输入图像，得到每个像素点的标签，标签范围从1到n，寻找具有相同标签的像素点，并把有相同标签的像素点合并为一个区域，给每个过分割区域制定一个标号m_i，i＝1，2，...，n，获得输入图像的流形集

n表示流形集M的大小。本步骤也可以采用均值飘逸算法获得输入图像的流形集，分水岭算法参见文献：Roerdink，J.，Meijster，A.：The watershed transform：Definitions，algorithms andparallelization strategies.Fundamental Informaticae 41(2000)187-228；

(2.2)取每个流形包含的像素点的融合特征的平均值，将这个平均值作为对应流形m_i的流形特征mfⁱ，构成流形集的流形特征集

其大小为n*13。

步骤3，计算距离矩阵。

(3.1)把流形特征集MF中每一行看做一个点，依据欧式距离公式：

计算每一个点与剩下n-1点的欧氏距离，构成大小为n*n的距离矩阵d＝[d_ij]_n*n，且d_ii＝0，其中d_ij表示距离矩阵d的第i行第j列元素，d_ii表示距离矩阵d的第i行第i列元素，i，j＝1，2，...，n；

(3.2)在距离矩阵d的每一行中寻找前k个非零最小值，把当前行剩下的n-k-1个非零元素用-1替代，k的取值范围为5到9之间的整数，依据不同的图像人为选择不同的值，在仿真实验中k＝7。

步骤4，计算流形距离矩阵。

使用弗洛伊德算法在距离矩阵d中计算各个流形之间的最短路径，得到大小为n*n的流形距离矩阵D＝[D_ij]_n*n，流形距离矩阵D的每一行有k个非零元素，有n-k个-1，其中D_ij表示流形距离矩阵D中第i行第j列元素。本步骤也可以采用迪克斯特拉算法获得流行距离矩阵D，弗洛伊德算法参见文献：R.W.Floyd，“Algorithm 97：Shortest Path，”Commun.ACM，vol.5，p.345，1962。

步骤5，计算相似度矩阵。

构造一个大小为n*n相似度矩阵：W＝[W_ij]_n*n，其中W_ij表示第i行第j列的元素，相似度矩阵W的对角线元素为0，且当D_ij＝-1时W_ij等于0。

步骤6，计算度矩阵和归一化拉普拉斯矩阵。

构造一个大小为n*n的度矩阵：A＝[A_ij]_n*n，并构造归一化拉普拉斯矩阵：L＝A^-1/2WA^-1/2，i，j＝1，2，...n，其中A_ii表示第i行第i列的元素，

度矩阵A的非对角线元素为0。

步骤7，构造谱矩阵。

对归一化拉普拉斯矩阵L进行特征分解，取该L的前K个最大的特征值对应的特征向量组成谱矩阵：V＝{v₁，v₂，...，v_K}，v_i为该L的第i个特征向量i＝1，2，...K，K为人为设置的输入图像的分割类别数。

步骤8，计算归一化谱矩阵。

对步骤7得到的谱矩阵V进行归一化，得到归一化谱矩阵：Y＝[Y_ij]_n*n，其中Y_ij表示归一化谱矩阵Y第i行第j列的元素，

V_ij表示谱矩阵V的第i行第j列的元素，i，j＝1，2，...n。

步骤9，获得标签向量。

把步骤8所得的归一化谱矩阵Y的每一行看做一个数据点，则共有n个数据点，将这n个数据点作为k均值聚类算法的输入，得到这n个数据点的标签向量

其中c_i表示第i个数据点被聚为第c_i类，及第i个流形m_i被分割到第c_i类，c_i∈{1，2，...K}，i＝1，2，...，n，k均值聚类算法参见文献：G.P.Babu and M.N.Murty，”Simulated annealingfor selecting initialseeds in the k-means algorithm，”Ind.J.Pure Appl.Math，vol.25pp.85-94，1994。

步骤10，输出分割后的图像。

将图像中相同标签的流形分割为同一类，每类分配不同的颜色，得到分割图像，输出分割后的图像。

本发明的效果可以通过以下实验进一步说明：

1.仿真条件：

在CPU为pentium(R)4、3.00GHZ、内存1G、WINDOWS XP系统，Matlab7.1平台上进行了仿真。

2.仿真内容：

本发明在Berkeley segmentation database上验证其效果。选择了图2中的三幅图像用作测试，并与现有的基于Nystrom逼近的谱聚类方法进行了对比。三幅测试图像分别是图2(a)所示的sea图像、图2(b)所示的airplane图像和图2(c)所示的fox的图像，在所有实验中令k＝7，在sea图像中K＝3，在airplane图像中K＝2，在fox的图像K＝3。

对图2(a)所示的sea图像利用本发明和基于Nystrom逼近的谱聚类方法进行图像分割，结果分别如图3(a)和图3(b)，从如图3(a)可见，本发明分割后的天空与海面的分界线清晰，海面平滑，人的轮廓明显，帆船的帆清晰可见，更接近图2(a)所示的sea图像的目标意义；从图3(b)可见现有基于Nystrom逼近的谱聚类方法分割的天空和海面的分界线已经失真，海面存在很多噪声，人的轮廓很模糊，帆船的帆已经被分割为两部分，失去了图2(a)所示的sea图像的目标意义。

对图2(b)所示的airplane图像利用本发明和基于Nystrom逼近的谱聚类方法进行图像分割，结果分别如图3(c)和图3(d)，从图3(c)可见，本发明分割后的飞机轮廓清晰，机身的星形与机尾的字母也被分割出来，天空和飞机明显是两类，无交叠区域，更具图2(b)所示的airplane图像的分割意义；从图3(d)可见，现有基于Nystrom逼近的谱聚类方法分割的飞机的轮廓已经失真，机身的星形也被分割到机体，机尾的字母也被分割到了机身，天空中的一部分被分割为与飞机同一类，失去了图2(b)所示的airplane图像的分割意义。

对图2(c)所示的fox图像利用本发明和基于Nystrom逼近的谱聚类方法进行图像分割，结果如图3(e)和图3(f)，从图3(e)可见，本发明分割后的树林与雪地的分界线清晰，树林区域平滑，雪地无噪声，狼的轮廓细节明显可见，更接近图2(c)所示的fox图像的目标意义；从图3(f)可见现有基于Nystrom逼近的谱聚类方法分割的树林与雪地的分界线模糊，树林的一部分与狼被分割为同一类，雪地中存在噪声，失去了图2(c)所示的fox图像的目标意义。

Claims (4)

1.一种利用流形谱聚类进行图像分割的方法，包括如下步骤：

1)输入一幅图像，在Luv颜色空间中获得该图像的颜色特征F_C＝{f_L，f_u，f_v}，并提取图像的十维小波纹理特征F_W＝{f₁，f₂，...，f₁₀}，采用特征融合的方法将颜色特征与小波纹理特征进行融合，得到图像的融合特征F＝aF_C+bF_W，其中F的每一行表示一个像素点的融合特征，f_L、f_u、f_v分别表示Luv颜色空间的亮度分量L、色度坐标分量u和色度坐标分量v的特征，f_i表示小波纹理特征F_W第i维特征i＝1，2...10，a和b分别表示颜色特征和纹理特征所占的比例，且a+b＝1；

2)采用分水岭算法将该输入图像预分割为流形集

将各流形所包含的所有像素点融合特征的平均值分别作为各流形的流形特征，得到流形特征集

其中流形m_i为分水岭算法预分割输入图像所得的第i个区域，i＝1，2，...，n，n表示流形集M的大小，mfⁱ为第i个流形m_i的流形特征；

3)计算每个流形特征mfⁱ与其他流形特征之间的欧氏距离，依据每个流形特征mfⁱ的所有欧氏距离寻找到流形m_i的k个近邻流形，构造一个大小为n*n的距离矩阵：d＝[d_ij]_n*n当第j个流形m_j是m_i的k个近邻中的一个时，d_ij等于mfⁱ与mf^j之间的欧氏距离，否则为-1表示不连通，且d_ii＝0，其中i，j＝1，2，...，n，k的取值范围为5到9之间的整数，依据不同的图像人为选择不同的值，d_ij表示距离矩阵d的第i行第j列元素，d_ii表示距离矩阵d的第i行第i列元素；

4)使用弗洛伊德算法根据距离矩阵d计算各个流形之间的最短路径，得到大小为n*n的流形距离矩阵：D＝[D_ij]_n*n，其中D_ij为第i个流形m_i与第j个流形m_j之间的最短路径，其中D_ij表示流形距离矩阵D中第i行第j列元素；

5)构造大小为n*n相似度矩阵：W＝[W_ij]_n*n，其中第i行第j列的元素

i≠j，对角线元素为0，且当D_ij＝-1时W_ij等于0；

6)计算度矩阵A＝[A_ij]_n*n，其中第i行第i列的元素其它元素为0，并计算归一化拉普拉斯矩阵L＝A^-1/2WA^-1/2；

7)对归一化拉普拉斯矩阵L进行特征分解，并取该L的前K个最大的特征值对应的特征向量构造谱矩阵：V＝{v₁，v₂，...，v_K}，其中K为人为设定的图像分类数，v_i为L的第i个特征向量i＝1，2，...K；

8)计算归一化谱矩阵Y＝[Y_ij]_n*n，其中第i行第j列的元素

V_ij为谱矩阵V的第i行第j列的元素；

9)采用k均值聚类算法，将归一化谱矩阵Y的各行聚为K类，得到聚类标签向量

其中c_i表示第i个流形m_i被分割为第c_i类，c_i∈{1，2，...K}；

10)将图像中有相同标签的流形分配同一种颜色，输出分割后的图像。

2.根据权利要求书1所述的利用流形谱聚类进行图像分割的方法，其特征在于步骤1)所述的采用特征融合的方法将颜色特征与小波纹理特征进行融合，是利用F＝aF_C+bF_W，计算输入图像的融合特征F，其中设置a＝0.6，b＝0.4。

3.根据权利要求书1所述的利用流形谱聚类进行图像分割的方法，其特征在于步骤2)所述的采用分水岭算法将输入图像预分割为流形集

按如下步骤进行：

(2a)采用经典的分水岭算法预分割输入图像，得到每个像素点的标签，标签范围从1到n；

(2b)寻找具有相同标签的像素点，并把有相同标签的像素点合并为一个区域，给每个过分割区域制定一个标号m_i，i＝1，2，...，n，获得输入图像的流形集

4.根据权利要求书1所述的利用流形谱聚类进行图像分割的方法，其特征在于步骤3)所述的依据每个流形特征mfⁱ的所有欧氏距离寻找到流形m_i的k个近邻流形，按如下步骤进行：

(3a)把流形特征集MF中每一行看作一个点，依据欧式距离

$d_{\mathrm{ij}}=\sqrt{{\left|\right|{\mathrm{mf}}^{i1}-{\mathrm{mf}}^{j1}\left|\right|}^2+{\left|\right|{\mathrm{mf}}^{i2}-{\mathrm{mf}}^{j2}\left|\right|}^2+...+{\left|\right|{\mathrm{mf}}^{i13}-{\mathrm{mf}}^{j13}\left|\right|}^2},$ 计算每一个点与剩下n-1点的欧氏距离，mfⁱ有13维特征，将这n-1个欧氏距离作为距离矩阵d＝[d_ij]_n*n的第i行，且d_ii＝0，i，j＝1，2，...，n；

(3b)从距离矩阵d的每一行寻找前k个非零最小值，将这k个非零最小值所对应的距离矩阵d中列的标签值作为当前行标签i对应流形m_i的k个近邻流形，其中设置k＝7，i＝1，2，...n。

Images