CN110796667A - 基于改进小波聚类的彩色图像分割方法 - Google Patents

Abstract

本发明公布了一种基于改进小波聚类的彩色图像分割方法。首先提取图像主结构，然后将图像划分为若干超像素，提取超像素颜色特征并计算超像素权重用以构建加权图像，对加权图像进行小波聚类，最终得到彩色图像的分割结果。实验表明，利用改进小波聚类方法分割彩色图像，其分割效果优于Ncut、JSEG和SAS分割算法，运行时间约为2s。实验证明了改进小波聚类在彩色图像分割领域的有效性，拓展了小波聚类方法在彩色图像分割领域中的应用，进一步强调了在彩色图像分割领域中使用聚类方法的必要性。

Description

基于改进小波聚类的彩色图像分割方法

技术领域

本发明涉及图像分割领域，具体为一种基于改进小波聚类的彩色图像分割方法。

背景技术

图像分割是根据图像的某些特征将图像分割成有意义且具有相同性质的若干不相交区域的过程。基于聚类方法的图像分割问题，即为解决具有相似性质的图像基元分类的问题，是后续图像处理和图像分析的关键步骤，也是图像理解和计算机视觉的重要课题。

彩色图像提供了更多更复杂的信息，对于彩色图像的分割是图像处理中的难题之一。近年来基于超像素的彩色图像分割方法已经进行了大量的工作，其中基于区域生长以及聚类的彩色图像分割方法，因其可以得到较好的分割结果而受到了广泛的关注和研究。超像素聚类方法(Segmentation by Aggregating Superpixels，SAS)更多的考虑了超像素之间的空间关系，具有较好的算法鲁棒性，但是有时会导致过分割的现象。Normalized Cut(Ncut)方法从图论的角度看待图像分割问题，使用归一化准则衡量超像素之间的相似程度，并将这种相似程度作为超像素合并的依据，但受到归一化准则的影响，有时会强行分割一致性好的区域。J-SEGmentation(JSEG)方法通过颜色量化和空间性来分割图像，实施过程中同时考虑了图像的颜色以及纹理信息，但是分割过程过于复杂。

聚类分析作为一种无监督学习过程，以数学的方法度量对象之间的相似程度，将具有相同性质的对象划分为一类，使得簇内相似性高且簇间相似性低。其中，小波聚类同时具有网格聚类和密度聚类的优点：无需指定簇类个数并且可以发现任意形状的簇。弥补了基于密度的聚类方法中具有较高复杂度的缺点，具有线性的时间复杂度。但是，基于小波聚类的图像分割方法导致大量部分体积效应(Partial Volume Effect，PVE)。部分体积效应最初在医学领域提出，是由于医学成像装置有限的空间分辨率导致的单个图像体素(Voxel)可能包含几种类型的组织的现象。在基于小波聚类的图像分割方法中，当网格跨越边缘的时候，就自然地诱发了PVE效应，使用小波聚类直接进行图像分割，产生的图像分割结果难以准确确定边缘，极大地影响了图像分割质量，限制了小波聚类在图像分割领域中的应用。

发明内容

针对上述背景技术中提出的问题，提出了基于改进小波聚类的彩色图像分割方法，首先对图像进行主结构提取，去除冗余的图像细节，突出图像边缘，得到纹理抑制平滑的主结构图像；随后将主结构图像过分割为若干超像素，解决基于小波聚类的图像分割方法中容易出现PVE现象的问题；计算超像素的权值并处理超像素特征，得到超像素加权图像；结合超像素加权图像提出改进小波聚类算法对图像进行分割，解决了小波聚类中簇类精度不高的问题。最后，将聚类结果映射回原图像空间，得到图像分割结果。算法主要贡献为将改进小波聚类用于彩色图像分割领域，使小波聚类方法能应用于彩色图像分割问题，实施图像分割。

一种基于改进小波聚类的彩色图像分割方法，具体步骤如下：

步骤1：图像主结构提取，利用公式(1)～公式(4)给出的主结构提取算法提取原始彩色图像I的主结构，去除原始彩色图像I中的冗余信息，得到主结构图像，定义所述主结构图像的像素个数为M；

式中，T表示彩色图像主结构提取的目标函数，S表示生成的主结构图像，S_p表示生成的主结构图像S中像素p位置的值，I_p表示原始彩色图像I中像素p位置的值，ε表示一个常数且ε>0，用来避免分母为出现0的情况，γ表示控制输出图像平滑程度的权重，其中γ∈[0.01,0.03]，D_x(p)表示原始彩色图像I中的像素p在x方向上窗口的全变分，D_y(p)表示原始彩色图像I中的像素p在y方向上窗口的全变分，L_x(p)表示原始彩色图像I中的像素p在x方向上窗口的总体空间变分，L_y(p)表示原始彩色图像I中的像素p在y方向上窗口的总体空间变分，q表示原始彩色图像I中的像素p的邻域R(p)内的像素，

表示原始彩色图像I中的像素q的x方向上的邻域内像素点的梯度，

表示原始彩色图像I中的像素q的y方向上的邻域内像素点的梯度，g_p,q表示依据空间信息定义的加权函数，σ表示窗口的空间尺度，其中σ∈[0,8]，(x_p,y_p)表示原始彩色图像I中的像素p的空间位置，(x_q,y_q)表示原始彩色图像I中的像素q的空间位置；

步骤2：超像素的分割，采用SLIC算法将主结构图像进行过分割，得到c个超像素，其中c根据SLIC算法的设置的种子参数e确定；

步骤3：简化每个超像素特征，提取每个超像素的颜色特征，对颜色特征进行主成分分析，得到简化后的超像素颜色特征；

步骤4：计算每个超像素权重，根据每个超像素的灰度信息、相邻的超像素信息和超像素的位置信息计算每个超像素的权重；

步骤5：分割彩色图像，利用小波聚类对步骤3中得到的简化后的超像素颜色特征和步骤4中超像素权重实施聚类，得到聚类结果，然后通过所述聚类结果得到超像素标签，进而得到彩色图像分割结果。

所述步骤2超像素的分割，采用SLIC算法将主结构图像过分割为超像素，具体步骤如下：

2.1)初始聚类，接受一个种子参数e用于指定生成的超像素数目，首先根据边长W将主结构图像分割为M/e个超像素，其中M为主结构图像中的像素个数，所述边长W满足W＝[M/e]^0.5，每隔W个像素取一个聚类中心，利用公式(5)计算聚类中心像素与所述聚类中心的2W×2W大小邻域中的像素颜色和空间位置归一化距离D(a,d)，通过所述归一化距离D(a,d)为每个像素分配距所述像素距离最近的聚类中心标签，得到初始聚类，

式中，d表示聚类中心的标签，C_d表示Lab空间中聚类中心的颜色特征向量，向量S_d表示聚类中心二维空间位置坐标，向量S_a表示聚类中心2W×2W大小邻域中的像素的二维空间位置坐标，a表示聚类中心标签d的2W×2W大小邻域的超像素标签，C_a表示Lab空间中聚类中心2W×2W大小邻域的颜色特征向量，N_c表示位置的归一化常数，且满足N_c∈[0,1]，N_s表示Lab空间距离的归一化常数，且满足N_S∈[0,1]；

2.2)迭代聚类，初始聚类后，利用公式(6)依据聚类中心对应的超像素中所有像素的颜色和空间位置的均值迭代更新聚类中心，并计算聚类中心更新后与更新前的位置的差值，根据差值是否高于阈值判断是否重新设置聚类中心，不断迭代计算聚类中心直至收敛；

式中，

表示第d类的聚类中心，G_d表示聚类中心

对应的超像素中的所有像素，N_d表示超像素G_d中的像素数。

所述步骤3中简化每个超像素特征，提取每个超像素的颜色特征，对颜色特征进行主成分分析，得到简化后的超像素颜色特征，具体表述为：

3.1)定义第k个r维超像素颜色特征点为x_k＝[x₁…x_r]，其中k∈[1,c]，c表示经步骤2迭代聚类生成的超像素个数，则c个r维超像素颜色特征点集合表示为

3.2)利用公式(7)将颜色特征点集合X通过使目标函数

最小化后得到在低维空间中的线性无关的超像素颜色特征点集合B＝[b₁…b_m]，其中[b₁…b_m]∈R^c×m，c表示经步骤2迭代聚类之后生成的超像素个数，m表示经主成分分析后得到的颜色特征的个数，即超像素颜色特征点集合B则可表示为由c个颜色特征点组成的超像素颜色特征点集合，其中每个颜色特征点具有m个颜色特征，其中公式(7)的解由对应于由协方差矩阵A＝XX^T的特征分解获得的前m个最大特征值的特征向量求得，

式中，||·||_F表示矩阵的F-范数，X表示c个r维超像素颜色特征点集合，

表示通过X的协方差矩阵求得的特征向量，

表示

的转置特征向量，B表示超像素颜色特征点集合，A表示协方差矩阵，X^T表示矩阵X的转置。

所述步骤4计算超像素权重，根据每个超像素的灰度信息、相邻的超像素信息和超像素的位置信息计算每一个超像素的权重，具体表述为：

4.1)利用公式(9)计算每个超像素中所有像素的位置均值与图像中心的归一化距离，

式中，(x,y)表示每个超像素中所有像素的位置均值，(x₀,y₀)表示为原始彩色图像的中心，σ_x表示原始彩色图像宽值的1/2，σ_y表示原始彩色图像高值的1/2；

4.2)利用公式(10)判断每个超像素l_i是否处于主结构图像边缘，如果t(u)＝1，则表示超像素不位于主结构图像边缘，如果t(u)∈[0,1)，则表示超像素位于主结构图像的边缘，

式中，u表示超像素中位于主结构图像边缘的像素，若u＝0则表示超像素l_i不位于图像边缘且t(u)＝1，反之若超像素l_i位于图像边缘则满足t(u)∈[0,1)，ω表示调整参数，E表示主结构图像边缘上所有像素的总量，η表示一个预设阈值；

4.3)计算每个超像素l_i的权重，定义第i个超像素l_i及与所述超像素l_i相邻的超像素组成的集合为{s_j}，j＝1,2,…,w，其中w表示与第i个超像素l_i相邻的超像素个数，则第i个超像素l_i的权重的计算公式为

式中，λ_ij表示第i个超像素l_i与集合{s_j}总面积的比值，s_j表示第j个与超像素l_i相邻的超像素，D_col(l_i,s_j)表示超像素l_i与超像素s_j间的Lab颜色直方图的χ²距离，g(l_i)表示超像素l_i中所有像素的灰度均值，f(x,y)表示超像素l_i中所有像素位置均值与图像中心的归一化距离，t(u)表示判断超像素是否处于主结构图像边缘的函数。

所述步骤5彩色图像的分割，利用小波聚类对加权图像实施聚类，得到聚类结果，然后通过所述聚类结果得到超像素标签，进而得到彩色图像分割结果，具体表述为：

5.1)量化特征空间，首先将所述超像素颜色特征点集合B所在的整个数据空间划分为K^m个不重叠的矩形或超矩形单元，形成网格空间，其中m表示经主成分分析后得到的颜色特征的个数，K表示划分数据空间时每一维上的划分数，且满足

所述超像素颜色特征点集合B以颜色特征点的角度表示为公式(12)所示，然后根据所述矩形或超矩形单元中的每一单元的区间范围，利用公式(13)将超像素颜色特征点集合B中所有颜色特征向量映射到网格空间中，完成特征空间的量化，

式中，b_t表示超像素颜色特征点集合B中的第t个超像素的颜色特征向量，t满足t＝1,2,…,c，c表示经步骤2迭代聚类之后生成的超像素个数；

式中，nCell_v表示第D_v维中包含颜色特征点b_o的区间[low_o,high_o)对应的区间序号，low_o表示包含颜色特征点b_o的区间的下限，high_o表示包含颜色特征点b_o的区间的上限，D_v表示超像素颜色特征点集合B所在的数据空间的第D_v维，b_ov表示第o个超像素的颜色特征点b_o的第v维属性值，max_v表示所有颜色特征向量在第D_v维上的最大值，min_v表示所有颜色特征向量在第D_v维上的最小值，K表示划分数据空间时每一维上的划分数，且满足

其中m表示经主成分分析后得到的颜色特征的个数，c表示经步骤2迭代聚类之后生成的超像素个数；

5.2)划分稠密单元，超像素颜色特征点集合B中所有颜色特征向量映射完成后，统计属于同一网格单元的颜色特征向量个数作为所述网格单元的网格密度den(gird)，定义网格密度den(gird)高于阈值H的网格称为稠密网格，网格密度den(gird)低于阈值H的网格称为稀疏网格，然后将网格密度den(gird)高于阈值H的网格保留，将稀疏网格的网格置零，得到阈值处理之后的原网格空间；

5.3)在原网格空间中使用Cohen-Daubechies-Feauveau(2,2)双正交小波对稠密网格单元中特征点对应的超像素权重之和进行离散小波变换，保留平均子波段得到新的网格空间；

5.4)在变换后得到的新的网格空间子波段中寻找连通单元，根据连通定义在小波变换后的新的网格空间中扫描数据一次后寻找所有的连通单元，并且为不连通的簇类分别赋予不同的标签；

5.5)构造查找表，根据变换后得到的新的网格空间与所述原网格空间的对应关系构造查找表；

5.6)将未被赋予簇类标签的网格单元赋予簇类标签，进而得到彩色图像的分割结果，首先通过所述查找表为所述原网格空间中的对象分配标签，此时由于小波聚类倾向于低估聚类边界，会有未被分配标签的网格单元，通过判断网格间相似度拓展簇类边缘为未分配标签的网格单元分配标签，得到最终的聚类结果，再通过最终的聚类结果得到颜色特征点的标签，根据颜色特征点标签为对应的超像素分类，进而将彩色图像分为不同的部分。

所述步骤5.6)将未被赋予簇类标签的网格单元赋予簇类标签，具体表述为：

5.6.1)定义未被赋予簇类标签的网格单元为g_n+1，定义包含n个网格单元的簇类G表示为{g₁,g₂,g₃,…,g_n}，利用公式(14)计算两个网格单元g_n+1和g_λ之间的相似度S(g_n+1,g_λ)

式中，mean(g_n+1)表示网格单元g_n+1中颜色特征向量的均值，mean(g_λ)表示网格单元g_λ中颜色特征向量的均值，其中g_λ∈{g₁,g₂,g₃,…,g_n}，λ∈[1,n]，n表示簇类G中已经包含了n个网格单元，dist(mean(g_n+1),mean(g_λ))表示两个网格单元g_n+1和g_λ之间的欧几里得距离，dist(mean(g_n+1),mean(g_λ))的值越小，则S(g_n+1,g_λ)的值越大，表示两个网格单元g_n+1和g_λ之间相似度越高；

5.6.2)如果两个网格单元g_n+1和g_λ之间的相似度S(g_n+1,g_λ)满足公式(15)，则判定网格单元g_n+1和g_λ相似

式中，wide(g_n+1,g_λ)表示网格单元g_n+1和g_λ之间相异维度的网格长度；

5.6.3)如果未被赋予簇类标签的网格单元g_n+1满足公式(16)，则判断g_n+1满足被赋予簇类标签的条件，可以添加到簇类G中，则网格单元g_n+1被赋予了簇类G的标签，则簇类G中有n+1个网格单元，记为{g₁,g₂,g₃,…,g_n,g_n+1}，

式中，如果两个网格单元g_n+1与g_λ满足公式(15)，则y_t＝1，反之，则y_t＝0，μ作为判断g_n+1能否加入簇类G＝{g₁,g₂,g₃,…,g_n}的阈值，μ∈[0,1]，n表示簇类G中已有的网格单元的个数；

5.6.4)为所有未被赋予簇类标签的网格单元执行步骤5.6.1)～步骤5.6.3)，得到最终的聚类结果，再通过最终的聚类结果得到颜色特征点的标签，根据颜色特征点标签为对应的超像素分类，进而将彩色图像分为不同的部分。

本发明的有益效果是：

本发明提出的一种基于改进小波聚类的彩色图像分割方法，提高了图像分割精度的同时具有较高的分割效率，拓展了小波聚类的应用领域，对于小波聚类在图像分割领域的应用具有指导作用。

附图说明

图1为本实施例中的基于改进小波聚类的彩色图像分割方法流程图。

图2为本实施例中的主结构提取图，其中图(a)为三幅原图；图(b)为三幅原图执行主结构提取后得到的相应的主结构提取图像。

图3为本实施例中的海星图像分割结果图，其中图(a)为海星图像的原图；(b)为采用本发明中的技术方案处理后的图像分割结果图；图(c)为采用JSEG算法处理后的图像分割结果图；图(d)为采用Ncut算法处理后的图像分割结果图；图(e)为采用SAS算法处理后的图像分割结果图。

图4为本实施例中的鹰图像分割结果，其中图(a)为鹰图像的原图；图(b)为采用改进本发明中的技术方案处理后的图像分割结果图；图(c)为采用JSEG算法处理后的图像分割结果图；图(d)为采用Ncut算法处理后的图像分割结果图；图(e)为采用SAS算法处理后的图像分割结果图。

图5为本实施例中的花朵图像分割结果，其中图(a)为花朵图像的原图；图(b)为采用本发明中的技术方案处理后的图像分割结果图；图(c)为采用JSEG算法处理后的图像分割结果图；图(d)为采用Ncut算法处理后的图像分割结果图；图(e)为采用SAS算法处理后的图像分割结果图。

图6为本实施例中的红鸟图像分割结果，其中图(a)为红鸟图像的原图；图(b)为采用本发明中的技术方案处理后的图像分割结果图；图(c)为采用JSEG算法处理后的图像分割结果图；图(d)为采用Ncut算法处理后的图像分割结果图；图(e)为采用SAS算法处理后的图像分割结果图。

图7为本实施例中的不同种子参数e的SLIC超像素分割算法结果图，其中图(a)为种子参数e＝800时的SLIC超像素分割算法结果图；图(b)为种子参数e＝1000时的SLIC超像素分割算法结果图；图(c)为种子参数e＝1200时的SLIC超像素分割算法结果图。

图8为本实施例中的不同种子参数e的改进小波聚类分割算法结果图，其中图(a)为种子参数e＝800时的改进小波聚类分割算法结果图；图(b)为种子参数e＝1000时的改进小波聚类分割算法结果图；图(c)为种子参数e＝1200时的改进小波聚类分割算法结果图。

具体实施方式

下面是结合附图对本发明的技术方案进行详细说明。

如图1本实施例中的基于改进小波聚类的彩色图像分割方法流程图所示，一种基于改进小波聚类的彩色图像分割方法，具体步骤如下：

步骤1：图像主结构提取，利用公式(1)～公式(4)给出的主结构提取算法提取彩色图像I的主结构，去除原始彩色图像I中的冗余信息，得到主结构图像，定义所述主结构图像的像素个数为M；

式中，T表示彩色图像主结构提取的目标函数，S表示生成的主结构图像，S_p表示生成的主结构图像S中像素p位置的值，I_p表示原始彩色图像I中像素p位置的值，ε表示一个常数且ε>0，用来避免分母为出现0的情况，γ表示控制输出图像平滑程度的权重，其中γ∈[0.01,0.03]，本实施例中取γ为0.02，D_x(p)表示原始彩色图像I中的像素p在x方向上窗口的全变分，D_y(p)表示原始彩色图像I中的像素p在y方向上窗口的全变分，L_x(p)表示原始彩色图像I中的像素p在x方向上窗口的总体空间变分，L_y(p)表示原始彩色图像I中的像素p在y方向上窗口的总体空间变分，q表示原始彩色图像I中的像素p的邻域R(p)内的像素，

表示原始彩色图像I中的像素q的x方向上的邻域内像素点的梯度，

表示原始彩色图像I中的像素q的y方向上的邻域内像素点的梯度，g_p,q表示依据空间信息定义的加权函数，σ表示窗口的空间尺度，其中σ∈[0,8]，(x_p,y_p)表示原始彩色图像I中的像素p的空间位置，(x_q,y_q)表示原始彩色图像I中的像素q的空间位置；

主结构提取如图2所示，可以看出对图像执行主结构提取后得到的主结构提取图中，纹理得到抑制，生成更准确的边缘信息，有效的保留了图像的颜色和边缘等全局信息。

步骤2：超像素的分割，采用SLIC(Simple Linear Iterative Cluster)算法将主结构图像进行过分割，得到c个超像素，其中c根据SLIC算法的设置的种子参数e确定；

采用SLIC算法将主结构图像过分割为超像素，将原始图像分割问题转化为超像素标记问题，避免诱发PVE效应的同时减少图像基元的数量，降低图像的冗余信息，使得后续处理较为容易，进而提高算法整体效率。该算法中将图像转化至CIELab颜色空间，将产生的L、a、b三个通道以及2维空间坐标(x，y)结合产生共5维空间，经过迭代将像素聚类为超像素。SLIC分为两个步骤：初始聚类和迭代更新，具体步骤如下：

2.1)初始聚类，接受一个种子参数e用于指定生成的超像素数目，首先根据边长W将主结构图像分割为M/e个超像素，其中M为主结构图像中的像素个数，所述边长W满足W＝[M/e]^0.5，每隔W个像素取一个聚类中心，利用公式(5)计算聚类中心像素与所述聚类中心的2W×2W大小邻域中的像素颜色和空间位置归一化距离D(a,d)，通过所述归一化距离D(a,d)为每个像素分配距所述像素距离最近的聚类中心标签，得到初始聚类，

式中，d表示聚类中心的标签，C_d表示Lab空间中聚类中心的颜色特征向量，向量S_d表示聚类中心二维空间位置坐标，向量S_a表示聚类中心2W×2W大小邻域中的像素的二维空间位置坐标，a表示聚类中心标签d的2W×2W大小邻域的超像素标签，C_a表示Lab空间中聚类中心2W×2W大小邻域的颜色特征向量，N_c表示位置的归一化常数，且满足N_c∈[0,1]，N_s表示Lab空间距离的归一化常数，且满足N_S∈[0,1]；

2.2)迭代聚类，初始聚类后，利用公式(6)依据聚类中心对应的超像素中所有像素的颜色和空间位置的均值迭代更新聚类中心，并计算聚类中心更新后与更新前的位置的差值，根据差值是否高于阈值判断是否重新设置聚类中心，不断迭代计算聚类中心直至收敛；

式中，

表示第d类的聚类中心，G_d表示聚类中心

对应的超像素中的所有像素，N_d表示超像素G_d中的像素数。

基于网格的聚类中时间复杂度仅与量化过程中产生的网格个数有关，直接对特征空间进行量化可能产生大量空白网格，进而增加算法开销，为此本发明采用主成分分析(Principle Component Analysis，PCA)作为数据简化方法，有效减少空白网格数量，提高算法效率。

由于小波聚类时间复杂度仅与量化网格个数有关，直接对Lab颜色空间进行量化将产生大量空白单元，降低聚类效率，故而本方法使用数据简化后得到的子空间中进行网格划分，降低空白单元数量，提高聚类效率。

在数据简化的方法中，主成分分析(PCA)作为线性方法将原始数据变换为一组低维空间中线性无关的表示，在此过程中舍弃了特征值较小的特征，使用主要的若干个无关分量来替代原来的数据样本，简化后的数据保存了更主要的分量并且降低了数据维度，受到了广泛的应用。

步骤3：简化每个超像素特征，提取每个超像素的颜色特征，对颜色特征进行主成分分析，得到简化后的超像素颜色特征，具体表述为：

3.1)定义第k个r维超像素颜色特征点为x_k＝[x₁…x_r]，其中k∈[1,c]，c表示经步骤2迭代聚类之后生成的超像素个数，则c个r维超像素颜色特征点集合表示为

3.2)利用公式(7)将颜色特征点集合X通过使目标函数

最小化后得到在低维空间中的线性无关的超像素颜色特征点集合B＝[b₁…b_m]，其中[b₁…b_m]∈R^c×m，c表示经步骤2迭代聚类之后生成的超像素个数，m表示经主成分分析后得到的颜色特征的个数，即超像素颜色特征点集合B则可表示为由c个颜色特征点组成的超像素颜色特征点集合，其中每个颜色特征点具有m个颜色特征，其中公式(7)的解由对应于由协方差矩阵A＝XX^T的特征分解获得的前m个最大特征值的特征向量求得，

式中，||·||_F表示矩阵的F-范数，X表示c个r维超像素颜色特征点集合，

表示通过X的协方差矩阵求得的特征向量，

表示

的转置特征向量，B表示超像素颜色特征点集合，A表示协方差矩阵，X^T表示矩阵X的转置。

在图像主结构提取和SLIC超像素分割结果的基础之上，为超像素计算权重用以构建加权图像。除超像素中所有像素的灰度均值之外，还可以依据以下约束：一个超像素越靠近图像中心，就越有可能属于目标，分配较高权值；反之，则分配较低权值。除此之外，若一个超像素与它邻近的超像素颜色特征距离大，则这个像素可能位于目标边缘，应为其分配较高权值。

步骤4：计算每个超像素权重，根据每个超像素的灰度信息、相邻的超像素信息和超像素的位置信息计算每个超像素的权重，具体表述为：

4.1)利用公式(9)计算每个超像素中所有像素的位置均值与图像中心的归一化距离，

式中，(x,y)表示每个超像素中所有像素的位置均值，(x₀,y₀)表示为原始彩色图像的中心，σ_x表示原始彩色图像宽值的1/2，σ_y表示原始彩色图像高值的1/2；

4.2)利用公式(10)判断每个超像素l_i是否处于主结构图像边缘，如果t(u)＝1，则表示超像素不位于主结构图像边缘，如果t(u)∈[0,1)，则表示超像素位于主结构图像的边缘，

式中，u表示超像素中位于主结构图像边缘的像素，若u＝0则表示超像素l_i不位于图像边缘且t(u)＝1，反之若超像素l_i位于图像边缘则满足t(u)∈[0,1)，ω＝0.05，E表示主结构图像边缘上所有像素的总量，η＝0.07；

4.3)计算每个超像素l_i的权重，定义第i个超像素l_i及与所述超像素l_i相邻的超像素组成的集合为{s_j}，j＝1,2,…,w，其中w表示与第i个超像素l_i相邻的超像素个数，则第i个超像素l_i的权重的计算公式为

式中，λ_ij表示第i个超像素l_i与集合{s_j}总面积的比值，s_j表示第j个与超像素l_i相邻的超像素，D_col(l_i,s_j)表示超像素l_i与超像素s_j间的Lab颜色直方图的χ²距离，g(l_i)表示超像素l_i中所有像素的灰度均值，f(x,y)表示超像素l_i中所有像素位置均值与图像中心的归一化距离，t(u)表示判断超像素是否处于主结构图像边缘的函数。

步骤5：分割彩色图像，利用小波聚类对步骤3中得到的简化后的超像素颜色特征和步骤4中超像素权重实施聚类，得到聚类结果，然后通过所述聚类结果得到超像素标签，进而得到彩色图像分割结果，具体表述为：

小波聚类(WaveCluster)作为一种基于网格和密度的聚类算法，利用小波变换在时域和频域中都具有的表示信号局部特征的能力，以及根据信号的高频与低频来区分信号边界的能力，直接在小波域中发现簇类，是一种将小波变换与聚类分析有机结合起来的算法。小波聚类的基本思想是将待分析的数据集中的点所构成的特征空间量化为网格空间，在网格空间中进行对稠密的网格进行小波分析，在小波域中寻找连通单元，即为簇类。然而传统的小波聚类方法存在簇类边缘不光滑的问题，改进的小波聚类根据相似度拓展簇类边缘，有效的解决了小波聚类中聚类精度不高的问题。

改进小波聚类简要步骤如下：

5.1)量化特征空间，首先将所述超像素颜色特征点集合B所在的整个数据空间划分为K^m个不重叠的矩形或超矩形单元，形成网格空间，其中m表示经主成分分析后得到的颜色特征的个数，K表示划分数据空间时每一维上的划分数，且满足

所述超像素颜色特征点集合B以颜色特征点的角度表示为公式(12)所示，然后根据所述矩形或超矩形单元中的每一单元的区间范围，利用公式(13)将超像素颜色特征点集合B中所有颜色特征向量映射到网格空间中，完成特征空间的量化，

式中，b_t表示超像素颜色特征点集合B中的第t个超像素的颜色特征向量，t满足t＝1,2,…,c，c表示经步骤2迭代聚类之后生成的超像素个数；

式中，nCell_v表示第D_v维中包含颜色特征点b_o的区间[low_o,high_o)对应的区间序号，low_o表示包含颜色特征点b_o的区间的下限，high_o表示包含颜色特征点b_o的区间的上限，D_v表示超像素颜色特征点集合B所在的数据空间的第D_v维，b_ov表示第o个超像素的颜色特征点b_o的第v维属性值，max_v表示所有颜色特征向量在第D_v维上的最大值，min_v表示所有颜色特征向量在第D_v维上的最小值，K表示划分数据空间时每一维上的划分数，且满足

其中m表示经主成分分析后得到的颜色特征的个数，c表示聚类迭代之后生成的超像素个数；

5.2)划分稠密单元，超像素颜色特征点集合B中所有颜色特征向量映射完成后，统计属于同一网格单元的颜色特征向量个数作为所述网格单元的网格密度den(gird)，定义网格密度den(gird)高于阈值H的网格称为稠密网格，网格密度den(gird)低于阈值H的网格称为稀疏网格，然后将网格密度den(gird)高于阈值H的网格保留，将稀疏网格的网格置零，得到阈值处理之后的原网格空间；

5.3)在原网格空间中使用Cohen-Daubechies-Feauveau(2,2)双正交小波对稠密网格单元中特征点对应的超像素权重之和进行离散小波变换，有助于在聚类过程中更有效的突出重要集群，提高聚类精度，同时使用强调密集区域的Cohen-Daubechies-Feauveau(2,2)双正交小波进行小波变换，保留平均子波段得到新的网格空间，使得小波变换后空间中特征点密集的区域显现的更加明显，进而更易于寻找空间中的类簇；

5.4)在变换后得到的新的网格空间子波段中寻找连通单元，根据连通定义在小波变换后的新的网格空间中扫描数据一次后寻找所有的连通单元，并且为不连通的簇类分别赋予不同的标签；

5.5)构造查找表，根据变换后得到的新的网格空间与所述原网格空间的对应关系构造查找表；

5.6)将未被赋予簇类标签的网格单元赋予簇类标签，进而得到彩色图像的分割结果，首先通过所述查找表为所述原网格空间中的对象分配标签，此时由于小波聚类倾向于低估聚类边界，会有未被分配标签的网格单元，通过判断网格间相似度拓展簇类边缘为未分配标签的网格单元分配标签，得到最终的聚类结果，再通过最终的聚类结果得到颜色特征点的标签，根据颜色特征点标签为对应的超像素分类，进而将彩色图像分为不同的部分。

将未被赋予簇类标签的网格单元赋予簇类标签，由于小波聚类倾向于低估簇类边缘，导致簇类边缘不平滑，在为单元分配标签后，通过判断网格间相似度拓展簇类边缘，通过衡量相似度将被认为是噪声的簇类边缘网格合并到簇类中，具体表述为：

5.6.1)定义未被赋予簇类标签的网格单元为g_n+1，定义包含n个网格单元的簇类G表示为{g₁,g₂,g₃,…,g_n}，利用公式(14)计算两个网格单元g_n+1和g_λ之间的相似度S(g_n+1,g_λ)

式中，mean(g_n+1)表示网格单元g_n+1中颜色特征向量的均值，mean(g_λ)表示网格单元g_λ中颜色特征向量的均值，其中g_λ∈{g₁,g₂,g₃,…,g_n}，λ∈[1,n]，n表示簇类G中已经包含了n个网格单元，dist(mean(g_n+1),mean(g_λ))表示两个网格单元g_n+1和g_λ之间的欧几里得距离，dist(mean(g_n+1),mean(g_λ))的值越小，则S(g_n+1,g_λ)的值越大，表示两个网格单元g_n+1和g_λ之间相似度越高；

5.6.2)如果两个网格单元g_n+1和g_λ之间的相似度S(g_n+1,g_λ)满足公式(15)，则判定网格单元g_n+1和g_λ相似

式中，wide(g_n+1,g_λ)表示网格单元g_n+1和g_λ之间相异维度的网格长度；

5.6.3)如果未被赋予簇类标签的网格单元g_n+1满足公式(16)，则判断g_n+1满足被赋予簇类标签的条件，可以添加到簇类G中，则网格单元g_n+1被赋予了簇类G的标签，则簇类G中有n+1个网格单元，记为{g₁,g₂,g₃,…,g_n,g_n+1}，

式中，如果两个网格单元g_n+1与g_λ满足公式(15)，则y_t＝1，反之，则y_t＝0，μ作为判断g_n+1能否加入簇类G＝{g₁,g₂,g₃,…,g_n}的阈值，μ∈[0,1]，n表示簇类G中已有的网格单元的个数；

5.6.4)为所有未被赋予簇类标签的网格单元执行步骤5.6.1)～步骤5.6.3)，得到最终的聚类结果，再通过最终的聚类结果得到颜色特征点的标签，根据颜色特征点标签为对应的超像素分类，进而将彩色图像分为不同的部分。

为验证改进小波聚类图像分割算法的有效性，本发明中使用Berkeley分割数据库中300幅带有真实分割标准的彩色图像进行实验，并与基于超像素的彩色图像分割方法Ncut、SAS与JSEG相比较。此外，还对SLIC中种子点个数e的选取进行讨论。实验环境为2.6GHz，8GB内存的条件下，使用Matlab 2016a实现。各个算法参数使用默认设置，超像素参数为T＝19，e＝1000。

量化的评价指标选用了Ncut和SAS等方法中使用的四种主流评价函数：1)概率兰德指数(Probabilistic Rand Index，PRI)；2)信息变化指数(Variation of Imformation，VoI)；3)全局一致性误差(Global Consistency Error，GCE)；4)边缘替代错误率(BoundaryDisplacement Error，BGE)来评估不同算法的分割结果。其中，若PRI越大，VoI、GCE、BDE越小，则分割结果越接近真实的分割结果。

本发明选取了四幅图像来展示改进小波聚类算法、JSEG算法、Ncut算法和SAS算法的视觉分割结果，分割结果分别为图3～图6，由视觉分割结果可见，JSEG算法存在过分割的问题，分割结果存在过多无用信息，如图4(c)中的鹰和图6(c)中的红鸟的JSEG分割结果中，背景被过分割为几个不同的部分。SAS与Ncut算法结果中存在分割目标不完整以及信息丢失的情况，如图3(e)中的海星图像所示，SAS算法将海星目标分成了5个不同的区域；如图5(d)中的花朵图像所示，Ncut算法分割结果中丢失了花蕊，如图3(d)海星图像所示，Ncut分割结果完全丢失了海星，没有分割出完整的有意义目标。本发明提出的算法在清晰地保留了目标边界的同时完整的分割出有意义的目标区域，相较于JSEG算法、Ncut算法和SAS算法的视觉分割结果，改进小波聚类算法分割精度明显优于其他分割算法。

进一步采用四种算法对Berkeley图像数据库中300幅彩色图像进行分割，统计分割结果的PRI、VoI、GCE和BDE如表1所示。由表1可以看出，改进小波聚类算法与JSEG算法、Ncut算法、SAS算法相比较具有最高的PRI和最低的VoI、GCE与BDE，由此表明改进小波聚类算法分割算法的分割结果更贴近真实的分割结果，具有较高的分割精度。

表1不同算法性能评估

SLIC超像素分割算法是基于改进小波聚类的彩色图像分割算法的预处理步骤，其中SLIC的种子参数e直接影响了图像分割的精度。种子参数e值分别为800,1000,1200时的SLIC超像素分割算法结果，以及相应的改进小波聚类算法的最终分割结果如图7和图8所示，由图7和图8中可以看出当e为1200时，图像的细分程度过高，在相同T值约束下，分割算法最终结果对边缘的贴合较差，并在海星内部出现了误分割的现象；当e为800时，超像素面积较大，相同T值约束下，易产生欠分割结果并且分割出了无用的背景信息，分割算法最终结果不理想。当e值为1000时，可以较为完整的提取目标，分割结果质量较高。大量实验证明，e值为1000时，算法的分割质量最好。

分割算法的实时性作为主要评估指标之一，算法的运行效率也很重要。改进小波聚类算法算法各部分运行时间如下：1)图像主结构提取，约耗时0.14s；2)SLIC超像素提取算法，约耗时0.45s；3)改进小波聚类算法中在线性时间内进行快速聚类，为超像素分配标签，实施图像分割，约耗时1.4s。本文提出的改进小波聚类算法算法总耗时约为2s左右，相同运行环境下，相较于彩色图像分割方法Ncut、JSEG和SAS的运行时间(分别约为32s、16s和13s)，可见改进小波聚类算法分割算法耗时最少，分割效率有较大提升。

Claims (6)

1.一种基于改进小波聚类的彩色图像分割方法，其特征在于，具体步骤如下：

步骤1：图像主结构提取，利用公式(1)～公式(4)给出的主结构提取算法提取原始彩色图像I的主结构，去除原始彩色图像I中的冗余信息，得到主结构图像，定义所述主结构图像的像素个数为M；

式中，T表示彩色图像主结构提取的目标函数，S表示生成的主结构图像，S_p表示生成的主结构图像S中像素p位置的值，I_p表示原始彩色图像I中像素p位置的值，ε表示一个常数且ε>0，用来避免分母为出现0的情况，γ表示控制输出图像平滑程度的权重，其中γ∈[0.01,0.03]，D_x(p)表示原始彩色图像I中的像素p在x方向上窗口的全变分，D_y(p)表示原始彩色图像I中的像素p在y方向上窗口的全变分，L_x(p)表示原始彩色图像I中的像素p在x方向上窗口的总体空间变分，L_y(p)表示原始彩色图像I中的像素p在y方向上窗口的总体空间变分，q表示原始彩色图像I中的像素p的邻域R(p)内的像素，

表示原始彩色图像I中的像素q的x方向上的邻域内像素点的梯度，

表示原始彩色图像I中的像素q的y方向上的邻域内像素点的梯度，g_p,q表示依据空间信息定义的加权函数，σ表示窗口的空间尺度，其中σ∈[0,8]，(x_p,y_p)表示原始彩色图像I中的像素p的空间位置，(x_q,y_q)表示原始彩色图像I中的像素q的空间位置；

步骤2：超像素的分割，采用SLIC算法将主结构图像进行过分割，得到c个超像素，其中c根据SLIC算法的设置的种子参数e确定；

步骤3：简化每个超像素特征，提取每个超像素的颜色特征，对颜色特征进行主成分分析，得到简化后的超像素颜色特征；

步骤4：计算每个超像素权重，根据每个超像素的灰度信息、相邻的超像素信息和超像素的位置信息计算每个超像素的权重；

步骤5：分割彩色图像，利用小波聚类对步骤3中得到的简化后的超像素颜色特征和步骤4中超像素权重实施聚类，得到聚类结果，然后通过所述聚类结果得到超像素标签，进而得到彩色图像分割结果。

2.根据权利要求1所述的一种基于改进小波聚类的彩色图像分割方法，其特征在于，所述步骤2超像素的分割，采用SLIC算法将主结构图像过分割为超像素，具体步骤如下：

2.1)初始聚类，接受一个种子参数e用于指定生成的超像素数目，首先根据边长W将主结构图像分割为M/e个超像素，其中M为主结构图像中的像素个数，所述边长W满足W＝[M/e]^0.5，每隔W个像素取一个聚类中心，利用公式(5)计算聚类中心像素与所述聚类中心的2W×2W大小邻域中的像素颜色和空间位置归一化距离D(a,d)，通过所述归一化距离D(a,d)为每个像素分配距所述像素距离最近的聚类中心标签，得到初始聚类，

式中，d表示聚类中心的标签，C_d表示Lab空间中聚类中心的颜色特征向量，向量S_d表示聚类中心二维空间位置坐标，向量S_a表示聚类中心2W×2W大小邻域中的像素的二维空间位置坐标，a表示聚类中心标签d的2W×2W大小邻域的超像素标签，C_a表示Lab空间中聚类中心2W×2W大小邻域的颜色特征向量，N_c表示位置的归一化常数，且满足N_c∈[0,1]，N_s表示Lab空间距离的归一化常数，且满足N_S∈[0,1]；

2.2)迭代聚类，初始聚类后，利用公式(6)依据聚类中心对应的超像素中所有像素的颜色和空间位置的均值迭代更新聚类中心，并计算聚类中心更新后与更新前的位置的差值，根据差值是否高于阈值判断是否重新设置聚类中心，不断迭代计算聚类中心直至收敛；

式中，

表示第d类的聚类中心，G_d表示聚类中心

对应的超像素中的所有像素，N_d表示超像素G_d中的像素数。

3.根据权利要求1所述的一种基于改进小波聚类的彩色图像分割方法，其特征在于，所述步骤3中简化每个超像素特征，提取每个超像素的颜色特征，对颜色特征进行主成分分析，得到简化后的超像素颜色特征，具体表述为：

3.1)定义第k个r维超像素的颜色特征点为x_k＝[x₁…x_r]，其中k∈[1,c]，c表示经步骤2迭代聚类之后生成的超像素个数，则c个r维超像素的颜色特征点集合表示为

3.2)利用公式(7)将颜色特征点集合X通过使目标函数

最小化后得到在低维空间中的线性无关的超像素颜色特征点集合B＝[b₁…b_m]，其中[b₁…b_m]∈R^c×m，c表示经步骤2迭代聚类之后生成的超像素个数，m表示经主成分分析后得到的颜色特征的个数，即超像素颜色特征点集合B则可表示为由c个颜色特征点组成的超像素颜色特征点集合，其中每个颜色特征点具有m个颜色特征，其中公式(7)的解由对应于由协方差矩阵A＝XX^T的特征分解获得的前m个最大特征值的特征向量求得，

式中，||·||_F表示矩阵的F-范数，X表示c个r维超像素颜色特征点集合，

表示通过X的协方差矩阵求得的特征向量，

表示

的转置特征向量，B表示超像素颜色特征点集合，A表示协方差矩阵，X^T表示矩阵X的转置。

4.根据权利要求1所述的一种基于改进小波聚类的彩色图像分割方法，其特征在于，所述步骤4计算超像素权重，根据每个超像素的灰度信息、相邻的超像素信息和超像素的位置信息计算每一个超像素的权重，具体表述为：

4.1)利用公式(9)计算每个超像素中所有像素的位置均值与图像中心的归一化距离，

式中，(x,y)表示每个超像素中所有像素的位置均值，(x₀,y₀)表示为原始彩色图像的中心，σ_x表示原始彩色图像宽值的1/2，σ_y表示原始彩色图像高值的1/2；

4.2)利用公式(10)判断每个超像素l_i是否处于主结构图像边缘，如果t(u)＝1，则表示超像素不位于主结构图像边缘，如果t(u)∈[0,1)，则表示超像素位于主结构图像的边缘，

式中，u表示超像素中位于主结构图像边缘的像素，若u＝0则表示超像素l_i不位于图像边缘且t(u)＝1，反之若超像素l_i位于图像边缘则满足t(u)∈[0,1)，ω表示调整参数，E表示主结构图像边缘上所有像素的总量，η表示一个预设阈值；

4.3)计算每个超像素l_i的权重，定义第i个超像素l_i及与所述超像素l_i相邻的超像素组成的集合为{s_j}，j＝1,2,…,w，其中w表示与第i个超像素l_i相邻的超像素个数，则第i个超像素l_i的权重的计算公式为

式中，λ_ij表示第i个超像素l_i与集合{s_j}总面积的比值，s_j表示第j个与超像素l_i相邻的超像素，D_col(l_i,s_j)表示超像素l_i与超像素s_j间的Lab颜色直方图的χ²距离，g(l_i)表示超像素l_i中所有像素的灰度均值，f(x,y)表示超像素l_i中所有像素位置均值与图像中心的归一化距离，t(u)表示判断超像素是否处于主结构图像边缘的函数。

5.根据权利要求1所述的一种基于改进小波聚类的彩色图像分割方法，其特征在于，所述步骤5彩色图像的分割，利用小波聚类对加权图像实施聚类，得到聚类结果，然后通过所述聚类结果得到超像素标签，进而得到彩色图像分割结果，具体表述为：

5.1)量化特征空间，首先将所述超像素颜色特征点集合B所在的整个数据空间划分为K^m个不重叠的矩形或超矩形单元，形成网格空间，其中m表示经主成分分析后得到的颜色特征的个数，K表示划分数据空间时每一维上的划分数，且满足所述超像素颜色特征点集合B以颜色特征点的角度表示为公式(12)所示，然后根据所述矩形或超矩形单元中的每一单元的区间范围，利用公式(13)将超像素颜色特征点集合B中所有颜色特征向量映射到网格空间中，完成特征空间的量化，

式中，b_t表示超像素颜色特征点集合B中的第t个超像素的颜色特征向量，t满足t＝1,2,…,c，c表示经步骤2迭代聚类之后生成的超像素个数；

式中，nCell_v表示第D_v维中包含颜色特征点b_o的区间[low_o,high_o)对应的区间序号，low_o表示包含颜色特征点b_o的区间的下限，high_o表示包含颜色特征点b_o的区间的上限，D_v表示超像素颜色特征点集合B所在的数据空间的第D_v维，b_ov表示第o个超像素的颜色特征点b_o的第v维属性值，max_v表示所有颜色特征向量在第D_v维上的最大值，min_v表示所有颜色特征向量在第D_v维上的最小值，K表示划分数据空间时每一维上的划分数，且满足其中m表示经主成分分析后得到的颜色特征的个数，c表示经步骤2迭代聚类之后生成的超像素个数；

5.2)划分稠密单元，超像素颜色特征点集合B中所有颜色特征向量映射完成后，统计属于同一网格单元的颜色特征向量个数作为所述网格单元的网格密度den(gird)，定义网格密度den(gird)高于阈值H的网格称为稠密网格，网格密度den(gird)低于阈值H的网格称为稀疏网格，然后将网格密度den(gird)高于阈值H的网格保留，将稀疏网格的网格置零，得到阈值处理之后的原网格空间；

5.3)在原网格空间中使用Cohen-Daubechies-Feauveau(2,2)双正交小波对稠密网格单元中特征点对应的超像素权重之和进行离散小波变换，保留平均子波段得到新的网格空间；

5.4)在变换后得到的新的网格空间子波段中寻找连通单元，根据连通定义在小波变换后的新的网格空间中扫描数据一次后寻找所有的连通单元，并且为不连通的簇类分别赋予不同的标签；

5.5)构造查找表，根据变换后得到的新的网格空间与所述原网格空间的对应关系构造查找表；

5.6)将未被赋予簇类标签的网格单元赋予簇类标签，进而得到彩色图像的分割结果，首先通过所述查找表为所述原网格空间中的对象分配标签，此时由于小波聚类倾向于低估聚类边界，会有未被分配标签的网格单元，通过判断网格间相似度拓展簇类边缘为未分配标签的网格单元分配标签，得到最终的聚类结果，再通过最终的聚类结果得到颜色特征点的标签，根据颜色特征点标签为对应的超像素分类，进而将彩色图像分为不同的部分。

6.根据权利要求5所述的一种基于改进小波聚类的彩色图像分割方法，其特征在于，所述步骤5.6)将未被赋予簇类标签的网格单元赋予簇类标签，具体表述为：

5.6.1)定义未被赋予簇类标签的网格单元为g_n+1，定义包含n个网格单元的簇类G表示为{g₁,g₂,g₃,…,g_n}，利用公式(14)计算两个网格单元g_n+1和g_λ之间的相似度S(g_n+1,g_λ)

式中，mean(g_n+1)表示网格单元g_n+1中颜色特征向量的均值，mean(g_λ)表示网格单元g_λ中颜色特征向量的均值，其中g_λ∈{g₁,g₂,g₃,…,g_n}，λ∈[1,n]，n表示簇类G中已经包含了n个网格单元，dist(mean(g_n+1),mean(g_λ))表示两个网格单元g_n+1和g_λ之间的欧几里得距离，dist(mean(g_n+1),mean(g_λ))的值越小，则S(g_n+1,g_λ)的值越大，表示两个网格单元g_n+1和g_λ之间相似度越高；

5.6.2)如果两个网格单元g_n+1和g_λ之间的相似度S(g_n+1,g_λ)满足公式(15)，则判定网格单元g_n+1和g_λ相似

式中，wide(g_n+1,g_λ)表示网格单元g_n+1和g_λ之间相异维度的网格长度；

5.6.3)如果未被赋予簇类标签的网格单元g_n+1满足公式(16)，则判断g_n+1满足被赋予簇类标签的条件，可以添加到簇类G中，则网格单元g_n+1被赋予了簇类G的标签，则簇类G中有n+1个网格单元，记为{g₁,g₂,g₃,…,g_n,g_n+1}，

式中，如果两个网格单元g_n+1与g_λ满足公式(15)，则y_t＝1，反之，则y_t＝0，μ作为判断g_n+1能否加入簇类G＝{g₁,g₂,g₃,…,g_n}的阈值，μ∈[0,1]，n表示簇类G中已有的网格单元的个数；

5.6.4)为所有未被赋予簇类标签的网格单元执行步骤5.6.1)～步骤5.6.3)，得到最终的聚类结果，再通过最终的聚类结果得到颜色特征点的标签，根据颜色特征点标签为对应的超像素分类，进而将彩色图像分为不同的部分。

Images