CN103761736B - 一种基于贝叶斯和谐度的图像分割方法 - Google Patents

Abstract

本发明公开了一种基于贝叶斯和谐度的图像分割方法，其先将图像分割成多个超像素块，然后提取每个超像素块的特征向量，并获取所有超像素块的特征向量的协方差矩阵，接着构建类，初始时将每个超像素块的特征向量作为对应类中的元素，再进行类合并：获取每个类的协方差矩阵及类相似度矩阵，从类相似度矩阵中找出值最大的元素，并确定该元素对应的两个类是否合并，若合并则继续进行类合并，若不合并则终止合并，最后根据类结果将图像分割成多个区域，优点是结合贝叶斯和谐学习理论，根据超像素块融合后贝叶斯和谐度变化趋势判定是否融合超像素块，当超像素块融合导致贝叶斯和谐度迅速下降时终止超像素块合并，这使得本方法能够自动选择区域块数。

Description

一种基于贝叶斯和谐度的图像分割方法

技术领域

本发明涉及一种图像分割技术，尤其是涉及一种基于贝叶斯和谐度的图像分割方法。

背景技术

图像分割是将一幅图像分割成几个互不重叠的区域块，每个区域块内的所有像素具有一致的某些特性，例如某个区域块内的所有像素具有相同的颜色、灰度、纹理等特征，或者某个区域块内只包含一个对象，如人、动物、树等对象。

人们在处理图像（如图像压缩、图像检索以及视频处理等）时往往只对图像中的某个对象区域感兴趣，这就需要用到图像分割技术。另一方面，在图像研究领域中，图像经过分割处理后有利于提取图像的特征和对图像进行更高层次的处理，因而图像分割技术是一种重要的图像处理技术。在图像分割技术中，一个关键问题是将图像分割成多少个互不重叠的区域块，如果分割的区域块的个数不恰当，则会严重影响图像的后续处理，因此如何确定分割的区域块的个数一直是图像分割技术发展当中的瓶颈问题。

图像分割技术发展至今有许多种方法，早期方法主要是基于阈值和边缘检测的方法，例如Canny检测方法，这些方法主要是利用图像的颜色信息来分割图像，这些方法简单、计算量小，但分割的效果已不能满足当前人们对图像处理的要求，这些方法主要用于图像的预处理。当前主流的图像分割方法是基于某种理论的图像分割方法，例如聚类理论、模糊理论、神经网络等，其中，基于聚类的图像分割方法研究较多，发展迅速，其是根据某种准则将图像划分成若干个区域，使得一个区域尽可能包含相似的像素。聚类方法有很多，例如k-means、mean-shift、基于图模型的方法、层次聚类方法等，大部分聚类方法可以直接应用于图像分割技术中。基于k-means聚类的图像分割方法简单、计算量小，但是这种方法不能自动地确定分割的区域块的个数。基于mean-shift聚类的图像分割方法是利用像素的空间信息和颜色信息自动地将图像分割成若干个区域块，不需要人为确定分割的区域块的个数，但是这种方法需要确定空间搜索半径和颜色搜索半径两个参数，由于不同的图像对应的参数设置不一样，因此就很难设置合适的参数。基于图模型的图像分割方法主要有GrabCut、Normalized Cut方法，GrabCut是一种交互式图像前景与背景分割方法，其事先需要手工加入一些先验信息，例如提供图像前景大致范围等；Normalized Cut是基于GrabCut的改进方法，其得到的分割结果比较精确，但需要指定区域块的个数，不能够自动地确定分割的区域块的个数。基于层次聚类的图像分割方法是通过不断地融合像素最终形成一个区域块，可通过选择一个合适的阈值来确定分割的区域块的个数，这种方法的关键在于采用了类与类之间距离度量方式。传统的层次聚类方法采用欧式距离，如single-link、complete-link、CURE等，基于这些层次聚类的图像分割方法的分割结果较差，而且不能自动地确定分割的区域块的个数。近些年出现了一些新的方法，如minimax linkage采用极小联系度量方式、authority-shift根据类代表点计算类之间距离等，基于这两种层次聚类的图像分割方法在一定程度上提高了分割精度，但没有有效的指导信息来确定合适的区域块的个数，仍然很难确定分割的区域块的个数。

上述大部分的图像分割方法由人为确定区域块的个数，而这使得图像的分割结果依赖于人的主观因素，导致图像分割方法的鲁棒性和自适应性较差。因此如何能够自动确定区域块的个数，并使得图像分割更精确、更合理一直是人们研究的重点方向。

发明内容

本发明所要解决的技术问题是提供一种基于贝叶斯和谐度的图像分割方法，其能够自动地确定分割的区域块的个数。

本发明解决上述技术问题所采用的技术方案为：一种基于贝叶斯和谐度的图像分割方法，其特征在于包括以下步骤：

①选取一幅待分割的图像，然后对图像进行超像素分割，得到N个超像素块，其中，N≥200；

②提取图像中的每个超像素块的特征向量，将图像中的第i个超像素块的特征向量记为X_i，其中，1≤i≤N，X_i包含颜色信息和空间坐标信息；

③首先根据图像中的每个超像素块的特征向量，获取图像中的所有超像素块的特征向量的协方差矩阵；然后构建类，初始时将图像中的每个超像素块的特征向量作为对应类中的元素；接着确定是否进行类合并操作，过程为：1）根据图像中的所有超像素块的特征向量的协方差矩阵，获取每个类的协方差矩阵；2）根据每个类的协方差矩阵，获取类相似度矩阵，其中，类相似度矩阵中的元素为两个类的相似度；3）从类相似度矩阵中找出值最大的元素，并根据设定的合并判定阈值T，确定找出的元素对应的两个类是否合并，如果确定找出的元素对应的两个类合并，则合并这两个类，再继续确定是否进行类合并操作；如果确定找出的元素对应的两个类不合并，则终止类合并操作，再执行步骤④；

④假设类合并操作终止后共得到L个类，则根据得到的类结果将图像分割成L个区域块，其中，L≥1。

所述的步骤①中对图像进行超像素分割采用简单线性迭代聚类方法。

所述的步骤②中图像中的第i个超像素块的特征向量X_i的获取过程为：

②-1、获取第i个超像素块的中心像素点在图像中的坐标位置，记为(px_i,py_i)，其中，px_i表示第i个超像素块的中心像素点在图像中的横坐标，py_i表示第i个超像素块的中心像素点在图像中的纵坐标，1≤px_i≤W，1≤py_i≤H，W表示图像的宽，H表示图像的高；

②-2、从第i个超像素块中找出位于第i个超像素块的中心像素点的对角线上，且与第i个超像素块的中心像素点的直线距离为Δd的像素点，并获取从第i个超像素块中找出的像素点在图像中的坐标位置，记为(px_i',py_i')，其中，Δd的值取整数，且0<Δd<10，px_i'表示从第i个超像素块中找出的像素点在图像中的横坐标，py_i'表示从第i个超像素块中找出的像素点在图像中的纵坐标，1≤px_i'≤W，1≤py_i'≤H；

②-3、获取第i个超像素块的中心像素点在LAB颜色空间的L通道颜色值、A通道颜色值和B通道颜色值，对应记为l_i、a_i和b_i；

②-4、根据px_i、py_i、px_i'、py_i'、l_i、a_i和b_i，得到第i个超像素块的特征向量，记为X_i，X_i=(px_i,py_i,px_i',py_i',l_i,a_i,b_i)^T，其中，(px_i,py_i,px_i',py_i',l_i,a_i,b_i)^T为(px_i,py_i,px_i',py_i',l_i,a_i,b_i)的转置向量。

所述的步骤③的具体过程为：

③-1、计算图像中的所有超像素块的特征向量的协方差矩阵，记为Cov_X， ${\mathrm{Cov}}_X=\frac{1}{N+1}\left[{\mathrm{\&Sigma;}}_{i=1}^N\left((X_i-\stackrel{\&OverBar;}{X}){(X_i-\stackrel{\&OverBar;}{X})}^T\right)\right],$ 其中，表示图像中的所有超像素块的特征向量的均值向量，为的转置向量；

③-2、构建L个初始值为空的类，将第i'个类记为C_i'，其中，1≤i'≤L，L≥1，L的初始值等于N；

③-3、将图像中的每个超像素块的特征向量作为对应类中的元素，对于图像中的第i个超像素块，将图像中的第i个超像素块的特征向量X_i作为第i'个类C_i'中的元素；

③-4、计算每个类的协方差矩阵，将第i'个类C_i'的协方差矩阵记为 ${\mathrm{Cov}}_{C_{i^{\&prime;}}}=\frac{1}{N_{i^{\&prime;}}+1}[{\mathrm{Cov}}_X+{\mathrm{\&Sigma;}}_{j=1}^{N_{i^{\&prime;}}}(E_{i^{\&prime;},j}-\stackrel{\&OverBar;}{E_{i^{\&prime;}}}){(E_{i^{\&prime;},j}-\stackrel{\&OverBar;}{E_{i^{\&prime;}}})}^T],$ 其中，1≤i'≤L，N_i'表示第i'个类C_i'中包含的元素的总个数，1≤j≤N_i'，E_i',j表示第i'个类C_i'中的第j个元素，表示第i'个类C_i'中的所有元素的均值向量，为的转置向量；

③-5、计算类相似度矩阵，记为D，将类相似度矩阵D中下标为(p,q)处的元素记为d_p,q，d_p,q表示第p个类C_p与第q个类C_q的相似度，其中，D为一个L阶的方阵，1≤p≤L，1≤q≤L，d_p,q的获取过程为：a、计算所有类的贝叶斯和谐度，记为H_o， $H_o=\underset{i^{\&prime;}=1}{\overset{L}{\mathrm{\&Sigma;}}}({\mathrm{\&alpha;}}_{i^{\&prime;}}\&times;{\ln \mathrm{\&alpha;}}_{i^{\&prime;}})-\frac{1}{2}\underset{i^{\&prime;}=1}{\overset{L}{\mathrm{\&Sigma;}}}({\mathrm{\&alpha;}}_{i^{\&prime;}}\&times;\ln |{\mathrm{Cov}}_{C_{i^{\&prime;}}}\left|\right),$ 其中，符号“||”为取绝对值符号；b、计算假设第p个类C_p与第q个类C_q合并成一个新的类后所有类的贝叶斯和谐度，记为H_n， $H_n=\underset{h=1}{\overset{L-1}{\mathrm{\&Sigma;}}}({\mathrm{\&alpha;}}_h\&times;{\ln \mathrm{\&alpha;}}_h)-\frac{1}{2}\underset{h=1}{\overset{L-1}{\mathrm{\&Sigma;}}}({\mathrm{\&alpha;}}_h\&times;\ln |{\mathrm{Cov}}_{C_h}\left|\right),$ 其中，N_h表示在第p个类C_p与第q个类C_q合并成一个新的类后所有类中的第h个类C_h中包含的元素的总个数，表示在第p个类C_p与第q个类C_q合并成一个新的类后所有类中的第h个类C_h的协方差矩阵；c、计算假设第p个类C_p与第q个类C_q合并成一个新的类后贝叶斯和谐度的增幅，记为ΔH，ΔH=H_n-H_o；d、将ΔH作为第p个类C_p与第q个类C_q的相似度，即d_p,q=ΔH；

③-6、从类相似度矩阵D中找出值最大的元素，假设找出的元素为d_p,q，则认为第p个类C_p与第q个类C_q可以合并成一个新的类；然后判断d_p,q是否大于设定的合并判定阈值T，如果d_p,q大于设定的合并判定阈值T，则确定合并第p个类C_p与第q个类C_q，当p<q时将第q个类C_q合并到第p个类C_p中，并将第q+1个类C_q+1至第L个类C_L的下标依次修改为q,q+1,q+2,…,L-1，然后令N_p=N_p+1，再执行步骤③-7；而当p>q时将第p个类C_p合并到第q个类C_q中，并将第p+1个类C_p+1至第L个类C_L的下标依次修改为p,p+1,p+2,…,L-1，然后令N_q=N_q+1，再执行步骤③-7，其中，N_p=N_p+1和N_q=N_q+1中的“=”为赋值符号；如果d_p,q小于设定的合并判定阈值T，终止类的合并过程，得到L个类；

③-7、令L'=L-1，如果L'大于1，则令L=L'，然后返回步骤③-4继续执行；如果L'等于1，则令L=L'，并终止类的合并过程，得到L个类，其中，L'=L-1和L=L'中的“=”为赋值符号。

所述的步骤③-6中取T=-0.25。

所述的步骤④中在图像分割前对图像中的每个超像素块进行平滑处理，以去除区域空洞，具体过程为：

④-1、将图像中当前待处理的第i个超像素块定义为当前超像素块，其中，1≤i≤N；

④-2、统计与当前超像素块相邻的所有超像素块各自所属的类的分布，其中，相邻的超像素块是指其与当前超像素块共享有边界，且共享的边界包含的像素点的总个数大于设定的边界判定阈值Q；

④-3、找出包含相邻的超像素块最多的类，将当前超像素块合并到找出的类中；

④-4、令i=i+1，将图像中下一个待处理的超像素块作为当前超像素块，然后返回步骤④-2继续执行，直至图像中的所有超像素块处理完毕，使得图像中属于同一个类的所有超像素块在图像空间位置上连续，且共得到L″个类，再令L=L″，其中，i=i+1和L=L″中的“=”为赋值符号，L″≥1。

所述的步骤④-2中取Q=15。

与现有技术相比，本发明的优点在于：

1）本发明方法通过超像素分割将图像分割成较小的超像素块，超像素块内的像素颜色相似、空间相邻，本发明方法以超像素块为处理单位将超像素块融合成较大的区域块，减少了大量对相似像素的处理，从而提高了图像分割的效率。

2）本发明方法结合贝叶斯和谐学习理论，根据超像素块融合后的贝叶斯和谐度变化趋势，判断是否融合超像素块，当超像素块融合导致贝叶斯和谐度迅速下降时，终止超像素块的合并操作，这使得本发明方法能够自动选择分割的区域块的个数，有效地解决了现有技术难以确定区域块数的问题。

附图说明

图1为本发明方法的流程框图；

图2为MSRC图像数据库中选取的一幅图像；

图3为采用简单线性迭代聚类方法对图2所示的图像进行超像素分割后得到的分割结果；

图4为在对图3所示的超像素块进行类合并操作过程中，所有类的贝叶斯和谐度的变化曲线（横坐标为合并的次数，纵坐标表示所有类的贝叶斯和谐度）；

图5为在对图3所示的超像素块进行类合并操作过程中，贝叶斯和谐度的增幅的变化曲线（横坐标为合并的次数，纵坐标表示贝叶斯和谐度的增幅）；

图6a为对图3所示的超像素块进行最后7次合并操作时所有类的贝叶斯和谐度的变化曲线（横坐标为合并的次数，纵坐标表示所有类的贝叶斯和谐度）；

图6b为对图3所示的超像素块进行最后7次合并操作时贝叶斯和谐度的增幅的变化曲线（横坐标为合并的次数，纵坐标表示贝叶斯和谐度的增幅）；

图7a为有区域空洞的图像分割结果；

图7b为解决区域空洞后的图像分割结果。

具体实施方式

以下结合附图实施例对本发明作进一步详细描述。

本发明提出的一种基于贝叶斯和谐度的图像分割方法，其流程图如图1所示，其包括以下步骤：

①选取一幅待分割的图像，例如从MSRC图像数据库中选取一幅图像（如图2所示）作为待分割的图像，然后对图像进行超像素分割，得到N个超像素块，其中，N≥200，N的具体取值由图像的尺寸大小决定，在此假设选取的图像的尺寸大小为320×213，则N的值可取400。

现有的超像素分割方法有Radhakrishna Achanta等人提出的SLIC（simplelinear iterative clustering，简单线性迭代聚类）方法、Alex Levinshtein等人提出的TurboPixels方法等，超像素分割方法是将图像分割成许多较小的区域块（即超像素块），超像素块内的所有像素点的颜色相似、空间相邻，所有超像素块的大小相当，超像素块的数量需要根据图像的尺寸大小来确定。图像经过超像素分割后，非常有利于图像的后续处理，因此本发明方法将超像素分割作为图像的粗分割（初始分割），然后再对超像素块进行融合形成较大的区域块。在本实施例中具体采用简单线性迭代聚类方法（SLIC）方法对图像进行预处理即对图像进行超像素分割，图3给出了对从MSRC图像数据库中选取的一幅图像（图2所示）进行超像素分割后得到的分割结果，图3中的小区域块即为超像素块，超像素块内的所有像素点的颜色相似，所有超像素块的尺寸大小相当。

②提取图像中的每个超像素块的特征向量，将图像中的第i个超像素块的特征向量记为X_i，其中，1≤i≤N，X_i包含颜色信息和空间坐标信息。

在本实施例中，步骤②中图像中的第i个超像素块的特征向量X_i的获取过程为：

②-1、获取第i个超像素块的中心像素点在图像中的坐标位置，记为(px_i,py_i)，其中，px_i表示第i个超像素块的中心像素点在图像中的横坐标，py_i表示第i个超像素块的中心像素点在图像中的纵坐标，1≤px_i≤W，1≤py_i≤H，W表示图像的宽，H表示图像的高。

②-2、从第i个超像素块中找出位于第i个超像素块的中心像素点的对角线上，且与第i个超像素块的中心像素点的直线距离为Δd的像素点，并获取从第i个超像素块中找出的像素点在图像中的坐标位置，记为(px_i',py_i')，其中，Δd的值取整数，且0<Δd<10，px_i'表示从第i个超像素块中找出的像素点在图像中的横坐标，py_i'表示从第i个超像素块中找出的像素点在图像中的纵坐标，1≤px_i'≤W，1≤py_i'≤H。

在此，可以在第i个超像素块的中心像素点的左对角线或右对角线上找出与中心像素点的直线距离为Δd的像素点，具体实施时如可在第i个超像素块的中心像素点的左上对角线（左对角线的左上部分，即位于第二象限部分的对角线）上找出与中心像素点的直线距离为Δd的像素点；Δd的具体取值由图像的尺寸大小决定，一般情况下Δd的具体值可在0<Δd<10范围内取，假设选取的图像的尺寸大小为320×213，则Δd的值可取5，这是通过大量实验获取的。

②-3、获取第i个超像素块的中心像素点在LAB颜色空间的L通道颜色值、A通道颜色值和B通道颜色值，对应记为l_i、a_i和b_i。

②-4、根据px_i、py_i、px_i'、py_i'、l_i、a_i和b_i，得到第i个超像素块的特征向量，记为X_i，X_i=(px_i,py_i,px_i',py_i',l_i,a_i,b_i)^T，其中，(px_i,py_i,px_i',py_i',l_i,a_i,b_i)^T为(px_i,py_i,px_i',py_i',l_i,a_i,b_i)的转置向量，X_i为列向量。

③首先根据图像中的每个超像素块的特征向量，获取图像中的所有超像素块的特征向量的协方差矩阵；然后构建类，初始时将图像中的每个超像素块的特征向量作为对应类中的元素；接着确定是否进行类合并操作，过程为：1）根据图像中的所有超像素块的特征向量的协方差矩阵，获取每个类的协方差矩阵；2）根据每个类的协方差矩阵，获取类相似度矩阵，其中，类相似度矩阵中的元素为两个类的相似度；3）从类相似度矩阵中找出值最大的元素，并根据设定的合并判定阈值T，确定找出的元素对应的两个类是否合并，如果确定找出的元素对应的两个类合并，则合并这两个类，再继续确定是否进行类合并操作；如果确定找出的元素对应的两个类不合并，则终止类合并操作，再执行步骤④。

在本实施例中，步骤③的具体过程为：

③-1、计算图像中的所有超像素块的特征向量的协方差矩阵，记为Cov_X， ${\mathrm{Cov}}_X=\frac{1}{N+1}\left[{\mathrm{\&Sigma;}}_{i=1}^N\left((X_i-\stackrel{\&OverBar;}{X}){(X_i-\stackrel{\&OverBar;}{X})}^T\right)\right],$ 其中，表示图像中的所有超像素块的特征向量的均值向量，即图像中的所有超像素块的特征向量中的对应下标的元素的均值作为均值向量中对应下标的元素，为的转置向量。

③-2、构建L个初始值为空的类，将第i'个类记为C_i'，其中，1≤i'≤L，L≥1，L的初始值等于N。

③-3、将图像中的每个超像素块的特征向量作为对应类中的元素，对于图像中的第i个超像素块，将图像中的第i个超像素块的特征向量X_i作为第i'个类C_i'中的元素。

③-4、计算每个类的协方差矩阵，将第i'个类C_i'的协方差矩阵记为 ${\mathrm{Cov}}_{C_{i^{\&prime;}}}=\frac{1}{N_{i^{\&prime;}}+1}[{\mathrm{Cov}}_X+{\mathrm{\&Sigma;}}_{j=1}^{N_{i^{\&prime;}}}(E_{i^{\&prime;},j}-\stackrel{\&OverBar;}{E_{i^{\&prime;}}}){(E_{i^{\&prime;},j}-\stackrel{\&OverBar;}{E_{i^{\&prime;}}})}^T],$ 其中，1≤i'≤L，N_i'表示第i'个类C_i'中包含的元素的总个数，1≤j≤N_i'，E_i',j表示第i'个类C_i'中的第j个元素，表示第i'个类C_i'中的所有元素的均值向量，为的转置向量。

在初始阶段，每个类中只包含一个元素，即N_i'=1，这样第i'个类C_i'的协方差矩阵

③-5、计算类相似度矩阵，记为D，将类相似度矩阵D中下标为(p,q)处的元素记为d_p,q，d_p,q表示第p个类C_p与第q个类C_q的相似度，其中，D为一个L阶的方阵，1≤p≤L，1≤q≤L，d_p,q的获取过程为：a、计算所有类的贝叶斯和谐度，记为H_o， $H_o=\underset{i^{\&prime;}=1}{\overset{L}{\mathrm{\&Sigma;}}}({\mathrm{\&alpha;}}_{i^{\&prime;}}\&times;{\ln \mathrm{\&alpha;}}_{i^{\&prime;}})-\frac{1}{2}\underset{i^{\&prime;}=1}{\overset{L}{\mathrm{\&Sigma;}}}({\mathrm{\&alpha;}}_{i^{\&prime;}}\&times;\ln |{\mathrm{Cov}}_{C_{i^{\&prime;}}}\left|\right),$ 其中，符号“||”为取绝对值符号。在此，H_o可以衡量所有超像素块的特征向量的数据分布情况，其值越大说明形成的数据分布更接近于真实分布。图4给出了在对图3所示的超像素块进行类合并操作过程中，所有类的贝叶斯和谐度的变化曲线。b、计算假设第p个类C_p与第q个类C_q合并成一个新的类后所有类的贝叶斯和谐度，记为H_n， $H_n=\underset{h=1}{\overset{L-1}{\mathrm{\&Sigma;}}}({\mathrm{\&alpha;}}_h\&times;{\ln \mathrm{\&alpha;}}_h)-\frac{1}{2}\underset{h=1}{\overset{L-1}{\mathrm{\&Sigma;}}}({\mathrm{\&alpha;}}_h\&times;\ln |{\mathrm{Cov}}_{C_h}\left|\right),$ 其中，N_h表示在第p个类C_p与第q个类C_q合并成一个新的类后所有类中的第h个类C_h中包含的元素的总个数，表示在第p个类C_p与第q个类C_q合并成一个新的类后所有类中的第h个类C_h的协方差矩阵。c、计算假设第p个类C_p与第q个类C_q合并成一个新的类后贝叶斯和谐度的增幅，记为ΔH，ΔH=H_n-H_o。图5给出了在对图3所示的超像素块进行类合并操作过程中，贝叶斯和谐度的增幅的变化曲线，贝叶斯和谐度的增幅体现数据的贝叶斯和谐度的变化趋势。d、将ΔH作为第p个类C_p与第q个类C_q的相似度，即d_p,q=ΔH。在此，直接将在第p个类C_p与第q个类C_q合并成一个新的类后贝叶斯和谐度的增幅作为第p个类C_p与第q个类C_q的相似度，这样就可以用两个类之间的相似度来反映这两个类合并后对于所有类的贝叶斯和谐度的变化情况。

③-6、根据贝叶斯和谐学习理论，数据的贝叶斯和谐度越大越好，每一次合并的宗旨应该使得贝叶斯和谐度增大，因而本发明方法根据贝叶斯和谐度的变化趋势来选择最相似的两个类进行合并，即选择贝叶斯和谐度的增幅最大对应的两个类进行合并。如果类相似度矩阵D中下标为(p,q)处的元素d_p,q大于0，则说明合并第p个类C_p与第q个类C_q会使得贝叶斯和谐度增大；如果类相似度矩阵D中下标为(p,q)处的元素d_p,q小于0，则说明合并第p个类C_p与第q个类C_q会使得贝叶斯和谐度变小；那么每一次选择贝叶斯和谐度增幅最大的两个类进行合并形成一个新的类。

在此，合并最相似的两个类的具体过程为：从类相似度矩阵D中找出值最大的元素，假设找出的元素为d_p,q，则认为第p个类C_p与第q个类C_q可以合并成一个新的类；然后判断d_p,q是否大于设定的合并判定阈值T，如果d_p,q大于设定的合并判定阈值T，则确定合并第p个类C_p与第q个类C_q，当p<q时将第q个类C_q合并到第p个类C_p中，并将第q+1个类C_q+1至第L个类C_L的下标依次修改为q,q+1,q+2,…,L-1，然后令N_p=N_p+1，再执行步骤③-7；而当p>q时将第p个类C_p合并到第q个类C_q中，并将第p+1个类C_p+1至第L个类C_L的下标依次修改为p,p+1,p+2,…,L-1，然后令N_q=N_q+1，再执行步骤③-7，其中，N_p=N_p+1和N_q=N_q+1中的“=”为赋值符号；如果d_p,q小于设定的合并判定阈值T，终止类的合并过程，得到L个类。在此，设定的合并判定阈值T为经验值，在具体实施过程中可取T=-0.25。

由于当合并两个不相似的类会导致贝叶斯和谐度下降幅度较大，因此可以根据这一指导信息使得本发明方法自动地确定类的最终个数。本发明方法根据贝叶斯和谐度增幅判断整个数据的贝叶斯和谐度的降低程度，当待合并的两个类之间的相似度（贝叶斯和谐度增幅）大于一个合并判定阈值T，则认为合并了两个相似的类，贝叶斯和谐度没有呈现迅速降低趋势，再继续合并操作；当待合并的两个类之间的相似度小于一个合并判定阈值T，那么整个数据的贝叶斯和谐度开始迅速降低，则说明待合并的两个类有较大的不相似，应终止合并操作，以产生合适的类结果。

图6a给出了对图3所示的超像素块进行最后7次合并操作时，所有类的贝叶斯和谐度的变化曲线；图6b给出了对图3所示的超像素块进行最后7次合并操作时，贝叶斯和谐度的增幅的变化曲线，图6a中的虚线表示所有类的贝叶斯和谐度开始迅速降低，图6b中的虚线表示贝叶斯和谐度的增幅迅速变小，虚线处表示此次类合并操作合并了两个不相似的类，本发明方法根据此信息自动终止合并操作，形成相应的类结果。

③-7、令L'=L-1，如果L'大于1，则令L=L'，然后返回步骤③-4继续执行；如果L'等于1，则令L=L'，并终止类的合并过程，得到L个类，其中，L'=L-1和L=L'中的“=”为赋值符号。

④假设类合并操作终止后共得到L个类，则根据得到的类结果将图像分割成L个区域块，其中，L≥1。图7a给出了利用本发明方法的步骤①至步骤④对图2所示的图像进行处理，分割得到的4个区域块，图7a所示的分割结果中存在区域空洞。

尽管超像素块的特征向量包括空间位置信息，但步骤③得到的类结果仍然会出现不相邻的超像素块被归为同一个类的情况，例如某一个超像素块与它周围相邻的超像素块不属于同一个类，这是不合理的，如果直接根据步骤③得到的类结果分割图像，则会导致出现区域空洞，如图7a所示。因此在图像分割前对图像中的每个超像素块进行平滑处理，以去除区域空洞，图7b给出了解决图7a所示的区域块空洞后的分割结果，具体解决过程为：

④-1、将图像中当前待处理的第i个超像素块定义为当前超像素块，其中，1≤i≤N。

④-2、统计与当前超像素块相邻的所有超像素块各自所属的类的分布，其中，相邻的超像素块是指其与当前超像素块共享有边界，且共享的边界包含的像素点的总个数大于设定的边界判定阈值Q。在此，取Q=15。

④-3、找出包含相邻的超像素块最多的类，将当前超像素块合并到找出的类中。

④-4、令i=i+1，将图像中下一个待处理的超像素块作为当前超像素块，然后返回步骤④-2继续执行，直至图像中的所有超像素块处理完毕，使得图像中属于同一个类的所有超像素块在图像空间位置上连续，且共得到L″个类，再令L=L″，其中，i=i+1和L=L″中的“=”为赋值符号，L″≥1。

图7a为有区域空洞的图像分割结果，从图7a中可以看出某些超像素块不属于它周围任何一个区域块，导致出现区域空洞现象。应将这种超像素块融入到它周围的区域块中，经过处理后得到图7b所示的分割结果，与图7a相比，图7b给出的分割结果没有区域空洞，分割效果更好。

Claims (6)

1.一种基于贝叶斯和谐度的图像分割方法，其特征在于包括以下步骤：

①选取一幅待分割的图像，然后对图像进行超像素分割，得到N个超像素块，其中，N≥200；

②提取图像中的每个超像素块的特征向量，将图像中的第i个超像素块的特征向量记为X_i，其中，1≤i≤N，X_i包含颜色信息和空间坐标信息；

所述的步骤②中图像中的第i个超像素块的特征向量X_i的获取过程为：

②-1、获取第i个超像素块的中心像素点在图像中的坐标位置，记为(px_i,py_i)，其中，px_i表示第i个超像素块的中心像素点在图像中的横坐标，py_i表示第i个超像素块的中心像素点在图像中的纵坐标，1≤px_i≤W，1≤py_i≤H，W表示图像的宽，H表示图像的高；

②-2、从第i个超像素块中找出位于第i个超像素块的中心像素点的对角线上，且与第i个超像素块的中心像素点的直线距离为Δd的像素点，并获取从第i个超像素块中找出的像素点在图像中的坐标位置，记为(px_i',py_i')，其中，Δd的值取整数，且0＜Δd＜10，px_i'表示从第i个超像素块中找出的像素点在图像中的横坐标，py_i'表示从第i个超像素块中找出的像素点在图像中的纵坐标，1≤px_i'≤W，1≤py_i'≤H；

②-3、获取第i个超像素块的中心像素点在LAB颜色空间的L通道颜色值、A通道颜色值和B通道颜色值，对应记为l_i、a_i和b_i；

②-4、根据px_i、py_i、px_i'、py_i'、l_i、a_i和b_i，得到第i个超像素块的特征向量，记为X_i，X_i＝(px_i,py_i,px_i',py_i',l_i,a_i,b_i)^T，其中，(px_i,py_i,px_i',py_i',l_i,a_i,b_i)^T为(px_i,py_i,px_i',py_i',l_i,a_i,b_i)的转置向量；

③首先根据图像中的每个超像素块的特征向量，获取图像中的所有超像素块的特征向量的协方差矩阵；然后构建类，初始时将图像中的每个超像素块的特征向量作为对应类中的元素；接着确定是否进行类合并操作，过程为：1)根据图像中的所有超像素块的特征向量的协方差矩阵，获取每个类的协方差矩阵；2)根据每个类的协方差矩阵，获取类相似度矩阵，其中，类相似度矩阵中的元素为两个类的相似度；3)从类相似度矩阵中找出值最大的元素，并根据设定的合并判定阈值T，确定找出的元素对应的两个类是否合并，如果确定找出的元素对应的两个类合并，则合并这两个类，再继续确定是否进行类合并操作；如果确定找出的元素对应的两个类不合并，则终止类合并操作，再执行步骤④；

④假设类合并操作终止后共得到L个类，则根据得到的类结果将图像分割成L个区域块，其中，L≥1。

2.根据权利要求1所述的一种基于贝叶斯和谐度的图像分割方法，其特征在于所述的步骤①中对图像进行超像素分割采用简单线性迭代聚类方法。

3.根据权利要求1所述的一种基于贝叶斯和谐度的图像分割方法，其特征在于所述的步骤③的具体过程为：

③-1、计算图像中的所有超像素块的特征向量的协方差矩阵，记为Cov_X，其中，表示图像中的所有超像素块的特征向量的均值向量，为的转置向量；

③-2、构建L个初始值为空的类，将第i'个类记为C_i'，其中，1≤i'≤L，L≥1，L的初始值等于N；

③-3、将图像中的每个超像素块的特征向量作为对应类中的元素，对于图像中的第i个超像素块，将图像中的第i个超像素块的特征向量X_i作为第i'个类C_i'中的元素；

③-4、计算每个类的协方差矩阵，将第i'个类C_i'的协方差矩阵记为 其中，1≤i'≤L，N_i'表示第i'个类C_i'中包含的元素的总个数，1≤j≤N_i'，E_i',j表示第i'个类C_i'中的第j个元素，表示第i'个类C_i'中的所有元素的均值向量，为的转置向量；

③-5、计算类相似度矩阵，记为D，将类相似度矩阵D中下标为(p,q)处的元素记为d_p,q，d_p,q表示第p个类C_p与第q个类C_q的相似度，其中，D为一个L阶的方阵，1≤p≤L，1≤q≤L，d_p,q的获取过程为：a、计算所有类的贝叶斯和谐度，记为H_o，其中，符号“||”为取绝对值符号；b、计算假设第p个类C_p与第q个类C_q合并成一个新的类后所有类的贝叶斯和谐度，记为H_n，其中，N_h表示在第p个类C_p与第q个类C_q合并成一个新的类后所有类中的第h个类C_h中包含的元素的总个数，表示在第p个类C_p与第q个类C_q合并成一个新的类后所有类中的第h个类C_h的协方差矩阵；c、计算假设第p个类C_p与第q个类C_q合并成一个新的类后贝叶斯和谐度的增幅，记为ΔH，ΔH＝H_n-H_o；d、将ΔH作为第p个类C_p与第q个类C_q的相似度，即d_p,q＝ΔH；

③-6、从类相似度矩阵D中找出值最大的元素，假设找出的元素为d_p,q，则认为第p个类C_p与第q个类C_q可以合并成一个新的类；然后判断d_p,q是否大于设定的合并判定阈值T，如果d_p,q大于设定的合并判定阈值T，则确定合并第p个类C_p与第q个类C_q，当p＜q时将第q个类C_q合并到第p个类C_p中，并将第q+1个类C_q+1至第L个类C_L的下标依次修改为q,q+1,q+2,…,L-1，然后令N_p＝N_p+1，再执行步骤③-7；而当p＞q时将第p个类C_p合并到第q个类C_q中，并将第p+1个类C_p+1至第L个类C_L的下标依次修改为p,p+1,p+2,…,L-1，然后令N_q＝N_q+1，再执行步骤③-7，其中，N_p＝N_p+1和N_q＝N_q+1中的“＝”为赋值符号；如果d_p,q小于设定的合并判定阈值T，终止类的合并过程，得到L个类；

③-7、令L'＝L-1，如果L'大于1，则令L＝L'，然后返回步骤③-4继续执行；如果L'等于1，则令L＝L'，并终止类的合并过程，得到L个类，其中，L'＝L-1和L＝L'中的“＝”为赋值符号。

4.根据权利要求3所述的一种基于贝叶斯和谐度的图像分割方法，其特征在于所述的步骤③-6中取T＝-0.25。

5.根据权利要求4所述的一种基于贝叶斯和谐度的图像分割方法，其特征在于所述的步骤④中在图像分割前对图像中的每个超像素块进行平滑处理，以去除区域空洞，具体过程为：

④-1、将图像中当前待处理的第i个超像素块定义为当前超像素块，其中，1≤i≤N；

④-2、统计与当前超像素块相邻的所有超像素块各自所属的类的分布，其中，相邻的超像素块是指其与当前超像素块共享有边界，且共享的边界包含的像素点的总个数大于设定的边界判定阈值Q；

④-3、找出包含相邻的超像素块最多的类，将当前超像素块合并到找出的类中；

④-4、令i＝i+1，将图像中下一个待处理的超像素块作为当前超像素块，然后返回步骤④-2继续执行，直至图像中的所有超像素块处理完毕，使得图像中属于同一个类的所有超像素块在图像空间位置上连续，且共得到L”个类，再令L＝L”，其中，i＝i+1和L＝L”中的“＝”为赋值符号，L”≥1。

6.根据权利要求5所述的一种基于贝叶斯和谐度的图像分割方法，其特征在于所述的步骤④-2中取Q＝15。