CN105303546A - 基于模糊连接度的近邻传播聚类图像分割方法 - Google Patents

Abstract

本发明公开一种基于模糊连接度的近邻传播聚类图像分割方法，主要用于解决其他同类方法由于目标跨度较大而出现过分割、分割精度低的问题。其实现步骤为：(1)对图像进行超像素分割；(2)提取超像素的空间特征和密度特征；(3)根据超像素的空间特征计算邻近关系；(4)根据超像素的密度特征和邻近关系计算亲和关系；(5)根据亲和关系计算所有超像素间的模糊连接度；(6)根据模糊连接度和空间特征关系计算超像素间的相似度；(7)用近邻传播聚类完成超像素的聚类，并生成分割结果。本发明是一种全自动分割方法，分割的目标一致性好，分割精度高，解决了现有AP聚类图像分割方法偏向参数难确定的问题，对自然彩色图像有很好的分割能力。

Description

基于模糊连接度的近邻传播聚类图像分割方法

技术领域

本发明属于图像处理领域，涉及图像分割方法，特别是涉及基于模糊连接度的近邻传播聚类图像分割方法，可用于自然彩色图像的自动分割。

背景技术

1996年Udupa提出了模糊连接度理论框架，并提出了阈值模糊连接度算法用于医学图像分割。此后，相对模糊连接度算法、迭代相对模糊连接度算法相继被提出。模糊连接度方法使用像素的空间位置特征计算邻近关系，使用灰度或颜色等其他特征以及邻近关系计算亲和关系，最后以模糊连接度来判定像素所属的目标，以一种新的方式将像素点的不同特征结合，鲁棒性非常好，在医学图像分割中取得了很好的效果。但模糊连接度方法大多是交互式的分割方法，需要人工选取种子点，而且主要应用于医学图像，在自然图像中的应用比较少。

近邻传播聚类(AffinityPropagationClustering)是Frey等人2007年在期刊《science》上提出的一种较新的聚类算法。AP聚类和谱聚类一样，以数据点间的相似度作为输入。与传统的聚类方法相比，AP聚类不需要事先指定类中心和聚类数目，聚类精度高，稳定性好，很快成为了一个研究热点。已有学者对使用AP聚类的图像分割方法进行了初步研究。这些研究主要集中在多光谱图像的分割上，也有部分的医学图像和自然图像的分割。在这些研究的相似度计算方法中，大部分没有考虑像素的空间信息，或者使用将像素的空间相似性和密度相似性直接相乘的方法，不能充分发挥两种相似度的作用，分割精度低。

发明内容

本发明的目的是针对传统相似度计算方法中不能充分发挥空间特征和密度特征作用的不足，提出一种使用模糊连接度计算相似度的AP聚类图像分割方法，以改善分割效果。

实现本发明的技术关键是：先对图像使用超像素技术进行超像素分割，以减小数据量，在提取完超像素的空间特征和密度特征后，计算出超像素的亲和关系，使用遍历最大生成树的方法计算像素的模糊连接度，根据模糊连接度和空间距离计算超像素的相似度，以这种基于模糊连接度的相似度代替传统的相似度计算方法。具体实现步骤如下：

(1)超像素预分割步骤：

(1a)设置超像素数目，使用NormalizedCut超像素技术对图像进行超像素分割。

(1b)对每一个超像素，提取其空间特征和密度特征。

(2)基于模糊连接度的相似度计算步骤：

(2a)计算超像素空间特征的欧氏距离矩阵dist。

(2b)设置邻域半径radius。

(2c)根据超像素的空间特征计算邻近关系矩阵adj。

(2d)根据超像素的密度特征和邻近关系计算亲和关系矩阵aff。

(2e)根据超像素的亲和关系计算模糊连接度矩阵M。

(2f)以超像素间的模糊连接度与归一化后的空间距离相似度的加权和作为最终的相似度，得到最终的相似度矩阵S。

(3)AP聚类步骤：

(3a)调用AP聚类算法对超像素进行聚类。

(3b)根据聚类结果生成分割结果。

在上述步骤中，超像素的空间特征和密度特征提取方法为：

空间特征：计算超像素内部所有像素的x坐标平均值作为该超像素的x坐标，所有像素的y坐标平均值作为该超像素的y坐标，将超像素的x、y坐标值作为其2维空间特征。

密度特征：将原图像映射到LUV颜色空间下，对每一个超像素，计算其内部所有像素的平均L颜色值作为该超像素的L颜色特征，所有像素的平均U颜色值作为该超像素的U颜色特征，所有像素的平均V颜色值作为该超像素的V颜色特征，以超像素归一化后的L、U、V颜色特征作为其3维密度特征。

在上述步骤中，邻域半径radius计算公式如下：

$\mathrm{radius}=C*\underset{u\∈V}{\max }\left\{\underset{v\∈V,v\≠u}{\min }\right[\mathrm{dist}(u,v)\left]\right\}$

其中V是过分割后的超像素集合，dist(u,v)代表超像素u和超像素v位置坐标的欧氏距离，C是邻域参数，设为取值范围为[2,+∞]。

在上述步骤中，邻近关系adj计算公式如下：

$\mathrm{adj}(u,v)=\left\{\begin{array}{cc}\frac{1}{1+k_1*\mathrm{dist}(u,v)/\mathrm{radius}},& \mathrm{dist}(u,v)\≤\mathrm{radius}\\ 0,& \mathrm{dist}(u,v)>\mathrm{radius}\end{array}\right.$

其中k₁设为0.1。

在上述步骤中，亲和关系aff计算公式如下：

$\mathrm{aff}(u,v)=\mathrm{adj}(u,v)*e^{-\frac{\mathrm{dist}{(f\left(u\right),f\left(v\right))}^2}{{\mathrm{\σ}}^2}}$

其中f(i)代表超像素i的密度特征，σ是亲和度参数，用于调节亲和度的分布。

在上述步骤中，模糊连接度矩阵计算方法如下：

将超像素视作图论中图的节点，超像素的邻近关系视作图中的边，亲和关系视作边的权重。随机选取根节点调用最大生成树算法，得到一棵最大生成树。用深度优先的方式遍历最大生成树，在遍历过程中用以下公式计算本次遍历的节点u与每一个已遍历过的节点v的模糊连接度：

M(u,v)＝min{aff[u,parent(u)],M[parent(u),v]

式中，parent(u)代表节点u在最大生成树中的父节点。

本发明与现有技术相比有如下优点：

第一，本发明使用NormalizedCut超像素技术对图像进行超像素分割，在尽可能不破坏边缘信息的情况下，大大减小了数据量，克服了近邻传播聚类时空复杂度太高而导致的内存消耗过大，运行时间过长的问题。

第二，本发明使用超像素的模糊连接度作为相似度的主要参考信息，同时考虑了超像素的空间特征和密度特征，又不会出现因为同一目标跨度过大导致的目标内部超像素相似度降低的问题，充分发挥了超像素空间特征和密度特征的作用，大大提高了分割精度。

第三，本发明使用超像素的模糊连接度和空间相似度的加权和作为最终相似度，避免了单纯使用模糊连接度而导致的相似度矩阵中出现大量相同值的情况。实验证明，使用本发明的相似度计算方法，最终的分割结果对近邻传播聚类中的偏向参数的依赖程度远远低于现有方法，从而可以将该参数设为定值，实现全自动分割。

附图说明：

图1是本发明的算法流程图；

图2是Berkeley图像库BSDS300中的图像135069的分割结果对比图；

图3是Berkeley图像库BSDS300中的图像183055的分割结果对比图；

图4是Berkeley图像库BSDS300中的图像176035的分割结果对比图。

具体实施方式：

参照图1，本发明的具体步骤如下：

(1)用NormalizedCut超像素技术对图像进行超像素分割，以超像素作为数据点。NormalizedCut超像素算法中有一个参数N，用于指导超像素数目，设为1000。

(2)对每一个超像素，提取其空间特征和密度特征。

超像素空间特征提取方法为：计算超像素内部所有像素的x坐标平均值作为该超像素的x坐标，所有像素的y坐标平均值作为该超像素的y坐标，将超像素的x、y坐标值作为其2维空间特征。

超像素密度特征提取方法为：将原图像映射到LUV颜色空间下，对每一个超像素，计算其内部所有像素的平均L颜色值作为该超像素的L颜色特征，所有像素的平均U颜色值作为该超像素的U颜色特征，所有像素的平均V颜色值作为该超像素的V颜色特征，以超像素归一化后的L、U、V颜色特征作为其3维密度特征。

(3)计算超像素空间特征的欧氏距离矩阵dist。

(4)根据超像素的空间特征欧氏距离关系确定邻域半径参数radius。邻域半径计算公式如下：

$\mathrm{radius}=C*\underset{u\∈V}{\max }\left\{\underset{v\∈V,v\≠u}{\min }\right[\mathrm{dist}(u,v)\left]\right\}$

其中V是过分割后的超像素集合，dist(u,v)代表超像素u和超像素v位置坐标的欧氏距离，C是邻域参数，设为5。

(5)根据超像素的空间特征计算邻近关系矩阵adj。邻近关系计算公式如下：

$\mathrm{adj}(u,v)=\left\{\begin{array}{cc}\frac{1}{1+k_1*\mathrm{dist}(u,v)/\mathrm{radius}},& \mathrm{dist}(u,v)\≤\mathrm{radius}\\ 0,& \mathrm{dist}(u,v)>\mathrm{radius}\end{array}\right.$

其中k₁设为0.1。

(6)根据超像素的密度特征和邻近关系计算亲和关系矩阵aff。亲和关系计算公式如下：

$\mathrm{aff}(u,v)=\mathrm{adj}(u,v)*e^{-\frac{\mathrm{dist}{(f\left(u\right),f\left(v\right))}^2}{{\mathrm{\σ}}^2}}$

其中f(i)代表超像素i的密度特征，σ是亲和度参数，设为0.6。

(7)根据超像素的亲和关系计算模糊连接度矩阵M。模糊连接度矩阵计算方法如下：

将超像素视作图论中图的节点，超像素的邻近关系视作图中的边，亲和关系视作边的权重。随机选取根节点调用最大生成树算法，得到一棵最大生成树。用深度优先的方式遍历最大生成树，在遍历过程中用以下公式计算本次遍历的节点u与每一个已遍历过的节点v的模糊连接度：

M(u,v)＝min{aff[u,parent(u)],M[parent(u),v]

式中，parent(u)代表节点u在最大生成树中的父节点。

(8)以超像素间的模糊连接度与归一化后的空间距离相似度的加权和作为最终的相似度，得到最终的相似度矩阵S。计算公式如下：

S(u,v)＝w₁*M(u,v)+w₂*dist'(u,v)

其中dist'是对dist归一化后的结果，w₁设为0.9，w₂设为0.1。

(9)调用AP聚类算法对超像素进行聚类。AP聚类中有偏向参数和阻尼因子两个参数。偏向参数影响最终所聚的类的数目，偏向参数越大，类数越多。在本发明中偏向参数一般设在-2～0.8之间。阻尼因子影响AP聚类迭代更新的速度，一般设在0.5～0.95之间。在本发明中，可将偏向参数恒设为0.5，阻尼因子恒设为0.9。

(10)根据聚类结果生成分割结果。

本发明的效果可以通过以下仿真实验说明：

1.仿真条件

实验将本发明与相同条件下使用传统相似度的两种AP聚类图像分割方法进行对比，两种对比方法使用与本发明相同的超像素分割结果和特征，对比方法一和对比方法二的相似度计算公式分别为

$S_1(u,v)=e^{-\frac{\mathrm{dist}{[f\left(u\right),f\left(v\right)]}^2}{{\mathrm{\σ}}^2}}$

和

$S_2(u,v)=e^{-\frac{\mathrm{dist}{[f\left(u\right),f\left(v\right)]}^2}{{\mathrm{\σ}}_1^2}}*e^{-\frac{\mathrm{dist}{(u,v)}^2}{{\mathrm{\σ}}_2^2}}$

其中方法一中σ设为0.6，方法二中σ₁设为0.8，σ₂设为800。

实验选用Berkeley图像库BSDS300中的自然彩色图像作为测试图像，软件环境为MATLAB2010b，根据分割结果的视觉效果和PRI平均值来评价方法的优劣。

PRI(ProbabilisticRandIndex)是当前比较流行的图像分割评价指标。在图像分割结果中，任意两个像素组成一个像素对，对中的两个像素可能被分成同类或者异类。对某一机器分割结果，RI(RandIndex)将其与某一人工分割结果进行对比，统计两者所有同异性相同的像素对数目占像素对总数目的比例，PRI则是某一机器分割结果与多个人工分割结果的RI的平均值。PRI的取值范围为[0,1]，其值越大代表分割效果越好，有关PRI更多内容请参见文献UnnikrishnanR,PantofaruC,HebertM.Ameasureforobjectiveevaluationofimagesegmentationalgorithms[C]//ComputerVisionandPatternRecognition-Workshops,2005.CVPRWorkshops.IEEEComputerSocietyConferenceon.IEEE,2005:34-34。

2.仿真内容与结果

仿真实验以BSDS300中随机抽取的50张图像作为测试图像，分别使用对比方法一、对比方法二和本发明进行分割。在对比方法中，阻尼因子设为0.9，选取不同的偏向参数进行多次实验，每次实验使用固定的偏向参数对50张图像进行分割，求出平均评价值，最后选择平均评价值最高的一组作为其最终评价结果。偏向参数选取范围为[-20,1]，步长0.1。本发明中偏向参数设为0.5，阻尼因子设为0.9。

针对图2a所示的图像使用对比方法一、对比方法二和本发明的分割结果分别如图2b、图2c和图2d所示。

针对图3a所示的图像使用对比方法一、对比方法二和本发明的分割结果分别如图3b、图3c和图3d所示。

针对图4a所示的图像使用对比方法一、对比方法二和本发明的分割结果分别如图4b、图4c和图4d所示。

对比方法一、对比方法二和本发明对50张图像的平均PRI评价值如表1所示。

表1三种方法最终分割结果的平均PRI值

方法	对比方法一	对比方法二	本发明
				平均PRI	0.7588	0.7459	0.8179

3.仿真结果分析

如图2a所示，原始图像中天空的跨度很大，并且颜色有渐变，中间部位和边缘部位的天空亮度有较大变化；如图2b所示，由于对比方法一只使用了颜色特征，最终的将天空分割成了多个部分，效果很不理想；如图2c所示，对比方法二在相似度计算中加入了空间信息，分割效果相比于方法一得到了一定的改善，但由于天空范围过大，图像左右两端的部分由于距离太大而使得相似度变得很小，最终天空被分成了两部分；如图2d所示，本发明得到的分割结果将天空分成了一个目标，将两只鹰颜色相近的部分分成了一个目标，大鹰的尾部由于颜色差别太大而被分成第三个目标，并且把鹰翼末端部分完整地分割了出来，总体效果明显好于两种对比方法的结果。

如图3a所示，原始图像两只北极熊的颜色相近，背景雪地上有杂草，会干扰分割；如图3b所示，对比方法一受光照和杂草的影响很严重，将北极熊腿部和脸部亮度较小的部分与图像上方的黑色背景分成了一类，并且对杂草部分的分割很差；如图3c所示，对比方法二的分割结果优于方法一，对熊的身体分割效果较好，但受杂草的影响比较严重；如图3d所示，本发明的方法将两只熊分成两个目标，除对熊身体上颜色突变的部分有少许错分外，大部分区域都分割的很好，总体分割效果明显优于两种对比方法。

如图4a所示，图像由于光照的因素，图中的山和云颜色变化很大，左下角处河水也有颜色变化，且河水跨度较大；如图4b所示，剧烈的光照变化使仅使用颜色特征的对比方法一错分现象很严重，尤其对山的分割，不同的目标交错分布，分割结果在视觉上看起来很乱；如图4c所示，对比方法二使聚类后的属同一类的超像素空间分布相对集中了一些，但依然很不理想，而且图中的河呈条状分布，河的左端和右端的空间距离较大，导致河被分成了两部分；如图4d所示，本发明的分割结果属同一目标的超像素分布很集中，并且错分率远远低于前两种方法。

虽然这里仅给出了三张图像，但对其他的图像，我们都能得出类似的结果。从定量的角度来看，针对在BSDS300中随机抽取的50张图像，使用本发明分割的平均PRI评价值要高于两种对比方法，分割效果更优。此外，在AP聚类算法中，偏向参数的选取一直是一个研究难题，而本发明对该参数的依赖程度远低于现有方法，可设为-2～0.8之间的定值，本实验中就将其设为了0.5。

Claims (6)

1.基于模糊连接度的近邻传播聚类图像分割方法，包括：

(1)超像素预分割步骤：

(1a)设置超像素数目，使用NormalizedCut超像素技术对图像进行超像素分割。

(1b)对每一个超像素，提取其空间特征和密度特征。

(2)基于模糊连接度的相似度计算步骤：

(2a)计算超像素空间特征的欧氏距离矩阵dist。

(2b)设置领域半径radius。

(2c)根据超像素的空间特征计算邻近关系矩阵adj。

(2d)根据超像素的密度特征和邻近关系计算亲和关系矩阵aff。

(2e)根据超像素的亲和关系计算模糊连接度矩阵M。

(2f)以超像素间的模糊连接度与归一化后的空间距离相似度的加权和作为最终的相似度，得到最终的相似度矩阵S。

(3)AP聚类步骤：

(3a)设置偏向参数和阻尼因子，调用AP聚类算法对超像素进行聚类。

(3b)根据聚类结果生成分割结果。

2.根据权利要求1所述的图像分割方法，其中步骤(1b)所述的提取空间特征和密度特征的方法为：

空间特征：计算超像素内部所有像素的x坐标平均值作为该超像素的x坐标，所有像素的y坐标平均值作为该超像素的y坐标，将超像素的x、y坐标值作为其2维空间特征。

密度特征：将原图像映射到LUV颜色空间下，对每一个超像素，计算其内部所有像素的平均L颜色值作为该超像素的L颜色特征，所有像素的平均U颜色值作为该超像素的U颜色特征，所有像素的平均V颜色值作为该超像素的V颜色特征，以超像素归一化后的L、U、V颜色特征作为其3维密度特征。

3.根据权利要求1所述的图像分割方法，其中步骤(2b)所述的设置领域半径，按照如下公式进行：

式中，V是过分割后的超像素集合，dist(u,v)代表超像素u和超像素v位置坐标的欧氏距离，C设为5。

4.根据权利要求1所述的图像分割方法，其中步骤(2c)所述的根据超像素的空间特征计算邻近关系矩阵adj，按照如下公式进行：

式中，k₁设为0.1。

5.根据权利要求1所述的图像分割方法，其中步骤(2d)所述的根据超像素的密度特征和邻近关系计算亲和关系矩阵aff，按照如下公式进行：

式中，f(i)代表超像素i的密度特征，σ设为0.6。

6.根据权利要求1所述的图像分割方法，其中步骤(2e)所述的根据超像素的亲和关系计算模糊连接度矩阵M，使用如下方法：

将超像素视作图论中图的节点，超像素的邻近关系视作图中的边，亲和关系视作边的权重。随机选取根节点调用最大生成树算法，得到一棵最大生成树。用深度优先的方式遍历最大生成树，在遍历过程中用以下公式计算本次遍历的节点u与每一个已遍历过的节点v的模糊连接度：

M(u,v)＝min{aff[u,parent(u)],M[parent(u),v]}

式中，parent(u)代表节点u在最大生成树中的父节点。