CN104036497A - 基于方差局部系数的图切交互式图像分割方法 - Google Patents

Abstract

本发明公开了一种基于方差局部系数的图切交互式图像分割方法。本发明实现的步骤是：标记前景种子像素和背景种子像素；分别对前景种子像素和背景种子像素进行K均值聚类；构造图；用最大流算法求图的最小割；由最小割确定最优分割。本发明在衡量两个相邻像素相似性时，加入了这两个像素邻域的相似性，从而使分割结果更准确。

Description

基于方差局部系数的图切交互式图像分割方法

技术领域

本发明属于图像处理技术领域，更进一步涉及图像分割技术领域的一种基于方差局部系数的图切交互式图像分割方法(An graph cut interactive imagesegmentation algorithm based on local coefficient of variation)。本发明可用于对自然图像的分割以达到目标识别的目的。

背景技术

交互式图像分割相对于传统图像分割的最大优点在于，加入了用户主观的指导，使得过去许多因为数据歧义而很难解决的问题变得定义清晰，再辅以具有针对性的算法，能够高效而准确地解决传统算法耗时长且所得结果粗糙的问题。而图切法是解决交互式图像分割中最常用和最有效的方法。

图切算法的基本思想是通过定义一个能量函数来判断图像中像素是属于图像前景还是图像背景。该能量函数中包括两项：区域惩罚项和边界惩罚项。将图像映射成一个无向加权图，边的权值和能量函数联系起来，通过找到图的最优割从而优化能量函数。

西安电子科技大学在其申请的专利“基于图切割的图像自动分割方法”(专利申请号201010522144.5，公开号CN101976438A)中公开了一种结合像素边缘信息和空间位置关系来定义边界惩罚项的图像分割方法。该方法的缺点是没有考虑两个像素的邻域的相似性，导致目标和背景分割不准确。

Yin Li等人在论文“Lazy Snapping”(Proceedings of ACM SIGGRAPH2004,303–308.2004.)中公开了一种定义能量函数中两个惩罚项的方法。区域惩罚项表示把一个像素点确定为背景或前景需要付出的代价，而这个代价的大小和这个像素点与背景或前景特征的相似程度有关。边界惩罚项就是把两个相邻的像素点确定为不同的标签所要付出的代价，这个代价用这两个像素的梯度信息来衡量。其中相似度用的仅仅是这两个像素之间的颜色差距，并没有考虑这两个像素的邻域信息，从而造成目标和背景分割不准确。

发明内容

本发明的目的在于克服上述已有技术的不足，提出一种基于方差局部系数的图切交互式图像分割方法。本发明在能量函数中衡量相邻像素的相似性时加入像素的邻域信息，该邻域信息用像素邻域的方差局部系数衡量，从而达到使边界分割更准确的目的。

实现本发明目的的具体步骤如下：

(1)在待分割图像中选择前景种子像素点和背景种子像素点；

(2)分别对前景种子像素点和背景种子像素点进行K均值聚类，分别得到前景种子像素点的聚类中心和背景种子像素点的聚类中心，K的取值不能大于前景种子的个数也不能大于背景种子的个数；

(3)建立一个与待分割图像对应的无向加权图，待分割图像的像素点对应无向加权图的节点，待分割图像的像素点集对应无向加权图的节点集，节点集中还包括源点S和汇点T，像素点之间的相邻关系对应图的边，像素点之间的相邻关系集对应图的边集，节点的属性对应像素点的特征信息，边上的权重对应像素点之间的相似性；

(3a)构造无向加权图的邻接表：

增加节点源点S和汇点T，将待分割图像中的每一个像素点i都和S、T相连，像素点i和S、T之间无序的边称为T-links；如果待分割图像中两个像素点i和j是相邻的，将像素点i和j之间无序边称为N-links；

(3b)给T-links赋权值，T-links的权值和能量函数中区域惩罚项有关；

(3c)给N-links赋权值，N-links的权值和能量函数中边界惩罚项有关；

(4)用最大流算法求图的最小割，从而将待分割图像中的每一个像素点标记为前景像素点或背景像素点；

(5)标记为前景的像素点颜色保持不变，去掉标记为背景的像素点或者将标记为背景的像素点显示为白色或者黑色，得到识别的目标。

本发明与现有的技术相比具有以下优点：

第一，由于本发明采用了结合像素邻域的方差局部系数来衡量相邻像素之间的相似性，克服了现有技术中只采用像素颜色的梯度变化，无法反映相邻像素邻域的相似性的缺点，使得本发明在边界区域效果较好。

第二，本发明对能量函数中边界惩罚项的计算根据像素的邻域信息，无需任何先验知识和对数据的分步进行估计，免除了对图像数据进行建模。

附图说明

图1为本发明的流程图；

图2为本发明的仿真实验中对flowers分割的结果图；

图3为本发明的仿真实验中对horses分割的结果图；

图4为本发明的仿真实验中对man分割的结果图。

具体实施方式

下面结合附图对本发明作进一步的详细描述。

参照附图1，本发明的具体步骤如下。

步骤1：设计交互式界面

用matlab设计界面，打开一个窗口，窗口的工具栏中只有一个选项“file”，”file”的下拉选项中有“open”和“exit”，分别对应的操作是打开图像和退出整个过程。窗口左边大面积显示待分割图像，右边是单击按钮，用户单击“objseeds”按钮可以在图像上标记前景种子，单击“bkgseeds”可以标记背景种子。

步骤2：打开一幅图像

在设计的界面中打开待分割图像，图像显示在界面的左侧。

步骤3：标记前景种子像素和背景种子像素

用户单击界面右侧的“objseeds”，根据用户的主观选择，在认为是目标的区域标记前景种子，前景种子像素集合为F；单击界面右侧的“bkgseeds”，根据用户的主观选择，在认为是背景的区域标记背景种子，背景种子像素集合为B。单击鼠标开始标记，拖动鼠标跟踪标记，再次单击鼠标停止标记。

步骤4：分别对前景种子像素和背景种子像素进行K均值聚类，经过聚类得到种子像素的聚类中心。

聚类数目K由用户事先给定，K的取值不能大于前景种子的个数也不能大于背景种子的个数，一般取值范围在10—60之间。

步骤5：构造图

在基于图论的图像分割方法中，首先需要建立一个与图像对应的无向加权图(Unweighted Graph)。图像的像素点对应图的节点，像素点的集合对应图的节点集，像素点之间的相邻关系对应图的边，像素点之间的相邻关系的集合对应图的边集，节点的属性对应像素点的特征信息(比如灰度)，边上的权重对应像素之间的相似性。

用G＝＜v,ε＞表示该无向加权图，v是节点集合，包含图像的所有像素点和两个额外增加节点，两个额外增加节点是前景端节点(源点S)和背景端节点(汇点T)。所以，v＝I∪{S,T}。ε是边的集合，包括两种类型无向边：T-links和N-links。每一个像素点i都和S、T相连，分别表示为{i,S}和{i,T}，这些边叫做T-links。如果两个像素点i和j是相邻的，那么它们之间会有一条无序边，表示为{i,j}，这些边叫做N-links。所以，ε＝{i,j}∪{{i,S},{i,T}}。

分割的目的就是给每一个节点一个标号x_i。例如，对于节点i，如果其标号为1表示该节点属于前景(foreground),如果其标号为0表示该节点属于背景(background)，即x_i∈{1,0}，x_i的取值为1或者0。假设一副图像I由M个像素点组成，每一个像素点i对应一个颜色值C(i)，对于灰度图像，C(i)代表灰度值，对于彩色图像C(i)代表R,G,B三个分量值。那么二值向量X＝{x₁,...x_i,...,x_M}就确定了一种分割结果。

这种分割问题可以描述成一种能量函数极值问题，待优化的能量函数E(X)为：

$E\left(X\right)=\mathrm{\λ}\underset{i\∈v}{\mathrm{\Σ}}R\left(x_i\right)+\underset{(i,j)\∈\mathrm{\ϵ}}{\mathrm{\Σ}}B(x_i,x_j)---\left(1\right)$

其中，参数λ≥0用来权衡区域惩罚项和边界惩罚项对分割效果的影响程度。不同的图像在获得较好的分割结果时对应不同的λ，λ的确定经过反复试验得到。X如前所述是代表一种分割结果的二值向量，i,j代表像素i和j，x_i表示像素i的标号，R(x_i)衡量的是对像素i赋予特定的标记时所需要付出的代价，B(x_i,x_j)衡量的是将两个相邻像素i和j赋予不同标号时所需要付出的代价。

区域惩罚项 $\underset{i\∈v}{\mathrm{\Σ}}R\left(x_i\right):$

为了计算区域惩罚项，首先必须对前景种子和背景种子进行聚类，其中和分别表示是对前景种子像素点和背景种子像素点进行K均值聚类后的聚类中心，其中，n是前景种子像素个数，m是背景种子像素个数。

表示像素点i的颜色值C(i)和前景种子像素点进行K均值聚类后的聚类中心之间的最小距离，表示像素点i的颜色值C(i)和背景种子像素点进行K均值聚类后的聚类中心之间的最小距离。那么，R(x_i)定义如下：

$\left\{\begin{array}{ccc}R(x_i=1)=0& R(x_i=0)=Z& \∀i\∈F\\ R(x_i=1)=0& R(x_i=0)=0& \∀i\∈B\\ R(x_i=1)=\frac{d_i^F}{d_i^F+d_i^B}& R(x_i=0)=\frac{d_i^B}{d_i^F+d_i^B}& \∀i\∈U\end{array}\right.---\left(2\right)$

F是前景种子像素点集合，B是背景种子像素点集合，U是未标记的像素点集合。Z的取值必须大于所有N-links边上的权值之和,我们取一个足够大的值10000.

边界惩罚项 $\underset{(i,j)\∈\mathrm{\ϵ}}{\mathrm{\Σ}}B(x_i,x_j):$

$B(x_i,x_j)=|x_i-x_j|\·\frac{1}{1+{\left|\right|C\left(i\right)-C\left(j\right)\left|\right|}^2}\·{\left[\min \right\{\frac{\mathrm{Cu}\left(i\right)}{\mathrm{Cu}\left(j\right)},\frac{\mathrm{Cu}\left(j\right)}{\mathrm{Cu}\left(i\right)}\left\}\right]}^2---\left(3\right)$

其中，i和j表示两个相邻像素，Cu(i)定义为：

$\mathrm{Cu}\left(i\right)=\frac{\mathrm{var}\left(i\right)}{{\left(\stackrel{\‾}{i}\right)}^2}---\left(4\right)$

var(i)和分别表示像素点i的邻域窗口(一般取四邻域或八邻域)的像素方差和均值。Cu反映的是局部窗口中像素的相似性，当窗口中像素的值相差很大时，该值很大，反之亦然。当中心像素点和邻域像素点落在同一区域(例如，同时落在目标区域或者同时落在背景区域)时，中心像素点和邻域像素点所对应的Cu就很接近，反之亦然。

图的边的权值由下面的公式给出:

$\left\{\begin{array}{cc}\{i,j\}=\mathrm{\λB}(x_i,x_j),& \{i,j\}\∈N-\mathrm{links}\\ \{i,S\}=\left\{\begin{array}{cc}R(x_i=0),& i\∈U\\ Z,& i\∈F\\ 0,& i\∈B\end{array}\right.& \\ \{i,T\}=\left\{\begin{array}{cc}R(x_i=1),& i\∈U\\ 0,& i\∈F\\ Z,& i\∈B\end{array}\right.& \end{array}\right.---\left(5\right)$

其中，Z如前所述是一个足够大的常数常数，这里取值为10000。F是前景种子像素集合，B是背景种子像素集合，U是未标记的像素集合。{i，j}表示相邻像素点i和j所对应的边，{i，S}表示像素点i和源点S之间的边，{i，T}表示像素点i和汇点T之间的边。参数λ如前所述，权衡区域惩罚项和边界惩罚项对分割结果的影响程度。x_i表示像素点i的标号，B(x_i,x_j)表示将两个相邻像素i和j赋予不同标号时所需要付出的代价。R(x_i)表示对像素i赋予特定的标记时所需要付出的代价。公式(5)中图的边的权值取值的合理性见Yuri Boykov等人在文献“Interactive Graph Cuts for Optimal Boundary&Region Segmentationof Objects in N-D Images”中的证明。

步骤6：用最大流(maxflow)算法求图的最小割

用Vladimir Kolmogorov和Yuri Boykov在论文“An experimentalcomparison of min-cut/max-flow algorithms for energy minimization invision”提出的经典maxflow求解，得到一个X_min，从而将图像中的每一个像素标号为1(前景)或0(背景)。

所述maxflow算法步骤如下：

第一步：“growth”阶段，搜索S树和T树增长路径直到找到一条从S到T的路径；

第二步：“augmentation”阶段，对第一步找到的路径进行增广，有可能产生orphans(连接该节点与其父节点的边达到饱和)节点，把树打破为森林；

第三步：“adoption”阶段，为第二步生成的orphans节点重新找到一个有效的父节点(如果有的话)，否则，该节点成为free节点，直到没有orphans节点存在。

步骤7：由最小割确定最优分割

标记为前景的像素颜色保持不变，标记为背景的像素，显示为白色。这样目标就被识别出来。

下面结合仿真图对本发明的效果做进一步的描述。

1.仿真条件：

本发明的仿真是在MATLAB R2010a的软件环境下进行界面设计，对图像前期处理以及最后的由最小割确定最有分割。核心分割算法在Microsoft VisualStudio2008的软件环境下编写，生成mex文件之后，在MATLAB R2010a中调用。

2.仿真内容：

本发明仿真实验测试三幅自然图像，比较本发明提出的方法在分割结果上的效果较好。第一幅图像为flowers图像，第二幅图像为horses图像，第三幅图像为man图像。

3.仿真效果分析：

图2为本发明的仿真实验中对flowers的分割结果图,其中，图2中的(a)图为在原图上所做的标记图，(b)表示论文“lazy snapping”中提出的边界惩罚项(没有加邻域信息)的分割结果图，(c)为使用欧式距离和像素梯度作为边界惩罚项的分割结果，(d)为本发明方法的分割结果图。从图2中可以看出本发明方法效果较好，原始程序丢失了部分花瓣，本发明方法在一定程度上改善了这些区域。

图3为本发明的仿真实验中对horses的分割结果图,其中，图3中的(a)图为在原图上所做的标记图，(b)表示论文“lazy snapping”中提出的边界惩罚项(没有加邻域信息)的分割结果图，(c)为使用欧式距离和像素梯度作为边界惩罚项的分割结果，(d)为本发明方法的分割结果图。从图3中可以看出本发明方法效果较好，原始程序将部分草地错检成了目标，本发明方法在一定程度上改善了这些区域。

图4为本发明的仿真实验中对man的分割结果图,其中，图4中的(a)图为在原图上所做的标记图，(b)表示论文“lazy snapping”中提出的边界惩罚项(没有加邻域信息)的分割结果图，(c)为使用欧式距离和像素梯度作为边界惩罚项的分割结果，(d)为本发明方法的分割结果图。从图4中可以看出本发明方法效果较好，原始程序把腿部和脚部周围的草地错检成了目标，本发明方法改善了这些区域。

Claims (6)

1.一种基于方差局部系数的图切交互式图像分割方法，包括如下步骤：

(1)在待分割图像中选择前景种子像素点和背景种子像素点；

(2)分别对前景种子像素点和背景种子像素点进行K均值聚类，分别得到前景种子像素点的聚类中心和背景种子像素点的聚类中心，K的取值不能大于前景种子的个数也不能大于背景种子的个数；

(3)建立一个与待分割图像对应的无向加权图，待分割图像的像素点对应无向加权图的节点，待分割图像的像素点集对应无向加权图的节点集，节点集中还包括源点S和汇点T，像素点之间的相邻关系对应图的边，像素点之间的相邻关系集对应图的边集，节点的属性对应像素点的特征信息，边上的权重对应像素点之间的相似性；

(3a)构造无向加权图的邻接表：

增加节点源点S和汇点T，将待分割图像中的每一个像素点i都和S、T相连，像素点i和S、T之间无序的边称为T-links；如果待分割图像中两个像素点i和j是相邻的，将像素点i和j之间无序边称为N-links；

(3b)给T-links赋权值，T-links的权值和能量函数中区域惩罚项有关；

(3c)给N-links赋权值，N-links的权值和能量函数中边界惩罚项有关；

(4)用最大流算法求图的最小割，从而将待分割图像中的每一个像素点标记为前景像素点或背景像素点；

(5)标记为前景的像素点颜色保持不变，去掉标记为背景的像素点或者将标记为背景的像素点显示为白色或者黑色，得到识别的目标。

2.根据权利要求1所述的基于方差局部系数的图切交互式图像分割方法，其特征在于：聚类数目K的取值范围在10—60之间。

3.根据权利要求1所述的基于方差局部系数的图切交互式图像分割方法，其特征在于：节点的属性对应像素的特征信息包括灰度信息。

4.根据权利要求1所述的基于方差局部系数的图切交互式图像分割方法，其中，所述N-links的权值和能量函数中边界惩罚项有关包括给N-links赋的权值中加入了像素邻域信息，用Cu表示，

其中，var(i)和分别表示待分割图像的像素点i的邻域窗口(一般取四邻域或八邻域)的像素方差和均值。

5.根据权利要求1所述的基于方差局部系数的图切交互式图像分割方法，其中，所述构造图的邻接表采用像素点的八邻域构造，每个像素点与其八邻域中的每个像素点邻接。

6.根据权利要求1所述的基于方差局部系数的图切交互式图像分割方法，其中，待分割图像的像素点i的邻域窗口取四邻域或八邻域。