CN102270338B - 基于改进图表示的重复物体有效分割方法 - Google Patents

Abstract

本发明提出了一种基于改进图表示的重复物体有效分割方法。该方法首先对输入图像采用均值偏移算法进行过分割，在此基础上，用改进的图表示方法对过分割得到的分块，以及相邻、相似分块之间的关系进行表示，并采用最大流优化算法进行图割运算，实现对多个重复物体高效、准确的分割。

Description

基于改进图表示的重复物体有效分割方法

技术领域

本发明属于计算机图像处理方法，具体涉及一种基于改进图表示的重复物体分割方法。

背景技术

图像分割指的是将输入图像中的前景图像从其背景中分离出来。由于图像分割是图像处理领域的基础工作，并且在诸如模式识别、机器学习等领域有着极其重要的作用，因此很多人对此进行了深入而广泛的研究，提出了很多很优秀的分割算法。尽管如此，从任意输入图像中将有意义的前景图像完全自动且准确地分割出来仍然是非常困难的。交互技术是目前解决这一问题的有效途径。但是，无论是自动分割，还是引入交互技术，当前存在的图像分割算法多数是针对一个前景物体进行分割，而对具有多个重复物体的输入图像进行前景图像分割的研究还不是很多。

重复性在人们的生活中到处存在，比如一群鸭子、一排楼房等，所以包含重复物体的图像也很多。另一方面，人类视觉系统的一个重要功能就是对所看到的物体进行相似性和差异性的比较，从而达到识别物体的目的，以便理解周围的世界(D.W.Thompson，On Growth and Form.Dover，1992)。然而，经典的图像分割算法不适宜交互式地分割重复物体，因为在分割过程中可能需要非常多的交互，即便如此，分割结果也可能很不理想。

LazySnapping(Y.Li，J.Sun，C.-K.Tang，and H.-Y.Shum，“Lazy snapping，”ACM Transactions on Graphics，vol.23，no.3，pp.303-308，2004)算法将图割优化算法和过分割结合起来，使得算法可以根据用户的交互实时地得到分割结果。Grabcut(C.Rother，V.Kolmogorov，and A.Blake，““grabcut”：interactiveforeground extraction using iterated graph cuts，”ACM Transactions on Graphics，vol.23，pp.309-314，2004)反复采用高斯混合模型对前、背景颜色进行训练，然后采用图割优化算法得到分割结果。用户交互在这两种算法中是非常关键且有效的，但是这两种算法都是针对单个物体进行分割，对于多个重复物体的分割效果并不十分理想(如图1(a)(b)所示)。

基于轮廓形状的比较，程明明等提出了一种重复物体检测算法RepFinder(M.M.Cheng，F.L.Zhang，N.J.Mitra，X.Huang，and S.M.Hu，“RepFinder：finding approximately repeated scene elements for image editing，”ACMTransactions on Graphics，vol.29，no.4，pp.83-90，2010)。当重复物体之间的形变较小时，检测效果较好；但是，当重复物体形状变化较大时，该算法无法成功检测到重复物体。

最近几年，图像的一致分割受到越来越多的重视。对图像进行一致分割指的是对两幅或者两幅以上包含相同或者相似前景物体的图像同时进行分割，从背景图像中提取出其前景物体。考虑到多幅图像中所共有的物体应该具有相同或者相近的颜色分布，可以通过直方图匹配并结合图表示对多幅图像进行一致分割。颜色直方图匹配可以采用L1范数(C.Rother，T.Minka，A.Blake，and V.Kolmogorov，“Cosegmentation of image pairs by histogrammatching-incorporating a global constraint into mrfs，”in Computer Vision andPattern Recognition，2006，pp.993-1000.)或者L2范数(L.Mukherjee，V.Singh，and C.R.Dyer，“Half-integrality based algorithms for cosegmentation ofimages，”in Computer Vision and Pattern Recognition，2009)，但是这两种算法在最优化过程中会带来很大的计算量。相比于对颜色直方图的错误匹配进行惩罚，匹配代价也可以通过对颜色直方图的正确匹配进行奖励得到。该方法可以将计算复杂度降低为多项式时间(D.S.Hochbaum and V.Singh，“Anefficient algorithm for cosegmentation，”in Computer Vision and PatternRecognition，2009)。

发明内容

本发明的目的是提供一种基于改进图表示的重复物体有效分割方法，该方法通过对传统的图表示进行改进，对单幅图像中的多个重复物体进行分割的有效算法，只需要用户提供非常少的交互，即可将图像中的大量重复物体准确地分割出来(如图1(c)所示)，使得其能够对重复物体进行高效、准确的分割。

为达到上述目的，本发明采用的技术方案是：

对于输入图像I，为输入的图像I中的每一个像素p∈I指定一个标签f_p∈{0，1}，得到前景像素集合F＝{p：f_p＝0}，背景像素集合B＝{p：f_p＝1}，为了求得标签集合{f_p}，构造了一个新的能量函数，该能量函数是在传统的马尔科夫随机场(MRF，Markov Random Field)模型的能量函数

$E\left(f\right)=\underset{p\&Element;P}{\mathrm{\&Sigma;}}{D}_p\left(f_p\right)+\underset{p<q\&Element;N}{\mathrm{\&Sigma;}}{V}_{p,q}(f_p,f_q)---\left(1\right)$

的基础上增加了重复物体像素间的平滑惩罚项得到的，其形式如下：

$E\left(f\right)=\underset{p\&Element;P}{\mathrm{\&Sigma;}}{D}_p\left(f_p\right)+\underset{p<q\&Element;N}{\mathrm{\&Sigma;}}{V}_{p,q}(f_p,f_q)+\underset{<i,j>\&Element;H}{\mathrm{\&Sigma;}}{U}_{i,j}(f_i,f_j)---\left(2\right)$ 其中，p＜q表示图中相邻像素之间的单向组合，这里的“相邻”是四邻域相邻或者八邻域相邻；D_p(f_p)表示将像素p的标签设为f_p时带来的数据项惩罚，即按照先验知识，该像素为前景，系统将其判为背景带来的惩罚，或者按照先验知识，该像素为背景，系统将其判为前景带来的惩罚；V_p，q(f_p，f_q)表示两相邻像素<p，q>分别被判为前、背景时带来的平滑项惩罚，U_i，j为重复区域像素之间的平滑惩罚项，H为相似像素点对集合，各结点的标签集合{f_p}通过最小化上述能量函数得到；

首先，用户通过白色和黑色比划分别确定种子前景区域F和种子背景区域B，用作分割时的先验信息，根据用户提供的先验信息，确定式2中的数据惩罚项D_p如下：

$D_p(f_p=0)=\frac{d_p^F}{d_p^F+d_p^B}$

$D_p(f_p=1)=\frac{d_p^B}{d_p^F+d_p^B}$

其中

和

分别表示像素p在颜色RGB空间中距离种子区域F和B的最小距离，在计算

和之前，先对种子区域前景和背景进行k均值聚类，得到前景聚类中心集合

和背景聚类中心集合

则

$d_p^F=\min \left|\right|C\left(p\right)-K_n^F\left|\right|$

$d_p^B=\min \left|\right|C\left(p\right)-K_m^B\left|\right|$

其中C(p)表示像素p在RGB颜色空间中的坐标；

基于4邻域的平滑惩罚项V_p，q定义如下：

V_p，q＝λ·exp(-β·||C(p)-C(q)||²)，<p，q>∈E

其中λ常量用来平衡数据惩罚项和平滑惩罚项之间的权重，β常量用来控制在分割过程中对梯度变化的容忍程度；

根据像素点对在RGB颜色空间中的距离，确定相似点对集合H：如果像素i和像素j在RGB颜色空间中的距离小于一个给定的阈值ε，则<i，j>∈H，与此对应的式2中的第三项定义为：

U_i，j＝μ·exp(-β·||C(p)-C(q)||²)，<i，j>∈H

其中μ为常量；

根据上述对数据惩罚项D_p、基于空间位置关系的平滑惩罚项V_p，q和基于RGB颜色相似性的平滑惩罚项U_i，j的定义，通过最大流优化算法对式2进行快速求解，从而实现对多个重复物体的同时分割。

本发明在图的构造方面，对传统的图表示方法进行了改进，使其适宜对大量重复物体进行分割。为了提高运行速度，对输入图像采用均值偏移算法进行过分割，以分割得到的分块为基础进行图的构造，而不是在像素的基础上进行，在保证性能的基础上大大提高了算法的速度。

附图说明

图1(a)是LazySnapping、图1(b)是Grabcut和本发明图1(c)的分割结果，其中白色交互表示种子前景区域，黑色交互表示种子背景区域，Grabcut中的灰色方框表示初始化矩形框；

图2是传统MRF模型图的构建示意图和本发明算法中图的构建示意图，其中图(a)为输入图像，图(b)为传统MRF模型图的构建示意图，图(c)为输入图像各像素在RGB空间中的分布示意图，图(d)为本发明算法图的构建示意图；

图3是在相同的用户交互情况下，传统MRF模型的分割结果(c)和本发明算法的分割结果(d)，其中图(a)表示传统的MRF模型算法和本发明算法的交互比划，黑色比划表示背景，白色比划表示前景，图(b)表示对于图像中的每一个像素p，根据其与种子前景区域F和种子背景区域B的相似性来判断其归属情况，图(c)表示传统MRF模型的分割结果，图(d)表示本发明算法的分割结果；

图4是采用均值偏移算法进行过分割之后图的构建示意图，图(a)为采用均值偏移算法对输入图像进行分割的结果，图(b)表示根据分割结果构建图的示意图；

图5是几种分割算法的分割结果比较，从左到右依次为：原图，本发明算法的分割结果，LazySnapping的分割结果，Grabcut的分割结果，RepFinder的分割结果。前三种分割结果中的白色交互表示种子前景区域，黑色交互表示种子背景区域，Grabcut中的灰色方框表示初始化矩形框，RepFinder中的黑色轮廓表示模板物体外轮廓。

具体实施方式

下面将根据附图对本发明进行详细说明。

本发明主要包括两部分：

1)图的改进

本发明对传统的图表示算法进行了重要改进，使其适用于对多个重复物体进行分割，详述如下。

对于输入图像I，图像分割的目的是为每一个像素p∈I指定一个标签f_p∈{0，1}，得到前景像素集合F＝{p：f_p＝0}，背景像素集合B＝{p：f_p＝1}。标签集合{f_p}通常是通过最优化一个能量函数得到。

与传统的图像二值分割一样(Y.Boykov and M.Jolly，“Interactive graphcuts for optimal boundary&region segmentation of objects in n-d images，”inInternational Conference on Computer Vision，2001)，本发明亦将图像的二值分割看作一个马尔科夫随机场(MRF，Markov Random Field)问题。首先，将输入图像用一个图G＝(P，N)来表示，其中P表示图中的结点集合，每一个结点p_i∈P对应于输入图像中的一个像素，N表示图中结点之间的边，每一条边对应于两个相邻的结点<p_j，q_k>。应用于图像分割的MRF模型便有如下的能量函数：

[式1]

$E\left(f\right)=\underset{p\&Element;P}{\mathrm{\&Sigma;}}{D}_p\left(f_p\right)+\underset{p<q\&Element;N}{\mathrm{\&Sigma;}}{V}_{p,q}(f_p,f_q)$

其中，p＜q表示图中相邻结点之间的单向组合，这里的“相邻”可以是四邻域相邻或者八邻域相邻；D_p(f_p)表示将结点p的标签设为f_p时带来的数据项惩罚，即按照先验知识，该结点为前景，系统将其判为背景带来的惩罚，或者按照先验知识，该结点为背景，系统将其判为前景带来的惩罚；V_p，q(f_p，f_q)表示两相邻结点<p，q>分别被判为前、背景时带来的平滑项惩罚。各结点的标签{f_p}通过最小化上述能量函数得到。

一般情况下，上述能量函数的全局最优解是很难求得的，但是可以通过图割优化算法快速得到上述问题的局部最优解(V.Kolmogorov and R.Zabih，“What energy functions can be minimized via graph cuts，”IEEE Transactions onPattern Analysis and Machine Intelligence，vol.26，no.2，pp.147-159，2004)，该方法已经在图像分割领域得到了广泛的应用。在用图割优化算法求解图像分割问题时，通常需要加入两个终止结点s和t，以及这两个终止结点与原图每一个结点之间的连接边，形成s-t图G＝(P∪{s，t}，E)，图中边的权值用数据惩罚项D_p和平滑惩罚项V_p，q来表示(如图2(b)所示)，然后应用最大流算法即可得到图像分割边界。

本发明试图通过图割优化算法对输入图像中的重复物体进行同时分割。然而，之前的MRF模型完全不能满足这一需求，原因是平滑惩罚项V_p，q仅仅反映了相邻像素间的局部相似性，而没有考虑非相邻的重复区域之间的相似性，这一点决定了之前的MRF模型不适用于对多个重复物体进行同时分割。

对于包含多个重复物体的图像来说，重复区域之间虽然在空间位置上相距较远，但是在颜色、纹理或者形状空间，这些区域可能相距很近，如图2(a)所示，2号和3号位置在空间位置上相距较远，2号和1号位置在空间位置上相距较近，但是在颜色空间里(如图2(c)所示)，2号和3号相距较近，2号和1号相距较远。

受图像一致分割的启发，本发明对传统的MRF模型的能量函数(式1)进行了重要改进，增加了重复物体像素间的平滑惩罚项，得到如下的能量函数：

[式2]

$E\left(f\right)=\underset{p\&Element;P}{\mathrm{\&Sigma;}}{D}_p\left(f_p\right)+\underset{p<q\&Element;N}{\mathrm{\&Sigma;}}{V}_{p,q}(f_p,f_q)+\underset{<i,j>\&Element;H}{\mathrm{\&Sigma;}}{U}_{i,j}(f_i,f_j)$

其中D_p和V_p，q的定义同式1，U_i，j为重复区域像素之间的平滑惩罚项，H为相似像素点对集合。

下面将详细论述图的构建和改造细节。

首先，用户通过白色和黑色比划分别确定种子前景区域F和种子背景区域B(如图3(a)所示)，用作分割时的先验信息。根据用户提供的先验信息，确定式2中的数据惩罚项D_p如下：

$D_p(f_p=0)=\frac{d_p^F}{d_p^F+d_p^B}$

$D_p(f_p=1)=\frac{d_p^B}{d_p^F+d_p^B}$

其中

和

分别表示像素p在颜色RGB空间中距离种子区域F和B的最小距离。在计算

和之前，先对种子区域前景和背景进行k均值聚类，得到前景聚类中心集合

和背景聚类中心集合

则

$d_p^F=\min \left|\right|C\left(p\right)-K_n^F\left|\right|$

$d_p^B=\min \left|\right|C\left(p\right)-K_m^B\left|\right|$

其中C(p)表示像素p在RGB颜色空间中的坐标。

基于4邻域的平滑惩罚项V_p，q定义如下：

V_p，q＝λ·exp(-β·||C(p)-C(q)||²)，<p，q>∈E

其中λ常量用来平衡数据惩罚项和平滑惩罚项之间的权重，β常量用来控制在分割过程中对梯度变化的容忍程度。

有了上面的设置，该算法即可对单独物体进行分割(如图3(c)所示)。为了使算法适用于多个重复物体的同时分割，本发明根据像素点对在RGB颜色空间中的距离，确定相似点对集合H：如果像素i和像素j在RGB颜色空间中的距离小于一个给定的阈值ε，则<i，j>∈H，与此对应的式2中的第三项定义为：

U_i，j＝μ·exp(-β·||C(p)-C(q)||²)，<i，j>∈H

其中μ为常量。

根据上述对数据惩罚项D_p、基于空间位置关系的平滑惩罚项V_p，q和基于RGB颜色相似性的平滑惩罚项U_i，j的定义，可以通过最大流优化算法对式2进行快速求解，从而实现对多个重复物体的同时分割(如图3(d)所示)。

2)输入图像的过分割

由于基于像素所构建的图通常包含大量的结点和边，尽管使用了最大流优化算法，计算复杂度仍然较高。为了进一步降低计算量，本发明首先借鉴LazySnapping的方法，对输入图像采用均值偏移算法进行过分割，所得分块数目相对于原像素数目大为减少，同时分割所得分块很好地保留了物体的局部结构。在技术方案1)中的图是基于像素以及相邻、相似像素构建的，在这里，则是通过分块、相邻、相似分块进行构建，其中分块之间的相似性指的是分块区域颜色平均值在RGB空间中的坐标距离。所得图在复杂性上远远小于基于像素所构建的图，如图4所示，图结点由原来的196，608(512×384，图像尺寸)降为1，612，边的数目从11，251，740降为19，210。这就大大提升了本发明算法的运算速度，对于用户的交互，可以实时得到分割结果，提高了本算法的用户体验。

以上详细介绍了基于改进图表示的重复物体有效分割方法，图5展示了一些本发明分割方法与其它一些经典算法的分割结果比较。

如上所述，本发明提出了一种基于改进图表示的重复物体有效分割方法，通过对传统图表示进行改进，使其适用于对多个重复物体进行高效、准确分割。

尽管已经参考附图对本发明进行了详细解释和描述，专业技术人员应该理解，在不脱离本发明精神和范围的情况下，可以在其中对其进行各种其它改变、增删。

Claims (1)

1.一种基于改进图表示的重复物体有效分割方法，其特征在于：对于输入图像I，为输入的图像I中的每一个像素p∈I指定一个标签f_p∈{0,1}，得到前景像素集合F={p:f_p=0}，背景像素集合B={p:f_p=1}，为了求得标签集合{f_p}，构造了一个新的能量函数，该能量函数是在传统的马尔科夫随机场（MRF，Markov Random Field）模型的能量函数

$E\left(f\right)=\underset{p\&Element;P}{\mathrm{\&Sigma;}}{D}_p\left(f_p\right)+\underset{p<q\&Element;N}{\mathrm{\&Sigma;}}{V}_{p,q}(f_p,f_q)---\left(1\right)$

的基础上增加了重复物体像素间的平滑惩罚项得到的，其形式如下：

$E\left(f\right)=\underset{p\&Element;P}{\mathrm{\&Sigma;}}{D}_p\left(f_p\right)+\underset{p<q\&Element;N}{\mathrm{\&Sigma;}}{V}_{p,q}(f_p,f_q)+\underset{<i,j>\&Element;H}{\mathrm{\&Sigma;}}{U}_{i,j}(f_i,f_j)---\left(2\right)$

其中，P表示当输入图像I用一个图G=（P，N）来表示时图中的结点集合，N代表图中结点之间的边；q代表图像I中的q像素，f_p为p像素的标签；f_i代表相似像素点对集合H中的i像素的标签，f_j代表相似像素点对集合H中的j像素标签，p<q表示图中相邻像素之间的单向组合，这里的“相邻”是四邻域相邻或者八邻域相邻；D_p(f_p)表示将像素p的标签设为f_p时带来的数据惩罚项，即按照先验知识，该像素为前景，系统将其判为背景带来的惩罚，或者按照先验知识，该像素为背景，系统将其判为前景带来的惩罚；V_p,q(f_p,f_q)表示两相邻像素<p,q>分别被判为前、背景时带来的平滑惩罚项，U_i,j为重复区域像素之间的平滑惩罚项，H为相似像素点对集合，各结点的标签集合{f_p}通过最小化上述能量函数式（2）得到；

首先，用户通过白色和黑色笔画分别确定种子前景区域F和种子背景区域B，用作分割时的先验信息，根据用户提供的先验信息，确定式（2）中的数据惩罚项D_p如下：

$D_p(f_p=0)=\frac{d_p^F}{d_p^F+d_p^B}$

$D_p(f_p=1)=\frac{d_p^B}{d_p^F+d_p^B}$

其中

和

分别表示像素p在颜色RGB空间中距离种子区域F和B的最小距离，在计算

和

之前，先对种子区域前景和背景进行k均值聚类，得到前景聚类中心集合

和背景聚类中心集合，则

$d_p^F=\min \left|\right|C\left(p\right)-K_n^F\left|\right|$

$d_p^B=\min \left|\right|C\left(p\right)-K_m^B\left|\right|$

其中C(p)表示像素p在RGB颜色空间中的坐标；

基于4邻域的平滑惩罚项V_p,q定义如下：

$V_{p,q}=\mathrm{\&lambda;}\&CenterDot;\exp (-\mathrm{\&beta;}\&CenterDot;{\left|\right|C\left(p\right)-C\left(q\right)\left|\right|}^2),<p,q>\&Element;E$

其中λ常量用来平衡数据惩罚项和平滑惩罚项之间的权重，该平滑惩罚项表示两相邻像素<p,q>分别被判为前、背景时带来的平滑惩罚项V_pq(f_p,f_q)，β常量用来控制在分割过程中对梯度变化的容忍程度，C(p)表示像素p在RGB颜色空间中的坐标，E表示相邻节点间的边，C(q)表示像素q在RGB颜色空间中的坐标；

根据像素点对在RGB颜色空间中的距离，确定相似点对集合H：如果像素i和像素j在RGB颜色空间中的距离小于一个给定的阈值ε，则<i,j>∈H，与此对应的式（2）中的第三项定义为：

U_i,j=μ·exp(-β·||C(p)-C(q)||²),<i,j>∈H

其中μ为常量；

根据上述对数据惩罚项D_p、基于空间位置关系的平滑惩罚项V_p,q和基于RGB颜色相似性的平滑惩罚项U_i,j的定义，通过最大流优化算法对式（2）进行快速求解，从而实现对多个重复物体的同时分割。

Images