CN101702236A - 一种多目标前景分割方法 - Google Patents

Abstract

本发明提出一种多目标前景分割方法，首先对待处理的图像进行预分割，得到一系列像素区域；统计所述每个区域标记及连接相邻区域的弧的集合，组成图的拓扑结构；根据输入的前景及背景种子图像，将图结构分解成前景区域和背景区域，从而完成单目标前景分割；将分割后的目标区域的标记设成负值掩码，重新统计其他区域的标记及其图结构；再次输入所要提取目标的前景及背景的种子图像，将统计后的图结构分解成前景区域和背景区域；完成多目标前景分割。其优点是：只需对非负区域进行图割处理，不需对全局所有区域处理，节省了时间；可同时将标记为负的所有目标前景提取出来，进行后续处理；可以对任意一个或多个目标前景进行提取处理。

Description

一种多目标前景分割方法

技术领域

本发明涉及一种交互式的多目标前景分割方法，涉及计算机图像处理领域。

背景技术

前景分割(Foreground Segmentation)是计算机图像处理和视觉特效制作中的基本操作。前景分割是指从一幅图像中分割出任意形状的前景对象。前景分割的任务是指定图像中的哪些部分是前景(即用户想要提取的部分)，哪些部分是背景。虽然人的视觉系统可以很容易地指定前景和背景，但计算机在没有人工帮助下是很难具备这种理解能力的。一旦图像的前景部分从背景中分离出来，就容易与其他背景图像合成而获得新的图像。

人们对从图像中分割前景的问题进行了广泛的研究，在前景分割技术方面，主要有基于像素(Pixel-based)的方法、基于边界(Edge-based)的方法和基于区域(Region-based)的方法。基于像素的方法要求用户在单个像素级来指定前景或者背景，因此工作量非常庞大。基于边界的方法允许用户围绕前景对象的边界绘制曲线，然后对该曲线进行分段优化，但是用户必须谨慎的绘制曲线，仍然需要大量的用户交互。基于区域的方法允许用户指定一些松散的提示信息，并使用优化算法来提取实际的前景对象边界，因此具有简单快速的特点。

随着计算机技术日新月异的发展，人们在计算机图像处理领域的需求也不断增多，经常需要从一幅图像中提取出多个目标前景，而不单单一个目标，例如，在同一图像场景中的多个人物目标对象，我们试图将它们同时分割提取出来，然后放在另外一个场景中，从而合成一幅新的图像；又如在半自动2D转3D技术中，需要对目标物体赋以深度信息，如果在一个场景下有多个这样的目标物体需要深度赋值，则需要将这些目标前景全都分割出来。

发明人对现有的交互式目标分割技术研究发现，这些技术每次只能分割出一个目标前景，如果想要对多个目标前景进行后处理操作，只能逐个进行分割提取。这样需要大量的用户交互，因此工作量繁重且效率比较低下；而且当需要保持各分割后的多个目标前景相对位移不变时，原有技术只能是把每个目标前景单独提取后再人为地合成到一起，因此它们之间相对位移的精度往往达不到要求。

本发明中涉及到的成熟处理方法如下：

把目标分割的问题转化为Graph cuts(图分割)问题。

图像被看成一个图，G＝(V，E)，V是所有的节点，E是连接相邻节点的边。图像分割可以当作一个二元标记问题，每一个i∈V，有唯一的一个x_i，∈{前景为1，背景为0}与之对应。所有的x_i集合X可以通过最小化Gibbs能量E(X)获得：

$E\left(X\right)=\underset{i\∈V}{\mathrm{\Σ}}{E}_1\left(x_i\right)+\mathrm{\λ}\underset{(i,j)\∈E}{\mathrm{\Σ}}{E}_2(x_i,x_j)$

同样的，根据用户画的曲线，我们有前景节点集F和背景节点B，未知节点集U。首先用K-Mean方法将F，B的节点聚类，计算每一个类的平均颜色，{K_n ^F}代表所有前景类的平均颜色集合，背景类是{K_n ^B}。计算每一个节点i到每一个前景类的最小距离

和相应的背景距离

定义公式：

$E_1(x_i=1)=0E_1(x_i=0)=\∞\∀i\∈F$

$E_1(x_i=1)=\∞E_1(x_i=0)=0\∀i\∈B$

$E_1(x_i=1)=\frac{d_i^F}{d_i^F+d_i^B}{E}_1(x_i=0)=\frac{d_i^B}{d_i^F+d_i^B}\∀i\∈U$

前两组等式保证定义与用户输入一致，第三组等式意味着与前背景的颜色相近度决定着未知点的标记。

E₂定义为与梯度相关的一个函数：

E₂(x_i，x_j)＝|x_i-x_j|·g(C_ij)

$g\left(\mathrm{\ξ}\right)=\frac{1}{\mathrm{\ξ}+1}$

C_ij＝||C(i)-C(j)||²

E₂的作用是减少在颜色相近的像素之间，存在标记变化的可能，即使其只发生在边界上。

发明内容

本发明的目的是克服现有技术中存在的不足，提供一种交互式的多目标前景分割方法，用于从一幅图像中提取出任意多个前景目标对象。

按照本发明提供的技术方案，所述多目标前景分割方法步骤如下：

1)对待处理的图像进行预分割，得到一系列像素区域；

2)统计所述每个区域标记及连接相邻区域的弧的集合，组成图的拓扑结构；

3)根据输入的前景及背景种子图像，将所述图的拓扑结构分解成前景区域和背景区域，从而完成单目标前景分割；

4)将分割后的目标区域的标记设成负值掩码，重新统计其他区域的标记及其图的拓扑结构；

5)再次输入所要提取目标的前景及背景的种子图像，将步骤4统计后的图的拓扑结构分解成前景区域和背景区域；

6)重复步骤4、5，完成多目标前景分割。

所述对待处理的图像进行预分割采用分水岭分割方法。

所述图中的顶点是图像经过分水岭算法进行预分割后得到的小区域，将前景分割问题转为图分割问题。

所述将图的拓扑结构分解成前景区域和背景区域的方法为对输入的前景及背景种子的颜色进行聚类。

所述将分割后的目标区域的标记设成负值掩码，重新统计时判断标记符号，只对标记非负的区域进行图像分割。

本发明的优点是：

1)对每次分割后的图像区域进行重新标记，将已分割的目标前景区域标记设置成负值，对下一个目标进行分割时，只需对非负区域进行图割处理，不需要对全局所有区域进行处理，从而节省了时间。

2)由于分割出的目标区域标记全为负值，可同时将标记为负的所有目标前景提取出来，进行后续处理。

3)由于分割出的目标区域标记值为唯一的负数，因此可以对任意一个或多个目标前景进行提取处理。

附图说明

图1是本发明流程图。

具体实施方式

下面结合附图和实施例对本发明作进一步说明。

如图1所示，具体步骤如下：

1)首先对待目标分割的图像进行分水岭(WaterShed)分割预处理，分水岭分割属于一种基于区域增长的分割方法，但它得到的确是目标的边界，且是连续、闭合、但像素宽的边界。该方法能够很好的定位对象的边缘，并且能够保持每个小区域中的微小差异。但分水岭分割却有一个致命的弱点，那就是容易产生过分割，对于噪声和细密纹理非常敏感，使其常常产生严重的过分割结果。所以，针对这个问题，我们在应用分水岭分割之前对图像进行平滑(Smooth)处理，目的是减少小的积水盆，从而减少过分割区域的数量。

2)将图像分水岭处理后，每个像素区域(积水盆)会得到唯一的一个非负标记，这时我们把每个像素区域看成顶点，统计计算各顶点(即各像素区域)的邻接关系，组成图的拓扑结构。这里将图像看做是一个图(Graph)G＝<V，E>，其中V是图中所有顶点的集合，E是图中所有连接相邻顶点的弧的集合。

3)对图像作标记，我们将图像中前景标记和背景标记所覆盖的两组像素集合分别称为前景种子集合F和背景种子集合B。它们为分割出目标前景提供了信息，如前文图割所述，根据这些信息来定义相似能量和优先能量。这里在定义能量之前，我们首先使用K均值方法(K-Means)对前景种子F和背景种子B的颜色进行聚类。在我们的实现中，前景集群和背景集群初始时都设置为64个。

4)利用前述图分割算法将目标前景区域从背景中分离出来。

5)对已分割出的目标前景区域重新进行标记，标记值为负数，并根据目标个数递减。例如：第一个目标前景区域标记为-1，第二个目标前景区域标记为-2，以此类推。背景区域标记不变。

6)对下一个目标前景分割时，重新统计计算未分割的图像区域(标记非负区域)中各顶点标记及其邻接结构。重新统计时判断标记符号，只对标记非负的区域进行图割，降低运算量的同时又保证已经分割好的区域不被破坏，从而达到多目标前景分割的目的。

7)重复执行3)、4)操作，完成下一目标前景的分割。

以上步骤中的细节详述如下：

1)选择一幅待对目标前景分割的图像，对前景背景做标记。一般情况下是用户在图像上绘制几个标记线条来指定前景目标及背景，这些线条作为种子图像。

2)在用户绘制过每个种子线条后，开始进行前景分割，并将分割结果及时的反馈给用户。用户可以检查分割结果来确定是否需要增加更多的种子线条。

3)判断是否当前处理的目标前景分割完毕，如果完毕且还有目标前景需要分割，则重新统计区域标号和邻接结构。否则，接着对当前目标前景进行分割操作。

4)判断是否所有要处理的目标前景分割完毕，如果完毕将分割结果反馈给用户。否则，接着对当前目标前景进行分割操作。

Claims (5)

1.一种多目标前景分割方法，其特征是所述方法步骤如下：

1)对待处理的图像进行预分割，得到一系列像素区域；

2)统计所述每个区域标记及连接相邻区域的弧的集合，组成图的拓扑结构；

3)根据输入的前景及背景种子图像，将所述图的拓扑结构分解成前景区域和背景区域，从而完成单目标前景分割；

4)将分割后的目标区域的标记设成负值掩码，重新统计其他区域的标记及其图的拓扑结构；

5)再次输入所要提取目标的前景及背景的种子图像，将步骤4统计后的图的拓扑结构分解成前景区域和背景区域；

6)重复步骤4、5，完成多目标前景分割。

2.如权利要求1所述的多目标前景分割方法，其特征是所述对待处理的图像进行预分割采用分水岭分割方法。

3.如权利要求2所述的多目标前景分割方法，其特征是步骤2所述图中的顶点是图像经过分水岭算法进行预分割后得到的小区域，将前景分割问题转为图分割问题。

4.如权利要求1所述的多目标前景分割方法，其特征是所述将图的拓扑结构分解成前景区域和背景区域的方法为对输入的前景及背景种子的颜色进行聚类。

5.如权利要求1所述的多目标前景分割方法，其特征是所述将分割后的目标区域的标记设成负值掩码，重新统计时判断标记符号，只对标记非负的区域进行图像分割。

Images