CN102622754A - 一种基于用户交互Trimap的快速前景提取方法 - Google Patents

Abstract

本发明公开了一种基于用户交互Trimap的前景提取方法，首先输入图片，建立彩色线性模型，把一个小窗口内像素的颜色值近似看作是线性排列的，之后得出评价函数，采用改进的用户交互方式来提供Trimap，之后只在前景和背景融合在一起的区域解最优化问题。本发明通过引入简单的Trimap，通过一定的用户交互输入，将病态问题转化为一个带约束的最优化问题，在原有的方法的基础上大大提高了计算效率，增加的用户交互并不多，同时还保持了用户交互的直观性和方便性。实验验证，比起已有的方法实现，发明的方法可以有2~10倍不等的加速效果。

Description

一种基于用户交互Trimap的快速前景提取方法

 

技术领域

本发明涉及计算机图像处理技术，具体是一种基于用户交互Trimap的快速前景提取方法。

背景技术

前景提取是计算机图像处理中非常重要的一个操作，目的是将图像中人类感兴趣的区域从复杂的背景中提取出来，以便进行后续的更换背景、改变透视效果、图片拼贴等操作。但是要确定一个像素是否属于前景其实是一个病态问题，通常难以从原图像中直接得到准确解，所以前景提取方法一般都需要一定的用户交互。

对于自然图片的前景提取，我们设输入的图片为I，一般情况下我们认为I由两个部分组成。一个部分是前景F，另一个部分是背景B。对于第i个像素的颜色值                                               

我们可以将其表示为该像素的前景

和背景

的线性组合：

                     （1）

其中

表示第i个像素中前景的不透明度。假设共有N个像素的话，一共有N个方程，3N个未知数。显然，这是一个病态问题，不存在一个确定解，通常难以从原图像中直接得到准确解，所以前景提取方法一般都需要一定得用户交互。Trimap是前景提取问题中常见的用户交互形式之一，所谓Trimap就是将图像中的像素划分为三部分：确定的前景、确定的背景和未知区域。通过Trimap我们可以将（1）所代表的病态问题转化为求解一个带约束的最优化过程。但基于Trimap的前景提取方法的一个缺点就是需要用户具有一定的经验，才能通过正确的交互得到比较好的前景提取结果，另外也比较难以处理具有很多洞的前景物体。

前景提取的研究已经进行了十多年，在这个领域先后提出过Blue Screen Matting、Bayesian Matting、Robust Matting、Soft Scissors等具有代表性的技术和方法。Robust Matting由Wang Jue和Michael F.Cohen在2007年提出，相对于之前的方法在效果和效率两方面都有很大的提高。在此方法中，对于每一个未知像素，利用临近已知像素中的前景颜色信息和背景颜色信息来作为自己的前景颜色和背景颜色的估计，这样在方程（1）中和

就变成了已知量，从而可以求得。事实上，一个未知像素临近的已知像素是很多的，为此Robust Matting规定了一套如何从临近已知像素中选择前景颜色信息和背景颜色信息的标准，以便得到更加准确的

。

Soft Scissors是Robust Matting的作者提出的一种改进方法，解决了如何标记Trimap的问题，这种方法在实时性和可交互性上都有很大突破。在此方法中，用户使用鼠标沿着物体边沿顺时针勾勒出物体轮廓，要求鼠标笔触覆盖的区域必须涵盖前景和背景融合在一起的区域。换言之方法会将鼠标笔触覆盖的区域作为未知区域，笔触方向左边的区域会被划分为前景，右边的区域会被划分为背景，在此基础上再运用Robust Matting计算笔触覆盖区域中未知像素的

值。这样，用户在勾勒轮廓的同时就能得到未知区域的不透明度，从而达到了实时性的要求，能够运用到诸如Photoshop之类的商业软件中。但这种方法存在一个明显的缺点是要求交互过程的相当精确。

A Closed Form Solution to Natural Image Matting由Anat Levin等人在2008年提出，这种方法的特点是交互的过程比较简单，只要通过简单地在画面上指出部分前景和背景区域，就能得到比较好的前景提取效果。换言之，这种方法并不需要完整的Trimap信息，而是通过全局地进行评价函数的最优化来得到前景提取的结果。但这样带来的一个弊端就是时间花费很大，图像中有很多我们并不关心的区域都纳入了计算范围。

发明内容

本发明所要解决的技术问题是提供一种基于用户交互Trimap的快速前景提取方法，能够用比较简明的交互得到比较好的结果，同时也能将时间复杂度控制在一个合理范围内。

本发明所述的基于用户交互Trimap的快速前景提取方法，其包括以下步骤：

步骤1，输入图片，设输入的该图片为I，I包括前景F和背景B，对于第i个像素的颜色值

，将其表示为该像素的前景和背景

的线性组合：

 

                              （1）

其中

表示第i个像素中前景的不透明度。

采用Trimap用户交互形式将图像中的像素划分为三部分：确定的前景、确定的背景和未知区域； 

步骤2，建立彩色线性模型。为了计算评价函数，把一个小窗口内像素的颜色值近似看作是线性排列的，由此我们可以得到：

                  （2）

步骤3，得出评价函数。基于（2）式描述的彩色线性模型，我们提出如下的评价函数：

                （3）

其中

是一个围绕j像素的小窗口，在实现中采用的是3×3的小窗口。采用这样的小窗口可以保证小窗口边沿部分是重叠的，从而使得计算出来的不透明度具有连续性。通过（3）式的变形可以得到：

                             （4）

其中L是一个N×N矩阵，它的第

个元素是：

      （5）

其中

是一个3×3的协方差矩阵，

是一个3×1的小窗口内颜色值的平均向量，

是一个单位矩阵。

步骤4，解决用户交互与约束问题。只有（4）式中的评价函数是不够的，我们需要通过用户交互来提供Trimap，使得病态问题能够转化为一个可以求最优解的优化问题。为了减少计算上的时间花费，我们只在前景和背景融合在一起的区域解我们的最优化问题。在为此我们提出了一种改进的用户交互方式，使得原来在整幅图像上求解的问题转变为在用户指定小区域内求解的问题。

我们的用户交互方式图1所示，用户使用颜色线条和笔触进行交互式标记，最左边的图像是输入图像，中间的图像是用户交互后生成的图像，最右边的图像是输出地不透明度分布结果。通过中间的图像我们可以看到，颜色A的线条和图像固有的边界将图像分为很多个区域。其中如果区域中只存在颜色B的笔触，我们将其视为背景；如果只存在颜色C的笔触，我们将其视为前景；如果既有颜色B又有颜色C笔触，我们将其视为未知区域。颜色A笔触经过的部分也被视为未知区域。至此，通过用户交互我们就得到了一个完整的Trimap，我们对不透明度的计算只在未知区域进行。

步骤5，基于（4）式的评价函数，通过用户交互提供的约束来解一个最优化问题，就可以得到我们想要的整幅图像的不透明度分布。我们的最优化问题表示如下：

                   （6）

假设（5）式中的

，则这个最优化问题可以转化为解：

                           （7）

其中

是经过用户交互后得到的初始不透明度分布。

本发明的有益效果：

本发明通过改进A Closed Form Solution to Natural Image Matting得到的，原来的方法并不包括完整的Trimap以求简化用户交互，但是同时却增加时间上的开销，需要在考虑整张图片的每一个像素的基础上进行求解。本方法通过引入简单的Trimap，在能够比较简明地完成用户交互的同时，大大减小时间复杂度。

实验验证，在采用3×3大小的小窗口时，（5）式中

。图2给出了几组实验结果。通过使用本方法，用户能够非常直观地认识到交互对最终结果的影响，如果用户做的交互越仔细，用灰色笔触勾勒的区域能够非常好地指示出未知区域的话，最终得到的不透明度分布将会相当准确，人眼难以察觉出人工痕迹。另一方面，如果灰色笔触勾勒出的未知区域面积越小的话，方法使用的实践也会相对较短，比起以往的方法实现，本发明可以有2~10倍不等的加速效果，而且增加的用户交互并不多。

附图说明

图1，用户交互方式示意图。

图2，本发明的三组实验结果图。

具体实施方式

    以下结合附图对本发明作详细描述。

第一步 建立彩色线性模型

为了确立评价函数，我们把一个小窗口内像素的颜色值近似看作是线性排列的，由此我们可以得到：

                        （2）

证明：对于每一个小窗口，由于我们把一个小窗口内的像素颜色值看作是线性排列的，可以得到

以及

，其中

，

，

，

是常量。将这两个等式代入（1）式，可以得到：

；

设矩阵

是一个3×3的矩阵，其中第c行的元素为

，则上式可以被改写为：

。设

,

 ,

为

逆矩阵的第一行元素，b为

和

的数量积，就可以得到（2）式。证毕。

第二步 确立评价函数

基于（2）式描述的彩色线性模型，提出如下的评价函数：

                （3）

其中

是一个围绕j像素的小窗口，在我们的实现中采用的是3×3的小窗口。采用这样的小窗口可以保证小窗口边沿部分是重叠的，从而使得计算出来的不透明度具有连续性。通过（3）式的变形我们可以得到：

                             （4）

其中L是一个N×N矩阵，它的第

个元素是：

      （5）

其中

是一个3×3的协方差矩阵，

是一个3×1的小窗口内颜色值的平均向量，

是一个单位矩阵。

 

第三步 用户交互提供Trimap

按照图1所示的用户交互方式，通过用户交互后得到中间的生成图像。在图像中，颜色A的线条和图像固有的边界将图像分为很多个区域。其中如果区域中只存在颜色B的笔触，我们将其视为背景；如果只存在颜色C的笔触，我们将其视为前景；如果既有颜色B又有颜色C笔触，我们将其视为未知区域。颜色A笔触经过的部分也被视为未知区域。

 

第四步 求解最优化问题输出结果

通过上一步的用户交互提供的约束，前景提取转化为一个最优化问题，就可以得到我们想要的整幅图像的不透明度分布。最优化问题表示如下：

                 （6）

假设（5）式中的

，则这个最优化问题可以转化为解：

                          （7）

其中

是经过用户交互后得到的初始不透明度分布。

通过计算的最优化问题实现的前景提取实验结果如图2所示。

Claims (2)

1.一种基于用户交互Trimap的快速前景提取方法，其特征在于包括以下步骤：

步骤1，输入图片，设输入的该图片为I，I包括前景F和背景B，对于第i个像素的颜色值                                               

，将其表示为该像素的前景和背景

的线性组合：

 

                              （1）

其中

表示第i个像素中前景的不透明度，

采用Trimap用户交互形式将图像中的像素划分为三部分：确定的前景、确定的背景和未知区域； 

步骤2，建立彩色线性模型：为了计算评价函数，把一个小窗口内像素的颜色值近似看作是线性排列的，由此得到：

                                             （2）

步骤3，得出评价函数：基于（2）式描述的彩色线性模型，提出如下的评价函数：

        

                （3）

其中

是一个围绕j像素的小窗口，从而使得计算出来的不透明度具有连续性；通过（3）式的变形得到：

                             （4）

其中L是一个N×N矩阵，它的第

个元素是：

      （5）

其中

是一个3×3的协方差矩阵，

是一个3×1的小窗口内颜色值的平均向量，

是一个单位矩阵；

步骤4，采用改进的用户交互方式来提供Trimap，之后只在前景和背景融合在一起的区域解最优化问题，该改进的用户交互方式为：用户使用颜色线条和笔触进行交互式标记，其中使用颜色A的线条和图像固有的边界将图像分为很多个区域；其中如果区域中只存在颜色B的笔触，将其视为背景；如果只存在颜色C的笔触，将其视为前景；如果既有颜色B又有颜色C笔触，将其视为未知区域；颜色A笔触经过的部分也被视为未知区域；

通过提供Trimap，最优化问题表示如下：

                   （6）

假设（5）式中的

，则这个最优化问题可以转化为解：

                           （7）

其中

是经过用户交互后得到的初始不透明度分布。

2.根据权利要求1所述的基于用户交互Trimap的快速前景提取方法，其特征在于步骤3）的小窗口采用3×3格式，从而保证小窗口边沿部分是重叠的。

Images