CN104166988B - 一种融入稀疏匹配信息的立体图像同步分割方法 - Google Patents

Abstract

本发明涉及一种融入稀疏匹配信息的立体图像同步分割方法。首先输入一组立体图像，通过提取特征点并匹配的方法得到立体图像之间的稀疏匹配对应点。然后，在其中一图中通过笔刷勾画的方式，指定部分前、背景。根据指定部分分别建立前、背景的颜色分布的先验统计模型。以此为基础，在图割理论框架下形式化对应关系约束以及颜色、梯度等约束，构造能量函数。最后，采用图的最大流/最小割算法求解最优化结果。若用户没有得到理想的效果，还可以继续对图中错误区域进行勾画，直到得到理想结果。与现有方法相比，在同样的交互量的前提下，本发明的分割效果更好。

Description

一种融入稀疏匹配信息的立体图像同步分割方法

技术领域

本发明属于计算机视觉、计算机图形学和图像处理等交叉领域，涉及一种融入稀疏匹配信息的立体图像同步分割方法。

背景技术

近年来，3D摄影、电视、电影以及监控技术得到快速发展，大量立体图像数据随之涌现出来。针对立体图像的相关处理的研究也因此变得火热。交互式立体图像分割是立体图像处理中一个非常重要的子课题。立体图像交互式分割即通过简单的用户交互，实现立体图像中感兴趣目标物的智能选择。现有专门针对立体图像进行分割的方法，多通过计算视差图或匹配关键点的方法得到立体图像间的对应关系。然后，将对应关系约束，连同图像内的颜色、梯度等线索，共同实现立体图像的同步分割。基于视差图的方法，例如Price等人在2011年的ICCV上发表的“StereoCut：Consistent Interactive Obiect Selection inStereo Image Pairs”中，利用视差图决定的立体图像间的稠密对应信息，计算复杂度高。另外，现有计算视差图的算法得到的视差图存在误差，StereoCut方法并没有对视差图误差做出判断和纠正，降低了分割过程的智能化程度。基于关键点匹配的方法采用关键点确定的立体图像间的稀疏对应，计算效率高于前者。然而，现有基于关键点匹配的立体图像分割同步分割方法对匹配信息的利用率较低，导致智能化程度较低。

发明内容

鉴于现有技术中存在的匹配信息利用率低的问题，本发明力图将稀疏匹配对应关系和传统约束项定义在一个统一的理论框架中，充分利用对应关系，提高分割过程的智能化。

为实现这个目标，本发明采取如下技术方案：首先输入一组立体图像之，通过提取特征点并匹配的方法得到立体图像之间的稀疏匹配对应点。然后，在其中一图中通过例如笔刷勾画的方式，交互式指定部分前、背景。根据指定部分分别建立前、背景的颜色分布的先验统计模型。以此为基础，在图割理论框架下形式化对应关系约束以及颜色、梯度等约束，构造能量函数。最后，采用图的最大流/最小割算法求解最优化结果。若用户没有得到理想的效果，还可以继续在图中添加前、背景线索，直到得到理想结果。本发明同时提供一种简单的交互方式，保障在关键点对应错误或缺失时，能够轻松修改分割结果。

与现有技术相比，本发明具有以下优点：将立体图像之间的关键点对应信息形式化为能量函数项，连同传统的颜色、梯度约束，在图割理论框架下实现立体图像同步分割。相比现 有方法，在同样的交互量的前提下，分割效果更好。

附图说明

图1为本发明所涉及方法的流程图；

图2为应用本发明与现有方法进行图像分割的效果比较：(a)、(b)为输入的左、右图像；(c)、(d)是采用Price等人在2011年的ICCV上发表的“StereoCut：ConsistentInteractive Object Selection in Stereo Image Pairs”中的方法计算的结果；图2(e)、(f)为本发明的分割结果，围绕目标物的闭合线为分割目标物的轮廓；两种方法所用的用户输入在(c)、(e)图中显示，目标物内部的实线(在分割后的轮廓内部)指示前景，目标物外部的虚线(在分割后的轮廓外部)指示背景；

图3为应用本发明的添加对应点的交互方法改善分割结果：(a)为添加对应点前的左右图的分割结果，(b)是添加对应点效果和添加对应点后的左右图的分割结果，暗色半透明区域标记背景，虚线用于初始标记背景、目标物内部的实线用于初始标记前景，(b)中的白色小方块和白色圆点是添加的对应点。

具体实施方式

下面结合附图和具体实施方式对本发明做进一步说明。

本发明的流程如图1所示，具体包括如下步骤：

步骤一，提取并匹配立体图像关键点。

读入图像后，对左右视图中的关键特征点进行提取和匹配。可以选用的关键特征点的描述算子包括SIFT(Scale Invariant Feature Transform)、SURF(Speeded UpRobust Features)、ORB(ORiented Brief)等。本发明建议采用SIFT特征描述子。

步骤二，添加前、背景线索。

通过所设计的界面指定部分前、背景像素。本发明的图例中(见图2(e))，采用Price等人在2011年的ICCV上发表的“StereoCut：Consistent Interactive ObiectSelection in Stereo Image Pairs”中提到的方式，通过鼠标、触摸屏或者手写笔等输入设备，通过在图像上勾画不同颜色的线条指定部分前、背景像素。如图2(e)所示，目标物内部的实线覆盖的像素属于前景，目标物外部的虚线覆盖的像素属于背景。但本发明的后续步骤对于该步骤中所用的前、背景像素的指定方式并无限制，其它方式亦可使用。

步骤三，定义前、背景颜色先验模型。

用F表示用户指示的前景像素集合，用B表示用户指示的背景像素集合。前、背景的颜色模型可采用GMM(高斯混合模型)、直方图、颜色类簇等模型，通过F与B中的像素颜色值的集合拟合或统计得到。本发明建议采用K-means聚类方法，在后续的说明过程中，均以 此方法计算得到的颜色模型为基础。采用K-means聚类方法对F与B中的像素的颜色值分别进行聚类，得到N_c个前景颜色类簇M_c个背景颜色类簇分别表示前、背景的颜色分布统计模型。本发明建议N_c＝M_c＝64。

步骤四，定义能量函数。

立体图像I＝{I^l，I^r}可以表示成一个无向图G＝<v，ε>。其中，v为图G中的节点集合，ε为边的集合。图G中的每个顶点，对应立体图像I中的一个像素。图像中除集合F和集合B中的像素外，其余像素设定属于集合U。交互式立体图像同步分割是在输入的线索的约束下，为U中的每个像素p_i赋予一个标签x_i。x_i∈{1，0}，分别表示前、背景。图G中的边包含图像内相邻像素的连接边，以及稀疏关键点匹配决定的立体图像对应点之间的连接边。

求解上述二元标记问题，可视为求解使得以下能量函数最小化的标记集合：

其中，f_D(p_i，x_i)为数据项，又称一元项，表示当前像素p_i到前景和背景已知颜色模型的相似性，相似性越高，数值越大。f_B(p_i，p_j)与分别是图像内二元项和图像间二元项。f_B(p_i，p_j)反映出像素与其相邻像素(Neighbor Pixel)之间的颜色差异，也称为梯度项。其中，N_B表示的集合包含左右图中所有像素点的邻接关系，相邻元素差异越大，则该二元项的值越小，在计算最大流时，连接这两个相邻像素的边越倾向于被割开。为立体图像间的对应关系，也称为对应项。N_C表示所有特征匹配对。λ_D，λ_B，λ_C是调节各能量项之间的权值。

(1)定义颜色约束项

数据项主要采用像素颜色与前、背景之间的颜色模型的距离来描述该像素与前、背景的相似性：

f_D(p_i，x_i)＝1-P_c(x_i|c_i) (2)

其中，P_c(x_i|c_i)表示给定p_i的颜色c_i，该像素被标记为前、背景的概率。c_i与x_i对应模型的距离越小，即相似度越高，则概率值越高，p_i取x_i标签的可能性越大。那么，对应的能量函数项f_D(p_i，x_i)应当越小，因此有f_D(p_i，x_i)＝1-P_C(x_i|c_i)。本发明给出用类簇表达前、背景颜色模型的前提下，P_c(x_i|c_i)的表达：

其中，

(2)定义图像内梯度约束项

梯度约束项的作用是：两相邻元素颜色越靠近，其梯度约束项的值越大，越不倾向于被分割。本发明对梯度约束项的定义建议如下：

该项也可以采用其他形式，如Price等人在2011年的ICCV上发表的“StereoCut：Consistent Interactive Object Selection in Stereo Image Pairs”中用到的指数形式。

(3)定义图像间对应约束项

对应项的使用，是为了保持立体图像匹配对应像素标签(Label)的一致性。本发明设定对于任意，有：

即对于一对匹配对应像素，设定二者之间的边的权值为无穷大(在实际编程中，设定为一个很大的值)。避免在通过最优化求解最大流时，割断这两个像素之间的边，造成对应像素标签的不一致。

步骤五，求解能量函数最小值。

本发明采用图割算法，例如Yuri Boykov等人于2004年在《IEEE Transaction onPAMI》上发表的论文“An Experimental Comparison of Min-Cut/Max-Flow Algorithmsfor Energy Minimization in Vision”中所提出的最大流/最小割算法，通过最优化本发明所定义的能量函数(式(1))，得到最优的标记结果，即分割结果。用户如对分割结果不满意，可返回步骤二，继续添加前、背景线索。每添加一次，将触发一次分割过程。

步骤六，添加对应点优化分割结果。

基于关键点匹配得到的某些左右图对应关系并不正确。为了克服上述问题，本发明提供了一个新的交互方法解决这个问题：基于当前分割结果，用户交互式对一张图像中分割正确，但在另外一张图像中分割错误的地方添加一对对应点，图3(b)给出了交互方法的演示说明。该交互与指定前、背景线索的交互，在本发明的软件中可同时供选择使用。

进行手动匹配并不需要严格遵循极线几何的对应关系，只需要满足对应点同属于前景或者同属于背景区域即可。每添加一个对应点，会触发一次能量函数更新(即图结构的更新)和图割算法求解。给定一组新的匹配对应点，用表示用，令：

该约束保证新的对应点标签一致。将该约束融合进能量函数(式(1))并采用图割算法重新求解，得到更新过的分割结果。

下面给出本发明的一个应用实例。

为了验证本发明所述方法的有效性，与Price等人在2011年的ICCV上发表的“StereoCut：Consistent Interactive Obiect Selection in Stereo Image Pairs”中的方法进行对比。图2给出了效果对比。(a)、(b)为输入的左、右图像。(c)、(d)是采用StereoCut方法计算的结果；(e)、(f)为本发明的分割结果；两种方法所用的用户输入在(c)、(e)图中显示，目标物内部的实线(在分割后的轮廓内部)指示前景，目标物外部的虚线(在分割后的轮廓外部)指示背景。从图中可看出，在相同交互量的前提下，本发明的方法能够得到更好的分割结果。而对比方法得到的结果较差。对比方法为了得到更好的结果，需要交互式添加更多的前、背景线索。因此，可以说本发明方法较对比方法智能化程度更高。另外，本发明还可以通过简单的添加对应点的方式实现分割结果纠正。如图3(b)图中连接左右图中的线的两端是新加入的特征点对。图3(a)显示了没有添加这对对应点时的分割效果。(b)图显示了添加了对应点后的效果。暗色半透明区域标记分割后的背景，虚线用于初始标记背景、目标物内部的实线用于初始标记前景。可以看出，在添加对应点后分割效果得到了提升。值得一提的是，相比StereoCut，本发明方法所构建的图结构复杂度大幅降低，导致图结构的构建和分割求解过程，所耗时间远少于StereoCut方法。

Claims (1)

1.一种融入稀疏匹配信息的立体图像同步分割方法，其特征在于包括以下步骤：

步骤一，读入图像，对左右视图中的关键特征点进行提取和匹配；

步骤二，添加前、背景线索；

通过所设计的界面指定部分前、背景像素；利用鼠标、触摸屏或者手写笔等输入设备，通过在图像上勾画不同颜色的线条指定部分前、背景像素；

步骤三，定义前、背景颜色先验模型；

用F表示用户指示的前景像素集合，用B表示用户指示的背景像素集合；前、背景的颜色模型可采用高斯混合模型、直方图、颜色类簇模型，通过F与B中的像素颜色值的集合拟合或统计得到；采用K-means聚类方法对F与B中的像素的颜色值分别进行聚类，得到N_c个前景颜色类簇M_c个背景颜色类簇分别表示前、背景的颜色分布统计模型；

步骤四，定义能量函数；

立体图像I＝{I^l，I^r}可以表示成一个无向图G＝<ν,ε>；其中，ν为图G中的节点集合，ε为边的集合；图G中的每个顶点，对应立体图像I中的一个像素；图像中除集合F和集合B中的像素外，其余像素设定属于集合U；交互式立体图像同步分割是在输入的线索的约束下，为U中的每个像素p_i赋予一个标签x_i；x_i∈{1,0}，分别表示前、背景；图G中的边包含图像内相邻像素的连接边，以及稀疏关键点匹配决定的立体图像对应点之间的连接边；

求解上述二元标记问题，可视为求解使得以下能量函数最小化的标记集合：

$\begin{array}{c}E\left(X\right)={\mathrm{\&lambda;}}_D\underset{p_i\&Element;I}{\mathrm{\&Sigma;}}{f}_D(p_i,x_i)+{\mathrm{\&lambda;}}_B\underset{(p_i,p_j)\&Element;N_B}{\mathrm{\&Sigma;}}{f}_B(p_i,p_j)|x_i-x_j|\\ +{\mathrm{\&lambda;}}_C{\mathrm{\&Sigma;}}_{(p_i^l,p_j^r)\&Element;N_C}{f}_C(p_i^l,p_j^r)|x_i^l-x_j^r|\end{array}---\left(1\right)$

其中，f_D(p_i,x_i)为数据项，又称一元项，表示当前像素p_i到前景和背景已知颜色模型的相似性，相似性越高，数值越大；f_B(p_i,p_j)与分别是图像内二元项和图像间二元项；f_B(p_i,p_j)反映出像素与其相邻像素之间的颜色差异，也称为梯度项；其中，N_B表示的集合包含左右图中所有像素点的邻接关系，相邻元素差异越大，则该二元项的值越小，在计算最大流时，连接这两个相邻像素的边越倾向于被割去；为立体图像间的对应关系，也称为对应项；N_C表示所有特征匹配对；λ_D,λ_B,λ_C是调节各能量项之间的权值；

(1)定义颜色约束项

数据项主要采用像素颜色与前、背景之间的颜色模型的距离来描述该像素与前、背景的相似性：

f_D(p_i,x_i)＝1-P_c(x_i|c_i) (2)

其中，P_c(x_i|c_i)表示给定p_i的颜色c_i，该像素被标记为前、背景的概率；c_i与x_i对应模型的距离越小，即相似度越高，则概率值越高，p_i取x_i标签的可能性越大；那么，对应的能量函数项f_D(p_i,x_i)应当越小，因此有f_D(p_i,x_i)＝1-P_c(x_i|c_i)；用类簇表达前、背景颜色模型的前提下，P_c(x_i|c_i)的表达式为：

$P_c\left(x_i\right|c_i)=\left\{\begin{array}{c}\frac{t_i^{min}}{s_i^{\min }+t_i^{\min }},x=1\\ \frac{s_i^{min}}{s_i^{\min }+t_i^{\min }},x=0\end{array}\right.---\left(3\right)$

其中，

$s_i^{\min }=min\left(\right||c_i-C_n^F|{|}^2),n=1,...,N_c$

$t_i^{\min }=min\left(\right||c_i-C_m^B|{|}^2),m=1,...,M_c$

(2)定义图像内梯度约束项

梯度约束项的作用是：两相邻元素颜色越靠近，其梯度约束项的值越大，越不倾向于被分割；对梯度约束项的定义如下：

$f_B(p_i,p_j)=\frac{1}{\left|\right|c_i-c_j|{|}^2+1},(p_i,p_j)\&Element;N_B---\left(4\right)$

(3)定义图像间对应约束项

使用对应项是为了保持立体图像匹配对应像素标签(Label)的一致性；对于任意设定：

$f_C(p_i^l,p_j^r)=\mathrm{\&infin;}---\left(5\right)$

即对于一对匹配对应像素，设定二者之间的边的权值为无穷大，在实际编程中，设定为一个很大的值，避免在通过最优化求解最大流时，割断这两个像素之间的边，造成对应像素标签的不一致；

步骤五，求解能量函数最小值；

采用图割算法，通过最优化本方法所定义的能量函数，即式(1)，得到最优的标记结果，即分割结果；如果对分割结果不满意，返回步骤二，继续添加前、背景线索；每添加一次，将触发一次分割过程；

步骤六，添加对应点优化分割结果；

基于当前分割结果，用户交互式对一张图像中分割正确，但在另外一张图像中分割错误的地方添加一对对应点；该交互与指定前、背景线索的交互可同时使用；

进行手动匹配并不需要严格遵循极线几何的对应关系，只需要满足对应点同属于前景或者同属于背景区域即可；每添加一个对应点，会触发一次能量函数更新和图割算法求解；给定一组新的匹配对应点，用表示，令：

$f_C(p_i^{l*},p_j^{r*})=\mathrm{\&infin;}---\left(6\right)$

该约束保证新的对应点标签一致；将该约束融合进能量函数，即式(1)，并采用图割算法重新求解，得到更新过的分割结果；步骤一所述关键特征点的描述算子包括SIFT、SURF和ORB；步骤三所述的N_c和M_c均取64；所述公式(4)也可以采用指数形式的模型。