CN105046696A - 一种基于深度平面约束图割优化的图像匹配方法 - Google Patents

Abstract

本发明提供一种基于深度平面约束图割优化的图像匹配方法，包括选择待匹配图像对中任一视图，并在所选视图下分别将其进行区域分割以得到该视图下的所有深度平面；对所有深度平面的左右边界像素点分别构建能量函数；使用待匹配图像对在该视图下的所有深度平面的左右边界像素点及其之间的相邻关系构造所有深度平面的网格图；通过求解各深度平面的网格图的最小割以获取各能量函数作用域下待匹配图像对在该视图下的所有深度平面的左右边界像素点的视差结果；根据视差结果，通过遮挡处理以确定待匹配图像对在该视图下所有深度平面最终的视差值，并根据视差值生成匹配结果。该方法可以克服过度平滑、遮挡等问题，并显著减少计算量。<pb pnum="1" />

Description

一种基于深度平面约束图割优化的图像匹配方法

技术领域

本发明涉及计算机视觉领域处理技术，特别涉及一种基于深度平面约束图割优化的图像匹配方法。

背景技术

立体匹配是指寻找立体图像对之间的对应关系，是计算机视觉领域的重要问题之一，在军事、航天、数字化医学、现代工业设计以及传媒等领域均有广泛引用。

现有的立体匹配方法主要分为两类：基于局部约束的算法和基于全局约束的算法。基于局部约束的算法利用兴趣点周围的局部信息进行计算，涉及的信息量较少，计算复杂度较低，但容易受噪声的影响，对无纹理区域或纹理稀疏区域的匹配效果不理想，代表方法是区域匹配法；基于全局约束的算法是对扫描线或整个图像数据的信息进行约束，建立匹配能量函数，再通过各种方法求得能量函数的最小值。这类算法由于是全局寻优，所以匹配准确度较高，代表方法是图割法。

图割法基本思想是将立体匹配问题先转化为一种能量函数最优化问题，再将此最优化问题转化为根据能量函数构造合适的网格图，求其最小割。基于图割的最优化算法可分为两类：求全局最优解的图割法和求全局次优解的图割法。第一类方法要求能量函数项必须是凸函数，能够求得全局最优解。但是由于函数项的凸性要求，无法解决遮挡约束等问题。第二类方法使用具有非凸性质的平滑项，这时能量函数的优化问题是一个NP-hard问题，只能使用循环方式求得全局次优解。由于使用了非凸函数项，可以处理遮挡约束等问题，但这部分处理需要较大的计算量。

发明内容

本发明针对现有立体匹配方法的不足，提出了一种基于深度平面约束图割优化的图像匹配方法，包括：

选择待匹配图像对中任一视图，并在所选视图下分别将其进行区域分割以得到所述待匹配图像对在该视图下的所有深度平面；

对所述待匹配图像对在该视图下的所有深度平面的左右边界像素点分别构建能量函数；

使用所述待匹配图像对在该视图下的所有深度平面的左右边界像素点及其之间的相邻关系构造所有深度平面的网格图；

通过求解各所述深度平面的网格图的最小割以获取各能量函数作用域下所述待匹配图像对在该视图下的所有深度平面的左右边界像素点的视差结果；

根据所述视差结果，通过遮挡处理以确定所述待匹配图像对在该视图下所有深度平面最终的视差值，并根据所述视差值生成所述待匹配图像对之间的匹配结果。

进一步地，在上述技术方案的基础上，所述在所选视图下分别将待匹配图像对进行区域分割以得到所述待匹配图像对在该视图上的所有深度平面时，将所述待匹配图像对从RGB空间变换到LUV空间并采用meanshift方法进行区域分割。

进一步地，在上述技术方案的基础上，所述求解各深度平面的网格图的最小割时采用最大流-最小割算法进行求解。

进一步地，在上述技术方案的基础上，所述能量函数包括数据项和平滑项，其中数据项通过颜色差异来衡量所述待匹配图像对之间像素的匹配程度，平滑项通过相邻像素之间的惩罚来补充颜色信息的不足。

相对于现有的图像匹配方法，在全体像素上建立能量函数，导致求解过程非常耗时，本发明实施例通过深度平面约束构建立体匹配能量函数，使得在求得函数最优解的同时，克服过度平滑、遮挡等问题，并显著减少计算量，拥有更大的实用价值。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1为本发明实施例提供的基于深度平面约束图割优化的图像匹配方法的流程示意图；

图2是深度平面边界点邻接关系及匹配原理示意图；

图3是立体匹配中网格图构造示意图；

图4是视差选择和遮挡处理示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1为本发明实施例提供的基于深度平面约束图割优化的图像匹配方法的流程示意图，如图1所示，该方法包括：

步骤101、选择待匹配图像对中任一视图，并在所选视图下分别将其进行区域分割以得到所述待匹配图像对在该视图下的所有深度平面；

本步骤待匹配图像对是指需要对比的两个图像，任一视图可以是六视图上的任意一种，比如左视图。本步骤具体处理时，优选地，将所述待匹配图像对从RGB空间变换到LUV空间并采用meanshift方法进行区域分割。

步骤103、对所述待匹配图像对在该视图下的所有深度平面的左右边界像素点分别构建能量函数；

本步骤具体处理时，优选地，所述能量函数包括数据项和平滑项，其中数据项通过颜色差异来衡量所述待匹配图像对之间像素的匹配程度，平滑项通过相邻像素之间的惩罚来补充颜色信息的不足。

步骤105、使用所述待匹配图像对在该视图下的所有深度平面的左右边界像素点及其之间的相邻关系构造所有深度平面的网格图；

步骤107、通过求解各所述深度平面的网格图的最小割以获取各能量函数作用域下所述待匹配图像对在该视图下的所有深度平面的左右边界像素点的视差结果；

本步骤具体处理时，优选地，所述求解各深度平面的网格图的最小割采用最大流-最小割算法进行求解。

步骤109、根据所述视差结果，通过遮挡处理以确定所述待匹配图像对在该视图下所有深度平面最终的视差值，并根据所述视差值生成所述待匹配图像对之间的匹配结果。

处于同一分割平面的视差有很强的相关性。再进一步，如果降低分割阈值对图像进行过分割，可以认为同一分割平面内的像素视差均相等，在本发明中记为深度平面约束。

采用深度平面约束图割法进行立体匹配，是指将图像立体匹配看出一个组合优化问题，对图像像素点之间的视差建立能量函数，把匹配问题转化为能量函数最小化问题，具体包含上述步骤103～步骤109：即建立能量函数，构造网格图，利用最小割算法求解能量函数，最后进行遮挡处理以得到匹配结果。

一般方法都是在全体像素上建立能量函数，导致求解过程非常耗时。而本发明实施例提供的方法通过深度平面约束，将能量函数的作用域限制在深度平面左右边界上的像素，使得在求得函数最优解的同时，克服过度平滑、遮挡等问题，并显著减少计算量，拥有更大的实用价值。

为进一步详细解释说明上述技术方案的步骤，下面对上述方法中能量函数做以下详细定义：

公式一：

能量函数minE(f)＝min[E_data(f)+E_smoothness(f)]；

其中E_data(f)表示数据项，是用来衡量图像对之间像素的匹配程度；E_smoothness(f)表示平滑项，是通过相邻像素之间的惩罚来补充颜色信息的不足。

公式二：

数据项

其中D(p,f(p))表示像素p视差为f(p)时的匹配相似程度，匹配程度可以采用颜色差的平方表示：D(p,f(p))＝[I₁(p)-I₂(p+f(p))]²，I₁和I₂是待匹配图像。

公式三：

平滑项

其中S₁(f(p),f(q))和S₂(f(p),f(q))分别表示满足相邻关系V₁和V₂的像素p和q视差不相等时分配的惩罚，具体实现方式为：

S₁(f(p),f(q))＝min(k₁||f(p)-f(q)||,d₁)，S₁(f(p),f(q))＝min(k₁||f(p)-f(q)||,d₁)，参数k表示惩罚增长的速率，d控制惩罚在合适的时候停止增长。

两个平滑项都用来对深度平面边界像素点之间的视差关系进行约束。第一个平滑项S₁用来约束同一个深度平面内的视差值相等。第二个平滑项S₂倾向于使得相邻深度平面的边界像素视差值相等。这符合这样一个事实：在一幅参考图像中相邻的平面在另一幅参考图像中也是相邻的。但是，也注意到，虽然平滑项S₂倾向于使得相邻平面边界像素的视差值相等，但在最终求得的视差图中，仍然是允许相邻平面存在视差跳变的。因为公式一仅仅是用来提取候选视差，而并非最终视差。

图2是深度平面边界点邻接关系及匹配原理示意图，下面以图2为例，解释说明上述方法的应用原理。如图2所示，case(1)和case(2)是相邻平面边界像素p、q的两种可能的匹配解。

若给定MatchingPoint(n)＝n'(表示n的匹配点是n')，MatchingPoint(m)＝m'，则对于case(1)，则有:

f(p)＝-1，

f(q)＝1，

D(p,f(p))＝0，

D(q,f(q))＝0，

S₁(f(n),f(p))＝min(k₁||1-(-1)||,d₁)＝min(2k₁,d1)，

S₁(f(p),f(m))＝min(k₁||1-(-1)||,d₁)＝min(2k₁,d1)，

S₂(f(p),f(q))＝min(k₂||(-1)-1||,d₂)＝min(2k₂,d₂)；

而对于case(2)，则有:

f(p)＝1，

f(q)＝1，

D(p,f(p))＝0，

D(q,f(q))＝0，

S₁(f(n),f(p))＝min(k₁||1-1||,d₁)＝0，

S₁(f(p),f(m))＝min(k₁||1-1||,d₁)＝0，

S₂(f(p),f(q))＝min(k₂||1-1||,d₂)＝0。

显然，相对于case(1)而言，case(2)产生的代价更小。由于边界点匹配的求解过程对应于求解公式一中E(f)最小值的过程，因此，本方法选择case(2)而不是case(1)作为p、q的匹配解。

通过这种方式，本发明提供的方法可以有效地通过深度平面左右边界像素点的匹配来为每个扫描线分割块提取两个候选视差，而这两个候选视差中又包含了一个正确的视差。同时，由于两个平滑项均为凸函数，具有公式一形式的能量函数可以通过图割算法求得全局最优解。

能量函数即公式一的求解采用图割构图法，其构图方式如图3所示。根据Greig提出的网格创建法，通过能量函数的求解转化为求一个网格图的最小割问题，然后采用最大流-最小割算法进行求解。

通过求解公式一，对于每一个扫描线分割块，可以得到两个候选视差。如何处理遮挡并从候选视差中选取正确的视差成为问题的关键。

下面以图4为例来说明如何求解正确视差及处理遮挡问题。图4是视差选择和遮挡处理示意图，如图4所示，设{a₁,A₁}、{a₂,A₂}、{b₁,B₁}、{b₂,B₂}、{c₁,C₁}、{c₂,C₂}是公式一求解后的边界匹配点，则图4a中标注点的视差可表示为显然，在图4中左视图所示的区域A和C中均存在遮挡(A的右边被遮挡，C的左边被遮挡)。因此，在边界点正确匹配的情况下，对于A而言，只有其左边界的视差是真实的；而对于C而言，只有其右边界的视差是真实的。即a₁、a₂间的像素的视差应当为而c₁、c₂间的像素的视差应当为

并且注意到一个重要的事实：

(1)其中是区域A的真实视差；

(2)其中是区域C的真实视差；

(3)其中和均为区域B的真实视差。

这一现象表明，无论遮挡是发生在扫描线分割块的左边界或右边界，只要对平面边界点进行正确匹配，该扫描线分割块的真实视差总是等于其候选视差中较小的一个。

得到每个扫描线分割块的视差后，根据深度平面约束，可以得到每个像素的视差，也即得到两幅图像的立体匹配结果。

最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (4)

1.一种基于深度平面约束图割优化的图像匹配方法，其特征在于，包括：

选择待匹配图像对中任一视图，并在所选视图下分别将其进行区域分割以得到所述待匹配图像对在该视图下的所有深度平面；

对所述待匹配图像对在该视图下的所有深度平面的左右边界像素点分别构建能量函数；

使用所述待匹配图像对在该视图下的所有深度平面的左右边界像素点及其之间的相邻关系构造所有深度平面的网格图；

通过求解各所述深度平面的网格图的最小割以获取各能量函数作用域下所述待匹配图像对在该视图下的所有深度平面的左右边界像素点的视差结果；

根据所述视差结果，通过遮挡处理以确定所述待匹配图像对在该视图下所有深度平面最终的视差值，并根据所述视差值生成所述待匹配图像对之间的匹配结果。

2.根据权利要求1所述的基于深度平面约束图割优化的图像匹配方法，其特征在于，在所选视图下分别将待匹配图像对进行区域分割以得到所述待匹配图像对在该视图上的所有深度平面时，将所述待匹配图像对分别从RGB空间变换到LUV空间并采用meanshift方法进行区域分割。

3.根据权利要求1所述的基于深度平面约束图割优化的图像匹配方法，其特征在于，求解各所述深度平面的网格图的最小割时采用最大流-最小割算法进行求解。

4.根据权利要求1-3任一项所述的基于深度平面约束图割优化的图像匹配方法，其特征在于，所述能量函数包括数据项和平滑项，其中数据项通过颜色差异来衡量所述待匹配图像对之间像素的匹配程度，平滑项通过相邻像素之间的惩罚来补充颜色信息的不足。