CN103295229A - 视频深度信息恢复的全局立体匹配方法 - Google Patents

Abstract

一种视频深度信息恢复的全局立体匹配方法，包括：基于马尔可夫随机场框架为立体匹配问题建立能量模型，对能量模型优化求解，从而得到像素的视差值，所述能量模型为

D(p，d_p)表示像素p的视差值为d_p时的像素数据匹配代价；S(d_p，d_q)表示当像素p被赋予视差值d_p而像素q被赋予视差值d_q时，像素p和像素q之间的由平滑性约束导致的代价；

θ为权重参数，

为图像I中像素p对应的梯度模值，为图像I中梯度模值的最大值。本方法准确度和适用性好。

Description

视频深度信息恢复的全局立体匹配方法

技术领域

本发明涉及从二维视频中恢复场景的三维结构的方法，更具体地说，提出了一种视频深度信息恢复的全局立体匹配方法，能有效地计算出图像之间的稠密的点对应，为恢复视频的稠密深度图和重建场景的三维结构提供了必要条件。

背景技术

视频深度信息的恢复是把二维视频转变为三维视频以及重建场景的三维结构的关键技术。而作为这一过程的主要步骤，立体匹配结果的准确性对深度信息的计算结果有重要影响。立体匹配的主要工作是利用对应点之间颜色或梯度等特征的相似性关系为不同图像帧的所有像素寻找准确的像素对应。得到准确的图像间的像素对应后，根据已知的或使用自定标技术恢复得到的摄像机参数，即可以把同一景物点在不同图像上的像素点反向投影到三维空间中得到投影射线，来自不同图像的射线会在空间中相交，交点位置则是对应景物点的三维坐标。得到景物点的三维坐标后，则可以根据摄像机投影原理计算得到其在每个图像上投影点的深度信息，从而完成了深度恢复的任务。

立体匹配算法可以分为局部立体匹配算法和全局立体匹配算法。局部立体匹配算法通过区域匹配或特征匹配的方法为每个像素独立地计算视差值。因为不考虑像素之间的相关性，局部立体匹配算法一般速度较快，但得到的匹配结果比较粗糙。而全局性方法中的能量框架，既考虑了每个像素的数据匹配代价，也为相邻像素之间的平滑性约束进行了建模，因此通常能得到比局部方法更准确的结果。因此，虽然受到能量最优化算法的效率限制，全局立体匹配算法比局部立体匹配算法的求解时间长，但其精确的匹配结果和相对独立的建模和优化过程，使得全局匹配算法在立体匹配中占据越来越重要的地位。

全局立体匹配算法一般可以基于马尔可夫随机场对匹配问题进行建模。根据马尔可夫随机场的理论，假设p和q是图像I中的像素点，d_p和d_q则是它们对应的视差值，则立体匹配问题可以进行如下方式的建模：

$E\left(d\right)=\underset{p\∈I}{\mathrm{\Σ}}D(p,d_p)+\underset{(p,q)\∈N}{\mathrm{\Σ}}S(d_p,d_q)$

其中D(p，d_p)表示像素p的视差值为d_p时的像素数据匹配代价；N表示图像对应的无向图中的边，即像素之间的相邻关系，(p，q)∈表示像素p和像素q是相邻的；S(d_p，d_q)则表示当像素p被赋予视差值d_p而像素q被赋予视差值d_q时，它们之间的由平滑性约束导致的代价。式中的能量方程最小化时的解d就是对应于图像之间像素配对的视差值集合。

上述全局立体匹配算法比局部立体匹配算法的匹配结果准确，但是其匹配结果的准确度以及能量模型的适用性仍然不够理想。

发明内容

本发明的目的是针对上述全局立体匹配算法存在的准确度和适用性不够理想的技术问题，提供一种视频深度信息恢复的全局立体匹配方法。

为达上述目的，本发明提供的一种视频深度信息恢复的全局立体匹配方法包括基于马尔可夫随机场框架为立体匹配问题建立能量模型，对能量模型优化求解，从而得到像素的视差值，所述能量模型为

$E\left(d\right)=\underset{p\∈I}{\mathrm{\Σ}}{\mathrm{\α}}_{p}D(p,d_p)+\underset{(p,q)\∈N}{\mathrm{\Σ}}\frac{(1-{\mathrm{\α}}_p)+(1-{\mathrm{\α}}_q)}{2}S(d_p,d_q)$

p和q是图像I中的像素点；D(p,d_p)表示像素p的视差值为d_p时的像素数据匹配代价；N表示图像对应的无向图中的边，即像素之间的相邻关系，(p，q)∈表示像素p和像素q是相邻的；S(d_p，d_q)表示当像素p被赋予视差值d_p而像素q被赋予视差值d_q时，像素p和像素q之间的由平滑性约束导致的代价；α_p和α_q分别为像素p和像素q对应的数据匹配代价权重值，

${\mathrm{\α}}_p=\mathrm{\θ}+(1-\mathrm{\θ})*\left|\right|{\▿I}_p\left|\right|/{\left|\right|\▿I\left|\right|}_{\max }$

${\mathrm{\α}}_q=\mathrm{\θ}+(1-\mathrm{\θ})*\left|\right|{\▿I}_q\left|\right|/{\left|\right|\▿I\left|\right|}_{\max }$

θ为自定义权重参数，

分别为图像I中像素p和像素q对应的梯度模值，

为图像I中梯度模值的最大值。

在上述的全局立体匹配方法中，为了保证匹配代价对整体亮度变化的鲁棒性，以及保证较低的计算复杂度，为立体匹配中像素的准确配对提供良好的引导，所述能量模型中数据匹配代价D(p，d_p)=min(||V_p-V_p′||，ε_d)，p′=p+d_q，其中，V_p是为像素p构造的四维特征向量，

R_p是像素p进行Rank变换后的像素值，H_p是像素p在HSL空间中的色相信息，

分别是像素p在x方向和y方向的梯度信息；p′=p+d_p表示p′是像素p在另一图像中的对应点；ε_d是数据匹配代价的截断阈值。

在上述的全局立体匹配方法中，为了保护物体边界匹配的深度不连续性，同时防止因为分割粒度过小引起的平滑性约束力下降，所述能量模型中由平滑性约束导致的代价S(d_p，d_q)是基于自适应的图像分割方法得到的优化的分割结果进行计算的，所述自适应的图像分割方法包括以下步骤：

使用Meanshift算法，以空间距离和颜色距离为参数把待匹配的图像进行过度分割，得到一系列不相交的小分割区域，将分割结果作为一个基本区域集；

以所述基本区域集作为分割结果对能量模型进行最小化求解，得到临时视差估计值；

以在空间上邻接且临时视差估计值一致为条件，引导基本区域集中的小分割区域合并，以及引导该合并后的区域与基本区域集中的其它小分割区域合并，直到所有可聚合的小区域都已被聚合，得到更新区域集，作为优化的分割结果。

在上述的全局立体匹配方法中，为了有效地解决被遮挡区域的视差估计问题，该全局立体匹配方法还包括视差优化步骤，该视差优化步骤包括

遮挡检测，获取每个分割区域中的被遮挡区域；

用平面模型d_p=a*x_p+b*y_p+c计算每个分割区域中的被遮挡区域的像素的视差值，其中，x_p和y_p分别表示像素p的x坐标和y坐标；a、b、c分别表示平面模型的三个参数，由对应分割区域中的未遮挡区域的像素的视差值代入所述平面模型计算得到。

与现有全局立体匹配算法相比，本发明具有以下优点：采用基于纹理复杂度的动态权重分配策略为每个像素计算合适的权重，使能量模型中的每个项对不同的像素具有不同的影响力，从而提高了能量模型的适用性和匹配结果的准确度。

附图说明

图1为当图像亮度不一致时，使用不同数据匹配代价的立体匹配结果的对比图，其中，图1a、1b为存在一定亮度差别的原始图像对，图1c为图1a和1b的真实视差值，图1d至1f分别为使用MAD、NCC和本发明较佳实施例中的基于特征提取的数据匹配代价计算得到的图1a和1b的视差值；

图2为自适应图像分割的结果，其中图2a1至2a3分别为Cones图像对的原始图像、初始分割结果和最终分割结果；图2b1至2b3分别为Tsukuba图像对的原始图像、初始分割结果和最终分割结果；

图3为视差优化的结果，其中，图3a1至3a3分别为Teddy图像对初始匹配结果、交叉检测结果和平面拟合后视差结果，图3b1至3b3分别为Cones图像对初始匹配结果、交叉检测结果和平面拟合后视差结果，图3c1至3c3分别为Tsukuba图像对初始匹配结果、交叉检测结果和平面拟合后视差结果；

图4为对比实验的立体匹配结果，其中，图4a1至4a3分别为Teddy图像对、Cones图像对以及Tsukuba图像对的真实视差值；图4b1至4b3分别为Nalpantids算法对三种图像对的视差恢复结果；图4c1至4c3分别为Richardt算法对三种图像对的视差恢复结果；图4d1至4d3分别为Martins算法对三种图像对的视差恢复结果；图4e1至4e3分别为本发明较佳实施例方法对三种图像对的视差恢复结果。

具体实施方式

下面结合附图和实施例进一步说明本发明。

本发明是在背景技术中提到的基于马尔可夫随机场框架的全局立体匹配算法的基础上，实现的一种视频深度信息恢复的全局立体匹配方法。经过对基于马尔可夫随机场框架的全局立体匹配算法的能量模型中的每个能量项作用的分析，发明人发明了用于该算法能量模型的基于纹理复杂度的动态权重分配策略，即，基于图像的纹理复杂度为每个像素计算合适的权重，使能量模型中的每个项对不同的像素具有不同的影响力，从而提高了能量模型的适用性和匹配结果的准确度。

具体地，设α_p为像素p的数据匹配代价权重值，α_p与像素点的纹理复杂度相关，则（1-α_p）为像素p对应的平滑性约束权重值，同样地，（1-α_q）为像素q对应的平滑性约束权重值，则可得到带动态权重的立体匹配的能量模型，如下式所示：

$E\left(d\right)=\underset{p\∈I}{\mathrm{\Σ}}{\mathrm{\α}}_{p}D(p,d_p)+\underset{(p,q)\∈N}{\mathrm{\Σ}}\frac{(1-{\mathrm{\α}}_p)+(1-{\mathrm{\α}}_q)}{2}S(d_p,d_q)$

其中，p和q是图像I中的像素点；d_p和d_q分别是像素p和像素q对应的视差值；D(p，d_p)表示像素p的视差值为d_p时的像素数据匹配代价；N表示图像对应的无向图中的边，即像素之间的相邻关系，(p，q)∈N表示像素p和像素q是相邻的；S(d_p，d_q)表示当像素p被赋予视差值d_p而像素q被赋予视差值d_q时，像素p和像素q之间的由平滑性约束导致的代价。

纹理复杂度可以由像素点的梯度值进行度量。因此可以先根据Sobel算子求得图像在x方向和y方向的一阶差分，即和

进而求得图像每个像素点的梯度模值

并找到图像中梯度模值的最大值得到这些梯度信息之后，每个像素点的数据匹配代价权重可按下式计算：

${\mathrm{\α}}_p=\mathrm{\θ}+(1-\mathrm{\θ})*\left|\right|{\▿I}_p\left|\right|/{\left|\right|\▿I\left|\right|}_{\max }$

由上式计算得到的权重值会根据像素点纹理复杂度的不同在[θ，1]之间取值，其中θ为自定义权重参数，一般可在[0.1，0.5]之间进行取值。

全局立体匹配能量建模问题主要是针对数据匹配代价和平滑性约束导致的代价两个能量项进行合理的设计，使能量模型与立体匹配问题相符，从而得到准确的匹配结果。传统数据匹配代价，如像素灰度值差的绝对值的均值（Median of Absolute Difference，MAD）和归一化交叉关联性（Normalized Cross-Correlation,NCC），虽然被应用于很多立体匹配算法中，但它们仍然存在若干问题，如：MAD代价计算简单，但对于亮度的变化过于敏感；NCC代价有较高的鲁棒性，但其计算过程过于复杂。鉴于此，在较佳实施例中，使用了基于特征提取的数据匹配代价，既保证了匹配代价对整体亮度变化的鲁棒性，也保证了较低的计算复杂度，为立体匹配中像素的准确配对提供了良好的引导。其中使用的像素特征包括像素的Rank变换值，像素的色调和像素的梯度值。

为了进行像素点数据匹配代价的计算，先为图像的每个像素p构造一个四维特征向量，该四维特征向量由图像中四个对亮度变化不敏感的属性构成，分别是像素进行Rank变换后像素值R，像素在HSL空间中的色相信息（Hue,H），以及像素在x方向和y方向的一阶导数，即图像的梯度信息

和

该四维特征向量表示为

得到特征向量V_p后，就可以使用特征向量差的模值进行像素数据匹配代价的计算，如下式所示：

$D(p,d_p)=\min \left(\right||V_p-V_{p^{\′}}||,{\mathrm{\ϵ}}_d),p^{\′}=p+d_p$

其中p′=p+d_p表示p’是像素p在另一图像中的对应点，ε_d是数据匹配代价的截断阈值，用于避免数据匹配代价对匹配结果造成过大的影响，以提高匹配算法的鲁棒性，ε_d一般设置为10。

图1示出了当图像亮度不一致时，使用不同数据匹配代价的立体匹配结果的对比。通过图1a至1f可以看出，MAD代价在亮度不一致时无法工作，而NCC和本发明较佳实施例中的基于特征提取的数据匹配代价仍能给出较好的匹配结果。

平滑性约束的应用虽然能在一定程度上提高匹配结果的准确性，但也可能会破坏场景中原有的深度不连续性，即在边界区域出现过度平滑的问题。把图像分割技术结合到平滑性约束中，可以在一定程度上减轻过度平滑的影响，但图像分割的粒度如何把握仍然是一个有待研究的问题。因此，如何在平滑性约束代价的计算中更合理地利用图像分割技术，仍然是立体匹配算法中值得研究和探讨的课题。较佳实施例中，使用了一种自适应的图像分割策略，通过过度分割和引导合并两个步骤，得到与场景物体深度信息相符的分割结果。该分割结果应用于立体匹配的平滑性约束代价的计算中，既保护了物体边界匹配的深度不连续性，也防止了因为分割粒度过小引起的平滑性约束力下降的问题。

具体地，自适应图像分割策略与平滑性约束的计算可通过以下实现。首先，对于待匹配的图像I，可以使用Meanshift算法，并以较小的空间距离和颜色距离作为参数把图像进行过度分割，得到一系列不相交的小分割区域，这个分割结果被作为一个基本区域集（Basic RegionSet,BRS），可以表示为：

其中n表示小分割区域的总数。

然后以基本区域集作为分割结果对能量模型进行最小化求解，得到临时视差估计值。然后可以用临时视差估计值优化图像分割的结果，按照下式得到更新区域集（Upgraded RegionSet,URS），

即URS中的分割区域是由BRS中的小分割区域聚合而成，聚合的条件为

即，只有当BRS中的小分割区域在空间上是邻接的且它们的临时视差估计值是一致的，它们才能聚合起来构成URS中更大的分割区域。空间相邻的条件可以根据图像和分割本身的形状和位置判断，视差信息的一致性则可以根据每个分割区域视差信息的均值和方差进行判断，具体地，两个分割区域region_i和region_j的视差信息的一致性C(region_i，region_j可以按下式进行判断：

$C({\mathrm{region}}_i,{\mathrm{region}}_j)=\left\{\begin{array}{cc}\mathrm{true},& \mathrm{if}|d_i^E-d_j^E|<{\mathrm{\&epsiv;}}_E\mathrm{and}\left|d_i^D\right|<{\mathrm{\&epsiv;}}_D\mathrm{and}\left|d_j^D\right|<{\mathrm{\&epsiv;}}_D\\ \mathrm{false},& \mathrm{else}\end{array}\right.$

其中ε_E和ε_D是设定的一致性判断阈值，

和

分别表示分割区域region_i视差信息的均值和方差，和

分别表示分割区域region_j视差信息的均值和方差，对于每个分割区域，可以统计得到其视差信息的均值和方差。当空间相邻性和视差信息一致性条件都满足时，这两个区域就可以进行合并，同时新区域的视差信息的均值和方差也被更新。新的区域会代替原来的两个小分割区域继续与BRS中的其他小分割区域进行聚合，直到所有可聚合的小区域都已被聚合，即得到优化的分割结果集URS。图2示出了自适应图像分割的结果。通过图2a1至2a3、图2b1至2b3可以看出，本发明提出的自适应图像分割粒度更大，且更符合场景的真实结构。

得到优化的分割结果后，则可以进行基于图像分割的平滑性约束计算。假设算子region(p)用于查询像素p所属的分割区域，则基于图像分割的平滑性约束代价可按下式进行计算：

$S(d_p,d_q)=\left\{\begin{array}{cc}0,& \mathrm{if\; region}\left(p\right)\&NotEqual;\mathrm{region}\left(q\right)\\ \min \left(\mathrm{\&beta;}\right||d_p-d_q||,{\mathrm{\&epsiv;}}_s),& \mathrm{else}\end{array}\right.$

其中ε_s是平滑性约束的截断阈值，一般设置为5，β是平滑性约束的权重值，一般在[0.5，1]范围内进行取值。

在较佳实施例中，为了有效地解决被遮挡区域的视差估计问题，进一步提高匹配结果的整体准确度，使用了一种基于遮挡检测和平面拟合的视差优化策略。

该视差优化策略首先通过遮挡检测，获取每个分割区域中的被遮挡区域。

具体地，遮挡检测可以通过交叉检测实现。交叉检测（Cross Checking，CC）是指对两幅图像对应的视差结果进行联合检测，一般来说，只有两幅图像中对应点的视差估计值都正确，才能通过交叉检测。假设已为图像对（I，I’）求解到视差估计值（d，d’），如果对应点（像素p，像素p’）的视差估计值(d_p，d‘_p‘)都正确，则它们满足如下关系：

因此，两幅图像间视差信息的交叉检测结果可以按下式进行计算：

其中ε_CC是鲁棒性阈值，一般设置为1。CC(p)=false表示像素p的视差值不准确，为被遮挡区域，CC(p)=true表示像素p的视差值准确，为未遮挡区域。

在检测到被遮挡区域后，使用平面拟合的方法对这些区域的视差信息进行合理的估计。具体地，根据同一分割区域内的像素具有相近的视差值，使用三维平面对每个分割区域的视差值（x_p，y_p，d_p）进行建模，其中三维平面可以由三参数模型（a，b，c）表示：

d_p=a*x_p+b*y_p+c

对于每个分割区域，先用通过了交叉检测的像素（即未遮挡区域）的视差值为该分割区域计算出其对应的平面模型的参数a，b，c，然后再用得到的平面模型对那些未能通过交叉检测的像素（即被遮挡区域）的视差值进行合理的估计，从而解决被遮挡区域的视差估计问题。图3示出了视差优化的结果，通过图3a1至3a3、图3b1至3b3、图3c1至3c3可以看出，遮挡检测可以有效地发现初始视差结果中由于被遮挡导致的错误匹配区域；而平面拟合则可以有效地矫正由于图像噪声导致的匹配错误，并为被遮挡区域的信息提供一个很好的估计。

将较佳实施例的全局立体匹配方法（简称本发明方法）与三种现有立体匹配算法（Nalpantidis等人在2010年提出的基于自适应权重的匹配算法，简称Nalpantids；Richardt等人在2010年提出的基于双向交叉对称网格的匹配算法，简称Richardt；Martins等人在2011年提出的基于神经元群体训练的立体匹配算法，简称Martins）的匹配效果进行了对比，结果如图4所示，通过图4a1至4a3、图4b1至4b3、图4c1至4c3、图4d1至4d3、图4e1至4e3可以看出，与三种现有立体匹配算法相比，本发明方法的结果在视觉上更平滑，视差估计结果中肉眼可分辨的错误明显少于其他三个算法的结果。对比实验具体的错误视差的比例数据见表1，

表1立体匹配算法错误视差比例结果对比

可以看出本发明方法的整体错误视差比例明显低于三种现有立体匹配算法，而在被遮挡区域和物体边界区域本发明方法也有更低的坏像素比例。

Claims (4)

1.一种视频深度信息恢复的全局立体匹配方法，包括基于马尔可夫随机场框架为立体匹配问题建立能量模型，对能量模型优化求解，从而得到像素的视差值，其特征在于，所述能量模型为

$E\left(d\right)=\underset{p\&Element;I}{\mathrm{\&Sigma;}}{\mathrm{\&alpha;}}_{p}D(p,d_p)+\underset{(p,q)\&Element;N}{\mathrm{\&Sigma;}}\frac{(1-{\mathrm{\&alpha;}}_p)+(1-{\mathrm{\&alpha;}}_q)}{2}S(d_p,d_q)$

p和q是图像I中的像素点；D(p，d_p)表示像素p的视差值为d_p时的像素数据匹配代价；N表示图像对应的无向图中的边，即像素之间的相邻关系，(p，q)∈表示像素p和像素q是相邻的；S(d_p，d_q)表示当像素p被赋予视差值d_p而像素q被赋予视差值d_q时，像素p和像素q之间的由平滑性约束导致的代价；α_p和α_q分别为像素p和像素q对应的数据匹配代价权重值，

${\mathrm{\&alpha;}}_p=\mathrm{\&theta;}+(1-\mathrm{\&theta;})*\left|\right|{\&dtri;I}_p\left|\right|/{\left|\right|\&dtri;I\left|\right|}_{\max }$

${\mathrm{\&alpha;}}_q=\mathrm{\&theta;}+(1-\mathrm{\&theta;})*\left|\right|{\&dtri;I}_q\left|\right|/{\left|\right|\&dtri;I\left|\right|}_{\max }$

θ为自定义权重参数，

分别为图像I中像素p和像素q对应的梯度模值，

为图像I中梯度模值的最大值。

2.根据权利要求1所述的全局立体匹配方法，其特征在于，所述能量模型中数据匹配代价D(p，d_p)=min(||V_p-V_p′||，ε_d)，p′=p+d_p，其中，V_p是为像素p构造的四维特征向量，

R_p是像素p进行Rank变换后的像素值，H_p是像素p在HSL空间中的色相信息，

分别是像素p在x方向和y方向的梯度信息；p′=p+d_p表示p′是像素p在另一图像中的对应点；ε_d是数据匹配代价的截断阈值。

3.根据权利要求1所述的全局立体匹配方法，其特征在于，所述能量模型中由平滑性约束导致的代价S(d_p，d_q)是基于自适应的图像分割方法得到的优化的分割结果进行计算的，所述自适应的图像分割方法包括以下步骤：

使用Meanshift算法，以空间距离和颜色距离为参数把待匹配的图像进行过度分割，得到一系列不相交的小分割区域，将分割结果作为一个基本区域集；

以所述基本区域集作为分割结果对能量模型进行最小化求解，得到临时视差估计值；

以在空间上邻接且临时视差估计值一致为条件，引导基本区域集中的小分割区域合并，以及引导该合并后的区域与基本区域集中的其它小分割区域合并，直到所有可聚合的小区域都已被聚合，得到更新区域集，作为优化的分割结果。

4.根据权利要求1所述的全局立体匹配方法，其特征在于，该全局立体匹配方法还包括视差优化步骤，该视差优化步骤包括

遮挡检测，获取每个分割区域中的被遮挡区域；

用平面模型d_p=a*x_p+b*y_p+c计算每个分割区域中的被遮挡区域的像素的视差值，其中，x_p和y_p分别表示像素p的x坐标和y坐标；a、b、c分别表示平面模型的三个参数，由对应分割区域中的未遮挡区域的像素的视差值代入所述平面模型计算得到。

Images