CN104980726B - 一种联合运动向量的双目视频立体匹配方法 - Google Patents

Abstract

本发明公开了一种联合运动向量的双目视频立体匹配方法，包括如下步骤：第一步，计算原始匹配代价；第二步，获得像素光流场；第三步，构建支撑区域；第四步，累积原始匹配代价；第五步，匹配最佳像素。本发明在构建支撑区域时，独创性的运用并行化运动估计方法建模以及引入运动幅度差值来建立判定函数，判定邻域像素与待匹配像素是否属于同一支撑区域，提高了双目视频立体匹配精度。本发明方法利用视频相邻帧间的时域信息来改进局部双目立体匹配算法中的差值累积区域构建，避免了传统立体匹配方法引起的视差视频的帧间闪烁和视差误匹配率较高等问题。

Description

一种联合运动向量的双目视频立体匹配方法

技术领域

本发明属于计算机视觉图像处理技术领域，具体涉及一种联合运动向量的双目视频立体匹配方法。

背景技术

计算机视觉三维成像技术发展数十年，立体匹配即深度信息提取技术一直都是研究的热点。依托双目立体匹配技术和成对的左右视图，视差图像即真实场景的深度信息可以有效的被重建，并广泛用于如三维电视，三维追踪，三维导航等民用和军用多个方面。

双目立体匹配技术分为全局和局部方法。全局方法主要是沿着独立的扫描线或者是针对整个视差范围的能量传递最小化方程。典型的全局方法包括置信传播、图切割、动态规划等。基于全局的原理使得它们可以取得较好的匹配结果，但是往往处理一对静态图像处理时间超过了15秒，并不适用于实时处理的应用。局部方法是基于区域的立体匹配方法，需要借助于图像中特定相邻区域内的像素值来完成差值比较和累积，因此可以获得更快的处理速度，但是会损失部分匹配精度。

伴随着双目视频的应用越来越广泛，针对双目视频的立体匹配技术显得尤为重要。针对静态图像的立体匹配技术仅仅考虑的图像空间上的信息，忽略了视频序列中不同帧间的时间域信息。采用静态立体匹配算法(包括局部和全局)来估计双目视频序列的深度信息，会导致视差视频帧间闪烁和较高的视差误匹配率等一系列问题。

发明内容

为了克服上述问题，本发明提出一种联合运动向量的局部立体匹配方法，引入运动向量，通过像素的运动幅度差值和颜色相似度联合构建支撑区域，提高双目视频立体匹配精度，减少视差视频帧间闪烁现象。

上述目的是通过如下技术方案实现的：

一种联合运动向量的双目视频立体匹配方法，包括如下步骤：

第一步，计算原始匹配代价：转换左右视频序列彩色图像为灰度值图像；融合左视频待匹配像素与右视频候选像素的灰度值截断绝对差值以及稀疏Census变换作为原始匹配代价；

第二步，获得像素光流场：通过并行化运动估计计算左视频序列当前帧图像块的二维运动向量，再通过空间内插的方法获得左视频序列当前帧的像素光流场；

第三步，构建支撑区域：借助第二步所述的左视频序列当前帧像素光流场，利用像素运动幅度绝对差值和颜色值相似度构建联合终止判断函数，判定左视频序列当前帧待匹配像素和其邻域像素是否属于同一区域，属于同一区域的邻域像素组成待匹配像素支撑区域；

第四步，累积原始匹配代价：将左视频当前帧待匹配像素与其邻域像素的运动幅度绝对差值和像素灰度绝对差值融合为权重值，累加权重值与原始匹配代价的内积得到候选像素的匹配代价；

第五步，匹配最佳像素：在视差范围内依次比较右视频候选像素与待匹配像素的匹配代价，拥有最小匹配代价的候选像素即为最佳匹配像素。

进一步地，第三步所述联合终止判断函数为：

其中，pl代表待匹配像素；p_n代表待匹配像素的邻域像素；R为上下左右四个方向邻域范围的最大值；L是预设的方向长度阈值，取值范围为L∈[11,15]；

δ(pl,p_n)代表颜色值相似度判定函数，具体为：

其中，I_gray代表灰度值强度，τ_gray代表灰度值强度阈值，取值范围为τ_gray∈[12,15]；

代表运动幅度绝对差值判定函数，具体为：

其中，|dx(pl)-dx(p_n)|+|dy(pl)-dy(p_n)|代表待匹配像素与其领域像素在X轴和Y轴向的绝对运动幅度差值，τ_motion是运动幅度的终止阈值，取值范围为τ_motion∈[5,10]；

进一步地，立体匹配方法第二步所述并行化运动估计实现步骤包括：

第一步，将t时刻当前帧分为大小为N×N的帧块，N为任意整数；并在t-1时刻参考帧中为当前帧帧块设定搜索范围；

第二步，根据穷尽搜索策略，在参考帧的搜索范围内，按照X和Y轴方向上步进为1依次搜索和计算当前帧块和候选帧块的像素灰度绝对差值；

第三步，比较所有候选帧块与当前帧块的绝对差值，具有最小绝对差值的候选帧块即为最佳匹配帧块，当前帧块与最佳匹配帧块的向量差值即为当前帧块的二维运动向量。

进一步地，立体匹配方法第一步所述原始匹配代价获得方法为：将待匹配像素与候选像素的灰度值截断绝对差值以及稀疏Census变换这两种差异化特征按照5:1的比例线性叠加作为原始匹配代价。

进一步地，立体匹配方法第四步所述权重值融合公式为：

w＝exp(-w_motion/λ_m-w_gray/λ_g)

w为融合后权重值，w_motion为运动幅度绝对差值，w_gray为像素灰度绝对差值，λ_m和λ_g取值为λ_m＝10和λ_g＝5，或λ_m＝12和λ_g＝7，或λ_m＝22和λ_g＝10。

进一步地，立体匹配方法第四步所述匹配代价累积方法为基于平方步进的匹配代价累积方法，每次迭代更新在支撑区域内采取先水平方向上以平方步进将原始匹配代价与相应邻域像素融合后权重值的内积进行累加，得到水平方向代价累积结果；在此基础上将水平方向代价累积结果与垂直方向相应的融合后权重值进行内积，依次累加内积得到最终代价累积结果。

进一步地，所述并行化运动估计方法中将t时刻当前帧f_t分为大小为8×8的帧块。

进一步地，立体匹配方法第一步采用如下公式将彩色RGB图像转换为灰度值图像：

灰度值＝(R×299+G×587+B×114+500)/1000。

本发明的有益效果：

1、在彩色图像预处理中，将三维RGB特征空间转换为一维灰度特征空间，即只对一个特征量进行计算，优化了计算和判定的准则。

2、在处理过程中，独创性的运用并行化运动估计方法建模以及引入运动幅度差值来建立判定函数，判定邻域像素与待匹配像素是否属于同一支撑区域。

3、利用视频相邻帧间的时域信息来改进局部双目立体匹配算法中的差值累积区域构建，避免了传统立体匹配方法引起的视差视频的帧间闪烁和视差误匹配率较高等问题。

4、采用融合时域信息的局部立体匹配方法，权衡计算时间和匹配精度，保证了该方法可用于实时处理的计算机视觉应用。对于含有大量高斯白噪声的视频序列，以及在视线遮挡，画面失焦等极端情况下亦可以进行视差匹配。

附图说明

图1：本发明联合运动向量的双目视频立体匹配方法的流程图；

图2：双目立体匹配方法示意图；

图3：双目视频序列实例分别在X轴和Y轴方向上的运动幅度灰度量化图；

图4：构建待匹配像素pl支撑区域：

图中，(a)为上下左右四个方向长度R；(b)为水平方向匹配代价累积示意图；(c)为垂直方向匹配代价累积示意图；

图5：不同运动估计块尺寸下Y轴方向运动幅度的灰度量化图：

图中，(a)连续的三帧左视图；(b)块尺寸为2×2时连续三帧左视图Y轴方向运动幅度的灰度量化图；(c)块尺寸为4×4时连续三帧左视图Y轴方向运动幅度的灰度量化图；(d)块尺寸为8×8时连续三帧左视图Y轴方向运动幅度的灰度量化图；(e)块尺寸为16×16时连续三帧左视图Y轴方向运动幅度的灰度量化图；

图6：在不同运动估计块尺寸下，基于5组双目视频序列(书本、坦克、隧道、寺庙、街道)进行视差匹配的误匹配率对比结果；

图7：本发明方法与对比方法，基于5组双目视频序列(书本、坦克、隧道、寺庙、街道)误匹配率比较。

具体实施方式

下面结合具体实施例详细说明本发明的技术方案和技术效果。

如图1所示，本发明方法主要由立体匹配和并行化运功估计组成。双目立体匹配就是运用两个视角(两个摄像机)来计算视差图像，即场景中不同物体的深度信息。以左视图的视差图像为例，pl＝(x,y)是左视图中的待匹配像素，pr＝(x-i,y)是右视图中沿X轴水平扫描线相对pl位移i的候选像素。假设i＝d,d∈[d_min,d_max](视差范围)时，pr为最佳匹配像素，pl与pr之间的位移d就是像素pl的视差值。如图2所示的蓝色和绿色像素，其在右视图中最佳匹配像素的位移即视差值为d₁和d₂，视差值归一化为[0,255]的灰度视差图像。转换左右视频序列彩色RGB图像为灰度值图像，转换公式为：灰度值＝(R×299+G×587+B×114+500)/1000。

并行化运动估计：用并行化运动估计方法【参见文献：“Implementation ofMotion Estimation Based on Heterogeneous Parallel Computing System withOpenCL”，IEEE 14th International Conference on High Performance Computing andCommunication(HPCC),2012,pages.41-45.，下文称为文献1】，将绝对差值和作为唯一评价标准，融合并行归约和共享内存复用技术，利用GPU(Graphic Processing Unit)硬件可将全搜索运动估计速度提升了100余倍，并将左视图视频帧块的二维运动向量通过空间内插的方法得到稠密运动矢量场即像素光流场(dx,dy)。并行化运动估计的实现步骤如下：

第一步，将t时刻当前帧分为大小为N×N的帧块，N为任意整数；并在t-1时刻参考帧中为当前帧帧块设定固定的搜索范围；

第二步，根据穷尽搜索策略，在参考帧的搜索范围内，按照X和Y轴方向上步进为1依次搜索和计算当前帧块和候选帧块的像素灰度绝对差值；

第三步，比较所有候选帧块与当前帧块的绝对差值，具有最小绝对差值的候选帧块即为最佳匹配帧块，当前帧块与最佳匹配帧块的向量差值即为当前帧块的二维运动向量。

以文献【“Real-time spatiotemporal stereo matching using the dual-cross-bilateral grid”,In proc.European Conference on ComputerVision,2010,pages.510-523，下文称为文献2】中“图书”双目视频序列为示例，在得到像素光流场后，计算得到如图3所示X轴和Y轴方向的像素运动幅度绝对值|dx|和|dy|的灰度量化图(量化范围为[0,255])，灰度值越深代表运动幅度越激烈，反之亦然。图3中白色区域表示运动幅度为零的背景区域。

构建代价累积的支撑空间：根据连通性原则，颜色的相似度可以作为区分不同物体和目标的准则，用来构建双目匹配中原始匹配代价累积的支撑空间S_p。

(1)已有的局部立体匹配方法【文献2，文献3和文献4；其中文献3出处为：“Real-Time GPU-based Local Stereo Matching Method”，In Proc.Conference on Design&Architectures for Signal&Image Processing,2013,pages.209-214.；其中文献4出处为：“Local stereo matching using motion cue and modified census in videodisparity estimation”，In 2012Proceedings of the 20th European SignalProcessing Conference,2013,pages.1114-1118.】仅依靠颜色值相似度构建如图4所示支撑空间。假设左视图中为待匹配像素pl构建的支撑空间S_p，其上下左右四个方向邻域范围的最大值定义为R，意味着覆盖在这个范围内的所有邻域像素具有和待匹配像素pl相近的颜色值。

其中pl＝(x,y)是左视图中的待匹配像素，p_n＝(x-n,y)是支撑空间S_p中像素p向右平移n的邻域像素，L是预设的关于方向长度的阈值，L取值13。公式(1)的δ(p₁,p₂)是针对任意两像素p₁和p₂颜色相似度的判定函数。

其中I_c是RGB(c∈[R,G,B])三通道的色值强度，τ是颜色相似度的终止阈值(τ＝15)，用来判定颜色值相似度。本发明方法重新定义基于颜色相似度的判定函数为：

为了避免重复计算，公式(3)将RGB图像I_c转化为灰度值图像I_gray，并标定唯一的阈值是τ_gray，τ_gray取值15。当像素p₁和p₂的颜色绝对值差小于该阈值，就认为像素p₁和p₂同处于一个支撑区域，反之亦然。

(2)具有相似运动幅度的像素具有相同的视差(深度信息)。在本发明方法中，像素的运动幅度差值和和颜色相似度联合判定函数，共同决定支撑区域的四个方向长度R：

区别于传统方法仅仅依靠颜色相似度的判定函数，本发明方法运用像素运动幅度差值判定函数定义如下：

其中|dx(p₁)-dx(p₂)|+|dy(p₁)-dy(p₂)|是像素p₁和p₂在X轴和Y轴向的绝对运动幅度差值，τ_motion是运动幅度的终止阈值，τ_motion取值为5。当运动幅度绝对值差之和小于该阈值，就认为它们属于一个支撑区域，反之亦然。如图4(a)所示，运用待匹配像素pl与邻域像素p_n的运动幅度绝对差值，颜色相似度的联合判定函数以及判定终止阈值，来判定上限和下限范围内邻域像素是否和待匹配像素属于同一支撑区域，确定Y轴方向上限和下限的长度。再以Y轴方向上已确定的像素为基础，依次在X轴上采用同样的判定函数和阈值，确定左限和右限的长度。

原始匹配代价累积：本发明融合待匹配像素与候选像素的截断绝对差值以及稀疏Census变换，将两种差异化特征按照5:1的比例线性叠加作为原始匹配代价cost。支撑区域S_p内待匹配像素与其邻域像素的运动幅度绝对差值w_motion和灰度绝对差值w_gray通过公式(6)融合为权重值w。

w＝exp(-w_motion/λ_m-w_gray/λ_g) (6)

其中，λ_m＝10,λ_g＝5。同时本发明方法采用平方步进匹配代价累积方法。如图4(b)所示每次迭代更新在支撑区域内采取先水平方向上以平方步进将原始匹配代价与相应权重值的内积进行累加，得到水平方向代价累积结果。如图4(c)所示，在此基础上将水平累积结果与垂直方向相应的权重进行内积，依次累加内积得到最终代价累积结果cost_all。

完成原始匹配代价积累后，依据TheWinner Takes AtAll原则，在既定的视差范围[d_min,d_max]内比较待匹配像素pl和候选像素pr，拥有最小匹配代价cost_all的pr即为最佳匹配像素，同时得到例如图2(c)所示的视差图像。

通过如上的分析可以得到以下结论：

(1)运动幅度灰度量化图能够很好的区分运动的物体和静止的背景。

(2)去除仅通过颜色相似度判定函数而误判的邻域像素，避免其带来的噪声，影响支撑区域S_p构建精确度。

(3)融合时域信息构建支撑区域S_p，从而获得更加准确的视差图像。

图5以“书本”连续的三帧左视图为例，获得了不同运动估计块尺寸下Y轴方向运动幅度的灰度量化图，并进行了比较，说明不同运动估计尺寸下运动幅度的灰度量化图差异明显。

图6进一步以5组双目视频序列(分别以书本、坦克、隧道、寺庙和街道为立体匹配对象)为例，采用本发明上述方法比较了不同运动估计块尺寸与视差匹配误匹配率的关系，由图可见，运动估计块尺寸为8×8时误匹配率最低。综合图5和图6可知，不同的运动估计块尺寸可以得到不同精度的运动幅度量化图，影响支撑区域S_p的构建精准度，运动估计块尺寸优选8×8时误匹配率最低。

图7为以书本、坦克、隧道、寺庙和街道为立体匹配对象，分别运用本发明方法和文献1、2、3中的方法对其进行立体匹配对比，匹配结果表明：本发明方法误匹配率最低，相对于现有技术在误匹配率方面具有明显的性能提升。其中，对比1方法见文献2，对比2方法见文献3，对比3方法见文献4。

Claims (8)

1.一种联合运动向量的双目视频立体匹配方法，其特征在于包括如下步骤：

第一步，计算原始匹配代价：转换左右视频序列彩色图像为灰度值图像；融合左视频待匹配像素与右视频候选像素的灰度值截断绝对差值以及稀疏Census变换作为原始匹配代价；

第二步，获得像素光流场：通过并行化运动估计计算左视频序列当前帧图像块的二维运动向量，再通过空间内插的方法获得左视频序列当前帧的像素光流场；

第三步，构建支撑区域：借助第二步所述的左视频序列当前帧像素光流场，利用像素运动幅度绝对差值和颜色值相似度构建联合终止判断函数，判定左视频序列当前帧待匹配像素和其邻域像素是否属于同一区域，属于同一区域的邻域像素组成待匹配像素支撑区域；

第四步，累积原始匹配代价：将左视频当前帧待匹配像素与其邻域像素的运动幅度绝对差值和像素灰度绝对差值融合为权重值，累加权重值与原始匹配代价的内积得到候选像素的匹配代价；

第五步，匹配最佳像素：在视差范围内依次比较右视频候选像素与待匹配像素的匹配代价，拥有最小匹配代价的候选像素即为最佳匹配像素。

2.根据权利要求1所述的双目视频立体匹配方法，其特征在于第三步中，所述联合终止判断函数为：

其中，p1代表待匹配像素；p_n代表待匹配像素的邻域像素；R为上下左右四个方向邻域范围的最大值；L是预设的方向长度阈值，取值范围为L∈[11，15]；

δ(p1，p_n)代表颜色值相似度判定函数，具体为：

$\mathrm{\δ}(pl,p_n)=\left\{\begin{array}{c}1,\left(\right|I_{gray}\left(pl\right)-I_{gray}\left(p_n\right)\left|\right)\≤{\mathrm{\τ}}_{gray}\\ 0,otherwise\end{array}\right.$

其中，I_gray代表灰度值强度，τ_gray代表灰度值强度阈值，取值范围为τ_gray∈[12，15]；

代表运动幅度绝对差值判定函数，具体为：

其中，|dx(p1)-dx(p_n)|+|dy(p1)-dy(p_n)|代表待匹配像素与其领域像素在X轴和Y轴方向的绝对运动幅度差值，τ_motion是运动幅度的终止阈值，取值范围为τ_motion∈[5，10]。

3.根据权利要求2所述的双目视频立体匹配方法，其特征在于立体匹配方法第二步中，所述并行化运动估计实现步骤包括：

第一步，将t时刻当前帧分为大小为N×N的帧块，N为任意整数；并在t-1时刻参考帧中为当前帧帧块设定搜索范围；

第二步，根据穷尽搜索策略，在参考帧的搜索范围内，按照X和Y轴方向上步进为1依次搜索和计算当前帧块和候选帧块的像素灰度绝对差值；

第三步，比较所有候选帧块与当前帧块的绝对差值，具有最小绝对差值的候选帧块即为最佳匹配帧块，当前帧块与最佳匹配帧块的向量差值即为当前帧块的二维运动向量。

4.根据权利要求3所述的双目视频立体匹配方法，其特征在于立体匹配方法第一步中，所述原始匹配代价获得方法为：将待匹配像素与候选像素的灰度值截断绝对差值以及稀疏Census变换这两种差异化特征按照5∶1的比例线性叠加作为原始匹配代价。

5.根据权利要求4所述的双目视频立体匹配方法，其特征在于立体匹配方法第四步中，所述权重值融合公式为：

w＝exp(-w_motion/λ_m-w_gray/λ_g)

w为融合后权重值，W_motion为运动幅度绝对差值，w_gray为像素灰度绝对差值，λ_m和λ_g取值为λ_m＝10和λ_g＝5，或λ_m＝12和λ_g＝7，或λ_m＝22和λ_g＝10。

6.根据权利要求5所述的双目视频立体匹配方法，其特征在于：立体匹配方法第四步中，所述匹配代价累积方法为基于平方步进的匹配代价累积方法，每次迭代更新在支撑区域内采取先水平方向上以平方步进将原始匹配代价与相应邻域像素融合后权重值的内积行累加，得到水平方向代价累积结果；在此基础上将水平方向代价累积结果与垂直方向相应像素的融合后权重值进行内积，依次累加其内积得到最终代价累积结果。

7.根据权利要求6所述的双目视频立体匹配方法，其特征在于：所述并行化运动估计方法中，将t时刻当前帧f₊划分为大小为8×8的帧块。

8.根据权利要求1-7任一所述的双目视频立体匹配方法，其特征在于采用如下公式将彩色RGB图像转换为灰度值图像：灰度值＝(R×299+G×587+B×114+500)/1000。