CN105869167A - 基于主被动融合的高分辨率深度图获取方法 - Google Patents

Abstract

本发明公开了一种基于主被动融合的高分辨率深度图获取方法，首先对TOF低分辨率深度图进行稀疏式上采样和视差图计算，将TOF相机产生的低分辨率深度图映射到3D场景的世界坐标系，再将三维点投影到与左彩色相机或右彩色相机坐标系形成TOF视差点阵；进行立体匹配和TOF深度融合，计算得到弱纹理区域的视差图、纹理区域的视差图和其他区域的视图差。与现有技术相比，本发明的算法具有一定鲁棒性；综合TOF深度相机和彩色立体相机的匹配算法的优势弥补各自算法的不足；能够对现实世界场景以及标准数据集展示出良好的效果，此算法具有较好的性能；该算法将在计算机视觉和机器人应用领域具有非常好的应用前景。

Description

基于主被动融合的高分辨率深度图获取方法

技术领域

本发明属于计算机图形处理技术领域，涉及一种高分辨率深度图获取方法。

背景技术

从2005年第一部真正意义上的立体电影《四眼天鸡》的出现，到2010年风靡全球的立体电影《阿凡达》的上映，引爆了立体电影的热潮。随着立体技术的日渐成熟和商业化的不断推进，立体成像和显示技术已广泛应用于工业、医疗、建筑、军事、娱乐等诸多领域，如汽车船舶的设计、虚拟现实技术、医疗内窥镜图像显示、医疗手术模拟、城市规划、建筑设计展示、立体电影和电视、立体游戏等。同时，众多电子、电视公司为占领市场，不断推出吸引消费者的3D产品，尤其是电视机、数字摄像机、手机等。

在3DTV领域，多视点视频对应的深度信息主要通过双目或者多目立体匹配方法获得，但是这些方法难以处理无纹理的图像区域且整体精度不高。工业界一直致力于研发深度获取设备，以期更方便快捷地获取场景的深度信息，典型例子为基于飞行时间(Timeofflight,TOF)的深度相机和基于结构光的Kinect。虽然这两种设备都可以实时获得三维场景的深度图，但是在分辨率和精度等方面还存在诸多问题，不能满足目前高分辨率3DTV的需求。由以上分析可知，推动基于多路视频加深度的3DTV制式发展的关键在于获取高分辨深度信息。

深度图获取是计算机视觉中的热点问题之一。一个先进的计算机视觉系统能够提供精确的高分辨率彩色图和高分辨率深度图，这样这个计算机视觉系统才能用于解决自动化视觉问题，例如机器人视觉，以及构建室内环境的3D模型图等。

通常有两类方法获取场景的深度信息：被动的深度获取方法和主动的深度获取方法。被动的深度获取方法主要是立体匹配算法，即获取两个或多个视点图像，对图像对应点进行匹配，从而得到深度信息。文献^[1-2]中简要概述了现有的立体匹配和三维重建算法。基于贪婪局部搜索的立体匹配算法速度较快，但在弱纹理区域和模糊表面的深度获取效果较差。全局匹配算法将立体匹配转化为马尔科夫(MRF,Markov Random Filed)能量函数的优化问题，该能量函数通过图像的相似性和表面平滑度的先验信息来构建。全局匹配算法解决了上述局部算法遇到的一些问题，但因为通常优化MRF能量函数是NP问题，所以其复杂度高且计算速度较慢。总体来说，虽然使用立体匹配算法能够获得高分辨率的深度图，但是在无纹理区域、重复纹理区域和遮挡区域计算深度较为困难。主动的深度获取方法，如TOF深度相机或结构光深度相机能够直接获得场景的深度信息。然而现有的深度相机的分辨率远低于高清(HD)彩色相机的分辨率，且其亮度敏感度低，深度测量范围有限。且深度相机易受噪声影响，而且在一些散射严重的场景下获得的深度信息误差很大，如非朗伯表面(non-Lambertian surface)。因此，仅仅依靠深度相机获取场景深度重建并不能得到理想的效果。不过，深度相机却能够给3D场景提供一个初始的深度参考，这是立体匹配算法所达不到的。

因此将深度相机(主动)和双目彩色相机(被动)相结合的深度获取系统应运而生，该系统能够克服单独使用主动或被动的深度获取方法所带来的局限性，并且能够使重建高分辨率的3D场景更加准确和迅速。

参考文献：

[1]Yoon,K.J.,Kweon,I.S.:Adaptive support-weight approach forcorrespondence search.IEEE Trans.PatternAnal.Mach.Intell.28(4),650C656(2006).

[2]Scharstein,D.,Szeliski,R.:A taxonomy and evaluation of dense twoframestereo correspondence algorithms.Int.J.Comput.Vis.47(1C3),7C42(2002).

[3]Yoon,K.J.,Kweon,I.S.:Adaptive support-weight approach for corres-pondence search.IEEE Trans.PatternAnal.Mach.Intell.28(4),650C656(2006).

[4]Tanimoto M.,Overview of free viewpoint television,SignalProcessing:Image Communication,2006,21(6):454-461

[5]Kim,J.,Kolmogorov,V.,Zabih,R.:Visual correspondence using energyminimization and mutual information.In:Proceedings of Ninth IEEEInternational Conference on Computer Vision,2003,pp.1033C1040.IEEE(2003).

[6]Gudmundsson S A,Aanaes H,Larsen R.Fusion of stereo vision andtime-of-flight imaging for improved 3d estimation[J].Int.J.Intell.Syst.Technol.Appl”2008,5(3-4):425-433.

[7]Zhu J,Wang L,Yang R,Davis J.Fusion of time-of-flight depth andstereo for high accuracy depth maps[J].IEEE Conference on CVPR,2008,1-8.

[8]Gandhiy Vineet,Cech Jan,Horaud Radu.High-resolution depth mapsbased on tof-stereo fusion[J].IEEE International Conference on Robotics andAutomation,2012,4742-4749.

[9]M.Antunes and J.Barreto.Efficient stereo matching using histogramaggregation with multiple slant hypothesis.IbPRIA 2013.

[10]M.Bleyer,C.Rhemann,and C.Rother.PatchMatch stereo–stereo matchingwith slanted support windows.BMVC 2011.

[11]Z.Lee,J.Juang and T.Q.Nguyen”Local disparity estimation withthree-moded cross census and advanced support weight”,IEEE Trans.onMultimedia,vol.15,no.4,pp.1855-1864,2013

[12]I.-L.Jung,T.-Y.Chung,J.-Y.Sim,and C.-S.Kim,”Consistent stereomatching under varying radiometric conditions,”IEEE Trans.Multimedia,vol.15,pp.56-69,Jan.2013.

[13]M.Antunes and J.Barreto.Efficient stereo matching using histogramaggregation with multiple slant hypothesis.IbPRIA 2013.

[14]M.Antunes and J.Barreto.Efficient stereo matching using histogramaggregation with multiple slant hypothesis.IbPRIA 2013.

[15]Q.Yang.Recursive bilateral filtering.ECCV 2012.

[16]M.Antunes and J.Barreto.Efficient stereo matching using histogramaggregation with multiple slant hypothesis.IbPRIA 2013.

发明内容

基于上述现有技术和存在的问题，本发明提出了基于主被动融合的高分辨率深度图获取方法，利用基于主被动融合的结合动深度感知和被动立体匹配方法的高分辨率深度图融合算法模型，对已知场景进行准确的三维重建的深度感知算法，最终获得高质量的高分辨率深度图。

本发明提出了一种基于主被动融合的高分辨率深度图获取方法，该方法以下步骤：

步骤1、首先对TOF低分辨率深度图进行稀疏式上采样和视差图计算，所述稀疏式上采样具体的步骤包括将TOF相机产生的低分辨率深度图映射到3D场景的世界坐标系，再将三维点投影到与左彩色相机或右彩色相机坐标系形成TOF视差点阵；从而，TOF相机获得的深度数据能够和左相机的某个样本点建立联系，实现将TOF深度图的分辨率从144×176提高到了778×1032；所述视差图计算的步骤具体包括计算在左相机-右相机系统中以TOF相机作为参考的视差值D_t(l,r)：

$D_t(l,r)=H_{lr}^l{x}_l-H_{lr}^r{x}_r$

其中，

$x_r={\left(H_{tr}^r\right)}^{-1}{D}_t(t,r)H_{tr}^t{x}_t$

$x_l={\left(H_{tl}^l\right)}^{-1}{D}_t(t,l)H_{tl}^t{x}_t$

和分别为右相机-TOF系统中校准右相机的单应矩阵和左相-TOF系统中校准左相机的单应矩阵，和分别为左相机-TOF系统中校准TOF相机的单应矩阵、右相机-TOF系统中校准TOF相机的单应矩阵，D_t(t,r)为右相机-TOF系统中以TOF相机作为参考的视差图，D_t(t,l)为左相机-TOF系统中以TOF相机作为参考的视差图；最终，转换到左相机坐标系得到左相机-右相机系统中以左相机为参考的视差图D_l(l,r)；

步骤2、进行立体匹配和TOF深度融合，包括计算得到弱纹理区域的视差图、纹理区域的视差图和其他区域的视差图，其中：计算弱纹理区域的视差图包括：利用步骤(1)获得了左、右视差图D_l(l,r)、D_t(l,r)，分割得到弱纹理区域，根据弱纹理区域中像素的已知视差，在3D(x,y,d)视差空间中拟合成光滑的视差曲面，然后利用视差曲面的表面插值求取未知像素的视差：

d(x,y)＝a1+a2·x+a3·y+a4·x²+a5·xy

+a6·y²+a7·x³+a8·x²y+a9·xy²+a10·y³

其中，d(x,y)表示一个三维视差曲面，a1,…,a10表示系数，x,y为坐标；

然后，基于得到了弱纹理区域的视差图，使用Yoon和Kweon的自适应加权算法计算纹理区域的像素视差，计算包括：

为给定的纹理区域中一对经过校正后的图像I_l,I_r处于中心像素窗内的每个像素赋予权值，像素的初始匹配代价使用绝对误差AD进行计算，通过对(p_c,q_c)初始代价加权求和得到支持窗口的总代价，再将其归一化处理，公式如下：

p_c,q_c对应的总代价表示为：

p_i,q_i的初始匹配代价表示为：

p_i,q_iω_l(p_i,p_c)加权系数ω_l(p_i,p_c)和ω_r(q_i,q_c)分别表示为：

${\mathrm{\ω}}_l(p_i,p_c)=\exp \left(-\frac{d_p(p_i,p_c)}{{\mathrm{\γ}}_p}-\frac{d_c\left(I_c\right(p_i),I_c\left(p_c\right))}{{\mathrm{\γ}}_c}\right)$

${\mathrm{\ω}}_r(q_i,q_c)=\exp \left(-\frac{d_p(q_i,q_c)}{{\mathrm{\γ}}_p}-\frac{d_c\left(I_c\right(q_i),I_c\left(q_c\right))}{{\mathrm{\γ}}_c}\right)$

其中，p_c,q_c分别为左右视图的中心像素，W_l,W_r分别为以p_c,q_c为中心的支持窗口，p_i,q_i分别为落在W_l,W_r中的像素；e₀(p_i,q_i)为，I_c表示c的颜色强度，T决定初始匹配代价的上限值，d_c(I_c(p_i),I_c(p_c))表示视图中像素p_i,p_c在CIELAB颜色空间中的颜色距离，d_p(p_i,p_c)表示p_i,p_c之间的空间距离，d_c(I_c(q_i),I_c(q_c))表示视图中像素q_i,q_c在CIELAB颜色空间中的颜色距离，d_p(q_i,q_c)表示q_i,q_c之间的空间距离；

计算代价聚合之后，使用WTA(Winner-Take-All)方法选择获取纹理区域的视差：

$d_p=\underset{d\∈S_d}{\mathrm{argmin}}c(p_c,q_c)$

其中，d表示p_c,q_c对应的视差候选，S_d＝d_min,…,d_max为所有可能的视差值的集合。

有了弱纹理区域和纹理区域的视差，对于其他区域的视差求取，采用两种数据加权的方式进行融合，即：假设由TOF求得的视差值为d_t，由立体匹配求得的视差值为d_s，则该像素的视差d₀应为：

d₀＝ω_t·d_t+ω_s·d_s

其中，ω_t为TOF求得的视差值的权重；ω_s为立体匹配求得的视差值的权重。

${\mathrm{\ω}}_s=\frac{{\mathrm{\γ}}_s}{{\mathrm{\γ}}_s+{\mathrm{\γ}}_t}$

ω_t＝1-ω_s。

与现有技术相比，本发明的优点在于：

1)该算法具有一定鲁棒性，并且能够同时在纹理和非纹理区域以及重复纹理区域具有较好的效果；

2)综合TOF深度相机和彩色立体相机的匹配算法的优势弥补各自算法的不足；

3)能够对现实世界场景以及标准数据集展示出良好的效果，以此证明算法具有较好的性能；

4)具有非常强大的实时性应用潜力，该算法将在计算机视觉和机器人应用领域具有非常好的应用前景。

附图说明

图1为TOF深度摄像机实物图；

图2为本算法结构框图；

图3为TOF深度图稀疏化上采样结果；(3a)左相机得到的彩色图像、(3b)TOF相机拍摄的TOF深度图、(3c)上采样得到的点阵；

图4为实验结果；(4a)三个场景的左图像、(4b)三个场景的TOF深度图点阵直接插值得到的结果、(4c)采用自适应加权算法得到的实验结果、(4d)采用本算法得到的实验结果、(4e)真实视差图。

具体实施方式

以下结合附图及具体实施方式，进一步详述本发明的技术方案。

先对TOF低分辨率深度图进行稀疏式的上采样，不会引入人为误差；然后利用立体匹配方法和TOF深度获取方法之间的互补特性，在弱纹理区域和重复纹理区域，采用TOF相机的深度获取结果，而在在复杂纹理区域采用立体匹配算法的深度获取结果。

具体步骤如下：

步骤1、系统校正和TOF深度图采样，包括TOF深度图的稀疏式上采样及视差图计算：

由于TOF相机获取的深度图分辨率较低(144×176)，因此在TOF深度图和立体匹配得到的深度图融合前，首先对TOF深度图进行稀疏式上采样。所谓“稀疏式”，指的是上采样得到的结果是点阵，而非图像。多种上采样方法多会结合彩色图将得到的点阵图进行插值形成图像，但这些方法只利用了彩色图的信息，得到的深度图被引入了认为误差。将会在下一步介绍本方法的插值算法，再将点阵变为图像。

稀疏式上采样的第一步是将TOF相机产生的低分辨率深度图映射到3D场景的世界坐标系。众所周知，世界坐标系中的一个三维点对应TOF相机坐标中一个二维的点。三维点通过TOF的相机投影矩阵映射到TOF上的二维点。将TOF上的144×176个点q_i(i＝1,…,n)投射到三维世界坐标系中得到三维点

同样，三维点也会通过彩色相机的内参矩阵投影到彩色相机坐标系的一个二维点。所以稀疏式上采样的第二步是将三维点投影到与左彩色相机(或右彩色相机)坐标系形成点阵。该步骤中将所有通过TOF相机获取三维点投射到左相机点阵Λ_i上(不包括左相机视角不可见的点)从而获得一组样本p_i,i＝1,…,n，可以注意到获取的n个样本只覆盖了高分辨率彩色相机点阵∧_i＝p_j,j＝1,…,N中N个样本中的一个小子集。

从而，TOF相机获得的深度数据能够和左相机的某个样本点建立联系，实现将TOF深度图的分辨率从144×176提高到了778×1032。实验结果如图4所示。

上面得到的是TOF视点处的深度图，而立体匹配得到的是左相机-右相机系统中以左相机为参考的视差图。

为了实现数据融合，需要先将深度图数据转换为相应的视差数据。深度和视差在双目视觉系统中的转化关系如公式(1)所示：

$Z=\frac{Tf}{D}---\left(1\right)$

其中Z表示深度值，T表示基线长，f是相机焦距，D是视差。

左相机-TOF系统中以TOF相机作为参考的视差图D_t(t,l)，表示如下：

$D_t(t,l)=\frac{T_{lt}*f}{H_{lt}^{t}Z}---\left(2\right)$

其中，T_1t是左相机与TOF相机之间的基线长，f为TOF相机焦距，是左相机-TOF系统中校准TOF相机的单应矩阵，Z为深度值，这样就将TOF深度直接转换为左相机-TOF视差。

替代较为复杂的采用TOF深度图的直接方法，本发明采用匹配链接(correspondence linking)方法求取左相机-右相机的视差图。左、右图像的对应点需要通过中间TOF图像建立链接：对TOF相机获得的图像中的每个像素x_t可以通过公式(3)、(4)与左右图像的对应像素x_l,x_r进行链接：

$x_r={\left(H_{tr}^r\right)}^{-1}{D}_t(t,r)H_{tr}^t{x}_t---\left(3\right)$

$x_l={\left(H_{tl}^l\right)}^{-1}{D}_t(t,l)H_{tl}^t{x}_t---\left(4\right)$

其中和分别为右相机-TOF系统中校准右相机的单应矩阵和左相-TOF系统中校准左相机的单应矩阵，和分别为左相机-TOF系统中校准TOF相机的单应矩阵、右相机-TOF系统中校准TOF相机的单应矩阵，D_t(t,r)为右相机-TOF系统中以TOF相机作为参考的视差图，D_t(t,l)为左相机-TOF系统中以TOF相机作为参考的视差图。

得到了TOF图像的每个点x_t计算对应的x_r,x_l，现利用x_r,x_l计算在左相机-右相机系统中以TOF相机作为参考的视差图D_t(l,r)：

$D_t(l,r)=H_{lr}^l{x}_l-H_{lr}^r{x}_r---\left(5\right)$

最终，将其转换到左相机坐标系得到左相机-右相机系统中以左相机为参考的视差图D_l(l,r)。

步骤2、立体匹配和TOF深度融合

基于步骤1获得了两种不同深度获取方式得到的视差图，考虑如何融合这两张视差图。先考虑在弱纹理区域(如图4的背景区域部分)如何提取视差图，由于在此处使用立体匹配算法提取视差图的效果很不理想。因此，本发明考虑在弱纹理区域采用由TOF相机获得视差图信息。

假设：每个弱纹理区域的视差图在3D(x,y,d)视差空间中可以形成平滑的视差平面。基于这个假设，提出了以下算法。

首先，使用Comaniciu和Meers的均值漂移图像分割算法将左视图中的弱纹理区域分割出来。均值漂移算法是一种基于密度梯度上升的非参数方法，通过迭代运算找到目标位置，实现目标跟踪。它显著的优点是算法计算量小，简单易实现，很适合于实时跟踪场合；对于弱纹理区域，根据步骤1得到的TOF视差点阵可知区域中有些像素的视差是已知的，而大部分像素的视差还是未知的。根据像素的已知视差，在3D(x,y,d)视差空间中拟合成光滑的视差曲面，然后利用视差表面插值求取未知像素的视差。

为了保证视差曲面是连续且光滑的，此处采用公式(6)对视差曲面进行拟合，到弱纹理区域的视差图：

$\begin{array}{c}d(x,y)=a1+a2\·x+a3\·y+a4\·x^2+a5\·\mathrm{xy}\\ +a6\·y^2+a7\·x^3+a8\·x^{2}y+a9\·{\mathrm{xy}}^2+a10\·y^3\end{array}---\left(10\right)$

其中d(x,y)表示一个三维视差曲面，a1,…,a10表示系数，x,y为坐标。

基于得到了弱纹理区域的视差图，使用Yoon和Kweon的自适应加权算法计算纹理区域的像素视差(该自适应加权算法为目前效果最好的局部匹配算法)：

首先，为给定的一对经过校正后的图像I_l,I_r中，处于中心像素窗内的每个像素赋予权值，权值由该像素与中心像素的空间距离和CIELAB颜色空间中的颜色差异联合决定。像素的初始匹配代价使用AD(绝对误差)进行计算。因此，通过对(p_c,q_c)初始代价加权求和得到支持窗口的总代价，再将其归一化：

$c(p_c,q_c)=\frac{{\mathrm{\Σ}}_{p_i\∈W_l,q_i\∈W_r}{\mathrm{\ω}}_l(p_i,p_c)\·{\mathrm{\ω}}_r(q_i,q_c)\·e_0(p_i,q_i)}{{\mathrm{\Σ}}_{p_i\∈W_l,q_i\∈W_r}{\mathrm{\ω}}_l(p_i,p_c)\·{\mathrm{\ω}}_r(q_i,q_c)}---\left(7\right)$

$e_0(p_i,q_i)=min(\left(\underset{c\∈\{r,g,b\}}{\mathrm{\Σ}}\right(\left|I_c\right(p_i)-I_c\left(q_i\right)|),T))---\left(8\right)$

${\mathrm{\ω}}_l(p_i,p_c)=\exp \left(-\frac{d_p(p_i,p_c)}{{\mathrm{\γ}}_p}-\frac{d_c\left(I_c\right(p_i),I_c\left(p_c\right))}{{\mathrm{\γ}}_c}\right)---\left(9\right)$

其中c(p_c,q_c)是(p_c,q_c)对应的总代价，p_c,q_c分别为左右视图的中心像素，W_l,W_r分别为以p_c,q_c为中心的支持窗口，p_i,q_i分别为落在W_l,W_r中的像素，ω_l(p_i,p_c)和ω_r(q_i,q_c)分别为p_i,q_i的加权系数，e₀(p_i,q_i)为p_i,q_i的初始匹配代价，I_c表示c的颜色强度，T决定初始匹配代价的上限值，d_c(I_c(p_i),I_c(p_c))表示视图中像素p_i,q_c在CIELAB颜色空间中的颜色距离，d_p(p_i,p_c)表示p_i,q_c之间的空间距离，常数γ_p,γ_c为该算法的两个参数。

计算代价聚合之后，使用WTA(Winner-Take-All)方法选择像素的视差：

$d_p=\underset{d\∈S_d}{\mathrm{argmin}}c(p_c,q_c)---\left(10\right)$

其中，d表示p_c,q_c对应的视差候选，S_d＝d_min,…,d_max为所有可能的视差值的集合。

有了弱纹理区域和纹理区域的视差，对于其他区域的视差求取，采用两种数据加权的方式进行融合。即：设由TOF求得的视差值为d_t，由立体匹配求得的视差值为d_s，则该像素的视差d₀应为：

d₀＝ω_t·d_t+ω_s·d_s (11)

其中，ω_t为TOF求得的视差值的权重；ω_s为立体匹配求得的视差值的权重。

${\mathrm{\ω}}_s=\frac{{\mathrm{\γ}}_s}{{\mathrm{\γ}}_s+{\mathrm{\γ}}_t}---\left(12\right)$

ω_t＝1-ω_s (13)

其中，γ_s为立体匹配求得的视差值的可信度；γ_t为TOF求得的视差值的可信度。

$r_s=\left\{\begin{array}{cc}1-\frac{c_p^{1st}}{c_p^{2nd}}& c_p^{2nd}>T_c\\ 0& otherwise\end{array}\right.---\left(14\right)$

其中，是在自适应加权算法中求得的最小匹配代价，为求得的第二小匹配代价，T_c为0，可避免除数为0。

根据S.A.Gumundsson^[17]的实验结果，TOF求得的视差值的可信度为

$r_t=\frac{1}{A\left(p\right)}---\left(15\right)$

其中，A(p)为像素的幅值图的标准偏差。

表2给出了根据三个场景的最终视差图计算得到的均方误差(MSE)。在表中，本文的方法还与其他先进的算法^[14][15][16]进行了比较。表的最后一列为三个不同场景的视差图的均方误差。从三个场景的均方误差值可以看出，本文的方法确实可以提供比单独使用TOF检测数据和立体匹配算法更精确的结果。实验结果还表明本方法在所有场景都显著优于其他数据融合算法。在场景a)和b)的结果中能够明显看出算法的优越性，在场景c)中是由本文提出的TOF插值算法为其提供了最小均方误差的获得方法。这是由于场景c)中的纹理结构有限，使得它更适用于TOF深度测量方法，而用立体匹配算法进行计算则相对复杂。这种情况也可以通过观察其在单独使用立体匹配时的高均方误差值看出。然而，对于场景中的复杂几何结构(例如a)中的木偶)本文的融合算法的结果明显优于单独使用TOF视差检测的插值算法。在存在更多纹理信息的场景(如b)立体算法的贡献更显著，融合算法的结果的均方误差值比TOF插值算法的结果低一半。本文的算法不仅拥有比文献^[14][15][16]中的算法更低的均方误差，同时在立体匹配和TOF相机都能获得较准确结果的场景a)和b)也具有相当程度的提升。融合算法能够更有效的结合两种算法是显而易见的。

为了评估本算法的性能，使用的数据样本由意大利教授Carlo Dal Mutto等实验室提供。http：//lttm.dei.unipd.it/downloads/tofstereo.实验室采集系统为MesaSwiss Ranger SR4000 TOF深度相机，其分辨率为144×176像素，以及两个Basler scA1000摄像机(分辨率为1032×778像素)与TOF相机硬件同步。这个系统可以以每秒15帧的速度同步采集数据，不需要使用非同步的方法。使用TOF深度相机和立体相机同步拍摄一系列的校准图像，然后使用校准工具箱计算校准/内参矩阵、径向畸变系数和每个相机的投影矩阵。该系统使用文献中的校准方法，在对立体TOF联合系统进行校准的过程中，会出现约5mm的投影误差。内参矩阵和外参矩阵对TOF深度图进行稀疏式上采样时具有重要作用。

使用多个不同场景对提出的模型进行测试。图4为测试结果，注意每个场景尽可能包含不同类型的区域：例如场景a)和场景c)都包含一个类似的背景，其中缺乏纹理信息不利于立体匹配算法的应用，而场景b)在背景部分有一个纹理区域。先考虑在弱纹理区域该如何提取视差。因此，对于每个场景，使用一个主动时空立体系统对600个图像进行处理得到一个准确的视差图，作为真实视差图(ground truth)。实验结果由TOF深度图直接插值得到的视差图，由自适应加权立体匹配算法得到的视差图，以及由本文提出的算法得到的最终的视差图分别和真实视差图以及其他先进的算法进行比较。

表1、Mesa Imaging SwissRanger 4000(SR4000)深度摄像机主要参数

表2、实验结果

Claims (1)

1.一种基于主被动融合的高分辨率深度图获取方法，其特征在于，该方法以下步骤：

步骤(1)、首先对TOF低分辨率深度图进行稀疏式上采样和视差图计算，所述稀疏式上采样具体的步骤包括将TOF相机产生的低分辨率深度图映射到3D场景的世界坐标系，再将三维点投影到与左彩色相机或右彩色相机坐标系形成TOF视差点阵；从而，TOF相机获得的深度数据能够和左相机的某个样本点建立联系，实现将TOF深度图的分辨率从144×176提高到了778×1032；所述视差图计算的步骤具体包括计算在左相机-右相机系统中以TOF相机作为参考的视差值D_t(l,r)：

$D_t(l,r)=H_{lr}^l{x}_l-H_{lr}^r{x}_r$

其中，

$x_r={\left(H_{tr}^r\right)}^{-1}{D}_t(t,r)H_{tr}^t{x}_t$

$x_l={\left(H_{tl}^l\right)}^{-1}{D}_t(t,l)H_{tl}^t{x}_t$

和分别为右相机-TOF系统中校准右相机的单应矩阵和左相-TOF系统中校准左相机的单应矩阵，和分别为左相机-TOF系统中校准TOF相机的单应矩阵、右相机-TOF系统中校准TOF相机的单应矩阵，D_t(t,r)为右相机-TOF系统中以TOF相机作为参考的视差图，D_t(t,l)为左相机-TOF系统中以TOF相机作为参考的视差图；最终，转换到左相机坐标系得到左相机-右相机系统中以左相机为参考的视差图D_l(l,r)；

步骤(2)、进行立体匹配和TOF深度融合，包括计算得到弱纹理区域的视差图、纹理区域的视差图和其他区域的视差图，其中：计算弱纹理区域的视差图包括：利用步骤(1)获得了左、右视差图D_l(l,r)、D_t(l,r)，分割得到弱纹理区域，根据弱纹理区域中像素的已知视差，在3D(x,y,d)视差空间中拟合成光滑的视差曲面，然后利用视差曲面的表面插值求取未知像素的视差：

d(x,y)＝a1+a2·x+a3·y+a4·x²+a5·xy

+a6·y²+a7·x³+a8·x²y+a9·xy²+a10·y³

其中，d(x,y)表示一个三维视差曲面，a1,…,a10表示系数，x,y为坐标；

然后，基于得到了弱纹理区域的视差图，使用Yoon和Kweon的自适应加权算法计算纹理区域的像素视差，计算包括：

为给定的纹理区域中一对经过校正后的图像I_l,I_r处于中心像素窗内的每个像素赋予权值，像素的初始匹配代价使用绝对误差AD进行计算，通过对(p_c,q_c)初始代价加权求和得到支持窗口的总代价，再将其归一化处理，公式如下：

p_c,q_c对应的总代价表示为：

p_i,q_i的初始匹配代价表示为：

p_i,q_iω_l(p_i,p_c)加权系数ω_l(p_i,p_c)和ω_r(q_i,q_c)分别表示为：

${\mathrm{\ω}}_l(p_i,p_c)=\exp (-\frac{d_p(p_i,p_c)}{{\mathrm{\γ}}_p}-\frac{d_c\left(I_c\right(p_i),I_c(p_c\left)\right)}{{\mathrm{\γ}}_c})$

${\mathrm{\ω}}_r(q_i,q_c)=\exp (-\frac{d_p(q_i,q_c)}{{\mathrm{\γ}}_p}-\frac{d_c\left(I_c\right(q_i),I_c(q_c\left)\right)}{{\mathrm{\γ}}_c})$

其中，p_c,q_c分别为左右视图的中心像素，W_l,W_r分别为以p_c,q_c为中心的支持窗口，p_i,q_i分别为落在W_l,W_r中的像素；e₀(p_i,q_i)为，I_c表示c的颜色强度，T决定初始匹配代价的上限值，d_c(I_c(p_i),I_c(p_c))表示视图中像素p_i,p_c在CIELAB颜色空间中的颜色距离，d_p(p_i,p_c)表示p_i,p_c之间的空间距离，d_c(I_c(q_i),I_c(q_c))表示视图中像素q_i,q_c在CIELAB颜色空间中的颜色距离，d_p(q_i,q_c)表示q_i,q_c之间的空间距离；

常数γ_p,γ_c为两个参数；

计算代价聚合之后，使用WTA(Winner-Take-All)方法选择获取纹理区域的视差：

$d_p=\arg \underset{d\∈S_d}{min}c(p_c,q_c)$

其中，d表示p_c,q_c对应的视差候选，S_d＝d_min,…,d_max为所有可能的视差值的集合。

有了弱纹理区域和纹理区域的视差，对于其他区域的视差求取，采用两种数据加权的方式进行融合，即：假设由TOF求得的视差值为d_t，由立体匹配求得的视差值为d_s，则该像素的视差d₀应为：

d₀＝ω_t·d_t+ω_s·d_s

其中，ω_t为TOF求得的视差值的权重；ω_s为立体匹配求得的视差值的权重。

${\mathrm{\ω}}_s=\frac{{\mathrm{\γ}}_s}{{\mathrm{\γ}}_s+{\mathrm{\γ}}_t}$

ω_t＝1-ω_s。