CN101556696B - 基于阵列摄像机的深度图实时获取算法 - Google Patents

Abstract

本发明公开了一种基于阵列摄像机的深度图实时获取算法，其摄像机阵列包含一个3D摄像机和若干个可见光摄像机，本算法根据3D摄像机提供的低分辨率深度图，来得到每个可见光摄像机视点上的高分辨率深度图，本算法的步骤为：首先，对摄像机阵列进行标定，将3D摄像机深度图投影到每个可见光摄像机视野下，得到可见光摄像机视野下的初始深度图；其次，用本算法中定义的新的融合了颜色信息和初始深度信息的能量函数，以可见光摄像机彩色图或灰度图为参考，迭代的修正初始深度图，得到最终的高分辨率深度图。本算法是一种能实时地获得普通摄像机视野下的高分辨率深度图的方法，它可以满足立体电视、虚拟现实等多方面应用的需求。

Description

基于阵列摄像机的深度图实时获取算法

技术领域

本发明涉及一种三维深度信息获取系统，特别涉及一种基于阵列摄像机的深度图获取算法。

背景技术

近年来，三维深度信息的获取已经成为计算机视觉领域一个非常热门的研究方向，国内外的许多机构和专家已经做了大量相关的工作，提出一些方法和技术。但是，这些方法和技术都存在着各自的缺点，尚没有一个方法或者技术能够满足各方面的应用，所以在深度信息的获取方面仍然存在着很多挑战。

传统的基于可见光摄像机阵列的立体匹配方法，虽然在理论上是完美的，但是在实际应用中，因为无法找到准确的匹配点，该方法对于无纹理的平面区域、渐变的曲面无能为力。再加上传统的深度信息获取传感器是逐点扫描的，无法达到实时的要求，这导致该项技术只能用于静态的场景。因此，立体匹配方法和传统的深度信息获取传感器在应用方面受到了极大的限制。

随着新的传感器技术的发展，使实时获取动态场景的深度信息成为可能，例如：Time-of-Flight。这些新的传感器技术采用极其快速的快门，通过向整个场景中每一点发送脉冲式光波，并检测其反射回来的光波，来计算这两种光波之间的时延来估算场景中每一点和传感器之间的距离。这种传感器目前已经得到了一定的应用，但它也有如下不足之处：在边缘的地方深度信息不准，对噪声、物体的材料敏感，不容易被标定，以及分辨率低等。

由于传统的立体匹配在纹理丰富的区域可以求到准确的深度值，而3D摄像机可以在平坦的颜色均一的区域提供准确的深度数据，利用3D摄像机和可见光摄像机一起来获得深度信息成为一种趋势。已有的技术中，采用双边滤波器或者马尔可夫随机场的方法，来得到高分辨率的深度图，这些方法是建立在深度的不连续性和颜色的不连续性基本一致的假设的基础上。它们对高分辨率深度图中的每一点都进行处理，这往往会破环平坦区域的3D原始数据，并且在具有近似相同深度值但处于纹理丰富区域的那些点上无法得到好的效果，会形成不必要的深度突变。而且，它对高分辨率深度图的每个点都进行处理，也很难满足实时的要求。

发明内容：

本发明的目的在于提供一种可以实时地获得普通摄像机视野下的高分辨率深度图的方法，它可以满足立体电视、虚拟现实等多方面应用的需求。

为此，本发明提出一种基于阵列摄像机的深度图获取算法，其摄像机阵列包含一个3D摄像机和若干个可见光摄像机，本算法根据3D摄像机提供的低分辨率深度图，来得到每个可见光摄像机视点上的高分辨率深度图，本算法步骤为：首先，对摄像机阵列进行标定，将3D摄像机深度图投影到每个可见光摄像机视野下，得到可见光摄像机视野下的初始深度图；然后，用本算法中定义的新的融合了颜色信息和初始深度信息的能量函数，以可见光摄像机彩色图或者灰度图为参考，迭代的修正初始深度图，得到最终的高分辨率深度图。

所述高分辨率深度图的分辨率高于3D摄像机提供的深度图。优选为，所述所述高分辨率深度图的分辨率为3D摄像机提供的深度图的2倍。

在进行可见光摄像机视野下深度图的获取之前，要对每个可见光摄像机和3D摄像机进行标定，得到将3D摄像机低分辨率深度图投影到每个可见光摄像机视野下的参数，即平移矩阵 $T=\left[\begin{array}{c}{t}_1^{\mathrm{ij}}\\ t_2^{\mathrm{ij}}\\ t_3^{\mathrm{ij}}\end{array}\right]$ 和旋转矩阵 $R=\left[\begin{array}{ccc}{r}_{11}^{\mathrm{ij}}& r_{12}^{\mathrm{ij}}& r_{13}^{\mathrm{ij}}\\ r_{21}^{\mathrm{ij}}& r_{22}^{\mathrm{ij}}& r_{23}^{\mathrm{ij}}\\ r_{31}^{\mathrm{ij}}& r_{32}^{\mathrm{ij}}& r_{33}^{\mathrm{ij}}\end{array}\right].$

在标定以后，用本发明中提出的算法来生成每个可见光摄像机视野下的高分辨率的深度图。对于每个可见光摄像机，算法只用到了该可见光摄像机视野下的高分辨率彩色图或灰度图以及3D摄像机的深度图。

首先，利用标定时得到的参数将3D摄像机的低分辨率深度图投影到可见光摄像机视野下，得到每个可见光摄像机视点上的初始高分辨率深度图。进一步的，用离每个无深度值的点最近的有深度值的点的深度值，对初始高分辨率深度图中的那些无深度值的点进行填充，得到完整的初始深度图。

然后，定义了一个融合了颜色信息和初始深度信息的能量函数，以对应的可见光摄像机的高分辨率彩色图或者灰度图为参考，对每个初始高分辨率深度图进行迭代修正。

在每次迭代中，首先，根据深度图中的像素点和其四个相邻像素点之间深度值之差的最大值，将上一次迭代后得到的深度图中的像素点分为可靠点和不可靠点两类；然后，针对这些不可靠点，用能量函数来修正这些点的深度值；能量函数定义为：

$E(i,j,Z_t(i,j))=\underset{u=-M/2}{\overset{M/2}{\mathrm{\Σ}}}\underset{v=-N/2}{\overset{N/2}{\mathrm{\Σ}}}a(i+u,j+v)\·$

$e^{-b\·C(i+u,j+v)}\·{(Z_t(i,j)-Z_{t-1}(i+u,j+v))}^2$

其中：

$a(i+u,j+v)=\left\{\begin{array}{cc}1.2& \mathrm{if}{D}_{\max }<\mathrm{\&eta;}\\ 0.2& \mathrm{esle}\end{array}\right.$

若以可见光摄像机彩色图为参考：

$C(i+u,j+v)=\frac{1}{3}\left(\right|R(i+u,j+v)-R(i,j)|+|G(i+u,j+v)-G(i,j)|+|B(i+u,j+v)-B(i,j)\left|\right)$

以可见光摄像机灰度图为参考：

C(i+u，j+v)＝|I(i+u，j+v)-I(i，j)|

(i，j)为可见光摄像机视野下深度图中的一点，Z_t(i，j)为第t次迭代中要计算的该点的深度值，Z_t-1(i+u，j+v)为点(i+u，j+v)经过t-1次迭代后得到的深度值，RGB是可见光摄像机彩色图的三个颜色通道，I为可见光摄像机灰度图的灰度值，D_max是点(i+u，j+v)和其相邻的四个像素点深度值之差的最大值，M×N是以点(i，j)为中心的窗口的大小，b和η是常数。

以能量函数最小为原则，对那些不可靠点的深度值进行修正，在每个可见光摄像机视点上，该迭代过程持续到最终高分辨率深度图无明显变化为止。

本发明的优点是：

1、提出了一种基于阵列摄像机的深度图实时获取算法，该算法能根据3D摄像机得到的低分辨率深度图，得到阵列中每个可见光摄像机视点上的高分辨率深度图。

2、本发明中的算法速度快，能得到255级高分辨率深度图，且实现简单，整个过程自动完成。

附图说明：

图1为本发明的一种基于阵列摄像机的深度图实时获取算法实施例的总流程图；

图2为图1中的投影模块流程图；

图3为图1中的迭代修正模块流程图。

具体实施方式：

下面，结合附图和具体实施例对本发明作进一步说明。

该实施例中用到的可见光摄像机采用CCD传感器，可以提供分辨率为768×576的彩色图或者灰度图，用到的3D摄像机为Swiss Ranger 3000(TOF摄像机)，可以提供分辨率为176×144的深度图和灰度图。

摄像机阵列具体的标定方法是：首先，对每个CCD摄像机的灰度图进行下采样，使其分辨率为384×288，并对TOF摄像机的灰度图进行上采样，使其分辨率达到352×288；然后，采用传统的平板摄像机的标定方法对每个CCD摄像机和TOF摄像机进行标定(张正友平板摄像机标定法)，得到从TOF摄像机投影到每个CCD摄像机的参数：平移矩阵 $T=\left[\begin{array}{c}{t}_1^{\mathrm{ij}}\\ t_2^{\mathrm{ij}}\\ t_3^{\mathrm{ij}}\end{array}\right]$ 和旋转矩阵 $R=\left[\begin{array}{ccc}{r}_{11}^{\mathrm{ij}}& r_{12}^{\mathrm{ij}}& r_{13}^{\mathrm{ij}}\\ r_{21}^{\mathrm{ij}}& r_{22}^{\mathrm{ij}}& r_{23}^{\mathrm{ij}}\\ r_{31}^{\mathrm{ij}}& r_{32}^{\mathrm{ij}}& r_{33}^{\mathrm{ij}}\end{array}\right].$

本实施例算法的总流程图见图1，具体做法分为以下三步：第一步通过投影得到CCD摄像机视野下的初始高分辨率深度图，投影部分的流程图见图2；第二步和第三步属于迭代模块，通过对初始深度图的迭代修正来得到最终的高分辨率深度图，迭代模块的流程图见图3。

第一步：由于标定是在384×288的灰度图和352×288的深度图之间完成的，所以将TOF深度图上采样到354×288；然后利用标定时得到的参数 $T=\left[\begin{array}{c}{t}_1^{\mathrm{ij}}\\ t_2^{\mathrm{ij}}\\ t_3^{\mathrm{ij}}\end{array}\right]$ 和 $R=\left[\begin{array}{ccc}{r}_{11}^{\mathrm{ij}}& r_{12}^{\mathrm{ij}}& r_{13}^{\mathrm{ij}}\\ r_{21}^{\mathrm{ij}}& r_{22}^{\mathrm{ij}}& r_{23}^{\mathrm{ij}}\\ r_{31}^{\mathrm{ij}}& r_{32}^{\mathrm{ij}}& r_{33}^{\mathrm{ij}}\end{array}\right]$ 将上采样过的TOF深度图投影到普通摄像机视野下，公式为：

$\left\{\begin{array}{c}{x}_j=r_{11}^{\mathrm{ij}}\&CenterDot;x_i+r_{12}^{\mathrm{ij}}\&CenterDot;y_i+r_{13}^{\mathrm{ij}}\&CenterDot;z_i+t_1^{\mathrm{ij}}\\ y_j=r_{21}^{\mathrm{ij}}\&CenterDot;x_i+r_{22}^{\mathrm{ij}}\&CenterDot;y_i+r_{23}^{\mathrm{ij}}\&CenterDot;z_i+t_2^{\mathrm{ij}}\\ z_j=r_{31}^{\mathrm{ij}}\&CenterDot;x_i+r_{32}^{\mathrm{ij}}\&CenterDot;y_i+r_{33}^{\mathrm{ij}}\&CenterDot;z_i+t_3^{\mathrm{ij}}\end{array}\right.$

(x_i，y_i，z_i)为TOF深度图中的一点，(x_j，y_j，z_j)为CCD摄像机视野下的投影点。这样就得到了分辨率为384×288的初始深度图。由于遮挡和分辨率不同，该初始深度图中存在着一些没有深度值的点，通过将离这些点最近的有深度值的点的深度值赋给这些点来得到完整的初始深度图。

第二步：定义一个分类器将初始深度图中的像素点分为可靠点和不可靠点两类，分类器定义如下：

其中D_max(i，j)是点(i，j)和与其相邻的四个点的深度值之差的最大值，η为一常数。

第三步：针对第二步得到的那些不可靠点，定义了一个融合了颜色数据和深度数据的能量函数，来迭代的修正这些点。能量函数定义如下：

$E(i,j,Z_t(i,j))=\underset{u=-M/2}{\overset{M/2}{\mathrm{\&Sigma;}}}\underset{v=-N/2}{\overset{N/2}{\mathrm{\&Sigma;}}}a(i+u,j+v)\&CenterDot;$

$e^{-b\&CenterDot;C(i+u,j+v)}\&CenterDot;{(Z_t(i,j)-Z_{t-1}(i+u,j+v))}^2$

其中：

$a(i+u,j+v)=\left\{\begin{array}{cc}1.2& \mathrm{if}{D}_{\max }<\mathrm{\&eta;}\\ 0.2& \mathrm{esle}\end{array}\right.$

若以可见光摄像机彩色图为参考：

$C(i+u,j+v)=\frac{1}{3}\left(\right|R(i+u,j+v)-R(i,j)|+|G(i+u,j+v)-G(i,j)|+|B(i+u,j+v)-B(i,j)\left|\right)$

以可见光摄像机灰度图为参考：

C(i+u，j+v)＝|I(i+u，j+v)-I(i，j)|

(i，j)为可见光摄像机视野下深度图中的一点，Z_t(i，j)为第t次迭代中要计算的该点的深度值，Z_t-1(i+u，j+v)为点(i+u，j+v)经过t-1次迭代后得到的深度值，RGB是可见光摄像机彩色图的三个颜色通道，I为可见光摄像机灰度图的灰度值，D_max是点(i+u，j+v)和其相邻的四个像素点深度值之差的最大值，M×N是以点(i，j)为中心的窗口的大小，b和η是常数。

在每次迭代过程中以能量函数最小为原则，得到那些不可靠点的迭代公式，对其深度值进行修正。

第二步和第三步是一个循环迭代的过程，在每次的迭代过程中，总是先找出上一次迭代得到的高分辨率深度图中那些不可靠的点，然后用能量函数来修正这些点，直至高分辨率深度图没有明显的变化为止。

运用该算法，可以得到摄像机阵列中每个CCD摄像机视点上的分辨率为384×288，深度等级为255的深度图。

Claims (4)

1.一种基于阵列摄像机的深度图的实时获取算法，所述阵列摄像机阵列包含一个3D摄像机和若干个可见光摄像机，本算法根据3D摄像机提供的低分辨率深度图，来得到每个可见光摄像机视野下的高分辨率深度图，其特征在于，本算法的步骤为：首先，对阵列摄像机进行标定，将3D摄像机深度图投影到每个可见光摄像机视野下，得到可见光摄像机视野下的初始深度图；其次，用本算法中定义的新的融合了颜色信息和初始深度信息的能量函数，以可见光摄像机彩色图或灰度图为参考，迭代的修正初始深度图，得到最终的高分辨率深度图；所述能量函数定义如下：

$E(i,j,Z_t(i,j))=\underset{u=-M/2}{\overset{M/2}{\mathrm{\&Sigma;}}}\underset{v=-N/2}{\overset{N/2}{\mathrm{\&Sigma;}}}a(i+u,j+v).$

$e^{-b+C(i+u,j+v)}\&CenterDot;{(Z_t(i,j)-Z_{t-1}(i+u,j+v))}^2$

其中：

$a(i+u,j+v)=\left\{\begin{array}{cc}1.2& \mathrm{if}{D}_{\max }<\mathrm{\&eta;}\\ 0.2& \mathrm{esle}\end{array}\right.$

若以可见光摄像机彩色图为参考：

$G(i+u,j+v)=\frac{1}{3}\left(\right|R(i+u,j+v)-R(i,j)|+|G(i+u,j+v)-G(i,j)|+|B(i+u,j+v)-B(i,j)\left|\right)$

以可见光摄像机灰度图为参考：

C(i+u，j+v)＝|I(i+u，j+v)-I(i，j)|

(i，j)为可见光摄像机视野下高分辨率深度图中的一点，z_t(i，j)为第t次迭代中要计算的该点的深度值，z_t-1(i+u，j+v)为点(i+u，j+v)经过t-1次迭代后得到的深度值，RGB是可见光摄像机彩色图的三个颜色通道，I为可见光摄像机灰度图的灰度值，D_max是点(i+u，j+v)和其相邻的四个像素点深度值之差的最大值，M×N是以点(i，j)为中心的窗口的大小，b和η是常数。

2.如权利要求1所述的基于阵列摄像机的深度图的实时获取算法，其特征在于其得到可见光摄像机视野下初始深度图的步骤为：首先，对3D摄像机和每个可见光摄像机进行标定，得到每个可见光摄像机和3D摄像机之间转换的平移矩阵和旋转矩阵其次，利用这两个矩阵将3D摄像机得到的低分辨率深度图投影到每个可见光摄像机视野下，得到初始的高分辨率深度图。

3.如权利要求2所述的基于阵列摄像机的深度图的实时获取算法，其特征在于，在得到每个可见光摄像机视野下的初始深度图后，用离每个无深度值的点最近的有深度值的点的深度值，对这些无深度值的点进行填充，得到完整的初始深度图。

4.如权利要求1-3任一项所述的基于阵列摄像机的深度图的实时获取算法，其特征在于：在每次迭代中，若点(i，j)和其相邻的四个像素点深度值之差的最小值大于T，则用该能量函数对该点的深度值进行调整。

Images