CN103561257B - 一种基于深度参考平面的无干扰的光编码深度提取方法 - Google Patents

Abstract

本发明公开了一种基于深度参考平面的无干扰的光编码深度提取方法。所述提取方法预存储多光编码深度相机在深度参考平面上形成的散斑图案在模板库中，将光编码深度相机获取的实际场景的散斑图案，与模板库中相应深度参考平面内的散斑图案进行相似度匹配，得到深度图。本发明可以有效地去除多光编码深度相机之间产生的干扰，并且不限制光编码深度相机的数量；通过调节深度参考平面之间的间距以及参考平面的数量，可以使本方法在计算的时间和去干扰的效果之间自由调节，用户在使用时可选择自己需要的深度参考平面数量和间距实施本方法。

Description

一种基于深度参考平面的无干扰的光编码深度提取方法

技术领域

本发明属于多视点立体视频中多深度相机复杂场景多视点采样与重建领域，特别涉及多光编码深度相机间的干扰消除。

背景技术

人类的视觉系统具有将看到的外部世界从二维重构为三维的能力，从而使人们在观察外部世界时具有良好的立体感，是人类获取信息的重要方式。但是在使用传统的2D显示技术观看视频时，由于视频缺少景物的深度信息，人的视觉系统无法将视频中的画面从二维图像重构为三维图像，使得用户无法获得立体感受。多视点3D视频的诞生就是为了能够让观看视频的用户能够在获取景物信息的同时也能够获取到景物的深度信息，使得用户的视觉系统能够产生视觉立体感受，为用户带来更加真实和自然的视觉体验。目前已有许多国家的研究机构对多视点视频系统展开了全面的研究，有多所大学及研究院已经搭建了用于获取多视点视频的多相机阵列，如MIT、斯坦福大学、MERL研究院、德国HHI以及名古屋大学等等。

然而，目前的多视点视频数据采集系统大多用的都是纹理相机，而采用纹理相机的相机阵列具有数据量巨大的特点，使多视点视频的传输和应用受到限制。同时，近年来深度相机发展迅速，和纹理相机相比，深度相机能够直接获取场景的深度信息，并且用灰度图来表示场景的深度值，从而大大压缩了图像的数据量，使得多视点的传输成为可能。但是深度相机价格高昂，分辨率低等因素制约了深度相机的进一步发展。

微软公司开发的体感游戏设备Kinect是近年来商用深度相机的代表，利用红外CMOS传感器和投影机的组合，并且采用光编码(Light Coding)感知深度，打破了以往ToF深度相机售价高昂的局面。Kinect目前售价仅110美元，以其低廉的价格受到了人们的欢迎。从研究层面来说，相对于ToF深度相机，Kinect具有更高的深度图分辨率，为基于多相机的多视点视频的研究提供了可能，具有广泛的应用前景。但是，使用Kinect构建多视点视频系统目前仍然具有局限性：由于采用主动发射红外光提取场景深度，在多个Kinect的情况下，Kinect互相之间必然会产生干扰，从而影响深度提取的结果。

发明内容

针对以Kinect为代表的光编码深度相机存在的相互干扰问题，本发明设计了一种基于深度参考平面的光编码深度相机的干扰消除方法。所述方法预存储多光编码深度相机在深度参考平面上形成的受干扰散斑图案信息，通过这些信息来消除多光编码深度相机在获取实际场景深度时产生的干扰。通过这种方式，在采用光编码深度相机构建多深度相机场景采样系统时能有效消除深度相机之间的互相干扰，获取到不同视点的场景深度信息。

为了实现上述目的，本发明所设计的方法包括如下步骤：

第一步，对光编码深度相机进行排布，并对光编码深度相机进行校准；

第二步，针对每台光编码深度相机设置一系列的深度参考平面，记录光编码深度相机在深度参考平面上形成的散斑图案，将图案存储在模板库；

第三步，将光编码深度相机获取的实际场景的散斑图案，与模板库中相应深度参考平面内的散斑图案进行相似度匹配，得到深度图。

本发明的优点在于：

1.可以有效地去除多光编码深度相机之间产生的干扰，并且不限制系统中光编码深度相机的数量；

2.只需对光编码深度相机中被动接收信号的相机部分进行校准，对主动投射散斑模板的投影机部分无需进行校准，节省了工作量；

3.通过调节深度参考平面之间的间距以及参考平面的数量，可以使本方法在计算的时间和去干扰的效果之间自由调节，用户在使用时可选择自己需要的参考平面数量和间距实施本方法。

附图说明

图1为本发明的一种实施例的一种基于深度参考平面的无干扰的光编码深度相机的系统示意图；

图2A和图2B分别为本发明中参考深度平面的散斑图案示意图和受干扰的场景接收到的散斑图案示意图；

图3为本发明中场景散斑模板与参考平面深度的对应领域小块之间匹配过程的示意图；

图4为本发明场景散斑模板和参考深度平面进行匹配并得到最终输出深度图的程序流程图。

具体实施方式

下面结合附图和实施例对本发明进行详细说明。

本发明中具体实现基于深度参考平面的光编码深度相机的干扰消除方法是：排布光编码深度相机，记录深度参考平面上多台光编码深度相机形成的散斑图案，将散斑图案预存储在计算机中；其后，在实际提取场景深度时，利用相同位置上深度参考平面所记录的散斑图案进行匹配，计算场景的散斑图案和深度参考平面的散斑图案之间的相似度，通过取相似度的最大值来得到某一点像素的深度值，具体实现步骤如下：

步骤一，排布光编码深度相机：

如图1所示，在场景中有多台光编码深度相机C₁,C₂,...,C_N，同时向场景中投射随机但不随时间变化的红外散斑模板，光编码深度相机的接收部分通过拍摄场景来获取场景中的散斑图案。

针对多台光编码深度相机形成的光编码深度相机采集系统，本发明所描述的方法对光编码深度相机的位置无特殊要求，可自由排布。但是考虑到之后步骤的工作量，为方便起见，可将各光编码深度相机平行排布，此处描述的平行排布主要包含两个条件：

1、所有光编码深度相机的光轴相互平行；

2、所有光编码深度相机的光心在同一直线上。

若满足以上两个条件，则对某一光编码深度相机的有效的深度参考平面对其他光编码深度相机同样有效，在记录深度参考平面的散斑图案时可有效地减少测量深度参考平面上散斑图案的次数，节省工作量。

完成光编码深度相机排布之后，需要光编码深度相机对光编码深度相机进行校准，校准的目的是获得光编码深度相机的内参数和外参数。内参数用于消除镜头的畸变，使光编码深度相机获得的图像与真实图像接近，外参数用于标定光编码深度相机在世界坐标系中的位置。光编码深度相机的内、外参数与光编码深度相机坐标的关系如公式(1)所示。

s·m′＝A[R|t]M′                  (1)

其中，m′代表相机坐标系中的坐标，代表某一点在相机成像平面上的二维坐标，s是实数系数，使等式成立，矩阵A是光编码深度相机的外参数，矩阵[R|t]是光编码深度相机的外参数，M′是光编码深度相机在世界坐标系中的坐标位置。

校准光编码深度相机的具体方法可使用MATLAB中的calibration toolbox等工具，在本发明中不再赘述。

步骤二，记录深度参考平面上光编码深度相机形成的散斑图案，存入模板库。

步骤一中，本发明对光编码深度相机进行校准，得到了光编码深度相机的内参数和外参数，进一步可以得到光编码深度相机的光轴和光心位置。对于光编码深度相机C₁，在与光编码深度相机C₁光心距离为d₀的光轴位置上假设有一个垂直于光轴的深度参考平面A₁，该深度参考平面A₁相对于光编码深度相机C₁的深度值为d₀。从d₀位置开始，每隔一个等长的深度差值Δd，都假设有一个深度参考平面在该深度上与光轴垂直，将一系列K个深度参考平面记为A₁,A₂,...,A_K，深度参考平面A_k距离光编码深度相机光心的深度值D(A_k)如公式(2)：

D(A_k)＝d₀+(k-1)·Δd,1≤k≤K             (2)

深度值d₀和深度差值Δd的选择可根据需要测量的实际场景深度范围进行具体取值，K的取值可根据用户对场景深度精细程度自行确定，K值越大，则场景范围内深度参考平面的数量越多，匹配得到的深度图结果越精细，但是同时带来的计算量增大；K值越小，则深度参考平面数量越少，匹配得到的深度图结果越粗糙，但计算量较小。优选地，若以计算速度为优先，可选取10至50个深度参考平面；若以匹配得到的深度图质量为优先，可选取100个以上的深度参考平面进行匹配。

对于光编码深度相机C₁的一系列深度参考平面A₁,A₂,...,A_K，在每一个深度参考平面的位置上放置一块平板，用于接收光编码深度相机发射的散斑图案。打开所有的光编码深度相机，让所有的光编码深度相机在深度参考平面A₁上投射散斑图案。此时在深度参考平面A₁上形成了受干扰的散斑图案，将光编码深度相机C₁所拍摄到的深度参考平面A₁上的散斑图案记录下来，存储在计算机的模板库中，等待进行匹配。对每一台光编码深度相机C₁,C₂,...,C_N重复进行以上过程，记录所有的深度参考平面的散斑图案。对于每台光编码深度相机来说，只需分别存储从自己的位置进行拍摄的K张深度参考平面的散斑图案。若按照步骤一中所述，各光编码深度相机之间采用平行排布，则只需在记录光编码深度相机C₁的深度参考平面时同时记录其他光编码深度相机的深度参考平面的散斑图案。

步骤三，散斑图案匹配得到深度图：

完成了步骤一和步骤二之后，模板库中已经存储了所有光编码深度相机在所有深度参考平面上的散斑图案，在测量实际场景的深度时，可按照如下步骤提取场景深度：

将所有光编码深度相机打开，同时再次向场景中投射散斑模板模拟实际场景，以便于将得到的场景图像与预存储的深度参考平面进行匹配，此时光编码深度相机接收到的是受干扰的散斑图案，对每个光编码深度相机分别进行匹配。结合图3，匹配过程如下：

（1）对光编码深度相机C₁拍摄到的散斑图案，任取某一像素p₁，取其邻域小块，记为patch。由于在本发明中，光编码深度相机的位置始终是固定的，所以对于之前记录的模板库中深度参考平面的散斑图案和实际场景的散斑图案，其相对位置是相同的。

(2)在深度参考平面A₁上取相同位置的像素p₁′，同样取相同大小的小块patch′，计算patch和patch′的相似度，将相似度值记录为L(A₁)。

计算相似度值的公式如公式(3)所示：

L(A_k)＝MRCC(patch,patch′)             (3)

其中，MRCC是通过去均值来求两个矩阵之间相似度的函数。代表了在深度参考平面A_k下深度参考平面中的散斑图案和场景中的散斑图案之间的相似度。

MRCC的计算公式如公式(4)所示：

$\mathrm{MRCC}(I_1,I_2)=\frac{(I_1-\stackrel{\‾}{I_1})(I_2-\stackrel{\‾}{I_2})}{\left|\right|I_1-\stackrel{\‾}{I}\left|\right|\left|\right|I_2-\stackrel{\‾}{I_2}\left|\right|}---\left(4\right)$

（3）对光编码深度相机C₁所记录的所有深度参考平面A₁,A₂,...,A_K的所有相似度值，取相似度最大的小块对应的深度参考平面为目标深度参考平面，根据公式(2)得到的深度参考平面与场景之间的对应关系得到像素p₁在场景中的实际深度值。

（4）得到像素p₁的深度之后，继续选取光编码深度相机C₁拍摄到的散斑图案中的下一个像素，返回步骤（2），直到得到完整的光编码深度相机C₁所拍摄的场景深度图，完成去干扰的多编码深度相机的场景深度提取。

实施例

以下将结合实施例及附图，进一步详细说明本发明。该实施例中，系统中光编码深度相机数量为2。

步骤一，将光编码深度相机进行排布，本实施例中利用光线跟踪软件来模拟实际情况中光编码深度相机的工作原理，光编码深度相机的红外投影仪和光编码深度相机之间的距离为7.2cm，两台光编码深度相机之间的距离为30cm，场景距离光编码深度相机的范围在30cm到80cm之间。由于是模拟实际情况，光编码深度相机已经校准完成。

步骤二，记录两台光编码深度相机在深度参考平面上的散斑图案，为了比较不同深度参考平面数量对深度图提取结果的差异性，本实施例采用三种不同的深度参考平面数量也就是取不同的K值来实施本发明，三种参考深度平面的深度值数量分别是51,101和501。对于第一种情况，有51个深度参考平面，深度参考平面将场景从30cm到80cm之间的场景平均分为50个间隔，在最近的30cm和最远的80cm深度上都有一个深度参考平面记录在这两个深度值上的散斑图案。两个光编码深度相机分别记录各自的散斑模板库并进行存储。对于101和501个深度参考平面的情况的选取同样根据上述步骤进行存储。深度参考平面的散斑图案如图2A所示。

步骤三，将光编码深度相机拍摄实际场景的散斑图案与深度参考平面的散斑图案进行匹配，受干扰的场景散斑图案如图2B所示。匹配过程如图4所示，具体如下：

以51个深度参考平面的匹配过程为例，首先将散斑模板库中的光编码深度相机C₁对应的51幅深度参考平面的散斑图案存储在指针数组refer中，接着将光编码深度相机C₁拍摄的实际场景的散斑图案读入，存储在变量c中。完成数据的读入工作之后按照图像的行和列逐像素进行循环，对场景图像的每一个像素用函数getpatch来获取该像素邻域的小块。函数getpatch的主体部分如下所示：

函数的参数列表中，input是输入的图像，width是输入图像的宽度，output是输出的图像小块，cx和cy分别代表小块中心像素在图像中的位置，bound代表小块的边长的一半。

得到场景的小块之后，对所有深度参考平面循环一次，针对每一个深度参考平面，使用函数getpatch得到相同位置的邻域小块，运行mrcc函数比较两个小块之间的相似度，mrcc函数的函数主体如下所示：

函数的参数列表中，input1和input2是需要比对的图像，ncount是待比对图像的像素数量。

将值保存在corr数组中。扫描深度参考平面的过程如图3所示，扫描完所有的深度参考平面之后，最大相似度值将会保存在max_corr变量中，而最大相似度对应的深度值则保存在max_corr_d变量中，深度参考平面的循环结束后该深度值最终保存在final_depth数组里。所有的像素循环完毕，最终输出final_depth到文件中，final_depth保存成BMP格式即可成为深度图。

Claims (1)

1.一种基于深度参考平面的无干扰的光编码深度提取方法，其特征在于：包括如下步骤：第一步，对光编码深度相机进行排布，并对光编码深度相机进行校准；各光编码深度相机平行排布，并使得所有光编码深度相机的光轴相互平行；所有光编码深度相机的光心在同一直线上；

第二步，针对每台光编码深度相机设置一系列的深度参考平面，记录光编码深度相机在深度参考平面上形成的散斑图案，将图案存储在模板库，具体为：

对于光编码深度相机C₁，在与光编码深度相机C₁光心距离为d₀的光轴位置上假设有一个垂直于光轴的深度参考平面A₁，该深度参考平面A₁相对于光编码深度相机C₁的深度值为d₀，从d₀位置开始，每隔一个等长的深度差值Δd，都假设有一个深度参考平面在该深度上与光轴垂直，将一系列K个深度参考平面记为A₁,A₂,...,A_K，深度参考平面A_k距离光编码深度相机光心的深度值D(A_k)如公式(2)：

D(A_k)＝d₀+(k-1)·Δd,1≤k≤K       (2)

对于光编码深度相机C₁的一系列深度参考平面A₁,A₂,...,A_K，在每一个深度参考平面的位置上放置一块平板，用于接收光编码深度相机发射的散斑图案；打开所有的光编码深度相机，让所有的光编码深度相机在深度参考平面A₁上投射散斑图案；此时在深度参考平面A₁上形成散斑图案，将光编码深度相机C₁所拍摄到的深度参考平面A₁上的散斑图案记录下来，存储在计算机的模板库中；对每一台光编码深度相机C₁,C₂,...,C_N重复进行以上过程，记录所有的深度参考平面的散斑图案，并存储在计算机的模板库中；

第三步，将光编码深度相机获取的实际场景的散斑图案，与模板库中相应深度参考平面内的散斑图案进行相似度匹配，得到深度图；

所述的相似度匹配，具体为：

(1)对光编码深度相机C₁拍摄到的散斑图案，任取某一像素p₁，取其邻域小块，记为patch；

(2)在深度参考平面A₁上取相同位置的像素p₁′，取其邻域小块patch′，所述邻域小块patch′与邻域小块patch的大小相同，计算patch和patch′的相似度，将相似度值记录为L(A₁)；

计算相似度值的公式如公式(3)所示：

L(A_k)＝MRCC(patch,patch′)        (3)

其中，MRCC是通过去均值来求两个矩阵之间相似度的函数；MRCC的计算公式如公式(4)所示：

$\mathrm{MRCC}(I_1,I_2)=\frac{(I_1-{\stackrel{\‾}{I}}_1)(I_2-{\stackrel{\‾}{I}}_2)}{\left|\right|I_1-\stackrel{\‾}{I}\left|\right|\left|\right|I_2-{\stackrel{\‾}{I}}_2\left|\right|}---\left(4\right)$

其中，I₁为patch,I₂为patch’；

(3)对光编码深度相机C₁所记录的所有深度参考平面A₁,A₂,...,A_K的所有相似度值，取相似度最大的小块对应的深度参考平面为目标深度参考平面，根据深度参考平面与场景之间的对应关系得到像素p₁在场景中的实际深度值；

(4)得到像素p₁的深度之后，继续选取光编码深度相机C₁拍摄到的散斑图案中的下一个像素，返回步骤(2)；直到得到完整的光编码深度相机C₁所拍摄的场景深度图，完成去干扰的多编码深度相机的场景深度提取。