CN102710951B - 基于散斑结构光深度相机的多视点计算成像方法 - Google Patents

Abstract

本发明属于图像处理技术领域。为提供一种多视点计算成像方法，获取的深度信息准确，精度高。为达到上述目的，本发明采取的技术方案是，基于散斑结构光深度相机的多视点计算成像方法，包括如下步骤：使用微软的人机交互设备Kinect，从中获取深度图和彩色图；先检测出彩色图的边缘，将空缺信息进行膨胀，直至膨胀的空缺覆盖了原先深度图附近对应于彩色图中的边缘停止膨胀；接着采用深度信息和彩色信息对空缺边缘的点使用双边滤波估值，估值的过程使用了彩色图的边缘信息进行限制，在获取彩色图和修复后的深度图后，将深度图转换成视差图，使用深度图像结合彩色图像的视差图合成方法合成任意数量的虚拟视点图。本发明主要应用于图像处理。

Description

基于散斑结构光深度相机的多视点计算成像方法

技术领域

本发明属于图像处理技术领域。具体讲，涉及基于散斑结构光深度相机的多视点计算成像方法。

背景技术

当前计算机视觉获取场景深度的方法有很多种，有通过双目测量，投影仪搭配摄像头等方法，也有聚焦深度等三角化计算方法，但这些方法都是通过繁琐复杂的计算来获取深度图，近些年来较常用的获取深度图的方法就是使用深度相机。TOF是其中的一种深度相机，其利用主动射出的红外光往返的相位差来测量深度。该相机获取的深度信息准确，精度高，但是有着较大的缺点，价格高，分辨率低。然而，近期微软推出了一种新的深度相机，该相机价格便宜，方便了很多适用深度信息进行的研究。

这款深度相机的名字为Kinect，Kinect是微软于2010年11月在北美上市的XBOX体感交互外设。该设备是一种3D体感摄像机，拥有导入动态捕捉，影像识别，麦克风输入，语音识别等功能。Kinect的核心技术是由微软在2010年3月收购的专门从事研发3D动作侦测和识别技术的以色列公司Primesense授权的。Kinect利用连续光对测量空间进行编码，通过感应器读取编码的光线，交给晶片运算进行解码后，产生一张具有深度的图像。该种技术的关键是Laser Speckle镭射光散斑，当镭射光照射到粗糙物体，或者穿透毛玻璃后，会形成随机的反射斑点(散斑)。散斑具有高度的随机性，会随距离的而变换图案。空间中的任何两处的散斑都是不同的图案，这就等同于将整个空间加上了标记，当任何物体进入该空间及其移动的时候，Kinect都可以据此都可以确切记录物体的位置。

但从Kinect中捕捉的深度图有着较大的问题，其不仅存在较大的噪声，同时在一些深度不连续的边缘处和光滑透明处平面处会存在信息的空缺。如果直接使用这种深度图进行深入的研究的话会对实验结果造成极大的影响，这就需要对Kinect获取的深度图进行修复。从Kinect刚出来后不久，国际涌现了许多修复Kinect深度图的方法，不过现存的技术在修复深度图方面有着明显的不足，尤其是对于存在透明和多边缘的图像，修复后得到的深度图匹配到彩色图的时候有着较大的偏差，边缘处存在许多缺陷。并且这些方法有些花费的时间过长，有些运行速度快但最终的结果并不太理想。

发明内容

本发明旨在克服现有技术的不足，提供一种多视点计算成像方法，获取的深度信息准确，精度高。为达到上述目的，本发明采取的技术方案是，基于散斑结构光深度相机的多视点计算成像方法，包括如下步骤：使用微软的人机交互设备Kinect，从中获取深度图和彩色图；先检测出彩色图的边缘，将空缺信息进行膨胀，直至膨胀的空缺覆盖了原先深度图附近对应于彩色图中的边缘停止膨胀；接着采用深度信息和彩色信息对空缺边缘的点使用双边滤波估值，估值的过程使用了彩色图的边缘信息进行限制，在获取彩色图和修复后的深度图后，将深度图转换成视差图，使用深度图像结合彩色图像的视差图合成方法合成任意数量的虚拟视点图。

所属步骤进一步细化为：

1)使用OpenNI平台结合PrimeSense驱动从Kinect帧流中捕捉一帧的彩色图像C和深度图像D；

2)根据1)中获取的深度图D映射出一张只包含0/1值的映射图D_m，根据1)中的彩色图C进行边缘检测得到C_e；

3)膨胀2)中映射图D_m的空洞，直至所有的空洞都覆盖了其附近的边缘，得到图像D′_m，将图像D′_m映射至深度图D，得到图D_d，映射方法如下：对于图像D′_m中值为0的点P，深度图D对应的像素点的值不变，其他的像素点的值为0；

4)检测3)中处理后的深度图D_d的空洞边缘，并将空洞边缘点压入堆栈，如果该点属于2)中检测的彩色图像边缘点之一且第一次访问该点则不将该点放入堆栈，第二次遇到该彩色图像边缘点的时候将该点放入堆栈；

5)取出栈顶的点，使用滤波窗口内不在空洞区的像素的深度值进行双边插值得该点深度值；

6)不断重复4)和5)操作，直至深度图中不存在空缺信息，得到最终修复的深度图D_r；

7)对6)中的深度图D_r进行计算，得到对应的视差图V，视差图V里像素点的值和深度图D_r像素点的值成反比例关系。

所述步骤2)-5)进一步细化为：

根据获取的深度图D，根据以下公式生成对应的映射图D_m：

对彩色图C进行边缘检测得到C_e

对于D_m(x，y)＝1的点

分别以点

为中心，上下左右分别扫描R个像素，R＜40，如果扫到的像素C_e(x+T，y+T)＝1，记录markR＝T，同时停止该方向的扫描；在扫描过程中不断更新markR＝max(markR，T)；接下来对D_m中空缺信息进行膨胀操作，使用膨胀的结构元素为以markR为半径的球形元素，膨胀后得到D′_m，将D′_m映射至深度图，得到Dd，映射操作如下：

这里使用Alexandru Telea在其论文An Image Inpainting Technique Based on the FastMarching Method提出的fast marching method来收集Dd空洞边缘点，并将D_d空洞边缘点收集于堆栈Stack之中，在收集点的过程中，使用一个标记数组Flag(640，480)，将其初始化为全0，如果找到一个空洞边缘点

该点处于深度不连续处，也就意味着该点C_e(x，y)＝1，这个时候不将该点放入堆栈，将Flag(x，y)置1，下次再次搜索到该点的时候，如果该点是边缘点且其标记值为1，那么将该点放入堆栈进行插值。

具体的插值步骤是，对从栈顶取出的点

使用以

为中心半径为w的方形窗口进行双边滤波，其中滤波过程分为两种情况：

(1)若窗口内不存在点C_e(x，y)＝1，意味着窗口内不存在位于深度不连续的地方的点，直接使用窗口内不处于空缺处的点的深度信息和该点相对于

的距离信息进行填补，公式中的p表示的是点q表示的是滤波窗口内区别于

的点

其中

$\mathrm{occlusion}=\left\{P_{D_d}(x,y)\right|D_d(x,y)=0\};$

$D_d^{p^r}=\frac{1}{W_{\mathrm{\ξ}}}\underset{q\∈w*w,q\∉\mathrm{occlusion}}{\mathrm{\Σ}}\left[G_{\mathrm{\λ}}\left(\right||p-q|\left|\right)G_{\mathrm{\ξ}}\left(\right||D_d^p-D_d^q|\left|\right)D_d^q\right]---\left(4\right)$

$W_{\mathrm{\ξ}}=\underset{q\∈w*w,q\∉\mathrm{occlusion}}{\mathrm{\Σ}}\left[G_{\mathrm{\λ}}\left(\right||p-q|\left|\right)G_{\mathrm{\ξ}}\left(\right||D_d^p-D_d^q|\left|\right)\right]---\left(5\right)$

(2)窗口内存在点C_e(x，y)＝1，说明滤波窗口位于深度存在骤变的边界上，P₁和P₂表示滤波正方形窗口边缘和彩色图中物体边缘交界的两点，将这两点连成一条直线

使用叉乘

判断点和线的关系，得到窗口内剔除掉和

所处直线

方向不同的点得到集合

在集合中再次剔除处于空缺处的点，得到点集合

此刻使用彩色图信息和距离信息对

的深度进行填补，sign表示叉乘结果：

$\mathrm{sign}[(P_1-P_{D_d})\&CircleTimes;(P_2-P_{D_d})]=\left\{\begin{array}{cc}1& [(P_1-P_{D_d})\&CircleTimes;(P_2-P_{D_d})]>0\\ 0& [(P_1-P_{D_d})\&CircleTimes;(P_2-P_{D_d})]=0\\ -1& [(P_1-P_{D_d})\&CircleTimes;(P_2-P_{D_d})]<0\end{array}\right.---\left(6\right)$

${\mathrm{Set}}^{\&prime;\&prime;}\left(P_{D_d}\right)=\left\{P_{D_d}\right|\mathrm{sign}[(P_1-P_{D_d}^{\&prime;})\&CircleTimes;(P_2-P_{D_d}^{\&prime;})]=\mathrm{sign}[(P_1-P_{D_d})\&CircleTimes;(P_2-P_{D_d})]\}---\left(7\right)$

$D_d^{p^r}=\frac{1}{W_u}\underset{q\&NotElement;\mathrm{occlusion}}{\underset{q\&Element;w*w,}{\mathrm{\&Sigma;}}}\left[G_{\mathrm{\&lambda;}}\left(\right||p-q|\left|\right)G_{\mathrm{\&mu;}}\left(\right||C^p-C^q|\left|\right)D_d^q\right]---\left(8\right)$

$W_{\mathrm{\&mu;}}=\underset{q\&NotElement;\mathrm{occlusion}}{\underset{q\&Element;w*w,}{\mathrm{\&Sigma;}}}\left[G_{\mathrm{\&lambda;}}\left(\right||p-q|\left|\right)G_{\mathrm{\&mu;}}\left(\right||C^p-C^q|\left|\right)\right]---\left(9\right)$

其中上述公式中的高斯核函数分别如下：

$G_{\mathrm{\&lambda;}}\left(\right||p-q|\left|\right)=e^{-\left\{\right[p\left(x\right)-q\left(x\right){]}^2+{[p\left(y\right)-q\left(y\right)]}^2\}/(2*{\mathrm{\&lambda;}}^2)---\left(10\right)}$

$G_{\mathrm{\&xi;}}\left(\right||D_d^p-D_d^q|\left|\right)=e^{-{(D_d^p-D_d^q)}^2/(2*{\mathrm{\&xi;}}^2)}---\left(11\right)$

$G_{\mathrm{\&mu;}}\left(\right||C^p-C^q|\left|\right)=e^{-[{(C_r^p-C_r^q)}^2+{(C_g^p-C_g^q)}^2+{(C_b^p-C_b^q)}^2]/(2*{\mathrm{\&mu;}}^2)}---\left(12\right)$

填补后，将其周围的点集加入栈中；不断重复上述的过程，直至所有的空缺都被填补，得到修复好的深度图为D_r，式中：

p(x)，p(y)，q(x)，q(y)分别表示点

和

的x，y坐标值，markR为使用膨胀结构的半径；

表示彩色图C中对应于深度图D_d中

位置的点的三通道的颜色值，

表示彩色图C中对应于深度图D_d中

位置的点的三通道的颜色值；

C^q表示彩色图C中对应于深度图D_d中

位置的点的彩色信息值，C^p表示彩色图C中对应于深度图D_d中

位置的点的彩色信息值；

分别表示深度图D_d中处于位置

和

处的深度值；

λ为空间邻近度高斯核的权值因子，ξ为深度相似度高斯核的权值因子，μ为亮度相似度高斯核的权值因子，λ，ξ，μ取值空间在[3，10]间；

G_μ.(|| ||)为亮度相似度高斯核函数，G_λ.(|| ||)为空间邻近度高斯核函数，G_ξ.(|| ||)为深度相似度高斯核函数；

表示修复好的深度图D_r位置

的深度值，W_ξ为空间-深度归一化因子，W_μ为空间-亮度归一化因子；

D_m(x，y)，C_e(x，y)，D_d(x，y)，D(x，y)，C(x，y)，V(x，y)分别表示图D_m，C_e，D_d，D，C，V中位置(x，y)的点的值，x表示点的横坐标，y表示点的纵坐标。

在得到修复后的深度图，根据下面的公式得到视差图：

$V=\frac{b*f}{D_r}---\left(13\right)$

b的值为Kinect的IR发生器和接收器的距离，f为Kinect的焦距。

使用最终的视差图D_p和彩色图C进行虚拟视点合成，C(x，y)表示C中的点(x，y)，C_virt((x，y)，k)表示第k个视点中位置处于(x，y)像素点的值，视点合成的方法如下：

C_virt((x，y)，k)＝C(x+k*fact*V(x，y)，y+k*fact*V(x，y))           (14)

k表示视点合成的第k个视点，fact为偏转因子，表示生成视点相对于原视点偏转长度；上述公式表示的是对于合成的第k个视点中(x，y)像素，其像素值对应于彩色图像的原始图像的(x+k*fact*V(x，y)，y+k*fact*V(x，y))位置的像素值；当某些像素值存在错误，采取搜索错误像素位置的上下左右的像素，取其最近的正确的点的像素值进行代替；

在执行完上述的操作后，因为视差的后景是黑的，所以在视点转移后一些像素可能和别的像素没有一致的方向，根据像素在原图像的方向检测出错误的像素并使用左边界的像素点来进行填补；

对于左视点，前景像素右移，那么在后景中会存在左边界的空缺；对于右视点，背景像素左移，那么在后景会存在右边界的空缺。对于这两种情况，需要使用后景中最邻近空缺处的像素点进行填补。

本发明的技术特点及效果：

1)方法简单，容易实现，运行时间短，能在该发明基础上使用GPU加速。

2)本发明中，在对空洞点进行插值前对空洞进行膨胀覆盖其附近边界，这样做带来两个好处。Kinect的深度图成像不稳定，尤其在边缘处会存在小范围的边缘内的值超出边缘范围替代实际的深度值，或者边缘外的值进入边缘内取代边缘内的点的值。膨胀操作很好地将上面的问题统一化，使得边缘外的点要么缺失要么是边缘外的点，边缘内的点要么缺失要么是边缘内的点。

3)在修复的过程中有效利用了彩色图像的边缘信息，修补的过程不会使得插值越过实际边界，严格限定了深度不连续处边缘左右(上下)的深度信息严格不同。

4)对边界信息做了标记，第一次访问的时候不加入堆栈，第二次加入堆栈，合理地避免了边界空洞点在3)的限制下不放入堆栈处理导致最后结果存在多处细间隙没有进行填补的情形。

5)填补平滑区域单独使用窗口的深度信息，无需使用彩色信息。在边界处采用了彩色信息是考虑到深度出现骤变处其彩色信息很大可能是不同的，如此很好地限制了最后的结果，同时使用叉乘判断只取与插值点同方向的点来进行插值，结果可靠。

6)本发明提出的修复深度图的方法，具有较好的拓展性，能推广到其他设备的深度图修复。

7)采用Kinect同时获取彩色和深度图，使用彩色图和深度图进行任意视点的合成，这为3DTV提供了一种新的成像方式。

附图说明

图1是本发明实施的深度图彩色图修复及多视点合成的流程图；

图2和图3是从Kinect中捕捉的两张不同场景的深度彩色图以及对应修复后的深度图；

图4是进行多视点合成算法使用测试图像生成8视点的彩色图像；

图5(a)和(b)是Kinect捕捉的一帧原始图像。

(c)是经过修复后的深度图像。

(d)是根据(c)计算得到的视差图。

图6是根据图5(a)和(d)计算得到的N＝8个不同视点的虚拟图。

具体实施方式

本发明是基于使用微软的人机交互设备Kinect，从中获取深度图和彩色图，分别经过处理后进行多视点成像计算合成的方法。

本发明提出了一种修复Kinect深度图方法，该方法作用于一张640×480图像，需要10秒左右，运算复杂度不高，修复出来的深度图效果好。

本发明在修复深度图后，使用该深度图和彩色图进行视点合成。目前存在的虚拟视点合成的方法大致可以分为三种。第一种是使用彩色图像对插值生成虚拟图像，运动插值补偿就是其中的一种。第二种是使用深度图像结合彩色图像。第三种是使用深度图像结合彩色图像以及其中隐藏的阶级信息。本发明采用的是第二种方式。

本发明先检测出彩色图的边缘，将空缺信息进行膨胀，直至膨胀的空缺覆盖了原先深度图附近对应于彩色图中的边缘停止膨胀。接着对空缺边缘的点使用双边滤波估值，其间采用深度信息和彩色信息。估值的过程使用了彩色图的边缘信息进行限制，避免了估值的过程出现了深度信息超出实际中对应点在彩色图中该处的深度。实验结果表明，该种方法能够有效地修复深度图。

在获取彩色图和修复后的深度图后，将深度图转换成视差图，使用上述的视差图合成方法合成任意数量的虚拟视点图。

本发明所要解决的技术问题是，提供一种准确修复Kinect捕捉的深度图，并根据修复好的深度图结合彩色图生成任意路的虚拟视点图。具体方法如下：

1)使用OpenNI平台结合PrimeSense驱动从Kinect帧流中捕捉一帧的彩色图像C和深度图像D；

2)根据1)中获取的深度图D映射出一张只包含0/1值的图像D_m。根据1)中的彩色图C进行边缘检测得到C_e；

3)膨胀2)中D_m的空洞，直至所有的空洞都覆盖了其附近的边缘，得到图像D′_m。将D′_m映射至深度图D得到D_d，映射方法如下：对于D′_m中值为0的点P，深度图D对应的像素点的值不变，其他的像素点的值为0；

4)检测3)中得到的深度图D_d的空洞边缘，并将空洞边缘点压入堆栈，如果该点属于2)中检测的彩色图像边缘点之一且第一次访问该点则不将该点放入堆栈，第二次遇到该彩色图像边缘点的时候将该点放入堆栈。

5)取出栈顶的点，使用滤波窗口内不在空洞区的像素的深度值进行双边插值得该点深度值。

6)不断重复4)和5)操作，直至深度图中不存在空缺信息，得到最终修复的深度图D_r；

7)根据公式(13)对6)得到的深度图D_r进行计算，得到对应的视差图V；

根据多视点合成的第二种方法合成N个视点。

下面结合实施例和附图5、图6对本发明的基于散斑结构光深度相机的多视点计算成像方法做出详细说明。

本发明的基于散斑结构光深度相机的多视点计算成像方法，具体步骤如下：

1)根据获取的深度图D，根据以下公式生成对应的映射图D_m：

根据2)中的彩色图C进行边缘检测得到C_e

对于D_m(x，y)＝1的点

分别以点

为中心，上下左右分别扫描R(R＜40)个像素，如果扫到的像素C_e(x+T，y+T)＝1，记录markR＝T，同时停止该方向的扫描。在扫描过程中不断更新markR＝max(markR，T)。接下来对D_m中空缺信息进行膨胀操作，使用膨胀的结构元素为以markR为半径的球形元素，膨胀后得到D′_m，将D′_m映射至深度图，得到D_d，映射操作如下：

这里使用Alexandru Telea在其论文An Image Inpainting Technique Based on the FastMarching Method提出的fast marching method来收集D_d空洞边缘点，并将D_d空洞边缘点收集于堆栈Stack之中。在收集点的过程中，使用一个标记数组Flag(640，480)，将其初始化为全0，如果找到一个空洞边缘点

该点处于深度不连续处，也就意味着该点D(x，y)＝1，这个时候不将该点放入堆栈，将Flag(x，y)置1，下次再次搜索到该点的时候，如果该点是边缘点且其标记值为1，那么将该点放入堆栈进行插值。

具体的插值步骤如下：

2)对从栈顶取出的点

使用以

为中心半径为w的方形窗口进行双边滤波，其中滤波过程分为两种情况：

(1)若窗口内不存在点C_e(x，y)＝1，意味着窗口内不存在位于深度不连续的地方的点，直接使用窗口内不处于空缺处的点的深度信息和该点相对于

的距离信息进行填补。G_λ.(|| ||)为空间邻近度高斯核，G_ξ.(|| ||)为深度相似度高斯核。p表示的是点

q表示的是滤波窗口内区别于

的点。其中

$D_d^{p^r}=\frac{1}{W_{\mathrm{\&xi;}}}\underset{q\&Element;w*w,q\&NotElement;\mathrm{occlusion}}{\mathrm{\&Sigma;}}\left[G_{\mathrm{\&lambda;}}\left(\right||p-q|\left|\right)G_{\mathrm{\&xi;}}\left(\right||D_d^p-D_d^q|\left|\right)D_d^q\right]---\left(4\right)$

$W_{\mathrm{\&xi;}}=\underset{q\&Element;w*w,q\&NotElement;\mathrm{occlusion}}{\mathrm{\&Sigma;}}\left[G_{\mathrm{\&lambda;}}\left(\right||p-q|\left|\right)G_{\mathrm{\&xi;}}\left(\right||D_d^p-D_d^q|\left|\right)\right]---\left(5\right)$

(2)窗口内存在点C_e(x，y)＝1，说明滤波窗口位于深度存在骤变的边界上。记录窗口边缘上处于彩色图边界的两点P₁和P₂，将这两点连成一条直线

使用叉乘

判断点和线的关系，得到窗口内剔除掉和

所处直线

方向不同的点得到集合

在集合

中再次剔除处于空缺处的点，得到点集合

此刻使用彩色图信息和距离信息对

的深度进行填补。G_μ.(|| ||)为亮度相似度高斯核，sign表示叉乘结果。

$\mathrm{sign}[(P_1-P_{D_d})\&CircleTimes;(P_2-P_{D_d})]=\left\{\begin{array}{cc}1& [(P_1-P_{D_d})\&CircleTimes;(P_2-P_{D_d})]>0\\ 0& [(P_1-P_{D_d})\&CircleTimes;(P_2-P_{D_d})]=0\\ -1& [(P_1-P_{D_d})\&CircleTimes;(P_2-P_{D_d})]<0\end{array}\right.---\left(6\right)$

${\mathrm{Set}}^{\&prime;\&prime;}\left(P_{D_d}\right)=\left\{P_{D_d}\right|\mathrm{sign}[(P_1-P_{D_d}^{\&prime;})\&CircleTimes;(P_2-P_{D_d}^{\&prime;})]=\mathrm{sign}[(P_1-P_{D_d})\&CircleTimes;(P_2-P_{D_d})]\}---\left(7\right)$

$D_d^{p^r}=\frac{1}{W_u}\underset{q\&NotElement;\mathrm{occlusion}}{\underset{q\&Element;w*w,}{\mathrm{\&Sigma;}}}\left[G_{\mathrm{\&lambda;}}\left(\right||p-q|\left|\right)G_{\mathrm{\&mu;\&xi;}}\left(\right||C^p-C^q|\left|\right)D_d^q\right]---\left(8\right)$

$W_{\mathrm{\&mu;}}=\underset{q\&NotElement;\mathrm{occlusion}}{\underset{q\&Element;w*w,}{\mathrm{\&Sigma;}}}\left[G_{\mathrm{\&lambda;}}\left(\right||p-q|\left|\right)G_{\mathrm{\&mu;}}\left(\right||C^p-C^q|\left|\right)\right]---\left(9\right)$

其中上述公式中的高斯核函数分别如下：

$G_{\mathrm{\&lambda;}}\left(\right||p-q|\left|\right)=e^{-\left\{\right[p\left(x\right)-q\left(x\right){]}^2+{[p\left(y\right)-q\left(y\right)]}^2\}/(2*{\mathrm{\&lambda;}}^2)---\left(10\right)}$

$G_{\mathrm{\&xi;}}\left(\right||D_d^p-D_d^q|\left|\right)=e^{-{(D_d^p-D_d^q)}^2/(2*{\mathrm{\&xi;}}^2)}---\left(11\right)$

$G_{\mathrm{\&mu;}}\left(\right||C^p-C^q|\left|\right)=e^{-[{(C_r^p-C_r^q)}^2+{(C_g^p-C_g^q)}^2+{(C_b^p-C_b^q)}^2]/(2*{\mathrm{\&mu;}}^2)}---\left(12\right)$

字符注释：

p(x)，p(y)，q(x)，q(y)分别表示点

和的x，y坐标值。markR为使用膨胀结构的半径。p表示的是点

q表示的是滤波窗口内区别于

的点。

为滤波窗口中处于彩色图像边缘的一条直线；

表示滤波窗口内和

所处直线

位置(位置只能有三种：处于

左边；处于

右边；处于

上)相同的点的集合。

表示处于表示滤波窗口内和

所处直线

位置相同并且不处在空缺处的点的集合；

表示彩色图C中对应于深度图D_d中

位置的点的三通道的颜色值。

表示彩色图C中对应于深度图D_d中位置的点的三通道的颜色值；

C^q表示彩色图C中对应于深度图D_d中位置的点的彩色信息值，C^p表示彩色图C中对应于深度图D_d中

位置的点的彩色信息值；

分别表示深度图Dd中处于位置和

处的深度值；

λ为空间邻近度高斯核的权值因子。ξ为深度相似度高斯核的权值因子。μ为亮度相似度高斯核的权值因子。λ，ξ，μ取值空间可在[3，10]间；

G_μ.(|| ||)为亮度相似度高斯核函数，G_λ.(|| ||)为空间邻近度高斯核函数，G_ξ.(|| ||)为深度相似度高斯核函数。具体的实现方法如公式(10)-(12)所示；

表示修复好的深度图D_r位置

的深度值。P₁和P₂表示滤波窗口边缘和彩色图中物体边缘发生交界的两点。W_ξ为空间-深度归一化因子，W_μ为空间-亮度归一化因子。

填补后，将其周围的点集邻域，

加入栈中。不断重复上述的过程，直至所有的空缺都被填补。修复好的深度图为D_r；

D_m(x，y)，C_e(x，y)，D_d(x，y)，D(x，y)，C(x，y)，V(x，y)分别表示图D_m，C_e，D_d，D，C，V中位置(x，y)的点的值，x表示点的横坐标，y表示点的纵坐标。

3)在得到修复后的深度图，根据下面的公式得到视差图：

$V=\frac{b*f}{D_r}---\left(13\right)$

b的值为Kinect的IR发生器和接收器的距离，f为Kinect的焦距，b的值参考官方的数据为7.5cm。f通过对Kinect进行标定为582，此数值根据不同的设备而上下波动小段范围。

使用最终的视差图V和彩色图C进行虚拟视点合成，C(x，y)表示C中的点(x，y)，C_virt((x，y)，k)表示第k个视点中位置处于(x，y)像素点的值。视点合成的方法如下：

C_virt((x，y)，k)＝C(x+k*fact*V(x，y)，y+k*fact*V(x，y))            (14)

k表示视点合成的第k个视点，fact为偏转因子，表示生成视点相对于原视点偏转长度。上述公式表示的是对于合成的第k个视点中(x，y)像素，其像素值对应于彩色图像的原始图像的(x+k*fact*V(x，y)，y+k*fact*V(x，y))位置的像素值。但是由于k*fact*V(x，y)往往不是一个整数值，导致某些像素值存在错误，这时候采取搜索错误像素位置的上下左右的像素，取其最近的正确的点的像素值进行代替。

在执行完上述的操作后，因为视差的后景是黑的，所以在视点转移后一些像素可能和别的像素没有一致的方向。根据像素在原图像的方向检测出错误的像素并使用左边界的像素点来进行填补。

对于左视点，前景像素右移，那么在后景中会存在左边界的空缺；对于右视点，背景像素左移，那么在后景会存在右边界的空缺。对于这两种情况，需要使用后景中最邻近空缺处的像素点进行填补。

Claims (6)

1.一种基于散斑结构光深度相机的多视点计算成像方法，其特征是：包括如下步骤：使用微软的人机交互设备Kinect，从中获取深度图和彩色图；先检测出彩色图的边缘，将空缺信息进行膨胀，直至膨胀的空缺覆盖了原先深度图附近对应于彩色图中的边缘停止膨胀；接着采用深度信息和彩色信息对空缺边缘的点使用双边滤波估值，估值的过程使用了彩色图的边缘信息进行限制，在获取彩色图和修复后的深度图后，将深度图转换成视差图，使用深度图像结合彩色图像的视差图合成方法合成任意数量的虚拟视点图；

其中，将空缺信息进行膨胀具体为：根据获取的深度图D，由公式生成对应的映射图D_m：

膨胀映射图D_m的空洞；

接着采用深度信息和彩色信息对空缺边缘的点使用双边滤波估值具体为：膨胀映射图D_m的空洞，直至所有的空洞都覆盖了其附近的边缘，得到图像D'_m，将图像D'_m映射至深度图D，得到图D_d，其中：对于图像D'_m中值为0的点P，深度图D对应的像素点的值不变，其他的像素点的值为0；再对图D_d的空洞边缘信息使用双边滤波估值；

使用彩色图的边缘信息进行限制具体为：如果该点属于检测到的彩色图像边缘点之一且第一次访问该点则不将该点放入堆栈，第二次遇到该彩色图像边缘点的时候将该彩色图像边缘点放入堆栈。

2.如权利要求1所述的基于散斑结构光深度相机的多视点计算成像方法，其特征是，所属步骤进一步细化为：

1）使用OpenNI平台结合PrimeSense驱动从Kinect帧流中捕捉一帧的彩色图像C和深度图像D；

2）根据1）中获取的深度图D映射出一张只包含0/1值的映射图D_m：

根据1）中的彩色图C进行边缘检测得到C_e；

3）膨胀2）中映射图D_m的空洞，直至所有的空洞都覆盖了其附近的边缘，得到图像D'_m，将图像D'_m映射至深度图D，得到图D_d，映射方法如下：对于图像D'_m中值为0的点P，深度图D对应的像素点的值不变，其他的像素点的值为0；

4）检测3）中处理后的深度图D_d的空洞边缘，并将空洞边缘点压入堆栈，如果D_d所处的位置对应于彩色图中的点属于2）中检测的彩色图像边缘点之一且第一次访问该点则不将该位于D_d空洞边缘上的点放入堆栈，在第二次遇到该彩色图像边缘点位置的时候将该位于D_d空洞边缘上的点放入堆栈；

5）取出栈顶的点，使用滤波窗口内不在空洞区的像素的深度值进行双边插值得该点深度值；

6）不断重复4）和5）操作，直至深度图中不存在空缺信息，得到最终修复的深度图D_r；

7）对6)中的深度图D_r进行计算，得到对应的视差图V，视差图V里像素点的值和深度图D_r像素点的值成反比例关系。

3.如权利要求2所述的基于散斑结构光深度相机的多视点计算成像方法，其特征是，所述步骤2）-5）进一步细化为：

根据获取的深度图D，根据以下公式生成对应的映射图D_m：

对彩色图C进行边缘检测得到C_e

对于D_m(x,y)＝1的点分别以点

为中心，上下左右分别扫描R个像素，R＜40，如果扫到的像素C_e(x+T,y+T)＝1，记录markR＝T，同时停止该方向的扫描；在扫描过程中不断更新markR＝max(markR,T)；接下来对D_m中空缺信息进行膨胀操作，使用膨胀的结构元素为以markR为半径的球形元素，膨胀后得到D'_m，将D'_m映射至深度图，得到D_d，映射操作如下：

这里使用快速匹配法（fast marching method）来收集D_d空洞边缘点，并将D_d空洞边缘点收集于堆栈Stack之中，在收集点的过程中，使用一个标记数组Flag(640,480)，将其初始化为全0，如果找到一个空洞边缘点

该点处于深度不连续处，也就意味着该点C_e(x,y)＝1，这个时候不将该点放入堆栈，将Flag(x,y)置1，下次再次搜索到该点的时候，如果该点是边缘点且其标记值为1，那么将该点放入堆栈进行插值。

4.如权利要求2所述的基于散斑结构光深度相机的多视点计算成像方法，其特征是，具体的插值步骤是，对从栈顶取出的点

使用以

为中心半径为w的方形窗口进行双边滤波，其中滤波过程分为两种情况：

(1)若窗口内不存在点C_e(x,y)＝1，意味着窗口内不存在位于深度不连续的地方的点，直接使用窗口内不处于空缺处的点的深度信息和该点相对于

的距离信息进行填补，公式中的p表示的是点

q表示的是滤波窗口内区别于的点

其中 $\mathrm{occlusion}=\left\{P_{D_d}(x,y)\right|D_d(x,y)=0\};$

${D_d^p}^r=\frac{1}{W_{\mathrm{\&xi;}}}\underset{q\&Element;w*w,q\&NotElement;\mathrm{occlusion}}{\mathrm{\&Sigma;}}\left[G_{\mathrm{\&lambda;}}\left(\right||p-q|\left|\right)G_{\mathrm{\&xi;}}\left(\right||D_d^p-D_d^q|\left|\right)D_d^q\right]---\left(4\right)$

$W_{\mathrm{\&xi;}}=\underset{q\&Element;w*w,q\&NotElement;\mathrm{occlusion}}{\mathrm{\&Sigma;}}\left[G_{\mathrm{\&lambda;}}\left(\right||p-q|\left|\right)G_{\mathrm{\&xi;}}\left(\right||D_d^p-D_d^q|\left|\right)\right]---\left(5\right)$

(2)窗口内存在点C_e(x,y)＝1，说明滤波窗口位于深度存在骤变的边界上，P₁和P₂表示滤波正方形窗口边缘和彩色图中物体边缘交界的两点，将这两点连成一条直线

使用叉乘

判断点和线的关系，得到窗口内剔除掉和

所处直线

方向不同的点得到集合

在集合

中再次剔除处于空缺处的点，得到点集合

此刻使用彩色图信息和距离信息对

的深度进行填补，sign表示叉乘结果：

$\mathrm{sign}[(P_1-P_{D_d})\&CircleTimes;(P_2-P_{D_d})]=\left\{\begin{array}{cc}1& [(P_1-P_{D_d})\&CircleTimes;(P_2-P_{D_d})]>0\\ 0& [(P_1-P_{D_d})\&CircleTimes;(P_2-P_{D_d})]=0\\ -1& [(P_1-P_{D_d})\&CircleTimes;(P_2-P_{D_d})]<0\end{array}\right.---\left(6\right)$

${\mathrm{Set}}^{\&prime;\&prime;}\left(P_{D_d}\right)=\left\{P_{D_d}\right|\mathrm{sign}[(P_1-P_{D_d}^{\&prime;})\&CircleTimes;(P_2-P_{D_d}^{\&prime;})]=\mathrm{sign}[(P_1-P_{D_d})\&CircleTimes;(P_2-P_{D_d})]\}---\left(7\right)$

${D_d^p}^r=\frac{1}{W_u}\underset{\underset{q\&NotElement;\mathrm{occlusion}}{q\&Element;w*w,}}{\mathrm{\&Sigma;}}\left[G_{\mathrm{\&lambda;}}\left(\right||p-q|\left|\right)G_{\mathrm{\&mu;}}\left(\right||C^p-C^q|\left|\right)D_d^q\right]---\left(8\right)$

$W_{\mathrm{\&mu;}}=\underset{\underset{q\&NotElement;\mathrm{occlusion}}{q\&Element;w*w,}}{\mathrm{\&Sigma;}}\left[G_{\mathrm{\&lambda;}}\left(\right||p-q|\left|\right)G_{\mathrm{\&mu;}}\left(\right||C^p-C^q|\left|\right)\right]---\left(9\right)$

其中上述公式中的高斯核函数分别如下：

$G_{\mathrm{\&lambda;}}\left(\right||p-q|\left|\right)=e^{-\{{[p\left(x\right)-q\left(x\right)]}^2+{[p\left(y\right)-q\left(y\right)]}^2\}/(2*{\mathrm{\&lambda;}}^2)}---\left(10\right)$

$G_{\mathrm{\&xi;}}\left(\right||D_d^p-D_d^q|\left|\right)=e^{-{(D_d^p-D_d^q)}^2/(2*{\mathrm{\&xi;}}^2)}---\left(11\right)$

$G_{\mathrm{\&mu;}}\left(\right||C^p-C^q|\left|\right)=e^{-[{(C_r^p-C_r^q)}^2+{(C_g^p-C_g^q)}^2+{(C_b^p-C_b^q)}^2}]/(2*{\mathrm{\&mu;}}^2)---\left(12\right)$

填补后，将其周围的点集

加入栈中；不断重复上述的过程，直至所有的空缺都被填补，得到修复好的深度图为D_r，式中：

p(x),p(y),q(x),q(y)分别表示点和的x，y坐标值，markR为使用膨胀结构的半径；

表示彩色图C中对应于深度图D_d中位置的点的三通道的颜色值，表示彩色图C中对应于深度图D_d中位置的点的三通道的颜色值；

C^q表示彩色图C中对应于深度图D_d中

位置的点的彩色信息值，C^p表示彩色图C中对应于深度图D_d中

位置的点的彩色信息值；

分别表示深度图D_d中处于位置和

处的深度值；

λ为空间邻近度高斯核的权值因子，ξ为深度相似度高斯核的权值因子，μ为亮度相似度高斯核的权值因子，λ,ξ,μ取值空间在[3,10]间；

G_μ.(|| ||)为亮度相似度高斯核函数，G_λ.(|| ||)为空间邻近度高斯核函数，G_ξ.(|| ||)为深度相似度高斯核函数；

表示修复好的深度图D_r位置

的深度值，W_ξ为空间-深度归一化因子，W_μ为空间-亮度归一化因子；

D_m(x,y)，C_e(x,y)，D_d(x,y)，D(x,y)，C(x,y)，V(x,y)分别表示图D_m，C_e，D_d，D，C，V中位置(x,y)的点的值，x表示点的横坐标，y表示点的纵坐标。

5.如权利要求2所述的基于散斑结构光深度相机的多视点计算成像方法，其特征是，在得到修复后的深度图，根据下面的公式得到视差图：

$V=\frac{b*f}{D_r}---\left(13\right)$

b的值为Kinect的IR发生器和接收器的距离，f为Kinect的焦距。

6.如权利要求1所述的基于散斑结构光深度相机的多视点计算成像方法，其特征是，使用最终的视差图D_p和彩色图C进行虚拟视点合成，C(x,y)表示C中的点(x,y)，C_virt((x,y),k)表示第k个视点中位置处于(x,y)像素点的值，视点合成的方法如下：

C_virt((x,y),k)＝C(x+k*fact*V(x,y),y+k*fact*V(x,y))     (14)

k表示视点合成的第k个视点，fact为偏转因子，表示生成视点相对于原视点偏转长度；上述公式表示的是对于合成的第k个视点中(x,y)像素，其像素值对应于彩色图像的原始图像的(x+k*fact*V(x,y),y+k*fact*V(x,y))位置的像素值；当某些像素值存在错误，采取搜索错误像素位置的上下左右的像素，取其最近的正确的点的像素值进行代替；

在执行完上述的操作后，因为视差的后景是黑的，所以在视点转移后一些像素可能和别的像素没有一致的方向，根据像素在原图像的方向检测出错误的像素并使用左边界的像素点来进行填补；

对于左视点，前景像素右移，那么在后景中会存在左边界的空缺；对于右视点，背景像素左移，那么在后景会存在右边界的空缺。对于这两种情况，需要使用后景中最邻近空缺处的像素点进行填补。

Images