CN105096311A - 基于gpu的深度图修复和虚实场景结合技术 - Google Patents

Abstract

本发明公开一种基于GPU的深度图修复和虚实场景结合技术，主要步骤为：（1）采集深度图和彩色图；（2）对图像进行下采样，以保证实时的修复速度；（3）使用QuickShift算法对彩色图像进行分割，具体算法实现使用的是基于GPU运算的CUDA实现；（4）利用彩色图的分割结果，对存在缺失深度数据的分割块进行处理。首先对Kinect的深度图和彩色图进行配准。如果该区域内存在深度数据，则使用本区域的平均深度值填补缺失区域；如果本区域的深度信息全部缺失，则使用临近区域的平均深度值进行填补；（5）对图像进行上采样。本发明结合图像采样技术，QuickShift算法，GPU运算的CUDA技术，解决了Kinect深度图的漏洞修复问题。并在此基础上，进行虚拟物体与真实物体的叠加，实现虚拟物体与真实物体之间的遮挡，从而实现增强现实互动。

Description

基于GPU的深度图修复和虚实场景结合技术

技术领域

本发明属于计算机视觉、体感交互、增强现实领域的技术。具体涉及一种基于Kinect的传感器通过基于GPU运算的深度修复技术，进行人机交互和虚实场景结合，给参与者以更好的互动体验。

背景技术

体感交互技术是指通过用户的肢体隔空为计算机提供信息，扩展了以往传统的鼠标和键盘等输入控制设备，使得人机交互具有更加广阔的空间，操控更加自由，展现方式也更加灵活，为人类提供了新型的互动体验感受。体感交互作为一个新兴的领域，已经逐渐步入人类的日常生活当中，并且日趋流行，在游戏、医疗、零售、教育、展览展示、以及商业产品推广等领域都有着十分广泛的应用前景。

增强现实技术是在寻你现实技术的基础上发展起来的新兴技术，也被称为混合现实技术。是指通过计算机系统提供的信息增加体验者对真实世界的感知的一项技术。并且将虚拟的信息应用到真实世界当中，并将计算机产生的虚拟物体、场景或系统提示信息，有机的叠加到真实场景中，从而实现对真实场景的增强。本发明集中解决了为属于虚拟世界的物体与真实物体有机叠加提供位置信息的问题。

新型的体感传感器为增强现实领域提供了更广阔的空间和更多的可能性，由此也诞生了许多新的问题，尤为突出的就是本发明中涉及的如何正确、自然的将体感设备的数据与传统的RGB摄像机设备的采集数据相互配准、结合，实现虚拟与真实物体的有机叠加。这一步骤，是关系到互动体验质量的关键所在。只有基于正确的结合技术，才能使得新型设备的功效得到最大化的发挥，体现其优越性。

在新型传感器的应用过程中，通过体感传感设备采集信息的同时，传统的RGB摄像机也采集了场景的信息，这就需要将通过不同传感设备采集到的信息进行标定、配准。传统的基于Homography的标定方式仅在处理同一景深的图像时，可以获得正确的标定、配准融合。如何处理体感传感器采集到的带有深度内容的体感信息，研究一种根据深度进行自适应调整的标定、配准方法，有着十分重要的意义。

此外，一种生动新颖的表现形式对体感交互应用也有着十分重要的意义。在日常生活中，场景真实性的主要决定性因素在于场景中物体深度关系是否正确。深度关系是否正确决定了物体遮挡关系是否正确，如果在此环节不正确，则会巨大的影响互动体验效果，而不能给人带来“增强的”现实感受。

然而目前为止，新型体感互动传感也存在一定的弱点。其中很重要的一个方面就是由于多种硬件和原理方面的因素，很多情况下，无法获得如同传统的RGB摄像机一样致密的采样图像，体感互动传感器获得的深度图往往会在边缘、强反射、强吸收区域得不到深度信息。

因此，本发明通过基于模式识别的图像分割技术和自适应的深度图、彩色图配准技术，集中解决了新型体感设备在缺失深度的位置的深度补充问题。将深度图通过模式识别的技术，利用RGB图像对深度图进行补充，补充完好后，给人带来优质的互动体验。

随着人机交互领域的蓬勃发展，体感应用作为一种全新的人机交互方式迫切需要更加丰富和生动的表现形式，将体感信息进一步完善、补充的技术，可以极大的提升用户的互动体验质量。因此，深度图修复和虚实场景结合的技术应用到体感交互领域具有重要意义。

发明内容

(一)要解决的技术问题

本发明主要解决了Kinect深度图的漏洞修复问题。基于GPU实现了Quickshift算法，实现了彩色图的图像分割；并利用自适应的深度图与彩色图配准算法，实现了深度图与彩色图的标定、配准，并对深度图的缺失数据进行了补充。并在此基础上，进行虚拟物体与真实物体的叠加，实现虚拟物体与真实物体之间的遮挡，从而实现增强现实互动。

(二)技术方案

为完成以上目标，本发明提出了基于GPU的深度图修复和虚实场景结合技术，包括以下步骤：主要步骤为：(1)采集深度图和彩色图；(2)对图像进行下采样，以保证实时的修复速度；(3)使用QuickShift算法对彩色图像进行分割，具体算法实现使用的是基于GPU运算的CUDA实现；(4)利用彩色图的分割结果，对存在缺失深度数据的分割块进行处理。首先对Kinect的深度图和彩色图进行配准。如果该区域内存在深度数据，则使用本区域的平均深度值填补缺失区域；如果本区域的深度信息全部缺失，则使用临近区域的平均深度值进行填补。(5)对图像进行上采样。

(三)有益效果

本发明利用先进的GPU技术实现了Quickshift算法，对彩色图像进行了高质量的分割，此步骤为随后进行的深度图修复提供了可靠的依据，也为最终实现良好的互动效果提供了基础。采用自适应的深度图和彩色图的标定、配准技术，实现了彩色图与深度图的正确配准。随后使用了合理的深度修补策略，在绝大多数情况下，提供了物体间正确的深度关系，并进行虚实叠加。因此本发明获得了高质量的增强现实效果。

附图说明

图1是本发明基于GPU的深度图修复和虚实场景结合技术的基本流程图。

图2是本发明基于GPU技术实现了Quickshift算法并对彩色图像进行分割流程图。

图3是本发明彩色图的概率能量递增树建立流程图。

图4是本发明对缺失深度数据填补的流程图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实例，并参照附图，对本发明进一步详细说明。

1、方法概述

如图1所示，本发明的方法主要分为三个步骤：(1)使用QuickShift算法对彩色图像进行分割，具体算法实现使用的是基于GPU运算的CUDA实现；(2)对Kinect的深度图和彩色图进行配准；(3)利用分割后的彩色图像和配准后的深度、彩色图像关系，对深度图进行缺失修复，具体步骤为：如果该区域内存在深度数据，则使用本区域的平均深度值填补缺失区域；如果本区域的深度信息全部缺失，则使用临近区域的平均深度值进行填补。

(1)使用基于CUDA实现的Quickshift算法对彩色图像进行分割的流程为：

1>对彩色图像进行高斯滤波；

2>遍历彩色图像的每个像素，计算滤波后的彩色图像的概率密度能量值，获得彩色图像的能量图,过程为：以每个像素点为中心建立一个搜索区域窗口，在窗口内部计算每个像素的概率密度，概率密度的计算方式是对每个像素的R，G，B三分量和x，y坐标构成的特征空间；计算窗口内每个点与其他像素点在特征空间上的欧几里距离距离，然后计算该距离的以e为底的负指数值，得到该点的概率密度能量；距离越小，说明与该点类似的点的概率越大，则该点的概率密度能量也就越大。

该过程如以下式所示：第一步：D_ij为窗口内坐标为i，j的点的概率密度距离，计算每个点的概率密度距离D_ij：

$D_{ij}=\sqrt{\underset{kl}{\Σ}({(r_{ij}-r_{kl})}^2+{(g_{ij}-g_{kl})}^2+{(b_{ij}-b_{kl})}^2+{(x_{ij}-x_{kl})}^2+{(y_{ij}-y_{kl})}^2)}$

第二步：计算每个点的概率密度能量E_ij：得到该图上每一个像素点的概率密度能量图。

3>遍历图像的每个像素，建立概率密度能量递增树,具体步骤如下：

遍历高斯滤波后的图像上的每个点，在合适的临域范围内查找概率密度能量达到最大值的点，表示为：

Emax_ij＝max(E_kl)(k,l∈nb_ij)

其中：Emax_ij为坐标为i，j的像素点临域内的最大概率能量，nb_ij为坐标为i，j像素点的临域。以该点为候选，如果该点的概率密度能量大于设定的阈值，把该点设为遍历到的点的父节点：P_ij＝Emax_ij。如果不大于设定的阈值，且该点的临域还可以扩大，则扩大临域搜索范围： $\begin{array}{c}{W}_{{\mathrm{nb}}_{ij}}=W_{{\mathrm{nb}}_{ij}}*k\\ H_{{\mathrm{nb}}_{ij}}=H_{{\mathrm{nb}}_{ij}}*k\end{array},$ 其中：表示nb_ij的宽度，表示nb_ij的宽度，k表示一个大于1的比例系数。在更大的临域内搜索概率密度能量最大值并与阈值比较，重复该步骤。如果临域已经不能再扩大，则将概率密度能量最大的像素点设置为i，j点所属的聚类树的根节点，依此循环遍历，从而对于全图上的所有像素点建立起数个从叶节点到根节点概率密度能量逐渐递增的能量密度树。

4>通过上一步得到的概率密度能量递增树，得到彩色图的分割，具体算法为：将概率密度能量递增树的根节点作为聚类中心，遍历每一个棵树，将根节点下的各级子节点作为以该根节点为聚类中心的类的元素。聚类之后，以聚类的结果作为图像分割的依据，将属于同一类的像素点划分到同一区域，从而完成图像分割。

(2)对Kinect的深度图和彩色图进行配准的流程为：

Kinect深度图和彩色图配准是指：由于Kinect的深度摄像机和RGB摄像机不处于同一位置，因此若要用彩色图像为指导对深度图像进行补充，则需要对深度图和彩色图进行配准。使得从彩色图得到的信息可以正确的应用于深度图。Kinect深度传感器(MicrosoftKinectSensor)是由微软(Microsoft)公司发布的体感信息采集装置，它能够在不借助任何手持或穿戴设备的情况下实施采集用户的深度信息，完全改变了传统的人机交互方式，提供了传统RGB摄像机无法提供的深度信息，为增强现实互动提供了重要的三维信息来源，极大地推动了增强现实技术的发展。彩色图与深度图的配准方式类似于立体匹配的形式。具体配准的方法如下所示：

根据Kinect彩色图和深度图的位置关系，计算二者之间的变换矩阵：

$M=\left[\begin{array}{ccc}{m}_{11}& m_{12}& m_{13}\\ m_{21}& m_{22}& m_{23}\\ m_{31}& m_{32}& m_{33}\end{array}\right]$

由于Kinect的深度相机和彩色相机的光轴朝向和顶部朝向一致，计算所得的变化矩阵M中m₁₂、m₂₁、m₃₁、m₃₂近似为0，因此，彩色图和深度图之间变换矩阵可以写作：

$M=\left[\begin{array}{ccc}{d}_1& 0& c_x\\ 0& d_2& c_y\\ 0& 0& 1\end{array}\right].$

根据变换矩阵就可以得到Kinect采集的深度图和彩色图相对位置变化关系：

$M=\left[\begin{array}{ccc}{d}_1& 0& c_x\\ 0& d_2& c_y\\ 0& 0& 1\end{array}\right]$

计算深度图和彩色图之间的变换关系P＝MQ，

其中： $P=\left[\begin{array}{c}x\\ y\\ w\end{array}\right]$ 是深度图的二维齐次坐标， $M=\left[\begin{array}{ccc}{d}_1& 0& c_x\\ 0& d_2& c_y\\ 0& 0& 1\end{array}\right]$ 是彩色图和深度图之间的变换矩阵， $Q=\left[\begin{array}{c}a\\ b\\ c\end{array}\right]$ 是彩色图的二维齐次坐标，d₁是彩色图与深度图的横向分辨率之比，d₂是彩色图与深度图的纵向分辨率之比。。且w＝c，根据深度变换方程， $X_{move}=\frac{k\·c_x}{V_{depth}},Y_{move}=\frac{k\·c_y}{V_{depth}}.$ 求解不同深度下，水平和竖直方向上配准图像之间的位移变换，其中k为深度到彩色的映射常数，V_depth为深度值。对彩色图像上的每一个点都进行这样的遍历之后，就得到了位移变换后的深度图与彩色图进行配准，在这个配准的过程当中由于深度摄像机和RGB摄像机的位置不同，因此会出现遮挡问题，这样会在配准之后的深度图中出现新的空缺数据，在下一步的深度填补步骤中对于这些缺失的数据和由于采集所致的缺失数据一样进行修复。本步骤为随后的深度图修复补充步骤提供信息，获得完整的场景深度信息。

(3)利用分割后的彩色图像和配准后的深度、彩色图像关系，对深度图进行缺失修复流程为：

假设彩色图分割之后，整张图分为n个不同的区域。按照彩色图的分割的结果，遍历所有的分割区域。判断配准后的深度图在彩色图的分割区域内是否有深度值。

1>如果在彩色图的分割区域内有深度值，那么给缺失深度数据的位置赋予该区域内的平均深度值。

表示为：

$D_{gap}=\frac{1}{{\mathrm{Num}}_{fill}}\underset{i}{\Σ}{D}_{fill\left(i\right)}$

其中：D_gap表示缺失位置计算所得的填补深度，D_fill(i)表示分割区域内的第i个有深度的像素的深度值，对这些深度值进行求和。Num_fill表示有深度值的像素的个数。

2>如果在彩色图分割区域内所有像素都没有深度值，则用临近区域的深度来补充这些位置的深度值。

表示为：

$D_{gap}=\frac{1}{{\mathrm{Num}}_{neig}}\underset{i}{\Σ}{D}_{neig\left(i\right)}*{\mathrm{Num}}_{neig\left(i\right)}$

其中：D_gap表示缺失位置填补的深度，D_neig(i)表示分割区域临近的第i个区域的平均深度值，Num_neig(i)表示分割区域临近的第i个区域的有深度值的像素点的个数，对二者的乘积进行求和。Num_neig表示区域临近区域的有深度的像素的总个数，即： ${\mathrm{Num}}_{neig}=\underset{i}{\Σ}{\mathrm{Num}}_{neig\left(i\right)}.$

Claims (7)

1.基于GPU的深度图修复和虚实场景结合技术，包括以下步骤：

(1)采集深度图和彩色图；

(2)对图像进行下采样，以保证实时的修复速度；

(3)使用QuickShift算法对彩色图像进行分割，具体算法实现使用的是基于GPU运算的CUDA实现；

(4)利用彩色图的分割结果，对存在缺失深度数据的分割块进行处理。首先对Kinect的深度图和彩色图进行配准。如果该区域内存在深度数据，则使用本区域的平均深度值填补缺失区域；如果本区域的深度信息全部缺失，则使用临近区域的平均深度值进行填补；

(5)对图像进行上采样。

2.如权利要求1所述的方法，其特征在于使用基于CUDA实现的Quickshift算法对彩色图像进行分割的步骤包括：

(1)对彩色图像进行高斯滤波；

(2)遍历彩色图像的每个像素，计算滤波后的彩色图像的概率密度能量值，获得彩色图像的能量图；

(3)遍历图像的每个像素，建立概率密度能量递增树；

(4)以每个像素追溯到的根节点为依据，对图像像素进行聚类；完成彩色图像分割。

3.如权利要求2所述的方法，其特征在于，计算彩色图像的概率密度能量值的方法；

在窗口内部计算每个像素的概率密度，概率密度的计算方式是对每个像素的R，G，B三分量和x，y坐标构成的特征空间；

计算窗口内每个点与其他像素点在特征空间上的欧几里距离距离，然后计算该距离的以e为底的负指数值，得到该点的概率密度能量；

距离越小，说明与该点类似的点的概率越大，则该点的概率密度能量也就越大。

该过程如以下式所示：

(1)D_ij为窗口内坐标为i，j的点的概率密度距离，计算每个点的概率密度距离D_ij：

$D_{ij}=\sqrt{\underset{kl}{\Σ}\left({(r_{ij}-r_{kl})}^2+{(g_{ij}-g_{kl})}^2+{(b_{ij}-b_{kl})}^2+{(x_{ij}-x_{kl})}^2+{(y_{ij}-y_{kl})}^2\right)}$

(2)计算每个点的概率密度能量E_ij

$E_{ij}=e^{-D_{ij}}$

4.如权利要求2所述的方法，其特征在于，建立概率密度能量递增树的步骤如下：

遍历高斯滤波后的图像上的每个点，在合适的临域范围内查找概率密度能量达到最大值的点，以该点为候选；

如果该点的概率密度能量大于设定的阈值，把该点设为遍历到的点的父节点；

如果不大于设定的阈值，则扩大临域搜索范围，在更大的临域内搜索概率密度能量最大值并与阈值比较，重复该步骤；

如果临域已经足够大，则将概率密度能量最大的像素点设置为树的根节点，依此循环遍历；

遍历全图之后，以所有的树的根节点为距离中心，每个根节点下的各级子节点都与根节点聚于一类；

将聚于一类的像素分割到同一区域。

该过程如下式所示：

(1)遍历彩色图中的每一个像素点(坐标为：i，j)，在临域内查找概率密度能量最大的像素点：

Emax_ij＝max(E_kl)(k,l∈nb_ij)

其中：

Emax_ij为坐标为i，j的像素点临域内的最大概率能量；

nb_ij为坐标为i，j像素点的临域；

(2)比较最大概率能量与阈值的大小：

1>如果大于设定的阈值，把该点设为遍历到的点的父节点：

P_ij＝Emax_ij

2>如果不大于设定的阈值：

2.1>如果临域大小还可以扩大，则扩大临域搜索范围

$W_{{\mathrm{nb}}_{ij}}=W_{{\mathrm{nb}}_{ij}}*k$

$H_{{\mathrm{nb}}_{ij}}=H_{{\mathrm{nb}}_{ij}}*k$

其中：表示nb_ij的宽度，表示nb_ij的宽度，k表示一个大于1的比例系数；

2.2>如果临域大小不能扩大，则把这个概率密度能量达到坐标为i，j点的临域内最大的Emax_ij，设置为i，j点所属的聚类树的根节点，此根节点将作为聚类中心。

5.如权利要求2所述的方法，其特征在于，以概率密度能量递增树为依据进行图像分割：

将概率密度能量递增树的根节点作为聚类中心；

遍历每一个棵树，将根节点下的各级子节点作为以该根节点为聚类中心的类的元素；

聚类之后，以聚类的结果作为图像分割的依据，将属于同一类的像素点划分到同一区域，从而完成图像分割。

6.如权利要求1所述的方法，其特征在于，彩色图与深度图的配准,具体步骤包括：

对来自Kinect的深度图和彩色图进行校正和配准，传统的基于Homography矩阵的变化方式只能对同一景深的深度图和彩色图进行有效配准，而不能对不同深度上的信息进行校正和配准。

出于这个原因，本发明使用一种新型的自适应深度校正方式，根据深度值大小进行校正和配准。通过计算Kinect的彩色图和深度图之间的变换矩阵

$M=\left[\begin{array}{ccc}{d}_1& 0& c_x\\ 0& d_2& c_y\\ 0& 0& 1\end{array}\right]$

计算深度图和彩色图之间的变换关系P＝MQ，

其中： $P=\left[\begin{array}{c}x\\ y\\ w\end{array}\right]$ 是深度图的二维齐次坐标，

$M=\left[\begin{array}{ccc}{d}_1& 0& c_x\\ 0& d_2& c_y\\ 0& 0& 1\end{array}\right]$ 是彩色图和深度图之间的变换矩阵，

$Q=\left[\begin{array}{c}a\\ b\\ c\end{array}\right]$ 是彩色图的二维齐次坐标，d₁是彩色图与深度图的横向分辨率之比，d₂是彩色图与深度图的纵向分辨率之比。

且w＝c，根据深度变换方程，求解不同深度下，水平和竖直方向上配准图像之间的位移变换，其中k为深度到彩色的映射常数，V_depth为深度值，将位移变换后的深度图与彩色图进行配准。

7.如权利要求1所述的方法，其特征在于，利用配准后的彩色图与深度图，进行深度修复,具体步骤包括：

按照彩色图的分割的结果，遍历所有的分割区域，判断配准后的深度图在彩色图的分割区域内是否有深度值。

1>如果在彩色图的分割区域内有深度值，那么给缺失深度数据的位置赋予该区域内的平均深度值。

表示为：

$D_{gap}=\frac{1}{{\mathrm{Num}}_{fill}}\underset{i}{\Σ}{D}_{fill\left(i\right)}$

其中：D_gap表示缺失位置填补的深度，D_fill(i)表示分割区域内的第i个有深度的像素的深度值，Num_fill表示有深度值的像素的个数。

2>如果在彩色图分割区域内所有像素都没有深度值，则用临近区域的深度来补充这些位置的深度值。

表示为：

$D_{gap}=\frac{1}{{\mathrm{Num}}_{neig}}\underset{i}{\Σ}{D}_{neig\left(i\right)}*{\mathrm{Num}}_{neig\left(i\right)}$

其中：D_gap表示缺失位置填补的深度，D_neig(i)表示分割区域临近的第i个区域的平均深度值，Num_neig(i)表示分割区域临近的第i个区域的有深度值的像素点的个数，Num_neig表示区域临近区域的有深度的像素的总个数。