CN103440662A - Kinect深度图像获取方法与装置 - Google Patents

Abstract

本发明公开了一种基于散焦法和图像融合的Kinect深度图像获取方法与装置，包括：对Kinect彩色图应用Mean Shift算法进行图像分割；根据Kinect彩色图像使用散焦法提取深度；将散焦法提取的深度图和Kinect传感器捕获的深度图融合；对融合生成的深度图进行三边滤波。其中，基于散焦法的单幅图像深度提取方法，通过边缘点处LOG滤波响应的正负双峰间距计算散焦模糊参数进而获得边缘点处深度值，使用matting Laplacian插值生成稠密深度图；利用自适应权值选取方法将散焦法深度图与Kinect原始深度图融合。本发明的有益效果是：能够结合散焦法提取深度与Kinect主动式提取深度各自的优点，获得比Kinect原始深度图质量更好的深度图像，该深度图像不包含空洞、平滑性更好且噪声水平更低。

Description

Kinect深度图像获取方法与装置

【技术领域】

本发明属于计算机视觉领域，具体涉及一种Kinect深度图像获取方法与装置。

【技术背景】

微软公司的Kinect体感交互设备正在引领着自然人机交互技术的热潮。Kinect for Xbox360作为Xbox360游戏机的外接设备，利用动态骨骼追踪、影像识别、语音识别等功能使玩家能够摆脱传统游戏手柄的束缚，带来全新的体感交互游戏体验。2012年初微软正式发布了Kinect for Windows，意味着Kinect被推广到Windows平台。Kinect在3D重建、动作捕捉、机器人控制、虚拟现实、增强现实等方面都有很好的应用前景，这极大地激发了科研和开发人员的兴趣与热情。

Kinect的技术核心之一是深度获取。Kinect拥有一个RGB摄像头、一个红外线发射器和一个红外摄像头，能够同时捕获场景的彩色图像与深度图像。Kinect使用一家以色列公司PrimeSense的光编码(light coding)技术来获取深度信息，它属于一种新的结构光技术。红外线发射器发射出激光散斑对场景形成光编码，红外摄像头捕获散斑图像之后结合光源标定时得到的参考散斑图案进行一系列计算，便可以得到场景中物体的深度信息。

Kinect捕获的深度图像存在较多空洞区域，即深度信息缺失，另外还存在闪烁现象以及光学噪声等问题。如果要用于3D重建或是基于深度图渲染(DIBR)的虚拟视点绘制，则需要更高质量的深度图像。

【发明内容】

为了克服现有技术的不足，本发明提供了一种Kinect深度图像获取方法与装置，以获取深度图像并改善Kinect深度图像质量。

为此，本发明提出一种Kinect深度图像获取方法与装置，装置包括Kinect设备以及配套的软件系统，方法包括如下步骤：

1)对Kinect彩色图应用Mean Shift算法(指一个迭代的步骤，即先算出当前点的偏移均值，移动该点到其偏移均值，然后以此为新的起始点，继续移动，直到满足一定的条件结束。详见百度文库，mean-shift算法概述，http：//wenku.baidu.com/view/0d9eb876a417866fb84a8eb2.html)进行图像分割；

2)根据Kinect彩色图像使用散焦法提取深度；

3)自适应权值的深度图像融合(图像融合，Image Fusion，是指将多源信道所采集到的关于同一目标的图像数据经过图像处理和计算机技术等，最大限度的提取各自信道中的有利信息，最后综合成高质量的图像)；

4)对融合生成的深度图进行三边滤波(百度文库，http：//wenku.baidu.com/view/6df033c74028915f804dc2d5，《三边滤波的图像插值》，提出了一种三边滤波插值法，该方法利用平滑不同自然图像轮廓的行为，并试图通过抑制边缘凸角落像素克服轮廓锯齿问题)。

其中步骤2)中通过边缘点处LOG滤波(LOG滤波器是高斯(GAUSS)滤波和拉普拉斯(LAPLACIAN)滤波的结合，即先用高斯滤波器进行平滑滤波，以过虑调噪声，再提取边缘，所以效果较好。LOG滤波器原理：设I(x,y)代表灰度变化，灰度变化剧烈的地方就是阶跃点，而阶跃点的一次微商为极大值，二次微商为零。因此二次微商为零的地方就是图像的边缘所在。百度文库，http：//wenku.baidu.com/view/fb9b916d1eb91a37f1115cdf.html)响应的正负双峰间距计算散焦模糊参数进而获得边缘点处深度值，使用matting Laplacian(拉普拉斯抠图法)插值生成稠密深度图；

步骤3中，利用自适应权值选取方法将散焦法深度图与Kinect原始深度图融合。

本发明的有益效果是：能够结合散焦法提取深度与Kinect主动式提取深度各自的优点，获得比Kinect原始深度图质量更好的深度图像，该深度图像不包含空洞、平滑性更好且噪声水平更低。

【附图说明】

图1是本发明一种实施例的结合散焦法的Kinect深度图像获取方法与装置的流程示意图。

图2是本发明一种实施例的基于散焦法的单幅图像深度提取方法的流程示意图。

【具体实施方式】

以下将结合附图，对本发明的具体实施例作进一步详细说明。

如图1所示，本发明的一种实施例的结合散焦法的Kinect深度图像获取方法与装置，包括如下步骤：

一、对Kinect彩色图应用Mean Shift算法进行图像分割

Mean Shift算法可以用来根据颜色信息实现图像分割，其基本原理是MeanShift向量总是指向概率密度梯度的方向，因而通过迭代算法可以收敛到概率密度函数的一个局部稳态点。对Kinect彩色图应用Mean Shift算法进行图像分割的具体方法如下：

1)由于RGB彩色空间是视觉感知非线性的彩色空间，为便于彩色图像分割，先将彩色图像转换到视觉感知近似线性的LUV彩色空间。LUV彩色空间全称CIE1976(L*，u*，v*)或CIELUV彩色空间，由CIEXYZ空间经简单变换得到，其中L*表示亮度，取值为0到100；u*和v*分别表示色调和饱和度，取值为-100到+100。由RGB空间到LUV空间的转换公式如下：

$\left[\begin{array}{c}X\\ Y\\ Z\end{array}\right]=\frac{1}{0.17697}\left[\begin{array}{ccc}0.49& 0.31& 0.20\\ 0.17697& 0.81240& 0.01063\\ 0.00& 0.01& 0.99\end{array}\right]\left[\begin{array}{c}R\\ G\\ B\end{array}\right]$

$\left\{\begin{array}{c}{u}^{\′}=4X/(X+15Y+3Z)\\ v^{\′}=9Y/(X+15Y+3Z)\end{array}\right.$

$L^{*}=\left\{\begin{array}{cc}{116Y}^{1/3}-16,& Y>0.008856\\ 903.3Y,& Y\≤0.008856\end{array}\right.$

$\left\{\begin{array}{c}{u}^{*}={13L}^{*}/(u^{\′}-0.19793943)\\ v^{*}={13L}^{*}/(v^{\′}-0.46831096)\end{array}\right.$

根据上式可由彩色图像的(R，G，B)坐标值计算出LUV彩色空间中的(L*，u*，v*)坐标值。

2)将图像中每个像素的空间坐标和彩色信息组成一个5维的增广向量x＝(x^s，x^r)，其中空间坐标x^s＝(x，y)，彩色信息x^r＝(L^*，u^*，v^*)，即增广向量x＝(x，y，L^*，u^*，v^*)。

3)对每个像素进行以下迭代过程：

i.按照下式计算Mean Shift向量M_h(x^t)：

$M_h\left(x^t\right)=x^{t+1}-x^t=\frac{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{K}_{h_s,h_r}(x_i-x^t)-x_i}{\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{K}_{h_s,h_r}(x_i-x^t)}-x^t$

其中t表示迭代次数，n为落入区域S_h的像素个数。

为核函数，定义如下：

$K_{h_s,h_r}=\frac{C_0}{h_s^2{h}_r^3}k\left({\left|\right|\frac{x^s}{h_s}\left|\right|}^2\right)k\left({\left|\right|\frac{x^r}{h_r}\left|\right|}^2\right)$

式中C₀为归一化常数，h_s和h_r为控制核函数带宽的参数，可根据实际情况按经验取值，如(h_s，h_r)=(8，8)，(h_s，h_r)=(16，8)等，不同的参数配置下分割结果会有所不同，理论上讲图像尺寸较大时h_s也应较大，图像灰度级较多时则h_r应大些，可参阅Mean Shift算法的经典论文《Mean shift：a robust approach toward featurespace analysis》，http：／／ieeexplore.ieee.org／xpls／abs_all.jsp?arnumber=1000236，发表于《Pattern Analysis and Machine Intelligence》，IEEE Transactions onVolume：24，Issue：5)，k是核函数的剖面函数，为保证收敛性要求k是凸的、单调递减的。x是前面2)中定义的增广向量

x_i为落入区域S_h的像素，i为下标表示第i个。

ii.计算x^t+1=x^t+M_h(x^t)。如果Mean Shift向量满足||M_h(x^t)||<ε_h，其中ε_h是设定的阈值，阈值ε_h也视经验设定，会影响收敛精度和速度，一般可设为0.001或10^-6等，阈值更小时收敛精度更高，但收敛速度会慢些，则迭代终止，x^t+1为收敛终点；否则返回i步在x^t+1点处继续迭代过程。

4)将收敛到同一个点的像素聚为一类。如果两类的中心间距小于h_s，则将此两类合并；如果某一类包含的像素点少于预先设定的像素数目阈值(此阈值为一类最少需包含的像素数目，如取100)，也将该类合并到相邻的类中。

Mean Shift算法结束时得到c个聚类，对应Kinect彩色图像分割结果的c个区域R₁，R₂，...，R_c。其中c是分割区域的数目。

二、根据Kinect彩色图像使用散焦法提取深度

散焦法是一种较为有效的可以从单目图像中提取深度的方法。散焦现象是指当物体没有位于聚焦点时，拍摄的图像会产生模糊，并且根据物体到聚焦平面的距离不同，模糊程度也不同。因此散焦可以作为一种单目深度线索用来提取深度信息，其中的关键是估计散焦模糊参数，进而结合相机参数计算出深度值。根据点光源成像模型，当实际的成像平面不在焦平面时，所成的像不是一个点，而是一个弥散斑。可以使用二维高斯函数作为点扩散函数(PSF)：

$h(x,y,\mathrm{\&sigma;})=\frac{1}{2\mathrm{\&pi;}{\mathrm{\&sigma;}}^2}{e}^{-\frac{x^2+y^2}{2{\mathrm{\&sigma;}}^2}}$

散焦图像可视为各像素位置完全聚焦的图像与此点扩散函数卷积而成，σ称为散焦参数，与弥散斑半径b的关系为σ=kb，k为与相机有关的常数。

将原散焦图像C(x，y)转换为灰度图像I₀(x，y)，其待估计的散焦参数为σ。下面通过LOG滤波和边缘检测来估计散焦参数σ，得到边缘点处的稀疏深度图，进而使用拉普拉斯抠图法(matting Laplacian)插值生成稠密深度图。提出的基于散焦法的单幅图像深度提取方法如图2所示，具体步骤如下：

1)使用标准差为σ₁的上述二维高斯函数h(x，y，σ₁)对I₀(x，y)进行再模糊，即用此高斯核与原散焦图像进行卷积：

$I_1(x,y)=h(x,y,{\mathrm{\&sigma;}}_1)\&CircleTimes;I_0(x,y)$

二维高斯函数h(x，y，σ₁)的定义为再模糊尺度σ₁是预先设定的，可取σ₁=1；

2)对I₀(x，y)均使用Canny(Canny边缘检测算子是JohnF.Canny于1986年开发出来的一个多级边缘检测算法，Canny的目标是找到一个最优的边缘检测算法，见http：／／zh.wikipedia.org／zh-cn／Canny％E7％AE％97％E5％AD％90，维基百科)进行边缘检测，记得到的边缘点集分别为E₀。由于Canny边缘检测的第一步为对图像进行高斯滤波，因此可以直接使用1)中的再模糊结果I₁(x，y)；

3)对I₀(x，y)使用LOG算子进行滤波，等价于将再模糊结果I₁(x，y)与拉普拉斯算子卷积：

$I_2(x,y)=\left[{\&dtri;}^{2}h(x,y,{\mathrm{\&sigma;}}_1)\right]\&CircleTimes;I_0(x,y)={\&dtri;}^2[h(x,y,{\mathrm{\&sigma;}}_1)\&CircleTimes;I_0(x,y)]={\&dtri;}^2{I}_1(x,y)$

其中

为拉普拉斯算子

，而将拉普拉斯算子应用于高斯函数即为高斯拉普拉斯(LOG)算子

；

4)对于2)中检测到的边缘点(x，y)∈E₀，计算I₂(x，y)中该边缘点处的梯度向量

。由于在边缘处LOG滤波响应会出现一正一负两个峰值，因此在I₂(x，y)中，以(x，y)为中心沿着正梯度方向

搜索第一个灰度极大值点(x_h，y_h)，沿着负梯度方向

搜索第一个灰度极小值点(x_l，y_l)。计算这两个极值点之间的空间距离，即边缘处LOG滤波响应的正负双峰间距：

$a(x,y)=\sqrt{{(x_h-x_l)}^2+{(y_h-y_l)}^2},(x,y)\&Element;E_0$

5)边缘点(x，y)∈E₀处，如果a(x，y)<2σ₁，则舍弃该边缘点并继续处理下一个边缘点；否则跟据a(x，y)和σ₁计算原散焦图像在边缘点处的散焦参数：

$\mathrm{\&sigma;}(x,y)=\sqrt{{\left(\frac{a(x,y)}{2}\right)}^2-{{\mathrm{\&sigma;}}_1}^2},(x,y)\&Element;E_0$

6)根据边缘点处的散焦参数σ(x，y)根据下式计算边缘点处的深度值：

${\hat{D}}_2(x,y)=\frac{f_0{s}_0}{s_0-f_0-\frac{2\mathrm{\&sigma;}(x,y)F_0}{k_0}},(x,y)\&Element;E_0$

其中

为物体到透镜平面的距离，即所要估计的深度；s₀为成像平面到透镜平面的距离，f₀和D₀分别为透镜的焦距和直径，且有光圈指数F₀=f₀／D₀；k为常数，通常可取

。由于相机参数(f₀，F₀，s₀)未知，在此可以手动设置一组相机参数并根据散焦参数σ计算深度，此时得到的深度值并不是实际中真实的深度值，但仍可表示各物体间的相对深度。

7)通过上一步得到一幅只在边缘点处有深度估计值的稀疏深度图

，将它表示为列向量

。下面对稀疏深度图插值生成稠密深度图D₂(x，y)，对应列向量d。使用拉普拉斯抠图法(matting Laplacian)完成深度图插值，此问题可以描述为以下的能量函数最小化问题：

$d=\arg \min \{d^T\mathrm{Ld}+\mathrm{\&lambda;}(d^T-{\hat{d}}^T)D_S(d-\hat{d})\}$

其中D_s为对角矩阵，当像素i为边缘像素时，矩阵元素D_s(i，i)的值为1，否则为0。L的定义如下：

$\underset{k|(i,j)\&Element;w_k}{\mathrm{\&Sigma;}}({\mathrm{\&delta;}}_{\mathrm{ij}}-\frac{1}{\left|w_k\right|}(1+(C_i-{\mathrm{\&mu;}}_k){({\mathrm{\&Sigma;}}_k+\frac{\mathrm{\&epsiv;}}{\left|w_k\right|}{U}_3)}^{-1}(C_j-{\mathrm{\&mu;}}_k)))$

其中δ_ij为克罗内克函数，U₃为3×3的单位矩阵，μ_k和∑_k分别表示窗口w_k内3通道彩色图像的均值和协方差矩阵，|w_k|为窗口w_k内的像素数目，C_i和C_j分别表示像素i和j处的颜色值，ε为归一化参数。

上述能量最小化问题可通过求解下面的稀疏线性方程得到解d：

$(L+\mathrm{\&lambda;}{D}_S)d=\mathrm{\&lambda;}\hat{d}$

将解得的d转换为二维图像即是根据Kinect彩色图像使用散焦法获得的深度图D₂(x，y)。

三、自适应权值的深度图融合

在前述步骤中根据Kinect彩色图像使用散焦法得到了深度图D₂(x，y)，将D₂(x，y)与Kinect传感器捕获的深度图D₁(x，y)融合，生成图像质量更好的深度图

融合是以前述步骤中Mean Shift图像分割结果的区域为单位的，为充分利用散焦法所得深度图和Kinect原始深度图各自的优点，保证融合后的深度图像质量，采用自适应权值的融合方法。每个像素处融合时对于D₁(x，y)和D₂(x，y)的权值不仅与该像素所属区域的平滑程度有关，也与该像素到边缘像素的距离有关。融合的具体方法如下，对每个分割区域R_i，i＝1，2，...，c：

1)计算深度图D₁和D₂中区域R_i内的像素灰度均值之差：

${\mathrm{diff}}_{R_i}={\stackrel{\&OverBar;}{D}}_1\left(R_i\right)-{\stackrel{\&OverBar;}{D}}_2\left(R_i\right)$

其中

和

分别是深度图D₁和D₂中区域R_i内的像素灰度均值。

2)计算与区域内方差有关的权值

$w_{R_l}=\frac{\mathrm{var}\left(D_2\left(R_i\right)\right)}{\mathrm{var}\left(D_1\left(R_i\right)\right)+\mathrm{var}\left(D_2\left(R_i\right)\right)}$

其中var(D₁(R_i))和var(D₂(R_i))分别为深度图D₁和D₂中区域R_i内的像素灰度值方差。

3)对区域R_i内每个像素点计算与该像素到边缘像素点之间的空间距离有关的权值w_S(x，y)：

$w_S(x,y)=1-{\left(\frac{\stackrel{\&OverBar;}{d}(x,y)}{d_{\max }(x,y)}\right)}^2,(x,y)\&Element;R_i$

其中

和分别为当前像素点(x，y)到离它最近的m个边缘像素点(x_k，y_k)，k＝1，2，...，m的平均距离和最大距离：

$\stackrel{\&OverBar;}{d}(x,y)=\frac{1}{m}\underset{k=1}{\overset{m}{\mathrm{\&Sigma;}}}\sqrt{{(x-x_k)}^2+{(y-y_k)}^2},(x,y)\&Element;R_i,(x_k,y_k)\&Element;E_0$

$d_{\max }(x,y)=\underset{k=\mathrm{1,2},...,m}{\max }\sqrt{{(x-x_k)}^2+{(y-y_k)}^2},(x,y)\&Element;R_i,(x_k,y_k)\&Element;E_0$

4)根据以上权值和w_s(x，y)对区域R_i内进行逐像素融合：

${\hat{D}}_3(x,y)=w_{R_i}(1-w_S(x,y))D_1(x,y)+(1-w_{R_i})w_S(x,y)(D_2(x,y)+{\mathrm{diff}}_{R_i}),(x,y)\&Element;R_i$

四、对融合生成的深度图进行三边滤波

对融合生成的深度图

应用具有保边去噪功能的三边滤波器，对深度图

中的每个像素p＝(x_p，y_p)：

$D_3\left(p\right)=\frac{1}{\underset{q\&Element;N\left(p\right)}{\mathrm{\&Sigma;}}{w}_s(p,q)w_C(p,q)w_D(p,q)}\underset{q\&Element;N\left(p\right)}{\mathrm{\&Sigma;}}{w}_s(p,q)w_C(p,q)w_D(p,q){\hat{D}}_3\left(q\right)$

其中

$w_s(p,q)=e^{-\frac{{\left|\right|p-q\left|\right|}^2}{{{2\mathrm{\&sigma;}}_s}^2}}$

$w_C(p,q)=e^{-\frac{{\left|\right|C\left(p\right)-C\left(q\right)\left|\right|}^2}{2{{\mathrm{\&sigma;}}_C}^2}}$

$w_D(p,q)=e^{-\frac{{\left|\right|{\hat{D}}_3\left(p\right){\hat{D}}_3\left(q\right)\left|\right|}^2}{2{{\mathrm{\&sigma;}}_D}^2}}$

分别表征空间距离、颜色值差异和深度值差异，σ_s、σ_C和σ_D为预设的滤波器参数，N(p)为p的邻域像素集合。

综上所述，本发明在Kinect的原始深度图像的基础上，利用同时刻的彩色图像通过散焦法得到另一幅深度图，将它与Kinect原始深度图融合并优化后得到质量更好的精细深度图，通过自适应的融合权值选取方法使得融合生成的深度图结合了散焦法提取深度与Kinect主动式提取深度各自的优点，有效填补了空洞区域、平滑性更好且噪声水平更低。本领域的普通技术人员在本发明的启发下所做出的变通均属于本发明的保护范围。

Claims (7)

1.一种Kinect深度图像获取方法，其特征是，包括如下步骤：

1)对Kinect彩色图应用Mean Shift算法进行图像分割；

2)根据Kinect彩色图像使用散焦法提取深度D₂(x，y)；

3)自适应权值的深度图融合：将D₂(x，y)与Kinect传感器捕获的深度图D₁(x，y)融合，生成图像质量更好的深度图

(x，y)；

4)对融合生成的深度图进行三边滤波。

2.如权利要求1所述的Kinect深度图像获取方法，其特征是：所述步骤1)中，将Kinect彩色图转换到LUV彩色空间并使用Mean Shift算法将图像分割为c个区域R₁，R₂，...，R_c，其中c为Mean Shift图像分割结果的分割区域数目，即类别数。

3.如权利要求1所述的Kinect深度图像获取方法，其特征是：所述步骤2)中，根据Kinect彩色图像使用散焦法提取深度的方法是，将Kinect彩色图转换为灰度图，使用Canny算子检测边缘并计算LOG滤波响应，通过边缘点处LOG滤波响应的正负双峰间距计算散焦模糊参数进而获得边缘点处深度值，得到稀疏深度图。

4.如权利要求3所述的Kinect深度图像获取方法，其特征是：根据只包含边缘点处深度值的稀疏深度图使用matting Laplacian插值生成稠密深度图。

5.如权利要求1所述的Kinect深度图像获取方法，其特征是：所述步骤3)中，自适应权值的深度图融合方法是，根据散焦法得到的深度图和Kinect原始深度图，以Mean Shift分割区域为单位进行像素级加权融合，根据该像素所述区域的灰度值方差和该像素到边缘像素的距离自适应地计算融合的权值。

6.如权利要求1所述的Kinect深度图像获取方法，其特征是：所述步骤4)中，对融合生成的深度图进行三边滤波，三边滤波器的权值包括三项，分别表征空间距离、颜色值差异和深度值差异。

7.一种Kinect深度图像获取装置，其特征是，包括Kinect设备以及配套的软件系统，其中软件系统采用如权利要求1-6所述的Kinect深度图像获取方法。

Images