CN103455984B - 一种Kinect深度图像获取方法与装置 - Google Patents

Abstract

本发明公开了一种Kinect深度图像获取方法与装置，包括：使用Kinect对静止场景连续采样，得到若干帧深度图像和彩色图像；对多帧深度图像进行中值滤波去噪；对第一帧彩色图和中值滤波后的深度图使用Canny算子进行边缘检测；利用Kinect深度数据的用户索引值实现深度图像初步分割，得到一幅标记图，具有相同标记值的像素属于同一个区域；结合深度图和彩色图边缘信息，以及深度图像分割结果，使用考虑边缘限制的区域生长方法对深度图进行初步修复并更新标记图；根据更新后的标记图，对深度图像应用三边滤波实现图像增强。本发明有效改善了深度图与彩色图的边缘不一致问题，修复了Kinect原始深度图像中的空洞，同时去除了噪声，最终能够获得质量较好的深度图像。

Description

一种Kinect深度图像获取方法与装置

【技术领域】

本发明属于计算机视觉领域，具体涉及一种Kinect深度图像获取方法与装置。

【技术背景】

Kinect是微软公司最新推出的体感交互设备。最初Kinect只是作为Xbox360游戏机的周边外部设备，利用即时动态捕捉、影像识别、麦克风输入、语音识别、社群互动等功能，使得用户可以摆脱传统游戏手柄的束缚，通过身体动作控制游戏。2012年初，微软正式发布了Kinect for Windows，并同时发布了Kinect forWindows SDK软件开发工具包，这意味着Kinect被推广到Windows平台，开发者可以利用Kinect提供的数据、接口和功能来进行研究、展示、教学以及开发应用程序。

Kinect有3个镜头，包括一个RGB彩色摄像头，一个红外线发射器，以及一个红外线CMOS摄影头作为3D结构光深度感应器。Kinect获取深度信息的原理不同于ToF（time of flight）或传统的结构光技术，而是使用了一种光编码（lightcoding）技术。红外线发射器向环境中发射出具有高度随机性的“激光散斑”（laserspeckle），对环境形成立体的“光编码”。通过红外线接收器采集反射光得到红外图像，再根据Kinect的原始参数进行计算即可得到深度信息。

尽管Kinect能够以一定的帧率连续地采集深度图像，但此深度图仍然存在很多问题，如深度图与彩色图边缘不一致、光学噪声、闪烁现象等。此外深度图中存在明显的空洞，即深度信息缺失，这主要是由于场景中存在遮挡或反射能力较差的物体平面，导致红外线无法反射回来被传感器接收。此外环境光的明暗也会对红外线的接收产生影响。因此，如果要将Kinect获取的深度图像应用于三维重建或虚拟视点绘制，则有必要对深度图作一定的图像修复和质量增强处理。

【发明内容】

为了克服现有技术的不足，本发明提供了一种Kinect深度图像获取方法与装置，以获取深度图像并改善Kinect深度图像质量。

一种Kinect深度图像获取方法与装置，装置包括Kinect设备以及用于深度图像修复和增强的配套软件系统，方法包括如下步骤：

1）使用Kinect对静止场景连续采样，得到若干帧彩色图像和深度图像；

2）对得到的多帧深度图像进行中值滤波去噪，即对每个像素都取多帧采样的深度的中值；

3）对第一帧彩色图以及中值滤波后的深度图使用Canny算子进行边缘检测；

4）利用Kinect深度数据的用户索引值实现初步的图像分割，得到一幅标记图，标记图中每个像素的值是Kinect深度数据低三位对应的整数值，具有相同标记值的像素属于同一个区域；

5）结合3）中得到的彩色图和深度图边缘信息，使用区域生长方法对深度图进行初步修复，同时更新标记图；

6）根据修复后的标记图，将一种三边滤波器应用于经过前述步骤初步修复后的深度图像，实现空洞修复和质量增强。

本发明的有益效果是：有效填补了Kinect原始深度图像中的空洞，同时去除了噪声和不连续性，最终能够获得质量较好的深度图像。

【附图说明】

图1是本发明一种实施例的Kinect深度图像获取方法的流程示意图。

图2是本发明一种实施例的考虑边缘限制的区域生长算法的流程示意图。

【具体实施方式】

以下将结合附图，对本发明的具体实施例作进一步详细说明。

如图1所示，本发明的一种实施例的Kinect深度图像获取方法与装置，包括如下步骤：

一、对Kinect连续采样静止场景的多帧深度图进行中值滤波

本发明旨在利用Kinect获得关于静止场景的稳定、高质量的深度图像。然而即使是静止场景，Kinect连续采样的深度图也往往是不稳定的，在部分区域有明显的闪烁现象。因此有必要首先通过中值滤波得到相对稳定的静止场景的深度数据，对于每一个像素，中值滤波后的深度值为：

$D_1(x,y)=\underset{i=\mathrm{1,2},...,n}{\mathrm{median}}\left\{D^{\left(i\right)}(x,y)\right\}$

式中n为连续采样的帧数，D⁽ⁱ⁾表示采样到的第i帧。

二、彩色图像和深度图像边缘检测

由于Kinect捕获的彩色图像较为稳定，可直接使用捕获的第一帧彩色图C。边缘检测的方法有很多种，最常用的是通过Laplacian算子、Sobel算子、Prewitt算子、Canny算子等。由于Canny算子在大多数情况下效果最为优异，表现在其低错误率、较高的定位性能以及对单一边缘仅有唯一相应。因此这里使用Canny算子对Kinect捕获的彩色图像进行边缘检测。首先将彩色图转换为灰度图，记为I(x,y)，然后进行以下步骤：

1.用高斯滤波器平滑图像

对转换后的灰度图像进行降噪处理，使用二维高斯核函数：

$G(x,y)=e^{-\frac{x^2+y^2}{2{\mathrm{\σ}}^2}}$

应用于数字图像时G(x,y)对应为一个n×n的高斯模板。用G(x,y)与输入的灰度图像I(x,y)作卷积得到平滑后的图像I_s(x,y)：

I_s(x,y)=G(x,y)*I(x,y)

2.计算每个像素处的梯度幅值和角度

计算I_s(x,y)图像的梯度首先需要计算每个像素处的偏导数和这可以通过差分近似：

$g_x(x,y)=\frac{{\∂I}_s(x,y)}{\∂x}=[I_s(x+1,y)-I_s(x,y)+I_s(x+1,y+1)-I_s(x,y+1)]/2$

$g_y(x,y)=\frac{{\∂I}_s(x,y)}{\∂y}=[I_s(x,y+1)-I_s(x,y)+I_s(x+1,y+1)-I_s(x+1,y)]/2$

根据偏导数计算每个像素处的梯度幅值和角度：

$M(x,y)=\sqrt{{\left[g_x(x,y)\right]}^2+{\left[g_y(x,y)\right]}^2}$

α(x,y)=arctan(g_y(x,y)/g_x(x,y))

3.对梯度幅值应用非极大值抑制

非极大值抑制的目的是细化边缘。首先将边缘的方向量化为四个方向，即水平、垂直、+45°和-45°四个基本边缘方向。对于某个像素，梯度的角度对应于边缘的法线方向。因此可以根据梯度角度寻找最接近的基本边缘方向，然后在此基本边缘方向的法线方向上应用非极大值抑制，具体做法是在以(x,y)为中心的3×3邻域内，如果中心像素处的梯度幅值M(x,y)不比沿着边缘法线方向上的两个相邻像素都大，则令M(x,y)=0。

4.双阈值算法检测并连接边缘

双阈值处理是为了去除伪边缘点，同时保留有效的边缘点。设置一个较低的阈值T_L和一个较高的阈值T_H，典型地T_H=2T_L，用这两个阈值分别对经过非极大值抑制的梯度幅值图像M进行分割处理，即梯度幅值小于该阈值的像素灰度值置0，分别得到图像和显然由于阈值更低中保留了更多的信息，下面将的有效边缘点补充到中去，方法是：

1）在中寻找一个未被访问的非零像素点p(x,y)，跟踪以p(x,y)开始的轮廓线，直到轮廓线的终点q(x,y)；

2）在中q(x,y)对应像素点处，寻找该点8邻域内的非零像素并将其包括到中；

3）以中q(x,y)开始重复步骤1)，如果该轮廓线无法继续，则将该轮廓线标记为已经访问，并回到步骤1)寻找下一条轮廓线。

当检测不到新的轮廓线时算法终止，完成了边缘的检测和连接，将最终得到的边缘像素集记为E_C。

对深度图也使用Canny算子作边缘检测，具体步骤与前面用Canny算子作彩色图边缘检测相同，只是无需灰度图转换的过程。将深度图边缘像素集记为E_D。

三、利用Kinect深度数据的用户索引值实现图像初步分割生成标记图

为便于针对深度图中不同区域分开处理，希望能将前景中不同的人或物体从背景中分割出来。关于前景的提取已经有一些成熟且有效的算法，在这里我们注意到Kinect提供的深度数据本身就包括了一些有用的信息，可以用来帮助实现图像分割。Kinect的深度数据中每个像素都包含16位，其中高13位表示在深度传感器的视野范围内到特定坐标物体最近的距离，而低3位为用户分段数据，常用来隔离特定的用户，或是从原始的彩色深度图像中分离出感兴趣的区域。用户分段数据转换为整型值是取值范围为0～7的索引值，0代表没有用户，非0的数字分别代表用户或区域的标记值，目前Kinect最多可以检测到6名用户。根据用户分段数据和深度值的不同，基于Kinect开发的应用程序可以很容易地将前景物体和背景分离开来，不同的前景物体以及背景一般来说深度值都有明显不同。

对于每个像素，将Kinect深度数据的低三位转换为整型值，这样就生成了一幅标记图L₁，这可以视为深度图的一个初步分割结果。标记图L₁中具有相同整型标记值的像素同属一个区域，即同属于一个物体或背景。

四、结合深度图和彩色图边缘信息，以及深度图像初步分割结果，使用考虑边缘限制的区域生长方法对深度图进行初步修复并更新标记图

上一步得到的分割结果并不精确，表现在标记图中具有相同标记值的像素与彩色图边缘围成的实际物体区域并不完全一致，也表现在前述步骤中从彩色图和深度图中分别检测的边缘并不一致。因此可以利用该边缘检测结果改进分割结果，将一种考虑边缘限制的区域生长方法应用于深度图，对深度错误进行初步修复，同时更新标记图，对应更新的图像分割结果。

区域生长(Region Growing)是一种基于区域的图像分割方法，它从一组选定的种子像素开始，根据某种预先定义的生长规则将具有相似性质的像素或子区域合并到种子像素所在的区域。将这些新像素作为新添加的种子像素继续上面的生长过程，直到没有满足生长规则的像素可以被包括进来，一个区域就长成了。应用区域生长方法实现图像分割时，需要解决好3个问题：1、选取一组能正确代表某区域的种子像素；2、确定一种将具有相似性质的像素包括进来的生长规则；3、确定使生长过程终止的条件。

将检测到的深度图边缘像素E_D作为初始的种子像素集合。生长规则为，对于一个种子像素p以及它的4邻域像素q，根据两个像素的颜色相似度决定是否将q加入种子像素集合，即如果两个像素在RGB颜色空间的Euclid距离小于一个预先定义的阈值T，则将q加入种子像素集合继续区域生长过程。该颜色距离定义如下：

$d(p,q)=\sqrt{{(R_p-R_q)}^2+{(G_p-G_q)}^2+{(B_p-B_q)}^2}$

利用彩色图边缘检测结果限制区域生长的范围，即生长不能越过边缘。区域生长过程终止的条件是已经没有满足生长规则的像素。考虑边缘限制的区域生长算法详细流程如下：

1）建立一个堆栈并置空；

2）判断是否标记图L₁中所有不同的标记值都被处理过，如果存在未被处理过的标记值i，则先将堆栈置空，然后将深度图边缘像素集E_D中具有标记值i的边缘像素作为种子像素集添加到堆栈，否则区域生长算法终止；

3）判断堆栈是否为空，如果堆栈中存在元素，则取出一个元素继续下面的步骤，否则转步骤2）；

4）考察取出的种子像素p的4邻域，如果存在满足d(p,q)<T像素的邻居像素q则转步骤5），否则停止该方向上的生长回到步骤3）；

5）如果像素q属于彩色图边缘像素集E_C则转步骤6），否则将q添加到种子像素堆栈，同时更新像素q的标记值L₁(q)=i，并根据下式更新像素q的深度值：

$D_2\left(q\right)=\frac{1}{w_s(q,r)}\underset{L_1\left(r\right)=i}{\underset{r\&NotElement;E_D,E_C}{\underset{r\&Element;N\left(q\right)}{\mathrm{\&Sigma;}}}}{w}_s(q,r)D_1\left(r\right)$

其中N(q)是以q为中心的5×5邻域，权值w(q,r)与q和r之间的空间距离负相关，根据下式计算：

$w_s(q,r)=e^{-\frac{{\left|\right|q-r\left|\right|}^2}{\text{2}{{\mathrm{\&sigma;}}_s}^2}}$

$\left|\right|q-r\left|\right|=\sqrt{{(x_q-x_r)}^2+{(y_q-y_r)}^2}$

本步骤结束后返回步骤3）；

6）像素q属于彩色图边缘像素集E_C，则判断该像素的4邻域内是否有其他彩色图边缘像素，有则将像素q添加到种子像素堆栈返回步骤3），否则停止该方向上的生长返回步骤3）。

考虑边缘限制的区域生长算法的流程示意图见图2，算法结束时输出一幅经过区域生长修复后的深度图D₂，以及更新的标记图L₂，对应最终的图像分割结果。

五、根据更新后的标记图，对深度图像应用三边滤波实现图像增强

在图像处理中双边滤波器(Bilateral Filter)是一种保边去噪的滤波器，图像中每一像素处的灰度值被以该像素为中心的邻域内的像素灰度加权和所取代。与传统的高斯滤波器不同的是，双边滤波时邻居像素的权值不仅取决于其到中心像素的空间距离，而且这两个像素灰度值之差的影响。双边滤波的应用并不仅仅局限在图像去噪，利用同一时刻彩色图与深度图的高度相关性，根据彩色图使用双边滤波对深度图进行图像修复与质量增强也是十分有效的。

在前述步骤中，已经根据Kinect深度数据通过结合边缘检测和区域生长的方法实现了较好的图像分割，并根据分割结果对深度图进行了初步的修复，区域生长时新生长像素的深度值被修复为属于同一区域的邻居像素的深度值加权和，这个过程简单地填补了深度图中大部分的空洞。

下面可以利用彩色图的信息，通过双边滤波对深度图作进一步的平滑去噪和图像质量增强。为了使深度图滤波结果更加平滑连续，在传统双边滤波器的基础上加入一项深度差异权值，升级为一种三边滤波器(Trilateral Filter)。另外由于已经有场景分割的结果，这里可以作进一步改进，如果邻居像素与中心像素不是同属于一个区域，则滤波的加权值为0。

综上，这里使用的三边滤波器表示如下：

$D_3\left(q\right)=\frac{1}{\underset{L_2\left(r\right)=L_2\left(q\right)}{\underset{r\&Element;N\left(q\right)}{\mathrm{\&Sigma;}}}{w}_s(q,r)w_C(q,r)w_D(q,r)}\underset{L_2\left(r\right)=L_2\left(q\right)}{\underset{r\&Element;N\left(q\right)}{\mathrm{\&Sigma;}}}{w}_s(q,r)w_C(q,r)w_D(q,r)D_2\left(r\right)$

其中

$w_s(q,r)=e^{-\frac{{\left|\right|q-r\left|\right|}^2}{\text{2}{{\mathrm{\&sigma;}}_s}^2}}$

$w_C(q,r)=e^{-\frac{{\left|\right|C\left(q\right)-C\left(r\right)\left|\right|}^2}{2{{\mathrm{\&sigma;}}_C}^2}}$

$w_D(q,r)=e^{-\frac{{\left|\right|D_2\left(q\right)-D_2\left(r\right)\left|\right|}^2}{2{{\mathrm{\&sigma;}}_D}^2}}$

参数σ_s、σ_C和σ_D根据经验值设定。

算法结束时输出深度图像D₃作为最终的处理结果，相对于Kinect获取的原始深度图，深度图像D₃中的空洞得到了有效的填补，且经过滤波去噪和平滑图像质量得到了较大的提高。

Claims (2)

1.一种Kinect深度图像获取方法，其特征是，包括如下步骤：

1)使用Kinect对静止场景连续采样，得到多帧深度图像和彩色图像；

2)对得到的多帧深度图像进行中值滤波去噪，其中，对每个像素处取多帧采样数据排序后的中值；

3)对第一帧彩色图和中值滤波后的深度图使用Canny算子进行边缘检测；

4)利用Kinect深度数据的用户索引值实现深度图像初步分割，得到一幅标记图；

5)结合步骤3)中得到的彩色图和深度图边缘信息，以及步骤4)中得到的初步分割结果，使用考虑边缘限制的区域生长方法对深度图进行初步修复并更新标记图；其中，对深度信息缺失的区域应用区域生长方法，利用所述步骤3)中得到的深度图边缘像素作为初始种子点，并以彩色图边缘作为生长限制；区域生长时对深度值进行初步修复，同时更新标记图；

6)根据更新后的标记图，将一种三边滤波器应用于经过步骤5)初步修复后的深度图像；

所述步骤3)中，使用Canny算子进行边缘检测的具体步骤是：

1)如果输入是彩色图像，先转换为灰度图；

2)用高斯滤波器平滑图像；

3)计算每个像素处的梯度幅值和角度；

4)对梯度幅值图像应用非极大抑制；

5)检测并连接边缘；

所述步骤4)中，将Kinect深度数据的低三位用户索引值转换为整数，生成一幅标记图。

2.一种Kinect深度图像获取装置，其特征是，包括Kinect设备以及配套的软件系统，其中软件系统执行如权利要求1所述的Kinect深度图像获取方法。