CN107622480A - 一种Kinect深度图像增强方法 - Google Patents

Abstract

本发明涉及一种Kinect深度图像增强方法，其特征在于具体步骤如下：对Kinect v2同时采集的深度图像和彩色图像进行对齐剪裁，并进行边缘检测；将Kinect v2深度图中由错误和无效像素构成的空洞进行类型划分，对物体边缘空洞的处理，采用自适应联合双边滤波算法去除空洞填充后的深度图像的噪声，令窗口大小与中心像素深度值成线性关系，在去噪的同时兼顾细节的保持。该方法将深度图像进行区域分割，针对不同区域中不同原因导致的空洞采用不同的方法进行填充，大大降低算法复杂性，在保证实时性的前提下获得了高质量的Kinect v2深度图像。

Description

一种Kinect深度图像增强方法

技术领域

本发明涉及一种Kinect深度图像增强方法，属于计算机图像处理领域。

背景技术

深度图像的像素值表示场景中物体到相机的距离，包含场景的三维结构信息。深度图像是计算机视觉、三维重建、增强现实、机器人等领域应用的重要输入，深度信息的准确度至关重要。

深度图像的获取方法包括基于视觉的方法和基于深度传感设备的方法两类。基于视觉的深度图像获取方法是基于彩色图像的纹理信息提取深度值，算法复杂实时性不佳。基于深度传感设备的方法由于其良好的实时性应用广泛。Kinect作为一款体感设备由于其卓越的深度感知性能和亲民的价格，一经推出便成为深度获取最为广泛使用的设备。Kinect v2采用了完全不同于Kinect v1的深度测量原理，使得其深度测量的精度得到大幅提高。然而，Kinect v2深度图像中仍然存在由无效深度值像素构成的空洞，尤其是在深度值变化剧烈的区域，由于Kinect中三个IR发射装置、IR相机、RGB相机的物理位置的不同，导致场景中深度值变化剧烈的区域(例如物体边缘)存在大量的错误或无效像素。

为了对Kinect v2深度图像进行增强，得到高质量的深度图像，研究人员开展了大量的研究，探索了一些方法，可概括为如下两类：基于深度校准的方法，这类方法对深度图进行逐个像素校准；然而空洞中的像素点不仅仅有不准确的深度值点，更是存在大量的无效像素点，因此，对于空洞的处理效果不佳。另一类方法是，基于彩色纹理的深度增强方法，利用Kinect中RGB相机同时采集的彩色图像纹理对于无效像素深度值进行估计；这类方法对于图像中所有空洞的全部像素点依次进行估计，算法相对较为复杂，处理效率低，无法满足深度图像的各个应用领域中实时性的要求。

发明内容

为解决Kinect深度图像质量不佳的问题，本发明的目的在于提供一种Kinect深度图像增强方法，该方法将深度图像进行区域分割，针对不同区域中不同原因导致的空洞采用不同的方法进行填充，大大降低算法复杂性，在保证实时性的前提下获得了高质量的Kinect深度图像。

为了达成上述目的，本发明的技术方案是这样实现的：一种Kinect深度图像增强方法，其特征在于具体步骤如下：

1、对Kinect v2同时采集的深度图像和彩色图像进行对齐剪裁，并进行边缘检测；包括如下子步骤：

101、根据深度和彩色图像中对应的特征点、边等纹理信息，计算深度和彩色图像的比例；利用opencv的resize函数调整彩色图像，并通过ROI将两者重合，进行对齐剪裁；剪裁后的深度和彩色图像分别记为Im_depth和Im_color；

102、对剪裁后的深度和彩色图像进行边缘检测，得到对应的两幅图像分别记为Im’_depth和Im’_color；

103、建立Im’_color与Im’_depth的映射关系，计算Im’_color中所有的边缘线中的点q与Im’_depth中最近的边缘点的空间距离d_q，选取阈值Threshold_dq；对于Im’_color中的点q，若d_q＞Threshold_dq，则该点的像素值清零，即该点不是边缘点，得到的清除了多余边缘线的图像，记为Im”_color；

2、将Kinect v2深度图中由错误和无效像素构成的空洞进行类型划分，采用形态学的膨胀方法将深度图像Im_depth中离散的错误和无效像素点扩充为连通的空洞，对于每一个空洞，通过其与Im’_depth中边缘线的空间距离，判断其类型，选取阈值Threshold_sp，若d_sp<＝Threshold_sp时，空洞为物体边缘空洞，若d_sp>Threshold_sp，空洞则为非物体边缘空洞；

3、Kinect v2深度图中非物体边缘空洞的成因主要包括两类：一类是由于物体表面材质、光照条件等原因导致的错误值，另一类是由于距离Kinect较远导致的测量不准确；前者通常位于前景区域；而后者普遍存在于距Kinect较远的拍摄背景中，这类空洞中的像素与邻域像素的深度值往往差别不大；对于位于前景区域的空洞采用与物体边缘空洞相同的方式进行填充，方法同步骤4；本发明首先针对由于距离导致的测量不准确引起的非物体边缘空洞进行处理，取空洞最外侧的像素点q，q点的5*5邻域记为Ω_Hne，计算Ω_Hne中所有有效像素点深度值的平均值，将该值作为Ω_Hne中全部未知像素点的深度值，重复此步骤，直至计算出空洞中全部点的深度值；

4、对于物体边缘空洞，其中某些像素属于前景，其深度值应与前景邻域像素相近；而另一些像素属于背景，其深度值则需与背景深度值相近；本发明针对物体边缘空洞的处理步骤包括如下子步骤：

401、物体边缘空洞中的点任一点p，若其在Im”_color中的对应点位于边缘线之外，则p点应属于背景像素点；物体边缘空洞中全部的属于背景的像素点构成的空洞区域记为Ω_He1；Ω_He1中所有点的像素值根据其邻域中有效的背景区域像素值计算得到，计算方法同步骤3；

402、将物体边缘空洞中剩余的区域记为Ω_He2；取Ω_He2最外侧靠近前景物体(物体内部方向)的像素点集，记为Ω'_He2；对于每一个点p∈Ω'_He2，按下面公式计算f_p(q)的值；

f_p(q)＝a*||p-q||²+b*||C_p-C_q||²

其中，q∈Ω_Np，Ω_Np为p的8*8邻域中位于前景物体区域的有效点集；||p-q||为q和p点的空间距离，a为权值；||C_p-C_q||为Im’_color中q和p对应点的颜色距离，b为权值；取f_p(q)值最小的三个像素点的深度值的平均值作为点p的深度值；

403、重复步骤402，直至空洞Ω_He2中全部像素深度值计算完毕；

5、采用自适应联合双边滤波算法去除空洞填充后的深度图像的噪声，令窗口大小与中心像素深度值成线性关系，在去噪的同时兼顾细节的保持。

本发明的积极效果是在计算机视觉、三维重建、增强现实、机器人等领域中，三维深度感知的准确性是决定系统质量、甚至是成败的关键因素。Kinect v2作为当前最为常用的深度获取设备，尽管深度计算精度较Kinect v1大为提高，但是其深度图像中仍然存在类型显著的空洞现象。现阶段，研究人员在增强深度图像、提高图像质量方面进行了诸多探索，如何在保证实时性的前提下提高Kinect v2深度图像质量是急需解决的问题。本发明提出的Kinect v2深度图像增强方法，针对不同空洞类型分别处理，对于非物体边缘空洞根据邻域像素值平均值估计其深度值，而对于边缘空洞基于彩色图像问题信息估计像素深度值；本发明能够有效填充空洞，显著提高Kinect v2深度图像质量，与此同时，降低了算法的执行时间，保证了算法的执行效率。

附图说明

图1为深度图像空洞类型划分示意图。1所指向的区域为物体边缘空洞，2和3所指向的区域为非物体边缘空洞。

图2为对齐剪裁后的彩色图像。

图3为彩色和深度图像边缘检测结果图。

图4为物体边缘空洞前、背景像素划分示意图。该图为深度图的部分细节图，其中，1所指向的人物头部边缘的黑色区域为物体边缘空洞，2所指向的白色曲线为对应彩色图像边缘检测结果，3和4所指向的被白色边缘线分隔的两部分空洞分别为：属于背景的边缘空洞、属于前景人物的边缘空洞。

具体实施方式

以下结合附图和具体的实施例对本发明的实施方式进行详细说明。

本实施例针对Kinect v2同时采集的深度和彩色图像，应用一种Kinect深度图像增强方法，具体步骤如下：

1、对Kinect v2同时采集的深度图像和彩色图像进行对齐剪裁，并进行边缘检测。本步骤包括如下子步骤：

101、利用Kinect v2对于同时采集深度和彩色图像。本实施例拍摄了简单背景下人物的深度和彩色图像。

102、根据深度和彩色图像中对应的人物双肩、头顶等特征点，确定深度和彩色图像的比例；利用opencv的resize函数调整彩色图像，并通过ROI将两者重合，进行对齐剪裁；剪裁后的深度和彩色图像分别记为Im_depth和Im_color，分别如图1、图2所示。

103、采用Canndy边缘检测算法对Im_depth和Im_color进行边缘检测，参数t_high取100，t_low取50，得到对应的两幅图像分别记为Im’_depth和Im’_color，如图3所示。

104、建立Im’_color与Im’_depth的映射关系，计算Im’_color中所有的边缘线中的点q与Im’_depth中最近的边缘点的空间距离d_q，选取阈值Threshold_dq；对于Im’_color中的点q，若d_q＞Threshold_dq，则该点的像素值清零，即该点不是边缘点。通过试验确定阈值为7，得到的清除了多余边缘线的图像，记为Im”_color。

2、将Kinect v2深度图中由错误、无效像素构成的空洞进行类型划分。采用形态学的膨胀方法将深度图像Im_depth中离散的错误和无效像素点扩充为连通的空洞。对于每一个空洞，通过其与Im’_depth中边缘线的空间距离，判断其类型。选取阈值Threshold_sp，若d_sp<＝Threshold_sp时，空洞为物体边缘空洞。若d_sp>Threshold_sp，空洞则为非物体边缘空洞。如图1所示，1所指向的区域为物体边缘空洞，2和3所指向的区域为非物体边缘空洞。

3、针对由于距离导致的测量不准确引起的非物体边缘空洞进行处理。取空洞最外侧的像素点q，q点的5*5邻域记为Ω_Hne，计算Ω_Hne中所有有效像素点深度值的平均值，将该值作为Ω_Hne中全部未知像素点的深度值。重复此步骤，直至计算出空洞中全部点的深度值。

4、对于物体边缘空洞的处理步骤包括如下子步骤：

401、物体边缘空洞中的点任一点p，若其在Im”_color中的对应点位于边缘线之外，如图4中3所指向的区域，则p点应属于背景像素点；物体边缘空洞中全部的属于背景的像素点构成的空洞区域记为Ω_He1；Ω_He1中所有点的像素值根据其邻域中有效的背景区域像素值计算得到，计算方法同步骤3。

402、将物体边缘空洞中剩余的区域记为Ω_He2，如图4中4所指向的区域；取Ω_He2最外侧靠近前景物体(物体内部方向)的像素点集，记为Ω'_He2；对于每一个点p∈Ω'_He2，按下面公式计算f_p(q)的值；

f_p(q)＝a*||p-q||²+b*||C_p-C_q||²

其中，q∈Ω_Np，Ω_Np为p的8*8邻域中位于前景物体区域的有效点集；||p-q||为q和p点的空间距离，a为权值；||C_p-C_q||为Im’_color中q和p对应点的颜色距离，b为权值；取f_p(q)值最小的三个像素点的深度值的平均值作为点p的深度值。

403、重复步骤402，直至空洞Ω_He2中全部像素深度值计算完毕。

5、采用自适应联合双边滤波算法去除空洞填充后的深度图像的噪声。

Claims (5)

1.一种Kinect深度图像增强方法，其特征在于具体步骤如下：

1、对Kinect v2同时采集的深度图像和彩色图像进行对齐剪裁，并进行边缘检测；包括如下子步骤：

101、根据深度和彩色图像中对应的特征点、边等纹理信息，计算深度和彩色图像的比例；利用opencv的resize函数调整彩色图像，并通过ROI将两者重合，进行对齐剪裁；剪裁后的深度和彩色图像分别记为Im_depth和Im_color；

102、对剪裁后的深度和彩色图像进行边缘检测，得到对应的两幅图像分别记为Im’_depth和Im’_color；

103、建立Im’_color与Im’_depth的映射关系，计算Im’_color中所有的边缘线中的点q与Im’_depth中最近的边缘点的空间距离d_q，选取阈值Threshold_dq；对于Im’_color中的点q，若d_q＞Threshold_dq，则该点的像素值清零，即该点不是边缘点，得到的清除了多余边缘线的图像，记为Im”_color。

2.将Kinect v2深度图中由错误和无效像素构成的空洞进行类型划分，采用形态学的膨胀方法将深度图像Im_depth中离散的错误和无效像素点扩充为连通的空洞，对于每一个空洞，通过其与Im’_depth中边缘线的空间距离，判断其类型，选取阈值Threshold_sp，若d_sp<＝Threshold_sp时，空洞为物体边缘空洞，若d_sp>Threshold_sp，空洞则为非物体边缘空洞。

3.Kinect v2深度图中非物体边缘空洞的成因主要包括两类：一类是由于物体表面材质、光照条件等原因导致的错误值，另一类是由于距离Kinect较远导致的测量不准确；前者通常位于前景区域；而后者普遍存在于距Kinect较远的拍摄背景中，这类空洞中的像素与邻域像素的深度值往往差别不大；对于位于前景区域的空洞采用与物体边缘空洞相同的方式进行填充，方法同步骤4；本发明首先针对由于距离导致的测量不准确引起的非物体边缘空洞进行处理，取空洞最外侧的像素点q，q点的5*5邻域记为Ω_Hne，计算Ω_Hne中所有有效像素点深度值的平均值，将该值作为Ω_Hne中全部未知像素点的深度值，重复此步骤，直至计算出空洞中全部点的深度值。

4.对于物体边缘空洞，其中某些像素属于前景，其深度值应与前景邻域像素相近；而另一些像素属于背景，其深度值则需与背景深度值相近；本发明针对物体边缘空洞的处理步骤包括如下子步骤：

401、物体边缘空洞中的点任一点p，若其在Im”_color中的对应点位于边缘线之外，则p点应属于背景像素点；物体边缘空洞中全部的属于背景的像素点构成的空洞区域记为Ω_He1；Ω_He1中所有点的像素值根据其邻域中有效的背景区域像素值计算得到，计算方法同步骤3；

402、将物体边缘空洞中剩余的区域记为Ω_He2；取Ω_He2最外侧靠近前景物体(物体内部方向)的像素点集，记为Ω'_He2；对于每一个点p∈Ω'_He2，按下面公式计算f_p(q)的值；

f_p(q)＝a*||p-q||²+b*||C_p-C_q||²

其中，q∈Ω_Np，Ω_Np为p的8*8邻域中位于前景物体区域的有效点集；||p-q||为q和p点的空间距离，a为权值；||C_p-C_q||为Im’_color中q和p对应点的颜色距离，b为权值；取f_p(q)值最小的三个像素点的深度值的平均值作为点p的深度值；

403、重复步骤402，直至空洞Ω_He2中全部像素深度值计算完毕。

5.采用自适应联合双边滤波算法去除空洞填充后的深度图像的噪声，令窗口大小与中心像素深度值成线性关系，在去噪的同时兼顾细节的保持。