CN103996174B - 一种对Kinect深度图像进行空洞修复的方法 - Google Patents

Abstract

本发明公开了一种对Kinect深度图像进行空洞修复的方法，它包括以下步骤：首先，对Kinect摄像机获取的纹理图像和深度图像进行对齐裁剪，结合纹理特性进行纹理图像前景区域分割实现对深度图像前景区域的空洞修复，其次，采用区域生长法确定深度图像空洞匹配修复区域，根据纹理信息精确确定空洞匹配修复区域，然后对空洞匹配修复区域进行加权平均来修复空洞，最后，使用高斯滤波对深度图像进行去噪平滑处理，得到修复后的深度图像。本发明可有效修复原始深度图像中存在的空洞，能够得到平滑度好的深度图像，深度图像前景边缘和纹理图像前景边缘达到吻合，同时可绘制质量较好的虚拟视点图像。

Description

一种对Kinect深度图像进行空洞修复的方法

技术领域

本发明属于3D电视系统中的深度图像修复技术领域，更为具体地讲，涉及一种对Kinect深度图像进行空洞修复的方法。

背景技术

Kinect摄像机可以快速的分别提取最大分辨率为640×480的纹理图像和深度图像，相对于TOF(time of flight)、三维激光扫描等深度提取设备，Kinect摄像机的优势在于拍摄的深度图像分辨率高，成本低，但Kinect输出的深度图像质量较差，存在以下问题：

1、空洞问题，Kinect摄像机中含有红外投影机和红外摄像头，红外投影机和红外摄像头之间有一定的距离，根据光线传播原理，红外投影机和红外摄像头之间有一定的探测盲区，因此Kinect摄像机无法获取盲区区域内的深度。此外，三维场景中存在含有黑色或透明物体的区域，使Kinect摄像机发出的红外光线无法返回，从而Kinect摄像机输出的深度图像中在含有黑色或透明物体的区域也会形成空洞。

2、帧间不稳定问题，由于Kinect摄像机受光照变化、阴影、物体遮挡以及环境变化等因素的干扰，直接输出的深度图像存在一定程度的闪烁，需要采用特定的算法对其进行稳定，提高DIBR（Depth Image Based Rendering）绘制场景的稳定性，同时也可以提高编码器的编码效率。

以上问题使Kinect摄像机输出的深度图像无法直接用于立体视频等领域，必须对输出深度图像进行修复。目前，对Kinect深度图像修复主要有两种方法：一种方法是直接针对深度图像进行修复，不借助于纹理图像，算法复杂性较低，如Milani等人提出的采用去噪和插值的方法对Kinect深度图像进行空洞修复，（参见Milani S, Calvagno G. Jointdenoising and interpolation of depth maps for MS Kinect sensors. Acoustics,Speech and Signal Processing (ICASSP), IEEE International Conference on,2012: 797-800.），然而这种方法没有考虑纹理图像对深度图像修复的作用，深度图像被修复的效果较差；另一种方法是结合纹理图像辅助的方法进行Kinect深度图像的修复，可以全面考虑深度图像前景边缘部分相对于纹理图像前景边缘部分存在的差异，较好的修复深度图像前景边缘部分，如Kui Wang等人提出的采用深度图像背景估计结合纹理图像颜色信息进行Kinect深度图像的修复，但这种方法仅使用深度图像背景进行深度图像空洞的修复，没有考虑到深度图像前景边缘部分存在的缺失和多余，修复后的深度图像前景边缘部分与纹理图像前景边缘部分存在不匹配（参见Wang Kui, An Ping, Zhang Yan, et al..Real-time depth extraction and multi-view rendering algorithm based onKincet. Journal of Optoelectronics·Laser, 2012, 23(10): 1949-1956.）。

发明内容

本发明的目的在于克服现有技术的不足，提供一种对Kinect深度图像进行空洞修复的方法，该方法能够得到平滑度好的深度图像，深度图像前景边缘部分和纹理图像前景边缘部分达到吻合，同时可绘制质量较好的虚拟视点图像。

为实现上述目的，本发明的的构思是：首先对Kinect摄像机获取的纹理图像和深度图像进行对齐裁剪，结合纹理特性进行纹理图像前景区域分割，实现对深度图像前景区域的空洞修复，其次采用区域生长法确定深度图像空洞匹配修复区域，根据纹理信息精确确定空洞匹配修复区域，然后对空洞匹配修复区域进行加权平均来修复空洞，最后使用高斯滤波对深度图像进行去噪平滑处理，得到修复后的深度图像。

根据上述构思，实现本发明的技术方案是：

一种对Kinect深度图像进行空洞修复的方法，包括以下步骤：

1、深度图像前景区域空洞修复

深度图像前景区域空洞修复，依次执行以下步骤：

(1-1)、采用Kinect摄像机获取纹理图像和深度图像，对纹理图像和深度图像进行对齐裁剪，得到对齐的纹理图像和深度图像；

(1-2)、纹理图像前景区域分割

对步骤(1-1)中与深度图像对齐后的纹理图像进行K-means算法分割，分割后的纹理图像结合对齐的深度图像进行纹理图像前景区域分割：

(1)

所述(1)式中，表示纹理图像前景区域分割后的结果，表示纹理图像经K-means算法分割后的结果，表示深度图像中像素的像素值，是判断在深度图像中像素是否属于前景区域的阈值；

(1-3)、删除深度图像前景多余边缘

与纹理图像对齐的深度图像结合前景区域分割后的纹理图像进行深度图像中前景多余边缘的删除：

(2)

所述(2)式中，表示修复后的深度图像，是由(1)式确定的纹理图像前景区域分割结果，表示深度图像中像素的像素值，是判断在深度图像中像素是否属于前景区域的阈值；

(1-4)、修复深度图像前景缺失边缘

首先采用与纹理图像对齐的深度图像的像素对删除前景多余边缘后的深度图像前景区域空洞进行修复，然后采用绝对差准则进行度量纹理匹配，将最佳匹配点处的非空洞像素的像素值赋予深度图像前景缺失边缘部分，得到前景区域修复后的深度图像；

2、深度图像背景区域空洞修复

深度图像背景区域空洞修复，依次执行以下步骤：

(2-1)、采用区域生长准则在前景区域修复后的深度图像中确定空洞匹配修复区域，判断深度图像中的像素是否属于空洞匹配修复区域的公式：

(3)

所述(3)式中，表示空洞中像素的像素值，表示以空洞中像素为中心，大小为N×N的矩形图像区域，为区域内属于背景区域的非空洞像素的像素值，是判断在深度图像中像素是否属于空洞匹配修复区域的阈值；

(2-2)、确定前景区域修复后的深度图像空洞在纹理图像中对应的空洞匹配修复区域，判断公式为：

(4)

其中 ，表示以空洞像素为中心，大小为N×N区域内的平均像素值，为标准差，为纹理图像中以空洞像素为中心，大小为N×N区域内的像素的像素值；

(2-3)、最终确定前景区域修复后的深度图像空洞匹配修复区域，取由(3)式确定的空洞在深度图像中的空洞匹配修复区域和由(4)式确定的空洞在纹理图中的空洞匹配修复区域两者的公共部分，得到更为精确的深度图像空洞匹配修复区域；

(2-4)、对得到的深度图像空洞匹配修复区域内的像素进行加权平均来修复空洞：

(5)

其中是和匹配像素距离空洞内像素欧式距离有关的加权系数，表示空洞匹配修复区域内的像素值，表示深度图像空洞像素的像素梯度值；

3、高斯滤波：对得到的空洞修复后的Kinect深度图像进行高斯滤波以消除噪声，得到修复后的Kinect深度图像。

与已有技术相比较，本发明可有效修复原始深度图像中存在的空洞，能够得到平滑度好的深度图像，深度图像前景边缘和纹理图像前景边缘达到吻合，同时可绘制质量较好的虚拟视点图像。

附图说明

图1是本发明中的一种对Kinect深度图像进行空洞修复的方法的流程图；

图2a是Kinect摄像机获取的原始纹理图像；

图2b是Kinect摄像机获取的原始深度图像；

图3是纹理图像前分割结果；

图4是删除前景多余边缘的深度图像；

图5是Kinect深度图像前景修复后的结果；

图6a是对齐裁剪后的Kinect深度图像；

图6b是本发明方法修复未滤波深度图像；

图6c是本发明方法修复经高斯滤波深度图像；

图7a是原始深度图像绘制视点；

图7b是修复后未滤波深度图像绘制视点；

图7c是修复后高斯深度图像绘制视点。

具体实施方式

下面结合附图对本发明的具体实施方式进行描述，以便本领域的技术人员更好地理解本发明。需要特别提醒注意的是，在以下的描述中，当已知功能和设计的详细描述也许会淡化本发明的主要内容时，这些描述在这里将被忽略。

如图1所示，本发明的一种对Kinect深度图像进行空洞修复的方法，包括以下步骤：

S1、深度图像前景区域空洞修复

深度图像前景区域空洞修复，依次执行以下步骤：

(1-1)、采用Kinect摄像机获取纹理图像和深度图像，对纹理图像和深度图像进行对齐裁剪，得到对齐的纹理图像和深度图像；

Kinect摄像机获取的纹理图像参见图2a，Kinect摄像机获取的深度图像参见图2b；

(1-2)、纹理图像前景区域分割

对步骤(1-1)中与深度图像对齐后的纹理图像进行K-means算法分割，分割后的纹理图像结合对齐的深度图像进行纹理图像前景区域分割，参见图3：

(1)

所述(1)式中，表示纹理图像前景区域分割后的结果，表示纹理图像经K-means算法分割后的结果，表示深度图像中像素的像素值，是判断像素在深度图像中是否属于前景区域的阈值；

(1-3)、删除深度图像前景多余边缘

与纹理图像对齐的深度图像结合前景区域分割后的纹理图像进行深度图像中前景多余边缘的删除，参见图4：

(2)

所述(2)式中，表示修复后的深度图像，是由(1)式确定的纹理图像前景区域分割结果，表示深度图像中像素的像素值，是判断在深度图像中像素是否属于前景区域的阈值；

(1-4)、修复深度图像前景缺失边缘

首先采用与纹理图像对齐的深度图像的像素对删除前景多余边缘后的深度图像前景区域空洞进行修复，然后采用绝对差准则进行度量纹理匹配，将最佳匹配点处的非空洞像素的像素值赋予深度图像前景缺失边缘，得到前景区域修复后的深度图像，参见图5；

S2、深度图像背景区域空洞修复

深度图像背景区域空洞修复，依次执行以下步骤：

(2-1)、采用区域生长准则在前景区域修复后的深度图像中确定空洞修复匹配区域，判断深度图像中的像素是否属于空洞匹配修复区域的公式：

(3)

所述(3)式中，表示空洞中像素的深度值，表示以空洞中像素为中心，大小为N×N的矩形图像区域，为区域内属于背景区域的非空洞像素的像素值，是判断在深度图像中像素是否属于空洞匹配修复区域的阈值；

(2-2)、确定前景区域修复后的深度图像空洞在纹理图像中对应的空洞匹配修复区域，判断公式为：

(4)

其中 ，表示以空洞像素为中心，大小为N×N区域内的平均像素值，为标准差，为纹理图像中以空洞像素为中心，大小为N×N区域内的像素的像素值；

(2-3)、最终确定前景区域修复后的深度图像空洞匹配修复区域，取由(3)式确定的空洞在深度图像中的空洞匹配修复区域和由(4)式确定的空洞在纹理图像中的空洞匹配修复区域两者的公共部分，得到更为精确的深度图像空洞匹配修复区域；

(2-4)、对得到的深度图像空洞匹配修复区域内的像素进行加权平均来修复空洞：

(5)

其中是和匹配像素距离空洞像素欧式距离有关的加权系数，表示匹配修复区域内的像素值，表示深度图像空洞像素的深度梯度值；

S3、高斯滤波：对得到的空洞修复后的Kinect深度图像进行高斯滤波以消除噪声，得到修复后的Kinect深度图像。

Kinect深度图像修复的实验结果如图6a~6c所示。图6a是对齐裁剪后的Kinect深度图像，图6b是本发明方法修复未滤波深度图像，图是6c本发明方法修复经高斯滤波深度图像。可见看出，本发明方法有效修复了原始深度图像中的空洞，深度图像前景边缘和纹理图像前景边缘基本吻合。

深度图像绘制结果如图7a~7c所示，图7a是原始深度图像绘制视点，图7b是修复后未滤波深度图像绘制视点，图7c是修复后高斯滤波深度图像绘制视点。可以看出，使用修复后未滤波的深度图像绘制的虚拟视点质量主观上优于原始深度图像绘制得到的虚拟视点质量，高斯滤波后的深度图像绘制的虚拟视点可以减少绘制中出现的空洞。

结合以上各图可以看出，本发明通过结合纹理特性进行前景区域分割实现对深度图像前景区域的空洞修复，利用深度图像结合纹理图像进行空洞匹配修复区域的确定，对空洞匹配修复区域进行加权平均来修复空洞，并使用高斯滤波对空洞修复后的深度图像进行去噪处理得到修复后的深度图像，有效修复了深度图像中存在的空洞，得到平滑度好的深度图像，同时可绘制质量较好的虚拟视点图像。

Claims (1)

1.一种对Kinect深度图像进行空洞修复的方法，其特征在于，该方法首先对Kinect摄像机获取的纹理图像和深度图像进行对齐裁剪，结合纹理特性进行纹理图像前景区域分割实现对深度图像前景区域的空洞修复，其次采用区域生长法确定深度图像空洞匹配修复区域，根据纹理信息精确确定空洞匹配修复区域，然后对空洞匹配修复区域进行加权平均来修复空洞，最后使用高斯滤波对深度图像进行去噪平滑处理，得到修复后的深度图像，其具体步骤是：

S1、深度图像前景区域空洞修复

深度图像前景区域空洞修复，依次执行以下步骤：

(1-1)、采用Kinect摄像机获取纹理图像和深度图像，对纹理图像和深度图像进行对齐裁剪，得到对齐的纹理图像和深度图像；

(1-2)、纹理图像前景区域分割

对步骤(1-1)中与深度图像对齐后的纹理图像进行K-means算法分割，分割后的纹理图像结合对齐的深度图像进行纹理图像前景区域分割：

(1)

所述(1)式中，表示纹理图像前景区域分割后的结果，表示纹理图像经K-means算法分割后的结果，表示深度图像中像素的像素值，是判断在深度图像中像素是否属于前景区域的阈值；

(1-3)、删除深度图像前景多余边缘

与纹理图像对齐的深度图像结合前景区域分割后的纹理图像进行深度图像中前景多余边缘的删除：

(2)

所述(2)式中，表示修复后的深度图像，是由(1)式确定的纹理图像前景区域分割结果，表示深度图像中像素的像素值，是判断在深度图像中像素是否属于前景区域的阈值；

(1-4)、修复深度图像前景缺失边缘

首先采用与纹理图像对齐的深度图像的像素对删除前景多余边缘后的深度图像前景区域空洞进行修复，然后采用绝对差准则进行度量纹理匹配，将最佳匹配点处的非空洞像素的像素值赋予深度图像前景缺失边缘部分，得到前景区域修复后的深度图像；

S2、深度图像背景区域空洞修复

深度图像背景区域空洞修复，依次执行以下步骤：

(2-1)、采用区域生长准则在前景区域修复后的深度图像中确定空洞匹配修复区域，判断深度图像中的像素是否属于空洞匹配修复区域的公式：

(3)

所述(3)式中，表示空洞中像素的像素值，表示以空洞中像素为中心，大小为N×N的矩形图像区域，为区域内属于背景区域的非空洞像素的像素值，是判断在深度图像中像素是否属于空洞匹配修复区域的阈值；

(2-2)、确定前景区域修复后的深度图像空洞在纹理图像中对应的空洞匹配修复区域，判断公式为：

(4)

其中 ，表示以空洞像素为中心，大小为N×N区域内的平均像素值，为标准差，为纹理图像中以空洞像素为中心，大小为N×N区域内的像素的像素值；

(2-3)、最终确定前景区域修复后的深度图像空洞匹配修复区域，取由(3)式确定的空洞在深度图像中的空洞匹配修复区域和由(4)式确定的空洞在纹理图中的空洞匹配修复区域两者的公共部分，得到更为精确的深度图像空洞匹配修复区域；

(2-4)、对得到的深度图像空洞匹配修复区域内的像素进行加权平均来修复空洞：

(5)

其中是和匹配像素距离空洞内像素欧式距离有关的加权系数，表示空洞匹配修复区域内的像素值，表示深度图像空洞像素的像素梯度值；

S3、高斯滤波：对得到的空洞修复后的Kinect深度图像进行高斯滤波以消除噪声，得到修复后的Kinect深度图像。