CN105869115A - 一种基于kinect2.0的深度图像超分辨率方法 - Google Patents

Abstract

本发明公开了一种基于kinect2.0的深度图像超分辨率方法。首先，将kinect2.0采集的深度图像和彩色图像进行对齐，获取分布离散深度值的高分辨率深度图像。接着，对该深度图像进行图像超分割，逐块选取标记像素点，作为训练数据。然后，利用非线性LapRLS函数构造回归函数，对每个像素点的深度值进行估计。最后，用双边滤波对超分辨率的深度图像进行平滑和去噪。本方法适用于大面积的深度图像缺失和边缘修复，对复杂场景的深度图像超分辨率有很好的效果。

Description

一种基于kinect2.0的深度图像超分辨率方法

技术领域

本发明涉及深度图像超分辨率技术，LapRLS回归函数模型和高斯核函数算法以及联合双边滤波算法。

背景技术

随着数码相机等图像、视频采集工具的快速发展以及智能手机的不断普及，人们获取图像视频变得越来越容易，其中的数据在生活中的应用也变得更加广泛。因而，如何更好的理解和分析图像和视频中的内容也成为了计算机视觉和多媒体领域中的一个重要课题。然而，常见的图像和视频信息是基于可见光成像原理获取的，包括借助红外传感器所采集的图像，都不可避免地在从现实三维空间到二维平面投影过程中丢失了深度信息。因此，3D技术的概念被提出。

3D技术从提出到发展已有数十年时间，目前已广泛应用于安防、军工、医学等领域。在3D图像和视频的应用中，获取高分辨率的深度信息成为关键。利用深度传感器采集到的深度图像数据，可以弥补可见光图像与红外图像采集过程中所造成的从现实三维空间到图像二维平面投影过程中场景深度信息的缺失。相对于彩色图像和红外图像，利用深度图像，我们可以更容易实现对人体行为的分析和识别，包括背景剔除、前景人体检测和提取，甚至可以相对可靠地恢复出三维人体姿态数据。目前，利用激光测距扫描仪可以获取高分辨率的准确三维深度信息。然而，这些传统的激光测距扫描仪不仅价格昂贵，而且每次只能扫描一个点,在实际应用中不仅受制于过长的扫描时间，而且只能扫描静止的物体。Kinect是微软推出的一款体感设备，可以同时采集彩色图像、深度图像和人体骨架等多种模态数据。Kinect代码开源、功能强大、价格低廉，逐渐被应用于很多领域。然而，2014年7月推出的新版Kinect在深度图像上的分辨率只有424×512，远低于彩色图像1080×1920的分辨率，精度上也与扫描仪有一定差距。相对于已经存在的众多针对旧版Kinect的深度图像超分辨算法，基于Kinect2.0的深度图像超分辨算法十分有限，所以，提高Kinect2.0深度图像的分辨率对于Kinect的应用有着重要意义，也成为众多学者努力的方向。

发明内容

本发明的目的是为了解决在使用Kinect2.0时因为深度图像分辨率低而出现对人体识别错误的问题，提供了一种基于kinect2.0的深度图像超分辨率方法，

本发明的技术方案具体包括如下步骤：

1)Kinect2.0采集的深度图像分辨率是424×512，彩色图像分辨率是1080×1920，利用sdk for kinect先对两种模态的图像数据进行像素对齐，获得一张分布离散深度值的高分辨率深度图像；

2)将彩色图像由RGB颜色空间转化为YUV空间，提取亮度信号Y获得亮度图像，对亮度值大于160的像素的亮度值，线性压缩到区间[160,165]之间，然后再将所有的像素的亮度值线性拉伸到区间[0,255]，最后对亮度图像进行直方图均衡化以减小光照对结果的影响；

3)对步骤2)处理后的亮度图像超分割并逐块进行标记像素点选取，如果该块像素点个数占全部像素点个数的比例小于阈值t，那就随机在该块选取一个有深度值的像素点；反之，就在该块内每t个百分点的像素随机选取一个有深度值的像素点，若块内所有像素都没有深度值，那就不选取任何标记像素点；

4)用1×7的向量x表示像素点，七个分量分别为像素点的亮度值、横坐标、纵坐标以及该像素与上下左右像素点的亮度差值，将其代入到非线性LapRLS函数中算出回归模型：

y＝α^TK_XX

α＝(K_XZK_ZX+λ₁K_XXLK_XX+λ₂K_XX)^-1K_XZY

其中y表示观测值，K_XX,ij＝κ(x_i,x_j)表示向量x_i与x_j的高斯核函数，K_XZ,ij＝κ(x_i,z_j)表示向量x_i与z_j的高斯核函数，Y表示标记像素Z所对应的深度值，λ₁,λ₂,λ₃是常量参数；

5)利用步骤4)算出的回归模型计算出所有像素点的深度值y，利用联合双边滤波对高分辨率深度图像进行平滑和去噪。

本发明所提出的方法与传统深度图像超分辨算法相比，具有以下优势：

1.对深度图像的边缘信息的保护和修复效果十分突出，清晰度能够达到高分辨率彩色图像的效果。

2.对深度图像大面积的深度值缺失以及复杂场景的超分辨率和修复效果较好，准确性较高。

附图说明

图1是低分辨率深度图像；

图2是与彩色图像对齐后的深度图像；

图3是选取的标记像素点位置；

图4是超分辨率后的深度图像。

具体实施方式

下面结合说明书附图对本发明作进一步说明。

本发明的基于Kinect2.0的深度图像超分辨方法，包括如下步骤：

1)如图1所示，Kinect2.0采集的深度图像分辨率是424×512，彩色图像分辨率是1080×1920，利用sdk for kinect先对两种模态的图像数据进行像素对齐，获得一张分布离散深度值的高分辨率深度图像，如图2所示；

2)将彩色图像由RGB颜色空间转化为YUV空间，提取亮度信号Y获得亮度图像，对亮度值大于160的像素的亮度值，线性压缩到区间[160,165]之间，然后再将所有的像素的亮度值线性拉伸到区间[0,255]，最后对亮度图像进行直方图均衡化以减小光照对结果的影响；

3)对步骤2)处理后的亮度图像超分割并逐块进行标记像素点选取，如果该块像素点个数占全部像素点个数的比例小于阈值t，那就随机在该块选取一个有深度值的像素点；反之，就在该块内每t个百分点的像素随机选取一个有深度值的像素点，若块内所有像素都没有深度值，那就不选取任何标记像素点，如图3所示，亮度图像中纹理比较丰富的区域选取的像素点较多，从而提高纹理丰富区域深度值的准确性，避免深度图像引入过多亮度图像的纹理；

4)用1×7的向量x表示像素点，七个分量分别为像素点的亮度值、横坐标、纵坐标以及该像素与上下左右像素点的亮度差值，将其代入到非线性LapRLS函数中算出回归模型：

y＝α^TK_XX

α＝(K_XZK_ZX+λ₁K_XXLK_XX+λ₂K_XX)^-1K_XZY

其中y表示观测值，K_XX,ij＝κ(x_i,x_j)表示向量x_i与x_j的高斯核函数，K_XZ,ij＝κ(x_i,z_j)表示向量x_i与z_j的高斯核函数，Y表示标记像素Z所对应的深度值，λ₁,λ₂,λ₃是常量参数

5)利用步骤4)算出的回归模型计算出所有像素点的深度值y，结果如图4所示，利用联合双边滤波对高分辨率深度图像进行平滑和去噪。

Claims (1)

1.一种基于kinect2.0的深度图像超分辨率方法，其特征在于包括如下步骤：

1)Kinect2.0采集的深度图像分辨率是424×512，彩色图像分辨率是1080×1920，利用sdkfor kinect先对两种模态的图像数据进行像素对齐，获得一张分布离散深度值的高分辨率深度图像；

2)将彩色图像由RGB颜色空间转化为YUV空间，提取亮度信号Y获得亮度图像，对亮度值大于160的像素的亮度值，线性压缩到区间[160,165]之间，然后再将所有的像素的亮度值线性拉伸到区间[0,255]，最后对亮度图像进行直方图均衡化以减小光照对结果的影响；

3)对步骤2)处理后的亮度图像超分割并逐块进行标记像素点选取，如果该块像素点个数占全部像素点个数的比例小于阈值t，那就随机在该块选取一个有深度值的像素点；反之，就在该块内每t个百分点的像素随机选取一个有深度值的像素点，若块内所有像素都没有深度值，那就不选取任何标记像素点；

4)用1×7的向量x表示像素点，七个分量分别为像素点的亮度值、横坐标、纵坐标以及该像素与上下左右像素点的亮度差值，将其代入到非线性LapRLS函数中算出回归模型：

y＝α^TK_XX

α＝(K_XZK_ZX+λ₁K_XXLK_XX+λ₂K_XX)^-1K_XZY

其中y表示观测值，K_XX,ij＝κ(x_i,x_j)表示向量x_i与x_j的高斯核函数，K_XZ,ij＝κ(x_i,z_j)表示向量x_i与z_j的高斯核函数，Y表示标记像素Z所对应的深度值，λ₁,λ₂,λ₃是常量参数；

5)利用步骤4)算出的回归模型计算出所有像素点的深度值y。