CN104714649A - 一种基于kinect的裸眼3D UI交互方法 - Google Patents

Abstract

本发明基于裸眼3D UI，借助Kinect设备，解决了大屏裸眼3D由于观看距离的限制而在UI互动操作中存在不便的问题。本发明通过对Kinect获取的深度图像信息进行处理，通过动态手势的识别，最终达到远距离手势操控裸眼3D UI的效果。本发明在视觉享受的同时将交互体验融入其中，进一步拉近了人与虚拟世界的距离，在呈现方式上给人以耳目一新的感觉，本发明的引入，将更进一步推动裸眼3D产品的发展。

Description

一种基于kinect的裸眼3D UI交互方法

技术领域

本发明在基于裸眼3D UI新技术的基础之上，利用kinect实现了一种交互方法，该方法进一步拉近了虚拟世界与现实生活的距离。

背景技术

裸眼3D显示技术作为显示行业内的一个重要发展方向，目前在视频显示领域已经取得了比较成熟的成果，如何打破单一的视频显示模式，将模型、图文与视频进行融合，以裸眼3D UI的形式呈现出来，目前本团队已经取得了显著的成果。

随着技术的发展，人机交互日趋简易化，易操作化，人们对交互的体验已不再满足于借助鼠标、键盘等辅助媒介的体验，裸眼3D UI虽然给人以更好的视觉感受，但在人机交互体验方面仍存在一定的不足，尤其是大屏裸眼3D产品对观看距离有一定的限制，以46寸4k裸眼3D广告机为例，最佳观看距离在3米左右，故如果采用键盘鼠标对其进行操作将存在很大的不便。基于此，本发明借助Kinect设备，在视觉享受的同时将交互体验融入其中，进一步拉近了人与虚拟世界的距离，在呈现方式上给人以耳目一新的感觉，在实现了裸眼3D内容呈现多样性的同时加入与客户互动交流的新体验，本发明尤其适用于广告机系统、产品展示及科研教学等。

发明内容

本发明解决的问题是利用kinect实现裸眼3D UI的人机交互。具体实现步骤如下：

第一步：将Kinect接入计算机系统；

第二步：通过深度图信息，对人体进行识别，主要是针对手掌部位的识别，通过识别判定是否需要进行操作响应，当检测当前画面中存在动态的手势时，则进入第三步，否则循环进行第二步的检测；

第三步：通过手心深度信息的获取，判断手心对应UI的区域，计算机将操作信息反馈给对应区域进行操作响应，鉴于裸眼3D UI在制作中是采用模块独立渲染的方式，即UI中涉及的视频模块、文字模块及产品模型展示模块等均是经过独立的多宫格视图渲染合成，最终以动态库的形式合成展现为一个完整的UI界面，故本步骤进行操作对应模块的检测，该模块可以单独对手势信息进行响应。

第四步：手势响应，此处需要将Kinect采集到的彩色图像和深度图像进行骨骼特征的提取，提取后的骨骼信息经由DTW动态规划算法的加权的不同，利用分类树的统计方法进行训练，最终实现有效的手势识别的检测与响应。此处手势信息的检测主要分为两部分，一是手部与摄像头的距离变动，另一个是手势的挥动。通过这两种手势信息，可以简单地定义对裸眼3D UI的点击、旋转、关闭等操作。具体的见下文中的实施例的介绍。同理我们也可以根据不同的界面的操作需求进行各种不同的手势定义，本发明只以其中的一种比较简单的实施例进行加以阐述。

本发明在进行手势识别操作中很主要的信息是来自于人手与摄像头的距离信息，而在Kinect中生成的深度图是用灰度图的灰度信息来表示的，其与实际的距离并不成标准的线性关系，故当人手与摄像头的距离减小时，由于Kinect中的金字塔视场会导致获取的图像的分辨率增大，故本发明在实际的应用中，根据识别到的手掌的大小即图像的灰度值大小，将获取的图像的灰度值转换为实际距离的深度值。根据Kinect的转换原理，实际距离的深度值d为：

$d=K*\tan (\frac{d_P}{2842}.5+1.1863)-M$

其中，K＝0.1237m，M＝0.038m，d_p为Kinect获取的某一像素点的深度值。

根据实际深度距离值，转换为原始像素位置(i，j，d)的实际位置(x，y，z)，转换公式为：

$\left\{\begin{array}{c}x=(i-\frac{W}{2})\×\left(d10\right)\×s\×\frac{W}{h}\\ y=(j-\stackrel{\‾}{2})\×(d-10)\×s\\ z=d\end{array}\right.$

其中s＝0.0021。

通过上述方法，以每个模块的中间视图作为坐标参考图，可以准确地定位到操作模块，并根据距离的变化进行具体操作动作响应。

本发明的有益效果是：基于裸眼3D合成及渲染的方式，在实现的裸眼3D UI的基础之上，最大程度地释放视觉束缚的同时通过Kinect交互操作，拉近了计算机虚拟世界与真实世界的距离，减少了外置有线设备给用户进行UI操作带来的不便。目前在广告机系统中，本发明在吸引客户眼球，增强产品体验度等方面有其他产品无法企及的优势，市场前景广阔，经济效益巨大。

附图说明：

附图1为Kinect裸眼3D UI交互实现流程图。

附图2为手心三维位置示意图。

具体实施方式

下面结合附图1、附图2及具体的实施例对本发明进行进一步的具体描述。

本发明基于目前比较流行的裸眼3D UI实现了一种新的界面交互的方式。该方法一方面呈现了一种新的用户交互体验，另一方面也考虑到裸眼3D设备存在最佳观看距离这一要求的情况，完美地弥补了以裸眼3D实现的UI借助外部设备进行操作容易给用户造成一定的眩晕感这一缺陷。具体方案如下：a.启动Kinect；b.判断当前是否显示裸眼UI模式，是则执行步骤c，否则返回步骤b；c.手势识别，检测是否有动态手势响应，如果有则进入步骤d，否则重复步骤c；e.检测手心所对应的UI区域并进而对相应的手势信息做出操作响应。

实施例：

以实现附图2中的八宫格裸眼3D UI布局为例，在该图中，当手心位置垂直对应于UI中的某一区域时，则对应区域对相应的手势信息做出响应，手势信息主要通过手心距离UI的位置进行识别，当距离减小时则响应为点击操作，利用挥手操作实现模型框的缩放及旋转等功能。本例中基于Kinect实现裸眼3D UI交互方法，采用以下步骤完成：

a.启动Kinect；

b.判断当前是否已进入裸眼3D UI操作模式，是则进入步骤c，否则继续步骤b；

c.动态手势识别。通过手部的骨架信息判别当前是否有动态手势响应，是则做好准备进入d步骤，否则循环进行c步骤；

d.操作区域判定。根据人手与摄像头实际距离的判定，识别当前手势需要操控的区域位置，本案例的裸眼3D UI区域分布如图2所示，每一个模块可以对手势信息进行单独响应，识别结束进入e步骤；

e.操作响应，根据人手与摄像头距离的变化以及挥手等操作，定义具体的响应结果进行最终的UI操作响应。定义的具体手势响应信息为：

e1.检测人手垂直对应的UI坐标，本实施例中以8宫格渲染的裸眼3D UI为例，由于渲染后的成像坐标的不确定性，故本案例采用每一个模块最为接近中间区域的视图作为坐标参考图，手势垂直对应的模块单独对后续的动态手势信息做出响应；

e2.当检测到人手与摄像机的距离减小超过阈值a(本实施例设置为0.2m)时，响应为点击操作；

e3.在操作模型区域时，手势向左挥动时，模型向左转动90度，同理向右或是上下方向挥动，则模型向对应方向旋转90度；

e4.当人手与摄像机的距离增大超过阈值b时(本实施例设置为0.5m)，则响应关闭当前UI。

本发明所要求保护的技术方案包含但并不仅限于上述实施例，由于裸眼3D UI平台可以有很多组合的呈现方式，本实施例中仅以其中的一种示意布局进行阐述，凡在本发明的框架和原则之内所做的任何修改、等同替换或改进等，均应包含在本发明的保护范围之内。

Claims (5)

1.一种基于Kinect的裸眼3D UI交互方法，其特征在于包括以下步骤：

a：将Kinect接入计算机系统；

b：通过深度图信息，对人体进行识别，主要是针对手掌部位的识别，通过识别判定是否需要进行操作响应；

c：通过手心深度信息的获取，判断手心对应UI的区域，计算机将操作信息反馈给对应区域进行操作响应；

d：手势响应，根据人手与摄像头距离的变化以及挥手等操作，定义具体的响应结果进行最终的UI操作响应。

2.根据权利要求1所述的基于Kinect的裸眼3D UI交互方法，其特征在于在b步骤中，对于深度信息的获取，Kinect中生成的深度图是用灰度图的灰度信息来表示的，其与实际的距离并不成标准的线性关系，故当人手与摄像头的距离减小时，由于Kinect中的金字塔视场会导致获取的图像的分辨率增大，故本发明在实际的应用中，根据识别到的手掌的大小即图像的灰度值大小，将获取的图像的灰度值转换为实际距离的深度值，根据Kinect的转换原理，实际距离的深度值d为：

$d=\begin{array}{ccc}K& \tan (\frac{d_p}{2842}.5+1.1863)& M\end{array}$

其中，K＝0.1237m，M＝0.038m，d_p为Kinect获取的某一像素点的深度值。

根据实际深度距离值，转换为原始像素位置(i，j，d)的实际位置(x，y，z)，转换公式为：

$\left\{\begin{array}{c}x=(i-\frac{w}{2})\×\left(\begin{array}{cc}d& 10\end{array}\right)\×s\×\frac{w}{k}\\ y=(j-\stackrel{\‾}{2})\×\left(\begin{array}{cc}d& 10\end{array}\right)\×s\\ z=d\end{array}\right.$

其中s＝0.0021。

3.根据权利要求2中所述的在获取距离信息后，需要进入权利要求1中的c步骤进行区域的响应。此处考虑到裸眼3D渲染内容格式的特殊性，需要选取一个固定视图作为坐标参考图进行位置确定。

4.根据权利要求1中的d步骤，其应该包括以下几个特征：1)当检测到人手与摄像机的距离减小超过阈值a(根据实际情况进行设定)时，响应为点击操作；2)在操作模型区域时，手势向左挥动时，模型向左转动90度，同理向右或是上下方向挥动，则模型向对应方向旋转90度；3)当人手与摄像机的距离增大超过阈值b时(根据实际情况进行设定)，则响应关闭当前UI。

5.根据权利要求4中提到的手势信息响应，其特征在于对Kinect采集到的彩色图像和深度图像进行骨骼特征的提取，提取后的骨骼信息经由DTW动态规划算法的加权不同，利用有效的统计方法进行训练，最终实现有效的动态手势识别的检测与响应。