CN104820584B - 一种面向层次化信息自然操控的3d手势界面的构建方法及系统 - Google Patents

Abstract

本发明公开了一种面向层次化信息自然操控的3D手势界面，面向计算机系统中的层次化信息结构构建一种新颖的3D手势界面，结合3D手势界面层次空间的3D辐射树显示方式以及手势捕获装置采集到的手势运动数据，使用参数化虚拟手型定义统一的手势模型，进而构建一套用于计算机系统层次化信息自然操控的手势指令并实现交互响应。利用本发明，可以方便地通过手势对层次化信息结构进行有效管理，符合人们的自然手势行为，便于理解，省力易行。

Description

一种面向层次化信息自然操控的3D手势界面的构建方法及 系统

技术领域

本发明涉及手势交互界面，具体地说是一种面向层次化信息自然操控的3D手势界面的构建方法及系统。

背景技术

随着技术的发展，界面越来越简易化，二维的操作难以提供更好的交互体验，3D技术是模拟现实生活的环境，3D化的展现形式使用户操作起来更加接近现实，并且让用户减少学习成本和拥有更好的体验，因此在很多领域中的用户操作界面逐渐转为3D方式实现，3D技术已得到快速发展。

3D技术虽得到了快速发展，但是目前没有一个专门针对计算机中文件系统、菜单等层次化信息结构展现的方法。Fumas与Card等人指出，用户在交互探索大规模可视信息时，倾向于在探索局部焦点信息的详细视图的同时能够保持信息整体视图的可见性，并且能够感知焦点的上下文信息、保持焦点的上下文信息的一致性。与此对应，层次化数据，数据节点间关系应包括上下层之间的父子节点关系以及同层的兄弟关系两种关系。目前的文件系统、菜单等层次化信息结构一般都是以平面的形式展现在显示界面上，结构中各项目排列在显示器上，当点击和调用其中一个项目时，父层目录项目隐藏，下一层次项目弹出，所以存在只能显示当前目录下的各个项目，而对其父层目录下的项目不能同时显示进行操作的问题。这种现有显示系统往往仅重视了同层的兄弟关系而忽略上下层之间的父子节点关系。

Kai Wetzel、王威信以及吕琳等人都提出了一种类似Circular树图可视化方法，该方法将层次化数据中各个项用圆表示，数据节点的值通过映射函数对应于圆半径大小，结合圆在平面区域中的布局算法，对层次化数据进行展示，最后都利用实验证明了利用圆这种几何结构可以有效地解决交互式可视化的上下文感知与上下文一致性问题。但是Circular树图的可视化方法仅仅局限于平面区域，未扩展到三维空间中进行显示。而为了有效地同时展现上下层之间的父子节点关系以及同层的兄弟关系方面，较为常见的解决方式是三维视图。三维视图是将层次化图结构数据的父子节点关系在Z轴方向显示，同时在X-Y平面上示出指定层级的同层兄弟关系。结合Circular树图可视化方法和三维视图，因此我们提出了一种基于3D空间的辐射树状显示方法。

层次化数据需要用户不断地寻找目标节点或者对目标节点进行相应操作，而针对这些操作，传统的交互方法往往需要辅助键盘、鼠标和控制笔等硬件设备来实现，用户未能解放自己的双手，且环境适应性较差。多点触摸技术的引入使得以触摸屏为代表的人机交互方式更加便利和自然，但多点触摸屏的方式只局限于用户的双手在二维特定平面上进行操作，用户还是脱离不开硬件设备以及设备的尺寸限制，也没有真正达到自然、自由的人机交互效果。与此同时，3D化的界面展现形式由于增加一维信息，一方面，真实性和沉浸感都大大提升；而另一方面，也使得传统的交互方法以及触摸屏方式更加不适用。因此，人们倾向于寻找更自然更智能的人机界面和更友好的交互接口。

当前，体感操作识别技术已经成为3D技术中的重要研究内容，它作为人类和计算机之间的交流手段而应用于智能机器人、计算机、游戏机、手机、显示器、自动控制系统、生产技术等各种领域。例如，随着多媒体技术的普及与发展，人们在对新型人机交互技术进行不懈的探索。使用肢体、手势等直观的方式完成计算机的操作，已成为一个技术热点。通过各种高科技手段实现方便、先进、可靠的人机交互系统迎刃而生，很多畅销的电子产品也是由于出色的人机交互手段而产生巨大的经济效益。比如任天堂的WII游戏机，SONY公司的PLAYSTATION III、微软公司的X-BOX以及Leap公司旗下的Leap Motion，其成功在很大程度上都是由于其产品的人机交互手段的先进。

而针对当前越来越热门的体感操作，手势操作也变得越来越普遍。利用手势控制计算机的人机交互方式正逐步成为人机交互的发展方向和趋势。使用手势操作的输入方式，用户不仅可以脱离开硬件设备，不受设备的尺寸限制，还可以完全达到自然、自由的人机交互目的。因此合理的定义面向辐射树展现方式的手势操纵方法是研发一个基于3D辐射树的手势交互方法及系统的重要组成。

发明内容

本发明针对上述现有技术的不足，提供一种针对层次化信息3D辐射树手势交互方法与系统，旨在结合层次化信息在三维空间中的显示，进而构建一套手势交互方法及系统，用户可以在屏幕的操纵区域对层次化结构信息中的项目进行手势操作，有助于提升用户体验。

本发明为解决技术问题采用如下技术方案：

一种面向层次化信息自然操控的3D手势界面的构建方法，面向计算机系统中的层次化信息结构构建一种新颖的3D手势界面，结合层次化信息的3D辐射树显示方式以及手势捕获装置采集到的手势运动数据，使用参数化虚拟手型定义统一的手势模型，进而构建一套用于计算机系统层次化信息自然操控的手势指令并实现交互响应。

所述层次化信息的3D辐射树显示方式是通过扩展2D辐射树的表示方式构建的动态3D辐射树表示方式，更加适合3D手势操控层次信息，包括以下步骤：

(2.1)、计算3D辐射树界面中第k层窗口的大小和位置：

W_k＝3W/2^(k+1)，

H_k＝3H/2^(k+1)，

X_k,left＝5W/2^(k+2)-W_k/2，

Y_k,left＝H/2，

Z_k,left＝-2^kW_k/H_k(k＝1时，Z₁＝0)；

其中，k可取1、2、…n，表示层次化信息中依次向屏幕内部延伸的深度层序列号，最大值n为窗口尺度，表征同时可展示层数目，优选为3；W_k,H_k分别为第k深度层的平面宽度和平面高度，X_k,left，Y_k,left，Z_k,left分别为第k深度层的窗口左上角坐标；W、H为当前计算机显示屏屏幕的宽度和高度；

(2.2)、进行每层窗口中信息子项的展现：通过以辐射方式绕窗口中央项Node_k,0旋转绘制球型节点来展现，表示为{Node_k,1,Node_k,2,Node_k,3...Node_k,i...}；其中，中央项Node_k,i是为上层结点Node_k+1，j的一个复制映射；第k深度层中央项Node_k,i和信息子项的半径与坐标位置的计算过程如下：

(2.21)、确定第k深度层中央项的球心坐标(X_k,Y_k,Z_k)：X_k＝5W/2^(k+2)，Y_k＝H/2，Z_k＝-2^kW_k/H_k(k＝1时，Z₁＝0)，球心半径为R_k＝H_k ²/(2^(k+1)W_k)，R_k为第k深度层中央项的球心半径；

(2.22)、确定围绕中央项的各个子项的球心坐标(x_i,y_i,z_i)：x_i＝(X_k+R_k+N_k+r_i)cos(360/C_k)°，y_i＝(Y_k+R_k+N_k+r_i)sin(360/C_k)°，z_i＝Z_k，其中N_k为第k深度层中央项距离各个子项的距离，N_k＝(R_k+r_i)/2，r_i为围绕中央项的第i子项的球心半径，r_i＝H_k ²/(2^(k+2)W_k)；

(2.23)、确定当前深度层可显示展示的项(中央项除外)的数目C_k：C_k＝π(R_k+N_k+r_i)/r_i-3k，其中，C_k取整数，小数部分按四舍五入；

(2.24)、通过辐射树上的第k窗口中的任一节点位置Z_k来确定第k和第k+1层之间的距离Lk：Z_k＝-2^kW_k/H_k(k＝1时，Z₁＝0)，L_k＝Z_k-Z_k+1；

所述使用参数化虚拟手型定义统一的手势模型是指通过对3D辐射树的显示空间和真实空间中的手部特征的标定定义接触手势映射模型和非接触手势映射模型，包括以下步骤：

(3.1)、利用手势捕获装置传递的运动数据，与3D辐射树的显示空间进行空间配准计算，获取手型掌心位置、手指数目运动信息并形成参数化虚拟手型，计算过程如下：

(3.11)、计算手型掌心位置的移动变化距离：

其中，m为手势捕获装置的帧数，p_j.x，p_j.y，p_j.z则为第j帧手势捕获装置所获得的手型掌心的真实坐标值结合已知中心基准点配准方法最后计算得到的虚拟坐标值，

为项Node_k,i在3D辐射树的显示空间中具体位置的虚拟坐标值；

(3.12)、计算手指数目变化量count：count＝count[0]-count[m]，count[0]为手势捕获装置捕获的当前帧手指数目，count[m]为前第m帧手指数目；

(3.2)、以参数化虚拟手型虚是否抓取3D辐射树界面中的项Node_k,i为依据，设置手势捕获装置的帧数m和虚拟空间碰撞阈值d，在m帧数内，D小于阈值d，且count＝＝5则代表接触手势映射模型，否则为非接触手势映射模型；

所述用于计算机系统层次化信息自然操控的手势指令是指根据接触手势映射模型，将层次化信息的对象类操作方法映射为选择类手势指令，实现在(W,H)屏幕空间映射范围内，依赖Node_k,i项的选择完成对应操作；根据非接触手势映射模型，将层次化信息的观察方法映射为界面类手势指令，实现在(W,H)屏幕空间映射范围内，不需依赖Node_k,i项的选择完成对应操作。

所述的选择类手势指令具体包含移动指令、打开指令、复制粘贴指令、重命名指令、显示属性指令以及删除指令；

所述移动指令，单手“选择”Node_k,i后，缓慢移动到目标位置Node_k,j，然后单手张开，则Node_k,j的位置出现项Node_k,i，源位置Node_k,i消失；

所述打开指令，单手“选择”Node_k,i后再张开，出现C_k个子项序列

围绕着Node_k,i以N_k的距离展开，而Node_k,i移动到第k+1层，距当前第k层距离为L_k；

所述复制-粘贴指令，两只手进行操作，先用一只手“选择”Node_k,i后，停留时间t秒，用以区分“移动”指令，代表复制，然后移动到Node_k,i，单手张开，代表粘贴，则Node_k,j的位置出现项Node_k,i，源位置Node_k,i依然存在；

所述重命名指令，单手“选择”Node_k,i后，左右摇两下，则可重新命名Node_k,i；

所述显示属性指令，单手“选择”Node_k,i后，扭动角度α之后，可出现Node_k,i的一系列属性{打开，重命名，新建......}；

所述删除指令，单手“选择”Node_k,i后，向屏幕之外扔取，此时界面上显示

Node_k,i被成功删除；

所述的界面类手势指令包括返回指令、关闭指令、旋转指令、左移指令、右移指令。

所述返回指令是指单手张开后往屏幕内部方向推动，则当前窗口三层分别由第k层依次可变为k-1层；

所述关闭指令是指在屏幕两边，左手和右手张开后，渐渐地向彼此靠拢，则当前窗口返回到文件管理初始化界面

所述旋转指令是指单手张开进行顺时针转动，则当前窗口第k＝1层则由

转化为

其余两层没有项或者不发生变化；

所述左移指令是指当已打开的子项目录多于三层时，可使用单手张开，以弧线向左移动，对当前窗口中的场景进行切换，此时当前窗口三层{k_i,k_i-1,k_i-2}可变换为{k_i-1,k_i-2,k_i-3}；同理，可得到“右移”指令。

一种利用面向层次化信息自然操控的3D手势界面的构建方法形成的手势交互系统，其特征在于：包括集成手势采集装置、3D显示装置以及集成在3D显示装置上的3D辐射树界面，所述手势采集装置使用Leap Motion，所述3D显示装置采用主动式偏振光眼镜与带有偏振显示功能的液晶显示器，所述手势采集装置和液晶显示器均直接连接电脑主机；所述3D辐射树界面绘制采用偏移摄像机双视图隔帧渲染。

与已有技术相比，本发明有益效果体现在：

1.本发明所提出的独特显示方式，有效地结合了Circular树图可视化方法和三维视图，使得所面向的层次化信息结构清晰，有效地展现了上下层之间的父子节点关系以及同层的兄弟关系。

2.本发明所提出的展示界面焦点集中，根据屏幕大小映射函数来设置各层各项大小以及各项数目，能够获得最优的空间利用率，并可划分出用户注意力区域，离用户视线越近则项体积越大，用户注意力越集中，而同层信息以辐射树状均匀分布在中心项周围，因此被关注优先级相同。

3.本发明所提出的手势交互方法及系统操作简单，针对此3D辐射树状界面提出一种统一的手势描述模型，使得不同年龄段的用户都可以快速地掌握并操作，因此减少了用户的认知荷载，提高了用户与系统交互的效率。

附图说明

图1：本发明当前窗口的层次化界面显示图；

图2：本发明系统结构示意图；

图3：本发明面向计算机3D空间中层次化信息的手势交互方法的一种详细方法流程图；

图4：本发明移动指令手势示意图及其效果图。

图5：本发明打开指令手势示意图及其效果图。

图6：本发明复制-粘贴指令手势示意图及其效果图。

图7：本发明重命名指令手势示意图及其效果图。

图8：本发明显示属性指令手势示意图及其效果图。

图9：本发明删除指令手势示意图及其效果图。

图10：本发明返回指令手势示意图及其效果图。

图11：本发明旋转指令手势示意图及其效果图。

图12：本发明左移指令手势示意图及其效果图。

图13：本发明右移指令手势示意图及其效果图。

图14：本发明关闭指令手势示意图及其效果图。

具体实施方式

为使本发明实施方式的目的、技术方案和优点表达得更清楚明白，下面将结合层次化信息结构中的文件管理系统作为案例进行详细的说明。

一种面向层次化信息自然操控的3D手势界面的构建方法，面向计算机系统中的层次化信息结构构建一种新颖的3D手势界面，结合层次化信息的3D辐射树显示方式以及手势捕获装置采集到的手势运动数据，使用参数化虚拟手型定义统一的手势模型，进而构建一套用于计算机系统层次化信息自然操控的手势指令并实现交互响应。

所述层次化信息的3D辐射树显示方式是通过扩展2D辐射树的表示方式构建的动态3D辐射树表示方式，更加适合3D手势操控层次信息，包括以下步骤：

(2.1)、计算3D辐射树界面中第k层窗口的大小和位置：

W_k＝3W/2^(k+1)，

H_k＝3H/2^(k+1)，

X_k,left＝5W/2^(k+2)-W_k/2，

Y_k,left＝H/2，

Z_k,left＝-2^kW_k/H_k(k＝1时，Z₁＝0)；

其中，k可取1、2、…n，表示层次化信息中依次向屏幕内部延伸的深度层序列号，最大值n为窗口尺度，表征同时可展示层数目，优选为3；W_k,H_k分别为第k深度层的平面宽度和平面高度，X_k,left，Y_k,left，Z_k,left分别为第k深度层的窗口左上角坐标；W、H为当前计算机显示屏屏幕的宽度和高度；

(2.2)、进行每层窗口中信息子项的展现：通过以辐射方式绕窗口中央项Node_k,0旋转绘制球型节点来展现，表示为{Node_k,1,Node_k,2,Node_k,3...Node_k,i...}；其中，中央项Node_k,i是为上层结点Node_k+1，j的一个复制映射；第k深度层中央项Node_k,i和信息子项的半径与坐标位置的计算过程如下：

(2.21)、确定第k深度层中央项的球心坐标(X_k,Y_k,Z_k)：X_k＝5W/2^(k+2)，Y_k＝H/2，Z_k＝-2^kW_k/H_k(k＝1时，Z₁＝0)，球心半径为R_k＝H_k ²/(2^(k+1)W_k)，R_k为第k深度层中央项的球心半径；

(2.22)、确定围绕中央项的各个子项的球心坐标(x_i,y_i,z_i)：x_i＝(X_k+R_k+N_k+r_i)cos(360/C_k)°，y_i＝(Y_k+R_k+N_k+r_i)sin(360/C_k)°，z_i＝Z_k，其中N_k为第k深度层中央项距离各个子项的距离，N_k＝(R_k+r_i)/2，r_i为围绕中央项的第i子项的球心半径，r_i＝H_k ²/(2^(k+2)W_k)；

(2.23)、确定当前深度层可显示展示的项(中央项除外)的数目C_k：C_k＝π(R_k+N_k+r_i)/r_i-3k，其中，C_k取整数，小数部分按四舍五入；

(2.24)、通过辐射树上的第k窗口中的任一节点位置Z_k来确定第k和第k+1层之间的距离Lk：Z_k＝-2^kW_k/H_k(k＝1时，Z₁＝0)，L_k＝Z_k-Z_k+1；

所述使用参数化虚拟手型定义统一的手势模型是指通过对3D辐射树的显示空间和真实空间中的手部特征的标定定义接触手势映射模型和非接触手势映射模型，包括以下步骤：

(3.1)、利用手势捕获装置传递的运动数据，与3D辐射树的显示空间进行空间配准计算，获取手型掌心位置、手指数目运动信息并形成参数化虚拟手型，计算过程如下：

(3.11)、计算手型掌心位置的移动变化距离：

其中，m为手势捕获装置的帧数，p_j.x，p_j.y，p_j.z则为第j帧手势捕获装置所获得的手型掌心的真实坐标值结合已知中心基准点配准方法最后计算得到的虚拟坐标值，

为项Node_k,i在3D辐射树的显示空间中具体位置的虚拟坐标值；

(3.12)、计算手指数目变化量count：count＝count[0]-count[m]，count[0]为手势捕获装置捕获的当前帧手指数目，count[m]为前第m帧手指数目；

(3.2)、以参数化虚拟手型虚是否抓取3D辐射树界面中的项Node_k,i为依据，设置手势捕获装置的帧数m和虚拟空间碰撞阈值d，在m帧数内，D小于阈值d，且count＝＝5则代表接触手势映射模型，否则为非接触手势映射模型；

所述用于计算机系统层次化信息自然操控的手势指令是指根据接触手势映射模型，将层次化信息的对象类操作方法映射为选择类手势指令，实现在(W,H)屏幕空间映射范围内，依赖Node_k,i项的选择完成对应操作；根据非接触手势映射模型，将层次化信息的观察方法映射为界面类手势指令，实现在(W,H)屏幕空间映射范围内，不需依赖Node_k,i项的选择完成对应操作。

所述的选择类手势指令具体包含移动指令、打开指令、复制粘贴指令、重命名指令、显示属性指令以及删除指令；

所述移动指令，单手“选择”Node_k,i后，缓慢移动到目标位置Node_k,j，然后单手张开，则Node_k,j的位置出现项Node_k,i，源位置Node_k,i消失；

所述打开指令，单手“选择”Node_k,i后再张开，出现C_k个子项序列

围绕着Node_k,i以N_k的距离展开，而Node_k,i移动到第k+1层，距当前第k层距离为L_k；

所述复制-粘贴指令，两只手进行操作，先用一只手“选择”Node_k,i后，停留时间t秒，用以区分“移动”指令，代表复制，然后移动到Node_k,i，单手张开，代表粘贴，则Node_k,j的位置出现项Node_k,i，源位置Node_k,i依然存在；

所述重命名指令，单手“选择”Node_k,i后，左右摇两下，则可重新命名Node_k,i；

所述显示属性指令，单手“选择”Node_k,i后，扭动角度α之后，可出现Node_k,i的一系列属性{打开，重命名，新建......}；

所述删除指令，单手“选择”Node_k,i后，向屏幕之外扔取，此时界面上显示

Node_k,i被成功删除；

所述的界面类手势指令包括返回指令、关闭指令、旋转指令、左移指令、右移指令。

所述返回指令是指单手张开后往屏幕内部方向推动，则当前窗口三层分别由第k层依次可变为k-1层；

所述关闭指令是指在屏幕两边，左手和右手张开后，渐渐地向彼此靠拢，则当前窗口返回到文件管理初始化界面

所述旋转指令是指单手张开进行顺时针转动，则当前窗口第k＝1层则由

转化为

其余两层没有项或者不发生变化；

所述左移指令是指当已打开的子项目录多于三层时，可使用单手张开，以弧线向左移动，对当前窗口中的场景进行切换，此时当前窗口三层{k_i,k_i-1,k_i-2}可变换为{k_i-1,k_i-2,k_i-3}；同理，可得到“右移”指令。

一种利用面向层次化信息自然操控的3D手势界面的构建方法形成的手势交互系统，其特征在于：包括集成手势采集装置、3D显示装置以及集成在3D显示装置上的3D辐射树界面，所述手势采集装置使用Leap Motion，所述3D显示装置采用主动式偏振光眼镜与带有偏振显示功能的液晶显示器，所述手势采集装置和液晶显示器均直接连接电脑主机；所述3D辐射树界面绘制采用偏移摄像机双视图隔帧渲染。

本实施案例中利用立体显示设备对层次化信息进行展示，以当前屏幕宽度为1366，屏幕高度为768的立体显示设备为例，进行各层界面的具体进而构建。

(1)、各层界面显示如图1所示。根据已知定义的当前窗口大小W_k＝3W/2^(k+1)，H_k＝3H/2^(k+1)和窗口位置X_k,left＝5W/2^(k+2)-W_k/2,Y_k,left＝(H+H₁)/2，Z_k,left＝-2^kW_k/H_k(k＝1时，Z₁＝0)得出，第一、二、三深度层的平面宽度分别为W₁＝1024.5，W₂＝512.25和W₃＝256.125，第一、二、三深度层的平面的左上角坐标为(341.5,672,0)，(170.75,672,-7.11)和(85.37，672，-14.23)，第一、二、三深度层的平面高度依次为H₁＝576，H₂＝288和H₃＝144。

接下来计算每个深度层中央项和其它子项的半径和坐标位置。根据X_k＝5W/2^(k+2)，Y_k＝H/2，Z_k＝-2^kW_k/H_k(k＝1时，Z₁＝0)得出，第一、二、三深度层中央项的球心坐标分别为(853.75，384，0)，(426.88，384，-7.11)和(213.44，384，-14.23)。根据R_k＝H_k ²/(2^(k+1)W_k)得出，各深度层中央项的球心半径分别为R₁＝80.96，R2＝40.48和R3＝20.24。根据r_i＝H_k ²/(2^(k+2)W_k)得出，各深度层各子项的球心半径分别为r1＝40.48，r2＝20.24和r3＝10.12。

根据N_k＝(R_k+r_i)/2可知，一、二、三深度层中央项矩各个子项的距离分别为N1＝60.72，N₂＝30.36,N₃＝15.18。

通过不同深度层的划分，再根据当前深度层项(中央项除外)可显示展示的数目C_k＝π(R_k+N_k+r_i)/r_i-3k(C_k取整数，小数部分按四舍五入)得出，第一、二、三深度层的项数分别为C₁＝11，C₂＝8,和C₃＝5。

最后根据L_k＝Z_k-Z_k+1得出，第一层深度层与第二层深度层之间的距离为L₁＝7.11，第二层深度层与第三层深度层之间的距离为L₂＝4W/H＝7.12。

(2)、结合实验手势捕获装置采集的手势运动相关数据与3D显示装置上3D辐射树空间展现形式确定手势映射模型，具体过程如下：

(a)、利用手势捕获装置获取掌心位置，手指速度，手指数目运动信息并形成虚拟手势模型；

(b)、以虚拟手势模型法是否抓取辐射树界面中的项Node_k,i为依据，手势模型分为接触手势映射模型和非接触手势映射模型：手掌掌心位置的移动变化距离计算方法为

手指速度变化量的计算方法为：velcoity＝velcoity[0]-velcoity[m]；手指数目变化量的计算方法为：count＝count[0]-count[m]；

结合手势捕获装置设置的帧数m和阈值d，在m帧数内，D小于阈值d，且count＝5则代表接触手势映射模型，否则为非接触手势映射模型。

本实施例中，利用立体显示设备展示给用户一个基于辐射树的文件管理界面。图3则给出了面向3D空间中层次化信息的手势交互方法的一种详细方法流程图。

手势捕捉装置如Leap Motion可以直接获取掌心位置，手指速度，手指数目等特征，所以本发明实施例一采用此设备进行手势的捕捉。可以将Leap Motion等设备绑定在支架上，Leap Motion等设备的摄像头中心与3D显示器的下边界处于同一水平面上。

设O_xyz为手势捕捉装置的坐标系，u、v为以像素为单位的图像坐标系，设备焦距为f，假设摄像机的投影矩阵为M_P，如果顶点P在Leap Motion设备坐标系(以设备的摄像头中心为原点)下的坐标为(x,y,z)，对应的图像点P在成像面的图像坐标系的坐标为(u,v)，可以有：

其中f_u＝f/dx，f_v＝f/dy，dx,dy分别表示立体显示设备u轴和v轴上单位像素的尺寸大小。而u₀,v₀表示立体显示设备屏幕上的坐标中心，在屏幕没有偏移和畸变的情况下，通常处于屏幕的左上角。

利用Leap Motion等设备直接获取掌心位置坐标O(x,y,z)，各手指指尖位置坐标F_i(x_i,y_i,z_i)，掌心指向各手指的方向D_i(x_i,y_i,z_i)，各手指长度为length_i，此时指根位置坐标R_i(x_i,y_i,z_i)可以利用指尖位置坐标、各手指长度以及掌心指向各手指的方向通过公式(2)来求得：

R_i(x_i,y_i,z_i)＝F_i(x_i,y_i,z_i)-length_i.D_i(x_i,y_i,z_i) (2)

此时可以将掌心位置坐标和指根位置坐标连接，各指根位置坐标与各对应指尖位置坐标连接，形成虚拟手模型；形成虚拟手模型之后，根据坐标映射判断虚拟手模型是否在3D显示器界面上进行显示。

若在立体显示设备界面上进行显示，则记录所述虚拟手在操作区内的帧数、指尖数目以及各手指的形态。

判定所述帧数是否超过预设帧数且指尖数目和手指形态与触发手势时是否相符合。当虚拟手在3D空间中任意活动的时候，此时各手指状态为放松状态，且count为5。

利用指尖数目、指尖移动速度、掌心位置、手指形态(放松，弯曲，伸展)作为模板进行手势识别。

所述的手势模型分为接触手势映射模型和无接触手势映射模型，此系统主要映射为：“移动”指令、“复制-粘贴”指令、“打开”指令、“重命名”指令、“显示属性”指令、“删除”指令、“返回”指令、“关闭”指令、“旋转”指令、“左移”指令和“右移”指令等。

接触手势映射模型需要以选择Node_k,i为依据，在此系统中主要体现为“移动”指令、“复制-粘贴”指令、“打开”指令、“重命名”指令、“显示属性”指令和“删除”指令等。

在接触手势映射模型中，当用户想要将项1的位置改变时，可以操作“移动指令”。如图4所示，先用单手“选择”项2，此时手指形态由放松状态变化为弯曲状态，且掌心位置未发生明显变化，手势捕捉装置对手部数据进行捕捉，并将其投影到立体显示设备上，此时立体显示设备上的项2的颜色发生改变，白色变为黑色，“选择”成功，然后用户的手指形态保持弯曲状态，在空间缓慢移动，当到达目标地址项3的下方时，单手张开，手指形态变化为伸展状态，代表移动成功，原有位置处不存在项2。

在接触手势映射模型中，当用户想要将项1打开查看其子项时，可以进行“打开”指令。如图5所示，先用单手“选择”项2，此时项2的颜色变为黑色，“选择”成功，然后再张开，此时用户的手指形态由弯曲状态变化为伸展状态，项2被打开，展开11个子项。

在接触手势映射模型中，当用户想要将项1复制粘贴时，可以操作“复制-粘贴”指令。如图6所示，先用单手“选择”项3003，同理此时项3003的颜色变为黑色，“选择”成功，再停留时间t(t的设置可以通过用户实验进行确定)秒，代表复制成功，此时的t时间用来区分“移动”指令。用户的手指形态为弯曲状态，在空间缓慢移动，到达目标地址项1011处时，单手张开，手指形态变为伸展状态，粘贴成功，同时深度层3还存在项3003。

在接触手势映射模型中，当用户希望更改项1的名字，可以进行“重命名”指令。如图7所示，先用单手“选择”项1011，项1011的颜色变为黑色，“选择”成功，再左右摇两下，对项1011命名为“重命名”。

在接触手势映射模型中，当用户想要查看项的属性，可以进行“显示属性”指令。如图8所示，先用单手“选择”项2，此时项2的颜色变为黑色，“选择”成功，再手指呈现紧握状态扭动一个角度，项2的属性展开成功，可以看到有新建、展开、属性等字段。

在接触手势映射模型中，当用户需要删除某项时，可以进行“删除”指令。如图9所示，先用单手“选择”项4，此时项4的颜色变为黑色，“选择”成功，然后随手向屏幕外方向扔取，可以发现此时界面上由项{1，2，3，4}变为{1，2，3}，项1已被删除成功。

统一模型中还包括非接触手势映射模型，不需要以选择Node_k,i为依据，即对当前窗口中特定层次界面的所有对象进行操作，此系统中主要表现为返回指令、关闭指令、旋转指令、左移指令和右移指令。

在非接触手势映射模型中，当用户想要返回到上一层目录时，可以进行“返回”指令。如图10所示，单手张开后手指状态一直处于伸展状态，往屏幕方向向里推动，深度层3返回到深度层2，返回成功。

在非接触手势映射模型中，因为每一深度层中所有的子项不能够完全显示的展示在空间中，当用户想要查看项中隐藏的子项时，可以进行“旋转”指令，此时旋转命令相当于二维操作界面中下拉框的功能。如图11所示，深度层1显示的是文件集合{1001，1002，1003，1004，1005，1006，1007，1008，1009，1010，1011}，单手张开进行顺时针转动，深度层1显示变为{1004，1005，1006，1007，1008，1009，1010，1011，1012，1013，1014}，使得隐藏的子项{1012，1013，1014}显示出来，从而找到目标文件。

在非接触手势映射模型中，当用户需要切换当前窗口时，可以使用“左移”指令和“右移”指令。其中“左移”指令，即单手张开，手指处于放松状态，水平向左移动，此时当前窗口2、3、4层转换为1、2、3层，如图12所示。“右移”指令，即单手张开，手指处于放松状态，以弧线向右移动，此时当前窗口1、2、3层转换为2、3、4层，如图13所示。

在非接触手势映射模型中，当用户想要关闭文件管理系统，可以进行“关闭”指令。如图14所示，在屏幕两边，左手和右手张开后，手指都处于放松状态，渐渐地向彼此靠拢，回到文件主界面，关闭成功。

参见图2：本实施例中，一种针对层次化信息3D辐射树手势交互系统，其特征在于：包括手势捕获装置、3D显示装置，所述手势捕获装置2采集手势运动信息，所述3D显示装置9内采用3D辐射树显示模块实现数据的3D辐射树空间展现，同时，结合3D显示装置内的手势交互模块进行手势指令的操作，达再结合立体显示设备对层次化信息进行3D辐射树状显示，最后以手势映射模型为基础的手势操控方法进行交互。

Claims (5)

1.一种面向层次化信息自然操控的3D手势界面的构建方法，其特征在于，包括以下步骤：

面向计算机系统中的层次化信息结构构建一种新颖的3D手势界面；

结合层次化信息的3D辐射树显示方式以及手势捕获装置采集到的手势运动数据；

使用参数化虚拟手型定义统一的手势模型，进而构建一套用于计算机系统层次化信息自然操控的手势指令并实现交互响应；

所述层次化信息的3D辐射树显示方式是通过扩展2D辐射树的表示方式构建的动态3D辐射树表示方式，具体包括以下步骤：

(2.1)、计算3D辐射树界面中第k层窗口的大小和位置：

W_k＝3W/2^(k+1)，

H_k＝3H/2^(k+1)，

X_k,left＝5W/2^(k+2)-W_k/2，

Y_k,left＝H/2，

Z_k,left＝-2^kW_k/H_k(k＝1时，Z₁＝0)；

其中，k可取1、2、…n，表示层次化信息中依次向屏幕内部延伸的深度层序列号，最大值n为窗口尺度，表征同时可展示层数目，n为3；W_k,H_k分别为第k深度层的平面宽度和平面高度，X_k,left，Y_k,left，Z_k,left分别为第k深度层的窗口左上角坐标；W、H为当前计算机显示屏屏幕的宽度和高度；

(2.2)、进行每层窗口中信息子项的展现：通过以辐射方式绕窗口中央项Node_k,0旋转绘制球型节点来展现，表示为{Node_k,1,Node_k,2,Node_k,3...Node_k,i...}；其中，中央项Node_k,i是为上层结点Node_k+1，j的一个复制映射；第k深度层中央项Node_k,i和信息子项的半径与坐标位置的计算过程如下：

(2.21)、确定第k深度层中央项的球心坐标(X_k,Y_k,Z_k)：X_k＝5W/2^(k+2)，Y_k＝H/2，Z_k＝-2^kW_k/H_k(k＝1时，Z₁＝0)，球心半径为R_k＝H_k ²/(2^(k+1)W_k)，R_k为第k深度层中央项的球心半径；

(2.22)、确定围绕中央项的各个子项的球心坐标(x_i,y_i,z_i)：x_i＝(X_k+R_k+N_k+r_i)cos(360/C_k)°，y_i＝(Y_k+R_k+N_k+r_i)sin(360/C_k)°，z_i＝Z_k，其中N_k为第k深度层中央项距离各个子项的距离，N_k＝(R_k+r_i)/2，r_i为围绕中央项的第i子项的球心半径，r_i＝H_k ²/(2^(k+2)W_k)；

(2.23)、确定当前深度层可显示展示的项(中央项除外)的数目C_k：C_k＝π(R_k+N_k+r_i)/r_i-3k，其中，C_k取整数，小数部分按四舍五入；

(2.24)、通过辐射树上的第k窗口中的任一节点位置Z_k来确定第k和第k+1层之间的距离Lk：Z_k＝-2^kW_k/H_k(k＝1时，Z₁＝0)，L_k＝Z_k-Z_k+1。

2.根据权利要求1所述的一种面向层次化信息自然操控的3D手势界面的构建方法，其特征在于：所述使用参数化虚拟手型定义统一的手势模型是指通过对3D辐射树的显示空间和真实空间中的手部特征的标定定义接触手势映射模型和非接触手势映射模型，包括以下步骤：

(3.1)、利用手势捕获装置传递的运动数据，与3D辐射树的显示空间进行空间配准计算，获取手型掌心位置、手指数目运动信息等手部特征形成参数化虚拟手型，计算过程如下：

(3.11)、计算手型掌心位置的移动变化距离：

其中，m为手势捕获装置的帧数，p_j.x，p_j.y，p_j.z则为第j帧手势捕获装置所获得的手型掌心的真实坐标值结合已知中心基准点配准方法最后计算得到的虚拟坐标值，

为项Node_k,i在3D辐射树的显示空间中具体位置的虚拟坐标值；

(3.12)、计算手指数目变化量count：count＝count[0]-count[m]，count[0]为手势捕获装置捕获的当前帧手指数目，count[m]为前第m帧手指数目；

(3.2)、以参数化虚拟手型是否抓取3D辐射树界面中的项Node_k,i为依据，设置手势捕获装置的帧数m和虚拟空间碰撞阈值d，在m帧数内，D小于阈值d，且count＝＝5则代表接触手势映射模型，否则为非接触手势映射模型。

3.根据权利要求1所述的一种面向层次化信息自然操控的3D手势界面的构建方法，其特征在于：所述用于计算机系统层次化信息自然操控的手势指令是指根据接触手势映射模型，将层次化信息的对象类操作方法映射为选择类手势指令，实现在(W,H)屏幕空间映射范围内，依赖Node_k,i项的选择完成对应操作；根据非接触手势映射模型，将层次化信息的观察方法映射为界面类手势指令，实现在(W,H)屏幕空间映射范围内，不需依赖Node_k,i项的选择完成对应操作。

4.根据权利要求3所述的一种面向层次化信息自然操控的3D手势界面的构建方法，其特征在于：所述的选择类手势指令具体包含移动指令、打开指令、复制粘贴指令、重命名指令、显示属性指令以及删除指令；所述的界面类手势指令包括返回指令、关闭指令、旋转指令、左移指令、右移指令。

5.根据权利要求1所述的一种面向层次化信息自然操控的3D手势界面的构建方法形成的手势交互系统，其特征在于：包括集成手势采集装置、3D显示装置以及集成在3D显示装置上的3D辐射树界面，所述手势采集装置使用Leap Motion，所述3D显示装置采用主动式偏振光眼镜与带有偏振显示功能的液晶显示器，所述手势采集装置和液晶显示器均直接连接电脑主机；所述3D辐射树界面绘制采用双视点摄像机方式隔帧渲染。

Images