CN107024989A - 一种基于Leap Motion手势识别的沙画制作方法 - Google Patents

Abstract

本发明属于沙画制作方法技术领域，具体涉及一种基于Leap Motion手势识别的沙画制作方法。本发明主要解决了现有的基于视觉的手势识别整体实现过程繁琐，易受到光线、复杂环境的影响而导致识别不精确、实时性较差的技术问题，并且解决了现阶段沙画表演不具备传播及存储的功能的缺陷。本发明利用Leap Motion捕捉手势精度高的特点，结合Unity 3D强大的集成功能、内置功能完成虚拟沙画绘制过程；通过改进特征提取算法、优化跟踪过程使得手势识别精度更高、跟踪效果更加稳定；加入粒子下落效果，最终实现效果逼真的沙画绘制效果。

Description

一种基于Leap Motion手势识别的沙画制作方法

技术领域

本发明属于沙画制作方法技术领域，具体涉及一种基于Leap Motion手势识别的沙画制作方法。

背景技术

随着虚拟现实技术的发展以及人们对计算机图形学、计算机视觉等相关科目的研究，手势识别技术发展为近些年来人机交互领域的热门研究课题。手势识别可分为基于机械传感设备的手势识别和基于视觉的手势识别两大类。与基于机械传感设备的手势识别相比，基于视觉的手势识别方式在实现过程中具有方便、高效、灵活、自然等诸多优势，但是因为该类方法大多需要依赖摄像头采集手势图像信息，并且需要经过手势图像分割、图像预处理、手势特征提取等繁琐的过程，因而易受到光线、复杂环境的影响而导致识别不精确、实时性较差。在众多体感设备中，Leap Motion以毫米级近距离捕获手运动的极大优势成为当前结合手势识别技术和虚拟现实技术最有代表性的装置，为实现人机交互带来了新的灵感。

沙画创作是21世纪初期新兴的一种艺术创作方式，沙子动画搭配流畅跌宕的背景音乐给人们带来全新的视听感受。但是，现场沙画表演要求演出者随时携带投影设备、沙画方桌、大量细沙等必备工具，而且对现场表演环境及光线有诸多要求，再加上现场沙画表演的作品不具有多次欣赏及传播的缺陷。

发明内容

本发明的目的是解决传统的现场沙画表演大受追捧但受到环境、光线等因素的局限，提供一种基于Leap Motion手势识别的沙画制作方法。

为解决上述技术问题，本发明采用的技术方案为：

一种基于Leap Motion手势识别的沙画制作方法，包括以下步骤：

1)数据采集：将Leap Motion集成到Unity 3D中，通过Leap Motion获得手势的Hand、Finger、Tool、Vector和Gesture几类数据；

2)特征提取：从Hand、Finger、Tool、Vector和Gesture几类数据中提取以下特征值作为手势分类的重要依据：Palm Position、Hand Direction、Palm Normal、FingertipsPosition、Length；

3)沙画手势设计：在Unity 3D中定义“点”、“抹”、“划”、“擦”、“撒”五种简单的沙画手势，并根据不同手势定义每种手势作画时的部位；

4)手势识别：依据提取的Palm Position、Hand Direction、Palm Normal、Fingertips Position、Length特征值，采用SRC算法实现手势识别过程，在Unity3D中显示出相应的手势名称；

5)落沙效果的实现：利用Unity 3D中的粒子系统模拟沙子下落的效果，当识别出手势为“撒沙”时，Unity 3D切换作画平台角度，以便更清晰的看到沙子从手中落下的效果；

6)沙画绘制：采用Leap Motion实现手势跟踪，实时追踪手势的位置坐标及运动方向，按照定义好的手势在沙画平台上完成虚拟沙画的绘制。

Leap Motion能精确检测手、手指及类似手指的工具的三维坐标信息，捕捉精度高达0.01mm。与单目相机相比，Leap Motion不易受局部遮挡、背景环境等外部因素的影响，更适用于手势识别与跟踪。Unity 3D软件具有很好的跨平台性，支持windows、苹果、安卓等多种主流终端，并且Unity 3D具有粒子系统、场景编辑、动画项目等内置功能，能轻松实现系统交互设计、二维UI界面开发、三维场景驱动及漫游等需求。

所述步骤2)中除了提取Palm Position、Hand Direction、Palm Normal、Fingertips Position、Length特征值之外，还包括通过角域划分的方法引入指尖角度及指尖距离两个新增的特征向量作为手势识别依据，以便提高手势识别的准确率。

所述步骤4)中采用SRC算法实现手势识别的过程为：首先输入训练好的手势样本集X∈R^m×n和一个待测样本y∈R^m，归一化X的每一列得到统一的单位l₂范数，利用(a₁ ^*)＝argmin||a||₁s×t×||y-Qa||₂<ε解决l₁范数最小化问题，最后通过计算残余r_i(g_rest)＝||y-Qa_i||₂，满足所求残差值最小，确认待测样本y所在的种别。

所述步骤6)采用Leap Motion实现手势跟踪的过程中加入手势的起止判断：设定手的运动速度v_t与运动方向变化率Δa_t两个数据的合理阈值p和q，当v_t和Δa_t同时满足p>Δa_t和q>v_t时，表示当前手势位于起始点或是结束点，一定程度消除手的振颤，从而更精确的实现Leap Motion的手势跟踪。

所述手的运动速度v_t与运动方向变化率Δa_t的获取方法为：

沙画绘画过程中手指的位置坐标与运动时间的关系可用表示，

采用如下公式计算手指的运动方向：

速度方向变化率Δa_t＝a_t-a_t-1；

手的运动速度

本发明采用以上技术方案，利用Leap Motion采集人手数据信息，加入角域划分的方法优化原特征向量提取算法，同时利用SRC算法识别沙画手势；手势若存在，Leap Motion将利用强大的TBD跟踪技术实时监测人手各指尖位置及运动方向，加入开始点与结束点的判断并改进该判断方法以改善其跟踪算法带来的自颤的缺陷，最后根据本文自行定义的沙画手势语义驱动虚拟手完成沙画创作。本发明提出的基于Leap Motion手势识别的沙画制作方法能够直接获取手的特征信息，无需进行繁琐的数据预处理及特征向量提取过程。与背景技术相比，本发明具有过程简单、识别效果精准的优势，并且跟踪效果更加稳定，能够很好地适用在虚拟沙画系统中。

附图说明

图1是手势特征值分布图；

图2-6是五种手势在Leap Motion Visualizer中的效果图；

图7是“划沙”效果图；

图8是“擦沙”效果图；

图9是“抹沙”效果图；

图10是“点沙”效果图；

图11是“撒沙”效果图；

图12是本发明实施例中人手手指实时位置坐标与运动数据。

具体实施方式

本实施例中的一种基于Leap Motion手势识别的沙画制作方法，包括以下步骤：

1)数据采集：首先需要从Leap Motion官网下载Leap_Motion_SDK_Windows_2.3.1软件安装包将Leap Motion安装到电脑终端；为了将Leap Motion集成到Unity 3D，需要下载Leap Motion Unity Core Assets v2.3.1包并将其引入到Unity 3D中。Leap MotionAPI从Leap Motion捕捉的帧数据中获得手势的Hand、Finger、Tool、Vector和Gesture等几类数据，若Leap Motion成功检测到人手并且该手不离开设备的视野范围时，Leap Motion会给它设置一个唯一的不可更改的ID号，然后绑在Controller对象上的Listener子类会立即触发其内部定义的onFrame()回调函数同步输出该ID号的人手的手指的实时坐标与运动数据(见附图12)；

2)特征提取：从Hand、Finger、Tool、Vector和Gesture几类数据中提取以下特征值作为手势分类依据：Palm Position、Hand Direction、Palm Normal、FingertipsPosition、Length(见图1)；同时，为提高手势识别的准确率，加入角域划分的方法同时引入指尖角度及指尖距离两个新增的特征向量，使用优化后的特征向量组作为重要的手势分类识别依据(见表1)。然后实现特征向量标准化：将各值归约至[0，1]的区间内，其中，将A_i的值按比例缩小至[0.5，1]区间。特征向量优化前后的手势识别率对比结果可以看出优化的有效性(见表2)。

表1优化后的特征向量组

表2识别率对比

3)沙画手势设计：在Unity 3D中定义“点”、“抹”、“划”、“擦”、“撒”五种简单的沙画手势，并根据不同手势定义每种手势作画时的部位(见表3)；连接Leap Motion设备后可在Leap Motion Visualizer中查看每种手势的效果(见图2至图6)；

表3手势语义定义

手势	识别手指个数	手指作画部位	实现效果
				“点”	食指与拇指	指尖
“抹”	整个手掌	整个手掌
				“划”	单个手指且为食指	食指指尖
“擦”	单个手指且为拇指	大拇指手指外侧
				“撒”	手指个数为0	—	出现该手势时，出现落沙效果

4)手势识别：依据提取的Palm Position、Hand Direction、Palm Normal、Fingertips Position、Length特征值及新增的指尖角度、指尖距离特征值，采用SRC算法对手势进行分类识别，每组实验单人单个手势20次，共10人参与实验，将所有获取的样本数据分成两大类，一类样本用于学习与训练，另一类用于测试与验证。首先输入训练好的手势样本集X∈R^m×n和一个待测样本y∈R^m，归一化X的每一列得到统一的单位l₂范数，利用(a₁ ^*)＝argmin||a||₁s·t·||y-Qa||₂<ε解决l₁范数最小化问题，最后通过计算残余r_i(g_rest)＝||y-Qa_i||₂，满足所求残差值最小，确认待测样本y所在的种别，最终在Unity 3D中显示出相应的手势名称；

5)落沙效果的实现：当手势识别过程识别到“撒沙”手势时利用Unity 3D中的粒子系统模拟沙子下落效果。选择菜单栏中“GameObject”下的“Particle System”创建粒子系统，在Inspector视图中的Particle System组件面板设置Particle System初始化模块、Emission、Shape、Size over Lifetime、Renderer等几个模块，完成沙子的基本属性、运动状态及运动生命周期的设置，满足沙子下落的预期效果；由于粒子团的生命周期结束后粒子会消失，不会出现沙子在平面堆积的效果，因此，需要简单模拟沙子落在平面上时堆积的效果；最后编写SandPainting脚本文件，当识别出“撒沙”手势后，Unity 3D粒子系统启动，并且在该脚本文件中设置切换camera视角，从而更好的看出落沙的效果(见图11)；

6)沙画绘制：采用Leap Motion实现手势跟踪，Leap Motion采用的是TBD技术实现手势跟踪，沙画作画过程中手指的位置坐标与运动时间的关系可用表示，手指的运动方向理论上来说是曲线的切线方向，但是Leap Motion采集的是离散的点数据，因此采用如下公式计算手指的运动方向：

由此，可以计算出某时刻手的运动速度为：

运动速度趋于0仅仅是判定手势起始点或终止点的必要条件，当手指在空中写一个类似“W”这样的折线时，除去起止点外的其他三个拐点位置处的速度也趋近于0，但是这三个点明显不是手势起止点。因此，还需计算轨迹中相邻两点的速度方向变化率：Δa_t＝a_t-a_t-1。

通过训练选择合适的经验值p和q并且同时满足p>Δa_t和q>v_t，表示当前手势位于起始点或是结束点，本实施例选取p取q取3mm/s。

手势识别成功后，按照定义好的手势语义在沙画平台上完成虚拟沙画的绘制，实验结果见图7至图11。

Claims (5)

1.一种基于Leap Motion手势识别的沙画制作方法，其特征在于：包括以下步骤：

1)数据采集：将Leap Motion集成到Unity 3D中，通过Leap Motion获得手势的Hand、Finger、Tool、Vector和Gesture几类数据；

2)特征提取：从Hand、Finger、Tool、Vector和Gesture几类数据中提取以下特征值作为手势分类的重要依据：Palm Position、Hand Direction、Palm Normal、FingertipsPosition、Length；

3)沙画手势设计：在Unity 3D中定义“点”、“抹”、“划”、“擦”、“撒”五种简单的沙画手势，并根据不同手势定义每种手势作画时的部位；

4)手势识别：依据提取的Palm Position、Hand Direction、Palm Normal、FingertipsPosition、Length特征值，采用SRC算法实现手势识别过程，在Unity 3D中显示出相应的手势名称；

5)落沙效果的实现：利用Unity 3D中的粒子系统模拟沙子下落的效果，当识别出手势为“撒沙”时，Unity 3D切换作画平台角度，以便更清晰的看到沙子从手中落下的效果；

6)沙画绘制：采用Leap Motion实现手势跟踪，实时追踪手势的位置坐标及运动方向，按照定义好的手势在沙画平台上完成虚拟沙画的绘制。

2.根据权利要求1所述的一种基于Leap Motion手势识别的沙画制作方法，其特征在于：所述步骤2)中除了提取Palm Position、Hand Direction、Palm Normal、FingertipsPosition、Length特征值之外，还包括通过角域划分的方法引入指尖角度及指尖距离两个新增的特征向量作为手势识别依据，以便提高手势识别的准确率。

3.根据权利要求2任一项所述的一种基于Leap Motion手势识别的沙画制作方法，其特征在于：所述步骤4)中采用SRC算法实现手势识别的过程为：首先输入训练好的手势样本集X∈R^m×n和一个待测样本y∈R^m，归一化X的每一列得到统一的单位l₂范数，利用(α₁ ^*)＝argmin||α||₁s·t·||y-Qα||₂＜ε解决l₁范数最小化问题，最后通过计算残余r_i(g_rest)＝||y-Qα_i||₂，满足所求残差值最小，确认待测样本y所在的种别。

4.根据权利要求3所述的一种基于Leap Motion手势识别的沙画制作方法，其特征在于：所述步骤6)采用Leap Motion实现手势跟踪的过程中加入手势的起止判断：设定手的运动速度v_t与运动方向变化率Δα_t两个数据的合理阈值p和q，当v_t和Δα_t同时满足p＞Δα_t和q＞v_t时，表示当前手势位于起始点或是结束点，从而更精确的实现Leap Motion的手势跟踪。

5.根据权利要求4所述的一种基于Leap Motion手势识别的沙画制作方法，其特征在于：所述手的运动速度v_t与运动方向变化率Δα_t的获取方法为：

沙画绘画过程中手指的位置坐标与运动时间的关系可用表示，

采用如下公式计算手指的运动方向：

速度方向变化率Δα_t＝α_t-α_t-1；

手的运动速度