CN109753876A - 一种三维手势的提取识别和三维手势交互系统的构建方法 - Google Patents

Abstract

本发明涉及一种三维手势特征提取和三维系统的构建，改进了手势识别算法，并基于KNN算法和SVM算法进行手势识别效率的对比，进行手势特征规范提取，构建手势采集提取识别系统和三维交互系统，手势识别效率很高，鲁棒性很好，用户的体验分析和效率统计也很好，该三维交互系统的创新性和稳定性的评价都很好。该方法完善了手势识别，创建了手势识别的模型，建立了手势采集系统，并且建立了三维交互系统，在三维交互系统中，进行了手势的应用，并达到了良好的效果。对于人机交互的方式来说，有一定的价值和意义。同时提高了手势识别的精准度。

Description

一种三维手势的提取识别和三维手势交互系统的构建方法

技术领域

本发明基于手势识别技术，基于Leap Motion构建三维手势交互系统，可应用于其它进行手势识别的设备，如虚拟游戏等。

背景技术

信息技术的发展推动了人类社会的变革，影响了人们的生产和生活。如今，随着互联网时代的到来，人机交互也应运而生。交互是指借助一定的载体进行信息交流，人机交互技术(HCI.Human Computer Interaction)指的是人通过一定的设备和计算机进行信息交流，人可以使用输入设备给计算机输入文字来发起请求，而计算机使用输出设备给用户显示出信息来响应请求。

使用手势进行人机交互的过程，更加注重“以人为本”，增加了用户的体验。用户体验(User Experience，简称UE/UX)是用户在使用产品过程中建立起来的一种纯主观感受。但是对于一个界定明确的用户群体来讲，其用户体验的共性是能够经由良好设计实验来认识到。目前应用最为广泛、技术最为成熟的人机交互方式依然是键盘与鼠标，这种交互方式的单一性和低效性使得人们对更高层次、更友好的人机交互方式提出需求。现阶段人机交互新技术的研究内容主要集中在手势识别、语音识别、人脑控制等方面。本发明主要是以手势识别为研究方向，开发新的人机交互，同时也能带来更好的人机交互体验。

手势识别这两年也有很多研究成果，发明人发现现有手势识别技术存在以下问题：手势的操作模式不够丰富；手势的识别效率不够高且分类效果不好，鲁棒性差；没有对数据及算法进行深入的分析和改进；手势识别场景的体验和视觉效果差。没有实现模块化的思想进行统筹设计。

发明内容

本发明解决的技术问题是：为解决现有手势识别存在的问题，本发明提出了一种三维手势识别和基于Leap Motion的三维手势交互系统的方法，基于Leap Motion进行手势识别，并结合KNN算法，进行手势特征的提取，并建立了手指关键点模型，接下来进行手势数据的提取和验证；最后，在Unity3D中创建的系统中导入采集的手势数据，并进行用户体验分析和手势识别效率统计。

本发明的技术方案是：一种三维手势的提取识别方法，包括以下步骤：

步骤一：根据同一个手的手指分别握紧或伸直，形成f种手势；

步骤二：进行手势特征的提取，包括以下子步骤：

子步骤一：

定义每一根手指都具有5个关键点，从指尖到手腕分别标记为指尖TIP，远指关节DIP、近指关节PIP、指掌关节MCP和手腕Wrist；

子步骤二：根据手骨架关键点模型，建立手指五边形模型；以指掌关节为手指局部坐标系中的坐标原点，指向指尖的方向向量为X轴，垂直于X轴且近指关节点和关节点的Y值为正值的坐标轴为Y轴；将子步骤一中的五个关键点转为该坐标中，获取手势角度三个，表示为α、β和γ；

步骤三：通过KNN手势算法进行手势识别，包括以下子步骤：

子步骤一：提取n×m×f个手势数据作为训练对象，其中未知的手势为X个；分别计算n×m×f个手势数据和X个未知手势的欧氏距离；

设n是正整数，由n个实数构成的有序数组x＝(x₁，x₂，...x_n)的全体组成的集合，称为n维点集或n维欧几里得空间，记作即

设x是一个属于的非空集合，如果对于x中任何两个元素x和y，都有一个确定的实数，记为ρ(x，y)，对于中的任意两点

x_i＝(x₁，x₂，...，x_n)，y_i＝(y₁，y₂，...，y_n)

定义实函数

子步骤二：在训练对象中，圈定距离最近的K个训练对象，其中K取值奇数为第一优先级，K取值从1至25，

子步骤三：在K个训练对象中，当同一手势类别出现频次大于K/2+1时，将此手势类别归为该最大频次所对应的类别，否则，归为未定义的类别。

本发明的进一步技术方案是：所述若干种手势位八种，定义食指和中指伸直，其它手弯曲握紧为复制手势；五指伸直张开为移动手势；食指伸直，其它手弯曲握紧为选中手势；大拇指和食指伸直，其它手弯曲贴紧掌心为放大手势；大拇指和食指接合成圆，其它手伸直，为贴纹理手势；大拇指和小拇指伸直，其它手势弯曲贴紧掌心为旋转手势；五指握紧紧贴掌心为删除手势；大拇指伸直，其它手势弯曲紧贴掌心为完成手势。

本发明的进一步技术方案是：一种三维手势交互系统构建方法，包括以下步骤：步骤一：构建手势数据库，包括以下子步骤：

子步骤一：构建手势数据采集系统，定义存储手势种类，手势采集的保存格式是二进制流文件的方式进行保存，之后进行手势分类手势数据处理的时候，再读入二进制数据流。

子步骤二：选取n个用户(n小于20)，进行手势特征关键角度提取，其中每一种手势在每个用户上均进行提取，且每种手势在每一个用户上的提取次数相同，定义每个用户提取的手势为m，则形成样本n×m×f个，构成手势数据库；

步骤二：三维交互系统构建，包括以下子步骤：

子步骤一：基于Unity3D平台和Leap Motion设备进行构建，系统中包括人物模块，场景模块，交互模块，操作体模块；

子步骤二：将f种手势分类进入四个子场景，即四个子场景的任务，第一子场景为复制手势和移动手势；第二子场景为选中手势和贴纹理手势；第三子场景为放大手势和旋转手势；第四子场景为删除手势和完成手势；

子步骤三：导入手势数据n×m×f个，进入主场景中，人物角色器移动到子场景前，按快键键进入子场景，根据当前子场景中的手势任务，驱动虚拟手完成手势操作，后台进行KNN算法计算，进行手势的分类，分类成功，则当前手势被识别。依次完成其它场景的手势任务。

本发明的进一步技术方案是：所述系统中设有四个模块，其中模块一完成复制手势和移动手势；模块二完成选中手势和贴纹理手势；模块三完成放大手势和旋转手势；模块四完成删除手势和完成手势。

发明效果

本发明的技术效果在于：本发明改进了手势识别算法，并基于KNN算法和SVM算法进行手势识别效率的对比，进行手势特征规范提取，构建手势采集系统和三维交互系统，手势识别效率很高，鲁棒性很好，用户的体验分析和效率统计也很好，该三维交互系统的创新性和稳定性的评价都很好。该方法完善了手势识别，创建了手势识别的模型，建立了手势采集系统，并且建立了三维交互系统，在三维交互系统中，进行了手势的应用，并达到了良好的效果。对于人机交互的方式来说，有一定的价值和意义。同时提高了手势识别的精准度。

附图说明

图1：K取值的均值和方差图；

图2：手势设计的功能图；

图3：手骨骼模型图；

图4：手指关键点模型图；

图5：手指五边形模型图；

图6：手势数据采集界面图；

图7：手势总采集样本关节点均值数据图；

图8：三维交互系统架构图；

图9：三维交互系统架构图；

图10：三维交互系统示例图；

图11：模块一子场景图；

图12：模块一手势选中体图；

图13：模块一复制手势图；

图14：模块一移动手势图；

图15：模块二任务图；

图16：模块三任务图；

图17：模块四任务图；

图18：手势效率统计图；

图19：手势识别统计图；

图20：手势交互系统统计图；

具体实施方式

参见图1—图20，本发明首先建立了手势库，再进行手势分类，当前手势分类为八种手势；其次进行手势数据模型的构建，并提取手势的特征；然后，基于改进的KNN的手势算法进行手势识别，计算未知样本X和每类样本的欧式距离。圈定距离最近的K个训练对象，作为测试对象的近邻，求100个样本数据的识别效率平均值和100个样本数据的标准差的平均值，当K＝3时，平均识别效率为96.48％，K＝5时，平均识别效率为96.58％，K＝3时，标准差为0.2426,K＝5时，标准差为0.2307,平均值相差在0.5％之内的K的取值作为相近值，比较选取标准值较小的值作为K值，使K值适应当前样本数量进行K值选择。综合，最后K值选为3；这里的k通过对比分析选择的是3。找到3个邻近对象，一般来说在这3个里选取类别出现频次最高的类别作为该测试样本的类别，当该值小于最小值，将该值赋给最小值。但是，对于实际的手势识别过程中由于识别一直在进行中，因此，有可能手势不在8个类别中，所以，这里作为判断，仅当频次大于K/2+1时，才将此手势类别归为该最大频次所对应的类别，否则，归为未定义的类别；最后，根据前面的手势特征模型构建和手势特征数据的获取，进行手势数据库的构建，主要是构建手势采集系统，进行手势数据采集，之后导入当前手势数据到三维交互系统中，进行用户体验分析和识别效率分析。具体详细步骤如下：

所述一种基于Leap Motion的手势识别，进行特征的提取并建立手指关键点模型，最后导入三维交互系统中，进行手势识别的验证。采用以下步骤：

步骤1：通过人机工程学的研究，设计了八种手势，每种手势有对应的意义,且规定了手势采集的条件。

步骤2：进行手势特征的提取；

步骤3：在获得手势角度数据后，基于KNN的手势算法进行手势识别；

步骤3.1：算距离：在样本类别分别为八类手势，分别为复制手势、选中手势、移动手势、贴图手势、放大手势、旋转手势、删除手势和完成手势。计算未知样本x和每类样本的欧式距离，这里的样本一共有400个样本数据。

步骤3.2：找邻居：圈定距离最近的K个训练对象，作为测试对象的近邻。这里的K选择的是3，即判断计算欧式距离最接近的前3个。一般情况来说，K的大小一般是不大于20的整数且都为奇数。

步骤3.3：作分类：找到3个邻近对象，一般来说在这3个里选取类别出现频次最高的类别作为该测试样本的类别，当该值小于最小值，将该值赋给最小值。但是，对于实际的手势识别过程中由于识别一直在进行中，因此，有可能手势不在8个类别中，所以，这里作为判断，仅当频次大于K/2+1时，才将此手势类别归为该最大频次所对应的类别，否则，归为未定义的类别；

步骤3.4：进行了KNN算法和机器学习SVM算法的识别效率的对比，如下表。KNN手势识别的效率比SVM高很多。

表3为KNN算法和SVM算法手势识别效率对比

算法	手势种类	测试样本	训练样本	识别效率
					KNN算法	8种手势	55	345	99.04％
SVM算法	8种手势	55	345	90.9％

步骤4：根据前面的手势特征模型构建和手势特征数据的获取，接下来进行手势数据库的构建，主要是构建手势采集系统，包括手势的三维交互的流程，进行手势数据采集，进行手势数据的处理和分析并构建当前的手势数据库；

步骤5：进行用户体验的设计，包括进行三维交互系统的构建，前期的开发环境，参与人员，实验参与过程以及用户体验过程的分析；

本实施例中采用的建立手势识别，和在手势识别提取方法的基础上，基于LeapMotion的三维手势交互系统，采用以下步骤：

步骤1：通过人机工程学的研究，设计了八种手势，包括复制手势(食指和中指伸直，其它手弯曲握紧)，移动手势(五指伸直张开)，选中手势(食指伸直，其它手弯曲握紧)，放大手势(大拇指和食指伸直，其它手弯曲贴紧掌心)，贴纹理手势(大拇指和食指接合成圆，其它手伸直，类似于OK手势)，旋转手势(大拇指和小拇指伸直，其它手势弯曲贴紧掌心)，删除手势(五指握紧紧贴掌心)，完成手势(大拇指伸直，其它手势弯曲紧贴掌心)。

步骤2：进行手势特征的提取；

步骤2.1：基于手骨骼模型，如图3，从指尖到手腕分别分段分为远端指骨(Distalphalanges)、中节指骨(Intermediate phalanges)、近端指骨(Proximal phalanges)、掌骨(Metacarpals)。基于手骨骼模型，本文建立了手骨架关键点模型，可以看到手势构建的关键点，从指尖到手腕标记为指尖(TIP)、远指关节(DIP)、近指关节(PIP)、指掌关节(MCP)、手腕(Wrist)，每一根手指都具有5个关键点。

步骤2.2：根据手骨架关键点模型，建立手指四边形模型，以指掌关节为手指局部坐标系中的坐标原点，指向指尖的方向向量为X轴，垂直于X轴且近指关节点和关节点的Y值为正值的坐标轴为Y轴，如图5，来获得手势特征的提取；一个手指有五个关键点，本文这里把一个手指的五个关键点抽象为二维的坐标系上，可以获取手势角度三个，表示为α、β和γ，这里一个手指可以用三个角度来表示，本文提取的手势特征就是以手势的角度为基础，进行提取的，这就是前期的算法的手势特征的提取，有了手势特征，才可以提取手势特征，进行手势算法识别，所以一个手势可以用十五个角度来表示，我们将角度转换为弧度，所以，一个手势可以用一个15维的弧度表示，为下文的手势算法提供了依据和铺垫；

步骤3：在获得手势角度数据后，基于KNN的手势算法进行手势识别；KNN算法是需要有一个样本数据集合的，也就是训练样本集，在样本集中，每一个样本数据都存在一个标签，这个标签就是该样本的所属分类。当进来一条新的数据之后，这个数据就是测试数据，把测试数据和样本集中的每一条样本数据进行距离计算，计算完成之后，选出前K个和测试数据距离最近的样本数据，这就是KNN中的K，统计它们所带标签出现的次数，出现次数最多的那个标签就是测试数据所属的类别。

步骤3.1：首先基于步骤1分类的八类手势，分别为复制手势、选中手势、移动手势、贴图手势、放大手势、旋转手势、删除手势和完成手势。计算未知样本X和每类样本，数量为400个已经采集的手势数据，X指的是未知的手势，本文这里指的是依据400个手势样本数据特征采集后，依据这些手势特征，识别未知的手势)的欧式距离，这里的样本一共有400个样本数据，以下公式即欧式距离的算法。

设n是正整数，由n个实数构成的有序数组x＝(x₁，x₂，...x_n)的全体组成的集合，称为n维点集或n维欧几里得空间，记作即

设x是一个属于的非空集合，如果对于x中任何两个元素x和y，都有一个确定的实数，记为ρ(x，y)，对于中的任意两点

x_i＝(x₁，x₂，...，x_n)，y_i＝(y₁，y₂，...，y_n)

定义实函数

步骤3.2：找邻居：圈定距离最近的K个训练对象，训练对象即已经采集的400手势数据，作为测试对象的近邻。这里的K选择的是3，即判断计算欧式距离最接近的前3个。一般情况来说，K的大小一般是不大于20的整数且都为奇数。

如图1，在手势识别导入手势数据后，进行随机计算手势的识别效率，这里意为取K值。分别K取值从1-10，当K＝1和2时，识别效率为0，所以直接剔除。每个值采集识别效率25次，然后求平均值和方差。平均值获得信息有K＝3时，识别效率最大为99.04％，方差的最小为K＝3和6。平均值相差在0.5％之内的K的取值作为相近值，比较选取标准值较小的值作为K值，使K值适应当前样本数量进行K值选择。所以，综合100个样本数据的识别效率和标准差的均值情况，K值最后选为3，识别效率稳定且高效。

步骤3.3：作分类：找到当前手势进行分类的距离最近的3个邻近对象，邻近对象是指的手势数据，在这3个里选取类别出现频次最高的手势类别作为该测试样本的类别，当该值小于最小值，将该值赋给最小值。但是，对于实际的手势识别过程中由于识别一直在进行中，因此，有可能手势不在已经定义的8个手势类别中，所以，这里作为判断，仅当频次大于K/2+1时，才将此手势类别归为该最大频次所对应的类别，否则，归为未定义的类别；

步骤4：根据前面的手势特征模型构建和手势特征数据的获取，接下来进行手势数据库的构建，主要是构建手势采集系统，包括手势的三维交互的流程，进行手势数据采集，进行手势数据的处理和分析并构建当前的手势数据库；

步骤4.1：进行手势数据库的构建，包括前期进行手势数据采集信息的构建和实验，接下来进行用户人群的数据采集，本实施例中，实验采集数据一共召集5个人，一共有八类手势，每一类手势采集数据50个，每一个人每一类手势采集10个，总共八个手势一共采集400个数据。(主要采集的是手势的关节点的角度)；

步骤4.2：手势采集数据的分析，采集八组手势数据，横坐标为手的15个关节，纵坐标为每个关节处的均值弧度，由图7-a和图7-b得出，Copy手势符合预期，在关节4-9弧度都比较接近Π；Move手势整个手势每个关节弧度均值都比较平稳；Select手势4-6关节均值弧度比较接近Π；Map手势7-15关节均值弧度比较接近Π；Amplify手势2-5关节均值比较接近Π；Rotate手势2-3和13-15关节均值弧度相对大；Delete整个手势弧度比较平缓，都小于180度；Complete手势2-3关节接近180度。

步骤5：进行用户体验的设计，包括进行三维交互系统的构建，实验参与过程以及用户体验过程的分析，前期的开发环境，Leap Motion体感设备一个(用来进行手势特征的提取)、编程语言：C#，操作系统：win7，软件开发包为Leap SDK 3.2.1，软件Unity3D：2018.1.0f2版本，使用Leap Motion用于Unity3D的资源开发包Leap Motion_Core_Assets_4.3.3.unitypackage；

步骤5.1：构建手势的三维交互的流程，如图8；

步骤5.2：基于Unity3D平台和Leap Motion设备，进行三维交互系统的构建，Unity3D平台用于构建手势交互系统。如图10，是三维交互系统的主场景。接下来进行数据的导入设计，接下来进入主场景，主场景中有四个模块任务，主场景中随着人物角色器的运动，能看见4个小立方体一直在旋转。走到小立方体前面，按住快捷键Z进入子场景，完成当前模块的任务。四个模块分别完成上文定义的8个手势任务，模块一：即复制手势和移动手势；模块二：选中手势和贴纹理手势；模块三：放大手势和旋转手势；模块四：删除手势和完成手势。进入四个子模块，进行手势任务的完成，完成任务会进行提示；人物模块即人物角色器，赋予人物角色器一定的移动速度和移动方向，并附加视角转换的功能；场景模块包括主场景和子场景；交互模块主要包括手势交互，鼠标键盘交互以及界面的视觉反馈交互；操作体模块主要是被操作的立方体，实现f种手势的功能；

步骤5.3：进行手势识别效率的统计，如图18，放大手势是100％的识别率。复制、移动、旋转手势的识别效率也很高。选体手势识别有时候很不够准确，需要多次进行选面。完成手势，需要大拇指平行于手势传感器Leap Motion设备，因为大拇指朝上的话，会容易检测不到大拇指。从整个手势效率统计图来说，手势识别1次识别的概率还是很大的。

步骤5.4：进行用户体验分析，如图19和20，用户的研究这里主要采用的是五点李克特量表，即定性的调查，李克特量表(Likert scale)是属评分加总式量表最常用的一种，属同一构念的这些项目是用加总方式来计分，单独或个别项目是无意义的。它是由美国社会心理学家李克特于1932年在原有的总加量表基础上改进而成的。该量表由一组陈述组成，每一陈述有"非常同意"、"同意"、"不一定"、"不同意"、"非常不同意"五种回答。

综合对于手势识别的三维交互系统的反馈来说，大家表示都能很快的熟悉操作而且能学的很快，大家都很自信的使用该系统，有5％的人表示没有自信，也有20％表示中立。从系统的复杂程度来说，有5％的人认为是复杂的，有70％和15％的人表示赞成，认为该系统还是很成功的，且不复杂。从系统的创新性来说，我们获得了大家的一致认可，50％的十分同意，50％的人同意。从系统的易用性来说，35％十分同意和50％同意，说明该系统的易用性很高。

Claims (4)

1.一种三维手势的提取识别方法，其特征在于，包括以下步骤：

步骤一：根据同一个手的手指分别握紧或伸直，形成f种手势；

步骤二：进行手势特征的提取，包括以下子步骤：

子步骤一：定义每一根手指都具有5个关键点，从指尖到手腕分别标记为指尖TIP，远指关节DIP、近指关节PIP、指掌关节MCP和手腕Wrist；

子步骤二：根据手骨架关键点模型，建立手指五边形模型；以指掌关节为手指局部坐标系中的坐标原点，指向指尖的方向向量为X轴，垂直于X轴且近指关节点和关节点的Y值为正值的坐标轴为Y轴；将子步骤一中的五个关键点转为该坐标中，获取手势角度三个，表示为α、β和γ；

步骤三：通过KNN手势算法进行手势识别，包括以下子步骤：

子步骤一：提取n×m×f个手势数据作为训练对象，其中未知的手势为X个；分别计算n×m×f个手势数据和X个未知手势的欧氏距离；

设n是正整数，由n个实数构成的有序数组x＝(x₁，x₂，...x_n)的全体组成的集合，称为n维点集或n维欧几里得空间，记作即

设χ是一个属于的非空集合，如果对于χ中任何两个元素x和y，都有一个确定的实数，记为ρ(x，y)，对于中的任意两点

x_i＝(x₁,x₂,...,x_n)，y_i＝(y₁，y₂，…，y_n)

定义实函数

子步骤二：在训练对象中，圈定距离最近的K个训练对象，其中K取值奇数为第一优先级，K取值从1至25；

子步骤三：在K个训练对象中，当同一手势类别出现频次大于K/2+1时，将此手势类别归为该最大频次所对应的类别，否则，归为未定义的类别。

2.如权利要求1所述的一种三维手势的提取识别方法，其特征在于，所述若干种手势位八种，定义食指和中指伸直，其它手弯曲握紧为复制手势；五指伸直张开为移动手势；食指伸直，其它手弯曲握紧为选中手势；大拇指和食指伸直，其它手弯曲贴紧掌心为放大手势；大拇指和食指接合成圆，其它手伸直，为贴纹理手势；大拇指和小拇指伸直，其它手势弯曲贴紧掌心为旋转手势；五指握紧紧贴掌心为删除手势；大拇指伸直，其它手势弯曲紧贴掌心为完成手势。

3.一种基于权利要求1所述三维手势提取识别方法的三维手势交互系统构建方法，其特征在于，包括以下步骤：

步骤一：构建手势数据库，包括以下子步骤：

子步骤一：构建手势数据采集系统，定义存储手势种类，手势采集的保存格式是二进制流文件的方式进行保存，之后进行手势分类手势数据处理的时候，再读入二进制数据流。

子步骤二：选取n个用户(n小于20)，进行手势特征关键角度提取，其中每一种手势在每个用户上均进行提取，且每种手势在每一个用户上的提取次数相同，定义每个用户提取的手势为m，则形成样本n×m×f个，构成手势数据库；

步骤二：三维交互系统构建，包括以下子步骤：

子步骤一：基于Unity3D平台和Leap Motion设备进行构建，系统中包括人物模块，场景模块，交互模块，操作体模块；

子步骤二：将f种手势分类进入四个子场景，即四个子场景的任务，第一子场景为复制手势和移动手势；第二子场景为选中手势和贴纹理手势；第三子场景为放大手势和旋转手势；第四子场景为删除手势和完成手势；

子步骤三：导入手势数据n×m×f个，进入主场景中，人物角色器移动到子场景前，按快键键进入子场景，根据当前子场景中的手势任务，驱动虚拟手完成手势操作，后台进行KNN算法计算，进行手势的分类，分类成功，则当前手势被识别。依次完成其它场景的手势任务。

4.如权利要求3所述一种三维手势交互系统构建方法，其特征在于，所述系统中设有四个模块，其中模块一完成复制手势和移动手势；模块二完成选中手势和贴纹理手势；模块三完成放大手势和旋转手势；模块四完成删除手势和完成手势。