CN104111733B - 一种手势识别系统及方法 - Google Patents

Abstract

本发明公开了一种手势识别系统及方法，该系统至少包括：具有加速度、方向和磁场传感器的智能移动终端，用于记录用户手势的传感器数据并进行特征提取，根据该些特征利用模型训练平台训练获得的训练模型识别用户手势；模型训练平台，对所述智能移动终端采集的多种用户手势的手势特征进行标记及归一化处理，并进行特征训练学习，获得所述训练模型，本发明能够在用户无法或者不想通过触摸屏或键盘进行信息输入的情况下通过手势信息进行信息输入来完成对应的任务，令智能手机用户通过简单地挥动手势便能完成相应的任务。

Description

一种手势识别系统及方法

技术领域

本发明涉及一种手势识别系统及方法，特别是涉及一种基于智能手机的加速度、方向和磁场传感器的手势识别系统及方法。

背景技术

随着智能手机的不断普及、随着手机性能的不断提高，便携的智能手机已经在一定程度上能够替代电脑的作用，对于绝大多数人来说，智能手机变得愈发重要。而加速度、方向和磁场传感器基本是每部智能手机的标准配备，它们能够较为准确地捕捉到用户周围的感知数据，采集用户的行为数据。而很多时候，用户不能或不想直接通过触摸屏或键盘输入信息，那么这时该如何得知用户想要手机完成什么样的任务呢？语音识别是一种方法，手势识别就是另一种可替代的方法，它不需要用户将注意力集中在手机屏幕或键盘上，只是简单地挥一挥手机或做出其他手势，便可以准确地进行信息输入，使手机完成相关的任务。出于这样的原因，手势信息输入作为一种能够有效替代触摸屏、键盘的信息输入方法，其优势愈发凸显。手势信息输入将在许多方面有所作为，包括手势游戏、手势播放器、手势输入法、幻灯片手势操控等等。

考虑这样一种场景，老师在课上授课，需要从讲台的电脑前走到黑板前进行板书或者走入同学之中，可是过一会他必须走回电脑前进行幻灯片的操作，比如翻页。如此一来，便给他的教学带来极大的不便。但是如果能够通过手机的手势识别，并结合数据传输，老师便可以利用手机远程遥控幻灯片的操作。

监测并识别用户手势是基于前期采集的大量带标记的特征数据训练出来的模型进行的，如果模型不够准确，那么经常会错误地识别手势，严重影响用户体验。所以如何训练出准确率更高、鲁棒性更好的模型对于手势识别系统来说非常重要。

因此，实有必要提出一种准确稳定、基于智能手机的手势识别系统及其方法，针对用户不同的手势，识别并完成相应任务。

发明内容

为克服上述现有技术存在的不足，本发明之目的在于提供一种手势识别系统及方法，其能够在用户无法或者不想通过触摸屏或键盘进行信息输入的情况下能通过手势信息进行信息输入来完成对应的任务，令智能手机用户通过简单地挥动手势便能使手机完成相应的任务，为用户增加带来了便捷和乐趣，避免了传统触摸屏或键盘输入需要将注意力集中在上面的缺点和传统输入方式的单调无聊。

为达上述及其它目的，本发明提出一种手势识别系统，至少包括：

具有加速度、方向和磁场传感器的智能移动终端，用于记录用户手势的传感器数据并进行特征提取，根据该些特征利用模型训练平台训练获得的训练模型识别用户手势；

模型训练平台，对所述智能移动终端采集的多种用户手势的手势特征进行标记及归一化处理，并进行特征训练学习，获得所述训练模型。

进一步地，所述智能移动终端包括：

加速度的坐标转换单元，用于将通过加速度传感器采集的加速度从手机坐标系转换到地面坐标系；

手势起始终止时间的判断单元，用于确定手势的起始终止时间；

传感器数据记录单元，利用文件读写语句将每次手势动作的传感器数据写入移动终端的内存；

手势特征提取单元，负责对每帧手势动作进行特征值提取，得到每个手势动作频域时域上长度为45的总体特征描述子；

手机端手势数据归一化单元，用于对该手势特征提取单元获得的45个特征值进行归一化处理；

手势识别单元，对归一化的特征进行分类预测并予以识别。

进一步地，该加速度的坐标转换单元首先获取加速度、方向、磁场传感器的原始数据，然后根据坐标轴变换原理，将该原始数据变换到地面坐标系的对应数据。

进一步地，该手势起始终止时间的判断单元首先计算相邻时刻的三维加速度的差值的绝对值的和，如果其大于预先设定的阈值并且上一个手势已经结束，新的手势还未开始，则标记在该时刻开始了新的手势；如果其小于预先设定的阈值并且手势开始而尚未结束，则标记手势在该时刻结束，否则什么也不做。

进一步地，该手势提取特征单元提取特征的步骤如下：

将收集到的对地三维加速度进行帧间等长的分帧处理，共分为3帧；

根据每帧的数据计算出15个特征值，共得到45个特征值。

进一步地，该模型训练平台为离线的基于Android编程软件Eclipse和机器学习库libsvm的电脑端，该手势数据标记单元、该平台端手势数据归一化单元以及该手势建模识别单元由开源库libsvm中所包含的功能直接实现。

为达到上述目的，本发明还提供一种手势识别方法，包括如下步骤：

步骤一，通过智能移动终端的传感器数据记录单元采集大量用户的不同手势数据并利用手势特征提取单元提取出大量的手势特征；

步骤二，在离线的模型训练平台上对所提取的用户手势特征进行标记和归一化处理，并进行特征训练学习，最后得到一个训练模型；

步骤三，将该训练模型导入该智能移动终端，由该智能移动终端实时采集用户手势的传感器数据，实时地进行识别分类，并实时地完成相对应的任务。

进一步地，步骤三还包括如下步骤：

步骤8.1，从该智能移动终端的各传感器中获得加速度、方向和磁场方向，并把三维加速度转化为对地加速度，并予以记录；

步骤8.2，将收集到的对地三维加速度进行帧间等长的分帧处理，并根据每帧的数据计算出15个特征值，共得到45个特征值；

步骤8.3，把45个特征值进行归一化处理，并由该智能移动终端的手势识别单元进行识别并得到结果。

进一步地，于步骤8.2中，将收集到的对地三维加速度分为帧间等长的3帧，该15个特征值的计算方法如下：首先将三维加速度序列A分为4段，其中每两个相邻的断组成一帧，共3帧，每帧之间具有50％重叠，其中第k个三维加速度数据子序列R_k采用下述方法描述：

R_k＝(r_x，k，r_y，k，r_z，k)，k＝0，1，2式2

其中a_T表示三维加速度序列A，r_T，k表示第k个三维加速度数据子序列T轴上的加速度子序列，表示三维加速度数据子序列r_T，k的长度，表示三维加速度数据子序列r_T，k的第i个的加速度数值，的值可以从A中获得，其对应关系见式4；然后从该三维加速度子序列中，选取5个特征值，将每个加速度序列转化为由45个特征值描述。

进一步地，选取的5个特征值分别为加速度时域上的方差、加速度两两维度时域上的相关度、加速度频域上的直流分量、加速度频域上的交流分量的能量均值、加速度频域上的交流分量的信息熵。

与现有技术相比，本发明一种手势识别系统及方法，先通过移动终端的传感器数据记录单元采集大量用户不同手势的原始数据，再通过移动终端的手势特征提取单元提取出原始数据的特征，然后通过平台端的手势数据标记单元对提取出的特征进行标记，通过平台端的手势数据归一化单元对特征进行归一化，通过平台端的手势建模识别单元利用监督学习里的基于RBF核的支持向量机方法对归一化的特征进行建模，再将得到的模型导入进移动终端，然后再利用移动终端实时采集用户手势的原始数据，通过移动终端的手势特征提取单元提取出原始数据的特征，通过移动终端的手势数据归一化单元对特征进行归一化，通过移动终端的手势识别单元利用监督学习里的基于RBF核的支持向量机方法对归一化的特征进行分类预测，最后根据识别出的手势类别完成相对应的任务，实现了能够在用户无法或者不想通过触摸屏或键盘进行信息输入的情况下也能通过手势信息进行信息输入来完成对应的任务，使智能手机用户能够在将注意力放在其他事情的同时，通过简单地挥动手势便能够使手机完成相应的任务，为用户增加带来了便捷和乐趣，避免了传统触摸屏或键盘输入需要将注意力集中在上面缺点和传统输入方式的单调无聊。

附图说明

图1为本发明一种手势识别系统的系统架构图；

图2为本发明较佳实施例中加速度、方向、磁场传感器的手机坐标系定义；

图3为本发明较佳实施例中加速度、方向、磁场传感器的地面坐标系定义；

图4为本发明一种手势识别方法的步骤流程图；

图5为本发明一种手势识别系统之具体实施例的系统架构图；

图6为本发明一种手势识别方法之具体实施例的步骤流程图。

具体实施方式

以下通过特定的具体实例并结合附图说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。

图1为本发明一种手势识别系统的系统架构图。如图1所示，本发明一种手势识别系统，至少包括：具有加速度、方向和磁场传感器的移动终端10以及模型训练平台20。

其中，具有加速度、方向和磁场传感器的移动终端10用于记录用户手势的传感器数据，并根据这些数据识别用户手势，其包括加速度的坐标转换单元101、手势起始终止时间的判断单元102、传感器数据记录单元103、手势特征提取单元104、手机端手势数据归一化单元105、手势识别单元106。

在本发明中，加速度必须先从手机坐标系转换到地面坐标系，才能继续做后续的操作，因此，加速度的坐标转换单元101用于将通过加速度传感器采集的加速度从手机坐标系转换到地面坐标系，其转换过程如下：移动终端10首先获取加速度、方向、磁场传感器的原始数据，加速度、方向、磁场传感器的手机坐标系定义如图2，然后根据坐标轴变换原理，将原始数据变换到地面坐标系的对应数据，地面坐标系的定义如图3。

举例来说，将移动终端(手机)屏幕向上平方在桌子上，则x方向就是手机的水平方向，右为正；y方向就是手机的水平垂直方向，前为正；z方向就是手机的空间垂直方向，天空的方向为正，地球的方向为负。该坐标系随着手机旋转、平移等变化而跟着变化，是相对于手机的坐标系。加速度、磁场传感器采集三个分量的数值。而方向传感器采集的是三个角的值(方向角、倾斜角、旋转角)，其中方向角的定义是手机坐标系的y轴在水平面上的投影与正北方向的夹角(值的范围是0～359度其中0＝North,90＝East,180＝South,270＝West)，倾斜角的定义是手机坐标系的y轴与水平面的夹角(手机z轴向y轴方向移动为正,值的范围是-180～180度)，旋转角的定义是手机坐标系的x轴与水平面的夹角(手机x轴离开z轴方向为正，值的范围是-90～90)。当把手机水平放置在桌面上(屏幕向上)且手机指向正北(Y轴方向)，此时方向传感器获得的三个角的值应该都为0。

而地面坐标系为，站在地球上某一点，地面坐标系的z轴垂直于地面指向天空，y轴平行于地面指向地磁北极(而非地理北极)，x轴平行于地面大体指向东方。

手势起始终止时间的判断单元102用于确定手势的起始终止时间，其确定手势起始终止时间的过程如下：首先计算相邻时刻的三维加速度的差值的绝对值的和，如果其大于预先设定的阈值并且上一个手势已经结束，新的手势还未开始，则标记在该时刻开始了新的手势，即开始时刻为该时刻；如果其小于预先设定的阈值并且手势开始而尚未结束，则标记手势在该时刻结束，即结束时刻为该时刻，否则什么也不做。

传感器数据记录单元103利用文件读写语句将每次手势动作的传感器数据写入移动终端的内存中，在本发明中，数据文件以文本文档格式保存，并进行统一编号命名，从0开始。

手势特征提取单元104，负责对每帧手势动作进行特征值提取，得到每个手势动作频域时域上长度为45的总体特征描述子。在本发明中，手势特征提取单元104提取特征的步骤如下：

步骤一，将收集到的对地三维加速度进行帧间等长的分帧处理，共分为3帧，分为3帧是因为考虑到每个手势所收集到的加速度序列的长度不一样，需要在不丢失其中主要信息的同时把手势的不等长数据转化为等长数据，又为了不使数据过长，造成系统的响应时间过长，故把数据分为3帧。

步骤二，根据每帧的数据计算出15个特征值，共得到3*15个特征值。这15个特征值具体计算方法如下：将三维加速度序列A分为4段，其中每两个相邻的断组成一帧，共3帧，每帧之间具有50％重叠。其中第k个三维加速度数据子序列R_k采用下述方法描述:

R_k＝(r_x，k，r_y，k，r_z，k)，k＝0，1，2式2

其中a_T表示三维加速度序列A，r_T，k表示第k个三维加速度数据子序列T轴上的加速度子序列，表示三维加速度数据子序列r_T，k的长度，表示三维加速度数据子序列r_T，k的第i个的加速度数值。由于R_k是A的子序列，的值可以从A中获得，其对应关系见式4。

从上一步中的三维加速度子序列中，选取5个特征值，故每个加速度序列可转化为由3×3×5＝45个特征值描述。

时域上：

1.加速度时域上的方差σ_T，k，T＝x，y，z：

2.加速度两两维度时域上的相关度T₁，T₂＝x，y，z：

频域上：把时域上数据子序列转换到频域上的和数据子序列

3.加速度频域上的直流分量μ_T，k，T＝x，y，z：

4.加速度频域上的交流分量的能量均值ε_T，k，T＝x，y，z：

5.加速度频域上的交流分量的信息熵δ_T，k，T＝x，y，z：

按上述方法，计算得出第k个三维加速度数据子序列R_k的5种×3维＝15个的特征值，并简单连接成为帧内特征描述子τ^(k)：

τ^(k)＝(σ_x，k，σ_y，k，σ_z，k，γ_x～y，k，γ_x～z，k，γ_y～z，k，

μ_x，k，μ_y，k，μ_z，k，ε_x，k，ε_y，k，ε_z，k，δ_x，k，δ_y，k，δ_z，k)

则整体特征描述子为τ＝(τ⁽⁰⁾，τ⁽¹⁾，τ⁽²⁾)。

手机端手势数据归一化单元105用于对手势特征提取单元104获得的45个特征进行归一化处理；手势识别单元106，对归一化的特征进行分类预测并予以识别，最后根据识别出的手势类别完成相对应的任务。

模型训练平台20包含手势数据标记单元201、平台端手势数据归一化单元202、手势建模识别单元203，对移动终端10大规模采集的多种用户手势的手势特征利用手势数据标记单元201进行标记，通过平台端手势数据归一化单元202对特征进行进行归一化处理，通过手势建模识别单元203进行特征训练学习，并将训练得到的模型用于移动终端10进行用户手势识别。在本发明较佳实施例中，模型训练平台20为离线的基于Android编程软件Eclipse和机器学习库libsvm的电脑端，其中的手势数据标记单元、平台端手势数据归一化单元以及手势建模识别单元是由开源库libsvm中所包含的功能直接实现，之所以要做标记，因为之后的训练和预测都是采用的监督学习方法；之所以必须让特征值经过归一化处理，是为了避免出现过拟合或者欠拟合，造成结果不佳。

图4为本发明一种手势识别方法的步骤流程图。如图6所示，本发明一种手势识别方法，包括如下步骤：

步骤401，通过移动终端的传感器数据记录单元采集大量用户的不同手势数据并利用手势特征提取单元提取出大量的手势特征。

步骤402，在离线的模型训练平台上对所提取的用户手势特征进行标记和归一化处理，并进行特征训练学习，最后得到一个训练模型。在本发明较佳实施例中，利用手势数据标记单元对提取出的手势特征进行标记，通过平台端的手势数据归一化单元对特征进行归一化，并通过手势建模识别单元利用监督学习里的基于RBF核的支持向量机方法对归一化的特征进行建模。

步骤403，将训练模型导入移动终端，由移动终端实时采集用户手势的传感器数据，实时地进行识别分类，并实时地完成相对应的任务。

具体地说，步骤403包括如下步骤：

(1)从移动终端的各传感器中获得加速度、方向和磁场方向，并把三维加速度转化为对地加速度，并记录；

(2)将收集到的对地三维加速度进行帧间等长的分帧处理，并根据每帧的数据计算出15个特征值，共得到3*15个特征值；

(3)把45个特征值进行归一化处理，并由移动终端的手势识别单元进行识别并得到结果。

图5为本发明一种手势识别系统之具体实施例的系统架构图。在本发明之具体实施例中，本发明之手势识别系统，包括：一台智能手机作为移动终端10(即手机识别端)，以及一台计算机作为模型训练平台20(电脑训练端)，其中作为移动终端10的智能手机具有一个基于系统版本为Android4.0以上的带有加速度、方向和磁场传感器的安卓应用程序，模型训练平台20为一个离线的基于电脑的Android编程软件Eclipse和机器学习库libsvm的模型训练平台。

具体地，系统投入使用之前首先需要采集大量用户的手势数据，形成一个手势样本集，同时通过在电脑端，对这些样本进行训练，进而获得归一化参数，以及SVM(SupportVector Machine，支持向量机)识别需要的模型参数。然后利用这些数据，使用手机识别端即可进行手势识别，以后除非需要添加手势否则无需再使用电脑端进行训练。其中电脑训练端和手机用户端所使用的训练方法相同，都是使用了开源库libsvm中的已有功能进行归一、训练、识别。

图6为本发明一种手势识别方法之具体实施例的步骤流程图。如图6所示，在本发明较佳实施例中，本发明之手势识别系统，包括如下步骤：

步骤1，通过传感器的采集并记录数据，并判断是否形成一个动作以及动作何时结束

步骤2，对数据进行分帧处理

步骤3，对分帧处理后的数据进行特征提取

步骤4，利用开源库libsvm对动作的总特征描述子进行归一化处理以及识别

步骤5，输出结果

综上所述，本发明一种手势识别系统及方法，先通过移动终端的传感器数据记录单元采集大量用户不同手势的原始数据，再通过移动终端的手势特征提取单元提取出原始数据的特征，然后通过平台端的手势数据标记单元对提取出的特征进行标记，通过平台端的手势数据归一化单元对特征进行归一化，通过平台端的手势建模识别单元利用监督学习里的基于RBF核的支持向量机方法对归一化的特征进行建模，再将得到的模型导入进移动终端，然后再利用移动终端实时采集用户手势的原始数据，通过移动终端的手势特征提取单元提取出原始数据的特征，通过移动终端的手势数据归一化单元对特征进行归一化，通过移动终端的手势识别单元利用监督学习里的基于RBF(Radial Basis Function，径向基函数)核的支持向量机方法对归一化的特征进行分类预测，最后根据识别出的手势类别完成相对应的任务，实现了能够在用户无法或者不想通过触摸屏或键盘进行信息输入的情况下也能通过手势信息进行信息输入来完成对应的任务，使智能手机用户能够在将注意力放在其他事情的同时，通过简单地挥动手势便能够使手机完成相应的任务，为用户增加带来了便捷和乐趣，避免了传统触摸屏或键盘输入需要将注意力集中在上面缺点和传统输入方式的单调无聊。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围，应如权利要求书所列。

Claims (8)

1.一种手势识别系统，至少包括：

具有加速度、方向和磁场传感器的智能移动终端，用于记录用户手势的传感器数据并进行特征提取，根据该些特征利用模型训练平台训练获得的训练模型识别用户手势；所述智能移动终端包括：

加速度的坐标转换单元，用于将通过加速度传感器采集的加速度从手机坐标系转换到地面坐标系；

手势起始终止时间的判断单元，用于确定手势的起始终止时间；

传感器数据记录单元，利用文件读写语句将每次手势动作的传感器数据写入移动终端的内存；

手势特征提取单元，负责对每帧手势动作进行特征值提取，得到每个手势动作频域时域上长度为45的总体特征描述子；

手机端手势数据归一化单元，用于对该手势特征提取单元获得的45个特征值进行归一化处理；

手势识别单元，对归一化的特征进行分类预测并予以识别；

模型训练平台，对所述智能移动终端采集的多种用户手势的手势特征进行标记及归一化处理，并进行特征训练学习，获得所述训练模型。

2.如权利要求1所述的一种手势识别系统，其特征在于，该加速度的坐标转换单元首先获取加速度、方向、磁场传感器的原始数据，然后根据坐标轴变换原理，将该原始数据变换到地面坐标系的对应数据。

3.如权利要求2所述的一种手势识别系统，其特征在于：该手势起始终止时间的判断单元首先计算相邻时刻的三维加速度的差值的绝对值的和，如果其大于预先设定的阈值并且上一个手势已经结束，新的手势还未开始，则标记在该时刻开始了新的手势；如果其小于预先设定的阈值并且手势开始而尚未结束，则标记手势在该时刻结束，否则什么也不做。

4.如权利要求3所述的一种手势识别系统，其特征在于，该手势提取特征单元提取特征的步骤如下：

将收集到的对地三维加速度进行帧间等长的分帧处理，共分为3帧；

根据每帧的数据计算出15个特征值，共得到45个特征值。

5.如权利要求1所述的一种手势识别系统，其特征在于：该模型训练平台为离线的基于Android编程软件Eclipse和机器学习库libsvm的电脑端，该手势数据标记单元、该平台端手势数据归一化单元以及该手势建模识别单元由开源库libsvm中所包含的功能直接实现。

6.一种手势识别方法，包括如下步骤：

步骤一，通过智能移动终端的传感器数据记录单元采集大量用户的不同手势数据并利用手势特征提取单元提取出大量的手势特征；

步骤二，在离线的模型训练平台上对所提取的用户手势特征进行标记和归一化处理，并进行特征训练学习，最后得到一个训练模型；

步骤三，将该训练模型导入该智能移动终端，由该智能移动终端实时采集用户手势的传感器数据，实时地进行识别分类，并实时地完成相对应的任务；包括如下步骤：

步骤8.1，从该智能移动终端的各传感器中获得加速度、方向和磁场方向，并把三维加速度转化为对地加速度，并予以记录；

步骤8.2，将收集到的对地三维加速度进行帧间等长的分帧处理，并根据每帧的数据计算出15个特征值，共得到45个特征值；

步骤8.3，把该45个特征值进行归一化处理，并由该智能移动终端的手势识别单元进行识别并得到结果。

7.如权利要求6所述的一种手势识别方法，其特征在于，于步骤8.2中，将收集到的对地三维加速度分为帧间等长的3帧，该15个特征值的计算方法如下：首先将三维加速度序列A分为4段，其中每两个相邻的断组成一帧，共3帧，每帧之间具有50％重叠，其中第k个三维加速度数据子序列R_k采用下述方法描述：

$a_T-(a_T^0,a_T^1,\mathrm{...},a_T^{L-1}),T-x,y,z$

R_k＝(r_x，k，r_y，k，r_z，k)，k＝0，1，2

$r_{T,k}=(r_{T,k}^0,r_{T,k}^0,\mathrm{...},r_{T,k}^{L_s\×2-1}),T=x,y,z$

$r_{T,k}^i=a_T^{L_s\×k+i},i=0,1,\mathrm{...},L_s\×2-1$

其中a_T表示三维加速度序列A，r_T，k表示第k个三维加速度数据子序列T轴上的加速度子序列，表示三维加速度数据子序列r_T，k的长度，表示三维加速度数据子序列r_T，k的第i个的加速度数值，的值可以从A中获得，其对应关系见式4；然后从该三维加速度子序列中，选取5个特征值，将每个加速度序列转化为由45个特征值描述。

8.如权利要求7所述的一种手势识别方法，其特征在于：选取的5个特征值分别为加速度时域上的方差、加速度两两维度时域上的相关度、加速度频域上的直流分量、加速度频域上的交流分量的能量均值、加速度频域上的交流分量的信息熵。