CN105446461B - 手势识别方法及使用该方法的手掌虚拟键盘及其输入方法 - Google Patents

Abstract

本发明提供一种手势识别方法及系统、以及手掌虚拟键盘及该键盘的输入方法，该手掌虚拟键盘包括信号采集单元、信号预处理单元、信号分割单元、特征提取单元、特征融合单元、手势识别单元、字符映射单元，通过设置在腕部的生物电传感器和设置在拇指的位置传感器，分别获得手势信号，然后通过信号处理、特征提取以及手势识别，识别出用户的手势动作，获得该手势动作对应的字符，从而实现了手掌虚拟键盘的输入。该方案中通过腕部和拇指处的两个传感器，对手势进行识别，从而实现了手掌作为虚拟键盘进行输入的方案，解决了现有技术中虚拟键盘需要使用摄像机采集图像、安装不方便、容易遮挡、识别不准确的问题。

Description

手势识别方法及使用该方法的手掌虚拟键盘及其输入方法

技术领域

本发明涉及一种虚拟输入装置，具体地说是一种基于腕部生物电和手指位置的手掌虚拟键盘及其输入方法。

背景技术

随着电子技术的发展，计算机成为现代工作和生活中不可或缺的一部分，键盘作为人机交互的重要输入设备，其作用更是无法替代。由于人们对电子设备的使用变得日益普遍，这就要求这些设备具有较好的可移动性和便携性。目前，键盘主要有实体硬键盘和触摸屏软键盘两种，由于尺寸的限制，这两种键盘在便携性和易操作性上始终是相互矛盾的，虚拟键盘的产生解决了键盘在便携性和易操作性之间的矛盾。

现有的虚拟键盘采用的是投影方式，需要时通过光投照形成所需的键盘的影像，不使用时会完全消失。该光学虚拟键盘一般是通过激光在媒介上显示虚拟键盘，用户进行键盘输入，采用单个摄像头进行图像采集，通过自动光学检测完成信息识别，键盘触发相应，用户获得该响应消息。但是该虚拟键盘使用光投影，光线容易遮挡视线，影响使用。在专利文献CN102750044A中，公开了一种虚拟键盘装置和实现方法，图像采集检测单元采集用户的手掌位置及手指的坐标，并将用户的手掌显示在实际键盘上，当键盘模拟显示单元提示确认某个按键时，虚拟键盘标定单元根据采集到的手指的坐标标定出虚拟键盘的位置和大小，运动跟踪定位单元根据采集到的手指的坐标，显示在实际键盘上的手指位置以及标定出的虚拟键盘的位置和大小确定按下某个按键。但是，该方案中需要使用摄像头采集用户手部图像，来获得原始数据，通过分析才能得到用户的手掌位置和手指坐标，摄像头为了采集清晰完整的图像，其设置位置具有一定的要求，否则不能得到完整的图像，导致该设备的安装难度增加。此外，该光学方式的虚拟键盘，需要位置固定的激光投影装置或摄像头装置，便携性差。

发明内容

为此，本发明所要解决的技术问题在于现有技术中的虚拟键盘需要使用摄像机采集图像、安装不方便的问题，从而提出一种无需使用摄像头、安装简单方便的手势识别方法以及基于该方法的手掌虚拟键盘及其输入方法。

为解决上述技术问题，本发明的提供一种手势识别方法及使用该方法的手掌虚拟键盘及其输入方法。

一种手势识别方法，包括如下步骤：

设置在腕部的生物电传感器采集用户手势运动时的生物电信号，设置在拇指上的位置传感器采集拇指的运动轨迹以及加速度信号；

将生物电信号和加速度信号进行分割处理，得到手势活动段；

分别针对手势活动段内的生物电信号和加速度信号进行特征提取；

将提取后的所述生物电信号和加速度信号的特征值进行融合，得到手势特征；

将所述手势特征输入预先设置的手势识别模型进行识别，识别出用户的手势。

优选地，所述“将处理后的生物电信号和加速度信号进行分割处理，得到手势活动段”的过程，包括：

将生物电信号，首先通过平均滤波器获得信号的基线，然后使用原始信号减去基线，得到消除了低频漂移的平稳信号；然后，使用时间窗获得生物电信号的窗内能量；之后将该能量幅值进行归一化，即将信号的绝对数值变为0-1之间的相对数值，在0-1内设定一个阈值，如果信号能量连续有若干个采样点高于此阈值，则认为信号此处为手势活动段的起点，此后为活动段内部，直到连续若干个采样点低于阈值，则认为信号此处为手势活动段的终点＝。

优选地，所述“分别针对手势活动段内的生物电信号和加速度信号进行特征提取”的过程，包括：

将一个活动段内的生物电信号，将每个类别的所有采样点的绝对值计算均值，然后计算特征值，构成一个多维特征向量；

将一个活动段内的加速度信号，分别计算在三维方向上的加速度以及合加速度，组成一个4维向量。

优选地，所述手势识别模型通过对所述手势特征的训练来建立，其过程包括：

将融合后的手势特征作为一个整体，送入分类器进行训练，得到分类器模型，作为手势识别模型。

优选地，将生物电信号和加速度信号进行分割处理之前，还包括预处理的过程，具体包括：

对所述信号采集单元得到的生物电信号和加速度信号进行降噪滤波处理，并进行模数转换。

一种手势识别系统，包括：

信号采集单元，包括设置在腕部的生物电传感器和设置在拇指上的位置传感器,生物电传感器采集用户手势运动时的生物电信息，位置传感器采集拇指的运动轨迹以及加速度；

信号分割单元，将预处理后的生物电信号和加速度信号进行分割处理，得到手势活动段；

特征提取单元，分别针对手势活动段内的生物电信号和加速度信号进行特征提取；

特征融合单元，将提取后的所述生物电信号和加速度信号的特征值进行融合，得到手势特征；

将手势特征输入预先建立的手势识别模型中进行识别，识别出用户的手势。

一种使用上述手势识别方法或系统的手掌虚拟键盘，包括：

信号采集单元，包括设置在腕部的生物电传感器和设置在拇指上的位置传感器，所述生物电传感器采集用户手势运动时的生物电信息，所述位置传感器采集拇指的运动轨迹以及加速度；

信号预处理单元，对所述信号采集单元得到的生物电信号和加速度信号进行降噪滤波处理，并进行模数转换；

信号分割单元，将信号预处理单元处理后的生物电信号和加速度信号进行分割处理，得到手势活动段；

特征提取单元，分别针对手势活动段内的生物电信号和加速度信号进行特征提取；

特征融合单元，将所述生物电信号和加速度信号的特征值进行融合，得到手势特征；

手势识别单元，包括预先设置的手势识别模型，将待识别手势特征输入所述手势识别模型进行识别，得到识别出用户的手势；

字符映射单元，根据预先定义的手势与所述字符的对应关系，获得识别出的手势对应的字符。

优选地，还包括一个或多个字符集单元，该字符集单元中设置有手势与该手势对应的字符。

优选地，还包括字符集切换单元，选择一个字符集单元作为目前手势进行字符匹配的字符集。

优选地，所述手势识别模型使用所述手势特征通过训练来建立。

优选地，所述生物电传感器放置在用户腕部的肌群表面，获得用户手势运动的生物电信号，所述生物电信号包括皮肤下的肌电信号和皮肤表面的阻抗变换信号。

一种使用上述手掌虚拟键盘的输入方法，包括如下步骤：

设置在腕部的生物电传感器采集用户手势运动时的生物电信号，设置在拇指上的位置传感器采集拇指的运动轨迹以及加速度信号；

对信号进行预处理，并将处理后的生物电信号和加速度信号进行分割处理，得到手势活动段；

分别针对手势活动段内的生物电信号和加速度信号进行特征提取；

将提取后的所述生物电信号和加速度信号的特征值进行融合，得到手势特征；

使用所述手势特征建立训练模型，得到手势识别模型；

将待识别手势特征输入所述手势识别模型进行识别，识别出用户的手势；

根据预先定义的手势与所述字符的对应关系，获得识别出的手势对应的字符。

本发明的技术方案相比现有技术具有以下优点，

(1)本发明提供一种手势识别方法，通过设置在腕部的生物电传感器采集用户手势运动时的生物电信号，设置在拇指上的位置传感器采集拇指的运动轨迹以及加速度信号；然后将将生物电信号和加速度信号进行分割处理，得到手势活动段；并分别针对手势活动段内的生物电信号和加速度信号进行特征提取；再将提取后的所述生物电信号和加速度信号的特征值进行融合，得到手势特征；最后，将所述手势特征输入预先设置的手势识别模型进行识别，识别出用户的手势。该手势识别方法使用生物电传感器和位置传感器获得生物电信号和加速度信号，并通过该信号来进行手势识别，可以很好的表征手势信息，获得手势识别结果，为手势的应用提供基础。

(2)发明还提供一种基于手势识别的手掌虚拟键盘，包括信号采集单元、信号预处理单元、信号分割单元、特征提取单元、特征融合单元、建模单元、手势识别单元、字符映射单元，通过设置在腕部的生物电传感器和设置在拇指的位置传感器，分别获得手势信号，然后通过信号处理、特征提取以及手势识别，识别出用户的手势动作，获得该手势动作对应的字符，从而实现了手掌虚拟键盘的输入。该方案中通过腕部和拇指处的两个传感器，对手势进行识别，从而实现了手掌作为虚拟键盘进行输入的方案，解决了现有技术中虚拟键盘需要使用摄像机采集图像、安装不方便、容易遮挡、识别不准确的问题，本发明的方案中除了在腕部和拇指设置简单的传感器外，无需其他的复杂结构，便于安装和使用，且提高了处理速度和识别精度，使得虚拟键盘可以被更广泛的使用。

(3)本发明所述的手掌虚拟键盘，还包括一个或多个字符集单元以及一个字符集切换单元，由于手势具有一定数量的限制，为了保证可以使得更多个字符可以被使用，通过定义多个字符集单元并设置一个字符集切换单元的方式，通过字符集切换单元来选择字符集单元，将通过手势复用的方式来提高可以使用的字符数量，大大提高了可识别的字符量。

(4)本发明所述的手势识别方法及手掌虚拟键盘，生物电传感器获得的是皮肤下的肌电信号和皮肤表面的阻抗变换信号，这些生物电信号，包含了手势所涉及的不同肌肉群的丰富运动信息，可以识别出不同手势在手臂不同位置所造成的不同信号幅度的组合，可以识别出手指、手掌、手腕的部位的精细运动信息，反映型信息和手指、手腕的伸屈信息。

(5)本发明所述的手势识别方法及手掌虚拟键盘，位于拇指位置的位置传感器可以反映手臂在空间的运动轨迹和时序信息，可以识别出物体在X、Y、Z三个轴向上的直线位移加速度和角位移加速度，对于大尺度动作具有较好的可分性，提高手势识别的精度。将生物电传感器和位置传感器同时使用，可以将两类传感器的信息进行互补、融合、相互印证，明显提高手势识别的准确度，增加所能识别的手势的种类，能区分不同手势之间细微的差别。

(6)本发明还提供上述手掌虚拟键盘的输入方法，包括获取生物电信号和加速度信号，预处理后识别出手势活动段，并在该活动段内进行特征提取和融合，然后建立手势识别模型进行手势识别，再根据预先设置的手势与字符的映射关系得到该手势输入的字符，完成了虚拟键盘的输入功能，该方案不受光学手势识别方式中对于图像、光线、遮挡等问题的影响，适宜在移动的环境中完成对外部设备的输入和控制，实现了人机交互。

(7)本发明所述的手势识别方法及手掌虚拟键盘的输入方法，在获得手势活动段时，使用时间窗来获得窗内能量，然后通过设置阈值来获得满足条件的新号段，该方式简单，却可以过滤掉噪声等，将具有手势动作的信号段与其他信号段有效区分，为后续处理得到合理的数据。

(8)本发明所述的手势识别方法及手掌虚拟键盘的输入方法，在提取特征数据时，使用了生物电信号得到的多维特征向量和位置传感器得到的四维向量，生物电的多维特征向量反映手部的精细动作，而加速度的四维特征向量，反映了手指的空间运动轨迹，这两种特征组合起来，可以明确的体现出拇指和哪个手指的哪个指节进行了接触。

附图说明

为了使本发明的内容更容易被清楚的理解，下面根据本发明的具体实施例并结合附图，对本发明作进一步详细的说明，其中

图1是本发明所述的手掌虚拟键盘的传感器安装示意图；

图2是本发明所述的手势识别系统的系统结构示意图；

图3是本发明所述的手掌虚拟键盘的系统结构示意图

图4是本发明所述的手掌虚拟键盘的输入方法的流程图。

具体实施方式

实施例1：

本实施例中提供一种手势识别系统及其对应的手势识别方法。

本实施例中的手势识别系统，包括信号采集单元101、信号预处理单元102、信号分割单元103、特征提取单元104、特征融合单元105、手势识别单元107、字符映射单元108。该方案通过设置在腕部的生物电传感器1和设置在拇指的位置传感器2，分别获得手势信号，然后通过信号处理、特征提取以及手势识别，识别出用户的手势动作。

图1给出了该手势识别方法使用的传感器，该手势识别流程如图2所示。其中，信息采集单元101、信号预处理单元102、信号分割单元103、特征提取模块104，均包含两条既相互平行、又有交互的信号处理流，即生物电信号流和加速度信号流。两条信号流在特征融合模块105，进行融合；之后，在建模单元106中通过训练进行模型建立，然后通过手势识别单元107完成对用户手势的识别工作。各个具体的组成部分如下：

(1)信号采集单元101，包括位于腕部腕带内部的生物电传感器1和设置在拇指指环内部的位置传感器2，如图1所示，所述生物电传感器1采集用户手势运动时的生物电信息，所述位置传感器2采集拇指的运动轨迹以及加速度。其中，生物电传感器1放置在用户腕部的肌群表面，包括多个传感器探头，如肌电信号检测探头、皮肤表面的阻抗检测探头等，用于获得用户手势运动的生物电信息，如获得皮肤下面的肌电信号和皮肤表面的阻抗变化信号等。位置传感器2放置在用户拇指表面，获得用户拇指在三维空间上的运动轨迹，以及拇指在X、Y、Z三个轴向上的直线位移加速度和和角位移加速度。

在手势动作的识别方面，生物电传感器1和位置传感器2具有不同的特点。生物电信号中，包含了手势所涉及的不同肌肉群的丰富运动信息，可以识别出不同手势在手臂不同位置所造成的不同信号幅度的组合，可以识别出手指、手掌、手腕的部位的精细运动信息，反映手型信息和手指、手腕的伸屈信息。而位置传感器2，则可以反映手臂在空间的运动轨迹和时序信息，可以识别出物体在X、Y、Z三个轴向上的直线位移加速度和和角位移加速度，对于大尺度动作具有较好的可分性。若能将两类传感器的信息进行互补、融合、相互印证，可以明显提高手势识别的准确度，同时增加所能识别的手势的种类，能区分出不同手势之间更细微的差别。

同时，与基于手部视觉图形的光学手势识别方式相比，生物电和手臂位置信息获取，都不受传感器所处外部光学环境(如光线、背景颜色、遮挡等)的限制，比较适宜在移动环境中完成对外部设备的输入和控制，实现人机交互。

(2)信号预处理单元102，对所述信号采集单元得到的生物电信号和加速度信号进行降噪滤波处理，并进行模数转换。

在该信号预处理单元中，需要对采集到的原始的生物电信号和加速度信号，进行滤波去噪和模/数转换。首先，分别对生物电信号进行带通滤波，对加速度信号进行低通滤波，以消除环境噪声等因素的影响。然后以500-1000Hz的采样率，对两种信号进行模/数转换，得到离散的数字信号采样点。

(3)信号分割单元103，将信号预处理单元102处理后的生物电信号和加速度信号进行分割处理，得到手势活动段。

该单元中，分别对生物电信号和加速度信号进行处理，从而提取出独立的手势信号。

对于生物电信号，先使用5点移动平均滤波器，得到信号的基线；然后用原始信号减去基线，得到消除了低频漂移的平稳信号。然后，使用固定宽度的时间窗，取生物电信号的窗内能量。之后，将该能量幅值进行归一化，即将信号的绝对数值变为0-1之间的相对数值，然后设定一个在0-1之间的阈值，如果信号能量连续有若干个采样点高于此阈值，则认为信号此处为手势动作活动段的起点；此后即为活动段内部；如果又有连续的若干个采样点低于阈值，则认为此号此处为手势动作活动段的终点。起点和终点之间，为用户的一个完整手势。

对于加速度信号，也使用同样的基于阈值的检测起点和终点的逻辑。然后，将两种方式得到的起点和终点进行比较和平均，从而完成了用户手势活动段的分割，得到了手势活动段内的信号数据。

(4)特征提取单元104，分别针对手势活动段内的生物电信号和加速度信号进行特征提取，以便于后续通过分类的方式或其他方式来建立手势识别模型。

对于生物电信号，生物电传感器1中的每个传感器探头(肌电信号传感器、阻抗信号传感器等)检测到不同类型的传感器信号，如共有N种不同的传感器探头获得N种感器信号，将每个传感器探头通道在一个活动段内所有采样点的绝对值取均值，则得到N个生物电传感器1的信号的绝对值均值，就构成一个N维的特征向量，此即为生物电信号的特征向量。除了绝对值的均值，还可以取均方根作为特征值，这些特征值反映了一个手势在不同传感器上的不同能量幅值的组合，具有计算简单、计算开销小、可分性好的优点。

对于加速度信号，由于拇指在触碰不同手指以及不同手指关节时，将会形成不同的空间运动轨迹；同时拇指在三个轴向上不同的加速减速过程，也会在三个轴向上形成不同的加速度。然后，可以计算三个轴向上加速度的幅值均值的组合，对于加速度的三个轴向而言，每一个时刻，在各个轴向上都会有一个加速度的分量的值。对每一个轴向上的加速度分量，取一个特定长度(如32点)的时间窗，计算该时间窗内的加速度分量的均值。如此，就会形成3个加速度分量的均值。这3个加速度分量的均值组合起来，可以反映拇指的整体运动方向。故而，三个轴向上加速度的幅值均值的组合，可以在很大程度上反映出拇指是向哪根手指的哪个指节进行运动。同时，可以计算三个轴向的合加速度，合加速度是指三个轴向上加速度分量的矢量和，构成一个总体的合加速度。计算一个时间窗内各个采样点的合加速度的标准差，可以反映手势运动的剧烈程度。即，手势运动剧烈时，该标准差的值就大，也就是手势的速度变化明显。三个轴向的合加速度的标准差，可以表示手势运动的剧烈程度。故而，把三个轴向上加速度的幅值均值以及合加速度，组合为一个4维向量，作为加速度信号的特征值。

(5)特征融合单元105，将所述生物电信号和加速度信号的特征值进行融合，得到手势特征。

该单元中，将特征提取单元104中获得的两类信号的特征值融合在一起。其中，生物电绝对值均值的N维特征向量，反映了手部精细动作；而加速度信号的4维特征向量，反映了手指的空间运动轨迹。两种特征组合起来，可以明确的体现出拇指和哪根手指的哪个指节进行了接触。

(6)手势识别单元107，将待识别手势特征输入预先训练好的手势识别模型进行识别，得到识别出用户的手势。

所述手势识别模型使用所述手势特征来建立训练模型，将特征融合单元105中融合起来的手势特征作为一个整体，送入分类器进行训练和识别，该处的训练方式可以采用现有技术中的方式，如有监督的训练方式，或无监督的训练方式，也可以采用其他的如神经网络、支持向量机、模糊识别等模式识别方式来构建手势识别模型。考虑到移动设备的计算开销和系统功耗，可以使用计算简单的线性判别分类器，来建立手势识别模型，便于后续进行手势识别。

当建立手势识别模型后，将待识别的特征值输入该训练好的模型后，可以识别结果，至此，已经识别出用户所做的手势。

上述手势识别系统对应的手势识别方法，包括如下步骤：

1、设置在腕部的生物电传感器采集用户手势运动时的生物电信号，设置在拇指上的位置传感器采集拇指的运动轨迹以及加速度信号；

2、对上述信号进行预处理，对所述信号采集单元得到的生物电信号和加速度信号进行降噪滤波处理，并进行模数转换。

3、将生物电信号和加速度信号进行分割处理，得到手势活动段。包括将生物电信号，首先通过平均滤波器获得信号的基线，然后使用原始信号减去基线，得到消除了低频漂移的平稳信号；然后，使用时间窗获得生物电信号的窗内能量；之后将该能量幅值进行归一化，即将信号的绝对数值变为0-1之间的相对数值，在0-1内设定一个阈值，如果信号能量连续有若干个采样点高于此阈值，则认为信号此处为手势活动段的起点，此后为活动段内部，直到连续若干个采样点低于阈值，则认为信号此处为手势活动段的终点

4、分别针对手势活动段内的生物电信号和加速度信号进行特征提取，包括

将一个活动段内的生物电信号，将每个类别的所有采样点的绝对值计算均值，然后计算特征值，构成一个多维特征向量；

将一个活动段内的加速度信号，分别计算在三维方向上的加速度以及合加速度，组成一个4维向量。

5、将提取后的所述生物电信号和加速度信号的特征值进行融合，得到手势特征。

6、将所述手势特征输入预先设置的手势识别模型进行识别，识别出用户的手势。所述手势识别模型通过对所述手势特征的训练来建立，建模的过程为将融合后的手势特征作为一个整体，送入分类器进行训练，得到分类器模型，作为手势识别模型

实施例2：

下面给出本发明所述的手掌虚拟键盘的一个具体的实施方式，该手掌虚拟键盘，包括信号采集单元101、信号预处理单元102、信号分割单元103、特征提取单元104、特征融合单元105、建模单元106、手势识别单元107、字符映射单元108。该方案通过设置在腕部的生物电传感器1和设置在拇指的位置传感器2，分别获得手势信号，然后通过信号处理、特征提取以及手势识别，识别出用户的手势动作，获得该手势动作对应的字符，从而实现了手掌虚拟键盘的输入。

图1给出了该手掌虚拟键盘位手掌部位的部件，该手掌虚拟键盘的系统组成和处理流程，如图2所示。其中，信息采集单元101、信号预处理单元102、信号分割单元103、特征提取模块104，均包含两条既相互平行、又有交互的信号处理流，即生物电信号流和加速度信号流。两条信号流在特征融合模块105，进行融合；之后，在建模单元106中通过训练进行模型建立，然后通过手势识别单元107完成对用户手势的识别和分类工作，通过字符映射单元108中将手势和字符进行映射，获得输入的字符。各个具体的组成部分如下：

(1)信号采集单元101，包括位于腕部腕带内部的生物电传感器1和设置在拇指指环内部的位置传感器2，如图1所示，所述生物电传感器1采集用户手势运动时的生物电信息，所述位置传感器2采集拇指的运动轨迹以及加速度。其中，生物电传感器1放置在用户腕部的肌群表面，包括多个传感器探头，如肌电信号检测探头、皮肤表面的阻抗检测探头等，用于获得用户手势运动的生物电信息，如获得皮肤下面的肌电信号和皮肤表面的阻抗变化信号等。位置传感器2放置在用户拇指表面，获得用户拇指在三维空间上的运动轨迹，以及拇指在X、Y、Z三个轴向上的直线位移加速度和和角位移加速度。

在手势动作的识别方面，生物电传感器1和位置传感器2具有不同的特点。生物电信号中，包含了手势所涉及的不同肌肉群的丰富运动信息，可以识别出不同手势在手臂不同位置所造成的不同信号幅度的组合，可以识别出手指、手掌、手腕的部位的精细运动信息，反映手型信息和手指、手腕的伸屈信息。而位置传感器2，则可以反映手臂在空间的运动轨迹和时序信息，可以识别出物体在X、Y、Z三个轴向上的直线位移加速度和和角位移加速度，对于大尺度动作具有较好的可分性。若能将两类传感器的信息进行互补、融合、相互印证，可以明显提高手势识别的准确度，同时增加所能识别的手势的种类，能区分出不同手势之间更细微的差别。

同时，与基于手部视觉图形的光学手势识别方式相比，生物电和手臂位置信息获取，都不受传感器所处外部光学环境(如光线、背景颜色、遮挡等)的限制，比较适宜在移动环境中完成对外部设备的输入和控制，实现人机交互。

(2)信号预处理单元102，对所述信号采集单元得到的生物电信号和加速度信号进行降噪滤波处理，并进行模数转换。

在该信号预处理单元中，需要对采集到的原始的生物电信号和加速度信号，进行滤波去噪和模/数转换。首先，分别对生物电信号进行带通滤波，对加速度信号进行低通滤波，以消除环境噪声等因素的影响。然后以500-1000Hz的采样率，对两种信号进行模/数转换，得到离散的数字信号采样点。

(3)信号分割单元103，将信号预处理单元102处理后的生物电信号和加速度信号进行分割处理，得到手势活动段。

该单元中，分别对生物电信号和加速度信号进行处理，从而提取出独立的手势信号。

对于生物电信号，先使用5点移动平均滤波器，得到信号的基线；然后用原始信号减去基线，得到消除了低频漂移的平稳信号。然后，使用固定宽度的时间窗，取生物电信号的窗内能量。之后，将该能量幅值进行归一化，即将信号的绝对数值变为0-1之间的相对数值，然后设定一个在0-1之间的阈值，如果信号能量连续有若干个采样点高于此阈值，则认为信号此处为手势动作活动段的起点；此后即为活动段内部；如果又有连续的若干个采样点低于阈值，则认为此号此处为手势动作活动段的终点。起点和终点之间，为用户的一个完整手势。

对于加速度信号，也使用同样的基于阈值的检测起点和终点的逻辑。然后，将两种方式得到的起点和终点进行比较和平均，从而完成了用户手势活动段的分割，得到了手势活动段内的信号数据。

(4)特征提取单元104，分别针对手势活动段内的生物电信号和加速度信号进行特征提取，以便于后续通过分类的方式或其他方式来建立手势识别模型。

对于生物电信号，生物电传感器1中的每个传感器探头(肌电信号传感器、阻抗信号传感器等)检测到不同类型的传感器信号，如共有N种不同的传感器探头获得N种感器信号，将每个传感器探头通道在一个活动段内所有采样点的绝对值取均值，则得到N个生物电传感器1的信号的绝对值均值，就构成一个N维的特征向量，此即为生物电信号的特征向量。除了绝对值的均值，还可以取均方根作为特征值，这些特征值反映了一个手势在不同传感器上的不同能量幅值的组合，具有计算简单、计算开销小、可分性好的优点。

对于加速度信号，由于拇指在触碰不同手指以及不同手指关节时，将会形成不同的空间运动轨迹；同时拇指在三个轴向上不同的加速减速过程，也会在三个轴向上形成不同的加速度。故而，三个轴向上加速度的幅值均值的组合，可以在很大程度上反映出拇指是向哪根手指的哪个指节进行运动。同时，三个轴向的合加速度的标准差，可以表示手势运动的剧烈程度。故而，把三个轴向上加速度的幅值均值以及合加速度，组合为一个4维向量，作为加速度信号的特征值。

(5)特征融合单元105，将所述生物电信号和加速度信号的特征值进行融合，得到手势特征。

该单元中，将特征提取单元104中获得的两类信号的特征值融合在一起。其中，生物电绝对值均值的N维特征向量，反映了手部精细动作；而加速度信号的4维特征向量，反映了手指的空间运动轨迹。两种特征组合起来，可以明确的体现出拇指和哪根手指的哪个指节进行了接触。

手势识别单元107，将待识别手势特征输入预先训练好的手势识别模型进行识别，得到识别出用户的手势。

所述手势识别模型使用所述手势特征建立训练模型，将特征融合单元105中融合起来的手势特征作为一个整体，送入分类器进行训练和识别，该处的训练方式可以采用现有技术中的方式，如有监督的训练方式，或无监督的训练方式，也可以采用其他的如神经网络、支持向量机、模糊识别等模式识别方式来构建手势识别模型。考虑到移动设备的计算开销和系统功耗，可以使用计算简单的线性判别分类器，来建立手势识别模型，便于后续进行手势识别。

当建立手势识别模型后，将待识别的特征值输入该训练好的模型后，可以识别结果，至此，已经识别出用户所做的手势。

(6)字符映射单元108，根据预先定义的手势与所述字符的对应关系，获得识别出的手势对应的字符。此处，预先设计有字符集以及字符集中的字符与手势的对应关系，将识别出的手势在该字符映射单元中的字符与手势的对应关系中查找，便获得了其对应的字符，从而实现了通过手掌虚拟键盘进行字符输入的功能。然后，通过无线传输方式，将识别后的字符发送给外部设备，如通过蓝牙、WIFI等方式将识别后的字符发送给外设。

作为进一步的实现方式，还设置有多个字符集单元以及字符集切换单元109，每个字符集单元中设置有手势与该手势对应的字符，该多个字符集单元通过字符集切换单元109来进行选择，从而选择一个字符集单元作为目前手势进行字符匹配的字符集。对于单手而言，食指、中指、无名指和小指一共只有12个指节，即用拇指接触不同手指的不同指节，最多只能有12个手势，也就只能映射到12个字符或控制命令上。为了增加用户输入字符的多样性，设置了该字符集切换装置，使得用户可以根据应用场景的不同，切换手势所映射到的字符集，如：电话键盘字符集(0-9、*、#)、大小写字母、标点符号、控制命令等，此功能类似于PC上的输入法中的软键盘选择功能，提高了手掌输入键盘的输入能力。

由于手势具有一定数量的限制，为了保证可以使得更多个字符可以被使用，通过定义多个字符集单元并设置一个字符集切换单元的方式，通过字符集切换单元来选择字符集单元，将通过手势复用的方式来提高可以使用的字符数量，大大提高了可识别的字符量。

实施例3：

本实施例中提供一种上述实施例中的手掌虚拟键盘的输入方法，流程图如图4所示，包括如下步骤：

S1、设置在腕部的生物电传感器1采集用户手势运动时的生物电信息，设置在拇指上的位置传感器2采集拇指的运动轨迹以及加速度。

生物电传感器1放置在用户腕部的肌群表面，包括多个传感器探头，如肌电信号检测探头、皮肤表面的阻抗检测探头等，用于获得用户手势运动的生物电信息，如获得皮肤下面的肌电信号和皮肤表面的阻抗变化信号等。位置传感器2放置在用户拇指表面，获得用户拇指在三维空间上的运动轨迹，以及拇指在X、Y、Z三个轴向上的直线位移加速度和和角位移加速度。

生物电信号中，包含了手势所涉及的不同肌肉群的丰富运动信息，可以识别出不同手势在手臂不同位置所造成的不同信号幅度的组合，可以识别出手指、手掌、手腕的部位的精细运动信息，反映手型信息和手指、手腕的伸屈信息。而位置传感器2，则可以反映手臂在空间的运动轨迹和时序信息，可以识别出物体在X、Y、Z三个轴向上的直线位移加速度和和角位移加速度，对于大尺度动作具有较好的可分性。将两类传感器的信息进行互补、融合、相互印证，可以明显提高手势识别的准确度，同时增加所能识别的手势的种类，能区分出不同手势之间更细微的差别。

S2、对所述生物电信号和加速度信号进行降噪滤波处理，并进行模数转换。

首先，分别对生物电信号进行带通滤波，对加速度信号进行低通滤波，以消除环境噪声等因素的影响。然后以500-1000Hz的采样率，对两种信号进行模/数转换，得到离散的数字信号采样点。

S3、将处理后的生物电信号和加速度信号进行分割处理，得到手势活动段。

将生物电信号，首先通过平均滤波器获得信号的基线，然后使用原始信号减去基线，得到消除了低频漂移的平稳信号；然后，使用时间窗获得生物电信号的窗内能量；之后，将该能量幅值进行归一化，即将信号的绝对数值变为0-1之间的相对数值，再设定一个位于0-1之间的阈值，如果信号能量连续有若干个采样点高于此阈值，则认为信号此处为手势活动段的起点，此后为活动段内部，直到连续若干个采样点低于阈值，则认为信号此处为手势活动段的终点。

对于加速度信号，也使用同样的基于阈值的检测起点和终点的逻辑。然后，将两种方式得到的起点和终点进行比较和平均，从而完成了用户手势活动段的分割，得到了手势活动段内的信号数据。

本步骤中，在获得手势活动段时，使用时间窗来获得窗内能量，然后通过设置阈值来获得满足条件的新号段，该方式简单，却可以过滤掉噪声等，将具有手势动作的信号段与其他信号段有效区分，为后续处理得到合理的数据。

S4、分别针对手势活动段内的生物电信号和加速度信号进行特征提取。

将一个活动段内的生物电信号，将每个类别的所有采样点的绝对值计算特征值，构成一个多维特征向量。对于生物电信号，生物电传感器1中的每个传感器探头(肌电信号传感器、阻抗信号传感器等)检测到不同类型的传感器信号，如共有N种不同的传感器探头获得N中传感器信号，将每个传感器探头通道在一个活动段内所有采样点的绝对值做归一化，之后进行均值或均方根等运算，则得到N个生物电传感器1的信号的特征值，就构成一个N维的特征向量，此即为生物电信号的特征向量。

将一个活动段内的加速度信号，分别计算在三维方向上的加速度以及合加速度，组成一个4维向量。

本步骤中，在提取特征数据时，使用了生物电信号得到的多维特征向量和位置传感器2得到的四维向量，生物电的多维特征向量反应手部的精细动作，而加速度的四维特征向量，反映了手指的空间运动轨迹，这两种特征组合起来，可以明确的体现出拇指和哪个手指的哪个指节进行了接触。

S5、将提取后的所述生物电信号和加速度信号的特征值进行融合，得到手势特征。

生物电绝对值均值的N维特征向量，反映了手部精细动作；而加速度信号的4维特征向量，反映了手指的空间运动轨迹。两种特征组合起来，可以明确的体现出拇指和哪根手指的哪个指节进行了接触。

S6、将待识别手势特征输入预先训练好的手势识别模型进行识别，识别出用户的手势。使用所述手势特征建立训练模型，得到手势识别模型的过程为，将融合后的手势特征作为一个整体，送入分类器进行训练，得到分类器模型，作为手势识别模型。

将待识别的特征值输入该训练好的模型后，通过自动识别的方式，就可以获得识别结果，得到生物电传感器1和位置传感器2采集到的数据对应的手势，至此，已经识别出用户所做的手势。

S7、根据预先定义的手势与所述字符的对应关系，获得识别出的手势对应的字符，然后通过无线或有线传输方式将识别后的字符发送给外部设备的过程。在此步骤中，还可以建立多个字符集与手势的对应映射，通过选择字符集来实现手势的复用，提高手势对应的字符数量，增加输入的数据量。

本实施例中的手掌虚拟键盘的输入方法，包括获取生物电信号和加速度信号，预处理后识别出手势活动段，并在该活动段内进行特征提取和融合，然后建立手势识别模型进行手势识别，再根据预先设置的手势与字符的映射关系得到该手势输入的字符，完成了虚拟键盘的输入功能，该方案不受光学手势识别方式中对于图像、光线、遮挡等问题的影响，适宜在移动的环境中完成对外部设备的输入和控制，实现了人机交互。

显然，上述实施例仅仅是为清楚地说明所作的举例，而并非对实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动。这里无需也无法对所有的实施方式予以穷举。而由此所引伸出的显而易见的变化或变动仍处于本发明创造的保护范围之中。

Claims (12)

1.一种手势识别方法，其特征在于，包括如下步骤：

设置在腕部的生物电传感器采集用户手势运动时的生物电信号，设置在拇指上的位置传感器采集拇指的运动轨迹以及加速度信号；

对所述生物电信号和加速度信号进行起、终点检测，将得到的所述生物电信号和所述加速度信号的起、终点进行比较和平均，得到手势活动段；

分别针对手势活动段内的生物电信号和加速度信号进行特征提取；

将提取后的所述生物电信号和加速度信号的特征值进行融合，得到手势特征；

将所述手势特征输入预先设置的手势识别模型进行识别，识别出用户的手势。

2.根据权利要求1所述的手势识别方法，其特征在于，所述“对所述生物电信号进行起、终点检测”的过程，包括：

将生物电信号，首先通过平均滤波器获得信号的基线，然后使用原始信号减去基线，得到消除了低频漂移的平稳信号；然后，使用时间窗获得生物电信号的窗内能量；之后将该能量的幅值进行归一化，即将信号的绝对数值变为0-1之间的相对数值，在0-1内设定一个阈值，如果信号能量连续有若干个采样点高于此阈值，则认为信号此处为手势活动段的起点，此后为活动段内部，直到连续若干个采样点低于阈值，则认为信号此处为手势活动段的终点。

3.根据权利要求1或2所述的手势识别方法，其特征在于，所述“分别针对手势活动段内的生物电信号和加速度信号进行特征提取”的过程，包括：

将一个活动段内的生物电信号，将每个类别的所有采样点的绝对值计算均值，然后计算特征值，构成一个多维特征向量；

将一个活动段内的加速度信号，分别计算在三维方向上的加速度以及合加速度，组成一个4维向量。

4.根据权利要求1所述的手势识别方法，其特征在于，

所述手势识别模型通过对所述手势特征的训练来建立，其过程包括：

将融合后的手势特征作为一个整体，送入分类器进行训练，得到分类器模型，作为手势识别模型。

5.根据权利要求1所述的手势识别方法，其特征在于，对所述生物电信号和加速度信号进行起、终点检测之前，还包括预处理的过程，具体包括：

对所述生物电传感器得到的生物电信号和所述位置传感器采集的加速度信号进行降噪滤波处理，并进行模数转换。

6.一种使用权利要求1-5任一所述的手势识别方法的手势识别系统，其特征在于，包括：

信号采集单元，包括设置在腕部的生物电传感器和设置在拇指上的位置传感器,生物电传感器采集用户手势运动时的生物电信息，位置传感器采集拇指的运动轨迹以及加速度；

信号分割单元，对预处理后的所述生物电信号和加速度信号进行起、终点检测，将得到的所述生物电信号和所述加速度信号的起、终点进行比较和平均，得到手势活动段；

特征提取单元，分别针对手势活动段内的生物电信号和加速度信号进行特征提取；

特征融合单元，将提取后的所述生物电信号和加速度信号的特征值进行融合，得到手势特征；

将手势特征输入预先建立的手势识别模型中进行识别，识别出用户的手势。

7.一种使用权利要求1-5任一项所述的手势识别方法或权利要求6所述的手势识别系统的手掌虚拟键盘，其特征在于，包括：

信号采集单元，包括设置在腕部的生物电传感器和设置在拇指上的位置传感器，所述生物电传感器采集用户手势运动时的生物电信息，所述位置传感器采集拇指的运动轨迹以及加速度；

信号预处理单元，对所述信号采集单元得到的生物电信号和加速度信号进行降噪滤波处理，并进行模数转换；

信号分割单元，将信号预处理单元处理后的生物电信号和加速度信号进行起、终点检测，将得到的所述生物电信号和所述加速度信号的起、终点进行比较和平均，得到手势活动段；

特征提取单元，分别针对手势活动段内的生物电信号和加速度信号进行特征提取；

特征融合单元，将所述生物电信号和加速度信号的特征值进行融合，得到手势特征；

手势识别单元，包括预先设置的手势识别模型，将待识别手势特征输入所述手势识别模型进行识别，得到识别出用户的手势；

字符映射单元，根据预先定义的手势与字符的对应关系，获得识别出的手势对应的字符。

8.根据权利要求7所述的手掌虚拟键盘，其特征在于，还包括一个或多个字符集单元，该字符集单元中设置有手势与该手势对应的字符。

9.根据权利要求7或8所述的手掌虚拟键盘，其特征在于，还包括字符集切换单元，选择一个字符集单元作为目前手势进行字符匹配的字符集。

10.根据权利要求7或8所述的手掌虚拟键盘，其特征在于，所述手势识别模型使用所述手势特征通过训练来建立。

11.根据权利要求7所述的手掌虚拟键盘，其特征在于，所述生物电传感器放置在用户腕部的肌群表面，获得用户手势运动的生物电信号，所述生物电信号包括皮肤下的肌电信号和皮肤表面的阻抗变换信号。

12.一种使用权利要求7-11任一项所述的手掌虚拟键盘的输入方法，其特征在于，包括如下步骤：

设置在腕部的生物电传感器采集用户手势运动时的生物电信号，设置在拇指上的位置传感器采集拇指的运动轨迹以及加速度信号；

对信号进行预处理，并将处理后的生物电信号和加速度信号进行起、终点检测，将得到的所述生物电信号和所述加速度信号的起、终点进行比较和平均，得到手势活动段；

分别针对手势活动段内的生物电信号和加速度信号进行特征提取；

将提取后的所述生物电信号和加速度信号的特征值进行融合，得到手势特征；

使用所述手势特征建立训练模型，得到手势识别模型；

将待识别手势特征输入所述手势识别模型进行识别，识别出用户的手势；

根据预先定义的手势与字符的对应关系，获得识别出的手势对应的字符。