CN101976330B - 手势识别方法和系统 - Google Patents

Abstract

一种手势识别方法，包括如下步骤：以设定的频率同时采集目标手势物的加速度和三维坐标；分别得到对应于同一手势的加速度数据组和速度数据组；分别根据所述加速度数据组和速度数据组对所述手势进行特征提取；将根据加速度数据组提取的特征和根据速度数据组提取的特征进行同步融合；根据同步融合的特征进行手势识别。此外还涉及一种手势识别系统。同时采用视觉识别和加速度识别的方式，增加了识别前的信息量，最大限度地减少环境因素干扰，可提高手势识别的准确度，同时可获取手势运动轨迹又提高了使用者的使用体验。

Description

手势识别方法和系统

【技术领域】

本发明涉及手势识别，尤其是涉及一种手势识别方法和系统。

【背景技术】

在一些人机交互系统中，涉及动态手势识别。动态手势识别是通过捕捉人手的运动轨迹或测量加速度等，将所得的运动轨迹或加速度信息进行处理后与预先设定的模板比较，匹配后由人机交互系统执行相应的指令，从而达到利用手势进行操作的目的。

动态手势的识别技术，主要有基于视觉和基于传感器两种实现方式。

基于视觉的手势识别通过摄像装置拍摄手部图片，将图片传输给计算机，计算机提取图片特征，根据已有的手势模型，对手势进行识别。这种手势识别受环境因素的干扰较大。

基于传感器的手势识别通常是获取加速度信息，运用加速度信息进行手势识别。早期主要是基于穿戴式惯性传感器，基本无环境干扰，但是使用者非常不便；而基于加速度传感器环境干扰小，使用方便，但是由于只是获得手势的三维加速度，无法获取手势运动轨迹，从而无法真实体验。

【发明内容】

基于此，有必要提供一种可减少环境因素干扰且可获取手势运动轨迹的手势识别方法。

一种手势识别方法，包括如下步骤：以设定的频率同时采集目标手势物的加速度和三维坐标；分别得到对应于同一手势的加速度数据组和速度数据组；分别根据所述加速度数据组和速度数据组对所述手势进行特征提取；将根据加速度数据组提取的特征和根据速度数据组提取的特征进行同步融合；根据同步融合的特征进行手势识别。

优选地，得到对应于所述手势的加速度数据组的步骤具体包括：将采集的加速度逐一与预先设定的第一加速度阈值比较；当检测到连续设定数量的加速度小于预先设定的第二加速度阈值时，结束加速度数据组的数据采集。

优选地，得到对应于所述手势的速度数据组的步骤具体包括：将连续的三维坐标依次连接起来形成目标手势物的运动轨迹；在每个三维坐标处微分，得到三维坐标处的速度；将每个三维坐标处的速度逐一与预先设定的第一速度阈值比较，当速度大于第一速度阈值时，将当前比较的速度加入对应于所述手势的速度数据组；当检测到连续设定数量的速度小于预先设定的第二速度阈值时，结束速度数据组的数据采集。

优选地，根据所述加速度数据组对所述手势进行特征提取的步骤具体包括：对加速度数据组中的加速度在x，y，z三个方向上的分量分别进行离散余弦变换；在频域空间内x，y，z三个方向上，分别取占总能量设定百分比的低频系数作为所述三个方向上的特征向量，即可表示所述手势的特征。

优选地，根据所述速度数据组对所述手势进行特征提取的步骤具体包括：对速度数据组中的速度在x，y，z三个方向上的分量分别进行离散余弦变换；在频域空间内x，y，z三个方向上，分别取占总能量设定百分比的低频系数作为所述三个方向上的特征向量，即可表示所述手势的特征。

优选地，将根据加速度数据组提取的特征和根据速度数据组提取的特征进行同步融合的步骤具体包括：检测是否有对应于所述手势的加速度数据组或速度数据组形成；当所述加速度数据组和速度数据形成的时间相差不超过预定的时间差时，将根据加速度数据组提取的特征和根据速度数据组提取的特征进行融合；当所述加速度数据组和速度数据形成的时间相差超过预定的时间差时，仅根据最先形成的数据组提取的特征作为融合的结果。

优选地，根据加速度数据组提取的特征和根据速度数据组提取的特征均为数个一维特征向量，同步融合的结果为包含所有一维特征向量的特征向量组，手势识别的步骤包括：首先采用多类支持向量机进行训练识别，其次采用一阶支持向量机模型进一步进行训练识别。

优选地，包括设于目标手势物上的加速度计、拍摄目标手势物影像的至少两部视频捕捉设备、图像处理模块以及控制处理组件，加速度计通过无线方式与控制处理组件连接，视频捕捉设备的图像数据经图像处理模块处理得到目标手势物的连续三维坐标，所述图像处理模块与控制处理组件连接，控制处理组件接收加速度和三维坐标，分别得到对应于同一手势的加速度数据组和速度数据组，分别根据所述加速度数据组和速度数据组对所述手势进行特征提取，将根据加速度数据组提取的特征和根据速度数据组提取的特征进行同步融合，根据同步融合的特征进行手势识别。

优选地，所述控制处理组件包括用于得到对应于所述手势的加速度数据组的第一分割模块，所述第一分割模块包括：加速度比较单元，用于将采集的加速度与预先设定的第一加速度阈值和第二加速度阈值比较；加速度组织单元，当加速度大于第一加速度阈值时，将当前进行比较的加速度加入对应于所述手势的加速度数据组，当连续设定数量的加速度小于预先设定的第二加速度阈值时，结束加速度数据组的数据采集。

优选地，所述控制处理组件还包括用于得到对应于所述手势的速度数据组的第二分割模块，所述第二分割模块包括：速度计算单元，将连续的三维坐标依次连接起来形成目标手势物的运动轨迹，在每个三维坐标处微分，得到三维坐标处的速度；速度比较单元，用于将采集的速度与预先设定的第一速度阈值和第二速度阈值比较；速度组织单元，当速度大于第一速度阈值时，将当前进行比较的速度加入对应于所述手势的速度数据组，当连续设定数量的速度小于预先设定的第二速度阈值时，结束速度数据组的数据采集。

优选地，所述控制处理组件还包括特征提取模块，所述特征提取模块对加速度数据组中的加速度在x，y，z三个方向上的分量分别进行离散余弦变换，然后在频域空间内x，y，z三个方向上，分别取占总能量设定百分比的低频系数作为所述三个方向上的特征向量；和对速度数据组中的速度在x，y，z三个方向上的分量分别进行离散余弦变换；然后在频域空间内x，y，z三个方向上，分别取占总能量设定百分比上的低频系数作为所述三个方向上的特征向量。

优选地，所述控制处理组件还包括特征融合模块，所述特征融合模块首先检测是否有对应于所述手势的加速度数据组或速度数据组形成；当所述加速度数据组和速度数据形成的时间相差不超过预定的时间差时，将根据加速度数据组提取的特征和根据速度数据组提取的特征进行融合；当所述加速度数据组和速度数据形成的时间相差超过预定的时间差时，仅根据最先形成的数据组提取的特征作为融合的结果。

同时采用视觉识别和加速度识别的方式，增加了识别前的信息量，最大限度地减少环境因素干扰，可提高手势识别的准确度，同时可获取手势运动轨迹又提高了使用者的使用体验。

【附图说明】

图1为一实施例的手势识别方法的流程图；

图2为获取加速度数据组的流程图；

图3为获取速度数据组的流程图；

图4(a)为另一实施例中，时域下的帧数-加速度曲线；

图4(b)为另一实施例中，频域下的帧数-加速度DCT值曲线；

图5(a)为又一实施例中，时域下的帧数-速度曲线；

图5(b)为另一实施例中，频域下的帧数-速度DCT值曲线

图6为一个实施例中实现特征融合的流程图；

图7为另一实施例的手势识别系统结构图；

图8为控制处理组件结构图。

【具体实施方式】

以下结合附图进行进一步说明。

如图1所示，为一实施例的手势识别方法流程图。该方法包括如下步骤：

S10：以设定的频率同时采集目标手势物的加速度和三维坐标。目标手势物是指能够做出各种手势的物体，手势则指目标手势物在三维空间内以运动得到连贯的三维轨迹以及行进轨迹时所包含的速度和加速度信息等。根据设定的频率采集目标手势物的加速度和三维坐标虽然不能完全记录目标手势物真实运动轨迹，但是由于相邻的轨迹点之间具有很大的相关性，只要设定合适的采集频率，就可以从很大程度上反映目标手势物的运动轨迹以及运动情况，因而可以将加速度和三维坐标用于手势识别。其中加速度可通过加速度计直接采样获得，而三维坐标可由图像拍摄装置通过目标手势物的图像，经过目标识别以及三维重建等图像处理技术获得。

S20：分别得到对应于同一手势的加速度数据组和速度数据组。对同一手势，同时分别采用不同的方法记录目标手势物不同方面的信息，即加速度和三维坐标。手势从开始到结束，会产生很多连续采集的加速度和三维坐标，因此对同一手势，具有对应的一组加速度数据，即加速度数据组，和一组三维坐标数据，即三维坐标数据组，根据三维坐标数据组可进一步得到相应的速度数据组。在用多个手势连续操作时，还涉及手势之间的分割，一般来说，手势之间是有间隙的。该间隙可体现在时间的停顿上，也可以体现在手势结束时，目标手势物处于低速无序的运动状态上。

S30：分别根据所述加速度数据组和速度数据组对所述手势进行特征提取。手势的特征是指可以反映该手势整体信息的参数。根据不同数据提取的特征可以表现手势的不同方面的信息，比如根据加速度数据组提取的特征可以体现目标手势物在哪几个比较集中的方向上运动以及在关键位置的转变等。

S40：将根据加速度数据组提取的特征和根据速度数据组提取的特征进行同步融合。本步骤即是将针对同一手势分别采集的不同方面的信息进行融合，以得到目标手势物形成手势时更加完整的信息，从而使手势识别的准确度更高。

S50：根据同步融合的特征进行手势识别。在得到目标手势物运动的全部信息，即上述的融合的特征后，就能对该手势进行识别。识别是以预先训练的手势作为基础的，如采用一阶支持向量机模型进行训练识别，为每一个手势建立一个分类器。

如上所述，步骤S20中，需要知道一个手势何时开始，何时结束以得到一个手势所对应的数据组。本实施例中，设定的采集加速度的频率为100次每秒，如图2所示，对于加速度数据组采用如下方法获得：

S201：将采集的加速度逐一与预先设定的第一加速度阈值比较。

S202：判断加速度阈值是否大于第一加速度阈值。当加速度大于第一加速度阈值时，则转入步骤S203。否则重新转入步骤S201进行比较。

S203：将当前进行比较的加速度加入对应于所述手势的加速度数据组。手势开始的一个较为明显的特征是目标手势物开始运动，运动是加速度的结果，因此一旦检测到目标手势物的加速度，则可能表示有一个手势即将开始。但是由于某些外在的干扰因素，比如目标手势物是佩戴在使用者手上的手套，使用者不可能完全将手套保持为静止状态，不可避免的存在晃动或抖动，此时产生的加速度也可能被检测到，而实际上使用者可能并不打算开始一个手势。因此有必要设定一个第一加速度阈值，在大多数情况下，只要检测到加速度大于该第一加速度阈值，就表明一个手势开始了。在手势结束前，加速度都始终大于该第一加速度阈值，将采集的加速度均加入加速度数据组。

S204：判断是否连续设定数量的(如8个)加速度小于预先设定的第二加速度阈值。当检测到连续8个加速度小于预先设定的第二加速度阈值时，结束加速度数据组的数据采集。否则也转入步骤S201继续比较。一个手势结束也不意味着目标手势物进入完全静止的状态，同样可设定第二加速度阈值以判断手势是否结束。当出现连续8个加速度小于预先设定的第二加速度阈值的情形时，则表明手势结束，则可停止继续往加速度数据组添加加速度，从而得到对应于该手势的一个加速度数据组。

以拍摄图像的方式获得目标手势物三维坐标来获取手势信息的方式中，设定的采集三维坐标的频率为30次每秒。同样的，如图3所示，要得到对应于所述手势的速度数据组，同样可通过设定第一速度阈值和第二速度阈值来确定手势的开始和结束，具体说明如下：

S205：将连续的三维坐标依次连接起来形成目标手势物的运动轨迹，即根据三维坐标形成目标手势物的运动轨迹。

S206：在每个三维坐标处微分，得到三维坐标处的速度，即根据运动轨迹得到每个三维坐标处的速度。

S207：将每个三维坐标处的速度逐一与预先设定的第一速度阈值比较。

S208：判断速度是否大于第一速度阈值。当速度大于第一速度阈值时，转入步骤S209。否则转入步骤S207，重新比较。

S209：将当前比较的速度加入对应于所述手势的速度数据组。

S210：当检测到连续设定数量的(如5个)速度小于预先设定的第二速度阈值时，结束速度数据组的数据采集。

经过上述的处理步骤后，原本连续采集的加速度和三维坐标就变成了根据手势进行划分的数据组。以下则对数据组进行处理，提取手势的特征。其中根据所述加速度数据组对所述手势进行特征提取的步骤具体包括：

a)对加速度数据组中的加速度在x，y，z三个方向上的分量分别进行离散余弦变换(DCT)。例如一个手势从开始到结束经历520毫秒时间，采集加速度的频率为100次每秒，则此段时间内，加速度计共采集52个加速度，每个三维空间内的加速度都可以用x，y，z三个方向上的分量进行表示，那么此时则在x，y，z三个方向上分别有52个分量。对每个方向上的52个分量分别进行离散余弦变换，将时域上的数据变换到频域。如图4(a)所示，是另一实施例中，时域下的帧数-加速度曲线。该图中每一帧表示一个加速度，具有x、y、z三个方向上的分量，依次将连续帧同一方向上的分量连接起来，就得到三条曲线。图4(a)中，起始阶段居中的曲线为x方向的分量曲线，起始阶段靠上的曲线为y方向的分量曲线，起始阶段靠下的曲线为z方向的分量曲线。如图4(b)所示，为对图4(a)中的加速度进行DCT变换得到的频域下的帧数-加速度DCT值曲线，该图中每一帧具有x、y、z三个方向的DCT变换的一个系数，依次将同一方向上的所有系数连接起来，就得到三条曲线。图4(b)中，起始点系数居中的曲线为x方向DCT的系数曲线，起始点系数靠上的曲线为y方向DCT的系数曲线，起始点系数靠下的曲线为z方向DCT的系数曲线。

b)在频域空间内x，y，z三个方向上，分别取占总能量设定百分比，如92％以上的低频系数作为所述三个方向上的特征向量，即可表示所述手势的特征。在经过离散余弦变换后，可以看到整个频域内，该加速度信号的能量主要集中在低频区域。因此只需要取有限个低频系数，使这些低频系数的能量占总量的92％以上即可。比如在x，y，z三个方向上分别取10个低频系数作为特征向量，即可表示所述手势的特征。

同样的，根据所述速度数据组对所述手势进行特征提取的步骤具体包括：

a)对速度数据组中的速度在x，y，z三个方向上的分量分别进行离散余弦变换；如图5(a)和图5(b)所示，分别表示又一实施例中时域上的帧数-速度曲线和频域上的帧数-速度DCT值曲线。

b)在频域空间内x，y，z三个方向上，分别取占总能量设定百分比，如92％以上的低频系数作为所述三个方向上的特征向量，即可表示所述手势的特征。

以下将根据加速度数据组提取的特征和根据速度数据组提取的特征进行同步融合。如图6所示，是一个实施例中实现手势同步分割特征融合的流程图。

本实施例的方法中同时存在两个分别处理加速度数据组的形成和速度数据组的形成的过程，可分别称为过程1和过程2。过程1负责处理加速度数据组形成过程中的所有事务，即完成上述的S201至S204的处理。而过程2负责处理速度数据组形成过程中的所有事务，即完成上述S205至S210的处理。此外还有一个同步过程负责将这两个过程同步。上述的过程1和过程2可以是计算机操作系统中开辟的两个线程。

两个过程同时开始，过程1形成加速度数据组，过程2形成速度数据组。在过程1和过程2的处理过程中，同步过程不断检测加速度数据组和速度数据组是否形成。

当有加速度数据组或速度数据组形成时，过程1或过程2将告知同步过程已经有加速度数据组或速度数据组形成。此时同步过程会判断两个过程形成数据组的时间差是否在预定的时间差的范围内。让接收最先形成的数据组，并等待预定的时间差。如果在时间差内另一个过程也形成了数据组，则同步过程将根据加速度数据组提取的特征和根据速度数据组提取的特征进行融合以融合后的特征作为手势识别的基础。如果在时间差内另一个过程没有形成数据组，则根据最先形成的数据组提取的特征作为融合的结果，并以其作为手势识别的基础。比如，过程1先形成数据组，在设定的时间差(如30毫秒)内，过程2没有形成数据组，则同步过程取过程1形成的数据组作为手势识别的基础。若在30毫秒内，过程1和过程2均形成了数据组，则将过程1和过程2均形成的数据组进行融合。

信息融合的方式有三种：数据级融合、特征级融合以及决策级融合。数据级融合直接对传感器的观测数据进行融合处理，然后基于融合后的结果进行特征提取和决策判断。这种融合处理的方式，只有较少数据量的损失，并能提供其他融合层次所不能提供的细微信息，精度最高。决策级融合由每个传感器基于自己的数据做出决策之后，然后根据决策进行融合处理。本实施例优选为特征级融合，先由每个传感器对各自的数据进行处理，以完成数据校准，然后抽取其特征向量，最后融合各个传感器得到的特征向量组成整体特征向量并进行信息处理，该方法实现了可观的数据压缩，有利于实时处理。融合特征包括二维轨迹复杂指数、三维速度DCT低频系数、三维加速度DCT低频系数作为整体的特征向量来描述手势。

得到整体特征向量之后，首先采用多类支持向量机进行训练识别，识别出该手势类别，然后采用一阶支持向量机模型进一步进行训练识别，得到手势。多类支持向量机训练算法以所有手势数据集中所有样本的整体特征向量作为输入，以一个多类支持向量机模型作为输出；实现了一对多的分类策略，有效地避免了一种手势被识别为多种手势的问题，但同时会产生非手势识别为手势的问题。为避免这个问题，在多类支持向量机进行识别之后，采用单类支持向量机进行识别。单类支持向量机训练算法以每个手势各自的手势数据集样本的整体特征向量作为输入，以单类支持向量机模型作为输出，我们为每个手势建立一个单类分类器。用多类支持向量机识别出来的手势类型对应的单类支持向量机模型进行识别，得到最终结果。

如图7所示，为一实施例的手势识别系统。该系统包括设于目标手势物上的加速度计100、拍摄目标手势物影像的至少两部视频捕捉设备200、图像处理模块300以及控制处理组件400，加速度计100通过无线方式与控制处理组件400连接，视频捕捉设备200的图像数据经图像处理模块300处理得到目标手势物的连续三维坐标。图像处理模块300与控制处理组件400连接，控制处理组件400接收加速度和三维坐标，分别得到对应于同一手势的加速度数据组和速度数据组，分别根据所述加速度数据组和速度数据组对所述手势进行特征提取，将根据加速度数据组提取的特征和根据速度数据组提取的特征进行同步融合，根据同步融合的特征进行手势识别。优选地，目标手势物上还可附着易于被视频捕捉设备识别的标志物，比如颜色鲜艳的目标点等。使用视频捕捉设备计算标志物三维坐标的方法，可参考计算机视觉技术方面的教科书，普通技术人员即可完成该工作，在此不再详述。

如图8所示，控制处理组件400包括用于得到对应于所述手势的加速度数据组的第一分割模块410，用于得到对应于所述手势的速度数据组的第二分割模块420，特征提取模块430以及特征融合模块440。

第一分割模块410包括加速度比较单元412和加速度组织单元414。其中加速度比较单元412用于将采集的加速度与预先设定的第一加速度阈值和第二加速度阈值比较；加速度组织单元414用于当加速度大于第一加速度阈值时，将当前进行比较的加速度加入对应于所述手势的加速度数据组，当连续8个加速度小于预先设定的第二加速度阈值时，将所述8个加速度加入加速度数据组，并结束加速度数据组的数据采集。

第二分割模块420包括速度计算单元422、速度比较单元424以及速度组织单元426。其中速度计算单元422用于将连续的三维坐标依次连接起来形成目标手势物的运动轨迹，在每个三维坐标处微分，得到三维坐标处的速度。速度比较单元424用于将采集的速度与预先设定的第一速度阈值和第二速度阈值比较。速度组织单元426用于当速度大于第一速度阈值时，将当前进行比较的速度加入对应于所述手势的速度数据组，当连续5个速度小于预先设定的第二速度阈值时，将所述5个速度加入速度数据组，并结束速度数据组的数据采集。

特征提取模块430用于提取手势特征，对加速度数据组中的加速度在x，y，z三个方向上的分量分别进行离散余弦变换，然后在频域空间内x，y，z三个方向上，分别取占总能量92％以上的低频系数作为所述三个方向上的特征向量；和对速度数据组中的速度在x，y，z三个方向上的分量分别进行离散余弦变换；然后在频域空间内x，y，z三个方向上，分别取占总能量92％以上的低频系数作为所述三个方向上的特征向量。

特征融合模块440首先检测是否有对应于所述手势的加速度数据组或速度数据组形成；当所述加速度数据组和速度数据形成的时间相差不超过预定的时间差时，将根据加速度数据组提取的特征和根据速度数据组提取的特征进行融合；当所述加速度数据组和速度数据形成的时间相差超过预定的时间差时，仅根据最先形成的数据组提取的特征作为融合的结果。

以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

Claims (3)

1.一种手势识别方法，包括如下步骤：

以设定的频率同时采集目标手势物的加速度和三维坐标；

分别得到对应于同一手势的加速度数据组和速度数据组；

分别根据所述加速度数据组和速度数据组对所述手势进行特征提取；

将根据加速度数据组提取的特征和根据速度数据组提取的特征进行同步融合；

根据同步融合的特征进行手势识别；

得到对应于所述手势的加速度数据组的步骤具体包括：

将采集的加速度逐一与预先设定的第一加速度阈值比较，当加速度大于第一加速度阈值时，将当前进行比较的加速度加入对应于所述手势的加速度数据组；

当检测到连续设定数量的加速度小于预先设定的第二加速度阈值时，结束加速度数据组的数据采集；

得到对应于所述手势的速度数据组的步骤具体包括：

将连续的三维坐标依次连接起来形成目标手势物的运动轨迹，在每个三维坐标处微分，得到三维坐标处的速度；

将每个三维坐标处的速度逐一与预先设定的第一速度阈值比较，当速度大于第一速度阈值时，将当前比较的速度加入对应于所述手势的速度数据组；

当检测到连续设定数量的速度小于预先设定的第二速度阈值时，结束速度数据组的数据采集；

根据所述加速度数据组对所述手势进行特征提取的步骤具体包括：

对加速度数据组中的加速度在x，y，z三个方向上的分量分别进行离散余弦变换；

在频域空间内x，y，z三个方向上，取有限个低频系数作为所述三个方向上的特征向量，所述有限个低频系数的能量占总能量的一设定百分比之上，即可表示所述手势的特征；

根据所述速度数据组对所述手势进行特征提取的步骤具体包括：

对速度数据组中的速度在x，y，z三个方向上的分量分别进行离散余弦变换；

在频域空间内x，y，z三个方向上，分别取占总能量设定百分比的低频系数作为所述三个方向上的特征向量，即可表示所述手势的特征；

将根据加速度数据组提取的特征和根据速度数据组提取的特征进行同步融合的步骤具体包括：

检测是否有对应于所述手势的加速度数据组或速度数据组形成；

当有加速度数据组或速度数据组形成时，判断形成两个数据组的时间相差是否在预定的时间差的范围内；

当所述加速度数据组和速度数据组形成的时间相差不超过预定的时间差时，将根据加速度数据组提取的特征和根据速度数据组提取的特征进行融合；

当所述加速度数据组和速度数据组形成的时间相差超过预定的时间差时，仅根据最先形成的数据组提取的特征作为融合的结果。

2.如权利要求1所述的手势识别方法，其特征在于，根据加速度数据组提取的特征和根据速度数据组提取的特征均为数个一维特征向量，同步融合的结果为包含所有一维特征向量的特征向量组，手势识别的步骤包括：首先采用多类支持向量机进行训练识别，其次采用一阶支持向量机模型进一步进行训练识别。

3.一种手势识别系统，其特征在于，包括设于目标手势物上的加速度计、拍摄目标手势物影像的至少两部视频捕捉设备、图像处理模块以及控制处理组件，加速度计通过无线方式与控制处理组件连接，视频捕捉设备的图像数据经图像处理模块处理得到目标手势物的连续三维坐标，所述图像处理模块与控制处理组件连接，控制处理组件接收加速度和三维坐标，分别得到对应于同一手势的加速度数据组和速度数据组，分别根据所述加速度数据组和速度数据组对所述手势进行特征提取，将根据加速度数据组提取的特征和根据速度数据组提取的特征进行同步融合，根据同步融合的特征进行手势识别；

所述控制处理组件包括用于得到对应于所述手势的加速度数据组的第一分割模块，所述第一分割模块包括：

加速度比较单元，用于将从加速度计采集的加速度与预先设定的第一加速度阈值和第二加速度阈值比较；

加速度组织单元，当加速度大于第一加速度阈值时，将当前进行比较的加速度加入对应于所述手势的加速度数据组，当连续设定数量的加速度小于预先设定的第二加速度阈值时，结束加速度数据组的数据采集；

所述控制处理组件还包括用于得到对应于所述手势的速度数据组的第二分割模块，所述第二分割模块包括：

速度计算单元，将连续的三维坐标依次连接起来形成目标手势物的运动轨迹，在每个三维坐标处微分，得到三维坐标处的速度；

速度比较单元，用于将三维坐标处的速度与预先设定的第一速度阈值和第二速度阈值比较；

速度组织单元，当速度大于第一速度阈值时，将当前进行比较的三维坐标处的速度加入对应于所述手势的速度数据组，当连续设定数量的速度小于预先设定的第二速度阈值时，结束速度数据组的数据采集；

所述控制处理组件还包括特征提取模块，所述特征提取模块对加速度数据组中的加速度在x，y，z三个方向上的分量分别进行离散余弦变换，然后在频域空间内x，y，z三个方向上，取有限个低频系数作为所述三个方向上的特征向量，所述有限个低频系数的能量占总能量的一设定百分比之上；和对速度数据组中的速度在x，y，z三个方向上的分量分别进行离散余弦变换；然后在频域空间内x，y，z三个方向上，分别取占总能量设定百分比上的低频系数作为所述三个方向上的特征向量；

所述控制处理组件还包括特征融合模块，所述特征融合模块首先检测是否有对应于所述手势的加速度数据组或速度数据组形成；当有加速度数据组或速度数据组形成时，判断形成两个数据组的时间相差是否在预定的时间差的范围内；当所述加速度数据组和速度数据组形成的时间相差不超过预定的时间差时，将根据加速度数据组提取的特征和根据速度数据组提取的特征进行融合；当所述加速度数据组和速度数据组形成的时间相差超过预定的时间差时，仅根据最先形成的数据组提取的特征作为融合的结果。

Images