CN106990841A - 基于运动传感器的手势识别方法及智能可穿戴摄像机 - Google Patents

Abstract

本发明涉及一种基于运动传感器的手势识别方法及智能可穿戴摄像机，该方法主要包括以下步骤：数据采集与预处理、设定手势的起点和终点、提取手势的特征值信息、手势分类、构造Fisher分类函数、甩动和晃动手势方向判断和手势识别。利用该方法可以很好的识别出敲击、翻转、甩动和晃动四种手势。本发明还提供一种智能可穿戴摄像机终端，该智能终端具有手势识别功能，并且借助于手势识别功能，实现了图片的选择显示功能，使得智能可穿戴摄像机的应用更加丰富。

Description

基于运动传感器的手势识别方法及智能可穿戴摄像机

技术领域

本发明涉及一种基于运动传感器的手势识别方法及智能可穿戴摄像机，属于智能可穿戴设备以及模式识别技术领域。

背景技术

随着模式识别技术和智能可穿戴技术的不断发展和创新，围绕“智能”展开的可穿戴设备呈现出蓬勃的发展生机。智能可穿戴产品自身集成多种传感器和摄像头，具有感受、反映和记忆的功能。目前智能可穿戴产品以便携化、可交互性和易操作性为发展导向，对关键技术进行逐步突破。智能可穿戴产品的交互性是其研究的侧重点。可交互性体现智能可穿戴产品的使用效果和用户体验乐趣，是智能可穿戴产品推向市场的基石。

目前智能可穿戴产品的交互方式多采用按键和触摸屏的方式触发相应事件。然而智能可穿戴产品具有不同的佩戴方式，例如佩戴在头部，这样导致很难实现有效的交互。而基于模式识别技术的手势识别在智能可穿戴设备中得到广泛的应用。传统的手势识别交互方式主要有基于计算机视觉的交互方式、基于数据手套的交互方式和基于肌电传感器的交互方式。基于计算机视觉的手势识别方式多采用摄像头采集彩色图像信息或采用专业的深度摄像头采集深度图像信息来识别用户的手势，但这种方式易受外部环境的影响，复杂的背景下很难去除遮挡物和冗余信息的干扰。基于数据手套的交互方式，利用数据手套采集用户的手势信息，该方法需要佩戴专用的手套，且操作复杂价格昂贵。基于肌电传感器的交互方式主要是通过腕带的方式采集小臂的数据，来识别不同的手势信息，该方式需要佩戴专业的腕带，要求腕带和肌肤紧密贴合，这样会给用户带来极大的不适。鉴于此，上述的交互方式很难在智能摄像机上使用。

然而，智能可穿戴产品自身集成多种运动传感器。基于加速度传感器的手势识别方法得到了广泛的关注，通过对采集的加速度数据进行特征数据提取可以得到区别不同手势的条件，但受智能可穿戴产品姿态的限制。

发明内容

本发明的目的是克服现有技术中存在的不足，提供一种基于运动传感器的手势识别方法及智能可穿戴摄像机，根据智能可穿戴产品的特点，利用三轴加速度传感器和三轴陀螺仪传感器采集的数据进行处理，使得智能可穿戴摄像机的应用更加丰富。

按照本发明提供的技术方案，一种基于运动传感器的手势识别方法，其特征是，包括以下步骤：

步骤S1、手势识别数据的采集与预处理：采集手势运动时设备的加速度信息和姿态信息；对采集的信息采用抽取突变的方法，初步剔除静态和缓慢变化的数据；

步骤S2、设定手势的起点和终点：选取加速度变化量作为判断手势起点和终点的依据；

步骤S3、提取手势的特征值信息：选取手势长度l、手势能量E和波峰数P作为提取手势的特征信息；

步骤S4、手势分类：将手势分为：敲击、翻转、甩动和晃动四种类型；

步骤S5、构造Fisher分类函数：采集大数据的手势信息进行训练，构造Fisher分类函数为：

f＝a*L+b*E+c*P+d；其中，a，b，c，d为通过样本数据求得的最优值；

步骤S6、甩动和晃动手势方向判断：将设备坐标系下的姿态信息转化为用户坐标系下的姿态信息，在用户坐标系下判断甩动和晃动的方向。

步骤S7、手势识别：

基于手势能量识别敲击类手势；基于X轴能量最小识别翻转手势；基于Fisher分类函数识别甩动和晃动手势：如果f>0定义为甩动类；如果f<0定义为晃动类；

进一步的，所述步骤S1中，设备的加速度信息由三轴加速度传感器进行采集。

进一步的，所述步骤S1中，设备姿态信息为采用三轴陀螺仪传感器采集的X、Y、Z轴的设备角度信息，分别为三轴陀螺仪传感器的X、Y和Z轴的俯仰角、航向角和横滚角。

进一步的，所述步骤S2中，表征手势起点和终点的变化规则为：

(1)如果则i为手势起点；

(2)如果则i为手势终点；

其中，L为采样点个数，M_th、N_th为起点和终点判断阀值，为三轴加速度传感器的变化。

进一步的，所述步骤S3中，提取手势的特征值信息时剔除误动作的判断条件为：

(1)l＜0.1s；

(2)E>1500；

(3)300<E<1000且P＝0。

所述智能可穿戴摄像机，其特征是：所述智能可穿戴摄像机包括采集设备手势信息的传感器、以及将传感器采集的手势信息按上述手势识别方法进行处理的微控制器。

进一步的，所述传感器包括采集设备加速度信息的三轴加速度传感器和设备角度信息的三轴陀螺仪传感器。

进一步的，还包括Wi-Fi模块和显示屏。

进一步的，所述智能可穿戴摄像机进行图片选择时包括以下步骤：

(1)采用三轴加速度传感器和三轴陀螺仪传感器采集用户手势运动时设备的加速度信息和角度信息；

(2)将采集的手势数据信息传送到微控制器，所述微控制器对采集的手势信息进行处理、识别出手势信息；

(3)识别的用户手势信息结合手势定义来选择存储于所述智能可穿戴摄像机的图片；

(4)将选择的图片通过Wi-Fi模块发送到显示屏显示。

本发明所述基于运动传感器的手势识别方法及智能可穿戴摄像机，根据智能可穿戴产品的特点，利用三轴加速度传感器和三轴陀螺仪传感器采集的数据进行处理，使得智能可穿戴摄像机的应用更加丰富。

附图说明

图1为本发明所述基于运动传感器的手势识别方法的流程框图。

图2为本发明所述智能可穿戴摄像机的框图。

附图标记说明：100-可穿戴智能摄像机、101-三轴加速度传感器、102-三轴陀螺仪传感器、103-微控制器、104-Wi-Fi模块、105-显示屏。

具体实施方式

下面结合具体附图和实施例对本发明作进一步说明。

实施例一：

如图1所示，本发明所述基于运动传感器的手势识别方法，具体包括：

步骤S1、手势识别数据的采集与预处理：手握智能可穿戴摄像机做出不同的手势，以三轴加速度传感器采集X、Y、Z轴的设备加速度数据；以三轴陀螺仪传感器采集X、Y、Z轴的设备角度信息。记三轴加速度传感器采集的数据信息和三轴陀螺仪传感器采集的数据信息分别为和其中，a_x、a_y和a_z分别为三轴加速度传感器的X、Y和Z轴的加速度数据；θ₁、θ₂和θ₃分别为三轴陀螺仪传感器的X、Y和Z轴的俯仰角、航向角和横滚角。

对采集的手势信息需要选取反映手势变化剧烈的数据点，采用抽取突变的方法，初步剔除静态和缓慢变化的数据。

S2、设定手势的起点和终点：读取三轴加速度传感器采集X、Y、Z轴的设备加速度数据，计算加速度的变化量。选取加速度变化量作为判断手势起点和终点的依据；在没有手势时三轴加速度相对比较平稳，在发生手势变化时，三轴加速度数据会发生明显的变化，通过对三轴的加速度进行差分处理，得到凸显手势变化开始和结束的条件，记三轴加速度传感器的变化为：

表征手势起点和终点的变化规则可表述为：

(1)如果则i为手势起点；

(2)如果则i为手势终点；

其中，L为采样点个数，M_th、N_th为起点和终点判断阀值。一般情况下，开始阈值大于结束阈值，较大的开始阈值可帮助滤除噪声数据，较小的结束阈值可以采集有效的手势数据；L的引入消除了环境和手抖动带来的误差。

S3、提取手势的特征值信息：预处理的数据信息仍然含有复杂的手势数据信息，直接拿来作为判断手势仍然存在一定的难度。通过提取最能反映手势信息的传感器数据，来识别不同的手势信息。

(1)手势长度l，即完成一次手势所需要的时间，这是手势判断的最基本标准：

l＝t_结束时间-t_开始时间；其中，t_开始时间为手势开始时间，t_结束时间为手势结束时间。

(2)手势能量E，即完成一次手势需要的能量，通过能量能够判断手势的剧烈程度：

其中，T为时间序列的长度，a_xi、a_yi、a_zi分别为i时间点X、Y、Z轴方向的加速度数值；g_xi、g_yi、g_zi分别为i时刻X、Y、Z方向的重力加速度数值。

(3)波峰数P：反映X、Y和Z轴的加速度的变化趋势。

P＝P_x+P_y+P_z；其中，P_x、P_y和P_z分别为X方向、Y方向和Z方向的加速度的波峰数量。

基于上述3个反映手势特征的标准，得到剔除误动作的判断条件：

(1)l＜0.1s，手势长度至少为0.1s；

(2)E>1500，手势能量一般最大为1200左右；

(3)300<E<1000且P＝0，能量处于300到1000之间的翻转和甩动手势的波峰不为0。

S4、手势分类：根据分类标准本发明将手势分为：敲击、翻转、甩动和晃动四种类型。

S5、构造Fisher分类函数：对采集大数据的手势信息进行训练，构造Fisher分类函数为：

f＝a*L+b*E+c*P+d；其中，a，b，c，d为通过样本数据求得的最优值。

S6、甩动和晃动手势方向判断：由于传感器采集的数据为设备的信息，当设备处于不同姿态时同样的动作会有不同的数据信息，判断甩动和晃动的具体方向不够精确。通过将设备坐标系下的姿态信息转化为用户坐标系下的姿态信息，在较为稳定的用户坐标系下结合设备的加速度信息和姿态信息判断甩动和晃动的方向。

S7、手势识别：

基于手势能量识别敲击类手势：敲击时加速度小、持续时间短，手势能量远小于其他类手势；

基于X轴能量最小识别翻转手势：由于智能摄像机为长方形设备，翻转时设备能量主要集中在Y和Z轴，因此X轴的能量最小。

基于Fisher分类函数识别甩动和晃动手势：如果f>0定义为甩动类；如果f<0定义为晃动类。结合甩动和晃动方向可以区分上下甩动和上下晃动、左右甩动和左右晃动的手势。

实施例二：

如图2所示，本发明所述智能可穿戴摄像机的内部存储实施例一中所述的手势识别方法。

所述智能可穿戴摄像机的功能丰富，本发明实施例二仅介绍其手势识别中的图片选择显示功能。该功能的实现主要涉及以下部件：三轴加速度传感器101、三轴陀螺仪传感器102、微控制器103、Wi-Fi模块104和显示屏105。所述三轴加速度传感器101负责采集用户手势X、Y和Z轴的加速度数据；所述三轴陀螺仪传感器102负责采集用户手势X、Y和Z轴的角度数据。所述微控制器103内部存储实施例一中的手势识别方法；所示Wi-Fi模块104负责传输显示的图片信息。

本发明实施例二中所述的图片选择显示功能可表述为：通过采集使用者的手势信息，选择存储于所述智能摄像机中的图片，通过Wi-Fi模块发送到显示屏显示。手握智能可穿戴摄像机，左右甩动，在显示屏105上会实现切换显示图片的效果。具体步骤为：

(1)、打开智能可穿戴摄像机手势识别开关；

(2)、采用三轴加速度传感器101和三轴陀螺仪传感器102采集用户的手势数据信息；

(3)、将采集的手势数据信息传送到与之电连接的微控制器103，所述微控制器103对采集的手势信息进行处理、识别；

(4)、识别的用户手势信息来选择存储于所述智能可穿戴摄像机的图片；

本发明实施例二中的手势定义为左右甩动。存储于智能可穿戴摄像机的图片按拍摄时间顺序存储。当识别为左甩动时，定义为选择上一个图片；当识别为右甩动时，定义为选择下一个图片；

(5)、将选择的图片通过所述Wi-Fi模块发送到显示屏显示：所述显示屏105要求具有Wi-Fi功能，所述显示屏105和所示智能摄像机通过Wi-Fi连接。

Claims (9)

1.一种基于运动传感器的手势识别方法，其特征是，包括以下步骤：

步骤S1、手势识别数据的采集与预处理：采集手势运动时设备的加速度信息和姿态信息；对采集的信息采用抽取突变的方法，初步剔除静态和缓慢变化的数据；

步骤S2、设定手势的起点和终点：选取加速度变化量作为判断手势起点和终点的依据；

步骤S3、提取手势的特征值信息：选取手势长度l、手势能量E和波峰数P作为提取手势的特征信息；

步骤S4、手势分类：将手势分为：敲击、翻转、甩动和晃动四种类型；

步骤S5、构造Fisher分类函数：采集大数据的手势信息进行训练，构造Fisher分类函数为：

f＝a*L+b*E+c*P+d；其中，a，b，c，d为通过样本数据求得的最优值；

步骤S6、甩动和晃动手势方向判断：将设备坐标系下的姿态信息转化为用户坐标系下的姿态信息，在用户坐标系下判断甩动和晃动的方向。

步骤S7、手势识别：

基于手势能量识别敲击类手势；基于X轴能量最小识别翻转手势；基于Fisher分类函数识别甩动和晃动手势：如果f>0定义为甩动类；如果f<0定义为晃动类。

2.如权利要求1所述的基于运动传感器的手势识别方法，其特征是：所述步骤S1中，设备的加速度信息由三轴加速度传感器进行采集。

3.如权利要求1所述的基于运动传感器的手势识别方法，其特征是：所述步骤S1中，设备姿态信息为采用三轴陀螺仪传感器采集的X、Y、Z轴的设备角度信息，分别为三轴陀螺仪传感器的X、Y和Z轴的俯仰角、航向角和横滚角。

4.如权利要求1所述的基于运动传感器的手势识别方法，其特征是：所述步骤S2中，表征手势起点和终点的变化规则为：

(1)如果则i为手势起点；

(2)如果则i为手势终点；

其中，L为采样点个数，M_th、N_th为起点和终点判断阀值，为三轴加速度传感器的变化。

5.如权利要求1所述的基于运动传感器的手势识别方法，其特征是：所述步骤S3中，提取手势的特征值信息时剔除误动作的判断条件为：

(1)l＜0.1s；

(2)E>1500；

(3)300<E<1000且P＝0。

6.一种智能可穿戴摄像机，其特征是：所述智能可穿戴摄像机包括采集设备手势信息的传感器、以及将传感器采集的手势信息按如权利要求1-5任一项所述方法进行处理的微控制器。

7.如权利要求6所述的智能可穿戴摄像机，其特征是：所述传感器包括采集设备加速度信息的三轴加速度传感器和设备角度信息的三轴陀螺仪传感器。

8.如权利要求6所述的智能可穿戴摄像机，其特征是：还包括Wi-Fi模块和显示屏。

9.如权利要求8所述的智能可穿戴摄像机，其特征是：所述智能可穿戴摄像机进行图片选择时包括以下步骤：

(1)采用三轴加速度传感器和三轴陀螺仪传感器采集用户手势运动时设备的加速度信息和角度信息；

(2)将采集的手势数据信息传送到微控制器，所述微控制器对采集的手势信息进行处理、识别出手势信息；

(3)识别的用户手势信息结合手势定义来选择存储于所述智能可穿戴摄像机的图片；

(4)将选择的图片通过Wi-Fi模块发送到显示屏显示。