CN101853380B - 一种基于加速度传感器的手势识别的旋转特征提取方法 - Google Patents

Abstract

本发明提供了一种基于加速度传感器的手势识别的旋转特征提取方法，将用户在三维空间书写所产生的三轴加速度信号分别投影到y-z，z-x，和x-y平面，得到三个二维矢量A_yz(t)，A_zx(t)，和A_xy(t)，然后分别提取y-z，z-x，和x-y平面的旋转特征RF_yz(i)，RF_zx(i)和RF_xy(i)，再分别对提取到的旋转特征RF_yz(i)，RF_zx(i)和RF_xy(i)进行编码得到旋转特征码C_yz，C_zx和C_xy。本发明从三轴加速度信号中提取了一种新颖的旋转特征，这种旋转特征能有效地表示书写时手势运动的顺时针旋转和逆时针旋转的变化过程，根据本发明所提供的旋转特征提取，就可以方便实现基于该旋转特征的三维空间书写数字识别算法的完整框架，从而对基于加速度传感器的三维书写字符进行有效识别。

Description

一种基于加速度传感器的手势识别的旋转特征提取方法

技术领域

本发明属于模式识别与人工智能技术领域，特别是涉及一种基于加速度传感器的手势识别的旋转特征提取方法。

技术背景

基于加速度传感器的人运动识别是近年来计算机领域中新兴起的研究前沿方向之一，即将加速度传感器穿戴在用户身上或将它集成在手机或PDA等手持设备上，通过分析人运动时所产生的加速度信号来进行检测、识别用户的运动状态并对其行为进行理解和描述，它属于穿戴式计算(Wearable Computing)和普适计算(Ubiquitous Computing)的重要研究内容之一。

目前，基于加速度传感器的人运动识别主要包括人运动状态识别和人手势识别两方面。运动状态识别主要是识别人在日常生活中走路、跑步、坐着、站立等基本动作；而手势识别主要是识别一些简单的电话手势、自定义的用于控制设备的简单手势、阿拉伯数字0-9。基于加速度传感器的人运动识别的关键在于特征提取，许多研究人员都从加速度信号中提取了有效的特征用于识别人的运动状态和手势，综合起来可以把这些特征分成两类：时域特征和频域特征。常用的时域特征主要有：均值、方差或标准差、两轴之间的相关系数、加速度信号的峰值和谷值等等；常用的频域特征有FFT系数等。

在基于加速度传感器的人手势识别中，识别在三维空间书写的阿拉伯数字0-9受到一些研究人员的重视，因为基于三轴加速度传感器的三维空间书写不同于传统的二维平面书写，用户只需要手握嵌入三轴加速度传感器的书写设备在空中自由书写，它既不受某个特定的书写平面的限制(如手写板、触摸屏)，也不需要任何外挂设备(如摄像头)，提供了一种全新的数字笔实现方式，因而具有很好的应用研究价值。

尽管在基于三轴加速度信号的手势识别领域的研究人员已经从事了大量的研究工作，但从目前已公开的技术来看，如何从书写过程产生的三轴加速度信号中提取有效的特征还是一个研究难点。

发明内容

本发明的目的在于提供一种基于加速度传感器的手势识别的旋转特征提取方法。

为了实现上述发明目的，采用的技术方案如下：

一种基于加速度传感器的手势识别的旋转特征提取方法，将用户在三维空间书写所产生的三轴加速度信号分别投影到y-z，z-x，和x-y平面，得到三个二维矢量A_yz(t)，A_zx(t)，和A_xy(t)，然后分别提取y-z，z-x，和x-y平面的旋转特征RF_yz(i)，RF_zx(i)和RF_xy(i)，再分别对提取到的旋转特征RF_yz(i)，RF_zx(i)和RF_xy(i)进行编码得到旋转特征码C_yz，C_zx和C_xy。

上述技术方案中，所述得到二维矢量的具体操作如下：

用户在三维空间书写时，通过三轴加速度传感器同时测量手势运动时产生的相互正交的三个轴向的加速度，分别用a_x(t)，a_y(t)，a_z(t)表示x轴、y轴和z轴的加速度信号，记A(t)＝[a_x(t)，a_y(t)，a_z(t)]是某个手势运动时产生的一个三轴加速度信号，信号的长度记为S，定义B(t)＝A(t)×A(t+1)，则B(t)是一个矢量，且B(t)的方向是垂直于A(t)和A(t+1)的平面向上，或垂直于A(t)和A(t+1)平面向下，当B(t)的方向垂直于A(t)和A(t+1)的平面向上时，表示加速度信号A(t)从t到t+1时刻逆时针旋转，当B(t)的方向垂直于A(t)和A(t+1)的平面向下时，表示加速度信号A(t)从t到t+1时刻顺时针旋转；

对于一个三维空间书写时产生的三轴加速度信号A(t)，分别从下述三个投影平面提取旋转特征：

A_yz(t)＝[a_y(t)，a_z(t)]

A_zx(t)＝[a_z(t)，a_x(t)]

A_xy(t)＝[a_x(t)，a_y(t)]

其中，二维矢量A_yz(t)，A_zx(t)，和A_xy(t)分别是三轴加速度信号A(t)在y-z，z-x，和x-y平面的投影。

所述旋转特征的提取如下：

提取y-z平面的旋转特征RF_yz(i)，定义B_yz(k)＝A_yz(k)×A_yz(k+1)，则B_yz(k)的方向垂直于A_yz(k)和A_yz(k+1)平面向上时加速度A_yz(t)逆时针旋转，B_yz(k)的方向垂直于A_yz(k)和A_yz(k+1)平面向下时加速度A_yz(t)顺时针旋转，记第i个旋转特征为RF_yz(i)，i＞1，则旋转特征RF_yz(i)的提取如下：

1、RF_yz(1)＝A_yz(0)

2、判断条件“B_yz(k)和B_yz(k-1)的方向相同，但A_yz(k+1)和A_yz(k)不在同一象限”或条件“B_yz(k)和B_yz(k-1)的方向相反”是否满足，其中k≥1，表示第k个时刻

3、如果满足条件，则RF_yz(i)＝A_yz(k+1)，i＝i+1，k＝k+1；

如果不满足，则k＝k+1，继续步骤2

以同样的方式分别提取z-x和x-y平面的旋转特征RF_zx(i)和RF_xy(i)。

本发明对旋转特征进行编码的操作如下：

旋转特征RF_yz(i)是一个由a_y(t)和a_z(t)确定的矢量，由于旋转是由矢量的方向决定的，所以在用a_y(t)和a_z(t)表示提取的旋转特征RF_yz(i)时，将矢量的大小取为相等，并根据y-z平面的四个象限分别定义为0、1、2和3，根据矢量方向处于哪个象限就取对应的值，从而对提取的旋转特征RF_yz(i)进行编码，得到旋转特征码C_yz，同样在z-x和x-y平面上对RF_zx(i)和RF_xy(i)进行编码，得到旋转特征码C_zx和C_xy。

本发明还可以在产生三轴加速度信号后，进行预处理操作，所述预处理操作包括去除重力加速度的影响、幅度归一化及滤除噪声。

进一步地，所述预处理操作首先通过减去三轴加速度信号的均值可以去除重力加速度的影响，然后对三轴加速度信号幅度进行标准化处理，接着利用高斯滤波器，滤除加速度信号中包含的测量时的噪声及由于手腕抖动产生的噪声。

本发明从三轴加速度信号中提取了一种新颖的旋转特征，这种旋转特征能有效地表示书写时手势运动的顺时针旋转和逆时针旋转的变化过程，根据本发明所提供的旋转特征提取，就可以方便实现基于该旋转特征的三维空间书写数字识别算法的完整框架，从而对基于加速度传感器的三维书写字符进行有效识别。

附图说明

图1是基于加速度传感器的三维书写字符识别的流程图；

图2是本发明的基于y-z平面提取的旋转特征；

图3是本发明的对加速度的方向变化的编码图；

图4是本发明的流程图。

具体实施方式

下面结合附图对本发明做进一步的说明。

基于旋转特征的三维空间书写识别算法的系统流程图如附图1所示，具体步骤包括：

1、预处理

对于采集到的三维加速度信号首先通过减去均值去除重力加速度的影响，然后进行幅度归一化处理，接着对其进行高斯滤波，滤除加速度信号中包含的测量时的噪声及由于手腕抖动产生的噪声。

2、提取旋转特征码

本步骤是核心步骤，也是本发明的具体内容，具体如附图4所示，基于加速度传感器的三维空间书写不同于传统的二维平面书写，它采集不到书写者的书写轨迹，只能获得由三轴加速度传感器测得的三个轴向的加速度信号。如何利用这三个轴向的加速度信号来识别出书写者写的是什么，特征提取是关键。

三轴加速度传感器能同时测量手势运动时产生的相互正交的三个轴向的加速度，分别用a_x(t)，a_y(t)，a_z(t)表示x轴、y轴和z轴的加速度信号。

记A(t)＝[a_x(t)，a_y(t)，a_z(t)]是某个手势运动时产生的一个三轴加速度信号，信号的长度记为S。定义

B(k)＝A(k)×A(k+1)            (1)

则B(k)也是一个矢量，且B(k)的方向只有两种情况，一种是垂直于A(k)和A(k+1)的平面向上，另一种是垂直于A(k)和A(k+1)平面向下。当B(k)的方向垂直于A(k)和A(k+1)的平面向上时，加速度信号A(t)从k到k+1时刻逆时针旋转；当B(k)的方向垂直于A(k)和A(k+1)的平面向下时，加速度信号A(t)从k到k+1时刻顺时针旋转。

当t从0变化到S-1时刻加速度信号就会产生一系列的顺时针和逆时针旋转，即书写每个字符时，加速度信号都会产生一系列的顺时针和逆时针旋转变化。本发明提出的旋转特征正是记录三维空间书写时加速度信号产生顺时针旋转和逆时针旋转的变化过程。

对于一个三维空间书写时产生的三轴加速度信号A(t)，分别从三维空间中下述三个投影平面提取旋转特征：

A_yz(t)＝[a_y(t)，a_z(t)]

A_zx(t)＝[a_z(t)，a_x(t)]        (2)

A_xy(t)＝[a_x(t)，a_y(t)]

式(2)中，二维矢量A_yz(t)，A_zx(t)，和A_xy(t)分别是三轴加速度信号A(t)在y-z，z-x，和x-y平面的投影。

以A_yz(t)为例来说明提取的旋转特征，根据式(1)可以做如下定义：

B_yz(k)＝A_yz(k)×A_yz(k+1)      (3)

则B_yz(k)的方向垂直于A_yz(k)和A_yz(k+1)平面向上时加速度A_yz(t)逆时针旋转；B_yz(k)的方向垂直于A_yz(k)和A_yz(k+1)平面向下时加速度A_yz(t)顺时针旋转。如果把每个时刻的顺时针和逆时针旋转都记录下来，通过观察会发现：在某个时间段内，加速度信号一直在做顺时针(或逆时针)旋转。所以没必要把这个时间段内的每个时刻点都取为旋转特征。记第i个旋转特征为RF_yz(i)，i＞1。则旋转特征RF_yz(i)的提取满足如下原则：

1、RF_yz(1)＝A_yz(0)

2、判断条件“B_yz(k)和B_yz(k-1)的方向相同，但A_yz(k+1)和A_yz(k)不在同一象限”或条件“B_yz(k)和B_yz(k-1)的方向相反”是否满足，其中k≥1，表示第k个时刻

3、如果满足条件，则RF_yz(i)＝A_yz(k+1)，i＝i+1，k＝k+1；

如果不满足，则k＝k+1，继续步骤2

RF_yz(i)是一个由a_y(t)和a_z(t)确定的矢量。由于旋转是由矢量的方向决定的，所以在用a_y(t)和a_z(t)表示提取的旋转特征RF_yz(i)时，将矢量的大小取为相等。附图2是对6个人书写数字8时产生的三轴加速度信号基于y-z平面提取的旋转特征点RF_yz(i)，并把它们用y轴和z轴的加速度[a_y(t)，a_z(t)]表示出来。图中垂直方向的轴表示a_y(t)，水平方向的轴表示a_z(t)，箭头指向是各个轴的加速度方向。

为了方便进行数字运算，规定了如附图3所示的加速度方向变化的编码规则。对附图2提取的旋转特征RF_yz(i)进行编码得到旋转特征码C_yz，同样，可以对A_zx(t)和A_xy(t)提取旋转特征点并进行上述编码，得到旋转特征码C_zx和C_xy。一个三轴加速度信号的旋转特征码表示为C＝{C_yz，C_zx，C_xy}，C_yz，C_zx和C_xy分别是对A_yz(t)，A_zx(t)，和A_xy(t)的加速度变化顺序的编码。

3、生成每个类的模板

从总样本中随机选取k个样本作为训练样本，将训练样本中相同类别的样本放在一起，在每个类别中，分别计算每个样本和类内其他样本的旋转特征码间的编辑距离之和，然后将样本按编辑距离之和从小到大排列后作为每个类的类模板。

4、生成训练样本集

计算每个训练样本和所有类模板的旋转特征码间的编辑距离，作为该样本的特征。则对k个训练样本可以得到一个k×k的训练特征矩阵：

$D_{\mathrm{NE}\_\mathrm{Train}}={\left[\begin{array}{cccc}{d}_{\mathrm{NE}\_\mathrm{Train}}^{11}& d_{\mathrm{NE}\_\mathrm{Train}}^{12}& ...& d_{\mathrm{NE}\_\mathrm{Train}}^{1\×k}\\ d_{\mathrm{NE}\_\mathrm{Train}}^{21}& d_{\mathrm{NE}\_\mathrm{Train}}^{22}& ...& d_{\mathrm{NE}\_\mathrm{Train}}^{2\×k}\\ .& & & .\\ .& & d_{\mathrm{NE}\_\mathrm{Train}}^{\mathrm{ij}}& .\\ .& & & .\\ d_{\mathrm{NE}\_\mathrm{Train}}^{k1}& d_{\mathrm{NE}\_\mathrm{Train}}^{k2}& ...& d_{\mathrm{NE}\_\mathrm{Train}}^{k\×k}\end{array}\right]}_{k\×k}---\left(12\right)$

 其中，

是第i个训练样本和第j个类模板间的距离，

i＝1，2，…k，j＝1，2，…k，k是所有类的类模板数。

5、生成测试样本集

对每个测试样本，计算它和所有类模板的旋转特征码间的编辑距离，作为该测试样本的特征。对l个测试样本就可以得到一个l×k的测试特征矩阵：

$D_{\mathrm{NE}\_\mathrm{Test}}={\left[\begin{array}{cccc}{d}_{\mathrm{NE}\_\mathrm{Test}}^{11}& d_{\mathrm{NE}\_\mathrm{Test}}^{12}& ...& d_{\mathrm{NE}\_\mathrm{Test}}^{1\×k}\\ d_{\mathrm{NE}\_\mathrm{Test}}^{21}& d_{\mathrm{NE}\_\mathrm{Test}}^{22}& ...& d_{\mathrm{NE}\_\mathrm{Test}}^{2\×k}\\ .& & & .\\ .& & d_{\mathrm{NE}\_\mathrm{Test}}^{\mathrm{ij}}& .\\ .& & & .\\ d_{\mathrm{NE}\_\mathrm{Test}}^{l1}& d_{\mathrm{NE}\_\mathrm{Test}}^{l2}& ...& d_{\mathrm{NE}\_\mathrm{Test}}^{l\×k}\end{array}\right]}_{l\×k}---\left(13\right)$

其中，是第i个测试样本和第j个类模板间的距离，i＝1，2，…l，j＝1，2，…k，l是测试样本的个数，k是所有类的类模板数。

上述第3、4、5步骤所采用的编辑距离计算具体如下：

由于不同样本的旋转特征码的长度不一致，无法直接计算它们之间的差异，采用编辑距离来度量不同样本的旋转特征码间的差异。

设符号序列

为第i个样本的C_yz编码， 为第j个样本的C_yz编码，

E＝{e_s，e_i，e_d}分别表示序列

变换为

时替换、插入和删除一个符号的代价，则

和

的编辑距离递归地表示为：

$d_{\mathrm{Eyz}}(C_{\mathrm{yz}}^i,C_{\mathrm{yz}}^j)=\min \left\{\begin{array}{c}{E}_s(c_n^i,c_m^j)+d_{\mathrm{Eyz}}(\mathrm{Head}\left(C_{\mathrm{yz}}^i\right),\mathrm{Head}\left(C_{\mathrm{yz}}^j\right))\\ E_i(\mathrm{\ϵ},c_m^j)+d_{\mathrm{Eyz}}(C_{\mathrm{yz}}^i,\mathrm{Head}\left(C_{\mathrm{yz}}^j\right))\\ E_d(c_n^i,\mathrm{\ϵ})+d_{\mathrm{Eyz}}(\mathrm{Head}\left(C_{\mathrm{yz}}^i\right),C_{\mathrm{yz}}^j)\end{array}\right.---\left(4\right)$

其中， $\mathrm{Head}\left(C_{\mathrm{yz}}^i\right)=c_1^i{c}_2^i\·\·\·c_{n-1}^i,$ $\mathrm{Head}\left(C_{\mathrm{yz}}^j\right)=c_1^j{c}_2^j\·\·\·c_{m-1}^j,$ $\begin{array}{cc}{E}_i(\mathrm{\ϵ},c_m^j)=e_i,& E_d(c_n^i,\mathrm{\ϵ})=e_d,\end{array}$ $E_s(c_n^i,c_m^j)=\left\{\begin{array}{cc}{e}_s,& \mathrm{if}{c}_n^i\≠c_m^j\\ 0,& \mathrm{otherwise}\end{array}\right..$ 在这里，替换、插入和删除符号的代价与符号的具体取值及其在序列中的位置无关，一般情况下，可取替换、插入和删除符号的代价为1，即e_s＝e_i＝e_d＝1。

由于编辑距离度量的是2个序列之间差异的绝对值，在分析长度变化范围较大的序列时，容易使长序列之间的编辑距离远大于短序列之间的距离。这显然是不合适的，因此需要对其进行归一化。上述符号序列

和

的归一化编辑距离表示为：

$d_{\mathrm{NEyz}}(C_{\mathrm{yz}}^i,C_{\mathrm{yz}}^j)=\frac{d_{\mathrm{Eyz}}(C_{\mathrm{yz}}^i,C_{\mathrm{yz}}^j)}{\max \left\{\right|C_{\mathrm{yz}}^i|,|C_{\mathrm{yz}}^j\left|\right\}}---\left(5\right)$

其中，

分别表示序列

和的长度。

所以，第i个样本和第j个样本的旋转特征码间的距离可表示为：

$d_{\mathrm{NE}}^{\mathrm{ij}}=\sqrt{{\left[d_{\mathrm{NEyz}}(C_{\mathrm{yz}}^i,C_{\mathrm{yz}}^j)\right]}^2+{\left[d_{\mathrm{NEzx}}(C_{\mathrm{zx}}^i,C_{\mathrm{zx}}^j)\right]}^2+{\left[d_{\mathrm{NExy}}(C_{\mathrm{xy}}^i,C_{\mathrm{xy}}^j)\right]}^2}---\left(6\right)$

其中，

和分别是第i个样本和第j个样本的C_zx编码和C_xy编码的编辑距离。

6、支持向量机(SVM)分类

用上面生成的训练样本集训练SVM分类器，然后用SVM分类器识别出每个测试样本书写的数字。

本发明的优异性能通过大样本的实验得到了证实。下面描述采用本发明所述的特征提取方法，对大量三维空间书写数字样本进行相关实验的结果。

由于基于加速度传感器的三维空间书写数字识别是一个新兴发展起来的识别技术，目前还没有一个公共的数据库。本实施例设计了基于三轴加速度传感器的加速度信号采集器，采集了60个人的数据，每个采集者单手握着加速度信号采集器在三维空间自由书写数字0到9，每个采集者书写三遍，共采集到180套数据。每个类随机选取144套样本(占每类总样本数的80％)进行训练，总训练样本数为1440，余下的36套样本用于测试，总的测试样本数目为360。

在实验中将本发明提出的旋转特征与峰值谷值特征、时域原始特征及传统的频域FFT特征的性能做了比较。对每个特征，进行了三次实验，然后取平均值。表1给出了每个类别基于四种特征提取方法的识别率。

表1四种不同特征对10个空中手写数字的识别率的比较

由表1中可以看到，采用本发明提出的旋转特征，其识别率明显高于时域原始特征、峰值谷值特征、及FFT特征。而且，对于每个类别，基于旋转特征的识别率都是较高的，实验结果表明由本发明所述的方法获得的旋转特征在识别性能方面的有效性。

Claims (3)

1.一种基于加速度传感器的手势识别的旋转特征提取方法，其特征在于将用户在三维空间书写所产生的三轴加速度信号分别投影到y-z，z-x，和x-y平面，得到三个二维矢量A_yz(t)，A_zx(t)，和A_xy(t)，然后分别提取y-z，z-x，和x-y平面的旋转特征RF_yz(i)，RF_zx(i)和RF_xy(i)，再分别对提取到的旋转特征RF_yz(i)，RF_zx(i)和RF_xy(i)进行编码得到旋转特征码C_yz，C_zx和C_xy；

所述得到二维矢量的具体操作如下：

用户在三维空间书写时，通过三轴加速度传感器同时测量手势运动时产生的相互正交的三个轴向的加速度，分别用a_x(t)，a_y(t)，a_z(t)表示x轴、y轴和z轴的加速度信号，记A(t)＝[a_x(t)，a_y(t)，a_z(t)]是某个手势运动时产生的一个三轴加速度信号，信号的长度记为S，对于一个三维空间书写时产生的三轴加速度信号A(t)，分别投影到下述三个投影平面：

A_yz(t)＝[a_y(t)，a_z(t)]

A_zx(t)＝[a_z(t)，a_x(t)]

A_xy(t)＝[a_x(t)，a_y(t)]

其中，二维矢量A_yz(t)，A_zx(t)，和A_xy(t)分别是三轴加速度信号A(t)在y-z，z-x，和x-y平面的投影；

旋转特征的提取如下：

提取y-z平面的旋转特征RF_yz(i)，定义B_yz(k)＝A_yz(k)×A_yz(k+1)，k表示第k个时刻，则B_yz(k)是一个矢量，且B_yz(k)的方向是垂直于A_yz(k)和A_yz(k+1)的平面向上，或垂直于A_yz(k)和A_yz(k+1)平面向下，当B_yz(k)的方向垂直于A_yz(k)和A_yz(k+1)的平面向上时，表示加速度信号A_yz(t)从k到k+1时刻逆时针旋转；当B_yz(k)的方向垂直于A_yz(k)和A_yz(k+1)的平面向下时，表示加速度信号A_yz(t)从k到k+1时刻顺时针旋转，记第i个旋转特征为RF_yz(i)，i＞1，则旋转特征RF_yz(i)的提取如下：

1、RF_yz(1)＝A_yz(0)

2、判断条件“B_yz(k)和B_yz(k-1)的方向相同，但A_yz(k+1)和A_yz(k)不在同一象限”或条件“B_yz(k)和B_yz(k-1)的方向相反”是否满足，其中k≥1，表示第k个时刻

3、如果满足条件，则RF_yz(i)＝A_yz(k+1)，i＝i+1，k＝k+1；

如果不满足，则k＝k+1，继续步骤2

以同样的方式分别提取z-x和x-y平面的旋转特征RF_zx(i)和RF_xy(i)；

对旋转特征进行编码的操作如下：

旋转特征RF_yz(i)是一个由a_y(t)和a_z(t)确定的矢量，由于旋转是由矢量的方向决定的，所以在用a_y(t)和a_z(t)表示提取的旋转特征RF_yz(i)时，将矢量的大小取为相等，并根据y-z平面的四个象限分别定义为0、1、2和3，根据矢量方向处于哪个象限就取对应的值，从而对提取的旋转特征RF_yz(i)进行编码，得到旋转特征码C_yz，同样在z-x和x-y平面上对RF_zx(i)和RF_xy(i)进行编码，得到旋转特征码C_zx和C_xy。

2.根据权利要求1所述的旋转特征提取方法，其特征在于产生三轴加速度信号后，还进行预处理操作，所述预处理操作包括去除重力加速度的影响、幅度归一化及滤除噪声。

3.根据权利要求2所述的旋转特征提取方法，其特征在于所述预处理操作首先通过减去三轴加速度信号的均值可以去除重力加速度的影响，然后对三轴加速度信号幅度进行标准化处理，接着利用高斯滤波器，滤除加速度信号中包含的测量时的噪声及由于手腕抖动产生的噪声。

Images