CN101882000B - 一种基于加速度传感器的手势识别方法 - Google Patents
一种基于加速度传感器的手势识别方法 Download PDFInfo
- Publication number
- CN101882000B CN101882000B CN201010204587XA CN201010204587A CN101882000B CN 101882000 B CN101882000 B CN 101882000B CN 201010204587X A CN201010204587X A CN 201010204587XA CN 201010204587 A CN201010204587 A CN 201010204587A CN 101882000 B CN101882000 B CN 101882000B
- Authority
- CN
- China
- Prior art keywords
- mrow
- mtd
- msubsup
- mtr
- centerdot
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000001133 acceleration Effects 0.000 title claims abstract description 56
- 238000000034 method Methods 0.000 title claims abstract description 18
- 238000012360 testing method Methods 0.000 claims abstract description 63
- 238000012706 support-vector machine Methods 0.000 claims abstract description 11
- 238000010606 normalization Methods 0.000 claims abstract description 3
- 238000012549 training Methods 0.000 claims description 29
- 239000011159 matrix material Substances 0.000 claims description 6
- 239000013598 vector Substances 0.000 claims description 6
- 238000001914 filtration Methods 0.000 claims description 2
- 238000005259 measurement Methods 0.000 claims description 2
- 210000000707 wrist Anatomy 0.000 claims description 2
- 238000007781 pre-processing Methods 0.000 claims 1
- 238000000605 extraction Methods 0.000 description 6
- 238000002474 experimental method Methods 0.000 description 4
- 238000011160 research Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Landscapes
- Character Discrimination (AREA)
Abstract
本发明提供了一种基于加速度传感器的手势识别方法,包括如下步骤:1)、提取用户在三维空间书写的所有样本的旋转特征码;2)、生成每个类的模板;3)、生成训练样本集;4)、生成测试样本集;5)、支持向量机分类。本发明从三轴加速度信号中提取了一种新颖的旋转特征,这种旋转特征能有效地表示书写时手势运动的顺时针旋转和逆时针旋转的变化过程。并提出了基于该旋转特征的三维空间书写数字识别方法的完整框架,该方法通过计算归一化编辑距离来解决旋转特征长度不一致的问题,从而对基于加速度传感器的三维书写字符进行有效识别。
Description
技术领域
本发明属于模式识别与人工智能技术领域,特别是涉及一种用于基于加速度传感器的三维空间书写识别的手势识别方法。
技术背景
基于加速度传感器的人运动识别是近年来计算机领域中新兴起的研究前沿方向之一,即将加速度传感器穿戴在用户身上或将它集成在手机或PDA等手持设备上,通过分析人运动时所产生的加速度信号来进行检测、识别用户的运动状态并对其行为进行理解和描述,它属于穿戴式计算(Wearable Computing)和普适计算(Ubiquitous Computing)的重要研究内容之一。
目前,基于加速度传感器的人运动识别主要包括人运动状态识别和人手势识别两方面。运动状态识别主要是识别人在日常生活中走路、跑步、坐着、站立等基本动作;而手势识别主要是识别一些简单的电话手势、自定义的用于控制设备的简单手势、阿拉伯数字0-9。基于加速度传感器的人运动识别的关键在于特征提取,许多研究人员都从加速度信号中提取了有效的特征用于识别人的运动状态和手势,综合起来可以把这些特征分成两类:时域特征和频域特征。常用的时域特征主要有:均值、方差或标准差、两轴之间的相关系数、加速度信号的峰值和谷值等等;常用的频域特征有FFT系数等。
在基于加速度传感器的人手势识别中,识别在三维空间书写的阿拉伯数字0-9受到一些研究人员的重视,因为基于三轴加速度传感器的三维空间书写不同于传统的二维平面书写,用户只需要手握嵌入三轴加速度传感器的书写设备在空中自由书写,它既不受某个特定的书写平面的限制(如手写板、触摸屏),也不需要任何外挂设备(如摄像头),提供了一种全新的数字笔实现方式,因而具有很好的应用研究价值。
发明内容
本发明的目的在于提供一种方便有效的基于加速度传感器的手势识别方法。
为了实现上述发明目的,采用的技术方案如下:
一种基于加速度传感器的手势识别方法,包括如下步骤:
1)、提取用户在三维空间书写的所有样本的旋转特征码;
2)、生成每个类的模板
从总样本中随机选取k个样本作为训练样本,将训练样本中相同类别的样本放在一起,在每个类别中,分别计算每个样本和该类别内其他样本的旋转特征码间的编辑距离之和,然后将样本按编辑距离之和从小到大排列后作为每个类别的类模板;
3)、生成训练样本集
计算每个训练样本和所有类模板的旋转特征码间的编辑距离,作为该样本的特征,则k个训练样本能够得到一个k×k的训练特征矩阵:
4)、生成测试样本集
对每个测试样本,计算它和所有类模板的旋转特征码间的编辑距离,作为该测试样本的特征,l个测试样本就能够得到一个l×k的测试特征矩阵:
5)、支持向量机分类
用步骤3)所生成的训练样本集训练支持向量机分类器,然后用支持向量机分类器识别出每个测试样本书写的数字。
本发明从三轴加速度信号中提取了一种新颖的旋转特征,这种旋转特征能有效地表示书写时手势运动的顺时针旋转和逆时针旋转的变化过程。并提出了基于该旋转特征的三维空间书写数字识别方法的完整框架,该方法通过计算归一化编辑距离来解决旋转特征长度不一致的问题,从而对基于加速度传感器的三维书写字符进行有效识别。
附图说明
图1是本发明的流程图;
图2是本发明的基于y-z平面提取的旋转特征;
图3是本发明的对加速度的方向变化的编码图。
具体实施方式
下面结合附图对本发明做进一步的说明。
实施本发明所用的输入设备是嵌入三轴加速度传感器的装置。基于旋转特征的三维空间书写识别算法的系统流程图如附图1所示,具体步骤包括:
1、预处理
对于采集到的三维加速度信号首先通过减去均值去除重力加速度的影响,然后进行幅度归一化处理,接着对其进行高斯滤波,滤除加速度信号中包含的测量时的噪声及由于手腕抖动产生的噪声。
2、提取旋转特征码
基于加速度传感器的三维空间书写不同于传统的二维平面书写,它采集不到书写者的书写轨迹,只能获得由三轴加速度传感器测得的三个轴向的加速度信号。如何利用这三个轴向的加速度信号来识别出书写者写的是什么,特征提取是关键。
三轴加速度传感器能同时测量手势运动时产生的相互正交的三个轴向的加速度,分别用ax(t),ay(t),az(t)表示x轴、y轴和z轴的加速度信号。
记A(t)=[ax(t),ay(t),az(t)]是某个手势运动时产生的一个三轴加速度信号,信号的长度记为S。定义
B(t)=A(t)×A(t+1) (1)
则B(t)也是一个矢量,且B(t)的方向只有两种情况,一种是垂直于A(t)和A(t+1)的平面向上,另一种是垂直于A(t)和A(t+1)平面向下。当B(t)的方向垂直于A(t)和A(t+1)的平面向上时,加速度信号A(t)从t到t+1时刻逆时针旋转;当B(t)的方向垂直于A(t)和A(t+1)的平面向下时,加速度信号A(t)从t到t+1时刻顺时针旋转。
当t从0变化到S-1时刻加速度信号就会产生一系列的顺时针和逆时针旋转,即书写每个字符时,加速度信号都会产生一系列的顺时针和逆时针旋转变化。本发明提出的旋转特征正是记录三维空间书写时加速度信号产生顺时针旋转和逆时针旋转的变化过程。
对于一个三维空间书写时产生的三轴加速度信号A(t),分别从三维空间中下述三个投影平面提取旋转特征:
Ayz(t)=[ay(t),az(t)]
Azx(t)=[az(t),ax(t)] (2)
Axy(t)=[ax(t),ay(t)]
式(2)中,二维矢量Ayz(t),Azx(t),和Axy(t)分别是三轴加速度信号A(t)在y-z,z-x,和x-y平面的投影。
以Ayz(t)为例来说明提取的旋转特征,根据式(1)可以做如下定义:
Byz(t)=Ayz(t)×Ayz(t+1) (3)
则Byz(t)的方向垂直于Ayz(t)和Ayz(t+1)平面向上时加速度Ayz(t)逆时针旋转;Byz(t)的方向垂直于Ayz(t)和Ayz(t+1)平面向下时加速度Ayz(t)顺时针旋转。如果把每个时刻的顺时针和逆时针旋转都记录下来,通过观察会发现:在某个时间段内,加速度信号一直在做顺时针(或逆时针)旋转。所以没必要把这个时间段内的每个时刻点都取为旋转特征。记第i个旋转特征为RFyz(i),i>1。则旋转特征RFyz(i)的提取满足如下原则:
RFyz(1)=Ayz(0)
RFyz(i)=Ayz(t+1),当Byz(t)和Byz(t-1)的方向相同,但
Ayz(t+1)和Ayz(t)不在同一象限;或
当Byz(t)和Byz(t-1)的方向相反时
RFyz(i)是一个由ay(t)和az(t)确定的矢量。由于旋转是由矢量的方向决定的,所以在用ay(t)和az(t)表示提取的旋转特征RFyz(i)时,将矢量的大小取为相等。附图2是对6个人书写数字8时产生的三轴加速度信号基于y-z平面提取的旋转特征点RFyz(i),并把它们用y轴和z轴的加速度[ay(t),az(t)]表示出来。图中垂直方向的轴表示ay(t),水平方向的轴表示az(t),箭头指向是各个轴的加速度方向。
为了方便进行数字运算,规定了如附图3所示的加速度方向变化的编码规则。对附图2提取的旋转特征RFyz(i)进行编码得到旋转特征码Cyz,同样,可以对Azx(t)和Axy(t)提取旋转特征点并进行上述编码,得到旋转特征码Czx和Cxy。一个三轴加速度信号的旋转特征码表示为C={Cyz,Czx,Cxy},Cyz,Czx和Cxy分别是对Ayz(t),Azx(t),和Axy(t)的加速度变化顺序的编码。
3、生成每个类的模板
从总样本中随机选取k个样本作为训练样本,将训练样本中相同类别的样本放在一起,在每个类别中,分别计算每个样本和类内其他样本的旋转特征码间的编辑距离之和,然后将样本按编辑距离之和从小到大排列后作为每个类的类模板。
4、生成训练样本集
计算每个训练样本和所有类模板的旋转特征码间的编辑距离,作为该样本的特征。则对k个训练样本可以得到一个k×k的训练特征矩阵:
其中,是第i个训练样本和第j个类模板间的距离,i=1,2,…k,j=1,2,…k,k是所有类的类模板数。
5、生成测试样本集
对每个测试样本,计算它和所有类模板的旋转特征码间的编辑距离,作为该测试样本的特征。对l个测试样本就可以得到一个l×k的测试特征矩阵:
上述第3、4、5步骤所采用的编辑距离计算具体如下:
由于不同样本的旋转特征码的长度不一致,无法直接计算它们之间的差异,采用编辑距离来度量不同样本的旋转特征码间的差异。
由于编辑距离度量的是2个序列之间差异的绝对值,在分析长度变化范围较大的序列时,容易使长序列之间的编辑距离远大于短序列之间的距离。这显然是不合适的,因此需要对其进行归一化。上述符号序列和的归一化编辑距离表示为:
所以,第i个样本和第j个样本的旋转特征码间的距离可表示为:
6、支持向量机(SVM)分类
用上面生成的训练样本集训练SVM分类器,然后用SVM分类器识别出每个测试样本书写的数字。
本发明的优异性能通过大样本的实验得到了证实。下面描述采用本发明所述的特征提取方法,对大量三维空间书写数字样本进行相关实验的结果。
由于基于加速度传感器的三维空间书写数字识别是一个新兴发展起来的识别技术,目前还没有一个公共的数据库。本实施例设计了基于三轴加速度传感器的加速度信号采集器,采集了60个人的数据,每个采集者单手握着加速度信号采集器在三维空间自由书写数字0到9,每个采集者书写三遍,共采集到180套数据。每个类随机选取144套样本(占每类总样本数的80%)进行训练,总训练样本数为1440,余下的36套样本用于测试,总的测试样本数目为360。
在实验中将本发明提出的旋转特征与峰值谷值特征、时域原始特征及传统的频域FFT特征的性能做了比较。对每个特征,进行了三次实验,然后取平均值。
表1给出了每个类别基于四种特征提取方法的识别率。
表1四种不同特征对10个空中手写数字的识别率的比较
由表1中可以看到,采用本发明提出的旋转特征,其识别率明显高于时域原始特征、峰值谷值特征、及FFT特征。而且,对于每个类别,基于旋转特征的识别率都是较高的,实验结果表明由本发明所述的方法获得的旋转特征在识别性能方面的有效性。
Claims (2)
1.一种基于加速度传感器的手势识别方法,其特征在于包括如下步骤:
1)、提取用户在三维空间书写的所有样本的旋转特征码,通过将用户在三维空间书写所产生的三轴加速度信号分别投影到y-z,z-x,和x-y平面,得到三个二维矢量Ayz(t),Azx(t),和Axy(t),然后分别提取y-z,z-x,和x-y平面的旋转特征RFyz(i),RFzx(i)和RFxy(i),再分别对提取到的旋转特征RFyz(i),RFzx(i)和RFxy(i)进行编码得到旋转特征码Cyz,Czx和Cxy;
2)、生成每个类的模板
从总样本中随机选取k个样本作为训练样本,将训练样本中相同类别的样本放在一起,在每个类别中,分别计算每个样本和该类别内其他样本的旋转特征码间的编辑距离之和,然后将样本按编辑距离之和从小到大排列后作为每个类别的类模板;
3)、生成训练样本集
计算每个训练样本和所有类模板的旋转特征码间的编辑距离,作为该样本的特征,则k个训练样本能够得到一个k×k的训练特征矩阵:
4)、生成测试样本集
对每个测试样本,计算它和所有类模板的旋转特征码间的编辑距离,作为该测试样本的特征,l个测试样本就能够得到一个l×k的测试特征矩阵:
其中,是第i个测试样本和第j个类模板间的距离,i=1,2,…l,j=1,2,…k,l是测试样本的个数,k是所有类的类模板数;
所述步骤2)至4)所计算的编辑距离如下:
所以,第i个样本和第j个样本的旋转特征码间的距离表示为:
相应地计算出Czx和Cxy的编辑距离;
5)、支持向量机分类
用步骤3)所生成的训练样本集训练支持向量机分类器,然后用支持向量机分类器识别出每个测试样本书写的数字。
2.根据权利要求1所述的基于加速度传感器的手势识别方法,其特征在于所述步骤1)提取旋转特征码之前还包括预处理操作,具体为对于采集到的三维加速度信号首先通过减去均值去除重力加速度的影响,然后进行幅度归一化处理,接着对其进行高斯滤波,滤除加速度信号中包含的测量时的噪声及由于手腕抖动产生的噪声。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201010204587XA CN101882000B (zh) | 2010-06-18 | 2010-06-18 | 一种基于加速度传感器的手势识别方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201010204587XA CN101882000B (zh) | 2010-06-18 | 2010-06-18 | 一种基于加速度传感器的手势识别方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN101882000A CN101882000A (zh) | 2010-11-10 |
CN101882000B true CN101882000B (zh) | 2012-08-22 |
Family
ID=43054031
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201010204587XA Expired - Fee Related CN101882000B (zh) | 2010-06-18 | 2010-06-18 | 一种基于加速度传感器的手势识别方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN101882000B (zh) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102262732A (zh) * | 2011-08-26 | 2011-11-30 | 信源通科技(深圳)有限公司 | 字符识别方法及系统 |
US9202047B2 (en) | 2012-05-14 | 2015-12-01 | Qualcomm Incorporated | System, apparatus, and method for adaptive observation of mobile device behavior |
US9690635B2 (en) | 2012-05-14 | 2017-06-27 | Qualcomm Incorporated | Communicating behavior information in a mobile computing device |
US9319897B2 (en) | 2012-08-15 | 2016-04-19 | Qualcomm Incorporated | Secure behavior analysis over trusted execution environment |
US9747440B2 (en) | 2012-08-15 | 2017-08-29 | Qualcomm Incorporated | On-line behavioral analysis engine in mobile device with multiple analyzer model providers |
US10089582B2 (en) | 2013-01-02 | 2018-10-02 | Qualcomm Incorporated | Using normalized confidence values for classifying mobile device behaviors |
US9686023B2 (en) * | 2013-01-02 | 2017-06-20 | Qualcomm Incorporated | Methods and systems of dynamically generating and using device-specific and device-state-specific classifier models for the efficient classification of mobile device behaviors |
US9684870B2 (en) | 2013-01-02 | 2017-06-20 | Qualcomm Incorporated | Methods and systems of using boosted decision stumps and joint feature selection and culling algorithms for the efficient classification of mobile device behaviors |
US9742559B2 (en) | 2013-01-22 | 2017-08-22 | Qualcomm Incorporated | Inter-module authentication for securing application execution integrity within a computing device |
CN103257711B (zh) * | 2013-05-24 | 2016-01-20 | 河南科技大学 | 空间手势输入方法 |
CN103309448A (zh) * | 2013-05-31 | 2013-09-18 | 华东师范大学 | 一种加入符号序列匹配的基于三维加速度的手势识别方法 |
CN103472917B (zh) * | 2013-09-06 | 2016-07-06 | 浙江大学 | 一种与加速度传感器的放置方式和位置无关的运动识别方法 |
CN105022982B (zh) * | 2014-04-22 | 2019-03-29 | 北京邮电大学 | 手部运动识别方法和装置 |
CN103984416B (zh) * | 2014-06-10 | 2017-02-08 | 北京邮电大学 | 一种基于加速度传感器的手势识别方法 |
CN104750386B (zh) * | 2015-03-20 | 2018-01-19 | 广东欧珀移动通信有限公司 | 一种手势识别方法及装置 |
CN107037878A (zh) * | 2016-12-14 | 2017-08-11 | 中国科学院沈阳自动化研究所 | 一种基于手势的人机交互方法 |
CN107765890A (zh) * | 2017-09-04 | 2018-03-06 | 浙江大学 | 一种基于加速度传感器的写字内容检测系统和方法 |
CN110109551B (zh) * | 2019-05-17 | 2021-02-23 | 中国科学院电子学研究所 | 手势识别方法、装置、设备及存储介质 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101593023A (zh) * | 2009-05-26 | 2009-12-02 | 英华达(上海)科技有限公司 | 指套式操作设备 |
CN101694692A (zh) * | 2009-10-22 | 2010-04-14 | 浙江大学 | 一种基于加速度传感器的手势识别的方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8250493B2 (en) * | 2005-02-05 | 2012-08-21 | Samsung Electronics Co., Ltd. | User interface method, medium, and apparatus with gesture-recognition |
-
2010
- 2010-06-18 CN CN201010204587XA patent/CN101882000B/zh not_active Expired - Fee Related
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101593023A (zh) * | 2009-05-26 | 2009-12-02 | 英华达(上海)科技有限公司 | 指套式操作设备 |
CN101694692A (zh) * | 2009-10-22 | 2010-04-14 | 浙江大学 | 一种基于加速度传感器的手势识别的方法 |
Also Published As
Publication number | Publication date |
---|---|
CN101882000A (zh) | 2010-11-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101882000B (zh) | 一种基于加速度传感器的手势识别方法 | |
CN101853380B (zh) | 一种基于加速度传感器的手势识别的旋转特征提取方法 | |
Li et al. | Deep Fisher discriminant learning for mobile hand gesture recognition | |
Wang et al. | Human activity recognition with user-free accelerometers in the sensor networks | |
CN110197224B (zh) | 基于特征空间深度对抗学习的空中手写字符轨迹恢复方法 | |
Sepahvand et al. | Evolutionary metric-learning-based recognition algorithm for online isolated Persian/Arabic characters, reconstructed using inertial pen signals | |
Xu et al. | Air-writing characters modelling and recognition on modified CHMM | |
Barczewska et al. | Comparison of methods for hand gesture recognition based on Dynamic Time Warping algorithm | |
Zhang et al. | A Wearable Real‐Time Character Recognition System Based on Edge Computing‐Enabled Deep Learning for Air‐Writing | |
CN102411712B (zh) | 基于笔迹的身份识别的方法及终端 | |
Shen et al. | Toward hand-dominated activity recognition systems with wristband-interaction behavior analysis | |
Patil et al. | Handwriting recognition in free space using WIMU‐based hand motion analysis | |
Aggarwal et al. | Online handwriting recognition using depth sensors | |
CN101853073B (zh) | 一种应用于手势识别的旋转特征码的距离测度方法 | |
Yin et al. | A Systematic Review of Human Activity Recognition Based On Mobile Devices: Overview, Progress and Trends | |
Xie et al. | Gesture recognition benchmark based on mobile phone | |
CN106648149B (zh) | 一种基于加速度计和陀螺仪的空中手写字符识别方法 | |
Chen et al. | A fusion recognition method based on multifeature hidden markov model for dynamic hand gesture | |
Kunwar et al. | Unrestricted Kannada online handwritten akshara recognition using SDTW | |
Bulugu | Real-time Complex Hand Gestures Recognition Based on Multi-Dimensional Features. | |
Zhou et al. | Pre-classification based hidden Markov model for quick and accurate gesture recognition using a finger-worn device | |
Mahajan et al. | Digital pen for handwritten digit and gesture recognition using trajectory recognition algorithm based on triaxial accelerometer | |
Boyle et al. | Gait-based user classification using phone sensors | |
Tuncer et al. | Handwriting recognition by derivative dynamic time warping methodology via sensor-based gesture recognition. | |
Tunçer | Accelerometer based handwritten character recognition using dynamic time warping |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20120822 Termination date: 20180618 |
|
CF01 | Termination of patent right due to non-payment of annual fee |