CN103257711B - 空间手势输入方法 - Google Patents
空间手势输入方法 Download PDFInfo
- Publication number
- CN103257711B CN103257711B CN201310198253.XA CN201310198253A CN103257711B CN 103257711 B CN103257711 B CN 103257711B CN 201310198253 A CN201310198253 A CN 201310198253A CN 103257711 B CN103257711 B CN 103257711B
- Authority
- CN
- China
- Prior art keywords
- gesture
- handheld device
- strokes
- acceleration
- standard
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 61
- 230000001133 acceleration Effects 0.000 claims abstract description 72
- 230000008569 process Effects 0.000 claims abstract description 12
- 238000000605 extraction Methods 0.000 claims abstract description 9
- 230000009467 reduction Effects 0.000 claims abstract description 6
- 230000005540 biological transmission Effects 0.000 claims abstract description 5
- 238000005070 sampling Methods 0.000 claims description 39
- 239000013598 vector Substances 0.000 claims description 39
- 230000008859 change Effects 0.000 claims description 21
- 239000011159 matrix material Substances 0.000 claims description 20
- 230000006870 function Effects 0.000 claims description 12
- 238000004364 calculation method Methods 0.000 claims description 10
- 238000005516 engineering process Methods 0.000 claims description 9
- 238000012545 processing Methods 0.000 claims description 9
- 230000010354 integration Effects 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 6
- 230000004069 differentiation Effects 0.000 claims description 5
- 230000033001 locomotion Effects 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- 238000012706 support-vector machine Methods 0.000 claims description 3
- 238000012935 Averaging Methods 0.000 claims description 2
- 238000012843 least square support vector machine Methods 0.000 claims description 2
- 238000012360 testing method Methods 0.000 claims description 2
- 238000005259 measurement Methods 0.000 abstract description 5
- 238000004422 calculation algorithm Methods 0.000 abstract description 4
- 238000003909 pattern recognition Methods 0.000 abstract description 3
- 238000001514 detection method Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 10
- 230000009466 transformation Effects 0.000 description 4
- 238000010606 normalization Methods 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000009795 derivation Methods 0.000 description 2
- 238000006073 displacement reaction Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 241000282414 Homo sapiens Species 0.000 description 1
- 241000699666 Mus <mouse, genus> Species 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
Landscapes
- Character Discrimination (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
空间手势输入方法运用无陀螺惯性测量单元及特有硬件布局方案实现手势的测量和解算，经降维、特征提取、模式识别、编码等处理后经无线射频单元送主机，从而实现手写字符输入和光标定位功能；相应的手持装置包括手势采集和解算单元、模式识别和编码单元、无线传输单元。本发明涉及的方法及装置避免使用陀螺仪，克服了设备抗大加速度冲击能力差的弱点，手势检测不受装置姿态的影响；惯性测量单元的合理硬件布局确保笔迹解算的低开销，以笔画特征为依据的模式识别方法降低了存储空间要求和计算复杂度，有关算法在无线SOC片上系统中易于实现，保证了该装置的低成本和兼容性。
Description
技术领域
本发明涉及无线传感技术和模式识别技术。具体涉及一种空间手势输入方法。
背景技术
目前，个人计算机、移动终端、手持设备等广泛使用物理键盘、鼠标、手写板、屏幕触控等传统输入技术实现人机交互。这些输入技术和装置普遍采用受限二维平面内的光电感应和阵列扫描方法实现信息输入，其局限性主要体现在不易携带、书写区域受限、灵活性差等方面。
随着无线传感技术的发展和物联网应用的逐渐普及，可穿戴计算、可穿戴传感网络等新方法、新概念为人机交互的多样化、人性化提供了新的思路。信息输入方式向着高灵活性、且符合人类自然习惯的趋势发展。
基于惯性传感器件和无线射频技术的手持式输入设备已经出现，但这些设备普遍依赖微机电系统（MEMS）陀螺组件。由于MEMS陀螺漂移较大、无法适应大角速度测量、抗大线加速度冲击能力差等缺点，导致设备可靠性和精度较低。
发明内容
本发明提供一种空间手势输入方法，目的是通过空间手势实现中英文字符、数字输入，和光标定位实现输入，在不受书写区域限制和灵活限制的情况上，实现空间手势的输入。
为实现上述技术目的，本发明所提供的技术方案是：空间手势输入方法：
手写模式，实现手写笔功能，操作人员手持使用本发明涉及方法实现的手持装置，按照日常书写习惯在空间中做中英文字符、数字等的象形手势，相应字符即被识别、编码，经无线传送至主机端；
光标定位模式，实现主机端光标的定位功能，操作人员手持使用本发明涉及方法实现的手持装置，在三维空间中移动，手势轨迹被连续采样并编码，经无线传送至主机以控制光标的移动和定位；
手持装置上的物理按键可控制手写笔模式和光标定位模式间的自由切换。
本发明所述的手写模式下的中英文字符、数字的输入，通过下述步骤实现：
步骤一、采样并解算无线手持装置在三维自由空间中的手势原始数据，手势原始数据由安装在手持装置特殊位置的2个加速度传感器得到，经解算得到手持装置质心相对当地地理坐标系的加速度矢量；
步骤二、对所述的手势原始数据提取手势特征，并将手势特征转换为特征码；
步骤三、参照手势标准特征模式库执行分类识别；
步骤四、按照USBHID规范对识别出的字符编码，并经无线射频传输送至主机。
本发明所述的光标定位功能由以下步骤实现：
步骤一、采样并解算无线手持装置在三维自由空间中的手势原始数据，手势原始数据由安装在手持装置特殊位置的2个加速度传感器得到，经解算得到手持装置质心相对当地地理坐标系的加速度矢量；
步骤二、手持装置质心对地加速度经一重积分得到对地速度；
步骤三、按照相邻采样点的对地速度，确定速度平面，经旋转、降维运算得到手持装置对地的标准二维速度数据；
步骤四、标准二维速度数据经积分得到任意采样周期的位置变化，经编码后送主机USB总线。
本发明所述的步骤二的手势原始数据的提取通过对手持装置质心加速度矢量序列进行采样同步处理，和采样后特征获取2个阶段完成，所述的对加速度矢量序列进行采样同步处理，指对加速度矢量序列的积分，积分过程与采样同步执行，采样结束后得到速度矢量序列；所述的采样后特征获取，指由采样结束后得到速度矢量序列得到手势特征，手势特征包括笔画数量、单个笔画走向、笔画的归一化长度、总笔画的归一化长度特征，
手势特征的获取步骤包括：
对所述的速度矢量序列执行主元提取、旋转等预处理，得到标准2维速度矢量序列；
在所述的标准2维速度矢量序列，标定速度极小值点，作为相邻2个笔画的分界；
对属于同一笔画的速度矢量子序列取平均值得到所述的单个笔画走向；
对所述的单个笔画速度矢量子序列积分获取笔画的绝对长度；
由标准2维速度矢量序列得到整个手势的长度、宽度特征；
由单个笔画绝对长度得到所有笔画总长度，并结合手势长度、宽度，计算出总笔画的归一化总长度。
本发明所述步骤二的转换后的特征码由手势特征计算得到，特征码为二元组（D，L），D为相邻笔画的走向变化编码，L为总笔画的归一化长度。
本发明所述的手势标准特征模式库通过采集不同书写习惯人群的学习样本得到，包括对常用字符的笔画数量、单个笔画走向、笔画的归一化长度和总笔画的归一化长度的描述，表示形式为样本特征码集合，该集合按照不同的待识别对象划分为不同模式，每个模式包含同一识别对象的多个样本特征码，分别对应不同的书写习惯。
本发明所述的分类识别方法可采用BP神经网络，支持向量机、最小二乘支持向量机回归等模糊识别技术实现，所述的分类识别方法以手势标准特征模式库为学习样本，训练得到分类器，以待检测笔迹的特征码为依据得到分类结果，所述的分类器的学习样本并非直接来自标准特征模式库，而是标准特征模式库中不同样本特征码与所有模式间的差异化度量值；所述分类器的测试样本并非直接来自待识别手势的特征码，而是待识别手势特征码与标准特征模式库中所有模式间的差异化度量值，所述的某一特征码与某一模式的差异化度量值，通过如下方法得到：依次取前者与后者对应集合中每个特征码间的差异化度量值，然后取均值；所述的特征码间差异化度量值包括所述的相邻笔画走向变化编码间的Levenshtein距离和总笔画归一化长度间的差值。
本发明所述的字符编码传输采用2.4G射频经主机端USB射频接收器件送主机USB总线。
本发明所述的手持装置质心相对当地地理坐标系的加速度矢量通过如下方法得到，包括：
在手持装置偏离质心的特定位置安排2个三轴加速度传感器，通过解算传感器共6个敏感轴输出所建立的方程组，获取手持装置相对质心的旋转速度；
由所述的旋转速度序列、手持装置初始姿态角和初始方向余弦矩阵，可计算手持装置在任意时刻的姿态和方向余弦矩阵；
由手持装置的姿态和方向余弦矩阵、2个三轴加速度传感器的比力输出，可解算出手持装置质心对地加速度；
所述的手持装置偏离质心特定位置，指以装置质心为原点建立三维笛卡尔坐标系，X、Y和Z轴与手持装置固连，将2个三轴加速度传感器分别安排在X、Y或Z任一轴相对于原点的对称位置，2个三轴加速度传感器的6个敏感轴方向两两相同，2个三轴加速度传感器的1轴与笔体坐标系的某一轴重合。
本发明所述的相邻笔画走向变化编码为12种笔画变化趋势的形式化描述，12种笔画变化趋势包括：下-左、下-右、上-左、上-右、左-上、左-下、右-上、右-下、下-上、上-下、左-右、右-左，编码形式为十六进制整数。
本发明的有益效果是：（1）在手写模式和光标定位模式步骤一中，手势原始数据是通过采样手持装置上安放在特殊位置的2个三轴加速度传感器比力输出得到的；不同于现有其它技术，这种2个三轴加速度传感器的配置方案避免使用陀螺仪，抗大加速度性能较好，手持装置中电路板上元器件布局更合理，有利于减小装置的体积，与其它硬件配置方案（多个一轴或二轴加速度传感器，或加速度传感器+陀螺仪）相比，有明显的成本优势；（2）在手写模式和光标定位模式步骤一中，对手势原始数据进行解算可以得到手持装置任意时刻的姿态和装置质心处加速度矢量，其优势是：在使用该装置工作过程中，操作人员可以任意姿势手持该装置，且可以任意变换姿势，手势采样不受装置姿态及姿态变化的影响，操作过程更灵活；（3）在手写模式下步骤二中，以特征码的形式表示、存储手势数据，与其它手势输入方法所采用的轨迹方法相比，数据量减小明显、存储空间需求变小、有利于在片上系统上实现该方案，同时，可减小后继步骤中手势识别算法的复杂度；（4）在手写模式下步骤三中，手势的识别和分类是以手势特征间的差异化度量为依据，并通过的模糊识别方法实现的，与其它手势输入方法所采用的轨迹比对或手势特征比对相比，分类器输入数据量进一步减小，维数降低，分类器的学习算法和识别算法更易实现，且效率较高。
附图说明
下列为本发明涉及实施例的附图，用于详细说明本发明的实施方案和具体实施方式。
图1是本发明涉及空间手势输入方法的实施例流程图；
图2是本发明涉及手持装置中加速度传感器布局的实施例示意图；
图3是本发明涉及手持装置中加速度传感器布局的又一实施例示意图；
图4是本发明涉及手持装置质心处对地加速度解算的实施例示意图；
图5是本发明涉及手持装置质心处对地加速度解算的实施例流程图；
图6是本发明涉及手势特征码编码的实施例流程图；
图7是本发明涉及笔画方向特征提取的实施例示意图；
图8是本发明涉及手势识别的实施例流程图；
图9是本发明涉及光标定位模式下获取光标定位码的实施例流程图。
具体实施方式
本发明所涉及空间手势输入方法，包括：手势采集，手势识别，和手势编码输入等步骤。
本发明所涉及的手持装置，可实现无线输入，可工作于两种模式：模式1为手写笔功能，操作人员手持该装置，按照日常书写习惯在空间中做中英文字符、数字等的象形手势，相应字符即被识别并编码传送至主机端；模式2为光标定位功能，手势轨迹被连续采样并编码，无线传送至主机以控制光标的移动和定位。
模式1下，本发明所涉及的手势采集是一种手势特征的采集；模式2下，本发明所涉及的手势采集是手势轨迹的采集。
本发明所涉及的手势识别是一种基于手势特征的模糊识别方法，属于机器学习范畴，而非简单的手势轨迹比对。
本发明涉及的手势编码输入符合USBHID规范，保证与主机端软、硬件的兼容性。
本发明所涉及的手势采集基于一种特殊的硬件空间布局及由此推导得到的特定解算方程：在手持装置非质心处安排2个三轴加速度传感器，传感器输出、手持装置质心处比力和角速度满足特定方程组；通过解算可获得手势特征数据。本发明所涉及手势采集方法可保证手势操作的灵活性，手持装置的姿态可任意调整和动态变化；同时，保证手持装置的抗大加速度性能良好。
为说明本发明涉及空间手势输入方法的具体实现方法，结合实施例及附图阐述如下：
图1为本发明空间手势输入方法实施例的流程图。本方法通过6个基本步骤实现空间手势输入流程的一个完整动作，包括：
（1）工作模式选择。本发明涉及的无线手持装置上安排有模式切换的物理按键，该按键与装置上处理器的输入引脚相连；按键的按下和释放对应该引脚的输入电平高低变化，处理器通过轮询或中断方式可检测到输入引脚对应寄存器的取值变化，从而决定工作于不同模式；缺省情况下按键处于释放状态，装置按照光标定位模式工作；任何时刻按下模式切换键并保持，则进入手写模式，释放按键则回到光标定位模式；
（2）手写模式下的手势采集。手势采集包括：手势原始特征采样、采样同步处理、采样后特征提取和手势特征编码等四个步骤。手势采集结束时，得到手势所含笔画的数量、单个笔画的走向、笔画的归一化长度、总笔画的归一化长度等特征，并编码为手势特征码；
（3）手写模式下的手势识别。使用基于手势标准特征模式库训练好的分类器，待识别手势特征码与标准特征模式库中模式间的差异化度量值作为分类器输入，经分类器分类函数计算给出识别结果；
（4）手写模式下的手势编码输入。对已识别字符按照USBHID规范进行编码，并通过2.4G射频方案传输至主机端带有射频接收功能的USB适配器，最后送主机USB总线。
（5）光标定位模式下的手势轨迹采样。按照固定的周期（如2ms）对手持装置上的2个加速度传感器输出进行采样，经解算得到装置质心相对本地地理坐标系的三维加速度矢量序列；采样过程中根据加速度矢量序列得到手势轨迹平面和每个采样周期内手持装置的位移。
（6）光标定位模式下的手势轨迹编码输入。对每个采样周期内手持装置位置变化进行编码，编码符合USBHID规范并通过2.4G射频方案传输至主机端带有射频接收功能的USB适配器，最后送主机USB总线。
图2为本发明涉及手持装置中加速度传感器布局的实施例示意图。ObXbYbZb为固连于手持装置的笛卡尔坐标系，称为笔体坐标系，坐标原点Ob所在位置为手持装置的质心，Xb与手持装置过质心的长轴方向一致；MEMS加速度传感器1和2被固定安装在Xb轴上坐标原点Ob两侧，传感器1和2到原点的距离分别为和，且，。和可以相等，此时传感器1和2在Xb轴上关于原点Ob对称。
传感器1和2的安装需保证Xb与传感器某一敏感轴重合，图2中为Xa轴，但不限于Xa轴。
图3为本发明涉及手持装置中加速度传感器布局的又一实施例示意图。MEMS加速度传感器1和2被固定安装在Yb轴上坐标原点Ob两侧和位置，其它特征与图2相同。
图2和图3所示的加速度传感器布局，目的是通过加速度传感器1和2的加速度矢量输出，运用哥氏定理解算出手持装置质心Ob相对于当地地理坐标系的加速度矢量，以及手持装置绕质心Ob的旋转速度矢量。
图4描述了手持装置中加速度传感器、笔体坐标系、地理坐标系间的位置关系，可辅助说明手持装置质心对地加速度的解算。
ObXbYbZb为固连于手持装置的笔体坐标系，P为加速度传感器位置，Ob为手持装置的质心位置；OeXeYeZe为当地地理坐标系，OeXeYe为地平面，则矢径R,R′，L满足如下关系：
（1）
对（1）式两边求导，得：
（2）
由哥氏定理可得：
（3）
（3）式代入（2）式得：
（4）
对（4）式两侧再次求导，得：
（5）
由于：
代入（5）式得：
由于P在笔体坐标系下位置固定，所以，代入上式得：
（6）
（6）式在笔体坐标系下同样成立，因此：
（7）
（7）式中，为P点处加速度，为手持装置质心对地加速度，为手持装置相对质心的旋转加速度，为手持装置相对质心的旋转速度，为手持装置质心到P的矢径；（7）式中所有量均以笔体坐标系为参考系。
设P点处加速度传感器输出值为，当地重力加速度为，某时刻笔体坐标系到地理坐标系的方向余弦矩阵为C，则，代入式（7），得：
（8）
在图2所示实施例中，加速度传感器1和2处均满足（8）式，因此得下列方程组：
（9）
不失一般性，取，则，，由（9）式得：
（10）
由于，并将、、分别简记为，，，（10）式可进一步表示为：
（11）
由于和满足如下关系：
（12）
（11）和（12）式联立构成手持装置质心对地加速度解算方程组：
其中，
图5为本发明涉及手持装置质心对地加速度解算的流程图。图4可辅助说明手持装置质心对地加速度的解算。
第一步，获取笔体坐标系相对地理坐标的初始姿态角和方向余弦矩阵：
设表示手持装置姿态的三个欧拉角为：，则方向余弦矩阵可表示为：
由于采样开始时（t=0）手持装置静止，即
，，
由（13-1）式可得：
所以：
由上式可得：
由于初始偏航角的大小决定于地理坐标系OX轴方向的定义，而不同的OX轴方向并不影响手势识别的结果，故计偏航角。
进一步，由的取值即得到手势采样的初始方向余弦矩阵。
第二步，获取笔体坐标系表示的笔体绕质心旋转速度（手持装置旋转角速度）：
将（13）式中写成分量形式，即：，，，，则（13-2）式可化为：
将、、分别简记为、、，上式可表示为：
（14）
将（14-2）和（14-3）式两端分别乘以并相加，得到：
将（14-1）代入上式得：
（15）
由于在小采样周期情况下，
根据（14-2）、（14-3）和（15）式，可得笔体坐标系表示的笔体绕质心旋转速度（手持装置旋转角速度）的差分方程：
即：
（16）
第三步，计算笔体坐标系相对地理坐标的姿态角和方向余弦矩阵：
根据（13-3）式表示的微分方程，方向余弦矩阵的差分方程可表示为：
（17）
根据（17）式，可得到任一采样点的方向余弦矩阵
第四步，计算地理坐标系表示的质心对地加速度：
由（13-1）式，可得到任一采样点处手持装置质心对地加速度：
（18）
图6为本发明涉及手势特征提取与编码实施例的流程图。手势特征提取与编码共包括3个步骤：采样同步处理，采样后特征获取和编码。
第一步，采样同步处理。在每个采样点处，根据（18）式得到手持装置质心对地加速度，然后执行积分运算得到对应的速度，相应公式为：
（19）
第二步，采样后特征获取。包括预处理，特征获取，和归一化等3个阶段。
预处理阶段：对速度数据做降维、旋转处理，使三维速度序列转换为统一约定平面直角坐标系下的速度序列。由于手持装置运动过程中，加速度、速度近似保持在三维空间的某个平面中，在该平面中定义直角坐标系，并在该坐标系下重建速度序列，可近似描述原速度序列。按下述方法得到预期的平面坐标系，并将速度序列降维：
设原速度序列表示为矩阵形式：
则对应的协方差矩阵为：
其中，
由式可得到矩阵的3个特征值及对应的3个特征向量：，设，则可确定预期平面，为预期平面的法向量。
为了后期模式识别的方便，应统一定义速度序列所在平面中二维直角坐标系2个坐标轴的方向。约定统一的X轴方向与地理坐标系Z轴、速度序列所在平面法向量均垂直，统一的Y轴方向与X轴和均垂直，即：
则可得变换矩阵：
对原速度序列作线性变换并保留第1、2行，得到降维、旋转后的二维速度序列：
（20）
特征获取阶段：提取手势分解后的笔画数量、单个笔画方向、笔画的归一化长度，总笔画的归一化长度等特征。
设由（20）式得到的二维速度序列共有n个采样点，为事先设定的误差界，取值为接近于0的正实数，遍历并找到所有满足下列条件的：
（21）
可以认为满足（21）式条件的点是相邻二个笔画的转折点，即：前一个笔画的终点和后一个笔画的起点。
设满足（21）式的点共有个，则笔画总数为。
单个笔画的方向向量可通过下式得到：
取，则定义第个笔画的方向为：
（22）
（22）式中，取值分别表示笔画方向为：向上，向下，向右，向左。
笔画长度由下式得到：
设，定义：
则手势长度、宽度为：
归一化阶段：用于对单个笔画长度和总笔画长度进行归一化。
任意笔画的归一化长度为：
总笔画的归一化长度为：
（23）
第三步，手势特征编码。手势特征码形式为：，其中，笔画方向特征码表示相邻笔画间的方向变化。将12种笔画方向变化情况：下-左、下-右、上-左、上-右、左-上、左-下、右-上、右-下、下-上、上-下、左-右、右-左依次编码为0-9AB，则可表示为长度为的十六进制串；取值由（23）式得到。
图7为本发明涉及笔画方向特征提取的实施例示意图，对于数字“4”，可按照手势速度近似0点分割为4个笔画，其方向变化情况依次为：下-右、右-上，上-下，对应的笔画方向特征码为：。
图8为本发明涉及手势识别实施例的流程图。手势识别的目的是根据手势特征码，确定手势对应的输入字符。手势识别过程涉及手势标准特征模式库的构建，分类器的训练，以及分类识别过程。
手势标准特征模式库的构建:
不失一般性，设系统预先定义的可识别字符集为，共m个字符。手势标准特征模式库的构建可通过采集n个不同书写习惯者的手势，经编码生成特征码，并按下列矩阵形式存储：
中，表示可识别字符集中第个字符的第个特征码；中第行共个特征码对应第个字符的个样本，称为一个模式，即：
分类器的训练：对于个可识别字符的分类器，可由个子分类器实现，单个子分类器用于模式和的分类，其函数形式可表示为：
分类函数可基于支持向量机或神经网络方法定义，其一般形式为：
其中，为待定系数，可由样本数据训练得到，为核函数，为分类器的输入，定义为手势特征码与手势标准特征模式库中所有模式间的差异化度量。
定义2个特征码间的差异化度量为：
其中，是笔画方向特征码间的levenshtein距离，为手势总笔画归一化长度之差的绝对值。
基于特征码间差异化度量的定义，可进一步定义特征码与模式间的差异化度量为：
则手势标准特征模式库中第个模式中所有个特征码与所有模式间的差异化度量可表示为矩阵：
写成集合形式：
其中，
在训练阶段，训练样本集取，按下式取值：
分类识别过程：分类器用于手势识别时，先由手势特征码得到该特征码与标准特征模式库中所有个模式间的差异化度量值：
并作为所有子分类器的输入。
对每个模式，指定一个计数，对于所有子分类器，如果，则，如果，则；最后取，其中满足条件：，即为识别结果。
图9为本发明涉及手持设备工作于光标定位模式时，光标轨迹获取及编码的实施例流程图。该流程与手持设备对地加速度采样、解算同步进行，包括：一重积分得到三维对地速度，旋转并降维得到标准二维对地速度，一重积分得到二维位移变化量，编码输出等步骤。
第一步，一重积分得到三维对地速度。该步骤与手势识别模式下处理方式相同，通过（19）式实现积分。
第二步，旋转并降维。该步骤的作用是在预期的平面内按照约定的方向度量速度变化：
取任意2个相邻采样点处的对地速度，，则确定一个速度平面，其法向量为，约定统一的X轴方向与地理坐标系Z轴、速度平面法向量均垂直，统一的Y轴方向与X轴和均垂直，即：
则可得变换矩阵：
对原速度作线性变换并保留第1、2行，得到降维、旋转后的二维速度：
第三步，对二维速度序列再次积分，得到二次采样间隔手持装置位置变化量：
第四步，由上式确定的位置变化量序列按照标准USB鼠标编码格式进行编码后作为光标定位输入送主机USB总线。
Claims (8)
1.空间手势输入方法，其特征在于：
手写模式，实现手写笔功能，操作人员利用手持装置，按照日常书写习惯在空间中做中英文字符、数字等的象形手势，相应字符即被识别、编码，经无线传送至主机端；
光标定位模式，实现主机端光标的定位功能，操作人员利用手持装置，在三维空间中移动，手势轨迹被连续采样并编码，经无线传送至主机以控制光标的移动和定位；
手持装置上的物理按键可控制手写笔模式和光标定位模式间的自由切换；
所述的手写模式下的中英文字符、数字的输入，通过下述步骤实现：
步骤一、采样并解算无线手持装置在三维自由空间中的手势原始数据，手势原始数据是指手持装置中相对于质心对称编排的二个三轴加速度传感器得到，经解算得到手持装置质心相对当地地理坐标系的加速度矢量；
步骤二、对所述的手势原始数据提取手势特征，并将手势特征转换为特征码；
步骤三、参照手势标准特征模式库执行分类识别；
步骤四、按照USBHID规范对识别出的字符编码，并经无线射频传输送至主机；
所述的光标定位功能由以下步骤实现：
步骤一、采样并解算无线手持装置在三维自由空间中的手势原始数据，手势原始数据是指手持装置中相对于质心对称编排的二个三轴加速度传感器得到，经解算得到手持装置质心相对当地地理坐标系的加速度矢量；
步骤二、手持装置质心对地加速度经一重积分得到对地速度；
步骤三、按照相邻采样点的对地速度，确定速度平面，经旋转、降维运算得到手持装置对地的标准二维速度数据；
步骤四、标准二维速度数据经积分得到任意采样周期的位置变化，经编码后通过无线射频送主机USB总线。
2.根据权利要求1所述的空间手势输入方法，其特征在于：所述的手写模式下的中英文字符、数字的输入实现步骤的步骤二的手势原始数据的提取通过对手持装置质心加速度矢量序列进行采样同步处理，和采样后特征获取2个阶段完成，所述的对加速度矢量序列进行采样同步处理，指对加速度矢量序列的积分，积分过程与采样同步执行，采样结束后得到速度矢量序列；所述的采样后特征获取，指由采样结束后得到速度矢量序列得到手势特征，手势特征包括笔画数量、单个笔画走向、笔画的归一化长度、总笔画的归一化长度特征，
手势特征的获取步骤包括：
对所述的速度矢量序列执行主元提取、旋转等预处理，得到标准2维速度矢量序列；
在所述的标准2维速度矢量序列中，标定速度极小值点，作为相邻2个笔画的分界；
对属于同一笔画的速度矢量子序列取平均值得到所述的单个笔画走向；
对属于同一笔画的速度矢量子序列积分获取笔画的绝对长度；
由标准2维速度矢量序列得到整个手势的长度、宽度特征；
由单个笔画绝对长度得到所有笔画总长度，并结合手势长度、宽度，计算出总笔画的归一化总长度。
3.根据权利要求1所述的空间手势输入方法，其特征在于：所述手写模式下的中英文字符、数字的输入实现方法中的步骤二转换后的特征码由手势特征计算得到，特征码为二元组（D，L），D为相邻笔画的走向变化编码，L为总笔画的归一化长度。
4.根据权利要求1所述的空间手势输入方法，其特征在于：所述的手势标准特征模式库通过采集不同书写习惯人群的学习样本得到，包括对常用字符的笔画数量、单个笔画走向、笔画的归一化长度和总笔画的归一化长度的描述，表示形式为样本特征码集合，该集合按照不同的待识别对象划分为不同模式，每个模式包含同一识别对象的多个样本特征码，分别对应不同的书写习惯。
5.根据权利要求3所述的空间手势输入方法，其特征在于：所述的参照手势标准特征模式库执行分类识别方法可采用BP神经网络，支持向量机、最小二乘支持向量机回归模糊识别技术实现，并采用以手势标准特征模式库为学习样本，训练得到分类器，以待检测笔迹的特征码为依据得到分类结果，所述的分类器的学习样本并非直接来自标准特征模式库，而是标准特征模式库中不同样本特征码与所有模式间的差异化度量值；所述分类器的测试样本并非直接来自待识别手势的特征码，而是待识别手势特征码与标准特征模式库中所有模式间的差异化度量值，所述的待识别手势特征码与标准特征模式库中所有模式间的差异化度量值，通过如下方法得到：依次取前者与后者对应集合中每个特征码间的差异化度量值，然后取均值；所述的特征码间差异化度量值包括所述的相邻笔画的走向变化编码间的Levenshtein距离和总笔画的归一化长度间的差值。
6.根据权利要求1所述的空间手势输入方法，其特征在于：所述的无线射频传输采用2.4G射频将识别出的字符USBHID编码经主机端USB射频接收器件送主机USB总线。
7.根据权利要求1所述的空间手势输入方法，其特征在于：所述的手持装置质心相对当地地理坐标系的加速度矢量通过如下方法得到，包括：
在手持装置偏离质心的两侧对称位置安排2个三轴加速度传感器，通过解算传感器共6个敏感轴输出所建立的方程组，获取手持装置相对质心的旋转速度；
由所述的旋转速度序列、手持装置初始姿态角和初始方向余弦矩阵，可计算手持装置在任意时刻的姿态和方向余弦矩阵；
由手持装置的姿态和方向余弦矩阵、2个三轴加速度传感器的比力输出，可解算出手持装置质心对地加速度；
所述的手持装置偏离质心的两侧对称位置，指以装置质心为原点建立三维笛卡尔坐标系，X、Y和Z轴与手持装置固连，将2个三轴加速度传感器分别安排在X、Y或Z任一轴相对于原点的对称位置，2个三轴加速度传感器的6个敏感轴方向两两相同，2个三轴加速度传感器的1轴与三维笛卡尔坐标系的某一轴重合。
8.根据权利要求3所述的空间手势输入方法，其特征在于：所述的相邻笔画的走向变化编码为12种笔画变化趋势的形式化描述，12种笔画变化趋势包括：下-左、下-右、上-左、上-右、左-上、左-下、右-上、右-下、下-上、上-下、左-右、右-左，编码形式为十六进制整数。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310198253.XA CN103257711B (zh) | 2013-05-24 | 2013-05-24 | 空间手势输入方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201310198253.XA CN103257711B (zh) | 2013-05-24 | 2013-05-24 | 空间手势输入方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN103257711A CN103257711A (zh) | 2013-08-21 |
| CN103257711B true CN103257711B (zh) | 2016-01-20 |
Family
ID=48961667
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201310198253.XA Expired - Fee Related CN103257711B (zh) | 2013-05-24 | 2013-05-24 | 空间手势输入方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN103257711B (zh) |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103744359A (zh) * | 2013-10-30 | 2014-04-23 | 杭州古北电子科技有限公司 | 通过运动传感器实现对电器控制的方法和装置 |
| CN103679213B (zh) * | 2013-12-13 | 2017-02-08 | 电子科技大学 | 一种3d手势识别方法 |
| CN103839047B (zh) * | 2013-12-30 | 2017-12-29 | 华为技术有限公司 | 一种人体运动轨迹的识别方法及装置 |
| CN103941885B (zh) * | 2014-03-21 | 2018-05-11 | 洛阳师范学院 | 一种基于惯性测量的操纵杆 |
| CN103885597B (zh) * | 2014-03-27 | 2017-06-13 | 广东威创视讯科技股份有限公司 | 空间输入识别方法和系统 |
| CN103927016B (zh) * | 2014-04-24 | 2017-01-11 | 西北工业大学 | 一种基于双目视觉的实时三维双手手势识别方法及其系统 |
| CN103927056B (zh) * | 2014-04-28 | 2016-08-17 | 西北工业大学 | 用于智能手绘输入的基于混合特征的笔划分割方法 |
| CN104156491A (zh) * | 2014-09-01 | 2014-11-19 | 携程计算机技术（上海）有限公司 | 移动终端及其列表信息检索方法 |
| CN104731328B (zh) * | 2015-03-24 | 2017-12-26 | 联想(北京)有限公司 | 信息处理方法及电子设备 |
| CN104765476B (zh) * | 2015-04-13 | 2017-11-10 | 深圳市飞马与星月科技研究有限公司 | 手写轨迹生成方法和装置 |
| CN107479686A (zh) * | 2016-06-08 | 2017-12-15 | 北京数码视讯科技股份有限公司 | 一种手势识别的系统、方法和设备 |
| CN106599842B (zh) * | 2016-12-14 | 2019-01-11 | 首都师范大学 | 空中手写识别方法及装置 |
| CN108536314A (zh) * | 2017-03-06 | 2018-09-14 | 华为技术有限公司 | 用户身份识别方法及装置 |
| CN107316067B (zh) * | 2017-05-27 | 2019-11-15 | 华南理工大学 | 一种基于惯性传感器的空中手写字符识别方法 |
| CN108983980A (zh) * | 2018-07-27 | 2018-12-11 | 河南科技大学 | 一种移动机器人基本运动手势控制方法 |
| CN112889017A (zh) * | 2018-11-21 | 2021-06-01 | 深圳市柔宇科技股份有限公司 | 手写笔迹处理方法、手写输入设备及计算机可读存储介质 |
| CN109656375A (zh) * | 2019-02-28 | 2019-04-19 | 哈尔滨拓博科技有限公司 | 一种多模式动态手势识别系统、装置及方法 |
| CN110110674B (zh) * | 2019-05-13 | 2022-12-13 | 湘潭大学 | 一种基于加速度微机电系统和基础笔画的手势识别方法 |
| CN112762895B (zh) * | 2020-10-30 | 2022-07-15 | 四川写正智能科技有限公司 | 一种基于传感器判定读写姿态的方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009218759A (ja) * | 2008-03-10 | 2009-09-24 | Panasonic Corp | 操作信号送信装置、リモコンシステムおよび、使用者操作部位判定方法 |
| CN101882015A (zh) * | 2010-06-17 | 2010-11-10 | 金领导科技（深圳）有限公司 | 基于复合mems传感器的控制器及其手势控制按键方法 |
| CN101882000A (zh) * | 2010-06-18 | 2010-11-10 | 华南理工大学 | 一种基于加速度传感器的手势识别方法 |
-
2013
- 2013-05-24 CN CN201310198253.XA patent/CN103257711B/zh not_active Expired - Fee Related
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009218759A (ja) * | 2008-03-10 | 2009-09-24 | Panasonic Corp | 操作信号送信装置、リモコンシステムおよび、使用者操作部位判定方法 |
| CN101882015A (zh) * | 2010-06-17 | 2010-11-10 | 金领导科技（深圳）有限公司 | 基于复合mems传感器的控制器及其手势控制按键方法 |
| CN101882000A (zh) * | 2010-06-18 | 2010-11-10 | 华南理工大学 | 一种基于加速度传感器的手势识别方法 |
Non-Patent Citations (1)
| Title |
|---|
| 一种基于加速度特征提取的手势识别方法;陈意 等;《传感技术学报》;20120830;第25卷(第8期);第1073-1078页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN103257711A (zh) | 2013-08-21 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN103257711B (zh) | 空间手势输入方法 | |
| KR100630806B1 (ko) | 동작 인식 장치를 이용한 명령 입력 방법 | |
| CN102810008B (zh) | 一种空中输入系统、方法及空中输入采集设备 | |
| Hsu et al. | An inertial pen with dynamic time warping recognizer for handwriting and gesture recognition | |
| CN106104434B (zh) | 使用触摸屏设备确定用户利手和定向 | |
| CN100377043C (zh) | 三维手写识别的方法及其系统 | |
| KR100465241B1 (ko) | 가상 필기 평면을 이용한 모션 인식 시스템 및 그 인식방법 | |
| TWI569176B (zh) | 手寫軌跡識別方法與系統 | |
| Moazen et al. | AirDraw: Leveraging smart watch motion sensors for mobile human computer interactions | |
| KR100777107B1 (ko) | 가속도 센서를 이용한 문자인식 장치 및 방법 | |
| CN105159463B (zh) | 一种非接触式可穿戴智能戒指系统及其手势识别方法 | |
| CN103109462A (zh) | 可佩戴式动作感测计算接口 | |
| CN108196668B (zh) | 一种便携式手势识别系统及方法 | |
| Zhao et al. | Wireless IoT motion-recognition rings and a paper keyboard | |
| CN106681575A (zh) | 使用电容感测的滑块和手势识别 | |
| CN103294226B (zh) | 一种虚拟输入装置及方法 | |
| CN111552383A (zh) | 虚拟增强现实交互设备的手指识别方法、系统及交互设备 | |
| Keir et al. | Gesture-recognition with non-referenced tracking | |
| Renuka et al. | Online hand written character recognition using digital pen for static authentication | |
| Sidek et al. | Wireless gesture recognition system using MEMS accelerometer | |
| Chen et al. | A fusion recognition method based on multifeature hidden markov model for dynamic hand gesture | |
| KR101211808B1 (ko) | 동작인식장치 및 동작인식방법 | |
| Sung et al. | Motion quaternion-based motion estimation method of MYO using K-means algorithm and Bayesian probability | |
| Agarwal et al. | Gestglove: A wearable device with gesture based touchless interaction | |
| KR101406855B1 (ko) | 다차원 입력장치를 이용한 컴퓨터 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| TR01 | Transfer of patent right | ||
| TR01 | Transfer of patent right |
Effective date of registration: 20191106 Address after: Room E601, innovation building, No. 68, Wenhua Road, Jinshui District, Zhengzhou City, Henan Province Patentee after: Zhengzhou Xinma Technology Co., Ltd Address before: 471000 Xiyuan Road, Jianxi District, Henan, No. 48, No. Patentee before: Henan University of Science and Technology |
|
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20160120 Termination date: 20200524 |