CN109814707A - 一种基于智能指环的虚拟输入方法及系统 - Google Patents

一种基于智能指环的虚拟输入方法及系统 Download PDF

Info

Publication number
CN109814707A
CN109814707A CN201811560037.4A CN201811560037A CN109814707A CN 109814707 A CN109814707 A CN 109814707A CN 201811560037 A CN201811560037 A CN 201811560037A CN 109814707 A CN109814707 A CN 109814707A
Authority
CN
China
Prior art keywords
data
identification terminal
finger ring
input identification
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201811560037.4A
Other languages
English (en)
Inventor
赵玉良
廉超
沙晓鹏
詹志坤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Northeastern University Qinhuangdao Branch
Original Assignee
Northeastern University Qinhuangdao Branch
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Northeastern University Qinhuangdao Branch filed Critical Northeastern University Qinhuangdao Branch
Priority to CN201811560037.4A priority Critical patent/CN109814707A/zh
Publication of CN109814707A publication Critical patent/CN109814707A/zh
Pending legal-status Critical Current

Links

Landscapes

  • User Interface Of Digital Computer (AREA)
  • Input From Keyboards Or The Like (AREA)
  • Position Input By Displaying (AREA)

Abstract

本发明公开了一种基于智能指环的虚拟输入方法及系统,其中,所述方法包括:智能指环采集击键发生时刻的运动数据,其中,运动数据包括加速度数据、角速度数据和磁场数据;智能指环将运动数据通过无线传输方式发送到输入识别终端;输入识别终端采用角度互补滤波算法对运动数据进行姿态解算,得到姿态角数据,并通过角速度数据提取运动波形中的活动段;在活动段的中间时刻对姿态角数据进行特征提取,得到姿态角特征值;输入识别终端对加速度数据进行特征提取,得到加速度特征值;输入识别终端采用支持向量机对姿态角特征值和加速度特征值进行按键识别。与现有技术相比,本发明的操作灵活、便携性好、识别快速准确,且易于手指穿戴,智能指环线路简单、成本较低,应用场景广泛。

Description

一种基于智能指环的虚拟输入方法及系统
技术领域
本发明涉及一种基于智能指环的虚拟输入方法及系统,属于人机交互虚拟输入技术领域。
背景技术
随着科学技术的快速发展和人们生活方式的转变,电子设备逐渐趋于小型化、便携化。然而作为常规的文本输入设备,实体物理键盘在使用上存在着一定的局限性,比如便携性差、打字噪音大、保密性差等。为了较好解决此类问题,市场上出现了多种改进技术方案,比如折叠键盘、触摸屏式软键盘、语音输入和虚拟键盘等。
折叠键盘是一种较为直接的改进方案,展开后的折叠键盘尺寸与普通桌面式键盘大小近似,其优势主要体现在便携性上,但并未完全解决上述所有问题。触摸屏式软键盘主要用在智能手机、平板电脑上,它通过在屏幕上虚化一个键盘布局,来模拟实体键盘的打字方式。此类键盘依赖纯软件实现,受屏幕尺寸影响较大,因此其输入的正确率和速度都受到限制。语音输入简单、方便,但容易受到主体方言、口音和环境噪声等因素的影响,准确率也不高,且只能用于特定场合。
虚拟键盘技术,尤其是可穿戴式虚拟键盘,则有望更好地解决上述问题,目前正处于研究测试阶段。常见的可穿戴式虚拟键盘,大多采用数据手套方式。用户往往需要穿戴一种类似手套的设备,当进行敲击动作时,手套内嵌的柔性传感器就会感测到手指的姿势,即弯曲程度的变化。由于按键位置不同,导致敲击每个按键而产生的手指手势是不同的,且具有特异性,因此可以通过识别不同手势而达到识别按键的目的。然而,这种数据手套往往线路复杂、成本较高,且不易穿戴,因而存在较大局限性。因此,亟待提出一种新的更灵活可靠的可穿戴传感解决方案。
发明内容
本发明的目的在于,提供一种基于智能指环的虚拟输入方法及系统,可以至少解决上述技术问题之一。
为解决上述技术问题,本发明采用如下的技术方案:
一种基于智能指环的虚拟输入方法,包括:智能指环采集击键发生时刻的运动数据,其中,所述运动数据包括加速度数据、角速度数据和磁场数据;所述智能指环将所述运动数据通过无线传输方式发送到输入识别终端;所述输入识别终端接收所述运动数据;所述输入识别终端采用角度互补滤波算法对所述运动数据进行姿态解算,得到姿态角数据;所述输入识别终端提取所述角速度数据的波形中的活动段,其中,所述活动段为表示击键动作的波段;所述输入识别终端在所述活动段的中间时刻对所述姿态角数据进行特征提取,得到姿态角特征值;所述输入识别终端对所述加速度数据进行特征提取,得到加速度特征值;所述输入识别终端采用支持向量机对所述姿态角特征值和所述加速度特征值进行按键识别。
前述的基于智能指环的虚拟输入方法中,姿态角包括俯仰角、滚转角和偏航角;所述输入识别终端采用所述加速度数据对所述俯仰角和所述滚转角进行修正,并采用所述磁场数据对所述偏航角进行补偿矫正。
前述的基于智能指环的虚拟输入方法中,所述输入识别终端提取所述角速度数据的波形中的活动段,具体包括:所述输入识别终端对x、y、z三轴的角速度数据分别进行前向差分;所述输入识别终端取差分后的x、y、z三轴的角速度数据的绝对值之和作为数据处理对象;所述输入识别终端根据设置的活动阈值来对表示击键动作的波段进行提取。
前述的基于智能指环的虚拟输入方法中,在所述输入识别终端在所述活动段的中间时刻对所述姿态角数据进行特征提取之前,还包括:所述输入识别终端根据按键监听程序和对应击键过程的分析,确定击键动作发生在所述活动段的极值处,该极值处的时间点对应所述活动段的中间时刻。
前述的基于智能指环的虚拟输入方法中,所述输入识别终端对所述加速度数据进行特征提取,具体包括:所述输入识别终端将所述加速度数据的测量值与初始值作差,再作模值运算,并将击键过程内的最大值作为所述加速度特征值。
一种基于智能指环的虚拟输入系统,包括智能指环和输入识别终端;所述智能指环包括:传感器模块,用于智能指环采集击键发生时刻的运动数据,其中,所述运动数据包括加速度数据、角速度数据和磁场数据;无线发送模块,与所述传感器模块连接,用于所述智能指环将所述运动数据通过无线传输方式发送到输入识别终端;所述输入识别终端包括:无线接收模块,与所述无线发送模块连接,用于所述输入识别终端接收所述运动数据;姿态解算模块,与所述无线接收模块连接,用于所述输入识别终端采用角度互补滤波算法对所述运动数据进行姿态解算,得到姿态角数据;活动段提取模块,与所述无线接收模块连接,用于所述输入识别终端提取所述角速度数据的波形中的活动段,其中,所述活动段为表示击键动作的波段;姿态角特征提取模块,分别与所述活动段提取模块和所述姿态解算模块连接,用于所述输入识别终端在所述活动段的中间时刻对所述姿态角数据进行特征提取,得到姿态角特征值;加速度特征提取模块,与所述活动段提取模块连接,用于所述输入识别终端对所述加速度数据进行特征提取,得到加速度特征值;识别模块,分别与所述姿态角特征提取模块和所述加速度特征提取模块连接,用于所述输入识别终端采用支持向量机对所述姿态角特征值和所述加速度特征值进行按键识别。
前述的基于智能指环的虚拟输入系统中,姿态角包括俯仰角、滚转角和偏航角;所述姿态解算模块,具体用于采用所述加速度数据对所述俯仰角和所述滚转角进行修正,并采用所述磁场数据对所述偏航角进行补偿矫正。
前述的基于智能指环的虚拟输入系统中,所述活动段提取模块,具体用于所述输入识别终端对x、y、z三轴的角速度数据分别进行前向差分,取差分后的x、y、z三轴的角速度数据的绝对值之和作为数据处理对象,根据设置的活动阈值来对表示击键动作的波段进行提取。
前述的基于智能指环的虚拟输入系统中,所述输入识别终端还包括:特征选择模块,用于在所述输入识别终端在所述活动段的中间时刻对所述姿态角数据进行特征提取之前,所述输入识别终端根据按键监听程序和对应击键过程的分析,确定击键动作发生在所述活动段的极值处,该极值处的时间点对应所述活动段的中间时刻;所述活动段提取模块通过所述特征选择模块与所述姿态角特征提取模块连接。
前述的基于智能指环的虚拟输入系统中,所述加速度特征提取模块,具体用于所述输入识别终端将所述加速度数据的测量值与初始值作差,再作模值运算,并将击键过程内的最大值作为所述加速度特征值。
与现有技术相比,本发明通过内置在智能指环的传感器采集用户完成击键动作所产生的运动数据,通过提取加速度数据特征和姿态角数据特征,构成特定按键的特征向量,基于姿态角差异识别出不同类别的按键,同时采用加速度数据进行辅助识别,利用支持向量机识别出按键,提高按键识别的正确率,该方法操作灵活、便携性好、识别快速准确,且易于手指穿戴,智能指环线路简单、体积小、成本较低,应用场景广泛,具有良好的应用前景和市场前景。
附图说明
图1和图4为本发明实施例一提供的方法流程图;
图2为本发明实施例中智能指环的尺寸和三视图;
图3为本发明实施例中虚拟键盘的按键分配和智能指环佩戴方式示意图;
图5为本发明实施例的工作原理的流程框图;
图6和图7为本发明实施例二提供的系统的结构示意图。
下面结合附图和具体实施方式对本发明作进一步的说明。
具体实施方式
本发明实施例一:
本实施例提供一种基于智能指环的虚拟输入方法,如图1所示,主要包括:
步骤S101,智能指环采集击键发生时刻的运动数据,其中,运动数据包括加速度数据、角速度数据和磁场数据;
本实施例对用户的输入规范不做具体限定,仅考虑到日常打字习惯和识别策略,更好的实现虚拟输入识别,可以对用户的虚拟输入做以下要求:
1.用户在进行无键盘输入时,除了手上佩戴智能指环,还可以准备一张与实际键盘的尺寸和布局均相同的纸质键盘,纸质键盘的按键位置按照QWERTY键盘布局排列;当然,对于熟悉键盘布局的盲打用户,可以完全摆脱纸质键盘的限制,实现真正的虚拟输入;
2.根据打字习惯,以标准打字方式为标准,对各按键的位置进行预分配,即相应的手指负责对应的按键,避免出现打字混乱的情况;此外,打字之前对应的手指应放置在基准键A、S、D、F、J、K、L和;上;
3.考虑到实现策略,由于打字时不同按键对应的击键姿势不同,具体表现为姿态角的差异,因此用户打字时尽量不要移动手腕,通过手指的弯曲或者移动来完成击键动作。
本实施例对智能指环的佩戴方式及数量不做具体限定,仅给出以下佩戴参考:如图2所示,智能指环的佩戴位置可以为每个手指的中间骨节,这样可以有效避免打字时不同手指之间的互相干扰,同时将假性动作的干扰降到最小,可以实现较好的识别效果。用户每只手佩戴2~4个智能指环,优选的,智能指环的佩戴手指数量可降至每只手两个。智能指环的佩戴手指除大拇指外,其他手指均可佩戴;智能指环的佩戴手指最佳组合为左手的小指和中指,右手的中指和无名指。
用户进行击键动作时,手指的原始运动数据(包括加速度、角速度和磁场数据)由智能指环内嵌的MEMS九轴运动传感器采集。由于MEMS传感器为小体积、低功耗、便于操作的运动传感器,因此智能指环可以满足便携性以及持久使用的要求。如图3所示,将MEMS传感器内嵌在普通戒指外侧,构建了较小体积的智能指环硬件系统,确保了打字时的舒适性。
步骤S102,智能指环将运动数据通过无线传输方式发送到输入识别终端;
步骤S103,输入识别终端接收运动数据;
本实施例中,输入识别终端是用来接收并显示用户虚拟输入的按键信息的设备,可以是手机、平板电脑等移动终端,也可以是PC机、笔记本电脑、电视机等设备,对此本实施例不做具体限定。
步骤S102、S103中,为了操作简易、打字舒适和携带方便,本实施例摒弃串口等有线传输方式,采用无线传输方式来进行智能指环与输入识别终端之间的数据传输,其中,无线传输方式可以采用蓝牙、WIFI等方式,本实施例不做具体限定。
步骤S104,输入识别终端采用角度互补滤波算法对运动数据进行姿态解算,得到姿态角数据;
步骤S104中,通过加速度、角速度以及磁场数据的互补融合,可以得到较为准确的姿态解算结果,姿态角包括俯仰角、滚转角和偏航角;在这一过程中,输入识别终端主要采用加速度数据进行俯仰角和滚转角的修正,磁场数据用于对偏航角的补偿矫正。加速度可以对俯仰角和滚转角起到修正作用,但是对于偏航角,加速度无法感知z轴上的旋转运动,因此没有办法修正偏差;而引入磁场,可以进行z轴上的旋转修正,进而对偏航角进行补偿矫正,因此,这种方式可以进行更精确的姿态解算。
作为本实施例的一种可选实施方式,如图4所示,在步骤S103之后、步骤S105之前,还可以包括:
步骤S109,输入识别终端对运动数据进行数据预处理;
在步骤S109中,为了使获取的数据更为可靠,减少数据异常造成的识别误差,满足速度和精度上的要求,有利于后续识别操作,在输入识别终端接收到运动数据后,应对采集到的运动数据进行数据预处理。数据预处理可以包括漂移补偿、数据滤波等,其中,漂移补偿用于原始数据校正,以减弱或消除温度等因素带来的数据漂移;数据滤波,用于消除原始数据中的噪声干扰,以实现更准确的数据特征提取。
步骤S105,输入识别终端提取角速度数据的波形中的活动段,其中,活动段为表示击键动作的波段;
对于姿态角数据,当用户敲击基准键时手指动作的角度变化较小,难以直接进行波形分割,而角速度数据相对来说变化较为明显,而且数据相对平滑。因此,在对姿态角特征提取之前,采用角速度数据进行击键活动段波形的提取,实现击键活动对应波段的分割。具体的,可以采用下述方法提取角速度数据的波形中的活动段:输入识别终端对x、y、z三轴的角速度数据分别进行前向差分;输入识别终端取差分后的x、y、z三轴的角速度数据的绝对值之和作为数据处理对象;输入识别终端根据设置的活动阈值来对表示击键动作的波段进行提取,其中,该活动阈值针对不同个体会有些许差异,大致范围保持在4~8(单位:°/s)范围内,优选值为5。
步骤S106,输入识别终端在活动段的中间时刻对姿态角数据进行特征提取,得到姿态角特征值;
以输入字母为例,由于不同字母对应按键位置的不同,用户在完成任一字母击键动作时,会产生相应的特定手势,因此采用姿态角对其进行表征。姿态角特征为按键事件发生时姿态角的相对变化量。对于解算出来的俯仰角(pitch)、偏航角(yaw)、滚转角(roll)这三个角度分别进行特征的提取,作为特征向量。
在对姿态角特征提取之前,还需要进行特征点的选择,本实施例将用于识别按键的特征选择为击键姿态角波形数据的极值。由于数据波形中的噪声干扰问题,利用简单的波峰波谷检测该极值会产生较大误差,容易陷入局部最优而非全局最优。因此,采用过程分析和按键监听程序,确定击键动作发生在活动段的极值(包括最大值和最小值)处,而该时间点正好对应按键活动段的中间时刻,以该点幅值相对于静止时刻的变化量为每个击键动作的特征。如图4所示,在步骤S105与步骤S106之间,还包括:步骤S110,输入识别终端根据按键监听程序和对应击键过程的分析,确定击键动作发生在活动段的极值处,该极值处的时间点对应活动段的中间时刻。
步骤S107,输入识别终端对加速度数据进行特征提取,得到加速度特征值;
步骤S107中,输入识别终端将加速度数据的测量值与初始值作差,再作模值运算,并将击键过程内的最大值作为加速度特征值。其中,初始值为打字之前手指放置姿势时的加速度值;加速度特征为击键时刻的幅值变化量,将加速度的z轴特征作为特征向量。对于基准键(A、S、D、F、J、K、L和;)的识别,由于击键动作幅度小,产生的姿态角变化也小,难以通过姿态角单一特征实现有效识别。而当按键动作发生时,相对于其他手指上的传感器而言,只有击键动作所用手指对应的加速度传感器数据会产生剧烈的变化,因此在特征向量中引入击键发生时刻的加速度数值作为另一特征值,加速度数值可用于进一步的辅助性识别。
步骤S108,输入识别终端采用支持向量机对姿态角特征值和加速度特征值进行按键识别。
步骤S108中,通过对最近邻、支持向量机、随机森林和朴素贝叶斯这四种典型的机器学习算法的设计和效果反复对比,最终采用支持向量机作为识别算法,其中的核函数采用线性核。特征提取后,需要建立相应的训练集和测试集,并进行最终的识别操作。训练集由敲击26个英文字母按键以及数字按键、符号按键、功能按键等的特征模板组成,模板选择要充分考虑用户的各种击键特征,要求具有强代表性,这直接决定按键识别的准确率;而测试集则用于验证本方法的可靠性和实用性,由随机击键动作产生的特征向量组成。
本实施例中,步骤S104与S105之间没有特定的执行先后顺序,可以同时执行,也可以设置它们之间的先后顺序,步骤S104、S105只要在步骤S103之后执行(如图1所示),或者在步骤S109之后执行(如图4所示)即可。步骤S106、S107之间也没有特定的执行先后顺序,可以同时执行,也可以设置它们之间的先后顺序,步骤S106、S107只要在步骤S105之后执行(如图1所示),或者步骤S106在步骤S110之后执行、步骤S107在步骤S105之后执行(如图4所示)即可。
本实施例所述方法的工作原理如图5所示,包括数据采集、数据处理、按键识别三大部分,用户完成击键动作,通过内置在智能指环(智能戒指)的传感器采集用户完成击键动作所产生的原始运动数据,并通过无线通讯方式传输给输入识别终端;输入识别终端对原始数据进行数据预处理,利用加速度、角速度和磁场数据进行姿态解算得到姿态角数据,通过提取加速度数据特征和姿态角数据特征,构成特定按键的特征向量,基于姿态角差异识别出不同类别的按键,同时采用加速度数据进行辅助识别,利用支持向量机识别出按键,提高按键识别的正确率,该方法操作灵活、便携性好、识别快速准确,且易于手指穿戴,智能指环线路简单、成本较低,应用场景广泛,具有良好的应用前景和市场前景。
本发明实施例二:
一种基于智能指环的虚拟输入系统,如图6所示,主要包括智能指环2和输入识别终端3;智能指环2包括:传感器模块201,用于智能指环2采集击键发生时刻的运动数据,其中,运动数据包括加速度数据、角速度数据和磁场数据;无线发送模块202,与传感器模块201连接,用于智能指环2将运动数据通过无线传输方式发送到输入识别终端3;输入识别终端3包括:无线接收模块301,与无线发送模块202连接,用于输入识别终端3接收运动数据;姿态解算模块302,与无线接收模块301连接,用于输入识别终端3采用角度互补滤波算法对运动数据进行姿态解算,得到姿态角数据;活动段提取模块303,与无线接收模块301连接,用于输入识别终端3提取角速度数据的波形中的活动段,其中,活动段为表示击键动作的波段;姿态角特征提取模块304,分别与活动段提取模块303和姿态解算模块302连接,用于输入识别终端3在活动段的中间时刻对姿态角数据进行特征提取,得到姿态角特征值;加速度特征提取模块305,与活动段提取模块303连接,用于输入识别终端3对加速度数据进行特征提取,得到加速度特征值;识别模块306,分别与姿态角特征提取模块304和加速度特征提取模块305连接,用于输入识别终端3采用支持向量机对姿态角特征值和加速度特征值进行按键识别。
本实施例对用户的输入规范不做具体限定,仅考虑到日常打字习惯和识别策略,更好的实现虚拟输入识别,可以对用户的虚拟输入做以下要求:
1.用户在进行无键盘输入时,除了手上佩戴智能指环2,还可以准备一张与实际键盘的尺寸和布局均相同的纸质键盘,纸质键盘的按键位置按照QWERTY键盘布局排列;当然,对于熟悉键盘布局的盲打用户,可以完全摆脱纸质键盘的限制,实现真正的虚拟输入;
2.根据打字习惯,以标准打字方式为标准,对各按键的位置进行预分配,即相应的手指负责对应的按键,避免出现打字混乱的情况;此外,打字之前对应的手指应放置在基准键A、S、D、F、J、K、L和;上;
3.考虑到实现策略,由于打字时不同按键对应的击键姿势不同,具体表现为姿态角的差异,因此用户打字时尽量不要移动手腕,通过手指的弯曲或者移动来完成击键动作。
本实施例对智能指环2的佩戴方式及数量不做具体限定,仅给出以下佩戴参考:如图2所示,智能指环2的佩戴位置可以为每个手指的中间骨节,这样可以有效避免打字时不同手指之间的互相干扰,同时将假性动作的干扰降到最小,可以实现较好的识别效果。用户每只手佩戴2~4个智能指环2,优选的,智能指环2的佩戴手指数量可降至每只手两个。智能指环2的佩戴手指除大拇指外,其他手指均可佩戴;智能指环2的佩戴手指最佳组合为左手的小指和中指,右手的中指和无名指。
用户进行击键动作时,手指的原始运动数据(包括加速度、角速度和磁场数据)由智能指环2内嵌的MEMS九轴运动传感器采集。由于MEMS传感器为小体积、低功耗、便于操作的运动传感器,因此智能指环2可以满足便携性以及持久使用的要求。如图3所示,将MEMS传感器内嵌在普通戒指外侧,构建了较小体积的智能指环2硬件系统,确保了打字时的舒适性。
本实施例中,输入识别终端3是用来接收并显示用户虚拟输入的按键信息的设备,可以是手机、平板电脑等移动终端,也可以是PC机、笔记本电脑、电视机等设备,对此本实施例不做具体限定。
在本实施例中,为了操作简易、打字舒适和携带方便,摒弃串口等有线传输方式,采用无线传输方式来进行智能指环2与输入识别终端3之间的数据传输,无线发送模块202、无线接收模块301可以采用蓝牙、WIFI等方式,本实施例不做具体限定。
姿态解算模块302通过加速度、角速度以及磁场数据的互补融合,可以得到较为准确的姿态解算结果,姿态角包括俯仰角、滚转角和偏航角;在这一过程中,姿态解算模块302主要采用加速度数据进行俯仰角和滚转角的修正,磁场数据用于对偏航角的补偿矫正。加速度可以对俯仰角和滚转角起到修正作用,但是对于偏航角,加速度无法感知z轴上的旋转运动,因此没有办法修正偏差;而引入磁场,可以进行z轴上的旋转修正,进而对偏航角进行补偿矫正,因此,可以进行更精确的姿态解算。
作为本实施例的一种可选实施方式,如图7所示,该系统还可以包括:数据预处理模块307,用于输入识别终端3对运动数据进行数据预处理;数据预处理模块307分别与无线接收模块301、姿态解算模块302和活动段提取模块303连接。为了使获取的数据更为可靠,减少数据异常造成的识别误差,满足速度和精度上的要求,有利于后续识别操作,在输入识别终端3接收到运动数据后,应对采集到的运动数据进行数据预处理。数据预处理可以包括漂移补偿、数据滤波等,其中,漂移补偿用于原始数据校正,以减弱或消除温度等因素带来的数据漂移;数据滤波,用于消除原始数据中的噪声干扰,以实现更准确的数据特征提取。
本实施例中,对于姿态角数据,当用户敲击基准键时手指动作的角度变化较小,难以直接进行波形分割,而角速度数据相对来说变化较为明显,而且数据相对平滑。因此,在对姿态角特征提取之前,采用角速度数据进行击键活动段波形的提取,实现击键活动对应波段的分割。活动段提取模块303,具体用于输入识别终端3对x、y、z三轴的角速度数据分别进行前向差分,取差分后的x、y、z三轴的角速度数据的绝对值之和作为数据处理对象,根据设置的活动阈值来对表示击键动作的波段进行提取,其中,该活动阈值针对不同个体会有些许差异,大致范围保持在4~8(单位:°/s)范围内,优选值为5。
本实施例中,以输入字母为例,由于不同字母对应按键位置的不同,用户在完成任一字母击键动作时,会产生相应的特定手势,因此采用姿态角对其进行表征。姿态角特征为按键事件发生时姿态角的相对变化量。对于解算出来的俯仰角(pitch)、偏航角(yaw)、滚转角(roll)这三个角度分别进行特征的提取,作为特征向量。
在对姿态角特征提取之前,还需要进行特征点的选择,本实施例将用于识别按键的特征选择为击键姿态角波形数据的极值。由于数据波形中的噪声干扰问题,利用简单的波峰波谷检测该极值会产生较大误差,容易陷入局部最优而非全局最优。因此,采用过程分析和按键监听程序,确定击键动作发生在活动段的极值(包括最大值和最小值)处,而该时间点正好对应按键活动段的中间时刻,以该点幅值相对于静止时刻的变化量为每个击键动作的特征。如图7所示,输入识别终端3还包括:特征选择模块308,用于在输入识别终端3在活动段的中间时刻对姿态角数据进行特征提取之前,输入识别终端3根据按键监听程序和对应击键过程的分析,确定击键动作发生在活动段的极值处,该极值处的时间点对应活动段的中间时刻;活动段提取模块303通过特征选择模块308与姿态角特征提取模块304连接。
作为本实施例的一种可选实施方式,加速度特征提取模块305将加速度数据的测量值与初始值作差,再作模值运算,并将击键过程内的最大值作为加速度特征值。其中,初始值为打字之前手指放置姿势时的加速度值;加速度特征为击键时刻的幅值变化量,将加速度的z轴特征作为特征向量。对于基准键(A、S、D、F、J、K、L和;)的识别,由于击键动作幅度小,产生的姿态角变化也小,难以通过姿态角单一特征实现有效识别。而当按键动作发生时,相对于其他手指上的传感器而言,只有击键动作所用手指对应的加速度传感器数据会产生剧烈的变化,因此在特征向量中引入击键发生时刻的加速度数值作为另一特征值该,加速度数值可用于进一步的辅助性识别。
本实施例中,通过对最近邻、支持向量机、随机森林和朴素贝叶斯这四种典型的机器学习算法的设计和效果反复对比,最终采用支持向量机作为识别模块306的识别算法,其中的核函数采用线性核。特征提取后,需要建立相应的训练集和测试集,并进行最终的识别操作。训练集由敲击26个英文字母按键以及数字按键、符号按键、功能按键等的特征模板组成,模板选择要充分考虑用户的各种击键特征,要求具有强代表性,这直接决定按键识别的准确率;而测试集则用于验证本方法的可靠性和实用性,由随机击键动作产生的特征向量组成。
本实施例所述系统的工作原理如图5所示,包括数据采集、数据处理、按键识别三大部分,用户完成击键动作,通过内置在智能指环(智能戒指)的传感器采集用户完成击键动作所产生的原始运动数据,并通过无线通讯方式传输给输入识别终端;输入识别终端对原始数据进行数据预处理,利用加速度、角速度和磁场数据进行姿态解算得到姿态角数据,通过提取加速度数据特征和姿态角数据特征,构成特定按键的特征向量,基于姿态角差异识别出不同类别的按键,同时采用加速度数据进行辅助识别,利用支持向量机识别出按键,提高按键识别的正确率,该系统操作灵活、便携性好、识别快速准确,且易于手指穿戴,智能指环线路简单、成本较低,应用场景广泛,具有良好的应用前景和市场前景。
以上所述,仅为本发明的较佳实施例而已,并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于智能指环的虚拟输入方法,其特征在于,包括:
智能指环采集击键发生时刻的运动数据,其中,所述运动数据包括加速度数据、角速度数据和磁场数据;
所述智能指环将所述运动数据通过无线传输方式发送到输入识别终端;
所述输入识别终端接收所述运动数据;
所述输入识别终端采用角度互补滤波算法对所述运动数据进行姿态解算,得到姿态角数据;
所述输入识别终端提取所述角速度数据的波形中的活动段,其中,所述活动段为表示击键动作的波段;
所述输入识别终端在所述活动段的中间时刻对所述姿态角数据进行特征提取,得到姿态角特征值;
所述输入识别终端对所述加速度数据进行特征提取,得到加速度特征值;
所述输入识别终端采用支持向量机对所述姿态角特征值和所述加速度特征值进行按键识别。
2.根据权利要求1所述的基于智能指环的虚拟输入方法,其特征在于,姿态角包括俯仰角、滚转角和偏航角;所述输入识别终端采用所述加速度数据对所述俯仰角和所述滚转角进行修正,并采用所述磁场数据对所述偏航角进行补偿矫正。
3.根据权利要求1或2所述的基于智能指环的虚拟输入方法,其特征在于,所述输入识别终端提取所述角速度数据的波形中的活动段,具体包括:
所述输入识别终端对x、y、z三轴的角速度数据分别进行前向差分;
所述输入识别终端取差分后的x、y、z三轴的角速度数据的绝对值之和作为数据处理对象;
所述输入识别终端根据设置的活动阈值来对表示击键动作的波段进行提取。
4.根据权利要求1至3任一项所述的基于智能指环的虚拟输入方法,其特征在于,在所述输入识别终端在所述活动段的中间时刻对所述姿态角数据进行特征提取之前,还包括:
所述输入识别终端根据按键监听程序和对应击键过程的分析,确定击键动作发生在所述活动段的极值处,该极值处的时间点对应所述活动段的中间时刻。
5.根据权利要求1至4任一项所述的基于智能指环的虚拟输入方法,其特征在于,所述输入识别终端对所述加速度数据进行特征提取,具体包括:
所述输入识别终端将所述加速度数据的测量值与初始值作差,再作模值运算,并将击键过程内的最大值作为所述加速度特征值。
6.一种基于智能指环的虚拟输入系统,其特征在于,包括智能指环和输入识别终端;
所述智能指环包括:
传感器模块,用于智能指环采集击键发生时刻的运动数据,其中,所述运动数据包括加速度数据、角速度数据和磁场数据;
无线发送模块,与所述传感器模块连接,用于所述智能指环将所述运动数据通过无线传输方式发送到输入识别终端;
所述输入识别终端包括:
无线接收模块,与所述无线发送模块连接,用于所述输入识别终端接收所述运动数据;
姿态解算模块,与所述无线接收模块连接,用于所述输入识别终端采用角度互补滤波算法对所述运动数据进行姿态解算,得到姿态角数据;
活动段提取模块,与所述无线接收模块连接,用于所述输入识别终端提取所述角速度数据的波形中的活动段,其中,所述活动段为表示击键动作的波段;
姿态角特征提取模块,分别与所述活动段提取模块和所述姿态解算模块连接,用于所述输入识别终端在所述活动段的中间时刻对所述姿态角数据进行特征提取,得到姿态角特征值;
加速度特征提取模块,与所述活动段提取模块连接,用于所述输入识别终端对所述加速度数据进行特征提取,得到加速度特征值;
识别模块,分别与所述姿态角特征提取模块和所述加速度特征提取模块连接,用于所述输入识别终端采用支持向量机对所述姿态角特征值和所述加速度特征值进行按键识别。
7.根据权利要求6所述的基于智能指环的虚拟输入系统,其特征在于,姿态角包括俯仰角、滚转角和偏航角;所述姿态解算模块,具体用于采用所述加速度数据对所述俯仰角和所述滚转角进行修正,并采用所述磁场数据对所述偏航角进行补偿矫正。
8.根据权利要求6或7所述的基于智能指环的虚拟输入系统,其特征在于,所述活动段提取模块,具体用于所述输入识别终端对x、y、z三轴的角速度数据分别进行前向差分,取差分后的x、y、z三轴的角速度数据的绝对值之和作为数据处理对象,根据设置的活动阈值来对表示击键动作的波段进行提取。
9.根据权利要求6至8任一项所述的基于智能指环的虚拟输入系统,其特征在于,所述输入识别终端还包括:
特征选择模块,用于在所述输入识别终端在所述活动段的中间时刻对所述姿态角数据进行特征提取之前,所述输入识别终端根据按键监听程序和对应击键过程的分析,确定击键动作发生在所述活动段的极值处,该极值处的时间点对应所述活动段的中间时刻;
所述活动段提取模块通过所述特征选择模块与所述姿态角特征提取模块连接。
10.根据权利要求6至9任一项所述的基于智能指环的虚拟输入系统,其特征在于,所述加速度特征提取模块,具体用于所述输入识别终端将所述加速度数据的测量值与初始值作差,再作模值运算,并将击键过程内的最大值作为所述加速度特征值。
CN201811560037.4A 2018-12-19 2018-12-19 一种基于智能指环的虚拟输入方法及系统 Pending CN109814707A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811560037.4A CN109814707A (zh) 2018-12-19 2018-12-19 一种基于智能指环的虚拟输入方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811560037.4A CN109814707A (zh) 2018-12-19 2018-12-19 一种基于智能指环的虚拟输入方法及系统

Publications (1)

Publication Number Publication Date
CN109814707A true CN109814707A (zh) 2019-05-28

Family

ID=66601689

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811560037.4A Pending CN109814707A (zh) 2018-12-19 2018-12-19 一种基于智能指环的虚拟输入方法及系统

Country Status (1)

Country Link
CN (1) CN109814707A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110942089A (zh) * 2019-11-08 2020-03-31 东北大学 一种基于多级决策的击键识别方法
CN111580663A (zh) * 2020-05-11 2020-08-25 清华大学 一种信息输入方法、系统、电子设备及存储介质
CN112764540A (zh) * 2021-01-15 2021-05-07 Oppo广东移动通信有限公司 设备的识别方法、装置、存储介质及电子设备
CN113425291A (zh) * 2021-06-24 2021-09-24 东北大学秦皇岛分校 一种基于mems传感器的指环式采集系统
CN113721764A (zh) * 2021-08-26 2021-11-30 东北大学秦皇岛分校 一种基于imu的人机交互系统及控制和评价方法

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201638148U (zh) * 2009-09-10 2010-11-17 深圳市亿思达显示科技有限公司 一种手套式虚拟输入装置
CN102063183A (zh) * 2011-02-12 2011-05-18 深圳市亿思达显示科技有限公司 一种手套式虚拟输入装置
CN104133593A (zh) * 2014-08-06 2014-11-05 北京行云时空科技有限公司 一种基于体感的文字输入系统及方法
US20150201867A1 (en) * 2014-01-21 2015-07-23 The Charlotte Mecklenburg Hospital Authority D/B/A Carolinas Healthcare System Electronic free-space motion monitoring and assessments
US20150370327A1 (en) * 2014-06-24 2015-12-24 Beijing TransBorder Information Technology Co., Ltd. Virtual input device and virtual input method
CN105739510A (zh) * 2016-01-13 2016-07-06 天津中科智能识别产业技术研究院有限公司 一种用于救灾无人机姿态控制的互补滤波方法
CN105975091A (zh) * 2016-07-05 2016-09-28 南京理工大学 一种基于惯性传感器的虚拟键盘人机交互技术
CN106028107A (zh) * 2016-06-20 2016-10-12 昆明理工大学 一种基于加速度计和陀螺仪传感器的无线英文文本输入系统
CN106679649A (zh) * 2016-12-12 2017-05-17 浙江大学 一种手部运动追踪系统及追踪方法
CN106774839A (zh) * 2016-11-23 2017-05-31 童迎伟 一种智能穿戴键盘装置及其输入方法
CN107036596A (zh) * 2017-04-12 2017-08-11 无锡研测技术有限公司 基于mems惯性传感器模组的工业手环
CN107783653A (zh) * 2017-11-06 2018-03-09 广州新维感信息技术有限公司 一种虚拟现实交互方法及系统
CN108703760A (zh) * 2018-06-15 2018-10-26 安徽中科智链信息科技有限公司 基于九轴传感器的人体运动姿态识别系统及方法
CN108827290A (zh) * 2018-06-15 2018-11-16 安徽中科智链信息科技有限公司 一种人体运动状态反演装置及方法

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN201638148U (zh) * 2009-09-10 2010-11-17 深圳市亿思达显示科技有限公司 一种手套式虚拟输入装置
CN102063183A (zh) * 2011-02-12 2011-05-18 深圳市亿思达显示科技有限公司 一种手套式虚拟输入装置
US20150201867A1 (en) * 2014-01-21 2015-07-23 The Charlotte Mecklenburg Hospital Authority D/B/A Carolinas Healthcare System Electronic free-space motion monitoring and assessments
US20150370327A1 (en) * 2014-06-24 2015-12-24 Beijing TransBorder Information Technology Co., Ltd. Virtual input device and virtual input method
CN104133593A (zh) * 2014-08-06 2014-11-05 北京行云时空科技有限公司 一种基于体感的文字输入系统及方法
CN105739510A (zh) * 2016-01-13 2016-07-06 天津中科智能识别产业技术研究院有限公司 一种用于救灾无人机姿态控制的互补滤波方法
CN106028107A (zh) * 2016-06-20 2016-10-12 昆明理工大学 一种基于加速度计和陀螺仪传感器的无线英文文本输入系统
CN105975091A (zh) * 2016-07-05 2016-09-28 南京理工大学 一种基于惯性传感器的虚拟键盘人机交互技术
CN106774839A (zh) * 2016-11-23 2017-05-31 童迎伟 一种智能穿戴键盘装置及其输入方法
CN106679649A (zh) * 2016-12-12 2017-05-17 浙江大学 一种手部运动追踪系统及追踪方法
CN107036596A (zh) * 2017-04-12 2017-08-11 无锡研测技术有限公司 基于mems惯性传感器模组的工业手环
CN107783653A (zh) * 2017-11-06 2018-03-09 广州新维感信息技术有限公司 一种虚拟现实交互方法及系统
CN108703760A (zh) * 2018-06-15 2018-10-26 安徽中科智链信息科技有限公司 基于九轴传感器的人体运动姿态识别系统及方法
CN108827290A (zh) * 2018-06-15 2018-11-16 安徽中科智链信息科技有限公司 一种人体运动状态反演装置及方法

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110942089A (zh) * 2019-11-08 2020-03-31 东北大学 一种基于多级决策的击键识别方法
CN110942089B (zh) * 2019-11-08 2023-10-10 东北大学 一种基于多级决策的击键识别方法
CN111580663A (zh) * 2020-05-11 2020-08-25 清华大学 一种信息输入方法、系统、电子设备及存储介质
CN112764540A (zh) * 2021-01-15 2021-05-07 Oppo广东移动通信有限公司 设备的识别方法、装置、存储介质及电子设备
CN113425291A (zh) * 2021-06-24 2021-09-24 东北大学秦皇岛分校 一种基于mems传感器的指环式采集系统
CN113721764A (zh) * 2021-08-26 2021-11-30 东北大学秦皇岛分校 一种基于imu的人机交互系统及控制和评价方法

Similar Documents

Publication Publication Date Title
CN109814707A (zh) 一种基于智能指环的虚拟输入方法及系统
Lee et al. Smart wearable hand device for sign language interpretation system with sensors fusion
KR100630806B1 (ko) 동작 인식 장치를 이용한 명령 입력 방법
WO2017215375A1 (zh) 信息输入装置与方法
CN104850773B (zh) 用于智能移动终端的用户身份认证方法
TWI569176B (zh) 手寫軌跡識別方法與系統
US9619024B2 (en) Virtual input device and virtual input method
CN104536574B (zh) 一种手套式输入设备及其输入方法
US20160085379A1 (en) Device and method for information processing using virtual keyboard
CN105446461A (zh) 手势识别方法及使用该方法的手掌虚拟键盘及其输入方法
CN102063183A (zh) 一种手套式虚拟输入装置
BR112016017206B1 (pt) método, aparelho e dispositivo de processamento de informação.
Ahmed et al. Real-time sign language framework based on wearable device: analysis of MSL, DataGlove, and gesture recognition
CN107678550A (zh) 一种基于数据手套的手语手势识别系统
US20160085296A1 (en) Wearable input device
CN109634439B (zh) 智能文本输入方法
CN111708433A (zh) 手势数据采集手套及基于手势数据采集手套的手语手势识别方法
Li et al. Hand gesture recognition and real-time game control based on a wearable band with 6-axis sensors
CN106774839A (zh) 一种智能穿戴键盘装置及其输入方法
CN105975091A (zh) 一种基于惯性传感器的虚拟键盘人机交互技术
Chen et al. ViFin: Harness passive vibration to continuous micro finger writing with a commodity smartwatch
Sha et al. An explicable keystroke recognition algorithm for customizable ring-type keyboards
CN107450672B (zh) 一种高识别率的腕式智能装置
CN108089710A (zh) 一种电子设备控制方法、装置及电子设备
Ahmad et al. A keystroke and pointer control input interface for wearable computers

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190528

RJ01 Rejection of invention patent application after publication