CN106873762A - 一种基于惯性传感器的人机交互输入技术 - Google Patents

Abstract

本发明采用的一种基于惯性传感器的人机交互输入技术，其中包括键盘输入和鼠标输入两部分。对于键盘部分，左手控制的敲击区域划分为六行三列，右手控制的敲击区域划分为六行四列。行的选择分别由左右手大拇指的内外弯曲实现，列的选择分别由左右手的手背翻转一定角度表示。上面所述的上下敲击、内外弯曲和左右翻转都是通过检测设备控制实现。对于鼠标部分，智能可穿戴设备周期性地向PC端发送设备传感器的数据。PC端接收数据，处理之后以求得运动位移及判断出鼠标的左击和右击动作。与传统键盘鼠标的人机交互方式相比，该人机交互输入技术操作简便、灵活自由，提升了用户体验。

Description

一种基于惯性传感器的人机交互输入技术

技术领域

本发明涉及惯性传感器技术领域、人机交互技术领域。

背景技术

微电子学起源于上世纪五十年代初，科学家当时发明了人类史上的第一个晶体管。集成电路(IC)技术经过半个多世纪的迅猛发展，以及硅加工技术的不断改进使电子元器件体积变得越来越小，微机电系统(MEMS)作为惯性系统一个重要的分支得到了极大发展。微传感器，即所谓的微型传感器，基本上使用的都是体微机械加工技术和表面微机械加工技术。

人们常称的惯性传感器一般包括加速度计和陀螺仪。因此，通过微机电工艺制造出的惯性传感器就是人们熟知的MEMS惯性传感器。人们之所以称加速度计和陀螺仪为惯性传感器的主要原因是它们的主要工作原理符合牛顿第二定律和动量矩理论，这就是我们常说的惯性定理。

微加速度传感器的原理基于悬臂梁理论，即末端质量块(或移动结构)在惯性力的作用下产生位移。这样，动态装置可以简单地用质量弹簧阻尼器的二阶系统来描述。在市面上常见的MEMS加速度主要包括：电容式、压阻式、隧道电流式和谐振式。电容式加速度传感器的敏感元件为固定电极和可动电极之间的电容器；压阻式加速度计的敏感器件通常采用压敏电阻；压电式加速度传感器的敏感元件是压电材料；隧道电流式的工作原理是将加速度转换为相应质量块的相对位移，再将相对位移转换为隧道电流的变化，最后将检测出的电流变化量转化为加速度值；谐振式加速度计的工作原理是利用加速度改变加速度计的谐振频率，然后通过谐振频率的变化值计算出物体的加速度值。

陀螺仪又被称为角速率计，主要用来检测旋转物体的角速度。MEMS陀螺仪采用的主要原理是科力奥利力效应，市面上主流的MEMS陀螺仪基本都采用了该原理。而传统的陀螺仪利用的是角动量守恒定理，简单而言就是一个绕着一个固定轴不停旋转的物体，它的轴心存在着稳定性。在实际的MEMS陀螺仪中，通常通过电机驱动部分使驱动电路前后震荡产生谐振，然后通过传感部分来测量电容变化量，最后得到科里奥利力在感应支点上产生的位移。通过得到的位移可以得到与角速度成正比的模拟或数字信号。

MEMS传感器具有广泛地应用领域，它的应用领域主要分为工业生产、军事方面和消费级产品当中。MEMS惯性传感器在工业方面的应用主要在于汽车、航天、煤炭、和地震预测等方向。MEMS惯性传感器在军事方面的应用主要在于巡航导弹、航天飞机、航空母舰、坦克、自行火炮等装备系统以及个人单兵作战系统。MEMS惯性传感器在消费者产品方面的应用主要包括智能手机和平板电脑等。

人机交互技术(Human-Computer Interaction Techniques)是指通过输入和输出设备，以有效的方式实现用户与系统信息交换的技术。理想状态下，人机交互将不再需要依赖机器语言，在没有键盘、鼠标以及触摸屏等中间设备的情况下，实现人机随时随地自由交流，从而实现用户的物质世界和虚拟网络的最终融合。

人机交互的模式主要经历了5个重要的发展时期，每个时期都有对应的里程碑，分别是键盘、鼠标、触控技术、多媒体技术和虚拟现实技术。1868年美国人克里斯托夫·拉森·肖尔斯获打字机模型专利并取得经营权经营，设计出沿用至今的“QWERTY”键盘。计算机键盘的出现，将计算机带入了字符用户界面的时代，可将键盘称为第一代人机交互技术的里程碑。1960年美国人道格·恩格尔巴特发明了鼠标，1984年苹果公司推出Macintosh，用户可以随意点击屏幕的任何地方，有效地提升体验感受和数据处理的效率，可将鼠标称为第二代人机交互技术的里程碑。键盘与鼠标的交互方式，从PC时代一直延续到互联网时代，直到智能手机和多点触控技术的出现，为人机交互领域带来了新一轮变革，触控技术的发展使得人能够直接操纵用户界面，高效地辅助人与机之间进行信息交流，可将触控技术称为第三代人机交互的里程碑。第四代交互技术，人机交互的工具除了键盘和鼠标外，还包括话筒、摄像机及喇叭等多媒体输入输出设备，交互的内容也变得比较丰富，用户能以声、像、图、文等多种媒体信息与计算机进行信息交流，交互过程比较灵活。第五代人机交互技术，虚拟现实技术(Virtual Reality，VR)是一种可以创建和体验虚拟世界的计算机系统，它利用计算机技术生成一个逼真的，具有视、听、触等多种感知的虚拟环境，用户通过使用各种交互设备，同虚拟环境中的实体相互作用，从而产生身临其境感觉的交互式视景仿真和信息交流，是一种先进的数字化人机接口技术。

发明内容

为了解决传统键盘鼠标体积较大不便携带、操作单一，本发明提出一种基于惯性传感器的人机交互输入技术。本发明分为键盘输入和鼠标输入两部分。

键盘部分：智能可穿戴设备周期性地向PC端发送陀螺仪数据，包括与小拇指、无名指、中指和食指对应的陀螺仪的X轴方向数据，与大拇指对应的陀螺仪的X轴和Z轴方向数据，与手背对应的陀螺仪的Y轴方向数据。左手控制的键盘区域被分为六行三列，右手控制的键盘区域被分为六行四列，默认状态是0行0列。

行的选取方式：与大拇指对应的陀螺仪的X轴方向数据出现一次较大波峰时，认为前进一行，出现一次较大波谷时，认为后退一行。当前进到最大行，如果继续出现较大波峰，则保持当前状态不再前进，直至出现后退信号。同理当后退到最小行，如果继续出现较大波谷，则保持当前状态不再后退，直至出现前进信号。

列的选取方式：与手背对应的陀螺仪的Y轴方向数据出现一次较大波峰时，认为右移一列，出现一次较大波谷时，认为左移一列。当右移到最右列，如果继续出现较大波峰，则保持当前状态不再右移，直至出现左移信号。同理当左移到最左列，如果继续出现较大波谷，则保持当前状态不再左移，直至出现右移信号。

确定了当前所处的行列位置后，对于左手，检测与小拇指、无名指、中指和食指对应的陀螺仪的X轴方向数据是否出现较大波峰，如果出现较大波峰，则相对应的按键被敲击，检测与大拇指对应的陀螺仪的Z轴方向数据是否出现较大波谷，如果出现较大波谷，则空格键被敲击。对于右手，检测与小拇指、无名指、中指和食指对应的陀螺仪的X轴方向数据是否出现较大波峰，如果出现较大波峰，则相对应的按键被敲击，检测与大拇指对应的陀螺仪的Z轴方向数据是否出现较大波峰，如果出现较大波峰，则空格键被敲击。

鼠标部分：智能可穿戴设备周期性地向PC端发送加速度传感器数据和陀螺仪数据，包括X轴方向加速度数据和Y轴方向加速度数据以及食指和中指上的X轴方向陀螺仪数据。其中加速度传感器的数据用于计算鼠标移动的距离，而陀螺仪数据用于判断是否进行鼠标的左击右击动作。

PC端接收到智能可穿戴设备发来的加速度数据后，以每15个数据为一组求出其均值,当某一组数据中的最大值与最小值的差小于阈值时，则选用上一组的均值，最初的15个均值采用最初的15个原始加速度数据。对原始加速度数据减去均值之后得到的线性加速度进行处理，将小于加速度置零阈值的数据置零，由此可消除设备静止时的鼠标漂移现象。当设备沿X轴运动时，X轴方向的加速度数据会产生较大波形。同理当设备沿Y轴运动时，Y轴方向的加速度数据会产生较大波形。对线性加速度进行一次积分得到运动速度，在速度正负翻转时将速度置零一小段时间直至出现较大加速度，此时取消置零。

PC端接收到智能可穿戴设备发来的陀螺仪数据后，分别检测与食指和中指相对应的陀螺仪数据，当与食指对应的陀螺仪数据出现较大的波峰时，则认为敲击左键，同理当与中指对应的陀螺仪数据出现较大的波峰时，则认为敲击右键。

附图说明

图1基于惯性传感器的人机交互键盘鼠标输入原理图

图2左手控制的键盘敲击区域图

图3右手控制的键盘敲击区域图

图4鼠标左右键的敲击识别模块图

图5鼠标的运动处理模块图

具体实施方式

下面结合附图对本发明的技术方案做进一步描述。如图1，对于键盘部分，智能可穿戴设备发送陀螺仪数据，检测陀螺仪数据的波峰波谷，进而判断当前的行列位置和敲击了哪些按键。对于鼠标部分，智能可穿戴设备发送陀螺仪数据和加速度数据，其中对陀螺仪数据进行实时波峰检测，从而判断是否进行左击右击动作。对加速度数据先进行滤波处理得到线性加速度，然后二次积分求出移动距离。接下来分别详细描述键盘部分和鼠标部分。

首先描述键盘部分，其中分为左手部分和右手部分，它们控制的敲击区域分别如图2和图3所示。图2和图3中的“小”代指小拇指控制区域，“无”代指无名指控制区域，“中”代指中指控制区域，“食”代指食指控制区域，“0行0列”是默认行列，“+1行”代指向上移动一行，“-1行”代指向下移动一行，同理“+3行”、“+2行”、“-2行”分别代指向上移动三行、两行和向下移动两行，“-1列”、“-2列”和“+1列”分别代指向右移动一列、两列和向左移动一列。

对于左手部分，默认状态是0行0列，即敲击小拇指时，检测到与之对应的陀螺仪的X轴方向数据的波峰大于200，对应的是敲击‘a’；敲击无名指时，检测到与之对应的陀螺仪的X轴方向数据的波峰大于170，对应的是敲击‘s’；敲击中指时，检测到与之对应的陀螺仪的X轴方向数据的波峰大于240，对应的是敲击‘d’；敲击食指时，检测到与之对应的陀螺仪的X轴方向数据的波峰大于240，对应的是敲击‘f’。当检测到与大拇指对应的陀螺仪的X轴方向数据的波峰大于240，表示前进一行；当检测到与大拇指对应的陀螺仪的X轴方向数据的波谷小于-240，表示后退一行；当检测到与手背对应的陀螺仪的Y轴方向数据的波峰大于30，表示右移一列；当检测到与手背对应的陀螺仪的Y轴方向数据的波谷小于-30，表示左移一列。无论处于何行何列，当检测到与大拇指对应的陀螺仪的Z轴方向数据的波谷小于-248，表示敲下空格键。

对于右手部分，默认状态是0行0列，即敲击食指时，检测到与之对应的陀螺仪的X轴方向数据的波峰大于240，对应的是敲击‘j’；敲击中指时，检测到与之对应的陀螺仪的X轴方向数据的波峰大于240，对应的是敲击‘k’；敲击无名指时，检测到与之对应的陀螺仪的X轴方向数据的波峰大于220，对应的是敲击‘l’；敲击小拇指时，检测到与之对应的陀螺仪的X轴方向数据的波峰大于240，对应的是敲击‘；’。当检测到与大拇指对应的陀螺仪的X轴方向数据的波峰大于240，表示前进一行；当检测到与大拇指对应的陀螺仪的X轴方向数据的波谷小于-240，表示后退一行；当检测到与手背对应的陀螺仪的Y轴方向数据的波峰大于25，表示右移一列；当检测到与手背对应的陀螺仪的Y轴方向数据的波谷小于-20，表示左移一列。无论处于何行何列，当检测到与大拇指对应的陀螺仪的Z轴方向数据的波峰大于248，表示敲下空格键。

然后描述鼠标部分，智能可穿戴设备分别发送陀螺仪数据和加速度传感器数据，其中对陀螺仪数据进行实时波峰检测，从而判断是否进行左击右击动作。如图4所示，PC端收到陀螺仪数据后，分别实时检测与食指和中指对应的陀螺仪数据的波峰，当检测到与食指对应的陀螺仪数据出现正值大于200的时刻，则认为该时刻敲下鼠标左键。当检测到与中指对应的陀螺仪数据出现正值大于150的时刻，则认为该时刻敲下鼠标右键。

对加速度数据先进行滤波处理得到线性加速度，然后二次积分求出移动距离。如图5所示，PC端接收到原始加速度数据后，取现在时刻之前的14个数据和当前时刻的数据为一组求其均值，最初的15个均值用原始加速度数据代替，均值更新的原则是每15个数据中的最大值与最小值之差小于1，如果不满足该条件，则当前时刻的均值仍用上一时刻的均值来代替。然后用原始加速度减去当前时刻求得的均值所得的结果a′即可近似作为线性加速度，如果该值小于2则置零，如果连续出现10个a′为零的值，则认为鼠标静止，此时强行把速度置零。对a′进行一次积分得到运动速度，在速度正负翻转时刻，如果距当前时刻最近的3个加速度值的绝对值最大值大于1.5并且距当前时刻最近的10个速度值的绝对值最大值大于0.1，则强行把速度置零。直到出现10个数据以后并且加速度值的绝对值小于1时，取消速度置零。对处理后的速度进行积分即可得到位移，将该位移乘以相应参数送入鼠标控制函数，就可以模拟鼠标在屏幕上的运动轨迹。

Claims (4)

1.一种基于惯性传感器的人机交互输入技术，其特征在于包含以下步骤：

S1：智能可穿戴设备向PC端发送设备传感器的陀螺仪和加速度数据。

S2：检测陀螺仪数据的波峰波谷，从而判断出当前处于键盘上的哪行哪列，进而判断出该行该列上的哪些按键被敲击。

S3：对原始的加速度数据进行滤波处理得到设备运动的线性加速度，对线性加速度进行两次积分，求得设备运动的位移，对应鼠标在屏幕上的移动距离。

S4：检测陀螺仪数据的波峰，从而判断出鼠标的左击右击动作。

2.如权利要求1所述的基于惯性传感器的人机交互输入技术，所述步骤S2进一步包括：左手控制的键盘区域分为六行三列，右手控制的键盘区域分为六行四列，默认状态是0行0列，行的选择是通过大拇指的内外弯曲实现，列的选择是通过手背翻转一定角度实现。确定了当前的行列位置后，检测对应手指的陀螺仪数据变化，当对应手指的陀螺仪数据出现较大波峰波谷时，则可判断出当前敲击了哪些按键。

3.如权利要求1所述的基于惯性传感器的人机交互输入技术，所述步骤S3进一步包括：PC端接收到智能可穿戴设备发送的加速度传感器数据后，对沿智能可穿戴设备x轴、y轴的加速度数值进行去均值处理(其结果记为a′)，如果a′的绝对值小于阈值，则认为鼠标处于静止状态。如果a′的绝对值大于等于阈值，则认为鼠标处于运动状态。对线性加速度进行一次积分求得速度后，在速度正负翻转时将速度置零直至一小段时间后出现较大的线性加速度绝对值，此时取消置零。

4.如权利要求1所述的基于惯性传感器的人机交互输入技术，所述步骤S4进一步包括：分别检测对应食指和中指的陀螺仪数据，当对应食指的陀螺仪数据出现较大波峰时，则认为敲击鼠标左键。同理，当对应中指的陀螺仪数据出现较大波峰时，则认为敲击鼠标右键。