CN104834372A - 基于mems加速度传感器的多功能穿戴式人机交互输入设备 - Google Patents

Abstract

本发明公开了一种基于MEMS加速度传感器的多功能穿戴式人机交互输入设备，该设备属于计算机人机交互输入接口领域，具有鼠标、手柄、滚轮等多种计算机外设功能。设计采用MMA7361加速度传感器感应手掌在X轴、Y轴方向上的加速度，再将加速度传感器输出的模拟信号处理转换成用户手掌的倾角姿态、转动角速度、转动加速度等运动状态参数，根据操作者选择的功能模式(鼠标、手柄、四向滚轮以及自定义键盘)动态调用相应的控制算法对手势运动进行分析处理，实现不同的输入设备功能。本发明可设计成便于穿戴的各种外形尺寸，程序内部设计了睡眠唤醒功能，特别适合会议、教室、展厅等场合，具有广阔的应用前景和重要的研究价值。

Description

基于MEMS加速度传感器的多功能穿戴式人机交互输入设备

技术领域

本发明属于计算机人机交互输入接口领域，其特征是：具有鼠标、手柄、四向滚轮、自定义键盘多种PC外设的控制功能，提供用户一种全新的交互模式。

背景技术

近年来，平板移动设备、三维浏览器、数字化机顶盒的流行，使得传统的机械式、光电式、激光式鼠标已满足不了飞速发展的电子产品的需要。传统的鼠标必须依靠相对平整的桌面才能正常使用，缺点是限制了使用者的范围，长时间使用还会造成手部关节的肿胀甚至“鼠标手”。人们更愿意脱离桌面，利用手部姿势与计算机、平板、导航仪或者其他智能设备进行交互。人手可以自由的在三维空间移动、旋转、摆手势，操控电脑变得更加生动形象舒适。

鉴于此，专利公开号202838201公开了一种《基于重力加速度传感器实现运动传感的空中鼠标》。该设计通过手持端的加速度传感器探测重力加速度信息，再由数据处理电路处理信息后经无线模块发送至计算机无线接收端，结合按键的操作驱动计算机光标，比如鼠标左右键、屏幕局部放大。但此设计的缺点是显而易见的，首先功能比较单一且不易拓展，其次硬件设计复杂成本高，再者获取的信息经无线模块发送后再驱动光标则抖动大不易控制。

发明内容

针对专利公开号202838201设计的缺点，软件上采用图形化虚拟仪器编程软件LabVIEW(Laboratory Virtual Instrument Engineering Workbench)，设计鼠标、手柄、四向滚轮以及自定义键盘的模拟控制算法，硬件上采用MEMS(Micro-Electro-Mechanical System)加速度传感器和CC2540低功耗蓝牙系统采集并发送加速度信息，实现多功能可切换的人机交互输入设备。

本发明解决其技术问题所采用的技术方案具体如下：

设计采用MMA7361加速度传感器感应手掌在X轴、Y轴方向上的加速度，再将加速度传感器输出的模拟信号处理转换成用户手掌的倾角姿态、转动角速度、转动加速度等运动状态参数，根据操作者选择的功能模式(鼠标、手柄、四向滚轮以及自定义键盘)动态调用相应的控制算法对手势运动进行分析处理，实现不同的输入设备功能。

本设计分为两个部分，手持端硬件的设计和PC端软件的设计。

手持端硬件主要由MMA7361传感器模块、按键组、指示灯、CC2540低功耗蓝牙系统以及锂电池组成。它被设计成手环的形式，其中传感器、处理器、蓝牙、指示灯、锂电池集成在一个微型PCB板上，安置于手环的最上方，佩戴时与食指所在直线垂直。按键组安置于手环的左侧，佩戴时贴于手掌心，四指弯曲正好可以操作按键。其中按键组由两组按键组成，I组按键有三个按键，对应鼠标、手柄、滚轮这三个功能模式；II组按键有两个按键，为辅助按键，比如设备工作于鼠标模式时，对应于鼠标的左右按键功能。

CC2540低功耗蓝牙系统的两路AD端口分别连接MMA7361传感器模块的X轴、Y轴模拟电压输出端，五路IO端口连接五个按键。设计的两个微型LED指示灯分别用作电源指示和通讯指示，锂电池用于系统供电。

实际工作时，操作者的右手(或左手)手掌所在平面，既要垂直于电脑屏幕又要垂直于桌面，也即MMA7361加速度传感器的X轴平行于屏幕，Y轴垂直于屏幕。操作者的手掌向左偏转、向右偏转、向上偏转、向下偏转正好对应于屏幕光标向左、向右、向上、向下移动。

PC端软件采用图形化虚拟仪器编程软件LabVIEW进行编程，整个程序采用多线程编程的方式，结合事件结构、消息处理、队列与通知技术以及生产者消费者模式，搭建程序框架。首先由蓝牙数据采集程序接收手持端发送来的数据包，经过信号处理，将X轴Y轴的电压值转换成相应的角度、角速度等信息。再根据用户按键选择的工作模式，动态调用相应的工作模式控制算法，实现相应的计算机外设功能。其中，工作模式控制算法调用的是Windows系统下mouse_event API外设驱动程序。此外，软件上提供自定义键盘功能，用户可以在软件界面的两个下拉列表中选择键盘按键，比如选择PageUp、PageDown，实际工作时，II组按键对应的功能即为键盘PageUp、PageDown所表达的功能。

与现有技术相比，本发明的有益效果是：

1.设计采用姿态感应控制的方式，将多种功能算法融合在一起，实现多种计算机外设的控制功能，形式新颖，结构简单，定位精准，交互性强。

2.一种设备、多种交互功能，避免了使用者在特定场合来回转换的麻烦，而且体积小、成本低、操作方便。

3.采用LabVIEW图形化编程软件设计人机交互应用程序，不仅方便设计者后期算法的优化与功能的拓展，而且让操作者有更加直观的感受，交互富有生动性。

附图说明

下面结合附图和实施例对本发明进一步说明：

图1为本发明立体结构示意图；

图2为本发明主控板电路结构框图；

图3为本发明系统结构框图；

图4为鼠标工作模式控制算法流程图；

图5为手柄工作模式控制算法流程图；

图6为四向滚轮工作模式控制算法流程图。

图中，1-电源指示灯，2-通讯指示灯，3-主控电路，4-功能按键，5-辅助按键，6-手环扣，7-Micro USB充电接口

具体实施方式

下面所描述的具体实施例仅用于说明本发明，并不作为限定。

参照图1，本发明硬件部分设计成一个手环，穿戴于操作者的手掌。手环的材料可以使用医用硅橡胶，不仅轻巧、易加工，而且穿戴舒适、无毒无害。手环主要由按键组和(3)主控电路两个部分组成。在按键组中，靠近手指的三个按键为(4)功能按键，分别是鼠标按键、手柄按键和滚轮按键。设置的三个按键位置方便操作者食指、中指和无名指的动作，按键类型可以选择薄膜按键或者轻触按键，本发明暂且选择轻触按键。设备上电工作时，若没有任何按键按下，系统处于空闲模式，按下鼠标按键，系统跳转到鼠标工作模式，此时若同时按下任意两个按键，系统跳回空闲模式，若同时按下三个按键，系统跳转到自定义键盘工作模式。剩余两个按键是(5)辅助按键，比如系统工作于鼠标模式时，这两个键充当鼠标左右键。(4)功能按键、(5)辅助按键与(3)主控电路连接。(1)电源指示灯、(2)通讯指示灯是设计在(3)主控电路上的两个指示灯。(1)电源指示灯作为设备电源指示，(2)通讯指示灯指示通讯是否建立。(6)手环扣使得手环更加牢固的系于操作者手上。(7)Micro USB充电接口连接(3)主控电路，当接上外部Micro USB，可进行设备充电。

无论是作为鼠标、多媒体输入设备还是游戏外设，本设计方便了使用者的操作，为使用者提供一个全新的交互模式，穿戴方便无需依赖桌面依赖鼠标垫便可完成丰富的输入动作。尤其是当使用者在演讲或者会议时，需要配合键盘的几个按键操作，这时只需要预先在软件下拉列表中选择按键即可，避免了使用者来回切换的麻烦。

参照图2，为系统的主控板。主控板被设计成一个只有一元硬币大小的电路模块，实际装配时，内嵌于手环塑料内部。主控板主要由CC2540单晶片、MMA7361加速度传感器、电源电路、LED指示灯以及必要的外围电路组成。考虑到电路低功耗的要求，采用TI公司CC2540低功耗蓝牙系统单晶片，功耗低至微安级，CC2540内部集成有增强型8051微控制器和2.4GHz低功耗蓝牙4.0。电源采用3.3V微型锂电池，可充电循环使用。LED指示灯有两个，一个是红色电源指示灯，另一个是绿色蓝牙通讯指示灯，手环与PC机建立连接时，绿色蓝牙指示灯点亮。在设计单片机程序时，若检测到手环在设定的时间内没有动作，CC2540自动转向睡眠模式，一旦手环动作超限，CC2540自动被唤醒。这样很大程度上降低了功耗。

其中，CC2540的两路AD负责采集MMA7361加速度传感器的X轴Y轴电压，五路IO负责采集按键组的5个按键信号。采集后的信号一并打包经蓝牙电路发送出去，带有蓝牙的PC机搜索蓝牙设备，建立连接，采集数据，处理后传递给相应程序执行。

参照图3，系统采用OSI模型结构中的三个层次。分为会话层、处理层、应用层。其中会话层负责硬件输入和软件人机交互；处理层将采集到的数据解析、滤波等处理，然后以通知的形式发送给各调用算法，动态调用相应控制算法；应用层主要是连接上层软件与Windows系统API接口。

下面具体描述本发明的操作过程及工作原理：

首先，操作者需要在PC上安装设计者提供的应用程序，安装成功之后打开应用程序，点击开始按钮，操作者可以看到当手环上的绿色指示灯亮时，表明蓝牙通讯成功。第一次使用时，操作者需点击应用程序校准按钮，应用程序会提示用户一步一步进行传感器校准工作，直至校准成功。这里说明校准的原因，由于加速度传感器在不同地区受磁场和重力场的影响，X轴Y轴Z轴输出的参考电压与标定的参考电压存在细微差别。为获得精确的定位效果，本发明采用的校准方式是：①将传感器芯片X轴垂直向上，应用程序连续读取200组数据，并取出其中最大值；②将传感器芯片X轴垂直向下，应用程序连续读取200组数据，并取出其中最小值；③取最大值与最小值的平均值作为X轴的参考电压。同样的方式校准Y轴。

然后，点击应用程序设置按钮，分别设置好采样参数(如采样率、采样数)、传感器参数(如传感器灵敏度)、鼠标参数(X轴Y轴灵敏度、X轴Y轴光标速度)、手柄参数(X轴Y轴灵敏度)、滚轮参数(X轴Y轴灵敏度)，设置好之后点击保存按钮，应用程序会将用户保存的参数以Windows配置文件(INI文件)的形式保存于系统文件中，下次启动应用程序，程序会自动读取这些配置数据，无需重新设置。

如果操作者没有按下手环功能键，应用程序状态栏面板会显示当前系统处于空闲模式，若按下鼠标模式功能键，应用程序状态栏面板立即显示当前系统处于鼠标模式，手环便有鼠标的操作功能。操作者手掌向左偏转、向右偏转、向上偏转、向下偏转便会驱动光标向相应的方向移动，光标的移动速度与用户设置的光标速度以及用户手掌偏转的角速度有关。

参照图4，在鼠标模式控制算法中，程序首先进行启停检测，然后判别手势的方向以及手偏转的角速度，最后将X轴Y轴角速度信号分别转换成屏幕光标的位移，驱动mouse_event光标移动API。与此同时，程序循环检测鼠标左右键，驱动mouse_event鼠标左右键API。

若想要切换手环至手柄功能，用户只需直接按下手柄功能键，应用程序状态栏面板立即显示当前系统处于手柄模式。手柄的动作与X轴Y轴偏转角度有关，X轴正偏角模拟手柄向右的按键，X轴负偏角模拟手柄向左的按键，Y轴类似。

参照图5，在手柄模式控制算法中，程序获取X轴Y轴角度信号，判断手势方向，调用触发/复位手柄的API，类似的，程序检测辅助按键的变化，调用触发/复位键盘按键的API。

类似的，参照图6，系统工作于滚轮模式时，四向滚轮滚动幅度与手掌的偏转角度有关，方向由X轴Y轴决定。程序首先获取X轴Y轴倾角信息，然后分别判断手势方向，最后调用水平滚轮与垂直滚轮的mouse_event API。

PC端软件的架构思想：

PC端软件采用图形化编程软件LabVIEW，具有自动多线程功能。整个图形化程序由三个部分组成，第一个部分是数据采集与处理程序，采用生产者/消费者的设计模式，生产方采集由下位机蓝牙发送来的电压模拟量与按键数字量，消费者1方负责信号的处理与通知消息的发送，消费者2方负责前面板数据的显示；第二个部分是用户界面事件处理程序，采用结合队列的生产者/消费者的设计模式，生产方接收软件界面的所有事件并入队列，消费者依次取出队列事件并处理。第三个部分是四种工作模式控制算法。

下面阐述动态调用各工作模式控制算法的程序设计思想：

程序采用生产者/消费者设计架构模式，生产者负责发送鼠标、手柄、滚轮、自定义的通知消息，每次循环发送一个通知消息，具体发送哪一个消息，由采集到的下位机按键数字信号决定。鼠标、手柄、滚轮等工作模式控制算法为消费者。一旦收到通知消息，执行相应控制算法，调用Windows API函数。

上述具体实施方式为设计者已经验证的实施例，在本发明的精神和原则之内做任何等同替换、修改都应在本发明的保护范围之内。

Claims (4)

1.一种多功能穿戴式人机交互输入设备，由基于MEMS加速度传感器的手环和基于LabVIEW的上位机应用程序构成，其特征是：

手环包括：

设置在手环上的3个功能模式按键和2个辅助按键，分别用于手环的功能切换和特定辅助功能，按键与主控电路连接；

设置在手环内部的主控电路模块，该模块主要由1个CC2540低功耗蓝牙系统单晶片、1个MMA7361三轴加速度传感器芯片、1枚锂电池、2个LED指示灯构成，MMA7361、LED与CC2540连接，锂电池作为整个系统的供电单元，MMA7361采集手掌在X、Y方向上的加速度信息，CC2540采集并发送MMA7361输出的模拟电压信号和按键组输出的数字信号；

手环采用医用硅橡胶加工而成，呈扁平圆环状。

应用程序包括：

应用程序界面由三部分组成，分别是状态栏、设置栏、校准栏；

状态栏包括状态显示和模式显示两部分，状态显示分别有当前传感器电压显示、角度显示、角速度显示，模式显示分别是鼠标模式显示、手柄模式显示、滚轮模式显示、自定义模式显示；

设置栏分别是通道参数的设置、采样参数的设置、传感器参数的设置、鼠标参数的设置、手柄参数的设置、滚轮参数的设置、自定义键盘参数的设置；

校准栏设置有开始、保存、取消三个按钮，点击开始则进入校准程序，点击保存则保存校准参数，点击取消则取消校准参数。

2.根据权利要求1所述的多功能穿戴式人机交互输入设备，其特征是：所述的按键安装在手环的外侧，佩戴时按键与手掌平行。

3.根据权利要求1所述的多功能穿戴式人机交互输入设备，其特征是：所述的主控电路模块嵌于手环内部，手环外侧设置有透明塑料盖。

4.根据权利要求1所述的多功能穿戴式人机交互输入设备，其特征是：所述的应用程序采用多线程的编程方式，基于队列消息和通知消息的生产者/消费者程序设计模式。