CN101882015B - 基于复合mems传感器的控制器及其手势控制按键方法 - Google Patents

Abstract

基于复合MEMS传感器的控制器及其手势控制按键方法，涉及到无线传感控制技术领域，尤其是涉及到对手势控制识别方面。解决现有基于复合MEMS传感器的控制器不具备手势识别功能的问题。包括：USB接收器和控制器本体，所述的控制器本体上还设有与单片机连接的用于使控制器本体处于鼠标模式和手势控制模式的切换控制键或手势识别激活键。当为手势识别模式时，停止光标定位，根据控制本体的位移变化，识别相应手势，根据手势输出相对应按键代码，无需移动光标操作，类似通过键盘进行快捷键操作，使用方便。

Description

基于复合MEMS传感器的控制器及其手势控制按键方法

技术领域

本发明涉及到无线传感控制技术领域，尤其是涉及到对手势控制识别方面。

背景技术

随着计算机周边设备的迅猛发展，以及人们不断追求的时尚元素，如今单一的鼠标和演示控制器已经不能完全满足人们的工作需要和生活体验。目前的桌面鼠标和无线鼠标依赖于桌面的限制，或特殊质感物体的表面，才能正常的工作。也有一些轨迹球鼠标，但使用的时候要拨动轨迹球，指针移动不够灵活。MEMS传感器的发展和成熟，为控制器领域注入了新的活力，出现了一些传感器鼠标，使鼠标终于“飞”了起来。但这类鼠标或控制器是单加速度传感器或陀螺仪制作的，使用效果不令人满意，指针移动速度比较慢，操作不够灵活，没有被消费者接受和市场认可。

在办公用户中存在着有一类特殊群体，如教师、演讲人员、培训人员、职业经理等，他们往往都会随身配备着笔记本电脑，到达会议现场后将电脑连接到投影仪上，打开自己精心准备好的PowerPoint文档。当演讲开始后，需要点击鼠标或者键盘进行PowerPoint的翻页操作，同时还要滔滔不绝地进行讲解。演示控制器是必备的专业工具，但要操作演示控制器，有时又要控制计算机鼠标，确实是一件麻烦的事情。

对于数量庞大的计算机用户来说，还没有一种多功能控制器，既能实现鼠标的功能，又能实现演示控制器，还能玩游戏的的控制器。一机多用，将是未来的发展方向，也将为我们的工作和生活带来巨大便利。

发明内容

本发明的目的是在本申请人于2009年12月29日申请的“基于复合MEMS传感器的控制器指针定位方法及控制器”，专利号为：200910189390.0发明创造基础上的进一步改进，解决该发明创造不具备手势识别功能的问题，而提出的一种复合MEMS传感器的控制器手势控制按键方法及控制器。

为实现本发明的目的，采用的技术方案为：

复合MEMS传感器的控制器手势控制按键方法，其特征是：

a)首先，通过切换控制键或按下手势识别激活键切换到手势控制模式；

b)单片机启动手势识别程序；

c)判断是否为首次进入手势识别程序，若是首次进入，则记录当前的加速度传感器和陀螺仪输出值，确定初始值后进入下一步；若非首次进入，则直接进入下一步；

d)判断是否超过上一操作完成延迟时间，若没超过延迟时间，返回第c）步；若已超过延迟时间，则开始监测记录加速度传感器和陀螺仪输出值；并与加速度传感器和陀螺仪初始值进行比较，判断是否超过设定的门限值，若已超过门限值，则确定手势动作，延迟计数器重新开始计时；若没超过门限值，则返回循环监测；

e)根据手势动作，调取相应的按键编码，由单片机通过RF电路传递给PC终端的USB接收器。

所述的门限值包括有：左旋转门限值、右旋转门限值。

所述的门限值还包括有：上旋转门限值、下旋转门限值、右侧甩动门限值及左侧甩动门限值。

当对应播放器软件进行操作时，所述的左旋转门限值对应上一首歌控制键、右旋转门限值对应下一首歌控制键、上旋转门限值对应音量增加键、下旋转门限值对应音量减小键、右侧甩动门限值对应播放键、左侧甩动门限值对应停止播放键。

当对应演示软件进行操作时，所述的左旋转门限值对应上翻页键、右旋转门限值对应下翻页键。

所述的左旋转门限值、右旋转门限值、上旋转门限值和下旋转门限值对应相应的初始值发生正45度或负45度。

所述的延迟时间为0.5秒。

所述的第d）步中，判断若已超过延迟时间后，再判断出手势操作特定键在被按下时，则开始监测记录加速度传感器和陀螺仪读数。

实现权利要求1所述方法的基于复合MEMS传感器的控制器，包括：USB接收器和控制器本体，所述的控制器本体包括有：单片机及与单片机连接的复合MEMS传感器、RF电路、EEPROM及按键，所述的复合MEMS传感器包括有：加速度传感器和陀螺仪，所述的加速度传感器为三轴的加速度传感器；所述的陀螺仪为一个两轴的陀螺仪或两个相互垂直放置的单轴陀螺仪组合，所述的加速度传感器和陀螺仪连接单片机的A/D转换接口，加速度传感器用来测量控制器本体的线性加速度，陀螺仪用来测量控制器本体的角速度，其特征是：所述的控制器本体上还设有与单片机连接的用于使控制器本体处于鼠标模式和手势控制模式的切换控制键或手势识别激活键。

当所述的控制器本体设有切换控制键时，控制器本体还设有一个与单片机连接用于确定开始识别手势操作的手势操作特定键。

本发明的有益效果为：本发明是在包含有三轴的加速度传感器与两轴的陀螺仪或两个相互垂直放置的单轴陀螺仪组合的复合MEMS复合传感器的高精度控制器本体（俗称为空中鼠标）的基础上增加切换控制键和手势操作特定键，通过切换控制键切换控制器本体处于鼠标模式还是手势识别模式，手势操作特定键是为了避免手势识别模式下误操作；或者不采用模式切换控制键，而仅采用一个专用的手势识别激活键代替切换控制键和手势操作特定键，当手势操作识别键在保持在按下状态时，才处于手势识别模式，当为鼠标模式时，控制器本体即为申请号为：200910189390.0的中国发明创造；当为手势识别模式时，停止光标定位，根据控制本体的位移变化，识别相应手势，根据手势输出相对应按键代码，无需移动光标操作，类似通过键盘进行快捷键操作，使用方便。

附图说明

图1为本发明的USB接收器部分的电路原理图；

图2为本发明的电路控制器本体第一部分电路原理图；

图3为本发明的电路控制器本体第二部分电路原理图；

图4本发明的结构方框图；

图5本发明USB接收器部分的原理示意图；

图6本发明控制器本体部分的结构示意图；

图7为本发明的工作流程图。

具体实施方式

以下结合附图和优选的一种实施例对本发明创造作进一步地说明：

实施例1

参照图4中所示，本发明主要包括两部分：USB接收器和控制器本体。使用时，将USB接收器插入计算机USB接口，与控制器本体间建立无线通线连接，其通讯采用2.4GHz频率，10米可操作范围，可360度接收，无方向性。

参照图1、图5中所示，USB接收器采用nRF24LU1单芯片射频芯片，集MCU、USB、2.4G无线收发于一体，大大简化了电路，可收纳于控制器本体内，方便携带，不易遗失。

参照图2、图3、图6中所示，控制器本体包括有：单片机、MEMS传感器、RF电路、EEPROM、按键及激光发射器。单片机选用ST高性能32位单片机，ARM内核，型号为STM32F103R8，负责数据的采集和控制处理。Flash64KB，SRAM20KB。MEMS传感器是由一个三轴的加速度传感器和两个单轴的陀螺仪组成的。

加速度传感器用来测量物体的线性加速度，本实施例中加速度传感器采用FreescaleMMA7361L。该微型电容式加速传感器融合了信号调理、单极低通滤波器和温度补偿技术,测量范围是正负1.5g~6g，1g=9.8m/s。加速度传感器上有两个测量范围的档位选择。一个低加速度档位的加速度量程为1.5g，灵敏度为800mv/g；另一个高加速度档位的加速度量程为6g，灵敏度为206mv/g。在正常（非睡眠）情况下，3.0V供电，输出x、y、z的模拟电压。原理本质是两片弹性间距的平板电容，改变间距即改变电容，因而改变输出电压。加速度与电容平板上的电荷变化有关。或者说，加速度与输出电压的变化情况有关，而与输出电压的出示位置状态无关（与平板电容的初始电容量无关）。所以加速度的测量一定要用实时的输出电压与传感器位置固定后初始输出电压相减，才能得到正确的最终结果。

陀螺仪又名角速度传感器，用来测量物体的角速度。本实施例中采用EPSONXV-3500CB的陀螺仪，基于EPSON独特的QMEMS技术，与市场上常见的基于硅技术的陀螺仪传感器不同，是采用石英晶体进行设计，SMD5.0*3.2mm小体积封装。所以在稳定性，温漂方面都有优势。

因指针在显示器上的运动轨迹是一个二维的平面，即Y轴和X轴，所以需要双轴的陀螺仪，才能计算出这两个轴的数值。双轴陀螺仪已经将两个轴封装在一个芯片里，而单轴陀螺仪只能输出一个轴的数值。

型号为XV-3500CB的陀螺仪是一个单轴的陀螺仪，因此在本实施例中需要使用两个单轴陀螺仪组合使用，相对于控制器本体的水平面，需要一个芯片水平放置，另一个芯片垂直放置，才能得到指针的坐标，即X，Y的值。

加速度传感器和两个单轴的陀螺仪的信号输出端分别与单片机的A/D转换接口连接。

用户在使用控制器过程中手臂会产生一定的角速度，陀螺仪的输出值也会相应变化，单片机将A/D转换器采集到的数据转化成相应的位移变化量，加速度传感器根据空间的姿态，来校正陀螺仪的输出。陀螺仪只能测量相对于控制器所在平面的角度变化，而不是相对大地水平面的角度变化，所以控制器本体相对于大地水平面有一定的倾角使用时，将无法获得正确的坐标值。而加速度传感器的精度比较差，且不能区分静态加速度和动态加速度，所以也无法单用它来来实现精确的定位。只有两者结合使用，才能获得好的效果。传统的控制器只有单MEMS传感器，所以无法全方位，任意角度控制，使用起来不够灵活，具有很大的局限性。采用这种复合MEMS传感器后，可以给用户带来全新的感受和体验，具有桌面鼠标的精确性和空中鼠标的自由性。

RF电路采用NRF24L01射频芯片，RF电路连接单片机，负责将单片机的控制信号和数据发送出去，以便USB接收器接收数据。

EEPROM型号为：93C46，EEPROM与单片机连接，负责存储MEMS传感器的初始化数据和RF电路中的RF芯片的无线通信的地址。

连接单片机的按键除了在本控制器本体处于鼠标模式下的功能键外，如：左键、右键、上键、中键、下键及其它功能快捷键，还包括有一个切换控制键和手势操作特定键，切换控制键用于控制单片机执行的是光标定位程序，还是手势识别程序；手势操作特定键目的是避免误操作，在进行手势操作的同时需按下该键。

参照图7中所示，本发明的工作流程如下：

第一步，初始化软硬件。这一步骤读取预先存储在EEPROM中的传感器的参数,无线通信的地址,并对程序用到的参数给予初始的值以及单片机内部硬件的初始化。此外，还通过单片机的管脚控制，启动加速度传感器和陀螺仪，使他们进入工作状态。

第二步，启动单片机内置的A/D转换器采集加速度传感器和陀螺仪器的数值。这一步骤是通过启动A/D转换器，把陀螺仪和加速度传感器所输出的模拟值转换成12位精度数字值，供单片机处理。

第三步，滤波。单片机对A/D转换器采集的数值，进行过滤，去除毛刺，以得到最精确的数值。

第四步，对陀螺仪器和加速度传感器的基准值进行温度补偿。由于陀螺仪的输出值存在的个体差异和温度漂移的因素，因此需预先把标定好的参数存在EEPROM中，计算的时候根据当前温度，对陀螺仪和加速度传感器的输出值进行温度补偿,得出修正后的基准值做为后面运算的基准。

第五步，判断工作模式。根据切换控制键的状态判断出控制本体是处于鼠标模式还是手势识别模式。

如果判断是鼠标模式，则将陀螺仪器的输出数值和其静态输出值相减；先处理陀螺仪的数据，将采集到的数据和陀螺仪的静态输出值相减并对结果进行平滑处理，从而得出当前指针相对于控制器本体的水平面的位移大小和方向；根据相减结果的大小，划分不同区间，对结果进行不同比率的缩放，以得出较平滑的位移数值；根据A/D转换器采集的加速度的数据，算出控制器本体倾斜于水平面的角度；通过测量加速度传器的三轴输出值，可以计算出正常使用控制器的情况下，控制器相对与大地的倾斜角度；根据控制器本体倾斜的角度，进行坐标系的修正，从而得出控制器本体相对于水平面的准确位移数值。同时进行按键检测，检测按键是否有被按下或松开，最后将准确位移数值或按键检测信息通过串行接口，发送给RF芯片，通过RF电路上报USB接收器的接收模块，由USB接收器的接收模块上传给PC设备。如果是控制器本体为手势控制模式，则单片机调取执行手势识别程序，

如判断是手势控制模式而且手势操作特定键被按下不放，则执行下述聚：

a、启动手势识别程序。

b、判断是否为首次进入手势识别程序，若是首次进入该模式，则记录当前的加速度传感器和陀螺仪输出值，确定为初始值，再判断延迟时间是否已到；若非首次进入该模式，则直接进入判断延迟时间是否已到。若延迟时间未到，则手势识别程序无动作信息输出，返回循环监测判断；若延迟时间已到，进入下一步。

c、实时监测记录加速度传感器和陀螺仪的输出值，并与初始值进行比较得出变量值。

d、判断变量值是否超过设定的门限值，根据实时监测的加速度传感器和陀螺仪的输出值就能确定控制器本体在空间中的状态及变化过程，例如：左旋转门限值为控制器本体在初始状态下向左旋转45度；左侧甩动门限值为控制器本体向左侧移动的速度达到每秒3米；右旋转门限值、上旋转门限值、下旋转门限值及右侧甩动门限值根据相同原理设定。各门限值根据用户需要而定。若控制器本体在空间中的变化状态及变化过程未起过设定的门限值，则返回循环监测并比较；若控制器本体在空间中的变化状态及变化过程达到其中任一门限值时，则进入下一步。

e、确定手势，根据达到门限值就可以确定控制器本体的变化状态，也即手势识别程序识别出手势动作。

f、根据识别的手势，调取与该手势所对应的按键编码，将按键编码通过RF电路上报USB接收器的接收模块，由USB接收器上报PC。在识别手势出手势动作后，同时，重置手势识别程序的延时程序，手势识别程序返回上述第b步重新循环执行。延时程序重置后重新计时，例如延时时间为0.5秒，在0.5秒内，即使在手势操作特定键按下的情况下也是不执行监测记录加速度传感器和陀螺仪的输出值的，目的在于避免手势识别程序产生误识别，将每次手势操作进行分隔区别开。

在b到f的过程中，一旦检测到手势识别特定键则中止则退出手势识别程序。

本发明的操作方法，以微软的MediaPlayer播放器，且门限均设为45度为例，控制器本体以鼠标模式打开MediaPlayer播放器后，通过切换控制键进入手势识别模式再按着手势操作特定键不放，接下来可以进行控制，当控制器本体向左翻转超过45度时，执行上一首歌操作；当控制器本体向右翻转角度超过45度时，执行下一首歌操作；当控制器本体向上翻转角度超过45度时，执行增大音量操作；当控制器本体向下翻转角度超过45度时；当控制器本体向左侧甩动时，执行停止播放操作；当控制器本体向右侧甩动时，执行播放操作。上述的各种操作是通过RF发给接收端后，通过USB接口，把播放、停止、上一首，下一首，增加音量，减少音量操作上报PC。由于接收端在枚举时按照USBHID应用里的Consumercontrol里的标准来定义，所以不单MediaPlayer播放器，只要是按照这个标准的播放软件都能实现正确的控制。本发明相当于在一个设有复合MEMS传感器的空中鼠标上，就可以通过发送快捷键或USB枚举时自定义的功能键的方式控制相应软件，进行相关操作。

同样，在使用PowerPoint软件进行演讲操作时，可使用将控制器本体左翻转和右翻转实现上翻页和下翻页，省去采用移动光标寻找相应命令按钮的麻烦。

实施例2

本实施例是在控制器本体上设有一个单片机连接的手势识别激活键，通过手势识别激活键切换控制器本体处于鼠标模式和手势控制模式，手势识别激活键代替实施例1中的切换控制键和手势操作特定键，在鼠标模式下，只需按下手势识别激活键，就可直接进入手势控制模式，识别手势操作，当手势识别激活键被释放，返回鼠标模式，也即是在手势操作识别键保持在按下状态时，才处于手势识别模式。其手势识别控制按键的方法原理与实施例1相同。

Claims (10)

1.基于复合MEMS传感器的控制器手势控制按键方法，其特征是：

第一步，初始化软硬件；读取预先存储在EEPROM中的传感器的参数，无线通信的地址，并对程序用到的参数给予初始的值以及单片机内部硬件的初始化；此外，还通过单片机的管脚控制，启动加速度传感器和陀螺仪，使他们进入工作状态；

第二步，启动单片机内置的A/D转换器采集加速度传感器和陀螺仪器的数值；通过启动A/D转换器，把陀螺仪和加速度传感器所输出的模拟值转换成12位精度数字值，供单片机处理；

第三步，滤波；单片机对A/D转换器采集的数值，进行过滤，去除毛刺，以得到最精确的数值；

第四步，对陀螺仪器和加速度传感器的基准值进行温度补偿；由于陀螺仪的输出值存在的个体差异和温度漂移的因素，因此需预先把标定好的参数存在EEPROM中，计算的时候根据当前温度，对陀螺仪和加速度传感器的输出值进行温度补偿，得出修正后的基准值作为后面运算的基准；

第五步，判断工作模式；根据切换控制键的状态判断出控制本体是处于鼠标模式还是手势识别模式；

如果判断是鼠标模式，则将陀螺仪器的输出数值和其静态输出值相减；先处理陀螺仪的数据，将采集到的数据和陀螺仪的静态输出值相减并对结果进行平滑处理，从而得出当前指针相对于控制器本体的水平面的位移大小和方向；根据相减结果的大小，划分不同区间，对结果进行不同比率的缩放，以得出较平滑的位移数值；根据A/D转换器采集的加速度的数据，算出控制器本体倾斜于水平面的角度；通过测量加速度传器的三轴输出值，可以计算出正常使用控制器的情况下，控制器相对与大地的倾斜角度；根据控制器本体倾斜的角度，进行坐标系的修正，从而得出控制器本体相对于水平面的准确位移数值；同时进行按键检测，检测按键是否有被按下或松开，最后将准确位移数值或按键检测信息通过串行接口，发送给RF芯片，通过RF电路上报USB接收器的接收模块，由USB接收器的接收模块上传给PC设备；如果是控制器本体为手势控制模式，则单片机调取执行手势识别程序；

如判断是手势控制模式而且手势操作特定键被按下不放，则执行下述聚：

首先，单片机启动手势识别程序；

判断是否为首次进入手势识别程序，若是首次进入，则记录当前的加速度传感器和陀螺仪输出值，确定初始值后进入下一步；若非首次进入，则直接进入下一步；

判断是否超过上一操作完成延迟时间，若没超过延迟时间，返回判断是否为首次进入手势识别程序；若已超过延迟时间，则开始监测记录加速度传感器和陀螺仪输出值；并与加速度传感器和陀螺仪初始值进行比较，判断是否超过设定的门限值，若已超过门限值，则确定为手势动作，延迟计数器重新开始计时；若没超过门限值，则返回循环监测；

根据手势动作，调取相应的按键编码，由单片机通过RF电路传递给PC终端的USB接收器。

2.根据权利要求1所述的基于复合MEMS传感器的控制器手势控制按键方法，其特征是：所述的门限值包括有：左旋转门限值、右旋转门限值。

3.根据权利要求2所述的基于复合MEMS传感器的控制器手势控制按键方法，其特征是：所述的门限值还包括有：上旋转门限值、下旋转门限值、右侧甩动门限值及左侧甩动门限值。

4.根据权利要求3所述的基于复合MEMS传感器的控制器手势控制按键方法，其特征是：当对应播放器软件进行操作时，所述的左旋转门限值对应上一首歌控制键、右旋转门限值对应下一首歌控制键、上旋转门限值对应音量增加键、下旋转门限值对应音量减小键、右侧甩动门限值对应播放键、左侧甩动门限值对应停止播放键。

5.根据权利要求3所述的基于复合MEMS传感器的控制器手势控制按键方法，其特征是：当对应演示软件进行操作时，所述的左旋转门限值对应上翻页键、右旋转门限值对应下翻页键。

6.根据权利要求3所述的基于复合MEMS传感器的控制器手势控制按键方法，其特征是：所述的左旋转门限值、右旋转门限值、上旋转门限值和下旋转门限值对应相应的初始值发生正45度或负45度。

7.根据权利要求1所述的基于复合MEMS传感器的控制器手势控制按键方法，其特征是：所述的延迟时间为0.5秒。

8.根据权利要求1所述的基于复合MEMS传感器的控制器手势控制按键方法，其特征是：所述的判断是否超过上一操作完成延迟时间时，判断若已超过延迟时间后，再判断出手势操作特定键在被按下时，则开始监测记录加速度传感器和陀螺仪读数。

9.实现权利要求1所述方法的基于复合MEMS传感器的控制器，包括：USB接收器和控制器本体，所述的控制器本体包括有：单片机及与单片机连接的复合MEMS传感器、RF电路、EEPROM及按键，所述的复合MEMS传感器包括有：加速度传感器和陀螺仪，所述的加速度传感器为三轴的加速度传感器；所述的陀螺仪为一个两轴的陀螺仪或两个相互垂直放置的单轴陀螺仪组合，所述的加速度传感器和陀螺仪连接到单片机的A/D转换接口，加速度传感器用来测量控制器本体的线性加速度，陀螺仪用来测量控制器本体的角速度，其特征是：所述的控制器本体上还设有与单片机连接的用于使控制器本体处于鼠标模式和手势控制模式的切换控制键或手势识别激活键。

10.根据权利要求9所述的实现权利要求1所述方法的基于复合MEMS传感器的控制器，其特征是：当所述的控制器本体设有切换控制键时，控制器本体还设有一个与单片机连接用于确定开始识别手势操作的手势操作特定键。