CN103777752A

CN103777752A - 基于手臂肌肉电流检测和运动传感器的手势识别设备

Info

Publication number: CN103777752A
Application number: CN201310531766.8A
Authority: CN
Inventors: 不公告发明人
Original assignee: SHANGHAI WEIPU ELECTRON TECHNOLOGY Co Ltd
Current assignee: SHANGHAI WEIPU ELECTRON TECHNOLOGY Co Ltd
Priority date: 2013-11-02
Filing date: 2013-11-02
Publication date: 2014-05-07

Abstract

基于手臂肌肉电流信号检测和运动传感器的手势识别设备，作为一种机器命令输入设备可用于任何需要人机交互的电子系统。本发明包括外形为可佩戴在手腕处的手环或前臂处的臂环；通过紧贴皮肤位置的一路或者多路肌肉表皮电流传感器，提取手臂肌肉运动时产生的生物电流，并经放大器电路，滤波电路，模拟数字转换电路，实时数字信号算法处理进行手势的特征参数提取，实现手势识别。识别的手势被映射成各种可配置的控制命令，通过蓝牙或者其他方式的无线或有线传输方式传递给受控主机。本发明通过手臂肌肉电流和运动传感器判断手势，实现一种全新的人机交互命令输入方式。

Description

基于手臂肌肉电流检测和运动传感器的手势识别设备

技术领域

本发明涉及一种新型的人机交互接口（HCI）控制输入设备。传统的人机控制输入方法采用：手指直接操作鼠标，键盘，按钮，触摸屏等；语音识别；二维或者三维机器视觉实现手势或者身体姿势识别。很多情况下传统的人机交互方法占用了太多双手时间，且非自然和不易于操作；语音识别和机器视觉识别在一定程度上解放了双手，但是它们受环境因素影响大，比如在嘈杂环境下，光线暗淡环境下，其检测结果可能会非常不可靠，并且在使用过程中用户会干扰到其他人；语音识别还有实时性差的缺点。随着用于传递资讯的电子产品的日益丰富，人机交互的需求成指数上升，本发明提出了一种更自然和直接，且不受环境影响的人机交互方式。

佩戴在手腕或者手臂上的可穿戴设备，例如手环、臂环或者智能手表，如果具有实时检测和识别用户手势的能力，通过将手势映射成相应的机器命令，可以很好的满足这样的需求。这样的设备小巧，使用自然，不受环境影响，可为用户提供更好的用户体验。

在技术上，当我们做某种手势时，相应的肌肉会产生微弱的生物电流。通过检测肌肉电流的变化，配合运动传感器检测的加速度数据和角度数据，经过实时数字信号算法处理，可以检测出手臂、手指、手掌、手腕的运动。一种可行的方案是在手环和臂环紧贴用户皮肤的位置上安置一路或者多路电极，通过采集、放大特定肌肉上方皮肤的表皮肌肉电流，经过实时运算和分析，提取特征参数，实现相应手势的甄别；配合运动传感器检测到的在三维空间上的运动，实现相应的手势动作识别；识别后的手势信息将被映射成各种控制命令，以实现类似鼠标、键盘、触摸屏等传统输入设备的信息输入功能。

背景技术

人类的肌肉是由大量的神经元和肌肉纤维组成。骨骼肌由肌肉通过肌腱附着在骨骼上，运动是骨骼配合骨骼肌的收缩产生的。现代医学揭示运动的产生过程：当我们想运动或者做某个动作时，大脑通过神经系统向相应的运动神经元发送电信号，神经元接收到电信号后会向它周边的肌肉纤维传递电信号，而肌肉纤维在接收到电信号后会收缩并将维持一定的时间。我们的神经系统可以很快的调整和精确的定位电信号发射的目标，使得肌肉纤维可以被交替触发并收缩。当我们做不同动作时，不同的肌肉或者肌肉群会被触发。在肌肉收缩的过程中，这些交替或者叠加的电信号被称之为肌肉生物电流（EMG， Electromyography）。通过监测多块肌肉的同步EMG信号，并根据通道间信号的频率、幅度、相位、能量等信息，可以在一定程度上提取各个动作的特征参数，并通过特征参数进行甄别。在医学上，EMG信号可以用侵入式的探针插入到肌肉内实现高精度的提取，但本发明采用非侵入性的、紧贴或吸附在肌肉上方皮肤表面的电极来提取肌肉电流信号（EMG）。在皮肤表面提取EMG信号的优点是对用户没有创伤性，容易使用，用户体验好；缺点是由于肌肉内部的电流信号需要穿越人体组织到达皮肤表面，所以最终提取到的EMG信号比较微弱，同时会混有多种干扰，对于后续的信号处理有更高的算法要求。

发明内容

本发明的目的是针对传统人机交互接口中信息输入非自然和非直接的缺点，结合生物电子科技提出的一种更自然、直接和高效的新型方案。本发明的核心原理是解析手臂肌肉生物电流和手势间的对应关系。在实施中，采集并放大一路或者多路手臂肌肉生物电流，加上三维运动传感器数据，经过实时数据处理提取手势特征参数，实现手势识别，并将识别后的手势映射成各种机器命令，以实现用手势作为信息输入的方法。此发明可落实为佩戴和紧贴在手臂前臂处的弹性臂环，或者佩戴和紧贴在手腕处的弹性手环，也可直接集成到例如智能手表等佩戴在手臂上的设备中，通过紧贴皮肤处安置的传感器监测环下皮肤处的一路或者多路表皮肌肉电流，经过实时数据运算和处理，模式匹配等算法，提取各个手势的特征参数，到达手势识别的目的。手势信息或者经过映射后的控制命令，通过有线或者无线方式传递到需要控制的上位机，以实现类似鼠标、键盘、触摸屏等传统输入设备的功能，但本发明具有更优良的用户体验。

附图说明

基于手臂肌肉收缩和手势，肌肉收缩和肌肉电流信号（EMG）间的关系，我们可以通过观察并解析EMG信号获得手势动作的相应特征参数信息，并且进一步应用到手势识别技术上。下面通过附图和实施例，对本发明的技术方案做进一步的详细描述。

图1：EMG手势识别臂环佩戴在前臂处的一种方式。

图2：EMG手势识别手环佩戴在手腕处的一种方式。

图3：EMG手势识别臂环或者手环主要的构成部件。

图4：EMG手势识别基本算法流程。

图5：EMG手势识别训练流程。

图6：EMG手势识别手环或者臂环用于控制电子游戏的实例。

具体实施方式

本发明在实现中的核心技术是如何从手臂微弱的表皮肌肉生物电流信号中找出各个手势动作的特征参数信息，以及特征参数信息间的差异，以达到手势识别的目的。

图1是设备臂环（100）佩戴在前臂处的一种方式。此位置集中了大部分的手臂肌肉（102），可以检测到比较强的表皮肌肉电流信号，最终区别手掌、手指（103）所构成的手势。通过在臂环合适位置放置电极，同时在一定范围内限定臂环佩戴的位置和角度（101），可以相对稳定的检测到算法感兴趣的肌肉的电流，以简化算法。但是按照不同的应用和成本，选择不同复杂度的算法，本设备可以被设计成包含限定或不限定佩戴位置。示意图中，臂环可以在一定的位置放置一路或者多路电极（300），运动传感器（304），数字信号处理器（DSP）或者中央处理器（CPU）或者专用集成芯片（305）。

图2是设备手环（100）佩戴在手腕处的一种方式。此位置主要集中的是肌腱，对于肌肉电流信号的提取难度高，但是拥有更好的用户体验，在实践中将是更佳的选择。通过实现复杂度更高的算法，或者跟踪某种类EMG的生物信号，手势手环同样可行。

图3示意EMG手势识别臂环或者手环的主要构成部分：设备包括一路或者多路表皮EMG差分电极（300），用于从手臂皮肤检测出皮下肌肉的EMG信号。原则上，EMG通道越多，则后续手势识别精度越高，但是会带来系统成本、功耗、运算复杂度的上升。表皮EMG信号经差分电极（300）后进入模拟信号放大电路（301）。从表皮采集的EMG原始信号，其振幅通常只在+/-10mv以内，放大电路的作用是将信号扩展到后续模拟数字转换器（303）的有效量程，到达更细分的分辨率。经过放大后的模拟信号，经滤波电路（302）来滤除干扰信号和限制的频率范围。例如环境中50/60Hz的交流电源干扰可通过设置陷波滤波器滤除。滤波电路也可以在数字化后由数字信号处理器（DSP）或者中央处理器（CPU）或专用集成芯片（305）在数字域通过数字方式实现。放大器电路（301）和滤波电路（302）的次序在实现中可能可以调换。经过放大和滤波后的模拟信号，需要经由模拟数字转换器电路（303）转换到数字领域，然后经数字信号处理器（DSP）或者中央处理器（CPU）或者专用集成芯片（305）进行分析处理，解析提取特征参数，以实现手势识别。设备中可能包含运动传感器电路（304），用于检测手臂的运动。设备还需要包含用于传输原始或者甄别后的手势数据的有线或者无线通讯电路（306），存放DSP或CPU程序和设置、存放手势库特征参数的存储单元（307），显示单元（308），喇叭（309），振动马达（310），按键（311），充电电池（312），有线或者无线充电电路（313），外壳（314）。

图4示意的是本发明采用和设想的手势识别基本的算法流程。安置在设备（100）上的电极将检测到的表皮肌肉电流信号（401）通过模拟预处理电路（402）进行放大、滤波、经过模拟数字转换器电路转换到数字域。数字化后的信号可通过数字预处理模块（403）进行更精准的数字滤波、整流等处理。其后对信号进行包含了加窗和阈值判断电路等的分段算法（404）。分段后的信号经过自相关参数提取算法（405）进行特征参数提取。提取出的特征参数信息通过线性判断分析（406），例如手势库模糊查询算法，进行手势甄别，并最终得到最高概率的手势结果。

图5示意的是本发明采用的手势识别训练流程基本设想。训练流程和图4示意的手势识别算法流程基本一致，区别在于自相关参数提取（405）步骤后，参数被存放入手势库（501）。手势训练需要在训练引导程序的指引下进行，并且对于同一个手势需要做多次训练，以达到较优化的提取和限定某个手势的特征参数范围。对于一些常用手势，可以在出厂前预置进手势库。

图6示意的是手势识别手环或者臂环（100）应用于实现电子游戏控制器的实例。它可以替代鼠标、键盘或游戏摇杆等控制设备控制游戏机（601）。在此示意图中，游戏控制器只是作为一种可能应用被描述出来，游戏机（601）作为上位机，带有自己的电路、运算、显示等单元。手势识别手环或者臂环在应用上没有限制，它可以被应用到任何需要输入控制的场合，例如遥控玩具的遥控器，智能电视的遥控器等等。

最后应说明的是，以上实施例仅用以说明本发明可能的技术方案而非限制。根据实际应用的不同，如EMG采集通道数目的可以变化，数据可在设备内实时处理，或原始数据上传到上位机进行处理等等多种不同的实现。尽管参照较佳实施例对本发明进行了详细说明，本领域的技术人员应当理解，可以对本发明的技术方案进行修改或等同替换，而不脱离本发明技术方案的精神和范围。

Claims

1.一种用于检测手势的可佩戴在手臂前臂部位的臂环、或佩戴在手腕部位的手环设备，通过有线或者无线数据传输连接到上位机，例如个人电脑、智能手机、个人数字助理、平板电脑、智能电视、智能手表、遥控玩具等设备；在上位机中，此设备被映射成一种人机交互设备(HCI)；此设备通过手臂肌肉电流信号（EMG）的变化实现手势检测并可映射成各种计算机命令，以实现多种控制命令输入。

2.如权利要求1所示的臂环或手环设备，在紧贴皮肤的部位配备有一路或多路非侵入式且紧贴皮肤的表皮肌肉电流 (EMG) 检测电极；设备内部带有模拟信号放大器电路，可以拾取和放大表皮肌肉电流，设备内部可带有运动传感器电路，可以跟踪手臂的移动；设备可具有但不限于检测其他生命体征信息，例如脉搏 (ECG) 的能力。

3.如权利要求2，放大后的一路或多路肌肉电流信号在设备内部经过滤波电路后，由分时复用或者单个信号通道独用的模拟数字转换器电路转换成数字信号，转换后的数字信息，以及手臂在三维空间的加速度和角度信息，可经过有线或者无线数据传输方式，上传到权利要求1中列出的上位机，在上位机进行实时数据运算处理，得到相应的手势信息；数字信息也可直接由设备内嵌的数字信号处理器或者中央处理器或专用集成芯片，进行实时数据运算和处理，甄别得到相应的手势信息；手势信息或手势信息被映射成的控制命令，通过有线或者无线数据传输方式，上传到权利要求1中的上位机，达到控制命令输入的目的。

4.如权利要求3，手势信息包含经由肌肉电流（EMG）检测出和识别到的手指、手掌、手腕的运动，以及由运动传感器检测到的手臂的移动和转动；手指动作包含单指和多指。

5.如权利要求3，4，手势识别方法可能需要处理的信息包括但不限于肌肉电流（EMG）信号的振幅，信号的包络，信号的频率谱，信号的能量分布，各个信号通道间的相位差和一致性等；手势识别可能需要但不限于运动传感器检测到的加速度和角度信息，以进行更精确的手势动作甄别。

6.如权利要求3，4，5，手势识别流程中可能采用但不限于手势训练的方法；方法包括使用预设手势特征信息库和用户自定义手势特征信息库；自定义手势信息库可由训练指引程序指导用户，在正确穿戴上设备后通过做某些手势来建立和扩展。

7.如权利要求4，5，6，手势识别方法可能但不限于信号的自动分段检测，小波运算，迭代运算，快速傅立叶变换，自适应等多种方法，以实现手势特征参数提取，并通过和手势特征信息库比对，来定位一个手势的开始和结束，以及甄别具体的手势。

8.如权利要求1，2，3，本手势检测设备硬件电路可能需要但不限于以下部件：表皮肌肉电流（EMG）检测电极，运动传感器，滤波电路，模拟数字转换器电路，数字信号处理器或中央处理器或专用集成芯片，用于存放处理程序、配置信息、手势特征信息库的存储单元，有线或者无线通讯模块，按钮，显示单元，喇叭，振动马达等；设备可采用分立元件或者集成电路实现。

9.如权利要求8，本手势检测设备可配备充电电池，以及有线、或满足某种无线充电标准的充电电路。

10.如权利要求1，2，3，8，9，设备的外壳可设计为由多个独立的单元通过某种具有弹性的连接件连接在一起，或某种柔性材料一体成型制成；设备作为一个佩戴和紧贴在手臂或者手腕处的环，在一定范围内可以收张，以适应不同粗细的手臂；设备的内部电路可能需由多块电路板通过电线连接，或者采用但不限于柔性电路板制成；设备外壳上可有但不限于明显的佩戴位置指示信息。