CN113849068A - 一种手势多模态信息融合的理解与交互方法及其系统 - Google Patents
一种手势多模态信息融合的理解与交互方法及其系统 Download PDFInfo
- Publication number
- CN113849068A CN113849068A CN202111141081.3A CN202111141081A CN113849068A CN 113849068 A CN113849068 A CN 113849068A CN 202111141081 A CN202111141081 A CN 202111141081A CN 113849068 A CN113849068 A CN 113849068A
- Authority
- CN
- China
- Prior art keywords
- state
- gesture
- motion
- muscle
- signals
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 230000004927 fusion Effects 0.000 title claims abstract description 24
- 230000033001 locomotion Effects 0.000 claims abstract description 155
- 230000003993 interaction Effects 0.000 claims abstract description 44
- 230000008569 process Effects 0.000 claims abstract description 13
- 230000003068 static effect Effects 0.000 claims description 56
- 210000003205 muscle Anatomy 0.000 claims description 38
- 210000000707 wrist Anatomy 0.000 claims description 36
- 230000008602 contraction Effects 0.000 claims description 32
- 230000000284 resting effect Effects 0.000 claims description 31
- 238000013507 mapping Methods 0.000 claims description 28
- 230000008859 change Effects 0.000 claims description 24
- 230000009471 action Effects 0.000 claims description 22
- 230000006870 function Effects 0.000 claims description 21
- 230000009191 jumping Effects 0.000 claims description 19
- 238000005452 bending Methods 0.000 claims description 18
- 241000203475 Neopanax arboreus Species 0.000 claims description 14
- 238000004898 kneading Methods 0.000 claims description 13
- 210000003811 finger Anatomy 0.000 claims description 12
- 230000003183 myoelectrical effect Effects 0.000 claims description 12
- 230000002452 interceptive effect Effects 0.000 claims description 11
- 230000004118 muscle contraction Effects 0.000 claims description 11
- 230000000694 effects Effects 0.000 claims description 10
- 238000007781 pre-processing Methods 0.000 claims description 10
- 208000006358 Hand Deformities Diseases 0.000 claims description 9
- 210000005224 forefinger Anatomy 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 7
- 230000001360 synchronised effect Effects 0.000 abstract description 4
- 238000005516 engineering process Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 210000000245 forearm Anatomy 0.000 description 4
- 238000001514 detection method Methods 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 210000000617 arm Anatomy 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 238000002567 electromyography Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000007659 motor function Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Dermatology (AREA)
- Neurosurgery (AREA)
- Neurology (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了一种手势多模态信息融合理解与交互方法及其系统，该方法是通过表面肌电与运动惯性传感器捕获自然手势交互中的手型、轨迹、力度等多元运动要素信息；利用有限状态机模型融合并识别上述的多元手势运动要素，结构化地理解手势所表达的含义，并且能够将上述识别的运动要素灵活地映射为多种时空交叠同步的控制指令，以实现多模态复杂的控制功能。本发明能智能理解自然手势运动表达的信息，从而实现在人机交互过程中对用户手势运动意图的准确理解与表达，为自然手势交互在实际应用中面临的难题和挑战提供了新的解决方法和思路。
Description
技术领域
本发明涉及运动信息采集与处理和人机交互领域，尤其涉及一种基于多模态信息融合的手势运动意图理解与交互方法。
背景技术
手势识别是通过对手势运动信息进行检测，辨识手势类别，理解手势动作意图的技术。手势识别结果可以转换成控制命令，实现对外围设备的操控，形成一种重要的人机交互接口。按照感知手势运动的方式，现有的手势识别与交互技术包括了基于计算机视觉的方法、基于电生理信息构建的人机接口、基于惯性及运动量传感器件解析运动等方法。近年来，通过可穿戴的设备感知和识别自然手势动作进行计算机的操作和内容输入得到了人机交互领域的广泛关注。其中，表面肌电传感器和运动惯性传感器因其小体积、低成本、高便携等优势，被越来越多的消费电子设备集成，或内嵌在手环、臂环等设备中，穿戴于手臂有效感知并用于识别手势动作。
基于肌电信号的手势识别，亦归属于肌电控制技术，涉及了微弱生理信号检测、处理和应用技术，是人机交互、康复训练和智能机器人控制等领域的前沿热点。惯性传感器是通过测量其自身运动的惯性物理量，如加速度、角度旋转，可进一步解析出姿态、朝向、位移等运动量，广泛应用于工业电子和消费电子的导航、定位等领域。
由于上述两类传感器感知手势动作的便利性和原理的互补性，近年来，学术界和工业界开展了许多基于惯性传感器和表面肌电信息融合的手势识别研究。这些研究大多以扩展可识别手势种类和提升识别准确率为导向，也取得了一定的成果。然而，在这些方法中，所涉及的手势动作多挑选手指、手腕、手臂相关关节的刻板运动，将其映射为对特定自由度、方向的控制，或被赋予独立的类别标签对其含义进行解释，导致实际的手势交互过程不够自然且控制功能单一，离智能理解自然手势运动表达的信息和意图的目标还远远不够，用户接受度低。实际上，自然手势依托不同的运动要素，能够表达的信息流畅且多样，甚至其内涵还依赖不同的情境。手势运动要素包括了相对静态的手型、手部姿态，以及动态的手型变化(包括力度)、姿态变化以及挥划的轨迹(包括速度)。自然手势交互需要对识别上述手势运动各要素，融合表达的含义，并理解运动意图，仍然是经典难题和重大挑战。
发明内容
本发明为解决当下自然手势交互技术的不足，提供一种手势多模态信息融合理解与交互方法及其系统，以期能智能理解自然手势运动表达的信息，从而实现在人机交互过程中对用户手势运动意图的准确理解与表达，为自然手势交互在实际应用中面临的难题和挑战提供新的解决方法和思路。
本发明为达到上述发明目的，采用如下技术方案：
本发明一种手势多模态信息融合的理解与交互方法的特点在于，包括以下步骤：
步骤一、手势多模态信号的采集与预处理；
利用可穿戴臂环采集不同手势动作的表面肌电信号和运动传感器信号，并对所述表面肌电信号进行活动段的检测，得到手势的活动段信号；再根据所述活动段信号对所述表面肌电信号和运动传感器信号分别进行时间窗的划分，得到由表面肌电信号和运动传感器信号划分后共同组成的原始手势数据；其中，所述手势动作包括：N种静态手型、所述静态手型中的伸腕、屈腕、伸掌、五指捏合手型在不同力度下的肌肉持续收缩、所述静态手型中的握拳手型在不同速度下的手臂持续挥划移动、以及所述静态手型中的食指伸展手型下的数字0-9手写动作；
步骤二、多元手势运动要素的捕获；
步骤2.1、静态手型运动要素的捕获；
提取所述原始手势数据中的N种静态手型的表面肌电信号的时域特征以及运动传感器信号的运动姿态特征，并用于分别训练K近邻分类器，得到两个静态手型识别模型；
步骤2.2、肌肉持续收缩与力度变化运动要素的捕获；
计算所述原始手势数据中的伸腕、屈腕、伸掌、五指捏合手型在不同力度下的肌肉持续收缩的表面肌电信号的肌电平均幅值以及平均功率；
根据所述肌电平均幅值，将肌肉状态划分为肌肉持续收缩状态和静息状态，并设置相应状态的阈值；
根据所述平均功率，将肌肉收缩力度划分为静息、轻度力、重度力三种状态，并设置每种力度状态的阈值；
步骤2.3、挥划轨迹与速度变化运动要素的捕获；
检测所述原始手势数据中的握拳手型在不同速度下的手臂持续挥划移动的运动传感器信号在时间窗内x轴和z轴的欧拉角变化，从而得到手臂的挥划方向；并根据欧拉角变化大小设置相应的挥划速度；
步骤2.4、手写数字运动要素的捕获；
提取所述原始手势数据中的食指伸展手型下的数字0-9手写动作的表面肌电信号时域特征以及运动传感器信号的运动姿态特征，并用于分别训练K近邻分类器，得到两个手写数字识别模型；
步骤三、融合手势运动要素和交互指令的映射；
将N种静态手型映射为单次触发控制指令；
将伸腕、屈腕、伸掌、五指捏合手型及其力度变化和肌肉持续收缩运动要素进行融合后映射为比例控制指令和连续控制指令；
将握拳手型及其挥划轨迹和移动速度运动要素进行融合后映射为挥划跟踪控制指令；
将食指伸展手型及其手写数字运动要素进行融合后映射为手写数字输入指令；
步骤四、基于状态机对手势交互过程进行时序建模，所述状态机包含：待机状态、静息状态、持续收缩状态、挥划跟踪状态和手写数字输入状态；
步骤4.1、初始时，所述状态机处于待机状态，并拒绝识别手势；
步骤4.2、仅当检测到当前表面肌电信号的肌电平均幅值达到所设置肌肉持续收缩状态的阈值且达到重度力的时间持续一定时间时，所述状态机跳转至所述静息状态；
步骤4.3、在所述静息状态下，当检测到当前表面肌电信号的活动段时，分别利用两个静态手型识别模型对当前表面肌电信号及运动传感器信号进行静态手型的识别，相应得到两个识别结果，并设置相应的权重因子后，得到静态手型识别结果；若检测当前肌肉状态在静息状态下持续一定时间，则所述状态机重新跳转至所述待机状态；
在所述静息状态下，当识别出的静态手型为桡偏、尺偏、伸腕、屈腕、张手、五指捏合的任意一种，则输出对应的单次触发控制指令；其中，当识别出的静态手型为桡偏、尺偏时，执行完相应指令后，跳转回所述静息状态；当识别出的静态手型为伸腕、屈腕、张手、五指捏合时，则执行完相应指令后，进行步骤4.4；
在所述静息状态下，当识别出的静态手型为握拳时，则所述状态机跳转至挥划跟踪状态，并进行步骤4.5；
在所述静息状态下，当识别出的静态手型为食指伸展时，则所述状态机跳转至手写数字输入状态，并进行步骤4.6；
步骤4.4、若检测到当前肌肉状态为肌肉持续收缩状态且保持一定时间以上，则跳转至所述持续收缩状态；在所述持续收缩状态下，根据肌肉收缩力度控制所述连续控制指令的输出速度，即所述比例控制指令；
若检测到当前肌肉状态为静息状态，则跳转回所述静息状态；
步骤4.5、在所述挥划跟踪状态下，根据当前运动传感器信号在时间窗内x轴和z轴的欧拉角变化方向和变化大小，输出相应挥划方向和挥划速度的挥划跟踪控制指令；
在所述挥划跟踪状态下，当检测到当前肌肉状态为静息状态且保持一定时间，则跳转所述回静息状态；
步骤4.6、在所述手写数字输入状态下，当检测到当前表面肌电信号的活动段时，分别利用两个手写数字识别模型对当前表面肌电信号及运动传感器信号进行手写数字的识别，相应得到两个识别结果，并设置相应的权重因子后，输出手写数字识别结果；
所述手写数字输入状态下，当检测到当前肌肉状态为静息状态且保持一定时间，则跳转所述回静息状态。
本发明所述的一种手势多模态信息融合的理解与交互方法的特点也在于，所述静态手型包括：桡偏、尺偏、伸腕、屈腕、伸掌、捏合、握拳、食指伸展，且N＝8。
本发明一种手势多模态信息融合的理解与交互系统的特点在于包括以下模块：采集与预处理模块、手势运动要素捕获模块、指令映射模块、状态机时序建模模块、交互界面模块；
所述采集与预处理模块用于采集不同手势动作的表面肌电信号和运动传感器信号，并对所述表面肌电信号进行活动段的检测，得到手势的活动段信号，再根据所述活动段信号对所述表面肌电信号和运动传感器信号分别进行时间窗的划分，得到由表面肌电信号和运动传感器信号划分后共同组成的原始手势数据；
所述手势运动要素捕获模块用于捕获静态手型运动要素、肌肉持续收缩与力度变化运动要素、挥划轨迹与速度变化运动要素和手写数字运动要素；
所述指令映射模块用于将手势运动要素映射为单次触发控制指令、比例控制指令、连续控制指令、挥划跟踪控制指令、手写数字输入指令；
所述状态机时序建模模块用于手势交互过程中状态跳转和指令输出规则的时序建模，建立的状态包括：待机状态、静息状态、持续收缩状态、挥划跟踪状态和手写数字输入状态；
所述交互界面模块用于将输出的控制指令表达为计算机键盘的按键组合，并在交互界面上实现相应的控制功能，建立的控制功能包括：PPT控制、PDF控制、页面缩放、鼠标移动、数字输入。
与现有技术相比，本发明的有益效果体现在：
1、本发明提出的基于手势多模态信息融合的理解与交互方法及其系统，利用了两种传感器的可穿戴便捷性和原理的互补性，捕获自然手势交互中的多种手势运动要素，将捕获的运动要素灵活地映射为多种时空交叠同步的控制指令，建立起手势含义和控制功能之间复杂且灵活的映射关系，并通过状态机模型结构化地理解手势所表达的运动意图，丰富了手势交互的控制功能，使手势交互过程更加自然，提升了基于可穿戴设备的手势交互技术的用户接受度。
2、本发明表面肌电传感器与运动传感器体积小、成本低，便于嵌入可穿戴手表、臂环等设备，且表面肌电信号可以精确解码手指、手腕的精细运动，运动传感器信号可高效识别手势的朝向、姿态、移动信息，两者在原理上具有很强的互补性，可以融合挖掘丰富的手势运动信息。
3、本发明通过融合表面肌电信号与运动传感器信号，捕获自然手势交互过程中的多种手势运动要素，并灵活映射到多种时空交叠同步的控制指令，控制指令的某些角度的信息和多元手势运动要素识别结果直接关联，手型和力度、挥划轨迹信息可以并行变化，同时表达，丰富了手势交互功能。
4、本发明利用状态机对手势交互过程进行时序建模，将复杂的映射关系中涉及的各类条件分支和判断，转换或分解为一系列的时序逻辑关系，将上述条件分支和判断的复杂时序逻辑和控制功能用状态机高效的实现和管理。
附图说明
图1为本发明一种手势多模态信息融合理解与交互的方法整体框架图；
图2为本发明手势运动信息采集臂环的佩戴示意图；
图3为本发明静态手型识别算法框图；
图4为本发明持续收缩及力度变化检测方法流程图；
图5为本发明挥划跟踪及速度变化检测方法流程图；
图6为本发明状态机模型的状态转换示意图。
具体实施方式
本实施例中，一种手势多模态信息融合理解与交互方法，是通过采集手势动作的表面肌电信号和运动传感器信号，利用两者的融合信息捕获自然手势交互中的多种手势运动要素，通过状态机时序建模将手势所表达的运动意图准确理解，进而实现多种手势交互功能，所提方法的总体架构如图1所示。具体地说，包括以下步骤：
步骤一、手势多模态信号的采集与预处理；
利用可穿戴臂环采集不同手势动作的表面肌电信号和运动传感器信号，并进行信号预处理。在本发明实施例中，募集了10位手臂运动功能正常的成年人用户参与数据采集。采集数据之前，用户接受一定的手势动作介绍，以便他们能够顺利完成实验。可穿戴臂环以650HZ的采样率采集覆盖前臂一周的8通道表面肌电信号，以50HZ的采样率采集运动传感器信号。
数据采集开始之前，用户前臂处于放松状态并将臂环设备佩戴于前臂上，佩戴至手臂与臂环内侧的电极舒适接触接触即可。佩戴完成后，将手臂靠近PC端完成设备连接，数据通过蓝牙发送至PC端上位机。臂环的佩戴示意图如图2所示。
利用静息状态的肌电信号以及执行手势动作时的肌电信号幅值的差异对表面肌电信号进行活动段的检测，得到手势的活动段信号；再根据活动段信号对表面肌电信号和运动传感器信号分别进行时间窗的划分，将肌电信号活动段分成连续的长度为200ms的时间窗，每个相邻时间窗之间设置100ms的重叠，将对应时段的运动传感器信号也按照同样方式进行时间窗划分，得到由表面肌电信号和运动传感器信号划分后共同组成的原始手势数据；其中，手势动作包括：N种静态手型、静态手型中的伸腕、屈腕、伸掌、五指捏合手型在不同力度下的肌肉持续收缩、静态手型中的握拳手型在不同速度下的手臂持续挥划移动、以及静态手型中的食指伸展手型下的数字0-9手写动作；本实施例中，静态手型包括：桡偏、尺偏、伸腕、屈腕、伸掌、捏合、握拳、食指伸展，且N＝8。
步骤二、多元手势运动要素的捕获；
对于手势识别技术，信息融合按照空间和时间分两个方面，空间融合包括多元手势运动要素捕获与分类器决策级融合。时间融合利用状态机对手势理解和建立功能映射中时序的逻辑，将自然手势交互下复杂的控制功能和时序逻辑分解成有限的稳定功能模块和执行规则，解决了复杂功能设计的各类条件分支。本发明所涉及的手势、控制指令以及交互界面是对该方法的一种有效验证，也可根据实际需求设计不同的交互场景。
步骤2.1、静态手型运动要素的捕获；
提取原始手势数据中的N种静态手型的表面肌电信号的时域特征以及运动传感器信号的运动姿态特征，并用于分别训练K近邻分类器，得到两个静态手型识别模型，静态手型识别算法整体流程如图3所示；
具体的说，对表面肌电信号提取四个经典时域特征(Time Domain,TD)：绝对值平均(Mean Absolute Value，MAV)、波形长度(Waveform Length，WL)、过零点数(ZeroCrossings，ZC)和斜率符号变化数(Slope Sign Changes，SSC)，它们的计算公式分别如下：
①平均绝对值(Mean Absolute Value，MAV)：
式(1)中，xk是第活动段i的第k个样本，L是每个活动段的样本点数，I是活动段的数量。
②波形长度(Waveform Length，WL)提供每个段中波形复杂性信息的功能是波形长度。是段上波形的累积长度，定义为：
式(2)中，Δxk＝xk-xk+1，结果值为每个活动段波形的总长度，可以表示在单个参数内的波形幅度，频率和持续时间的度量。
③过零点数(Zero Crossings，ZC)：通过计算波形过零的次数可以获得简单的频率测量，其中在过零点数计算中必须包括阈值ε以减少噪声引起的过零点。给定两个连续样本xk和xk+1，如果满足式(3)，则过零点计数加一。
{xk＞0 and xk+1＜0}or{xk＜0 and xk+1＞0}and|xk-xk+1|≥ε (3)
④斜率符号变化数(Slope SignChanges，SSC)：斜率符号变化数是统计信号在单位时间内斜率符号发生变化的次数。阈值ε用来减少噪声对斜率符号变化数的干扰。通过记录表面肌电信号的三个连续值xk-1，xk和xk+1，若其满足式(4)，则斜率符号变化数加一。
{xk＞xk-1and xk＞xk+1}or{xk＜xk-1and xk＜xk+1}
and|xk-xk+1|≥εor|xk-xk-1|≥ε (4)
对运动传感器信号提取运动姿态特征，本实例中以每个窗欧拉角的平均变化值作为特征。具体计算方式如式(5)，其中Ei为第i窗欧拉角平均值，L为样本的窗数，E为最终所求的欧拉角平均变化值。
步骤2.2、肌肉持续收缩与力度变化运动要素的捕获；
计算原始手势数据中的伸腕、屈腕、伸掌、五指捏合手型在不同力度下的肌肉持续收缩的表面肌电信号的肌电平均幅值以及平均功率，如图4所示；
根据肌电平均幅值，将肌肉状态划分为肌肉持续收缩状态和静息状态，并设置相应状态的阈值；
根据平均功率，将肌肉收缩力度划分为静息、轻度力、重度力三种状态，并设置每种力度状态的阈值；
步骤2.3、挥划轨迹与速度变化运动要素的捕获；
检测原始手势数据中的握拳手型在不同速度下的手臂持续挥划移动的运动传感器信号在时间窗内x轴和z轴的欧拉角变化，从而得到手臂的挥划方向；并根据欧拉角变化大小设置相应的挥划速度，如图5所示；
步骤2.4、手写数字运动要素的捕获；
提取原始手势数据中的食指伸展手型下的数字0-9手写动作的表面肌电信号时域特征以及运动传感器信号的运动姿态特征，并用于分别训练K近邻分类器，得到两个手写数字识别模型；
步骤三、融合手势运动要素和交互指令的映射；
将N种静态手型映射为单次触发控制指令；
将伸腕、屈腕、伸掌、五指捏合手型及其力度变化和肌肉持续收缩运动要素进行融合后映射为比例控制指令和连续控制指令；
将握拳手型及其挥划轨迹和移动速度运动要素进行融合后映射为挥划跟踪控制指令；
将食指伸展手型及其手写数字运动要素进行融合后映射为手写数字输入指令；
步骤四、基于状态机对手势交互过程进行时序建模，状态机包含：待机状态、静息状态、持续收缩状态、挥划跟踪状态和手写数字输入状态，具体的状态转换图如图6所示，状态转移表如表1所示：
表1：
步骤4.1、初始时，状态机处于待机状态，并拒绝识别手势；
步骤4.2、仅当检测到当前表面肌电信号的肌电平均幅值达到所设置肌肉持续收缩状态的阈值且达到重度力的时间持续一定时间时，状态机跳转至静息状态；
步骤4.3、在静息状态下，当检测到当前表面肌电信号的活动段时，分别利用两个静态手型识别模型对当前表面肌电信号及运动传感器信号进行静态手型的识别，相应得到两个识别结果，并设置相应的权重因子后，得到静态手型识别结果：
P＝P1iW1+P2iW2(i＝1,2,...,n) (6)
式(6)为决策融合计算公式，其中，P1i和P2i分别代表肌电分类器和运动传感器分类器所输出的类别概率，W1和W2分别为两者的权重因子，这里分别设置为0.6和0.4，n为类别数，P为融合后的类别概率，将概率最大的类别作为识别结果。
若检测当前肌肉状态在静息状态下持续一定时间，则状态机重新跳转至待机状态；
在静息状态下，当识别出的静态手型为桡偏、尺偏、伸腕、屈腕、张手、五指捏合的任意一种，则输出对应的单次触发控制指令；其中，当识别出的静态手型为桡偏、尺偏时，执行完相应指令后，跳转回静息状态；当识别出的静态手型为伸腕、屈腕、张手、五指捏合时，则执行完相应指令后，进行步骤4.4；
在静息状态下，当识别出的静态手型为握拳时，则状态机跳转至挥划跟踪状态，并进行步骤4.5；
在静息状态下，当识别出的静态手型为食指伸展时，则状态机跳转至手写数字输入状态，并进行步骤4.6；
步骤4.4、若检测到当前肌肉状态为肌肉持续收缩状态且保持一定时间以上，则跳转至持续收缩状态；在持续收缩状态下，根据肌肉收缩力度控制连续控制指令的输出速度，即比例控制指令；具体方法如图4所示，与手势活动段检测方法类似，通过计算肌电平均幅值，检测肌肉是否处于持续收缩状态。利用平均功率特征，将力度大小分为静息、轻度力、重度力三种状态。
式(7)为平均功率计算公式，式中y(j)为采集到的动作信号，L为所划分时间窗的窗长。
若检测到当前肌肉状态为静息状态，则跳转回静息状态；
步骤4.5、在挥划跟踪状态下，根据当前运动传感器信号在时间窗内x轴和z轴的欧拉角变化方向和变化大小，输出相应挥划方向和挥划速度的挥划跟踪控制指令；
在挥划跟踪状态下，当检测到当前肌肉状态为静息状态且保持一定时间，则跳转回静息状态；
步骤4.6、在手写数字输入状态下，当检测到当前表面肌电信号的活动段时，分别利用两个手写数字识别模型对当前表面肌电信号及运动传感器信号进行手写数字的识别，相应得到两个识别结果，并设置相应的权重因子后，在决策融合阶段，肌电和运动传感器权重因子分别为0.4和0.6。输出手写数字识别结果；
手写数字输入状态下，当检测到当前肌肉状态为静息状态且保持一定时间，则跳转回静息状态。
本实施例中，一种手势多模态信息融合的理解与交互系统，包括：采集与预处理模块、手势运动要素捕获模块、指令映射模块、状态机时序建模模块、交互界面模块；
采集与预处理模块用于采集不同手势动作的表面肌电信号和运动传感器信号，并对表面肌电信号进行活动段的检测，得到手势的活动段信号，再根据活动段信号对表面肌电信号和运动传感器信号分别进行时间窗的划分，得到由表面肌电信号和运动传感器信号划分后共同组成的原始手势数据；
手势运动要素捕获模块用于捕获静态手型运动要素、肌肉持续收缩与力度变化运动要素、挥划轨迹与速度变化运动要素和手写数字运动要素；
指令映射模块用于将手势运动要素映射为单次触发控制指令、比例控制指令、连续控制指令、挥划跟踪控制指令、手写数字输入指令，映射功能如表2所示；
表2：
状态机时序建模模块用于手势交互过程中复杂的状态跳转和指令输出规则的时序建模，建立的状态包括：待机状态、静息状态、持续收缩状态、挥划跟踪状态和手写数字输入状态；
交互界面模块用于将输出的控制指令表达为计算机键盘的按键组合，用于在交互界面上实现相应的控制功能，建立的控制功能包括：PPT控制、PDF控制、页面缩放、鼠标移动、数字输入。
综上所述，本发明可以有效地捕获自然手势交互中的多元手势运动要素，并通过有限状态机模型对手势交互过程进行时序建模，将识别的运动要素灵活地映射为多种时空交叠同步的控制指令，使计算机能够充分理解与表达手势的含义，以实现多模态复杂的交互控制功能。本发明所提出的手势交互方法实现起来简单高效，提供了一种新的支持时空交叠复杂控制功能的手势交互策略，为手势交互技术实际应用中面临的动作指令不够自然，控制功能有限的难题和挑战提供了新的解决方法和思路。
Claims (3)
1.一种手势多模态信息融合的理解与交互方法，其特征在于，包括以下步骤：
步骤一、手势多模态信号的采集与预处理；
利用可穿戴臂环采集不同手势动作的表面肌电信号和运动传感器信号，并对所述表面肌电信号进行活动段的检测，得到手势的活动段信号；再根据所述活动段信号对所述表面肌电信号和运动传感器信号分别进行时间窗的划分，得到由表面肌电信号和运动传感器信号划分后共同组成的原始手势数据；其中，所述手势动作包括：N种静态手型、所述静态手型中的伸腕、屈腕、伸掌、五指捏合手型在不同力度下的肌肉持续收缩、所述静态手型中的握拳手型在不同速度下的手臂持续挥划移动、以及所述静态手型中的食指伸展手型下的数字0-9手写动作；
步骤二、多元手势运动要素的捕获；
步骤2.1、静态手型运动要素的捕获；
提取所述原始手势数据中的N种静态手型的表面肌电信号的时域特征以及运动传感器信号的运动姿态特征，并用于分别训练K近邻分类器，得到两个静态手型识别模型；
步骤2.2、肌肉持续收缩与力度变化运动要素的捕获；
计算所述原始手势数据中的伸腕、屈腕、伸掌、五指捏合手型在不同力度下的肌肉持续收缩的表面肌电信号的肌电平均幅值以及平均功率；
根据所述肌电平均幅值，将肌肉状态划分为肌肉持续收缩状态和静息状态，并设置相应状态的阈值；
根据所述平均功率，将肌肉收缩力度划分为静息、轻度力、重度力三种状态，并设置每种力度状态的阈值；
步骤2.3、挥划轨迹与速度变化运动要素的捕获；
检测所述原始手势数据中的握拳手型在不同速度下的手臂持续挥划移动的运动传感器信号在时间窗内x轴和z轴的欧拉角变化，从而得到手臂的挥划方向；并根据欧拉角变化大小设置相应的挥划速度；
步骤2.4、手写数字运动要素的捕获；
提取所述原始手势数据中的食指伸展手型下的数字0-9手写动作的表面肌电信号时域特征以及运动传感器信号的运动姿态特征，并用于分别训练K近邻分类器，得到两个手写数字识别模型；
步骤三、融合手势运动要素和交互指令的映射；
将N种静态手型映射为单次触发控制指令；
将伸腕、屈腕、伸掌、五指捏合手型及其力度变化和肌肉持续收缩运动要素进行融合后映射为比例控制指令和连续控制指令；
将握拳手型及其挥划轨迹和移动速度运动要素进行融合后映射为挥划跟踪控制指令；
将食指伸展手型及其手写数字运动要素进行融合后映射为手写数字输入指令；
步骤四、基于状态机对手势交互过程进行时序建模，所述状态机包含：待机状态、静息状态、持续收缩状态、挥划跟踪状态和手写数字输入状态；
步骤4.1、初始时，所述状态机处于待机状态，并拒绝识别手势；
步骤4.2、仅当检测到当前表面肌电信号的肌电平均幅值达到所设置肌肉持续收缩状态的阈值且达到重度力的时间持续一定时间时，所述状态机跳转至所述静息状态；
步骤4.3、在所述静息状态下，当检测到当前表面肌电信号的活动段时，分别利用两个静态手型识别模型对当前表面肌电信号及运动传感器信号进行静态手型的识别，相应得到两个识别结果，并设置相应的权重因子后，得到静态手型识别结果；若检测当前肌肉状态在静息状态下持续一定时间，则所述状态机重新跳转至所述待机状态；
在所述静息状态下，当识别出的静态手型为桡偏、尺偏、伸腕、屈腕、张手、五指捏合的任意一种，则输出对应的单次触发控制指令；其中，当识别出的静态手型为桡偏、尺偏时，执行完相应指令后，跳转回所述静息状态；当识别出的静态手型为伸腕、屈腕、张手、五指捏合时，则执行完相应指令后，进行步骤4.4；
在所述静息状态下，当识别出的静态手型为握拳时，则所述状态机跳转至挥划跟踪状态，并进行步骤4.5；
在所述静息状态下，当识别出的静态手型为食指伸展时，则所述状态机跳转至手写数字输入状态，并进行步骤4.6；
步骤4.4、若检测到当前肌肉状态为肌肉持续收缩状态且保持一定时间以上，则跳转至所述持续收缩状态；在所述持续收缩状态下，根据肌肉收缩力度控制所述连续控制指令的输出速度，即所述比例控制指令；
若检测到当前肌肉状态为静息状态，则跳转回所述静息状态；
步骤4.5、在所述挥划跟踪状态下，根据当前运动传感器信号在时间窗内x轴和z轴的欧拉角变化方向和变化大小，输出相应挥划方向和挥划速度的挥划跟踪控制指令；
在所述挥划跟踪状态下，当检测到当前肌肉状态为静息状态且保持一定时间，则跳转所述回静息状态；
步骤4.6、在所述手写数字输入状态下，当检测到当前表面肌电信号的活动段时，分别利用两个手写数字识别模型对当前表面肌电信号及运动传感器信号进行手写数字的识别，相应得到两个识别结果，并设置相应的权重因子后，输出手写数字识别结果；
所述手写数字输入状态下，当检测到当前肌肉状态为静息状态且保持一定时间，则跳转所述回静息状态。
2.根据权利要求1所述的一种手势多模态信息融合的理解与交互方法，其特征在于，所述静态手型包括：桡偏、尺偏、伸腕、屈腕、伸掌、捏合、握拳、食指伸展，且N＝8。
3.一种手势多模态信息融合的理解与交互系统，其特征在于包括以下模块：采集与预处理模块、手势运动要素捕获模块、指令映射模块、状态机时序建模模块、交互界面模块；
所述采集与预处理模块用于采集不同手势动作的表面肌电信号和运动传感器信号，并对所述表面肌电信号进行活动段的检测，得到手势的活动段信号，再根据所述活动段信号对所述表面肌电信号和运动传感器信号分别进行时间窗的划分，得到由表面肌电信号和运动传感器信号划分后共同组成的原始手势数据；
所述手势运动要素捕获模块用于捕获静态手型运动要素、肌肉持续收缩与力度变化运动要素、挥划轨迹与速度变化运动要素和手写数字运动要素；
所述指令映射模块用于将手势运动要素映射为单次触发控制指令、比例控制指令、连续控制指令、挥划跟踪控制指令、手写数字输入指令；
所述状态机时序建模模块用于手势交互过程中状态跳转和指令输出规则的时序建模，建立的状态包括：待机状态、静息状态、持续收缩状态、挥划跟踪状态和手写数字输入状态；
所述交互界面模块用于将输出的控制指令表达为计算机键盘的按键组合，并在交互界面上实现相应的控制功能，建立的控制功能包括：PPT控制、PDF控制、页面缩放、鼠标移动、数字输入。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111141081.3A CN113849068B (zh) | 2021-09-28 | 2021-09-28 | 一种手势多模态信息融合的理解与交互方法及其系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111141081.3A CN113849068B (zh) | 2021-09-28 | 2021-09-28 | 一种手势多模态信息融合的理解与交互方法及其系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN113849068A true CN113849068A (zh) | 2021-12-28 |
| CN113849068B CN113849068B (zh) | 2024-03-29 |
Family
ID=78980678
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111141081.3A Active CN113849068B (zh) | 2021-09-28 | 2021-09-28 | 一种手势多模态信息融合的理解与交互方法及其系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN113849068B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115114962A (zh) * | 2022-07-19 | 2022-09-27 | 歌尔股份有限公司 | 基于表面肌电信号的控制方法、装置及可穿戴设备 |
| WO2023178984A1 (en) * | 2022-03-25 | 2023-09-28 | Huawei Technologies Co., Ltd. | Methods and systems for multimodal hand state prediction |
| CN117170982A (zh) * | 2023-11-02 | 2023-12-05 | 建信金融科技有限责任公司 | 人机检测方法、装置、电子设备和计算机可读介质 |
Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090327171A1 (en) * | 2008-06-26 | 2009-12-31 | Microsoft Corporation | Recognizing gestures from forearm emg signals |
| CN103853333A (zh) * | 2014-03-21 | 2014-06-11 | 上海威璞电子科技有限公司 | 一种手势控制玩具的方案 |
| CN104199546A (zh) * | 2014-08-31 | 2014-12-10 | 上海威璞电子科技有限公司 | 基于腕带和手环类产品采用四种手势实现控制的方法 |
| CN105117003A (zh) * | 2014-09-25 | 2015-12-02 | 上海傲意信息科技有限公司 | 智能穿戴设备及其工作方法 |
| CN105446461A (zh) * | 2014-06-24 | 2016-03-30 | 北京创思博德科技有限公司 | 手势识别方法及使用该方法的手掌虚拟键盘及其输入方法 |
| US20160091980A1 (en) * | 2014-09-30 | 2016-03-31 | Apple Inc. | Motion and gesture input from a wearable device |
| JP2017027600A (ja) * | 2015-07-23 | 2017-02-02 | 株式会社リコー | 手振り識別方法と装置 |
| CN106406544A (zh) * | 2016-11-21 | 2017-02-15 | 中国兵器工业计算机应用技术研究所 | 一种语义式人机自然交互控制方法及系统 |
| CN110069199A (zh) * | 2019-03-29 | 2019-07-30 | 中国科学技术大学 | 一种基于智能手表的皮肤式手指手势识别方法 |
| WO2020122272A1 (ko) * | 2018-12-11 | 2020-06-18 | 상명대학교 산학협력단 | 웨어러블 디바이스 및 이의 제스처 인식 방법 |
| CN111813224A (zh) * | 2020-07-09 | 2020-10-23 | 电子科技大学 | 一种基于超高分辨率雷达精细手势库的建立与识别方法 |
| CN112069483A (zh) * | 2020-09-14 | 2020-12-11 | 中国科学技术大学 | 一种智能可穿戴设备的用户识别认证方法 |
| CN112462940A (zh) * | 2020-11-25 | 2021-03-09 | 苏州科技大学 | 智能家居多模态人机自然交互系统及其方法 |
-
2021
- 2021-09-28 CN CN202111141081.3A patent/CN113849068B/zh active Active
Patent Citations (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20090327171A1 (en) * | 2008-06-26 | 2009-12-31 | Microsoft Corporation | Recognizing gestures from forearm emg signals |
| CN103853333A (zh) * | 2014-03-21 | 2014-06-11 | 上海威璞电子科技有限公司 | 一种手势控制玩具的方案 |
| CN105446461A (zh) * | 2014-06-24 | 2016-03-30 | 北京创思博德科技有限公司 | 手势识别方法及使用该方法的手掌虚拟键盘及其输入方法 |
| CN104199546A (zh) * | 2014-08-31 | 2014-12-10 | 上海威璞电子科技有限公司 | 基于腕带和手环类产品采用四种手势实现控制的方法 |
| CN105117003A (zh) * | 2014-09-25 | 2015-12-02 | 上海傲意信息科技有限公司 | 智能穿戴设备及其工作方法 |
| US20160091980A1 (en) * | 2014-09-30 | 2016-03-31 | Apple Inc. | Motion and gesture input from a wearable device |
| JP2017027600A (ja) * | 2015-07-23 | 2017-02-02 | 株式会社リコー | 手振り識別方法と装置 |
| CN106406544A (zh) * | 2016-11-21 | 2017-02-15 | 中国兵器工业计算机应用技术研究所 | 一种语义式人机自然交互控制方法及系统 |
| WO2020122272A1 (ko) * | 2018-12-11 | 2020-06-18 | 상명대학교 산학협력단 | 웨어러블 디바이스 및 이의 제스처 인식 방법 |
| CN110069199A (zh) * | 2019-03-29 | 2019-07-30 | 中国科学技术大学 | 一种基于智能手表的皮肤式手指手势识别方法 |
| CN111813224A (zh) * | 2020-07-09 | 2020-10-23 | 电子科技大学 | 一种基于超高分辨率雷达精细手势库的建立与识别方法 |
| CN112069483A (zh) * | 2020-09-14 | 2020-12-11 | 中国科学技术大学 | 一种智能可穿戴设备的用户识别认证方法 |
| CN112462940A (zh) * | 2020-11-25 | 2021-03-09 | 苏州科技大学 | 智能家居多模态人机自然交互系统及其方法 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023178984A1 (en) * | 2022-03-25 | 2023-09-28 | Huawei Technologies Co., Ltd. | Methods and systems for multimodal hand state prediction |
| US11782522B1 (en) | 2022-03-25 | 2023-10-10 | Huawei Technologies Co., Ltd. | Methods and systems for multimodal hand state prediction |
| CN115114962A (zh) * | 2022-07-19 | 2022-09-27 | 歌尔股份有限公司 | 基于表面肌电信号的控制方法、装置及可穿戴设备 |
| CN117170982A (zh) * | 2023-11-02 | 2023-12-05 | 建信金融科技有限责任公司 | 人机检测方法、装置、电子设备和计算机可读介质 |
| CN117170982B (zh) * | 2023-11-02 | 2024-02-13 | 建信金融科技有限责任公司 | 人机检测方法、装置、电子设备和计算机可读介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN113849068B (zh) | 2024-03-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Guo et al. | Human-machine interaction sensing technology based on hand gesture recognition: A review | |
| CN113849068B (zh) | 一种手势多模态信息融合的理解与交互方法及其系统 | |
| Dong et al. | Dynamic hand gesture recognition based on signals from specialized data glove and deep learning algorithms | |
| Li et al. | Automatic recognition of sign language subwords based on portable accelerometer and EMG sensors | |
| Gu et al. | Human gesture recognition through a kinect sensor | |
| JP3630712B2 (ja) | ジェスチャー入力方法及びその装置 | |
| Zhang et al. | Recognizing hand gestures with pressure-sensor-based motion sensing | |
| Wu et al. | A Visual-Based Gesture Prediction Framework Applied in Social Robots. | |
| CN103853333A (zh) | 一种手势控制玩具的方案 | |
| CN114265498B (zh) | 一种多模态手势识别和视觉反馈机制结合的方法 | |
| CN107678550A (zh) | 一种基于数据手套的手语手势识别系统 | |
| Stančić et al. | Gesture recognition system for real-time mobile robot control based on inertial sensors and motion strings | |
| CN111399640A (zh) | 一种面向柔性臂的多模态人机交互控制方法 | |
| CN109583294B (zh) | 一种基于运动生物力学的多模式人体行为识别方法 | |
| CN107292295B (zh) | 手势分割方法及装置 | |
| Xu et al. | Wearable muscle movement information measuring device based on acceleration sensor | |
| Chang et al. | A hierarchical hand motions recognition method based on IMU and sEMG sensors | |
| Wang et al. | Wearable sensors-based hand gesture recognition for human–robot collaboration in construction | |
| Prasad et al. | A wireless dynamic gesture user interface for HCI using hand data glove | |
| Shin et al. | Robustness of using dynamic motions and template matching to the limb position effect in myoelectric classification | |
| Avadut et al. | A deep learning based iot framework for assistive healthcare using gesture based interface | |
| Min et al. | Highly-accurate gesture recognition based on ResNet with low-budget data gloves | |
| Srinivas et al. | Study of hand gesture recognition and classification | |
| Dhamanskar et al. | Human computer interaction using hand gestures and voice | |
| Bulugu | Real-time Complex Hand Gestures Recognition Based on Multi-Dimensional Features. |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |