CN111367399A - 一种表面肌电信号手势识别方法 - Google Patents

一种表面肌电信号手势识别方法 Download PDF

Info

Publication number
CN111367399A
CN111367399A CN201811597866.XA CN201811597866A CN111367399A CN 111367399 A CN111367399 A CN 111367399A CN 201811597866 A CN201811597866 A CN 201811597866A CN 111367399 A CN111367399 A CN 111367399A
Authority
CN
China
Prior art keywords
polar
gesture recognition
coordinate system
electromyographic
recognition method
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201811597866.XA
Other languages
English (en)
Other versions
CN111367399B (zh
Inventor
赵新刚
徐壮
王丰焱
李自由
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shenyang Institute of Automation of CAS
Original Assignee
Shenyang Institute of Automation of CAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shenyang Institute of Automation of CAS filed Critical Shenyang Institute of Automation of CAS
Priority to CN201811597866.XA priority Critical patent/CN111367399B/zh
Publication of CN111367399A publication Critical patent/CN111367399A/zh
Application granted granted Critical
Publication of CN111367399B publication Critical patent/CN111367399B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明涉及一种表面肌电信号手势识别方法,采集不同手部动作下的肌电数据,根据特征函数对肌电数据进行特征提取,形成样本空间;构建极坐标系,并将肌电信号的样本点绘制在所构建的极坐标系内;利用矢量叠加方法计算当前手部动作下的活跃极角,并进行偏移角度估计;通过线性变换矩阵方法,根据偏移角度对肌电信号进行自适应校正,将自适应校正结果输入分类器,输出手部动作识别结果。本发明所述的方法有效地解决了因电极位置偏差而导致识别模型无法通用的问题,从而有效地提升了表面肌电交互系统的识别能力,具有重要的理论意义与实用价值。

Description

一种表面肌电信号手势识别方法
技术领域
本发明涉及生物信号识别技术领域,具体地说是一种表面肌电信号手势识别方法。
背景技术
表面肌电信号是由运动关联肌肉的运动单元动作电位沿着肌纤维方向传播,在人体皮肤表面形成反映肌肉收缩状态的叠加电信号。该信号载有丰富的人体行为运动信息,通过一系列解码方法可获取人体运动意图,因此表面肌电信号被广泛应用于机器人交互中,尤其是助力机器人、康复机器人与假肢系统等。相比与传统的程式控制机器人交互方式,基于表面肌电信号的人机交互方式赋予了机器人智能性与认知能力,具有主动感知人行为意图的能力,有利于实现复杂环境下人机共融,并完成复杂任务。
目前部分商业假肢利用表面肌电信号活跃阈值作为动作识别的重要依据,但该方法仅适用于少量动作识别场合,不具有良好的模型泛化能力。在实际基于表面肌电人机交互系统的推广使用中,尤其是基于表面肌电的假肢系统,往往由于前后两次使用电极粘贴位置不同导致识别精度较差。一方面如果要求用户,尤其是残疾者几乎精确匹配初始位置,这几乎是不现实的;另一方面,每次重新粘贴表面肌电信号传感器后,如果忽略前后两次电极位置略有偏移的关联关系,要求用户从零开始完整训练一个识别模型,这明显会大大增加了用户,尤其是患者的使用与学习负担。
发明内容
针对现有技术的不足,本发明提供一种表面肌电信号手势识别方法,提高了表面肌电交互系统动作识别的准确率,也减少了使用者在多次使用时训练、学习的时间成本与负担。
本发明为实现上述目的所采用的技术方案是:
一种表面肌电信号手势识别方法,包括以下步骤:
步骤1:采集不同手部动作下的肌电数据,根据特征函数对肌电数据进行特征提取,形成样本空间;
步骤2:构建极坐标系,并将肌电信号的样本点绘制在所构建的极坐标系内;
步骤3:利用矢量叠加方法计算当前手部动作下的活跃极角,并进行偏移角度估计;
步骤4:通过线性变换矩阵方法,根据偏移角度对肌电信号进行自适应校正,将自适应校正结果输入分类器,输出手部动作识别结果。
所述根据特征函数对肌电数据进行特征提取,包括:
采用平均绝对值作为特征函数,对采集的肌电数据进行特征提取,得到不同手部动作的样本空间。
所述构建极坐标系,包括:
基于8通道环形肌电传感器,将通道0所在的方向与中指方向重合,定义该方向为极坐标系的0°极轴初始位置,其他通道以45°间隔顺次分布,对应极坐标系的极角方向。
所述将肌电信号的样本点绘制在所构建的极坐标系内,包括:
8通道环形肌电传感器的某个八维样本点pi,j,将pi,j以有序数对(pi,j,45j)绘制在极坐标系内,其中pi,j表示来自第i个样本、通道j的肌电MAV特征值,通道0的特征值绘制在0°极轴上,依次分布,各散点的极径为特征值大小。
所述利用矢量叠加方法计算当前手部动作下的活跃极角,包括:
Figure BDA0001921766040000031
Figure BDA0001921766040000032
其中,α为活跃极角,m表示某动作标签引导下8s时间内采集并经滑动窗特征提取共产生的样本量。
所述偏移角度为:前后两次活跃极角的偏差。
所述对肌电信号进行自适应校正,包括:
通过线性变换矩阵,对各特殊位置之间的映射关系分段线性化,将Δα拓展到[0°,360°)内,矩阵表达形式如下:
Figure BDA0001921766040000033
由此拓展到初始8通道肌电MAV特征值与偏移后肌电MAV特征值之间的线性映射关系,矩阵表达形式如下:
Figure BDA0001921766040000034
Figure BDA0001921766040000035
所述分类器包括支持向量机。
本发明具有以下有益效果及优点:
1.本发明有效的解决了电极位置偏移对手势识别精度的影响,极大地改善由电极偏移带来的识别精度恶化问题,提高了手势识别系统的稳定性与鲁棒性;
2.本发明仅需使用不完整类别的少量样本数据,即可准确地利用线性变换矩阵将偏移后的数据映射到原始样本空间,通过不完整类别信息估计线性变换矩阵,并利用已经训练完成的多分类模型实现具有完整类别分类的能力;
3.本发明基于通用模型实现偏移更新,取消了模型的重新训练过程,极大降低了训练数据采集以及设备适应的时间,仅需利用初始的手势识别模型,即可获得较高的动作识别正确率,更有利于基于表面肌电信号的智能交互系统在实际应用中的推广。
附图说明
图1是本发明的方法流程图;
图2是本发明的极坐标系构建示意图;
图3是本发明的传感器电极偏移图;
图4是本发明的电极偏移下的肌电信号散点分布及活跃极角图;
图5是本发明在不同偏移程度下的手势识别精度对比图;
图6是本发明在实际偏移角度下的手势识别精度对比图。
具体实施方式
下面结合附图及实施例对本发明做进一步的详细说明。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图对本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明。但本发明能够以很多不同于在此描述的其他方式来实施,本领域技术人员可以在不违背发明内涵的情况下做类似改进,因此本发明不受下面公开的具体实施的限制。
除非另有定义,本文所使用的所有的技术和科学术语与属于本发明的技术领域的技术人员通常理解的含义相同。本文中在发明的说明书中所使用的术语只是为了描述具体的实施例的目的,不是旨在于限制本发明。
如图1所示是本发明的方法流程图;
首先,按照电脑显示的动作引导图片执行手部动作,通过常用表面肌电信号传感器MYO完成数据采集。手部动作包括:休息,握拳,展掌,剪刀手,捏食指,捏中指,内翻和外翻。休息手势作为其他7种动作的过渡状态;动作状态与休息状态分别持续8秒和6秒,完成一个周期,约98秒((8+6)×7=98秒);略作休息,被试者重复执行上述过程3次,该过程采集到的数据集记为
Figure BDA0001921766040000051
其次,标记MYO指示灯所在的通道指向手部中指方向作为初始位置。在初始采集位置基础上,仅沿着垂直于肌纤维方向逆时针旋转任意角度,重复上述动作引导过程,采集不同真实电极偏移程度下的表面肌电信号。
使用常用时域特征平均绝对值作为特征提取函数;设置时间窗为200毫秒和增量窗为60毫秒(对应LW=10和LI=3)。因此,通过原始八通道表面肌电信号传感器数据,经特征提取形成八维样本空间。
Figure BDA0001921766040000052
其中LW为窗长,LI为滑动长度。
如图2所示是本发明的极坐标系构建示意图;
以通道0所在的方向为极坐标的0°初始位置,通道1,2,3,…,7分别为极坐标的45°,90°,135°,…,315°极角方向;将八通道表面肌电信号的平均绝对值(MAV)特征值分别作为各个极角上的极径。
针对某个样本点pij=(pi,0,pi,1,pi,2,pi,3,pi,4,pi,5,pi,6,pi,7),其中pi,j表示来自第i个样本、通道j的MAV特征值,并将pi,j以有序数对(pi,j,45j)绘制在极坐标系内。即通道0的特征值绘制在0°极轴上,通道1绘制在45°极轴上,依次,通道7绘制在315°极轴上,其中各散点的极径为特征值大小。
将极坐标内的点作为矢量,或者转换成直角坐标系内
Figure BDA0001921766040000061
利用矢量叠加计算该动作下活跃极角α:
Figure BDA0001921766040000062
Figure BDA0001921766040000063
其中,m表示某动作标签引导下8s时间内采集并经特征提取共产生的样本量。
在环形电极偏转过程中,令极坐标系的起始位置始终为通道0所在的方向。因此,当环形电极与肌肉之间发生相对偏移时,由于同一个动作引起几乎相同的肌肉收缩状态,对应于极坐标系内就会有不同分布,即可重新计算电极偏移后对应的活跃极角。不同位置活跃极角的偏差Δα即为环形电极相对于初始肌肉位置的偏移量。
如图3所示是本发明的传感器电极偏移图;
假设偏转后的通道信号仅由原来相邻两通道贡献,那么偏移后的通道0主要来自于偏移前通道0和通道1;并且偏移量与距离两者的偏角成正比。即当Δα∈[0°,45°)可表示如下:
Figure BDA0001921766040000064
将Δα拓展到[0°,360°)内,并写成矩阵形式可表示如下:
Figure BDA0001921766040000071
并由此拓展到初始8通道肌电MAV特征值与偏移后肌电MAV特征值之间的线性映射关系,矩阵表达形式如下:
T8×8(Δα)=(Ti,j)8×8=(f(Δα-(i-j)·45°))8×8
Figure BDA0001921766040000072
为了检验所述电极偏移估计与自动校正方法的合理性,通过模拟电极偏移,计算相邻之间活跃极角之间的差异Δα,并对比校正前后的手势识别精度,判断方法的有效性。
由于MYO臂环为8通道环形表面肌电传感器,并且每个通道仅提取了一个时域特征MAV,即得到样本矩阵X:
Figure BDA0001921766040000073
其中m表示样本量,
Figure BDA0001921766040000074
的维度为(m,1)表示i通道上提取的所有特征值。
因此,如果各列通道特征值进行左循环平移τ列(τ=0,1,2,3,4,5,6,7,8),对应模拟了实际MYO臂环逆时针旋转τ·45°,或手臂相对于MYO闭环顺时针旋转τ·45°,8通道的环形传感器可以将相邻通道之间的偏差角度定义为45°=360°/8。如当τ=1时,将偏移后的样本矩阵可以如下表示:
Figure BDA0001921766040000075
如图4所示是本发明的电极偏移下的肌电信号散点分布及活跃极角图;
通过样本矩阵各列左循环平移模拟了电极偏移情况(τ=0,1,2,3,4,5,6,7,8),由于所建立的极坐标系相对于MYO各通道静止,样本矩阵左循环平移,等价于肌肉相对MYO臂环为顺时针变化;因此在图中所有极坐标内,样本点分布呈现顺时针变化趋势。
如图5所示是本发明在不同偏移程度下的手势识别精度对比图;
在偏移角度估计的基础上,利用所提的自校正算法完成偏移校正,并对比自适应校正数据与未校正偏移数据的手势识别精度,从图中可以看出。在利用各通道左循环平移模拟电极偏移实验中,对比结果表明电极位置偏移极大地降低了手势识别精度;并且在环绕一周[0°,360°)偏移过程中,识别精度呈现先下降后上升的趋势,当偏移角度为180°附近时精度最低。这是由于Myo臂环在旋转过程中,当偏移角度为180°,各个电极此时所对应的肌肉位置与初始肌肉位置偏差最大、距离最远。
而经过本发明所述方法自动校正后的手势识别精度非常高,所有模拟电极偏移的识别结果均接近100%;并且从实验数据上来看,基于极坐标的偏移角度估计方法恰好能够精准估计出由样本集各列左循环平移模拟产生的45°电极偏移量,得到了与初始位置完全一致的样本集,因此具有与初始分类模型训练集几乎一致的识别精度。
同时,为更进一步说明本发明所述方法的有益效果,在实际中进行了环形MYO腕带相对于小臂肌肉肌纤维垂直方向偏转的实验验证,通过数据采集与处理、偏移角度估计与自动校正,以及手势识别精度的量化进行比较。
在初始位置的基础上,将环形MYO腕带沿着肌纤维垂直方向递增地偏转9次,近似完成绕小臂一周的旋转偏移。电极处于任意位置上,均按照规定的实验采集过程,获取不同动作下的表面肌电信号数据,每个位置重复采集数据4次,并通过本发明所述方法对所采集得数据进行特征提取,完成偏移角度估计及自适应校正,通过采用相同分类方法完成手势动作的识别。
如图6所示是本发明在实际偏移角度下的手势识别精度对比图。
图中横坐标表示基于极坐标系的偏移角度估计均值,纵坐标表示手势识别精度。
从图中可以看出偏移数据与校正后数据的手势识别精度随着偏转程度的变化趋势与模拟电极偏移实验效果基本一致。通过对比电极偏移干扰数据与校正后数据的手势识别精度可以看出,当电极发生不同程度偏移时,本发明所述的一种肌电信号手势识别方法能够极大地修正偏移数据,提高手势识别精度;实验数据表明,偏移数据的平均精度仅有32.61%,而经过校正后的数据其平均识别精度达到76.57%,表现出极佳的优点。

Claims (8)

1.一种表面肌电信号手势识别方法,其特征在于,包括以下步骤:
步骤1:采集不同手部动作下的肌电数据,根据特征函数对肌电数据进行特征提取,形成样本空间;
步骤2:构建极坐标系,并将肌电信号的样本点绘制在所构建的极坐标系内;
步骤3:利用矢量叠加方法计算当前手部动作下的活跃极角,并进行偏移角度估计;
步骤4:通过线性变换矩阵方法,根据偏移角度对肌电信号进行自适应校正,将自适应校正结果输入分类器,输出手部动作识别结果。
2.根据权利要求1所述的表面肌电信号手势识别方法,其特征在于:所述根据特征函数对肌电数据进行特征提取,包括:
采用平均绝对值作为特征函数,对采集的肌电数据进行特征提取,得到不同手部动作的样本空间。
3.根据权利要求1所述的表面肌电信号手势识别方法,其特征在于:所述构建极坐标系,包括:
基于8通道环形肌电传感器,将通道0所在的方向与中指方向重合,定义该方向为极坐标系的0°极轴初始位置,其他通道以45°间隔顺次分布,对应极坐标系的极角方向。
4.根据权利要求1所述的表面肌电信号手势识别方法,其特征在于:所述将肌电信号的样本点绘制在所构建的极坐标系内,包括:
8通道环形肌电传感器的某个八维样本点pi,j,将pi,j以有序数对(pi,j,45j)绘制在极坐标系内,其中pi,j表示来自第i个样本、通道j的肌电MAV特征值,通道0的特征值绘制在0°极轴上,依次分布,各散点的极径为特征值大小。
5.根据权利要求1所述的表面肌电信号手势识别方法,其特征在于:所述利用矢量叠加方法计算当前手部动作下的活跃极角,包括:
Figure FDA0001921766030000021
Figure FDA0001921766030000022
其中,α为活跃极角,m表示某动作标签引导下8s时间内采集并经滑动窗特征提取共产生的样本量。
6.根据权利要求1所述的表面肌电信号手势识别方法,其特征在于:所述偏移角度为:前后两次活跃极角的偏差。
7.根据权利要求1所述的表面肌电信号手势识别方法,其特征在于:所述对肌电信号进行自适应校正,包括:
通过线性变换矩阵,对各特殊位置之间的映射关系分段线性化,将Δα拓展到[0°,360°)内,矩阵表达形式如下:
Figure FDA0001921766030000023
由此拓展到初始8通道肌电MAV特征值与偏移后肌电MAV特征值之间的线性映射关系,矩阵表达形式如下:
T8×8(Δα)=(Ti,j)8×8
=(f(Δα-(i-j)·45°))8×8
Figure FDA0001921766030000024
8.根据权利要求1所述的表面肌电信号手势识别方法,其特征在于:所述分类器包括支持向量机。
CN201811597866.XA 2018-12-26 2018-12-26 一种表面肌电信号手势识别方法 Active CN111367399B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811597866.XA CN111367399B (zh) 2018-12-26 2018-12-26 一种表面肌电信号手势识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811597866.XA CN111367399B (zh) 2018-12-26 2018-12-26 一种表面肌电信号手势识别方法

Publications (2)

Publication Number Publication Date
CN111367399A true CN111367399A (zh) 2020-07-03
CN111367399B CN111367399B (zh) 2021-03-16

Family

ID=71209033

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811597866.XA Active CN111367399B (zh) 2018-12-26 2018-12-26 一种表面肌电信号手势识别方法

Country Status (1)

Country Link
CN (1) CN111367399B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112132192A (zh) * 2020-09-07 2020-12-25 北京海益同展信息科技有限公司 一种模型训练方法、装置、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090327171A1 (en) * 2008-06-26 2009-12-31 Microsoft Corporation Recognizing gestures from forearm emg signals
CN101833671A (zh) * 2010-03-30 2010-09-15 西安理工大学 一种基于支持向量机的表面肌电信号多类别模式识别方法
CN105205436A (zh) * 2014-06-03 2015-12-30 北京创思博德科技有限公司 一种基于前臂生物电多传感器的手势识别系统
CN105446484A (zh) * 2015-11-19 2016-03-30 浙江大学 一种基于隐马尔科夫模型的肌电信号手势识别方法
CN107480697A (zh) * 2017-07-12 2017-12-15 中国科学院计算技术研究所 一种肌电手势识别方法和系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090327171A1 (en) * 2008-06-26 2009-12-31 Microsoft Corporation Recognizing gestures from forearm emg signals
CN101833671A (zh) * 2010-03-30 2010-09-15 西安理工大学 一种基于支持向量机的表面肌电信号多类别模式识别方法
CN105205436A (zh) * 2014-06-03 2015-12-30 北京创思博德科技有限公司 一种基于前臂生物电多传感器的手势识别系统
CN105446484A (zh) * 2015-11-19 2016-03-30 浙江大学 一种基于隐马尔科夫模型的肌电信号手势识别方法
CN107480697A (zh) * 2017-07-12 2017-12-15 中国科学院计算技术研究所 一种肌电手势识别方法和系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
STANGO A. ET AL.: "Spatial correlation of high density emg signals provides features robust to electrode", 《IEEE TRANSACTIONS ON NEUTRAL SYSTEMS REHABILITATION ENGINEERING》 *
郭一娜 等: "基于柔性神经树和表面肌电信号的手势识别模型", 《计算机应用与软件》 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112132192A (zh) * 2020-09-07 2020-12-25 北京海益同展信息科技有限公司 一种模型训练方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN111367399B (zh) 2021-03-16

Similar Documents

Publication Publication Date Title
Xu et al. Advances and disturbances in sEMG-based intentions and movements recognition: A review
CN110312471B (zh) 从神经肌肉活动测量中导出控制信号的自适应系统
Fang et al. Interface prostheses with classifier-feedback-based user training
Lepora et al. Tactile superresolution and biomimetic hyperacuity
Duan et al. Recognizing the gradual changes in sEMG characteristics based on incremental learning of wavelet neural network ensemble
Zhu et al. Cascaded adaptation framework for fast calibration of myoelectric control
Adnan et al. Measurement of the flexible bending force of the index and middle fingers for virtual interaction
Li et al. Electrode shifts estimation and adaptive correction for improving robustness of sEMG-based recognition
Sadarangani et al. A preliminary investigation on the utility of temporal features of Force Myography in the two-class problem of grasp vs. no-grasp in the presence of upper-extremity movements
Zhang et al. Back to reality: differences in learning strategy in a simplified virtual and a real throwing task
CN111367399B (zh) 一种表面肌电信号手势识别方法
Zhang et al. Simultaneous estimation of joint angle and interaction force towards sEMG-driven human-robot interaction during constrained tasks
Lobov et al. A Human-Computer Interface based on Electromyography Command-Proportional Control.
Fang et al. Wearable technology for robotic manipulation and learning
Sitole et al. Continuous prediction of human joint mechanics using emg signals: A review of model-based and model-free approaches
Wang et al. Iterative self-training based domain adaptation for cross-user semg gesture recognition
CN108743222A (zh) 一种基于Leap Motion的手指对称康复误差修正方法
Rudigkeit et al. Towards a user-friendly AHRS-based human-machine interface for a semi-autonomous robot
Wang et al. Electrode shift fast adaptive correction for improving myoelectric control interface performance
Pareek et al. MyoTrack: Tracking subject participation in robotic rehabilitation using sEMG and IMU
Stallrich et al. Optimal EMG placement for a robotic prosthesis controller with sequential, adaptive functional estimation (SAFE)
Xiong et al. Intuitive Human-Robot-Environment Interaction With EMG Signals: A Review
Wand et al. Analysis of neural network based proportional myoelectric hand prosthesis control
Wu et al. A framework of rehabilitation-assisted robot skill representation, learning, and modulation via manifold-mappings and gaussian processes
Pernalete et al. Eye-hand coordination assessment metrics using a multi-platform haptic system with eye-tracking and motion capture feedback

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant