CN116048262A - 一种鲁棒于电极偏移的肌电手环手势识别方法 - Google Patents

一种鲁棒于电极偏移的肌电手环手势识别方法 Download PDF

Info

Publication number
CN116048262A
CN116048262A CN202310030473.5A CN202310030473A CN116048262A CN 116048262 A CN116048262 A CN 116048262A CN 202310030473 A CN202310030473 A CN 202310030473A CN 116048262 A CN116048262 A CN 116048262A
Authority
CN
China
Prior art keywords
myoelectric
bracelet
gesture recognition
data
angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310030473.5A
Other languages
English (en)
Inventor
陈璋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Flymoment Technology Shanghai Co ltd
Original Assignee
Flymoment Technology Shanghai Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Flymoment Technology Shanghai Co ltd filed Critical Flymoment Technology Shanghai Co ltd
Priority to CN202310030473.5A priority Critical patent/CN116048262A/zh
Publication of CN116048262A publication Critical patent/CN116048262A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Dermatology (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及运动信息采集与处理和肌电模式识别技术领域，本发明公开了一种鲁棒于电极偏移的肌电手环手势识别方法。该方法通过三次多项式插值法对训练数据进行插值，通过不同距离的左右平移模拟出手环沿着垂直肌纤维方向发生旋转偏移的多个位置的数据，并分别训练得到多个位置的分类器；根据运动传感器中欧拉角的翻滚角变化，计算出手环重复佩戴时旋转偏移的角度，再根据偏移角度匹配相应位置的分类器进行手势识别。本发明结合了数据增强与偏移位置检测的思想，克服了肌电手环的重复穿戴导致的手势识别系统鲁棒性降低的问题，为肌电手势识别在实际应用中面临的难题和挑战提供了有意义的解决方法和思路。

Description

一种鲁棒于电极偏移的肌电手环手势识别方法
技术领域
本发明涉及运动信息采集与处理和肌电模式识别技术领域，尤其是涉及一种鲁棒于电极偏移的肌电手环手势识别方法。
背景技术
手势识别是通过检测手势运动信息，解读手势动作意图的技术，能够提供一种自然和直观的人机交互方式，在消费电子领域展现了很强的应用前景。根据不同的手势运动信息感知方式，现有的手势识别技术大都基于视觉、雷达、运动传感器以及表面肌电等方法。近年来，表面肌电传感器和运动传感器因其低成本、高便携性和不易受外界环境干扰等优势，越来越多的被共同集成至可穿戴手环中，作为一种消费级的电子产品，多称为肌电手环。
肌电手环佩戴于手腕或前臂部位，以无创的方式在皮肤表面采集表面肌电信号。基于表面肌电信号的手势识别归属于肌电控制技术，涉及电生理信号检测、处理与应用技术，是康复工程、人机交互、机器人控制等领域的研究热点。在以往的研究中，基于表面肌电的手势识别在理想的实验环境下能够取得很高的准确率，但在实际使用中往往因为重复穿戴不可避免地导致肌电电极在皮肤表面的放置发生一定的移位，使得先前训练的分类器识别准确率大幅降低，尤其是垂直于肌纤维方向的手环旋转偏移，影响更为严重。
针对肌电手环手势识别中的电极偏移问题，业界研究人员提出了多种解决方案，主要包括采集多个位置的数据丰富训练集样本多样性，移动整个电极间距的数据增强以及在测试阶段再次提供少量的训练数据进行模型的校调，一定程度改善了电极偏移干扰下的准确率。但这些方法性能距离实际应用仍存在较大提升空间，或给用户带来额外的负担。在实际应用中，用户需要的是一个即插即用且高鲁棒性的肌电手势识别系统，这在当下仍然是一个重大的难题和挑战。
发明内容
针对现有技术存在的不足，本发明的目的是提供一种鲁棒于电极偏移的肌电手环手势识别方法，其通过数据增强和偏移位置检测相结合的策略，以实现鲁棒性高且即插即用的肌电手环手势识别系统，为肌电手势识别在实际应用中面临的难题和挑战提供新的解决方案。
本发明的上述发明目的是通过以下技术方案得以实现的：
一种鲁棒于电极偏移的肌电手环手势识别方法，包括以下步骤：
步骤一：用户穿戴肌电手环，根据语音提示将手臂放置于中立位并保持一秒钟，采集运动传感器的四元数数据并转换为欧拉角，记录所述欧拉角中的翻滚角；
步骤二：采集N种不同手势动作的C个通道的表面肌电信号，对原始信号以300ms的窗长和100ms的步长的重叠分析窗进行数据分割；
利用幅值阈值法进行活动段的检测，得到手势的活动段信号；
对所述活动段信号的每个分析窗，计算得到格式为C*7的特征图像；
步骤三：利用三次多项式插值法对所述特征矩阵进行通道间的插值，得到格式为360*7的升采样特征矩阵；
通过特征图像的平移与降采样，模拟得到不同位置的特征图像数据集；
步骤四：分别使用所述多个位置的特征数据集，训练多个线性判别分类器，并根据位置编号；
步骤五：用户重新穿戴肌电手环，重复所述步骤一的内容，再次记录翻滚角，并计算与步骤一中翻滚角的差值，得到电极偏移的角度，根据所计算的电极偏移角度匹配出位置最近的分类器；
步骤六：用户随机做出所述N种手势中的一种，使用步骤五所选择的分类器进行预测，得到手势识别的决策结果。
本发明在一较佳示例中可以进一步配置为：多个旋转偏移位置的特征数据集，仅有初始位置的数据是采集自用户的实际数据，其余位置的数据均是通过所述步骤三中的数据增强过程模拟得出。
本发明在一较佳示例中可以进一步配置为：在实际使用阶段，所述电极偏移角度的检测是利用运动传感器实现的，检测时间为1秒，检测完成后选择距离最近的分类器，不对特征进行任何处理，直接进行手势识别。
本发明在一较佳示例中可以进一步配置为：在所述步骤一中，采集运动传感器的四元数(q0，q1，q2，q3)并转换为欧拉角(θy，θp，θr)，记录所述欧拉角中的翻滚角(θtrain＝θr)，计算公式如下：
Figure BDA0004046361050000031
本发明在一较佳示例中可以进一步配置为：所述肌电手环肌电信号采样率为650hz，所述运动传感器信号采样率为50hz。
本发明在一较佳示例中可以进一步配置为：所述肌电手环C＝8,手势类别N＝6。
本发明在一较佳示例中可以进一步配置为：在所述步骤二中，通过计算四个时域特征(平均绝对值，过零点数，斜率符号变化数，波形长度)和时变功率描述谱的前三个特征，得到格式为C*7的特征图像。
本发明在一较佳示例中可以进一步配置为：在所述步骤三中，将所述特征图像左右各平移10，20，30，40个像素，以模拟得到手环沿垂直前臂肌纤维方向各旋转偏移10°，20°，30°，40°的特征图像，并最终降采样至C*7。
本发明在一较佳示例中可以进一步配置为：在所述步骤五中，用户重新穿戴肌电手环，重复所述步骤一的内容，记录当前的翻滚角θtest＝θr，并计算与步骤一中训练阶段翻滚角的差值，得到电极偏移的角度Δα，计算公式如下：
Δα＝θtest-θtrain      (2)。
本发明在一较佳示例中可以进一步配置为：所述方法不进行数据增强和电极偏移角度检测，仅使用原始位置的训练数据所训练的一个分类器进行手势识别。
综上所述，本发明包括以下至少一种有益技术效果：
1.本发明提出的一种鲁棒于电极偏移的肌电手环手势识别方法，其针对手环独特的形态，对环手臂一周的肌电信号进行了直观的建模，即通过插值、平移和降采样的步骤对初始佩戴位置的训练数据进行数据增强，模拟出多个位置下的训练数据，并训练多个位置下的分类器，该数据增强过程无需用户参与，未给用户带来额外负担。
2.本发明利用肌电手环中运动传感器的信息，通过翻滚角的变化检测出手环旋转偏移的角度，用户仅需在佩戴初始阶段根据语音提示将手臂保持在中立姿态1秒，相比现有的电极偏移位置检测方法，所消耗时间大幅降低且检测结果更加可靠。
3.本发明通过数据增强与偏移位置检测的策略，解决了因电极偏移干扰带来的训练与测试数据分布不一致的问题，在大幅提升肌电手环手势识别系统抗电极偏移干扰能力的同时保证了即插即用性。
附图说明
图1为本发明的整体框架图；
图2为本发明手臂中立位和手环佩戴示意图；
图3为本发明特征图像数据增强的示例图；
图4为本发明手环重复佩戴时电极偏移角度检测的示意图；
图5为本发明所提的方法与传统方法手势识别性能对比的结果图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述；显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例，基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
实施例一：
在本实施例中，公开了一种鲁棒于电极偏移的肌电手环手势识别方法，是通过数据增强模拟出多个不同位置的训练数据，并结合运动传感器信息检测出重复穿戴时手环的相对偏移角度，匹配位置最近的训练数据所训练的分类器进行手势识别，以解决因电极偏移干扰带来的识别率降低问题，所提方法的整体框图如图1所示，具体地说，包括以下步骤：
步骤一：用户穿戴肌电手环，根据语音提示将手臂放置于中立位并保持一秒钟，采集运动传感器的四元数(q0，q1，q2，q3)并转换为欧拉角(θy，θp，θr)，记录所述欧拉角中的翻滚角(θtrain＝θr)。计算公式如下：
Figure BDA0004046361050000051
在本发明实施例中，所使用的肌电手环肌电信号采样率为650hz，运动传感器信号采样率为50hz，所述的手臂中立位及手环佩戴示意图如图2所示。
步骤二：采集N种不同手势动作的C个通道的表面肌电信号，在本发明实施例中，所使用的手环C＝8,手势类别N＝6。共募集了10位手臂运动功能正常的成年人用户参与实验，采集数据之前，用户接受一定的手势动作介绍，以便他们能够顺利完成实验。
对采集到的原始肌电信号以300ms的窗长和100ms的步长的重叠分析窗进行数据分割。利用幅值阈值法进行活动段的检测，保留手势的活动段信号；对所述活动段信号的每个分析窗，计算四个时域特征(平均绝对值，过零点数，斜率符号变化数，波形长度)和时变功率描述谱的前三个特征，到格式为C*7的特征图像。
步骤三：利用三次多项式插值法对所述特征矩阵进行通道间的插值，得到格式为360*7的插值后的特征图像。将插值后的特征图像左右各平移10，20，30，40个像素，以模拟得到手环沿垂直前臂肌纤维方向各旋转偏移10°，20°，30°，40°的特征图像，并最终降采样至C*7。该流程的示例如图3所示(分别为左右偏移30°)。
步骤四：使用由步骤三中所得到的9个位置的特征图像数据集，分别训练9个线性判别分类器，并根据位置编号；
步骤五：用户重新穿戴肌电手环，重复所述步骤一的内容，记录当前的翻滚角θtest＝θr，并计算与步骤一中训练阶段翻滚角的差值，得到电极偏移的角度Δα，计算公式如下：
Δα＝θtest-θtrain        (2)
根据所述的电极偏移角度匹配9个位置中距离最近的位置，选择对应的分类器。用户重新穿戴手环发生电极偏移的示意图如图4所示，左图为初始佩戴位置(训练阶段)，右图为重复穿带发生偏移后的手环佩戴位置。
步骤六：用户随机做出所述N种手势中的一种，使用步骤五所选择的分类器进行决策，得到手势识别的测试结果。参照图5，在本发明实施例中，统计了十位受试者的手势识别准确率，并比较了本发明所提出的方法与传统方法的性能。具体地说，所述对比方法不进行数据增强和电极偏移角度检测，仅使用原始位置的训练数据所训练的一个分类器进行手势识别。在测试过程中，每位受试者共随机执行100次手势，统计总体的识别正确率。
多个旋转偏移位置的特征数据集，仅有初始位置的数据是采集自用户的实际数据，其余位置的数据均是通过所述步骤三中的数据增强过程模拟得出。在实际使用阶段，所述电极偏移角度的检测是利用运动传感器实现的，检测时间为1秒，检测完成后选择距离最近的分类器，不对特征进行任何处理，直接进行手势识别。
综上所述，本发明可以有效的对肌电手环初始佩戴位置的训练数据进行数据增强，模拟出多个位置的训练数据并训练多个分类器，并利用运动传感器信息准确检测手环旋转偏移角度，以匹配最合适的分类器进行手势识别。本发明发提出的肌电手环手势识别方法实现起来简单高效，即插即用，为肌电手势识别在实际应用中面临的因重复穿戴造成的电极偏移干扰导致手势识别稳定性下降的难题提供了有效的解决方案。
本具体实施方式的实施例均为本发明的较佳实施例，并非依此限制本发明的保护范围，故：凡依本发明的结构、形状、原理所做的等效变化，均应涵盖于本发明的保护范围之内。

Claims (10)

1.一种鲁棒于电极偏移的肌电手环手势识别方法，其特征在于：包括以下步骤：
步骤一：用户穿戴肌电手环，根据语音提示将手臂放置于中立位并保持一秒钟，采集运动传感器的四元数数据并转换为欧拉角，记录所述欧拉角中的翻滚角；
步骤二：采集N种不同手势动作的C个通道的表面肌电信号，对原始信号以300ms的窗长和100ms的步长的重叠分析窗进行数据分割；
利用幅值阈值法进行活动段的检测，得到手势的活动段信号；
对所述活动段信号的每个分析窗，计算得到格式为C*7的特征图像；
步骤三：利用三次多项式插值法对所述特征矩阵进行通道间的插值，得到格式为360*7的升采样特征矩阵；
通过特征图像的平移与降采样，模拟得到不同位置的特征图像数据集；
步骤四：分别使用所述多个位置的特征数据集，训练多个线性判别分类器，并根据位置编号；
步骤五：用户重新穿戴肌电手环，重复所述步骤一的内容，再次记录翻滚角，并计算与步骤一中翻滚角的差值，得到电极偏移的角度，根据所计算的电极偏移角度匹配出位置最近的分类器；
步骤六：用户随机做出所述N种手势中的一种，使用步骤五所选择的分类器进行预测，得到手势识别的决策结果。
2.根据权利要求1所述的一种鲁棒于电极偏移的肌电手环手势识别方法，其特征在于，多个旋转偏移位置的特征数据集，仅有初始位置的数据是采集自用户的实际数据，其余位置的数据均是通过所述步骤三中的数据增强过程模拟得出。
3.根据权利要求1所述的一种鲁棒于电极偏移的肌电手环手势识别方法，其特征在于，在实际使用阶段，所述电极偏移角度的检测是利用运动传感器实现的，检测时间为1秒，检测完成后选择距离最近的分类器，不对特征进行任何处理，直接进行手势识别。
4.根据权利要求1所述的一种鲁棒于电极偏移的肌电手环手势识别方法，其特征在于，在所述步骤一中，采集运动传感器的四元数（，，，）并转换为欧拉角（，，），记录所述欧拉角中的翻滚角（），计算公式如下：
           (1)。
5.根据权利要求1所述的一种鲁棒于电极偏移的肌电手环手势识别方法，其特征在于，所述肌电手环肌电信号采样率为650hz，所述运动传感器信号采样率为50hz。
6.根据权利要求1所述的一种鲁棒于电极偏移的肌电手环手势识别方法，其特征在于，所述肌电手环C=8,手势类别N=6。
7.根据权利要求1所述的一种鲁棒于电极偏移的肌电手环手势识别方法，其特征在于，在所述步骤二中，通过计算四个时域特征（平均绝对值，过零点数，斜率符号变化数，波形长度）和时变功率描述谱的前三个特征，得到格式为C*7的特征图像。
8.根据权利要求1所述的一种鲁棒于电极偏移的肌电手环手势识别方法，其特征在于，在所述步骤三中，将所述特征图像左右各平移10，20，30，40个像素，以模拟得到手环沿垂直前臂肌纤维方向各旋转偏移的特征图像，并最终降采样至C*7。
9.根据权利要求1所述的一种鲁棒于电极偏移的肌电手环手势识别方法，其特征在于，在所述步骤五中，用户重新穿戴肌电手环，重复所述步骤一的内容，记录当前的翻滚角，并计算与步骤一中训练阶段翻滚角的差值，得到电极偏移的角度，计算公式如下：
                             （2）。
10.根据权利要求1所述的一种鲁棒于电极偏移的肌电手环手势识别方法，其特征在于，所述方法不进行数据增强和电极偏移角度检测，仅使用原始位置的训练数据所训练的一个分类器进行手势识别。
CN202310030473.5A 2023-01-09 2023-01-09 一种鲁棒于电极偏移的肌电手环手势识别方法 Pending CN116048262A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310030473.5A CN116048262A (zh) 2023-01-09 2023-01-09 一种鲁棒于电极偏移的肌电手环手势识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310030473.5A CN116048262A (zh) 2023-01-09 2023-01-09 一种鲁棒于电极偏移的肌电手环手势识别方法

Publications (1)

Publication Number Publication Date
CN116048262A true CN116048262A (zh) 2023-05-02

Family

ID=86125135

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310030473.5A Pending CN116048262A (zh) 2023-01-09 2023-01-09 一种鲁棒于电极偏移的肌电手环手势识别方法

Country Status (1)

Country Link
CN (1) CN116048262A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116226691A (zh) * 2023-05-08 2023-06-06 深圳市魔样科技有限公司 用于手势姿态感知的智能戒指数据处理方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116226691A (zh) * 2023-05-08 2023-06-06 深圳市魔样科技有限公司 用于手势姿态感知的智能戒指数据处理方法
CN116226691B (zh) * 2023-05-08 2023-07-14 深圳市魔样科技有限公司 用于手势姿态感知的智能戒指数据处理方法

Similar Documents

Publication Publication Date Title
Li et al. Automatic recognition of sign language subwords based on portable accelerometer and EMG sensors
Rui et al. Segmenting visual actions based on spatio-temporal motion patterns
Chen et al. Hand gesture recognition research based on surface EMG sensors and 2D-accelerometers
Huang et al. An EMG-based handwriting recognition through dynamic time warping
Alrubayi et al. A pattern recognition model for static gestures in malaysian sign language based on machine learning techniques
Wu et al. A Visual-Based Gesture Prediction Framework Applied in Social Robots.
CN113849068B (zh) 一种手势多模态信息融合的理解与交互方法及其系统
CN106073793B (zh) 基于微惯性传感器的姿态跟踪与识别方法
CN114265498B (zh) 一种多模态手势识别和视觉反馈机制结合的方法
CN116226691A (zh) 用于手势姿态感知的智能戒指数据处理方法
CN116048262A (zh) 一种鲁棒于电极偏移的肌电手环手势识别方法
CN109976526A (zh) 一种基于表面肌电传感器和九轴传感器的手语识别方法
CN109765996A (zh) 基于fmg臂带的对穿戴位置偏移不敏感的手势检测系统和方法
Sharma et al. Trbaggboost: An ensemble-based transfer learning method applied to Indian Sign Language recognition
Zhang et al. Multimodal fusion framework based on statistical attention and contrastive attention for sign language recognition
CN105975989A (zh) 一种基于九轴运动传感器的肘部运动状态识别方法
Yin et al. Research on gesture recognition technology of data glove based on joint algorithm
Schak et al. Gesture Recognition on a New Multi-Modal Hand Gesture Dataset.
Zheng et al. CG-Recognizer: A biosignal-based continuous gesture recognition system
CN112949587B (zh) 基于关键点的手部握姿矫正方法、系统及计算机可读介质
CN113758506B (zh) 一种基于Leap Motion的拇指弹琴触键动作测量平台及方法
Tao et al. Research on communication APP for deaf and mute people based on face emotion recognition technology
Jain et al. Human computer interaction–Hand gesture recognition
Fan et al. A method of hand gesture recognition based on multiple sensors
Zhang et al. Stacked LSTM-Based Dynamic Hand Gesture Recognition with Six-Axis Motion Sensors

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination