CN113947815A - 一种基于肌电传感和视觉传感的人机手势协同控制方法 - Google Patents

一种基于肌电传感和视觉传感的人机手势协同控制方法 Download PDF

Info

Publication number
CN113947815A
CN113947815A CN202111294176.9A CN202111294176A CN113947815A CN 113947815 A CN113947815 A CN 113947815A CN 202111294176 A CN202111294176 A CN 202111294176A CN 113947815 A CN113947815 A CN 113947815A
Authority
CN
China
Prior art keywords
data
arm
sensing
human
gesture
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111294176.9A
Other languages
English (en)
Inventor
介婧
王贝贝
郑慧
周乐
侯北平
刘凯瑞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lover Health Science and Technology Development Co Ltd
Original Assignee
Zhejiang Lover Health Science and Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lover Health Science and Technology Development Co Ltd filed Critical Zhejiang Lover Health Science and Technology Development Co Ltd
Priority to CN202111294176.9A priority Critical patent/CN113947815A/zh
Publication of CN113947815A publication Critical patent/CN113947815A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/389—Electromyography [EMG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/389—Electromyography [EMG]
    • A61B5/397—Analysis of electromyograms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02—Preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本发明涉及一种基于肌电传感和视觉传感的人机手势交互控制方法，首先，通过表面肌电传感器和视觉传感器分别采集人体手部动作的表面肌电信号数据和人体手臂运动的图像数据；然后，对表面肌电信号数据进行滤波预处理，同时对识别得到的手臂骨骼关键点数据进行缺失数据填补以及滑动窗口分析，在此基础上进行融合特征的提取，获得手臂运动的识别结果；最后，将手部动作识别结果和手臂运动的识别结果融合起来作为机器人实时运动的控制指令，有效实现人机手势交互控制和协同运动。本发明能够满足实时处理来自两种传感器信号并实现对复杂手势的有效识别，有助于提高人机交互控制和协同运动的准确性，在助老助残服务机器人的交互控制中具有一定价值。

Description

一种基于肌电传感和视觉传感的人机手势协同控制方法
技术领域
本发明属于人工智能模式识别领域，具体地说是涉及一种基于肌电传感和视觉传感的人机手势协同控制方法。
背景技术
人口老龄化进程的加剧以及残障人数的增加，使得弱势人群的护理和照料服务需求日益增大，而研发用于养老助残的服务型机器人交互技术能够在一定程度上解决这项问题，通过结合人工智能、机器人以及传感器的最前沿高新技术，使得在人机交互受限的老年人群或手部缺失的残障人士可以通过结合表面肌电传感器和视觉传感器与机器人进行协同交互，而人机协同交互的关键是不仅要快速识别手势，而且要保证识别的准确度。
现有技术在使用表面肌电信号进行仿生机械手实时控制时存在以下难点：
难点一，如何在尽可能短的时间内识别手势，并使机器人在尽可能短的时间内作出反应。
难点二，如何识别更为复杂的人体手势，而不仅仅是单手部动作或者手臂动作，从而完成更为复杂的机器人交互任务。
基于视觉的手势识别方法容易受到身体部位遮挡、光照以及复杂环境背景的影响，鲁棒性较低，对于复杂手指手势的识别还是不够理想，但对于简单的手腕活动手势及手臂运动手势等具有较高的识别率以及动态实时识别的能力，而表面肌电信号由于包含了丰富的肌肉活动信息，对于复杂的手指手势具有较高的识别能力和潜力，且采集方式不易受环境因素影响，可以避免光照、拍摄角度、背景等复杂环境因素影响。Artemiadis通过采集操作者的肩部以及肘部的表面肌电信号对手臂运动进行识别，实现了机械臂的连续控制，但相对基于机器视觉的方法，基于表面肌电信号的方法对于手臂动态运动过程的识别仍然不够灵敏，为了弥补单一传感器的不足，一些研究者采用了多种传感器对手势进行识别，郭小沛通过融合数据手套和Kinect相机的方法对静态手势、动态手势等在内的多模态手势进行识别，并实现了虚拟教学场景的人机交互。易润泽通过表面肌电信号与Kinect分别识别操作者的手部动作和手臂运动姿态，实现了机器人的远程人机交互。然而基于Kinect的方法过于依赖Kinect设备，并且随着技术的不断进步，OpenPose在骨骼关键点识别性能方面已经优于Kinect设备。另外从上述研究者的成果中也可以发现，通过传感器间的优势互补能够减少单一传感器交互方式下的局限性，如光照、复杂背景影响、拍摄角度、人体运动范围等。
发明内容
本发明提供了一种基于肌电传感和视觉传感的人机手势交互控制方法，通过表面肌电传感器与视觉传感器的优势互补，从而为完成较为复杂的机器人交互控制任务提供了思路。
为达到上述目的，本发明采用的技术方案为：
一种基于肌电传感和视觉传感的人机手势交互控制方法，包括下述步骤：
(1)通过表面肌电传感器和视觉传感器分别采集人体手部动作的表面肌电信号数据和人体手臂运动的图像数据；
(2)对采集得到的离线肌电数据进行滤波预处理；对识别得到的手臂骨骼关键点数据进行缺失数据填补以及滑动窗口分析；
(3)对预处理后的表面肌电信号基于滑动窗口分析进行特征提取，同时对于预处理后的手臂骨骼关键点数据采用融合特征的提取方法进行特征提取；
(4)基于特征提取所得的特征集采用分类器进行模式识别以及手势识别模型的训练；
(5)以模型识别获得的手势结果作为控制信号，通过Socket通信对机器人进行协同控制。
首先，通过表面肌电传感器和视觉传感器分别采集人体手部动作的表面肌电信号数据和人体手臂运动的图像数据；然后，对表面肌电信号数据进行滤波预处理、特征提取、特征优选，通过模式识别获得手部动作识别结果；同时对人体手臂运动的图像数据进行缺失数据填补，并采用滑动窗口分析方法进行数据预处理，在此基础上进行融合特征的提取，通过支持向量机获得手臂运动的识别结果；最后，将手部动作识别结果和手臂运动的识别结果融合起来作为机器人实时运动的控制指令，有效实现人机手势交互控制和协同运动。
作为优选，步骤(1)具体为：通过多通道肌电仪进行人体前臂表面肌电信号的获取，通过肌电仪配套的16通道的肌电袖套，以1000hz的采样频率采集操作者的前臂表面肌电信号；同时利用单目摄像头采集操作者手臂运动的RGB图像数据，采集角度应稍微侧对摄像头以保证采集数据的质量，将图像数据输入OpenPose人体关键点识别框架，选择OpenPose中包含18个人体关键点的躯体检测模块进行识别，从而获取操作者的手臂的肘部与腕部关键点的二维空间位置数据，其他人体骨骼关键点的数据不作保存；操作者在采集时完成手臂的正上、正下、正左、正右、前伸、后缩动作，在手臂运动结束后再开始手部动作。
作为优选，步骤(2)中，使用20Hz巴特沃斯高通滤波器以及50Hz梳状滤波器进行滤波预处理；缺失数据填补方法为：对于N号关键点丢失的第i帧数据LN(i)：LN(i)＝(LN(i-1)-LN(i-2))+LN(i-1)。
作为优选，步骤(3)具体为：
对预处理后的表面肌电信号基于滑动窗口分析进行特征提取，提取方法包括RMS、MFL、MNF、WAMP四种方法，方法公式如下：
Figure BDA0003335885850000031
Figure BDA0003335885850000032
Figure BDA0003335885850000033
Figure BDA0003335885850000034
在上述公式中，xa表示时间序列信号sEMG中的第a个信号数据，Z表示滑动窗口的宽度，M是频谱中频率仓的数量，fj表示M的第j仓处的频谱频率，Pj表示M的第j仓处的频谱强度；
将上述特征提取方法得到的各特征进行拼接构成肌电信号特征总集；对于预处理后的手臂骨骼关键点数据采用融合特征的提取方法进行特征提取，融合特征由位移特征与正切角变换特征构成。
作为优选，步骤(4)中，对基于表面肌电信号的手部识别模型采用K近邻算法，对于手臂运动识别采用支持向量机进行分类。
作为优选，步骤(5)具体为：利用离线训练好的分类器，对实时控制过程中的手势运动进行识别，将手部动作和手臂运动的识别结果用于机器人手势的实时控制；此时通过表面肌电传感器和视觉传感器采集操作者的手部动作信息和手臂运动信息，通过在PC端对数据进行预处理、特征提取、模式识别流程后、将识别结果通过Socket通信发送到局域网的机器人中，机器人根据接收到的手势信号执行相应的预设动作，从而完成对应场景中的人机协同控制任务。
作为优选，融合特征提取方法如下：
第i帧时N号关键点的x轴关键点位置数据LNx(i)，其x轴位移特征
Figure BDA0003335885850000041
y轴位移特征
Figure BDA0003335885850000042
表示如下：
Figure BDA0003335885850000043
Figure BDA0003335885850000044
其中，s为滑动窗口的滑动步长；
正切角变换特征
Figure BDA0003335885850000045
表示如下：
Figure BDA0003335885850000046
最后将位移特征和正切角变换变换特征进行矩阵拼接即得到融合特征。
本发明能够满足实时处理来自两种传感器信号并实现对复杂手势的有效识别，有助于提高人机交互控制和协同运动的准确性，在助老助残服务机器人的交互控制中具有一定价值。
附图说明
图1是本发明的流程图。
具体实施方式
下面结合具体实施例对本发明作进一步说明，但本发明所要保护的范围并不限于此。本领域的普通技术人员可以且应当知晓任何基于本发明实质精神的简单变化或者替换均应属于本发明所要求的保护范围。
参照图1，一种基于肌电传感和视觉传感的人机手势交互控制方法，包括下述步骤：
(1)通过多通道肌电仪进行人体前臂表面肌电信号的获取，通过肌电仪配套的16通道的肌电袖套，以1000hz的采样频率采集操作者的前臂表面肌电信号；同时利用单目摄像头采集操作者手臂运动的RGB图像数据，采集角度应稍微侧对摄像头以保证采集数据的质量，将图像数据输入OpenPose人体关键点识别框架，选择OpenPose中包含18个人体关键点的躯体检测模块进行识别，从而获取操作者的手臂的肘部与腕部关键点的二维空间位置数据，其他人体骨骼关键点的数据不作保存；操作者在采集时完成手臂的正上、正下、正左、正右、前伸、后缩动作，在手臂运动结束后再开始手部动作；
(2)对采集得到的离线肌电数据使用20Hz巴特沃斯高通滤波器以及50Hz梳状滤波器进行滤波预处理；对OpenPose识别得到的手臂骨骼关键点数据进行缺失数据填补以及滑动窗口分析；缺失数据填补方法为：对于N号关键点丢失的第i帧数据LN(i)：LN(i)＝(LN(i-1)-LN(i-2))+LN(i-1)；
肌电信号的预处理对应的是滤波处理：由于肌电信号中主要的肌肉信号在20HZ-500HZ的范围内，故采用20HZ高通滤波器和50HZ梳妆滤波来进行预处理；
识别得到的手臂骨骼关键点数据预处理对应的是进行缺失数据填补以及滑动窗口分析：由于在采集的过程当中有可能出现手臂关键点采集丢失的情况，结合数据采集时手臂的匀速运动状态，相邻3帧的骨骼运动数据可以近似看成等差数列，故采用根据前2帧的有效数据进行近似补充；
(3)对预处理后的表面肌电信号基于滑动窗口分析进行特征提取，特征提取方法如表1所示，包括RMS、MFL、MNF、WAMP四种方法，方法公式如下：
Figure BDA0003335885850000051
Figure BDA0003335885850000052
Figure BDA0003335885850000053
Figure BDA0003335885850000054
在上述公式中，xa表示时间序列信号sEMG中的第a个信号数据，Z表示滑动窗口的宽度，M是频谱中频率仓的数量，fj表示M的第j仓处的频谱频率，Pj表示M的第j仓处的频谱强度；
表1
Figure BDA0003335885850000061
将上述特征提取方法得到的各特征进行拼接构成肌电信号特征总集；对于预处理后的手臂骨骼关键点数据采用融合特征的提取方法进行特征提取，融合特征由位移特征与正切角变换特征构成；融合特征提取方法如下：
第i帧时N号关键点的x轴关键点位置数据LNx(i)，其x轴位移特征
Figure BDA0003335885850000062
对于滑动窗口分析法后第l个窗口，l＝1,2,3,…,L；y轴位移特征
Figure BDA0003335885850000063
表示如下：
Figure BDA0003335885850000064
Figure BDA0003335885850000065
其中，s为滑动窗口的滑动步长；
正切角变换特征
Figure BDA0003335885850000066
表示如下：
Figure BDA0003335885850000067
最后将位移特征和正切角变换变换特征进行矩阵拼接即得到融合特征；
(4)基于特征提取所得的特征集采用分类器进行模式识别以及手势识别模型的训练；对基于表面肌电信号的手部识别模型采用K近邻算法，对于手臂运动识别采用支持向量机进行分类；
(5)利用离线训练好的分类器，对实时控制过程中的手势运动进行识别，将手部动作和手臂运动的识别结果用于机器人手势的实时控制；此时通过表面肌电传感器和视觉传感器采集操作者的手部动作信息和手臂运动信息，通过在PC端对数据进行预处理、特征提取、模式识别流程后、将识别结果通过Socket通信发送到局域网的机器人中，机器人根据接收到的手势信号执行相应的预设动作，从而完成对应场景中的人机协同控制任务。
经过如上步骤，本发明可以完成基于肌电传感和视觉传感的人机手势交互控制，实现了表面肌电传感器的优势和视觉传感器的优势互补，且本发明所采用的特征提取方法，使得控制方法具备低耗时、高精度的手势识别性能，因此也使得控制方法能够以人机协同的方式帮助操作者完成较为复杂的日常任务。
本发明首先通过表面肌电传感器和视觉传感器分别采集人体手部动作的表面肌电信号数据和人体手臂运动的图像数据；然后，对表面肌电信号数据进行滤波预处理、特征提取、特征优选，通过模式识别获得手部动作识别结果；同时对人体手臂运动的图像数据进行缺失数据填补，并采用滑动窗口分析方法进行数据预处理，在此基础上进行一种融合特征的提取，通过支持向量机获得手臂运动的识别结果；最后，将手部动作识别结果和手臂运动的识别结果融合起来作为机器人实时运动的控制指令，有效实现人机手势交互控制和协同运动。本发明能够满足实时处理来自两种传感器信号并实现对复杂手势的有效识别，有助于提高人机交互控制和协同运动的准确性，在助老助残服务机器人的交互控制中具有一定价值。
最后所应说明的是：以上实施例仅用以说明而非限制本发明的技术方案，尽管参照上述实施例对本发明进行了详细说明，本领域的普通技术人员应当理解：依然可以对本发明进行修改或者等同替换，而不脱离本发明的精神和范围的任何修改或局部替换，其均应涵盖在本发明的权利要求范围当中。

Claims (7)

1.一种基于肌电传感和视觉传感的人机手势交互控制方法，其特征在于包括下述步骤：
(1)通过表面肌电传感器和视觉传感器分别采集人体手部动作的表面肌电信号数据和人体手臂运动的图像数据；
(2)对采集得到的离线肌电数据进行滤波预处理；对识别得到的手臂骨骼关键点数据进行缺失数据填补以及滑动窗口分析；
(3)对预处理后的表面肌电信号基于滑动窗口分析进行特征提取，同时对于预处理后的手臂骨骼关键点数据采用融合特征的提取方法进行特征提取；
(4)基于特征提取所得的特征集采用分类器进行模式识别以及手势识别模型的训练；
(5)以模型识别获得的手势结果作为控制信号，通过Socket通信对机器人进行协同控制。
2.根据权利要求1所述基于肌电传感和视觉传感的人机手势交互控制方法，其特征在于步骤(1)具体为：通过多通道肌电仪进行人体前臂表面肌电信号的获取，通过肌电仪配套的16通道的肌电袖套，以1000hz的采样频率采集操作者的前臂表面肌电信号；同时利用单目摄像头采集操作者手臂运动的RGB图像数据，将图像数据输入OpenPose人体关键点识别框架，选择OpenPose中包含18个人体关键点的躯体检测模块进行识别，从而获取操作者的手臂的肘部与腕部关键点的二维空间位置数据，其他人体骨骼关键点的数据不作保存；操作者在采集时完成手臂的正上、正下、正左、正右、前伸、后缩动作，在手臂运动结束后再开始手部动作。
3.根据权利要求1所述基于肌电传感和视觉传感的人机手势交互控制方法，其特征在于步骤(2)中，使用20Hz巴特沃斯高通滤波器以及50Hz梳状滤波器进行滤波预处理；缺失数据填补方法为：对于N号关键点丢失的第i帧数据LN(i)：LN(i)＝(LN(i-1)-LN(i-2))+LN(i-1)。
4.根据权利要求1所述基于肌电传感和视觉传感的人机手势交互控制方法，其特征在于步骤(3)具体为：
对预处理后的表面肌电信号基于滑动窗口分析进行特征提取，提取方法包括RMS、MFL、MNF、WAMP四种方法，方法公式如下：
Figure FDA0003335885840000021
Figure FDA0003335885840000022
Figure FDA0003335885840000023
Figure FDA0003335885840000024
在上述公式中，xa表示时间序列信号sEMG中的第a个信号数据，Z表示滑动窗口的宽度，M是频谱中频率仓的数量，fj表示M的第j仓处的频谱频率，Pj表示M的第j仓处的频谱强度；
将上述特征提取方法得到的各特征进行拼接构成肌电信号特征总集；对于预处理后的手臂骨骼关键点数据采用融合特征的提取方法进行特征提取，融合特征由位移特征与正切角变换特征构成。
5.根据权利要求1所述基于肌电传感和视觉传感的人机手势交互控制方法，其特征在于步骤(4)中，对基于表面肌电信号的手部识别模型采用K近邻算法，对于手臂运动识别采用支持向量机进行分类。
6.根据权利要求1所述基于肌电传感和视觉传感的人机手势交互控制方法，其特征在于步骤(5)具体为：利用离线训练好的分类器，对实时控制过程中的手势运动进行识别，将手部动作和手臂运动的识别结果用于机器人手势的实时控制；此时通过表面肌电传感器和视觉传感器采集操作者的手部动作信息和手臂运动信息，通过在PC端对数据进行预处理、特征提取、模式识别流程后、将识别结果通过Socket通信发送到局域网的机器人中，机器人根据接收到的手势信号执行相应的预设动作，从而完成对应场景中的人机协同控制任务。
7.根据权利要求4所述基于肌电传感和视觉传感的人机手势交互控制方法，其特征在于融合特征提取方法如下：
第i帧时N号关键点的x轴关键点位置数据LNx(i)，其x轴位移特征
Figure FDA0003335885840000025
y轴位移特征
Figure FDA0003335885840000026
表示如下：
Figure FDA0003335885840000031
Figure FDA0003335885840000032
其中，s为滑动窗口的滑动步长；
正切角变换特征
Figure FDA0003335885840000033
表示如下：
Figure FDA0003335885840000034
最后将位移特征和正切角变换变换特征进行矩阵拼接即得到融合特征。
CN202111294176.9A 2021-11-03 2021-11-03 一种基于肌电传感和视觉传感的人机手势协同控制方法 Pending CN113947815A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111294176.9A CN113947815A (zh) 2021-11-03 2021-11-03 一种基于肌电传感和视觉传感的人机手势协同控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111294176.9A CN113947815A (zh) 2021-11-03 2021-11-03 一种基于肌电传感和视觉传感的人机手势协同控制方法

Publications (1)

Publication Number Publication Date
CN113947815A true CN113947815A (zh) 2022-01-18

Family

ID=79337394

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111294176.9A Pending CN113947815A (zh) 2021-11-03 2021-11-03 一种基于肌电传感和视觉传感的人机手势协同控制方法

Country Status (1)

Country Link
CN (1) CN113947815A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114167995A (zh) * 2022-02-14 2022-03-11 浙江强脑科技有限公司 一种仿生手的手势锁定方法、装置、终端及存储介质
CN118520419A (zh) * 2024-07-22 2024-08-20 中山大学 一种基于肌电和视觉融合的多模态手势识别方法及系统

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114167995A (zh) * 2022-02-14 2022-03-11 浙江强脑科技有限公司 一种仿生手的手势锁定方法、装置、终端及存储介质
CN118520419A (zh) * 2024-07-22 2024-08-20 中山大学 一种基于肌电和视觉融合的多模态手势识别方法及系统

Similar Documents

Publication Publication Date Title
Yang et al. Dynamic gesture recognition using surface EMG signals based on multi-stream residual network
Karnam et al. EMGHandNet: A hybrid CNN and Bi-LSTM architecture for hand activity classification using surface EMG signals
Zou et al. A transfer learning model for gesture recognition based on the deep features extracted by CNN
CN107378944B (zh) 一种基于主成分分析法的多维表面肌电信号假手控制方法
CN108983973B (zh) 一种基于手势识别的仿人灵巧肌电假手控制方法
Yamanoi et al. EMG-based posture classification using a convolutional neural network for a myoelectric hand
CN113947815A (zh) 一种基于肌电传感和视觉传感的人机手势协同控制方法
Han et al. HANDS: a multimodal dataset for modeling toward human grasp intent inference in prosthetic hands
CN110413107A (zh) 基于肌电信号模式识别和粒子群优化的仿生机械手交互控制方法
CN115050104B (zh) 基于多通道表面肌电信号的连续手势动作识别方法
CN113901881B (zh) 一种肌电数据自动标注方法
Yuan et al. Chinese sign language alphabet recognition based on random forest algorithm
CN116704553A (zh) 一种基于计算机视觉技术的人体特征识物辅助系统
CN116236328A (zh) 基于视觉的可实现自然抓取的智能假肢系统
Srinivasan et al. Finger movement classification from myoelectric signals using convolutional neural networks
WO2022242133A1 (zh) 一种手势分类识别方法及其应用
CN111259699A (zh) 一种人体动作识别和预测方法及装置
CN110751060B (zh) 一种基于多源信号的便携式运动模式实时识别系统
Wang et al. Explainable deep learning for sEMG-based similar gesture recognition: A Shapley-value-based solution
Liu et al. Hand gesture recognition based on deep neural network and sEMG signal
Li et al. A sEMG-Based Hand Gesture Recognition Using Mulit-channel CNN and MLP
CN114983446A (zh) 一种基于肌电信号的手指多关节连续运动估计方法
Fazil et al. CNN-based controller for multi-DoF prosthetic wrist using SEMG data during activities of daily living
Asogbon et al. A Deep Learning based Model for Decoding Motion Intent of Traumatic Brain Injured Patients' using HD-sEMG Recordings
Asai et al. Finger motion estimation based on sparse multi-channel surface electromyography signals using convolutional neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination