CN111401166A - 基于肌电信息解码的鲁棒手势识别方法 - Google Patents
基于肌电信息解码的鲁棒手势识别方法 Download PDFInfo
- Publication number
- CN111401166A CN111401166A CN202010150291.8A CN202010150291A CN111401166A CN 111401166 A CN111401166 A CN 111401166A CN 202010150291 A CN202010150291 A CN 202010150291A CN 111401166 A CN111401166 A CN 111401166A
- Authority
- CN
- China
- Prior art keywords
- gesture
- electromyographic
- information decoding
- network
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 238000012549 training Methods 0.000 claims abstract description 40
- 230000009471 action Effects 0.000 claims abstract description 38
- 230000033001 locomotion Effects 0.000 claims description 22
- 238000003491 array Methods 0.000 claims description 17
- 238000002567 electromyography Methods 0.000 claims description 17
- 238000012360 testing method Methods 0.000 claims description 15
- 238000013527 convolutional neural network Methods 0.000 claims description 13
- 238000003062 neural network model Methods 0.000 claims description 9
- 210000003205 muscle Anatomy 0.000 claims description 8
- 230000003183 myoelectrical effect Effects 0.000 claims description 8
- 210000002310 elbow joint Anatomy 0.000 claims description 7
- 238000013508 migration Methods 0.000 claims description 7
- 230000005012 migration Effects 0.000 claims description 7
- 210000000707 wrist Anatomy 0.000 claims description 7
- 210000001145 finger joint Anatomy 0.000 claims description 6
- 210000000245 forearm Anatomy 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 238000013526 transfer learning Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 4
- 210000003857 wrist joint Anatomy 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 3
- 210000001513 elbow Anatomy 0.000 claims description 3
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 230000004118 muscle contraction Effects 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 210000001503 joint Anatomy 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims description 2
- 238000005457 optimization Methods 0.000 claims description 2
- 238000011176 pooling Methods 0.000 claims description 2
- 230000009467 reduction Effects 0.000 claims description 2
- 238000002759 z-score normalization Methods 0.000 claims description 2
- 238000007781 pre-processing Methods 0.000 claims 1
- 238000012546 transfer Methods 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 15
- 238000013135 deep learning Methods 0.000 abstract description 5
- 230000003993 interaction Effects 0.000 abstract description 3
- 238000011161 development Methods 0.000 abstract description 2
- 238000010586 diagram Methods 0.000 description 6
- 101150087426 Gnal gene Proteins 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 206010049565 Muscle fatigue Diseases 0.000 description 1
- 238000005452 bending Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Evolutionary Computation (AREA)
- Human Computer Interaction (AREA)
- Psychiatry (AREA)
- Social Psychology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Dermatology (AREA)
- Neurology (AREA)
- Neurosurgery (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明公开了一种基于肌电信息解码的鲁棒手势识别方法，可充分利用深度学习网络的泛化性，通过对源手势动作的解码，实现对新用户、新手势动作的高准确率地识别。其特点是目标网络所需训练样本少、训练耗时低，可大大提高基于肌电的手势识别技术的通用性和鲁棒性，促进手势识别人机交互技术的发展。
Description
技术领域
本发明涉及生物信号处理领域，尤其涉及一种基于肌电信息解码的鲁棒手势识别方法。
背景技术
手势识别是一种对手势动作进行检测、分析和解释的技术。取自皮肤表面的表面肌电信号是肌肉收缩时伴随的生物电信号，它具有获取方便的特点，包含了丰富的运动控制信息。不同肌群活动时的肌电信号能够反映关节的屈、伸等状态，对肌电信息的解码有助于对关节状态进行解释。基于肌电的手势识别是一项涉及信号检测、处理、分类和应用的先进技术，可用于人机交互、康复设备和人类辅助机器人的控制等领域。
近年来，基于肌电的手势识别技术受到了研究者们的广泛关注。该领域的研究主要分为两大类，一类是基于传统机器学习算法的研究，另一类是基于深度学习算法的研究。然而，尽管基于肌电的手势识别技术获得了长足的进步，已实现的手势识别装置离实际应用还存在有很大距离。基于传统机器学习算法的手势识别技术在应用中常需要对用户进行多天多次的数据采集，用以对分类器进行校准。此方法会给用户带来较大的训练负担。借助深度学习算法的泛化能力，基于深度学习算法的手势识别技术使用卷积神经网络(Convolutional neural network，CNN)、CNN+长短时间记忆网络(Long Short TimeMemory，LSTM)等作为手势识别网络，在识别率方面可显著超越传统模式识别方法。然而，现有的基于深度学习算法的手势识别技术鲁棒性较差，主要体现在对于未经训练的新用户或不包含在训练集中的新手势动作的识别率较低。
发明内容
本发明的目的是提供一种基于肌电信息解码的鲁棒手势识别方法，利用通用手势肌电信息解码网络和迁移学习方案提高手势识别技术的鲁棒性、降低用户训练负担的思路。
本发明的目的是通过以下技术方案实现的：
一种基于肌电信息解码的鲁棒手势识别方法，包括：
使用肌电电极阵列采集用户执行源手势集中手势动作时产生的表面肌电信号，构建包含不同性别、不同年龄的多位健康用户的手势动作肌电数据库；
利用手势动作肌电数据库，通过有监督学习方式训练通用手势肌电信息解码网络；
使用肌电电极阵列采集用户执行目标手势集中手势动作时产生的表面肌电信号，构建目标手势肌电数据集；设计与通用手势肌电信息解码网络全部或部分结构相同的目标手势识别网络，使用层参数迁移学习方法，将训练好的通用手势肌电信息解码网络的参数迁移到目标手势识别网络，并采用目标手势肌电数据集对经迁移学习后的目标手势识别网络参数进行微调。
由上述本发明提供的技术方案可以看出，可充分利用深度学习网络的泛化性，通过对源手势动作的解码，实现对新用户、新手势动作的高准确率地识别。其特点是目标网络所需训练样本少、训练耗时低，可大大提高基于肌电的手势识别技术的通用性和鲁棒性，促进手势识别人机交互技术的发展。
附图说明
为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他附图。
图1为本发明实施例提供的一种基于肌电信息解码的鲁棒手势识别方法的流程图；
图2为本发明实施例提供的源手势集的示意图；
图3为本发明实施例提供的通用手势肌电信息解码网络的结构示意图；
图4为本发明实施例提供的小规模目标手势集示意图；
图5为本发明实施例提供的目标手势识别网络的结构示意图；
图6为本发明实施例提供的用于示例目标手势集得到的平均识别准确率和标准差示意图。
具体实施方式
下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明的保护范围。
本发明实施例提供一种基于肌电信息解码的鲁棒手势识别方法，如图1所示，其包括：
1、使用肌电电极阵列采集用户执行源手势集中手势动作时产生的表面肌电信号，构建包含不同性别与不同年龄用户的手势动作肌电数据库。
2、利用手势动作肌电数据库，通过有监督学习方式训练通用手势肌电信息解码网络。
3、使用肌电电极阵列采集用户执行目标手势集中手势动作时产生的表面肌电信号，构建目标手势肌电数据集；设计与通用手势肌电信息解码网络全部或部分结构相同的目标手势识别网络，使用层参数迁移学习方法，将训练好的通用手势肌电信息解码网络的参数迁移到目标手势识别网络，并采用目标手势肌电数据集对经迁移学习后的目标手势识别网络参数进行微调。
上述方案，利用通用手势肌电信息解码网络和迁移学习方案提高手势识别技术的鲁棒性、降低用户训练负担的思路。
为了便于理解，下面针对本发明做详细的介绍。
一、构建大规模手势肌电数据库。
1、源手势集。
本发明实施例中，定义K1种手势动作作为源手势集，将对源手势集的分类任务定义为源任务。考虑到手势动作在执行时通常涉及肘、腕、以及各指关节的多种状态组合，源手势集的定义原则是应充分覆盖肘、腕、以及各指关节的所有状态，以丰富源手势集中的肌肉激活模式，确保肌肉激活模式数量满足指定要求(具体的数量要求可自行设定)，得到通用手势肌电信息解码网络。
如图2所示，给出了一种用于特定目标任务的源手势集示意图。对于具体目标任务，例如，用户习惯性地在肘关节处于外旋状态时执行各种手势，因而源手势集在完全充分覆盖腕、各指关节状态的同时，确保了每个手势的肘关节均包括外旋状态。具体的，从指关节状态(手形)、腕状态以及肘状态共同定义每个手势。其中，手形一列所示为每个手势动作的手指各关节状态、腕状态一列所示为每个手势动作的腕关节状态，肘状态一列所示为每个手势动作的肘关节状态。
2、采集表面肌电信号。
本发明实施例中，募集了不同性别、不同年龄的多位健康测试者(用户)，采集手势动作肌电信号，构建大规模手势动作肌电数据库。
本发明实施例中，肌电电极阵列为两组柔性电极阵列，每一组柔性电极阵列由两片相同的柔性电极阵列构成；两组柔性电极阵列的行通道数分别为p1、p2，列通道数分别为q1、q2，每一组柔性电极阵列内部相邻通道间距离分别为D1、D2(每组电极阵列的相邻行、列通道间距相等)。示例性的，可设置：p1＝8，p2＝4，q1＝6，q2＝4，D1＝14mm、D2＝18mm。
在进行肌电数据采集时，将电极阵列贴放在手势动作可能激活的肌肉表面，指示测试者逐一执行指定源手势集中的手势动作，再采集一段静息状态下的肌电信号。示例性的，可以选取测试者的前臂伸肌群、前臂屈肌群、肱二头肌、肱三头肌等作为测试对象，将一组柔性电极阵列(例如，p1×q1的电极阵列)放置在前臂内侧和背侧，用于捕捉前臂两大肌群的肌电信号；将另一组柔性电极阵列(例如，p2×q2的电极阵列)放置在后臂内侧和背侧，用于捕捉肱二与肱三头肌的肌电信号；用户逐一执行指定源手势集中的手势动作。
用户在执行手势动作时分为三个阶段：第一个阶段完成每个手势动作对应的肘关节运动(约L1秒)；第二个阶段是保持肘关节状态不变，完成手指关节及腕关节的运动(约L2秒)，随后各关节状态和肌肉收缩模式保持不变(约L3秒)；第三个阶段是各关节状态恢复自由状态(约L4秒)；每个手势动作均采集Nc1次，两种手势动作之间停留指定时间，以防止肌肉疲劳。
3、数据处理。
对于不同性别与不同年龄的测试者均通过上述方式采集表面肌电信号，然后通过下述方式进行预处理。预处理过程如下：
1)将采集到的表面肌电信号进行活动段分割，得到一系列含有手势信息的活动段；示例性的，可采用幅度阈值法做活动段分割。使用带通滤波器对每一个活动段进行处理，示例性的，可使用20-500HZ的巴特沃斯带通滤波器消除低频基线漂移。再使用z-score标准化方法对每个通道进行归一化，以消除数据间的分布差异。
2)鉴于手势保持时肌肉发力平稳，对于上述处理后的数据，选取活动段中间段数据(约L3秒)构建手势肌电数据样本，并使用滑动窗方法进行样本扩充；示例性的，可设置窗长为W，滑动步长为L，从每个样本获得M个样本窗，每个样本窗的大小为W×(2×p1×q1+2×p2×q2)。
3)按照阵列电极的空间排列方式，将每个样本窗转换和拼接成肌电图像，即能够输入到网络的图像样本。对每个肌电图像按照所属的动作类别进行标签化操作。
所有表面肌电信号都按照以上方式处理，即可获得大规模手势动作肌电数据库。
二、通用手势肌电信息解码网络构建与训练。
1、网络构建。
本发明实施例中，通用手势肌电信息解码网络可采用深度学习领域的任意可能的网络模型构建。示例性的，如图3所示，给出了一种用于源任务的通用手势肌电信息解码网络，它是一个能够用于图像识别的二维卷积神经网络(CNN)；输入为手势动作肌电数据库中的数据，即肌电图像，卷积部分包括卷积层、用于加快网络收敛和的批标准化层、用于特征降维的最大池化层和用于防止过拟合的Dropout层；卷积部分的输出经过展开层处理后，被转换成一维向量，即对输入图像进行提取的特征，最后的全连接层与softmax层得到分类结果，即肌电图像对应的手势动作类别。每个卷积层以及非输出层的全连接层采用ReLU非线性函数来避免梯度消失问题。具体的，LayerType列举了整个网络从输入(Input)到输出(Softmax)的整体结构，第二列的Parameters代表对应层的细节参数。在Layer Type列中，Input表述输入，Convolution代表卷积层，BatchNormalization代表批标准化层，MaxPooling代表最大池化层，Dropout代表Dropout层，Flatten代表展开层，Fully Connected代表全连接层，Softmax代表加入Softmax层。
2、网络训练与测试。
基于手势动作肌电数据库，按顺序地从每次采集的每个手势动作的Nc1次重复所获得的表面肌电信号中随机选取Nu1次结果，示例性的，可设置：Nu1为{Nu1|1≤Nu1≤Nc1,Nu1∈Z}，其中，Z为整数集；并将选取的所有批次数据组合在一起，构建源任务的训练数据库；同时，将选取之后的剩余数据组合在一起，构建源任务的测试数据库；之后，对训练数据库和测试数据库对应的手势标签集合按照上述数据比例划分的操作进行处理，获得训练数据库、测试数据库的手势标签。
基于训练数据库及对应的手势标签对通用手势肌电信息解码网络进行训练，获得最优模型参数，训练过程如下：将训练数据和相应的标签送至通用手势肌电信息解码网络中，设置通用手势肌电信息解码网络每次迭代的样本数以及总共需要迭代的次数，调整优化参数(例如，防止过拟合、学习率等相关参数)，通过随机梯度下降方法使得训练错误率满足设定标准(具体标准可根据需求自行设定)；
训练完毕后，将测试数据库输入到训练好的解码网络进行手势识别，初步检验通用手势肌电信息解码网络的性能。
三、针对目标手势任务，建立目标手势肌电数据集。
1、目标手势集。
本发明实施例中，目标手势为待识别的手势，其K2种手势动作，手势动作与源手势集中的全部相同或者部分相同。待识别目标手势可根据实际需求进行灵活设计，其基本要求为易执行、易学习。
示例性的，如图4所示，给出了一种手势动作与源手势集不同的小规模目标手势集示意图。该目标手势集的特点为：每个手势均为新的手势动作，但构成手势动作的各个关节所处状态都包含于源手势集，并且每个手势在执行时腕关节均处于外旋状态。
2、建立目标手势肌电数据集。
此部分的操作与前文相同，目标手势集数据采集对象为实际控制应用的用户。基于采集到的目标手势肌电数据集，按顺序地从每次实验采集中的每个动作的Nc2次重复所获得的肌电信号中分别随机选取Nu2次重复，示例性的，可设置：Nu2为{Nu2|1≤Nu2≤Nc2,Nu2∈Z}，并将选取的所有批次数据分别组合在一起，构建目标手势肌电数据集的训练数据，将选取之后的剩余批次数据组合在一起，构建目标手势肌电数据集的测试数据。之后，将目标手势肌电数据集对应的手势标签集合按照上述数据比例划分的操作进行处理，从而获得训练数据、测试数据的手势标签。
四、目标手势识别网络的构建与训练。
1、网络构建。
目标手势识别网络的设计思想是全部或部分与通用手势肌电信息解码网络相同。示例性的，若通用手势肌电信息解码网络为图3所示的二维CNN模型，则目标手势识别网络可设计成相同的结构，也可设计成该二维CNN+其他网络模型的形式。示例性的，如图5所示，给出了一种用于目标任务的神经网络模型。该模型是一个能整合时间、空间信息的CNN+LSTM形式，结构依次为卷积部分、展开层、全连接层、Dropout层、批标准化层、LSTM层、以及softmax层；其中，卷积部分及展开层与通用手势肌电信息解码网络中相同。同样，在每个卷积层、全连接层以及LSTM层之后采用ReLU非线性函数来避免梯度消失问题。具体的，网络的输入为每个手势肌电信号经滑动窗处理之后得到的M幅肌电图像，LSTM cell代表LSTM层的每一个记忆单元。LSTM层共包括M个LSTM cell。
2、基于迁移学习的目标手势识别网络训练和测试。
为将通用手势肌电信息解码网络的解码能力传递到目标手势识别网络，迁移学习主要通过将通用手势肌电信息解码网络的部分层参数迁移到用于目标任务的神经网络模型来实现，具体而言，迁移学习是将训练好的通用手势肌电信息解码网络中能够提取丰富且通用肌电信息的若干层参数，迁移至目标任务的神经网络模型的相应层中，实现解码知识的直接传递。
示例性的，上述CNN+LSTM的模型结构中，CNN网络参数通过通用手势肌电信息解码网络来固化，即可通过将练好的通用手势肌电信息解码网络中卷积部分与展开层的参数，迁移至目标任务的神经网络模型，作为目标任务的神经网络模型中卷积部分与展开层的参数。CNN解码的肌电信息也即提取的手势肌电特征。待识别的目标手势肌电数据集的训练数据及其标签用于对经迁移学习后的用于目标任务的神经网络模型进行有监督的网络训练，调整优化诸如防止过拟合、学习率等相关参数，通过随机梯度下降方法使得训练错误率足够小，从而得到目标识别网络。最后，将目标手势肌电数据集的测试数据输入到训练好的目标识别网络，网络的输出即识别的手势类别。
为了说明本发明上述方案的效果，还进行相关实验。
实验中，基于上述方案中的源手势集，招募了10名不同年龄的受试者构建了一个手势动作肌电数据库，按照上述方案中的二维CNN模型训练得到通用手势肌电信息解码网络。
重新招募了10名受试者并采集了上述方案中目标手势集中的手势肌电数据；设置Nc2＝8，Nu2为{Nu2|1≤Nu2≤8,Nu2∈Z}时，按照上述方案中的二维CNN+LSTM模型训练得到目标手势识别网络。
图6所示为目标手势识别网络在测试集上的平均识别准确率和标准差。实验结果证明：基于肌电信息解码进行手势识别的方法具有较高的鲁棒性，使用较小批次数据对网络进行校准即可实现高识别准确率。因此，本发明的提出可为基于肌电的手势识别技术中用户训练负担重、算法鲁棒性差的问题提供有益的解决方案。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例可以通过软件实现，也可以借助软件加必要的通用硬件平台的方式来实现。基于这样的理解，上述实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明披露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求书的保护范围为准。
Claims (10)
1.一种基于肌电信息解码的鲁棒手势识别方法，其特征在于，包括：
使用肌电电极阵列采集用户执行源手势集中手势动作时产生的表面肌电信号，构建包含不同性别、不同年龄的多位健康用户的手势动作肌电数据库；
利用手势动作肌电数据库，通过有监督学习方式训练通用手势肌电信息解码网络；
使用肌电电极阵列采集用户执行目标手势集中手势动作时产生的表面肌电信号，构建目标手势肌电数据集；设计与通用手势肌电信息解码网络全部或部分结构相同的目标手势识别网络，使用层参数迁移学习方法，将训练好的通用手势肌电信息解码网络的参数迁移到目标手势识别网络，并采用目标手势肌电数据集对经迁移学习后的目标手势识别网络参数进行微调。
2.根据权利要求1所述的一种基于肌电信息解码的鲁棒手势识别方法，其特征在于，所述源手势集包含了K1种手势动作，每一手势动作为肘、腕、和指关节的动作状态组合；源手势集的定义原则是覆盖肘、腕、以及各指关节的所有状态，以使源手势集中的肌肉激活模式数量满足指定要求。
3.根据权利要求1所述的一种基于肌电信息解码的鲁棒手势识别方法，其特征在于，所述肌电电极阵列为两组柔性电极阵列，每一组柔性电极阵列由两片相同的柔性电极阵列构成；两组柔性电极阵列的行通道数分别为p1、p2，列通道数分别为q1、q2，每一组柔性电极阵列内部相邻通道间距离分别为D1、D2。
4.根据权利要求1所述的一种基于肌电信息解码的鲁棒手势识别方法，其特征在于，所述使用肌电电极阵列采集用户执行源手势集中手势动作时产生的表面肌电信号包括：
所述肌电电极阵列为两组柔性电极阵列，将一组柔性电极阵列放置在前臂内侧和背侧，用于捕捉前臂两大肌群的肌电信号；将另一组柔性电极阵列放置在后臂内侧和背侧，用于捕捉肱二与肱三头肌的肌电信号；用户逐一执行指定源手势集中的手势动作；
用户在执行手势动作时分为三个阶段：第一个阶段完成每个手势动作对应的肘关节运动；第二个阶段是保持肘关节状态不变，完成手指关节及腕关节的运动，随后各关节状态和肌肉收缩模式保持不变；第三个阶段是各关节状态恢复自由状态；每个手势动作均采集Nc1次，两种手势动作之间停留指定时间。
5.根据权利要求1所述的一种基于肌电信息解码的鲁棒手势识别方法，其特征在于，构建包含不同性别、不同年龄的多位健康用户的手势动作肌电数据库包括：
使用肌电电极阵列采集不同性别、不同年龄的多位健康用户执行源手势集中手势动作时产生的表面肌电信号，并进行预处理；预处理过程如下：
首先，将采集到的表面肌电信号进行活动段分割，得到一系列含有手势信息的活动段；使用带通滤波器对每一个活动段进行处理，再使用z-score标准化方法对每个通道进行归一化；
然后，对于上述处理后的数据，选取活动段中间段数据构建手势肌电数据样本，并使用滑动窗方法进行样本扩充；
最后，按照阵列电极的空间排列方式，将每个样本窗转换和拼接成肌电图像。
6.根据权利要求1所述的一种基于肌电信息解码的鲁棒手势识别方法，其特征在于，所述通用手势肌电信息解码网络为一个能够用于图像识别的二维卷积神经网络；输入为手势动作肌电数据库中的数据，即肌电图像，卷积部分包括卷积层、用于加快网络收敛和的批标准化层、用于特征降维的最大池化层和用于防止过拟合的Dropout层；卷积部分的输出经过展开层处理后，被转换成一维向量，即对输入图像进行提取的特征，最后的全连接层与softmax层得到分类结果，即肌电图像对应的手势动作类别。
7.根据权利要求1或6所述的一种基于肌电信息解码的鲁棒手势识别方法，其特征在于，所述通过有监督学习方式训练通用手势肌电信息解码网络包括：
基于手势动作肌电数据库，按顺序地从每次采集的每个手势动作的Nc1次重复所获得的表面肌电信号中随机选取Nu1次结果，并将选取的所有批次数据组合在一起，构建源任务的训练数据库；同时，将选取之后的剩余数据组合在一起，构建源任务的测试数据库；之后，对训练数据库和测试数据库对应的手势标签集合按照上述数据比例划分的操作进行处理，获得训练数据库、测试数据库的手势标签；
基于训练数据库及对应的手势标签对通用手势肌电信息解码网络进行训练，获得最优模型参数，训练过程如下：将训练数据和相应的标签送至通用手势肌电信息解码网络中，设置通用手势肌电信息解码网络每次迭代的样本数以及总共需要迭代的次数，调整优化参数，通过随机梯度下降方法使得训练错误率满足设定标准；
训练完毕后，将测试数据库输入到训练好的解码网络进行手势识别，检验通用手势肌电信息解码网络的性能。
8.根据权利要求1所述的一种基于肌电信息解码的鲁棒手势识别方法，其特征在于，所述目标手势集包含了K2种手势动作，手势动作与源手势集中的全部相同或者部分相同。
9.根据权利要求1所述的一种基于肌电信息解码的鲁棒手势识别方法，其特征在于，所述目标手势识别网络为用于目标任务的神经网络模型，结构依次为卷积部分、展开层、全连接层、Dropout层、批标准化层、LSTM层、以及softmax层；其中，卷积部分及展开层与通用手势肌电信息解码网络中相同。
10.根据权利要求9所述的一种基于肌电信息解码的鲁棒手势识别方法，其特征在于，所述使用层参数迁移学习方法，将训练好的通用手势肌电信息解码网络的参数迁移到目标手势识别网络，并采用目标手势肌电数据集对经迁移学习后的目标手势识别网络参数进行微调包括：
迁移学习是将训练好的通用手势肌电信息解码网络中卷积部分与展开层的参数，迁移至目标任务的神经网络模型，作为目标任务的神经网络模型中卷积部分与展开层的参数；然后，对目标任务的神经网络模型进行有监督的网络训练，对卷积部分之后的结构的参数进行微调，通过随机梯度下降方法使得训练错误率满足设定标准。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010150291.8A CN111401166A (zh) | 2020-03-06 | 2020-03-06 | 基于肌电信息解码的鲁棒手势识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010150291.8A CN111401166A (zh) | 2020-03-06 | 2020-03-06 | 基于肌电信息解码的鲁棒手势识别方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN111401166A true CN111401166A (zh) | 2020-07-10 |
Family
ID=71430556
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010150291.8A Pending CN111401166A (zh) | 2020-03-06 | 2020-03-06 | 基于肌电信息解码的鲁棒手势识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111401166A (zh) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112123332A (zh) * | 2020-08-10 | 2020-12-25 | 北京海益同展信息科技有限公司 | 手势分类器的构建方法、外骨骼机器人控制方法及装置 |
| CN112132192A (zh) * | 2020-09-07 | 2020-12-25 | 北京海益同展信息科技有限公司 | 一种模型训练方法、装置、电子设备及存储介质 |
| CN113288183A (zh) * | 2021-05-20 | 2021-08-24 | 中国科学技术大学 | 一种基于面颈部表面肌电的无声语音识别方法 |
| CN114170676A (zh) * | 2021-11-11 | 2022-03-11 | 岚图汽车科技有限公司 | 一种手势识别方法及相关设备 |
Citations (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08320920A (ja) * | 1995-05-24 | 1996-12-03 | Matsushita Electric Ind Co Ltd | 手動作認識装置および方法 |
| CN101741952A (zh) * | 2009-12-10 | 2010-06-16 | 中国科学技术大学 | 盲人用移动电话交互系统及其装置 |
| CN103839040A (zh) * | 2012-11-27 | 2014-06-04 | 株式会社理光 | 基于深度图像的手势识别方法和装置 |
| CN103853333A (zh) * | 2014-03-21 | 2014-06-11 | 上海威璞电子科技有限公司 | 一种手势控制玩具的方案 |
| CN104331164A (zh) * | 2014-11-27 | 2015-02-04 | 韩慧健 | 一种基于手势识别的相似度阈值分析的手势运动平滑处理方法 |
| CN104750397A (zh) * | 2015-04-09 | 2015-07-01 | 重庆邮电大学 | 一种基于体感的虚拟矿井自然交互方法 |
| CN106845351A (zh) * | 2016-05-13 | 2017-06-13 | 苏州大学 | 一种用于视频的基于双向长短时记忆单元的行为识别方法 |
| CN107992191A (zh) * | 2017-10-30 | 2018-05-04 | 捷开通讯(深圳)有限公司 | 一种电子设备及其控制方法、电子设备摄像头模组 |
| CN109598219A (zh) * | 2018-11-20 | 2019-04-09 | 中国科学技术大学 | 一种用于鲁棒肌电控制的自适应电极配准方法 |
| CN109645980A (zh) * | 2018-11-14 | 2019-04-19 | 天津大学 | 一种基于深度迁移学习的心律异常分类方法 |
| CN109800733A (zh) * | 2019-01-30 | 2019-05-24 | 中国科学技术大学 | 数据处理方法及装置、电子设备 |
| CN109946080A (zh) * | 2019-04-08 | 2019-06-28 | 西安交通大学 | 一种基于嵌入式循环网络的机械设备健康状态识别方法 |
| CN110141232A (zh) * | 2019-06-11 | 2019-08-20 | 中国科学技术大学 | 用于鲁棒肌电信号识别的数据增强方法 |
| CN110299205A (zh) * | 2019-07-23 | 2019-10-01 | 上海图灵医疗科技有限公司 | 基于人工智能的生物医学信号特征处理及评测方法、装置及应用 |
| CN110333783A (zh) * | 2019-07-10 | 2019-10-15 | 中国科学技术大学 | 一种用于鲁棒肌电控制的无关手势处理方法及系统 |
| CN110464366A (zh) * | 2019-07-01 | 2019-11-19 | 华南师范大学 | 一种情绪识别方法、系统及存储介质 |
| CN110547806A (zh) * | 2019-09-11 | 2019-12-10 | 湖北工业大学 | 一种基于表面肌电信号的手势动作在线识别方法及系统 |
| CN110674741A (zh) * | 2019-09-24 | 2020-01-10 | 广西师范大学 | 一种基于双通道特征融合的机器视觉中手势识别方法 |
| CN110717385A (zh) * | 2019-08-30 | 2020-01-21 | 西安文理学院 | 一种动态手势识别方法 |
| CN110799927A (zh) * | 2018-08-30 | 2020-02-14 | Oppo广东移动通信有限公司 | 一种手势识别方法及终端、存储介质 |
-
2020
- 2020-03-06 CN CN202010150291.8A patent/CN111401166A/zh active Pending
Patent Citations (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08320920A (ja) * | 1995-05-24 | 1996-12-03 | Matsushita Electric Ind Co Ltd | 手動作認識装置および方法 |
| CN101741952A (zh) * | 2009-12-10 | 2010-06-16 | 中国科学技术大学 | 盲人用移动电话交互系统及其装置 |
| CN103839040A (zh) * | 2012-11-27 | 2014-06-04 | 株式会社理光 | 基于深度图像的手势识别方法和装置 |
| CN103853333A (zh) * | 2014-03-21 | 2014-06-11 | 上海威璞电子科技有限公司 | 一种手势控制玩具的方案 |
| CN104331164A (zh) * | 2014-11-27 | 2015-02-04 | 韩慧健 | 一种基于手势识别的相似度阈值分析的手势运动平滑处理方法 |
| CN104750397A (zh) * | 2015-04-09 | 2015-07-01 | 重庆邮电大学 | 一种基于体感的虚拟矿井自然交互方法 |
| CN106845351A (zh) * | 2016-05-13 | 2017-06-13 | 苏州大学 | 一种用于视频的基于双向长短时记忆单元的行为识别方法 |
| CN107992191A (zh) * | 2017-10-30 | 2018-05-04 | 捷开通讯(深圳)有限公司 | 一种电子设备及其控制方法、电子设备摄像头模组 |
| CN110799927A (zh) * | 2018-08-30 | 2020-02-14 | Oppo广东移动通信有限公司 | 一种手势识别方法及终端、存储介质 |
| CN109645980A (zh) * | 2018-11-14 | 2019-04-19 | 天津大学 | 一种基于深度迁移学习的心律异常分类方法 |
| CN109598219A (zh) * | 2018-11-20 | 2019-04-09 | 中国科学技术大学 | 一种用于鲁棒肌电控制的自适应电极配准方法 |
| CN109800733A (zh) * | 2019-01-30 | 2019-05-24 | 中国科学技术大学 | 数据处理方法及装置、电子设备 |
| CN109946080A (zh) * | 2019-04-08 | 2019-06-28 | 西安交通大学 | 一种基于嵌入式循环网络的机械设备健康状态识别方法 |
| CN110141232A (zh) * | 2019-06-11 | 2019-08-20 | 中国科学技术大学 | 用于鲁棒肌电信号识别的数据增强方法 |
| CN110464366A (zh) * | 2019-07-01 | 2019-11-19 | 华南师范大学 | 一种情绪识别方法、系统及存储介质 |
| CN110333783A (zh) * | 2019-07-10 | 2019-10-15 | 中国科学技术大学 | 一种用于鲁棒肌电控制的无关手势处理方法及系统 |
| CN110299205A (zh) * | 2019-07-23 | 2019-10-01 | 上海图灵医疗科技有限公司 | 基于人工智能的生物医学信号特征处理及评测方法、装置及应用 |
| CN110717385A (zh) * | 2019-08-30 | 2020-01-21 | 西安文理学院 | 一种动态手势识别方法 |
| CN110547806A (zh) * | 2019-09-11 | 2019-12-10 | 湖北工业大学 | 一种基于表面肌电信号的手势动作在线识别方法及系统 |
| CN110674741A (zh) * | 2019-09-24 | 2020-01-10 | 广西师范大学 | 一种基于双通道特征融合的机器视觉中手势识别方法 |
Non-Patent Citations (4)
| Title |
|---|
| U. CÔTÉ-ALLARD ET AL: "Transfer learning for sEMG hand gestures recognition using convolutional neural networks", 《2017 IEEE INTERNATIONAL CONFERENCE ON SYSTEMS, MAN, AND CYBERNETICS (SMC)》 * |
| YUHENG WU ET AL: "Dynamic Gesture Recognition Based on LSTM-CNN", 《2018 CHINESE AUTOMATION CONGRESS (CAC)》 * |
| 张朝阳著: "《深入浅出 工业机器学习算法详解与实战》", 31 January 2020 * |
| 王斐等: "基于脑电信号深度迁移学习的驾驶疲劳检测", 《电子与信息学报》 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112123332A (zh) * | 2020-08-10 | 2020-12-25 | 北京海益同展信息科技有限公司 | 手势分类器的构建方法、外骨骼机器人控制方法及装置 |
| CN112132192A (zh) * | 2020-09-07 | 2020-12-25 | 北京海益同展信息科技有限公司 | 一种模型训练方法、装置、电子设备及存储介质 |
| CN113288183A (zh) * | 2021-05-20 | 2021-08-24 | 中国科学技术大学 | 一种基于面颈部表面肌电的无声语音识别方法 |
| CN114170676A (zh) * | 2021-11-11 | 2022-03-11 | 岚图汽车科技有限公司 | 一种手势识别方法及相关设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Yang et al. | Dynamic gesture recognition using surface EMG signals based on multi-stream residual network | |
| Karnam et al. | EMGHandNet: A hybrid CNN and Bi-LSTM architecture for hand activity classification using surface EMG signals | |
| CN111401166A (zh) | 基于肌电信息解码的鲁棒手势识别方法 | |
| Sikder et al. | Human activity recognition using multichannel convolutional neural network | |
| CN111657941B (zh) | 基于肌肉核心激活区域的电极校正及肌电模式识别方法 | |
| Miften et al. | A new framework for classification of multi-category hand grasps using EMG signals | |
| Camargo et al. | Feature selection and non-linear classifiers: Effects on simultaneous motion recognition in upper limb | |
| Kurzynski et al. | Multiclassifier system with hybrid learning applied to the control of bioprosthetic hand | |
| Zhang et al. | Adaptive calibration of electrode array shifts enables robust myoelectric control | |
| CN110826625B (zh) | 一种基于表面肌电信号的手指手势分类方法 | |
| Erkilinc et al. | Camera control with EMG signals using principal component analysis and support vector machines | |
| Fang et al. | Improve inter-day hand gesture recognition via convolutional neural network-based feature fusion | |
| Qureshi et al. | E2cnn: An efficient concatenated cnn for classification of surface emg extracted from upper limb | |
| Zhou et al. | sEMG-based hand motion recognition by means of multi-class adaboost algorithm | |
| Xu et al. | A novel SE-CNN attention architecture for sEMG-based hand gesture recognition | |
| Xu et al. | A novel concatenate feature fusion RCNN architecture for sEMG-based hand gesture recognition | |
| Tuncer et al. | Classification of EMG signals taken from arm with hybrid CNN‐SVM architecture | |
| CN114548165B (zh) | 一种可跨用户的肌电模式分类方法 | |
| Vásconez et al. | A comparison of EMG-based hand gesture recognition systems based on supervised and reinforcement learning | |
| Rahimian et al. | Trustworthy adaptation with few-shot learning for hand gesture recognition | |
| Wei et al. | Classification of human hand movements using surface EMG for myoelectric control | |
| Zhang et al. | LST-EMG-Net: Long short-term transformer feature fusion network for sEMG gesture recognition | |
| CN110604578A (zh) | 基于semg的人手手内动作识别方法 | |
| Hye et al. | Artificial Intelligence for sEMG-based Muscular Movement Recognition for Hand Prosthesis | |
| Shi et al. | EMG-based Multi-User Hand Gesture Classification via Unsupervised Transfer Learning Using Unknown Calibration Gestures |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| RJ01 | Rejection of invention patent application after publication |
Application publication date: 20200710 |
|
| RJ01 | Rejection of invention patent application after publication |