CN112783327B - 基于表面肌电信号进行手势识别的方法及系统 - Google Patents
基于表面肌电信号进行手势识别的方法及系统 Download PDFInfo
- Publication number
- CN112783327B CN112783327B CN202110134953.7A CN202110134953A CN112783327B CN 112783327 B CN112783327 B CN 112783327B CN 202110134953 A CN202110134953 A CN 202110134953A CN 112783327 B CN112783327 B CN 112783327B
- Authority
- CN
- China
- Prior art keywords
- gesture
- layer
- convolutional
- training
- different moments
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000012549 training Methods 0.000 claims description 41
- 230000000306 recurrent effect Effects 0.000 claims description 33
- 230000006870 function Effects 0.000 claims description 18
- 230000004927 fusion Effects 0.000 claims description 14
- 238000003062 neural network model Methods 0.000 claims description 14
- 238000013528 artificial neural network Methods 0.000 claims description 11
- 230000007246 mechanism Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 8
- 238000002567 electromyography Methods 0.000 claims description 6
- 230000015654 memory Effects 0.000 claims description 6
- 230000002457 bidirectional effect Effects 0.000 claims description 3
- 230000006403 short-term memory Effects 0.000 claims description 3
- 230000007787 long-term memory Effects 0.000 claims description 2
- 230000001537 neural effect Effects 0.000 claims description 2
- 238000007637 random forest analysis Methods 0.000 description 21
- 238000013527 convolutional neural network Methods 0.000 description 12
- 230000000694 effects Effects 0.000 description 9
- 238000004422 calculation algorithm Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000005070 sampling Methods 0.000 description 7
- 230000002123 temporal effect Effects 0.000 description 7
- 210000003205 muscle Anatomy 0.000 description 6
- 230000003183 myoelectrical effect Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 238000012706 support-vector machine Methods 0.000 description 5
- 230000006872 improvement Effects 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 3
- 108010076504 Protein Sorting Signals Proteins 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000013145 classification model Methods 0.000 description 2
- 230000000875 corresponding effect Effects 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- ZAKOWWREFLAJOT-CEFNRUSXSA-N D-alpha-tocopherylacetate Chemical compound CC(=O)OC1=C(C)C(C)=C2O[C@@](CCC[C@H](C)CCC[C@H](C)CCCC(C)C)(C)CCC2=C1C ZAKOWWREFLAJOT-CEFNRUSXSA-N 0.000 description 1
- 206010021118 Hypotonia Diseases 0.000 description 1
- 102100023727 Mitochondrial antiviral-signaling protein Human genes 0.000 description 1
- 101710142315 Mitochondrial antiviral-signaling protein Proteins 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000005057 finger movement Effects 0.000 description 1
- 210000000245 forearm Anatomy 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000036640 muscle relaxation Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
- G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/24323—Tree-organised classifiers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/25—Fusion techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/01—Indexing scheme relating to G06F3/01
- G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Mathematical Physics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Dermatology (AREA)
- Neurology (AREA)
- Neurosurgery (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
本发明提供了一种基于表面肌电信号进行手势识别的方法和系统，该方法使用卷积递归神经网络提取每个时刻的表面肌电信号的空间特征和时间特征，并通过注意力机制加权融合时间特征以预测用户的手势类别。本发明的手势识别方法能够自适应学习表面肌电信号的有效特征表达，实现用户手势的高精准度识别。
Description
技术领域
本发明涉及信号处理、人机交互技术领域，尤其涉及基于表面肌电信号进行手势识别的方法及系统。
背景技术
表面肌电信号(surface Electromyographic，sEMG)是一种常见的生物电信号，其可非侵扰地感知、解析用户肌肉活动。鉴于其在用于肌肉活动感知中的直观性、有效性，sEMG在手势识别领域展现了较好的应用前景。表面肌电信号手势识别系统的精度高度依赖于特征集合的选择。然而在手势识别、行为识别等机器学习领域，有效特征集合往往因不同信号特性而异。在传统手势识别方法中通常预定义特征集合以学习手势的特征表达，而最优手势特征集合往往因手势信号特点而异，无法适应信号分布特点，也不能实现数据自适应的手势识别，从而导致手势识别的准确性较低。
因此，亟需一种准确度高的基于表面肌电信号进行手势识别的方法和系统。
发明内容
因此，本发明实施例的目的在于克服上述现有技术的缺陷，提供一种基于表面肌电信号进行手势识别的模型的训练方法，包括：获取不同时刻的表面肌电信号的训练样本；利用所述不同时刻的表面肌电信号的训练样本训练卷积递归神经网络模型，所述卷积递归神经网络包括卷积层、递归层、融合层和决策层，所述卷积层用于提取每个时刻的表面肌电信号的空间特征，所述递归层用于基于所述不同时刻的表面肌电信号的空间特征提取每个时刻的时间特征，所述融合层通过注意力机制加权融合不同时刻的时间特征，所述决策层基于融合后的时间特征预测手势类别。
在一个实施例中，所述卷积层包括标准卷积和/或分组卷积。
在一个实施例中，所述递归层包括双向长短时记忆单元。
在一个实施例中，所述决策层基于融合后的时间特征预测手势类别包括：对于离线手势识别，将基于融合后的时间特征预测得到的手势类别中类条件概率最大的手势类别作为所述训练样本的手势类别。
在一个实施例中，所述决策层基于融合后的时间特征预测手势类别包括：对于在线手势识别，使用负对数似然函数作为损失函数预测所述训练样本的手势类别。
本发明的另一方面提供了一种用于基于表面肌电信号进行手势识别的方法，包括：获取用户不同时刻的表面肌电信号；利用通过上述任一训练方法获得的卷积递归神经模型预测所述用户的手势类别。
本发明的另一方面提供了一种用于基于表面肌电信号进行手势识别的系统，包括：接口模块，用于获取不同时刻的表面肌电信号的训练样本以及获取用户不同时刻的表面肌电信号；预测模块，用于利用训练好的卷积递归神经网络模型预测所述用户的手势类别；训练模块，用于利用所述不同时刻的表面肌电信号的训练样本训练卷积递归神经网络模型，所述卷积递归神经网络包括卷积层、递归层、融合层和决策层，所述卷积层用于提取不同时刻的表面肌电信号的空间特征，所述递归层用于基于所述不同时刻的表面肌电信号的空间特征提取每个时刻的时间特征，所述融合层通过注意力机制加权融合不同时刻的时间特征，所述决策层基于融合后的时间特征预测手势类别。
在一个实施例中，所述卷积递归神经网络模型采用负对数似然函数作为损失函数。
本发明的另一方面提供了一种存储介质，其中存储有计算机程序，在所述计算机程序被处理器执行时，能够用于实现上述任一项所述的方法。
本发明的另一方面提供了一种电子设备，包括处理器和存储器，所述存储器中存储有计算机程序，在所述计算机程序被处理器执行时，能够用于实现上述任一项所述的方法。
本发明实施例的技术方案可以包括以下有益效果：
通过提取表面肌电信号的空间特征和时间特征，并引入注意力机制赋予不同时刻特征以不同的权重，能够自适应学习表面肌电信号的有效特征表达；以负对数似然函数作为损失函数计算手势类别，能够适应肌电手势识别中手势类别较多的情形，实现用户手势的高精准度识别。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：
图1示出了根据本发明一个实施例的基于表面肌电信号进行手势识别的模型的结构图；
图2示出了根据本发明一个实施例的基于表面肌电信号进行手势识别的模型的训练方法；
图3示出了本发明一个实施例的基于表面肌电信号进行手势识别的方法；
图4示出了本发明一个实施例中使用的基于高密度肌电电极阵列的肌电感知设备示意图；
图5示出了根据本发明一个实施例的用于基于表面肌电信号进行手势识别的系统的结构示意图；
图6示出了本发明实验部分中CapgMyo数据集上的实验结果分析；
图7出了本发明实验部分中CapgMyo三个子数据集上手势识别结果。
具体实施方式
为了使本发明的目的，技术方案及优点更加清楚明白，以下结合附图通过具体实施例对本发明进一步详细说明。应当理解，所描述的实施例是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动下获得的所有其他实施例，都属于本发明保护的范围。
此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本发明的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本发明的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本发明的各方面。
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
图1示出了本发明一个实施例的基于表面肌电信号进行手势识别的模型的结构图。如图1所示，手势识别的模型采用卷积递归神经网络 (Convolutional RecurrentNeural Network，CRNN)结构，包括输入层、卷积层、全连接层、递归层、融合层和决策层，其中，输入层用于接收不同时刻的表面肌电信号；卷积层用于通过卷积神经网络提取每个时刻的表面肌电信号的空间特征，全连接层用于将卷积层的输出结果输入至递归层，递归层用于通过递归神经网络基于不同时刻的表面肌电信号的空间特征提取每个时刻的时间特征；融合层用于通过注意力机制加权融合所述时间特征，在一个实施例中，融合层可以作为递归层的一部分；决策层用于基于融合后的时间特征预测用户的手势类别。
图2示出了对于图1示出的基于表面肌电信号进行手势识别的卷积递归神经网络的训练方法的流程图。如图1所述，所述卷积递归神经网络模型包括输入层、卷积层、全连接层、递归层、融合层和决策层，相应地，利用不同时刻的表面肌电信号的训练样本训练卷积递归神经网络模型包括以下步骤：
S210，获取不同时刻的表面肌电信号的训练样本。
可以将某一时刻的表面肌电信号的训练样本表示为一个二维矩阵Qt：
其中，N为二维矩阵列数(即，肌电阵列的列数)，M为二维矩阵行数 (即，肌电阵列的行数)，t为采样时刻，t＝1，2，3，…，T，T为采样时刻总数，sm，n，t表示在t时刻第m行n列肌电传感器获取的肌电信号值。
对于T个连续时刻采集到的表面肌电信号，可以表示为T个二维矩阵，即共同构成三维数据Q，该三维数据同时包含表面肌电信号空间和时间信息，其中空间信息包括隐藏在肌电电极空间位置数据M×N中的空间特征，时间信息包括隐藏在T个连续时刻中的时间特征。
S220，通过卷积神经网络分别提取每个时刻的表面肌电信号的空间特征。
在一个实施例中，可以通过基于图像卷积的网络卷积层提取不同时刻的表面肌电信号(即不同时刻表面肌电图像/电位分布)的空间特征。基于图像卷积的网络卷积层由一系列平移不变滤波器构成，能够提取特定区域的表面肌电信号特征。假设不同时刻的表面肌电信号序列为
则通过卷积层提取第t个时刻的表面肌电信号的空间特征可以表示为ft：
ft＝CNN(Qt) t＝1,2,3…T (1)
其中，
为包含L个元素的空间特征向量，Qt为第t个时刻的表面肌电信号，其大小为M×N，T为采样时刻总数。
整个表面肌电信号序列为Q可以表示为空间特征向量序列F：
在一个实施例中，可以使用标准卷积层和/或分组卷积层提取每个时刻的表面肌电信号的空间特征。在每次卷积操作中，可以通过使用零值填充方法弥补输入表面肌电图像边缘信息的丢失，以获得大小与M×N的输入表面肌电图像大小相同的特征图。在一个实施例中，每个卷积层均包含64 个通道，通过卷操作可以得到不同时刻的表面肌电信号的包含空间特征的 64个特征图。使用包含512个神经元的全连接层将该64个特征图转换成的空间特征表示
并输入递归层。
S230，通过递归神经网络从不同时刻的表面肌电信号的空间特征中提取每个时刻的时间特征。
在一个实施例中，可以使用包括若干双向长短时记忆(Bidirectional LongShort Term Memory，Bi-LSTM)单元的递归层提取每个时刻的时间特征。Bi-LSTM是一种时序循环神经网络，能够解决时序数据学习中的长时期依赖问题。与传统的递归神经网络结构和其他一些变体(如门控递归单元)相比，Bi-LSTM具有强大的时序信号表达能力。假设Bi-LSTM在第t个时刻的前向时间特征和后向时间特征分别标记为
和
则在前向传播过程中，第t+1时刻的计算结果被传递到第t个时刻(即
)，并影响最终的计算输出；在后向传播过程中，第t-1时刻的计算结果被传递到第t个时刻(即
)，并影响最终的计算输出；第t个时刻的时间特征表示为：
S240，通过注意力机制获得不同时刻的时间特征的权重。
在一个实施例中，通过注意力机制获得第t个时刻的时间特征的权重可以用下列公式表示：
score(yi，ht)＝vTtanh(W[yi；ht]) (5)
其中，αt为第t个时刻的时间特征的权重，yi为第i个手势类别，ht为第t个时刻的时间特征，v和W均为参数，T为采样时刻总数。
S250，基于不同时刻的时间特征的权重融合时间特征，获得上下文情境向量。
基于不同时刻的时间特征的权重对所有时刻的时间特征进行加权平均，即可获得上下文情景向量，公式如下：
其中，αt为第t个时刻的时间特征的权重，ht为第t个时刻的时间特征， T为采样时刻总数。
S260，基于上下文情境向量预测训练样本的手势类别。
在一个实施例中，可以通softmax函数获得上下文情景向量对应的不同手势类别的类条件概率。对于离线手势识别，可以将基于上下文情境向量预测得到的手势类别中类条件概率最大的手势类别作为训练样本的手势类别，公式如下：
其中，
为手势类别，p(yi|c)表示上下文情境向量c对应的手势类别为 yi的类条件概率。
在一个实施例中，对于在线手势识别，可以使用负对数似然函数作为损失函数预测手势类别。负对数似然的代价函数定义为：
其中，p(yi|c)表示上下文情境向量c对应的手势类别为yi的类条件概率， P为手势类别的数量。
S270，重复上述步骤S220-S260直至通过模型预测的训练样本的手势类别与训练样本的真实手势类别一致，获得用于基于表面肌电信号进行手势识别的模型。
通过上述实施例获得的手势识别模型，能够自适应学习表面肌电信号的有效特征表达，并且可以适应肌电手势识别中手势类别较多的情形，实现用户手势的高精准度识别。
图3示出了本发明一个实施例的基于表面肌电信号进行手势识别的方法。如图3所示，该方法包括：
S310，获取用户不同时刻的表面肌电信号。
可以通过可穿戴设备可以获取用户原始的表面肌电信号。可穿戴设备例如可以是sEMG产品，包括Myo、gForce、DTing、eCon和shimmer等，其中，高密度sEMG感知设备无需佩戴于特定肌肉，具有易于穿戴的优势。基于高密度肌电电极阵列的肌电感知设备(如图4所示)具有较多的、分布密集的肌电电极，能够感知前臂上端特定部位的肌肉活动。
对用户原始的表面肌电信号进行补齐、加窗、去重、去噪等预处理即可获得该用户不同时刻的表面肌电信号。
S320，利用训练好的卷积递归神经网络模型预测用户的手势类别。
将预处理后的用户不同时刻的表面肌电信号输入上述训练好的卷积递归神经网络模型，可以获得用户的手势类别。
图5示出了根据本发明一个实施例的用于基于表面肌电信号进行手势识别的系统的结构示意图。如图5所示，该系统500包括接口模块510、预测模块520和训练模块530。尽管该框图以功能上分开的方式来描述组件，但这样的描述仅为了说明的目的。图中所示的组件可以任意地进行组合或被分为独立的软件、固件和/或硬件组件。而且，无论这样的组件是如何被组合或划分的，它们都可以在同一计算装置或多个计算装置上执行，其中多个计算装置可以是由一个或多个网络连接。
其中接口模块510获取不同时刻的表面肌电信号的训练样本以及获取用户不同时刻的表面肌电信号。预测模块520用于利用训练好的卷积递归神经网络模型预测用户的手势类别。训练模块530用于利用不同时刻的表面肌电信号的训练样本训练卷积递归神经网络模型，卷积递归神经网络包括卷积层、递归层、融合层和决策层，其中，卷积层用于提取不同时刻的表面肌电信号的空间特征；递归层用于基于所述不同时刻的表面肌电信号的空间特征提取每个时刻的时间特征；融合层通过注意力机制加权融合不同时刻的时间特征；以及决策层基于融合后的时间特征预测手势类别。
在一个实施例中，当进行在线手势识别时，卷积神经网络模型采用负对数似然函数作为损失函数。
在本发明的又一个实施例中，还提供了一种计算机可读存储介质，其上存储有计算机程序或可执行指令，当所述计算机程序或可执行指令被执行时实现如前述实施例中所述的技术方案，其实现原理类似，此处不再赘述。在本发明的实施例中，计算机可读存储介质可以是任何能够存储数据且可以被计算装置读取的有形介质。计算机可读存储介质的实例包括硬盘驱动器、网络附加存储器(NAS)、只读存储器、随机存取存储器、CD-ROM、 CD-R、CD-RW、磁带以及其它光学或非光学数据存储装置。计算机可读存储介质也可以包括分布在网络耦合计算机系统上的计算机可读介质，以便可以分布式地存储和执行计算机程序或指令。
在本发明的另一个实施例中，可以以电子设备的形式来实现本发明。该电子设备包括处理器和存储器，在存储器中存储有计算机程序，当该计算机程序被处理器执行时，能够用于实现本发明的方法。
实验部分
为进一步验证上述手势识别方法(STGR)的性能，本发明在CapgMyo 公开数据集上进行了实验验证。本部分简要介绍了CapgMyo数据集、已有的五种手势识别方法、STGR与已有的五种手势识别方法的性能对比以及关于手势识别精度的进一步讨论。
1)CapgMyo表面肌电手势识别数据集
表格1所有数据集的简要信息介绍
表1给出了CapgMyo肌电手势识别数据集的简要信息，包括受试者数量、手势数量、每个手势的重复次数、设备采样频率和设备肌电电极数目。CapgMyo数据集是基于表面肌电信号手势识别领域中常用的基准数据集，该数据集通过8×16高密度电极阵列记录，采样率为1000Hz。CapgMyo 数据集由三个子数据集构成，分别作为CapgMyo DB-1、CapgMyo DB-2和CapgMyo DB-3。其中，CapgMyo DB-1采集自18名受试者，每名手势执行8个手势动作。CapgMyo DB-2的手势集合与CapgMyo DB-1相同，数据采集自20名受试者；另外，CapgMyoDB-2采用跨场景的数据记录方式，即要求每名受试者参与两次数据采集，且要求两次采集时间间隔大于一周。CapgMyo DB-3采集自10名受试者，包含12个基本手指动作。所有三个子数据集中，每个手势的重复次数均为10次。
2)已有的手势识别方法
为验证STGR的手势识别性能，本发明选择传统机器学习算法和基于深度学习的算法进行对比。传统机器学习算法包括支持向量机(Support Vector Machine，SVM)和随机森林(Random Forest，RF)。深度学习方法是基于卷积神经网络(Convolutional NeuralNetwork，CNN)。另外，本发明使用两类特征作为传统机器学习中的特征集合。第一类特征为{均方根值(Root Mean Square，RMS)}，表示为C1，均方根值与肌肉舒张程度高度相关，是量化肌肉活动强度时常用的衡量指标。第二类特征为{平均绝对值(Mean Absolute Value，MAV)，平均绝对值斜率(Mean Absolute Value Slope，MAVS)，过零率(Zero Cross，ZC)，斜率趋势变化(Slope Sign Changes，SSC)，波形长度(Waveform Length，WL)}，表示为C2，C2也是衡量肌肉活动的常用指标。另外，本发明还将基于C1特征的随机森林与基于C2特征集合的随机森林结合起来，作为一种对比方法。具体而言，本发明中使用的对比方法为：
·SVM_1：使用C1作为特征集合，支持向量机作为分类器；
·RF_1：使用C1作为特征集合，随机森林作为分类器；
·SVM_2：使用C2作为特征集合，支持向量机作为分类器。
·RF_2：使用C2作为特征集合，随机森林作为分类器；
·CNN：使用卷积神经网络作为肌电手势识别识别模型；
·RF_f：融合RF_1与RF_2的方法，基础分类决策树通过多数投票法融合为最终分类模型。
实验设置
本发明的实验环境为配置有Matlab R2016a和python 3.5.2的Dell OptiPlex服务器(Intel Xeon E5-2640/64GB RAM/Tesla K80 Black GPU/24GB GDDR5)。数据预处理和特征提取通过Matlab R2016a编程环境实现；支持向量机、随机森林、卷积神经网络和STGR分类模型使用 Python 3.5.2编程环境实现；另外，CNN和SRGR这两个深度学习模型的学习框架为MXNet。
2)CapgMyo数据集上的实验结果分析
表格2 CapgMyo数据集上的实验结果
CapgMyo数据集的采集设备为8×16肌电电极阵列，在手势识别模型构建过程中，奇数次采集的信号用作训练数据，偶数次采集的信号用作测试数据。
通过100次重复实验，CapgMyo数据集上的平均实验结果如表2和图 6所示。本发明中提出的STGR算法在CapgMyo DB-1数据集上获得最佳手势识别结果，较其他方法的识别精度提升分别为28.56％、15.85％、18.85％、 10.52％、7.87％和10.56％。另外，SVM_2的识别精度优于SVM_1，RF_2 的识别精度优于RF_1，表明特征集的选择会影响手势识别的结果。RF_2 和RF_f手势识别精度接近于CNN的识别效果，表明传统方法可通过优化特征集合和分类器获得较好的识别效果。RF_f的识别效果优于RF_1和 RF_2，表明多数投票决策的有效性。在CapgMyo DB-2数据集上，STF-GR 的手势识别精度在相较于其他方法，分别提升约33.94％、23.17％、21.38％、 14.41％、14.99％和4.94％。在CapgMyo DB-3数据集上，STF-GR的识别精度相较于其他算法，分别提升约30.15％、16.00％、19.21％、8.46％、9.46％和5.00％。由此可见，STGR在CapgMyo的三个子数据集上均取得最佳手势识别精度，表明本发明提出算法的有效性和稳定性。STF-GR通过提取表面肌电信号的时空特征提升手势识别精度，而已有的手势识别算法(如： SVM_1、RF_1、SVM_2、RF_2、RF_f和CNN)，均使用固定特征集合或仅使用卷积运算来提取表面肌电信号的特征，因此，难以达到较高精度的手势识别效果。
另外，本发明还分析了100次重复实验过程中，STF-GR方法在 CapgMyo三个子数据集的识别精度提升，结果如图7所示。在三个子数据集上，CapgMyo的识别精度分别提升了7.29％、4.94％和4.58％。三个子数据集上的最大识别精度提升，分别出现在为第4、第5和第6行肌电电极上，精度提升幅度分别为10.42％、8.00％和6.17％。三个子数据集上的最小识别精度提升，分别出现在第2、第1和第8行肌电电极上，精度提升幅度分别为0.42％、2.38％和2.67％。
本说明书中针对“各个实施例”、“一些实施例”、“一个实施例”、或“实施例”等的参考指代的是结合所述实施例所描述的特定特征、结构、或性质包括在至少一个实施例中。因此，短语“在各个实施例中”、“在一些实施例中”、“在一个实施例中”、或“在实施例中”等在整个说明书中各地方的出现并非必须指代相同的实施例。此外，特定特征、结构、或性质可以在一个或多个实施例中以任何合适方式组合。因此，结合一个实施例中所示出或描述的特定特征、结构或性质可以整体地或部分地与一个或多个其他实施例的特征、结构、或性质无限制地组合，只要该组合不是非逻辑性的或不能工作。
本说明书中“包括”和“具有”以及类似含义的术语表达，意图在于覆盖不排他的包含，例如包含了一系列步骤或单元的过程、方法、系统、产品或设备并不限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其他步骤或单元。“一”或“一个”也不排除多个的情况。另外，本申请附图中的各个元素仅仅为了示意说明，并非按比例绘制。
虽然本发明已经通过上述实施例进行了描述，然而本发明并非局限于这里所描述的实施例，在不脱离本发明范围的情况下还包括所做出的各种改变以及变化。
Claims (8)
1.一种基于表面肌电信号进行手势识别的模型的训练方法，包括：
获取不同时刻的表面肌电信号的训练样本；
利用所述不同时刻的表面肌电信号的训练样本训练卷积递归神经网络模型，其中，所述卷积递归神经网络包括卷积层、递归层、融合层和决策层，所述卷积层用于提取每个时刻的表面肌电信号的空间特征，所述递归层用于基于所述不同时刻的表面肌电信号的空间特征提取每个时刻的时间特征，所述融合层通过注意力机制加权融合不同时刻的时间特征，所述决策层基于融合后的时间特征预测手势类别；
其中，所述决策层基于融合后的时间特征预测手势类别包括：
对于离线手势识别，将基于融合后的时间特征预测得到的手势类别中类条件概率最大的手势类别作为所述训练样本的手势类别；
对于在线手势识别，使用负对数似然函数作为损失函数预测所述训练样本的手势类别。
2.根据权利要求1所述的模型的训练方法，其中，所述卷积层包括标准卷积层和/或分组卷积层。
3.根据权利要求1所述的模型的训练方法，其中，所述递归层包括双向长短时记忆单元。
4.一种用于基于表面肌电信号进行手势识别的方法，包括：
获取用户不同时刻的表面肌电信号；
利用通过权利要求1-3中任一训练方法获得的卷积递归神经模型预测所述用户的手势类别。
5.一种用于基于表面肌电信号进行手势识别的系统，包括：
接口模块，用于获取不同时刻的表面肌电信号的训练样本以及获取用户不同时刻的表面肌电信号；
预测模块，用于利用训练好的卷积递归神经网络模型预测所述用户的手势类别；
训练模块，用于利用所述不同时刻的表面肌电信号的训练样本训练卷积递归神经网络模型，所述卷积递归神经网络包括卷积层、递归层、融合层和决策层，所述卷积层用于提取不同时刻的表面肌电信号的空间特征，所述递归层用于基于所述不同时刻的表面肌电信号的空间特征提取每个时刻的时间特征，所述融合层通过注意力机制加权融合不同时刻的时间特征，所述决策层基于融合后的时间特征预测手势类别；
其中，所述决策层基于融合后的时间特征预测手势类别包括：
对于离线手势识别，将基于融合后的时间特征预测得到的手势类别中类条件概率最大的手势类别作为所述训练样本的手势类别；
对于在线手势识别，使用负对数似然函数作为损失函数预测所述训练样本的手势类别。
6.根据权利要求5所述的手势识别系统，其中，所述卷积递归神经网络模型采用负对数似然函数作为损失函数。
7.一种存储介质，其中存储有计算机程序，在所述计算机程序被处理器执行时，能够用于实现权利要求1-4中任一项所述的方法。
8.一种电子设备，包括处理器和存储器，所述存储器中存储有计算机程序，在所述计算机程序被处理器执行时，能够用于实现权利要求1-4中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110134953.7A CN112783327B (zh) | 2021-01-29 | 2021-01-29 | 基于表面肌电信号进行手势识别的方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202110134953.7A CN112783327B (zh) | 2021-01-29 | 2021-01-29 | 基于表面肌电信号进行手势识别的方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN112783327A CN112783327A (zh) | 2021-05-11 |
| CN112783327B true CN112783327B (zh) | 2022-08-30 |
Family
ID=75760220
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202110134953.7A Active CN112783327B (zh) | 2021-01-29 | 2021-01-29 | 基于表面肌电信号进行手势识别的方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112783327B (zh) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113312994A (zh) * | 2021-05-18 | 2021-08-27 | 中国科学院深圳先进技术研究院 | 一种手势分类识别方法及其应用 |
| CN113627401A (zh) * | 2021-10-12 | 2021-11-09 | 四川大学 | 融合双注意力机制的特征金字塔网络的肌电手势识别方法 |
| CN114504333B (zh) * | 2022-01-30 | 2023-10-27 | 天津大学 | 一种基于肌电的穿戴式前庭监测系统及应用 |
| CN114569143A (zh) * | 2022-03-03 | 2022-06-03 | 上海交通大学宁波人工智能研究院 | 一种基于注意力机制与多特征融合的肌电手势识别方法 |
| CN116738295B (zh) * | 2023-08-10 | 2024-04-16 | 齐鲁工业大学(山东省科学院) | sEMG信号分类方法、系统、电子设备及存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106682664A (zh) * | 2016-12-07 | 2017-05-17 | 华南理工大学 | 基于全卷积递归神经网络的水表圆盘区域检测方法 |
| CN108932479A (zh) * | 2018-06-06 | 2018-12-04 | 上海理工大学 | 一种人体异常行为检测方法 |
| CN109979161A (zh) * | 2019-03-08 | 2019-07-05 | 河海大学常州校区 | 一种基于卷积循环神经网络的人体跌倒检测方法 |
| CN110151203A (zh) * | 2019-06-06 | 2019-08-23 | 常熟理工学院 | 基于多级雪崩式卷积递归网络eeg分析的疲劳驾驶识别方法 |
Family Cites Families (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10157309B2 (en) * | 2016-01-14 | 2018-12-18 | Nvidia Corporation | Online detection and classification of dynamic gestures with recurrent convolutional neural networks |
| CN107273800B (zh) * | 2017-05-17 | 2020-08-14 | 大连理工大学 | 一种基于注意机制的卷积递归神经网络的动作识别方法 |
| CN108388348B (zh) * | 2018-03-19 | 2020-11-24 | 浙江大学 | 一种基于深度学习和注意力机制的肌电信号手势识别方法 |
| US10973468B2 (en) * | 2018-07-12 | 2021-04-13 | The Chinese University Of Hong Kong | Deep learning approach for long term, cuffless, and continuous arterial blood pressure estimation |
| CN110728183B (zh) * | 2019-09-09 | 2023-09-22 | 天津大学 | 一种基于注意力机制的神经网络的人体动作识别方法 |
| CN111091045B (zh) * | 2019-10-25 | 2022-08-23 | 重庆邮电大学 | 一种基于时空注意力机制的手语识别方法 |
| CN111785301B (zh) * | 2020-06-28 | 2022-08-23 | 重庆邮电大学 | 一种基于残差网络的3dacrnn语音情感识别方法及存储介质 |
| CN111783462B (zh) * | 2020-06-30 | 2023-07-04 | 大连民族大学 | 基于双神经网络融合的中文命名实体识别模型及方法 |
-
2021
- 2021-01-29 CN CN202110134953.7A patent/CN112783327B/zh active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106682664A (zh) * | 2016-12-07 | 2017-05-17 | 华南理工大学 | 基于全卷积递归神经网络的水表圆盘区域检测方法 |
| CN108932479A (zh) * | 2018-06-06 | 2018-12-04 | 上海理工大学 | 一种人体异常行为检测方法 |
| CN109979161A (zh) * | 2019-03-08 | 2019-07-05 | 河海大学常州校区 | 一种基于卷积循环神经网络的人体跌倒检测方法 |
| CN110151203A (zh) * | 2019-06-06 | 2019-08-23 | 常熟理工学院 | 基于多级雪崩式卷积递归网络eeg分析的疲劳驾驶识别方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN112783327A (zh) | 2021-05-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112783327B (zh) | 基于表面肌电信号进行手势识别的方法及系统 | |
| CN111134666B (zh) | 一种多通道脑电数据的情绪识别方法及电子装置 | |
| CN109389059B (zh) | 一种基于cnn-lstm网络的p300检测方法 | |
| CN108491077B (zh) | 一种基于多流分治卷积神经网络的表面肌电信号手势识别方法 | |
| CN110333783B (zh) | 一种用于鲁棒肌电控制的无关手势处理方法及系统 | |
| CN111898526B (zh) | 基于多流卷积神经网络的肌电手势识别方法 | |
| Bu | Human motion gesture recognition algorithm in video based on convolutional neural features of training images | |
| CN109086794B (zh) | 一种基于t-lda主题模型的驾驶行为模式识方法 | |
| Olesen et al. | Deep residual networks for automatic sleep stage classification of raw polysomnographic waveforms | |
| CN112037179B (zh) | 一种脑疾病诊断模型的生成方法、系统及设备 | |
| CN113017645B (zh) | 一种基于空洞卷积神经网络的p300信号检测方法 | |
| Yin et al. | Classification of eye tracking data using a convolutional neural network | |
| CN112732092B (zh) | 基于双视图多尺度卷积神经网络的表面肌电信号识别方法 | |
| Jinliang et al. | EEG emotion recognition based on granger causality and capsnet neural network | |
| Rosli et al. | Development of CNN transfer learning for dyslexia handwriting recognition | |
| CN113712573A (zh) | 脑电信号分类方法、装置、设备及存储介质 | |
| Song et al. | Fast inference predictive coding: A novel model for constructing deep neural networks | |
| Top | Classification of eeg signals using transfer learning on convolutional neural networks via spectrogram | |
| Zhou et al. | Multi-scale pseudo labeling for unsupervised deep edge detection | |
| Rangulov et al. | Emotion recognition on large video dataset based on convolutional feature extractor and recurrent neural network | |
| CN109933741B (zh) | 用户网络行为特征提取方法、装置及存储介质 | |
| Qian et al. | Teaching machines to know your depressive state: On physical activity in health and major depressive disorder | |
| CN116340825A (zh) | 一种基于迁移学习的跨被试rsvp脑电信号的分类方法 | |
| CN115736840A (zh) | 一种基于心电数据的睡眠质量识别分类方法 | |
| Sommer et al. | Simultaneous and spatiotemporal detection of different levels of activity in multidimensional data |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |