CN108491077A - 一种基于多流分治卷积神经网络的表面肌电信号手势识别方法 - Google Patents
一种基于多流分治卷积神经网络的表面肌电信号手势识别方法 Download PDFInfo
- Publication number
- CN108491077A CN108491077A CN201810225157.2A CN201810225157A CN108491077A CN 108491077 A CN108491077 A CN 108491077A CN 201810225157 A CN201810225157 A CN 201810225157A CN 108491077 A CN108491077 A CN 108491077A
- Authority
- CN
- China
- Prior art keywords
- neural networks
- convolutional neural
- myoelectricity
- divided
- multithread
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000013527 convolutional neural network Methods 0.000 title claims abstract description 52
- 238000000034 method Methods 0.000 title claims abstract description 30
- 238000002567 electromyography Methods 0.000 claims abstract description 53
- 210000003205 muscle Anatomy 0.000 claims abstract description 13
- 238000012360 testing method Methods 0.000 claims abstract description 11
- 210000000245 forearm Anatomy 0.000 claims abstract description 9
- 238000012549 training Methods 0.000 claims description 28
- 238000005070 sampling Methods 0.000 claims description 14
- 230000004927 fusion Effects 0.000 claims description 11
- 238000010606 normalization Methods 0.000 claims description 6
- 241001269238 Data Species 0.000 claims description 4
- 238000003475 lamination Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 4
- 230000001052 transient effect Effects 0.000 claims description 4
- 238000011478 gradient descent method Methods 0.000 claims description 3
- 210000002569 neuron Anatomy 0.000 claims description 3
- 230000004913 activation Effects 0.000 claims description 2
- 238000001994 activation Methods 0.000 claims description 2
- 238000013528 artificial neural network Methods 0.000 abstract description 12
- 230000033001 locomotion Effects 0.000 abstract description 9
- 230000000694 effects Effects 0.000 abstract description 4
- 238000007637 random forest analysis Methods 0.000 abstract description 2
- 238000000605 extraction Methods 0.000 abstract 1
- 230000003993 interaction Effects 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 6
- 230000011218 segmentation Effects 0.000 description 4
- 230000005611 electricity Effects 0.000 description 2
- 230000003183 myoelectrical effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000011217 control strategy Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000005057 finger movement Effects 0.000 description 1
- 238000013095 identification testing Methods 0.000 description 1
- 230000002401 inhibitory effect Effects 0.000 description 1
- 210000004218 nerve net Anatomy 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
Abstract
本发明公开了一种基于多流分治卷积神经网络的表面肌电信号手势识别方法。步骤如下：将肌电信号转化为肌电图像；对肌电图像按照肌电电极布局和前臂肌肉形状进行分割；构建并训练多流分治卷积神经网络，得到最优网络模型；对待测数据进行分类；本发明和现有基于表面肌电信号的多类手部动作识别方法相比，提出一种多流分治卷积神经网络，使用分而治之的策略，从输入的肌电图像中提取包含更多局部肌肉活动特性的卷积特征，使神经网络可以更好地学习人体前臂肌肉的局部特征。本发明多流分治卷积神经网络相比传统单流神经网络以及随机森林等传统分类器，不论对于稀疏多通道肌电信号还是由二维电极阵列采集的高密度肌电信号，都具有更好的手势识别性能。
Description
技术领域
本发明属于模式识别技术领域，涉及一种基于多流分治卷积神经网络的表面肌电信号手势识别方法。
背景技术
人机交互界面主要可以分为基于视觉的人机交互界面与基于传感器的人机交互界面。基于表面肌电信号的人机交互界面属于后者，相比其他人机交互界面，其具有对遮挡鲁棒、对外界干扰鲁棒以及更好的可穿戴性三大优势，成为近年来人机交互界面领域研究的重点之一。
在基于表面肌电信号的人机交互界面中，表面肌电信号手势识别的最终目标是在允许的观测延迟内获取尽可能高的手势识别准确率。为了达到这个目标，目前主流的方法包括两种：第一种是使用二维肌电电极阵列采集的高密度肌电信号代替若干个肌电电极采集的稀疏多通道肌电信号，来同时获取人体动作时肌肉发力的时序和空间信息。例如Amma等人使用7×24的高密度肌电信号进行手势识别，在识别27个手指动作时获得了90.4％的识别准确率；第二种是使用近年来提出的深度学习技术，从表面肌电信号中提取深层特征表述，来提高识别精度。例如Atzori等人使用改进自LeNet的深度卷积神经网络对NinaPro数据集的肌电信号进行手势识别测试，获得66.59±6.40％的手势识别准确率。本发明提出的方法属于第二种方法。
已有基于深度学习技术进行表面肌电信号手势识别的方法大多基于单流卷积神经网络。而在利用其它输入数据进行手势识别的领域，利用多模态数据输入的多流神经网络已经成为主流手段。单流结构的卷积神经网络已经成为深度学习技术在表面肌电信号手势识别领域应用的局限之一。
根据已有对肌电信号的研究表明，每一块人体前臂肌肉产生肌电信号与相邻前臂肌肉产生的肌电信号之间在统计学意义上是相互独立的，同时特定前臂肌肉区域的发力对一些手势动作往往起主导作用。
分治思想是一种较为先进的模式识别策略，而已有的分治模式识别方法大部分基于对样本空间的分治。
发明内容
本发明的目的在于针对现有技术的不足，提出一种基于多流分治卷积神经网络的表面肌电信号手势识别方法，在应用深度学习方法进行表面肌电信号手势识别的领域应用分治策略和多流卷积神经网络，从而使神经网络能够更好地从局部区域肌肉产生的肌电信号中提取深度特征，提高手势识别精度。
本发明的目的是通过以下技术方案来实现的：一种基于多流分治卷积神经网络的表面肌电信号手势识别方法，该方法包括如下步骤：
1)获取肌电信号，将肌电信号转化为肌电图像；
2)对步骤1)得到的肌电图像，按照肌电电极布局和前臂肌肉形状进行分割；
对于稀疏肌电信号，按照通道对肌电图像进行分割，将每个通道的肌电图像作为一个肌电子图像；
对于二维肌电电极阵列采集的肌电信号，将肌电图像按照采集电极布局分成若干个等尺寸的肌电子图像；
3)构建多流分治卷积神经网络，该卷积神经网络包括三部分：多个卷积神经网络流、融合模块和分类模块；
3.1)卷积神经网络流：每个卷积神经网络流由卷积层和局部连接层构成，卷积层由2维卷积核构成，局部连接层由2维局部感知单元构成；步骤2)得到的肌电子图像作为卷积层的输入；
3.2)融合模块：融合模块包括拼接单元和全连接层，拼接单元将多个卷积神经网络流的输出拼接起来，随后拼接的卷积特征被输入全连接层中；
3.3)分类模块：分类模块由G-way全连接层和softmax分类器构成，其中G为待分类手势数目，步骤3.2)全连接层的输出作为G-way全连接层的输入，softmax分类器的输出为最终手势识别结果；
4)使用训练数据对步骤3)构建的卷积神经网络进行训练，得到最优网络模型；
5)使用步骤4)获得的最优网络模型，对待测数据进行分类，得到分类结果。
进一步地，所述步骤1)中，对获取的肌电信号进行采样，对于稀疏肌电信号，使用滑动采样窗口进行采样，对于二维肌电电极阵列采集的肌电信号，基于瞬态肌电信号(即单帧肌电信号)进行采样；将采样得到的肌电信号样本转换为肌电图像。
进一步地，所述步骤1)中，
对于稀疏肌电信号，将L帧长度滑动窗口采集的D通道肌电信号构建为D×L的肌电图像；
对于二维肌电电极阵列采集的肌电信号，将其构建为W×H的肌电图像，其中W和H分别为二维肌电电极阵列的宽和高。
进一步地，所述步骤2)中，
对于稀疏肌电信号，以NinaPro稀疏多通道肌电数据集为例，使用20帧(即200ms)的采样窗口，10个通道的肌电数据转化成的肌电图像形状为10×20，10×20的肌电图像被分成10个20×1的肌电子图像；
对于使用8片8×2的二维肌电电极阵列采集8×16肌电图像的CapgMyo数据集，将8×16的肌电图像按照电极片布局，分成8个2×8的肌电子图像，每个子图像单独输入多流卷积神经网络的一个流中；
对于使用7×24的二维肌电电极阵列采集图像的CSL-HDEMG数据集，将采集得到的7×24肌电图像分成3份7×8的肌电子图像，每个子图像单独输入多流卷积神经网络的一个流中。
进一步地，所述步骤3.1)中，每个卷积神经网络流由相连的2层卷积层跟随相连的2层局部连接层构成，每层卷积层包含64个3×3的2维卷积核，卷积核步长为1；每层局部连接层由64个1×1的不重叠2维局部感知单元构成；在第一个卷积层之前进行批次归一化，在每个卷积层和每个局部连接层之后，依次进行批次归一化和ReLU非线性激活，最后一个局部连接层之后进行概率为50％的Dropout操作。
进一步地，所述步骤3.2)中，融合模块具有3个相连的全连接层，每个全连接层分别由512、512和128个神经元构成；在每个全连接层之后依次进行批次归一化和ReLU非线性激活，第一个和第二个全连接层后进行概率为50％的Dropout操作。
进一步地，所述步骤4)中，使用随机梯度下降法进行训练，并使用学习率衰减加速训练过程的收敛，同时使用所有可用的训练数据进行预训练，预训练的模型参数作为训练时的初始化模型参数，从而避免训练样本过少的问题。
本发明的有益效果是：本发明通过在基于卷积神经网络的肌电手势识别中引入分治策略和多流卷积神经网络技术，使得神经网络能够更好地学习前臂肌肉区域中的局部特征，最终通过融合这些局部特征，获得前臂肌肉区域活动的完整深度表示，用于解析肌肉活动对应的手势动作。本发明提出的多流分治卷积神经网络相比传统单流卷积神经网络，在三个公开肌电数据集上均可以取得更好的识别精度。本发明提出的方法对于基于表面肌电信号的假肢控制，人机交互等领域有着重要意义。
附图说明
图1为本发明提出的多流分治卷积神经网络结构示意图；
图2为本发明方法在CSL-HDEMG高密度肌电数据集上进行测试时，使用不同长度的投票窗口，与传统单流卷积神经网络的手势识别准确率对比；
图3为本发明方法在CSL-HDEMG高密度肌电数据集上进行测试时，使用不同长度的投票窗口，与传统单流卷积神经网络的手势识别准确率对比。
具体实施方式
下面结合附图和具体实施例对本发明作进一步详细说明。
本发明提出的一种基于多流分治卷积神经网络的表面肌电信号手势识别方法，包括以下步骤：
步骤1)获取肌电数据，并使用1Hz Butterworth低通滤波器对信号进行预处理。随后将处理后的信号转化为肌电图像。对于稀疏多通道肌电信号，以10通道的NinaPro数据集为例，我们使用200ms(按照NinaPro数据集的采样率为20帧)滑动采样窗口对肌电数据进行采样，每个采样窗口内的10通道肌电数据被转化为10×20的图像。对近年来新兴的高密度肌电信号，手势识别基于瞬态(即单帧)肌电信号进行，因此不需要滑动采样窗口对肌电数据进行采样，以CSL-HDEMG数据集为例，我们将每帧168通道的可用信号按照采集信号的电极阵列形状排布为7×24的肌电图像。
步骤2)对稀疏多通道肌电信号和高密度肌电信号应用不同分割策略，对肌电图像进行分割。本发明通过大量验证实验，确定了在不同数据集上的最优分割方式。
2.1)对于10通道的NinaPro稀疏多通道肌电数据集，10×20的肌电图像被以10个通道为单位分成10个20×1的肌电子图像。
2.2)对于使用8片8×2的二维肌电电极阵列采集的CapgMyo高密度肌电信号数据集，我们将8×16的肌电图像按照电极片布局，分成8个2×8的肌电子图像。
2.3)对于使用7×24二维肌电电极阵列采集的CSL-HDEMG高密度肌电信号数据集，我们将7×24肌电图像分成3个7×8的肌电子图像。
步骤3)构建多流分治卷积神经网络，该卷积神经网络包括三部分：多个卷积神经网络流、融合模块和分类模块；
3.1)卷积神经网络流：每个卷积神经网络流由相连的2层卷积层跟随相连的2层局部连接层构成，每层卷积层包含64个3×3的2维卷积核，卷积核步长为1。每层局部连接层由64个1×1的不重叠2维局部感知单元构成。
3.2)融合模块：融合模块包括拼接单元和全连接层，拼接单元将多个卷积神经网络流的输出拼接起来，随后拼接的卷积特征被输入3个相连的全连接层中，每个全连接层分别由512、512和128个神经元构成。
3.3)分类模块：分类模块接受融合模块的输出作为其输入，分类模块由一个G-way全连接层和1个softmax分类器构成，其中G为待分类手势数目。
步骤4)训练使用随机梯度下降法进行，并使用学习率衰减加速训练过程的收敛，使用所有可用训练数据进行预训练，从而避免训练样本过少的问题。训练结束后，保存训练得到的最优网络模型参数。
步骤5)使用保存的最优网络模型和测试样本，对多流分治神经网络进行测试，获得测试样本的预测标签。测试识别准确率计算公式为：
识别准确率＝正确总识别样本的数样本数
实施例
步骤1)本实施例使用3个公开肌电数据集作为肌电数据来源，分别为包含27名被试52个手势动作的NinaPro DB1稀疏多通道肌电数据集，包含18名被试8个手势动作的CapgMyo DB-a高密度肌电数据集，包含5名被试27个手指运动的CSL-HDEMG高密度肌电数据集。其中NinaPro DB1数据集包含10通道肌电数据，CapgMyo DB-a数据集包含128通道肌电数据，CSL-HDEMG数据集包含168通道的可用肌电数据。
步骤2)划分训练集和测试集，NinaPro DB1数据集中每名被试每个手势动作有10次重复，我们选取第2次，第5次和第7次重复作为测试集，剩余的重复作为训练集。CapgMyoDB-a数据集中每名被试每个手势动作有10次重复，我们选取一半的重复作为训练集，剩余一半作为测试集。CSL-HDEMG数据集每名被试每个手势动作有10次重复，我们进行10折交叉验证，即每次选取1次重复作为测试集，剩余9次重复作为训练集。
步骤3)使用1Hz Butterworth低通滤波器对数据进行预处理。
步骤4)将三个数据集的肌电数据分别转换为肌电图像。对于稀疏肌电信号，使用滑动窗口对信号进行采样，并将L帧长度滑动窗口采集的D通道肌电信号构建为D×L的肌电图像。以NinaPro DB-1数据集为例，我们使用200ms(按照NinaPro数据集的采样率为20帧)滑动采样窗口对肌电数据进行采样，每个采样窗口内的10通道肌电数据被转化为10×20的图像。对于高密度肌电信号，识别直接在二维瞬态肌电信号基础上进行，不需要滑动窗口进行采样，将每帧高密度肌电信号构建为W×H的肌电图像，其中W和H分别为整个二维肌电电极阵列的宽和高。对于CapgMyo DB-a高密度肌电数据集，我们将128通道肌电信号转化为8×16的肌电图像。对于CSL-HDEMG数据集，我们将每帧168通道的可用信号转化为7×24的肌电图像。
步骤5)对稀疏多通道肌电信号和高密度肌电信号应用不同分割策略，对肌电图像进行分割。对于NinaPro-DB1稀疏多通道肌电数据集，10×20的肌电图像被以10个通道为单位分成10个20×1的肌电子图像。对于使用8片8×2的二维肌电电极阵列采集的CapgMyoDB-a高密度肌电信号数据集，我们将8×16的肌电图像按照每片电极片为单位，分成8个2×8的肌电子图像。对于使用7×24二维肌电电极阵列采集的CSL-HDEMG高密度肌电信号数据集，我们将7×24肌电图像分成3个7×8的肌电子图像。
步骤6)设计图1所示的网络结构，并将分割后的每个子图像输入图1所示的网络结构中。
步骤7)使用所有可用训练集，对网络参数进行预训练。
步骤8)使用所有预训练得到的网络参数作为初始值，使用训练集进行训练，并保存最优网络参数模型。
步骤9)使用保存的最优网络参数模型和测试数据，进行测试，并统计识别率。
根据步骤9)统计的识别率，我们在NinaPro DB-1上使用200ms滑动采样窗口进行采样时，可以取得85％的手势识别准确率，在NinaPro DB-1上使用其他长度滑动窗口进行采样的识别率以及与其他方法的识别率对比参考下表：
从表中可以看出，本发明提出的多流分治卷积神经网络，在NinaPro DB-1稀疏多通道肌电数据集上，取得了远超传统单流卷积神经网络和随机森林分类算法的识别精度。
根据步骤9)统计的识别率，本发明提出的多流分治卷积神经网络在CapgMyo DB-a高密度肌电数据集上取得了89.5％的单帧识别准确率，经过长度为40ms，150ms和300ms的投票窗口投票，得到的手势识别准确率分别为99.1％，99.7％和99.8％。在CapgMyo DB-a数据集上进行测试时，本发明提出的多流分治卷积神经网络与传统单流神经网络在不同投票窗口长度下的手势识别准确率对比参考图2，从图2中可以看出CapgMyo DB-a数据集上，本发明提出的多流分治卷积神经网络在不同长度的投票窗口下均可以取得超越传统单流神经网络的手势识别精度。
根据步骤9)统计的识别率，本发明提出的多流分治卷积神经网络在CSL-HDEMG高密度肌电数据集上取得了90.3％的单帧识别准确率，经过长度为150ms和300ms的投票窗口投票，得到的手势识别准确率分别为93.6％和95.4％。在CSL-HDEMG数据集上进行测试时，本发明提出的多流分治卷积神经网络与传统单流神经网络在不同投票窗口长度下的手势识别准确率对比参考图3，从图3可以看出在CSL-HDEMG数据集上，本发明提出的多流分治卷积神经网络在不同长度的投票窗口下均可以取得超越传统单流神经网络的手势识别精度。
Claims (7)
1.一种基于多流分治卷积神经网络的表面肌电信号手势识别方法，其特征在于，包括如下步骤：
1)获取肌电信号，将肌电信号转化为肌电图像；
2)对步骤1)得到的肌电图像，按照肌电电极布局和前臂肌肉形状进行分割；
对于稀疏肌电信号，按照通道对肌电图像进行分割，将每个通道的肌电图像作为一个肌电子图像；
对于二维肌电电极阵列采集的肌电信号，将肌电图像按照采集电极布局分成若干个等尺寸的肌电子图像；
3)构建多流分治卷积神经网络，该卷积神经网络包括三部分：多个卷积神经网络流、融合模块和分类模块；
3.1)卷积神经网络流：每个卷积神经网络流由卷积层和局部连接层构成，卷积层由2维卷积核构成，局部连接层由2维局部感知单元构成；步骤2)得到的肌电子图像作为卷积层的输入；
3.2)融合模块：融合模块包括拼接单元和全连接层，拼接单元将多个卷积神经网络流的输出拼接起来，随后拼接的卷积特征被输入全连接层中；
3.3)分类模块：分类模块由G-way全连接层和softmax分类器构成，其中G为待分类手势数目，步骤3.2)全连接层的输出作为G-way全连接层的输入，softmax分类器的输出为最终手势识别结果；
4)使用训练数据对步骤3)构建的卷积神经网络进行训练，得到最优网络模型；
5)使用步骤4)获得的最优网络模型，对待测数据进行分类，得到分类结果。
2.根据权利要求1所述的一种基于多流分治卷积神经网络的表面肌电信号手势识别方法，其特征在于，所述步骤1)中，对获取的肌电信号进行采样，对于稀疏肌电信号，使用滑动采样窗口进行采样，对于二维肌电电极阵列采集的肌电信号，基于瞬态肌电信号进行采样；将采样得到的肌电信号样本转换为肌电图像。
3.根据权利要求2所述的一种基于多流分治卷积神经网络的表面肌电信号手势识别方法，其特征在于，所述步骤1)中，
对于稀疏肌电信号，将L帧长度滑动窗口采集的D通道肌电信号构建为D×L的肌电图像；
对于二维肌电电极阵列采集的肌电信号，将其构建为W×H的肌电图像，其中W和H分别为二维肌电电极阵列的宽和高。
4.根据权利要求3所述的一种基于多流分治卷积神经网络的表面肌电信号手势识别方法，其特征在于，所述步骤2)中，
对于使用8片8×2的二维肌电电极阵列采集8×16肌电图像的CapgMyo数据集，将8×16的肌电图像按照电极片布局，分成8个2×8的肌电子图像，每个子图像单独输入多流卷积神经网络的一个流中；
对于使用7×24的二维肌电电极阵列采集图像的CSL-HDEMG数据集，将采集得到的7×24肌电图像分成3份7×8的肌电子图像，每个子图像单独输入多流卷积神经网络的一个流中。
5.根据权利要求1所述的一种基于多流分治卷积神经网络的表面肌电信号手势识别方法，其特征在于，所述步骤3.1)中，每个卷积神经网络流由相连的2层卷积层跟随相连的2层局部连接层构成，每层卷积层包含64个3×3的2维卷积核，卷积核步长为1；每层局部连接层由64个1×1的不重叠2维局部感知单元构成；在第一个卷积层之前进行批次归一化，在每个卷积层和每个局部连接层之后，依次进行批次归一化和ReLU非线性激活，最后一个局部连接层之后进行概率为50％的Dropout操作。
6.根据权利要求1所述的一种基于多流分治卷积神经网络的表面肌电信号手势识别方法，其特征在于，所述步骤3.2)中，融合模块具有3个相连的全连接层，每个全连接层分别由512、512和128个神经元构成；在每个全连接层之后依次进行批次归一化和ReLU非线性激活，第一个和第二个全连接层后进行概率为50％的Dropout操作。
7.根据权利要求1所述的一种基于多流分治卷积神经网络的表面肌电信号手势识别方法，其特征在于，所述步骤4)中，使用随机梯度下降法进行训练，并使用学习率衰减加速训练过程的收敛，同时使用所有可用的训练数据进行预训练，预训练的模型参数作为训练时的初始化模型参数，从而避免训练样本过少的问题。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810225157.2A CN108491077B (zh) | 2018-03-19 | 2018-03-19 | 一种基于多流分治卷积神经网络的表面肌电信号手势识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810225157.2A CN108491077B (zh) | 2018-03-19 | 2018-03-19 | 一种基于多流分治卷积神经网络的表面肌电信号手势识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108491077A true CN108491077A (zh) | 2018-09-04 |
| CN108491077B CN108491077B (zh) | 2020-06-16 |
Family
ID=63318425
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810225157.2A Expired - Fee Related CN108491077B (zh) | 2018-03-19 | 2018-03-19 | 一种基于多流分治卷积神经网络的表面肌电信号手势识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108491077B (zh) |
Cited By (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109409276A (zh) * | 2018-10-19 | 2019-03-01 | 大连理工大学 | 一种健壮手语特征提取方法 |
| CN109598219A (zh) * | 2018-11-20 | 2019-04-09 | 中国科学技术大学 | 一种用于鲁棒肌电控制的自适应电极配准方法 |
| CN109662710A (zh) * | 2018-12-06 | 2019-04-23 | 杭州电子科技大学 | 一种基于卷积神经网络的肌电信号特征提取方法 |
| CN109800733A (zh) * | 2019-01-30 | 2019-05-24 | 中国科学技术大学 | 数据处理方法及装置、电子设备 |
| CN109814716A (zh) * | 2019-01-29 | 2019-05-28 | 福州大学 | 一种基于动态表面肌电信号的运动意图解码方法 |
| CN109924977A (zh) * | 2019-03-21 | 2019-06-25 | 西安交通大学 | 一种基于cnn和lstm的表面肌电信号分类方法 |
| CN110141232A (zh) * | 2019-06-11 | 2019-08-20 | 中国科学技术大学 | 用于鲁棒肌电信号识别的数据增强方法 |
| CN110598676A (zh) * | 2019-09-25 | 2019-12-20 | 南京邮电大学 | 基于置信度得分模型的深度学习手势肌电信号识别方法 |
| CN110610172A (zh) * | 2019-09-25 | 2019-12-24 | 南京邮电大学 | 一种基于rnn-cnn架构的肌电手势识别方法 |
| CN110658915A (zh) * | 2019-07-24 | 2020-01-07 | 浙江工业大学 | 一种基于双流网络的肌电信号手势识别方法 |
| CN110859620A (zh) * | 2019-11-19 | 2020-03-06 | 上海电机学院 | 基于单向视频信号的腰部竖脊肌活动识别及预测方法 |
| CN111209885A (zh) * | 2020-01-13 | 2020-05-29 | 腾讯科技（深圳）有限公司 | 一种手势信息处理方法、装置、电子设备及存储介质 |
| CN111431825A (zh) * | 2020-02-25 | 2020-07-17 | 泰山学院 | 一种基于深度多流神经网络的信号自动分类识别方法 |
| CN111938660A (zh) * | 2020-08-13 | 2020-11-17 | 电子科技大学 | 一种基于阵列肌电的卒中患者手部康复训练动作识别方法 |
| CN112732092A (zh) * | 2021-01-22 | 2021-04-30 | 河北工业大学 | 基于双视图多尺度卷积神经网络的表面肌电信号识别方法 |
| WO2021174705A1 (zh) * | 2020-03-03 | 2021-09-10 | 东南大学 | 一种多自由度肌电假手控制系统及其使用方法 |
| CN113627401A (zh) * | 2021-10-12 | 2021-11-09 | 四川大学 | 融合双注意力机制的特征金字塔网络的肌电手势识别方法 |
| CN113729738A (zh) * | 2021-09-13 | 2021-12-03 | 武汉科技大学 | 一种多通道肌电特征图像的构建方法 |
| CN116738295A (zh) * | 2023-08-10 | 2023-09-12 | 齐鲁工业大学(山东省科学院) | sEMG信号分类方法、系统、电子设备及存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104134060A (zh) * | 2014-08-03 | 2014-11-05 | 上海威璞电子科技有限公司 | 基于肌电信号和运动传感器的手语翻译和显示发声系统 |
| CN105608432A (zh) * | 2015-12-21 | 2016-05-25 | 浙江大学 | 一种基于瞬时肌电图像的手势识别方法 |
| CN105654037A (zh) * | 2015-12-21 | 2016-06-08 | 浙江大学 | 一种基于深度学习和特征图像的肌电信号手势识别方法 |
| CN106569606A (zh) * | 2016-11-08 | 2017-04-19 | 上海交通大学 | 一种基于自然手势识别的智能家居红外控制系统与方法 |
| US20170312576A1 (en) * | 2016-04-02 | 2017-11-02 | Senthil Natarajan | Wearable Physiological Sensor System for Training and Therapeutic Purposes |
| CN107766773A (zh) * | 2016-08-17 | 2018-03-06 | 宁波原子智能技术有限公司 | 基于手势的多维度控制方法和控制装置 |
-
2018
- 2018-03-19 CN CN201810225157.2A patent/CN108491077B/zh not_active Expired - Fee Related
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN104134060A (zh) * | 2014-08-03 | 2014-11-05 | 上海威璞电子科技有限公司 | 基于肌电信号和运动传感器的手语翻译和显示发声系统 |
| CN105608432A (zh) * | 2015-12-21 | 2016-05-25 | 浙江大学 | 一种基于瞬时肌电图像的手势识别方法 |
| CN105654037A (zh) * | 2015-12-21 | 2016-06-08 | 浙江大学 | 一种基于深度学习和特征图像的肌电信号手势识别方法 |
| US20170312576A1 (en) * | 2016-04-02 | 2017-11-02 | Senthil Natarajan | Wearable Physiological Sensor System for Training and Therapeutic Purposes |
| CN107766773A (zh) * | 2016-08-17 | 2018-03-06 | 宁波原子智能技术有限公司 | 基于手势的多维度控制方法和控制装置 |
| CN106569606A (zh) * | 2016-11-08 | 2017-04-19 | 上海交通大学 | 一种基于自然手势识别的智能家居红外控制系统与方法 |
Non-Patent Citations (2)
| Title |
|---|
| WEIDONG GENG等: "Gesture recognition by instantaneous surface EMG images", 《SCIENTIFIC REPORTS》 * |
| 陈素素等: "基于稀疏表示的联合多通道肌电信号手势识别", 《微型机与应用》 * |
Cited By (31)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109409276A (zh) * | 2018-10-19 | 2019-03-01 | 大连理工大学 | 一种健壮手语特征提取方法 |
| CN109598219A (zh) * | 2018-11-20 | 2019-04-09 | 中国科学技术大学 | 一种用于鲁棒肌电控制的自适应电极配准方法 |
| CN109598219B (zh) * | 2018-11-20 | 2022-09-02 | 中国科学技术大学 | 一种用于鲁棒肌电控制的自适应电极配准方法 |
| CN109662710A (zh) * | 2018-12-06 | 2019-04-23 | 杭州电子科技大学 | 一种基于卷积神经网络的肌电信号特征提取方法 |
| CN109814716A (zh) * | 2019-01-29 | 2019-05-28 | 福州大学 | 一种基于动态表面肌电信号的运动意图解码方法 |
| CN109814716B (zh) * | 2019-01-29 | 2021-07-27 | 福州大学 | 一种基于动态表面肌电信号的运动意图解码方法 |
| CN109800733A (zh) * | 2019-01-30 | 2019-05-24 | 中国科学技术大学 | 数据处理方法及装置、电子设备 |
| CN109800733B (zh) * | 2019-01-30 | 2021-03-09 | 中国科学技术大学 | 数据处理方法及装置、电子设备 |
| CN109924977A (zh) * | 2019-03-21 | 2019-06-25 | 西安交通大学 | 一种基于cnn和lstm的表面肌电信号分类方法 |
| CN110141232B (zh) * | 2019-06-11 | 2020-10-27 | 中国科学技术大学 | 用于鲁棒肌电信号识别的数据增强方法 |
| CN110141232A (zh) * | 2019-06-11 | 2019-08-20 | 中国科学技术大学 | 用于鲁棒肌电信号识别的数据增强方法 |
| CN110658915A (zh) * | 2019-07-24 | 2020-01-07 | 浙江工业大学 | 一种基于双流网络的肌电信号手势识别方法 |
| CN110598676A (zh) * | 2019-09-25 | 2019-12-20 | 南京邮电大学 | 基于置信度得分模型的深度学习手势肌电信号识别方法 |
| CN110610172A (zh) * | 2019-09-25 | 2019-12-24 | 南京邮电大学 | 一种基于rnn-cnn架构的肌电手势识别方法 |
| CN110598676B (zh) * | 2019-09-25 | 2022-08-02 | 南京邮电大学 | 基于置信度得分模型的深度学习手势肌电信号识别方法 |
| CN110610172B (zh) * | 2019-09-25 | 2022-08-12 | 南京邮电大学 | 一种基于rnn-cnn架构的肌电手势识别方法 |
| CN110859620A (zh) * | 2019-11-19 | 2020-03-06 | 上海电机学院 | 基于单向视频信号的腰部竖脊肌活动识别及预测方法 |
| CN111209885A (zh) * | 2020-01-13 | 2020-05-29 | 腾讯科技（深圳）有限公司 | 一种手势信息处理方法、装置、电子设备及存储介质 |
| US11755121B2 (en) | 2020-01-13 | 2023-09-12 | Tencent Technology (Shenzhen) Company Limited | Gesture information processing method and apparatus, electronic device, and storage medium |
| CN111209885B (zh) * | 2020-01-13 | 2023-05-30 | 腾讯科技（深圳）有限公司 | 一种手势信息处理方法、装置、电子设备及存储介质 |
| CN111431825A (zh) * | 2020-02-25 | 2020-07-17 | 泰山学院 | 一种基于深度多流神经网络的信号自动分类识别方法 |
| CN111431825B (zh) * | 2020-02-25 | 2021-03-09 | 泰山学院 | 一种基于深度多流神经网络的信号自动分类识别方法 |
| WO2021174705A1 (zh) * | 2020-03-03 | 2021-09-10 | 东南大学 | 一种多自由度肌电假手控制系统及其使用方法 |
| CN111938660A (zh) * | 2020-08-13 | 2020-11-17 | 电子科技大学 | 一种基于阵列肌电的卒中患者手部康复训练动作识别方法 |
| CN111938660B (zh) * | 2020-08-13 | 2022-04-12 | 电子科技大学 | 一种基于阵列肌电的卒中患者手部康复训练动作识别方法 |
| CN112732092A (zh) * | 2021-01-22 | 2021-04-30 | 河北工业大学 | 基于双视图多尺度卷积神经网络的表面肌电信号识别方法 |
| CN113729738A (zh) * | 2021-09-13 | 2021-12-03 | 武汉科技大学 | 一种多通道肌电特征图像的构建方法 |
| CN113729738B (zh) * | 2021-09-13 | 2024-04-12 | 武汉科技大学 | 一种多通道肌电特征图像的构建方法 |
| CN113627401A (zh) * | 2021-10-12 | 2021-11-09 | 四川大学 | 融合双注意力机制的特征金字塔网络的肌电手势识别方法 |
| CN116738295A (zh) * | 2023-08-10 | 2023-09-12 | 齐鲁工业大学(山东省科学院) | sEMG信号分类方法、系统、电子设备及存储介质 |
| CN116738295B (zh) * | 2023-08-10 | 2024-04-16 | 齐鲁工业大学(山东省科学院) | sEMG信号分类方法、系统、电子设备及存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108491077B (zh) | 2020-06-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108491077A (zh) | 一种基于多流分治卷积神经网络的表面肌电信号手势识别方法 | |
| CN110069958B (zh) | 一种密集深度卷积神经网络的脑电信号快速识别方法 | |
| CN105069304B (zh) | 一种基于机器学习的评估预测asd的装置 | |
| CN103514456B (zh) | 基于压缩感知多核学习的图像分类方法及其装置 | |
| CN109815785A (zh) | 一种基于双流卷积神经网络的人脸情绪识别方法 | |
| CN105005765A (zh) | 一种基于Gabor小波和灰度共生矩阵的人脸表情识别方法 | |
| CN104166548B (zh) | 基于运动想象脑电数据的深度学习方法 | |
| CN110139597A (zh) | 利用神经生理信号进行迭代分类的系统和方法 | |
| CN106682616A (zh) | 基于双通道特征深度学习的新生儿疼痛表情识别方法 | |
| CN106203356B (zh) | 一种基于卷积网络特征提取的人脸识别方法 | |
| CN107256392A (zh) | 一种联合图像、语音的全面情绪识别方法 | |
| CN109497990B (zh) | 一种基于典型相关分析的心电信号身份识别方法及系统 | |
| CN109431523A (zh) | 基于非社会性声音刺激行为范式的孤独症初级筛查装置 | |
| CN110070105A (zh) | 基于元学习实例快速筛选的脑电情绪识别方法、系统 | |
| CN107424145A (zh) | 基于三维全卷积神经网络的核磁共振图像的分割方法 | |
| CN110353673A (zh) | 一种基于标准互信息的脑电通道选择方法 | |
| CN110399846A (zh) | 一种基于多通道肌电信号相关性的手势识别方法 | |
| CN112732092B (zh) | 基于双视图多尺度卷积神经网络的表面肌电信号识别方法 | |
| CN109685071A (zh) | 基于共同空间模式特征宽度学习的脑电分类方法 | |
| CN110037693A (zh) | 一种基于面部表情和eeg的情绪分类方法 | |
| CN108256579A (zh) | 一种基于先验知识的多模态民族认同感量化测量方法 | |
| CN110874587A (zh) | 一种人脸特征参数提取系统 | |
| CN106408579A (zh) | 一种基于视频的捏合指尖跟踪方法 | |
| CN106991409A (zh) | 一种运动想象脑电信号特征提取与分类系统及方法 | |
| CN113010013A (zh) | 一种基于Wasserstein距离的运动想象脑电迁移学习方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20200616 |