CN116138794A - 基于脉冲神经网络的低训练负担肌电模式识别方法及系统 - Google Patents
基于脉冲神经网络的低训练负担肌电模式识别方法及系统 Download PDFInfo
- Publication number
- CN116138794A CN116138794A CN202310102352.7A CN202310102352A CN116138794A CN 116138794 A CN116138794 A CN 116138794A CN 202310102352 A CN202310102352 A CN 202310102352A CN 116138794 A CN116138794 A CN 116138794A
- Authority
- CN
- China
- Prior art keywords
- pulse
- myoelectric
- neural network
- voltage
- current
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000003183 myoelectrical effect Effects 0.000 title claims abstract description 83
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 79
- 238000012549 training Methods 0.000 title claims abstract description 61
- 238000000034 method Methods 0.000 title claims abstract description 22
- 230000004913 activation Effects 0.000 claims abstract description 22
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 18
- 238000006467 substitution reaction Methods 0.000 claims abstract description 11
- 238000007781 pre-processing Methods 0.000 claims abstract description 8
- 108091006146 Channels Proteins 0.000 claims description 43
- 230000008859 change Effects 0.000 claims description 36
- 210000002569 neuron Anatomy 0.000 claims description 25
- 239000012528 membrane Substances 0.000 claims description 12
- 230000010354 integration Effects 0.000 claims description 9
- 230000009471 action Effects 0.000 claims description 8
- 238000003491 array Methods 0.000 claims description 8
- 230000011218 segmentation Effects 0.000 claims description 8
- 238000012567 pattern recognition method Methods 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 6
- 238000010304 firing Methods 0.000 claims description 6
- 238000001208 nuclear magnetic resonance pulse sequence Methods 0.000 claims description 6
- 238000009825 accumulation Methods 0.000 claims description 3
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 238000001914 filtration Methods 0.000 claims description 3
- 239000011159 matrix material Substances 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 230000036279 refractory period Effects 0.000 claims description 3
- 230000002123 temporal effect Effects 0.000 claims description 2
- 238000013527 convolutional neural network Methods 0.000 description 8
- 210000003205 muscle Anatomy 0.000 description 7
- 238000012360 testing method Methods 0.000 description 7
- 230000008901 benefit Effects 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000003909 pattern recognition Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 210000000245 forearm Anatomy 0.000 description 4
- 230000033001 locomotion Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 210000004205 output neuron Anatomy 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000002238 attenuated effect Effects 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 210000002364 input neuron Anatomy 0.000 description 2
- 230000001737 promoting effect Effects 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 206010049565 Muscle fatigue Diseases 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000013401 experimental design Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000002372 labelling Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/049—Temporal neural networks, e.g. delay elements, oscillating neurons or pulsed inputs
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/389—Electromyography [EMG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/389—Electromyography [EMG]
- A61B5/397—Analysis of electromyograms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/725—Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Veterinary Medicine (AREA)
- Surgery (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Heart & Thoracic Surgery (AREA)
- Pathology (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Psychiatry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physiology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Data Mining & Analysis (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明涉及一种基于脉冲神经网络的低训练负担肌电模式识别方法及系统，其方法包括：步骤S1：利用高密度肌电电极阵列采集表面肌电信号；步骤S2：对肌电信号进行预处理后进行特征提取，得到肌电实值样本，并将肌电实值样本在时间维度上使用自适应时间对比编码得到的脉冲与在空间维度上使用基于空间激活信息的编码得到的脉冲相加，构建肌电脉冲样本集；步骤S3：将肌电脉冲样本集输入脉冲神经网络，并基于电压、电流和脉冲进行联合决策，使用基于替代梯度的训练算法训练脉冲神经网络，输出预测的手势类别。本发明提供的方法，能够在手势样本较少的约束下对手势进行识别，可以有效缓解分类器对样本的依赖。
Description
技术领域
本发明涉及生物信号处理领域，具体涉及一种基于脉冲神经网络的低训练负担肌电模式识别方法及系统。
背景技术
表面肌电信号是一种源于神经-肌肉活动时产生的生物电信号，它与肌肉的活动密切相关，是检测运动意图的常用媒介，由于其具有检测无创性的优点，已经广泛应用于手势识别等肌电控制领域。肌电控制性能的决定性因素是肌电模式识别算法的性能，它通过训练分类器辨识多种肌肉运动的模式并实现对多个自由度的控制，影响着动作分类率。由于表面肌电信号是一种非平稳的生理信号，往往导致不同个体之间的差异性较大，因此现阶段通常需要对单个用户训练特定的分类器。
近年来，基于肌电模式识别的算法研究受到了广泛的关注。具体分为两大类：一是基于传统机器学习算法的研究，二是基于深度学习算法的研究。基于传统机器学习算法的肌电模式识别在应用中常需要对用户进行多次的数据采集并需进行特征选择和提取，用以对分类器进行校准，这会带来一定的用户训练负担。借助深度学习算法的泛化能力，基于深度学习算法的肌电模式识别使用卷积神经网络(CNN)、长短时间记忆网络(LSTM)等作为手势识别网络，在识别率方面可显著超越传统机器学习方法，但通常需要大量手势样本进行训练，收集大量训练样本导致训练负担严重，当样本数量不足时，模型经常遭受过拟合的问题，难以从肌电信号解码出手势动作的变化。
随着人工智能的高速发展，基于神经拟态计算的脉冲神经网络引起了国内外研究学者们的广泛关注。与传统的神经网络不同，脉冲神经网络具有生物可解释的神经元模型和基于时序脉冲事件的信息表示和处理，这使其在处理时序生理信号方面具有一些优势。已有研究已经验证了基于脉冲神经网络肌电模式识别的可行性，同时验证了脉冲神经网络在图像识别领域少量样本训练时的优势，但是,目前很少有工作致力于解决少量样本限制下基于脉冲神经网络的肌电模式识别问题。基于此，亟需一种能够在少量样本限制下的肌电模式识别方法以用于降低训练负担。
发明内容
为了解决上述技术问题，本发明提供一种基于脉冲神经网络的低训练负担肌电模式识别方法及系统。
本发明技术解决方案为：一种基于脉冲神经网络的低训练负担肌电模式识别方法，包括：
步骤S1：利用高密度肌电电极阵列采集指定手势集中不同手势动作的表面肌电信号；
步骤S2：对所述肌电信号进行预处理后进行特征提取，得到肌电实值样本，并将所述肌电实值样本在时间维度上使用自适应时间对比编码得到的脉冲与在空间维度上使用基于空间激活信息的编码得到的脉冲相加，构建肌电脉冲样本集；
步骤S3：将所述肌电脉冲样本集输入脉冲神经网络，并基于电压、电流和脉冲进行联合决策，使用基于替代梯度的训练算法训练所述脉冲神经网络，输出预测的手势类别；其中，所述脉冲神经网络包括：L层的全连接块和基于电流-电压的泄露整合发放脉冲神经元模块。
本发明与现有技术相比，具有以下优点：
1、本发明公开了一种基于脉冲神经网络的低训练负担肌电模式识别方法，使用肌电脉冲编码提取高密度肌电信号的时空特征，将自适应时间对比编码跟踪信号时间变化得到的时序脉冲序列与基于空间激活信息编码得到的空间脉冲序列相加，放大了不同手势之间的时空信息变化，弱化了高密度肌电的冗余特征，可以有效的防止高密度肌电实值信号在传统深度神经网络下训练产生的过拟合问题。
2、本发明使用生物可解释性更高的基于电流-电压的泄露整合发放脉冲神经元模型，增加了脉冲神经元的脉冲信息处理能力，在决策过程时使用基于电压，电流和脉冲的联合决策，可以充分利用脉冲神经网络的特性以提高精度。
3、本发明使用基于替代梯度的训练算法促使脉冲神经网络在反向传播中快速捕捉训练手势的时空动态特征，因此在手势样本较少的约束下，可快速捕捉并学习手势的时空动态变化特征，有效缓解样本依赖并提高手势识别准确率，实现小样本约束下的高精度手势识别。
附图说明
图1为本发明实施例中一种基于脉冲神经网络的低训练负担肌电模式识别方法的流程图；
图2为本发明实施例中高密度肌电电极阵列示意图；
图3为本发明实施例中肌电脉冲编码原理示意图；
图4为本发明实施例中脉冲神经网络结构示意图；
图5为本发明实施例中脉冲神经网络与CNN和LSTM识别准确率和标准差对比图；
图6为本发明实施例中一种基于脉冲神经网络的低训练负担肌电模式识别系统的结构框图。
具体实施方式
本发明提供了一种基于脉冲神经网络的低训练负担肌电模式识别方法，能够在手势样本较少的约束下对手势进行识别，可以有效缓解分类器对样本的依赖。
为了使本发明的目的、技术方案及优点更加清楚，以下通过具体实施，并结合附图，对本发明进一步详细说明。
实施例一
如图1所示，本发明实施例提供的一种基于脉冲神经网络的低训练负担肌电模式识别方法，包括下述步骤：
步骤S1：利用高密度肌电电极阵列采集指定手势集中不同手势动作的表面肌电信号；
步骤S2：对肌电信号进行预处理后进行特征提取，得到肌电实值样本，并将肌电实值样本在时间维度上使用自适应时间对比编码得到的脉冲与在空间维度上使用基于空间激活信息的编码得到的脉冲相加，构建肌电脉冲样本集；
步骤S3：将肌电脉冲样本集输入脉冲神经网络，并基于电压、电流和脉冲进行联合决策，使用基于替代梯度的训练算法训练脉冲神经网络，输出预测的手势类别；其中，脉冲神经网络包括：L层的全连接块和基于电流-电压的泄露整合发放脉冲神经元模块。
在一个实施例中，上述步骤S1中高密度肌电电极阵列，具体包括：
高密度肌电电极阵列由两组柔性电极阵列组成，每组柔性电极阵列由两片相同的柔性电极子阵列构成；两组柔性电极子阵列的行通道数p分别为p1、p2，列通道数q分别为q1、q2，电极密度，即每组柔性电极阵列的相邻行和列通道间距，分别为d1、d2。
如图2所示，高密度肌电电极阵列由两组柔性电极阵列组成，每组柔性电极阵列由两片相同的柔性电极子阵列构成；每组柔性电极子阵列的行通道数p分别为p1、p2，列通道数q分别为q1、q2，电极密度为d1、d2(每组电极阵列的相邻行、列通道间距)。本发明实施例采用的参数设置为：p1＝8，p2＝4，q1＝6，q2＝4，d1＝14mm、d2＝18mm。在进行数据采集时，将电极阵列贴放在手势动作可能激活的肌肉表面，可以选取测试者的前臂伸肌群、前臂屈肌群、肱二头肌、肱三头肌等作为测试肌肉，将阵列一(例如，p1*q1的电极阵列)放置在前臂内侧和背侧，用于捕捉前臂肌群的激活信息；将阵列二(例如，p2*q2的电极阵列)放置在后臂内侧和背侧，用于捕捉肱二与肱三头肌的激活信息。
采集若干个受试者的数据以防止随机性，本发明实施例中采集8名受试者(6男性，2女性，年龄24-35)，可采集G种涵盖常见的腕指关节的手势动作，本发明实施例中G＝30。受试者在执行手势动作时分为三个阶段：第一是开始阶段(T1)，包括将放松桌子上的手臂抬起肘部准备做手势；第二是稳态阶段(T2)，期间完成手势，并保持形状和强度不变；最后是结束阶段(T3)，此时肌肉放松，肘部以自由速度放松回到桌子上。每个手势动作均采集N次，本发明实施例中N＝8，两种手势动作之间停留一定时间，以防止引入肌肉疲劳。
在一个实施例中，上述步骤S2：对肌电信号进行预处理后进行特征提取，得到肌电实值样本，并将肌电实值样本在时间维度上使用自适应时间对比编码得到的脉冲与在空间维度上使用基于空间激活信息的编码得到的脉冲相加，构建肌电脉冲样本集，具体包括：
步骤S21：对肌电信号进行活动段分割、滤波和归一化后，对活动段进行样本分割，其中，活动段进行样本分割的具体步骤为：
首先，采用窗长W1，增量L1的滑动窗对肌电信号的活动段进行划分，得到M1个窗口；对每个窗口的时间维度进行特征提取，得到长度为M1的新活动段；
其次，对新活动段采用窗长W2，增量L2的滑动窗，得到M2个大小为窗长W2*通道数C＝2*p1*q1+2*p2*q2的肌电实值样本；
在本步骤中，将步骤S1中采集的原始肌电信号进行活动段分割，得到包含对应手势激活信息的肌电活动段。本发明实施例使用基于阈值的活动段分割，当信号幅度上升或下降到峰值的约10％时，相应的时间点分别被认为是激活活动数据段的开始或结束。分割得到的活动段大致对应于上述T2稳态阶段间，期间受试者保持手势稳态进行采样，本发明实施例将活动段统一截取为2s，采样率＝1000hz，因此每个活动段具有2000个数据点。使用带通滤波器消除每个活动段的低频基线漂移。本发明实施例使用20-500Hz、50阶有限脉冲响应带通滤波器进行滤波。再使用01标准化方法对每个通道进行归一化，以消除数据间的分布差异。
本发明对上述所得活动段使用滑动窗进行分割并提特征得到肌电实值样本。本发明实施例中采用窗长W1，增量L1的滑动窗对肌电信号的活动段进行划分得到M1个窗口，对每个窗口的时间维度进行特征提取以获得更稳定的数据信息，本发明实施例使用均值特征。每个活动段经过特征提取可以得到M1*通道数C(C＝2*p1*q1+2*p2*q2)的新活动段，然后对新活动段采用窗长W2，增量L2的滑动窗得到M2个的大小为W2*通道数C的肌电实值样本X(t，i)(t∈1....W2，i∈1....C)。
步骤S22：对肌电实值样本在时间维度上使用自适应时间对比编码：对于肌电实值样本的每个通道，记录相邻时间点的信号变化，并将信号变化的绝对值与阈值Vthr1相比较判断是否发放脉冲，信号变化的绝对值大于阈值Vthr1发放脉冲即用1表示，否则用0；阈值Vthr1是随信号变化自适应变化，其值为信号变化的均值加上预设的编码参数因子a乘以信号变化的标准差；
如图3所示，本发明实施例使用自适应时间对比编码编码时序信号X(t，_)时，首先用diff1(t)在时间维度上记录每个通道相邻时间点的信号变化，并将信号变化的绝对值与阈值Vthr1相比较判断是否发放脉冲得到S1(t，_)，信号变化的绝对值大于阈值Vthr1发放脉冲即用1表示，否则用0；其中阈值Vthr1是随信号自适应变化，等于信号变化的均值加上编码参数因子a乘以信号变化的标准差，编码参数因子a是可调参数，影响脉冲发放情况。
步骤S23：对肌电实值样本在空间维度上使用基于空间激活信息的编码：对于高密度肌电电极阵列的每一时刻，记录每一电极通道与其相邻电极通道的差异变化，差异变化由该通道激活值与所有相邻通道激活值均值的差计算得到，相邻通道为以该通道为中心的k*k矩形，k为奇数，所覆盖的其余通道，然后将差异变化的绝对值与阈值Vthr2相比较判断是否发放脉冲，差异变化的绝对值大于阈值Vthr2发放脉冲即用1表示，否则用0；其中阈值Vthr2是随差异变化自适应变化，其值为差异变化的均值加上预设的参数因子b乘以差异变化的标准差；
如图3所示，本发明实施例使用基于空间激活信息的脉冲编码编码空间信号X(_，i)时，首先用diff2(i)在电极片上(行通道p*列通道q)记录每时刻电极通道i与相邻电极通道的差异变化，差异变化由该通道激活值与所有相邻通道激活值均值的差计算得到，图3中M代表电极通道i的相邻电极通道数，一般为以电极通道i为中心的k*k(k为奇数，本发明实施例中k＝3)矩形中除去i之外其余通道，边缘通道仅考虑k*k矩形覆盖的有效部分。然后将差异变化的绝对值与阈值Vthr2相比较判断是否发放脉冲得到S2(_，i)，差异变化的绝对值大于阈值Vthr2则发放脉冲用1表示，否则用0；其中阈值Vthr2是随差异变化自适应变化，等于差异变化的均值加上参数因子b乘以差异变化的标准差，编码参数因子b是可调参数，影响脉冲发放情况。
步骤S24：将步骤S22和步骤S23编码后得到的脉冲相加，得到肌电脉冲样本集。
经过上述步骤S22和S23分别编码后，将W2*C的肌电实值样本得到的两个相同大小的脉冲样本相加，得到最终的肌电脉冲样本S(t，i)(t∈1....T，i∈1....C)，脉冲样本的时间步长T等于W2，对每个肌电脉冲样本按照所属的动作类别进行标签化操作得到肌电脉冲样本集。
在一个实施例中，上述步骤S3：将肌电脉冲样本集输入脉冲神经网络，并基于电压、电流和脉冲进行联合决策，使用基于替代梯度的训练算法训练脉冲神经网络，输出预测的手势类别；其中，脉冲神经网络包括：L层的全连接块和基于电流-电压的泄露整合发放脉冲神经元模块，具体包括：
步骤S31：脉冲神经网络(SNN)由顺序连接的L层模块组成，其中，每个模块包括：全连接块和基于电流-电压的泄露-整合发放脉冲神经元模块；将肌电脉冲样本集中样本按照时间步依次输入脉冲神经网络，经脉冲神经网络依次提取每个时间步肌电通道的脉冲事件特征，并迭代更新脉冲神经元的膜电压和电流，直到完成所有时间步；其中，全连接层块由全连接层和批标准化层组成，基于电流-电压的泄露-整合发放脉冲神经元模块LIF-I-U通过在时间维度上引入膜电压的累积、衰减、发放和复位来输出离散的二值脉冲序列，如公式(1)～(2)所示；
Il(t)＝μIl(t-1)+WSl-1(t) (1)
Ul(t)＝τUl(t-1)+RIl(t) (2)
其中，Ik(t)为当前l层第t时间步的电流，Ul(t)为当前l层第t时间步的膜电压，Sl-1(t)为前一层l-1第t时间步的输出脉冲，μ和τ分别指突触电流衰减因子和膜电压时间常数衰减因子；W为权重连接矩阵，R为电阻；
本发明实施例的全连接块由全连接层和用于加快网络收敛的批标准化层组成。与传统神经元的实值输出不同，本发明实施例的脉冲神经元通过在时间维度上引入膜电压的累积，衰减，发放和复位来输出离散的二值脉冲序列，并且在传统的基于电压的泄露-整合发放(LIF)脉冲神经元的基础上引入膜电流及其衰减，得到基于电流-电压的泄露-整合发放脉冲神经元(LIF-I-U)。LIF-I-U神经元的工作过程为：在第t时间步时，首先将前一层(l-1)的输出脉冲Sl-1(t)与两层之间的权重连接矩阵W相乘得到输入电流，输入电流与当前层(l)第t-1时间步经过衰减后的电流相加得到当前层第t时间步的电流Il(t)。该电流再整合到同样随时间衰减的膜电压上，得到当前时间步的膜电压Ul(t)；
如公式(3)和(4)所示，当膜电压Ul(t)大于给定阈值Vthr3时，LIF-I-U会通过阶跃函数h(x)发放脉冲Sl(t)，然后通过减去复位电压来模拟LIF-I-U的不应期，如公式(5)所示，其中，p为复位电压常数：
Sl(t)＝h(Ul(t)-Vthr3) (3)
Ul(t)＝Ul(t)(1-p) (5)
完成第t时间步的膜电压和电流更新后，继续使用脉冲神经网络提取第t+1时间步的肌电脉冲事件特征，不断迭代更新膜电压和电流，直到完成所有时间步；
本发明实施例所使用LIF-I-U的膜电压Ul(t)大于给定阈值Vthr3时，LIF-I-U会发放脉冲Sl(t)，然后通过减去复位电压来模拟LIF-I-U的不应期。完成第t时间步的电压和电流更新后，继续使用脉冲神经网络提取第t+1时间步的肌电脉冲事件特征，不断迭代更新电压和电流，直到完成所有时间步；
步骤S32：使用基于电压、电流和脉冲的联合决策，对最后一层全连接块和LIF-I-U的输出电流，L(t)，输出膜电压UL(t)和输出脉冲SL(t)在时间上取均值，并分别采用softamx函数对均值进行规范化后，得到手势的加权概率和，将加权概率和最大的手势类别作为预测类别；如公式(6)所示，其中T为脉冲神经网络的总时间步长：
如图4所示，本发明实例以包含两个全连接块的脉冲神经网络为例，即L＝2，因此层数l仅可取到0，1，2，其中S0(t)即等于编码得到的肌电脉冲样本。如图4，以batch(批处理)形式输入肌电脉冲样本第t时间步的脉冲事件S0(t)，尺寸为batch*C(对应若干个高密度电极阵列按固定顺序排列的通道数，例如128)。第一个全连接块的输入神经元接收脉冲事件，输出神经元个数为H(例如，可设置为100)，使用LIF-I-U脉冲神经元得到该层输出电流I1(t)，膜电压U1(t)和输出脉冲S1(t)等脉冲响应。第二个全连接块接收上一层脉冲输出S1(t)，输出的神经元个数为G个(G表示类别数量)，使用LIF-I-U脉冲神经元得到该层输出电流I2(t)，膜电压U2(t)和输出脉冲S2(t)等脉冲响应。
在决策过程时使用基于电压，电流和脉冲的联合决策，对最后一个全连接块和LIF-I-U的输出电流I2(t)，输出膜电压U2(t)和输出脉冲S2(t)在时间上取均值，并分别采用softamx函数对均值进行规范化后，得到手势的加权概率和，找到一个概率和最大的手势类别作为预测类别。
手势类别真实标签与脉冲神经网络输出的预测手势类别之间的交叉熵损失函数如公式(7)所示：
其中，
为手势类别真实标签，O为预测的手势类别。
此外，本发明采用基于替代梯度的反向传播算法训练脉冲神经网络。
反向传播时需计算交叉熵损失对于权重W的导数，以U(t)为例，由链式求导法则可得：
因此需要计算每一时间步U(t)关于W得导数，以第t时间步为例：
由于
是不可微分的，因而在计算该梯度时可采用近似阶跃函数的函数(示例性的，如式(10))其导数进行替代。
可以看出，梯度在每一时间步上都会在不同层之间进行反向传播，促使脉冲神经网络快速捕捉训练手势的时空动态特征。
在脉冲神经网络的训练过程中，本发明实施例对肌电脉冲样本集进行了以下的设计：每位受试者每种手势的N次重复，随机依次选择n(1≤n≤7，n∈整数)次重复组合起来作为训练数据集，剩余的N-n次重复组合起来作为测试数据集。对应的，肌电脉冲样本集的标签按照上述数据划分比例进行处理，得到训练数据集和测试数据集的标签。
对于步骤S2的编码参数a和b和步骤S3中的μ，τ，R，Vthr3和p均为本发明实施例的可调参数，本发明实施例采用证明效果较优的参数集，如表1所示：
表1 参数集
| a | b | μ | τ | R | Vthr3 | p |
| 0.2 | 0.2 | e-0.2 | e-0.1 | 1 | 2 | 1.5 |
基于此，本发明实施例基于训练数据集及对应的手势标签对脉冲神经网络进行训练，具体的训练步骤如下：将训练数据和相应的标签送至脉冲神经网络中，设置每次迭代样本数batch以及总共需要迭代的次数epoch，调整学习率等相关参数，通过基于替代梯度的训练方法使得训练错误率满足设定标准(具体标准可根据需求自行设定)。训练好网络之后将测试集输入网络计算得到测试集识别准确率。
为了验证本发明提供方法的性能，使用传统方法与本发明上述方案进行了对比实验。传统方法使用了LSTM和CNN，网络主体均为两层LSTM/CNN，并添加全连接层得到手势分类，对于LSTM，输入batch*窗长W2*通道C的实值样本，LSTM的输入神经元和输出神经元与脉冲神经网络一致。对于CNN，将高密度肌电阵列reshape成一张图像e*f(例如，128--16*8)，W2看成图像的W2个特征，因而输入看成batch*W2*e*f，CNN的卷积核大小均为3*3，两层CNN滤波器个数分别为32和16。对步骤S2得到的肌电实值样本进行与上述实施例同样的实验设计得到训练集和测试集。图5所示为三种网络在测试集上的平均识别准确率和标准差，横坐标为训练集的手势重复次数n。实验结果表明：跟另外两种网络相比，本发明的脉冲神经网络在训练样本量越低时，识别精度的优势越明显，这说明脉冲神经网络能够在手势样本较少的约束下对手势进行高精度识别，可以有效缓解分类器对样本的依赖，为基于肌电的手势识别技术中用户训练负担重的问题提供有益的解决方案。
本发明公开了一种基于脉冲神经网络的低训练负担肌电模式识别方法，使用肌电脉冲编码提取高密度肌电信号的时空特征，将自适应时间对比编码跟踪信号时间变化得到的时序脉冲序列与基于空间激活信息编码得到的空间脉冲序列相加，放大了不同手势之间的时空信息变化，弱化了高密度肌电的冗余特征，可以有效的防止高密度肌电实值信号在传统深度神经网络下训练产生的过拟合问题。本发明使用生物可解释性更高的基于电流-电压的泄露整合发放脉冲神经元模型，增加了脉冲神经元的脉冲信息处理能力，在决策过程时使用基于电压，电流和脉冲的联合决策，可以充分利用脉冲神经网络的特性以提高精度。本发明使用基于替代梯度的训练算法促使脉冲神经网络在反向传播中快速捕捉训练手势的时空动态特征，因此在手势样本较少的约束下，可快速捕捉并学习手势的时空动态变化特征，有效缓解样本依赖并提高手势识别准确率，实现小样本约束下的高精度手势识别。
实施例二
如图6所示，本发明实施例提供了一种基于脉冲神经网络的低训练负担肌电模式识别系统，包括下述模块：
采集表面肌电信号模块41，用于利用高密度肌电电极阵列采集指定手势集中不同手势动作的表面肌电信号；
构建肌电脉冲样本集模块42，用于对肌电信号进行预处理后进行特征提取，得到肌电实值样本，并将肌电实值样本在时间维度上使用自适应时间对比编码得到的脉冲与在空间维度上使用基于空间激活信息的编码得到的脉冲相加，构建肌电脉冲样本集；
训练脉冲神经网络模块43，用于将肌电脉冲样本集输入脉冲神经网络，并基于电压、电流和脉冲进行联合决策，使用基于替代梯度的训练算法训练脉冲神经网络，输出预测的手势类别；其中，脉冲神经网络包括：L层的全连接块和基于电流-电压的泄露整合发放脉冲神经元模块。
提供以上实施例仅仅是为了描述本发明的目的，而并非要限制本发明的范围。本发明的范围由所附权利要求限定。不脱离本发明的精神和原理而做出的各种等同替换和修改，均应涵盖在本发明的范围之内。
Claims (5)
1.一种基于脉冲神经网络的低训练负担肌电模式识别方法，其特征在于，包括：
步骤S1：利用高密度肌电电极阵列采集指定手势集中不同手势动作的表面肌电信号；
步骤S2：对所述肌电信号进行预处理后进行特征提取，得到肌电实值样本，并将所述肌电实值样本在时间维度上使用自适应时间对比编码得到的脉冲与在空间维度上使用基于空间激活信息的编码得到的脉冲相加，构建肌电脉冲样本集；
步骤S3：将所述肌电脉冲样本集输入脉冲神经网络，并基于电压、电流和脉冲进行联合决策，使用基于替代梯度的训练算法训练所述脉冲神经网络，输出预测的手势类别；其中，所述脉冲神经网络包括：L层的全连接块和基于电流-电压的泄露整合发放脉冲神经元模块。
2.根据权利要求1所述的基于脉冲神经网络的低训练负担肌电模式识别方法，其特征在于，所述步骤S1中所述高密度肌电电极阵列，具体包括：
所述高密度肌电电极阵列由两组柔性电极阵列组成，每组所述柔性电极阵列由两片相同的柔性电极子阵列构成；两组所述柔性电极子阵列的行通道数p分别为p1、p2，列通道数q分别为q1、q2，电极密度，即每组柔性电极阵列的相邻行和列通道间距，分别为d1、d2。
3.根据权利要求2所述的基于脉冲神经网络的低训练负担肌电模式识别方法，其特征在于，所述步骤S2：对所述肌电信号进行预处理后进行特征提取，得到肌电实值样本，并将所述肌电实值样本在时间维度上使用自适应时间对比编码得到的脉冲与在空间维度上使用基于空间激活信息的编码得到的脉冲相加，构建肌电脉冲样本集，具体包括：
步骤S21：对所述肌电信号进行活动段分割、滤波和归一化后，对所述活动段进行样本分割，其中，活动段进行样本分割的具体步骤为：
首先，采用窗长W1，增量L1的滑动窗对所述肌电信号的活动段进行划分，得到M1个窗口；对每个窗口的时间维度进行特征提取，得到长度为M1的新活动段；
其次，对所述新活动段采用窗长W2，增量L2的滑动窗，得到M2个大小为窗长W2*总通道数C＝2*p1*q1+2*p2*q2的肌电实值样本；
步骤S22：对所述肌电实值样本在时间维度上使用自适应时间对比编码：对于所述肌电实值样本的每个通道，记录相邻时间点的信号变化，并将信号变化的绝对值与阈值Vthr1相比较判断是否发放脉冲，信号变化的绝对值大于阈值Vthr1发放脉冲即用1表示，否则用0；所述阈值Vthr1是随信号变化自适应变化，其值为信号变化的均值加上预设的编码参数因子a乘以信号变化的标准差；
步骤S23：对所述肌电实值样本在空间维度上使用基于空间激活信息的编码：对于所述高密度肌电电极阵列的每一时刻，记录每一电极通道与其相邻电极通道的差异变化，差异变化由该通道激活值与所有相邻通道激活值均值的差计算得到，相邻通道为以该通道为中心的k*k矩形，k为奇数，所覆盖的其余通道，然后将差异变化的绝对值与阈值Vthr2相比较判断是否发放脉冲，差异变化的绝对值大于阈值Vthr2发放脉冲即用1表示，否则用0；其中所述阈值Vthr2是随差异变化自适应变化，其值为差异变化的均值加上预设的参数因子b乘以差异变化的标准差；
步骤S24：将步骤S22和步骤S23编码后得到的脉冲相加，得到肌电脉冲样本集。
4.根据权利要求3所述的基于脉冲神经网络的低训练负担肌电模式识别方法，其特征在于，所述步骤S3：将所述肌电脉冲样本集输入脉冲神经网络，并基于电压、电流和脉冲进行联合决策，使用基于替代梯度的训练算法训练所述脉冲神经网络，输出预测的手势类别；其中，所述脉冲神经网络包括：L层的全连接块和基于电流-电压的泄露整合发放脉冲神经元模块，具体包括：
步骤S31：所述脉冲神经网络由顺序连接的L层模块组成，其中，每个所述模块包括：全连接块和基于电流-电压的泄露-整合发放脉冲神经元模块；将所述肌电脉冲样本集中样本按照时间步依次输入所述脉冲神经网络，经所述脉冲神经网络依次提取每个时间步肌电通道的脉冲事件特征，并迭代更新所述脉冲神经元的膜电压和电流，直到完成所有时间步；其中，所述全连接层块由全连接层和批标准化层组成，所述基于电流-电压的泄露-整合发放脉冲神经元模块LIF-I-U通过在时间维度上引入膜电压的累积、衰减、发放和复位来输出离散的二值脉冲序列，如公式(1)～(2)所示；
Il(t)＝μIl(t-1)+WSl-1(t) (1)
Ul(t)＝τUl(t-1)+RIl(t) (2)
其中，Il(t)为当前l层第t时间步的电流，Ul(t)为当前l层第t时间步的膜电压，Sl-1(t)为前一层l-1第t时间步的输出脉冲，μ和τ分别指突触电流衰减因子和膜电压时间常数衰减因子；W为权重连接矩阵，R为电阻；
如公式(3)和(4)所示，当膜电压Ul(t)大于给定阈值Vthr3时，LIF-I-U会通过阶跃函数h(x)发放脉冲Sl(t)，然后通过减去复位电压来模拟LIF-I-U的不应期，如公式(5)所示，其中，p为复位电压常数：
Sl(t)＝h(Ul(t)-Vthr3) (3)
Ul(t)＝Ul(t)(1-p) (5)
完成第t时间步的膜电压和电流更新后，继续使用所述脉冲神经网络提取第t+1时间步的肌电脉冲事件特征，不断迭代更新膜电压和电流，直到完成所有时间步；
步骤S32：使用基于电压、电流和脉冲的联合决策，对最后一层全连接块和LIF-I-U的输出电流IL(t)，输出膜电压UL(t)和输出脉冲SL(t)在时间上取均值，并分别采用softamx函数对均值进行规范化后，得到手势的加权概率和，将所述加权概率和最大的手势类别作为预测类别；如公式(6)所示，其中T为脉冲神经网络的总时间步长：
手势类别真实标签与所述脉冲神经网络输出的预测手势类别之间的交叉熵损失函数如公式(7)所示：
其中，
为手势类别真实标签，O为预测的手势类别。
5.一种基于脉冲神经网络的低训练负担肌电模式识别系统，其特征在于，包括下述模块：
采集表面肌电信号模块，用于利用高密度肌电电极阵列采集指定手势集中不同手势动作的表面肌电信号；
构建肌电脉冲样本集模块，用于对所述肌电信号进行预处理后进行特征提取，得到肌电实值样本，并将所述肌电实值样本在时间维度上使用自适应时间对比编码得到的脉冲与在空间维度上使用基于空间激活信息的编码得到的脉冲相加，构建肌电脉冲样本集；
训练脉冲神经网络模块，用于将所述肌电脉冲样本集输入脉冲神经网络，并基于电压、电流和脉冲进行联合决策，使用基于替代梯度的训练算法训练所述脉冲神经网络，输出预测的手势类别；其中，所述脉冲神经网络包括：L层的全连接块和基于电流-电压的泄露整合发放脉冲神经元模块。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310102352.7A CN116138794A (zh) | 2023-01-19 | 2023-01-19 | 基于脉冲神经网络的低训练负担肌电模式识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310102352.7A CN116138794A (zh) | 2023-01-19 | 2023-01-19 | 基于脉冲神经网络的低训练负担肌电模式识别方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116138794A true CN116138794A (zh) | 2023-05-23 |
Family
ID=86359613
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310102352.7A Pending CN116138794A (zh) | 2023-01-19 | 2023-01-19 | 基于脉冲神经网络的低训练负担肌电模式识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116138794A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116432703A (zh) * | 2023-06-12 | 2023-07-14 | 成都大学 | 基于复合神经网络模型的脉冲高度估计方法、系统及终端 |
-
2023
- 2023-01-19 CN CN202310102352.7A patent/CN116138794A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116432703A (zh) * | 2023-06-12 | 2023-07-14 | 成都大学 | 基于复合神经网络模型的脉冲高度估计方法、系统及终端 |
| CN116432703B (zh) * | 2023-06-12 | 2023-08-29 | 成都大学 | 基于复合神经网络模型的脉冲高度估计方法、系统及终端 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113627518B (zh) | 利用迁移学习实现神经网络脑电情感识别模型的方法 | |
| CN108491077B (zh) | 一种基于多流分治卷积神经网络的表面肌电信号手势识别方法 | |
| Gibson et al. | Spike sorting: The first step in decoding the brain: The first step in decoding the brain | |
| Zhang et al. | GANSER: A self-supervised data augmentation framework for EEG-based emotion recognition | |
| Chen et al. | Continuous restricted Boltzmann machine with an implementable training algorithm | |
| CN111657941B (zh) | 基于肌肉核心激活区域的电极校正及肌电模式识别方法 | |
| Hanson | A stochastic version of the delta rule | |
| CN113239744B (zh) | 基于深度学习的脑电-肌电信号融合识别方法 | |
| Abdelhameed et al. | Epileptic seizure detection using deep convolutional autoencoder | |
| Dutta | Multi-class time series classification of EEG signals with recurrent neural networks | |
| CN110522412A (zh) | 基于多尺度脑功能网络分类脑电信号的方法 | |
| CN112450885B (zh) | 一种面向癫痫脑电的识别方法 | |
| Valencia et al. | Frameworks for efficient brain-computer interfacing | |
| CN116138794A (zh) | 基于脉冲神经网络的低训练负担肌电模式识别方法及系统 | |
| Valencia et al. | Neural spike sorting using binarized neural networks | |
| Ge et al. | Spike sorting by stochastic simulation | |
| CN114548165B (zh) | 一种可跨用户的肌电模式分类方法 | |
| Rosenfeld et al. | Spiking generative adversarial networks with a neural network discriminator: local training, bayesian models, and continual meta-learning | |
| Zamani et al. | Accurate, very low computational complexity spike sorting using unsupervised matched subspace learning | |
| CN110738093B (zh) | 基于改进小世界回声状态网络肌电的分类方法 | |
| Gabardi et al. | A multi-artifact EEG denoising by frequency-based deep learning | |
| Bohte et al. | Error-backpropagation in temporally encoded networks of spiking neurons | |
| CN116522106A (zh) | 一种基于迁移学习并行多尺度滤波器组时域卷积的运动想象脑电信号分类方法 | |
| Akmal et al. | Artificial neural network-based framework for improved classification of tensor-recovered EEG data | |
| Kim et al. | Statistical analysis of the non-stationarity of neural population codes |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |