CN114548165B - 一种可跨用户的肌电模式分类方法 - Google Patents
一种可跨用户的肌电模式分类方法 Download PDFInfo
- Publication number
- CN114548165B CN114548165B CN202210150158.1A CN202210150158A CN114548165B CN 114548165 B CN114548165 B CN 114548165B CN 202210150158 A CN202210150158 A CN 202210150158A CN 114548165 B CN114548165 B CN 114548165B
- Authority
- CN
- China
- Prior art keywords
- data
- source domain
- electromyographic signals
- batch
- network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000009471 action Effects 0.000 claims abstract description 33
- 238000013526 transfer learning Methods 0.000 claims abstract description 7
- 230000000284 resting effect Effects 0.000 claims description 20
- 230000003183 myoelectrical effect Effects 0.000 claims description 18
- 230000006870 function Effects 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 12
- 238000012549 training Methods 0.000 claims description 12
- 238000000605 extraction Methods 0.000 claims description 10
- 238000012545 processing Methods 0.000 claims description 10
- 230000006978 adaptation Effects 0.000 claims description 8
- 238000004458 analytical method Methods 0.000 claims description 7
- 230000000875 corresponding effect Effects 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 5
- 238000011176 pooling Methods 0.000 claims description 5
- 230000004118 muscle contraction Effects 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 3
- 238000001228 spectrum Methods 0.000 claims description 3
- 230000036962 time dependent Effects 0.000 claims description 3
- 238000009826 distribution Methods 0.000 description 18
- 238000005070 sampling Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 238000003909 pattern recognition Methods 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 210000003811 finger Anatomy 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 238000012360 testing method Methods 0.000 description 4
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 239000003814 drug Substances 0.000 description 3
- 210000003205 muscle Anatomy 0.000 description 3
- 230000009286 beneficial effect Effects 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000010219 correlation analysis Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 206010049565 Muscle fatigue Diseases 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000002567 electromyography Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 210000000245 forearm Anatomy 0.000 description 1
- 210000004932 little finger Anatomy 0.000 description 1
- 230000036403 neuro physiology Effects 0.000 description 1
- 230000002232 neuromuscular Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000008929 regeneration Effects 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
- 210000002027 skeletal muscle Anatomy 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/389—Electromyography [EMG]
- A61B5/397—Analysis of electromyograms
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Pathology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明公开了一种可跨用户的肌电模式分类方法，包括：1、利用穿戴的当前电极设备采集n个用户的k类动作肌电信号并提取特征，从而组成有标签的源域数据其中，表示第i个样本对，代表源域的第i个样本，代表源域的第i个样本的真实标签；2、当第n+1个用户即新用户接入当前电极设备后按照任意顺序执行k类动作时，采集新用户的k类动作肌电信号并提取特征，从而组成无标签的目标域数据其中，代表目标域的第j个样本；3、构建基于领域自适应方法的迁移学习网络模型；4、实现跨用户的动作识别。本发明能实现跨用户的动作识别，并不断提升对新用户(目标域)数据识别的精准度。
Description
技术领域
本发明涉及肌电信号处理领域，具体涉及一种基于深度学习领域自适应技术，主要用于跨用户通用的肌电控制。
背景技术
肌电信号(Electromyography,EMG)是伴随肌肉收缩时产生的微弱生物电信号，它能够反映神经肌肉系统相关活动信息，可用于捕获运动或运动意图并解析为人机接口中的控制指令。表面肌电信号(Surface EMG,sEMG)采集自附着在皮肤表面的电极，因其无创性的优点，在肌电控制中被广泛采用。目前，sEMG信号已经被广泛应用于神经生理学、临床医学、运动医学和康复医学等诸多领域。作为肌电控制领域的里程碑技术，表面肌电模式识别通过训练分类器辨识多种肌肉运动的模式，可以实现对多个自由度的控制，在理想实验室情况下已具备较高的动作识别率。然而，在实际使用中，基于模式识别的肌电控制面临诸多难题，其中，因不同用户肌肉解剖等生理结构的差异，即使控制穿戴电极位置相同，基于已有用户数据训练的分类器面对未知新用户时性能大幅下降甚至不再适用，而重新训练分类器又会带来重训练负担。现阶段，这一问题成为了阻碍肌电模式识别控制技术广泛应用的难点之一。
在以往的工作中，有利用典型相关性分析(Canonical Correlation Analysis，CCA)算法，将已有用户和新用户特征矩阵均投射至选定的专家用户的特征矩阵空间，以规避个体间差异性；也有使用双线性模型(Bilinear Model)，将肌电信号看成两部分因素的合成，个体因素和动作因素。分解多个用户的肌电信号特征矩阵，把得到的动作因素矩阵用于训练分类器。对新用户，首先从其肌电信号提取少量已知动作模式(带标签)的样本用于校准，得到该用户的个体因素矩阵，再由肌电信号分解出动作模式矩阵用于模式识别。但是以上方法均需要新用户依次执行每一个动作贡献部分带标签数据样本，依然存在重训练负担。此外，还有尝试通过建立骨骼肌生理模型(Musculoskeletal Model)来解决跨用户的问题，将已有的用户的特征数据分别通过希尔模型(Hill Model)进行建模，不同用户得到的不同组模型参数，再将不同组的每种参数求取平均，近似看作一组对所有用户均适用的通用模型参数。但是上述方法参数量多，计算复杂，且识别率普遍较低，不能良好适配新用户，距离商业应用仍有一段距离。
发明内容
本发明是为了解决上述现有技术存在的不足之处，提出一种可跨用户的肌电模式分类方法，以期能直接对新用户进行动作分类，从而能实现跨用户的动作识别，并不断提升对新用户(目标域)数据识别的精准度。
本发明为达到上述发明目的，采用如下技术方案：
本发明一种可跨用户的肌电模式分类方法的特点在于，包括：
步骤1：利用穿戴的当前电极设备采集n个用户的k类动作肌电信号并提取特征，从而组成有标签的源域数据其中，/>表示第i个样本对，/>代表源域的第i个样本，/>代表源域的第i个样本的真实标签；
步骤2：当第n+1个用户即新用户接入当前电极设备后按照任意顺序执行k类动作时，采集新用户的k类动作肌电信号并提取特征，从而组成无标签的目标域数据其中，/>代表目标域的第j个样本；
步骤3：构建基于领域自适应方法的迁移学习网络模型；
步骤3.1：构建源域网络Net1与目标域网络Net2；
所述源域网络Net1包括M个特征提取模块，每个特征提取模块均包括：卷积层、激活函数层和池化层；在第M个特征提取模块后串接N个全连接层，以最后一个全连接层作为源域网络Net1的分类输出层，用于输出当前批次样本的分类概率值，将第N-1个全连接层/>输出的特征映射记作fs N-1；
将所述源域网络Net1的最后一个全连接层删除后得到目标域网络Net2；并将目标域网络Net2的第N-1个全连接层/>输出的特征映射记作ft N-1；
步骤3.2：利用式(1)构建损失函数L：
L＝Lc+λLMMD (1)
式(1)中，Lc表示所述源域网络Net1的分类输出层输出的预测标签与输入所述源域网络Net1的真是标签之间的交叉熵损失，LMMD表示源域网络Net1输出的特征映射fs N-1和目标域网络Net2输出的特征映射ft N-1之间的最大均值差异MMD损失，λ表示调节参数，λ∈(0,1)；
步骤3.3：网络模型初始训练过程；
设置批处理的尺寸为batch_size，将数据按照批处理进行分块后得到的每一批处理的数据块记作X；
将源域数据中任意第u个批处理数据块输入所述源域网络Net1；
将目标域数据中任意第v个批处理数据块输入所述目标域网络Net2；
所述迁移学习网络模型对源域数据进行训练的同时对源域和目标域的数据进行域适应处理，并计算所述源域网络Net1输出的特征映射和目标域网络Net2输出的特征映射/>之间的最大均值差异/>是否小于所设定的MMD阈值Th，若是，则模型进行反向更新，否则，第u个批处理数据块/>和第v个批处理数据块/>不用于网络更新，并将下一个源域和目标域的批处理数据块输入至模型中，直至完成所有批处理数据块的输入和模型更新训练，从而得到训练好的分类器记为Clast；
步骤3.5：网络模型更新过程；
若采集带新用户其他的k类动作肌电信号后则进行特征提取后再所述使用分类器Clast对新数据的特征进行分类，同时按照步骤3.3和步骤3.4的过程更新分类器；
步骤4：第n+m个用户穿戴当前的电极设备并采集到k类动作肌电信号时，重复步骤2-步骤3.4的过程进行分类和分类器的更新，m>1。
本发明所述的一种可跨用户的肌电模式分类方法的特点也在于，所述步骤1包括：
所述电极设备选取行通道数为p，列通道数为q，密度为D的柔性高密度电极阵列；
将电极设备放置在需要测量的位置，并逐一采集执行k类动作任务时的连续肌电信号，之后，再采集一段静息状态下的肌电信号；
利用静息状态下的肌电信号对连续肌电信号进行分割，得到一系列的样本数据；
对每一样本数据内每一通道的肌电信号进行多特征的提取。
所述利用静息状态下的肌电信号对连续肌电信号进行分割，得到一系列的样本数据包括：
利用滑动窗方法将连续肌电信号分割为一定数量的分析窗，窗长为W，滑动增量为L；
利用静息状态下的肌电信号计算静息状态阈值为Th；
利用静息状态阈值Th判断所有分析窗是否为肌肉收缩的活动段，如果是，则将相应分析窗所对应的肌电信号赋予相应的动作标签并作为源域数据的一个样本对。
提取的多特征包括包含波形长度WaveLength的时域特征以及时间依赖的功率谱描述特征。
与现有技术相比，本发明的有益效果在于：
1、本发明通过设计基于领域自适应技术的迁移学习神经网络的模型结构以及独特的渐进监督匹配方法，实现了在肌电控制的实际应用中，自动适配已有的带标签用户(源域)数据和未知无标签新用户(目标域)数据。在无需任何带标签校准数据的情况下，新用户接入该系统即可直接测试使用，网络模型根据搜集到的新用户测试数据自动适配模型参数，从而实现了跨用户识别动作，并能不断提升对新用户(目标域)数据识别的精准度。
2、本发明利用已有用户的标签数据，无需任何校准和预训练，可以逐渐自适应新用户，做到新用户在接入本系统后，无需新用户提供任何带标签的校准数据，使用过程中随着未带动作类别标签的测试数据的积累，以完全非监督学习方式自动完成系统对用户的适配，模式识别性能逐渐上升，用户体验越来越好。
3、本发明用以解决基于模式识别的肌电控制系统实际使用中因跨用户数据差异而性能下降的问题。具体地，本发明提出基于邻域自适应的迁移学习网络模型，从源域数据和目标域数据的概率分布入手，通过减小源域网络和目标域网络输出特征的MMD距离来减小源域数据和目标域数据的概率分布差异，从而使得源域网络和目标域网络的输出特征近似服从统一分布，进而源域网络可以有效识别目标域数据。在此基础上，设置MMD阈值，对源域和目标域数据对进行监督，当源域和目标域数据对的MMD距离大于MMD阈值，认为采样情况不好，认为源域和目标域在本次采样中的采样对差异过大，不对网络进行修正；当小于MMD阈值时，认为采样情况较好，认为源域和目标域在本次采样中的采样对差异过较小，且目标域保留本身分布特点，对网络进行反向传播修正，从而为肌电模式识别中跨用户识别问题提供了有益的解决方案。
附图说明
图1为本发明实施例提供的一种用于跨用户通用的迁移学习神经网络结构图；
图2为本发明实施例提供的分类器渐进更新过程示意图；
图3为本发明实施例提供的肌电采集设备及电极放置位置示意图与电极示意图。
具体实施方式
本实施例中，一种用于跨用户问题的鲁棒肌电控制方法，是利用最大均值差异算法，计算已有用户和新用户特征数据之间的MMD距离，将计算所得MMD距离与设置的MMD阈值进行比较，MMD_TH越大，意味着域适应网络对源域和目标域数据概率分布差异的容忍性越强，但是边缘分布对齐能力越差；MMD_TH越小，意味着域适应网络对源域和目标域数据概率分布差异的容忍性越弱，但是会损失目标域概率分布的特性，若小于阈值，则对网络进行反向传播修正，否则不做修正，继续寻找下一对数据。如图1所示，具体的说，是按如下步骤进行：
步骤1、利用当前穿戴的电极设备采集n个用户的k类动作肌电信号，并提取特征来构建有标签源域数据其中/>代表源域的第i个样本，/>源域的第i个样本的真实标签；如图3所示；
1)募集n位受试者，分别利用当前穿戴的电极设备采集每一位受试者指定位置的肌电信号，使电极的放置位置尽量与之前每一位一致。示例性的，可以设置：n＝8。
2)所采用电极为柔性高密度电极阵列，通道数目为p行通道，q列通道，电极阵列的密度为D。本实施例中，可以设置：p＝10，q＝10，D＝7mm。
3)将所用电极设备放置在被试者需要检测的位置，首先采集一段被试者静息状态下的肌电静息信号，之后逐一采集被试者执行K种动作时的连续肌电信号。
具体实施中，选择采集前臂指伸肌群肌电信号，设置K＝6，即采集6种任务动作，分别为：伸展食指，伸展中，伸展小指，共同伸展食指和中指，后三个手指共同伸展以及伸腕。首先，在被试者静息状态下采集10s的肌电信号。之后每个任务采集5次，每次采集均保持中等力并持续收缩5秒，且任务与任务之间给予受试者充分的休息避免被试者肌肉疲劳。
4)利用肌电静息信号对连续肌电信号进行分割，得到每个任务的样本数据。
利用肌电静息信号计算出静息阈值TH；利用静息阈值TH判断肌电信号是否为肌肉收缩的活动段信号，若是，分割出活动段信号，然后利用滑动窗技术，将连续的肌电信号分割为一系列窗长为W的分析窗，每次滑动步长为S；若不是，则继续寻找活动段直至本段信号结束。
示例性的，静息阈值TH可以由静息状态下样本中所有通道肌电信号的平均值加上三倍的标准差而得，W＝512ms，S＝128ms。
5)对每个任务的样本数据进行特征提取，构建出每一个任务的全部样本的二维肌电特征图像。
使用的特征为时域特征，包含波形长度WL，时间依赖的功率谱描述特征中的f1与f6特征；随后将每一个任务的全部样本构建为二维肌电特征图像，其中二维肌电特征图像的长为p，宽为q，特征数目和通道维度相同。
步骤2、当第n+1个用户(新用户)接入当前的电极设备时，新用户按照任意顺序执行k类动作，系统不断采集新用户肌电信号并提取特征，组成无标签的目标域数据其中/>代表目标域的第j个样本；
步骤2方法同步骤1；
步骤3、构建基于领域自适应技术的迁移学习网络模型；
步骤3.1：构建源域网络Net1与目标域网络Net2
源域网络Net1与目标域网络Net2的结构相同、参数权重共享，是数据的特征提取器，由多个卷积层和池化层组成，可以提取肌电特征的时序-空间信息。
源域网络Net1包括M个特征提取模块，每个特征提取模块包括卷积层、激活函数层和池化层，特征提取模块后接N个全连接层，最后一个全连接层作为网络的分类输出层，用于输出当前批次样本分类概率值，倒数第二个全连接层/>输出的特征映射记作fs N-1；
目标域网络Net2结构与参数与源域网络Net1一致，仅删除源域网络Net1最后一个用于分类的全连接层保留至倒数第二个全连接层/>目标域全连接层/>输出的特征映射记作ft N-1；
卷积层用于提取局部特征；激活函数层的激活函数为Relu函数，用于非线性建模；池化层用于特征图像的采样以及尺寸的改变；
示例性的，如图1所示，源域网络与目标域网络的结构相同、参数权重共享。
步骤3.2：损失函数L设计；
网络的损失使用式(1.1)建立反向传播的损失函数L：
L＝Lc+λLMMD (1.1)
式(1.1)中，Lc代表源域数据的最后一层全连接层输出，作为源域数据标签预测，并与源域数据真实标签计算所得交叉熵损失，由式(1.2)所得：
上述LMMD代表计算源域网络和目标域网络数据特征fs N-1和ft N-1之间的最大均值差异(MMD)作为混淆域损失，最大均值差异(MMD)是两个概率分布与它们的样本之间的差异的度量，最大均值差异的定义由式(1.3)所得：
MMD(F,p,q)＝supf∈F(Ex～p[f(x)]-Ey～p[f(y)]) (1.3)
其中，F代表再生核希尔伯特空间(RKHS)中单位球的函数集；p代表源域数据的概率分布；q代表目标域数据的概率分布；f代表F中的一个函数；x代表服从p分布的一个源域数据样本；y代表服从q分布的一个目标域数据样本。
步骤3.3：网络模型初始训练过程；
本发明实施例中，网络模型加入批标准化技术，采用批处理技术可以加快网络训练速度，并减小梯度下降的随机性，增强模型泛化能力，批处理尺寸为batch_size，每一个批处理数据块记作X，网络分别向源域网络Net1和目标域网络Net2输入批次大小为batch_size的批数据对代表源域任意第u个批处理数据块，/>代表目标域任意第v个批处理数据块。模型对源域数据进行训练的同时对源域和目标域的数据进行域适应处理，网络的损失如步骤3.2所示；
示例性的，可以取批尺寸batch_size＝64。
步骤3.4：构建数据对筛选模块SGAS；
设置数据对筛选模块的MMD阈值为Th，计算源域批处理数据和目标域数据批处理数据在深度神经网络的深层表征之间的最大均值差异(MMD)，源域批处理数据特征fs N-1和目标域数据批处理数据特征ft N-1小于设定的MMD阈值Th，将源域网络的交叉熵损失与MMD损失相加，作为整体网络的损失，并且同步对源域/目标域网络进行反向传播更新；反之本次数据对不用于网络更新，分类器自动寻找下一对数据直至全部遍历全部数据对，模型更新训练结束，保存最新的模型记为Clast；
MMD阈值越大，意味着域适应网络对源域和目标域数据概率分布差异的容忍性越强，但是对源域和目标域分布对齐能力越差；MMD阈值越小，意味着域适应网络对源域和目标域数据概率分布差异的容忍性越弱，但是会损失目标域概率分布的特性。
示例性的，可以取Th＝0.3，更新过程如图2所示。
步骤3.5：网络模型更新过程；
当收集新用户(新用户)更多数据后，使用最新分类器Clast对数据进行分类，且同时重复步骤3.3和步骤3.4，更新的网络分类器；
步骤4：第n+m(m>1)个用户(目标域)穿戴当前的电极设备并接入肌电控制系统时，重复步骤2；
为了说明本发明上述方案的性能，使用传统方法与本发明上述方案进行了对比实验。
对比实验中，采用了期刊文献报道的多流自适应批次归一化(Adaptivebatchnormalization，AdaBN)方式。区别于传统BatchNorm，AdaBN假设用于区分不同手势的知识存储在毎个层的权重中，而用于区分不同采集会话的知识由BatchNorm的统计量表示。该分类器已经证实在具备较好的分类效果的同时具备不错的鲁棒性。具体的步骤为：通过步骤1和步骤2分别采集源域和目标与肌电信号，随后对滑动窗样本的每一个通道提取多特征，随后将每一个样本整合为长度为300的向量，构成源域数据和目标域数据；在识别阶段，给定新用户的目标与数据，利用AdaBN执行一次正向传播算法，其中BatchNorm的统计μi和σi，使用E[X·i]和Var[X·i]更新。正向传播算法从网络底部到网络顶部逐层更新每个BatchNorm的统计量。如果给定了多个批次的标定数据，AdaBN执行多次正向传播，并通过移动平均值计算统计量。
表1准确率对比结果
从表1中可以看出，本发明相对传统方法，利用了源域与目标域之间的分布特点，拉近源域和目标域的分布，网络识别正确率得到显著提升。在此基础上，使得基于肌电控制的人机交互设备跨用户能力更强，减少了新用户再训练负担，从而使其适应实际使用中不同用户复用肌电设备的复杂环境。
Claims (4)
1.一种可跨用户的肌电模式分类方法，其特征在于，包括：
步骤1：利用穿戴的当前电极设备采集n个用户的k类动作肌电信号并提取特征，从而组成有标签的源域数据其中，/>表示第i个样本对，/>代表源域的第i个样本，/>代表源域的第i个样本的真实标签；
步骤2：当第n+1个用户即新用户接入当前电极设备后按照任意顺序执行k类动作时，采集新用户的k类动作肌电信号并提取特征，从而组成无标签的目标域数据其中，/>代表目标域的第j个样本；
步骤3：构建基于领域自适应方法的迁移学习网络模型；
步骤3.1：构建源域网络Net1与目标域网络Net2；
所述源域网络Net1包括M个特征提取模块，每个特征提取模块均包括：卷积层、激活函数层和池化层；在第M个特征提取模块后串接N个全连接层，以最后一个全连接层作为源域网络Net1的分类输出层，用于输出当前批次样本的分类概率值，将第N-1个全连接层输出的特征映射记作fs N-1；
将所述源域网络Net1的最后一个全连接层删除后得到目标域网络Net2；并将目标域网络Net2的第N-1个全连接层/>输出的特征映射记作ft N-1；
步骤3.2：利用式(1)构建损失函数L：
L＝Lc+λLMMD (1)
式(1)中，Lc表示所述源域网络Net1的分类输出层输出的预测标签与输入所述源域网络Net1的真是标签之间的交叉熵损失，LMMD表示源域网络Net1输出的特征映射fs N-1和目标域网络Net2输出的特征映射ft N-1之间的最大均值差异MMD损失，λ表示调节参数，λ∈(0,1)；
步骤3.3：网络模型初始训练过程；
设置批处理的尺寸为batch_size，将数据按照批处理进行分块后得到的每一批处理的数据块记作X；
将源域数据中任意第u个批处理数据块输入所述源域网络Net1；
将目标域数据中任意第v个批处理数据块输入所述目标域网络Net2；
所述迁移学习网络模型对源域数据进行训练的同时对源域和目标域的数据进行域适应处理，并计算所述源域网络Net1输出的特征映射和目标域网络Net2输出的特征映射之间的最大均值差异/>是否小于所设定的MMD阈值Th，若是，则模型进行反向更新，否则，第u个批处理数据块/>和第v个批处理数据块/>不用于网络更新，并将下一个源域和目标域的批处理数据块输入至模型中，直至完成所有批处理数据块的输入和模型更新训练，从而得到训练好的分类器记为Clast；
步骤3.5：网络模型更新过程；
若采集带新用户其他的k类动作肌电信号后则进行特征提取后再所述使用分类器Clast对新数据的特征进行分类，同时按照步骤3.3和步骤3.4的过程更新分类器；
步骤4：第n+m个用户穿戴当前的电极设备并采集到k类动作肌电信号时，重复步骤2-步骤3.4的过程进行分类和分类器的更新，m>1。
2.根据权利要求1所述的一种可跨用户的肌电模式分类方法，其特征在于，所述步骤1包括：
所述电极设备选取行通道数为p，列通道数为q，密度为D的柔性高密度电极阵列；
将电极设备放置在需要测量的位置，并逐一采集执行k类动作任务时的连续肌电信号，之后，再采集一段静息状态下的肌电信号；
利用静息状态下的肌电信号对连续肌电信号进行分割，得到一系列的样本数据；
对每一样本数据内每一通道的肌电信号进行多特征的提取。
3.根据权利要求2所述的一种可跨用户的肌电模式分类方法，其特征在于，所述利用静息状态下的肌电信号对连续肌电信号进行分割，得到一系列的样本数据包括：
利用滑动窗方法将连续肌电信号分割为一定数量的分析窗，窗长为W，滑动增量为L；
利用静息状态下的肌电信号计算静息状态阈值为Th；
利用静息状态阈值Th判断所有分析窗是否为肌肉收缩的活动段，如果是，则将相应分析窗所对应的肌电信号赋予相应的动作标签并作为源域数据的一个样本对。
4.根据权利要求2所述的一种可跨用户的肌电模式分类方法，其特征在于，提取的多特征包括包含波形长度WaveLength的时域特征以及时间依赖的功率谱描述特征。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210150158.1A CN114548165B (zh) | 2022-02-18 | 2022-02-18 | 一种可跨用户的肌电模式分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210150158.1A CN114548165B (zh) | 2022-02-18 | 2022-02-18 | 一种可跨用户的肌电模式分类方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114548165A CN114548165A (zh) | 2022-05-27 |
| CN114548165B true CN114548165B (zh) | 2024-04-02 |
Family
ID=81676182
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210150158.1A Active CN114548165B (zh) | 2022-02-18 | 2022-02-18 | 一种可跨用户的肌电模式分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114548165B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115081480B (zh) * | 2022-06-23 | 2024-03-29 | 中国科学技术大学 | 一种多源共迁移跨用户的肌电模式分类方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109598219A (zh) * | 2018-11-20 | 2019-04-09 | 中国科学技术大学 | 一种用于鲁棒肌电控制的自适应电极配准方法 |
| CN111544856A (zh) * | 2020-04-30 | 2020-08-18 | 天津大学 | 基于新型迁移学习模型的脑-肌电智能全肢体康复方法 |
| CN112861604A (zh) * | 2020-12-25 | 2021-05-28 | 中国科学技术大学 | 一种与用户无关的肌电动作识别与控制方法 |
| CN113288183A (zh) * | 2021-05-20 | 2021-08-24 | 中国科学技术大学 | 一种基于面颈部表面肌电的无声语音识别方法 |
| WO2021262206A1 (en) * | 2020-06-26 | 2021-12-30 | Battelle Memorial Institute | Neurosleeve for closed loop emg-fes based control of pathological tremors |
| WO2022001489A1 (zh) * | 2020-06-28 | 2022-01-06 | 北京交通大学 | 一种无监督域适应的目标重识别方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111814871B (zh) * | 2020-06-13 | 2024-02-09 | 浙江大学 | 一种基于可靠权重最优传输的图像分类方法 |
-
2022
- 2022-02-18 CN CN202210150158.1A patent/CN114548165B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN109598219A (zh) * | 2018-11-20 | 2019-04-09 | 中国科学技术大学 | 一种用于鲁棒肌电控制的自适应电极配准方法 |
| CN111544856A (zh) * | 2020-04-30 | 2020-08-18 | 天津大学 | 基于新型迁移学习模型的脑-肌电智能全肢体康复方法 |
| WO2021262206A1 (en) * | 2020-06-26 | 2021-12-30 | Battelle Memorial Institute | Neurosleeve for closed loop emg-fes based control of pathological tremors |
| WO2022001489A1 (zh) * | 2020-06-28 | 2022-01-06 | 北京交通大学 | 一种无监督域适应的目标重识别方法 |
| CN112861604A (zh) * | 2020-12-25 | 2021-05-28 | 中国科学技术大学 | 一种与用户无关的肌电动作识别与控制方法 |
| CN113288183A (zh) * | 2021-05-20 | 2021-08-24 | 中国科学技术大学 | 一种基于面颈部表面肌电的无声语音识别方法 |
Non-Patent Citations (2)
| Title |
|---|
| 基于域对抗迁移的变工况滚动轴承故障诊断模型;金余丰;刘晓锋;姚美常;黄凤良;;自动化仪表;20191220(12);全文 * |
| 基于重建分类网络特征增强的盲域自适应分类器;陶洋;胡昊;鲍灵浪;;信息通信;20200615(06);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114548165A (zh) | 2022-05-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Chen et al. | Hand gesture recognition based on surface electromyography using convolutional neural network with transfer learning method | |
| CN109389059B (zh) | 一种基于cnn-lstm网络的p300检测方法 | |
| CN112861604B (zh) | 一种与用户无关的肌电动作识别与控制方法 | |
| CN111657941B (zh) | 基于肌肉核心激活区域的电极校正及肌电模式识别方法 | |
| Dai et al. | Extracting and classifying spatial muscle activation patterns in forearm flexor muscles using high-density electromyogram recordings | |
| CN110969108B (zh) | 一种基于自主运动想象脑电的肢体动作识别方法 | |
| Barsakcioglu et al. | A real-time surface EMG decomposition system for non-invasive human-machine interfaces | |
| CN109598219B (zh) | 一种用于鲁棒肌电控制的自适应电极配准方法 | |
| Li et al. | EEG signal classification method based on feature priority analysis and CNN | |
| CN111544855A (zh) | 基于蒸馏学习和深度学习纯意念控制智能康复方法及应用 | |
| CN111544256A (zh) | 基于图卷积和迁移学习的脑控智能全肢体康复方法 | |
| CN111584029A (zh) | 基于判别式对抗网络的脑电自适应模型及在康复中的应用 | |
| CN114548165B (zh) | 一种可跨用户的肌电模式分类方法 | |
| CN113010013A (zh) | 一种基于Wasserstein距离的运动想象脑电迁移学习方法 | |
| Prakash et al. | A system for automatic cardiac arrhythmia recognition using electrocardiogram signal | |
| CN111401166A (zh) | 基于肌电信息解码的鲁棒手势识别方法 | |
| CN110738093B (zh) | 基于改进小世界回声状态网络肌电的分类方法 | |
| Hossain et al. | Batch mode query by committee for motor imagery-based BCI | |
| CN110321856B (zh) | 一种时频多尺度散度csp的脑机接口方法及装置 | |
| CN116831874A (zh) | 一种基于肌电信号的下肢康复器控制方法 | |
| CN114098768B (zh) | 基于动态阈值和EasyTL的跨个体表面肌电信号手势识别方法 | |
| CN116522106A (zh) | 一种基于迁移学习并行多尺度滤波器组时域卷积的运动想象脑电信号分类方法 | |
| Nam et al. | Feature selection based on layer-wise relevance propagation for EEG-based MI classification | |
| García-Vellisca et al. | Hand-movement prediction from EMG with LSTM-recurrent neural networks | |
| Sikder et al. | Heterogeneous hand guise classification based on surface electromyographic signals using multichannel convolutional neural network |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |