CN114936583B - 基于教师-学生模型的双步领域自适应的跨用户肌电模式识别方法 - Google Patents
基于教师-学生模型的双步领域自适应的跨用户肌电模式识别方法 Download PDFInfo
- Publication number
- CN114936583B CN114936583B CN202210669705.7A CN202210669705A CN114936583B CN 114936583 B CN114936583 B CN 114936583B CN 202210669705 A CN202210669705 A CN 202210669705A CN 114936583 B CN114936583 B CN 114936583B
- Authority
- CN
- China
- Prior art keywords
- target
- classifier
- myoelectric
- domain
- teacher
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 57
- 238000012549 training Methods 0.000 claims abstract description 55
- 230000009471 action Effects 0.000 claims abstract description 43
- 230000033001 locomotion Effects 0.000 claims abstract description 15
- 238000000605 extraction Methods 0.000 claims abstract description 7
- 238000010276 construction Methods 0.000 claims abstract description 4
- 230000011218 segmentation Effects 0.000 claims abstract description 4
- 230000003183 myoelectrical effect Effects 0.000 claims description 68
- 238000012545 processing Methods 0.000 claims description 26
- 230000008569 process Effects 0.000 claims description 25
- 230000003044 adaptive effect Effects 0.000 claims description 17
- 230000006870 function Effects 0.000 claims description 10
- 238000003909 pattern recognition Methods 0.000 claims description 10
- 125000003275 alpha amino acid group Chemical group 0.000 claims description 6
- 150000001875 compounds Chemical class 0.000 claims description 6
- 230000007246 mechanism Effects 0.000 claims description 6
- 238000011176 pooling Methods 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 208000037170 Delayed Emergence from Anesthesia Diseases 0.000 claims description 5
- 230000004913 activation Effects 0.000 claims description 3
- 239000000835 fiber Substances 0.000 claims description 3
- 238000010606 normalization Methods 0.000 claims description 3
- 238000010923 batch production Methods 0.000 claims 1
- 239000004973 liquid crystal related substance Substances 0.000 claims 1
- 238000005516 engineering process Methods 0.000 abstract description 8
- 238000002372 labelling Methods 0.000 abstract 1
- 238000009826 distribution Methods 0.000 description 9
- 230000006978 adaptation Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 5
- 210000003811 finger Anatomy 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 230000003993 interaction Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 210000003205 muscle Anatomy 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000010219 correlation analysis Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000012567 pattern recognition method Methods 0.000 description 2
- 238000012216 screening Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000008485 antagonism Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000903 blocking effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000002567 electromyography Methods 0.000 description 1
- 238000011990 functional testing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 210000004932 little finger Anatomy 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 230000000284 resting effect Effects 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
- 210000000707 wrist Anatomy 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/08—Feature extraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
Abstract
本发明公开了一种基于教师‑学生模型的双步领域自适应的跨用户肌电模式识别方法，包括：1、构建带标签的源域数据集，包括信号采集、滑窗分割、活动段提取、肌电特征图像构建以及动作类别标注；2、构建基于教师‑学生模型的双步领域自适应网络DSDAN；3、新用户接入，构建无标签的目标域数据集；4、对目标特征图像进行动作分类决策；5、对DSDAN网络模型进行双步领域自适应训练和更新。本发明将表面肌电信号转变成肌电特征图像，采用独特的双步训练模式训练双分类器结构的领域自适应网络模型实现跨用户的动作识别，在降低新用户使用负担的同时能快速适应新用户，不断提高动作识别精确度，推动肌电控制技术的推广应用。
Description
技术领域
本发明属于肌电信号处理领域，具体涉及一种基于教师-学生模型的领域自适应方法，可用于跨用户肌电模式识别。
背景技术
肌电模式识别技术是肌电控制系统中不可或缺的重要组成部分。利用模式识别技术对肌电信号(Electromyography,EMG)进行处理，可获得丰富的肌肉运动信息，并用于解析运动意图以作为人机交互系统的控制指令。表面肌电信号(Surface EMG,sEMG)通过将电极片贴置于皮肤表面来采集，具有无创无痛等优点，在康复训练、运动检测等领域得到广泛应用。
基于表面肌电信号的模式识别方法在实验室条件下已取得较高的识别准确率，但在实际应用中仍面临诸多挑战，其中因不同用户数据分布差异大导致跨用户动作识别率低下的问题尤为突出，而重新训练分类器又需要较高的数据采集和模型训练成本，同时给用户带来训练负担。目前，这一问题仍阻碍着肌电模式识别与控制技术的推广应用。
近年来，一些研究人员提出许多新的方法尝试提高跨用户肌电识别效果。有的研究者通过增加训练数据多样性提高泛化性能，如采集多个位置、多种肌力大小的肌电信号作为训练数据，但这仍需要耗费大量的时间、精力成本，而且显著的用户差异使得这些方法收效甚微；Takamitsu等人提出双线性模型(Bilinear Modeling)，将表面肌电信号特征分解为个人因素和动作模式两种特征矩阵，前者主要包括皮肤阻抗、肌肉强度等个体差异因素，后者指sEMG在不同用户执行相同动作时表现出的相似性。利用动作模式特征进行模型学习能有效提高动作识别率。Khushaba等人提出了典型相关分析(CanonicalCorrelationAnalysis,CCA)，基本思路是将新用户sEMG特征与专家集特征投影到统一的低维空间以减小个体差异带来的影响。Xue等人在CCA的基础上，提出利用最优传输(OptimalTransport,OT)缩小特征分布差异，识别准确率比只用CCA的方法高出8.49％，指出了缩小概率分布函数差异的重要性。Ameri等人在一些功能性测试实验中证明了卷积神经网络CNN性能优于支持向量机(SVM)。Campbell等人使用生成对抗网络GAN生成模拟sEMG数据以丰富训练数据。
深度学习技术已经在肌电模式识别任务中广泛应用，现有的一些技术方案大都是单输出型网络结构，即只有一个分类器，同时用作模型训练和分类预测，如深度自适应网络(Deep AdaptationNetworks,DAN)方法通过在网络的多个层最小化源域和目标域的数据特征分布的多核最大均值差异(MK-MMD)来实现领域适配，这种结构简单、训练方便，但动作识别准确率仍有欠缺；有的方案设计了两个或多个分类器输出，然后将各个损失值通过各种方式融合后再共同对模型进行单步更新，这种结构的各个分支相对独立，没有相互促进作用，表现差的分支甚至可能使总体性能下降；还有的方案设置分阶段式训练，如先用源域数据进行预训练，再用目标域数据进行域适应训练，这种方案能实现快速适应新用户，降低用户负担，但是脱离源域数据的有监督约束，可能导致模型只能达到次优的效果，甚至向错误的方向更新。
现有技术方案往往不能兼顾易用性和准确性，使得其跨用户识别效果距商业应用仍有较大差距。
发明内容
本发明为解决上述现有技术仍存在的不足之处，提出一种基于教师-学生模型的双步领域自适应的跨用户肌电模式识别方法，以期能实现跨用户的动作识别，能降低新用户使用负担的同时能快速适应新用户，并能结合新数据不断更新模型，从而使分类准确率不断提升。
本发明为达到上述发明目的，采用如下技术方案：
本发明一种基于教师-学生模型的双步领域自适应的跨用户肌电模式识别方法的特点在于，包括以下步骤：
步骤1：利用多个肌电电极采集n个用户执行指定k类动作的多通道肌电信号，并对所述多通道肌电信号进行滑窗分割、活动段提取、特征提取的预处理后，得到源域肌电样本，从而构成有标签的源域数据集其中，/>表示源域的第i个肌电样本，/>表示源域的第i个肌电样本对应的真实标签；ns表示得到的源域肌电样本数目；
步骤2：构建基于教师-学生模型的双步领域自适应网络DSDAN，包括：一个共享的特征提取器hφ和两个动作分类器FC1和FC2；
所述特征提取器hφ依次包括：一个卷积层、一个批量归一化层、一个激活函数、一个最大池化层、两个串联的残差块和一个平均池化层；
每个动作分类器均由一个全连接层构成，其中，动作分类器FC1作为所述双步领域自适应网络DSDAN中的教师分支网络，记为教师分类器；动作分类器FC2作为所述双步领域自适应网络DSDAN中的学生分支网络，记为学生分类器；
步骤3：新用户接入，并构建无标签的目标域数据集
利用所述高密度电极阵列采集新用户执行k类动作中的任意一种动作的肌电信号并按照步骤1的过程进行预处理后，得到目标肌电样本，从而构成无标签的目标域数据集其中，/>表示目标域的第j个目标肌电样本；nt表示得到的目标域肌电样本数目；
步骤4：将目标域数据集中待分类的目标肌电样本/>输入所述双步领域自适应网络DSDAN中，并经过特征提取器hφ的处理后，输出相应的目标肌电样本特征映射/>再输入所述教师分类器FC1中进行处理后，输出预测概率/>最后按式(1)计算相应的预测标签
式(1)中，表示目标肌电样本/>属于动作c的概率，/>表示目标肌电样本属于动作a的概率，k表示指定动作的类别数目；
步骤5：对所述双步领域自适应网络DSDAN进行自适应训练和更新：
步骤5.1：设置批处理的尺寸为batch_size，将所述源域数据集和目标域数据集/>分别按照批处理的尺寸进行分块处理，相应得到的第u个批处理的源域数据块记为/>第v个批处理的目标域数据块记为/>
步骤5.2：所述双步领域自适应网络DSDAN的第一步训练过程：
选取一组数据块输入所述双步领域自适应网络DSDAN中，依次经过所述特征提取器hφ和教师分类器FC1的处理后，输出预测概率/>并计算式(2)所示的第一步更新损失函数L1后，通过反向传播机制更新所述特征提取器hφ和教师分类器FC1的参数，从而得到第一步训练后的特征提取器/>和教师分类器/>
式(2)中，表示所述教师分类器FC1输出的源域数据块/>的预测概率/>与对应源域数据块/>的真实标签/>的交叉熵损失，LLMMD表示源域数据块/>经过特征提取器hφ后输出的特征映射fs u和目标域数据块/>经过特征提取器hφ后输出的特征映射ft v之间的局部最大均值差异LMMD损失，λ1为权重调节参数，且λ1∈(0,1)；
步骤5.3：所述目标域数据块输入第一步训练后的特征提取器/>和教师分类器中，并输出/>的预测概率/>从而按式(1)计算/>对应的伪标签/>
步骤5.4：所述双步领域自适应网络DSDAN的第二步训练过程：
第一步训练后的特征提取器和学生分类器FC2对/>和/>进行处理，输出预测概率
并计算式(3)所示的第二步训练损失函数L2后，通过反向传播机制更新所述特征提取器/>和学生分类器FC2的参数，从而得到第二步更新后的特征提取器/>和学生分类器/>
式(2)中，表示学生分类器FC2输出的源域数据块/>预测概率/>与对应源域数据块/>的真实标签/>的交叉熵损失，/>表示学生分类器FC2输出的目标域数据块/>的预测概率/>与由教师分类器/>输出的目标域数据块/>的伪标签/>的交叉熵损失，λ2为权重调节参数，且λ2∈(0,1)；
步骤5.5：重复步骤5.2到步骤5.4的过程，直到完成对所有批处理的数据块的训练，并得到在当前肌电数据集上的最优肌电模式识别模型；
步骤6：当所述新用户产生k类动作中的其他肌电信号时，按照步骤3的过程构建新的目标肌电样本，作为待分类的目标肌电样本然后按照步骤4的过程对/>进行识别，给出预测标签。再将肌电样本/>加入目标域数据集/>中，最后按照步骤5的过程在扩充的数据集上训练并获得最优肌电模式识别模型；
步骤7：当其他新用户接入时，按照步骤3的过程创建用户对应的目标域数据集然后按照步骤4-步骤6的过程进行动作预测和模型训练，从而得到相应新用户对应的最优肌电模式识别模型。
与现有技术相比，本发明的有益效果在于：
1、本发明使用双分类器结构的神经网络，首先通过一个常用且性能稳定的域适应算法，即减小源域数据和目标域数据的特征映射之间的LMMD距离来减小两者数据分布差异，保持模型在源域的表现的同时提高分类器FC1在目标域的识别效果，并以此分类器分支作为教师网络。在此基础上，利用教师网络的输出，获得目标域数据的伪标签，结合带标签源域数据用以监督特征提取器hφ和分类器FC2的训练更新。分类器FC2构成的分支网络作为学生网络，通过教师-学生网络两个分支的相互作用，从而提高了特征提取器提取用户无关特征的能力，提高了模型对目标域数据的适应性，提高了识别准确率。
2、本发明针对所提双分类器结构的领域自适应网络，提出与之相适配的双步更新训练模式，提出对每一组批处理数据块进行两步更新，通过这种高频的两步迭代更新，能快速提高目标域数据的伪标签的可靠性，加速了对目标域数据的自适应进程。
3、本发明针对跨用户肌电模式识别技术中用户负担较重的问题，设计了一种基于教师-学生模型的领域自适应网络以及与之适应的双步训练方法。与一般的教师-学生模型中单向的知识传递不同，本发明中教师网络以伪标签的形式向学生网络传递知识的同时，两个网络分支还以共享特征提取器的形式相互学习。通过两个分支网络的共同作用，能快速提高模型提取用户无关特征的能力，使得两个分支网络的动作识别性能都好于现有的其他方法，在保持模型对源域数据的识别能力的同时快速适应新用户。经过有限次的目标域数据积累和网络更新后，无需再进行网络更新也能对新用户产生的新数据进行有效识别，大大降低了用户使用负担，也提高了动作识别的效率。
附图说明
图1为本发明网络模型双步领域自适应训练更新流程示意图；
图1a为图1中的☆处的补充说明；
图2为本发明神经网络DSDAN的结构图；
图3为本发明神经网络DSDAN的残差块的结构图。
具体实施方式
本实施例中，一种基于教师-学生模型的双步领域自适应的跨用户肌电模式识别方法，构建了一种具有双分类器结构的领域自适应网络，并提出了一种与之相适应的基于教师-学生模型的双步训练模式，第一步训练计算源域和目标域的肌电样本的特征映射间的LMMD距离以及源域数据交叉熵损失，通过反向传播获得性能较好的特征提取器hφ和教师分类器FC1，然后生成目标域肌电样本的伪标签；第二步训练计算源域数据和目标域数据的交叉熵损失，通过反向传播更新特征提取器hφ和学生分类器FC2；教师和学生网络相互协作，进一步提高了共享特征提取器hφ提取用户无关特征的能力。具体流程如图1和图1a所示，其特征在于，包括以下步骤：
步骤1：利用多个肌电电极采集n个用户执行指定k类动作的多通道肌电信号，并对多通道肌电信号进行滑窗分割、活动段提取、特征提取的预处理后，得到源域肌电样本，从而构成有标签的源域数据集其中，/>表示源域的第i个肌电样本，/>表示源域的第i个肌电样本对应的真实标签；ns表示得到的源域肌电样本数目；
本实施例中，取k＝6，即指定6类手部动作，分别为：食指伸展，中指伸展，小指伸展，食指和中指共同伸展，后三个手指共同伸展以及腕部伸展，采用行数p＝10，列数q＝10，电极间距D＝7mm，共计100个通道的柔性高密度电极阵列，对10位受试者进行肌电数据采集。以窗长W＝256ms，步长S＝128ms分割获得系列分析窗，并以静息状态下肌电信号的平均值加三倍的标准差为阈值TH进行分析窗筛选，即活动段提取，再对经筛选得到的分析窗提取三个特征(包含波形长度WL，时间依赖的功率谱描述特征中的f1与f6特征)构成肌电特征图像作为用于后续处理的肌电样本，因此每个肌电样本大小为10×10×3。其中，10×10是图像尺寸，对应10×10的电极阵列，3是图像通道数，对应三个肌电特征。
步骤2：构建基于教师-学生模型的双步领域自适应网络DSDAN，包括：一个共享的特征提取器hφ和两个动作分类器FC1和FC2；
特征提取器hφ依次包括：一个卷积层、一个批量归一化层、一个激活函数、一个最大池化层、两个串联的残差块和一个平均池化层；
每个动作分类器均由一个全连接层构成，其中，动作分类器FC1作为双步领域自适应网络DSDAN中的教师分支网络，记为教师分类器；动作分类器FC2作为双步领域自适应网络DSDAN中的学生分支网络，记为学生分类器；
本实施例中，基于领域自适应技术的双步教师-学生网络DSDAN结构如图2所示，其中残差块结构如图3所示。
步骤3：新用户接入，并构建无标签的目标域数据集
利用高密度电极阵列采集新用户执行k类动作中的任意一种动作的肌电信号并按照步骤1的过程进行预处理后，得到目标肌电样本，从而构成无标签的目标域数据集其中，/>表示目标域的第j个目标肌电样本；nt表示得到的目标域肌电样本数目。
步骤4：将目标域数据集中待分类的目标肌电样本/>输入双步领域自适应网络DSDAN中，并经过特征提取器hφ的处理后，输出相应的目标肌电样本特征映射/>再输入教师分类器FC1中进行处理后，输出预测概率/>最后按式(4)计算相应的预测标签/>
式(4)中，表示目标肌电样本/>属于动作c的概率，/>表示目标肌电样本属于动作a的概率，k表示指定动作的类别数目；
本发明基于教师-学生模型的双步领域自适应网络DSDAN包含一个教师分类器和一个学生分类器，实际应用中两个分类器都可以用于最终的动作预测，也可根据实际需求将两者的输出融合再进行分类预测，完成肌电模式识别任务。本实施例中，采用性能相对稳定的教师分类器进行动作预测，能确保动作识别有更高的可靠性。
步骤5：对双步领域自适应网络DSDAN进行自适应训练和更新：
步骤5.1：设置批处理的尺寸为batch_size，将源域数据集和目标域数据集/>分别按照批处理的尺寸进行分块处理，相应得到的第u个批处理的源域数据块记为/>第v个批处理的目标域数据块记为/>
实际应用中，可根据设备的计算条件和实际需求对肌电样本的尺寸进行修改，或者对肌电数据集进行数据增强之后再用于双步领域自适应网络DSDAN的训练。本实施例中，设置batch_size＝32，并通过双三次插值方法将肌电样本尺寸放大为112×112×3，相当于提高了电极阵列密度，便于更好发挥卷积神经网络的性能，能提取更多有效的空域信息。
步骤5.2：双步领域自适应网络DSDAN的第一步训练过程：
选取一组数据块输入双步领域自适应网络DSDAN中，依次经过特征提取器hφ和教师分类器FC1的处理后，输出预测概率/>并计算式(5)所示的第一步更新损失函数L1后，通过反向传播机制更新特征提取器hφ和教师分类器FC1的参数，从而得到第一步训练后的特征提取器/>和教师分类器/>
式(5)中，；表示教师分类器FC1输出的源域数据块/>的预测概率/>与对应源域数据块/>的真实标签/>的交叉熵损失，计算方法如式(6)；LLMMD表示源域数据块/>经过特征提取器hφ后输出的特征映射/>和目标域数据块/>经过特征提取器hφ后输出的特征映射ft v之间的局部最大均值差异LMMD损失，计算方法如式(7)；λ1为权重调节参数，且λ1∈(0,1)；
式(6)中，nb表示批处理数据块大小，即batch_size，k表示动作类别数，[●]c为示性函数，当第i个样本的真实标签时/>否则/> 表示第i个样本属于类别c的预测概率；
式(7)中，k表示动作类别数，表示源域数据块Xs的第i个样本，/>为对应样本权重，/>表示源域样本的特征映射，/>表示目标域数据块Xt的第i个样本，/>为对应样本权重，/>表示源域样本的特征映射。其中ωic定义比较灵活，本实施例中是根据类别定义，由式(8)所得：
式(8)中，pic为样本属于类别c的概率，计算源域肌电样本权重时参考对应样本的真实标签，即有计算目标域肌电样本权重时使用教师分类器/>输出的预测概率/>
步骤5.3：将目标域数据块输入第一步训练后得到的特征提取器/>和教师分类器/>中，并输出/>的预测概率/>从而按式(4)计算/>对应的伪标签/>本实施例中通过式(4)获取硬标签用于监督模型的第二步训练，可以加快模型对目标域肌电数据的拟合，加快适应新用户进程。
步骤5.4：双步领域自适应网络DSDAN的第二步训练过程：
第一步训练后的特征提取器和学生分类器FC2对/>和/>进行处理，输出预测概率
并计算式(9)所示的第二步训练损失函数L2后，通过反向传播机制更新特征提取器/>和学生分类器FC2的参数，从而得到第二步更新后的特征提取器/>和学生分类器
式(9)中，表示学生分类器FC2输出的源域数据块/>预测概率/>与对应源域数据块/>的真实标签/>的交叉熵损失，/>表示学生分类器FC2输出的目标域数据块/>的预测概率/>与由教师分类器/>输出的目标域数据块/>的伪标签/>的交叉熵损失，λ2为权重调节参数，且λ2∈(0,1)；式(9)中交叉熵损失按式(6)计算。
步骤5.5：重复步骤5.2到步骤5.4的过程，直到完成对所有批处理的数据块的训练，并得到在当前肌电数据集上的最优肌电模式识别模型；多数情况下，源域肌电样本数目大于目标域肌电样本数目，则相同的目标域肌电样本会被多次用于模型训练，这有利于充分挖掘新用户肌电数据信息，促使模型实现跨用户模式识别。
一些研究采用循环迭代的方式，降低了分阶段训练模式中模型向错误方向更新的可能，但研究表明，类似方法的性能仍很大程度受限于第一次迭代生成的伪标签的质量。而本发明以批处理数据块组为基本单位，对模型进行两步更新，降低了第一次迭代产生的伪标签对全局分类效果的影响，同时加速了伪标签的质量的提升；
步骤6：当新用户产生k类动作中的其他肌电信号时，按照步骤3的过程构建新的目标肌电样本，作为待分类的目标肌电样本然后按照步骤4的过程对/>进行识别，给出预测标签。再将肌电样本/>加入目标域数据集/>中，最后按照步骤5的过程在扩充的数据集上训练并获得最优肌电模式识别模型；实际应用中，由于设备数据处理能力不足等限制，在扩充数据集上的训练不一定是立即进行的，可根据实际情况以及对实时性、准确性的实际需求，在获得一定数量的肌电样本/>后再进行模型训练；
步骤7：当其他新用户接入时，按照步骤3的过程创建用户对应的目标域数据集然后按照步骤4-步骤6的过程进行动作预测和模型训练，从而得到相应新用户对应的最优肌电模式识别模型。
为了说明本发明上述方案的性能，使用几种常用领域自适应方法与本发明上述方案进行了对比实验。
对比实验中，DANN是一种基于对抗的领域自适应方法，该方法提出为了达成好的领域迁移，必须基于一种无法区分源域和目标域的特征进行预测，该方法通过在标准的分类网络中添加梯度反转层(Gradient Reversal Layer)来实现，GRL层在前向传播时表现为恒等变化，反向传播时将梯度取反。Deep Coral方法利用深度网络对源域分布和目标域分布的二阶统计量进行非线性变化，使两者差异最小化，从而实现领域对齐。DAN方法通过在网络的多个层最小化源域和目标域的数据特征分布的多核最大均值差异(MK-MMD)来实现领域适配。DSAN方法相比DAN，区别在于使用局部最大均值差异(LMMD)在不同层进行对齐。以上方法都是采用单分类器的网络结构通过单步训练的形式进行网络模型更新的。
表1跨用户动作识别准确率(％)对比
表1中S1-S10分别表示在不同实验中作为目标域数据来源的受试者，相同实验中其余受试者数据用作源域数据共同训练网络模型。从表1中可以看出，本发明相对其他方法，构建具有双分类器的网络结构，并提出双步更新训练模式，通过两个分类器分支的共同作用快速对齐源域和目标域分布，使网络模型在目标域的识别准确率显著提升，能有效缓解肌电人机交互中的跨用户难题。
综上所述，本方法将表面肌电信号转变成肌电特征图像，采用独特的双步训练模式训练双分类器结构的领域自适应网络模型，在降低新用户使用负担的同时能快速适应新用户，不断提高动作识别精确度，推动了肌电控制技术的推广应用。
Claims (1)
1.一种基于教师-学生模型的双步领域自适应的跨用户肌电模式识别方法，其特征在于，包括以下步骤：
步骤1：利用多个肌电电极采集n个用户执行指定k类动作的多通道肌电信号，并对所述多通道肌电信号进行滑窗分割、活动段提取、特征提取的预处理后，得到源域肌电样本，从而构成有标签的源域数据集其中，/>表示源域的第i个肌电样本，/>表示源域的第i个肌电样本对应的真实标签；ns表示得到的源域肌电样本数目；
步骤2：构建基于教师-学生模型的双步领域自适应网络DSDAN，包括：一个共享的特征提取器hφ和两个动作分类器FC1和FC2；
所述特征提取器hφ依次包括：一个卷积层、一个批量归一化层、一个激活函数、一个最大池化层、两个串联的残差块和一个平均池化层；
每个动作分类器均由一个全连接层构成，其中，动作分类器FC1作为所述双步领域自适应网络DSDAN中的教师分支网络，记为教师分类器；动作分类器FC2作为所述双步领域自适应网络DSDAN中的学生分支网络，记为学生分类器；
步骤3：新用户接入，并构建无标签的目标域数据集
利用所述高密度电极阵列采集新用户执行k类动作中的任意一种动作的肌电信号并按照步骤1的过程进行预处理后，得到目标肌电样本，从而构成无标签的目标域数据集其中，/>表示目标域的第j个目标肌电样本；nt表示得到的目标域肌电样本数目；
步骤4：将目标域数据集中待分类的目标肌电样本/>输入所述双步领域自适应网络DSDAN中，并经过特征提取器hφ的处理后，输出相应的目标肌电样本特征映射/>再输入所述教师分类器FC1中进行处理后，输出预测概率/>最后按式(1)计算相应的预测标签
式(1)中，表示目标肌电样本/>属于动作c的概率，/>表示目标肌电样本/>属于动作a的概率，k表示指定动作的类别数目；
步骤5：对所述双步领域自适应网络DSDAN进行自适应训练和更新：
步骤5.1：设置批处理的尺寸为batch_size，将所述源域数据集和目标域数据集/>分别按照批处理的尺寸进行分块处理，相应得到的第u个批处理的源域数据块记为/>第v个批处理的目标域数据块记为/>
步骤5.2：所述双步领域自适应网络DSDAN的第一步训练过程：
选取一组数据块输入所述双步领域自适应网络DSDAN中，依次经过所述特征提取器hφ和教师分类器FC1的处理后，输出预测概率/>并计算式(2)所示的第一步更新损失函数L1后，通过反向传播机制更新所述特征提取器hφ和教师分类器FC1的参数，从而得到第一步训练后的特征提取器/>和教师分类器/>
式(2)中，表示所述教师分类器FC1输出的源域数据块/>的预测概率/>与对应源域数据块/>的真实标签/>的交叉熵损失，LLMMD表示源域数据块/>经过特征提取器hφ后输出的特征映射fs u和目标域数据块/>经过特征提取器hφ后输出的特征映射ft v之间的局部最大均值差异LMMD损失，λ1为权重调节参数，且λ1∈(0,1)；
步骤5.3：所述目标域数据块输入第一步训练后的特征提取器/>和教师分类器/>中，并输出/>的预测概率/>从而按式(1)计算/>对应的伪标签/>
步骤5.4：所述双步领域自适应网络DSDAN的第二步训练过程：
第一步训练后的特征提取器和学生分类器FC2对/>和/>进行处理，输出预测概率并计算式(3)所示的第二步训练损失函数L2后，通过反向传播机制更新所述特征提取器/>和学生分类器FC2的参数，从而得到第二步更新后的特征提取器/>和学生分类器/>
式(2)中，表示学生分类器FC2输出的源域数据块/>预测概率/>与对应源域数据块的真实标签/>的交叉熵损失，/>表示学生分类器FC2输出的目标域数据块/>的预测概率/>与由教师分类器/>输出的目标域数据块/>的伪标签/>的交叉熵损失，λ2为权重调节参数，且λ2∈(0,1)；
步骤5.5：重复步骤5.2到步骤5.4的过程，直到完成对所有批处理的数据块的训练，并得到在当前肌电数据集上的最优肌电模式识别模型；
步骤6：当所述新用户产生k类动作中的其他肌电信号时，按照步骤3的过程构建新的目标肌电样本，作为待分类的目标肌电样本然后按照步骤4的过程对/>进行识别，给出预测标签，再将肌电样本/>加入目标域数据集/>中，最后按照步骤5的过程在扩充的数据集上训练并获得最优肌电模式识别模型；
步骤7：当其他新用户接入时，按照步骤3的过程创建用户对应的目标域数据集然后按照步骤4-步骤6的过程进行动作预测和模型训练，从而得到相应新用户对应的最优肌电模式识别模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210669705.7A CN114936583B (zh) | 2022-06-14 | 2022-06-14 | 基于教师-学生模型的双步领域自适应的跨用户肌电模式识别方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210669705.7A CN114936583B (zh) | 2022-06-14 | 2022-06-14 | 基于教师-学生模型的双步领域自适应的跨用户肌电模式识别方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114936583A CN114936583A (zh) | 2022-08-23 |
| CN114936583B true CN114936583B (zh) | 2024-03-29 |
Family
ID=82866787
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210669705.7A Active CN114936583B (zh) | 2022-06-14 | 2022-06-14 | 基于教师-学生模型的双步领域自适应的跨用户肌电模式识别方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114936583B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117198463A (zh) * | 2023-11-06 | 2023-12-08 | 中国科学院大学 | 一种跨数据域识别针极肌电图运动神经元损害的方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111914320A (zh) * | 2020-06-06 | 2020-11-10 | 同济大学 | 基于深度学习的无样本道岔故障诊断方法 |
| CN112861604A (zh) * | 2020-12-25 | 2021-05-28 | 中国科学技术大学 | 一种与用户无关的肌电动作识别与控制方法 |
| WO2021143353A1 (zh) * | 2020-01-13 | 2021-07-22 | 腾讯科技（深圳）有限公司 | 一种手势信息处理方法、装置、电子设备及存储介质 |
| CN114118149A (zh) * | 2021-11-24 | 2022-03-01 | 上海交通大学 | 基于有限元仿真和对称特征迁移的感应电机故障诊断系统 |
| CN114366124A (zh) * | 2022-01-25 | 2022-04-19 | 北京航空航天大学 | 一种基于半监督深度卷积通道注意力单分类网络的癫痫脑电识别方法 |
| CN114550304A (zh) * | 2022-02-28 | 2022-05-27 | 中国科学技术大学 | 一种用于鲁棒肌电控制的跨用户手势识别方法 |
-
2022
- 2022-06-14 CN CN202210669705.7A patent/CN114936583B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021143353A1 (zh) * | 2020-01-13 | 2021-07-22 | 腾讯科技（深圳）有限公司 | 一种手势信息处理方法、装置、电子设备及存储介质 |
| CN111914320A (zh) * | 2020-06-06 | 2020-11-10 | 同济大学 | 基于深度学习的无样本道岔故障诊断方法 |
| CN112861604A (zh) * | 2020-12-25 | 2021-05-28 | 中国科学技术大学 | 一种与用户无关的肌电动作识别与控制方法 |
| CN114118149A (zh) * | 2021-11-24 | 2022-03-01 | 上海交通大学 | 基于有限元仿真和对称特征迁移的感应电机故障诊断系统 |
| CN114366124A (zh) * | 2022-01-25 | 2022-04-19 | 北京航空航天大学 | 一种基于半监督深度卷积通道注意力单分类网络的癫痫脑电识别方法 |
| CN114550304A (zh) * | 2022-02-28 | 2022-05-27 | 中国科学技术大学 | 一种用于鲁棒肌电控制的跨用户手势识别方法 |
Non-Patent Citations (2)
| Title |
|---|
| 改进实时目标检测算法的电力巡检鸟巢检测;杨波;曹雪虹;焦良葆;孔小红;;电气技术;20200515(05);全文 * |
| 智能汽车决策中的驾驶行为语义解析关键技术;李国法;陈耀昱;吕辰;陶达;曹东璞;成波;;汽车安全与节能学报;20191215(04);全文 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114936583A (zh) | 2022-08-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Salama et al. | EEG-based emotion recognition using 3D convolutional neural networks | |
| CN110379506B (zh) | 针对心电图数据使用二值化神经网络的心律不齐检测方法 | |
| CN112244873A (zh) | 一种基于混合神经网络的脑电时空特征学习与情感分类方法 | |
| KR102318775B1 (ko) | 강화학습을 이용한 적응형 뇌파 분석 방법 및 장치 | |
| CN113392733B (zh) | 基于标签对齐的多源域自适应跨被试eeg认知状态评估方法 | |
| CN114936583B (zh) | 基于教师-学生模型的双步领域自适应的跨用户肌电模式识别方法 | |
| CN111461201A (zh) | 基于相空间重构的传感器数据分类方法 | |
| CN112329536A (zh) | 一种基于交替对抗迁移学习的单样本人脸识别方法 | |
| KR20210095671A (ko) | 이미지 처리 방법 및 관련 장치 | |
| CN116029333A (zh) | 一种面向分布式系统自适应的多目标肌电模式识别方法 | |
| CN114983439A (zh) | 一种融合脉冲神经网络和二值动态网络的脑状态识别方法 | |
| Chen et al. | Multi-tier platform for cognizing massive electroencephalogram | |
| CN117493955A (zh) | 一种癫痫患者的脑电信号分类模型的训练方法 | |
| CN117520891A (zh) | 一种运动想象脑电信号分类方法及系统 | |
| CN109002808A (zh) | 一种人体行为识别方法及系统 | |
| Zhang et al. | IA-CNN: A generalised interpretable convolutional neural network with attention mechanism | |
| CN117195099A (zh) | 一种融合多尺度特征的脑电信号情感识别算法 | |
| CN116821764A (zh) | 一种基于知识蒸馏的多源域适应的eeg情绪状态分类方法 | |
| CN117034074A (zh) | 一种基于客户端间结构匹配的联邦脑电信号分类方法 | |
| CN114548165B (zh) | 一种可跨用户的肌电模式分类方法 | |
| CN113516101B (zh) | 一种基于网络结构搜索的脑电信号情绪识别方法 | |
| Liu et al. | Spatial-temporal convolutional attention for mapping functional brain networks | |
| Pandian et al. | Effect of data preprocessing in the detection of epilepsy using machine learning techniques | |
| CN114129138A (zh) | 一种基于时序多尺度混合注意力模型的自动睡眠分期方法 | |
| CN109800651B (zh) | 一种基于双规则主动超限学习机的多类脑电分类方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |