CN114936583A - 基于教师-学生模型的双步领域自适应的跨用户肌电模式识别方法 - Google Patents

基于教师-学生模型的双步领域自适应的跨用户肌电模式识别方法 Download PDF

Info

Publication number
CN114936583A
CN114936583A CN202210669705.7A CN202210669705A CN114936583A CN 114936583 A CN114936583 A CN 114936583A CN 202210669705 A CN202210669705 A CN 202210669705A CN 114936583 A CN114936583 A CN 114936583A
Authority
CN
China
Prior art keywords
electromyographic
target
teacher
classifier
training
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210669705.7A
Other languages
English (en)
Other versions
CN114936583B (zh
Inventor
张旭
林显乐
吴乐
陈香
陈勋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Science and Technology of China USTC
Original Assignee
University of Science and Technology of China USTC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Science and Technology of China USTC filed Critical University of Science and Technology of China USTC
Priority to CN202210669705.7A priority Critical patent/CN114936583B/zh
Publication of CN114936583A publication Critical patent/CN114936583A/zh
Application granted granted Critical
Publication of CN114936583B publication Critical patent/CN114936583B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于教师‑学生模型的双步领域自适应的跨用户肌电模式识别方法，包括：1、构建带标签的源域数据集，包括信号采集、滑窗分割、活动段提取、肌电特征图像构建以及动作类别标注；2、构建基于教师‑学生模型的双步领域自适应网络DSDAN；3、新用户接入，构建无标签的目标域数据集；4、对目标特征图像进行动作分类决策；5、对DSDAN网络模型进行双步领域自适应训练和更新。本发明将表面肌电信号转变成肌电特征图像，采用独特的双步训练模式训练双分类器结构的领域自适应网络模型实现跨用户的动作识别，在降低新用户使用负担的同时能快速适应新用户，不断提高动作识别精确度，推动肌电控制技术的推广应用。

Description

基于教师-学生模型的双步领域自适应的跨用户肌电模式识 别方法
技术领域
本发明属于肌电信号处理领域，具体涉及一种基于教师-学生模型的领域自适应方法，可用于跨用户肌电模式识别。
背景技术
肌电模式识别技术是肌电控制系统中不可或缺的重要组成部分。利用模式识别技术对肌电信号(Electromyography,EMG)进行处理，可获得丰富的肌肉运动信息，并用于解析运动意图以作为人机交互系统的控制指令。表面肌电信号(Surface EMG,sEMG)通过将电极片贴置于皮肤表面来采集，具有无创无痛等优点，在康复训练、运动检测等领域得到广泛应用。
基于表面肌电信号的模式识别方法在实验室条件下已取得较高的识别准确率，但在实际应用中仍面临诸多挑战，其中因不同用户数据分布差异大导致跨用户动作识别率低下的问题尤为突出，而重新训练分类器又需要较高的数据采集和模型训练成本，同时给用户带来训练负担。目前，这一问题仍阻碍着肌电模式识别与控制技术的推广应用。
近年来，一些研究人员提出许多新的方法尝试提高跨用户肌电识别效果。有的研究者通过增加训练数据多样性提高泛化性能，如采集多个位置、多种肌力大小的肌电信号作为训练数据，但这仍需要耗费大量的时间、精力成本，而且显著的用户差异使得这些方法收效甚微；Takamitsu等人提出双线性模型(Bilinear Modeling)，将表面肌电信号特征分解为个人因素和动作模式两种特征矩阵，前者主要包括皮肤阻抗、肌肉强度等个体差异因素，后者指sEMG在不同用户执行相同动作时表现出的相似性。利用动作模式特征进行模型学习能有效提高动作识别率。Khushaba等人提出了典型相关分析(CanonicalCorrelationAnalysis,CCA)，基本思路是将新用户sEMG特征与专家集特征投影到统一的低维空间以减小个体差异带来的影响。Xue等人在CCA的基础上，提出利用最优传输(OptimalTransport,OT)缩小特征分布差异，识别准确率比只用CCA的方法高出8.49％，指出了缩小概率分布函数差异的重要性。Ameri等人在一些功能性测试实验中证明了卷积神经网络CNN性能优于支持向量机(SVM)。Campbell等人使用生成对抗网络GAN生成模拟sEMG数据以丰富训练数据。
深度学习技术已经在肌电模式识别任务中广泛应用，现有的一些技术方案大都是单输出型网络结构，即只有一个分类器，同时用作模型训练和分类预测，如深度自适应网络(Deep AdaptationNetworks,DAN)方法通过在网络的多个层最小化源域和目标域的数据特征分布的多核最大均值差异(MK-MMD)来实现领域适配，这种结构简单、训练方便，但动作识别准确率仍有欠缺；有的方案设计了两个或多个分类器输出，然后将各个损失值通过各种方式融合后再共同对模型进行单步更新，这种结构的各个分支相对独立，没有相互促进作用，表现差的分支甚至可能使总体性能下降；还有的方案设置分阶段式训练，如先用源域数据进行预训练，再用目标域数据进行域适应训练，这种方案能实现快速适应新用户，降低用户负担，但是脱离源域数据的有监督约束，可能导致模型只能达到次优的效果，甚至向错误的方向更新。
现有技术方案往往不能兼顾易用性和准确性，使得其跨用户识别效果距商业应用仍有较大差距。
发明内容
本发明为解决上述现有技术仍存在的不足之处，提出一种基于教师-学生模型的双步领域自适应的跨用户肌电模式识别方法，以期能实现跨用户的动作识别，能降低新用户使用负担的同时能快速适应新用户，并能结合新数据不断更新模型，从而使分类准确率不断提升。
本发明为达到上述发明目的，采用如下技术方案：
本发明一种基于教师-学生模型的双步领域自适应的跨用户肌电模式识别方法的特点在于，包括以下步骤：
步骤1：利用多个肌电电极采集n个用户执行指定k类动作的多通道肌电信号，并对所述多通道肌电信号进行滑窗分割、活动段提取、特征提取的预处理后，得到源域肌电样本，从而构成有标签的源域数据集
Figure BDA0003692783340000021
其中，
Figure BDA0003692783340000022
表示源域的第i个肌电样本，
Figure BDA0003692783340000023
表示源域的第i个肌电样本对应的真实标签；ns表示得到的源域肌电样本数目；
步骤2：构建基于教师-学生模型的双步领域自适应网络DSDAN，包括：一个共享的特征提取器hφ和两个动作分类器FC1和FC2；
所述特征提取器hφ依次包括：一个卷积层、一个批量归一化层、一个激活函数、一个最大池化层、两个串联的残差块和一个平均池化层；
每个动作分类器均由一个全连接层构成，其中，动作分类器FC1作为所述双步领域自适应网络DSDAN中的教师分支网络，记为教师分类器；动作分类器FC2作为所述双步领域自适应网络DSDAN中的学生分支网络，记为学生分类器；
步骤3：新用户接入，并构建无标签的目标域数据集
Figure BDA0003692783340000026
利用所述高密度电极阵列采集新用户执行k类动作中的任意一种动作的肌电信号并按照步骤1的过程进行预处理后，得到目标肌电样本，从而构成无标签的目标域数据集
Figure BDA0003692783340000024
其中，
Figure BDA0003692783340000025
表示目标域的第j个目标肌电样本；nt表示得到的目标域肌电样本数目；
步骤4：将目标域数据集
Figure BDA0003692783340000031
中待分类的目标肌电样本
Figure BDA0003692783340000032
输入所述双步领域自适应网络DSDAN中，并经过特征提取器hφ的处理后，输出相应的目标肌电样本特征映射
Figure BDA0003692783340000033
再输入所述教师分类器FC1中进行处理后，输出预测概率
Figure BDA0003692783340000034
最后按式(1)计算相应的预测标签
Figure BDA0003692783340000035
Figure BDA0003692783340000036
式(1)中，
Figure BDA0003692783340000037
表示目标肌电样本
Figure BDA0003692783340000038
属于动作c的概率，
Figure BDA0003692783340000039
表示目标肌电样本
Figure BDA00036927833400000310
属于动作a的概率，k表示指定动作的类别数目；
步骤5：对所述双步领域自适应网络DSDAN进行自适应训练和更新：
步骤5.1：设置批处理的尺寸为batch_size，将所述源域数据集
Figure BDA00036927833400000311
和目标域数据集
Figure BDA00036927833400000312
分别按照批处理的尺寸进行分块处理，相应得到的第u个批处理的源域数据块记为
Figure BDA00036927833400000313
第v个批处理的目标域数据块记为
Figure BDA00036927833400000314
步骤5.2：所述双步领域自适应网络DSDAN的第一步训练过程：
选取一组数据块
Figure BDA00036927833400000315
输入所述双步领域自适应网络DSDAN中，依次经过所述特征提取器hφ和教师分类器FC1的处理后，输出预测概率
Figure BDA00036927833400000316
并计算式(2)所示的第一步更新损失函数L1后，通过反向传播机制更新所述特征提取器hφ和教师分类器FC1的参数，从而得到第一步训练后的特征提取器
Figure BDA00036927833400000317
和教师分类器
Figure BDA00036927833400000318
Figure BDA00036927833400000319
式(2)中，
Figure BDA00036927833400000320
表示所述教师分类器FC1输出的源域数据块
Figure BDA00036927833400000321
的预测概率
Figure BDA00036927833400000322
与对应源域数据块
Figure BDA00036927833400000323
的真实标签
Figure BDA00036927833400000324
的交叉熵损失，LLMMD表示源域数据块
Figure BDA00036927833400000325
经过特征提取器hφ后输出的特征映射fs u和目标域数据块
Figure BDA00036927833400000326
经过特征提取器hφ后输出的特征映射ft v之间的局部最大均值差异LMMD损失，λ1为权重调节参数，且λ1∈(0,1)；
步骤5.3：所述目标域数据块
Figure BDA00036927833400000333
输入第一步训练后的特征提取器
Figure BDA00036927833400000327
和教师分类器
Figure BDA00036927833400000328
中，并输出
Figure BDA00036927833400000329
的预测概率
Figure BDA00036927833400000330
从而按式(1)计算
Figure BDA00036927833400000331
对应的伪标签
Figure BDA00036927833400000332
步骤5.4：所述双步领域自适应网络DSDAN的第二步训练过程：
第一步训练后的特征提取器
Figure BDA0003692783340000041
和学生分类器FC2对
Figure BDA0003692783340000042
和
Figure BDA0003692783340000043
进行处理，输出预测概率
Figure BDA0003692783340000044
并计算式(3)所示的第二步训练损失函数L2后，通过反向传播机制更新所述特征提取器
Figure BDA0003692783340000045
和学生分类器FC2的参数，从而得到第二步更新后的特征提取器
Figure BDA0003692783340000046
和学生分类器
Figure BDA0003692783340000047
Figure BDA0003692783340000048
式(2)中，
Figure BDA0003692783340000049
表示学生分类器FC2输出的源域数据块
Figure BDA00036927833400000410
预测概率
Figure BDA00036927833400000411
与对应源域数据块
Figure BDA00036927833400000412
的真实标签
Figure BDA00036927833400000413
的交叉熵损失，
Figure BDA00036927833400000414
表示学生分类器FC2输出的目标域数据块
Figure BDA00036927833400000415
的预测概率
Figure BDA00036927833400000416
与由教师分类器
Figure BDA00036927833400000417
输出的目标域数据块
Figure BDA00036927833400000418
的伪标签
Figure BDA00036927833400000424
的交叉熵损失，λ2为权重调节参数，且λ2∈(0,1)；
步骤5.5：重复步骤5.2到步骤5.4的过程，直到完成对所有批处理的数据块的训练，并得到在当前肌电数据集上的最优肌电模式识别模型；
步骤6：当所述新用户产生k类动作中的其他肌电信号时，按照步骤3的过程构建新的目标肌电样本，作为待分类的目标肌电样本
Figure BDA00036927833400000419
然后按照步骤4的过程对
Figure BDA00036927833400000420
进行识别，给出预测标签。再将肌电样本
Figure BDA00036927833400000421
加入目标域数据集
Figure BDA00036927833400000422
中，最后按照步骤5的过程在扩充的数据集上训练并获得最优肌电模式识别模型；
步骤7：当其他新用户接入时，按照步骤3的过程创建用户对应的目标域数据集
Figure BDA00036927833400000423
然后按照步骤4-步骤6的过程进行动作预测和模型训练，从而得到相应新用户对应的最优肌电模式识别模型。
与现有技术相比，本发明的有益效果在于：
1、本发明使用双分类器结构的神经网络，首先通过一个常用且性能稳定的域适应算法，即减小源域数据和目标域数据的特征映射之间的LMMD距离来减小两者数据分布差异，保持模型在源域的表现的同时提高分类器FC1在目标域的识别效果，并以此分类器分支作为教师网络。在此基础上，利用教师网络的输出，获得目标域数据的伪标签，结合带标签源域数据用以监督特征提取器hφ和分类器FC2的训练更新。分类器FC2构成的分支网络作为学生网络，通过教师-学生网络两个分支的相互作用，从而提高了特征提取器提取用户无关特征的能力，提高了模型对目标域数据的适应性，提高了识别准确率。
2、本发明针对所提双分类器结构的领域自适应网络，提出与之相适配的双步更新训练模式，提出对每一组批处理数据块进行两步更新，通过这种高频的两步迭代更新，能快速提高目标域数据的伪标签的可靠性，加速了对目标域数据的自适应进程。
3、本发明针对跨用户肌电模式识别技术中用户负担较重的问题，设计了一种基于教师-学生模型的领域自适应网络以及与之适应的双步训练方法。与一般的教师-学生模型中单向的知识传递不同，本发明中教师网络以伪标签的形式向学生网络传递知识的同时，两个网络分支还以共享特征提取器的形式相互学习。通过两个分支网络的共同作用，能快速提高模型提取用户无关特征的能力，使得两个分支网络的动作识别性能都好于现有的其他方法，在保持模型对源域数据的识别能力的同时快速适应新用户。经过有限次的目标域数据积累和网络更新后，无需再进行网络更新也能对新用户产生的新数据进行有效识别，大大降低了用户使用负担，也提高了动作识别的效率。
附图说明
图1为本发明网络模型双步领域自适应训练更新流程示意图；
图1a为图1中的☆处的补充说明；
图2为本发明神经网络DSDAN的结构图；
图3为本发明神经网络DSDAN的残差块的结构图。
具体实施方式
本实施例中，一种基于教师-学生模型的双步领域自适应的跨用户肌电模式识别方法，构建了一种具有双分类器结构的领域自适应网络，并提出了一种与之相适应的基于教师-学生模型的双步训练模式，第一步训练计算源域和目标域的肌电样本的特征映射间的LMMD距离以及源域数据交叉熵损失，通过反向传播获得性能较好的特征提取器hφ和教师分类器FC1，然后生成目标域肌电样本的伪标签；第二步训练计算源域数据和目标域数据的交叉熵损失，通过反向传播更新特征提取器hφ和学生分类器FC2；教师和学生网络相互协作，进一步提高了共享特征提取器hφ提取用户无关特征的能力。具体流程如图1和图1a所示，其特征在于，包括以下步骤：
步骤1：利用多个肌电电极采集n个用户执行指定k类动作的多通道肌电信号，并对多通道肌电信号进行滑窗分割、活动段提取、特征提取的预处理后，得到源域肌电样本，从而构成有标签的源域数据集
Figure BDA0003692783340000051
其中，
Figure BDA0003692783340000052
表示源域的第i个肌电样本，
Figure BDA0003692783340000053
表示源域的第i个肌电样本对应的真实标签；ns表示得到的源域肌电样本数目；
本实施例中，取k＝6，即指定6类手部动作，分别为：食指伸展，中指伸展，小指伸展，食指和中指共同伸展，后三个手指共同伸展以及腕部伸展，采用行数p＝10，列数q＝10，电极间距D＝7mm，共计100个通道的柔性高密度电极阵列，对10位受试者进行肌电数据采集。以窗长W＝256ms，步长S＝128ms分割获得系列分析窗，并以静息状态下肌电信号的平均值加三倍的标准差为阈值TH进行分析窗筛选，即活动段提取，再对经筛选得到的分析窗提取三个特征(包含波形长度WL，时间依赖的功率谱描述特征中的f1与f6特征)构成肌电特征图像作为用于后续处理的肌电样本，因此每个肌电样本大小为10×10×3。其中，10×10是图像尺寸，对应10×10的电极阵列，3是图像通道数，对应三个肌电特征。
步骤2：构建基于教师-学生模型的双步领域自适应网络DSDAN，包括：一个共享的特征提取器hφ和两个动作分类器FC1和FC2；
特征提取器hφ依次包括：一个卷积层、一个批量归一化层、一个激活函数、一个最大池化层、两个串联的残差块和一个平均池化层；
每个动作分类器均由一个全连接层构成，其中，动作分类器FC1作为双步领域自适应网络DSDAN中的教师分支网络，记为教师分类器；动作分类器FC2作为双步领域自适应网络DSDAN中的学生分支网络，记为学生分类器；
本实施例中，基于领域自适应技术的双步教师-学生网络DSDAN结构如图2所示，其中残差块结构如图3所示。
步骤3：新用户接入，并构建无标签的目标域数据集
Figure BDA0003692783340000061
利用高密度电极阵列采集新用户执行k类动作中的任意一种动作的肌电信号并按照步骤1的过程进行预处理后，得到目标肌电样本，从而构成无标签的目标域数据集
Figure BDA0003692783340000062
其中，
Figure BDA0003692783340000063
表示目标域的第j个目标肌电样本；nt表示得到的目标域肌电样本数目。
步骤4：将目标域数据集
Figure BDA0003692783340000064
中待分类的目标肌电样本
Figure BDA0003692783340000065
输入双步领域自适应网络DSDAN中，并经过特征提取器hφ的处理后，输出相应的目标肌电样本特征映射
Figure BDA0003692783340000066
再输入教师分类器FC1中进行处理后，输出预测概率
Figure BDA0003692783340000067
最后按式(4)计算相应的预测标签
Figure BDA0003692783340000068
Figure BDA0003692783340000069
式(4)中，
Figure BDA00036927833400000610
表示目标肌电样本
Figure BDA00036927833400000611
属于动作c的概率，
Figure BDA00036927833400000612
表示目标肌电样本
Figure BDA00036927833400000613
属于动作a的概率，k表示指定动作的类别数目；
本发明基于教师-学生模型的双步领域自适应网络DSDAN包含一个教师分类器和一个学生分类器，实际应用中两个分类器都可以用于最终的动作预测，也可根据实际需求将两者的输出融合再进行分类预测，完成肌电模式识别任务。本实施例中，采用性能相对稳定的教师分类器进行动作预测，能确保动作识别有更高的可靠性。
步骤5：对双步领域自适应网络DSDAN进行自适应训练和更新：
步骤5.1：设置批处理的尺寸为batch_size，将源域数据集
Figure BDA0003692783340000071
和目标域数据集
Figure BDA0003692783340000072
分别按照批处理的尺寸进行分块处理，相应得到的第u个批处理的源域数据块记为
Figure BDA0003692783340000073
第v个批处理的目标域数据块记为
Figure BDA0003692783340000074
实际应用中，可根据设备的计算条件和实际需求对肌电样本的尺寸进行修改，或者对肌电数据集进行数据增强之后再用于双步领域自适应网络DSDAN的训练。本实施例中，设置batch_size＝32，并通过双三次插值方法将肌电样本尺寸放大为112×112×3，相当于提高了电极阵列密度，便于更好发挥卷积神经网络的性能，能提取更多有效的空域信息。
步骤5.2：双步领域自适应网络DSDAN的第一步训练过程：
选取一组数据块
Figure BDA0003692783340000075
输入双步领域自适应网络DSDAN中，依次经过特征提取器hφ和教师分类器FC1的处理后，输出预测概率
Figure BDA0003692783340000076
并计算式(5)所示的第一步更新损失函数L1后，通过反向传播机制更新特征提取器hφ和教师分类器FC1的参数，从而得到第一步训练后的特征提取器
Figure BDA0003692783340000077
和教师分类器
Figure BDA0003692783340000078
Figure BDA0003692783340000079
式(5)中，；
Figure BDA00036927833400000710
表示教师分类器FC1输出的源域数据块
Figure BDA00036927833400000711
的预测概率
Figure BDA00036927833400000712
与对应源域数据块
Figure BDA00036927833400000713
的真实标签
Figure BDA00036927833400000714
的交叉熵损失，计算方法如式(6)；LLMMD表示源域数据块
Figure BDA00036927833400000715
经过特征提取器hφ后输出的特征映射
Figure BDA00036927833400000716
和目标域数据块
Figure BDA00036927833400000717
经过特征提取器hφ后输出的特征映射ft v之间的局部最大均值差异LMMD损失，计算方法如式(7)；λ1为权重调节参数，且λ1∈(0,1)；
Figure BDA00036927833400000718
式(6)中，nb表示批处理数据块大小，即batch_size，k表示动作类别数，[●]c为示性函数，当第i个样本的真实标签
Figure BDA00036927833400000719
时
Figure BDA00036927833400000720
否则
Figure BDA00036927833400000721
Figure BDA00036927833400000722
表示第i个样本属于类别c的预测概率；
Figure BDA00036927833400000723
式(7)中，k表示动作类别数，
Figure BDA00036927833400000724
表示源域数据块Xs的第i个样本，
Figure BDA00036927833400000725
为对应样本权重，
Figure BDA00036927833400000726
表示源域样本的特征映射，
Figure BDA00036927833400000727
表示目标域数据块Xt的第i个样本，
Figure BDA00036927833400000728
为对应样本权重，
Figure BDA0003692783340000081
表示源域样本的特征映射。其中ωic定义比较灵活，本实施例中是根据类别定义，由式(8)所得：
Figure BDA0003692783340000082
式(8)中，pic为样本属于类别c的概率，计算源域肌电样本权重时参考对应样本的真实标签，即有
Figure BDA0003692783340000083
计算目标域肌电样本权重时使用教师分类器
Figure BDA0003692783340000084
输出的预测概率
Figure BDA0003692783340000085
步骤5.3：将目标域数据块
Figure BDA0003692783340000086
输入第一步训练后得到的特征提取器
Figure BDA0003692783340000087
和教师分类器
Figure BDA0003692783340000088
中，并输出
Figure BDA0003692783340000089
的预测概率
Figure BDA00036927833400000810
从而按式(4)计算
Figure BDA00036927833400000811
对应的伪标签
Figure BDA00036927833400000812
本实施例中通过式(4)获取硬标签用于监督模型的第二步训练，可以加快模型对目标域肌电数据的拟合，加快适应新用户进程。
步骤5.4：双步领域自适应网络DSDAN的第二步训练过程：
第一步训练后的特征提取器
Figure BDA00036927833400000813
和学生分类器FC2对
Figure BDA00036927833400000814
和
Figure BDA00036927833400000815
进行处理，输出预测概率
Figure BDA00036927833400000816
并计算式(9)所示的第二步训练损失函数L2后，通过反向传播机制更新特征提取器
Figure BDA00036927833400000817
和学生分类器FC2的参数，从而得到第二步更新后的特征提取器
Figure BDA00036927833400000818
和学生分类器
Figure BDA00036927833400000819
Figure BDA00036927833400000820
式(9)中，
Figure BDA00036927833400000821
表示学生分类器FC2输出的源域数据块
Figure BDA00036927833400000822
预测概率
Figure BDA00036927833400000823
与对应源域数据块
Figure BDA00036927833400000824
的真实标签
Figure BDA00036927833400000825
的交叉熵损失，
Figure BDA00036927833400000826
表示学生分类器FC2输出的目标域数据块
Figure BDA00036927833400000827
的预测概率
Figure BDA00036927833400000828
与由教师分类器
Figure BDA00036927833400000829
输出的目标域数据块
Figure BDA00036927833400000830
的伪标签
Figure BDA00036927833400000831
的交叉熵损失，λ2为权重调节参数，且λ2∈(0,1)；式(9)中交叉熵损失按式(6)计算。
步骤5.5：重复步骤5.2到步骤5.4的过程，直到完成对所有批处理的数据块的训练，并得到在当前肌电数据集上的最优肌电模式识别模型；多数情况下，源域肌电样本数目大于目标域肌电样本数目，则相同的目标域肌电样本会被多次用于模型训练，这有利于充分挖掘新用户肌电数据信息，促使模型实现跨用户模式识别。
一些研究采用循环迭代的方式，降低了分阶段训练模式中模型向错误方向更新的可能，但研究表明，类似方法的性能仍很大程度受限于第一次迭代生成的伪标签的质量。而本发明以批处理数据块组为基本单位，对模型进行两步更新，降低了第一次迭代产生的伪标签对全局分类效果的影响，同时加速了伪标签的质量的提升；
步骤6：当新用户产生k类动作中的其他肌电信号时，按照步骤3的过程构建新的目标肌电样本，作为待分类的目标肌电样本
Figure BDA0003692783340000091
然后按照步骤4的过程对
Figure BDA0003692783340000092
进行识别，给出预测标签。再将肌电样本
Figure BDA0003692783340000093
加入目标域数据集
Figure BDA0003692783340000094
中，最后按照步骤5的过程在扩充的数据集上训练并获得最优肌电模式识别模型；实际应用中，由于设备数据处理能力不足等限制，在扩充数据集上的训练不一定是立即进行的，可根据实际情况以及对实时性、准确性的实际需求，在获得一定数量的肌电样本
Figure BDA0003692783340000095
后再进行模型训练；
步骤7：当其他新用户接入时，按照步骤3的过程创建用户对应的目标域数据集
Figure BDA0003692783340000096
然后按照步骤4-步骤6的过程进行动作预测和模型训练，从而得到相应新用户对应的最优肌电模式识别模型。
为了说明本发明上述方案的性能，使用几种常用领域自适应方法与本发明上述方案进行了对比实验。
对比实验中，DANN是一种基于对抗的领域自适应方法，该方法提出为了达成好的领域迁移，必须基于一种无法区分源域和目标域的特征进行预测，该方法通过在标准的分类网络中添加梯度反转层(Gradient Reversal Layer)来实现，GRL层在前向传播时表现为恒等变化，反向传播时将梯度取反。Deep Coral方法利用深度网络对源域分布和目标域分布的二阶统计量进行非线性变化，使两者差异最小化，从而实现领域对齐。DAN方法通过在网络的多个层最小化源域和目标域的数据特征分布的多核最大均值差异(MK-MMD)来实现领域适配。DSAN方法相比DAN，区别在于使用局部最大均值差异(LMMD)在不同层进行对齐。以上方法都是采用单分类器的网络结构通过单步训练的形式进行网络模型更新的。
表1跨用户动作识别准确率(％)对比
Figure BDA0003692783340000097
表1中S1-S10分别表示在不同实验中作为目标域数据来源的受试者，相同实验中其余受试者数据用作源域数据共同训练网络模型。从表1中可以看出，本发明相对其他方法，构建具有双分类器的网络结构，并提出双步更新训练模式，通过两个分类器分支的共同作用快速对齐源域和目标域分布，使网络模型在目标域的识别准确率显著提升，能有效缓解肌电人机交互中的跨用户难题。
综上所述，本方法将表面肌电信号转变成肌电特征图像，采用独特的双步训练模式训练双分类器结构的领域自适应网络模型，在降低新用户使用负担的同时能快速适应新用户，不断提高动作识别精确度，推动了肌电控制技术的推广应用。

Claims (1)

1.一种基于教师-学生模型的双步领域自适应的跨用户肌电模式识别方法，其特征在于，包括以下步骤：
步骤1：利用多个肌电电极采集n个用户执行指定k类动作的多通道肌电信号，并对所述多通道肌电信号进行滑窗分割、活动段提取、特征提取的预处理后，得到源域肌电样本，从而构成有标签的源域数据集
Figure FDA0003692783330000011
其中，
Figure FDA0003692783330000012
表示源域的第i个肌电样本，
Figure FDA0003692783330000013
表示源域的第i个肌电样本对应的真实标签；ns表示得到的源域肌电样本数目；
步骤2：构建基于教师-学生模型的双步领域自适应网络DSDAN，包括：一个共享的特征提取器hφ和两个动作分类器FC1和FC2；
所述特征提取器hφ依次包括：一个卷积层、一个批量归一化层、一个激活函数、一个最大池化层、两个串联的残差块和一个平均池化层；
每个动作分类器均由一个全连接层构成，其中，动作分类器FC1作为所述双步领域自适应网络DSDAN中的教师分支网络，记为教师分类器；动作分类器FC2作为所述双步领域自适应网络DSDAN中的学生分支网络，记为学生分类器；
步骤3：新用户接入，并构建无标签的目标域数据集
Figure FDA0003692783330000014
利用所述高密度电极阵列采集新用户执行k类动作中的任意一种动作的肌电信号并按照步骤1的过程进行预处理后，得到目标肌电样本，从而构成无标签的目标域数据集
Figure FDA0003692783330000015
其中，
Figure FDA0003692783330000016
表示目标域的第j个目标肌电样本；nt表示得到的目标域肌电样本数目；
步骤4：将目标域数据集
Figure FDA0003692783330000017
中待分类的目标肌电样本
Figure FDA0003692783330000018
输入所述双步领域自适应网络DSDAN中，并经过特征提取器hφ的处理后，输出相应的目标肌电样本特征映射
Figure FDA0003692783330000019
再输入所述教师分类器FC1中进行处理后，输出预测概率
Figure FDA00036927833300000110
最后按式(1)计算相应的预测标签
Figure FDA00036927833300000111
Figure FDA00036927833300000112
式(1)中，
Figure FDA00036927833300000113
表示目标肌电样本
Figure FDA00036927833300000114
属于动作c的概率，
Figure FDA00036927833300000115
表示目标肌电样本
Figure FDA00036927833300000116
属于动作a的概率，k表示指定动作的类别数目；
步骤5：对所述双步领域自适应网络DSDAN进行自适应训练和更新：
步骤5.1：设置批处理的尺寸为batch_size，将所述源域数据集
Figure FDA0003692783330000021
和目标域数据集
Figure FDA0003692783330000022
分别按照批处理的尺寸进行分块处理，相应得到的第u个批处理的源域数据块记为
Figure FDA0003692783330000023
第v个批处理的目标域数据块记为
Figure FDA0003692783330000024
步骤5.2：所述双步领域自适应网络DSDAN的第一步训练过程：
选取一组数据块
Figure FDA0003692783330000025
输入所述双步领域自适应网络DSDAN中，依次经过所述特征提取器hφ和教师分类器FC1的处理后，输出预测概率
Figure FDA0003692783330000026
并计算式(2)所示的第一步更新损失函数L1后，通过反向传播机制更新所述特征提取器hφ和教师分类器FC1的参数，从而得到第一步训练后的特征提取器
Figure FDA0003692783330000027
和教师分类器
Figure FDA0003692783330000028
Figure FDA0003692783330000029
式(2)中，
Figure FDA00036927833300000210
表示所述教师分类器FC1输出的源域数据块
Figure FDA00036927833300000211
的预测概率
Figure FDA00036927833300000212
与对应源域数据块
Figure FDA00036927833300000213
的真实标签
Figure FDA00036927833300000214
的交叉熵损失，LLMMD表示源域数据块
Figure FDA00036927833300000215
经过特征提取器hφ后输出的特征映射fs u和目标域数据块
Figure FDA00036927833300000216
经过特征提取器hφ后输出的特征映射ft v之间的局部最大均值差异LMMD损失，λ1为权重调节参数，且λ1∈(0,1)；
步骤5.3：所述目标域数据块
Figure FDA00036927833300000217
输入第一步训练后的特征提取器
Figure FDA00036927833300000218
和教师分类器
Figure FDA00036927833300000219
中，并输出
Figure FDA00036927833300000220
的预测概率
Figure FDA00036927833300000221
从而按式(1)计算
Figure FDA00036927833300000222
对应的伪标签
Figure FDA00036927833300000223
步骤5.4：所述双步领域自适应网络DSDAN的第二步训练过程：
第一步训练后的特征提取器
Figure FDA00036927833300000224
和学生分类器FC2对
Figure FDA00036927833300000225
和
Figure FDA00036927833300000226
进行处理，输出预测概率
Figure FDA00036927833300000227
并计算式(3)所示的第二步训练损失函数L2后，通过反向传播机制更新所述特征提取器
Figure FDA00036927833300000228
和学生分类器FC2的参数，从而得到第二步更新后的特征提取器
Figure FDA00036927833300000229
和学生分类器
Figure FDA00036927833300000230
Figure FDA00036927833300000231
式(2)中，
Figure FDA00036927833300000232
表示学生分类器FC2输出的源域数据块
Figure FDA00036927833300000233
预测概率
Figure FDA00036927833300000234
与对应源域数据块
Figure FDA00036927833300000235
的真实标签
Figure FDA00036927833300000236
的交叉熵损失，
Figure FDA00036927833300000237
表示学生分类器FC2输出的目标域数据块
Figure FDA00036927833300000238
的预测概率
Figure FDA00036927833300000239
与由教师分类器
Figure FDA00036927833300000240
输出的目标域数据块
Figure FDA00036927833300000241
的伪标签
Figure FDA00036927833300000242
的交叉熵损失，λ2为权重调节参数，且λ2∈(0,1)；
步骤5.5：重复步骤5.2到步骤5.4的过程，直到完成对所有批处理的数据块的训练，并得到在当前肌电数据集上的最优肌电模式识别模型；
步骤6：当所述新用户产生k类动作中的其他肌电信号时，按照步骤3的过程构建新的目标肌电样本，作为待分类的目标肌电样本
Figure FDA0003692783330000031
然后按照步骤4的过程对
Figure FDA0003692783330000032
进行识别，给出预测标签，再将肌电样本
Figure FDA0003692783330000033
加入目标域数据集
Figure FDA0003692783330000034
中，最后按照步骤5的过程在扩充的数据集上训练并获得最优肌电模式识别模型；
步骤7：当其他新用户接入时，按照步骤3的过程创建用户对应的目标域数据集
Figure FDA0003692783330000035
然后按照步骤4-步骤6的过程进行动作预测和模型训练，从而得到相应新用户对应的最优肌电模式识别模型。
CN202210669705.7A 2022-06-14 2022-06-14 基于教师-学生模型的双步领域自适应的跨用户肌电模式识别方法 Active CN114936583B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210669705.7A CN114936583B (zh) 2022-06-14 2022-06-14 基于教师-学生模型的双步领域自适应的跨用户肌电模式识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210669705.7A CN114936583B (zh) 2022-06-14 2022-06-14 基于教师-学生模型的双步领域自适应的跨用户肌电模式识别方法

Publications (2)

Publication Number Publication Date
CN114936583A true CN114936583A (zh) 2022-08-23
CN114936583B CN114936583B (zh) 2024-03-29

Family

ID=82866787

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210669705.7A Active CN114936583B (zh) 2022-06-14 2022-06-14 基于教师-学生模型的双步领域自适应的跨用户肌电模式识别方法

Country Status (1)

Country Link
CN (1) CN114936583B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117198463A (zh) * 2023-11-06 2023-12-08 中国科学院大学 一种跨数据域识别针极肌电图运动神经元损害的方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111914320A (zh) * 2020-06-06 2020-11-10 同济大学 基于深度学习的无样本道岔故障诊断方法
CN112861604A (zh) * 2020-12-25 2021-05-28 中国科学技术大学 一种与用户无关的肌电动作识别与控制方法
WO2021143353A1 (zh) * 2020-01-13 2021-07-22 腾讯科技（深圳）有限公司 一种手势信息处理方法、装置、电子设备及存储介质
CN114118149A (zh) * 2021-11-24 2022-03-01 上海交通大学 基于有限元仿真和对称特征迁移的感应电机故障诊断系统
CN114366124A (zh) * 2022-01-25 2022-04-19 北京航空航天大学 一种基于半监督深度卷积通道注意力单分类网络的癫痫脑电识别方法
CN114550304A (zh) * 2022-02-28 2022-05-27 中国科学技术大学 一种用于鲁棒肌电控制的跨用户手势识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021143353A1 (zh) * 2020-01-13 2021-07-22 腾讯科技（深圳）有限公司 一种手势信息处理方法、装置、电子设备及存储介质
CN111914320A (zh) * 2020-06-06 2020-11-10 同济大学 基于深度学习的无样本道岔故障诊断方法
CN112861604A (zh) * 2020-12-25 2021-05-28 中国科学技术大学 一种与用户无关的肌电动作识别与控制方法
CN114118149A (zh) * 2021-11-24 2022-03-01 上海交通大学 基于有限元仿真和对称特征迁移的感应电机故障诊断系统
CN114366124A (zh) * 2022-01-25 2022-04-19 北京航空航天大学 一种基于半监督深度卷积通道注意力单分类网络的癫痫脑电识别方法
CN114550304A (zh) * 2022-02-28 2022-05-27 中国科学技术大学 一种用于鲁棒肌电控制的跨用户手势识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李国法;陈耀昱;吕辰;陶达;曹东璞;成波;: "智能汽车决策中的驾驶行为语义解析关键技术", 汽车安全与节能学报, no. 04, 15 December 2019 (2019-12-15) *
杨波;曹雪虹;焦良葆;孔小红;: "改进实时目标检测算法的电力巡检鸟巢检测", 电气技术, no. 05, 15 May 2020 (2020-05-15) *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117198463A (zh) * 2023-11-06 2023-12-08 中国科学院大学 一种跨数据域识别针极肌电图运动神经元损害的方法

Also Published As

Publication number Publication date
CN114936583B (zh) 2024-03-29

Similar Documents

Publication Publication Date Title
CN110379506B (zh) 针对心电图数据使用二值化神经网络的心律不齐检测方法
CN112861604B (zh) 一种与用户无关的肌电动作识别与控制方法
CN110610172B (zh) 一种基于rnn-cnn架构的肌电手势识别方法
CN110188653A (zh) 基于局部特征聚合编码和长短期记忆网络的行为识别方法
KR102318775B1 (ko) 강화학습을 이용한 적응형 뇌파 분석 방법 및 장치
CN114176607B (zh) 一种基于视觉Transformer的脑电信号分类方法
CN110399846A (zh) 一种基于多通道肌电信号相关性的手势识别方法
CN112766355A (zh) 一种标签噪声下的脑电信号情绪识别方法
CN112989920B (zh) 一种基于帧级特征蒸馏神经网络的脑电情绪分类系统
CN116029333A (zh) 一种面向分布式系统自适应的多目标肌电模式识别方法
CN114936583A (zh) 基于教师-学生模型的双步领域自适应的跨用户肌电模式识别方法
Jiang et al. Application of transformer with auto-encoder in motor imagery EEG signals
CN113505719A (zh) 基于局部-整体联合知识蒸馏算法的步态识别模型压缩系统及方法
CN117290730A (zh) 一种个体情绪识别模型的优化方法
CN114398991B (zh) 基于Transformer结构搜索的脑电信号情绪识别方法
Zhang et al. A pruned deep learning approach for classification of motor imagery electroencephalography signals
CN113516101B (zh) 一种基于网络结构搜索的脑电信号情绪识别方法
CN114863572A (zh) 一种多通道异构传感器的肌电手势识别方法
CN112560784B (zh) 一种基于动态多尺度卷积神经网络的心电图分类方法
Pandian et al. Effect of data preprocessing in the detection of epilepsy using machine learning techniques
CN114847933A (zh) 基于全卷积残差网络的肌电信号手势识别方法及系统
CN114548165A (zh) 一种可跨用户的肌电模式分类方法
CN109800651B (zh) 一种基于双规则主动超限学习机的多类脑电分类方法
CN115081480B (zh) 一种多源共迁移跨用户的肌电模式分类方法
Su et al. A method for EEG contributory channel selection based on deep belief network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant