CN111544856A - 基于新型迁移学习模型的脑-肌电智能全肢体康复方法 - Google Patents

基于新型迁移学习模型的脑-肌电智能全肢体康复方法 Download PDF

Info

Publication number
CN111544856A
CN111544856A CN202010369427.4A CN202010369427A CN111544856A CN 111544856 A CN111544856 A CN 111544856A CN 202010369427 A CN202010369427 A CN 202010369427A CN 111544856 A CN111544856 A CN 111544856A
Authority
CN
China
Prior art keywords
brain
learning model
layer
transfer learning
domain
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010369427.4A
Other languages
English (en)
Other versions
CN111544856B (zh
Inventor
高忠科
洪晓林
陈培垠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN202010369427.4A priority Critical patent/CN111544856B/zh
Publication of CN111544856A publication Critical patent/CN111544856A/zh
Application granted granted Critical
Publication of CN111544856B publication Critical patent/CN111544856B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B26/00—Exercising apparatus not covered by groups A63B1/00 - A63B25/00
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/389—Electromyography [EMG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/725—Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B21/00—Exercising apparatus for developing or strengthening the muscles or joints of the body by working against a counterforce, with or without measuring devices
    • A63B21/00181—Exercising apparatus for developing or strengthening the muscles or joints of the body by working against a counterforce, with or without measuring devices comprising additional means assisting the user to overcome part of the resisting force, i.e. assisted-active exercising
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0087—Electric or electronic controls for exercising apparatus of groups A63B21/00 - A63B23/00, e.g. controlling load
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2230/00—Measuring physiological parameters of the user
    • A63B2230/08—Measuring physiological parameters of the user other bio-electrical signals
    • A63B2230/085—Measuring physiological parameters of the user other bio-electrical signals used as a control parameter for the apparatus
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2230/00—Measuring physiological parameters of the user
    • A63B2230/08—Measuring physiological parameters of the user other bio-electrical signals
    • A63B2230/10—Measuring physiological parameters of the user other bio-electrical signals electroencephalographic signals
    • A63B2230/105—Measuring physiological parameters of the user other bio-electrical signals electroencephalographic signals used as a control parameter for the apparatus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Psychiatry (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Physical Education & Sports Medicine (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Physiology (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Fuzzy Systems (AREA)
  • Psychology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Orthopedic Medicine & Surgery (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Rehabilitation Tools (AREA)

Abstract

一种基于新型迁移学习模型的脑‑肌电智能全肢体康复方法：通过将已有被试者的脑‑肌电信号数据作为源域样本来提升对新被试者的脑‑肌电信号数据的分类准确率。通过将脑‑肌电信号数据计算出的协方差矩阵映射到其流形的切空间，并在该空间中通过构建迁移学习模型进行源域和目标域的数据迁移。同时在实际应用中，可以通过脑‑肌电智能全肢体康复设备采集被试者的脑电数据输入训练完毕的迁移学习模型，当识别出脑电类别所对应的被试者运动意图后，通过脑‑肌电智能全肢体康复设备的外骨骼康复器械协助被试者执行相应的肢体动作，实现自主康复训练。本发明有助于解决运动想象脑电信号与皮层肌电信号被试个体差异大，样本量少或者无标签导致的解码困难问题。

Description

基于新型迁移学习模型的脑-肌电智能全肢体康复方法
技术领域
本发明涉及一种脑-肌电智能全肢体康复方法。特别是涉及一种基于新型迁移学习模型的脑-肌电智能全肢体康复方法。
背景技术
脑卒中是一种由于大脑里面的血管突然发生破裂出血或因血管堵塞造成大脑缺血、缺氧而引起的急性脑血管疾病。根据世界中风组织的数据，全球平均每6秒就有1人死于脑卒中。在我国，脑卒中现已成为第一大致残和致死疾病。在传统康复方法中，患者通常通过人工物理疗法来逐步恢复肌肉的收缩能力，但在花费大量的时间和精力的同时，结果往往收效甚微，且不能充分调动患者的自主运动意识。脑机接口(brain-computerinterface,BCI)是一种通过采集人体大脑皮层电信号，实现大脑与外部设备直接交互的新型方式，其中，基于运动想象的脑机接口通过被试者自发性地想象肢体运动来控制外接设备的运动，是一种被广泛用于人体交互与康复医疗的脑机接口范式。同时，使用者在康复过程中，通过辅助设备完成肢体运动的同时，会在肢体产生肌电信号，反映肢体运动时周围肌肉的运动状态。因此，结合脑电信号和肌电信号对使用者的运动意图的辨识是一种新型的康复方式。而在对基于脑电信号和肌电信号的运动意图辨识问题中，由于新被试者训练数据少，且获取有标签数据需要耗费大量的时间和精力，导致难以训练出一个识别性能满足要求的分类模型。因此，如何通过已有的被试者脑电信号来提升新被试这脑电信号的识别准确率已成为该领域的关注重点及研究热点。
本发明将提出一种基于新型迁移学习模型的脑-肌电智能全肢体康复设备，有助于解决运动想象脑电信号与皮层肌电信号被试个体差异大，样本量少或者无标签导致的解码困难问题。
发明内容
本发明所要解决的技术问题是，提供一种有助于解决运动想象脑电信号与皮层肌电信号被试个体差异大，样本量少或者无标签导致的解码困难问题的基于新型迁移学习模型的脑-肌电智能全肢体康复方法。
本发明所采用的技术方案是：一种基于新型迁移学习模型的脑-肌电智能全肢体康复方法，包括如下步骤：
1)构建脑电信号数据的目标域和源域，包括将已有的被试者脑-肌电信号数据作为迁移学习模型的源域样本，新被试者的脑-肌电信号数据作为迁移学习模型的目标域样本；
2)根据目标域样本和源域样本构建脑-肌电协方差矩阵，得到目标域矩阵空间和源域矩阵空间；
3)将目标域矩阵空间和源域矩阵空间分别映射到可微黎曼流形的切空间；
4)构建用于对脑-肌电信号进行特征提取和分类的迁移学习模型，包括：构建卷积块、构建卷积神经网络作为迁移学习模型的特征提取器、构建全连接神经网络作为迁移学习模型的分类器和构建迁移学习模型的域判别器；
5)构建迁移学习模型的损失函数；
6)输入源域样本和目标域样本对迁移学习模型进行训练；
7)通过脑-肌电智能全肢体康复设备采集被试者的脑电数据，并通过步骤2)和步骤3)后，将数据输入更新完毕的迁移学习模型，在多类脑电任务上进行识别；当识别出脑电类别所对应的被试者运动意图后，通过脑-肌电智能全肢体康复设备的外骨骼康复器械协助被试者执行相应的肢体动作，完成康复训练。
本发明的基于新型迁移学习模型的脑-肌电智能全肢体康复方法，有望与康复医疗相结合，用于对脑卒中使用者的脑电和肌电信号进行识别，辨识使用者运动意图，并通过脑-肌电智能全肢体康复设备的外骨骼康复器械协助被试者完成康复训练。本发明有助于解决运动想象脑电信号与皮层肌电信号被试个体差异大，样本量少或者无标签导致的解码困难问题。
附图说明
图1是本发明中卷积块结构示意图；
图2是本发明的迁移学习模型结构示意图；
图3是基于本发明的新型迁移学习模型的脑-肌电智能全肢体康复流程图。
具体实施方式
下面结合实施例和附图对本发明的基于新型迁移学习模型的脑-肌电智能全肢体康复方法做出详细说明。
本发明的基于新型迁移学习模型的脑-肌电智能全肢体康复方法，建立新型迁移学习模型用于从脑电图和肌电图中提取具有跨域不变性和可分性的脑电特征，提升分类模型泛化性能，解决脑电分类问题；脑-肌电智能全肢体康复设备用于实时采集被试者的脑电信号和肌电信号，并通过新型迁移学习模型进行运动意图辨识，同时通过脑-肌电智能全肢体康复设备中的外骨骼康复器械协助被试者肢体完成对应的动作。
本发明的基于新型迁移学习模型的脑-肌电智能全肢体康复方法，包括如下步骤：
1)构建脑电信号数据的目标域和源域，包括将已有的被试者脑-肌电信号数据作为迁移学习模型的源域样本，新被试者的脑-肌电信号数据作为迁移学习模型的目标域样本；
2)根据目标域样本和源域样本构建脑-肌电协方差矩阵，得到目标域矩阵空间和源域矩阵空间；包括：
(2.1)对于任一数据长度为L的N通道脑-肌电信号数据样本Xp进行预处理，包括去除眼电信号、4～500Hz带通滤波，得到预处理后的脑-肌电信号；
(2.2)针对每一预处理后的脑-肌电信号，计算脑-肌电协方差矩阵C，计算公式如下：
Figure BDA0002476167420000021
其中，Xp代表脑-肌电信号数据样本，Xp T代表Xp的转置，L代表脑-肌电信号数据样本的数据长度。
当对源域样本中的每一个脑-肌电信号均计算出脑-肌电协方差矩阵后，将所有的脑-肌电协方差矩阵记为源域矩阵空间；当对目标域样本中的每一个脑-肌电信号均计算出脑-肌电协方差矩阵后，将所有的脑-肌电协方差矩阵记为目标域矩阵空间，其中，目标域矩阵空间和源域矩阵空间属于不同的可微黎曼流形。
3)将目标域矩阵空间和源域矩阵空间分别映射到可微黎曼流形的切空间；包括：
设由矩阵空间所构成的黎曼流形空间为M，则M的切空间T中的每一个矩阵计算如下：
Figure BDA0002476167420000031
其中，C代表黎曼流形空间的一个矩阵，
Figure BDA0002476167420000032
代表切空间的一个矩阵；
根据上述公式，将源域矩阵空间映射到源域切空间，则源域切空间中的数据为源域数据，将目标域矩阵空间映射到目标域切空间，则目标域切空间中的数据为目标域数据。
4)构建用于对脑-肌电信号进行特征提取和分类的迁移学习模型，如图2所示，包括：构建卷积块、构建卷积神经网络作为迁移学习模型的特征提取器、构建全连接神经网络作为迁移学习模型的分类器和构建迁移学习模型的域判别器；其中所述的：
(1)构建卷积块，如图1所示，构建一个4层的卷积块，其中：
第一层为1×N卷积层，卷积核大小为1×N，步长为1，卷积通道为M；
第二层为N×1卷积层，卷积核大小为N×1，步长为s，卷积通道为M；
第三层为ReLU激活函数,使经过激活后的输出为非负值，ReLU激活函数为：
r(f)＝max(0,f)
其中，f输入的特征图；
第四层为批量归一化层，用于对上一层网络的输出进行归一化，使上一层网络输出的数据分布接近正态分布，能够提高模型的泛化性能，加速模型收敛；
该卷积块包含三个参数：卷积核大小N，卷积通道M，步长s；
(2)构建卷积神经网络作为迁移学习模型的特征提取器，所述的卷积神经网络包括5层：
第一层为第一卷积块，设置卷积块中的卷积核大小N＝1,步长s＝1,卷积通道M＝16；
第二层为第二卷积块，设置卷积块中的卷积核大小N＝3,步长s＝2,卷积通道M＝64；
第三层为第三卷积块，设置卷积块中的卷积核大小N＝5,步长s＝2,卷积通道M＝128；
第四层为平整层，将输入的特征图拉成一维，形成一个一维向量；
第五层为丢弃层，能够有效减低过拟合风险，在训练网络时，暂时丢弃一部分神经元；设定神经元被丢弃的概率为0.5，且丢弃的神经元不参与前向传播计算与参数更新；
(3)构建全连接神经网络作为迁移学习模型的分类器
经过特征提取器后，得到脑-肌电信号的关键特征，以该特征作为全连接神经网络的输入后，经过第一全连接层和第二全连接层完成最终的决策分类，其中：
第一层为第一全连接层，设置隐藏节点数为512；
第二层为第二全连接层，设置隐藏节点数为c,其中c为分类任务的类别数；
(4)构建迁移学习模型的域判别器
为了促使特征提取器能够提取出具有域不变性的脑-肌电特征，通过构建域判别器对特征提取器所提取的特征进行约束，缩小新被试者的脑-肌电信号特征和已有被试者的脑-肌电信号特征在数据分布上的距离。域判别器以特征提取器所提取的脑-肌电特征作为输入，经过一层梯度反转层、第三全连接层和第四全连接层完成区分源域脑电特征和目标域脑电特征的分类任务；各层参数如下：
第一层为梯度反转层，在迁移学习模型前向传播过程中对输入进行恒等变换，在迁移学习模型反向传播过程中梯度方向自动取反，梯度反转层表达式如下：
R(x)＝x
Figure BDA0002476167420000041
Figure BDA0002476167420000042
其中，x表示输入到梯度反转层的特征，R(x)表示梯度反转层的输出，I表示单位矩阵，λ表示梯度反转系数，p表示当前训练次数与总训练次数的比率；
第二层为第三全连接层，设置隐藏节点数为100；
第三层为第四全连接层，设置隐藏节点数为2,其中c为分类任务的类别数。
5)构建迁移学习模型的损失函数；包括：
设迁移学习模型的损失函数为L，包含分类损失函数Lce、域判别损失函数Ld和正则化项，表达式如下：
L＝Lce-αLd+β‖Θ‖1
Figure BDA0002476167420000043
Figure BDA0002476167420000044
其中，α为用于平衡分类损失和域判别损失的系数，β为正则化项系数，‖Θ‖1为迁移学习模型参数的1-范数，c为分类任务的类别数，yi为源域样本的真实标签，
Figure BDA0002476167420000045
为分类器对源域脑-肌电特征的预测标签，pi为脑-肌电特征对应的真实域标签，
Figure BDA0002476167420000046
为域判别器对源域脑-肌电特征和目标域脑-肌电特征预测的域标签；当pi＝0时，则表示输入的脑-肌电特征属于源域，当pi＝1时，则表示输入的脑-肌电特征属于目标域。
6)输入源域样本和目标域样本对迁移学习模型进行训练；包括：
将源域样本和目标域样本输入迁移学习模型进行训练优化，并通过反向传播和步骤3)中所述的迁移学习模型的损失函数来优化迁移学习模型参数；输入源域样本进入特征提取器进行特征提取，形成源域特征，并将源域特征送入分类器进行脑电分类，同时利用分类损失函数计算公式计算出分类损失；同时，输入目标域样本进入特征提取器进行特征提取，形成目标域特征，并将源域特征和目标域特征输入域判别器进行二分类，同时利用域判别损失函数计算公式计算出域判别损失。最后利用迁移学习模型的损失函数计算公式计算出整个模型的分类误差，并通过反向传播算法与小批量梯度下降法对迁移学习模型进行误差传播及参数更新；在该过程中，分类损失只在源域样本上进行计算；不断重复该过程对迁移学习模型的参数进行迭代更新，直至满足模型的收敛条件。
7)如图3所示，通过脑-肌电智能全肢体康复设备采集被试者的脑电数据，并通过步骤2)和步骤3)后，将数据输入更新完毕的迁移学习模型，在多类脑电任务上进行识别；当识别出脑电类别所对应的被试者运动意图后，通过脑-肌电智能全肢体康复设备的外骨骼康复器械协助被试者执行相应的肢体动作，完成康复训练。
本发明所述的脑-肌电智能全肢体康复设备，可采用目前已有的产品：无线脑电肌电系统eegomylab，或无线脑电肌电系统Eegosports88，或eCon无线脑电采集设备+eConHand手功能康复设备，或四肢联动智能反馈训练系统AL450。
本发明的基于新型迁移学习模型的脑-肌电智能全肢体康复方法，基于脑-肌电智能全肢体康复设备获取的被试者脑电数据，可实时辨识被试者运动意图，并通过于脑-肌电智能全肢体康复设备的外骨骼康复器械协助被试者完成自主式康复训练。
以上对本发明和实施例的描述，并不局限于此，实施例中的描述仅是本发明的实施方式之一，在不脱离本发明创造宗旨的情况下，任何不经创造性的设计出与该技术方案类似的结构或实施例，均属本发明的保护范围。

Claims (7)

1.一种基于新型迁移学习模型的脑-肌电智能全肢体康复方法，其特征在于，包括如下步骤：
1)构建脑电信号数据的目标域和源域，包括将已有的被试者脑-肌电信号数据作为迁移学习模型的源域样本，新被试者的脑-肌电信号数据作为迁移学习模型的目标域样本；
2)根据目标域样本和源域样本构建脑-肌电协方差矩阵，得到目标域矩阵空间和源域矩阵空间；
3)将目标域矩阵空间和源域矩阵空间分别映射到可微黎曼流形的切空间；
4)构建用于对脑-肌电信号进行特征提取和分类的迁移学习模型，包括：构建卷积块、构建卷积神经网络作为迁移学习模型的特征提取器、构建全连接神经网络作为迁移学习模型的分类器和构建迁移学习模型的域判别器；
5)构建迁移学习模型的损失函数；
6)输入源域样本和目标域样本对迁移学习模型进行训练；
7)通过脑-肌电智能全肢体康复设备采集被试者的脑电数据，并通过步骤2)和步骤3)后，将数据输入更新完毕的迁移学习模型，在多类脑电任务上进行识别；当识别出脑电类别所对应的被试者运动意图后，通过脑-肌电智能全肢体康复设备的外骨骼康复器械协助被试者执行相应的肢体动作，完成康复训练。
2.根据权利要求1所述的基于新型迁移学习模型的脑-肌电智能全肢体康复方法，其特征在于，步骤2)包括：
(2.1)对于任一数据长度为L的N通道脑-肌电信号数据样本Xp进行预处理，包括去除眼电信号、4～500Hz带通滤波，得到预处理后的脑-肌电信号；
(2.2)针对每一预处理后的脑-肌电信号，计算脑-肌电协方差矩阵C，计算公式如下：
Figure FDA0002476167410000011
其中，Xp代表脑-肌电信号数据样本，Xp T代表Xp的转置，L代表脑-肌电信号数据样本的数据长度。
3.根据权利要求2所述的基于新型迁移学习模型的脑-肌电智能全肢体康复方法，其特征在于，当对源域样本中的每一个脑-肌电信号均计算出脑-肌电协方差矩阵后，将所有的脑-肌电协方差矩阵记为源域矩阵空间；当对目标域样本中的每一个脑-肌电信号均计算出脑-肌电协方差矩阵后，将所有的脑-肌电协方差矩阵记为目标域矩阵空间，其中，目标域矩阵空间和源域矩阵空间属于不同的可微黎曼流形。
4.根据权利要求1所述的基于新型迁移学习模型的脑-肌电智能全肢体康复方法，其特征在于，步骤3)包括：
设由矩阵空间所构成的黎曼流形空间为M，则M的切空间T中的每一个矩阵计算如下：
Figure FDA0002476167410000012
其中，C代表黎曼流形空间的一个矩阵，
Figure FDA0002476167410000013
代表切空间的一个矩阵；
根据上述公式，将源域矩阵空间映射到源域切空间，则源域切空间中的数据为源域数据，将目标域矩阵空间映射到目标域切空间，则目标域切空间中的数据为目标域数据。
5.根据权利要求1所述的基于新型迁移学习模型的脑-肌电智能全肢体康复方法，其特征在于，步骤4)中所述的：
(1)构建卷积块，如图1所示，构建一个4层的卷积块，其中：
第一层为1×N卷积层，卷积核大小为1×N，步长为1，卷积通道为M；
第二层为N×1卷积层，卷积核大小为N×1，步长为s，卷积通道为M；
第三层为ReLU激活函数,使经过激活后的输出为非负值，ReLU激活函数为：
r(f)＝max(0,f)
其中，f为输入的特征图；
第四层为批量归一化层，用于对上一层网络的输出进行归一化，使上一层网络输出的数据分布接近正态分布，能够提高模型的泛化性能，加速模型收敛；
该卷积块包含三个参数：卷积核大小N，卷积通道M，步长s；
(2)构建卷积神经网络作为迁移学习模型的特征提取器，所述的卷积神经网络包括5层：
第一层为第一卷积块，设置卷积块中的卷积核大小N＝1,步长s＝1,卷积通道M＝16；
第二层为第二卷积块，设置卷积块中的卷积核大小N＝3,步长s＝2,卷积通道M＝64；
第三层为第三卷积块，设置卷积块中的卷积核大小N＝5,步长s＝2,卷积通道M＝128；
第四层为平整层，将输入的特征图拉成一维，形成一个一维向量；
第五层为丢弃层，能够有效减低过拟合风险，在训练网络时，暂时丢弃一部分神经元；设定神经元被丢弃的概率为0.5，且丢弃的神经元不参与前向传播计算与参数更新；
(3)构建全连接神经网络作为迁移学习模型的分类器
经过特征提取器后，得到脑-肌电信号的关键特征，以该特征作为全连接神经网络的输入后，经过第一全连接层和第二全连接层完成最终的决策分类，其中：
第一层为第一全连接层，设置隐藏节点数为512；
第二层为第二全连接层，设置隐藏节点数为c,其中c为分类任务的类别数；
(4)构建迁移学习模型的域判别器
域判别器以特征提取器所提取的脑-肌电特征作为输入，经过一层梯度反转层、第三全连接层和第四全连接层完成区分源域脑电特征和目标域脑电特征的分类任务；各层参数如下：
第一层为梯度反转层，在迁移学习模型前向传播过程中对输入进行恒等变换，在迁移学习模型反向传播过程中梯度方向自动取反，梯度反转层表达式如下：
R(x)＝x
Figure FDA0002476167410000021
Figure FDA0002476167410000022
其中，x表示输入到梯度反转层的特征，R(x)表示梯度反转层的输出，I表示单位矩阵，λ表示梯度反转系数，p表示当前训练次数与总训练次数的比率；
第二层为第三全连接层，设置隐藏节点数为100；
第三层为第四全连接层，设置隐藏节点数为2,其中c为分类任务的类别数。
6.根据权利要求1所述的基于新型迁移学习模型的脑-肌电智能全肢体康复方法，其特征在于，步骤5)中，设迁移学习模型的损失函数为L，包含分类损失函数Lce、域判别损失函数Ld和正则化项，表达式如下：
L＝Lce-αLd+β‖Θ‖1
Figure FDA0002476167410000031
Figure FDA0002476167410000032
其中，α为用于平衡分类损失和域判别损失的系数，β为正则化项系数，‖Θ‖1为迁移学习模型参数的1-范数，c为分类任务的类别数，yi为源域样本的真实标签，
Figure FDA0002476167410000033
为分类器对源域脑-肌电特征的预测标签，pi为脑-肌电特征对应的真实域标签，
Figure FDA0002476167410000034
为域判别器对源域脑-肌电特征和目标域脑-肌电特征预测的域标签；当pi＝0时，则表示输入的脑-肌电特征属于源域，当pi＝1时，则表示输入的脑-肌电特征属于目标域。
7.根据权利要求1所述的基于新型迁移学习模型的脑-肌电智能全肢体康复方法，其特征在于，步骤6)包括：
将源域样本和目标域样本输入迁移学习模型进行训练优化，并通过反向传播和步骤3)中所述的迁移学习模型的损失函数来优化迁移学习模型参数；输入源域样本进入特征提取器进行特征提取，形成源域特征，并将源域特征送入分类器进行脑电分类，同时利用分类损失函数计算公式计算出分类损失；同时，输入目标域样本进入特征提取器进行特征提取，形成目标域特征，并将源域特征和目标域特征输入域判别器进行二分类，同时利用域判别损失函数计算公式计算出域判别损失。最后利用迁移学习模型的损失函数计算公式计算出整个模型的分类误差，并通过反向传播算法与小批量梯度下降法对迁移学习模型进行误差传播及参数更新；在该过程中，分类损失只在源域样本上进行计算；不断重复该过程对迁移学习模型的参数进行迭代更新，直至满足模型的收敛条件。
CN202010369427.4A 2020-04-30 2020-04-30 基于新型迁移学习模型的脑-肌电智能全肢体康复方法 Active CN111544856B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010369427.4A CN111544856B (zh) 2020-04-30 2020-04-30 基于新型迁移学习模型的脑-肌电智能全肢体康复方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010369427.4A CN111544856B (zh) 2020-04-30 2020-04-30 基于新型迁移学习模型的脑-肌电智能全肢体康复方法

Publications (2)

Publication Number Publication Date
CN111544856A true CN111544856A (zh) 2020-08-18
CN111544856B CN111544856B (zh) 2021-05-25

Family

ID=71998260

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010369427.4A Active CN111544856B (zh) 2020-04-30 2020-04-30 基于新型迁移学习模型的脑-肌电智能全肢体康复方法

Country Status (1)

Country Link
CN (1) CN111544856B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112043473A (zh) * 2020-09-01 2020-12-08 西安交通大学 智能假肢脑-肌电融合感知的并行嵌套与自主择优分类器
CN113408397A (zh) * 2021-06-16 2021-09-17 西安电子科技大学 领域自适应的跨受试者运动想象脑电信号识别系统及方法
CN113655884A (zh) * 2021-08-17 2021-11-16 河北师范大学 设备控制方法、终端及系统
CN113780169A (zh) * 2021-09-10 2021-12-10 山东建筑大学 基于脑机接口的黎曼空间脑电信号分类方法及系统
WO2022042122A1 (zh) * 2020-08-26 2022-03-03 腾讯科技（深圳）有限公司 脑电信号的分类方法、分类模型的训练方法、装置及介质
CN114343673A (zh) * 2021-11-29 2022-04-15 北京机械设备研究所 跨被试的运动想象脑电信号处理方法、介质、设备
CN114512239A (zh) * 2022-02-25 2022-05-17 国家康复辅具研究中心 基于迁移学习的脑卒中风险预测方法及系统
CN114548165A (zh) * 2022-02-18 2022-05-27 中国科学技术大学 一种可跨用户的肌电模式分类方法
CN114847973A (zh) * 2022-03-21 2022-08-05 同济大学 一种基于脑机接口中的少样本识别方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107958213A (zh) * 2017-11-20 2018-04-24 北京工业大学 一种基于脑机接口辅助康复医疗的共空间模式与深度学习方法
US20190107888A1 (en) * 2017-10-06 2019-04-11 Holland Bloorview Kids Rehabilitation Hospital Brain-computer interface platform and process for classification of covert speech
CN109620223A (zh) * 2018-12-07 2019-04-16 北京工业大学 一种脑卒中康复系统脑机接口关键技术方法
CN110851783A (zh) * 2019-11-12 2020-02-28 华中科技大学 一种用于脑机接口校准的异构标签空间迁移学习方法
CN111046731A (zh) * 2019-11-11 2020-04-21 中国科学院计算技术研究所 基于表面肌电信号进行手势识别的迁移学习方法和识别方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190107888A1 (en) * 2017-10-06 2019-04-11 Holland Bloorview Kids Rehabilitation Hospital Brain-computer interface platform and process for classification of covert speech
CN107958213A (zh) * 2017-11-20 2018-04-24 北京工业大学 一种基于脑机接口辅助康复医疗的共空间模式与深度学习方法
CN109620223A (zh) * 2018-12-07 2019-04-16 北京工业大学 一种脑卒中康复系统脑机接口关键技术方法
CN111046731A (zh) * 2019-11-11 2020-04-21 中国科学院计算技术研究所 基于表面肌电信号进行手势识别的迁移学习方法和识别方法
CN110851783A (zh) * 2019-11-12 2020-02-28 华中科技大学 一种用于脑机接口校准的异构标签空间迁移学习方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
刘亚林: "基于迁移学习的脑磁图解码研究", 《华南理工大学硕士学位论文》 *

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4101371A4 (en) * 2020-08-26 2023-08-02 Tencent Technology (Shenzhen) Company Limited METHOD AND DEVICE FOR CLASSIFICATION OF ELECTROENCEPHALOGRAM SIGNALS, METHOD AND DEVICE FOR TRAINING A MODEL FOR CLASSIFICATION OF ELECTROENCEPHALOGRAM SIGNALS, AND MEDIUM
WO2022042122A1 (zh) * 2020-08-26 2022-03-03 腾讯科技（深圳）有限公司 脑电信号的分类方法、分类模型的训练方法、装置及介质
CN112043473B (zh) * 2020-09-01 2021-05-28 西安交通大学 智能假肢脑-肌电融合感知的并行嵌套与自主择优分类器
CN112043473A (zh) * 2020-09-01 2020-12-08 西安交通大学 智能假肢脑-肌电融合感知的并行嵌套与自主择优分类器
CN113408397A (zh) * 2021-06-16 2021-09-17 西安电子科技大学 领域自适应的跨受试者运动想象脑电信号识别系统及方法
CN113655884A (zh) * 2021-08-17 2021-11-16 河北师范大学 设备控制方法、终端及系统
CN113780169A (zh) * 2021-09-10 2021-12-10 山东建筑大学 基于脑机接口的黎曼空间脑电信号分类方法及系统
CN114343673A (zh) * 2021-11-29 2022-04-15 北京机械设备研究所 跨被试的运动想象脑电信号处理方法、介质、设备
CN114343673B (zh) * 2021-11-29 2024-03-29 北京机械设备研究所 跨被试的运动想象脑电信号处理方法、介质、设备
CN114548165A (zh) * 2022-02-18 2022-05-27 中国科学技术大学 一种可跨用户的肌电模式分类方法
CN114548165B (zh) * 2022-02-18 2024-04-02 中国科学技术大学 一种可跨用户的肌电模式分类方法
CN114512239B (zh) * 2022-02-25 2022-11-11 国家康复辅具研究中心 基于迁移学习的脑卒中风险预测方法及系统
CN114512239A (zh) * 2022-02-25 2022-05-17 国家康复辅具研究中心 基于迁移学习的脑卒中风险预测方法及系统
CN114847973A (zh) * 2022-03-21 2022-08-05 同济大学 一种基于脑机接口中的少样本识别方法

Also Published As

Publication number Publication date
CN111544856B (zh) 2021-05-25

Similar Documents

Publication Publication Date Title
CN111544856B (zh) 基于新型迁移学习模型的脑-肌电智能全肢体康复方法
CN111584029B (zh) 基于判别式对抗网络的脑电自适应模型及在康复中的应用
CN111990989A (zh) 一种基于生成对抗及卷积循环网络的心电信号识别方法
Jia et al. Classification of electromyographic hand gesture signals using modified fuzzy C-means clustering and two-step machine learning approach
CN108319928B (zh) 一种基于多目标微粒群算法优化的深度学习方法及系统
Abbas et al. DeepMI: Deep learning for multiclass motor imagery classification
CN110619322A (zh) 一种基于多流态卷积循环神经网络的多导联心电异常信号识别方法及系统
CN111544855B (zh) 基于蒸馏学习和深度学习纯意念控制智能康复方法及应用
CN112043473B (zh) 智能假肢脑-肌电融合感知的并行嵌套与自主择优分类器
CN112370066A (zh) 一种基于生成对抗网络的脑卒中康复系统脑机接口方法
WO2022027822A1 (zh) 一种基于肌电信号的智能手势动作生成方法
CN111544256A (zh) 基于图卷积和迁移学习的脑控智能全肢体康复方法
CN113111831A (zh) 一种基于多模态信息融合的手势识别技术
KR20210085867A (ko) 사용자의 혈압을 추정하기 위한 장치 및 방법
Li et al. EEG signal classification method based on feature priority analysis and CNN
Kirisci et al. An ANFIS perspective for the diagnosis of type II diabetes
Buyrukoğlu et al. Machine learning based early prediction of type 2 diabetes: A new hybrid feature selection approach using correlation matrix with heatmap and SFS
CN115177273B (zh) 基于多头再注意力机制的运动意图识别方法及系统
Paul et al. Deep learning and its importance for early signature of neuronal disorders
Li et al. Arrhythmia classification using biased dropout and morphology-rhythm feature with incremental broad learning
Li et al. Multi-view fusion network-based gesture recognition using sEMG data
CN115024735B (zh) 一种基于运动意图识别模型的脑卒中患者康复方法及系统
Wang et al. An adaptive control approach for intelligent wheelchair based on BCI combining with QoO
Wang et al. Multi-source integration based transfer learning method for cross-user semg gesture recognition
CN114983447A (zh) 一种基于ai技术的人体动作识别、分析与储存的可穿戴装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant