CN111584029B - 基于判别式对抗网络的脑电自适应模型及在康复中的应用 - Google Patents

基于判别式对抗网络的脑电自适应模型及在康复中的应用 Download PDF

Info

Publication number
CN111584029B
CN111584029B CN202010364697.6A CN202010364697A CN111584029B CN 111584029 B CN111584029 B CN 111584029B CN 202010364697 A CN202010364697 A CN 202010364697A CN 111584029 B CN111584029 B CN 111584029B
Authority
CN
China
Prior art keywords
layer
electroencephalogram
domain
adaptive model
network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010364697.6A
Other languages
English (en)
Other versions
CN111584029A (zh
Inventor
高忠科
洪晓林
陈培垠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University
Original Assignee
Tianjin University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University filed Critical Tianjin University
Priority to CN202010364697.6A priority Critical patent/CN111584029B/zh
Publication of CN111584029A publication Critical patent/CN111584029A/zh
Application granted granted Critical
Publication of CN111584029B publication Critical patent/CN111584029B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/30—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to physical therapies or activities, e.g. physiotherapy, acupressure or exercising
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02—Preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Data Mining & Analysis (AREA)
  • Biophysics (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Pathology (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Psychiatry (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • General Business, Economics & Management (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Psychology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Physical Education & Sports Medicine (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

一种基于判别式对抗网络的脑电自适应模型及在康复中的应用，包括：构建脑电信号数据的源域和目标域作为输入样本；构建脑电自适应模型的由特征提取器和分类器构成的主干网络；构建脑电自适应模型的域判别器作为分支网络；构建脑电自适应模型的损失函数；利用源域和目标域的脑电信号数据对脑电自适应模型进行训练。通过康复医疗设备中的脑电采集装置获取的被试者脑电信号数据，采用脑电自适应模型，对脑电信号类别进行预测，实时监测被试者运动意图，并将该运动意图转换为康复医疗设备对应的动作，通过康复医疗设备中外骨骼康复器械协助被试者肢体完成对应的动作。本发明能够应用于康复医疗系统实现对人体运动意图的辨识。

Description

基于判别式对抗网络的脑电自适应模型及在康复中的应用
技术领域
本发明涉及一种脑电自适应模型。特别是涉及一种基于判别式对抗网络的脑电自适应模型及在康复中的应用。
背景技术
脑卒中是一种急性脑血管疾病，其特点是发病率高，致残率高和死亡率高，已经成为威胁人类身体健康的第二大杀手。由于脑卒中患者神经通路受损，无法知晓偏瘫部位肌肉的收缩状况，使得患者难以在人工物理疗法的帮助下自主地调整肌肉的收缩状况，只能被动地接受治疗。脑机接口(brain-computer interface,BCI)是一种通过采集脑电信号，实现大脑与外部设备直接交互的手段和方式。其中，基于运动想象的脑机接口通过自发性的想象肢体运动来控制外接设备的运动，是一种新型的人机交互方式，并且有广阔的市场前景。例如，通过运动想象脑机接口可以帮助肢体不便的患者进行自主式康复训练，并控制辅助设备实现自理，提升生活质量。表面肌电反馈刺激是一种将生物反馈刺激技术和电刺激方法相结合的新型治疗范式，该范式将患者有意识的肌肉收缩引发的肌电信号转化为放大了的反馈电流，再刺激肌肉收缩，使瘫痪肢体运动幅度加大，从而使中枢神经系统获得有效的本体感觉反馈，完成闭环刺激模式和随意运动。然而，由于偏瘫患者存在肢体运动能力障碍，表面肌电比正常人微弱得多，单纯通过表面肌电进行反馈容易出现误触发、误判断等问题。另一方面，偏瘫患者的大脑并未完全受损，仍旧可正常产生运动意识。因此，基于运动想象与表面肌电相结合进行运动康复治疗是一种更加理想的治疗方案。然而，脑-肌电康复治疗系统的性能很大程度受脑电信号解码准确率的影响。由于运动想象脑电信号个体差异性大，传统方法常针对每个被试的脑电信号单独训练一个模型，无法适用于未经过训练的受试者，导致了在实际使用脑电康复治疗系统前，每个被试都必须经过训练。由于训练过程繁琐复杂，单个被试训练样本数量少，系统的性能会进一步下降。
发明内容
本发明所要解决的技术问题是，提供一种有助于解决运动想象脑电信号被试个体差异大，样本量少或者无标签导致解码困难问题的基于判别式对抗网络的脑电自适应模型及在康复中的应用。
本发明所采用的技术方案是：一种基于判别式对抗网络的脑电自适应模型，包括如下步骤：
1)构建脑电信号数据的源域和目标域作为输入样本；
2)构建脑电自适应模型的由特征提取器和分类器构成的主干网络；
3)构建脑电自适应模型的域判别器作为分支网络；
4)构建脑电自适应模型的损失函数；
5)利用源域和目标域的脑电信号数据对脑电自适应模型进行训练。
步骤1)是将新被试者的脑电信号数据作为自适应学习的目标域，已有被试者的脑电信号数据作为自适应学习的源域。
步骤2)是根据脑电信号数据的时间及空间特性，构建一个7层的特征提取器和分类器构成主干网络，包括：第1层为时间卷积层，第2层为空间卷积层，第3层为批量归一化层，第4层为最大池化层，第5层为丢弃层，第6层为特征融合层，第7层为输出层，前5层构成特征提取器，后两层构成分类器。
主干网络各层参数设置如下：
第一层为时间卷积层，用于沿着时间维对数据长度为L，通道数为N的脑电信号进行时间滤波，提取不同频段上的特征信息；该层使用128种滤波器，每种滤波器与输入进行卷积操作后得到不同特征信息的映射，形成128个特征图；该时间卷积层卷积核大小设置为25×1，步长设置为1，则输出的每个特征图大小为(L-25+1)×N；
第二层为空间卷积层，用于沿着通道维对通道数为N的脑电信号进行空间滤波，融合多个通道的特征信息产生更具有辨识性的特征信息；该层使用256种滤波器，每种滤波器与输入进行卷积操作后得到不同特征信息的映射，形成256个特征图；该层卷积核大小设置为1×N，步长设置为1，则输出的每个特征图大小为(L-25+1)×1；
第三层为批量归一化层，用于对第二层网络的输出进行批量归一化处理，使第二层网络的输出数据分布接近正态分布，加速模型收敛，提高网络的泛化性能；
第四层为池化层，用于提高特征的尺度不变性，降低特征维度，简化后续计算，同时可达到保留与脑电分类任务最相关的特征，剔除冗余特征的作用；该层池化的大小为10×1，采用最大值池化；
第五层为丢弃层，用于有效控制过拟合问题，在训练网络时，暂时丢弃一部分神经元；设定神经元的保留概率为p，则神经元被丢弃的概率为1-p，且丢弃的神经元不参与前向传播计算与参数更新；
第六层为特征融合层，用于针对第五层输出的所有特征信息进行融合；该层使用c种滤波器，其中c为脑电分类任务中的类别数，每种滤波器的卷积核尺寸与第五层中每个特征图的尺寸相同；
第七层为输出层，包括c个神经元，该层经过SoftMax计算后输出每一类信号的预测概率，选取其中概率值最大的类别作为脑电自适应模型对于当前样本的判定结果；所述SoftMax的计算公式如下：
Figure BDA0002476168100000021
其中，
Figure BDA0002476168100000022
为每一类的预测概率，fi为第六层中第i个神经元的输出；
步骤3)所述的域判别器包括三层：
第一层为梯度反转层，在前向传播过程中对输入进行恒等变换，在反向传播过程中梯度方向自动取反，计算公式如下：
R(x)＝x
Figure BDA0002476168100000023
Figure BDA0002476168100000031
其中，x表示输入梯度反转层的特征，R(x)表示梯度反转层的输出，I表示单位矩阵，λ表示梯度反转系数，p表示当前训练次数与总训练次数的比率；
第二层为融合卷积层，用于针对主干网络的第五层输出的所有特征信息进行融合；该层使用2种滤波器，每种滤波器的卷积核大小尺寸与主干网络的第五层中每个特征图的尺寸相同；
第三层为输出层，包括2个神经元，该层经过SoftMax操作后输出属于源域信号与目标域信号的预测概率，选取其中概率值最大的类别作为域判别器对于输入的判定结果；SoftMax的计算公式如下：
Figure BDA0002476168100000032
其中，
Figure BDA0002476168100000033
为每一类的预测概率，vi为域判别器第一层中第i个神经元的输出。
步骤4)包括：设脑电自适应模型的损失函数H，损失函数H包含两部分，分别是主干网络的分类损失函数Hce和域判别器的判别损失函数Hd,计算公式如下：
H＝Hce-μHd
Figure BDA0002476168100000034
Figure BDA0002476168100000035
其中，μ为平衡分类损失和判别损失的超参数，c为脑电分类任务中的类别数，pi为源域样本的真实标签，
Figure BDA0002476168100000037
为主干网络对源域样本的预测标签，yi为源域样本和目标域样本真实的域标签，
Figure BDA0002476168100000036
为域判别器对源域样本和目标域样本预测的域标签；当pi＝0时，则表示输入样本属于源域，当pi＝1时，则表示输入样本属于目标域。
步骤5)包括：设定总训练次数为M，在训练脑电自适应模型的主干网络时，输入源域的脑电信号数据进入特征提取器进行特征提取，形成源域特征，并将源域特征送入分类器进行脑电分类，同时利用主干网络的分类损失函数计算出分类损失；在训练脑电自适应模型的域判别器时，输入目标域的脑电信号进入特征提取器进行特征提取，形成目标域特征，并将源域特征和目标域特征输入域判别器进行二分类，同时利用域判别器的判别损失函数的计算公式计算出判别损失；最终，利用脑电自适应模型的损失函数的计算公式计算出整个模型的损失误差，并通过反向传播算法与小批量梯度下降法进行误差传播及参数更新；不断重复该过程对脑电自适应模型的参数进行迭代更新，直至达到总训练次数。
一种基于判别式对抗网络的脑电自适应模型在康复中的应用，为了辨识人体运动意图，以新被试者脑电数据为目标域，已有的被试者脑电数据为源域，通过小批量梯度下降法对脑电自适应模型的参数进行迭代更新，更新结束后，利用更新的脑电自适应模型实现对脑电信号类别的预测，达到运动意图辨识的目的。
一种基于判别式对抗网络的脑电自适应模型在康复中的应用，通过康复医疗设备中的脑电采集装置获取的被试者脑电信号数据，采用脑电自适应模型，对脑电信号类别进行预测，实时监测被试者运动意图，并将该运动意图转换为康复医疗设备对应的动作，通过康复医疗设备中外骨骼康复器械协助被试者肢体完成对应的动作。
本发明的基于判别式对抗网络的脑电自适应模型及在康复中的应用，使用域判别对抗学习的迁移学习方法，利用其他被试的脑电数据，有助于解决运动想象脑电信号被试个体差异大，样本量少或者无标签导致的解码困难问题。有望与脑电康复治疗系统相结合，缓解了单个被试脑电信号训练数据量小的难题，同时提升了新被试的模型准确性，且对不同用户有较好的适用性能，并可应用于康复医疗系统实现对人体运动意图的辨识。
附图说明
图1是本发明中脑电自适应模型的构成示意图。
具体实施方式
下面结合实施例和附图对本发明的基于判别式对抗网络的脑电自适应模型及在康复中的应用做出详细说明。
本发明的基于判别式对抗网络的脑电自适应模型及在康复中的应用，使用域判别对抗学习的迁移学习方法，利用已有被试的脑电数据，解决了被试独立训练数据量小，深度学习参数多导致容易过拟合的问题，同时提升了新被试的模型准确性，并可应用于康复医疗系统实现对人体运动意图的辨识。下面以运动意图辨识为研究实例：9名健康被试在运动想象下的脑电数据集，每个被试者的脑电信号均为22个电极的多通道脑电信号，均采用10-20国际标准放置，采样频率为250Hz。
本发明的基于判别式对抗网络的脑电自适应模型，包括如下步骤：
1)构建脑电信号数据的源域和目标域作为输入样本；具体是将新被试者的脑电信号数据作为自适应学习的目标域，已有被试者的脑电信号数据作为自适应学习的源域。
2)构建脑电自适应模型的由特征提取器和分类器构成的主干网络；
根据脑电信号数据的时间及空间特性，构建一个7层的特征提取器和分类器构成主干网络，如图1所示，包括：第1层为时间卷积层，第2层为空间卷积层，第3层为批量归一化层，第4层为最大池化层，第5层为丢弃层，第6层为特征融合层，第7层为输出层，前5层构成特征提取器，后两层构成分类器。所述主干网络各层参数设置如下：
第一层为时间卷积层，用于沿着时间维对数据长度为L，通道数为N的脑电信号进行时间滤波，提取不同频段上的特征信息；该层使用128种滤波器，每种滤波器与输入进行卷积操作后得到不同特征信息的映射，形成128个特征图；该时间卷积层卷积核大小设置为25×1，步长设置为1，则输出的每个特征图大小为(L-25+1)×N；
第二层为空间卷积层，用于沿着通道维对通道数为N的脑电信号进行空间滤波，融合多个通道的特征信息产生更具有辨识性的特征信息；该层使用256种滤波器，每种滤波器与输入进行卷积操作后得到不同特征信息的映射，形成256个特征图；该层卷积核大小设置为1×N，步长设置为1，则输出的每个特征图大小为(L-25+1)×1；
第三层为批量归一化层，用于对第二层网络的输出进行批量归一化处理，使第二层网络的输出数据分布接近正态分布，加速模型收敛，提高网络的泛化性能；
第四层为池化层，用于提高特征的尺度不变性，降低特征维度，简化后续计算，同时可达到保留与脑电分类任务最相关的特征，剔除冗余特征的作用；该层池化的大小为10*×1，采用最大值池化；
第五层为丢弃层，用于有效控制过拟合问题，在训练网络时，暂时丢弃一部分神经元；设定神经元的保留概率为p，则神经元被丢弃的概率为1-p，且丢弃的神经元不参与前向传播计算与参数更新；
第六层为特征融合层，用于针对第五层输出的所有特征信息进行融合；该层使用c种滤波器，其中c为脑电分类任务中的类别数，每种滤波器的卷积核尺寸与第五层中每个特征图的尺寸相同；
第七层为输出层，包括c个神经元，该层经过SoftMax计算后输出每一类信号的预测概率，选取其中概率值最大的类别作为脑电自适应模型对于当前样本的判定结果；所述SoftMax的计算公式如下：
Figure BDA0002476168100000051
其中，
Figure BDA0002476168100000052
为每一类的预测概率，fi为第六层中第i个神经元的输出；
3)构建脑电自适应模型的域判别器作为分支网络；在训练主干网络的同时，结合判别式对抗网络的自适应分支，使得目标域被试的脑电信号特征和源域的被试的脑电信号特征达到不可区分的平衡。所述的域判别器包括三层：
第一层为梯度反转层，在前向传播过程中对输入进行恒等变换，在反向传播过程中梯度方向自动取反，计算公式如下：
R(x)＝x
Figure BDA0002476168100000053
Figure BDA0002476168100000054
其中，x表示输入梯度反转层的特征，R(x)表示梯度反转层的输出，I表示单位矩阵，λ表示梯度反转系数，p表示当前训练次数与总训练次数的比率；
第二层为融合卷积层，用于针对主干网络的第五层输出的所有特征信息进行融合；该层使用2种滤波器，每种滤波器的卷积核大小尺寸与主干网络的第五层中每个特征图的尺寸相同；
第三层为输出层，包括2个神经元，该层经过SoftMax操作后输出属于源域信号与目标域信号的预测概率，选取其中概率值最大的类别作为域判别器对于输入的判定结果；SoftMax的计算公式如下：
Figure BDA0002476168100000055
其中，
Figure BDA0002476168100000056
为每一类的预测概率，vi为域判别器第一层中第i个神经元的输出。
4)构建脑电自适应模型的损失函数；
为进一步优化判别网络分支，约束对抗损失函数，可进一步缩小目标域样本和源域样本的脑电信号特征的分布距离，从而提升目标域样本的解码准确率。设脑电自适应模型的损失函数H，损失函数H包含两部分，分别是主干网络的分类损失函数Hce和域判别器的判别损失函数Hd,计算公式如下：
H＝Hce-μHd
Figure BDA0002476168100000061
Figure BDA0002476168100000062
其中，μ为平衡分类损失和判别损失的超参数，c为脑电分类任务中的类别数，pi为源域样本的真实标签，
Figure BDA0002476168100000063
为主干网络对源域样本的预测标签，yi为源域样本和目标域样本真实的域标签，
Figure BDA0002476168100000064
为域判别器对源域样本和目标域样本预测的域标签；当pi＝0时，则表示输入样本属于源域，当pi＝1时，则表示输入样本属于目标域。
5)利用源域和目标域的脑电信号数据对脑电自适应模型进行训练。
利用源域和目标域的脑电信号数据对脑电自适应模型进行训练，设定总训练次数为M，在训练脑电自适应模型的主干网络时，输入源域的脑电信号数据进入特征提取器进行特征提取，形成源域特征，并将源域特征送入分类器进行脑电分类，同时利用主干网络的分类损失函数计算出分类损失；在训练脑电自适应模型的域判别器时，输入目标域的脑电信号进入特征提取器进行特征提取，形成目标域特征，并将源域特征和目标域特征输入域判别器进行二分类，同时利用域判别器的判别损失函数的计算公式计算出判别损失；最终，利用脑电自适应模型的损失函数的计算公式计算出整个模型的损失误差，并通过反向传播算法与小批量梯度下降法进行误差传播及参数更新；不断重复该过程对脑电自适应模型的参数进行迭代更新，直至达到总训练次数。
本发明的基于判别式对抗网络的脑电自适应模型在康复中的应用，是为了辨识人体运动意图，以新被试者脑电数据为目标域，已有的被试者脑电数据为源域，通过小批量梯度下降法对脑电自适应模型的参数进行迭代更新，更新结束后，利用更新的脑电自适应模型实现对脑电信号类别的预测，达到运动意图辨识的目的。
本发明的基于判别式对抗网络的脑电自适应模型在康复中的应用，具体是通过康复医疗设备中的脑电采集装置获取的被试者脑电信号数据，采用脑电自适应模型，对脑电信号类别进行预测，实时监测被试者运动意图，并将该运动意图转换为康复医疗设备对应的动作，通过康复医疗设备中外骨骼康复器械协助被试者肢体完成对应的动作，基于长时间的训练，有望于患者实现自主式康复训练，逐渐恢复运动机能。
本发明所述的康复医疗设备，可采用目前已有的产品：无线脑电肌电系统eegomylab，或无线脑电肌电系统Eegosports88，或eCon无线脑电采集设备+eConHand手功能康复设备，或四肢联动智能反馈训练系统AL450。
本发明的基于判别式对抗网络的脑电自适应模型在康复中的应用，还可以是使用域判别对抗学习的迁移学习方法，利用其他已有被试的脑电数据，解决了新被试训练数据量小，深度学习参数多导致容易过拟合的问题，同时提升了新被试的模型准确性，并可应用于康复医疗系统实现对人体运动意图的辨识。下面以运动意图辨识为研究实例：9名健康被试者在运动想象下的脑电数据集，每个被试者的脑电信号均为22个电极的多通道脑电信号，均采用10-20国际标准放置，采样频率为250Hz，总共576个session。对采集到的原始脑电数据进行预处理后可得到去噪处理后的脑电数据。

Claims (5)

1.一种基于判别式对抗网络的脑电自适应模型的构建方法，其特征在于，包括如下步骤：
1)构建脑电信号数据的源域和目标域作为输入样本；
具体是将新被试者的脑电信号数据作为自适应学习的目标域，已有被试者的脑电信号数据作为自适应学习的源域；
2)构建脑电自适应模型的由特征提取器和分类器构成的主干网络；主干网络各层参数设置如下：
第一层为时间卷积层，用于沿着时间维对数据长度为L，通道数为N的脑电信号进行时间滤波，提取不同频段上的特征信息；该层使用128种滤波器，每种滤波器与输入进行卷积操作后得到不同特征信息的映射，形成128个特征图；该时间卷积层卷积核大小设置为25×1，步长设置为1，则输出的每个特征图大小为(L-25+1)×N；
第二层为空间卷积层，用于沿着通道维对通道数为N的脑电信号进行空间滤波，融合多个通道的特征信息产生更具有辨识性的特征信息；该层使用256种滤波器，每种滤波器与输入进行卷积操作后得到不同特征信息的映射，形成256个特征图；该层卷积核大小设置为1×N，步长设置为1，则输出的每个特征图大小为(L-25+1)×1；
第三层为批量归一化层，用于对第二层网络的输出进行批量归一化处理，使第二层网络的输出数据分布接近正态分布，加速模型收敛，提高网络的泛化性能；
第四层为池化层，用于提高特征的尺度不变性，降低特征维度，简化后续计算，同时可达到保留与脑电分类任务最相关的特征，剔除冗余特征的作用；该层池化的大小为10×1，采用最大值池化；
第五层为丢弃层，用于有效控制过拟合问题，在训练网络时，暂时丢弃一部分神经元；设定神经元的保留概率为p，则神经元被丢弃的概率为1-p，且丢弃的神经元不参与前向传播计算与参数更新；
第六层为特征融合层，用于针对第五层输出的所有特征信息进行融合；该层使用c种滤波器，其中c为脑电分类任务中的类别数，每种滤波器的卷积核尺寸与第五层中每个特征图的尺寸相同；
第七层为输出层，包括c个神经元，该层经过SoftMax计算后输出每一类信号的预测概率，选取其中概率值最大的类别作为脑电自适应模型对于当前样本的判定结果；所述SoftMax的计算公式如下：
Figure FDA0004102384510000011
其中，
Figure FDA0004102384510000012
为每一类的预测概率，fi为第六层中第i个神经元的输出；
3)构建脑电自适应模型的域判别器作为分支网络；所述的域判别器包括三层：
第一层为梯度反转层，在前向传播过程中对输入进行恒等变换，在反向传播过程中梯度方向自动取反，计算公式如下：
R(x)＝x
Figure FDA0004102384510000021
Figure FDA0004102384510000022
其中，x表示输入梯度反转层的特征，R(x)表示梯度反转层的输出，I表示单位矩阵，λ表示梯度反转系数，p表示当前训练次数与总训练次数的比率；
第二层为融合卷积层，用于针对主干网络的第五层输出的所有特征信息进行融合；该层使用2种滤波器，每种滤波器的卷积核大小尺寸与主干网络的第五层中每个特征图的尺寸相同；
第三层为输出层，包括2个神经元，该层经过SoftMax操作后输出属于源域信号与目标域信号的预测概率，选取其中概率值最大的类别作为域判别器对于输入的判定结果；SoftMax的计算公式如下：
Figure FDA0004102384510000023
其中，
Figure FDA0004102384510000024
为每一类的预测概率，vi为域判别器第一层中第i个神经元的输出；
4)构建脑电自适应模型的损失函数；
5)利用源域和目标域的脑电信号数据对脑电自适应模型进行训练；包括：
设定总训练次数为M，在训练脑电自适应模型的主干网络时，输入源域的脑电信号数据进入特征提取器进行特征提取，形成源域特征，并将源域特征送入分类器进行脑电分类，同时利用主干网络的分类损失函数计算出分类损失；在训练脑电自适应模型的域判别器时，输入目标域的脑电信号进入特征提取器进行特征提取，形成目标域特征，并将源域特征和目标域特征输入域判别器进行二分类，同时利用域判别器的判别损失函数的计算公式计算出判别损失；最终，利用脑电自适应模型的损失函数的计算公式计算出整个模型的损失误差，并通过反向传播算法与小批量梯度下降法进行误差传播及参数更新；不断重复该过程对脑电自适应模型的参数进行迭代更新，直至达到总训练次数。
2.根据权利要求1所述的基于判别式对抗网络的脑电自适应模型的构建方法，其特征在于，步骤2)是根据脑电信号数据的时间及空间特性，构建一个7层的特征提取器和分类器构成主干网络，包括：第1层为时间卷积层，第2层为空间卷积层，第3层为批量归一化层，第4层为最大池化层，第5层为丢弃层，第6层为特征融合层，第7层为输出层，前5层构成特征提取器，后两层构成分类器。
3.根据权利要求1所述的基于判别式对抗网络的脑电自适应模型的构建方法，其特征在于，步骤4)包括：设脑电自适应模型的损失函数H，损失函数H包含两部分，分别是主干网络的分类损失函数Hce和域判别器的判别损失函数Hd,计算公式如下：
H＝Hce-μHd
Figure FDA0004102384510000025
Figure FDA0004102384510000031
其中，μ为平衡分类损失和判别损失的超参数，c为脑电分类任务中的类别数，pi为源域样本的真实标签，
Figure FDA0004102384510000032
为主干网络对源域样本的预测标签，yi为源域样本和目标域样本真实的域标签，
Figure FDA0004102384510000033
为域判别器对源域样本和目标域样本预测的域标签；当pi＝0时，则表示输入样本属于源域，当pi＝1时，则表示输入样本属于目标域。
4.一种采用权利要求1所述的基于判别式对抗网络的脑电自适应模型的构建方法构建的模型在康复中的应用方法，其特征在于，为了辨识人体运动意图，以新被试者脑电数据为目标域，已有的被试者脑电数据为源域，通过小批量梯度下降法对脑电自适应模型的参数进行迭代更新，更新结束后，利用更新的脑电自适应模型实现对脑电信号类别的预测，达到运动意图辨识的目的。
5.一种采用权利要求1所述的基于判别式对抗网络的脑电自适应模型的构建方法构建的模型在康复中的应用方法，其特征在于，通过康复医疗设备中的脑电采集装置获取的被试者脑电信号数据，采用脑电自适应模型，对脑电信号类别进行预测，实时监测被试者运动意图，并将该运动意图转换为康复医疗设备对应的动作，通过康复医疗设备中外骨骼康复器械协助被试者肢体完成对应的动作。
CN202010364697.6A 2020-04-30 2020-04-30 基于判别式对抗网络的脑电自适应模型及在康复中的应用 Active CN111584029B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010364697.6A CN111584029B (zh) 2020-04-30 2020-04-30 基于判别式对抗网络的脑电自适应模型及在康复中的应用

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010364697.6A CN111584029B (zh) 2020-04-30 2020-04-30 基于判别式对抗网络的脑电自适应模型及在康复中的应用

Publications (2)

Publication Number Publication Date
CN111584029A CN111584029A (zh) 2020-08-25
CN111584029B true CN111584029B (zh) 2023-04-18

Family

ID=72127616

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010364697.6A Active CN111584029B (zh) 2020-04-30 2020-04-30 基于判别式对抗网络的脑电自适应模型及在康复中的应用

Country Status (1)

Country Link
CN (1) CN111584029B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111728609B (zh) * 2020-08-26 2020-11-17 腾讯科技（深圳）有限公司 脑电信号的分类方法、分类模型的训练方法、装置及介质
CN114662524B (zh) * 2020-12-22 2024-05-31 上海零唯一思科技有限公司 基于脑电信号的即插即用式域适应方法
CN113408397B (zh) * 2021-06-16 2023-03-24 西安电子科技大学 领域自适应的跨受试者运动想象脑电信号识别系统及方法
CN114036980A (zh) * 2021-10-29 2022-02-11 暨南大学 基于域对抗网络的跨用户eeg信号融合识别方法
CN114648044B (zh) * 2022-03-18 2023-04-07 江苏迪普勒信息科技有限公司 基于eemd和深度域对抗网络的振动信号诊断分析方法
CN117407698B (zh) * 2023-12-14 2024-03-08 青岛明思为科技有限公司 一种混合距离引导的领域自适应故障诊断方法
CN117763399B (zh) * 2024-02-21 2024-05-14 电子科技大学 一种自适应变长信号输入的神经网络分类方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1345161A2 (en) * 2002-03-15 2003-09-17 Microsoft Corporation System and method facilitating pattern recognition
WO2019179100A1 (zh) * 2018-03-20 2019-09-26 苏州大学张家港工业技术研究院 基于生成式对抗网络技术的医疗文本生成方法
CN110534180A (zh) * 2019-08-20 2019-12-03 西安电子科技大学 深度学习人机互适应运动想象脑机接口系统和训练方法
CN110750665A (zh) * 2019-10-12 2020-02-04 南京邮电大学 基于熵最小化的开集域适应方法及系统
CN110993056A (zh) * 2019-10-29 2020-04-10 浙江迈联医疗科技有限公司 基于镜像神经元和脑机接口的混合式主动康复方法、装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1345161A2 (en) * 2002-03-15 2003-09-17 Microsoft Corporation System and method facilitating pattern recognition
WO2019179100A1 (zh) * 2018-03-20 2019-09-26 苏州大学张家港工业技术研究院 基于生成式对抗网络技术的医疗文本生成方法
CN110534180A (zh) * 2019-08-20 2019-12-03 西安电子科技大学 深度学习人机互适应运动想象脑机接口系统和训练方法
CN110750665A (zh) * 2019-10-12 2020-02-04 南京邮电大学 基于熵最小化的开集域适应方法及系统
CN110993056A (zh) * 2019-10-29 2020-04-10 浙江迈联医疗科技有限公司 基于镜像神经元和脑机接口的混合式主动康复方法、装置

Also Published As

Publication number Publication date
CN111584029A (zh) 2020-08-25

Similar Documents

Publication Publication Date Title
CN111584029B (zh) 基于判别式对抗网络的脑电自适应模型及在康复中的应用
EP3933551A1 (en) Motor imagery electroencephalogram signal processing method, device, and storage medium
CN111544856B (zh) 基于新型迁移学习模型的脑-肌电智能全肢体康复方法
CN110969108B (zh) 一种基于自主运动想象脑电的肢体动作识别方法
CN113288183B (zh) 一种基于面颈部表面肌电的无声语音识别方法
CN111584030A (zh) 基于深度学习和复杂网络的意念控制智能康复系统及应用
CN112043473B (zh) 智能假肢脑-肌电融合感知的并行嵌套与自主择优分类器
CN113239744B (zh) 基于深度学习的脑电-肌电信号融合识别方法
CN111544855B (zh) 基于蒸馏学习和深度学习纯意念控制智能康复方法及应用
CN111544256A (zh) 基于图卷积和迁移学习的脑控智能全肢体康复方法
Wang et al. An approach of one-vs-rest filter bank common spatial pattern and spiking neural networks for multiple motor imagery decoding
Li et al. EEG signal classification method based on feature priority analysis and CNN
CN109299647B (zh) 一种面向车辆控制的多任务运动想象脑电特征提取及模式识别方法
CN112488002B (zh) 基于n170的情绪识别方法及识别系统
CN113180692A (zh) 一种基于特征融合和注意力机制的脑电信号分类识别方法
CN111428601A (zh) 一种基于ms-cnn的p300信号识别方法、装置及存储介质
CN111584027B (zh) 融合复杂网络和图卷积的脑控康复系统运动想象识别系统
CN114145745B (zh) 基于图的多任务自监督情绪识别方法
CN114186608B (zh) 基于运动想象的混合脑机接口特征提取方法
CN115177273A (zh) 基于多头再注意力机制的运动意图识别方法及系统
CN113128384B (zh) 一种基于深度学习的脑卒中康复系统脑机接口软件关键技术方法
CN114548165A (zh) 一种可跨用户的肌电模式分类方法
CN113935380A (zh) 一种基于模板匹配的自适应运动想象脑机接口方法与系统
CN112998725A (zh) 一种基于运动观察的脑机接口技术的康复方法与系统
CN116522106A (zh) 一种基于迁移学习并行多尺度滤波器组时域卷积的运动想象脑电信号分类方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant