CN117390542A - 一种基于域泛化的跨被试运动想象脑电建模方法 - Google Patents

一种基于域泛化的跨被试运动想象脑电建模方法 Download PDF

Info

Publication number
CN117390542A
CN117390542A CN202311327838.7A CN202311327838A CN117390542A CN 117390542 A CN117390542 A CN 117390542A CN 202311327838 A CN202311327838 A CN 202311327838A CN 117390542 A CN117390542 A CN 117390542A
Authority
CN
China
Prior art keywords
data
model
domain
training
loss
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311327838.7A
Other languages
English (en)
Inventor
杨帮华
张佳杨
张永怀
夏新星
高守玮
梁晋涛
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Shaonao Sensor Technology Co ltd
Original Assignee
Shanghai Shaonao Sensor Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Shaonao Sensor Technology Co ltd filed Critical Shanghai Shaonao Sensor Technology Co ltd
Priority to CN202311327838.7A priority Critical patent/CN117390542A/zh
Publication of CN117390542A publication Critical patent/CN117390542A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/10—Pre-processing; Data cleansing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/096—Transfer learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02—Preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Dermatology (AREA)
  • Human Computer Interaction (AREA)
  • Neurosurgery (AREA)
  • Neurology (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明公开一种基于域泛化的跨被试运动想象脑电建模方法，包括以下步骤脑电数据预处理，老师模型训练，学生模型训练。本发明的技术方案基于域泛化技术对MI脑电进行分类识别，将脑电数据集分成源域和目标域，并对源域再划分成多个子域，模型训练时会计算各子域之间的差异，通过最小化差异使得模型能学习子域之间的公共不变特征，提升模型泛化能力。在训练模型时分成了两个步骤，通过对比老师模型和学生模型特征值的差异来学习源域中利于MI分类任务的特征；同时该类特征还于域间公共不变特征对比，通过扩大化二者的差异来避免特征的冗余度和重复。用源域数据中大量的历史数据进行建模，通过学习子域间公共不变特征和分类特征，提升模型的泛化能力。

Description

一种基于域泛化的跨被试运动想象脑电建模方法
技术领域
本发明涉及脑电建模方法技术领域，尤其涉及一种基于域泛化的跨被试运动想象脑电建模方法。
背景技术
脑机接口(Brain Computer Interface，BCI)是通过对EEG信号解码实现人脑与外界直接通信交互的技术，在康复领域有很大的发展潜力。运动想象是BCI中一个重要的实验范式，当患者进行运动任务的想象时，大脑皮层的相关运动区域会产生大量EEG信号。通过对EEG的解码，可以实现对被试想象任务的分类识别。目前的信号解码技术主要为深度学习(Deep Learning，DL)，通过端到端的编码解码机制，学习EEG信号中具有高区分度的神经特征，提升MI分类准确率。然而深度学习需要大量的数据和时间进行建模，无法满足实际应用中患者“即插即用”的需求。利用采集的历史数据建立模型，并直接作用于新的患者进行MI分类识别可以节约时间和成本，有利于患者尽早进入康复流程，提升用户体验。但是历史数据来源于不同被试，EEG信号的质量以及人脑间的差异会降低模型的鲁棒性和精度。
综上所述，如何提升跨被试模型泛化能力，使得模型面对新的被试EEG数据无需再次训练建模，也能实现高精度的MI分类识别的问题；是目前本领域技术人员亟待解决的问题。
发明内容
本发明实施例的主要目的在于提出一种基于域泛化的跨被试运动想象脑电建模方法，旨在提出一种基于域泛化的运动想象脑电分类算法，通过最小化差异使得模型能学习子域之间的公共不变特征，以提升模型泛化能力。
本发明解决上述技术问题的技术方案是，提供一种基于域泛化的跨被试运动想象脑电建模方法，包括以下步骤：
1)脑电数据预处理：
对脑电数据进行预处理；
将预处理过的脑电数据集分为目标域和源域两部分；
2)老师模型训练：
将预处理后的源域数据送入老师模型中进行一次训练；
训练得预测分类结果，使用交叉熵函数计算预测分类结果和真实分类结果的训练损失值，再对老师模型的参数进行反向更新；
其中，训练的过程中，老师模型学习特征点Fteacher；
3)学生模型训练：
将预处理后的源域数据送入学生模型中进行一次训练；
训练得预测分类结果，使用交叉熵函数计算预测分类结果和真实分类结果的分类损失值losscls；
根据老师模型学习的特征点Fteacher和学生模型学习的域内分类特征Finternal，通过均方误差函数计算蒸馏损失值lossmse；
根据学生模型学习的域间不变特征Fmutual，计算各子域之间的损失值lossalign；
根据学生模型学习的域内分类特征Finternal和域间不变特征Fmutual，计算损失lossexp；
将分类损失值losscls、蒸馏损失值lossmse、各子域之间的损失值lossalign、损失lossexp相加得到最终模型损失lossall，通过最终模型损失lossall反向梯度更新学生模型。
进一步地，所述对脑电数据进行预处理的步骤包括：
对脑电数据进行去基线处理；
处理后的脑电数据通过3阶巴特沃斯滤波器进行频域滤波；
通过Z-Score算法，进行归一化处理；Z-Score算法为：
其中，x为输入数据，此处z为每一个脑电样本中每一个通道的所有数据点，μ是这组数据点的均值，σ是这组数据点的标准差。
进一步地，所述将预处理后的源域数据送入老师模型中进行一次训练的步骤包括：
将源域数据的子域数据并列存储至一个数据加载器中，批处理量设置为8；共8×m个数据送入老师模型训练；
设置迭代次数i为0，学习率为0.001；
更新老师模型参数；
计算训练集损失；
迭代次数更新为i+1；
当迭代次数小于700时，继续循环迭代；
当迭代次数达到或超过700时，将学习率设置为0.0001，继续循环迭代；
当迭代次数达到1000时，保存老师模型。
进一步地，所述将源域数据的子域数据并列存储至一个数据加载器中，批处理量设置为8；共8×m个数据送入老师模型训练的步骤包括：
数据通过两维卷积层获取时-空特征；
通过深度卷积层进行特征的提取；
通过平均池化层进行特征的降维；
通过全连接层及softmax函数得到预测分类结果。
进一步地，所述将源域数据的子域数据并列存储至一个数据加载器中，批处理量设置为8；共8×m个数据送入老师模型训练的步骤中：
假设送入老师模型的源域数据x格式为(B，D，C，T)，其中，B代表每次输入至模型的样本数量，D代表每个样本输入数据的特征维度，C代表每个样本输入数据的通道数，T代表每个样本输入数据的数据量；
当所选网络层为两维卷积层时，两维卷积层的滤波器大小为(1，Tc)，维度为F1，代表在每次滤波器将对Tc个数据点进行特征提取，提取的维度为F1，步长为1；两维卷积层的padding参数设置为0，即对数据进行补0操作；公式如下：
其中，是CNN的输出，w是神经元的权重，b是偏置，f是激活函数；
当所选网络层为深度卷积层时，深度卷积层的滤波器大小为(C，1)，维度为F2，代表每次滤波器将对每一个时间点上的所有脑电通道进行空间上的特征提取，输出维度为F2；
当所选网络层为平均池化层时，平均池化层滤波器的大小为(1，Cavg)，其中，Cavg代表池化范围，每次计算Cavg个数据的平均值，步长为5；
当所选网络层为全连接层时，全连接层的滤波器大小为(1，5)，步长为(1，1)，维度为20，每5个迭代数据学习一个特征点Fteacher，特征点Fteacher的维度为20，共学习200个特征点Fteacher。
进一步地，所述将预处理后的源域数据送入学生模型中进行一次训练的步骤包括：
将源域数据的子域数据并列存储至一个数据加载器中，批处理量设置为8；共8×m个数据送入学生模型训练；
设置迭代次数i为0，学习率为0.001；
更新学生模型参数；
计算训练集损失；
迭代次数更新为i+1；
当迭代次数小于1000时，继续循环迭代；
当迭代次数达到或超过1000时，将学习率设置为0.0001，继续循环迭代；
当迭代次数达到1500时，保存学生模型；
其中，训练的过程中，学习模型学习200个域内分类特征Finternal和200个域间不变特征Fmutual。
进一步地，所述训练得预测分类结果，使用交叉熵函数计算预测分类结果和真实分类结果的分类损失值losscls的步骤中，
交叉熵函数的计算公式为：
其中，m代表分类标签的个数，yp代表模型预测标签，yt代表真实标签。
进一步地，所述根据老师模型学习的特征点Fteacher和学生模型学习的域内分类特征Finternal，通过均方误差函数计算蒸馏损失值lossmse的步骤中，
均方误差函数的计算公式为：
进一步地，所述根据学生模型学习的域间不变特征Fmutual，计算各子域之间的损失值lossalign的步骤中，
计算公式为：
其中，代表子域C中Fmutual特征矩阵的协方差矩阵，每次计算子域两两之间协方差矩阵的距离；
所述根据学生模型学习的域内分类特征Finternal和域间不变特征Fmutual，计算损失lossexp的步骤中，
损失lossexp的计算公式为：
进一步地，所述基于域泛化的跨被试运动想象脑电建模方法还包括：
4)模型测试
将预处理后目标域数据直接送入保存的学生模型中，学生模型中的分类层softmax函数得出的结果。
本发明的技术方案具有显而易见的突出的实质性特点和显著的优点为：
1.本发明基于域泛化技术对MI脑电进行分类识别。将脑电数据集分成源域和目标域，并对源域数据再划分成多个子域，模型训练时会计算各子域之间的差异，通过最小化差异使得模型能学习子域之间的公共不变特征，提升模型泛化能力。
2.本发明在训练模型时分成了两个步骤，首先是老师模型训练，专注于模型的分类，其次是学生模型训练，通过对比老师模型和学生模型特征值的差异来学习源域中利于MI分类任务的特征。同时该类特征还于域间公共不变特征对比，通过扩大化二者的差异来避免特征的冗余度和重复。
3.本发明利用源域数据中大量的历史数据进行建模，通过学习子域间公共不变特征和分类特征，提升模型的泛化能力。对新的患者或者被试进行跨被试的MI任务识别时，不再需要花费大量的时间去单独建模也能得到较高的分类识别精度。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图示出的结构获得其他的附图。
图1为本发明所述基于域泛化的跨被试运动想象脑电建模方法的总体算法流程图；
图2是本发明的所述脑电数据预处理的流程图；
图3是本发明的所述老师模型训练的流程图；
图4是本发明的所述老师模型的结构图；
图5是本发明的所述学生模型的训练流程图；
图6是本发明的所述学生模型的结构图；
图7域内分类特征计算流程图；
图8域间公共不变特征计算流程图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
需要说明，本发明实施例中所有方向性指示(诸如上、下、左、右、前、后……)仅用于解释在某一特定姿态(如附图所示)下各部件之间的相对位置关系、运动情况等，如果该特定姿态发生改变时，则该方向性指示也相应地随之改变。
另外，在本发明中如涉及“第一”、“第二”等的描述仅用于描述目的，而不能理解为指示或暗示其相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“若干”、“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
在本发明中，除非另有明确的规定和限定，术语“连接”、“固定”等应做广义理解，例如，“固定”可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
另外，本发明各个实施例之间的技术方案可以相互结合，但是必须是以本领域普通技术人员能够实现为基础，当技术方案的结合出现相互矛盾或无法实现时应当认为这种技术方案的结合不存在，也不在本发明要求的保护范围之内。
本发明提出一种基于域泛化的跨被试运动想象脑电建模方法，旨在提出一种基于域泛化的运动想象脑电分类算法，通过最小化差异使得模型能学习子域之间的公共不变特征，以提升模型泛化能力。
下面将在具体实施例中对本发明提出的基于域泛化的跨被试运动想象脑电建模方法的具体内容进行说明：
在本实施例的技术方案中，如图1所示，一种基于域泛化的跨被试运动想象脑电建模方法，包括以下步骤：
1)脑电数据预处理：
对脑电数据进行预处理；
将预处理过的脑电数据集分为目标域和源域两部分；
2)老师模型训练：
将预处理后的源域数据送入老师模型中进行一次训练；
训练得预测分类结果，使用交叉熵函数计算预测分类结果和真实分类结果的训练损失值，再对老师模型的参数进行反向更新；
其中，训练的过程中，老师模型学习特征点Fteacher；
3)学生模型训练：
将预处理后的源域数据送入学生模型中进行一次训练；
训练得预测分类结果，使用交叉熵函数计算预测分类结果和真实分类结果的分类损失值losscls；
根据老师模型学习的特征点Fteacher和学生模型学习的域内分类特征Finternal，通过均方误差函数计算蒸馏损失值lossmse；
根据学生模型学习的域间不变特征Fmutual，计算各子域之间的损失值lossalign；
根据学生模型学习的域内分类特征Finternal和域间不变特征Fmutual，计算损失lossexp；
将分类损失值losscls、蒸馏损失值lossmse、各子域之间的损失值lossalign、损失lossexp相加得到最终模型损失lossall，通过最终模型损失lossall反向梯度更新学生模型。
可以理解地，本申请基于域泛化技术对MI脑电进行分类识别，将脑电数据集分成源域和目标域，并对源域再划分成多个子域，模型训练时会计算各子域之间的差异，通过最小化差异使得模型能学习子域之间的公共不变特征，提升模型泛化能力。在训练模型时分成了两个步骤，首先老师模型训练，专注于模型的分类，其次学生模型训练，通过对比老师模型和学生模型特征值的差异来学习源域中利于MI分类任务的特征；同时该类特征还于域间公共不变特征对比，通过扩大化二者的差异来避免特征的冗余度和重复。用源域数据中大量的历史数据进行建模，通过学习子域间公共不变特征和分类特征，提升模型的泛化能力，对新的患者或者被试进行跨被试的MI任务识别时，不再需要花费大量的时间去单独建模也能得到较高的分类识别精度。
进一步地，如图2所示，所述对脑电数据进行预处理的步骤包括：
对脑电数据进行去基线处理；
处理后的脑电数据通过3阶巴特沃斯滤波器进行频域滤波；
通过Z-Score算法，进行归一化处理；Z-Score算法为：
其中，x为输入数据，此处z为每一个脑电样本中每一个通道的所有数据点，μ是这组数据点的均值，σ是这组数据点的标准差。
具体地，假设采集脑电数据信号为其中i为所采集患者脑电数据的总样本数，c为患者采集脑电数据的通道数量，t为患者单个样本包含脑电信号的数据量。首先对进行去基线处理，以减小脑电设备或噪声引起的信号线性漂移；其次将信号通过3阶巴特沃斯滤波器，其频带范围分别为4～38Hz，对应相关运动脑电节律α，β和γ Xγ；滤波后的数据通过Z-Score算法，进行归一化处理。最后将预处理过的脑电数据集分为目标域和源域两部分。目标域数据只包含一位被试数据，不参与模型的训练与验证，只用于测试；源域数据包含其余所有被试数据，并被随机分成m个子域，即/>每个子域内被试数量尽量保持一致，并不强制要求等分；所有子域数据并列排布，模型训练时对每一个子域从第一个数据点抽取相同批的处理量，如果数据不够，则循环前移，补足批处理量。
进一步地，如图3所示，所述将预处理后的源域数据送入老师模型中进行一次训练的步骤包括：
将源域数据的子域数据并列存储至一个数据加载器中，批处理量设置为8；共8×m个数据送入老师模型训练；
设置迭代次数i为0，学习率为0.001；
更新老师模型参数；
计算训练集损失；
迭代次数更新为i+1；
当迭代次数小于700时，继续循环迭代；
当迭代次数达到或超过700时，将学习率设置为0.0001，继续循环迭代；
当迭代次数达到1000时，保存老师模型。
可以理解地，按顺序从每个子域中抽取8个trial的数据，共8×m个数据送入老师模型进行一次训练，每次训练后softmax函数得到预测分类结果为yp，训练时的真实分类结果为yt，使用交叉熵函数计算两者的差异，即训练损失值，公式具体如下：
为了减小训练损失值，使得模型的分类结果与真实的分类结果尽量一致，老师模型会通过反向传播循环迭代更新参数权重，每次传播的学习率为δ，初始设置为0.001，整个老师模型总循环迭代次数为1000，当迭代次数达到700时，模型的学习率δ减小至0.0001，避免模型参数陷入局部最小值而无法更新权重参数。循环结束后，保存模型参数。
进一步地，所述将源域数据的子域数据并列存储至一个数据加载器中，批处理量设置为8；共8×m个数据送入老师模型训练的步骤包括：
数据通过两维卷积层获取时-空特征；
通过深度卷积层进行特征的提取；
通过平均池化层进行特征的降维；
通过全连接层及softmax函数得到预测分类结果。
可以理解地，老师模型的结构如图4所示，数据信号输入至二维卷积层，为使得CNN输入输入维度一致，此时参数padding设定为same，对信号前后位置补0。二维卷积层对输入数据的每一个通道在时间域上进行特征提取，提取完后得数据送入深度卷积层对每一个时间点上的多通道进行一次卷积以学习空间域特征。之后特征会经过一个个二维CNN卷积层得到输出yout1，然后经过批归一化处理和Dropout处理，再送入第二个二维CNN得到输出yout2。此时，将yout1和yout2相加得到yinput3，通过批归一化处理和Dropout处理送入第三个二维CNN卷积中，学习的特征再次通过批归一化处理和Dropout处理，得到第三个输出ycnn。最后使用一层二维卷积层和池化层对特征进行降维处理，降维后的数据通过Flatten将特征平铺展开，最后再送入分类层中使用softmax函数输出模型的分类结果。
进一步地，所述将源域数据的子域数据并列存储至一个数据加载器中，批处理量设置为8；共8×m个数据送入老师模型训练的步骤中：
假设送入老师模型的源域数据x格式为(B，D，C，T)，其中，B代表每次输入至模型的样本数量，D代表每个样本输入数据的特征维度，C代表每个样本输入数据的通道数，T代表每个样本输入数据的数据量；
当所选网络层为两维卷积层时，两维卷积层的滤波器大小为(1，Tc)，维度为F1，代表在每次滤波器将对Tc个数据点进行特征提取，提取的维度为F1，步长为1；为了使得输入和输出数据格式保持一致，两维卷积层的padding参数设置为0，即对数据进行补0操作；公式如下：
其中，是CNN的输出，w是神经元的权重，b是偏置，f是激活函数；
当所选网络层为深度卷积层时，深度卷积层的滤波器大小为(C，1)，维度为F2，代表每次滤波器将对每一个时间点上的所有脑电通道进行空间上的特征提取，输出维度为F2；
当所选网络层为平均池化层时，平均池化层滤波器的大小为(1，Cavg)，其中，Cavg代表池化范围，每次计算Cavg个数据的平均值，步长为5；
当所选网络层为全连接层时，全连接层的滤波器大小为(1，5)，步长为(1，1)，维度为20，每5个迭代数据学习一个特征点Fteacher，特征点Fteacher的维度为20，共学习200个特征点Fteacher，特征点Fteacher起到调节维度的作用。
进一步地，如图5所示，所述将预处理后的源域数据送入学生模型中进行一次训练的步骤包括：
将源域数据的子域数据并列存储至一个数据加载器中，批处理量设置为8；共8×m个数据送入学生模型训练；
设置迭代次数i为0，学习率为0.001；
更新学生模型参数；
计算训练集损失；
迭代次数更新为i+1；
当迭代次数小于1000时，继续循环迭代；
当迭代次数达到或超过1000时，将学习率设置为0.0001，继续循环迭代；
当迭代次数达到1500时，保存学生模型；
其中，训练的过程中，学习模型学习200个域内分类特征Finternal和200个域间不变特征Fmutual。
可以理解地，学生模型使用的数据与老师模型使用数据是一致的，只保留源域并将各子域的数据并列送入模型中进行训练，学生模型在结构上与老师模型结构一致，如图6所示，但是在最后的分类过程中，老师模型只学习200个特征点Fteacher，并通过softmax函数得出分类结果；相比之下，学生模型将学习400个特征点，其中200个为域内分类特征Finternal，剩下200个特征点为域间不变特征Fmutual；最大模型迭代次数为1500，当迭代次数达到1000时，学习率从0.001降低到0.0001，避免模型参数陷入局部最小值而无法更新权重参数。循环结束后，保存模型参数。
进一步地，所述训练得预测分类结果，使用交叉熵函数计算预测分类结果和真实分类结果的分类损失值losscls的步骤中，
交叉熵函数的计算公式为：
其中，m代表分类标签的个数，yp代表模型预测标签，yt代表真实标签。
进一步地，如图7所示，所述根据老师模型学习的特征点Fteacher和学生模型学习的域内分类特征Finternal，通过均方误差函数计算蒸馏损失值lossmse的步骤中，
均方误差函数的计算公式为：
进一步地，如图8所示，所述根据学生模型学习的域间不变特征Fmutual，计算各子域之间的损失值lossalign的步骤中，
计算公式为：
其中，代表子域C中Fmutual特征矩阵的协方差矩阵，每次计算子域两两之间协方差矩阵的距离；
所述根据学生模型学习的域内分类特征Finternal和域间不变特征Fmutual，计算损失lossexp的步骤中，
损失lossexp的计算公式为：
进一步地，如1所示，所述基于域泛化的跨被试运动想象脑电建模方法还包括：
4)模型测试
将预处理后目标域数据直接送入保存的学生模型中，学生模型中的分类层softmax函数得出的结果。
以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应该以权利要求的保护范围为准。

Claims (10)

1.一种基于域泛化的跨被试运动想象脑电建模方法，其特征在于，包括以下步骤：
1)脑电数据预处理：
对脑电数据进行预处理；
将预处理过的脑电数据集分为目标域和源域两部分；
2)老师模型训练：
将预处理后的源域数据送入老师模型中进行一次训练；
训练得预测分类结果，使用交叉熵函数计算预测分类结果和真实分类结果的训练损失值，再对老师模型的参数进行反向更新；
其中，训练的过程中，老师模型学习特征点Fteacher；
3)学生模型训练：
将预处理后的源域数据送入学生模型中进行一次训练；
训练得预测分类结果，使用交叉熵函数计算预测分类结果和真实分类结果的分类损失值losscls；
根据老师模型学习的特征点Fteacher和学生模型学习的域内分类特征Finternal，通过均方误差函数计算蒸馏损失值lossmse；
根据学生模型学习的域间不变特征Fmutual，计算各子域之间的损失值lossalign；
根据学生模型学习的域内分类特征Finternal和域间不变特征Fmutual，计算损失lossexp；
将分类损失值losscls、蒸馏损失值lossmse、各子域之间的损失值lossalign、损失lossexp相加得到最终模型损失lossall，通过最终模型损失lossall反向梯度更新学生模型。
2.根据权利要求1所述的基于域泛化的跨被试运动想象脑电建模方法，其特征在于，所述对脑电数据进行预处理的步骤包括：
对脑电数据进行去基线处理；
处理后的脑电数据通过3阶巴特沃斯滤波器进行频域滤波；
通过Z-Score算法，进行归一化处理；Z-Score算法为：
其中，x为输入数据，此处z为每一个脑电样本中每一个通道的所有数据点，μ是这组数据点的均值，σ是这组数据点的标准差。
3.根据权利要求1所述的基于域泛化的跨被试运动想象脑电建模方法，其特征在于，所述将预处理后的源域数据送入老师模型中进行一次训练的步骤包括：
将源域数据的子域数据并列存储至一个数据加载器中，批处理量设置为8；共8×m个数据送入老师模型训练；
设置迭代次数i为0，学习率为0.001；
更新老师模型参数；
计算训练集损失；
迭代次数更新为i+1；
当迭代次数小于700时，继续循环迭代；
当迭代次数达到或超过700时，将学习率设置为0.0001，继续循环迭代；
当迭代次数达到1000时，保存老师模型。
4.根据权利要求3所述的基于域泛化的跨被试运动想象脑电建模方法，其特征在于，所述将源域数据的子域数据并列存储至一个数据加载器中，批处理量设置为8；共8×m个数据送入老师模型训练的步骤包括：
数据通过两维卷积层获取时-空特征；
通过深度卷积层进行特征的提取；
通过平均池化层进行特征的降维；
通过全连接层及softmax函数得到预测分类结果。
5.根据权利要求3所述的基于域泛化的跨被试运动想象脑电建模方法，其特征在于，所述将源域数据的子域数据并列存储至一个数据加载器中，批处理量设置为8；共8×m个数据送入老师模型训练的步骤中：
假设送入老师模型的源域数据x格式为(B，D，C，T)，其中，B代表每次输入至模型的样本数量，D代表每个样本输入数据的特征维度，C代表每个样本输入数据的通道数，T代表每个样本输入数据的数据量；
当所选网络层为两维卷积层时，两维卷积层的滤波器大小为(1，Tc)，维度为F1，代表在每次滤波器将对Tc个数据点进行特征提取，提取的维度为F1，步长为1；两维卷积层的padding参数设置为0，即对数据进行补0操作；公式如下：
其中，是CNN的输出，w是神经元的权重，b是偏置，f是激活函数；
当所选网络层为深度卷积层时，深度卷积层的滤波器大小为(C，1)，维度为F2，代表每次滤波器将对每一个时间点上的所有脑电通道进行空间上的特征提取，输出维度为F2；
当所选网络层为平均池化层时，平均池化层滤波器的大小为(1，Cavg)，其中，Cavg代表池化范围，每次计算Cavg个数据的平均值，步长为5；
当所选网络层为全连接层时，全连接层的滤波器大小为(1，5)，步长为(1，1)，维度为20，每5个迭代数据学习一个特征点Fteacher，特征点Fteacher的维度为20，共学习200个特征点Fteacher。
6.根据权利要求5所述的基于域泛化的跨被试运动想象脑电建模方法，其特征在于，所述将预处理后的源域数据送入学生模型中进行一次训练的步骤包括：
将源域数据的子域数据并列存储至一个数据加载器中，批处理量设置为8；共8×m个数据送入学生模型训练；
设置迭代次数i为0，学习率为0.001；
更新学生模型参数；
计算训练集损失；
迭代次数更新为i+1；
当迭代次数小于1000时，继续循环迭代；
当迭代次数达到或超过1000时，将学习率设置为0.0001，继续循环迭代；
当迭代次数达到1500时，保存学生模型；
其中，训练的过程中，学习模型学习200个域内分类特征Finternal和200个域间不变特征Fmutual。
7.根据权利要求6所述的基于域泛化的跨被试运动想象脑电建模方法，其特征在于，所述训练得预测分类结果，使用交叉熵函数计算预测分类结果和真实分类结果的分类损失值lossels的步骤中，
交叉熵函数的计算公式为：
其中，m代表分类标签的个数，yp代表模型预测标签，yt代表真实标签。
8.根据权利要求7所述的基于域泛化的跨被试运动想象脑电建模方法，其特征在于，所述根据老师模型学习的特征点Fteacher和学生模型学习的域内分类特征Finternal，通过均方误差函数计算蒸馏损失值lossmse的步骤中，
均方误差函数的计算公式为：
9.根据权利要求8所述的基于域泛化的跨被试运动想象脑电建模方法，其特征在于，所述根据学生模型学习的域间不变特征Fmutual，计算各子域之间的损失值lossalign的步骤中，
计算公式为：
其中，代表子域C中Fmutual特征矩阵的协方差矩阵，每次计算子域两两之间协方差矩阵的距离；
所述根据学生模型学习的域内分类特征Finternal和域间不变特征Fmutual，计算损失lossexp的步骤中，
损失lossexp的计算公式为：
10.根据权利要求1所述的基于域泛化的跨被试运动想象脑电建模方法，其特征在于，所述基于域泛化的跨被试运动想象脑电建模方法还包括：
4)模型测试：
将预处理后目标域数据直接送入保存的学生模型中，学生模型中的分类层softmax函数得出的结果。
CN202311327838.7A 2023-10-13 2023-10-13 一种基于域泛化的跨被试运动想象脑电建模方法 Pending CN117390542A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311327838.7A CN117390542A (zh) 2023-10-13 2023-10-13 一种基于域泛化的跨被试运动想象脑电建模方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311327838.7A CN117390542A (zh) 2023-10-13 2023-10-13 一种基于域泛化的跨被试运动想象脑电建模方法

Publications (1)

Publication Number Publication Date
CN117390542A true CN117390542A (zh) 2024-01-12

Family

ID=89438425

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311327838.7A Pending CN117390542A (zh) 2023-10-13 2023-10-13 一种基于域泛化的跨被试运动想象脑电建模方法

Country Status (1)

Country Link
CN (1) CN117390542A (zh)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220007245A (ko) * 2020-07-10 2022-01-18 고려대학교 산학협력단 뇌파를 활용한 동작 상상 분류 장치 및 방법
CN114266276A (zh) * 2021-12-25 2022-04-01 北京工业大学 一种基于通道注意力和多尺度时域卷积的运动想象脑电信号分类方法
CN115316955A (zh) * 2022-09-07 2022-11-11 浙江科技学院 一种轻量快速的运动想象脑电信号解码方法
US20230054751A1 (en) * 2020-08-26 2023-02-23 Tencent Technology (Shenzhen) Company Limited Method and apparatus for classifying electroencephalogram signal, method and apparatus for training classification model, and electronic device and computer-readable storage medium
CN116522106A (zh) * 2023-03-08 2023-08-01 北京工业大学 一种基于迁移学习并行多尺度滤波器组时域卷积的运动想象脑电信号分类方法
CN116738330A (zh) * 2023-02-02 2023-09-12 中国科学技术大学 一种半监督域自适应脑电信号的分类方法
CN116746947A (zh) * 2023-06-16 2023-09-15 合肥工业大学 基于在线测试时间域适应的跨受试者脑电信号分类方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220007245A (ko) * 2020-07-10 2022-01-18 고려대학교 산학협력단 뇌파를 활용한 동작 상상 분류 장치 및 방법
US20230054751A1 (en) * 2020-08-26 2023-02-23 Tencent Technology (Shenzhen) Company Limited Method and apparatus for classifying electroencephalogram signal, method and apparatus for training classification model, and electronic device and computer-readable storage medium
CN114266276A (zh) * 2021-12-25 2022-04-01 北京工业大学 一种基于通道注意力和多尺度时域卷积的运动想象脑电信号分类方法
CN115316955A (zh) * 2022-09-07 2022-11-11 浙江科技学院 一种轻量快速的运动想象脑电信号解码方法
CN116738330A (zh) * 2023-02-02 2023-09-12 中国科学技术大学 一种半监督域自适应脑电信号的分类方法
CN116522106A (zh) * 2023-03-08 2023-08-01 北京工业大学 一种基于迁移学习并行多尺度滤波器组时域卷积的运动想象脑电信号分类方法
CN116746947A (zh) * 2023-06-16 2023-09-15 合肥工业大学 基于在线测试时间域适应的跨受试者脑电信号分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
WANG LU AND JINDONG WANG AND HAOLIANG LI AND YIQIANG CHEN AND XING XIE: "Domain-invariant Feature Exploration for Domain Generalization", TRANSACTIONS ON MACHINE LEARNING RESEARCH (TMLR2022), 31 July 2022 (2022-07-31), pages 1 - 20 *

Similar Documents

Publication Publication Date Title
CN113627518B (zh) 利用迁移学习实现神经网络脑电情感识别模型的方法
CN104771163B (zh) 基于csp和r‑csp算法的脑电信号特征提取方法
CN109567793B (zh) 一种面向心律不齐分类的ecg信号处理方法
WO2020103683A1 (zh) 基于脑功能图谱的猴-人跨物种迁移进行精神疾病的个体化预测方法和系统
CN108888264A (zh) Emd和csp融合功率谱密度脑电特征提取方法
CN110090017B (zh) 一种基于lstm的脑电信号源定位方法
CN111810124B (zh) 一种基于特征重标定残差卷积神经网络模型的抽油机井故障诊断方法
CN107977651B (zh) 基于量化最小误差熵的共用空间模式空域特征提取方法
CN110934587A (zh) 一种基于图卷积神经网络的阿尔兹海默症辅助诊断方法
CN109410195A (zh) 一种磁共振成像脑分区方法及系统
CN109492766A (zh) 一种基于最小p范数的宽度学习方法
CN113712573A (zh) 脑电信号分类方法、装置、设备及存储介质
CN113158964A (zh) 一种基于残差学习和多粒度特征融合的睡眠分期方法
CN116825186A (zh) 基于生成对抗网络的单细胞数据批次效应校正方法
CN110457646A (zh) 一种基于参数迁移学习低资源头相关传输函数个性化方法
CN112950583A (zh) 病理图像中细胞计数模型训练方法及装置
CN114295967A (zh) 一种基于迁移神经网络的模拟电路故障诊断方法
CN117193537A (zh) 一种基于自适应迁移学习的双分支卷积神经网络运动想象意图解码方法
CN108122028A (zh) 深度非线性主成分分析网络的训练方法、装置及计算机可读存储介质
CN117390542A (zh) 一种基于域泛化的跨被试运动想象脑电建模方法
CN109241996B (zh) 一种基于梯度表征相似性和Searchlight的FMRI脑影像分析方法
CN116340825A (zh) 一种基于迁移学习的跨被试rsvp脑电信号的分类方法
CN115169384A (zh) 脑电信号分类模型训练方法、意图识别方法、设备及介质
CN114721514A (zh) 一种基于脑电信号的几何模型选择意图判别方法及系统
CN113835964A (zh) 基于小样本学习的云数据中心服务器能耗预测方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination