CN116522106A - 一种基于迁移学习并行多尺度滤波器组时域卷积的运动想象脑电信号分类方法 - Google Patents
一种基于迁移学习并行多尺度滤波器组时域卷积的运动想象脑电信号分类方法 Download PDFInfo
- Publication number
- CN116522106A CN116522106A CN202310218152.8A CN202310218152A CN116522106A CN 116522106 A CN116522106 A CN 116522106A CN 202310218152 A CN202310218152 A CN 202310218152A CN 116522106 A CN116522106 A CN 116522106A
- Authority
- CN
- China
- Prior art keywords
- data
- layer
- model
- training
- classification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 87
- 238000013526 transfer learning Methods 0.000 title claims abstract description 14
- 238000012549 training Methods 0.000 claims abstract description 65
- 238000009826 distribution Methods 0.000 claims abstract description 18
- 238000000605 extraction Methods 0.000 claims abstract description 18
- 230000004069 differentiation Effects 0.000 claims abstract description 6
- 238000007710 freezing Methods 0.000 claims abstract description 5
- 230000008014 freezing Effects 0.000 claims abstract description 5
- 230000006870 function Effects 0.000 claims description 46
- 238000012795 verification Methods 0.000 claims description 21
- 238000012360 testing method Methods 0.000 claims description 18
- 230000003044 adaptive effect Effects 0.000 claims description 17
- 238000002474 experimental method Methods 0.000 claims description 14
- 230000004913 activation Effects 0.000 claims description 13
- 238000004364 calculation method Methods 0.000 claims description 13
- 230000000694 effects Effects 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 8
- 238000012545 processing Methods 0.000 claims description 8
- 238000001914 filtration Methods 0.000 claims description 7
- 230000006978 adaptation Effects 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 5
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 4
- 238000013528 artificial neural network Methods 0.000 claims description 4
- 238000013507 mapping Methods 0.000 claims description 4
- 239000011159 matrix material Substances 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 4
- 230000009467 reduction Effects 0.000 claims description 3
- 238000012935 Averaging Methods 0.000 claims description 2
- 239000000126 substance Substances 0.000 claims description 2
- 238000012886 linear function Methods 0.000 claims 1
- 238000013508 migration Methods 0.000 abstract description 4
- 230000005012 migration Effects 0.000 abstract description 4
- 210000004556 brain Anatomy 0.000 description 14
- 238000013527 convolutional neural network Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 6
- 238000002679 ablation Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 238000011160 research Methods 0.000 description 4
- 230000033764 rhythmic process Effects 0.000 description 4
- 230000001953 sensory effect Effects 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 230000033001 locomotion Effects 0.000 description 3
- 238000005259 measurement Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 210000000337 motor cortex Anatomy 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000002123 temporal effect Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000001771 impaired effect Effects 0.000 description 1
- 230000003447 ipsilateral effect Effects 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000007659 motor function Effects 0.000 description 1
- 210000000653 nervous system Anatomy 0.000 description 1
- 230000037152 sensory function Effects 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 230000036962 time dependent Effects 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
一种基于迁移学习并行多尺度滤波器组时域卷积的运动想象脑电信号分类方法属于计算机软件领域。针对跨被试脑电信号不符合独立同分布问题，增强其中脑电信号时域信息，提出基于MSFBCNN网络的深度迁移学习的自适应层微调特征提取方法，简称“DSAN‑MSFBCNN”。首先，采用fine‑tune微调方法，对于预训练模型MSFBCNN进行网络模型微调，冻结模型最高层全连接层之前的网络结构；其次，使用领域自适应方法DSAN对全连接层进行适配，提供具有更高区分度的特征，从而提高分类准确率。“DSAN‑MSFBCNN”模型可以在运动想象分类任务上取得较高的准确率。相比较MSFBCNN模型，本发明提升对运动想象脑电信号的特征提取和分类性能，使用微调后的模型具有更高的泛化能力。
Description
技术领域
本发明公开了一种基于迁移学习并行多尺度滤波器组时域卷积的运动想象脑电信号分类方法，可用于识别运动想象肢体部位，属于计算机软件领域。
背景技术
脑机接口(brain-computer interfaces,BCI)通过大脑信号记录和解码技术建立了人脑与计算机之间的直接通路，运动想象是最具有代表性的范式之，基于脑电图(Electroencephalogram，EEG)的BCI在运动想象(motor imagery，MI)领域得到了快速发展。MI作为一种经典的范式，已经被研究和发展了几十年。其生理学基础是身体运动可在大脑运动感觉区产生mu(8-12hz)和beta(16-26hz)节律，并伴有事件相关同步和去同步(event-related(de-)synchronization，ERS/ERD)。事件相关同步和去同步是指，当人们做单侧肢体动作和运动想象时大脑对侧主感觉运动皮层的mu节律和β节律幅度明显减小，而同侧主感觉运动皮层的mu节律和β节律幅度明显增大。根据这种感觉运动区脑电节律的差异，可以对不同运动想象任务的脑电信号进行识别分类，这对中风患者或神经系统受损的病人恢复感觉和运动功能具有极大的帮助和研究意义。虽然基于运动想象范式的脑机接口技术已广泛应用于康复医疗等领域，但其解码性能仍不能很好地满足实际应用的需要。因为脑电信号是不稳定的信号，具有很低的信噪比，采集到的EEG信号很容易受到眼电、肌电等噪声的影响，如何从原始脑电信号中提取出高精度EEG信号也是亟待解决的问题之一，目前减少噪声干扰的措施主要有三种：预防、剔除、修正。修正是主流方法，常用的方法有自适应滤波、小波分析以及盲源分离。另外，对于不同的受试者，同一想象任务产生的脑电信号是有差异的。
为解决上述问题，目前常采用机器学习方法和深度学习方法进行特征提取和分类。传统的运动想象脑电信号的分类方法主要分为两步：特征提取和分类。对原始脑电信号先通过一系列算法进行特征提取，然后将提取的特征输入到相应的分类器进行分类判别，得到最终结果。传统的特征提取方法是常见空间模式(common spatial pattern，CSP)及其变体。CSP的想法是找到一组空间过滤器，以最优地区分多种脑电图记录。CSP滤波器组件(Filter-Bank CSP，FBCSP)算法得益于人工特征选择，选择最优的空间滤波器来提取特征。该方法具有简单、准确等优点。其他基于CSP的方法也在对脑电图信号进行分析后提取潜在有价值的成分。而常用的分类方法包括线性判别分析(LDA)，支持向量机(SVM)，贝叶斯分类器等。不幸的是，脑电图特征随时间而变化，在不同的个体中变化显著。所以对于MI的新应用，对鲁棒性和更通用的特征提取技术的需求逐渐增加。由于脑电信号具有较低的信噪比和时间相关的协变量，因此需要一种可靠的特征提取方法。而深度学习在各个领域的有效应用，将其应用于脑电信号处理中，取得了与传统方法相较的效果。Lawhern等人提出了EEGNet，一种专门为脑电图识别任务而设计的通用且紧凑的卷积神经网络。相比普通的卷积神经网络结构，他们使用了逐通道卷积和深度可分离卷积(逐通道卷积+逐点卷积)来构造特定的EEG模型。Dai等人提出了一种具有混合卷积尺度的卷积神经网络(HS-CNN)，他们提出的方法有效地解决了在CNN中使用单个卷积尺度限制分类效果的问题，进一步提高了分类精度。Wu等人提出了一种针对运动想象脑电分类的并行多尺度滤波器组卷积神经网络(MSFBCNN)，该模型的新颖之处在于使用了四个并行的时间卷积层来提取时间特征，充分利用了端到端网络中的特征信息。从上述研究可以发现：轻量级网络和滤波器组在基于深度学习的运动想象脑电分类中起着关键作用。
目前，针对传统机器学习算法和深度学习算法存在对于大量数据的依赖以及不同的运动想象被试者之间存在脑电信号不符合独立同分布和样本量较小从而使得模型分类效果差以及泛化能力差的问题，可以结合迁移学习的思想。迁移学习的目的是将从一个任务中学习到的知识或模式应用到其他不同但相关的任务中。利用迁移方法构造得到两个领域内可以共享参数的模型,然后通过调节两个领域之间共享的参数从而实现不同域之间的迁移，实现不同被试者脑电信号存在的差异缩短。目前迁移学习在深度学习模型上的应用主要使用两种方法，分别是域自适应(domain adaptation，DA)以及模型微调方法(fine-tune)。域自适应方法通过降低域间的差异，同时保持针对任务的区分能力，能够在一定程度上解决脑电信号的“域”的不统一问题，常见的域自适应度量即用于测量域间距离的方法有最大均值差异(Maximum mean discrepancy，MMD)。Syed Umar Amin等人提出一种多层神经网络的迁移方法来融合具有不同特征和体系结构的神经网络，以提高脑电信号运动想象分类的精度，这项工作中利用不同的卷积特征，从原始的脑电信号数据中捕捉时空特征。在域自适应方法中，深度子领域自适应网络(Deep Subdomain Adaption Network,DSAN)使用一种局部最大平均差异(Local MMD,LMMD)在不同域上对齐域特定层激活的相关子域分布来学习传输网络，取得了近几年metric-based方法中最好的分类效果。子领域是指在一个领域下可以依据一些条件，将相似的样本划分到一个子领域，比如使用类标签作为划分依据，同一类放到一个子领域。DSAN仅使用一个分类损失函数和一个自适应损失函数，对与骨干网中间层相关联的隐藏层，即测输出层，生成一个伴生目标函数，提供具有更高区分度的特征。在融合阶段，采用反卷积技术来执行上采样操作，以聚合从不同层次提取的多分辨率特征。微调的主要思想是对给定的预训练模型(Pretrained model)进行模型结构修剪以及重训练，从而能够让预训练模型原本的特征提取能力得到充分的释放和利用的同时，更好地适配新的运动想象脑电信号，进一步提升模型性能。主要的微调策略有模型冻结以及模型重训练这两个步骤。
通过对以上现有研究方法的优缺点进行探讨分析，本发明获得了新的启发和研究思路，以MSFBCNN作为骨干模型，提出了一种新的改进网络模型(DSAN-MSFBCNN)。首先，采用fine-tune微调方法，对于预训练模型MSFBCNN进行网络模型微调，冻结模型最高层全连接层之前的网络结构，使用领域自适应方法DSAN对全连接层进行适配，在全连接层后使用一个分类损失函数和一个自适应损失函数，对与骨干网中间层相关联的隐藏层，即测输出层，生成一个伴生目标函数，提供具有更高区分度的特征，从而提高分类准确率。其次，根据新数据集分类类别等相关信息调整softmax层相关参数，从而进一步提高模型的鲁棒性。相比MSFBCNN模型，本发明提出的分类方法更能有效提升运动想象脑电信号的解码性能。
发明内容
本发明提出了一种基于迁移学习并行多尺度滤波器组时域卷积的运动想象脑电信号分类方法，该方法可有效提升对运动想象脑电信号的特征提取和分类性能。首先，采用fine-tune微调方法，对于预训练模型MSFBCNN进行网络模型微调，冻结模型最高层全连接层之前的网络结构，使用领域自适应方法DSAN对全连接层进行适配，在全连接层后使用一个分类损失函数和一个自适应损失函数，对与骨干网中间层相关联的隐藏层，即测输出层，生成一个伴生目标函数，提供具有更高区分度的特征，从而提高分类准确率。其次，根据新数据集分类类别等相关信息调整softmax层相关参数，针对分类类别个数来预测每个类别的概率，概率最高的即为最终输出类别。从而进一步提高模型的鲁棒性。相比较MSFBCNN，本发明提出的方法具有更高的分类准确率。
经过研究讨论和反复实践，本方法确定最终方案如下：
首先对原始脑电数据集进行预处理，将数据集划分为训练集、验证集和测试集三部分，输入到MSFBCNN模型中进行训练和测试，并保存得到训练后生成的模型；其次基于领域自适应方法DSAN以及fine-tune微调方法进行预训练模型微调、训练和测试，最后得出模型分类结果，并对分类结果进行评估，验证方法的有效性。
本发明技术方案的具体步骤如下：
步骤1.数据预处理：使用带通滤波器对运动想象脑电信号进行带通滤波处理，之后对滤波后的信号做指数移动均值标准化；将脑电信号数据集划分为训练集、验证集和测试集；
步骤2.构建MSFBCNN预训练模型：将步骤1中的训练集和验证集输入到MSFBCNN模型中进行训练与验证，最终生成并保存MSFBCNN预训练模型；
步骤3.预训练模型微调以及添加自适应层：采用fine-tune微调方法，对于预训练模型MSFBCNN进行网络模型微调，冻结模型最高层全连接层之前的网络结构，使用领域自适应方法DSAN对全连接层进行适配，在全连接层后使用一个分类损失函数和一个自适应损失函数，对与骨干网中间层相关联的隐藏层，即测输出层，生成一个伴生目标函数，提供具有更高区分度的特征。最终，根据新数据集分类类别等相关信息调整softmax层相关参数；
步骤4.将步骤1中的测试集输入到步骤3中的模型中进行训练、验证以及分类，评价分类的准确度。
本发明具有以下优点：
1.为MSFBCNN模型使用DSAN方法增设自适应层，改进模型损失函数，对相关的子领域进行特征对齐，可以对脑电信号进行不同维度的特征提取，从而进一步提高运动想象分类任务的准确率。
2.对模型进行finetune模型微调既可以保持网络性能，又能够显著降低模型的复杂性，提升模型训练速度。
附图说明
图1本发明方法的总流程图
图2DSAN-MSFBCNN网络详细构成图
图3运动想象数据集的时间示意图
具体实施方式
本发明针对脑电信号信噪比低导致特征提取困难、难以分类以及被试者脑电信号概率分布不均的问题，提出了一种基于迁移学习并行多尺度滤波器组时域卷积的运动想象脑电信号分类方法。首先，采用finetune微调方法，对于预训练模型MSFBCNN进行网络模型微调，冻结模型最高层全连接层之前的网络结构，使用领域自适应方法DSAN对全连接层进行适配，在全连接层使用一个分类损失函数和一个自适应损失函数，对与骨干网中间层相关联的隐藏层，即测输出层，生成一个伴生目标函数，提供具有更高区分度的特征，从而提高分类准确率。其次，根据新数据集分类类别等相关信息调整softmax层相关参数，从而进一步提高模型的鲁棒性，为运动想象脑电信号分类提供了高效且性能更好的深度学习方法。
图1为本发明方法的总流程图，可分解为如下几个步骤：
步骤1.数据预处理，划分数据集；
步骤2.构建DSAN-MSFBCNN模型；
步骤3.使用训练集和验证集对模型进行训练；
步骤4.测试模型效果，并评价分类的准确度。
下面对每个步骤的具体细节进行详细说明：
步骤1：
(1)对原始运动想象脑电信号用3阶4-40Hz的巴特沃斯带通滤波器进行带通滤波，过滤出所需频段的信号；
(2)对滤波后的信号做指数移动均值标准化，其中衰减因子设为0.999，以减少数值差异对模型效果的影响；
(3)开始训练之前，将经过预处理后的脑电数据集进行划分。将训练样本中80％的数据作为训练集，其余20％的数据作为验证集。
步骤2：
针对脑电信号信噪比低导致特征提取困难、难以分类的问题，本发明基于MSFBCNN预训练模型，提出了一种新的模型改进方法，简称“DSAN-MSFBCNN”。该方法的网络结构概括为四部分：Block1，Block2，全连接层，自适应层。此处使用Pytorch构建模型。下面对每一部分进行详细说明：
(1)Block1
特征提取层，基于二维卷积层，采用了一种并行的多尺度滤波器组卷积神经网络，来充分提取时间特征和空间特征。该层结构依次为四个并行的时间卷积核、批处理规范化层、一个空间卷积核以及批处理规范化层。特征提取的过程为提取的时间特征经过批量标准化后组合成为空间卷积的输入，进而经过空间卷积的处理提取空间特征并减少特征映射的维度；最终，在空间卷积之后，EEG通道的维度被压缩到1，时间和空间卷积都会扩展成三维的特征矩阵，归一化后送入下一层进行特征降维。批处理规范化层权重使用均值以及单位方差为零的正态分布进行初始化，批次大小为64，并且权重初始化为1，学习率为1e-3，衰减权重为1e-7。经多次实验，最终设置四个时间卷积核大小(kernel size)分别为(64,1)、(40,1)，(26,1)，(16,1)效果最好。
(2)Block2
特征降维层，为了提高网络的非线性表达能力，使用平方和对数非线性函数来提取与频带功率有关的特征。且使用平均池化层进一步降低了时间维和第三维。首先将上层的输出使用卷积核大小为(C,1)、卷积步长为1、最大范数权值约束max_norm为0.5的空间卷积层进行特征提取，其中C为采集的脑电信号的导联个数。本层激活函数使用的是平方激活函数Square以及对数非线性激活函数Log，既能加快训练速度，又能提高分类准确率。经过激活函数后，使用大小为75x1、步长为15x1的平均池化层来处理特征，以减少参数量。最后通过Dropout方式，一种防止过拟合的策略，在训练过程中将对应层中的节点以0.5的概率随机丢弃，以减轻网络的过拟合现象。
(3)全连接层
将得到的所有特征通过全连接层进行整合，同时在全连接层添加了最大范数约束进行正则化处理，最大范数值设为0.5，以防止过拟合现象，提升模型的泛化能力。
(4)自适应层
基于DSAN方法，在全连接层之后，为模型添加自适应层，使用LMMD自适应损失度量对特征进行对齐，第一项使用交叉熵作为分类损失，第二项使用LMMD作为自适应损失。使用类别划分来定义子领域，一个子领域就是一个类别，所以在不同的数据分布p，q中，LMMD的定义如下：
表示对于不同的数据分布p，q之间的LMMD距离，/>表示使用希尔伯特空间作为映射空间进行距离计算；s和t分别表示源域以及目标域，/>与/>分别代表源域数据以及目标域数据，/>以及/>分别代表源域第i个实例数据以及目标域第j个实例数据；C表示数据集分类类型个数，/>表示对于c(c∈C)这个分类类别下数据/>属于这个类别的权重，表示对于c(c∈C)这个分类类别下数据/>属于这个类别的权重。φ(·)为欧拉公式，用于计算/>中与/>互质的数的个数；/>用于计算/>中与/>互质的数的个数)
欧拉函数通式φ(x)计算公式为：
其中pi,(i∈n)为x的质因数，x是为正整数。
使用多个相近的类来定义子领域，权重w的定义如下：
(表示对于c(c∈C)这个分类类别下xi属于这个类别的权重；yic表示实例数据xi的第c个类别标签，yjc表示实例数据xj的第c个类别标签。)
因为源领域数据使用真实标签，而目标领域数据使用网络预测的概率分布。LMMD的展开式如下：
(C表示数据集分类类型个数，c表示第c(c∈C)个分类类别；ns表示源域有标签数据的个数，nt表示目标域无标签数据的个数；sc、tc表示在c这个类别上，源域以及目标域数据中属于c这个类别的数据，sl、tl分别表示在网络模型第l层上，源域数据以及目标域数据中类别的数据；分别表示在网络模型第l层对于第i、j数据关于sl类别的激活函数的计算结果，/>分别表示网络模型第i、j层关于tl类别的激活函数的计算结果；/>与分别表示对于sc(sc∈C)这个分类类别下源域第i、j个数据属于这个类别的权重，/>与/>分别表示对于tc(sc∈C)这个分类类别下源域第i、j个数据属于这个类别的权重；表示对于不同的数据分布p，q之间的LMMD距离；/>)用于计算源域实例第i和j个数据在网络第l层上激活函数计算数值/>与/>之间的差值。)
整个网络共L层，使用如下损失函数进行优化：
上述中，为模型对源域第i个数据/>最终分类类别结果的概率，/>为源域第i个数据的实际分类类别的概率，ns即为源域数据量；第一项/>即为最小交叉熵作为分类损失，/>即为计算/>与/>的熵，第二项/>即为LMMD作为自适应损失，计算公式如式(4)所示，λ为自适应损失参数，会在实验训练过程中根据不同数据集适配以及模型参数而进行迭代，直到损失函数达到最小目标或者最大迭代次数后结束训练并确定最终λ值，本实验设置最大迭代次数为800，并设置损失函数最小为0.15。
熵的计算公式如下所示：
(其中，xi是p分布、q分布共同的样本空间中的同一个样本点，样本空间的大小为K。)
步骤3：将脑电信号的训练集和验证集输入到DSAN-MSFBCNN模型中进行训练，训练过程分为两个阶段。第一阶段的最大迭代次数设为800，且当验证集损失函数达到最低时提前结束训练以防止过拟合并节省训练时间。在第二阶段中，将验证集数据合并入训练集数据中进行训练，当验证集损失值小于第一阶段训练集损失值时提前结束训练，最大迭代次数仍为800。记录第二次迭代过程中验证集损失值最低时的模型，用其预测测试集样本，记录测试集准确率。对9个受试者分别进行上述模型训练和测试，得到9组测试集准确率，记录其平均值作为最终的模型准确率。
实验中所有方法的训练均采用交叉熵损失函数，以Adam方法作为优化器，学习率均设为0.001，其余参数使用Adam方法的默认值。批训练的批大小(batchsize)均设为64。
步骤4：将步骤1中的测试集输入到步骤4中已训练好的模型中进行分类识别，并评价分类的准确度。
本发明方法所使用的数据集和实验结果描述如下：
1.数据集
本发明使用BCI Competition IV Dataset2a和2b两个公开数据集进行实验，其中数据集的时间示意图如图2所示，所有实验数据都已使用0.5-100Hz的带通滤波器进行了预处理。
2a数据集包含9个受试者的左手、右手、双脚和舌头共4类运动想象脑电信号。这些脑电信号采集自22个电极，采样率为250Hz，共包含576次试验(即样本个数为576)。这576个样本采集自两天，每天的实验记为1个session。每个session中包含4个类别的样本，每个类别包含72个样本。对于2a数据集，提取展示提示后0.5秒至2.5秒的数据作为一个样本。所有样本均已打标签(即标记该样本对应哪个部位的运动想象)。
2b数据集包含9个受试者的左手和右手共2类运动想象脑电信号。这些脑电信号采集自3个电极，采样率同样为250Hz。对于每个受试者，运动想象任务分为5个session。与2a数据集不同，2b数据集中的前2个session在没有反馈的情况下进行实验，即为无视觉反馈的脑电想象数据，后3个session为包含视觉反馈的脑电想象数据。对于2b数据集，提取展示提示后0.5秒至4秒的数据作为一个样本。
由于不同受试者的脑电特征差异较大，因此进行脑电信号的分类实验需要为每个受试者单独计算分类准确率，并求多个受试者分类准确率的平均值作为模型的性能指标。
2.实验结果与讨论
为了验证本发明方法的有效性和通用性，在公开数据集2a和2b上分别进行了对比实验和消融实验，实验结果如下：
(1)跨数据集对比实验
分别使用2a和2b数据集将本发明提出的新方法和MSFBCNN方法进行对比实验，实验结果如表2所示：
表2跨数据集对比实验结果
由表2可以看出，在2a和2b数据集上，本发明提出的方法准确率均高于MSFBCNN方法，其中在2a数据集上最高可提升约8.5％。
(2)消融实验
在2a数据集上对本发明方法做了两组消融实验，一组是不添加注意力机制的DSAN-MSFBCNN，一组是不使用并行多尺度卷积层的DSAN-MSFBCNN，实验结果如表3所示：
表3消融实验结果
由表3可知，两组消融实验结果虽高于MSFBCNN方法，但是均低于本发明提出的方法。由此可说明，这两个方案均是有效且必不可少的，当两者同时具备时，本发明方法具有更高的分类性能。
Claims (5)
1.一种基于迁移学习并行多尺度滤波器组时域卷积的运动想象脑电信号分类方法，其特征在于，包括以下步骤：
步骤1.数据预处理：使用带通滤波器对运动想象脑电信号进行带通滤波处理，之后对滤波后的信号做指数移动均值标准化；将脑电信号数据集划分为训练集、验证集和测试集；
步骤2.构建MSFBCNN预训练模型：将步骤1中的训练集和验证集输入到MSFBCNN模型中进行训练与验证，最终生成并保存MSFBCNN预训练模型；
步骤3.预训练模型微调以及添加自适应层：采用fine-tune微调方法，对于预训练模型MSFBCNN进行网络模型微调，冻结模型最高层全连接层之前的网络结构，使用领域自适应方法DSAN对全连接层进行适配，在全连接层后使用一个分类损失函数和一个自适应损失函数，对与骨干网中间层相关联的隐藏层，即测输出层，生成一个伴生目标函数，提供具有更高区分度的特征；最终，根据新数据集分类类别等相关信息调整softmax分类层相关参数，针对分类类别个数来预测每个类别的概率，概率最高的即为最终输出类别；
步骤4.将步骤1中的测试集输入到步骤3中的模型中进行训练、验证以及分类，评价分类的准确度。
2.根据权利要求1所述的基于迁移学习并行多尺度滤波器组时域卷积的运动想象脑电信号分类方法，其特征在于：
步骤1具体为：
(1)对原始运动想象脑电信号用3阶4-40Hz的巴特沃斯带通滤波器进行带通滤波，过滤出所需频段的信号；
(2)对滤波后的信号做指数移动均值标准化，其中衰减因子设为0.999，以减少数值差异对模型效果的影响；
(3)开始训练之前，将经过预处理后的脑电数据集进行划分；将训练样本中80％的数据作为训练集，其余20％的数据作为验证集。
3.根据权利要求1所述的基于迁移学习并行多尺度滤波器组时域卷积的运动想象脑电信号分类方法，其特征在于：
步骤2具体为构建DSAN-MSFBCNN模型用于后续模型微调：
DSAN-MSFBCNN模型的具体结构概括为四部分：Block1，Block2，全连接层，自适应层；下面对每一部分进行详细说明：
(1)Block1
特征提取层，基于二维卷积层，采用了一种并行的多尺度滤波器组卷积神经网络，来充分提取时间特征和空间特征；该层结构依次为四个并行的时间卷积核、批处理规范化层、一个空间卷积核以及批处理规范化层；特征提取的过程为提取的时间特征经过批量标准化后组合成为空间卷积的输入，进而经过空间卷积的处理提取空间特征并减少特征映射的维度；最终，在空间卷积之后，EEG通道的维度被压缩到1，时间和空间卷积都会扩展成三维的特征矩阵，归一化后送入下一层进行特征降维；批处理规范化层权重使用均值以及单位方差为零的正态分布进行初始化，批次大小为64，并且权重初始化为1，学习率为1e-3，衰减权重为1e-7；设置四个时间卷积核大小分别为(64,1)、(40,1)，(26,1)，(16,1)；
(2)Block2
使用平方和对数非线性函数来提取与频带功率有关的特征；且使用平均池化层进一步降低了时间维和第三维；首先将上层的输出使用卷积核大小为(C,1)、卷积步长为1、最大范数权值约束max_norm为0.5的空间卷积层进行特征提取，其中C为采集的脑电信号的导联个数；本层激活函数使用的是平方激活函数Square以及对数非线性激活函数Log，经过激活函数后，使用大小为75x1、步长为15x1的平均池化层来处理特征，以减少参数量；最后通过Dropout方式，在训练过程中将对应层中的节点以0.5的概率随机丢弃，以减轻网络的过拟合现象；
(3)全连接层
将得到的所有特征通过全连接层进行整合，同时在全连接层添加了最大范数约束进行正则化处理，最大范数值设为0.5；
(4)自适应层
基于DSAN方法，在全连接层之后，为模型添加自适应层，使用LMMD自适应损失度量对特征进行对齐，第一项使用交叉熵作为分类损失，第二项使用LMMD作为自适应损失；使用类别划分来定义子领域，一个子领域就是一个类别，所以在不同的数据分布p，q中，LMMD的定义如下：
表示对于不同的数据分布p，q之间的LMMD距离，/>表示使用希尔伯特空间作为映射空间进行距离计算；s和t分别表示源域以及目标域，/>与/>分别代表源域数据以及目标域数据，/>以及分别代表源域第i个实例数据以及目标域第j个实例数据；C表示数据集分类类型个数，表示对于c(c∈C)这个分类类别下数据/>属于这个类别的权重，/>表示对于c(c∈C)这个分类类别下数据/>属于这个类别的权重；φ(·)为欧拉公式，/>用于计算/>中与互质的数的个数；/>用于计算/>中与/>互质的数的个数)
欧拉函数通式φ(x)计算公式为：
其中pi,(i∈n)为x的质因数，x是为正整数；
使用多个相近的类来定义子领域，权重w的定义如下：
表示对于c(c∈C)这个分类类别下xi属于这个类别的权重；yic表示实例数据xi的第c个类别标签，yjc表示实例数据xj的第c个类别标签；
因为源领域数据使用真实标签，而目标领域数据使用网络预测的概率分布；LMMD的展开式如下：
C表示数据集分类类型个数，c表示第c个分类类别(c∈C)；ns表示源域有标签数据的个数，nt表示目标域无标签数据的个数；sc、tc表示在c这个类别上，源域以及目标域数据中属于c这个类别的数据，sl、tl分别表示在网络模型第l层上，源域数据以及目标域数据中类别的数据；分别表示在网络模型第l层对于第i、j数据关于sl类别的激活函数的计算结果，/>分别表示网络模型第i、j层关于tl类别的激活函数的计算结果；/>与/>分别表示对于sc(sc∈C)这个分类类别下源域第i、j个数据属于这个类别的权重，/>与/>分别表示对于tc(sc∈C)这个分类类别下源域第i、j个数据属于这个类别的权重；/>表示对于不同的数据分布p，q之间的LMMD距离；/>用于计算源域实例第i和j个数据在网络第l层上激活函数计算数值/>与/>之间的差值；
整个网络共L层，使用如下损失函数进行优化：
上述中，为模型对源域第i个数据/>最终分类类别结果的概率，/>为源域第i个数据的实际分类类别的概率，ns即为源域数据量；第一项/>即为最小交叉熵作为分类损失，/>即为计算/>与/>的熵，第二项/>即为LMMD作为自适应损失，计算公式如式(4)所示，λ为自适应损失参数，会在实验训练过程中根据不同数据集适配以及模型参数而进行迭代，直到损失函数达到最小目标或者最大迭代次数后结束训练并确定最终λ值，最大迭代次数为800，并设置损失函数最小为0.15；
熵的计算公式如下所示：
其中，xi是p分布、q分布共同的样本空间中的同一个样本点，样本空间的大小为K。
4.根据权利要求1所述的基于迁移学习并行多尺度滤波器组时域卷积的运动想象脑电信号分类方法，其特征在于：
步骤3：将脑电信号的训练集和验证集输入到DSAN-MSFBCNN模型中进行训练，训练过程分为两个阶段；第一阶段的最大迭代次数设为800，且当验证集损失函数达到最低时提前结束训练以防止过拟合并节省训练时间；在第二阶段中，将验证集数据合并入训练集数据中进行训练，当验证集损失值小于第一阶段训练集损失值时提前结束训练，最大迭代次数仍为800；记录第二次迭代过程中验证集损失值最低时的模型，用其预测测试集样本，记录测试集准确率；对9个受试者分别进行上述模型训练和测试，得到9组测试集准确率，记录其平均值作为最终的模型准确率；
实验中所有方法的训练均采用交叉熵损失函数，以Adam方法作为优化器，学习率均设为0.001，其余参数使用Adam方法的默认值；批训练的批大小batch size均设为64。
5.根据权利要求1所述的基于迁移学习并行多尺度滤波器组时域卷积的运动想象脑电信号分类方法，其特征在于：
步骤4：将步骤1中的测试集输入到步骤4中已训练好的模型中进行分类识别，并评价分类的准确度。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310218152.8A CN116522106A (zh) | 2023-03-08 | 2023-03-08 | 一种基于迁移学习并行多尺度滤波器组时域卷积的运动想象脑电信号分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310218152.8A CN116522106A (zh) | 2023-03-08 | 2023-03-08 | 一种基于迁移学习并行多尺度滤波器组时域卷积的运动想象脑电信号分类方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN116522106A true CN116522106A (zh) | 2023-08-01 |
Family
ID=87398259
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310218152.8A Pending CN116522106A (zh) | 2023-03-08 | 2023-03-08 | 一种基于迁移学习并行多尺度滤波器组时域卷积的运动想象脑电信号分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116522106A (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117390542A (zh) * | 2023-10-13 | 2024-01-12 | 上海韶脑传感技术有限公司 | 一种基于域泛化的跨被试运动想象脑电建模方法 |
-
2023
- 2023-03-08 CN CN202310218152.8A patent/CN116522106A/zh active Pending
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117390542A (zh) * | 2023-10-13 | 2024-01-12 | 上海韶脑传感技术有限公司 | 一种基于域泛化的跨被试运动想象脑电建模方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114266276B (zh) | 一种基于通道注意力和多尺度时域卷积的运动想象脑电信号分类方法 | |
| Jindal et al. | An adaptive deep learning approach for PPG-based identification | |
| Everson et al. | BiometricNet: Deep learning based biometric identification using wrist-worn PPG | |
| CN110353702A (zh) | 一种基于浅层卷积神经网络的情感识别方法及系统 | |
| CN109645989B (zh) | 一种麻醉深度估计系统 | |
| CN107958213A (zh) | 一种基于脑机接口辅助康复医疗的共空间模式与深度学习方法 | |
| CN112043473B (zh) | 智能假肢脑-肌电融合感知的并行嵌套与自主择优分类器 | |
| CN113180692B (zh) | 一种基于特征融合和注意力机制的脑电信号分类识别方法 | |
| Thomas et al. | Adaptive tracking of discriminative frequency components in electroencephalograms for a robust brain–computer interface | |
| CN101828921A (zh) | 基于视觉诱发脑电vep的身份识别方法 | |
| CN113269048A (zh) | 基于深度学习和混合噪声数据增强的运动想象脑电信号分类方法 | |
| CN112450885B (zh) | 一种面向癫痫脑电的识别方法 | |
| CN116304815A (zh) | 一种基于自注意力机制和并行卷积的运动想象脑电信号分类方法 | |
| Abibullaev et al. | A brute-force CNN model selection for accurate classification of sensorimotor rhythms in BCIs | |
| CN111297327B (zh) | 一种睡眠分析方法、系统、电子设备及存储介质 | |
| CN112932501A (zh) | 一种基于一维卷积神经网络自动识别失眠方法 | |
| CN116522106A (zh) | 一种基于迁移学习并行多尺度滤波器组时域卷积的运动想象脑电信号分类方法 | |
| CN115456016A (zh) | 一种基于胶囊网络的运动想象脑电信号识别方法 | |
| CN114081505A (zh) | 基于皮尔逊相关系数和卷积神经网络的脑电信号识别方法 | |
| CN113128384A (zh) | 一种基于深度学习的脑卒中康复系统脑机接口软件关键技术方法 | |
| CN116910464A (zh) | 一种肌电信号假肢手控制系统及方法 | |
| CN116236209A (zh) | 一种单侧上肢运动态下力度变化运动想象脑电特征识别方法 | |
| CN115270847A (zh) | 基于小波包分解和卷积神经网络的设计决策脑电识别方法 | |
| CN114569143A (zh) | 一种基于注意力机制与多特征融合的肌电手势识别方法 | |
| Narudin et al. | Brainwave Classification of Task Performed by Stroke Patients using AN |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |