CN110163180A - 运动想象脑电数据分类方法及系统 - Google Patents

运动想象脑电数据分类方法及系统 Download PDF

Info

Publication number
CN110163180A
CN110163180A CN201910455125.6A CN201910455125A CN110163180A CN 110163180 A CN110163180 A CN 110163180A CN 201910455125 A CN201910455125 A CN 201910455125A CN 110163180 A CN110163180 A CN 110163180A
Authority
CN
China
Prior art keywords
data
convolutional layer
layer
inception
mental imagery
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910455125.6A
Other languages
English (en)
Inventor
李奇
陆沛君
高宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Changchun Spade Technology Co Ltd
Original Assignee
Changchun Spade Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Changchun Spade Technology Co Ltd filed Critical Changchun Spade Technology Co Ltd
Priority to CN201910455125.6A priority Critical patent/CN110163180A/zh
Publication of CN110163180A publication Critical patent/CN110163180A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08Feature extraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及运动想象脑电数据分类方法,包括:采集被试者执行运动想象任务时产生的运动想象脑电信号,得到原始脑电数据;对原始脑电数据进行数据预处理,得到预处理后的数据;将预处理后的数据划分为训练集和测试集;建立inception深度神经网络模型,并将训练集输入到inception深度神经网络模型进行训练,得到训练好的模型;利用验证集对训练好的模型进行测试,判断训练好的模型是否在验证集上达到最优,若是,则将测试集数据输入到最优模型,得到分类结果。本发明将inception模块与卷积神经网络相结合,建立inception深度神经网络模型,能够高效的利用计算资源,降低计算复杂度,提高神经网络的分类效果。

Description

运动想象脑电数据分类方法及系统
技术领域
本发明涉及脑机接口技术领域,特别是涉及一种运动想象脑电数据分类方法及系统。
背景技术
目前分类运动想象脑电信号的方法大多数基于手工提取的特征,由于手工提取脑电信的特征常常存在冗余,因此提取到一系列的特征可以看成是稀疏矩阵。如何有效利用稀疏特征矩阵中的有效信息是一个需要解决的问题。目前的深度学习网络有越来越深的趋势,也就是网络的层数越来越多。增加网络层数虽然可以提高准确率,但是网络中所包含的参数数量也呈指数增长,由此会花费更大的计算成本网络也更加难以收敛。本专利使用inception模块将稀疏矩阵在特征维度上分解成密集矩阵再计算,可以减少冗余特征以及加快网络收敛速度,并且能够实现自动特征提取和分类,将研究人员从繁琐的特征提取工作中解放出来。
传统运动想象脑电信号分类方法包含特征提取和分类两个部分,其中应用较为广泛的特征提取方法有共空间模式、滤波器组共空间模式和主成分分析等方法,应用较为广泛的分类器有支持向量机、线性判别分类器和贝叶斯分类器等。传统分类运动想象脑电信号的方法大多数基于手工提取的特征,脑电信号的非平稳性使得手工提取特征十分繁琐和复杂,而且手工提取到的特征往往存在冗余的情况,这使得分类器不能有效地分类脑电信号。
近年来深度学习受到了人们的广泛关注,2012年Hinton团队使用名为AlexNet的卷积神经网络在ImageNet图像分类竞赛中获得冠军,深度学习的热潮由此掀起。目前的深度学习网络有越来越深的趋势,也就是网络的层数越来越多,例如VGGNet16、VGGNet19、NSRANet等。随着网络层数的增加,模型效果会由好变坏,而且网络深度的增加会带来很多副作用,比如过拟合、梯度消失、梯度爆炸等。
发明内容
基于此,有必要针对手工提取的特征不利于分类器进行有效的脑电信号分类以及深度学习网络层数增加而引起分类效果变差的问题,提供一种运动想象脑电数据分类方法及系统。本发明中所提出的inception深度神经网络模型从增加网络宽度的角度出发,能够避免上述问题的出现,并且能够高效的利用计算资源,使模型在相同计算量下能够提取到更多的特征,从而提高训练效果,进而提高分类效果。
为解决上述问题,本发明采取如下的技术方案:
一种运动想象脑电数据分类方法,该方法包括以下步骤:
采集被试者执行运动想象任务时产生的运动想象脑电信号,得到原始脑电数据;
对所述原始脑电数据进行数据预处理,得到预处理后的数据;
将所述预处理后的数据划分为训练集、验证集和测试集;
建立inception深度神经网络模型,并将所述训练集输入到所述inception深度神经网络模型进行训练,得到训练好的模型;
利用所述验证集对所述训练好的模型进行测试,判断所述训练好的模型是否在所述验证集上达到最优,若是,则将所述测试集输入到最优模型,得到分类结果。
相应地,本发明还提出一种运动想象脑电数据分类系统,该系统包括:
采集模块,用于采集被试者执行运动想象任务时产生的运动想象脑电信号,得到原始脑电数据;
预处理模块,用于对所述原始脑电数据进行数据预处理,得到预处理后的数据;
数据划分模块,用于将所述预处理后的数据划分为训练集、验证集和测试集;
inception深度神经网络模型模块,用于建立inception深度神经网络模型,并将所述训练集输入到所述inception深度神经网络模型进行训练,得到训练好的模型;
测试及分类模块,用于利用所述验证集对所述训练好的模型进行测试,判断所述训练好的模型是否在所述验证集上达到最优,若是,则将所述测试集输入到最优模型,得到分类结果。
与现有技术相比,本发明具有以下有益效果:
本发明所提出的运动想象脑电数据分类方法及系统将inception模块应用于深度网络的设计中,将inception模块与传统的卷积神经网络相结合,建立inception深度神经网络模型,该模型网络能够进行自动的特征提取和分类,与单纯的堆叠深度网络层数的方法相比,本发明能够高效的利用计算资源,降低计算复杂度,在相同计算量的情况下能够提取到更多的特征,在保证计算资源使用效率的情况下提高神经网络的分类效果。
附图说明
图1为本发明其中一个实施例中运动想象脑电数据分类方法的流程示意图;
图2为inception深度神经网络模型中inception层的示意图;
图3为inception深度神经网络模型的训练和测试流程图。
具体实施方式
下面将结合附图及较佳实施例对本发明的技术方案进行详细描述。
在其中一个实施例中,如图1所示,本发明公开一种运动想象脑电数据分类方法,该方法包括以下步骤:
采集被试者执行运动想象任务时产生的运动想象脑电信号,得到原始脑电数据;
对原始脑电数据进行数据预处理,得到预处理后的数据;
将预处理后的数据划分为训练集、验证集和测试集;
建立inception深度神经网络模型,并将训练集输入到inception深度神经网络模型进行训练,得到训练好的模型;
利用验证集对训练好的模型进行测试,判断训练好的模型是否在验证集上达到最优,若是,则将测试集输入到最优模型,得到分类结果。
具体地,在本实施例中,首先采集被试者的运动想象脑电信号,得到原始脑电数据。在该步骤中,可以采用Neuroscan公司的脑电采集系统采集被试者的脑电信号,采集时被试者按照要求执行运动想象任务,常见的运动想象任务包括想象左右手运动、左右脚运动、舌动等。
获得原始脑电数据后,对原始脑电数据进行数据预处理,得到预处理后的数据,预处理后的数据供inception深度神经网络模型训练和分类使用。
进一步地,数据预处理包括去伪迹处理、基线校正、带通滤波处理、截取操作、数据扩充以及短时傅里叶变换等过程。对获得的原始脑电数据进行去眼电和心电伪迹处理,得到伪迹处理后的数据;对伪迹处理后的数据进行基线校正,得到校正后的数据;对校正后的数据进行带通滤波处理,得到滤波后的数据,例如,可以利用频带范围为8Hz-35Hz的带通滤波器对校正后的数据进行带通滤波,来提取脑电信号的μ和β频段;对滤波后的数据进行截取操作,选取从提示被试者执行运动想象任务开始时到被试者执行运动想象任务结束这一时间段的脑电数据,得到截取后的数据;利用滑窗对截取后的数据进行数据扩充,具体是使用滑窗沿着截取后的脑电数据的时间轴进行滑动来切割脑电信号进行数据扩充,得到扩充后的数据,其中滑窗可以采用矩形窗、海明窗或者汉宁窗等,优选地,本实施例采用海明窗作为窗函数,窗函数的大小为64,重叠点数为10;接下来将扩充后的脑电数据转换为频谱图,即对扩充后的数据进行短时傅里叶变换,得到频谱图集合,频谱图集合即为对原始脑电数据进行数据预处理后得到的预处理后的数据。本实施例中短时傅里叶变换的原理是在时域中用窗函数g(t)去截源信号x(τ),对截下来的局部信号做傅里叶变换。不断地移动窗函数的中心位置得到不同时刻的傅里叶变换,这些傅里叶变换的集合即为短时傅里叶变换的结果。利用短时傅里叶变换生成的频谱图进行建模分析,这些频谱图的集合称为预处理后的数据。
对预处理后的数据进行划分,划分成训练集、验证集和测试集,其中测试集用于对inception深度神经网络模型进行训练,验证集则用于调整训练好的模型的超参数和初步评估训练好的模型的能力,测试集用于评估最优模型的泛化能力。在划分时,可以将训练集、验证集和测试集按照7:2:1的比例进行划分,也就是全部预处理后的数据的70%作为训练集,20%作为验证集,其余10%作为测试集,或者也可以采用其他比例对预处理后的数据进行划分。
建立inception深度神经网络模型,并将训练集输入到inception深度神经网络模型进行训练,确定最优模型。根据脑电数据的特征,本实施例设计一个inception模块和卷积神经网络相结合的新深度神经网络(即inception深度神经网络模型)用于运动想象脑电数据的分类,inception深度神经网络模型网络的具体设计如下:
1)输入层
使用频谱图作为网络输入,输入频谱图的大小为Nh×Nw,其中Nh为频谱图的长度,Nw为频谱图的宽度。在网络训练之前,对频谱图即预处理后的数据进行归一化处理,使得每个训练样本均值为0、标准方差为1,归一化处理后的数据作为输入层的输入。
2)卷积层
设计卷积层,对数据进行时域和空域滤波。卷积层对归一化处理后的数据进行卷积操作,并输出特征图至inception层。
卷积层的前向传播的计算如下:其中是第l层的第j个特征图,是第l层的卷积核的权重矩阵,f(a)是激活函数,为偏置,Mj为一系列输入特征图。
卷积层的网络误差更新过程包括以下步骤:
首先,选择损失函数,损失函数可以为交叉熵损失函数,公式如下:
L(Yi,yi)=-(yilogYi+(1-yi)log(1-Yi))
其中,Yi为预测标签,yi为实际标签,损失函数计算预测标签与实际标签的差距。
接下来,计算代价函数,代价函数的公式为:
其中,m为样本数量,L()为损失函数。
接下来,计算权重的梯度,公式为:
dwl=(wl+1dzl+1*fl′(zl))·al-1
其中,al-1为第l层的输入,fl′()为第l层激活函数的导数,wl+1为第l+1层的权重矩阵,zl代表第l隐藏层,zl=wl·al-1+bl,dzl+1为第l+1隐藏层的导数。本实施例中卷积层使用ReLU函数作为激活函数。
然后,计算偏置的梯度,公式为:
dbl=wl+1dzl+1*fl′(zl)
其中,wl+1为第l+1层的权重矩阵,zl代表第l隐藏层,zl=wl·al-1+bl,dzl+1为第l+1隐藏层的导数,fl′()为第l层激活函数的导数。本实施例中卷积层使用ReLU函数作为激活函数,ReLU函数的表达式为:f(z)=ln(1+ez)。
最后,更新权重和偏置:wl=wl-αdwl,bl=bl-αdbl,dwl为第l层的权重的梯度,dbl为第l层的偏置的梯度,α为学习率。
3)inception层
inception层包括四个并行层,如图2所示,分别为卷积层L21、卷积层L22、卷积层L23和最大池化层L24,卷积层L21、卷积层L22、卷积层L23和最大池化层L24的卷积核大小分别为1×1、3×3、5×5和3×3,在卷积层L22的前面设有一个大小为1×1的卷积层L22’,在卷积层L23的前面设有一个大小为1×1的卷积层L23’,在最大池化层L24的后面设有一个大小为1×1的卷积层L24’,将卷积层L21、卷积层L22、卷积层L23和卷积层L24’输出的特征图在特征维度上拼接起来,得到拼接后的特征图,并将拼接后的特征图输出至池化层。采用不同大小的卷积核意味着不同大小的感受野,在相同尺寸的感受野中叠加更多的卷积,能提取到更丰富的特征,最后的拼接操作将不同尺度特征的进行融合。本实施例使用1x1卷积进行降维,减少了网络中参数的数量,降低了计算复杂度,图2中卷积层L22、卷积层L23前的1x1卷积和最大池化层L24后的1x1卷积都起到了这个作用。Inception层中的卷积和池化操作全部使用ReLU作为激活函数,填充方式设置为same。Inception层中的所有卷积操作的计算以及与误差更新过程均与卷积层相同。
4)池化层
对inception层输出的拼接后的特征图进行下采样,实现二次特征提取。池化层的池化操作的计算如下:其中down()是下采样操作,f()是池化层的激活函数。
5)全连接层
全连接层用于将每个神经元与其前一层的所有神经元进行全连接,整合池化层中具有类别区分性的局部信息。
6)输出层
输出层用于输出分类结果。输出层使用sigmod函数进行分类,sigmod函数公式如下:
本实施例所提出的inception深度神经网络模型可以使用迁移学习拓展到对运动想象公共数据库的脑电数据进行分类。
建立上述inception深度神经网络模型后,利用训练集、验证集和测试集对inception深度神经网络模型进行训练和测试,其过程如图3所示:设置模型初始参数,模型初始参数包括学习率、迭代次数和批样本量等;将训练集输入到inception深度神经网络模型开始进行训练;开始训练后,判断迭代次数是否达到预先设置的迭代次数,若是,则输出训练好的模型,若否,则继续进行训练;将验证集数据输入到训练好的模型中测试模型性能,判断训练好的模型是否在验证集上达到最优,例如可以通过正确率来衡量模型是否达到最优等,若是,则将测试集输入到最优模型(即在验证集上达到最优的训练好的模型),最终输出分类结果,若训练好的模型在验证集上没有达到最优,则调整模型及参数(如卷积核尺寸,网络层数,学习率,迭代次数和批样本量等),然后利用训练集重新训练inception深度神经网络模型。在将训练集输入到inception深度神经网络模型中进行训练时,可能需经过反复多次调整模型的初始参数才能确定训练集上的最优模型。
本实施例所提出的运动想象脑电数据分类方法将inception模块应用于深度网络的设计中,将inception模块与传统的卷积神经网络相结合设计了一个能够产生稠密数据的稀疏网络结构来对运动想象脑电数据进行分类,即建立了inception深度神经网络模型,该模型网络能够进行自动的特征提取和分类,将研究者从复杂繁琐的手工特征提取中解放了出来,与单纯的堆叠深度网络层数的方法相比,该分类方法能够高效的利用计算资源,降低计算复杂度,在相同计算量的情况下能够提取到更多的特征,在保证计算资源使用效率的情况下提高神经网络的分类效果。
在另一个实施例中,本发明还公开一种运动想象脑电数据分类系统,该系统包括:
采集模块,用于采集被试者执行运动想象任务时产生的运动想象脑电信号,得到原始脑电数据;
预处理模块,用于对原始脑电数据进行数据预处理,得到预处理后的数据;
数据划分模块,用于将预处理后的数据划分为训练集和测试集;
inception深度神经网络模型模块,用于建立inception深度神经网络模型,并将训练集输入到inception深度神经网络模型进行训练,得到训练好的模型;
测试及分类模块,用于利用验证集对训练好的模型进行测试,判断训练好的模型是否在验证集上达到最优,若是,则将测试集数据输入到最优模型,得到分类结果。
具体地,在本实施例中,采集模块采集被试者的运动想象脑电信号,得到原始脑电数据。采集模块可以采用Neuroscan公司的脑电采集系统,脑电采集系统采集时被试者按照要求执行运动想象任务,常见的运动想象任务包括想象左右手运动、左右脚运动、舌动等。
预处理模块对采集模块采集得到的原始脑电数据进行数据预处理,得到预处理后的数据,预处理后的数据供inception深度神经网络模型训练和分类使用。
进一步地,预处理模块包括去伪迹子模块、基线校正子模块、滤波子模块、截取子模块、数据扩充子模块以及变换子模块。去伪迹子模块用于对采集模块采集得到的原始脑电数据进行去眼电和心电伪迹处理,得到伪迹处理后的数据;基线校正子模块用于对伪迹处理后的数据进行基线校正,得到校正后的数据;滤波子模块用于对校正后的数据进行带通滤波处理,得到滤波后的数据,例如,滤波子模块可以采用频带范围为8Hz-35Hz的带通滤波器,利用该带通滤波器来提取脑电信号的μ和β频段;截取子模块用于对滤波后的数据进行截取操作,选取从提示被试者执行运动想象任务开始时到被试者执行运动想象任务结束这一时间段的脑电数据,得到截取后的数据;数据扩充子模块用于利用滑窗对截取后的数据进行数据扩充,具体是使用滑窗沿着截取后的脑电数据的时间轴进行滑动来切割脑电信号进行数据扩充,得到扩充后的数据,其中滑窗可以采用矩形窗、海明窗或者汉宁窗等,优选地,本实施例采用海明窗作为窗函数,窗函数的大小为64,重叠点数为10;变换子模块用于将扩充后的脑电数据转换为频谱图,即对扩充后的数据进行短时傅里叶变换,得到频谱图集合,频谱图集合即为对原始脑电数据进行数据预处理后得到的预处理后的数据。本实施例中变换子模块进行短时傅里叶变换的原理是在时域中用窗函数g(t)去截源信号x(τ),对截下来的局部信号做傅里叶变换。不断地移动窗函数的中心位置得到不同时刻的傅里叶变换,这些傅里叶变换的集合即为短时傅里叶变换的结果。利用短时傅里叶变换生成的频谱图进行建模分析,这些频谱图的集合称为预处理后的数据。
数据划分模块用于对预处理后的数据进行划分,划分成训练集、验证集和测试集,其中测试集用于对inception深度神经网络模型进行训练,验证集用于调整训练好的模型的超参数和初步评估训练好的模型的能力,测试集用于评估最优模型的泛化能力。数据划分模块在划分时,可以将训练集、验证集和测试集按照7:2:1的比例进行划分,也就是全部预处理后的数据的70%作为训练集,20%作为验证集,其余10%作为测试集,或者也可以采用其他比例对预处理后的数据进行划分。
inception深度神经网络模型模块用于建立inception深度神经网络模型,并将训练集输入到inception深度神经网络模型进行训练,确定最优模型。根据脑电数据的特征,本实施例设计一个inception模块和卷积神经网络相结合的新深度神经网络(即inception深度神经网络模型)用于运动想象脑电数据的分类,inception深度神经网络模型网络的具体设计如下:
1)输入层
使用频谱图作为网络输入,输入频谱图的大小为Nh×Nw,其中Nh为频谱图的长度,Nw为频谱图的宽度。在网络训练之前,对频谱图即预处理后的数据进行归一化处理,使得每个训练样本均值为0、标准方差为1,归一化处理后的数据作为输入层的输入。
2)卷积层
设计卷积层,对数据进行时域和空域滤波。卷积层对归一化处理后的数据进行卷积操作,并输出特征图至inception层。
卷积层的前向传播的计算如下:其中是第l层的第j个特征图,是第l层的卷积核的权重矩阵,f(a)是激活函数,为偏置,Mj为一系列输入特征图。
卷积层的网络误差更新过程包括以下步骤:
首先,选择损失函数,损失函数可以为交叉熵损失函数,公式如下:
L(Yi,yi)=-(yilogYi+(1-yi)log(1-Yi))
其中,Yi为预测标签,yi为实际标签,损失函数计算预测标签与实际标签的差距。
接下来,计算代价函数,代价函数的公式为:
其中,m为样本数量,L()为损失函数。
接下来,计算权重的梯度,公式为:
dwl=(wl+1dzl+1*fl′(zl))·al-1
其中,al+1为第l层的输入,fl′()为第l层激活函数的导数,wl+1为第l+1层的权重矩阵,zl代表第l隐藏层,zl=wl·al-1+bl,dzl+1为第l+1隐藏层的导数。本实施例中卷积层使用ReLU函数作为激活函数。
然后,计算偏置的梯度,公式为:
dbl=wl+1dzl+1*fl′(zl)
其中,wl+1为第l+1层的权重矩阵,zl代表第l隐藏层,zl=wl·al-1+bl,dzl+1为第l+1隐藏层的导数,fl′()为第l层激活函数的导数。本实施例中卷积层使用ReLU函数作为激活函数,ReLU函数的表达式为:f(z)=ln(1+ez)。
最后,更新权重和偏置:wl=wl-αdwl,bl=bl-αdbl,dwl为第l层的权重的梯度,dbl为第l层的偏置的梯度,α为学习率。
3)inception层
inception层包括四个并行层,如图2所示,分别为卷积层L21、卷积层L22、卷积层L23和最大池化层L24,卷积层L21、卷积层L22、卷积层L23和最大池化层L24的卷积核大小分别为1×1、3×3、5×5和3×3,在卷积层L22的前面设有一个大小为1×1的卷积层L22’,在卷积层L23的前面设有一个大小为1×1的卷积层L23’,在最大池化层L24的后面设有一个大小为1×1的卷积层L24’,将卷积层L21、卷积层L22、卷积层L23和卷积层L24’输出的特征图在特征维度上拼接起来,得到拼接后的特征图,并将拼接后的特征图输出至池化层。采用不同大小的卷积核意味着不同大小的感受野,在相同尺寸的感受野中叠加更多的卷积,能提取到更丰富的特征,最后的拼接操作将不同尺度特征的进行融合。本实施例使用1x1卷积进行降维,减少了网络中参数的数量,降低了计算复杂度,图2中卷积层L22、卷积层L23前的1x1卷积和最大池化层L24后的1x1卷积都起到了这个作用。Inception层中的卷积和池化操作全部使用ReLU作为激活函数,填充方式设置为same。Inception层中的所有卷积操作的计算以及与误差更新过程均与卷积层相同。
4)池化层
对inception层输出的拼接后的特征图进行下采样,实现二次特征提取。池化层的池化操作的计算如下:其中down()是下采样操作,f()是池化层的激活函数。
5)全连接层
全连接层用于将每个神经元与其前一层的所有神经元进行全连接,整合池化层中具有类别区分性的局部信息。
6)输出层
输出层用于输出分类结果。输出层使用sigmod函数进行分类,sigmod函数公式如下:
inception深度神经网络模型模块建立上述inception深度神经网络模型并得到训练好的模型,测试及分类模块利用验证集对训练好的模型进行测试,判断训练好的模型是否在验证集上达到最优,若是,则将测试集数据输入到最优模型,得到分类结果。
inception深度神经网络模型模块和测试及分类模块利用训练集和测试集对inception深度神经网络模型进行训练和测试的过程如图3所示:设置模型初始参数,模型初始参数包括学习率、迭代次数和批样本量等;将训练集输入到inception深度神经网络模型开始进行训练;开始训练后,判断迭代次数是否达到预先设置的迭代次数,若是,则输出训练好的模型,若否,则继续进行训练;将验证集数据输入到训练好的模型中测试模型性能,判断训练好的模型是否在验证集上达到最优,例如可以通过正确率来衡量模型是否达到最优等,若是,则将测试集输入到最优模型(即在验证集上达到最优的训练好的模型),最终输出分类结果,若训练好的模型在验证集上没有达到最优,则调整模型及参数(如卷积核尺寸,网络层数,学习率,迭代次数和批样本量等),然后利用训练集重新训练inception深度神经网络模型。在将训练集输入到inception深度神经网络模型中进行训练时,可能需经过反复多次调整模型的初始参数才能确定训练集上的最优模型。本发明运动想象脑电数据分类系统中各个模块其具体功能的实现方法,可以参照上述的运动想象脑电数据分类方法实施例中描述的实现方法,此处不再赘述。
本实施例所提出的运动想象脑电数据分类系统将inception模块应用于深度网络的设计中,将inception模块与传统的卷积神经网络相结合设计了一个能够产生稠密数据的稀疏网络结构来对运动想象脑电数据进行分类,即建立了inception深度神经网络模型,该模型网络能够进行自动的特征提取和分类,将研究者从复杂繁琐的手工特征提取中解放了出来,与单纯的堆叠深度网络层数的方法相比,该分类系统能够高效的利用计算资源,降低计算复杂度,在相同计算量的情况下能够提取到更多的特征,在保证计算资源使用效率的情况下提高神经网络的分类效果。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种运动想象脑电数据分类方法,其特征在于,包括以下步骤:
采集被试者执行运动想象任务时产生的运动想象脑电信号,得到原始脑电数据;
对所述原始脑电数据进行数据预处理,得到预处理后的数据;
将所述预处理后的数据划分为训练集、验证集和测试集;
建立inception深度神经网络模型,并将所述训练集输入到所述inception深度神经网络模型进行训练,得到训练好的模型;
利用所述验证集对所述训练好的模型进行测试,判断所述训练好的模型是否在所述验证集上达到最优,若是,则将所述测试集输入到最优模型,得到分类结果。
2.根据权利要求1所述的运动想象脑电数据分类方法,其特征在于,对所述原始脑电数据进行数据预处理,得到预处理后的数据的过程包括以下步骤:
对所述原始脑电数据进行去眼电和心电伪迹处理,得到伪迹处理后的数据;
对所述伪迹处理后的数据进行基线校正,得到校正后的数据;
对所述校正后的数据进行带通滤波处理,得到滤波后的数据;
对滤波后的数据进行截取操作,得到截取后的数据;
利用滑窗对截取后的数据进行数据扩充,得到扩充后的数据;
对扩充后的数据进行短时傅里叶变换,得到频谱图集合,所述频谱图集合即为所述预处理后的数据。
3.根据权利要求1或2所述的运动想象脑电数据分类方法,其特征在于,所述inception深度神经网络模型包括输入层、卷积层、inception层、池化层、全连接层和输出层;
对所述预处理后的数据进行归一化处理,归一化处理后的数据作为所述输入层的输入;
所述卷积层对归一化处理后的数据进行卷积操作,并输出特征图至所述inception层;
所述inception层包括四个并行层,分别为卷积层L21、卷积层L22、卷积层L23和最大池化层L24,在所述卷积层L22的前面设有一个大小为1×1的卷积层L22’,在所述卷积层L23的前面设有一个大小为1×1的卷积层L23’,在所述最大池化层L24的后面设有一个大小为1×1的卷积层L24’,将卷积层L21、卷积层L22、卷积层L23和卷积层L24’输出的特征图进行拼接,得到拼接后的特征图,并将所述拼接后的特征图输出至所述池化层;
所述池化层用于对所述拼接后的特征图进行下采样;
所述全连接层用于将每个神经元与其前一层的所有神经元进行全连接;
所述输出层用于输出分类结果。
4.根据权利要求3所述的运动想象脑电数据分类方法,其特征在于,
所述卷积层L21、所述卷积层L22、所述卷积层L23和所述最大池化层L24的卷积核大小分别为1×1、3×3、5×5和3×3。
5.根据权利要求3所述的运动想象脑电数据分类方法,其特征在于,所述卷积层的网络误差更新过程包括以下步骤:
步骤一:选择损失函数;
步骤二:计算代价函数;
步骤三:计算权重的梯度;
步骤四:计算偏置的梯度;
步骤五:更新权重和偏置。
6.一种运动想象脑电数据分类系统,其特征在于,包括:
采集模块,用于采集被试者执行运动想象任务时产生的运动想象脑电信号,得到原始脑电数据;
预处理模块,用于对所述原始脑电数据进行数据预处理,得到预处理后的数据;
数据划分模块,用于将所述预处理后的数据划分为训练集、验证集和测试集;
inception深度神经网络模型模块,用于建立inception深度神经网络模型,并将所述训练集输入到所述inception深度神经网络模型进行训练,得到训练好的模型;
测试及分类模块,用于利用所述验证集对所述训练好的模型进行测试,判断所述训练好的模型是否在所述验证集上达到最优,若是,则将所述测试集输入到最优模型,得到分类结果。
7.根据权利要求6所述的运动想象脑电数据分类系统,其特征在于,所述预处理模块包括:
去伪迹子模块,用于对所述原始脑电数据进行去眼电和心电伪迹处理,得到伪迹处理后的数据;
基线校正子模块,用于对所述伪迹处理后的数据进行基线校正,得到校正后的数据;
滤波子模块,用于对所述校正后的数据进行带通滤波处理,得到滤波后的数据;
截取子模块,用于对滤波后的数据进行截取操作,得到截取后的数据;
数据扩充子模块,用于利用滑窗对截取后的数据进行数据扩充,得到扩充后的数据;
变换子模块,用于对扩充后的数据进行短时傅里叶变换,得到频谱图集合,所述频谱图集合即为所述预处理后的数据。
8.根据权利要求6或7所述的运动想象脑电数据分类系统,其特征在于,所述inception深度神经网络模型包括输入层、卷积层、inception层、池化层、全连接层和输出层;
对所述预处理后的数据进行归一化处理,归一化处理后的数据作为所述输入层的输入;
所述卷积层对归一化处理后的数据进行卷积操作,并输出特征图至所述inception层;
所述inception层包括四个并行层,分别为卷积层L21、卷积层L22、卷积层L23和最大池化层L24,在所述卷积层L22的前面设有一个大小为1×1的卷积层L22’,在所述卷积层L23的前面设有一个大小为1×1的卷积层L23’,在所述最大池化层L24的后面设有一个大小为1×1的卷积层L24’,将卷积层L21、卷积层L22、卷积层L23和卷积层L24’输出的特征图进行拼接,得到拼接后的特征图,并将所述拼接后的特征图输出至所述池化层;
所述池化层用于对所述拼接后的特征图进行下采样;
所述全连接层用于将每个神经元与其前一层的所有神经元进行全连接;
所述输出层用于输出分类结果。
9.根据权利要求8所述的运动想象脑电数据分类系统,其特征在于,
所述卷积层L21、所述卷积层L22、所述卷积层L23和所述最大池化层L24的卷积核大小分别为1×1、3×3、5×5和3×3。
10.根据权利要求8所述的运动想象脑电数据分类系统,其特征在于,所述卷积层的网络误差更新过程包括以下步骤:
步骤一:选择损失函数;
步骤二:计算代价函数;
步骤三:计算权重的梯度;
步骤四:计算偏置的梯度;
步骤五:更新权重和偏置。
CN201910455125.6A 2019-05-29 2019-05-29 运动想象脑电数据分类方法及系统 Pending CN110163180A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910455125.6A CN110163180A (zh) 2019-05-29 2019-05-29 运动想象脑电数据分类方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910455125.6A CN110163180A (zh) 2019-05-29 2019-05-29 运动想象脑电数据分类方法及系统

Publications (1)

Publication Number Publication Date
CN110163180A true CN110163180A (zh) 2019-08-23

Family

ID=67629861

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910455125.6A Pending CN110163180A (zh) 2019-05-29 2019-05-29 运动想象脑电数据分类方法及系统

Country Status (1)

Country Link
CN (1) CN110163180A (zh)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110507288A (zh) * 2019-08-29 2019-11-29 重庆大学 基于一维卷积神经网络的视觉诱导晕动症检测方法
CN110765920A (zh) * 2019-10-18 2020-02-07 西安电子科技大学 基于卷积神经网络的运动想象分类方法
CN110796175A (zh) * 2019-09-30 2020-02-14 武汉大学 一种基于轻量卷积神经网络的脑电数据的在线分类方法
CN111012336A (zh) * 2019-12-06 2020-04-17 重庆邮电大学 时空特征融合的并行卷积网络运动想象脑电图分类方法
CN111202517A (zh) * 2020-02-03 2020-05-29 山东师范大学 一种睡眠自动分期方法、系统、介质及电子设备
CN111242098A (zh) * 2020-02-27 2020-06-05 西安交通大学 一种结合特征提取和inception网络的心电数据分类方法及系统
CN111310783A (zh) * 2020-01-05 2020-06-19 天津大学 基于脑电微状态特征与神经网络模型的言语状态检测方法
CN111523520A (zh) * 2020-06-11 2020-08-11 齐鲁工业大学 利用CycleGAN分析包含运动想象脑卒中患者脑电信号的方法
CN111882036A (zh) * 2020-07-22 2020-11-03 广州大学 卷积神经网络训练方法、脑电信号识别方法、装置和介质
CN111931656A (zh) * 2020-08-11 2020-11-13 西安交通大学 基于迁移学习的用户独立型运动想象分类模型训练方法
CN112006678A (zh) * 2020-09-10 2020-12-01 齐鲁工业大学 基于AlexNet和迁移学习相结合的心电图异常识别方法及系统
CN112784892A (zh) * 2021-01-14 2021-05-11 重庆兆琨智医科技有限公司 一种脑电运动意图识别方法及系统
CN112932501A (zh) * 2021-01-25 2021-06-11 上海海事大学 一种基于一维卷积神经网络自动识别失眠方法
CN113239734A (zh) * 2021-04-15 2021-08-10 中南大学 基于stft和卷积神经网络的模式识别方法、系统和介质
CN113297994A (zh) * 2021-05-31 2021-08-24 中国航天科工集团第二研究院 一种飞行员行为分析方法及系统
CN113361484A (zh) * 2020-09-29 2021-09-07 中国人民解放军军事科学院国防科技创新研究院 针对eeg信号分类任务的深度学习网络架构搜索方法
CN113491506A (zh) * 2021-08-06 2021-10-12 中科搏锐(北京)科技有限公司 一种基于深度卷积网络的脑电信号处理方法及其设备
CN113625769A (zh) * 2021-09-07 2021-11-09 中国人民解放军军事科学院军事医学研究院 一种基于脑电信号的无人机编队多模态控制系统
CN114391827A (zh) * 2022-01-06 2022-04-26 普昶钦 一种基于卷积神经网络的院前肺气肿诊断装置
CN114533083A (zh) * 2022-01-24 2022-05-27 江苏省人民医院(南京医科大学第一附属医院) 基于多融合式卷积神经网络的运动想象状态识别方法
CN114818803A (zh) * 2022-04-25 2022-07-29 上海韶脑传感技术有限公司 基于神经元优化的单侧肢体患者运动想象脑电建模方法
CN116058852A (zh) * 2023-03-09 2023-05-05 同心智医科技(北京)有限公司 Mi-eeg信号的分类系统、方法、电子设备及存储介质
CN116849942A (zh) * 2023-07-28 2023-10-10 中国医学科学院生物医学工程研究所 一种脑控智能升降翻身的多功能医疗护理床

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018118994A1 (en) * 2016-12-19 2018-06-28 The Board Of Trustees Of The Leland Stanford Junior University Machine learning based artifact rejection for transcranial magnetic stimulaiton electroencephalogram
CN108536154A (zh) * 2018-05-14 2018-09-14 重庆师范大学 基于生物电信号控制的低速自动驾驶智能轮椅构建方法
CN108960182A (zh) * 2018-07-19 2018-12-07 大连理工大学 一种基于深度学习的p300事件相关电位分类识别方法
CN109171753A (zh) * 2018-08-16 2019-01-11 广东工业大学 一种基于深度自编码神经网络的脑电信号eeg身份识别方法
CN109784211A (zh) * 2018-12-26 2019-05-21 西安交通大学 一种基于深度学习的运动想象脑电信号分类方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018118994A1 (en) * 2016-12-19 2018-06-28 The Board Of Trustees Of The Leland Stanford Junior University Machine learning based artifact rejection for transcranial magnetic stimulaiton electroencephalogram
CN108536154A (zh) * 2018-05-14 2018-09-14 重庆师范大学 基于生物电信号控制的低速自动驾驶智能轮椅构建方法
CN108960182A (zh) * 2018-07-19 2018-12-07 大连理工大学 一种基于深度学习的p300事件相关电位分类识别方法
CN109171753A (zh) * 2018-08-16 2019-01-11 广东工业大学 一种基于深度自编码神经网络的脑电信号eeg身份识别方法
CN109784211A (zh) * 2018-12-26 2019-05-21 西安交通大学 一种基于深度学习的运动想象脑电信号分类方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
BLUEOCEANS: "【转】CNN卷积神经网络_ GoogLeNet 之 Inception(V1-V4)", 《HTTPS://WWW.CNBLOGS.COM/HAIYANG21/P/7243200.HTML》 *

Cited By (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110507288A (zh) * 2019-08-29 2019-11-29 重庆大学 基于一维卷积神经网络的视觉诱导晕动症检测方法
CN110796175A (zh) * 2019-09-30 2020-02-14 武汉大学 一种基于轻量卷积神经网络的脑电数据的在线分类方法
CN110765920B (zh) * 2019-10-18 2023-03-24 西安电子科技大学 基于卷积神经网络的运动想象分类方法
CN110765920A (zh) * 2019-10-18 2020-02-07 西安电子科技大学 基于卷积神经网络的运动想象分类方法
CN111012336A (zh) * 2019-12-06 2020-04-17 重庆邮电大学 时空特征融合的并行卷积网络运动想象脑电图分类方法
CN111310783A (zh) * 2020-01-05 2020-06-19 天津大学 基于脑电微状态特征与神经网络模型的言语状态检测方法
CN111202517A (zh) * 2020-02-03 2020-05-29 山东师范大学 一种睡眠自动分期方法、系统、介质及电子设备
CN111202517B (zh) * 2020-02-03 2022-06-24 山东师范大学 一种睡眠自动分期方法、系统、介质及电子设备
CN111242098B (zh) * 2020-02-27 2022-04-22 西安交通大学 一种结合特征提取和inception网络的心电数据分类方法及系统
CN111242098A (zh) * 2020-02-27 2020-06-05 西安交通大学 一种结合特征提取和inception网络的心电数据分类方法及系统
CN111523520A (zh) * 2020-06-11 2020-08-11 齐鲁工业大学 利用CycleGAN分析包含运动想象脑卒中患者脑电信号的方法
CN111882036A (zh) * 2020-07-22 2020-11-03 广州大学 卷积神经网络训练方法、脑电信号识别方法、装置和介质
CN111882036B (zh) * 2020-07-22 2023-10-31 广州大学 卷积神经网络训练方法、脑电信号识别方法、装置和介质
CN111931656A (zh) * 2020-08-11 2020-11-13 西安交通大学 基于迁移学习的用户独立型运动想象分类模型训练方法
CN111931656B (zh) * 2020-08-11 2022-08-05 西安交通大学 基于迁移学习的用户独立型运动想象分类模型训练方法
CN112006678B (zh) * 2020-09-10 2022-08-30 齐鲁工业大学 基于AlexNet和迁移学习相结合的心电图异常识别方法及系统
CN112006678A (zh) * 2020-09-10 2020-12-01 齐鲁工业大学 基于AlexNet和迁移学习相结合的心电图异常识别方法及系统
CN113361484A (zh) * 2020-09-29 2021-09-07 中国人民解放军军事科学院国防科技创新研究院 针对eeg信号分类任务的深度学习网络架构搜索方法
CN112784892A (zh) * 2021-01-14 2021-05-11 重庆兆琨智医科技有限公司 一种脑电运动意图识别方法及系统
CN112932501A (zh) * 2021-01-25 2021-06-11 上海海事大学 一种基于一维卷积神经网络自动识别失眠方法
CN113239734A (zh) * 2021-04-15 2021-08-10 中南大学 基于stft和卷积神经网络的模式识别方法、系统和介质
CN113297994A (zh) * 2021-05-31 2021-08-24 中国航天科工集团第二研究院 一种飞行员行为分析方法及系统
CN113297994B (zh) * 2021-05-31 2023-08-18 中国航天科工集团第二研究院 一种飞行员行为分析方法及系统
CN113491506A (zh) * 2021-08-06 2021-10-12 中科搏锐(北京)科技有限公司 一种基于深度卷积网络的脑电信号处理方法及其设备
CN113491506B (zh) * 2021-08-06 2024-05-17 中科搏锐(北京)科技有限公司 一种基于深度卷积网络的脑电信号处理方法及其设备
CN113625769A (zh) * 2021-09-07 2021-11-09 中国人民解放军军事科学院军事医学研究院 一种基于脑电信号的无人机编队多模态控制系统
CN113625769B (zh) * 2021-09-07 2024-05-10 中国人民解放军军事科学院军事医学研究院 一种基于脑电信号的无人机编队多模态控制系统
CN114391827A (zh) * 2022-01-06 2022-04-26 普昶钦 一种基于卷积神经网络的院前肺气肿诊断装置
CN114533083A (zh) * 2022-01-24 2022-05-27 江苏省人民医院(南京医科大学第一附属医院) 基于多融合式卷积神经网络的运动想象状态识别方法
CN114533083B (zh) * 2022-01-24 2023-12-01 江苏省人民医院(南京医科大学第一附属医院) 基于多融合式卷积神经网络的运动想象状态识别方法
CN114818803A (zh) * 2022-04-25 2022-07-29 上海韶脑传感技术有限公司 基于神经元优化的单侧肢体患者运动想象脑电建模方法
CN116058852B (zh) * 2023-03-09 2023-12-22 同心智医科技(北京)有限公司 Mi-eeg信号的分类系统、方法、电子设备及存储介质
CN116058852A (zh) * 2023-03-09 2023-05-05 同心智医科技(北京)有限公司 Mi-eeg信号的分类系统、方法、电子设备及存储介质
CN116849942A (zh) * 2023-07-28 2023-10-10 中国医学科学院生物医学工程研究所 一种脑控智能升降翻身的多功能医疗护理床

Similar Documents

Publication Publication Date Title
CN110163180A (zh) 运动想象脑电数据分类方法及系统
CN106909784B (zh) 基于二维时频图像深度卷积神经网络的癫痫脑电识别装置
CN110069958B (zh) 一种密集深度卷积神经网络的脑电信号快速识别方法
CN103793718B (zh) 一种基于深度学习的人脸表情识别方法
CN104586387B (zh) 一种时、频、空域多参数脑电特征提取与融合方法
CN107016406A (zh) 基于生成式对抗网络的病虫害图像生成方法
CN109726751A (zh) 基于深度卷积神经网络识别脑电成像图的方法
CN110353675A (zh) 基于图片生成的脑电信号情感识别方法及装置
CN114266276B (zh) 一种基于通道注意力和多尺度时域卷积的运动想象脑电信号分类方法
CN110236533A (zh) 基于多深度神经网络迁移特征学习的癫痫发作预测方法
CN108960182A (zh) 一种基于深度学习的p300事件相关电位分类识别方法
CN110367967A (zh) 一种基于数据融合的便携型轻量化人脑状态检测方法
CN110826527A (zh) 一种基于攻击性行为预测的脑电负性情绪识别方法及系统
CN110458217A (zh) 图像识别方法及装置、眼底图像识别方法和电子设备
CN111242933B (zh) 视网膜图像动静脉的分类装置、设备及存储介质
CN108280414A (zh) 一种基于能量特征的运动想象脑电信号的识别方法
CN113158964B (zh) 一种基于残差学习和多粒度特征融合的睡眠分期方法
CN111709267A (zh) 深度卷积神经网络的脑电信号情感识别方法
CN109691996A (zh) 一种基于混合二进制编码的脑电信号特征优选及分类器优选方法
CN109730818A (zh) 一种基于深度学习的假手控制方法
CN109685071A (zh) 基于共同空间模式特征宽度学习的脑电分类方法
CN114176607A (zh) 一种基于视觉Transformer的脑电信号分类方法
CN115919330A (zh) 基于多层次se注意力和图卷积的eeg情绪状态分类方法
Stuchi et al. Frequency learning for image classification
Asghar et al. Semi-skipping layered gated unit and efficient network: hybrid deep feature selection method for edge computing in EEG-based emotion classification

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190823

WD01 Invention patent application deemed withdrawn after publication