CN110263606A - 基于端到端卷积神经网络的头皮脑电特征提取分类方法 - Google Patents
基于端到端卷积神经网络的头皮脑电特征提取分类方法 Download PDFInfo
- Publication number
- CN110263606A CN110263606A CN201811001362.7A CN201811001362A CN110263606A CN 110263606 A CN110263606 A CN 110263606A CN 201811001362 A CN201811001362 A CN 201811001362A CN 110263606 A CN110263606 A CN 110263606A
- Authority
- CN
- China
- Prior art keywords
- data
- neural networks
- convolutional neural
- training
- scalp
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
- G06F2218/12—Classification; Matching
Landscapes
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明公开了基于端到端卷积神经网络的头皮脑电特征提取分类方法,对训练数据进行数据增强,再让增强后的训练数据训练卷积神经网络;待检测数据输入卷积神经网络进行特征提取分类步骤为:S1、将原始头皮脑电信号用带通滤波器滤波处理,得到信号xθ、xμ和xβ;S2、对信号xθ、xμ和xβ分别进行多尺度时间卷积和空间卷积提取特征;S3、对卷积层输出的特征图进行池化操作;S4、池化之后进行特征融合,再送进全连接层对输入的抽象特征进行整合;S5、全连接层的输出送入softmax层进行分类。本发明在训练阶段应用全新的数据增强技术,在测试阶段先将数据通过滤波器组,再输入多个卷积神经网络分支分别进行多尺度卷积操作,减轻了过拟合现象,提高了分类准确率。
Description
技术领域
本发明涉及脑机接口技术领域,尤其是基于端到端卷积神经网络的头皮脑电特征提取分类方法。
背景技术
脑机接口是一种帮助人们利用他们的大脑控制和使用外部设备的通信系统,在此过程中不需要外周神经和肌肉的参与。这为那些思维正常但伴有严重神经肌肉损伤的患者带来了希望,脑机接口可以重新赋予他们移动或与环境交流的能力,提高患者的生活质量。虽说脑机接口系统最初的目的是为完全瘫痪患者提供一种新的沟通途径,但近年来在娱乐游戏领域表现出巨大潜力,已经有许多研究将脑机接口应用于一些流行游戏,例如“俄罗斯方块”、“弹球游戏”和“魔兽世界”等。脑机接口还可以与VR/AR结合,用脑电信号代替身体和手指对游戏的控制,能增强游戏沉浸感,流畅度,显得更能身临其境。
由于头皮脑电(EEG)无创性、高时间分辨率、成像设备的低成本和便携性等优点,头皮脑电(EEG)是当前脑机接口中使用最为广泛的信号源。脑机接口系统一般分为四个部分:信号采集,特征提取,分类和控制,其组成如图1所示。现有方法大多在特征提取(如小波变换、傅里叶变换和共空间模式(CSP)等)部分借助先验知识和假设,人为地进行特征提取,但是目前人类对大脑了解太少,人为选取特征可能会丢失一些和运动相关的信息,而且由于个体之间脑电信号的巨大差异性,选取适合每个个体的特征会投入很多时间,最终的分类精度也不够高,同时泛化能力差。由于神经网络多层堆叠的结构,能够提取输入信号一些隐藏的重要特征,因此部分研究者采用深度神经网络进行特征提取和分类。
但目前提出的基于深度神经网络的方法依旧存在以下几个问题,首先由于卷积神经网络(CNN)在计算机视觉上取得了巨大成功,有许多研究将CNN运用到EEG运动图像识别领域,但在现有工作中使用的CNN具有固定的卷积尺度(即固定卷积核大小),但针对不同的人,分类准确度最高的卷积尺度并不相同,因此固定卷积尺度限制了分类准确率的提升;其次,由于深度神经网络复杂且参数量巨大,网络训练需要大量数据,而高质量EEG数据需要在低电磁干扰的环境下进行,是一件相当耗时耗力的工作,因此导致数据量有限,容易过拟合。
发明内容
针对上述不足之处,本发明提供了基于端到端卷积神经网络的头皮脑电特征提取分类方法,数据先通过滤波器组,再输入多个卷积神经网络分支分别进行多种卷积操作,提高了分类准确率,在训练数据里结合多个人的特征,增强了网络鲁棒性,减轻了过拟合现象。
为了实现上述目的,本发明采用的技术方案如下:
基于端到端卷积神经网络的头皮脑电特征提取分类方法,在训练网络阶段首先对采集的训练数据进行数据增强,然后让增强后的训练数据经过三个带通滤波器滤波处理,最后用滤波处理后的训练数据训练卷积神经网络;
在数据检测阶段将采集到的待检测数据输入训练后的卷积神经网络进行特征提取分类,包括如下步骤:
S1、将采集的原始头皮脑电信号用xraw表示,然后经过三个带通滤波器滤波处理,得到的信号分别用xθ、xμ和xβ表示;
S2、对滤波后的头皮脑电信号xθ、xμ和xβ分别进行三种尺度的时间卷积提取时间特征,然后再通过空间卷积提取空间特征,卷积的计算公式为:
其中,为第l层输出的特征图j的激活值,为l-1层输出的特征图i的激活值,为l-1层特征图i到l层特征图j的卷积核,为l层对应于特征图j的偏置,f(·)为激活函数,*代表卷积操作;
S3、时间卷积和空间卷积之后,对卷积层输出的特征图进行池化操作,池化的计算公式为:
其中,down(·)为下采样函数;
S4、池化之后先将9个分支的特征组成一维向量进行特征融合,再送进全连接层对输入的抽象特征进行整合,全连接层计算公式如下:
xl=f(Wlxl-1+bl)
其中,xl为l层输出,Wl为l层权重,bl为l层偏置,f(·)为激活函数;
S5、全连接层的输出送入softmax层进行分类,softmax层计算公式如下:
yl=σ(xl-1)
其中,yl为分类结果,xl-1为l-1层输出,σ(·)为softmax函数。
进一步的,所述数据增强的方法为:首先将具有相同标签的所有训练数据进行无重叠的滑窗,将每个训练数据分割成n个数据窗,然后对所有相同标签的训练数据的第i个数据窗作为一个集合打乱顺序,最后按照分割数据窗的顺序将打乱顺序的数据窗重组,其中1≤i≤n。
进一步的,采用BP算法训练卷积神经网络。
进一步的,三个带通滤波器的通带分别为:4-7Hz、8-13Hz和13-32Hz。
进一步的,S3中三种尺度的时间卷积的卷积核大小分别为1×45、1×65和1×85。
与现有技术相比,本发明具有以下有益效果:
(1)本发明在一个训练数据里结合多个人的特征,训练数据分割重组方式,增强了网络鲁棒性,即使训练数据量少,也不容易产生严重过拟合现象;
(2)原始头皮脑电信号先通过滤波器组,再输入多个卷积神经网络分支分别进行多种卷积操作,对多个受测者分类准确度都较高,不会出现个别受测者分类准确度很低的情况,更具鲁棒性;
(3)结构简单,不需要特征工程,分类准确度高。
附图说明
图1为脑机接口系统组成框图。
图2为本发明的步骤框图。
图3为本发明的卷积神经网络结构图。
图4为本发明的数据增强方法示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步说明,本发明的实施方式包括但不限于下列实施例。
实施例:
如图2所示,基于端到端卷积神经网络的头皮脑电特征提取分类方法,在训练网络阶段采集原始头皮脑电信号作为训练数据,首先对采集的训练数据进行数据增强,然后让增强后的训练数据经过三个带通滤波器滤波处理,最后用滤波处理后的训练数据训练卷积神经网络;具体为采用BP算法训练卷积神经网络为;
在数据检测阶段将采集到的待检测数据输入训练后的卷积神经网络进行特征提取分类,包括如下步骤:
S1、将采集的未进过人为特征提取的原始头皮脑电信号用xraw表示,然后经过三个带通滤波器滤波处理,得到的信号分别用xθ、xμ和xβ表示;
S2、对滤波后的头皮脑电信号xθ、xμ和xβ分别进行三种尺度的时间卷积提取时间特征,时间卷积是一维沿着时间方向的卷积,然后再通过空间卷积提取空间特征,空间卷积是一维沿着电极通道方向的卷积,卷积的计算公式为:
其中,为第l层输出的特征图j的激活值,为l-1层输出的特征图i的激活值,为l-1层特征图i到l层特征图j的卷积核,为l层对应于特征图j的偏置,f(·)为激活函数,*代表卷积操作;
S3、时间卷积和空间卷积之后,对卷积层输出的特征图进行池化操作,池化的计算公式为:
其中,down(·)为下采样函数;
S4、池化之后先将9个分支(3个频段,每个频段使用3种大小卷积核,共有9个分支)的特征组成一维向量进行特征融合,再送进全连接层对输入的抽象特征进行整合,全连接层计算公式如下:
xl=f(Wlxl-1+bl)
其中,xl为l层输出,Wl为l层权重,bl为l层偏置,f(·)为激活函数;
S5、全连接层的输出送入softmax层进行分类,softmax层计算公式如下:
yl=σ(xl-1)
其中,yl为分类结果,xl-1为l-1层输出,σ(·)为softmax函数。
由于头皮脑电数据有限,在训练卷积神经网络的时候比较容易出现过拟合,因此,在网络训练阶段用数据增强后的训练数据对对卷积神经网络进行训练,其中,数据增强的方法为:首先将具有相同标签的所有训练数据进行无重叠的滑窗,将每个训练数据分割成n个数据窗,然后对所有相同标签的训练数据的第i个数据窗作为一个集合打乱顺序,最后按照分割数据窗的顺序将打乱顺序的数据窗重组,其中1≤i≤n,本实施例中n=3;具体如图4所示。
具体来说,三个带通滤波器的通带分别为:4-7Hz、8-13Hz和13-32Hz,使得卷积神经网络更容易提取到不同频域的信息,其中,也可将4-32Hz每4Hz作为一个频段对原始头皮脑电信号进行滤波处理,此时则带通滤波器相应改为七个。
三种尺度的时间卷积的卷积核大小可以根据采集头皮脑电信号时采集频率调整,本实施例中分别为1×45、1×65和1×85。
端到端卷积神经网络即输入为未经过人为特征提取的头皮脑电信号,输出为分类结果的网络,具体如图3所示。
上述实施例仅为本发明的优选实施例,并非对本发明保护范围的限制,但凡采用本发明的设计原理,以及在此基础上进行非创造性劳动而做出的变化,均应属于本发明的保护范围之内。
Claims (5)
1.基于端到端卷积神经网络的头皮脑电特征提取分类方法,其特征在于,在训练网络阶段首先对采集的训练数据进行数据增强,然后让增强后的训练数据经过三个带通滤波器滤波处理,最后用滤波处理后的训练数据训练卷积神经网络;
在数据检测阶段将采集到的待检测数据输入训练后的卷积神经网络进行特征提取分类,包括如下步骤:
S1、将采集的原始头皮脑电信号用xraw表示,然后经过三个带通滤波器滤波处理,得到的信号分别用xθ、xμ和xβ表示;
S2、对滤波后的头皮脑电信号xθ、xμ和xβ分别进行三种尺度的时间卷积提取时间特征,然后再通过空间卷积提取空间特征;
S3、时间卷积和空间卷积之后,对卷积层输出的特征图进行池化操作;
S4、池化之后先将9个分支的特征组成一维向量进行特征融合,再送进全连接层对输入的抽象特征进行整合,全连接层计算公式如下:
xl=f(Wlxl-1+bl)
其中,xl为l层输出,Wl为l层权重,bl为l层偏置,f(·)为激活函数;
S5、全连接层的输出送入softmax层进行分类,softmax层计算公式如下:
yl=σ(xl-1)
其中,yl为分类结果,xl-1为l-1层输出,σ(·)为softmax函数。
2.根据权利要求1所述的基于端到端卷积神经网络的头皮脑电特征提取分类方法,其特征在于,所述数据增强的方法为:首先将具有相同标签的所有训练数据进行无重叠的滑窗,将每个训练数据分割成n个数据窗,然后对所有相同标签的训练数据的第i个数据窗作为一个集合打乱顺序,最后按照分割数据窗的顺序将打乱顺序的数据窗重组,其中1≤i≤n。
3.根据权利要求2所述的基于端到端卷积神经网络的头皮脑电特征提取分类方法,其特征在于,采用BP算法训练卷积神经网络。
4.根据权利要求1~3任一项所述的基于端到端卷积神经网络的头皮脑电特征提取分类方法,其特征在于,三个带通滤波器的通带分别为:4-7Hz、8-13Hz和13-32Hz。
5.根据权利要求1~3任一项所述的基于端到端卷积神经网络的头皮脑电特征提取分类方法,其特征在于,S3中三种尺度的时间卷积的卷积核大小分别为1×45、1×65和1×85。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811001362.7A CN110263606B (zh) | 2018-08-30 | 2018-08-30 | 基于端到端卷积神经网络的头皮脑电特征提取分类方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201811001362.7A CN110263606B (zh) | 2018-08-30 | 2018-08-30 | 基于端到端卷积神经网络的头皮脑电特征提取分类方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN110263606A true CN110263606A (zh) | 2019-09-20 |
CN110263606B CN110263606B (zh) | 2020-09-25 |
Family
ID=67911625
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN201811001362.7A Active CN110263606B (zh) | 2018-08-30 | 2018-08-30 | 基于端到端卷积神经网络的头皮脑电特征提取分类方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN110263606B (zh) |
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110693493A (zh) * | 2019-10-12 | 2020-01-17 | 北京工业大学 | 一种基于卷积与循环神经网络结合时间多尺度的癫痫脑电预测方法 |
CN110781751A (zh) * | 2019-09-27 | 2020-02-11 | 杭州电子科技大学 | 基于跨连型卷积神经网络的情感脑电信号分类方法 |
CN111242068A (zh) * | 2020-01-17 | 2020-06-05 | 科大讯飞(苏州)科技有限公司 | 基于视频的行为识别方法、装置、电子设备和存储介质 |
CN111317468A (zh) * | 2020-02-27 | 2020-06-23 | 腾讯科技(深圳)有限公司 | 脑电信号分类方法、装置、计算机设备和存储介质 |
CN111882036A (zh) * | 2020-07-22 | 2020-11-03 | 广州大学 | 卷积神经网络训练方法、脑电信号识别方法、装置和介质 |
CN113052099A (zh) * | 2021-03-31 | 2021-06-29 | 重庆邮电大学 | 一种基于卷积神经网络的ssvep分类方法 |
CN113191438A (zh) * | 2021-05-08 | 2021-07-30 | 啊哎(上海)科技有限公司 | 学习风格识别模型训练和识别方法、装置、设备及介质 |
CN113995423A (zh) * | 2021-06-21 | 2022-02-01 | 西安电子科技大学 | 基于相位保持网络的连续快速视觉演示脑电信号分类方法 |
CN114169504A (zh) * | 2021-12-10 | 2022-03-11 | 河北工业大学 | 基于自适应滤波的图卷积神经网络池化方法 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110306858A1 (en) * | 2010-06-10 | 2011-12-15 | Nellcor Puritan Bennett Ireland | Systems And Methods For Wavelet Transform Using Mean-Adjusted Wavelets |
CN105496363A (zh) * | 2015-12-15 | 2016-04-20 | 浙江神灯生物科技有限公司 | 基于检测睡眠脑电信号对睡眠阶段进行分类的方法 |
CN107320115A (zh) * | 2017-07-04 | 2017-11-07 | 重庆大学 | 一种自适应的精神疲劳评估装置及方法 |
CN107844755A (zh) * | 2017-10-23 | 2018-03-27 | 重庆邮电大学 | 一种结合dae和cnn的脑电信号特征提取与分类方法 |
CN107961007A (zh) * | 2018-01-05 | 2018-04-27 | 重庆邮电大学 | 一种结合卷积神经网络和长短时记忆网络的脑电识别方法 |
CN108304917A (zh) * | 2018-01-17 | 2018-07-20 | 华南理工大学 | 一种基于lstm网络的p300信号检测方法 |
-
2018
- 2018-08-30 CN CN201811001362.7A patent/CN110263606B/zh active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20110306858A1 (en) * | 2010-06-10 | 2011-12-15 | Nellcor Puritan Bennett Ireland | Systems And Methods For Wavelet Transform Using Mean-Adjusted Wavelets |
CN105496363A (zh) * | 2015-12-15 | 2016-04-20 | 浙江神灯生物科技有限公司 | 基于检测睡眠脑电信号对睡眠阶段进行分类的方法 |
CN107320115A (zh) * | 2017-07-04 | 2017-11-07 | 重庆大学 | 一种自适应的精神疲劳评估装置及方法 |
CN107844755A (zh) * | 2017-10-23 | 2018-03-27 | 重庆邮电大学 | 一种结合dae和cnn的脑电信号特征提取与分类方法 |
CN107961007A (zh) * | 2018-01-05 | 2018-04-27 | 重庆邮电大学 | 一种结合卷积神经网络和长短时记忆网络的脑电识别方法 |
CN108304917A (zh) * | 2018-01-17 | 2018-07-20 | 华南理工大学 | 一种基于lstm网络的p300信号检测方法 |
Non-Patent Citations (2)
Title |
---|
HUBERT CECOTTI等: "Single-Trial Classification of Event-Related Potentials in Rapid Serial Visual Presentation Tasks Using Supervised Spatial Filtering", 《IEEE》 * |
张韩等: "基于深度学习的脑电信号特征识别", 《电脑知识与技术》 * |
Cited By (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110781751A (zh) * | 2019-09-27 | 2020-02-11 | 杭州电子科技大学 | 基于跨连型卷积神经网络的情感脑电信号分类方法 |
CN110693493A (zh) * | 2019-10-12 | 2020-01-17 | 北京工业大学 | 一种基于卷积与循环神经网络结合时间多尺度的癫痫脑电预测方法 |
CN110693493B (zh) * | 2019-10-12 | 2022-05-31 | 北京工业大学 | 一种基于卷积与循环神经网络结合时间多尺度的癫痫脑电预测特征提取方法 |
CN111242068A (zh) * | 2020-01-17 | 2020-06-05 | 科大讯飞(苏州)科技有限公司 | 基于视频的行为识别方法、装置、电子设备和存储介质 |
CN111317468A (zh) * | 2020-02-27 | 2020-06-23 | 腾讯科技(深圳)有限公司 | 脑电信号分类方法、装置、计算机设备和存储介质 |
CN111317468B (zh) * | 2020-02-27 | 2024-04-19 | 腾讯科技(深圳)有限公司 | 脑电信号分类方法、装置、计算机设备和存储介质 |
CN111882036A (zh) * | 2020-07-22 | 2020-11-03 | 广州大学 | 卷积神经网络训练方法、脑电信号识别方法、装置和介质 |
CN111882036B (zh) * | 2020-07-22 | 2023-10-31 | 广州大学 | 卷积神经网络训练方法、脑电信号识别方法、装置和介质 |
CN113052099B (zh) * | 2021-03-31 | 2022-05-03 | 重庆邮电大学 | 一种基于卷积神经网络的ssvep分类方法 |
CN113052099A (zh) * | 2021-03-31 | 2021-06-29 | 重庆邮电大学 | 一种基于卷积神经网络的ssvep分类方法 |
CN113191438B (zh) * | 2021-05-08 | 2023-08-15 | 啊哎(上海)科技有限公司 | 学习风格识别模型训练和识别方法、装置、设备及介质 |
CN113191438A (zh) * | 2021-05-08 | 2021-07-30 | 啊哎(上海)科技有限公司 | 学习风格识别模型训练和识别方法、装置、设备及介质 |
CN113995423A (zh) * | 2021-06-21 | 2022-02-01 | 西安电子科技大学 | 基于相位保持网络的连续快速视觉演示脑电信号分类方法 |
CN114169504A (zh) * | 2021-12-10 | 2022-03-11 | 河北工业大学 | 基于自适应滤波的图卷积神经网络池化方法 |
CN114169504B (zh) * | 2021-12-10 | 2024-04-16 | 河北工业大学 | 基于自适应滤波的图卷积神经网络池化方法 |
Also Published As
Publication number | Publication date |
---|---|
CN110263606B (zh) | 2020-09-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110263606A (zh) | 基于端到端卷积神经网络的头皮脑电特征提取分类方法 | |
Dai et al. | HS-CNN: a CNN with hybrid convolution scale for EEG motor imagery classification | |
Zhao et al. | A multi-branch 3D convolutional neural network for EEG-based motor imagery classification | |
Lun et al. | A simplified CNN classification method for MI-EEG via the electrode pairs signals | |
Ko et al. | Multimodal fuzzy fusion for enhancing the motor-imagery-based brain computer interface | |
CN110069958B (zh) | 一种密集深度卷积神经网络的脑电信号快速识别方法 | |
Lee et al. | A convolution neural networks scheme for classification of motor imagery EEG based on wavelet time-frequecy image | |
Tabar et al. | A novel deep learning approach for classification of EEG motor imagery signals | |
Shin et al. | Sparse representation-based classification scheme for motor imagery-based brain–computer interface systems | |
Esfahani et al. | Classification of primitive shapes using brain–computer interfaces | |
Li et al. | An EEG-based BCI system for 2-D cursor control by combining Mu/Beta rhythm and P300 potential | |
CN110353702A (zh) | 一种基于浅层卷积神经网络的情感识别方法及系统 | |
Liu et al. | SincNet-based hybrid neural network for motor imagery EEG decoding | |
CN110353675A (zh) | 基于图片生成的脑电信号情感识别方法及装置 | |
CN108052884A (zh) | 一种基于改进残差神经网络的手势识别方法 | |
CN113180692B (zh) | 一种基于特征融合和注意力机制的脑电信号分类识别方法 | |
CN107194426A (zh) | 一种基于Spiking神经网络的图像识别方法 | |
de San Roman et al. | Saliency driven object recognition in egocentric videos with deep CNN: toward application in assistance to neuroprostheses | |
Naik et al. | Multi run ICA and surface EMG based signal processing system for recognising hand gestures | |
Wang et al. | A 2D CNN-LSTM hybrid algorithm using time series segments of EEG data for motor imagery classification | |
Liu et al. | Multi-class motor imagery EEG classification method with high accuracy and low individual differences based on hybrid neural network | |
Anwar et al. | EEG signal classification using convolutional neural networks on combined spatial and temporal dimensions for BCI systems | |
CN110074779A (zh) | 一种脑电信号识别方法及装置 | |
Abibullaev et al. | A brute-force CNN model selection for accurate classification of sensorimotor rhythms in BCIs | |
Liu et al. | Distinguishable spatial-spectral feature learning neural network framework for motor imagery-based brain–computer interface |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |