CN110263606B - 基于端到端卷积神经网络的头皮脑电特征提取分类方法 - Google Patents

基于端到端卷积神经网络的头皮脑电特征提取分类方法 Download PDF

Info

Publication number
CN110263606B
CN110263606B CN201811001362.7A CN201811001362A CN110263606B CN 110263606 B CN110263606 B CN 110263606B CN 201811001362 A CN201811001362 A CN 201811001362A CN 110263606 B CN110263606 B CN 110263606B
Authority
CN
China
Prior art keywords
data
neural network
convolutional neural
layer
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201811001362.7A
Other languages
English (en)
Other versions
CN110263606A (zh
Inventor
周军
代光海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to CN201811001362.7A priority Critical patent/CN110263606B/zh
Publication of CN110263606A publication Critical patent/CN110263606A/zh
Application granted granted Critical
Publication of CN110263606B publication Critical patent/CN110263606B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Landscapes

  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明公开了基于端到端卷积神经网络的头皮脑电特征提取分类方法，对训练数据进行数据增强，再让增强后的训练数据训练卷积神经网络；待检测数据输入卷积神经网络进行特征提取分类步骤为：S1、将原始头皮脑电信号用带通滤波器滤波处理，得到信号xθ、xμ和xβ；S2、对信号xθ、xμ和xβ分别进行多尺度时间卷积和空间卷积提取特征；S3、对卷积层输出的特征图进行池化操作；S4、池化之后进行特征融合，再送进全连接层对输入的抽象特征进行整合；S5、全连接层的输出送入softmax层进行分类。本发明在训练阶段应用全新的数据增强技术，在测试阶段先将数据通过滤波器组，再输入多个卷积神经网络分支分别进行多尺度卷积操作，减轻了过拟合现象，提高了分类准确率。

Description

基于端到端卷积神经网络的头皮脑电特征提取分类方法
技术领域
本发明涉及脑机接口技术领域，尤其是基于端到端卷积神经网络的头皮脑电特征提取分类方法。
背景技术
脑机接口是一种帮助人们利用他们的大脑控制和使用外部设备的通信系统，在此过程中不需要外周神经和肌肉的参与。这为那些思维正常但伴有严重神经肌肉损伤的患者带来了希望，脑机接口可以重新赋予他们移动或与环境交流的能力，提高患者的生活质量。虽说脑机接口系统最初的目的是为完全瘫痪患者提供一种新的沟通途径，但近年来在娱乐游戏领域表现出巨大潜力，已经有许多研究将脑机接口应用于一些流行游戏，例如“俄罗斯方块”、“弹球游戏”和“魔兽世界”等。脑机接口还可以与VR/AR结合，用脑电信号代替身体和手指对游戏的控制，能增强游戏沉浸感，流畅度，显得更能身临其境。
由于头皮脑电(EEG)无创性、高时间分辨率、成像设备的低成本和便携性等优点，头皮脑电(EEG)是当前脑机接口中使用最为广泛的信号源。脑机接口系统一般分为四个部分：信号采集，特征提取，分类和控制，其组成如图1所示。现有方法大多在特征提取(如小波变换、傅里叶变换和共空间模式(CSP)等)部分借助先验知识和假设，人为地进行特征提取，但是目前人类对大脑了解太少，人为选取特征可能会丢失一些和运动相关的信息，而且由于个体之间脑电信号的巨大差异性，选取适合每个个体的特征会投入很多时间，最终的分类精度也不够高，同时泛化能力差。由于神经网络多层堆叠的结构，能够提取输入信号一些隐藏的重要特征，因此部分研究者采用深度神经网络进行特征提取和分类。
但目前提出的基于深度神经网络的方法依旧存在以下几个问题，首先由于卷积神经网络(CNN)在计算机视觉上取得了巨大成功，有许多研究将CNN运用到EEG运动图像识别领域，但在现有工作中使用的CNN具有固定的卷积尺度(即固定卷积核大小)，但针对不同的人，分类准确度最高的卷积尺度并不相同，因此固定卷积尺度限制了分类准确率的提升；其次，由于深度神经网络复杂且参数量巨大，网络训练需要大量数据，而高质量EEG数据需要在低电磁干扰的环境下进行，是一件相当耗时耗力的工作，因此导致数据量有限，容易过拟合。
发明内容
针对上述不足之处，本发明提供了基于端到端卷积神经网络的头皮脑电特征提取分类方法，数据先通过滤波器组，再输入多个卷积神经网络分支分别进行多种卷积操作，提高了分类准确率，在训练数据里结合多个人的特征，增强了网络鲁棒性，减轻了过拟合现象。
为了实现上述目的，本发明采用的技术方案如下：
基于端到端卷积神经网络的头皮脑电特征提取分类方法，在训练网络阶段首先对采集的训练数据进行数据增强，然后让增强后的训练数据经过三个带通滤波器滤波处理，最后用滤波处理后的训练数据训练卷积神经网络；
在数据检测阶段将采集到的待检测数据输入训练后的卷积神经网络进行特征提取分类，包括如下步骤：
S1、将采集的原始头皮脑电信号用xraw表示，然后经过三个带通滤波器滤波处理，得到的信号分别用xθ、xμ和xβ表示；
S2、对滤波后的头皮脑电信号xθ、xμ和xβ分别进行三种尺度的时间卷积提取时间特征，然后再通过空间卷积提取空间特征，卷积的计算公式为：
Figure BDA0001783042400000031
其中，
Figure BDA0001783042400000032
为第l层输出的特征图j的激活值，
Figure BDA0001783042400000033
为l-1层输出的特征图i的激活值，
Figure BDA0001783042400000034
为l-1层特征图i到l层特征图j的卷积核，
Figure BDA0001783042400000035
为l层对应于特征图j的偏置，f(·)为激活函数，*代表卷积操作；
S3、时间卷积和空间卷积之后，对卷积层输出的特征图进行池化操作，池化的计算公式为：
Figure BDA0001783042400000036
其中，down(·)为下采样函数；
S4、池化之后先将9个分支的特征组成一维向量进行特征融合，再送进全连接层对输入的抽象特征进行整合，全连接层计算公式如下：
xl＝f(Wlxl-1+bl)
其中，xl为l层输出，Wl为l层权重，bl为l层偏置,f(·)为激活函数；
S5、全连接层的输出送入softmax层进行分类，softmax层计算公式如下：
yl＝σ(xl-1)
其中，yl为分类结果，xl-1为l-1层输出，σ(·)为softmax函数。
进一步的，所述数据增强的方法为：首先将具有相同标签的所有训练数据进行无重叠的滑窗，将每个训练数据分割成n个数据窗，然后对所有相同标签的训练数据的第i个数据窗作为一个集合打乱顺序，最后按照分割数据窗的顺序将打乱顺序的数据窗重组，其中1≤i≤n。
进一步的，采用BP算法训练卷积神经网络。
进一步的，三个带通滤波器的通带分别为：4-7Hz、8-13Hz和13-32Hz。
进一步的，S3中三种尺度的时间卷积的卷积核大小分别为1×45、1×65和1×85。
与现有技术相比，本发明具有以下有益效果：
(1)本发明在一个训练数据里结合多个人的特征，训练数据分割重组方式，增强了网络鲁棒性，即使训练数据量少，也不容易产生严重过拟合现象；
(2)原始头皮脑电信号先通过滤波器组，再输入多个卷积神经网络分支分别进行多种卷积操作，对多个受测者分类准确度都较高，不会出现个别受测者分类准确度很低的情况，更具鲁棒性；
(3)结构简单，不需要特征工程，分类准确度高。
附图说明
图1为脑机接口系统组成框图。
图2为本发明的步骤框图。
图3为本发明的卷积神经网络结构图。
图4为本发明的数据增强方法示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步说明，本发明的实施方式包括但不限于下列实施例。
实施例：
如图2所示，基于端到端卷积神经网络的头皮脑电特征提取分类方法，在训练网络阶段采集原始头皮脑电信号作为训练数据，首先对采集的训练数据进行数据增强，然后让增强后的训练数据经过三个带通滤波器滤波处理，最后用滤波处理后的训练数据训练卷积神经网络；具体为采用BP算法训练卷积神经网络为；
在数据检测阶段将采集到的待检测数据输入训练后的卷积神经网络进行特征提取分类，包括如下步骤：
S1、将采集的未进过人为特征提取的原始头皮脑电信号用xraw表示，然后经过三个带通滤波器滤波处理，得到的信号分别用xθ、xμ和xβ表示；
S2、对滤波后的头皮脑电信号xθ、xμ和xβ分别进行三种尺度的时间卷积提取时间特征，时间卷积是一维沿着时间方向的卷积，然后再通过空间卷积提取空间特征，空间卷积是一维沿着电极通道方向的卷积，卷积的计算公式为：
Figure BDA0001783042400000051
其中，
Figure BDA0001783042400000052
为第l层输出的特征图j的激活值，
Figure BDA0001783042400000053
为l-1层输出的特征图i的激活值，
Figure BDA0001783042400000054
为l-1层特征图i到l层特征图j的卷积核，
Figure BDA0001783042400000055
为l层对应于特征图j的偏置，f(·)为激活函数，*代表卷积操作；
S3、时间卷积和空间卷积之后，对卷积层输出的特征图进行池化操作，池化的计算公式为：
Figure BDA0001783042400000056
其中，down(·)为下采样函数；
S4、池化之后先将9个分支(3个频段，每个频段使用3种大小卷积核，共有9个分支)的特征组成一维向量进行特征融合，再送进全连接层对输入的抽象特征进行整合，全连接层计算公式如下：
xl＝f(Wlxl-1+bl)
其中，xl为l层输出，Wl为l层权重，bl为l层偏置,f(·)为激活函数；
S5、全连接层的输出送入softmax层进行分类，softmax层计算公式如下：
yl＝σ(xl-1)
其中，yl为分类结果，xl-1为l-1层输出，σ(·)为softmax函数。
由于头皮脑电数据有限，在训练卷积神经网络的时候比较容易出现过拟合，因此，在网络训练阶段用数据增强后的训练数据对对卷积神经网络进行训练，其中，数据增强的方法为：首先将具有相同标签的所有训练数据进行无重叠的滑窗，将每个训练数据分割成n个数据窗，然后对所有相同标签的训练数据的第i个数据窗作为一个集合打乱顺序，最后按照分割数据窗的顺序将打乱顺序的数据窗重组，其中1≤i≤n，本实施例中n＝3；具体如图4所示。
具体来说，三个带通滤波器的通带分别为：4-7Hz、8-13Hz和13-32Hz，使得卷积神经网络更容易提取到不同频域的信息，其中，也可将4-32Hz每4Hz作为一个频段对原始头皮脑电信号进行滤波处理，此时则带通滤波器相应改为七个。
三种尺度的时间卷积的卷积核大小可以根据采集头皮脑电信号时采集频率调整，本实施例中分别为1×45、1×65和1×85。
端到端卷积神经网络即输入为未经过人为特征提取的头皮脑电信号，输出为分类结果的网络，具体如图3所示。
上述实施例仅为本发明的优选实施例，并非对本发明保护范围的限制，但凡采用本发明的设计原理，以及在此基础上进行非创造性劳动而做出的变化，均应属于本发明的保护范围之内。

Claims (5)

1.基于端到端卷积神经网络的头皮脑电特征提取分类方法，其特征在于，在训练网络阶段首先对采集的训练数据进行数据增强，然后让增强后的训练数据经过三个带通滤波器滤波处理，最后用滤波处理后的训练数据训练卷积神经网络；
在数据检测阶段将采集到的待检测数据输入训练后的卷积神经网络进行特征提取分类，包括如下步骤：
S1、将采集的原始头皮脑电信号用xraw表示，然后经过三个带通滤波器滤波处理，得到的信号分别用xθ、xμ和xβ表示；
S2、对滤波后的头皮脑电信号xθ、xμ和xβ分别进行三种尺度的时间卷积提取时间特征，然后再通过空间卷积提取空间特征；
S3、时间卷积和空间卷积之后，对卷积层输出的特征图进行池化操作；
S4、池化之后先将9个分支的特征组成一维向量进行特征融合，再送进全连接层对输入的抽象特征进行整合，全连接层计算公式如下：
xl＝f(Wlxl-1+bl)
其中，xl为l层输出，Wl为l层权重，bl为l层偏置,f(·)为激活函数；
S5、全连接层的输出送入softmax层进行分类，softmax层计算公式如下：
yl＝σ(xl-1)
其中，yl为分类结果，xl-1为l-1层输出，σ(·)为softmax函数。
2.根据权利要求1所述的基于端到端卷积神经网络的头皮脑电特征提取分类方法，其特征在于，所述数据增强的方法为：首先将具有相同标签的所有训练数据进行无重叠的滑窗，将每个训练数据分割成n个数据窗，然后对所有相同标签的训练数据的第i个数据窗作为一个集合打乱顺序，最后按照分割数据窗的顺序将打乱顺序的数据窗重组，其中1≤i≤n。
3.根据权利要求2所述的基于端到端卷积神经网络的头皮脑电特征提取分类方法，其特征在于，采用BP算法训练卷积神经网络。
4.根据权利要求1～3任一项所述的基于端到端卷积神经网络的头皮脑电特征提取分类方法，其特征在于，三个带通滤波器的通带分别为：4-7Hz、8-13Hz和13-32Hz。
5.根据权利要求1～3任一项所述的基于端到端卷积神经网络的头皮脑电特征提取分类方法，其特征在于，S3中三种尺度的时间卷积的卷积核大小分别为1×45、1×65和1×85。
CN201811001362.7A 2018-08-30 2018-08-30 基于端到端卷积神经网络的头皮脑电特征提取分类方法 Active CN110263606B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201811001362.7A CN110263606B (zh) 2018-08-30 2018-08-30 基于端到端卷积神经网络的头皮脑电特征提取分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201811001362.7A CN110263606B (zh) 2018-08-30 2018-08-30 基于端到端卷积神经网络的头皮脑电特征提取分类方法

Publications (2)

Publication Number Publication Date
CN110263606A CN110263606A (zh) 2019-09-20
CN110263606B true CN110263606B (zh) 2020-09-25

Family

ID=67911625

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201811001362.7A Active CN110263606B (zh) 2018-08-30 2018-08-30 基于端到端卷积神经网络的头皮脑电特征提取分类方法

Country Status (1)

Country Link
CN (1) CN110263606B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110781751A (zh) * 2019-09-27 2020-02-11 杭州电子科技大学 基于跨连型卷积神经网络的情感脑电信号分类方法
CN110693493B (zh) * 2019-10-12 2022-05-31 北京工业大学 一种基于卷积与循环神经网络结合时间多尺度的癫痫脑电预测特征提取方法
CN111242068B (zh) * 2020-01-17 2021-03-02 科大讯飞(苏州)科技有限公司 基于视频的行为识别方法、装置、电子设备和存储介质
CN111317468B (zh) * 2020-02-27 2024-04-19 腾讯科技（深圳）有限公司 脑电信号分类方法、装置、计算机设备和存储介质
CN111882036B (zh) * 2020-07-22 2023-10-31 广州大学 卷积神经网络训练方法、脑电信号识别方法、装置和介质
CN113052099B (zh) * 2021-03-31 2022-05-03 重庆邮电大学 一种基于卷积神经网络的ssvep分类方法
CN113191438B (zh) * 2021-05-08 2023-08-15 啊哎(上海)科技有限公司 学习风格识别模型训练和识别方法、装置、设备及介质
CN113995423B (zh) * 2021-06-21 2022-12-02 西安电子科技大学 基于相位保持网络的连续快速视觉演示脑电信号分类方法
CN114169504B (zh) * 2021-12-10 2024-04-16 河北工业大学 基于自适应滤波的图卷积神经网络池化方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105496363A (zh) * 2015-12-15 2016-04-20 浙江神灯生物科技有限公司 基于检测睡眠脑电信号对睡眠阶段进行分类的方法
CN107320115A (zh) * 2017-07-04 2017-11-07 重庆大学 一种自适应的精神疲劳评估装置及方法
CN107844755A (zh) * 2017-10-23 2018-03-27 重庆邮电大学 一种结合dae和cnn的脑电信号特征提取与分类方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110306858A1 (en) * 2010-06-10 2011-12-15 Nellcor Puritan Bennett Ireland Systems And Methods For Wavelet Transform Using Mean-Adjusted Wavelets
CN107961007A (zh) * 2018-01-05 2018-04-27 重庆邮电大学 一种结合卷积神经网络和长短时记忆网络的脑电识别方法
CN108304917B (zh) * 2018-01-17 2020-11-24 华南理工大学 一种基于lstm网络的p300信号检测方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105496363A (zh) * 2015-12-15 2016-04-20 浙江神灯生物科技有限公司 基于检测睡眠脑电信号对睡眠阶段进行分类的方法
CN107320115A (zh) * 2017-07-04 2017-11-07 重庆大学 一种自适应的精神疲劳评估装置及方法
CN107844755A (zh) * 2017-10-23 2018-03-27 重庆邮电大学 一种结合dae和cnn的脑电信号特征提取与分类方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Single-Trial Classification of Event-Related Potentials in Rapid Serial Visual Presentation Tasks Using Supervised Spatial Filtering;Hubert Cecotti等;《IEEE》;20140219;第2030-2042页 *
基于深度学习的脑电信号特征识别;张韩等;《电脑知识与技术》;20180228;第14卷(第5期);第206-208页 *

Also Published As

Publication number Publication date
CN110263606A (zh) 2019-09-20

Similar Documents

Publication Publication Date Title
CN110263606B (zh) 基于端到端卷积神经网络的头皮脑电特征提取分类方法
CN110069958B (zh) 一种密集深度卷积神经网络的脑电信号快速识别方法
Lee et al. A convolution neural networks scheme for classification of motor imagery EEG based on wavelet time-frequecy image
CN112120694B (zh) 一种基于神经网络的运动想象脑电信号分类方法
CN113180692B (zh) 一种基于特征融合和注意力机制的脑电信号分类识别方法
Lu et al. Classification of EEG signal by STFT-CNN framework: identification of right-/left-hand motor imagination in BCI systems
Shajil et al. Deep learning classification of two-class motor imagery EEG signals using transfer learning
Abibullaev et al. A brute-force CNN model selection for accurate classification of sensorimotor rhythms in BCIs
CN113934302A (zh) 基于SeNet和门控时序卷积网络的肌电手势识别方法
Wang et al. Classification of EEG signal using convolutional neural networks
Wang et al. A motor-imagery channel-selection method based on SVM-CCA-CS
Wei et al. A novel multi-dimensional features fusion algorithm for the EEG signal recognition of brain's sensorimotor region activated tasks
Huang et al. Classify motor imagery by a novel CNN with data augmentation
Ghonchi et al. Spatio-temporal deep learning for EEG-fNIRS brain computer interface
Mirzabagherian et al. Temporal-spatial convolutional residual network for decoding attempted movement related EEG signals of subjects with spinal cord injury
Cecotti Convolutional neural networks for event-related potential detection: impact of the architecture
Liu et al. Motor imagery tasks EEG signals classification using ResNet with multi-time-frequency representation
CN116910464A (zh) 一种肌电信号假肢手控制系统及方法
Okreghe et al. A deep neural network-based spike sorting with improved channel selection and artefact removal
CN116522106A (zh) 一种基于迁移学习并行多尺度滤波器组时域卷积的运动想象脑电信号分类方法
Ling et al. Classification of EEG motor imagery tasks using convolution neural networks
CN114081492A (zh) 一种基于可学习邻接矩阵的脑电情绪识别系统
Wang A Modified Motor Imagery Classification Method Based on EEGNet
Han et al. Joint selection of time and frequency segments for classifying multiclass EEG data in motor imagery based BCIs
SONG et al. A method of motor imagery eeg recognition based on cnn-elm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant