CN109846477B - 一种基于频带注意力残差网络的脑电分类方法 - Google Patents

一种基于频带注意力残差网络的脑电分类方法 Download PDF

Info

Publication number
CN109846477B
CN109846477B CN201910085487.0A CN201910085487A CN109846477B CN 109846477 B CN109846477 B CN 109846477B CN 201910085487 A CN201910085487 A CN 201910085487A CN 109846477 B CN109846477 B CN 109846477B
Authority
CN
China
Prior art keywords
frequency band
residual error
electroencephalogram
signals
error network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201910085487.0A
Other languages
English (en)
Other versions
CN109846477A (zh
Inventor
段立娟
肖莹
徐凡
乔元华
陈军成
苗军
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing University of Technology
Original Assignee
Beijing University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing University of Technology filed Critical Beijing University of Technology
Priority to CN201910085487.0A priority Critical patent/CN109846477B/zh
Publication of CN109846477A publication Critical patent/CN109846477A/zh
Application granted granted Critical
Publication of CN109846477B publication Critical patent/CN109846477B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

一种基于频带注意力残差网络的脑电分类方法,属于模式识别和生物信息学领域。首先,对原始脑电信号进行预处理来去除信号中的噪声和伪迹;然后,采用固定长度的滑动窗口对预处理后的N导脑电信号进行分段,总共得到S段N导子信号;再使用小波包分解对S段N导子信号进行分解和重构,每段数据的每一导信号均分解为F个子频带信号;之后,将每个频带的多导分解结果转化为电极相关矩阵;再以F个频带的电极相关矩阵作为频带注意力残差网络的输入来完成对脑电信号的分类。与现有的技术相比,本发明优点:使用频带注意力模块来获取频带重要性权值,为每个样本赋予个性化的频带注意力分布。

Description

一种基于频带注意力残差网络的脑电分类方法
技术领域
本发明涉及脑电信号处理技术、深度学习领域以及生物信息学领域。
背景技术
随着机器学习领域的蓬勃发展,大量的分类模型被提出和优化。传统的分类模型包括随机森林(RF)、K-近邻(KNN)、逻辑回归(LR)、线性判别分析(LDA)等方法。近几年,由于设备计算能力的显著提升,越来越多的深度学习方法也被用到了脑电分类问题上。在脑电分类问题中,类别预测准确率的变化与分类模型的选择密不可分,误检率的下降依赖于模型的优化。目前,已有大量脑电分类算法被提出,这些方法从特征选择、模型优化等不同角度出发,通过特征的构造、框架的提出及改进来提升类别预测的准确率。
为了获得有效的特征组合方式,一些脑电分类方法中添加了特征选择过程。然而,这些方法得到的特征组合模式大多是固定的,缺乏灵活性。近年来结合注意力机制的神经网络模型层出不穷,与简单的电极和特征选择相比,其不需要过多的人工介入,完全依靠模型的泛化能力,对样本局部关注程度的获取更为灵活。考虑到脑电信号分解结果对预测的贡献不同,在模型中引入频带注意力,依靠网络的学习能力获得当前样本的子频带关注度,为后面的判断提供一定的引导信息,能够进一步提升模型的泛化性。
发明内容
针对上述问题,本发明采用一种基于频带注意力残差网络的脑电分类方法来完成多导脑电信号的类别区分任务,并提高其分类准确率。
实现本发明方法的主要步骤如下:首先,对原始N导脑电信号进行预处理来去除信号中的噪声以及伪迹;再采用固定长度的滑动窗口对原始N导脑电信号的每一导脑电数据进行分段,总共得到S段N导子信号;然后,使用小波包分解对S段N导子信号进行分解和重构,每段信号的每一导数据均分解为F个子频带信号;再计算每个频带的电极相关性,将每段信号的分解结果转化为F个维度为N*N的电极相关矩阵;最后,将F个频带的电极相关矩阵送入频带注意力残差网络,得到最终的分类结果。
一种基于频带注意力残差网络的脑电分类方法,包括如下步骤:
步骤一,对采样频率为M的原始N导脑电信号进行预处理以去除信号中的噪声以及伪迹,步骤一包括的4个子步骤分别是:基线去除、带通滤波、独立成分分析以及伪迹去除;
步骤二,使用固定长度为W秒的滑动时间窗对步骤一得到的N导脑电信号进行分段,得到S段N导子信号,其中每一导信号均包含W*M个采样点。
步骤三,通过小波包分解将步骤二得到的N导子信号的每一导数据转化为F个子频带信号,即每个N导子信号被转换成大小为N*F*(W*M)的三维矩阵;
步骤四,依据步骤三得到的多电极分解结果计算每一个频带的电极相关矩阵,即每个维度为N*F*(W*M)的三维矩阵被转换成F个N*N的电极相关矩阵;
步骤五,以步骤四得到的F个N*N的电极相关矩阵作为频带注意力残差网络的输入,完成脑电信号的分类,并使用K则交叉验证来评估分类效果。
与现有技术相比,本发明的方法具有以下优点:
与简单的电极和特征选择相比,在模型中引入频带注意力模块,依靠网络的学习能力获得当前样本的子频带关注度,不需要过多的人工介入,完全依靠模型的泛化能力,对样本局部关注程度的获取更为灵活。
附图说明
图1为本发明所涉及方法的流程图;
图2为本发明所提出的频带注意力残差网络分类方法的示意图;
具体实施方式
下面结合附图和具体实施方式对本发明做进一步的描述。
本发明所涉及方法的流程包括以下步骤:
(1)脑电信号预处理。
使用EEGLab对总时长为T秒、采样频率为M的原始N导脑电信号依次进行基线去除、带通滤波、独立成分分析和伪迹去除操作,其中带通滤波的范围为0.5Hz~47Hz之间。
(2)脑电信号分段。
使用段长为W秒的滑动窗口对(1)处理完的N导脑电信号进行分段,段与段之间无交叠,总共得到S个数据段,每个数据段的均是维度为N*(W*M)的二维矩阵,其中S为原始数据时长T和滑动窗口段长W相除并向下取整的结果;
Figure BDA0001961645460000021
(3)获得频带分解结果。
以db4作为小波基函数,使用R阶小波包分解将(2)得到的数据段的每一导信号都分解为F个子频带信号,由此每个数据段均被转化为N*F*(W*M)的三维频带分解矩阵,其中:
F=2R
(4)获得多频带电极相关矩阵。
对(3)得到的每一个频带的多电极分解结果计算电极相关性矩阵,将每个三维频带分解矩阵转化为F个大小为N*N的电极相关矩阵,即F个频带的电极相关矩阵,矩阵中的每一个元素都代表着电极之间的相关性。
(5)建立基于频带注意力残差网络的脑电分类模型。
按照图2的方法建立基于频带注意力残差网络的脑电分类模型。
整个模型包括两个部分,分别是频带注意力模块和残差网络模块。
频带注意力模块依靠F个单路多层卷积模块获得每个频带的高阶特征,每一路的多层卷积模块包括2个卷积层和2个残差块;再通过拼接得到每个样本在F个频带上的高阶特征;之后,使用全局平均池化操作将每个频带的高阶特征压缩为1个值,由此,每个样本的F个频带的高阶特征被转化为一个F维的向量;再使用两个全连接操作将该向量转换为F维的权值向量,权值向量的每一个维度均反映了对应频带的重要性;最后将权值向量与多频带电极相关矩阵相乘,即权值向量的每一个维度上的值均与对应频带的电极相关矩阵中的每一个值相乘,由此得到一个维度为F*N*N的加权多频带电极相关矩阵。
残差网络模块包括1个卷积层、6个残差块、1个全局平均池化层和1个全连接层,模块的输入为加权多频带电极相关矩阵。依次经过卷积层8和残差块9~14,得到4*F个大小为(N/4)*(N/4)的特征图;再经过全局平均池化操作,4*F个特征图被压缩为1个4*F维的向量;最后,通过全连接,将该向量映射为D个值,D与类别数一致,每一个值反映将该样本判断为对应类别的概率,其中概率最大的一类即为类别判断结果。
频带注意力残差网络所使用的残差块均使用深度学习库tflearn中的residual_block()函数来实现。
将(4)中得到的F频带电极相关性特征输入到频带注意力残差网络中,利用K则交叉验证来统计模型的分类准确率,即:将样本分为K组,轮流使用K个分组中的1组作为测试,其余的K-1组用于训练,通过K则交叉验证法得到K次的分类正确率,并取平均值,得到最终的分类正确率。
表1为频带注意力残差网络的结构参数表,在频带注意力模块中使用F个单路多层卷积模块。
表1频带注意力残差网络结构参数表
Figure BDA0001961645460000031
Figure BDA0001961645460000041
使用安定医院的自采数据集来完成本发明方法的验证实验,小波包分解的阶数R取值为3,即频带数F=8,经过(1)~(4)的操作,总共得到15290个大小为8*64*64的多频带电极相关矩阵。样本类别数D=2,在频带注意力模块中使用8个单路多层卷积模块。在训练时,学习率初始化为0.1,L2正则项系数为0.0001,迭代次数为900。表2记录了本发明方法和仅使用残差网络模块的十则交叉验证结果。其中,本发明方法抑郁症检测的分类正确率为97.31%,比仅使用残差网络提高了0.40%。
表2本发明方法与ResNet方法的比较结果
Figure BDA0001961645460000042

Claims (1)

1.基于频带注意力残差网络的脑电分类方法,其特征在于,包括如下步骤:
步骤一,对采样频率为M的原始N导脑电信号进行预处理以去除信号中的噪声以及伪迹,预处理包括:基线去除、带通滤波、独立成分分析以及伪迹去除;
步骤二,使用固定长度为W秒的滑动时间窗对步骤一得到的N导脑电信号进行分段, 得到S段N导子信号,其中每一导信号均包含W*M个采样点;
步骤三,通过小波包分解将步骤二得到的N导子信号的每一导数据转化为F个子频带信号,即每个N导子信号被转换成大小为N*F*(W*M)的三维矩阵;
步骤四,依据步骤三得到的多电极分解结果计算每一个频带的电极相关矩阵,即每个维度为N*F*(W*M)的三维矩阵被转换成F个N*N的电极相关矩阵;步骤五,以步骤四得到的F个N*N的电极相关矩阵作为频带注意力残差网络的输入,完成脑电信号的分类,并使用K则交叉验证来评估分类效果;
建立基于频带注意力残差网络的脑电分类模型包括以下步骤:
整个模型包括两个部分,分别是频带注意力模块和残差网络模块;(1)构造频带注意力模块;
频带注意力模块依靠F个单路多层卷积模块获得每个频带的高阶特征,每一路的多层卷积模块包括2个卷积层和2个残差块;再通过拼接得到每个样本在F个频带上的高阶特征;之后,使用全局平均池化操作将每个频带的高阶特征压缩为1个值,由此,每个样本的F个频带的高阶特征被转化为一个F维的向量;再使用两个全连接操作将该向量转换为F维的权值向量,权值向量的每一个维度均反映了对应频带的重要性;最后将权值向量与多频带电极相关矩阵相乘,即权值向量的每一个维度上的值均与对应频带的电极相关矩阵中的每一个值相乘,由此得到一个维度为F*N*N的加权多频带电极相关矩阵;
(2)构造残差网络模块;
残差网络模块包括1个卷积层、6个残差块、1个全局平均池化层和1个全连接层,模块的输入为加权多频带电极相关矩阵;依次经过卷积层8和残差块9~14,得到4*F个大小为(N/4)*(N/4)的特征图;再经过全局平均池化操作,4*F个特征图被压缩为1个4*F维的向量;最后,通过全连接,将该向量映射为D个值,D与类别数一致,每一个值反映将该样本判断为对应类别的概率,其中概率最大的一类即为类别判断结果。
CN201910085487.0A 2019-01-29 2019-01-29 一种基于频带注意力残差网络的脑电分类方法 Active CN109846477B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910085487.0A CN109846477B (zh) 2019-01-29 2019-01-29 一种基于频带注意力残差网络的脑电分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910085487.0A CN109846477B (zh) 2019-01-29 2019-01-29 一种基于频带注意力残差网络的脑电分类方法

Publications (2)

Publication Number Publication Date
CN109846477A CN109846477A (zh) 2019-06-07
CN109846477B true CN109846477B (zh) 2021-08-06

Family

ID=66896611

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910085487.0A Active CN109846477B (zh) 2019-01-29 2019-01-29 一种基于频带注意力残差网络的脑电分类方法

Country Status (1)

Country Link
CN (1) CN109846477B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110349676B (zh) * 2019-06-14 2021-10-29 华南师范大学 时序生理数据分类方法、装置、存储介质和处理器
CN110811648A (zh) * 2019-11-20 2020-02-21 阿呆科技(北京)有限公司 一种基于残差卷积神经网络的抑郁倾向评估系统
CN111310783B (zh) * 2020-01-05 2022-08-30 天津大学 基于脑电微状态特征与神经网络模型的言语状态检测方法
CN111184511A (zh) * 2020-02-04 2020-05-22 西安交通大学 一种基于注意力机制和卷积神经网络的脑电信号分类方法
CN111317468B (zh) * 2020-02-27 2024-04-19 腾讯科技(深圳)有限公司 脑电信号分类方法、装置、计算机设备和存储介质
CN111281345A (zh) * 2020-03-03 2020-06-16 北京工业大学 一种基于lbp和ssa的脑电信号特征提取方法
CN112137613B (zh) * 2020-09-01 2024-02-02 沈阳东软智能医疗科技研究院有限公司 异常位置的确定方法、装置、存储介质及电子设备
CN114431878A (zh) * 2020-11-02 2022-05-06 哈尔滨理工大学 一种基于多尺度注意力残差网络的脑电睡眠分期方法
CN113662578B (zh) * 2021-10-20 2022-05-24 华南理工大学 一种基于残差网络的人体排便预测系统

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103699216A (zh) * 2013-11-18 2014-04-02 南昌大学 一种基于运动想象和视觉注意混合脑机接口的电子邮件通信系统及方法
CN105580070A (zh) * 2013-07-22 2016-05-11 弗朗霍夫应用科学研究促进协会 根据室内脉冲响应处理音频信号的方法、信号处理单元、音频编码器、音频解码器及立体声渲染器
CN108182470A (zh) * 2018-01-17 2018-06-19 深圳市唯特视科技有限公司 一种基于注意模块的递归神经网络的用户识别方法
CN108236464A (zh) * 2017-12-29 2018-07-03 重庆邮电大学 基于脑电信号的特征提取方法及其检测提取系统
CN108460089A (zh) * 2018-01-23 2018-08-28 哈尔滨理工大学 基于Attention神经网络的多元特征融合中文文本分类方法
CN108549875A (zh) * 2018-04-19 2018-09-18 北京工业大学 一种基于深度通道注意力感知的脑电癫痫发作检测方法
WO2018168509A1 (en) * 2017-03-13 2018-09-20 Mitsubishi Electric Corporation Speech recognition system
CN108597600A (zh) * 2018-03-19 2018-09-28 武汉大学人民医院 单导心贴数据智能诊断云计算系统及其处理方法
CN108700931A (zh) * 2015-12-17 2018-10-23 Looxid实验室公司 眼睛-大脑接口(ebi)系统及其控制方法
CN108888280A (zh) * 2018-05-24 2018-11-27 吉林大学 基于脑电信号分析的学生听课注意力评价方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030144875A1 (en) * 1997-09-06 2003-07-31 Suffin Stephen C. EEG prediction method for medication response
CN103258215A (zh) * 2013-05-10 2013-08-21 杭州电子科技大学 一种多导联间相关性分析的脑电特征提取方法
WO2017030649A2 (en) * 2015-06-19 2017-02-23 Dymedix Corporation Method for detecting arousals in sleeping subjects
CN105559777B (zh) * 2016-03-17 2018-10-12 北京工业大学 基于小波包和lstm型rnn神经网络的脑电识别方法
CN106127191B (zh) * 2016-07-06 2019-07-12 东南大学 基于小波包分解及逻辑回归的脑电分类方法
CA3040703A1 (en) * 2016-10-17 2018-04-26 Context Ai, Llc Systems and methods for medical diagnosis and biomarker identification using physiological sensors and machine learning
US11250328B2 (en) * 2016-10-26 2022-02-15 Cognizant Technology Solutions U.S. Corporation Cooperative evolution of deep neural network structures
CN106778594A (zh) * 2016-12-12 2017-05-31 燕山大学 基于lmd熵特征和lvq神经网络的运动想象脑电信号识别方法
CN106650813B (zh) * 2016-12-27 2019-11-15 华南理工大学 一种基于深度残差网络和lstm的图像理解方法
US20180235505A1 (en) * 2017-02-17 2018-08-23 Sangmyung University Industry-Academy Cooperation Foundation Method and system for inference of eeg spectrum in brain by non-contact measurement of pupillary variation
CN107693014A (zh) * 2017-11-22 2018-02-16 北京工业大学 一种基于词袋模型和极限学习机的癫痫发作预警方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105580070A (zh) * 2013-07-22 2016-05-11 弗朗霍夫应用科学研究促进协会 根据室内脉冲响应处理音频信号的方法、信号处理单元、音频编码器、音频解码器及立体声渲染器
CN103699216A (zh) * 2013-11-18 2014-04-02 南昌大学 一种基于运动想象和视觉注意混合脑机接口的电子邮件通信系统及方法
CN108700931A (zh) * 2015-12-17 2018-10-23 Looxid实验室公司 眼睛-大脑接口(ebi)系统及其控制方法
WO2018168509A1 (en) * 2017-03-13 2018-09-20 Mitsubishi Electric Corporation Speech recognition system
CN108236464A (zh) * 2017-12-29 2018-07-03 重庆邮电大学 基于脑电信号的特征提取方法及其检测提取系统
CN108182470A (zh) * 2018-01-17 2018-06-19 深圳市唯特视科技有限公司 一种基于注意模块的递归神经网络的用户识别方法
CN108460089A (zh) * 2018-01-23 2018-08-28 哈尔滨理工大学 基于Attention神经网络的多元特征融合中文文本分类方法
CN108597600A (zh) * 2018-03-19 2018-09-28 武汉大学人民医院 单导心贴数据智能诊断云计算系统及其处理方法
CN108549875A (zh) * 2018-04-19 2018-09-18 北京工业大学 一种基于深度通道注意力感知的脑电癫痫发作检测方法
CN108888280A (zh) * 2018-05-24 2018-11-27 吉林大学 基于脑电信号分析的学生听课注意力评价方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Combined Convolutional Neural Network for High Frequency Restoration in Acoustic Impedance Images";Sacramento;《2018 International Joint Conference on Neural Networks》;20180713;第1-8页 *
"情绪调控的脑电动态特性分析以及脑电反馈系统研究";魏玲;《中国博士学位论文全文数据库医药卫生科技辑》;20170415;第E059-2页 *

Also Published As

Publication number Publication date
CN109846477A (zh) 2019-06-07

Similar Documents

Publication Publication Date Title
CN109846477B (zh) 一种基于频带注意力残差网络的脑电分类方法
CN108319962B (zh) 一种基于卷积神经网络的刀具磨损监测方法
CN111387974B (zh) 基于深度自编码的脑电特征优化与癫痫发作检测方法
CN110390952B (zh) 基于双特征2-DenseNet并联的城市声音事件分类方法
CN112515685B (zh) 基于时频共融的多通道脑电信号通道选择方法
Ashokkumar et al. Implementation of deep neural networks for classifying electroencephalogram signal using fractional S‐transform for epileptic seizure detection
CN109431497A (zh) 一种脑电信号处理方法及癫痫检测系统
CN110399846A (zh) 一种基于多通道肌电信号相关性的手势识别方法
CN114366124B (zh) 一种基于半监督深度卷积通道注意力单分类网络的癫痫脑电识别方法
CN111444988A (zh) 一种滚动轴承故障诊断系统
CN112101487B (zh) 一种细粒度识别模型的压缩方法和设备
CN113180659B (zh) 一种基于三维特征和空洞全卷积网络的脑电情感识别方法
CN113723171A (zh) 基于残差生成对抗网络的脑电信号去噪方法
CN112784892A (zh) 一种脑电运动意图识别方法及系统
CN106503733A (zh) 基于na‑memd和gmm聚类的有用信号识别方法
CN113297981A (zh) 一种基于注意力机制的端到端脑电情感识别方法
Lim et al. Harmonic and percussive source separation using a convolutional auto encoder
CN115770044A (zh) 基于脑电相位幅值耦合网络的情绪识别方法及装置
CN113837122B (zh) 基于Wi-Fi信道状态信息的无接触式人体行为识别方法及系统
Azami et al. Automatic signal segmentation based on singular spectrum analysis and imperialist competitive algorithm
CN112686182A (zh) 局部放电模式识别方法及终端设备
CN117113015A (zh) 一种基于时空深度学习的脑电信号识别方法及装置
CN116350239A (zh) 一种脑电信号专注度分类方法及系统
CN112274144A (zh) 近红外脑功能成像数据的处理方法、装置和存储介质
CN114841192A (zh) 一种基于强化学习联合去噪与时空关系建模的脑电信号特征增强方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
EE01 Entry into force of recordation of patent licensing contract

Application publication date: 20190607

Assignee: Luoyang Lexiang Network Technology Co.,Ltd.

Assignor: Beijing University of Technology

Contract record no.: X2024980000083

Denomination of invention: A EEG classification method based on band attention residual network

Granted publication date: 20210806

License type: Common License

Record date: 20240104

EE01 Entry into force of recordation of patent licensing contract