CN115530847A - 一种基于多尺度注意力的脑电信号自动睡眠分期方法 - Google Patents
一种基于多尺度注意力的脑电信号自动睡眠分期方法 Download PDFInfo
- Publication number
- CN115530847A CN115530847A CN202211210987.0A CN202211210987A CN115530847A CN 115530847 A CN115530847 A CN 115530847A CN 202211210987 A CN202211210987 A CN 202211210987A CN 115530847 A CN115530847 A CN 115530847A
- Authority
- CN
- China
- Prior art keywords
- attention
- module
- sleep
- scale
- electroencephalogram
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 42
- 230000011218 segmentation Effects 0.000 claims abstract description 20
- 230000008667 sleep stage Effects 0.000 claims abstract description 19
- 230000001364 causal effect Effects 0.000 claims abstract description 13
- 238000000605 extraction Methods 0.000 claims abstract description 10
- 230000004927 fusion Effects 0.000 claims abstract description 10
- 238000012545 processing Methods 0.000 claims abstract description 9
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 230000002123 temporal effect Effects 0.000 claims description 13
- 238000013528 artificial neural network Methods 0.000 claims description 11
- 230000006870 function Effects 0.000 claims description 9
- 230000004913 activation Effects 0.000 claims description 8
- 210000002569 neuron Anatomy 0.000 claims description 6
- 238000010606 normalization Methods 0.000 claims description 6
- 238000012549 training Methods 0.000 claims description 6
- 238000005516 engineering process Methods 0.000 claims description 5
- 239000000284 extract Substances 0.000 claims description 5
- 230000007246 mechanism Effects 0.000 claims description 5
- 230000009286 beneficial effect Effects 0.000 claims description 4
- 238000011176 pooling Methods 0.000 claims description 4
- 230000002194 synthesizing effect Effects 0.000 claims description 4
- 239000000654 additive Substances 0.000 claims description 3
- 230000000996 additive effect Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 claims description 3
- 238000013527 convolutional neural network Methods 0.000 claims description 2
- 238000012300 Sequence Analysis Methods 0.000 claims 1
- 238000004364 calculation method Methods 0.000 claims 1
- 230000008034 disappearance Effects 0.000 claims 1
- 238000003909 pattern recognition Methods 0.000 abstract 1
- 238000004422 calculation algorithm Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 210000004556 brain Anatomy 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 2
- 101000727979 Homo sapiens Remodeling and spacing factor 1 Proteins 0.000 description 2
- 102100029771 Remodeling and spacing factor 1 Human genes 0.000 description 2
- 230000007547 defect Effects 0.000 description 2
- 230000005611 electricity Effects 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000036541 health Effects 0.000 description 2
- 230000003860 sleep quality Effects 0.000 description 2
- 230000002618 waking effect Effects 0.000 description 2
- 208000024172 Cardiovascular disease Diseases 0.000 description 1
- 208000017164 Chronobiology disease Diseases 0.000 description 1
- 206010020772 Hypertension Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- QVGXLLKOCUKJST-UHFFFAOYSA-N atomic oxygen Chemical compound [O] QVGXLLKOCUKJST-UHFFFAOYSA-N 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 230000004633 cognitive health Effects 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 230000000422 nocturnal effect Effects 0.000 description 1
- 230000037053 non-rapid eye movement Effects 0.000 description 1
- 229910052760 oxygen Inorganic materials 0.000 description 1
- 239000001301 oxygen Substances 0.000 description 1
- 238000001303 quality assessment method Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 230000004461 rapid eye movement Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000000241 respiratory effect Effects 0.000 description 1
- 201000002859 sleep apnea Diseases 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/372—Analysis of electroencephalograms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4806—Sleep evaluation
- A61B5/4812—Detecting sleep stages or cycles
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- General Health & Medical Sciences (AREA)
- Pathology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Medical Informatics (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Psychiatry (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physiology (AREA)
- Signal Processing (AREA)
- Fuzzy Systems (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Psychology (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明公开了一种基于多尺度注意力的脑电信号自动睡眠分期方法,属于信号处理和模式识别领域,目的是为了提高分期的准确性,实现高质量的睡眠分期。本发明包括以下步骤:步骤一:对原始脑电睡眠数据预处理;步骤二:对脑电睡眠数据进行数据增强处理,得到均衡的数据;步骤三:构建基于多尺度注意力的脑电信号自动睡眠分期模型,以多分辨率卷积网络为框架,加入了改进残差的切分多尺度注意力和基于因果卷积的多头注意力结构,包括特征提取融合模块、时序特征注意力模块和分类模块;步骤四:对脑电睡眠数据进行分类。本发明应用于睡眠分期。
Description
技术领域
本发明涉及睡眠监测技术领域,具体涉及一种基于多尺度注意力的脑电信号自动睡眠分期方法。
背景技术
睡眠对人类健康非常重要,睡眠减少、昼夜节律失调或者睡眠异常会导致一系列情感、躯体、认知方面健康的问题,严重的会引起高血压、心血管疾病、呼吸暂停综合征等多种疾病。因此,睡眠监测和睡眠质量评估是卫生健康领域的重要研究课题。通过各生理信号对人体睡眠状态进行分期,是客观评估睡眠质量的一种有效方法。
夜间多导睡眠图(PSG)是目前测量睡眠多个生理参数的“黄金标准”,其中包括脑电波(EEG)、眼电(EOG)、肌电(EMG)、心电(ECG)、血氧饱和度(Sp02)和呼吸信号,用于对睡眠阶段进行评分。PSG被划分为30秒的时期,然后根据美国睡眠医学学会(American Academyand Sleep Medicine,AASM)提出的AASM标准分期,将整夜睡眠分为Wake期、非快速眼动期(N1、N2、N3期)和快速眼动期(REM期)五期。然而PSG成本昂贵、操作复杂、穿戴不适等缺点限制了其做长期睡眠研究的潜力,仅适用与医院的临床研究。因此,研发便携、舒适、准确的睡眠监测系统是迫切需求。
早期,研究者们通过提取特征结合机器学习的方式来进行睡眠分期。最常见的机器学习分类方法包括决策树、随机森林、支持向量机等。但是使用特征提取与传统机器学习相结合的算法,普遍存在准确率不高、不适用于大规模训练样本、N1期识别率低等缺点,实用性不高。
随着神经网络的发展,深度学习在睡眠分期领域逐渐流行。基于深度学习的方法利用神经网络的逐层深入的学习能力,通过训练网络参数自动学习得到EEG数据中具有区分度的不同层次特征,从而提高睡眠自动分期的效率和精度。此类方法无需过分以来专家经验,训练的分期模型泛化能力较强,但此类方法中特征提取过程很大程度上影响自动睡眠分期精度,为了解决此问题,需提出一种新的方法。
发明内容
1、本发明的目的
本发明的目的在于针对上述已有技术的不足,提供一种基于多尺度注意力的脑电信号自动睡眠分期方法,该方法仅需要睡眠脑电信号,就能较为准确的实现睡眠分期,且满足便携、舒适的睡眠监测需求。
2、为了实现上述目的,本发明通过以下技术方案实现:
本发明提供的一种基于多尺度注意力的脑电信号自动睡眠分期方法,具体步骤包括:
步骤一:对原始脑电睡眠数据预处理:
对原始脑电睡眠数据集进行裁剪。剔除不属于5个睡眠阶段的MOVEMENT和UNKNOWN等不相关数据。许多样本记录中包含过长的Wake阶段,为了增加对睡眠阶段的关注度,对数据集进行处理,在睡眠期前后只包括30分钟的清醒时间。
步骤二:数据集增强处理:
对脑电睡眠数据进行数据增强处理,将脑电信号经过合成少数类过采样技术(SMOTE)处理,得到均衡的数据。
步骤三:搭建一个基于多尺度注意力的脑电信号自动睡眠分期模型,以多分辨率卷积网络为框架,加入了改进残差的切分多尺度注意力和基于因果卷积的多头注意力结构,包括特征提取融合模块、时序特征注意力模块和分类模块。
步骤四:对脑电睡眠数据进行分类。
进一步地,所述步骤一具体实现方法为:
数据集为通过睡眠设备采集的Fpz-Cz和Pz-oz通道的EEG信号。对脑电数据进行预处理,预处理方法为对数据进行清洗,删掉不属于任何睡眠阶段的未知阶段的数据,在睡眠前后只包括30分钟的清醒时间,以增加对睡眠阶段的关注。
进一步地,所述步骤二具体实现方法为:
将上一步处理好的数据经过合成少数类过采样技术(SMOTE)进行数据均衡处理。
进一步地,所述步骤三具体实现方法为:
(1)将步骤二中处理好的数据集送入多分辨率卷积网络(MRCN)模型进行特征提取融合,其中主要方式包括提取信号的时域特征、频域特征。
(2)该多分辨率卷积网络(MRCN)模型包括MRCN-1和MRCN-2两个分支,每个MRCN分支包含三个卷积层和两个最大池化层。多分辨率卷积网络(MRCN)接收EEG信号,进行特征提取,设置的MRCN-1和MRCN-2主要区别在与卷积核大小不同,其中尺寸较小的卷积核能更好地捕捉信号的时域特征,尺寸较大地卷积核能更好地捕捉信号地频域特征,两个不同尺寸的卷积核更利于全面提取数据中的时频特征。然后这两个分支经过concat将输出特征进行融合,将融合的特征通过dropout层操作按照一定概率随机“丢弃”隐层神经元,以减弱训练期间不同神经元间的共适性。
(3)在多分辨率卷积网络(MRCN)结构中加入改进残差的切分多尺度注意力模块(RCMA),改进残差的切分多尺度注意力模块(RCMA)包括两个卷积层和一个金字塔分割注意力(PSA),两个卷积层经过残差连接。改进残差的切分多尺度注意力模块(RCMA)可以有效地提取更细粒度的多尺度信息,同时可以建立更长距离的通道依赖关系,自适应地对多维度的通道注意力权重进行特征重新标定。
(4)多分辨率卷积网络(MRCN)中卷积层使用GELU激活函数,相比RELU激活函数,它允许一些负权重通过,这些负权重会导致残差注意力(RSE)模块产生不同的决策。与RELU的将所有负权重抑制为0相比,GELU更有优势。
(5)然后通过残差注意力(RSE)模块,残差注意力(RSE)模块由两个1×1的卷积层和一个SE注意力机制组成,通过残差连接将残差注意力(RSE)模块的输入和输出相加,再输出;残差注意力(RSE)模块对多分辨率卷积网络(MRCN)学习到的特征进行进一步学习,捕获特征之间的相互依赖关系,再将学习到的特征重新校准,以提高性能。
(6)将提取到的特征信息输入到时态上下文编码器(SCE)中,时态上下文编码器(SCE)包含多头注意力(MHA)、相加归一化层和前馈神经网络。该编码器利用因果卷积的多头注意力机制来有效地捕捉所提取特征中的时态依赖关系。
(7)该编码器中,多头注意力(MHA)利用因果卷积对输入特征的位置信息进行编码,并捕捉它们之间的时间依赖关系;将多头注意力(MHA)的输出送入两个全连接层(FC)组成的前馈神经网络,该层采用RELU激活函数,打破模型中的非线性;前馈神经网络前后各有一个相加归一化层,通过残差连接将上一层的输出加到该层的输入上,然后对和进行归一化操作。进一步地,所述步骤四具体实现方法为:
最后输出的特征经过softmax层进行分类决策,得到分期结果。
3、本发明的有益效果为:
1)本发明采用合成少数类过采样技术(SMOTE)对数据进行处理,使之数据均衡。
2)本发明在多分辨率卷积网络的基础上加入了改进残差的切分多尺度注意力构成了RCMA-MRCN模型,用于提取时频域特征,并结合时间上下文编码器有效捕捉特征中的依赖关系,进而提高睡眠分期的准确性。
附图说明
附图用来提供对本发明的进一步理解,并且构成说明书的一部分,与本发明的实施例一起用于解释本发明,并不构成对本发明的限制。在附图中:
图1本发明的网络流程图;
图2是本发明的RCMA-MRCN网络结构图;
图3是本发明的RCMA网络结构图;
图4是本发明的PSA网络结构图。
具体实施方式
下面结合附图和具体实施方式对本发明作进一步的详细说明,应当理解,此处所描述的优选实施例仅用于说明和解释本发明,并不用于限定本发明。
具体实施方式一:
一种基于多尺度注意力的脑电信号自动睡眠分期方法,该方法包括如下步骤:
步骤一:对原始脑电睡眠数据预处理:
对原始脑电睡眠数据集进行裁剪。剔除不属于5个睡眠阶段的MOVEMENT和UNKNOWN等不相关数据。许多样本记录中包含过长的Wake阶段,为了增加对睡眠阶段的关注度,对数据集进行处理,在睡眠期前后只包括30分钟的清醒时间。
步骤二:数据集增强处理:
对脑电睡眠数据进行数据增强处理,将脑电信号经过合成少数类过采样技术(SMOTE)处理,得到均衡的数据。
步骤三:脑电睡眠分期模型的构建:
搭建一个基于多尺度注意力的脑电信号自动睡眠分期模型,以多分辨率卷积网络为框架,加入了改进残差的切分多尺度注意力和基于因果卷积的多头注意力结构,模型包括特征提取融合模块、时序特征注意力模块和分类模块。
步骤四:对脑电睡眠数据进行分类。
具体实施方式二:
本实施方式是对具体实施方式一所述的一种基于多尺度注意力的脑电信号自动睡眠分期方法的进一步说明,所述的步骤一包括如下过程:
数据集为通过睡眠设备采集的Fpz-Cz和Pz-oz通道的EEG信号。对脑电数据进行预处理,预处理方法为对数据进行清洗,删掉不属于任何睡眠阶段的未知阶段的数据,在睡眠前后只包括30分钟的清醒时间,以增加对睡眠阶段的关注。
具体实施方式三:
本实施方式是对具体实施方式一所述的一种基于多尺度注意力的脑电信号自动睡眠分期方法的进一步说明,所述的步骤三包括如下过程:
(1)将步骤二中处理好的数据集送入多分辨率卷积网络(MRCN)模型进行特征提取融合,其中主要方式包括提取信号的时域特征、频域特征。
(2)该多分辨率卷积网络(MRCN)模型包括MRCN-1和MRCN-2两个分支,每个MRCN分支包含三个卷积层和两个最大池化层。多分辨率卷积网络(MRCN)接收EEG信号,进行特征提取,设置的MRCN-1和MRCN-2主要区别在与卷积核大小不同,其中尺寸较小的卷积核能更好地捕捉信号的时域特征,尺寸较大地卷积核能更好地捕捉信号地频域特征,两个不同尺寸的卷积核更利于全面提取数据中的时频特征。然后这两个分支经过concat将输出特征进行融合,将融合的特征通过dropout层操作按照一定概率随机“丢弃”隐层神经元,以减弱训练期间不同神经元间的共适性。
(3)在多分辨率卷积网络(MRCN)结构中加入改进残差的切分多尺度注意力模块(RCMA),改进残差的切分多尺度注意力模块(RCMA)包括两个卷积层和一个金字塔分割注意力(PSA),两个卷积层经过残差连接。改进残差的切分多尺度注意力模块(RCMA)可以有效地提取更细粒度的多尺度信息,同时可以建立更长距离的通道依赖关系,自适应地对多维度的通道注意力权重进行特征重新标定。
(4)多分辨率卷积网络(MRCN)中卷积层使用GELU激活函数,相比RELU激活函数,它允许一些负权重通过,这些负权重会导致残差注意力(RSE)模块产生不同的决策。与RELU的将所有负权重抑制为0相比,GELU更有优势。
(5)然后通过残差注意力(RSE)模块,残差注意力(RSE)模块由两个1×1的卷积层和一个SE注意力机制组成,通过残差连接将残差注意力(RSE)模块的输入和输出相加,再输出;残差注意力(RSE)模块对多分辨率卷积网络(MRCN)学习到的特征进行进一步学习,捕获特征之间的相互依赖关系,再将学习到的特征重新校准,以提高性能。
(6)将提取到的特征信息输入到时态上下文编码器(SCE)中,时态上下文编码器(SCE)包含多头注意力(MHA)、相加归一化层和前馈神经网络。该编码器利用因果卷积的多头注意力机制来有效地捕捉所提取特征中的时态依赖关系。
(7)该编码器中,多头注意力(MHA)利用因果卷积对输入特征的位置信息进行编码,并捕捉它们之间的时间依赖关系;将多头注意力(MHA)的输出送入两个全连接层(FC)组成的前馈神经网络,该层采用RELU激活函数,打破模型中的非线性;前馈神经网络前后各有一个相加归一化层,通过残差连接将上一层的输出加到该层的输入上,然后对和进行归一化操作。
实验设置及结果分析:
(1)数据集描述:实验使用PhysioNet中的Sleep-EDF-20数据集,Sleep-EDF-20[8]睡眠数据集包含20名健康受试者,其中男性健康人10人,女性健康人10人,每个人的多导睡眠图(PSG)记录时长约20小时,除了一个受试者丢失了一晚的睡眠记录外,每个受试者均有两晚的睡眠记录。
(2)实验设置和性能评估:
训练采用20折交叉验证来评估模型性能,使用的批大小为20,使用选择自适应估计矩(Adaptive moment estimation,Adam)优化器来最小化损失函数,并学习模型参数。学习率从0.001开始,然后在10个epoch后减小到0.0001。Adam的衰减系数设置为0.001,β(beta1,beta2)分别设为(0.9,0.999),ε设为1e-8。对于本文的时态上下文编码器,在MHA中使用5个头。
为了验证本发明方法对睡眠阶段的分期效果,在相同的实验条件下对比了目前国际上先进的基于注意力(An Attention-Based,Attn)的Attn Sleep、阶段内和阶段间的时间上下文网络(Intra-and inter-epoch temporal context network,IIT Net)、脑电睡眠分类网络(EEG sleep classification network,Sleep EEG Net)、基于通道和空间注意力卷积神经网络(channel and spatial attention Convolutional Neural Network,CSCNN)和隐马尔科夫模型(Hidden Markov Model,HMM)的CSCNN-HMM、深度学习睡眠分类网络精简版(Deep Learning Sleep Classification Network-Lite,Deep Sleep Net-Lite)、基于残差收缩网络(residual shrinkage network,RSN)的RSN Sleep Net等6种先进算法,本发明从两个评价指标来体现睡眠分期的效果,即总体准确率(overall-accuracy,ACC)和宏F1分数(macro averaging F1-score,MF1)。
(3)实验结果分析:
本发明方法与目前国际上先进算法的对比结果如表1所示,由表1可看出,相比其他先进算法模型,本文所提出的模型在Fpz-Cz通道和Pz-Oz通道上,自动睡眠阶段分类的评价指标(准确率和宏F1分数)均优于其他方法,其中准确率分别达到85.1%和83.3%,宏F1分数分别达到79.1%和76.6%。另外,在Fpz-Cz通道对N1阶段的分类在F1分数上有了1.4%的提升。
表1先进方法与所提出模型的结果对比(%)
以上实施方式只是对本发明的示例性说明,并不限于它的保护范围,任何本领域的相关技术人员针对本发明所作的修改和替换,都应包含在本发明的保护范围之内。
Claims (3)
1.一种基于多尺度注意力的脑电信号自动睡眠分期方法,其特征在于该方法包括以下步骤:
步骤一:对原始脑电睡眠数据预处理:
对原始脑电睡眠数据集进行裁剪。
步骤二:数据集增强处理:
对脑电睡眠数据进行数据增强处理,将脑电信号经过合成少数类过采样技术(Synthetic Minority Oversampling Technique,SMOTE)处理,得到均衡的数据。
步骤三:脑电睡眠分期模型的构建:
搭建一个基于多尺度注意力的脑电信号自动睡眠分期模型,以多分辨率卷积网络为框架,加入了改进残差的切分多尺度注意力和基于因果卷积的多头注意力结构,模型包括特征提取融合模块、时序特征注意力模块和分类模块。
所述的步骤三包括如下过程:
首先进行构建特征提取融合模块,以一个多分辨率卷积网络为基础,加入改进残差的切分多尺度注意力。特征提取融合模块包括两个分支,每个分支包括两个卷积模块、两个最大池化层和一个改进残差的切分多尺度注意力(Residual cut multiscale attention,RCMA),每个模块之间串联,最后两个分支进行特征融合,作为下一个模块的输入;时序特征注意力模块包含残差注意力(residual Squeeze-and-Excitation,RSE)和时态上下文编码器(Sequential context encoder,SCE),其中时态上下文编码器由基于因果卷积的多头注意力结构构成;最后将特征输入到分类层,进行分类。
步骤三中改进残差的切分多尺度注意力是对切分多尺度注意力进行改进,将标准残差块中的卷积层改为切分多尺度注意力,切分多尺度注意力由(split pyramid concat,SPC)模块和SE权重模块组成;可以融合不同尺度的上下文信息,从而产生更好的注意力。
步骤三中基于因果卷积的多头注意力(Multi-head Attention,MHA)结构,将多头注意力中的普通卷积层改为因果卷积,利用因果卷积对输入特征的位置信息进行编码,并捕捉它们之间的时间依赖关系。
步骤四:对脑电睡眠数据进行分类。
2.根据权利要求1所述的一种基于多尺度注意力的脑电信号自动睡眠分期方法,其特征在于,所述步骤三具体实现方法为:
(1)、将步骤二获取的均衡数据送入改进残差的切分多尺度注意力-多分辨率卷积网络(Residual cut multiscale attention-Multiresolution convolution network,RCMA-MRCN)网络中,网络使用两个不同核大小的卷积网络分支,大核(400)能够更好的捕捉信号的频域特征,小核(50)能够更好的捕捉信号的时域特征,两个不同尺寸的卷积核更利于全面提取数据中的时频特征;每个CNN分支由三个卷积层、两个最大池化层,其中卷积层使用GELU激活函数,它允许一些负权重通过,这些负权重会导致残差注意力(RSE)模块产生不同的决策,与RELU的将所有负权重抑制为0相比,GELU更有优势;将两个分支通过concat进行合并,然后通过dropout层操作按照一定概率随机“丢弃”隐层神经元,以减弱训练期间不同神经元间的共适性。
(2)、将步骤(1)得到的特征送入时序特征注意力模块,时序特征注意力模块包含残差注意力(RSE)和时态上下文编码器(SCE),其中残差注意力(RSE)模块由两个1×1的卷积层和一个SE注意力机制组成,通过残差连接将残差注意力(RSE)模块的输入和输出相加,再输出;残差注意力(RSE)模块对多分辨率卷积网络(MRCN)学习到的特征进行重新校准,以提高性能;然后将提取到的特征信息输入到时态上下文编码器(SCE)中,时态上下文编码器(SCE)包含多头注意力(MHA)、相加归一化层和前馈神经网络。多头注意(MHA)利用因果卷积对输入特征的位置信息进行编码,并捕捉它们之间的时间依赖关系;将多头注意(MHA)的输出送入两个全连接层(FC)组成的前馈神经网络,该层采用RELU激活函数,因为RELU可以避免梯度消失,同时使计算更快,更容易收敛;前馈神经网络前后各有一个相加归一化层,通过残差连接将上一层的输出加到该层的输入上,然后对输出的融合特征进行归一化操作。
3.根据权利要求1所述的一种基于多尺度注意力的脑电信号自动睡眠分期方法,其特征在于,所述步骤三具体实现方法为:
在多分辨率卷积网络(MRCN)结构中加入改进残差的切分多尺度注意力模块(RCMA),改进残差的切分多尺度注意力模块(RCMA)包括两个卷积层和一个金字塔分割注意力(Pyramid Split Attention,PSA),两个卷积层经过残差连接。改进残差的切分多尺度注意力模块(RCMA)可以有效地提取更细粒度的多尺度信息,同时可以建立更长距离的通道依赖关系,自适应地对多维度的通道注意力权重进行特征重新标定。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211210987.0A CN115530847A (zh) | 2022-09-30 | 2022-09-30 | 一种基于多尺度注意力的脑电信号自动睡眠分期方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202211210987.0A CN115530847A (zh) | 2022-09-30 | 2022-09-30 | 一种基于多尺度注意力的脑电信号自动睡眠分期方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115530847A true CN115530847A (zh) | 2022-12-30 |
Family
ID=84732494
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202211210987.0A Pending CN115530847A (zh) | 2022-09-30 | 2022-09-30 | 一种基于多尺度注意力的脑电信号自动睡眠分期方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115530847A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115969329A (zh) * | 2023-02-08 | 2023-04-18 | 长春理工大学 | 一种睡眠分期方法、系统、装置及介质 |
CN116070141A (zh) * | 2023-04-06 | 2023-05-05 | 博睿康科技(常州)股份有限公司 | 信号检测方法、检测模型、检测设备及应用 |
CN116072265A (zh) * | 2023-04-06 | 2023-05-05 | 北京理工大学 | 基于时间自注意力与动态图卷积的睡眠分期分析系统及方法 |
CN117679047A (zh) * | 2024-02-02 | 2024-03-12 | 长春理工大学 | 一种多尺度轻量化网络系统的高效癫痫检测方法及系统 |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112426147A (zh) * | 2020-10-21 | 2021-03-02 | 华南师范大学 | 睡眠呼吸事件检测模型处理方法、系统和存储介质 |
CN112651973A (zh) * | 2020-12-14 | 2021-04-13 | 南京理工大学 | 基于特征金字塔注意力和混合注意力级联的语义分割方法 |
CN114398932A (zh) * | 2022-01-18 | 2022-04-26 | 安徽大学 | 一种基于注意力机制和集成学习的睡眠分期方法 |
CN114431878A (zh) * | 2020-11-02 | 2022-05-06 | 哈尔滨理工大学 | 一种基于多尺度注意力残差网络的脑电睡眠分期方法 |
CN114587380A (zh) * | 2022-03-10 | 2022-06-07 | 钧晟(天津)科技发展有限公司 | 一种基于脑电采集头环的睡眠状态检测方法、装置及系统 |
CN114841219A (zh) * | 2022-06-06 | 2022-08-02 | 成都信息工程大学 | 基于半监督学习的单通道脑电睡眠分期方法 |
CN115082698A (zh) * | 2022-06-28 | 2022-09-20 | 华南理工大学 | 一种基于多尺度注意力模块的分心驾驶行为检测方法 |
-
2022
- 2022-09-30 CN CN202211210987.0A patent/CN115530847A/zh active Pending
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN112426147A (zh) * | 2020-10-21 | 2021-03-02 | 华南师范大学 | 睡眠呼吸事件检测模型处理方法、系统和存储介质 |
CN114431878A (zh) * | 2020-11-02 | 2022-05-06 | 哈尔滨理工大学 | 一种基于多尺度注意力残差网络的脑电睡眠分期方法 |
CN112651973A (zh) * | 2020-12-14 | 2021-04-13 | 南京理工大学 | 基于特征金字塔注意力和混合注意力级联的语义分割方法 |
CN114398932A (zh) * | 2022-01-18 | 2022-04-26 | 安徽大学 | 一种基于注意力机制和集成学习的睡眠分期方法 |
CN114587380A (zh) * | 2022-03-10 | 2022-06-07 | 钧晟(天津)科技发展有限公司 | 一种基于脑电采集头环的睡眠状态检测方法、装置及系统 |
CN114841219A (zh) * | 2022-06-06 | 2022-08-02 | 成都信息工程大学 | 基于半监督学习的单通道脑电睡眠分期方法 |
CN115082698A (zh) * | 2022-06-28 | 2022-09-20 | 华南理工大学 | 一种基于多尺度注意力模块的分心驾驶行为检测方法 |
Non-Patent Citations (2)
Title |
---|
EBRAHIM KHALILI,等: "Automatic Sleep Stage Classification Using Temporal Convolutional Neural Network and New Data Augmentation Technique from Raw Single-Channel EEG", 《COMPUTER METHODS AND PROGRAMS IN BIOMEDICINE》, vol. 204, 30 June 2021 (2021-06-30), pages 3 * |
EMADELDEEN ELDELE,等: "An Attention-Based Deep Learning Approach for Sleep Stage Classification With Single-Channel EEG", 《IEEE TRANSACTIONS ON NEURAL SYSTEMS AND REHABILITATION ENGINEERING》, vol. 29, 31 March 2021 (2021-03-31), pages 810 - 817 * |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN115969329A (zh) * | 2023-02-08 | 2023-04-18 | 长春理工大学 | 一种睡眠分期方法、系统、装置及介质 |
CN116070141A (zh) * | 2023-04-06 | 2023-05-05 | 博睿康科技(常州)股份有限公司 | 信号检测方法、检测模型、检测设备及应用 |
CN116072265A (zh) * | 2023-04-06 | 2023-05-05 | 北京理工大学 | 基于时间自注意力与动态图卷积的睡眠分期分析系统及方法 |
CN116072265B (zh) * | 2023-04-06 | 2023-06-27 | 北京理工大学 | 基于时间自注意力与动态图卷积的睡眠分期分析系统及方法 |
CN117679047A (zh) * | 2024-02-02 | 2024-03-12 | 长春理工大学 | 一种多尺度轻量化网络系统的高效癫痫检测方法及系统 |
CN117679047B (zh) * | 2024-02-02 | 2024-04-05 | 长春理工大学 | 一种多尺度轻量化网络系统的高效癫痫检测方法及系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN115530847A (zh) | 一种基于多尺度注意力的脑电信号自动睡眠分期方法 | |
Cui et al. | Automatic sleep stage classification based on convolutional neural network and fine-grained segments | |
CN110897639A (zh) | 一种基于深度卷积神经网络的脑电睡眠分期方法 | |
CN110801221B (zh) | 基于无监督特征学习的睡眠呼吸暂停片段检测设备 | |
CN110353702A (zh) | 一种基于浅层卷积神经网络的情感识别方法及系统 | |
Gupta et al. | OSACN-Net: automated classification of sleep apnea using deep learning model and smoothed Gabor spectrograms of ECG signal | |
CN108847279B (zh) | 一种基于脉搏波数据的睡眠呼吸状态自动判别方法及系统 | |
CN110881975A (zh) | 一种基于脑电信号的情感识别方法及系统 | |
CN112450885B (zh) | 一种面向癫痫脑电的识别方法 | |
CN113303770A (zh) | 睡眠分期方法及装置 | |
CN113925459A (zh) | 一种基于脑电特征融合的睡眠分期方法 | |
Zhao et al. | A deep learning algorithm based on 1D CNN-LSTM for automatic sleep staging | |
CN116058800A (zh) | 基于深度神经网络与脑机接口的自动睡眠分期系统 | |
Liu et al. | Automatic sleep arousals detection from polysomnography using multi-convolution neural network and random forest | |
CN110458066B (zh) | 一种基于静息态脑电数据的年龄段分类方法 | |
CN115251845B (zh) | 基于TB-TF-BiGRU模型处理脑电波信号的睡眠监测方法 | |
CN115399735A (zh) | 基于时频双流增强的多头注意机制睡眠分期方法 | |
CN110811591A (zh) | 一种基于心率变异性的心力衰竭分级方法 | |
CN116522106A (zh) | 一种基于迁移学习并行多尺度滤波器组时域卷积的运动想象脑电信号分类方法 | |
CN115336973A (zh) | 基于自注意力机制和单导联心电信号的睡眠分期系统构建方法、及睡眠分期系统 | |
Zhao et al. | GTSception: a deep learning eeg emotion recognition model based on fusion of global, time domain and frequency domain feature extraction | |
Fakhry et al. | Variational Mode Decomposition and a Light CNN-LSTM Model for Classification of Heart Sound Signals | |
Khan et al. | Deep convolutional neural network based sleep apnea detection scheme using spectro-temporal subframes of EEG signal | |
Liu et al. | Deep identity confusion for automatic sleep staging based on single-channel EEG | |
Sanghavi et al. | SpectroTemporalNet: Automated Sleep Stage Scoring with Stacked Generalization |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |