CN116763324A - 基于多尺度和多注意力的单通道脑电信号睡眠分期方法 - Google Patents
基于多尺度和多注意力的单通道脑电信号睡眠分期方法 Download PDFInfo
- Publication number
- CN116763324A CN116763324A CN202310720328.XA CN202310720328A CN116763324A CN 116763324 A CN116763324 A CN 116763324A CN 202310720328 A CN202310720328 A CN 202310720328A CN 116763324 A CN116763324 A CN 116763324A
- Authority
- CN
- China
- Prior art keywords
- sleep
- electroencephalogram
- channel
- sleep stage
- attention
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008667 sleep stage Effects 0.000 title claims abstract description 123
- 238000000034 method Methods 0.000 title claims abstract description 33
- 230000007958 sleep Effects 0.000 claims abstract description 82
- 230000007246 mechanism Effects 0.000 claims abstract description 15
- 230000001364 causal effect Effects 0.000 claims abstract description 12
- 230000006870 function Effects 0.000 claims description 33
- 238000011176 pooling Methods 0.000 claims description 28
- 230000004913 activation Effects 0.000 claims description 21
- 238000013528 artificial neural network Methods 0.000 claims description 14
- 238000000605 extraction Methods 0.000 claims description 13
- 238000010606 normalization Methods 0.000 claims description 10
- 238000011478 gradient descent method Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 8
- 238000012549 training Methods 0.000 claims description 7
- 239000012634 fragment Substances 0.000 claims description 6
- 210000002569 neuron Anatomy 0.000 claims description 6
- 238000007781 pre-processing Methods 0.000 claims description 6
- 230000036385 rapid eye movement (rem) sleep Effects 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 230000036962 time dependent Effects 0.000 claims description 4
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 238000005520 cutting process Methods 0.000 claims description 3
- 230000007480 spreading Effects 0.000 claims description 2
- 238000003892 spreading Methods 0.000 claims description 2
- 230000007774 longterm Effects 0.000 abstract description 9
- 230000008859 change Effects 0.000 abstract description 3
- 230000007704 transition Effects 0.000 abstract description 3
- 239000000284 extract Substances 0.000 abstract description 2
- 238000012545 processing Methods 0.000 abstract description 2
- 238000003909 pattern recognition Methods 0.000 abstract 1
- 238000013527 convolutional neural network Methods 0.000 description 6
- 210000004556 brain Anatomy 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 5
- 230000004461 rapid eye movement Effects 0.000 description 5
- 239000011159 matrix material Substances 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000007637 random forest analysis Methods 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 230000010339 dilation Effects 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000000517 effect on sleep Effects 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008452 non REM sleep Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000002618 waking effect Effects 0.000 description 1
Landscapes
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明公开了基于多尺度和多注意力的单通道脑电信号睡眠分期方法,属于信号处理和模式识别领域,目的是为了提高分期的准确性,实现高质量的睡眠分期。该方法通过多分辨率卷积提取原始信号中的多尺度特征,然后使用卷积注意力模块中的通道注意力和空间注意力机制学习特征重要性随时间尺度和趋势的变化,从而提高了特征质量。然后通过嵌入因果扩展卷积的多头注意力来建模特征间的长期依赖关系,学习睡眠转换规则。最后实现基于脑电信号的自动睡眠分期。
Description
技术领域
本发明涉及脑电信号处理及监测领域,具体涉及基于多尺度和多注意力的单通道脑电信号睡眠分期方法。
背景技术
美国睡眠医学学会(AASM)定义了人类睡眠的五个阶段:Wake(W)、Rapid EyeMovement(REM)、N1、N2和N3。N1、N2和N3都属于非快速眼动睡眠(non-REM),表示不同水平的深度睡眠。
现有技术中存在以机器学习的方法来实现基于多通道信号(EEG、EOG、EMG、CG)和单通道EEG信号的自动睡眠分期。这些方法通常都由人工特征提取以及睡眠阶段分类两个部分组成。首先,需要设计提取时域和频域的各种特征,然后,选取一些最具有区分性的特征,最后再由传统的机器学习模型例如支持向量机(SVM)、随机森林(RF)和神经网络进行分类。但是,这些方法都存在些许不足。首先,提取最具代表性的特征时需要专家提供领域的先验知识,也是比较耗时耗力。其次,由于对象和记录硬件之间的差异,基于可用数据集上手动设计的特征可能无法推广到更大的范围。
现有技术中还存在将深度学习应用于睡眠分期。大部分的深度学习睡眠分期网络都使用了卷积神经网络(CNN),设计不同大小的卷积核以及不同深度的卷积层可以有效的原始信号中的时不变特征。结果表明CNN在睡眠分期上取得了较好的效果。但是,这些利用多分辨CNN来做特征提取的模型忽略了特征重要性随时间尺度和趋势的变化,造成了信息丢失,影响模型的整体性能。而且,睡眠信号具有很强的时间依赖性,忽略了特征的长期依赖关系无法学习到睡眠模式和转换规则。
随着忽略时间信息的问题逐渐被人们发现,递归神经网络(RNN)以及长短期记忆(LSTM)开始应用于各种深度学习睡眠分期模型。RNN的主要优势在于可以被训练来学习长期的时间依赖关系。在深度学习睡眠分期模型中,RNN主要用于学习睡眠专家用来从PSG时期序列中识别下一个可能的睡眠阶段的转换规则。因此也有许多模型通过CNN进行特征提取,RNN进行时间依赖关系的建模,在睡眠分期的应用上也取得不错的效果。此外,还有模型使用了一个基于LSTM的编解码器,该编解码器在编码器之后具有注意机制,以找出输入序列中最相关的部分,效果相比之前也有明显提升。但是,RNN利用先前的输入来限制输出的特点,使得大部分使用RNN的模型都有较高的模型复杂度的局限性。
除了分类模型的选择外,类不平衡问题也是睡眠分期的普遍问题。之前解决这类问题最常用的手段就是过采样,但是这会明显增加训练模型的时间。其中比较新颖的是使用合成少数类过采样技术(SMOTE)来实现过采样,达到平衡数据的目的。也有许多模型在损失函数上下功夫,使用加权交叉熵损失函数对于不同类别给定不同的权重,从而提高模型对于少数类样本的关注度。但是,如何选择权重也是这种方法的局限性,少数类样本的权重过大会导致整体的分类效果变差,而权重太小又不能解决样本不平衡的问题。
因此目前深度学习自动睡眠分期仍存在缺乏时间相关特征、时间复杂度高以及处理类不平衡三大挑战。
发明内容
本发明目的:在于提供基于多尺度和多注意力的单通道脑电信号睡眠分期方法,解决手动睡眠分期耗时耗力,自动睡眠分期模型提取特征质量低的问题。提供了一种基于多尺度和多注意力的单通道脑电信号自动睡眠分期方法,能从原始单通道脑电睡眠信号中自动提取用于睡眠分期的高质量特征。并且可以捕获特征间的长期依赖关系,以此学习睡眠模式和转换规则,最后解决了睡眠数据中的类不平衡问题,实现了精准的自动睡眠分期任务。
为实现以上功能,本发明设计基于多尺度和多注意力的单通道脑电信号睡眠分期方法,执行如下步骤S1-步骤S5,完成对脑电睡眠数据(EEG)的睡眠分期:
步骤S1:采集预设时长的、包括W、N1、N2、N3、N4和REM睡眠阶段的原始脑电睡眠数据,对原始脑电睡眠数据进行预处理,获得经过预处理的脑电睡眠数据样本;
步骤S2:构建单通道脑电信号睡眠分期模型,以脑电睡眠数据样本为输入,依次经过多分辨率卷积、卷积注意力模块、多头注意力机制,分别进行脑电睡眠数据样本的时不变特征提取、时间相关特征提取、特征建模,通过softmax进行分类,获得脑电睡眠数据样本分别针对各预设睡眠阶段的得分;
步骤S3:根据Focal Loss构建单通道脑电信号睡眠分期模型的损失函数,根据脑电睡眠数据样本分类的难易程度赋权值,根据脑电睡眠数据样本分别针对各预设睡眠阶段的得分完成脑电睡眠数据样本的睡眠分期,并以脑电睡眠数据样本所对应的睡眠阶段作为单通道脑电信号睡眠分期模型的输出;
步骤S4:采用梯度下降法对单通道脑电信号睡眠分期模型进行训练,直至达到预设的收敛条件,获得训练好的单通道脑电信号睡眠分期模型;
步骤S5:应用训练好的单通道脑电信号睡眠分期模型,完成对脑电睡眠数据的睡眠分期。
作为本发明的一种优选技术方案:步骤S1中,原始脑电睡眠数据中的W睡眠阶段为清醒期,N1、N2、N3、N4和REM睡眠阶段为睡眠期,采集睡眠期前后30分钟的脑电睡眠数据,作为W睡眠阶段的数据,所述预处理包括:排除不属于任何睡眠阶段的脑电睡眠数据,将N4睡眠阶段合并至N3睡眠阶段,获得合并后的N3睡眠阶段,将原始脑电睡眠数据裁剪为各个30s的脑电睡眠数据片段,作为脑电睡眠数据样本。
作为本发明的一种优选技术方案:步骤S2具体包括如下步骤:
步骤S2.1:输入单通道脑电信号睡眠分期模型的各脑电睡眠数据样本经过具有两个分支的多分辨率卷积,两个多分辨率卷积的分支的卷积核的大小分别为Fs/2和Fs×4,其中Fs为采样频率,大的卷积核用来提取频域特征,小的卷积核用来提取时域特征;多分辨率卷积的两个分支都包含三个卷积层和两个池化层,每个卷积层后都采用高斯误差线性单元作为激活函数;
经过两个多分辨率卷积的分支得到的特征经过级联后经过Dropout层进行随机丢弃,最终经过多分辨率卷积得到的时不变特征为I∈RL×d,其中L表示通道数目,d表示每个通道的特征个数;
步骤S2.2:将多分辨率卷积提取到的时不变特征I∈RL×d输入卷积注意力模块,进行时间相关特征提取,卷积注意力模块包括通道注意力模块和空间注意力模块,通道注意力模块包括两个平行的自适应一维平均池化层和最大池化层,以及共享参数多层感知器单元,时不变特征I∈RL×d分别经过自适应一维平均池化层和最大池化层,分别得到两个大小为L×1的特征图,分别记为和/>
将和/>输入共享参数多层感知器单元,共享参数多层感知器单元具有两层卷积层,其中第一层中的神经元的数量为L/r,r表示衰减率,第二层的神经元数量是L;这两层的输出由RELU激活,然后逐个元素地相加;最后,应用Sigmoid激活函数得到通道关注度分数,与时不变特征I∈RL×d相乘得到L×d大小的通道关注度加权特征图;其中通道关注度分数Mc具体计算表达式为:
其中σ表示Sigmoid激活函数,W0∈RL/e×L和W1∈RL×L/r表示共享参数多层感知器的权重参数;由(1)得到的Mc(I)∈RL×1与时不变特征I∈RL×d相乘得到的通道关注度加权特征图F∈RL×d如下式:
其中表示Mc和I之间的点积;
将通道注意力模块输出的通道关注度加权特征图F∈RL×d作为空间注意力模块的输入,空间注意力模块分别对其进行通道维度的最大池化和平均池化,得到两个1×d大小的特征图和/>然后,沿着通道维度将两个特征图连接,并通过一维卷积层将通道数压缩为1;最后,应用Sigmoid激活函数获得空间注意力模块的特征图Ms,特征图Ms的计算式如下:
其中,σ表示Sigmoid激活函数,f7表示卷积核大小为7的一维卷积运算;
将空间注意力模块的特征图Ms与输入的通道关注度加权特征图F∈RL×d相乘,以获得整个卷积注意力模块的输出X∈RL×d;X的计算公式为:
步骤S2.3:卷积注意力模块的输出X∈RL×d分别经过三个不同的因果扩展卷积层得到矩阵Q、K和V,根据Q、K和V计算关注度如下式:
根据多头注意力机制中头部的数量H将矩阵Q、K和V分割,根据式(5)将每个头部表示为具体如下式:
Ah=ATT(Qh,Kh,vh) (6)
其中1≤h≤H;最后,将所有头部表示连接在一起以获得多头注意力输出;具体如下式:
MAH(Q,K,V)=Concat(A1,...AH)∈RL×d (7)
式中,MAH(Q,K,V)表示多头注意力输出,Concat表示连接操作;
针对多头注意力得到的输出进行残差和层归一化操作,表示为LayerNorm(x+SubLayer(x)),其中x表示网络的输入,SubLayer表示残差操作,LayerNorm表示层归一化操作;残差和层归一化操作的输出经过前馈神经网络,获得用于睡眠分期的最终输出特征;前馈神经网络的操作如下式:
Fout=W3(δ(W2(x))) (8)
其中,Fout表示前馈神经网络的输出,W2和W3表示前馈神经网络中的两个全连接层,δ表示RELU激活函数;
步骤S2.4:将步骤S2.3输出的特征经过带有Softmax激活函数的全连接层,得到每个样本分别针对各预设睡眠阶段的得分,实现每个样本的睡眠分期。
作为本发明的一种优选技术方案:步骤S3中根据Focal Loss构建的单通道脑电信号睡眠分期模型的损失函数FL如下式:
FL(pt)=-α(1-pt)γlog(pt) (9)
其中α和γ为可调节的参数,pt的计算如下式:
式中,y表示预测标签,p表示正类的预测概率,pt表示了预测正确的概率。
作为本发明的一种优选技术方案:步骤S4中采用梯度下降法对单通道脑电信号睡眠分期模型进行训练的过程中,梯度下降方法为Adam,学习率设置为1e-4。
作为本发明的一种优选技术方案:根据AASM睡眠分期标准,将各预设睡眠阶段分为W、N1、N2、N3和REM五个睡眠阶段。
有益效果:相对于现有技术,本发明的优点包括:
针对睡眠分期存在的缺乏时间相关特征、时间复杂度高以及处理类不平衡问题,本发明通过卷积注意力模块学习特征重要性随时间尺度和趋势的变化,学习时间相关特征,并且使用多头注意力机制来代替RNN和LSTM来捕获特征的长期依赖,多头注意力机制使用并行计算的优点大幅度降低了模型的时间复杂度,最后通过引入Focal Loss来提高对少数类样本的关注度,再不增加额外计算量的前提下解决了类不平衡的问题。
附图说明
图1是根据本发明实施例提供的基于多尺度和多注意力的单通道脑电信号睡眠分期方法的流程图;
图2是根据本发明实施例提供的时不变特征和时间相关特征提取的流程图;
图3是根据本发明实施例提供的特征建模的中使用的嵌入因果扩展卷积多头注意力的结构图。
具体实施方式
下面结合附图对本发明作进一步描述。以下实施例仅用于更加清楚地说明本发明的技术方案,而不能以此来限制本发明的保护范围。
参照图1,本发明实施例提供的基于多尺度和多注意力的单通道脑电信号睡眠分期方法,执行如下步骤S1-步骤S5,完成对脑电睡眠数据的睡眠分期:
步骤S1:采集预设时长的、包括W、N1、N2、N3、N4和REM睡眠阶段的原始脑电睡眠数据,对原始脑电睡眠数据进行预处理,获得经过预处理的脑电睡眠数据样本;
原始脑电睡眠数据中的W睡眠阶段为清醒期,N1、N2、N3、N4和REM睡眠阶段为睡眠期,采集睡眠期前后30分钟的脑电睡眠数据,作为W睡眠阶段的数据,所述预处理包括:排除不属于任何睡眠阶段的脑电睡眠数据,将N4睡眠阶段合并至N3睡眠阶段,获得合并后的N3睡眠阶段,将原始脑电睡眠数据裁剪为各个30s的脑电睡眠数据片段,作为脑电睡眠数据样本。
根据AASM睡眠分期标准,所述的各预设睡眠阶段分为W、N1、N2、N3和REM五个睡眠阶段。
步骤S2:构建单通道脑电信号睡眠分期模型,以脑电睡眠数据样本为输入,依次经过多分辨率卷积(Multi-Resolution CNN,MRCNN)、卷积注意力模块(Convolutional BlockAttention Module,CBAM)、多头注意力机制(Multi-Head Attention,MHA),分别进行脑电睡眠数据样本的时不变特征提取、时间相关特征提取、特征建模,通过softmax进行分类,获得脑电睡眠数据样本分别针对各预设睡眠阶段的得分。
步骤S2具体包括如下步骤:
步骤S2.1:参照图2,输入单通道脑电信号睡眠分期模型的各脑电睡眠数据样本经过具有两个分支的多分辨率卷积,两个多分辨率卷积的分支的卷积核的大小分别为Fs/2和Fs×4,其中Fs为采样频率,大的卷积核用来提取频域特征,小的卷积核用来提取时域特征;多分辨率卷积的两个分支都包含三个卷积层和两个池化层,每个卷积层后都采用高斯误差线性单元(Gaussian Error Linear Units,GELU)作为激活函数;该损失函数允许负的权重通过,避免了信息的丢失,对后续进行时间相关特征提取有重要作用。
经过两个多分辨率卷积的分支得到的特征经过级联后经过Dropout层进行随机丢弃以防止过拟合,最终经过多分辨率卷积得到的时不变特征为I∈RL×d,其中L表示通道数目,d表示每个通道的特征个数。
步骤S2.2:将多分辨率卷积提取到的时不变特征I∈RL×d输入卷积注意力模块,进行时间相关特征提取,卷积注意力模块包括通道注意力模块(Channel Attention,CA)和空间注意力模块(Spatial Attention,SA),输入时不变特征I∈RL×d首先通过通道注意力模块得到不同通道的加权结果学习时间尺度信息,然后应用空间注意力模块得到另一轮加权学习时间趋势信息后得到最终输出。
通道注意力模块包括两个平行的自适应一维平均池化层和最大池化层,以及共享参数多层感知器单元,时不变特征I∈RL×d分别经过自适应一维平均池化层和最大池化层,分别得到两个大小为L×1的特征图,分别记为和/>采用并行平均池化层和最大池化层的原因是并行平均池化层和最大池化层比单一池化层更好地减少信息损失,取得更好的效果。平均池化层用于获取宏观信息聚合,而最大池化层用于收集重要特征线索以推断更精细的通道注意。
将和/>输入共享参数多层感知器单元,共享参数多层感知器单元具有两层卷积层,其中第一层中的神经元的数量为L/r,r表示衰减率,第二层的神经元数量是L;这两层的输出由RELU激活,然后逐个元素地相加;最后,应用Sigmoid激活函数得到通道关注度分数,与时不变特征I∈RL×d相乘得到L×d大小的通道关注度加权特征图;其中通道关注度分数Mc具体计算表达式为:
其中σ表示Sigmoid激活函数,W0∈RL/r×L和W1∈RL×L/r表示共享参数多层感知器的权重参数;由(1)得到的Mc(I)∈RL×1与时不变特征I∈RL×d相乘得到的通道关注度加权特征图F∈RL×d如下式:
其中表示Mc和I之间的点积;
将通道注意力模块输出的通道关注度加权特征图f∈RL×d作为空间注意力模块的输入,空间注意力模块分别对其进行通道维度的最大池化和平均池化,得到两个1×d大小的特征图和/>然后,沿着通道维度将两个特征图连接,并通过一维卷积层将通道数压缩为1;最后,应用Sigmoid激活函数获得空间注意力模块的特征图Ms,特征图Ms的计算式如下:
其中,σ表示Sigmoid激活函数,f7表示卷积核大小为7的一维卷积运算;
将空间注意力模块的特征图Ms与输入的通道关注度加权特征图F∈RL×d相乘,以获得整个卷积注意力模块的输出X∈RL×d;X的计算公式为:
因此,卷积注意力模块可以自适应地调整每个通道和空间位置的权重,学习具有时间尺度和趋势变化的特征的重要性,而不改变输入特征的大小。
步骤S2.3:通过建模从原始信号中提取到的特征之间的长时间依赖关系,从而学习睡眠转换规则。主要通过嵌入因果扩展卷积的多头注意力来实现。多头注意力可以捕获特征之间的依赖关系,因果扩展卷积的嵌入在限制了时序信号先后顺序的同时增大了感受野,实现了对长期依赖的建模。步骤S2.2的输出特征X∈RL×d作为步骤S2.3的输入,X首先通过多头注意力机制来捕获特征之间的依赖关系。多头注意力机制首先将输入特征进行空间变换,然后再将特征划分多个头,分别计算每个头的注意力分数,最后再将所有头拼接起来得到最终输出。脑电信号在时间域上呈现出清晰的时间序列,它们的时间顺序对于更好地理解生理变化和睡眠模式是必不可少的。全连接层违反了基本的时间限制,允许未来的时间步长影响过去的时间步长,从而导致信息泄漏。因此,应用因果卷积来执行空间变换以计算相关性。因果卷积在每个时间步只考虑较早输入数据对较晚输出的影响,严格限制时间顺序。这允许因果卷积在睡眠分期中更准确地对时间依赖进行建模。然而,由于每个输出点只依赖于当前时间步长之前的一小段输入数据,而不是整个序列,感受野变小,限制了其捕获长期依赖的能力。因此,因果膨胀卷积可以通过跳过一些输入来增加感受野。因果膨胀卷积更适合于脑电信号的特点和睡眠分期。
参照图3,卷积注意力模块的输出X∈RL×d分别经过三个不同的因果扩展卷积层得到矩阵query(Q)、key(K)和value(V),根据Q、K和V计算关注度如下式:
多头注意力机制将特征投影到不同的子空间去学习特征之间的依赖关系,显著提高了模型的表达能力,根据多头注意力机制中头部的数量H将矩阵Q、K和V分割,每个头部可以专注于输入序列,并捕捉不同的模式或特征。这使模型能够更好地对长期依赖项进行建模,并捕获输入的不同部分之间更复杂的关系。在每个子空间内,根据式(5)将每个头部表示为具体如下式:
Ah=ATT(Qh,Kh,vh) (6)
其中1≤h≤H;最后,将所有头部表示连接在一起以获得多头注意力输出;具体如下式:
MAH(Q,K,V)=Concat(A1,...AH)∈RL×d (7)
式中,MAH(Q,K,V)表示多头注意力输出,Concat表示连接操作;
针对多头注意力得到的输出进行残差和层归一化操作,表示为LaterNorm(x+SubLayer(x)),其中x表示网络的输入,SubLayer表示残差操作,LayerNorm表示层归一化操作;残差连接有助于将低层特征传播到高层,可以防止梯度消失和减少过拟合,层归一化则是可以加速模型的训练过程。残差和层归一化操作的输出经过前馈神经网络(Feed-Forward Layer,FFN),获得用于睡眠分期的最终输出特征;由于多头注意力机制中都是矩阵线性运算,线性运算的学习能力远不如非线性,因此使用前馈神经网络中的两个全连接层来提高模型的学习能力。前馈神经网络的操作如下式:
Fout=W3(δ(W2(x))) (8)
其中,Fout表示前馈神经网络的输出,W2和W3表示前馈神经网络中的两个全连接层,δ表示RELU激活函数;
步骤S2.4:将步骤S2.3输出的特征经过带有Softmax激活函数的全连接层,得到每个样本分别针对各预设睡眠阶段的得分,实现每个样本的睡眠分期。
步骤S3:根据Focal Loss构建单通道脑电信号睡眠分期模型的损失函数,根据脑电睡眠数据样本分类的难易程度赋权值,根据脑电睡眠数据样本分别针对各预设睡眠阶段的得分完成脑电睡眠数据样本的睡眠分期,并以脑电睡眠数据样本所对应的睡眠阶段作为单通道脑电信号睡眠分期模型的输出。
步骤S3中根据Focal Loss构建的单通道脑电信号睡眠分期模型的损失函数FL来处理类不平衡问题,根据样本分类的难易程度给定样本损失不同的权值,从而增大对难区分样本的关注度,减少类不平衡带来的影响;损失函数FL如下式:
FL(pt)=-α(1-pt)γlog(pt) (9)
其中α和γ为可调节的参数,pt的计算如下式:
式中,y表示预测标签,p表示正类的预测概率,pt表示了预测正确的概率。因此pt越小,表明该样本置信度低,为难区分样本,其对应的损失权重就越高。从而实现了对少数类的难区分样本的关注度,解决类不平衡的问题。
在一个五类别睡眠阶段分类任务中,分别将每个类别视为一个正类,其他四个类别视为负类,损失可以单独计算再求和。对于像N1睡眠阶段这样的少数类,pt的值很小,所以这个样本的损失权重较高。因此,可以更多地关注少数类的样本。与传统的关注类别影响的加权交叉熵损失相比,Focal Loss更关注样本,从而摆脱了睡眠阶段之间分布差异的限制。经过此步骤即可得到每个30s脑电睡眠数据样本的睡眠阶段预测结果。
步骤S4:采用梯度下降法对单通道脑电信号睡眠分期模型进行训练,并最小化损失函数FL以优化网络参数,直至达到预设的收敛条件,获得训练好的单通道脑电信号睡眠分期模型;
采用梯度下降法对单通道脑电信号睡眠分期模型进行训练的过程中,梯度下降方法为Adam,学习率设置为1e-4。
步骤S5:应用训练好的单通道脑电信号睡眠分期模型,完成对脑电睡眠数据的睡眠分期。
以下为验证本发明有效性的实施例:
将本发明设计的单通道脑电信号睡眠分期模型在数据集Sleep-EDF-20和Sleep-EDF-78上进行了实验验证。由于数据集样本数量有限,本实验采用了20折交叉验证。对于单通道脑电信号睡眠分期模型的评估采用了多分类问题中几个常用的评价指标,包括Precision(PR)、Recall(RE)、F1-score(F1)和G-Mean(GM)。本发明提出的单通道脑电信号睡眠分期模型在两个数据集上的具体表现见表1和2。
表1:Sleep-EDF-20数据集上的混淆矩阵及各类评价指标
表2:Sleep-EDF-78数据集上的混淆矩阵及各类评价指标
为了证明本发明提出的单通道脑电信号睡眠分期模型的有效性,使用了现有的睡眠分期方案性能与本发明的上述方案性能进行了对比,如表3所示。将本发明所提出的单通道脑电信号睡眠分期模型与几种现有模型在两个数据上对以下几个指标进行了对此,分别包括各类F1分数、准确率(ACC)、综合F1分数(MF1)、Kappa(k)以及综合G-Mean(MGm)。从表3可知本发明提出的单通道脑电信号睡眠分期模型在几个综合评价指标上的表现均优于其他模型。
表3:Sleep-EDF-20和Sleep-EDF-78数据集上
上面结合附图对本发明的实施方式作了详细说明,但是本发明并不限于上述实施方式,在本领域普通技术人员所具备的知识范围内,还可以在不脱离本发明宗旨的前提下做出各种变化。
Claims (6)
1.基于多尺度和多注意力的单通道脑电信号睡眠分期方法,其特征在于,执行如下步骤S1-步骤S5,完成对脑电睡眠数据的睡眠分期:
步骤S1:采集预设时长的、包括W、N1、N2、N3、N4和REM睡眠阶段的原始脑电睡眠数据,对原始脑电睡眠数据进行预处理,获得经过预处理的脑电睡眠数据样本;
步骤S2:构建单通道脑电信号睡眠分期模型,以脑电睡眠数据样本为输入,依次经过多分辨率卷积、卷积注意力模块、多头注意力机制,分别进行脑电睡眠数据样本的时不变特征提取、时间相关特征提取、特征建模,通过softmax进行分类,获得脑电睡眠数据样本分别针对各预设睡眠阶段的得分;
步骤S3:根据Focal Loss构建单通道脑电信号睡眠分期模型的损失函数,根据脑电睡眠数据样本分类的难易程度赋权值,根据脑电睡眠数据样本分别针对各预设睡眠阶段的得分完成脑电睡眠数据样本的睡眠分期,并以脑电睡眠数据样本所对应的睡眠阶段作为单通道脑电信号睡眠分期模型的输出;
步骤S4:采用梯度下降法对单通道脑电信号睡眠分期模型进行训练,直至达到预设的收敛条件,获得训练好的单通道脑电信号睡眠分期模型;
步骤S5:应用训练好的单通道脑电信号睡眠分期模型,完成对脑电睡眠数据的睡眠分期。
2.根据权利要求1所述的基于多尺度和多注意力的单通道脑电信号睡眠分期方法,其特征在于,步骤S1中,原始脑电睡眠数据中的W睡眠阶段为清醒期,N1、N2、N3、N4和REM睡眠阶段为睡眠期,采集睡眠期前后30分钟的脑电睡眠数据,作为W睡眠阶段的数据,所述预处理包括:排除不属于任何睡眠阶段的脑电睡眠数据,将N4睡眠阶段合并至N3睡眠阶段,获得合并后的N3睡眠阶段,将原始脑电睡眠数据裁剪为各个30s的脑电睡眠数据片段,作为脑电睡眠数据样本。
3.根据权利要求1所述的基于多尺度和多注意力的单通道脑电信号睡眠分期方法,其特征在于,步骤S2具体包括如下步骤:
步骤S2.1:输入单通道脑电信号睡眠分期模型的各脑电睡眠数据样本经过具有两个分支的多分辨率卷积,两个多分辨率卷积的分支的卷积核的大小分别为Fs/2和Fs×4,其中Fs为采样频率,大的卷积核用来提取频域特征,小的卷积核用来提取时域特征;多分辨率卷积的两个分支都包含三个卷积层和两个池化层,每个卷积层后都采用高斯误差线性单元作为激活函数;
经过两个多分辨率卷积的分支得到的特征经过级联后经过Dropout层进行随机丢弃,最终经过多分辨率卷积得到的时不变特征为I∈RL×d,其中L表示通道数目,d表示每个通道的特征个数;
步骤S2.2:将多分辨率卷积提取到的时不变特征I∈RL×d输入卷积注意力模块,进行时间相关特征提取,卷积注意力模块包括通道注意力模块和空间注意力模块,通道注意力模块包括两个平行的自适应一维平均池化层和最大池化层,以及共享参数多层感知器单元,时不变特征I∈RL×d分别经过自适应一维平均池化层和最大池化层,分别得到两个大小为L×1的特征图,分别记为和/>
将和/>输入共享参数多层感知器单元,共享参数多层感知器单元具有两层卷积层,其中第一层中的神经元的数量为L/r,r表示衰减率,第二层的神经元数量是L;这两层的输出由RELU激活,然后逐个元素地相加;最后,应用Sigmoid激活函数得到通道关注度分数,与时不变特征I∈RL×d相乘得到L×d大小的通道关注度加权特征图;其中通道关注度分数Mc具体计算表达式为:
其中σ表示Sigmoid激活函数,W0∈RL/r×L和W1∈RL×L/r表示共享参数多层感知器的权重参数;由(1)得到的Mc(I)∈RL×1与时不变特征I∈RL×d相乘得到的通道关注度加权特征图F∈RL ×d如下式:
其中表示Mc和I之间的点积;
将通道注意力模块输出的通道关注度加权特征图F∈RL×d作为空间注意力模块的输入,空间注意力模块分别对其进行通道维度的最大池化和平均池化,得到两个1×d大小的特征图和/>然后,沿着通道维度将两个特征图连接,并通过一维卷积层将通道数压缩为1;最后,应用Sigmoid激活函数获得空间注意力模块的特征图Ms,特征图Ms的计算式如下:
其中,σ表示Sigmoid激活函数,f7表示卷积核大小为7的一维卷积运算;
将空间注意力模块的特征图Ms与输入的通道关注度加权特征图F∈RL×d相乘,以获得整个卷积注意力模块的输出X∈RL×d;X的计算公式为:
步骤S2.3:卷积注意力模块的输出X∈RL×d分别经过三个不同的因果扩展卷积层得到矩阵Q、K和V,根据Q、K和V计算关注度如下式:
根据多头注意力机制中头部的数量H将矩阵Q、K和V分割,根据式(5)将每个头部表示为具体如下式:
Ah=ATT(Qh,Kh,Vh) (6)
其中1≤h≤H;最后,将所有头部表示连接在一起以获得多头注意力输出;具体如下式:
MAH(Q,K,V)=Concat(A1,...AH)∈RL×d (7)
式中,MAH(Q,K,V)表示多头注意力输出,Concat表示连接操作;
针对多头注意力得到的输出进行残差和层归一化操作,表示为LayerNorm(x+SubLayer(x)),其中x表示网络的输入,SubLayer表示残差操作,LayerNorm表示层归一化操作;残差和层归一化操作的输出经过前馈神经网络,获得用于睡眠分期的最终输出特征;前馈神经网络的操作如下式:
Fout=W3(δ(W2(x))) (8)
其中,Fout表示前馈神经网络的输出,W2和W3表示前馈神经网络中的两个全连接层,δ表示RELU激活函数;
步骤S2.4:将步骤S2.3输出的特征经过带有Softmax激活函数的全连接层,得到每个样本分别针对各预设睡眠阶段的得分,实现每个样本的睡眠分期。
4.根据权利要求1所述的基于多尺度和多注意力的单通道脑电信号睡眠分期方法,其特征在于,步骤S3中根据Focal Loss构建的单通道脑电信号睡眠分期模型的损失函数FL如下式:
FL(pt)=-α(1-pt)γlog(pt) (9)
其中α和γ为可调节的参数,pt的计算如下式:
式中,y表示预测标签,p表示正类的预测概率,pt表示预测正确的概率。
5.根据权利要求1所述的基于多尺度和多注意力的单通道脑电信号睡眠分期方法,其特征在于,步骤S4中采用梯度下降法对单通道脑电信号睡眠分期模型进行训练的过程中,梯度下降方法为Adam,学习率设置为1e-4。
6.根据权利要求1所述的基于多尺度和多注意力的单通道脑电信号睡眠分期方法,其特征在于,根据AASM睡眠分期标准,将各预设睡眠阶段分为W、N1、N2、N3和REM五个睡眠阶段。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310720328.XA CN116763324A (zh) | 2023-06-16 | 2023-06-16 | 基于多尺度和多注意力的单通道脑电信号睡眠分期方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310720328.XA CN116763324A (zh) | 2023-06-16 | 2023-06-16 | 基于多尺度和多注意力的单通道脑电信号睡眠分期方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN116763324A true CN116763324A (zh) | 2023-09-19 |
Family
ID=87990749
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310720328.XA Pending CN116763324A (zh) | 2023-06-16 | 2023-06-16 | 基于多尺度和多注意力的单通道脑电信号睡眠分期方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116763324A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117617911A (zh) * | 2024-01-25 | 2024-03-01 | 长春理工大学 | 一种睡眠阶段分期方法、装置、设备及存储介质 |
-
2023
- 2023-06-16 CN CN202310720328.XA patent/CN116763324A/zh active Pending
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117617911A (zh) * | 2024-01-25 | 2024-03-01 | 长春理工大学 | 一种睡眠阶段分期方法、装置、设备及存储介质 |
CN117617911B (zh) * | 2024-01-25 | 2024-03-26 | 长春理工大学 | 一种睡眠阶段分期方法、装置、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Sun et al. | A hierarchical neural network for sleep stage classification based on comprehensive feature learning and multi-flow sequence learning | |
CN108776788B (zh) | 一种基于脑电波的识别方法 | |
CN108491077B (zh) | 一种基于多流分治卷积神经网络的表面肌电信号手势识别方法 | |
CN114052735B (zh) | 一种基于深度领域自适应的脑电情绪识别方法及系统 | |
CN112784798A (zh) | 一种基于特征-时间注意力机制的多模态情感识别方法 | |
CN108959895B (zh) | 一种基于卷积神经网络的脑电信号eeg身份识别方法 | |
CN113011239B (zh) | 一种基于最优窄频带特征融合的运动想象分类方法 | |
CN109389171B (zh) | 基于多粒度卷积降噪自动编码器技术的医疗图像分类方法 | |
CN112800998A (zh) | 融合注意力机制和dmcca的多模态情感识别方法及系统 | |
CN114176607B (zh) | 一种基于视觉Transformer的脑电信号分类方法 | |
CN111783534A (zh) | 一种基于深度学习的睡眠分期方法 | |
CN109685071A (zh) | 基于共同空间模式特征宽度学习的脑电分类方法 | |
CN116763324A (zh) | 基于多尺度和多注意力的单通道脑电信号睡眠分期方法 | |
Jinliang et al. | EEG emotion recognition based on granger causality and capsnet neural network | |
CN115530847A (zh) | 一种基于多尺度注意力的脑电信号自动睡眠分期方法 | |
CN113243924A (zh) | 基于脑电信号通道注意力卷积神经网络的身份识别方法 | |
CN117198468A (zh) | 基于行为识别和数据分析的干预方案智慧化管理系统 | |
CN114220164A (zh) | 一种基于变分模态分解和支持向量机的手势识别方法 | |
CN115954019B (zh) | 一种融合自注意力和卷积操作的环境噪声识别方法及系统 | |
CN112370058A (zh) | 一种基于移动端对用户的情感进行识别与监测方法 | |
CN117407748A (zh) | 基于图卷积和融合注意力的脑电情绪识别方法 | |
CN116186544A (zh) | 基于深度学习的单通道脑电睡眠分期方法 | |
CN115512422A (zh) | 基于注意力机制的卷积神经网络面部情绪识别方法及系统 | |
Peng | Research on Emotion Recognition Based on Deep Learning for Mental Health | |
CN115399735A (zh) | 基于时频双流增强的多头注意机制睡眠分期方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |