CN114129138B - 一种基于时序多尺度混合注意力模型的自动睡眠分期方法 - Google Patents
一种基于时序多尺度混合注意力模型的自动睡眠分期方法 Download PDFInfo
- Publication number
- CN114129138B CN114129138B CN202111632736.7A CN202111632736A CN114129138B CN 114129138 B CN114129138 B CN 114129138B CN 202111632736 A CN202111632736 A CN 202111632736A CN 114129138 B CN114129138 B CN 114129138B
- Authority
- CN
- China
- Prior art keywords
- time
- sequence
- channel
- scale
- segment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims abstract description 33
- 238000013528 artificial neural network Methods 0.000 claims abstract description 39
- 230000008667 sleep stage Effects 0.000 claims abstract description 32
- 230000007246 mechanism Effects 0.000 claims abstract description 27
- 238000006243 chemical reaction Methods 0.000 claims abstract description 14
- 230000008569 process Effects 0.000 claims abstract description 12
- 239000012634 fragment Substances 0.000 claims description 72
- 238000012549 training Methods 0.000 claims description 68
- 238000012512 characterization method Methods 0.000 claims description 48
- 239000011159 matrix material Substances 0.000 claims description 34
- 230000004927 fusion Effects 0.000 claims description 31
- 238000004364 calculation method Methods 0.000 claims description 20
- 238000000605 extraction Methods 0.000 claims description 15
- 125000004122 cyclic group Chemical group 0.000 claims description 14
- 230000006870 function Effects 0.000 claims description 14
- 230000004913 activation Effects 0.000 claims description 10
- 239000013598 vector Substances 0.000 claims description 10
- 230000000306 recurrent effect Effects 0.000 claims description 9
- 238000001914 filtration Methods 0.000 claims description 8
- 230000007704 transition Effects 0.000 claims description 8
- 230000000737 periodic effect Effects 0.000 claims description 7
- 230000035772 mutation Effects 0.000 claims description 4
- 230000009467 reduction Effects 0.000 claims description 4
- 238000007781 pre-processing Methods 0.000 claims description 3
- 230000007774 longterm Effects 0.000 claims description 2
- FGUUSXIOTUKUDN-IBGZPJMESA-N C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 Chemical compound C1(=CC=CC=C1)N1C2=C(NC([C@H](C1)NC=1OC(=NN=1)C1=CC=CC=C1)=O)C=CC=C2 FGUUSXIOTUKUDN-IBGZPJMESA-N 0.000 claims 1
- 230000009466 transformation Effects 0.000 claims 1
- 238000013135 deep learning Methods 0.000 abstract description 3
- 238000010801 machine learning Methods 0.000 abstract description 3
- 238000013473 artificial intelligence Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 8
- 230000037053 non-rapid eye movement Effects 0.000 description 4
- 238000013527 convolutional neural network Methods 0.000 description 3
- 208000019116 sleep disease Diseases 0.000 description 3
- 238000002474 experimental method Methods 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- PCHJSUWPFVWCPO-UHFFFAOYSA-N gold Chemical compound [Au] PCHJSUWPFVWCPO-UHFFFAOYSA-N 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000004461 rapid eye movement Effects 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 230000003860 sleep quality Effects 0.000 description 1
- 230000036578 sleeping time Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4806—Sleep evaluation
- A61B5/4809—Sleep detection, i.e. determining whether a subject is asleep or not
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4806—Sleep evaluation
- A61B5/4812—Detecting sleep stages or cycles
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4806—Sleep evaluation
- A61B5/4815—Sleep quality
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7253—Details of waveform analysis characterised by using transforms
- A61B5/7257—Details of waveform analysis characterised by using transforms using Fourier transforms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Biophysics (AREA)
- General Health & Medical Sciences (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Animal Behavior & Ethology (AREA)
- Surgery (AREA)
- Molecular Biology (AREA)
- Medical Informatics (AREA)
- Artificial Intelligence (AREA)
- Pathology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Signal Processing (AREA)
- Psychiatry (AREA)
- Physiology (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Anesthesiology (AREA)
- Image Analysis (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
本发明公开了一种基于时序多尺度混合注意力模型的自动睡眠分期方法,属于生物医学工程和机器学习领域。本发明基于当下流行的深度学习神经网络与注意力机制,引入时序多尺度思想并设计了端到端的自动睡眠分期模型,能够充分表达睡眠信号波形与结构特征,考虑两种时间尺度下睡眠阶段转换的时序特性。与现有自动睡眠分期方法相比,本发明能够在保证较高睡眠分期准确率的同时,最大程度贴合睡眠信号特性和人工睡眠分期过程,具有较高的可解释性,为将来睡眠医学领域与人工智能领域的结合提供了新思想。
Description
技术领域
本发明涉及生物医学工程和机器学习领域,尤其涉及一种基于时序多尺度混合注意力模型的自动睡眠分期方法。
背景技术
睡眠占据人类生命1/3的时间,在维持身体健康方面至关重要。随着社会节奏的加快,人们的睡眠质量逐渐降低,睡眠障碍发病率逐渐升高。多导睡眠图(polysomnogram,PSG)是监测睡眠质量、诊疗睡眠疾病的金标准,其本质是从人体各个部位表面采集到的多通道生理电信号,包括脑电图、眼电图等。基于PSG的睡眠分期是诊疗睡眠疾病的前提,医生每隔30秒对PSG进行一次睡眠阶段分类。根据美国睡眠医学会的睡眠分期准则,睡眠可被分为清醒期、非快速眼动1~3期和快速眼动期共5种阶段。准确实现睡眠分期是高效诊疗睡眠疾病的保障,目前的人工分期法是通过视觉观察PSG片段波形特征进行标定,但正常人整夜睡眠时间为6~8小时,标记大规模30秒PSG片段不仅会耗费医生大量的时间和精力,还会受主观因素影响。因此,利用计算机算法提取PSG波形特征并实现自动睡眠分期,从而减轻医生压力和主观因素干扰,对于未来睡眠医学领域具有重大意义。
近年来,国内外涌现出了大量基于机器学习的自动睡眠分期算法研究,主要研究方向集中在应用深度学习模型自动提取PSG波形特征,进而实现睡眠分期。在人工睡眠分期时,医生会同时依据三种信息判断一个30秒PSG片段属于哪类睡眠阶段,包括:1)该片段内有效波形与结构信息(如脑电通道的睡眠纺锤波等波形);2)该片段与前后相邻片段共同反映出的短时突变性时序转换信息(如清醒期→非快速眼动1期→非快速眼动2期的过渡过程);3)该片段与前后多个片段共同反映出的长时周期性时序转换信息(如持续出现非快速眼动2期的周期过程)。目前,有些自动睡眠分期模型仅采用卷积神经网络(convolutionalneural networks,CNN)提取上述第1种片段内波形特征,忽略了若干PSG片段间的时序转换特征;还有些模型虽然加入循环神经网络(recurrent neural networks,RNN)进一步提取了PSG片段间时序转换特征,但也仅仅考虑了上述第2和第3种时序转换特征中的一种,无法同时考虑上述三种特征信息。因此,现有模型存在的问题可总结为:1)未充分提取PSG片段内波形与结构特征;2)忽略时间维度下PSG片段间时序转换特征;3)无法同时考虑两种时间尺度下PSG片段间时序转换特征(短时突变性和长时周期性时序转换信息)。综上所述,如何在符合人工睡眠分期规律的前提下,利用现有深度学习技术来充分表达PSG片段内波形与结构特征、同时提取多时间尺度片段间时序转换特征,进而保证模型较高的睡眠分期准确率与效率,是研究人员需要攻克的一个难题。
发明内容
本发明的目的在于解决现有深度学习算法在自动睡眠分期中的不足,提出一种基于时序多尺度混合注意力模型的自动睡眠分期方法,即通过在两种时间尺度机制下结合循环神经网络特征提取、一维通道注意力与二维全局注意力特征融合的方式,充分表达PSG在不同时间尺度下的通道相关性特征和时序转换特征,在保证较高睡眠分期准确率的同时,最大程度贴合PSG信号特性和人工睡眠分期过程。
为实现以上目的,本发明采用的技术方案是,一种基于时序多尺度混合注意力模型的自动睡眠分期方法,包括以下步骤:
1)将整夜多通道PSG按30秒切分为等长的片段,取T个多通道PSG片段组成的序列和中间t时刻PSG片段/>对应的独热(one-hot)睡眠标签yt作为训练数据集/> 其中,1:T表示时间维度标号序列{1,2,…,t,…,T-1,T},t为中间时刻,1:C表示通道维度标号序列{1,2,…,C-1,C},C表示通道总数量,/>表示中间t时刻包含C个通道信号的PSG片段,/>表示第i个连续T个时刻C个通道信号的PSG片段序列,/>表示/>对应的标签,M表示为训练样本数量。
2)对于训练集中所有样本序列内每个多通道PSG片段,分别按通道维度拆分为多个单通道一维信号。随后对每个单通道一维信号分别进行短时傅里叶变换(short-time Fourier transform,STFT),生成相应的二维时频矩阵,最终得到多通道PSG时频矩阵训练集/>其中,/>表示对应的多通道PSG二维时频矩阵。
3)用生成的多通道PSG时频矩阵训练集训练时序多尺度混合注意力模型,具体为:
a)利用神经网络线性层(linear layer)对各个训练样本序列内每一时刻多通道PSG片段的所有二维时频矩阵进行滤波,生成去除冗余频带信息的时频矩阵。
b)通过片段内层级的待训练循环神经网络与注意力机制对a)步骤得到的所有滤波后二维时频矩阵分别进行深度特征提取与融合,计算出各个训练样本序列内所有时刻多通道片段内时序表征
c)对b)步骤得到的所有时刻多通道片段内时序表征序列 选取中间t时刻与前后相邻时刻的多通道片段内时序表征通过片段间层级的新的待训练循环神经网络表达时间窄尺度下多通道片段间时序特征序列/>
d)基于c)步骤得到的时间窄尺度下中间t时刻多通道片段间时序特征采用一维通道注意力机制融合出窄尺度局部表征{Lnarrow (i),i=1,2,…,M},用于表达时间窄尺度下中间t时刻有效波形信息;同时针对时间窄尺度下多通道片段间时序特征序列/>采用二维全局注意力机制融合出窄尺度全局表征{Gnarrow (i),i=1,2,…,M},用于表达片段间短时突变性时序转换信息。
e)针对b)步骤得到的整体所有时刻多通道片段内时序表征序列通过片段间层级的另一新的待训练循环神经网络表达时间宽尺度下多通道片段间时序特征序列/>
f)基于e)步骤得到的时间宽尺度下中间t时刻多通道片段间时序特征采用一维通道注意力机制融合出宽尺度局部表征{Lwide (i),i=1,2,…,M},用于表达时间宽尺度下中间t时刻有效波形信息;同时针对时间宽尺度下多通道片段间时序特征序列/>采用二维全局注意力机制融合出宽尺度全局表征{Gwide (i),i=1,2,…,M},用于表达片段间长时周期性时序转换信息。
g)将d)和f)步骤中两种时间尺度下计算得到的局部表征与全局表征{Lnarrow (i),Lwide (i),Gnarrow (i),Gwide (i),i=1,2,…,M}拼接成高维表征,经过神经网络线性层降维后输入softmax分类器,输出模型预测中间t时刻的one-hot睡眠标签
4)根据模型预测的所有训练样本序列中间t时刻睡眠标签 与训练集中真实睡眠标签/>计算交叉熵损失函数(cross entropy),记为J(Θ),进行端到端的模型训练,其计算公式为:
其中,Θ为时序多尺度混合注意力模型的参数集合,M表示为训练样本数量。
5)选取T个多通道PSG片段组成的待检测序列
6)对待检测多通道PSG片段序列进行2)步骤中短时傅里叶变换预处理之后,将相应的多通道PSG二维时频矩阵序列输入到训练好的时序多尺度混合注意力模型中,得到中间t时刻one-hot睡眠分类结果/>
7)根据模型分类结果标记中间t时刻PSG片段属于哪种睡眠阶段。至此,完成基于时序多尺度混合注意力模型的自动睡眠分期过程。
与现有技术相比,本发明的优点在于:首先,在循环神经网络与注意力机制提取多通道PSG片段内时序表征的基础上,考虑了两种时间尺度(宽与窄)下多通道PSG片段序列的时序转换信息;其次,在每种时间尺度下分别利用一维通道注意力和二维全局注意力融合出中间时刻有效波形高维表征和序列整体的时序转换高维表征(短时突变性/长时周期性),提升睡眠分期准确率;最后,模型采用的多时间尺度机制、混合注意力机制能够在实际标定的角度下,贴合医生利用视觉观察不同序列长度情况下中间时刻片段信息与前后多个片段信息的情况,具有较高模型可解释性。经过实验证明,本发明相较于现有技术具有更高的睡眠分期准确率。
附图说明
图1是本发明基于时序多尺度混合注意力模型的自动睡眠分期方法流程示意图。
图2是时序多尺度混合注意力模型的总体框架图。
图3是针对二维时频矩阵的片段内时序表征详细提取过程图。
图4是时间窄尺度局部表征与全局表征详细提取过程图。
图5是时间宽尺度局部表征与全局表征详细提取过程图。
具体实施方式
下面结合附图和具体实施方式对本发明进行详细说明:
图1是基于时序多尺度混合注意力模型的自动睡眠分期方法流程示意图,图2是时序多尺度混合注意力模型的总体框架图,具体步骤包括:
步骤1、将整夜多通道PSG按30秒切分为等长的片段,取T个多通道PSG片段组成的序列和中间t时刻PSG片段/>对应的独热(one-hot)睡眠标签yt作为训练数据集/>其中,1:T表示时间维度标号序列{1,2,…,t,…,T-1,T},t为中间时刻,1:C表示通道维度标号序列{1,2,…,C-1,C},C表示通道总数量,/>表示中间t时刻包含C个通道信号的PSG片段,/>表示第i个连续T个时刻C个通道信号的PSG片段序列,/>表示/>对应的标签,M表示为训练样本数量。
步骤2、对于训练集中所有样本序列内每个多通道PSG片段,分别按通道维度拆分为多个单通道一维信号。以第i个训练样本序列中间t时刻PSG片段/>为例(其他片段与该片段操作相同),可表示为其中的/>代表中间t时刻PSG片段第C个通道的一维信号。随后对每个单通道一维信号分别进行短时傅里叶变换(STFT),生成相应的二维时频矩阵。以PSG片段/>第1个通道一维信号/>为例(片段内其他通道信号与该通道信号操作相同),STFT过程可表示为/> 而STFT的通用计算形式可表述为:
其中,x(t)为任意一维时序信号,s(τ,w)为时频信息,τ为定位信号的时间索引,w(t)为窗函数。通过上述公式计算后,可进一步得到第i个训练样本序列中间t时刻PSG片段对应的所有通道时频矩阵/> 再进而得到第i个训练样本序列所有时刻多通道时频矩阵/>最终生成多通道PSG时频矩阵训练集/>其中,/>表示/>对应的多通道PSG二维时频矩阵。
步骤3、用生成的多通道PSG时频矩阵训练集训练时序多尺度混合注意力模型,具体为:
步骤3-1、图3是针对二维时频矩阵的片段内时序表征详细提取过程图。利用神经网络线性层(linear layer)对训练样本序列内每一时刻多通道PSG片段的所有二维时频矩阵进行滤波,生成去除冗余频带信息的时频矩阵。其中,对于第i个训练样本序列中间t时刻PSG片段第1个通道(片段内其他通道与该通道操作相同),其二维时频矩阵滤波过程表示为:
其中,为滤波后结果,Wfilter为神经网络线性层待训练的参数。
步骤3-2、通过片段内层级的待训练循环神经网络与注意力机制对所有滤波后二维时频矩阵分别进行深度特征提取与融合,用于表达片段内时序信息。以步骤3-1中的为例(其他滤波后二维时频矩阵与/>操作相同),其特征提取与特征融合的具体过程为,先将该二维时频矩阵按列拆分为连续多个列向量,记为n为矩阵列数,片段内循环神经网络RNNintra对其特征提取过程表示为:
其中,为RNNintra对滤波后时频矩阵/>列向量序列学习出的网络隐层特征向量序列,θintra为片段内循环神经网络RNNintra内待训练的参数。随后,采用注意力机制对网络隐层特征向量序列进行特征融合,计算公式为:
其中,为/>经过特征融合得到的片段内时序表征,/>代表每个列向量的注意力权重,Wγ和bγ为待训练的参数,σ(·)为sigmoid激活函数σ(z)=1/(1+e-z)。按通道维度逐一计算后,得到第i个训练样本序列中间t时刻多通道时频矩阵/>对应的多通道片段内时序表征/>进一步计算出第i个训练样本序列所有时刻多通道片段内时序表征/>
步骤3-3、图4是时间窄尺度局部表征与全局表征详细提取过程图。对于步骤3-2得到的第i个训练样本序列所有时刻多通道片段内时序表征选取中间t时刻与前后相邻时刻对应的多通道片段内时序表征/> 并利用片段间层级的新的待训练循环神经网络表达时间窄尺度下每个通道的片段间时序特征信息。其中,以第1个通道3个时刻的片段内时序表征序列为例(其他通道片段内时序表征序列与该通道操作相同),窄尺度片段间循环神经网络RNNnarrow对其提取窄尺度片段间时序特征的计算公式为:
其中,为该通道时间窄尺度下片段间时序特征序列,θnarrow为窄尺度片段间循环神经网络RNNnarrow内待训练的参数。对每个通道逐一计算后,生成时间窄尺度下第i个训练样本序列3个时刻多通道片段间时序特征序列
步骤3-4、基于步骤3-3得到的窄尺度多通道片段间时序特征序列内中间t时刻多通道片段间时序特征/>按通道维度展开,记为采用一维通道注意力机制表达时间窄尺度下中间t时刻有效波形信息,计算公式为:
其中,Lnarrow (i)为经过特征融合得到的第i个训练样本序列时间窄尺度局部表征,/>代表一维通道注意力权重,Wα和bα为待训练的参数,σ(·)为sigmoid激活函数。同时对于步骤3-3得到的窄尺度多通道片段间时序特征序列/>将每一时刻多通道片段间时序特征按通道维度展开,采用二维全局注意力机制同时对通道维度与时间维度进行特征融合,表达片段间短时突变性时序转换信息,计算公式为:
其中,Gnarrow (i)为经过特征融合得到的第i个训练样本序列时间窄尺度全局表征,/>为二维全局注意力权重,Wβ和bβ为待训练的参数,σ(·)为sigmoid激活函数。
步骤3-5、图5是时间宽尺度局部表征与全局表征详细提取过程图。针对步骤3-2得到的第i个训练样本序列所有时刻多通道片段内时序表征 利用片段间层级的另一新的待训练循环神经网络表达时间宽尺度下每个通道的片段间时序特征信息。其中,以第i个训练样本序列第1个通道的片段内时序表征序列/>为例(其他通道片段内时序表征序列与该通道操作相同),宽尺度片段间循环神经网络RNNwide对其提取宽尺度片段间时序特征的计算公式为:
其中,为该通道时间宽尺度下片段间时序特征序列,θwide为宽尺度片段间循环神经网络RNNwide内待训练的参数。对每个通道逐一计算后,生成时间宽尺度下第i个训练样本序列所有时刻多通道片段间时序特征序列
步骤3-6、基于步骤3-5得到的宽尺度多通道片段间时序特征序列内中间t时刻多通道片段间时序特征/>按通道维度展开,记为/> 采用一维通道注意力机制表达时间宽尺度下中间t时刻有效波形信息,计算公式为:
其中,Lwide (i)为经过特征融合得到的第i个训练样本序列时间宽尺度局部表征,/>代表一维通道注意力权重,WA和bA为待训练的参数,σ(·)为sigmoid激活函数。同时对于步骤3-5得到的宽尺度多通道片段间时序特征序列/>将每一时刻多通道片段间时序特征按通道维度展开,采用二维全局注意力机制同时对通道维度与时间维度进行特征融合,表达片段间长时周期性时序转换信息,计算公式为:
其中,Gwide (i)为经过特征融合得到的第i个训练样本序列时间宽尺度全局表征,/>为二维全局注意力权重,WB和bB为待训练的参数,σ(·)为sigmoid激活函数。
步骤3-7、将步骤3-4与步骤3-6得到的两种时间尺度下融合出的第i个训练样本序列局部特征Lnarrow (i)、Lwide (i)与全局特征Gnarrow (i)、Gwide (i)拼接成高维表征,通过神经网络线性层进行降维,并使用softmax分类器进行结果预测,计算公式为:
其中,为模型预测第i个训练样本序列内中间t时刻的one-hot睡眠标签,/>代表拼接操作,Wy、WFC、by和bFC为待训练的参数,softmax(·)表示softmax分类器。
步骤4、根据模型预测的所有训练样本序列内中间t时刻one-hot睡眠标签与训练集中真实睡眠标签/>计算交叉熵损失函数(cross entropy),记为J(Θ),进行端到端的模型训练,其计算公式为:
其中,Θ为时序多尺度混合注意力模型的参数集合,M表示为训练样本数量。
步骤5、选取T个多通道PSG片段组成的待检测序列
步骤6、对待检测多通道PSG片段序列进行步骤2中短时傅里叶变换预处理之后,将相应的多通道PSG二维时频矩阵序列输入到训练好的时序多尺度混合注意力模型中,得到中间t时刻one-hot睡眠分类结果/>
步骤7、根据模型分类结果标记中间t时刻PSG片段属于哪种睡眠阶段。至此,完成基于时序多尺度混合注意力模型的自动睡眠分期过程。经试验,上述方法在公开Sleep-EDFx数据集上的睡眠分期准确率可达到81.7%,F1分数可达到78.3%;在UCD数据集上的睡眠分期准确率可达到76.2%,F1分数可达到74.3%。与目前较为流行的DeepSleepNet模型(Sleep-EDFx:准确率68.5%,F1分数62.7%;UCD:准确率70.3%,F1分数65.1%)和SeqSleepNet模型(Sleep-EDFx:准确率78.1%,F1分数74.4%;UCD:准确率72.8%,F1分数71.3%)相比,上述方法性能更优越。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、修正等,均应包含在本发明的保护范围之内。
Claims (2)
1.一种基于时序多尺度混合注意力模型的自动睡眠分期方法,其特征在于包括以下步骤:
1)将整夜多通道PSG按30秒切分为等长的片段,取T个多通道PSG片段组成的序列和中间t时刻PSG片段/>对应的独热睡眠标签yt作为训练数据集/> 其中,1:T表示时间维度标号序列{1,2,…,t,…,T-1,T},t为中间时刻,1:C表示通道维度标号序列{1,2,…,C-1,C},C表示通道总数量,/>表示中间t时刻包含C个通道信号的PSG片段,/>表示第i个连续T个时刻C个通道信号的PSG片段序列,/>表示/>对应的标签,M表示为训练样本数量;
2)对于训练集中所有样本序列内每个多通道PSG片段,分别按通道维度拆分为多个单通道一维信号;随后对每个单通道一维信号分别进行短时傅里叶变换,生成相应的二维时频矩阵,最终得到多通道PSG时频矩阵训练集 其中,/>表示/>对应的多通道PSG二维时频矩阵;
3)用生成的多通道PSG时频矩阵训练集训练时序多尺度混合注意力模型,具体为:
a)利用神经网络线性层对各个训练样本序列内每一时刻多通道PSG片段的所有二维时频矩阵进行滤波,生成去除冗余频带信息的时频矩阵;
b)通过片段内层级的待训练循环神经网络与注意力机制对a)步骤得到的所有滤波后二维时频矩阵分别进行深度特征提取与融合,计算出各个训练样本序列内所有时刻多通道片段内时序表征
c)对b)步骤得到的所有时刻多通道片段内时序表征序列选取中间t时刻与前后相邻时刻的多通道片段内时序表征/>通过片段间层级的新的待训练循环神经网络表达时间窄尺度下多通道片段间时序特征序列/>
d)基于c)步骤得到的时间窄尺度下中间t时刻多通道片段间时序特征采用一维通道注意力机制融合出窄尺度局部表征{Lnarrow (i),i=1,2,…,M},用于表达时间窄尺度下中间t时刻有效波形信息;同时针对时间窄尺度下多通道片段间时序特征序列/>采用二维全局注意力机制融合出窄尺度全局表征{Gnarrow (i),i=1,2,…,M},用于表达片段间短时突变性时序转换信息;
e)针对b)步骤得到的整体所有时刻多通道片段内时序表征序列通过片段间层级的另一新的待训练循环神经网络表达时间宽尺度下多通道片段间时序特征序列/>
f)基于e)步骤得到的时间宽尺度下中间t时刻多通道片段间时序特征采用一维通道注意力机制融合出宽尺度局部表征{Lwide (i),i=1,2,…,M},用于表达时间宽尺度下中间t时刻有效波形信息;同时针对时间宽尺度下多通道片段间时序特征序列/>采用二维全局注意力机制融合出宽尺度全局表征{Gwide (i),i=1,2,…,M},用于表达片段间长时周期性时序转换信息;
g)将d)和f)步骤中两种时间尺度下计算得到的局部表征与全局表征{Lnarrow (i),Lwide (i),Gnarrow (i),Gwide (i),i=1,2,…,M}拼接成高维表征,经过神经网络线性层降维后输入softmax分类器,输出模型预测中间t时刻的独热睡眠标签
4)根据模型预测的所有训练样本序列中间t时刻睡眠标签 与训练集中真实睡眠标签/>计算交叉熵损失函数,记为J(Θ),进行端到端的模型训练,其计算公式为:
其中,Θ为时序多尺度混合注意力模型的参数集合,M表示为训练样本数量;
5)选取T个多通道PSG片段组成的待检测序列
6)对待检测多通道PSG片段序列进行2)步骤中短时傅里叶变换预处理之后,将相应的多通道PSG二维时频矩阵序列输入到训练好的时序多尺度混合注意力模型中,得到中间t时刻独热睡眠分类结果/>
7)根据模型分类结果标记中间t时刻PSG片段属于哪种睡眠阶段;至此,完成基于时序多尺度混合注意力模型的自动睡眠分期过程。
2.根据权利要求1所述的一种基于时序多尺度混合注意力模型的自动睡眠分期方法,其特征在于所述的步骤3)中,用生成的多通道PSG时频矩阵训练集训练时序多尺度混合注意力模型,具体包括:
a)利用神经网络线性层对训练样本序列内每一时刻多通道PSG片段的所有二维时频矩阵进行滤波,生成去除冗余频带信息的时频矩阵,其中,对于第i个训练样本序列中间t时刻PSG片段第1个通道,其二维时频矩阵滤波过程表示为:
其中,为滤波后结果,Wfilter为神经网络线性层待训练的参数;
b)通过片段内层级的待训练循环神经网络与注意力机制对所有滤波后二维时频矩阵分别进行深度特征提取与融合,用于表达片段内时序信息,对于步骤a)中的其特征提取与特征融合的具体过程为,先将该二维时频矩阵按列拆分为连续多个列向量,记为 n为矩阵列数,片段内循环神经网络RNNintra对其特征提取过程表示为:
其中,为RNNintra对滤波后时频矩阵/>列向量序列学习出的网络隐层特征向量序列,θintra为片段内循环神经网络RNNintra内待训练的参数;随后,采用注意力机制对网络隐层特征向量序列进行特征融合,计算公式为:
其中,为/>经过特征融合得到的片段内时序表征,/>代表每个列向量的注意力权重,Wγ和bγ为待训练的参数,σ(·)为sigmoid激活函数σ(z)=1/(1+e-z),按通道维度逐一计算后,得到第i个训练样本序列中间t时刻多通道时频矩阵/>对应的多通道片段内时序表征/>进一步计算出第i个训练样本序列所有时刻多通道片段内时序表征/>
c)对于步骤b)得到的第i个训练样本序列所有时刻多通道片段内时序表征选取中间t时刻与前后相邻时刻对应的多通道片段内时序表征并利用片段间层级的新的待训练循环神经网络表达时间窄尺度下每个通道的片段间时序特征信息,其中,对于第1个通道3个时刻的片段内时序表征序列/>窄尺度片段间循环神经网络RNNnarrow对其提取窄尺度片段间时序特征的计算公式为:
其中,为该通道时间窄尺度下片段间时序特征序列,θnarrow为窄尺度片段间循环神经网络RNNnarrow内待训练的参数,对每个通道逐一计算后,生成时间窄尺度下第i个训练样本序列3个时刻多通道片段间时序特征序列
d)基于步骤c)得到的窄尺度多通道片段间时序特征序列内中间t时刻多通道片段间时序特征/>按通道维度展开,记为采用一维通道注意力机制表达时间窄尺度下中间t时刻有效波形信息,计算公式为:
其中,Lnarrow (i)为经过特征融合得到的第i个训练样本序列时间窄尺度局部表征,代表一维通道注意力权重,Wα和bα为待训练的参数,σ(·)为sigmoid激活函数;同时对于步骤c)得到的窄尺度多通道片段间时序特征序列/>将每一时刻多通道片段间时序特征按通道维度展开,采用二维全局注意力机制同时对通道维度与时间维度进行特征融合,表达片段间短时突变性时序转换信息,计算公式为:
其中,Gnarrow (i)为经过特征融合得到的第i个训练样本序列时间窄尺度全局表征,/>为二维全局注意力权重,Wβ和bβ为待训练的参数,σ(·)为sigmoid激活函数;
e)针对步骤b)得到的第i个训练样本序列所有时刻多通道片段内时序表征利用片段间层级的另一新的待训练循环神经网络表达时间宽尺度下每个通道的片段间时序特征信息,其中,对于第i个训练样本序列第1个通道的片段内时序表征序列/>宽尺度片段间循环神经网络RNNwide对其提取宽尺度片段间时序特征的计算公式为:
其中,为该通道时间宽尺度下片段间时序特征序列,θwide为宽尺度片段间循环神经网络RNNwide内待训练的参数;对每个通道逐一计算后,生成时间宽尺度下第i个训练样本序列所有时刻多通道片段间时序特征序列
f)基于步骤e)得到的宽尺度多通道片段间时序特征序列内中间t时刻多通道片段间时序特征/>按通道维度展开,记为/>采用一维通道注意力机制表达时间宽尺度下中间t时刻有效波形信息,计算公式为:
其中,Lwide (i)为经过特征融合得到的第i个训练样本序列时间宽尺度局部表征,代表一维通道注意力权重,WA和bA为待训练的参数,σ(·)为sigmoid激活函数;同时对于步骤e)得到的宽尺度多通道片段间时序特征序列/>将每一时刻多通道片段间时序特征按通道维度展开,采用二维全局注意力机制同时对通道维度与时间维度进行特征融合,表达片段间长时周期性时序转换信息,计算公式为:
其中,Gwide (i)为经过特征融合得到的第i个训练样本序列时间宽尺度全局表征,为二维全局注意力权重,WB和bB为待训练的参数,σ(·)为sigmoid激活函数;
g)将步骤d)与步骤f)得到的两种时间尺度下融合出的第i个训练样本序列局部特征Lnarrow (i)、Lwide (i)与全局特征Gnarrow (i)、Gwide (i)拼接成高维表征,通过神经网络线性层进行降维,并使用softmax分类器进行结果预测,计算公式为:
其中,为模型预测第i个训练样本序列内中间t时刻的独热睡眠标签,⊕代表拼接操作,Wy、WFC、by和bFC为待训练的参数,softmax(·)表示softmax分类器。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111632736.7A CN114129138B (zh) | 2021-12-29 | 2021-12-29 | 一种基于时序多尺度混合注意力模型的自动睡眠分期方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111632736.7A CN114129138B (zh) | 2021-12-29 | 2021-12-29 | 一种基于时序多尺度混合注意力模型的自动睡眠分期方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN114129138A CN114129138A (zh) | 2022-03-04 |
CN114129138B true CN114129138B (zh) | 2023-09-22 |
Family
ID=80383714
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111632736.7A Active CN114129138B (zh) | 2021-12-29 | 2021-12-29 | 一种基于时序多尺度混合注意力模型的自动睡眠分期方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114129138B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116072265B (zh) * | 2023-04-06 | 2023-06-27 | 北京理工大学 | 基于时间自注意力与动态图卷积的睡眠分期分析系统及方法 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110349676A (zh) * | 2019-06-14 | 2019-10-18 | 华南师范大学 | 时序生理数据分类方法、装置、存储介质和处理器 |
CN112294342A (zh) * | 2020-10-30 | 2021-02-02 | 哈尔滨理工大学 | 一种基于深度残差Mask-CCNN的睡眠分期方法 |
CN112450881A (zh) * | 2020-11-12 | 2021-03-09 | 武汉大学 | 一种基于时序关联性驱动的多模态睡眠分期方法 |
CN113139496A (zh) * | 2021-05-08 | 2021-07-20 | 青岛根尖智能科技有限公司 | 一种基于时序多尺度融合的行人重识别方法及系统 |
-
2021
- 2021-12-29 CN CN202111632736.7A patent/CN114129138B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110349676A (zh) * | 2019-06-14 | 2019-10-18 | 华南师范大学 | 时序生理数据分类方法、装置、存储介质和处理器 |
CN112294342A (zh) * | 2020-10-30 | 2021-02-02 | 哈尔滨理工大学 | 一种基于深度残差Mask-CCNN的睡眠分期方法 |
CN112450881A (zh) * | 2020-11-12 | 2021-03-09 | 武汉大学 | 一种基于时序关联性驱动的多模态睡眠分期方法 |
CN113139496A (zh) * | 2021-05-08 | 2021-07-20 | 青岛根尖智能科技有限公司 | 一种基于时序多尺度融合的行人重识别方法及系统 |
Non-Patent Citations (2)
Title |
---|
SeqSleepNet: End-to-End Hierarchical Recurrent Neural Network for Sequence-to-Sequence Automatic Sleep Staging;Huy Phan 等;IEEE Trans Neural Syst Rehabil Eng.;第第27卷卷(第第3期期);全文 * |
基于混合注意力时序网络的睡眠分期算法研究;金峥 等;生物医学工程学杂志;第第38卷卷(第第2期期);全文 * |
Also Published As
Publication number | Publication date |
---|---|
CN114129138A (zh) | 2022-03-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Tian et al. | Deep multi-view feature learning for EEG-based epileptic seizure detection | |
Hussein et al. | Epileptic seizure detection: A deep learning approach | |
Sun et al. | Unsupervised EEG feature extraction based on echo state network | |
Sun et al. | A hierarchical neural network for sleep stage classification based on comprehensive feature learning and multi-flow sequence learning | |
CN112244873A (zh) | 一种基于混合神经网络的脑电时空特征学习与情感分类方法 | |
Pisano et al. | Convolutional neural network for seizure detection of nocturnal frontal lobe epilepsy | |
Yu et al. | Epileptic seizure prediction using deep neural networks via transfer learning and multi-feature fusion | |
CN113158964B (zh) | 一种基于残差学习和多粒度特征融合的睡眠分期方法 | |
Wang et al. | Automatic sleep staging method of EEG signal based on transfer learning and fusion network | |
Li et al. | Patient-specific seizure prediction from electroencephalogram signal via multi-channel feedback capsule network | |
Cheng et al. | Emotion recognition algorithm based on convolution neural network | |
CN114129138B (zh) | 一种基于时序多尺度混合注意力模型的自动睡眠分期方法 | |
Nie et al. | Recsleepnet: An automatic sleep staging model based on feature reconstruction | |
Vallabhaneni et al. | Deep learning algorithms in eeg signal decoding application: a review | |
Back et al. | Intra-and inter-epoch temporal context network (iitnet) for automatic sleep stage scoring | |
CN116269212A (zh) | 一种基于深度学习的多模态睡眠阶段预测方法 | |
Liu et al. | Extracting multi-scale and salient features by MSE based U-structure and CBAM for sleep staging | |
Lv et al. | A multilevel temporal context network for sleep stage classification | |
Chougule et al. | Enabling safe its: Eeg-based microsleep detection in vanets | |
CN116186544A (zh) | 基于深度学习的单通道脑电睡眠分期方法 | |
CN113796830B (zh) | 一种睡眠信号分期可信度自动评价方法 | |
CN113598792B (zh) | 基于有监督特征融合算法的癫痫脑电分类方法 | |
Begawan et al. | Sleep stage identification based on EEG signals using parallel convolutional neural network and recurrent neural network | |
CN115349821A (zh) | 一种基于多模态生理信号融合的睡眠分期方法及系统 | |
Du et al. | Classification of seizure EEGs based on short-time fourier transform and hidden markov model |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |