CN114129138A - 一种基于时序多尺度混合注意力模型的自动睡眠分期方法 - Google Patents

Abstract

本发明公开了一种基于时序多尺度混合注意力模型的自动睡眠分期方法，属于生物医学工程和机器学习领域。本发明基于当下流行的深度学习神经网络与注意力机制，引入时序多尺度思想并设计了端到端的自动睡眠分期模型，能够充分表达睡眠信号波形与结构特征，考虑两种时间尺度下睡眠阶段转换的时序特性。与现有自动睡眠分期方法相比，本发明能够在保证较高睡眠分期准确率的同时，最大程度贴合睡眠信号特性和人工睡眠分期过程，具有较高的可解释性，为将来睡眠医学领域与人工智能领域的结合提供了新思想。

Description

一种基于时序多尺度混合注意力模型的自动睡眠分期方法

技术领域

本发明涉及生物医学工程和机器学习领域，尤其涉及一种基于时序多尺度混合注意力模型的自动睡眠分期方法。

背景技术

睡眠占据人类生命1/3的时间，在维持身体健康方面至关重要。随着社会节奏的加快，人们的睡眠质量逐渐降低，睡眠障碍发病率逐渐升高。多导睡眠图(polysomnogram,PSG)是监测睡眠质量、诊疗睡眠疾病的金标准，其本质是从人体各个部位表面采集到的多通道生理电信号，包括脑电图、眼电图等。基于PSG的睡眠分期是诊疗睡眠疾病的前提，医生每隔30秒对PSG进行一次睡眠阶段分类。根据美国睡眠医学会的睡眠分期准则，睡眠可被分为清醒期、非快速眼动1～3期和快速眼动期共5种阶段。准确实现睡眠分期是高效诊疗睡眠疾病的保障，目前的人工分期法是通过视觉观察PSG片段波形特征进行标定，但正常人整夜睡眠时间为6～8小时，标记大规模30秒PSG片段不仅会耗费医生大量的时间和精力，还会受主观因素影响。因此，利用计算机算法提取PSG波形特征并实现自动睡眠分期，从而减轻医生压力和主观因素干扰，对于未来睡眠医学领域具有重大意义。

近年来，国内外涌现出了大量基于机器学习的自动睡眠分期算法研究，主要研究方向集中在应用深度学习模型自动提取PSG波形特征，进而实现睡眠分期。在人工睡眠分期时，医生会同时依据三种信息判断一个30秒PSG片段属于哪类睡眠阶段，包括：1)该片段内有效波形与结构信息(如脑电通道的睡眠纺锤波等波形)；2)该片段与前后相邻片段共同反映出的短时突变性时序转换信息(如清醒期→非快速眼动1期→非快速眼动2期的过渡过程)；3)该片段与前后多个片段共同反映出的长时周期性时序转换信息(如持续出现非快速眼动2期的周期过程)。目前，有些自动睡眠分期模型仅采用卷积神经网络(convolutionalneural networks,CNN)提取上述第1种片段内波形特征，忽略了若干PSG片段间的时序转换特征；还有些模型虽然加入循环神经网络(recurrent neural networks,RNN)进一步提取了PSG片段间时序转换特征，但也仅仅考虑了上述第2和第3种时序转换特征中的一种，无法同时考虑上述三种特征信息。因此，现有模型存在的问题可总结为：1)未充分提取PSG片段内波形与结构特征；2)忽略时间维度下PSG片段间时序转换特征；3)无法同时考虑两种时间尺度下PSG片段间时序转换特征(短时突变性和长时周期性时序转换信息)。综上所述，如何在符合人工睡眠分期规律的前提下，利用现有深度学习技术来充分表达PSG片段内波形与结构特征、同时提取多时间尺度片段间时序转换特征，进而保证模型较高的睡眠分期准确率与效率，是研究人员需要攻克的一个难题。

发明内容

本发明的目的在于解决现有深度学习算法在自动睡眠分期中的不足，提出一种基于时序多尺度混合注意力模型的自动睡眠分期方法，即通过在两种时间尺度机制下结合循环神经网络特征提取、一维通道注意力与二维全局注意力特征融合的方式，充分表达PSG在不同时间尺度下的通道相关性特征和时序转换特征，在保证较高睡眠分期准确率的同时，最大程度贴合PSG信号特性和人工睡眠分期过程。

为实现以上目的，本发明采用的技术方案是，一种基于时序多尺度混合注意力模型的自动睡眠分期方法，包括以下步骤：

1)将整夜多通道PSG按30秒切分为等长的片段，取T个多通道PSG片段组成的序列

和中间t时刻PSG片段

对应的独热(one-hot)睡眠标签y_t作为训练数据集

其中，1:T表示时间维度标号序列{1,2,…,t,…,T-1,T}，t为中间时刻，1:C表示通道维度标号序列{1,2,…,C-1,C}，C表示通道总数量，

表示中间t时刻包含C个通道信号的PSG片段，

表示第i个连续T个时刻C个通道信号的PSG片段序列，

表示

对应的标签，M表示为训练样本数量。

2)对于训练集

中所有样本序列内每个多通道PSG片段，分别按通道维度拆分为多个单通道一维信号。随后对每个单通道一维信号分别进行短时傅里叶变换(short-time Fourier transform,STFT)，生成相应的二维时频矩阵，最终得到多通道PSG时频矩阵训练集

其中，

表示

对应的多通道PSG二维时频矩阵。

3)用生成的多通道PSG时频矩阵训练集

训练时序多尺度混合注意力模型，具体为：

a)利用神经网络线性层(linear layer)对各个训练样本序列内每一时刻多通道PSG片段的所有二维时频矩阵进行滤波，生成去除冗余频带信息的时频矩阵。

b)通过片段内层级的待训练循环神经网络与注意力机制对a)步骤得到的所有滤波后二维时频矩阵分别进行深度特征提取与融合，计算出各个训练样本序列内所有时刻多通道片段内时序表征

c)对b)步骤得到的所有时刻多通道片段内时序表征序列

选取中间t时刻与前后相邻时刻的多通道片段内时序表征

通过片段间层级的新的待训练循环神经网络表达时间窄尺度下多通道片段间时序特征序列

d)基于c)步骤得到的时间窄尺度下中间t时刻多通道片段间时序特征

采用一维通道注意力机制融合出窄尺度局部表征{L_narrow ⁽ⁱ⁾,i＝1,2,…,M}，用于表达时间窄尺度下中间t时刻有效波形信息；同时针对时间窄尺度下多通道片段间时序特征序列

采用二维全局注意力机制融合出窄尺度全局表征{G_narrow ⁽ⁱ⁾,i＝1,2,…,M}，用于表达片段间短时突变性时序转换信息。

e)针对b)步骤得到的整体所有时刻多通道片段内时序表征序列

通过片段间层级的另一新的待训练循环神经网络表达时间宽尺度下多通道片段间时序特征序列

f)基于e)步骤得到的时间宽尺度下中间t时刻多通道片段间时序特征

采用一维通道注意力机制融合出宽尺度局部表征{L_wide ⁽ⁱ⁾,i＝1,2,…,M}，用于表达时间宽尺度下中间t时刻有效波形信息；同时针对时间宽尺度下多通道片段间时序特征序列

采用二维全局注意力机制融合出宽尺度全局表征{G_wide ⁽ⁱ⁾,i＝1,2,…,M}，用于表达片段间长时周期性时序转换信息。

g)将d)和f)步骤中两种时间尺度下计算得到的局部表征与全局表征{L_narrow ⁽ⁱ⁾,L_wide ⁽ⁱ⁾,G_narrow ⁽ⁱ⁾,G_wide ⁽ⁱ⁾,i＝1,2,…,M}拼接成高维表征，经过神经网络线性层降维后输入softmax分类器，输出模型预测中间t时刻的one-hot睡眠标签

4)根据模型预测的所有训练样本序列中间t时刻睡眠标签

与训练集中真实睡眠标签

计算交叉熵损失函数(cross entropy)，记为J(Θ)，进行端到端的模型训练，其计算公式为：

其中，Θ为时序多尺度混合注意力模型的参数集合，M表示为训练样本数量。

5)选取T个多通道PSG片段组成的待检测序列

6)对待检测多通道PSG片段序列

进行2)步骤中短时傅里叶变换预处理之后，将相应的多通道PSG二维时频矩阵序列输入到训练好的时序多尺度混合注意力模型中，得到中间t时刻one-hot睡眠分类结果

7)根据模型分类结果标记中间t时刻PSG片段属于哪种睡眠阶段。至此，完成基于时序多尺度混合注意力模型的自动睡眠分期过程。

与现有技术相比，本发明的优点在于：首先，在循环神经网络与注意力机制提取多通道PSG片段内时序表征的基础上，考虑了两种时间尺度(宽与窄)下多通道PSG片段序列的时序转换信息；其次，在每种时间尺度下分别利用一维通道注意力和二维全局注意力融合出中间时刻有效波形高维表征和序列整体的时序转换高维表征(短时突变性/长时周期性)，提升睡眠分期准确率；最后，模型采用的多时间尺度机制、混合注意力机制能够在实际标定的角度下，贴合医生利用视觉观察不同序列长度情况下中间时刻片段信息与前后多个片段信息的情况，具有较高模型可解释性。经过实验证明，本发明相较于现有技术具有更高的睡眠分期准确率。

附图说明

图1是本发明基于时序多尺度混合注意力模型的自动睡眠分期方法流程示意图。

图2是时序多尺度混合注意力模型的总体框架图。

图3是针对二维时频矩阵的片段内时序表征详细提取过程图。

图4是时间窄尺度局部表征与全局表征详细提取过程图。

图5是时间宽尺度局部表征与全局表征详细提取过程图。

具体实施方式

下面结合附图和具体实施方式对本发明进行详细说明：

图1是基于时序多尺度混合注意力模型的自动睡眠分期方法流程示意图，图2是时序多尺度混合注意力模型的总体框架图，具体步骤包括：

步骤1、将整夜多通道PSG按30秒切分为等长的片段，取T个多通道PSG片段组成的序列

和中间t时刻PSG片段

对应的独热(one-hot)睡眠标签y_t作为训练数据集

其中，1:T表示时间维度标号序列{1,2,…,t,…,T-1,T}，t为中间时刻，1:C表示通道维度标号序列{1,2,…,C-1,C}，C表示通道总数量，

表示中间t时刻包含C个通道信号的PSG片段，

表示第i个连续T个时刻C个通道信号的PSG片段序列，

表示

对应的标签，M表示为训练样本数量。

步骤2、对于训练集

中所有样本序列内每个多通道PSG片段，分别按通道维度拆分为多个单通道一维信号。以第i个训练样本序列中间t时刻PSG片段

为例(其他片段与该片段操作相同)，可表示为

其中的

代表中间t时刻PSG片段第C个通道的一维信号。随后对每个单通道一维信号分别进行短时傅里叶变换(STFT)，生成相应的二维时频矩阵。以PSG片段

第1个通道一维信号

为例(片段内其他通道信号与该通道信号操作相同)，STFT过程可表示为

而STFT的通用计算形式可表述为：

其中，x(t)为任意一维时序信号，s(τ,w)为时频信息，τ为定位信号的时间索引，w(t)为窗函数。通过上述公式计算后，可进一步得到第i个训练样本序列中间t时刻PSG片段

对应的所有通道时频矩阵

再进而得到第i个训练样本序列所有时刻多通道时频矩阵

最终生成多通道PSG时频矩阵训练集

其中，

表示

对应的多通道PSG二维时频矩阵。

步骤3、用生成的多通道PSG时频矩阵训练集

训练时序多尺度混合注意力模型，具体为：

步骤3-1、图3是针对二维时频矩阵的片段内时序表征详细提取过程图。利用神经网络线性层(linear layer)对训练样本序列内每一时刻多通道PSG片段的所有二维时频矩阵进行滤波，生成去除冗余频带信息的时频矩阵。其中，对于第i个训练样本序列中间t时刻PSG片段第1个通道(片段内其他通道与该通道操作相同)，其二维时频矩阵

滤波过程表示为：

其中，

为滤波后结果，W_filter为神经网络线性层待训练的参数。

步骤3-2、通过片段内层级的待训练循环神经网络与注意力机制对所有滤波后二维时频矩阵分别进行深度特征提取与融合，用于表达片段内时序信息。以步骤3-1中的

为例(其他滤波后二维时频矩阵与

操作相同)，其特征提取与特征融合的具体过程为，先将该二维时频矩阵按列拆分为连续多个列向量，记为

n为矩阵列数，片段内循环神经网络RNN_intra对其特征提取过程表示为：

其中，

为RNN_intra对滤波后时频矩阵

列向量序列学习出的网络隐层特征向量序列，θ_intra为片段内循环神经网络RNN_intra内待训练的参数。随后，采用注意力机制对网络隐层特征向量序列进行特征融合，计算公式为：

其中，

为

经过特征融合得到的片段内时序表征，

代表每个列向量的注意力权重，W_γ和b_γ为待训练的参数，σ(·)为sigmoid激活函数σ(z)＝1/(1+e^-z)。按通道维度逐一计算后，得到第i个训练样本序列中间t时刻多通道时频矩阵

对应的多通道片段内时序表征

进一步计算出第i个训练样本序列所有时刻多通道片段内时序表征

步骤3-3、图4是时间窄尺度局部表征与全局表征详细提取过程图。对于步骤3-2得到的第i个训练样本序列所有时刻多通道片段内时序表征

选取中间t时刻与前后相邻时刻对应的多通道片段内时序表征

并利用片段间层级的新的待训练循环神经网络表达时间窄尺度下每个通道的片段间时序特征信息。其中，以第1个通道3个时刻的片段内时序表征序列

为例(其他通道片段内时序表征序列与该通道操作相同)，窄尺度片段间循环神经网络RNN_narrow对其提取窄尺度片段间时序特征的计算公式为：

其中，

为该通道时间窄尺度下片段间时序特征序列，θ_narrow为窄尺度片段间循环神经网络RNN_narrow内待训练的参数。对每个通道逐一计算后，生成时间窄尺度下第i个训练样本序列3个时刻多通道片段间时序特征序列

步骤3-4、基于步骤3-3得到的窄尺度多通道片段间时序特征序列

内中间t时刻多通道片段间时序特征

按通道维度展开，记为

采用一维通道注意力机制表达时间窄尺度下中间t时刻有效波形信息，计算公式为：

其中，L_narrow ⁽ⁱ⁾为

经过特征融合得到的第i个训练样本序列时间窄尺度局部表征，

代表一维通道注意力权重，W_α和b_α为待训练的参数，σ(·)为sigmoid激活函数。同时对于步骤3-3得到的窄尺度多通道片段间时序特征序列

将每一时刻多通道片段间时序特征按通道维度展开，采用二维全局注意力机制同时对通道维度与时间维度进行特征融合，表达片段间短时突变性时序转换信息，计算公式为：

其中，G_narrow ⁽ⁱ⁾为

经过特征融合得到的第i个训练样本序列时间窄尺度全局表征，

为二维全局注意力权重，W_β和b_β为待训练的参数，σ(·)为sigmoid激活函数。

步骤3-5、图5是时间宽尺度局部表征与全局表征详细提取过程图。针对步骤3-2得到的第i个训练样本序列所有时刻多通道片段内时序表征

利用片段间层级的另一新的待训练循环神经网络表达时间宽尺度下每个通道的片段间时序特征信息。其中，以第i个训练样本序列第1个通道的片段内时序表征序列

为例(其他通道片段内时序表征序列与该通道操作相同)，宽尺度片段间循环神经网络RNN_wide对其提取宽尺度片段间时序特征的计算公式为：

其中，

为该通道时间宽尺度下片段间时序特征序列，θ_wide为宽尺度片段间循环神经网络RNN_wide内待训练的参数。对每个通道逐一计算后，生成时间宽尺度下第i个训练样本序列所有时刻多通道片段间时序特征序列

步骤3-6、基于步骤3-5得到的宽尺度多通道片段间时序特征序列

内中间t时刻多通道片段间时序特征

按通道维度展开，记为

采用一维通道注意力机制表达时间宽尺度下中间t时刻有效波形信息，计算公式为：

其中，L_wide ⁽ⁱ⁾为

经过特征融合得到的第i个训练样本序列时间宽尺度局部表征，

代表一维通道注意力权重，W_A和b_A为待训练的参数，σ(·)为sigmoid激活函数。同时对于步骤3-5得到的宽尺度多通道片段间时序特征序列

将每一时刻多通道片段间时序特征按通道维度展开，采用二维全局注意力机制同时对通道维度与时间维度进行特征融合，表达片段间长时周期性时序转换信息，计算公式为：

其中，G_wide ⁽ⁱ⁾为

经过特征融合得到的第i个训练样本序列时间宽尺度全局表征，

为二维全局注意力权重，W_B和b_B为待训练的参数，σ(·)为sigmoid激活函数。

步骤3-7、将步骤3-4与步骤3-6得到的两种时间尺度下融合出的第i个训练样本序列局部特征L_narrow ⁽ⁱ⁾、L_wide ⁽ⁱ⁾与全局特征G_narrow ⁽ⁱ⁾、G_wide ⁽ⁱ⁾拼接成高维表征，通过神经网络线性层进行降维，并使用softmax分类器进行结果预测，计算公式为：

其中，

为模型预测第i个训练样本序列内中间t时刻的one-hot睡眠标签，

代表拼接操作，W_y、W_FC、b_y和b_FC为待训练的参数，softmax(·)表示softmax分类器。

步骤4、根据模型预测的所有训练样本序列内中间t时刻one-hot睡眠标签

与训练集中真实睡眠标签

计算交叉熵损失函数(cross entropy)，记为J(Θ)，进行端到端的模型训练，其计算公式为：

其中，Θ为时序多尺度混合注意力模型的参数集合，M表示为训练样本数量。

步骤5、选取T个多通道PSG片段组成的待检测序列

步骤6、对待检测多通道PSG片段序列

进行步骤2中短时傅里叶变换预处理之后，将相应的多通道PSG二维时频矩阵序列输入到训练好的时序多尺度混合注意力模型中，得到中间t时刻one-hot睡眠分类结果

步骤7、根据模型分类结果标记中间t时刻PSG片段属于哪种睡眠阶段。至此，完成基于时序多尺度混合注意力模型的自动睡眠分期过程。经试验，上述方法在公开Sleep-EDFx数据集上的睡眠分期准确率可达到81.7％，F1分数可达到78.3％；在UCD数据集上的睡眠分期准确率可达到76.2％，F1分数可达到74.3％。与目前较为流行的DeepSleepNet模型(Sleep-EDFx：准确率68.5％，F1分数62.7％；UCD：准确率70.3％，F1分数65.1％)和SeqSleepNet模型(Sleep-EDFx：准确率78.1％，F1分数74.4％；UCD：准确率72.8％，F1分数71.3％)相比，上述方法性能更优越。

以上所述仅为本发明的较佳实施例，并不用以限制本发明，凡在本发明的精神和原则之内，所作的任何修改、等同替换、修正等，均应包含在本发明的保护范围之内。

Claims (2)

1.一种基于时序多尺度混合注意力模型的自动睡眠分期方法，其特征在于包括以下步骤：

1)将整夜多通道PSG按30秒切分为等长的片段，取T个多通道PSG片段组成的序列

和中间t时刻PSG片段

对应的独热(one-hot)睡眠标签y_t作为训练数据集

其中，1：T表示时间维度标号序列{1，2，...，t，...，T-1，T}，t为中间时刻，1：C表示通道维度标号序列{1，2，...，C-1，C}，C表示通道总数量，

表示中间t时刻包含C个通道信号的PSG片段，

表示第i个连续T个时刻C个通道信号的PSG片段序列，

表示

对应的标签，M表示为训练样本数量；

2)对于训练集

中所有样本序列内每个多通道PSG片段，分别按通道维度拆分为多个单通道一维信号；随后对每个单通道一维信号分别进行短时傅里叶变换(short-time Fourier transform，STFT)，生成相应的二维时频矩阵，最终得到多通道PSG时频矩阵训练集

其中，

表示

对应的多通道PSG二维时频矩阵；

3)用生成的多通道PSG时频矩阵训练集

训练时序多尺度混合注意力模型，具体为：

a)利用神经网络线性层(linear layer)对各个训练样本序列内每一时刻多通道PSG片段的所有二维时频矩阵进行滤波，生成去除冗余频带信息的时频矩阵；

b)通过片段内层级的待训练循环神经网络与注意力机制对a)步骤得到的所有滤波后二维时频矩阵分别进行深度特征提取与融合，计算出各个训练样本序列内所有时刻多通道片段内时序表征

c)对b)步骤得到的所有时刻多通道片段内时序表征序列

选取中间t时刻与前后相邻时刻的多通道片段内时序表征

通过片段间层级的新的待训练循环神经网络表达时间窄尺度下多通道片段间时序特征序列

d)基于c)步骤得到的时间窄尺度下中间t时刻多通道片段间时序特征

采用一维通道注意力机制融合出窄尺度局部表征{L_narrow ⁽ⁱ⁾，i＝1，2，...，M}，用于表达时间窄尺度下中间t时刻有效波形信息；同时针对时间窄尺度下多通道片段间时序特征序列

采用二维全局注意力机制融合出窄尺度全局表征{G_narrow ⁽ⁱ⁾，i＝1，2，...，M}，用于表达片段间短时突变性时序转换信息；

e)针对b)步骤得到的整体所有时刻多通道片段内时序表征序列

通过片段间层级的另一新的待训练循环神经网络表达时间宽尺度下多通道片段间时序特征序列

f)基于e)步骤得到的时间宽尺度下中间t时刻多通道片段间时序特征

采用一维通道注意力机制融合出宽尺度局部表征

用于表达时间宽尺度下中间t时刻有效波形信息；同时针对时间宽尺度下多通道片段间时序特征序列

采用二维全局注意力机制融合出宽尺度全局表征

用于表达片段间长时周期性时序转换信息；

g)将d)和f)步骤中两种时间尺度下计算得到的局部表征与全局表征{L_narrow ⁽ⁱ⁾，L_wide ⁽ⁱ⁾，G_narrow ⁽ⁱ⁾，G_wide ⁽ⁱ⁾，i＝1，2，...，M}拼接成高维表征，经过神经网络线性层降维后输入softmax分类器，输出模型预测中间t时刻的one-hot睡眠标签

4)根据模型预测的所有训练样本序列中间t时刻睡眠标签

与训练集中真实睡眠标签

计算交叉熵损失函数(cross entropy)，记为J(Θ)，进行端到端的模型训练，其计算公式为：

其中，Θ为时序多尺度混合注意力模型的参数集合，M表示为训练样本数量；

5)选取T个多通道PSG片段组成的待检测序列

6)对待检测多通道PSG片段序列

进行2)步骤中短时傅里叶变换预处理之后，将相应的多通道PSG二维时频矩阵序列输入到训练好的时序多尺度混合注意力模型中，得到中间t时刻one-hot睡眠分类结果

7)根据模型分类结果标记中间t时刻PSG片段属于哪种睡眠阶段；至此，完成基于时序多尺度混合注意力模型的自动睡眠分期过程。

2.根据权利要求1所述的一种基于时序多尺度混合注意力模型的自动睡眠分期方法，其主要特征在于所述的步骤3)中，用生成的多通道PSG时频矩阵训练集

训练时序多尺度混合注意力模型，具体包括：

1)利用神经网络线性层(linear layer)对训练样本序列内每一时刻多通道PSG片段的所有二维时频矩阵进行滤波，生成去除冗余频带信息的时频矩阵，其中，对于第i个训练样本序列中间t时刻PSG片段第1个通道，其二维时频矩阵

滤波过程表示为：

其中，

为滤波后结果，W_filter为神经网络线性层待训练的参数；

2)通过片段内层级的待训练循环神经网络与注意力机制对所有滤波后二维时频矩阵分别进行深度特征提取与融合，用于表达片段内时序信息，以步骤1)中的

为例，其特征提取与特征融合的具体过程为，先将该二维时频矩阵按列拆分为连续多个列向量，记为

n为矩阵列数，片段内循环神经网络RNN_intra对其特征提取过程表示为：

其中，

为RNN_intra对滤波后时频矩阵

列向量序列学习出的网络隐层特征向量序列，θ_intra为片段内循环神经网络RNN_intra内待训练的参数；随后，采用注意力机制对网络隐层特征向量序列进行特征融合，计算公式为：

其中，

为

经过特征融合得到的片段内时序表征，

代表每个列向量的注意力权重，W_γ和b_γ为待训练的参数，σ(·)为sigmoid激活函数σ(z)＝1/(1+e^-z)，按通道维度逐一计算后，得到第i个训练样本序列中间t时刻多通道时频矩阵

对应的多通道片段内时序表征

进一步计算出第i个训练样本序列所有时刻多通道片段内时序表征

3)对于步骤2)得到的第i个训练样本序列所有时刻多通道片段内时序表征

选取中间t时刻与前后相邻时刻对应的多通道片段内时序表征

并利用片段间层级的新的待训练循环神经网络表达时间窄尺度下每个通道的片段间时序特征信息，其中，以第1个通道3个时刻的片段内时序表征序列

为例，窄尺度片段间循环神经网络RNN_narrow对其提取窄尺度片段间时序特征的计算公式为：

其中，

为该通道时间窄尺度下片段间时序特征序列，θ_narrow为窄尺度片段间循环神经网络RNN_narrow内待训练的参数，对每个通道逐一计算后，生成时间窄尺度下第i个训练样本序列3个时刻多通道片段间时序特征序列

4)基于步骤3)得到的窄尺度多通道片段间时序特征序列

内中间t时刻多通道片段间时序特征

按通道维度展开，记为

采用一维通道注意力机制表达时间窄尺度下中间t时刻有效波形信息，计算公式为：

其中，L_narrow ⁽ⁱ⁾为

经过特征融合得到的第i个训练样本序列时间窄尺度局部表征，

代表一维通道注意力权重，W_α和b_α为待训练的参数，σ(·)为sigmoid激活函数；同时对于步骤3)得到的窄尺度多通道片段间时序特征序列

将每一时刻多通道片段间时序特征按通道维度展开，采用二维全局注意力机制同时对通道维度与时间维度进行特征融合，表达片段间短时突变性时序转换信息，计算公式为：

其中，G_narrow ⁽ⁱ⁾为

经过特征融合得到的第i个训练样本序列时间窄尺度全局表征，

为二维全局注意力权重，W_β和b_β为待训练的参数，σ(·)为sigmoid激活函数；

5)针对步骤2)得到的第i个训练样本序列所有时刻多通道片段内时序表征

利用片段间层级的另一新的待训练循环神经网络表达时间宽尺度下每个通道的片段间时序特征信息，其中，以第i个训练样本序列第1个通道的片段内时序表征序列

为例，宽尺度片段间循环神经网络RNN_wide对其提取宽尺度片段间时序特征的计算公式为：

其中，

为该通道时间宽尺度下片段间时序特征序列，θ_wide为宽尺度片段间循环神经网络RNN_wide内待训练的参数；对每个通道逐一计算后，生成时间宽尺度下第i个训练样本序列所有时刻多通道片段间时序特征序列

6)基于步骤5)得到的宽尺度多通道片段间时序特征序列

内中间t时刻多通道片段间时序特征

按通道维度展开，记为

采用一维通道注意力机制表达时间宽尺度下中间t时刻有效波形信息，计算公式为：

其中，L_wide ⁽ⁱ⁾为

经过特征融合得到的第i个训练样本序列时间宽尺度局部表征，

代表一维通道注意力权重，W_A和b_A为待训练的参数，σ(·)为sigmoid激活函数；同时对于步骤5)得到的宽尺度多通道片段间时序特征序列

将每一时刻多通道片段间时序特征按通道维度展开，采用二维全局注意力机制同时对通道维度与时间维度进行特征融合，表达片段间长时周期性时序转换信息，计算公式为：

其中，G_wide ⁽ⁱ⁾为

经过特征融合得到的第i个训练样本序列时间宽尺度全局表征，

为二维全局注意力权重，W_B和b_B为待训练的参数，σ(·)为sigmoid激活函数；

7)将步骤4)与步骤6)得到的两种时间尺度下融合出的第i个训练样本序列局部特征L_narrow ⁽ⁱ⁾、L_wide ⁽ⁱ⁾与全局特征G_narrow ⁽ⁱ⁾、G_wide ⁽ⁱ⁾拼接成高维表征，通过神经网络线性层进行降维，并使用softmax分类器进行结果预测，计算公式为：

其中，

为模型预测第i个训练样本序列内中间t时刻的one-hot睡眠标签，

代表拼接操作，W_y、W_FC、b_y和b_FC为待训练的参数，softmax(·)表示softmax分类器。

Images