CN112450881B - 一种基于时序关联性驱动的多模态睡眠分期方法 - Google Patents

一种基于时序关联性驱动的多模态睡眠分期方法 Download PDF

Info

Publication number
CN112450881B
CN112450881B CN202011259649.7A CN202011259649A CN112450881B CN 112450881 B CN112450881 B CN 112450881B CN 202011259649 A CN202011259649 A CN 202011259649A CN 112450881 B CN112450881 B CN 112450881B
Authority
CN
China
Prior art keywords
sleep
time
model
probability
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011259649.7A
Other languages
English (en)
Other versions
CN112450881A (zh
Inventor
陈丹
张垒
陈靓影
李小俚
熊明福
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuhan University WHU
Original Assignee
Wuhan University WHU
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuhan University WHU filed Critical Wuhan University WHU
Priority to CN202011259649.7A priority Critical patent/CN112450881B/zh
Publication of CN112450881A publication Critical patent/CN112450881A/zh
Application granted granted Critical
Publication of CN112450881B publication Critical patent/CN112450881B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4806—Sleep evaluation
    • A61B5/4812—Detecting sleep stages or cycles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7225—Details of analog processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/02—Preprocessing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Mathematical Physics (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Psychiatry (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Human Computer Interaction (AREA)
  • Physiology (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Biology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Power Engineering (AREA)
  • Probability & Statistics with Applications (AREA)
  • Fuzzy Systems (AREA)
  • Databases & Information Systems (AREA)
  • Epidemiology (AREA)

Abstract

本发明属于睡眠分期技术领域，公开了一种基于时序关联性驱动的多模态睡眠分期方法，包括采集多导睡眠图，获得睡眠状态识别的原始信号；对原始信号进行预处理得到切片后的片段信号；对片段信号进行特征提取与融合得到特征向量；对多个相邻片段信号的特征向量组成的特征序列进行时序关联性嵌入，并输出睡眠状态预测概率得到样本的预测结果；在模型训练阶段，计算训练样本对应的预测结果和训练样本的真实睡眠状态之间的损失值，并对睡眠分期模型进行训练得到训练好的睡眠分期模型；在模型评估阶段，将待评估样本输入至训练好的睡眠分期模型得到待评估样本对应的预测结果。本发明解决了多模态信号特征提取融合与时序关联性问题。

Description

一种基于时序关联性驱动的多模态睡眠分期方法
技术领域
本发明涉及睡眠分期技术领域，尤其涉及一种基于时序关联性驱动的多模态睡眠分期方法。
背景技术
人在睡眠过程中会经历不同睡眠状态的周期性变化，睡眠分期的任务则是通过人睡眠过程所记录的生理信号(如多导睡眠图，简称PSG)对人的睡眠状态进行判定，其结果作为睡眠障碍疾病诊断的重要参考依据。传统睡眠分期研究通常基于特征工程的技术路径，基于特征工程的方案的优势在于训练复杂度较低，模型可解释性好，其缺点是特征提取强依赖于先验知识。随着标记数据的大量积累、计算机性能的大幅增长以及深度学习模型训练算法的突破，近几年以CNN、RNN及其变种模型为代表的深度学习技术开始大量应用于计算机视觉、自然语言处理等领域，并取得了令人瞩目的成绩，甚至在某些细分领域超过了人类水平。因此，将深度学习模型引入至睡眠信号等数据的分析中具有很强的可行性。
但睡眠数据的多模态、睡眠状态关联性使得简单地应用深度网络无法取得良好的性能。目前已经存在一些基于深度学习的方法在睡眠分期场景下取得了比较好的成绩，但依然存在一些不足。首先，现有模型未充分考虑睡眠生理数据中模态(脑电、眼电等)之间的异质性；其次，睡眠状态的演化规则，即睡眠状态的时序关联性没有合理地应用到模型中。
发明内容
为了解决现有技术的不足，本发明提供一种基于时序关联性驱动的多模态睡眠分期方法。
本发明提供一种基于时序关联性驱动的多模态睡眠分期方法，包括以下步骤：
步骤1、采集多导睡眠图，选择脑电和眼电通道数据构成睡眠状态识别的原始信号；
步骤2、对所述原始信号进行预处理，得到切片后的片段信号；
步骤3、对所述片段信号进行特征提取与融合，得到特征向量；
步骤4、对多个相邻片段信号的特征向量组成的特征序列进行时序关联性嵌入，并输出睡眠状态预测概率，得到样本的预测结果；在模型训练阶段，计算训练样本对应的预测结果和训练样本的真实睡眠状态之间的损失值，并对睡眠分期模型进行训练，得到训练好的睡眠分期模型；在模型评估阶段，将待评估样本输入至所述训练好的睡眠分期模型，得到待评估样本对应的预测结果，并作为睡眠分期评估初始结果信息。
优选的，所述步骤4中，得到所述睡眠分期评估初始结果信息后，将所述睡眠分期评估初始结果信息输入至Markov链进行进一步校正，得到睡眠分期评估校正结果信息。
优选的，所述步骤2包括以下子步骤：
步骤2.1、将所述原始信号按固定时间窗口进行切分，得到若干个片段信号，每个片段信号中均包含脑电时域数据和眼电时域数据；
步骤2.2、对所述片段信号中的脑电时域数据进行短时傅里叶变换，得到脑电时频数据。
优选的，所述步骤3包括以下子步骤：
步骤3.1、将所述脑电时频数据输入至特征学习模块中的时频分支中，对于每一个片段信号，输出第一特征信息；将所述眼电时域数据输入至所述特征学习模块中的时域分支中，对于每一个片段信号，输出第二特征信息；
步骤3.2、对于每一个片段信号，将所述第一特征信息和所述第二特征信息进行拼接，得到融合后的特征序列并输出。
优选的，所述步骤3.1中，所述时频分支中卷积层所采用的卷积核大小为[3×3]，池化层窗口大小为[2×2]；所述第一特征信息为一个维数为3的特征张量；所述时域分支中卷积核和池化层窗口的大小与时频分支的设置一致，但在时域分支中采用的是一维卷积运算；所述第二特征信息为一个维数为2的特征矩阵。
优选的，所述睡眠分期模型包括RNN层、全连接层、softmax层；
所述RNN层的输入为T个相邻时间片段所对应的特征向量数组，所述T个相邻时间片段所对应的特征向量数组记为[X1,X2,...,Xt,...,XT]，Xt表示第t个时间片段对应的特征向量，
Figure BDA0002774218790000021
xi表示一个特征向量中的第i个特征分量；Nfeature表示特征提取模块处理片段信号后输出特征向量的长度；
所述RNN层的输出为T个相邻时间片段所对应的关联特征，记为G(X1,X2,...,Xt,...,XT)；
所述关联特征经所述全连接层和所述softmax层后输出T个时间片段所对应的属于各个睡眠状态的概率PT×S，S表示睡眠状态的个数。
优选的，所述步骤4包括以下子步骤：
步骤4.1、所述训练样本、所述待评估样本均为由多个时间片段组成的序列样本，其对应特征序列记为[X1,X2,...,XT]，T表示时间片段的数量；
步骤4.2、对于序列样本所对应的特征序列[X1,X2,...,XT]，所述RNN层分别计算时间步为t时的隐藏状态h(t)和输出状态o(t)，且h(t)＝f(h(t-1),Xt,θ)，o(t)＝vh(t)+c，其中θ,v,c均为睡眠分期模型的待优化参数；h(t-1)表示第t-1个时间步的隐藏状态，Xt表示第t个片段信号所对应的特征向量，f()表示RNN的计算单元；对于输出状态o(t)，通过所述全连接层以及所述softmax层计算片段Xt属于每一类睡眠状态的概率，得到概率向量，记为
Figure BDA0002774218790000031
步骤4.3、在模型训练阶段，设置损失函数；通过反向传播算法调整所述睡眠分期模型的所述待优化参数，使所述损失函数最小，得到训练好的睡眠分期模型；
步骤4.4、在模型评估阶段，通过所述训练好的睡眠分期模型对于每一个片段预测其概率向量，连续片段的预测结果相应组成概率向量序列；并使用Markov链对所述概率向量进一步修正。
优选的，所述步骤4.3中，所述损失函数定义为：
Figure BDA0002774218790000032
其中，B表示小批量训练模式下的批量大小，T代表单个序列样本中时间片段的数量，S表示睡眠状态的个数，
Figure BDA0002774218790000033
和
Figure BDA0002774218790000034
分别表示第i个信号片段的真实睡眠状态以及模型给出的预测概率。
优选的，所述步骤4.4包括以下子步骤：
步骤4.4.1、对于单个对象切分出的由M个片段组成的序列，存在M-1次状态转移，通过对所有训练样本进行统计，得到状态转移矩阵H，所述状态转移矩阵H的大小为S×S；
步骤4.4.2、假定针对时间步t所对应的信号片段，由所述睡眠分期模型给出的预测概率为
Figure BDA0002774218790000041
通过Markov链推断的转移概率为
Figure BDA0002774218790000042
最终输出的修正概率为
Figure BDA0002774218790000043
Markov链通过初始概率
Figure BDA0002774218790000044
和状态转移矩阵H推测出所有时间步上的状态概率
Figure BDA0002774218790000045
其中transpose()代表矩阵转置运算，且最终得到的修正概率为
Figure BDA0002774218790000046
其中Zt为正则化因子，α为权重系数；
步骤4.4.3、对于片段t修正概率向量
Figure BDA0002774218790000047
选择最大的概率分量所对应的睡眠状态作为所述睡眠分期评估校正结果信息。
本发明中提供的一个或多个技术方案，至少具有如下技术效果或优点：
在发明中，采集多导睡眠图，选择脑电和眼电通道数据构成睡眠状态识别的原始信号；对原始信号进行预处理，得到切片后的片段信号；对片段信号进行特征提取与融合，得到特征向量；对多个相邻片段信号的特征向量组成的特征序列进行时序关联性嵌入，并输出睡眠状态预测概率，得到样本的预测结果；在模型训练阶段，计算训练样本对应的预测结果和训练样本的真实睡眠状态之间的损失值，并对睡眠分期模型进行训练，得到训练好的睡眠分期模型；在模型评估阶段，将待评估样本输入至所述训练好的睡眠分期模型，得到待评估样本对应的预测结果，并作为睡眠分期评估初始结果信息。本发明解决了睡眠分期过程的两类问题：多模态信号特征提取融合与时序关联性问题。本发明能够得到准确的睡眠状态分期结果，能够有效地处理多种模态的时间序列信号。
附图说明
图1为本发明实施例提供的一种基于时序关联性驱动的多模态睡眠分期方法对应的设计模型结构图。
具体实施方式
睡眠分期问题本质上可以视为一个多分类问题，根据美国睡眠医学协会制定的AASM睡眠判读标准，睡眠状态大致可以分为清醒期(W)、非快速眼动期(包含N1、N2和N3三个阶段)和快速眼动期(R)。基于此，本发明提出了一种基于时序关联性驱动的多模态睡眠分期方法。
为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。
本实施例提供了一种基于时序关联性驱动的多模态睡眠分期方法，包括以下步骤：
步骤1：数据采集。
采集多导睡眠图，选择脑电和眼电通道数据构成睡眠状态识别的原始信号。其中，标准多导睡眠图对生理电(脑电、眼电等)、呼吸气流等信号进行监测。对于睡眠分期场景而言，本发明选择脑电和眼电通道作为睡眠状态识别的数据来源。
具体的，步骤1包括以下子步骤：
步骤1.1：标准多导睡眠图采集通常是在专业睡眠监控室进行，通过将传感器附于人大脑头皮表面、眼部、口鼻部位、胸廓等部位记录人在睡眠过程中的脑电、眼电、口鼻气流、温度及心电等数据，并实时传输至计算机中存储。
步骤1.2：采集过程会记录关灯、熄灯等事件。在模型训练阶段，数据预处理的范围为关灯到开灯之间的信号片段，并挑选出脑电和眼电通道作为后续数据处理和模型训练的数据来源。
步骤2：数据预处理。
对原始信号进行预处理，得到切片后的片段信号。其中，睡眠监控设备采集到的数据为整晚记录的原始信号。此步骤所需要的处理分为如下几部分：(1)利用固定时间窗口将原始信号分割成连续的时间片段，作为判断睡眠状态的最小单元，即单个时间片段内的信号只属于一个睡眠状态；(2)考虑脑电信号在不同睡眠阶段的差异主要存在于频率分布，将脑电信号由时域转换到时频域，眼电信号保留其时域形式。
具体的，步骤2包括以下子步骤：
步骤2.1：将原始信号按固定时间窗口进行切分，得到若干个片段信号，每个片段信号中均包含脑电时域数据和眼电时域数据。
根据AASM的睡眠判读标准，以30s的信号片段作为睡眠判断的最小单元，30s片段内的信号划归到一个睡眠状态。因此将滑动窗口设置为30s，窗口在信号上移动，截取信号片段，片段之间不重叠，得到的单个样本的维度为[n_channel,seg_length*sampling_rate]。n_channel代表电生理数据的通道个数，seg_length代表片段时间长度，这里默认为30s，sampling_rate表示采样率。则最后获得样本数据可以表示成[n_samples,n_channel,seg_length*sampling_rate]，其中n_samples代表样本个数。
步骤2.2：对片段信号中的脑电时域数据进行短时傅里叶变换，得到脑电时频数据。
根据模型结构设计，将电信号中的脑电片段转换成时频形式。具体而言，本发明使用短时傅里叶变换将时域形式的脑电信号转换成二维时频形式。针对片段内的每一个脑电通道数据由
Figure BDA0002774218790000061
转换成大小为[L,F]的二维时频图形式，L和F分别表示变换后的时域点个数和频率点个数。对所有脑电通道逐一进行变换后。单个片段的脑电数据将被转换成大小分别为[n_eeg_channel,L,F]的脑电数据和[n_eog_channel,n_points]的眼电数据，其中，n_eeg_channel和n_eog_channel分别代表脑电和眼电通道个数，n_points代表片段内每一个眼电通道的信号点数。
步骤3：特征提取。
对所述片段信号进行特征提取与融合，得到特征向量。其中，对于预处理后的数据，每个时间片段包含时频形式的脑电片段和时域形式的眼电片段。针对这两类片段，本发明分别设计了由一维卷积和二维卷积计算单元为主体组成的特征提取分支用于提取特征。在经过多层的卷积、池化以及激活函数处理后，不同模态间的异质性被消除，信号被转换为高层次、更为抽象的特征。两条分支的处理结果通过拼接的方式生成融合特征并进行输出。
具体的，步骤3包括以下子步骤：
步骤3.1：将脑电时频数据输入至特征学习模块中的时频分支中，对于每一个片段信号，输出第一特征信息；将眼电时域数据输入至特征学习模块中的时域分支中，对于每一个片段信号，输出第二特征信息。
即将预处理得到的数据输入至特征学习模块。模块包含两条分支：时域分支和时序分支，分别用于处理脑电数据和眼电数据。两条分支，如附图说明中图1所示，主要由卷积层、池化层组成。具体步骤如下所示：
步骤3.1.1：对于脑电时频数据，时频分支中卷积层所采用的卷积核大小为[3×3]，池化层窗口大小为[2×2]。脑电时频数据通过前向传播经过时频分支的每一层，对于每一个片段，输出维数为3的特征张量。
步骤3.1.2：对于眼电时域数据，所述时域分支中卷积核和池化层窗口的大小与时频分支的设置一致，时域分支卷积核和池化层窗口均为一维形式。和3.1.1采用类似的步骤，最终输出维数为2的特征矩阵。
步骤3.2：对于每一个片段信号，将第一特征信息和第二特征信息进行拼接，得到融合后的特征序列并输出。
即经过上述步骤对于预处理数据的层层变换，模态之间的异质性被消除，将脑电和眼电特征展平为一维向量形式，并进行拼接作为脑电/眼电模态数据的融合特征输出。
步骤4：处理相邻片段的时序关联性。
对多个相邻片段信号的特征向量组成的特征序列进行时序关联性嵌入，并输出睡眠状态预测概率，得到样本的预测结果；在模型训练阶段，计算训练样本对应的预测结果和训练样本的真实睡眠状态之间的损失值，并对睡眠分期模型进行训练，得到训练好的睡眠分期模型；在模型评估阶段，将待评估样本输入至训练好的睡眠分期模型，得到待评估样本对应的预测结果，并作为睡眠分期评估初始结果信息。
优选的方案中，得到所述睡眠分期评估初始结果信息后，将所述睡眠分期评估初始结果信息输入至Markov链进行进一步校正，得到睡眠分期评估校正结果信息。
即步骤3解决的是多模态信号的特征提取和融合问题，步骤4解决的是时序关联性嵌入的问题。
睡眠分期模型包括RNN层、全连接层、softmax层；RNN层的输入为T个相邻时间片段所对应的特征向量数组，T个相邻时间片段所对应的特征向量数组记为[X1,X2,...,Xt,...,XT]，Xt表示第t个时间片段对应的特征向量，
Figure BDA0002774218790000072
Figure BDA0002774218790000071
xi表示一个特征向量中的第i个特征分量；Nfeature表示特征提取模块处理片段信号后输出特征向量的长度；RNN层的输出为T个相邻时间片段所对应的关联特征，记为G(X1,X2,...,Xt,...,XT)；关联特征经全连接层和softmax层后输出T个时间片段所对应的属于各个睡眠状态的概率PT×S，S表示睡眠状态的个数。
即步骤4的输入是T个相邻时间片段所对应的特征向量数组，记为[X1,X2,...,Xt,...,XT]。RNN层可视为一个以多维向量作为输入，输出多维向量的函数G(X1,X2,...,Xt,...,XT),再经过softmax函数输出T个时间片段所对应的属于各个睡眠状态的概率PT×S。模型训练阶段完成后，对于输出的预测概率，使用改进的Markov模型进行校正。最后，对于时间片段t上的概率向量，选择最大概率分量所对应的睡眠状态作为预测状态输出。
具体的，所述步骤4包括以下子步骤：
步骤4.1：所述训练样本、所述待评估样本均为由多个时间片段组成的序列样本，其对应特征序列记为[X1,X2,...,XT]，T表示时间片段的数量。
步骤4.2：对于序列样本所对应的特征序列[X1,X2,...,XT]，所述RNN层分别计算时间步为t时的隐藏状态h(t)和输出状态o(t)，且h(t)＝f(h(t-1),Xt,θ)，o(t)＝vh(t)+c，其中θ,v,c均为睡眠分期模型的待优化参数；h(t-1)表示第t-1个时间步的隐藏状态，Xt表示第t个片段信号所对应的特征向量，f()表示RNN的计算单元；对于输出状态o(t)，通过所述全连接层以及所述softmax层计算片段Xt属于每一类睡眠状态的概率，得到概率向量，记为
Figure BDA0002774218790000081
在AASM的标准中S＝5。
步骤4.3：在模型训练阶段，设置损失函数；通过反向传播算法调整睡眠分期模型的待优化参数，使损失函数最小，得到训练好的睡眠分期模型。
对于单个序列样本，损失函数可定义为
Figure BDA0002774218790000082
损失函数的优化采用小批量样本输入，则对于样本数为B的小批量样本而言，损失函数定义为
Figure BDA0002774218790000083
其中，B表示小批量训练模式下的批量大小，T代表单个序列样本中时间片段的数量，S表示睡眠状态的个数，
Figure BDA0002774218790000084
和
Figure BDA0002774218790000085
分别表示第i个信号片段的真实睡眠状态以及模型给出的预测概率。通过反向传播算法将误差传导至RNN层和步骤3的特征学习层，不断迭代从而对模型参数进行优化。
步骤4.4：在模型评估阶段，通过训练好的睡眠分期模型对于每一个片段预测其概率向量，连续片段的预测结果相应组成概率向量序列；并使用Markov链对所述概率向量进一步修正，可缓解样本不均衡所造成的预测偏差问题。具体步骤如下：
步骤4.4.1：对于单个对象切分出的由M个片段组成的序列，存在M-1次状态转移，通过对所有训练样本进行统计，得到状态转移矩阵H，所述状态转移矩阵H的大小为S×S。
即统计状态转移矩阵。通过对训练集所有样本进行统计，得到该矩阵。
步骤4.4.2：假定针对时间步t所对应的信号片段，由睡眠分期模型给出的预测概率为
Figure BDA0002774218790000091
通过Markov链推断的转移概率为
Figure BDA0002774218790000092
最终输出的修正概率为
Figure BDA0002774218790000093
Markov链通过初始概率
Figure BDA0002774218790000094
和状态转移矩阵H可以推测出所有时间步上的状态概率
Figure BDA0002774218790000095
其中transpose()代表矩阵转置运算，时间步t上的修正概率为
Figure BDA0002774218790000096
其中Zt为正则化因子，α为权重系数。
步骤4.4.3：对于片段i修正概率向量
Figure BDA0002774218790000097
选择最大的概率分量所对应的睡眠状态作为睡眠分期评估校正结果信息。
下面对本发明做进一步的说明。
准备工作分为以下3个部分：
1.数据准备。
在采集到的多导睡眠图中，选择脑电和眼电通道作为睡眠分期的数据来源。采用30s为睡眠状态判断单位时间对采集信号进行切分。在准备用于模型训练的数据集时，遵循以下若干条事项：(1)为避免W期占比过大，截取熄灯至开灯时间区间的信号作为有效数据；(2)对于信号切分时信号尾部不足30s的片段，将该片段丢弃。片段截取完成后，单个片段中包含脑电数据x1和眼电数据x2大小分别为[n_eeg_channel×n_eeg_points]和[n_eog_channel×n_eog_points]。对于脑电信号进行短时傅里叶变换将其转换成二维时频图形式，得到脑电数据大小为[n_eeg_channel,L,F]，同时假设每个片段所属睡眠状态y∈{1,2,...,S}，分别对应S个睡眠状态，由此组成数据集为
Figure BDA0002774218790000098
在本发明中，脑电数据采样率为100Hz，采用参数分别为窗口大小为2s的汉宁窗，50％的重叠区间以及长度为256的快速傅里叶变换对脑电信号进行短时傅里叶变换，变换后，得到的结果为L＝29,F＝129。同时，睡眠状态个数为5，即S＝5。
2.模型构建与训练。
模型整体架构如附图1所示。在深度学习模型训练过程中，通过采用小批量形式加快优化速度。同时，RNN层接受序列样本输入，即一个序列样本由多个时间上连续的片段组成。因此，假设批量大小为B，序列长度为T，此时一次输入至特征学习层的样本个数则为B×T，具体而言，脑电数据大小为[B×T,n_eeg_channel,L,F]，眼电数据大小为[B×T,n_eog_channel,n_eog_points]，经过特征提取后，输入至RNN层的数据大小则为[B,T,Nfeature]，Nfeature为提取到的特征向量的大小。模型最终输出的概率矩阵大小为[B×T,S]。在模型训练阶段，以对数损失为基础定义损失函数为：
Figure BDA0002774218790000101
其中，B表示小批量训练模式下批量大小，T代表单个序列样本中时间片段的数量，S表示睡眠状态的个数，
Figure BDA0002774218790000102
和
Figure BDA0002774218790000103
分别表示第i个信号片段的真实睡眠状态以及模型给出的预测概率通过依次将所有批量样本送入模型中，迭代优化损失函数，从而将模型参数训练至一个较优的水平。
3.计算状态转移矩阵。
状态转移矩阵H大小为S×S。对于由M个片段组成的序列，存在M-1次状态转移，通过对训练集所有样本进行统计，得到该矩阵。
以某个测试对象的M个连续片段为例进行说明：
(1)令i依次等于1,2,...,M-2,M-1。
(2)假设第i个片段所属的睡眠状态为Si，第i+1个片段所属的睡眠状态为Si+1，此时将H矩阵中第Si行Si+1列的元素值加1。
将所有对象的数据均执行上述步骤并对结果矩阵进行叠加，得到睡眠状态转移矩阵。本发明中转移矩阵H的大小为5×5。
在以上准备工作完成后，对于新的待评估对象，执行以下步骤：
步骤1：数据采集及预处理。
步骤1.1：对目标对象实施睡眠监控，获取脑电和眼电通道数据。
步骤1.2：按30S为时间窗口截取片段，将脑电数据通过短时傅里叶变换转换成时频形式，变换参数与数据准备环节中的参数相同。得到
Figure BDA0002774218790000111
数据集合中下标上相邻的样本在时间上也相邻。
步骤2：特征提取。
输入至特征学习层，获取对应样本的特征向量，本发明中单个样本所获得特征向量长度为896。
步骤3：时序关联性嵌入。
假设步骤1中获取的样本个数为A，RNN层要求的序列长度为T，可能会存在最后一段截取的序列样本长度不足T的情况，假设为T′，针对此情况，不同于对训练数据的丢弃策略，这里采取的方式是向前多截取T-T′进行补齐，同时，在判断重复截取的T-T′个样本所对应睡眠状态时，只以正常截取的预测结果作为依据。
步骤4：概率向量修正并输出评估结果。
步骤4.1：Markov链通过初始概率
Figure BDA0002774218790000112
和状态转移矩阵可以推测出所有时间步上的状态概率
Figure BDA0002774218790000113
同时，模型对每个时间步上均给出了预测概率向量
Figure BDA0002774218790000114
则时间步t上的修正概率为
Figure BDA0002774218790000115
Figure BDA0002774218790000116
其中Zt为正则化因子，α为权重系数。
一种具体的实施方式中，将α设为0.5，代表通过Markov链推断的概率和模型预测概率在决定片段最终预测结果上具有相同的重要性。
步骤4.2：对于片段t的修正概率向量
Figure BDA0002774218790000117
选择最大的概率分量所对应的睡眠状态作为最后的评估值。
综上，本发明选择睡眠监控数据中的脑电和眼电数据作为睡眠分期的数据基础。通过设计一个融合脑电和眼电数据的深度学习模型，该模型包含了两条特征学习分支，分别用于处理时序形式的眼电信号和经过时频变换的脑电信号，并对提取到的特征进行融合，融合特征输入至单层RNN结构中从而将睡眠状态的时序关联性嵌入模型训练中。模型训练完成后，在评估阶段，对于模型输出的预测概率向量，利用改进的Markov链对模型输出概率进行进一步校正，从而缓解不均衡样本下模型训练可能造成的偏差问题。最后选择最大概率分量所对应的睡眠阶段作为片段的评估结果，从而达到睡眠分期的目的。
本发明实施例提供的一种基于时序关联性驱动的多模态睡眠分期方法至少包括如下技术效果：
(1)本发明通过将脑电和眼电信号分别整理成二维时频和一维时序形式，在不需要其它额外预处理步骤的情况下，基于设计的双分支CNN结构对输入样本进行特征提取与融合，然后通过RNN对输出的特征序列进入时序关联性嵌入。上述过程在经过迭代优化后，在模型评估阶段，将输出的睡眠状态概率向量再输入改进的Markov链进行进一步的修正，最后选择概率向量中最高概率分量对应的睡眠状态作为最终的预测值。
(2)本发明所解决的睡眠分期过程的两类问题：多模态信号特征提取融合与时序关联性问题。可以有效地处理多种模态的时间序列信号，同时，也可以很容易地应用于到其它神经信号相关的模式识别任务中，具有较好的迁移能力。
最后所应说明的是，以上具体实施方式仅用以说明本发明的技术方案而非限制，尽管参照实例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。

Claims (6)

1.一种基于时序关联性驱动的多模态睡眠分期方法，其特征在于，包括以下步骤：
步骤1、采集多导睡眠图，选择脑电和眼电通道数据构成睡眠状态识别的原始信号；
步骤2、对所述原始信号进行预处理，得到切片后的片段信号；
步骤3、对所述片段信号进行特征提取与融合，得到特征向量；
步骤4、对多个相邻片段信号的特征向量组成的特征序列进行时序关联性嵌入，并输出睡眠状态预测概率，得到样本的预测结果；在模型训练阶段，计算训练样本对应的预测结果和训练样本的真实睡眠状态之间的损失值，并对睡眠分期模型进行训练，得到训练好的睡眠分期模型；在模型评估阶段，将待评估样本输入至所述训练好的睡眠分期模型，得到待评估样本对应的预测结果，并作为睡眠分期评估初始结果信息；得到所述睡眠分期评估初始结果信息后，将所述睡眠分期评估初始结果信息输入至Markov链进行进一步校正，得到睡眠分期评估校正结果信息；
其中，所述睡眠分期模型包括RNN层、全连接层、softmax层；
所述RNN层的输入为T个相邻时间片段所对应的特征向量数组，所述T个相邻时间片段所对应的特征向量数组记为[X1,X2,...,Xt,...,XT]，Xt表示第t个时间片段对应的特征向量，
Figure FDA0003145363260000011
xi表示一个特征向量中的第i个特征分量；Nfeature表示特征提取模块处理片段信号后输出特征向量的长度；
所述RNN层的输出为T个相邻时间片段所对应的关联特征，记为G(X1,X2,...,Xt,...,XT)；
所述关联特征经所述全连接层和所述softmax层后输出T个时间片段所对应的属于各个睡眠状态的概率PT×S，S表示睡眠状态的个数；
所述步骤4包括以下子步骤：
步骤4.1、所述训练样本、所述待评估样本均为由多个时间片段组成的序列样本，其对应特征序列记为[X1,X2,...,XT]，T表示时间片段的数量；
步骤4.2、对于序列样本所对应的特征序列[X1,X2,...,XT]，所述RNN层分别计算时间步为t时的隐藏状态h(t)和输出状态o(t)，且h(t)＝f(h(t-1),Xt,θ)，o(t)＝vh(t)+c，其中θ,v,c均为睡眠分期模型的待优化参数；h(t-1)表示第t-1个时间步的隐藏状态，Xt表示第t个片段信号所对应的特征向量，f()表示RNN的计算单元；对于输出状态o(t)，通过所述全连接层以及所述softmax层计算片段Xt属于每一类睡眠状态的概率，得到概率向量，记为
Figure FDA0003145363260000021
步骤4.3、在模型训练阶段，设置损失函数；通过反向传播算法调整所述睡眠分期模型的所述待优化参数，使所述损失函数最小，得到训练好的睡眠分期模型；
步骤4.4、在模型评估阶段，通过所述训练好的睡眠分期模型对于每一个片段预测其概率向量，连续片段的预测结果相应组成概率向量序列；并使用Markov链对所述概率向量进一步修正。
2.根据权利要求1所述的基于时序关联性驱动的多模态睡眠分期方法，其特征在于，所述步骤2包括以下子步骤：
步骤2.1、将所述原始信号按固定时间窗口进行切分，得到若干个片段信号，每个片段信号中均包含脑电时域数据和眼电时域数据；
步骤2.2、对所述片段信号中的脑电时域数据进行短时傅里叶变换，得到脑电时频数据。
3.根据权利要求2所述的基于时序关联性驱动的多模态睡眠分期方法，其特征在于，所述步骤3包括以下子步骤：
步骤3.1、将所述脑电时频数据输入至特征学习模块中的时频分支中，对于每一个片段信号，输出第一特征信息；将所述眼电时域数据输入至所述特征学习模块中的时域分支中，对于每一个片段信号，输出第二特征信息；
步骤3.2、对于每一个片段信号，将所述第一特征信息和所述第二特征信息进行拼接，得到融合后的特征序列并输出。
4.根据权利要求3所述的基于时序关联性驱动的多模态睡眠分期方法，其特征在于，所述步骤3.1中，所述时频分支中卷积层所采用的卷积核大小为[3×3]，池化层窗口大小为[2×2]；所述第一特征信息为一个维数为3的特征张量；所述时域分支中卷积核和池化层窗口的大小与时频分支的设置一致，但在时域分支中采用的是一维卷积运算；所述第二特征信息为一个维数为2的特征矩阵。
5.根据权利要求1所述的基于时序关联性驱动的多模态睡眠分期方法，其特征在于，所述步骤4.3中，所述损失函数定义为：
Figure FDA0003145363260000031
其中，B表示小批量训练模式下的批量大小，T代表单个序列样本中时间片段的数量，S表示睡眠状态的个数，
Figure FDA0003145363260000032
和
Figure FDA0003145363260000033
分别表示第i个信号片段的真实睡眠状态以及模型给出的预测概率。
6.根据权利要求1所述的基于时序关联性驱动的多模态睡眠分期方法，其特征在于，所述步骤4.4包括以下子步骤：
步骤4.4.1、对于单个对象切分出的由M个片段组成的序列，存在M-1次状态转移，通过对所有训练样本进行统计，得到状态转移矩阵H，所述状态转移矩阵H的大小为S×S；
步骤4.4.2、假定针对时间步t所对应的信号片段，由所述睡眠分期模型给出的预测概率为
Figure FDA0003145363260000034
通过Markov链推断的转移概率为
Figure FDA0003145363260000035
最终输出的修正概率为
Figure FDA0003145363260000036
Markov链通过初始概率
Figure FDA0003145363260000037
和状态转移矩阵H推测出所有时间步上的状态概率
Figure FDA0003145363260000038
其中transpose()代表矩阵转置运算，且最终得到的修正概率为
Figure FDA0003145363260000039
其中Zt为正则化因子，α为权重系数；
步骤4.4.3、对于片段t修正概率向量
Figure FDA00031453632600000310
选择最大的概率分量所对应的睡眠状态作为所述睡眠分期评估校正结果信息。
CN202011259649.7A 2020-11-12 2020-11-12 一种基于时序关联性驱动的多模态睡眠分期方法 Active CN112450881B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011259649.7A CN112450881B (zh) 2020-11-12 2020-11-12 一种基于时序关联性驱动的多模态睡眠分期方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011259649.7A CN112450881B (zh) 2020-11-12 2020-11-12 一种基于时序关联性驱动的多模态睡眠分期方法

Publications (2)

Publication Number Publication Date
CN112450881A CN112450881A (zh) 2021-03-09
CN112450881B true CN112450881B (zh) 2021-11-02

Family

ID=74826518

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011259649.7A Active CN112450881B (zh) 2020-11-12 2020-11-12 一种基于时序关联性驱动的多模态睡眠分期方法

Country Status (1)

Country Link
CN (1) CN112450881B (zh)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113080966A (zh) * 2021-03-22 2021-07-09 华南师范大学 一种基于睡眠分期的抑郁症自动检测方法
CN112990391A (zh) * 2021-05-20 2021-06-18 四川大学 基于特征融合的卷积神经网络的缺陷分类识别系统
CN114041753B (zh) * 2021-11-16 2024-04-26 上海市第六人民医院 睡眠分期方法、装置、计算机设备和存储介质
CN114376564B (zh) * 2021-12-29 2024-04-02 华南理工大学 一种基于心冲击信号的睡眠分期方法、系统、装置及介质
CN114129138B (zh) * 2021-12-29 2023-09-22 北京工业大学 一种基于时序多尺度混合注意力模型的自动睡眠分期方法
CN114398932A (zh) * 2022-01-18 2022-04-26 安徽大学 一种基于注意力机制和集成学习的睡眠分期方法
CN114668373A (zh) * 2022-05-30 2022-06-28 广东工业大学 一种基于动态模态分解的睡眠阶段分类方法及系统
CN118280569A (zh) * 2024-03-29 2024-07-02 浙江中医药大学 中医心身医学调治睡眠质量的评估方法与系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108388912A (zh) * 2018-02-08 2018-08-10 南京理工大学 基于多传感器特征优化算法的睡眠分期方法
CN108416367A (zh) * 2018-02-08 2018-08-17 南京理工大学 基于多传感器数据决策级融合的睡眠分期方法
CN108968915A (zh) * 2018-06-12 2018-12-11 山东大学 基于熵特征及支持向量机的睡眠状态分类方法及系统
CN111466910A (zh) * 2020-04-30 2020-07-31 电子科技大学 一种睡眠监测方法、系统、存储介质、计算机程序、装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10499846B2 (en) * 2016-06-07 2019-12-10 National Cheng Kung University EOG-based sleep staging method, computer program product with stored programs, computer readable medium with stored programs, and electronic apparatuses

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108388912A (zh) * 2018-02-08 2018-08-10 南京理工大学 基于多传感器特征优化算法的睡眠分期方法
CN108416367A (zh) * 2018-02-08 2018-08-17 南京理工大学 基于多传感器数据决策级融合的睡眠分期方法
CN108968915A (zh) * 2018-06-12 2018-12-11 山东大学 基于熵特征及支持向量机的睡眠状态分类方法及系统
CN111466910A (zh) * 2020-04-30 2020-07-31 电子科技大学 一种睡眠监测方法、系统、存储介质、计算机程序、装置

Also Published As

Publication number Publication date
CN112450881A (zh) 2021-03-09

Similar Documents

Publication Publication Date Title
CN112450881B (zh) 一种基于时序关联性驱动的多模态睡眠分期方法
CN111134666B (zh) 一种多通道脑电数据的情绪识别方法及电子装置
CN109222972B (zh) 一种基于深度学习的fMRI全脑数据分类方法
CN111832416B (zh) 一种基于增强卷积神经网络的运动想象脑电信号识别方法
CN112244873B (zh) 一种基于混合神经网络的脑电时空特征学习与情感分类方法
CN110367967B (zh) 一种基于数据融合的便携型轻量化人脑状态检测方法
CN110658915A (zh) 一种基于双流网络的肌电信号手势识别方法
CN113158964B (zh) 一种基于残差学习和多粒度特征融合的睡眠分期方法
CN112043260B (zh) 基于局部模式变换的心电图分类方法
CN111898526B (zh) 基于多流卷积神经网络的肌电手势识别方法
CN114176607B (zh) 一种基于视觉Transformer的脑电信号分类方法
CN115804602A (zh) 基于注意力机制的多通道特征融合的脑电情绪信号检测方法、设备和介质
CN114881105A (zh) 基于transformer模型和对比学习的睡眠分期方法及系统
CN116186544A (zh) 基于深度学习的单通道脑电睡眠分期方法
CN117883082A (zh) 一种异常情绪识别方法、系统、设备及介质
CN113476056B (zh) 一种基于频域图卷积神经网络的运动想象脑电信号分类方法
Malik et al. Accurate classification of heart sound signals for cardiovascular disease diagnosis by wavelet analysis and convolutional neural network: preliminary results
Zhao Skin cancer classification based on convolutional neural networks and vision transformers
CN114224288A (zh) 检测癫痫脑电信号的微型胶囊神经网络训练方法及设备
CN113988135A (zh) 一种基于双分支多流网络的肌电信号手势识别方法
CN118000664A (zh) 基于多尺度时间残差收缩网络的睡眠分期模型构建方法
Gurve et al. Deep learning of EEG time–frequency representations for identifying eye states
CN116421152A (zh) 一种睡眠分期结果确定方法、装置、设备及介质
CN114366038B (zh) 基于改进的深度学习算法模型的睡眠信号自动分期方法
CN114129138B (zh) 一种基于时序多尺度混合注意力模型的自动睡眠分期方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant