CN116070168A - 一种多模态数据多视角睡眠分期方法 - Google Patents

一种多模态数据多视角睡眠分期方法 Download PDF

Info

Publication number
CN116070168A
CN116070168A CN202310030016.6A CN202310030016A CN116070168A CN 116070168 A CN116070168 A CN 116070168A CN 202310030016 A CN202310030016 A CN 202310030016A CN 116070168 A CN116070168 A CN 116070168A
Authority
CN
China
Prior art keywords
data
dimensional
view
graph
time
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310030016.6A
Other languages
English (en)
Inventor
朱云峰
陈炜
陈晨
周利钢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fudan University
Original Assignee
Fudan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fudan University filed Critical Fudan University
Priority to CN202310030016.6A priority Critical patent/CN116070168A/zh
Publication of CN116070168A publication Critical patent/CN116070168A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/372—Analysis of electroencephalograms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/389—Electromyography [EMG]
    • A61B5/397—Analysis of electromyograms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/398—Electrooculography [EOG], e.g. detecting nystagmus; Electroretinography [ERG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4806—Sleep evaluation
    • A61B5/4812—Detecting sleep stages or cycles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02P—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN THE PRODUCTION OR PROCESSING OF GOODS
    • Y02P90/00—Enabling technologies with a potential contribution to greenhouse gas [GHG] emissions mitigation
    • Y02P90/30—Computing systems specially adapted for manufacturing

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Artificial Intelligence (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Psychiatry (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Theoretical Computer Science (AREA)
  • Fuzzy Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • Psychology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种多模态数据多视角睡眠分期方法。本发明首先对多导睡眠图PSG的脑电EEG通道、眼电EOG通道、肌电EMG通道数据进行处理、分析，将原始的多模态PSG数据处理为三种不同视角的信号：一维信号，二维时频图和图拓扑结构。然后将信号的组合作为自变量，睡眠分期判读结果作为因变量，通过留一验证法测试模型性能指标，构建多视角融合模型；最后将个人的整夜PSG数据输入上述的多维融合模型学习模型，得到睡眠分期判读结果。本发明的自动睡眠分期方法高效、适合临床、结果鲁棒。

Description

一种多模态数据多视角睡眠分期方法
技术领域
本发明属于睡眠分析技术领域,具体的说,涉及一种多模态数据多视角睡眠分期方法。
背景技术
健康睡眠是人们正常进行生产活动的重要保证。近些年，随着社会节奏的加快，越来越多的人由于各种各样的原因导致睡眠质量下降，遭受了不同程度的睡眠问题，这极大地干扰了人们的正常生产活动。睡眠医学通过研究人的睡眠，可以根据不同人的情况给予不同的治疗干预手段，来达到改善人睡眠质量的目的。睡眠分期是睡眠医学研究中的一个重要的诊断依据，可以有效地监测和评估睡眠质量。根据美国睡眠医学学会推荐标准AASM，睡眠分期包含以下五个阶段：清醒期(W)、非快速眼动1期(N1)、非快速眼动2期(N2)、非快速眼动3期(N3)、快速眼动期(REM)。
传统的睡眠分期主要通过人工进行睡眠阶段标注。在人工标注前，需要耗费大量的时间学习睡眠阶段标注的方法，此外，此类标注是专家通过肉眼视觉分析来评估的，由于重复的大量工作，长时间工作后专家也容易出现错误判断。
近年来，一种高效可靠新兴技术的出现，正在逐渐替代低效率、易出错的传统人工方法。利用人工智能AI技术实现自动睡眠分期，相比耗时接近1小时的传统人工标注方式，AI仅需几分钟即可完成睡眠阶段标注，且平均准确率能达到85%以上。因此，通过计算机分析睡眠数据，自动进行睡眠分期标注具有广阔的前景。
现有的睡眠分期方法（例如，CN CN114398932A, CN114190897A）大多数为提取睡眠数据的单一视角的特征，如一维时域特征或二维时频域特征。一般输入仅为一维信号、二维时频图和图拓扑结构中的一个或者前两者的组合，不包含与图拓扑结构的组合或者三者的组合。并且验证集的选取为简单的按比例随机划分，并没有针对单个人的数据验证。
综上，现有技术的不足体现在几个方面：
1. 传统的人工标注方法效率低、成本高。通过医生人工的方式进行睡眠阶段标注,人工
培训时间成本高，标注过程耗时耗力。
2. 现有的深度学习方法一般使用留出小比率数据的方法评价模型，在评价模型时没有采取针对单个人的留一验证评价方法，不能客观地反映出模型对于单个人的效果。
3. 现有的深度学习方法数据利用不够充分，单个人的睡眠分期结果不够鲁棒。现有技术主要利用一维信号、二维时频图、图拓扑结构三者之一构成单视角模型。
发明内容
针对传统人工方法人工成本高、效率低和现有计算机自动分期算法评价方式不能很好体现单个人的效果、结果不够鲁棒的问题，本发明旨在提供一种高效、适合临床、结果鲁棒的自动睡眠分期方法。本发明提供了一种利用整夜多导睡眠图数据，并结合深度学习方法，融合多模态多视角数据，实现适合临床的自动睡眠分期的系统方案。
本发明采用数据多视角处理、融合算法，在模型输入的选择上，本方案选择将原始数据处理为多视角数据并选择其中若干种融合，此算法模型充分利用了原始数据，融合了多个视角的不同特征信息，相对于单视角模型提升睡眠分期结果的鲁棒性。本发明采用留一验证法作为模型训练验证测试方式，避免了现有方案在测试模型时不能反映临床场景下单个人睡眠阶段判读结果的问题，通过留一验证获得每个人的睡眠分期判读结果并取其均值作为标准评价模型性能。
本发明对多导睡眠图(Polysomnography, PSG)的脑电(Electroencephalogram,EEG)通道、眼电(Electro-oculogram, EOG)通道、肌电(Electromyogram, EMG)通道数据进行处理、分析，将原始的多模态PSG数据处理为三种不同视角的信号：一维信号，二维时频图和图拓扑结构。将信号输入神经网络进行特征提取和融合。最终自动输出睡眠分期结果，为睡眠医学提供可靠的诊断依据。本发明的技术方案具体介绍如下。
一种多视角融合模型的构建方法，该多视角融合模型用于基于多模态多视角数据获取个人的睡眠分期结果；包括以下步骤：
步骤一、处理个人的若干包含多模态EEG、EOG、EMG的整夜PSG数据，将PSG数据处理为多视角数据：一维信号、二维时频图和图拓扑结构；
步骤二、使用多头自注意力模块对神经网络提取多视角数据的特征进行融合；
将多视角数据分别输入用于提取一维信号特征的一维信号特征提取网络、用于提取二维时频图特征的二维时频图特征提取网络、用于提取图拓扑结构特征的图拓扑结构特征提取网络进行各视角特征提取；
均衡各视角特征提取后的数据；
对均衡后的各视角特征数据之间进行不同拼接操作，分别作为多头自注意力网络的输入，经过多头拼接、单层全连接层线性映射后使用softmax函数输出睡眠分期概率；
步骤三、通过留一法验证测试融合模型性能指标，进行模型选优，得到用于预测个人的睡眠分期结果的多视角融合模型。
本发明中，步骤一中，一维信号通过将原始PSG数据进行滤波、降采样，通道合并操作获得；
二维时频图通过将将多模态一维信号进行短时傅里叶变化，得到时频图，接着进行对数变换获得；
图拓扑结构定义为G= (V, E, A)，V表示图的顶点，这里指PSG的各个通道，E表示顶点之间的边，A为图G的邻接矩阵，表示的顶点和边的关系；最终生成的图拓扑结构满足：
F为图的顶点数，这里是PSG的通道数，L为拼接的帧长度。
本发明中，步骤二中，一维信号通过双分支的卷积提取信号时域特征，然后通过长短期记忆递归网络LSTM提取时序特征；二维时频图信号通过短期的LSTM提取时频图单帧内的时序信息，然后通过长期LSTM提取L帧内的时序信息；图拓扑结构通过脑网络邻接矩阵，提取各通道之间的关联性，然后将其送入图卷积网络GCN提取图拓扑结构的特征。
本发明中，步骤二中，多头自注意力网络的输入为一维信号提取特征、二维时频图提取特征、图拓扑结构提取特征中两种以上的不同组合；其利用多头自注意力机制实现一维信号提取网络、二维时频图提取网络、图拓扑结构提取网络之间的特征自适应融合，获得若干多视角融合模型。
本发明中，步骤三中，多视角融合模型选自一维信号和二维时频图融合模型、一维信号和图拓扑结构融合模型、二维信号和图拓扑结果融合模型或一维信号二维时频图和图拓扑结构三视角融合模型中任一种。
本发明中，步骤三中，通过留一法验证测试模型性能指标：
假设有N个人带有标注好睡眠分期标签的整夜PSG数据，按顺序取其中第一个第二个人分别作为验证子集和测试子集，剩余的N-2例数据作为训练子集，此时训练集，验证集，测试机记为集合S1，总共可以取得N个不同集合S1，S2，……，SN；
通过留一法训练得到N个参数不同的同种模型，通过对N个模型分别进行性能评价后取均值即得到适合临床情景的模型评价结果，评价结果主要包括准确率、F1值、K值。
综上，与现有技术相比，本发明的有益效果在于：
1.本发明使用了多视角的方法处理原始PSG数据，包括但不限于其中两种或三种的视角数据组合（主要是图拓扑结构和其他视角的组合），融合一维信号的时域信息、二维时频图的频域信息和图拓扑结构的电极关联信息，角度更全面，结果更准确；
2.本发明可以同时处理一维信号、二维时频图和图拓扑结构并将其作为神经网络模型的输入，处理更高效；
3.本发明使用了多头自注意的结构进行多视角融合，所建立的多视角模型相比单视角模型有更好的鲁棒性。
附图说明
图1是整体系统框架图。
图2是多视角预处理流程图。
图3是多视角特征提取图；a、一维信号特征提取网络；b、二维时频图特征提取网络；c、图拓扑结构特征提取网络。
图4.多头自注意力结构示意图。
具体实施方式
下面结合附图和实施例对本发明的技术方案进行详细阐述。
本发明提供一种基于多导睡眠仪数据的自动睡眠分期方案。此预测方案包含了两个部分，即训练测试部分和实用部分。在训练和测试机器学习模型时，使用了预处理的多模态多视角的数据，进一步融合多视角数据其中若干种，并使用留一验证法训练验证测试模型。实际使用训练后的模型时，可以根据全新的整夜多导睡眠图数据完成自动睡眠分期任务。系统的整体框架如图1所示。
一、训练测试部分:
此部分属于实用部分之前的预测模型建立部分
1. 预处理原始PSG数据。
原始的PSG数据一般有多个通道，不同通道采集头部不同位置的电信号，以单导联信号为例，一般有以下通道(M1、M2、C3、C4、O1、O2、F3、F4、T3、T4、E1、E2、Lchin、Rchin、Cchin等)。其中，EEG通道一般为“C4 - M1”，EOG通道一般为“E1 – M2”，EMG通道一般为“Lchin-Rchin”。
首先获取多模态一维信号V1。将原始信号处理进行滤波、降采样，通道合并操作。将原始信号以30s为一帧进行分割，然后进行滤波和降采样操作。以巴特沃斯滤波器为例，EEG、EOG滤波可设置2阶0.3~35Hz的带通滤波，EMG滤波可设置2阶10Hz的高通滤波，接着降采样至100Hz，最终每20帧进行拼接操作。此时
L为拼接的帧长度，这里取L = 20。C为通道数，这里取C= 3，即有EEG, EOG, EMG三个通道。N为降采样后的信号长度，这里取N= 1000。
接着获取多模态二维时频图。将多模态一维信号V1继续处理，先对V1进行短时傅里叶变化，得到时频图，接着进行对数变换，得到对数形式的时频图。以上文处理得到的多模态一维信号V1为例，设置短时傅里叶变换的窗长度为200，窗函数重叠数为100，FFT点数为256。最终得到多模态时频图V2。此时
L为拼接的帧长度，这里取L = 20。C为通道数，这里取C= 3，即有EEG, EOG, EMG三个通道。W为时频图的宽，这里W =129。H为时频图的高，这里H = 29。
最后处理图拓扑结构。图拓扑结构一般定义为G= (V, E, A)，V表示图的顶点，这里指PSG的各个通道。E表示顶点之间的边。A为图G的邻接矩阵，表示图的顶点和边的关系。多通道脑电信号各通道之间存在相互关联，根据不同的关联方式，邻接矩阵A的生成可以有多种方式，如皮尔逊相关系数法、互信息法、微分熵或自适应法等，对多通道脑电信号提取其内在的网络特征。无论何种方法，最终生成的图拓扑结构满足
这里A为图G的邻接矩阵，F为图的顶点数，这里是PSG的通道数。L为拼接的帧长度，这里取L = 20。F为通道数这里可取15。N为单个通道的信号长度，这里取N = 1000。
接着将多视角数据输入多视角融合模型进行训练。
2. 多视角数据融合。
本发明使用多头自注意力模块对神经网络提取多视角数据的特征进行融合。如图3所示，分为三个步骤：
1）选择睡眠分期网络，保留特征提取部分，删去全连接层；
2）均衡各视角特征提取后的数据；
3）多头自注意力特征融合。
这里输入数据以多模态一维信号、多模态时频图信号、图拓扑结构为例进行说明，最后使用本发明的方法融合特征。
单视角网络保留特征提取部分，即删去全连接层和最后的归一化层。一维信号特征提取网络设计如图3a所示，二维时频图特征提取网络设计如图3b所示，图拓扑结构特征提取网络设计如图3c所示。多模态一维信号V1通过双分支的卷积提取信号时域特征，然后通过长短期记忆递归网络(LSTM)提取时序特征。多模态二维时频图信号V2通过短期的LSTM提取时频图单帧内的时序信息，然后通过长期LSTM提取L帧内的时序信息。图拓扑结构V3通过脑网络邻接矩阵A，提取各通道之间的关联性，然后将其送入图卷积网络(GCN)提取图拓扑结构的特征，并通过注意力机制融合L帧的信息。
多模态一维信号V1在输入一维信号网络特征提取部分后维度由[L, C, N]变为[L, T1]，记此时数据为。多模态二维时频图V2在输入二维时频图网络特征提取部分后维度由[L, C, W, H]变为[L, T2]，记此时数据为，图拓扑结构V3在输入二维时频图网络特征提取部分后维度由图拓扑结构变为[L, T3]，记此时数据为。此时需要均衡的占比，记将的特征维度降维至T，即[L, T1]、[L, T2]、[L, T3]均变为[L, T]，此时。
接着对上述各视角特征进行不同拼接组合以多视角融合；以三视角融合为例，通过拼接操作concat()，得到多头自注意力结构的输入，将X输入该结构进行特征融合最后输出融合后的睡眠分期结果。多头自注意力结构如图4所示，这里以头的数量可以是若干个。将多视角数据应用多头自注意力网络结构学习融合特征，接着将多头拼接、单层全连接层线性映射后使用softmax函数输出睡眠分期概率。
3. 划分训练子集和测试子集。
本实施例采用留一法训练模型。假设有N个人带有标注好睡眠分期标签的整夜PSG数据。按顺序取其中第一个第二个人分别作为验证子集和测试子集，剩余的N-2例数据作为训练子集，此时训练集，验证集，测试机记为集合S1。总共可以取得N个不同集合S1，S2，……，SN。
4. 训练子集训练模型。
对于单个子集St，t∈[1,N]，训练多模态多视角融合模型Mt。训练时采用早停的方法避免模型过拟合，即每训练固定轮数E使用该子集St的验证集验证模型的损失。设置阈值T，当E> T时停止训练，保存模型。
5. 测试子集测试模型及多视角模型选优。
通过留一法训练会得到N个参数不同的同种模型，通过对N个模型分别进行性能评价后取均值即可得到适合临床情景的模型评价结果，这里评价结果主要包括准确率、F1值、K值。
通过不同视角数据组合，可以得到不同视角融合模型的性能，如一维信号和二维时频图融合模型、一维信号和图拓扑结构融合模型、二维信号和图拓扑结果融合模型、一维信号二维时频图和图拓扑结构三视角融合模型等。多视角融合模型相比于单视角模型，能够提升模型的鲁棒性，如表1所示，这是某医院68例整夜PSG数据使用单视角和多视角融合模型留一验证睡眠分期结果，可见使用本发明多视角融合方法融合的模型在准确率，标准差，最小值，最大值这几个方面指标都超过了单视角的模型。
表1.某医院整夜PSG数据使用单视角和多视角融合模型睡眠分期结果
准确率
一维信号（单视角） 83.6±6.1% (最小值65.4%,最大值 92.8%)
二维时频图（单视角） 86.1±4.2% (最小值70.8%,最大值 93.6%)
一维+二维（多视角融合） 87.3±3.7% (最小值75.1%,最大值 94.1%)
二、实用部分：
此部分为多视角融合模型建立后的实际使用部分。通过给模型输入整夜PSG数据，即可得到睡眠分期判读结果，用于辅助医生进行睡眠相关诊断。
本发明将原始包含EEG、EOG、EMG的多模态原始PSG信号处理为多模态多视角的一维信号、二维时频图和图拓扑结构，选择若干个组合后输入神经网络。
本发明通过留一验证法测试模型性能指标，更贴近医学临床使用场景。
本发明中多视角融合采用多头自注意力的结构进行融合。

Claims (5)

1.一种多视角融合模型的构建方法，该多视角融合模型用于基于多模态多视角数据获取个人的睡眠分期结果；包括以下步骤：
步骤一、处理个人的若干包含多模态EEG、EOG、EMG的整夜PSG数据，将PSG数据处理为多视角数据：一维信号、二维时频图和图拓扑结构；
步骤二、使用多头自注意力模块对神经网络提取多视角数据的特征进行融合；
将多视角数据分别输入用于提取一维信号特征的一维信号特征提取网络、用于提取二维时频图特征的二维时频图特征提取网络、用于提取图拓扑结构特征的图拓扑结构特征提取网络进行各视角特征提取；
均衡各视角特征提取后的数据；
对均衡后的各视角特征数据之间进行不同拼接操作，分别作为多头自注意力网络的输入，经过多头拼接、单层全连接层线性映射后使用softmax函数输出睡眠分期概率；
步骤三、通过留一法验证测试融合模型性能指标，进行模型选优，得到用于预测个人的睡眠分期结果的多视角融合模型。
2.根据权利要求1所述的构建方法，其特征在于，步骤一中，一维信号通过将原始PSG数据进行滤波、降采样，通道合并操作获得；
二维时频图通过将将多模态一维信号进行短时傅里叶变化，得到时频图，接着进行对数变换获得；
图拓扑结构定义为G= (V, E, A)，V表示图的顶点，这里指PSG的各个通道，E表示顶点之间的边，A为图G的邻接矩阵，表示的顶点和边的关系；最终生成的图拓扑结构满足：
F为图的顶点数，这里是PSG的通道数，L为拼接的帧长度。
3.根据权利要求1所述的构建方法，其特征在于，步骤二中，一维信号通过双分支的卷积提取信号时域特征，然后通过长短期记忆递归网络LSTM提取时序特征；二维时频图信号通过短期的LSTM提取时频图单帧内的时序信息，然后通过长期LSTM提取L帧内的时序信息；图拓扑结构通过脑网络邻接矩阵，提取各通道之间的关联性，然后将其送入图卷积网络GCN提取图拓扑结构的特征。
4.根据权利要求1所述的构建方法，其特征在于，步骤三中，多视角融合模型选自一维信号和二维时频图融合模型、一维信号和图拓扑结构融合模型、二维信号和图拓扑结果融合模型或一维信号二维时频图和图拓扑结构三视角融合模型中任一种。
5.根据权利要求1所述的构建方法，其特征在于，步骤三中，通过留一法验证测试模型性能指标；
假设有N个人带有标注好睡眠分期标签的整夜PSG数据，按顺序取其中第一个第二个人分别作为验证子集和测试子集，剩余的N-2例数据作为训练子集，此时训练集，验证集，测试机记为集合S1，总共可以取得N个不同集合S1，S2，……，SN；
通过留一法训练得到N个参数不同的同种模型，通过对N个模型分别进行性能评价后取均值即得到适合临床情景的模型评价结果，评价结果主要包括准确率、F1值、K值。
CN202310030016.6A 2023-01-10 2023-01-10 一种多模态数据多视角睡眠分期方法 Pending CN116070168A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310030016.6A CN116070168A (zh) 2023-01-10 2023-01-10 一种多模态数据多视角睡眠分期方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310030016.6A CN116070168A (zh) 2023-01-10 2023-01-10 一种多模态数据多视角睡眠分期方法

Publications (1)

Publication Number Publication Date
CN116070168A true CN116070168A (zh) 2023-05-05

Family

ID=86176301

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310030016.6A Pending CN116070168A (zh) 2023-01-10 2023-01-10 一种多模态数据多视角睡眠分期方法

Country Status (1)

Country Link
CN (1) CN116070168A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117045930A (zh) * 2023-10-12 2023-11-14 北京动亮健康科技有限公司 睡眠改善模型的训练方法、系统、改善方法、设备、介质

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117045930A (zh) * 2023-10-12 2023-11-14 北京动亮健康科技有限公司 睡眠改善模型的训练方法、系统、改善方法、设备、介质
CN117045930B (zh) * 2023-10-12 2024-01-02 北京动亮健康科技有限公司 睡眠改善模型的训练方法、系统、改善方法、设备、介质

Similar Documents

Publication Publication Date Title
CN111631688B (zh) 睡眠自动分期的算法
CN112869711B (zh) 一种基于深度神经网络的自动睡眠分期及迁移方法
CN108968915A (zh) 基于熵特征及支持向量机的睡眠状态分类方法及系统
US20170360362A1 (en) Sleep profiling system with feature generation and auto-mapping
WO2024098649A1 (zh) 一种基于生理唤醒识别的街道绿化品质检测方法
CN111081353A (zh) 一种自动化在线学习智能辅助标注医学影像的方法和系统
CN113158964A (zh) 一种基于残差学习和多粒度特征融合的睡眠分期方法
CN116186593B (zh) 一种基于可分离卷积和注意力机制的心电信号检测方法
CN116070168A (zh) 一种多模态数据多视角睡眠分期方法
CN110584596A (zh) 基于双输入卷积神经网络的睡眠阶段分类方法及应用
Georgopoulos Advanced time-frequency analysis and machine learning for pathological voice detection
Wang et al. Automated rest eeg-based diagnosis of depression and schizophrenia using a deep convolutional neural network
Guan Application of logistic regression algorithm in the diagnosis of expression disorder in Parkinson's disease
CN113974627A (zh) 一种基于脑机生成对抗的情绪识别方法
CN113869382A (zh) 基于领域嵌入概率的半监督学习癫痫脑电信号识别方法
CN112084935B (zh) 一种基于扩充高质量脑电样本的情绪识别方法
CN117407748A (zh) 基于图卷积和融合注意力的脑电情绪识别方法
Liu et al. Automated Machine Learning for Epileptic Seizure Detection Based on EEG Signals.
CN111248907A (zh) 基于精神病临床高危人群脑电信号特征的风险预测方法
CN110507288A (zh) 基于一维卷积神经网络的视觉诱导晕动症检测方法
CN114129138A (zh) 一种基于时序多尺度混合注意力模型的自动睡眠分期方法
CN112617761B (zh) 自适应聚点生成的睡眠阶段分期方法
CN115399735A (zh) 基于时频双流增强的多头注意机制睡眠分期方法
Zhang et al. A Deep Learning Method with Multi-view Attention and Multi-branch GCN for BECT Diagnosis
CN118044813B (zh) 基于多任务学习的心理健康状况评估方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination