CN116421152A - 一种睡眠分期结果确定方法、装置、设备及介质 - Google Patents
一种睡眠分期结果确定方法、装置、设备及介质 Download PDFInfo
- Publication number
- CN116421152A CN116421152A CN202310697659.6A CN202310697659A CN116421152A CN 116421152 A CN116421152 A CN 116421152A CN 202310697659 A CN202310697659 A CN 202310697659A CN 116421152 A CN116421152 A CN 116421152A
- Authority
- CN
- China
- Prior art keywords
- data
- sleep stage
- downsampling
- process data
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 241
- 230000008667 sleep stage Effects 0.000 title claims abstract description 140
- 238000012545 processing Methods 0.000 claims abstract description 181
- 230000008569 process Effects 0.000 claims abstract description 168
- 238000005070 sampling Methods 0.000 claims abstract description 68
- 238000013507 mapping Methods 0.000 claims abstract description 38
- 239000011159 matrix material Substances 0.000 claims abstract description 32
- 238000000605 extraction Methods 0.000 claims abstract description 22
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 15
- 239000013598 vector Substances 0.000 claims description 80
- 230000006870 function Effects 0.000 claims description 44
- 230000007246 mechanism Effects 0.000 claims description 21
- 238000004590 computer program Methods 0.000 claims description 16
- 238000006243 chemical reaction Methods 0.000 claims description 12
- 230000011218 segmentation Effects 0.000 claims description 12
- 238000010606 normalization Methods 0.000 claims description 10
- 230000015572 biosynthetic process Effects 0.000 claims description 4
- 238000003786 synthesis reaction Methods 0.000 claims description 4
- 239000012634 fragment Substances 0.000 claims description 3
- 230000007958 sleep Effects 0.000 abstract description 36
- 230000004927 fusion Effects 0.000 abstract description 4
- 238000013527 convolutional neural network Methods 0.000 description 16
- 238000013528 artificial neural network Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 239000004973 liquid crystal related substance Substances 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 230000007704 transition Effects 0.000 description 5
- 239000003814 drug Substances 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 238000011176 pooling Methods 0.000 description 4
- 230000004461 rapid eye movement Effects 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000012512 characterization method Methods 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000010276 construction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 229940079593 drug Drugs 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000037053 non-rapid eye movement Effects 0.000 description 2
- 239000002699 waste material Substances 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 238000002790 cross-validation Methods 0.000 description 1
- 230000009977 dual effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 230000036385 rapid eye movement (rem) sleep Effects 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4806—Sleep evaluation
- A61B5/4812—Detecting sleep stages or cycles
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
- A61B5/372—Analysis of electroencephalograms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Pathology (AREA)
- Psychiatry (AREA)
- Psychology (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physiology (AREA)
- Signal Processing (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本申请公开了一种睡眠分期结果确定方法、装置、设备及介质,涉及睡眠处理技术领域,包括对脑电信号数据进行切分,对切分后的各信号数据进行数据增强处理;对增强后信号数据下采样处理,得到下采样处理过程数据和下采样处理后的数据,对下采样处理后的数据进行全局特征提取操作,得到提取后数据;对提取后数据进行数据形状还原,得到还原后的特征矩阵,对特征矩阵上采样处理,得到上采样处理过程数据,将上采样处理过程数据与下采样处理过程数据进行数据拼接,得到数据特征信息;对数据特征信息进行映射,对映射后的数据特征信息进行睡眠阶段映射,得到睡眠分期结果,实现不同睡眠阶段的局部主要特征与全局特征的融合,提升睡眠分期算法的效能。
Description
技术领域
本发明涉及睡眠处理技术领域,特别涉及一种睡眠分期结果确定方法、装置、设备及介质。
背景技术
睡眠过程是一个动态的过程,根据美国睡眠医学会(American Academy of SleepMedicine,AASM)的睡眠标准,睡眠过程可被划分为:清醒期(W)、快速眼动期(Rapid EyeMovement,REM)和非快速眼动期(N),非快速眼动期(N)又分为睡眠Ⅰ期(N1),睡眠Ⅱ期(N2),睡眠Ⅲ期(N3)。通常使用多导睡眠图(Polysomnography,PSG)记录睡眠过程中脑电、眼电、肌电等多导生理信号,然后再由经验丰富的睡眠专家进行判读,得出临床睡眠分期结果。然而在大量的睡眠数据下,人工判读耗时耗力,是对人力资源的极大浪费。自动睡眠分期方法主要包括传统的机器学习和近些年来基于神经网络的两大类方法。传统的机器学习通过构造特征工程,训练输出,得到睡眠分期结果。该类睡眠分期方法依赖于睡眠专家提取构造的特征空间,通常特征的可解释性比较强,针对某种特性分类效果明显,但是由于不同的分类系统所需求的特征不尽相同,甚至是同一分类系统的、不同数据集以及不同通道上的表现也有较大差异,导致该方法泛化能力较差。基于神经网络结构的睡眠分期方法,实现了通过深度学习技术自身提取睡眠特征,使得该类睡眠分期方法的分类准确率得到显著提升。当前卷积神经网络在医学睡眠分期领域占据主导地位,尽管卷积神经网络及其变种方法在睡眠分期模型中具有出色的表达能力,但是由于CNN(卷积神经网络)的固有局限性,使得其在建模时特征映射关系表现出较弱的性能,特别是在样本差异性较大的不同测试者之间,由于卷积神经网络侧重于提取局部特征,对于全局特征的刻画能力较弱,无法很好的捕获睡眠过渡规则。
由上可见,如何实现不同睡眠阶段的局部主要特征与全局特征的融合,多尺度的捕获睡眠过渡规则,进一步提升睡眠分期算法的效能,提高睡眠分期结果确定的准确性和效率是本领域有待解决的问题。
发明内容
有鉴于此,本发明的目的在于提供一种睡眠分期结果确定方法、装置、设备及介质,能够实现不同睡眠阶段的局部主要特征与全局特征的融合,多尺度的捕获睡眠过渡规则,进一步提升睡眠分期算法的效能,提高睡眠分期结果确定的准确性和效率。其具体方案如下:
第一方面,本申请公开了一种睡眠分期结果确定方法,应用于预设的睡眠分期网络框架,包括:
获取脑电信号数据,并对所述脑电信号数据进行切分,以得到切分后的各信号数据,对切分后的各所述信号数据进行数据增强处理,以得到增强后信号数据;
利用本地的编码器对所述增强后信号数据进行下采样处理,以得到下采样处理过程数据和下采样处理后的数据,然后利用本地的注意力模块对所述下采样处理后的数据进行全局特征提取操作,以得到提取后数据;
通过本地的维度变换模块对所述提取后数据进行数据形状还原,得到还原后的特征矩阵,利用本地的解码器对所述特征矩阵进行上采样处理,以得到上采样处理过程数据,将所述上采样处理过程数据与所述下采样处理过程数据进行数据拼接,以得到数据特征信息;
利用本地的全连接层对所述数据特征信息进行映射,以得到映射后的所述数据特征信息,调用预设的归一化指数函数并对映射后的所述数据特征信息进行睡眠阶段映射,以得到睡眠分期结果。
可选的,所述对所述脑电信号数据进行切分,以得到切分后的各信号数据,对切分后的各所述信号数据进行数据增强处理,以得到增强后信号数据,包括:
确定出数据切分时间间隔,按照所述数据切分时间间隔对所述脑电信号数据进行切分,以得到切分后的各数据片段;
为切分后的各所述数据片段添加标签,以得到切分后的各信号数据,采用边界人工合成少数类过采样算法对切分后的各所述信号数据进行数据增强处理,以得到增强后信号数据。
可选的,所述利用本地的注意力模块对所述下采样处理后的数据进行全局特征提取操作,以得到提取后数据,包括:
将所述下采样处理后的数据映射到本地的所述注意力模块,利用所述注意力模块对所述下采样处理后的数据进行计算,以得到查询向量、键向量以及值向量,基于所述查询向量、所述键向量以及所述值向量构建出多头注意力函数;
基于所述多头注意力函数计算出多头注意力机制输出,依次利用所述注意力模块中的归一化层和多层感知机对所述多头注意力机制输出和所述多头注意力函数进行提取计算,得到提取后数据。
可选的,所述基于所述多头注意力函数计算出多头注意力机制输出,包括:
对所述查询向量、所述键向量以及所述值向量进行线性映射,得到映射后所述查询向量、映射后所述键向量以及映射后所述值向量;
对映射后所述查询向量、映射后所述键向量以及映射后所述值向量执行缩放点注意力,以得到各注意头,将各所述注意头串联并进行线性投影,得到多头注意力机制输出。
可选的,所述利用本地的编码器对所述增强后信号数据进行下采样处理,以得到下采样处理过程数据和下采样处理后的数据,包括:
利用本地的编码器中的第一下采样层对所述增强后信号数据进行第一次下采样处理,以得到第一下采样处理过程数据和第一下采样处理后的数据,然后利用第二下采样层对所述第一下采样处理后的数据进行第二次下采样处理,以得到第二下采样处理过程数据和第二下采样处理后的数据;
将所述第二下采样处理后的数据发送至所述编码器中的卷积层,以得到处理过程数据和下采样处理后的数据;其中,所述下采样处理过程数据包括所述第一下采样处理后的数据、所述第二下采样处理后的数据以及所述处理过程数据。
可选的,所述利用本地的解码器对所述特征矩阵进行上采样处理,以得到上采样处理过程数据,将所述上采样处理过程数据与所述下采样处理过程数据进行数据拼接,以得到数据特征信息,包括:
利用本地的解码器中的第一上采样层对所述特征矩阵进行第一次上采样处理,以得到第一上采样处理过程数据,将所述第一上采样处理过程数据与所述处理过程数据进行数据拼接,以得到第一数据特征信息,利用所述解码器中的第二上采样层对所述第一数据特征信息进行第二次上采样处理,以得到第二上采样处理过程数据,将所述第二上采样处理过程数据与所述第二下采样处理过程数据进行数据拼接,以得到第二数据特征信息;
利用所述解码器中的第三上采样层对所述第二数据特征信息进行第三次上采样处理,以得到第三上采样处理过程数据,将所述第三上采样处理过程数据与所述第一下采样处理过程数据进行数据拼接,以得到第三数据特征信息,利用所述解码器中的卷积层对所述第三数据特征信息进行输出,以得到数据特征信息。
可选的,所述将所述第一上采样处理过程数据与所述处理过程数据进行数据拼接,以得到第一数据特征信息,包括:
利用预设的第一横向连接层将所述编码器中的所述处理过程数据引入至所述解码器,然后利用所述解码器将所述第一上采样处理过程数据与所述处理过程数据进行数据拼接,以得到第一数据特征信息;
相应的,所述将所述第二上采样处理过程数据与所述第二下采样处理过程数据进行数据拼接,以得到第二数据特征信息,包括:
利用预设的第二横向连接层将所述编码器中的所述第二下采样处理过程数据引入至所述解码器,然后利用所述解码器将所述第二上采样处理过程数据与所述第二下采样处理过程数据进行数据拼接,以得到第二数据特征信息;
相应的,所述将所述第三上采样处理过程数据与所述第一下采样处理过程数据进行数据拼接,以得到第三数据特征信息,包括:
利用预设的第三横向连接层将所述编码器中的所述第一下采样处理过程数据引入至所述解码器,然后利用所述解码器将所述第三上采样处理过程数据与所述第一下采样处理过程数据进行数据拼接,以得到第三数据特征信息。
第二方面,本申请公开了一种睡眠分期结果确定装置,包括:
数据切分模块,用于获取脑电信号数据,并对所述脑电信号数据进行切分,以得到切分后的各信号数据,对切分后的各所述信号数据进行数据增强处理,以得到增强后信号数据;
数据下采样处理模块,用于利用本地的编码器对所述增强后信号数据进行下采样处理,以得到下采样处理过程数据和下采样处理后的数据,然后利用本地的注意力模块对所述下采样处理后的数据进行全局特征提取操作,以得到提取后数据;
数据上采样处理模块,用于通过本地的维度变换模块对所述提取后数据进行数据形状还原,得到还原后的特征矩阵,利用本地的解码器对所述特征矩阵进行上采样处理,以得到上采样处理过程数据,将所述上采样处理过程数据与所述下采样处理过程数据进行数据拼接,以得到数据特征信息;
睡眠分期结果确定模块,用于利用本地的全连接层对所述数据特征信息进行映射,以得到映射后的所述数据特征信息,调用预设的归一化指数函数并对映射后的所述数据特征信息进行睡眠阶段映射,以得到睡眠分期结果。
第三方面,本申请公开了一种电子设备,包括:
存储器,用于保存计算机程序;
处理器,用于执行所述计算机程序,以实现前述的睡眠分期结果确定方法。
第四方面,本申请公开了一种计算机存储介质,用于保存计算机程序;其中,所述计算机程序被处理器执行时实现前述公开的睡眠分期结果确定方法的步骤。
可见,本申请提供了一种睡眠分期结果确定方法,包括获取脑电信号数据,并对所述脑电信号数据进行切分,以得到切分后的各信号数据,对切分后的各所述信号数据进行数据增强处理,以得到增强后信号数据;利用本地的编码器对所述增强后信号数据进行下采样处理,以得到下采样处理过程数据和下采样处理后的数据,然后利用本地的注意力模块对所述下采样处理后的数据进行全局特征提取操作,以得到提取后数据;通过本地的维度变换模块对所述提取后数据进行数据形状还原,得到还原后的特征矩阵,利用本地的解码器对所述特征矩阵进行上采样处理,以得到上采样处理过程数据,将所述上采样处理过程数据与所述下采样处理过程数据进行数据拼接,以得到数据特征信息;利用本地的全连接层对所述数据特征信息进行映射,以得到映射后的所述数据特征信息,调用预设的归一化指数函数并对映射后的所述数据特征信息进行睡眠阶段映射,以得到睡眠分期结果。本申请应用于睡眠分期网络框架,该方法是一种轻量级的通用睡眠分期方法,仅利用信号采集设备采集到的脑电信号作为输入信号,既利用了卷积特征的细节高分辨率空间信息,又利用Transformer编码通道全局信息,能够多尺度刻画不同睡眠阶段的局部主要特征,同时融入全局特征,更进一步的提升睡眠分期算法的效能,提高睡眠分期结果确定的准确性和效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据提供的附图获得其他的附图。
图1为本申请公开的一种睡眠分期结果确定方法流程图;
图2为本申请公开的一种缩放点注意力结构图;
图3为本申请公开的一种多头注意力结构图;
图4为本申请公开的一种注意力模块结构图;
图5为本申请公开的一种具体的睡眠分期结果确定方法流程图;
图6为本申请公开的一种具体的睡眠分期结果确定方法示例流程图;
图7为本申请公开的一种睡眠分期结果确定装置结构示意图;
图8为本申请提供的一种电子设备结构图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
睡眠过程是一个动态的过程,根据美国睡眠医学会(American Academy of SleepMedicine,AASM)的睡眠标准,睡眠过程可被划分为:清醒期(W)、快速眼动期(Rapid EyeMovement,REM)和非快速眼动期(N),非快速眼动期(N)又分为睡眠Ⅰ期(N1),睡眠Ⅱ期(N2),睡眠Ⅲ期(N3)。通常使用多导睡眠图(Polysomnography,PSG)记录睡眠过程中脑电、眼电、肌电等多导生理信号,然后再由经验丰富的睡眠专家进行判读,得出临床睡眠分期结果。然而在大量的睡眠数据下,人工判读耗时耗力,是对人力资源的极大浪费。自动睡眠分期方法主要包括传统的机器学习和近些年来基于神经网络的两大类方法。传统的机器学习通过构造特征工程,训练输出,得到睡眠分期结果。该类睡眠分期方法依赖于睡眠专家提取构造的特征空间,通常特征的可解释性比较强,针对某种特性分类效果明显,但是由于不同的分类系统所需求的特征不尽相同,甚至是同一分类系统的、不同数据集以及不同通道上的表现也有较大差异,导致该方法泛化能力较差。基于神经网络结构的睡眠分期方法,实现了通过深度学习技术自身提取睡眠特征,使得该类睡眠分期方法的分类准确率得到显著提升。当前卷积神经网络在医学睡眠分期领域占据主导地位,尽管卷积神经网络及其变种方法在睡眠分期模型中具有出色的表达能力,但是由于CNN(卷积神经网络)的固有局限性,使得其在建模时特征映射关系表现出较弱的性能,特别是在样本差异性较大的不同测试者之间,由于卷积神经网络侧重于提取局部特征,对于全局特征的刻画能力较弱,无法很好的捕获睡眠过渡规则。由上可见,如何实现不同睡眠阶段的局部主要特征与全局特征的融合,多尺度的捕获睡眠过渡规则,进一步提升睡眠分期算法的效能,提高睡眠分期结果确定的准确性和效率是本领域有待解决的问题。
本申请应用于预设的睡眠分期网络框架(即医学睡眠分期U型网络框架),该框架采用了U-net和Transformer(注意力机制)混合架构的双重优势,既利用了卷积特征的细节高分辨率空间信息,又利用Transformer编码通道全局信息。Transformer编码的自注意力特征随后被上采样,与从编码路径不同维度空间的卷积特征相结合,以实现特征的精确刻画。结果表明这样的设计使得本发明的框架能够保留Transformer和U-net的优点,同时也有利于睡眠分期。U型网络特征提取结构主体:U-net网络是一个经典的全卷积网络,主体由编码器和解码器构成,编码器的主要作用是通过下采样操作,获得深层次、更大感受野的特征信息;解码器的主要作用是通过上采样操作,还原特征的原始维度,同时刻画抽象特征与睡眠阶段间的转换规则。针对睡眠分期医学任务,本发明基于U-net网络,设计了一个专注于睡眠分期的U型网络结构,融入注意力机制,用于单通道、轻量级的自动睡眠分期。本发明中编码器由4个卷积层、2个下采样层和一个Transformer模块组成;解码器由3个卷积层和3个上采样层组成。在本发明中,下采样操作通过最大池化(MaxPool)来实现,上采样操作通过反卷积(Up-conv)实现。此外,横向连接层(Skip-Connection)把不同尺度上的特征信息引入到对应的上采样过程,为睡眠分期规则刻画提供多尺度多层次的信息,由此可以得到更精细的分类效果。Transformer模块由多个子层搭建而成,包括:多头注意力(Multi-HeadAttention),层归一化(Layer Norm,LN)和多层感知机(Multilayer Perceptron, MLP),每层之间使用残差结构进行连接。
参见图1所示,本发明实施例公开了一种睡眠分期结果确定方法,应用于预设的睡眠分期网络框架,具体可以包括:
步骤S11:获取脑电信号数据,并对所述脑电信号数据进行切分,以得到切分后的各信号数据,对切分后的各所述信号数据进行数据增强处理,以得到增强后信号数据。
本实施例中,在获取脑电信号数据之后,确定出数据切分时间间隔,按照所述数据切分时间间隔对所述脑电信号数据进行切分,以得到切分后的各数据片段;为切分后的各所述数据片段添加标签,以得到切分后的各信号数据,采用边界人工合成少数类过采样算法对各所述信号数据进行数据增强处理,以得到增强后信号数据。
具体的,首先获取睡眠监测的PSG(Polysomnography,多导睡眠监测)生理信号,主要使用整晚睡眠过程中记录得到的脑电信号(EEG)作为信号输入,数据集中EEG信号均以100Hz采样,然后将整晚的睡眠数据切分为30s每帧的若干数据片段,并且遵循AASM标准为每帧的生理信号片段赋予标签,分为W、N1、N2、N3和REM五个睡眠时期,最后得到各信号数据。由于在不同睡眠阶段数据时长占比有较大差异,其中N2睡眠阶段与N1睡眠阶段样本比例约为6∶1,N2睡眠阶段的样本数量占总样本量的42%,其余4个睡眠阶段占总样本数量的58%。样本类别的不平衡会导致分类模型过多地关注样本多的类别,容易造成信号特征学习不充分,进而导致少样本睡眠阶段分类效果差的问题,因此需要对生理信号数据进行数据增强处理,采用边界人工合成少数类过采样算法(Borderline SMOTE)进行数据增强,克服样本数据不平衡的问题。具体过程如下:
其次,定义安全样本为:周围k个最近邻样本有超过1/2为少数类样本的;定义危险样本为:周围k个最近邻样本有超过1/2为多数类样本的;定义噪声样本为:周围k个最近邻样本均为多数类样本的。安全样本和噪声样本可以移除;危险样本需要保留。
步骤S12:利用本地的编码器对所述增强后信号数据进行下采样处理,以得到下采样处理过程数据和下采样处理后的数据,然后利用本地的注意力模块对所述下采样处理后的数据进行全局特征提取操作,以得到提取后数据。
本实施例中,在得到下采样处理过程数据和下采样处理后的数据之后,将所述下采样处理后的数据映射到本地的所述注意力模块,利用所述注意力模块对所述下采样处理后的数据进行计算,以得到查询向量、键向量以及值向量,基于所述查询向量、所述键向量以及所述值向量构建出多头注意力函数;基于所述多头注意力函数计算出多头注意力机制输出,依次利用所述注意力模块中的归一化层和多层感知机对所述多头注意力机制输出和所述多头注意力函数进行提取计算,得到提取后数据。
具体的,利用所述注意力模块中的归一化层和多层感知机对所述多头注意力机制输出和所述多头注意力函数进行提取计算的过程如下:对所述查询向量、所述键向量以及所述值向量进行线性映射,得到映射后所述查询向量、映射后所述键向量以及映射后所述值向量;对映射后所述查询向量、映射后所述键向量以及映射后所述值向量执行缩放点注意力,以得到各注意头,将各所述注意头串联并进行线性投影,得到多头注意力机制输出。
本申请的Transformer模块(注意力模块)由多个子层搭建而成,包括:多头注意力(Multi-Head Attention,层归一化(Layer Norm,LN)和多层感知机(MultilayerPerceptron,MLP),每层之间使用残差结构进行连接。其中,多头注意力使用的注意力机制是缩放点注意力(scaled dot-product attention),缩放点注意力结构图如图2所示,它将输入序列中不同位置的元素相关联得到输出序列,输出序列被计算为输入值的加权和,其中每个值的权重由查询的注意力函数和相应的键计算得出。该过程可以用如下公式描述:
具体来说,缩放点注意力的输入包括三个向量:查询向量Query(Q)、键向量Key(K)和值向量Value(V)。三个向量均基于输入向量计算得出,查询向量和键向量的维数为,值向量的维数为/>,/>是点乘操作,我们计算出对于Q在K上的注意力权重,然后将其除以/>,通过/>进行尺度化的目的是提供一个稳定的梯度,点积过大时,经过softmax的梯度会很小。最后通过一个softmax函数(即归一化指数函数)得到对应的权重,再与值向量进行加权。同时需要注意的是,最开始的Q,K,V是相同的。
多头注意力(Multi-Head Attention)由尺度为h(h个)的缩放点注意力(scaleddot-product attention)组成,多头注意力(Multi-Head Attention)结构如图3所示,比起使用一个注意力函数,并行地训练多个值向量,再将它们拼接在一起得到输出效果更好。首先,对输入应用h种不同的线性投影,并将其映射为并行查询向量 、键向量和值向量;第二步,对这些映射的查询向量、键向量和值向量同时执行缩放点注意力;第三步,将h个注意头进行串联,接着进行线性投影以产生多头注意力的输出。以上步骤可以用如下公式进行表述:
其中,,h是多头注意力的尺度。/>,X表示长度为l,维度为d的输入。/>分别表示映射后的查询向量,键向量和值向量。/>表示权重矩阵。/>表示第i个注意力头函数。Concat表示合并连接,MultiHead(Q,K,V)表示多头注意力机制的输出。
本发明中Transformer结构仅由编码器结构组成,Transformer模块结构如图4所示,Transformer注意力机制由多头注意力、前馈神经网络和两个归一化层构成。本发明中前馈神经网络选择使用多层感知机(MLP),它由两个线性变换组成,中间使用ReLU函数进行非线性变换。除了主要模块外,Transformer使用残差结构将各模块进行连接。Transformer模块的输出,表述如下:
其中,Z用来表达多头注意力机制的输出,,X表示长度为l,维度为d的输入,/>表示多头注意力通过残差结构和归一化层后的输出,LayerNorm表示归一化层。表示前馈网络的输出,/>,/>表示权重矩阵,/>,/>表示偏置,ReLU表示ReLU函数激活,/>表示Transformer模块的输出。
步骤S13:通过本地的维度变换模块对所述提取后数据进行数据形状还原,得到还原后的特征矩阵,利用本地的解码器对所述特征矩阵进行上采样处理,以得到上采样处理过程数据,将所述上采样处理过程数据与所述下采样处理过程数据进行数据拼接,以得到数据特征信息。
步骤S14:利用本地的全连接层对所述数据特征信息进行映射,以得到映射后的所述数据特征信息,调用预设的归一化指数函数并对映射后的所述数据特征信息进行睡眠阶段映射,以得到睡眠分期结果。
本实施例中,获取脑电信号数据,并对所述脑电信号数据进行切分,以得到切分后的各信号数据,对切分后的各所述信号数据进行数据增强处理,以得到增强后信号数据;利用本地的编码器对所述增强后信号数据进行下采样处理,以得到下采样处理过程数据和下采样处理后的数据,然后利用本地的注意力模块对所述下采样处理后的数据进行全局特征提取操作,以得到提取后数据;通过本地的维度变换模块对所述提取后数据进行数据形状还原,得到还原后的特征矩阵,利用本地的解码器对所述特征矩阵进行上采样处理,以得到上采样处理过程数据,将所述上采样处理过程数据与所述下采样处理过程数据进行数据拼接,以得到数据特征信息;利用本地的全连接层对所述数据特征信息进行映射,以得到映射后的所述数据特征信息,调用预设的归一化指数函数并对映射后的所述数据特征信息进行睡眠阶段映射,以得到睡眠分期结果。本申请应用于睡眠分期网络框架,该方法是一种轻量级的通用睡眠分期方法,仅利用信号采集设备采集到的脑电信号作为输入信号,既利用了卷积特征的细节高分辨率空间信息,又利用Transformer编码通道全局信息,能够多尺度刻画不同睡眠阶段的局部主要特征,同时融入全局特征,更进一步的提升睡眠分期算法的效能,提高睡眠分期结果确定的准确性和效率。
参见图5所示,本发明实施例公开了一种睡眠分期结果确定方法,应用于预设的睡眠分期网络框架,具体可以包括:
步骤S21:获取脑电信号数据,并对所述脑电信号数据进行切分,以得到切分后的各信号数据,对切分后的各所述信号数据进行数据增强处理,以得到增强后信号数据。
步骤S22:利用本地的编码器中的第一下采样层对所述增强后信号数据进行第一次下采样处理,以得到第一下采样处理过程数据和第一下采样处理后的数据,然后利用第二下采样层对所述第一下采样处理后的数据进行第二次下采样处理,以得到第二下采样处理过程数据和第二下采样处理后的数据,将所述第二下采样处理后的数据发送至所述编码器中的卷积层,以得到处理过程数据和下采样处理后的数据;其中,所述下采样处理过程数据包括所述第一下采样处理后的数据、所述第二下采样处理后的数据以及所述处理过程数据。
步骤S23:利用本地的注意力模块对所述下采样处理后的数据进行全局特征提取操作,以得到提取后数据。
步骤S24:通过本地的维度变换模块对所述提取后数据进行数据形状还原,得到还原后的特征矩阵,利用本地的解码器中的第一上采样层对所述特征矩阵进行第一次上采样处理,以得到第一上采样处理过程数据,将所述第一上采样处理过程数据与所述处理过程数据进行数据拼接,以得到第一数据特征信息,利用所述解码器中的第二上采样层对所述第一数据特征信息进行第二次上采样处理,以得到第二上采样处理过程数据,将所述第二上采样处理过程数据与所述第二下采样处理过程数据进行数据拼接,以得到第二数据特征信息,利用所述解码器中的第三上采样层对所述第二数据特征信息进行第三次上采样处理,以得到第三上采样处理过程数据,将所述第三上采样处理过程数据与所述第一下采样处理过程数据进行数据拼接,以得到第三数据特征信息,利用所述解码器中的第四个卷积层对所述第三数据特征信息进行输出,以得到数据特征信息。
本实施例中,将所述第一上采样处理过程数据与所述处理过程数据进行数据拼接,以得到第一数据特征信息的过程如下:利用预设的第一横向连接层将所述编码器中的所述处理过程数据引入至所述解码器,然后利用所述解码器将所述第一上采样处理过程数据与所述处理过程数据进行数据拼接,以得到第一数据特征信息。相应的,所述将所述第二上采样处理过程数据与所述第二下采样处理过程数据进行数据拼接,以得到第二数据特征信息,包括:利用预设的第二横向连接层将所述编码器中的所述第二下采样处理过程数据引入至所述解码器,然后利用所述解码器将所述第二上采样处理过程数据与所述第二下采样处理过程数据进行数据拼接,以得到第二数据特征信息。相应的,所述将所述第三上采样处理过程数据与所述第一下采样处理过程数据进行数据拼接,以得到第三数据特征信息,包括:利用预设的第三横向连接层将所述编码器中的所述第一下采样处理过程数据引入至所述解码器,然后利用所述解码器将所述第三上采样处理过程数据与所述第一下采样处理过程数据进行数据拼接,以得到第三数据特征信息。
本申请的具体睡眠分期结果确定流程如图6所示,首先对睡眠分期网络框架进行参数配置,该框架的具体参数是经过实验后效果较好的一种设定,U型睡眠分期网络结构参数包括且不限于这一种参数设置;参数具体指:卷积核(过滤器)的通道数量,卷积核尺寸的大小,步长大小;最大池化的尺寸和步长;反卷积的通道数量,尺寸大小和步长等)。首先获取单通道的脑电(EEG)信号数据,紧接着通过第一卷积层,卷积核(过滤器)的数量为64,卷积核尺寸为5,步长为1。每个卷积层会顺序执行3个操作:卷积运算、批量归一化和函数激活,然后通过一个尺寸为5,步长为5的最大池化,进行第一次下采样,之后通过第二卷积层,卷积核数量为128,卷积核尺寸为5,步长为1。然后经过一个同样的最大池化(一个尺寸为5,步长为5),进行第二次下采样,然后通过编码器部分的第三卷积层,卷积核数量为256,卷积核尺寸为5,步长为1,之后数据经过映射,输入到Transformer模块。经过Transformer模块的全局特征提取操作之后,通过Reshape模块(即维度变换模块),将提取后数据形状还原到卷积层可操作的形式,输出的通道数设置为256,然后通过第四个卷积层,卷积核数量为512,卷积核尺寸为5,步长为1,为后续的解码器系统操作做准备。
在解码器部分,将Reshape模块输出的特征矩阵输入到第一上采样层,第一上采样层使用反卷积进行操作,反卷积的通道数为256,卷积核大小为5,步长为5,在此之后,还需要将编码器部分对应的卷积层(通道数为256的卷积)一部分特征数据与反卷积后的特征数据拼接起来,参与拼接的卷积层特征数据维度要经过裁剪,与反卷积后的特征数据维度保持匹配(即将上采样处理过程数据与下采样处理过程数据进行数据拼接),之后,数据通过一个卷积层,卷积核数量为256,卷积核尺寸为5,步长为1,接下来进行第二次上采样,使用反卷积进行操作,反卷积的通道数为128,卷积核大小为5,步长为5。在此之后,将编码器部分对应的卷积层(通道数为128的卷积)一部分特征数据与反卷积后的特征数据拼接起来。之后,数据通过一个卷积层,卷积核数量为128,卷积核尺寸为5,步长为1,进行第三次上采样,使用反卷积进行操作,反卷积的通道数为64,卷积核大小为5,步长为5。在此之后,还需要将编码器部分对应的卷积层(通道数为64的卷积)一部分特征数据与反卷积后的特征数据拼接起来,之后,数据通过一个卷积层,卷积核数量为64,卷积核尺寸为5,步长为1,得到数据特征信息。最后,利用本地的全连接层对所述数据特征信息进行映射,以得到映射后的所述数据特征信息,调用预设的归一化指数函数并对映射后的所述数据特征信息进行睡眠阶段映射,以得到睡眠分期结果。
步骤S25:利用本地的全连接层对所述数据特征信息进行映射,以得到映射后的所述数据特征信息,调用预设的归一化指数函数并对映射后的所述数据特征信息进行睡眠阶段映射,以得到睡眠分期结果。
如图6所示,在U型网络中解码器后连接一个全连接层,将输出的抽象特征信息映射到睡眠阶段的5个类别,并通过Softmax函数(即归一化指数函数)得出分期结果。Softmax函数定义为:
此外,本申请还可以利用损失函数不断更新网络模型参数,从而提高模型性能,损失函数作为一种学习准则,通常与优化问题相联系,用来估量模型性能。损失函数用于在模型的反向阶段,计算预测值与实际值的误差,通过不断最小化误差来更新网络模型参数,逐渐提高模型性能。睡眠分期作为一项多分类任务,选择多分类交叉熵函数作为损失函数,该函数定义为:
以100HZ采样频率的单通道脑电信号为例,经过数据增强后,将数据输入到该睡眠分期网络中,如图7所示,由于睡眠数据被切分为30s每帧的数据片段,因此输入数据维度为[3000,1]。经过卷积核(过滤器)数量为64的卷积操作,数据维度变为[2996,64]。使用最大池化进行一次下采样,数据维度变为[599,64]。再经过一个卷积核数量为128的卷积操作,数据维度变为[595,128]。进行第二次下采样,数据维度变为[119,128]。再经过一个卷积核数量为256的卷积操作,数据维度变为[115,256]。将特征数据进行线性映射,用作Transformer模块的输入。通过Transformer模块提取全局特征之后,使用Reshape模块将数据输出维度还原,数据维度变为[23,256],然后将数据进行一个卷积核数量为512的卷积操作,数据维度变为[19,512]。至此,信号数据完成了编码器部分的特征提取。
将特征数据输入到解码器结构中,首先进行一次上采样操作,数据维度变为[95,256],然后通过Skip-Connection层将编码器部分对应的卷积层(过滤器数为256)特征数据拼接起来,数据维度变为[95,512];接下来经过一个卷积核数量为256的卷积操作,数据维度变为[91,256]。进行第二次上采样操作,数据维度变为[455,128],然后通过Skip-Connection层将编码器部分对应的卷积层(过滤器数为128)特征数据拼接起来,数据维度变为[455,256];接下来经过一个卷积核数量为128的卷积操作,数据维度变为[451,128]。进行第三次上采样操作,数据维度变为[2255,64],然后通过Skip-Connection层将编码器部分对应的卷积层(过滤器数为64)特征数据拼接起来,数据维度变为[2255,128];接下来经过一个卷积核数量为64的卷积操作,数据维度变为[2251,64]。至此,信号数据完成了解码器部分的操作,同时获得了多尺度、不同感受野上的特性表达。接入一个全连接层,将U型网络提取的特征信息映射到各睡眠时期,使用softmax分类器进行五分类,得到最终的睡眠分期结果。
表1
其中,ACC表示总体性能中的分期准确率,MF1表示总体性能中的宏平均F1值,Kappa系数是一致性检验的指标,用来衡量分类精度。从表1中可以看出,在该实施例中,本发明提出的模型取得了84.6%的准确率、78.4%的MF1以及0.785的kappa系数。DeepSleepNet作为经典的睡眠分期算法,使用卷积神经网络提取脑电信号时不变特征,1-Max-CNN在卷积神经网络的基础上运用1-max池化,以更好地捕获EEG信号的平移不变性。由表1中表明,本发明方法与DeepSleepNet和1-Max-CNN相比,能够更好的表达数据特征和睡眠阶段之间的转换规则,具有更好的分类性能,因此本发明中提出的自动睡眠分期方法十分有效。此外,本发明的模型性能和数据、参数设置、网络深度密切相关,更好的数据预处理方法以及合理的参数设置可以在不同程度上提升模型性能。
本实施例中,获取脑电切分后的,并对所述脑电信号数据进行切分,以得到各信号数据,对切分后的各所述信号数据进行数据增强处理,以得到增强后信号数据;利用本地的编码器对所述增强后信号数据进行下采样处理,以得到下采样处理过程数据和下采样处理后的数据,然后利用本地的注意力模块对所述下采样处理后的数据进行全局特征提取操作,以得到提取后数据;通过本地的维度变换模块对所述提取后数据进行数据形状还原,得到还原后的特征矩阵,利用本地的解码器对所述特征矩阵进行上采样处理,以得到上采样处理过程数据,将所述上采样处理过程数据与所述下采样处理过程数据进行数据拼接,以得到数据特征信息;利用本地的全连接层对所述数据特征信息进行映射,以得到映射后的所述数据特征信息,调用预设的归一化指数函数并对映射后的所述数据特征信息进行睡眠阶段映射,以得到睡眠分期结果。本申请应用于睡眠分期网络框架,该方法是一种轻量级的通用睡眠分期方法,仅利用信号采集设备采集到的脑电信号作为输入信号,既利用了卷积特征的细节高分辨率空间信息,又利用Transformer编码通道全局信息,能够多尺度刻画不同睡眠阶段的局部主要特征,同时融入全局特征,更进一步的提升睡眠分期算法的效能,提高睡眠分期结果确定的准确性和效率。
参见图7所示,本发明实施例公开了一种睡眠分期结果确定装置,具体可以包括:
数据切分模块11,用于获取脑电切分后的,并对所述脑电信号数据进行切分,以得到各信号数据,对切分后的各所述信号数据进行数据增强处理,以得到增强后信号数据;
数据下采样处理模块12,用于利用本地的编码器对所述增强后信号数据进行下采样处理,以得到下采样处理过程数据和下采样处理后的数据,然后利用本地的注意力模块对所述下采样处理后的数据进行全局特征提取操作,以得到提取后数据;
数据上采样处理模块13,用于通过本地的维度变换模块对所述提取后数据进行数据形状还原,得到还原后的特征矩阵,利用本地的解码器对所述特征矩阵进行上采样处理,以得到上采样处理过程数据,将所述上采样处理过程数据与所述下采样处理过程数据进行数据拼接,以得到数据特征信息;
睡眠分期结果确定模块14,用于利用本地的全连接层对所述数据特征信息进行映射,以得到映射后的所述数据特征信息,调用预设的归一化指数函数并对映射后的所述数据特征信息进行睡眠阶段映射,以得到睡眠分期结果。
本实施例中,获取脑电切分后的,并对所述脑电信号数据进行切分,以得到各信号数据,对切分后的各所述信号数据进行数据增强处理,以得到增强后信号数据;利用本地的编码器对所述增强后信号数据进行下采样处理,以得到下采样处理过程数据和下采样处理后的数据,然后利用本地的注意力模块对所述下采样处理后的数据进行全局特征提取操作,以得到提取后数据;通过本地的维度变换模块对所述提取后数据进行数据形状还原,得到还原后的特征矩阵,利用本地的解码器对所述特征矩阵进行上采样处理,以得到上采样处理过程数据,将所述上采样处理过程数据与所述下采样处理过程数据进行数据拼接,以得到数据特征信息;利用本地的全连接层对所述数据特征信息进行映射,以得到映射后的所述数据特征信息,调用预设的归一化指数函数并对映射后的所述数据特征信息进行睡眠阶段映射,以得到睡眠分期结果。本申请应用于睡眠分期网络框架,该方法是一种轻量级的通用睡眠分期方法,仅利用信号采集设备采集到的脑电信号作为输入信号,既利用了卷积特征的细节高分辨率空间信息,又利用Transformer编码通道全局信息,能够多尺度刻画不同睡眠阶段的局部主要特征,同时融入全局特征,更进一步的提升睡眠分期算法的效能,提高睡眠分期结果确定的准确性和效率。
在一些具体实施例中,所述数据切分模块11,具体可以包括:
数据切分模块,用于确定出数据切分时间间隔,按照所述数据切分时间间隔对所述脑电信号数据进行切分,以得到切分后的各数据片段;
数据增强处理模块,用于为切分后的各所述数据片段添加标签,以得到切分后的各信号数据,采用边界人工合成少数类过采样算法对各所述信号数据进行数据增强处理,以得到增强后信号数据。
在一些具体实施例中,所述数据下采样处理模块12,具体可以包括:
下采样处理计算模块,用于将所述下采样处理后的数据映射到本地的所述注意力模块,利用所述注意力模块对所述下采样处理后的数据进行计算,以得到查询向量、键向量以及值向量,基于所述查询向量、所述键向量以及所述值向量构建出多头注意力函数;
提取计算模块,用于基于所述多头注意力函数计算出多头注意力机制输出,依次利用所述注意力模块中的归一化层和多层感知机对所述多头注意力机制输出和所述多头注意力函数进行提取计算,得到提取后数据。
在一些具体实施例中,所述数据下采样处理模块12,具体可以包括:
线性映射模块,用于对所述查询向量、所述键向量以及所述值向量进行线性映射,得到映射后所述查询向量、映射后所述键向量以及映射后所述值向量;
缩放点注意力执行模块,用于对映射后所述查询向量、映射后所述键向量以及映射后所述值向量执行缩放点注意力,以得到各注意头,将各所述注意头串联并进行线性投影,得到多头注意力机制输出。
在一些具体实施例中,所述数据下采样处理模块12,具体可以包括:
下采样处理模块,用于利用本地的编码器中的第一下采样层对所述增强后信号数据进行第一次下采样处理,以得到第一下采样处理过程数据和第一下采样处理后的数据,然后利用第二下采样层对所述第一下采样处理后的数据进行第二次下采样处理,以得到第二下采样处理过程数据和第二下采样处理后的数据;
处理过程数据确定模块,用于将所述第二下采样处理后的数据发送至所述编码器中的卷积层,以得到处理过程数据和下采样处理后的数据;其中,所述下采样处理过程数据包括所述第一下采样处理后的数据、所述第二下采样处理后的数据以及所述处理过程数据。
在一些具体实施例中,所述数据上采样处理模块13,具体可以包括:
数据拼接模块,用于利用本地的解码器中的第一上采样层对所述特征矩阵进行第一次上采样处理,以得到第一上采样处理过程数据,将所述第一上采样处理过程数据与所述处理过程数据进行数据拼接,以得到第一数据特征信息,利用所述解码器中的第二上采样层对所述第一数据特征信息进行第二次上采样处理,以得到第二上采样处理过程数据,将所述第二上采样处理过程数据与所述第二下采样处理过程数据进行数据拼接,以得到第二数据特征信息;
数据特征信息确定模块,用于利用所述解码器中的第三上采样层对所述第二数据特征信息进行第三次上采样处理,以得到第三上采样处理过程数据,将所述第三上采样处理过程数据与所述第一下采样处理过程数据进行数据拼接,以得到第三数据特征信息,利用所述解码器中的卷积层对所述第三数据特征信息进行输出,以得到数据特征信息。
在一些具体实施例中,所述数据上采样处理模块13,具体可以包括:
第一数据特征信息确定模块,用于利用预设的第一横向连接层将所述编码器中的所述处理过程数据引入至所述解码器,然后利用所述解码器将所述第一上采样处理过程数据与所述处理过程数据进行数据拼接,以得到第一数据特征信息;
相应的,所述将所述第二上采样处理过程数据与所述第二下采样处理过程数据进行数据拼接,以得到第二数据特征信息,包括:
第二数据特征信息确定模块,用于利用预设的第二横向连接层将所述编码器中的所述第二下采样处理过程数据引入至所述解码器,然后利用所述解码器将所述第二上采样处理过程数据与所述第二下采样处理过程数据进行数据拼接,以得到第二数据特征信息;
相应的,所述将所述第三上采样处理过程数据与所述第一下采样处理过程数据进行数据拼接,以得到第三数据特征信息,包括:
第三数据特征信息确定模块,用于利用预设的第三横向连接层将所述编码器中的所述第一下采样处理过程数据引入至所述解码器,然后利用所述解码器将所述第三上采样处理过程数据与所述第一下采样处理过程数据进行数据拼接,以得到第三数据特征信息。
图8为本申请实施例提供的一种电子设备的结构示意图。该电子设备20,具体可以包括:至少一个处理器21、至少一个存储器22、电源23、通信接口24、输入输出接口25和通信总线26。其中,所述存储器22用于存储计算机程序,所述计算机程序由所述处理器21加载并执行,以实现前述任一实施例公开的由电子设备执行的睡眠分期结果确定方法中的相关步骤。
本实施例中,电源23用于为电子设备20上的各硬件设备提供工作电压;通信接口24能够为电子设备20创建与外界设备之间的数据传输通道,其所遵循的通信协议是能够适用于本申请技术方案的任意通信协议,在此不对其进行具体限定;输入输出接口25,用于获取外界输入数据或向外界输出数据,其具体的接口类型可以根据具体应用需要进行选取,在此不进行具体限定。
另外,存储器22作为资源存储的载体,可以是只读存储器、随机存储器、磁盘或者光盘等,其上所存储的资源包括操作系统221、计算机程序222及数据223等,存储方式可以是短暂存储或者永久存储。
其中,操作系统221用于管理与控制电子设备20上的各硬件设备以及计算机程序222,以实现处理器21对存储器22中数据223的运算与处理,其可以是Windows、Unix、Linux等。计算机程序222除了包括能够用于完成前述任一实施例公开的由电子设备20执行的睡眠分期结果确定方法的计算机程序之外,还可以进一步包括能够用于完成其他特定工作的计算机程序。数据223除了可以包括睡眠分期结果确定设备接收到的由外部设备传输进来的数据,也可以包括由自身输入输出接口25采集到的数据等。
结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块,或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。
进一步的,本申请实施例还公开了一种计算机可读存储介质,所述存储介质中存储有计算机程序,所述计算机程序被处理器加载并执行时,实现前述任一实施例公开的睡眠分期结果确定方法步骤。
最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上对本发明所提供的一种睡眠分期结果确定方法、装置、设备及存储介质进行了详细介绍,本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本发明的限制。
Claims (10)
1.一种睡眠分期结果确定方法,其特征在于,应用于预设的睡眠分期网络框架,包括:
获取脑电信号数据,并对所述脑电信号数据进行切分,以得到切分后的各信号数据,对切分后的各所述信号数据进行数据增强处理,以得到增强后信号数据;
利用本地的编码器对所述增强后信号数据进行下采样处理,以得到下采样处理过程数据和下采样处理后的数据,然后利用本地的注意力模块对所述下采样处理后的数据进行全局特征提取操作,以得到提取后数据;
通过本地的维度变换模块对所述提取后数据进行数据形状还原,得到还原后的特征矩阵,利用本地的解码器对所述特征矩阵进行上采样处理,以得到上采样处理过程数据,将所述上采样处理过程数据与所述下采样处理过程数据进行数据拼接,以得到数据特征信息;
利用本地的全连接层对所述数据特征信息进行映射,以得到映射后的所述数据特征信息,调用预设的归一化指数函数并对映射后的所述数据特征信息进行睡眠阶段映射,以得到睡眠分期结果。
2.根据权利要求1所述的睡眠分期结果确定方法,其特征在于,所述对所述脑电信号数据进行切分,以得到切分后的各信号数据,对切分后的各所述信号数据进行数据增强处理,以得到增强后信号数据,包括:
确定出数据切分时间间隔,按照所述数据切分时间间隔对所述脑电信号数据进行切分,以得到切分后的各数据片段;
为切分后的各所述数据片段添加标签,以得到切分后的各信号数据,采用边界人工合成少数类过采样算法对切分后的各所述信号数据进行数据增强处理,以得到增强后信号数据。
3.根据权利要求1所述的睡眠分期结果确定方法,其特征在于,所述利用本地的注意力模块对所述下采样处理后的数据进行全局特征提取操作,以得到提取后数据,包括:
将所述下采样处理后的数据映射到本地的所述注意力模块,利用所述注意力模块对所述下采样处理后的数据进行计算,以得到查询向量、键向量以及值向量,基于所述查询向量、所述键向量以及所述值向量构建出多头注意力函数;
基于所述多头注意力函数计算出多头注意力机制输出,依次利用所述注意力模块中的归一化层和多层感知机对所述多头注意力机制输出和所述多头注意力函数进行提取计算,得到提取后数据。
4.根据权利要求3所述的睡眠分期结果确定方法,其特征在于,所述基于所述多头注意力函数计算出多头注意力机制输出,包括:
对所述查询向量、所述键向量以及所述值向量进行线性映射,得到映射后所述查询向量、映射后所述键向量以及映射后所述值向量;
对映射后所述查询向量、映射后所述键向量以及映射后所述值向量执行缩放点注意力,以得到各注意头,将各所述注意头串联并进行线性投影,得到多头注意力机制输出。
5.根据权利要求1至4任一项所述的睡眠分期结果确定方法,其特征在于,所述利用本地的编码器对所述增强后信号数据进行下采样处理,以得到下采样处理过程数据和下采样处理后的数据,包括:
利用本地的编码器中的第一下采样层对所述增强后信号数据进行第一次下采样处理,以得到第一下采样处理过程数据和第一下采样处理后的数据,然后利用第二下采样层对所述第一下采样处理后的数据进行第二次下采样处理,以得到第二下采样处理过程数据和第二下采样处理后的数据;
将所述第二下采样处理后的数据发送至所述编码器中的卷积层,以得到处理过程数据和下采样处理后的数据;其中,所述下采样处理过程数据包括所述第一下采样处理后的数据、所述第二下采样处理后的数据以及所述处理过程数据。
6.根据权利要求5所述的睡眠分期结果确定方法,其特征在于,所述利用本地的解码器对所述特征矩阵进行上采样处理,以得到上采样处理过程数据,将所述上采样处理过程数据与所述下采样处理过程数据进行数据拼接,以得到数据特征信息,包括:
利用本地的解码器中的第一上采样层对所述特征矩阵进行第一次上采样处理,以得到第一上采样处理过程数据,将所述第一上采样处理过程数据与所述处理过程数据进行数据拼接,以得到第一数据特征信息,利用所述解码器中的第二上采样层对所述第一数据特征信息进行第二次上采样处理,以得到第二上采样处理过程数据,将所述第二上采样处理过程数据与所述第二下采样处理过程数据进行数据拼接,以得到第二数据特征信息;
利用所述解码器中的第三上采样层对所述第二数据特征信息进行第三次上采样处理,以得到第三上采样处理过程数据,将所述第三上采样处理过程数据与所述第一下采样处理过程数据进行数据拼接,以得到第三数据特征信息,利用所述解码器中的卷积层对所述第三数据特征信息进行输出,以得到数据特征信息。
7.根据权利要求6所述的睡眠分期结果确定方法,其特征在于,所述将所述第一上采样处理过程数据与所述处理过程数据进行数据拼接,以得到第一数据特征信息,包括:
利用预设的第一横向连接层将所述编码器中的所述处理过程数据引入至所述解码器,然后利用所述解码器将所述第一上采样处理过程数据与所述处理过程数据进行数据拼接,以得到第一数据特征信息;
相应的,所述将所述第二上采样处理过程数据与所述第二下采样处理过程数据进行数据拼接,以得到第二数据特征信息,包括:
利用预设的第二横向连接层将所述编码器中的所述第二下采样处理过程数据引入至所述解码器,然后利用所述解码器将所述第二上采样处理过程数据与所述第二下采样处理过程数据进行数据拼接,以得到第二数据特征信息;
相应的,所述将所述第三上采样处理过程数据与所述第一下采样处理过程数据进行数据拼接,以得到第三数据特征信息,包括:
利用预设的第三横向连接层将所述编码器中的所述第一下采样处理过程数据引入至所述解码器,然后利用所述解码器将所述第三上采样处理过程数据与所述第一下采样处理过程数据进行数据拼接,以得到第三数据特征信息。
8.一种睡眠分期结果确定装置,其特征在于,包括:
数据切分模块,用于获取脑电信号数据,并对所述脑电信号数据进行切分,以得到切分后的各信号数据,对切分后的各所述信号数据进行数据增强处理,以得到增强后信号数据;
数据下采样处理模块,用于利用本地的编码器对所述增强后信号数据进行下采样处理,以得到下采样处理过程数据和下采样处理后的数据,然后利用本地的注意力模块对所述下采样处理后的数据进行全局特征提取操作,以得到提取后数据;
数据上采样处理模块,用于通过本地的维度变换模块对所述提取后数据进行数据形状还原,得到还原后的特征矩阵,利用本地的解码器对所述特征矩阵进行上采样处理,以得到上采样处理过程数据,将所述上采样处理过程数据与所述下采样处理过程数据进行数据拼接,以得到数据特征信息;
睡眠分期结果确定模块,用于利用本地的全连接层对所述数据特征信息进行映射,以得到映射后的所述数据特征信息,调用预设的归一化指数函数并对映射后的所述数据特征信息进行睡眠阶段映射,以得到睡眠分期结果。
9.一种电子设备,其特征在于,包括:
存储器,用于保存计算机程序;
处理器,用于执行所述计算机程序,以实现如权利要求1至7任一项所述的睡眠分期结果确定方法。
10.一种计算机可读存储介质,其特征在于,用于保存计算机程序;其中,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的睡眠分期结果确定方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310697659.6A CN116421152B (zh) | 2023-06-13 | 2023-06-13 | 一种睡眠分期结果确定方法、装置、设备及介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202310697659.6A CN116421152B (zh) | 2023-06-13 | 2023-06-13 | 一种睡眠分期结果确定方法、装置、设备及介质 |
Publications (2)
Publication Number | Publication Date |
---|---|
CN116421152A true CN116421152A (zh) | 2023-07-14 |
CN116421152B CN116421152B (zh) | 2023-08-22 |
Family
ID=87087647
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202310697659.6A Active CN116421152B (zh) | 2023-06-13 | 2023-06-13 | 一种睡眠分期结果确定方法、装置、设备及介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN116421152B (zh) |
Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110897633A (zh) * | 2019-12-17 | 2020-03-24 | 安徽心之声医疗科技有限公司 | 基于深度神经网络的心电信号分割方法 |
CN111493828A (zh) * | 2020-04-23 | 2020-08-07 | 四川大学 | 基于全卷积网络的序列到序列的睡眠障碍检测方法 |
US20210138249A1 (en) * | 2016-04-22 | 2021-05-13 | Newton Howard | System and method for neural stimulation using spike frequency modulation |
CN113807299A (zh) * | 2021-09-26 | 2021-12-17 | 河南工业大学 | 基于平行频域脑电信号的睡眠阶段分期方法及系统 |
CN114041795A (zh) * | 2021-12-03 | 2022-02-15 | 北京航空航天大学 | 基于多模态生理信息与深度学习的情绪识别方法及系统 |
CN114587380A (zh) * | 2022-03-10 | 2022-06-07 | 钧晟(天津)科技发展有限公司 | 一种基于脑电采集头环的睡眠状态检测方法、装置及系统 |
CN114708255A (zh) * | 2022-04-29 | 2022-07-05 | 浙江大学 | 一种基于TransUNet模型的多中心儿童X线胸片图像肺部分割方法 |
CN115089123A (zh) * | 2022-07-06 | 2022-09-23 | 西安理工大学 | 基于注意力和Transformer的OSA检测方法 |
CN115177273A (zh) * | 2022-06-30 | 2022-10-14 | 北京工业大学 | 基于多头再注意力机制的运动意图识别方法及系统 |
CN115372872A (zh) * | 2021-12-17 | 2022-11-22 | 上海理工大学 | 一种三维脊椎mr图像自动分割装置 |
CN115761377A (zh) * | 2022-12-07 | 2023-03-07 | 武汉科技大学 | 基于上下文注意力机制的吸烟者脑部磁共振影像分类方法 |
EP4162865A1 (en) * | 2021-10-06 | 2023-04-12 | Origin Wireless, Inc. | System and method for radio-based sleep monitoring |
CN115969329A (zh) * | 2023-02-08 | 2023-04-18 | 长春理工大学 | 一种睡眠分期方法、系统、装置及介质 |
CN116058800A (zh) * | 2023-02-21 | 2023-05-05 | 华南理工大学 | 基于深度神经网络与脑机接口的自动睡眠分期系统 |
CN116127364A (zh) * | 2023-04-12 | 2023-05-16 | 上海术理智能科技有限公司 | 基于集成Transformer的运动想象解码方法和解码系统 |
-
2023
- 2023-06-13 CN CN202310697659.6A patent/CN116421152B/zh active Active
Patent Citations (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20210138249A1 (en) * | 2016-04-22 | 2021-05-13 | Newton Howard | System and method for neural stimulation using spike frequency modulation |
CN110897633A (zh) * | 2019-12-17 | 2020-03-24 | 安徽心之声医疗科技有限公司 | 基于深度神经网络的心电信号分割方法 |
CN111493828A (zh) * | 2020-04-23 | 2020-08-07 | 四川大学 | 基于全卷积网络的序列到序列的睡眠障碍检测方法 |
CN113807299A (zh) * | 2021-09-26 | 2021-12-17 | 河南工业大学 | 基于平行频域脑电信号的睡眠阶段分期方法及系统 |
EP4162865A1 (en) * | 2021-10-06 | 2023-04-12 | Origin Wireless, Inc. | System and method for radio-based sleep monitoring |
CN114041795A (zh) * | 2021-12-03 | 2022-02-15 | 北京航空航天大学 | 基于多模态生理信息与深度学习的情绪识别方法及系统 |
CN115372872A (zh) * | 2021-12-17 | 2022-11-22 | 上海理工大学 | 一种三维脊椎mr图像自动分割装置 |
CN114587380A (zh) * | 2022-03-10 | 2022-06-07 | 钧晟(天津)科技发展有限公司 | 一种基于脑电采集头环的睡眠状态检测方法、装置及系统 |
CN114708255A (zh) * | 2022-04-29 | 2022-07-05 | 浙江大学 | 一种基于TransUNet模型的多中心儿童X线胸片图像肺部分割方法 |
CN115177273A (zh) * | 2022-06-30 | 2022-10-14 | 北京工业大学 | 基于多头再注意力机制的运动意图识别方法及系统 |
CN115089123A (zh) * | 2022-07-06 | 2022-09-23 | 西安理工大学 | 基于注意力和Transformer的OSA检测方法 |
CN115761377A (zh) * | 2022-12-07 | 2023-03-07 | 武汉科技大学 | 基于上下文注意力机制的吸烟者脑部磁共振影像分类方法 |
CN115969329A (zh) * | 2023-02-08 | 2023-04-18 | 长春理工大学 | 一种睡眠分期方法、系统、装置及介质 |
CN116058800A (zh) * | 2023-02-21 | 2023-05-05 | 华南理工大学 | 基于深度神经网络与脑机接口的自动睡眠分期系统 |
CN116127364A (zh) * | 2023-04-12 | 2023-05-16 | 上海术理智能科技有限公司 | 基于集成Transformer的运动想象解码方法和解码系统 |
Non-Patent Citations (2)
Title |
---|
JI XIAOPENG,ET AL: "Jumping Knowledge Based Spatial-Temporal Graph Convolutional Networks for Automatic Sleep Stage Classification", IEEE TRANSACTIONS ON NEURAL SYSTEMS AND REHABILITATION ENGINEERING, vol. 30 * |
QUWEI, ET AL: "A Residual Based Attention Model for EEG Based Sleep Staging", IEEE JOURNAL OF BIOMEDICAL AND HEALTH INFORMATICS, vol. 24, no. 10, pages 2833 - 2843, XP011812819, DOI: 10.1109/JBHI.2020.2978004 * |
Also Published As
Publication number | Publication date |
---|---|
CN116421152B (zh) | 2023-08-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110353673B (zh) | 一种基于标准互信息的脑电通道选择方法 | |
CN106408550A (zh) | 一种改进的自适应多字典学习的图像超分辨率重建方法 | |
CN109118487B (zh) | 基于非下采样轮廓波变换和卷积神经网络的骨龄评估方法 | |
CN115969329A (zh) | 一种睡眠分期方法、系统、装置及介质 | |
CN113887397A (zh) | 基于海洋捕食者算法的电生理信号的分类方法及分类系统 | |
CN114595725B (zh) | 一种基于加法网络和监督对比学习的脑电信号分类方法 | |
CN114881105A (zh) | 基于transformer模型和对比学习的睡眠分期方法及系统 | |
CN117037847B (zh) | 一种端到端社区噪音监测方法、装置及相关组件 | |
CN116421152B (zh) | 一种睡眠分期结果确定方法、装置、设备及介质 | |
CN117150346A (zh) | 基于eeg的运动想象脑电分类方法、装置、设备及介质 | |
CN117079005A (zh) | 一种光缆故障监测方法、系统、装置及可读存储介质 | |
CN116898451A (zh) | 用具有多尺度注意力机制的神经网络实现房颤预测的方法 | |
CN114224354B (zh) | 心律失常分类方法、装置及可读存储介质 | |
Kundu et al. | Optimal Machine Learning Based Automated Malaria Parasite Detection and Classification Model Using Blood Smear Images. | |
CN113940638B (zh) | 基于频域双特征融合的脉搏波信号识别分类方法 | |
Serkan et al. | VarioGram–A colorful time-graph representation for time series | |
CN114398991A (zh) | 基于Transformer结构搜索的脑电信号情绪识别方法 | |
Zhang et al. | Hierarchical model compression via shape-edge representation of feature maps—an enlightenment from the primate visual system | |
CN113907710A (zh) | 基于模型无关的图像增强元学习的皮肤病变分类系统 | |
CN117056788B (zh) | 一种基于有监督对比学习的eeg信号分类方法、装置 | |
CN117494013B (zh) | 一种多尺度权值共享卷积神经网络及其脑电情感识别方法 | |
Liu et al. | A learnable front-end based efficient channel attention network for heart sound classification | |
CN114237394B (zh) | 一种运动识别方法、装置、设备及介质 | |
CN114926479A (zh) | 图像处理方法及装置 | |
Wu et al. | Generative networks as inverse problems with fractional wavelet scattering networks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
GR01 | Patent grant | ||
GR01 | Patent grant |