CN115500843A - 基于零样本学习与对比学习的睡眠阶段分期方法 - Google Patents

Abstract

本发明提供了一种基于零样本学习与对比学习的睡眠阶段分期方法，包括以下步骤：S1：获取原始脑电EEG、肌电EMG、眼电EOG生理信号并进行处理；S2：获取睡眠阶段分期相关的语义信息；S3：对生理信号及语义信息进行手动匹配；S4：数据集划分：将S3中匹配好的生理信号及语义信息组划分为训练集、验证集和测试集；S5：预训练：将S4过程中得到的训练集输入到基于零样本学习与对比学习模型中进行预训练，并利用对比学习对基于零样本学习与对比学习模型进行微调；S6：对睡眠阶段分期进行预测。本发明解决了现有技术中睡眠阶段评估准确率低的问题。

Description

基于零样本学习与对比学习的睡眠阶段分期方法

技术领域

本发明属于信号处理技术领域，特别是涉及一种基于零样本学习与对比学习的睡眠阶段分期方法。

背景技术

睡眠是人体最重要的生理活动之一。大多数人需要花费一生中三分之一的时间睡觉，睡眠与人们的身心健康密切相关。现代医学研究表明，80多种人类疾病与长期睡眠障碍密切相关。睡眠相关疾病的有效诊断和治疗已成为当前医学领域迫切而深入的研究课题。许多医生和研究人员长期以来一直在争论如何最好地理解它。近年来，睡眠已成为医学的一个分支，并且睡眠被发现在看似无关的临床问题中起着重要作用。

睡眠阶段分期是诊断睡眠相关疾病的第一步。生理上，睡眠阶段主要分为快速眼动期(REM)和非快速眼动期(NREM)。睡眠过程通常在REM和NREM中循环。NREM分为浅睡眠期(N1期和N2期)和深睡眠期(N3期)。多导睡眠图(PSG)主要作为睡眠评估的主要工具，包括脑电图(EEG)、肌电图(EMG)、眼动图(EOG)等，EEG信号是睡眠阶段评分中最常用的信号，因为临床上可接受的睡眠阶段评估主要是根据R&K标准读取EEG信号，R&K标准于1968年由Rechtschaffen和Kales标准化，2007年由美国睡眠医学会(AASM)进一步发展。

传统的基于医生观察的睡眠阶段评分是非常繁琐、费时和主观的，这需要医生对PSG记录中的信号进行分析，得出大约8小时的睡眠评分。因此，许多自动睡眠评估方法被提出。这些研究首先从脑电信号中提取与睡眠相关的各种特征，如时域特征、频率特征、相关特征、熵特征等，再使用机器学习方法(决策树、支持向量机等)对提取的特征进行分类。但是，很多潜在的睡眠特征没有被挖掘，而这些潜在的睡眠特征在自动睡眠阶段评估中可能起到关键作用。

近年来，越来越多的深度学习方法被应用于睡眠分类。卷积神经网络(CNN)用于提取时间不变的局部特征。循环神经网络(RNN)用于学习与时序相关的信息，例如挖掘同一30s内的EEG中不同序列之间的时间关联。采用注意力机制模型(Transformer)用于提取序列全局信息。然而，这些模型大多建立在使用单模态EEG脑电信息上，忽视了数据集中多导睡眠图所提供的其他模态(肌电、眼电等)，而这些模态对于泛化在其他仪器采取的数据集上十分重要。比如，N.Banluesombatkul提出的Meta-Learning模型，使用脑电、眼电、肌电三个模态，在多个睡眠阶段分期数据集上取得了最好的结果。但是，该网络比较复杂，并且对于多模态的处理，只是简单的进行融合，不能反映某个模态在某个阶段分期的重要性。

此外，在睡眠阶段分期中，浅睡眠N1期与快速眼动期REM期以及浅睡眠分期N2期与深睡眠期N3期的时间序列特征非常相似，导致分期时误认为另一个类，继而让整体准确率下降。如何使用能够增大各类之间距离的对比学习，是睡眠阶段分期的关键问题。

另外，在R&K(Rechtschaffen和Kales，人类受试者睡眠阶段的标准化术语、技术和评分系统手册)、AASM(American Academy of Sleep Medicine，美国睡眠医学会)规则中存在大量关于睡眠阶段分期的知识，这些知识可以作为睡眠阶段评估的辅助信息。但是目前还没有一种方法将这些知识有效的利用起来进而提高分类准确率。

所以，目前，睡眠评估领域存在以下不足：

(1)传统的基于医生观察的睡眠阶段评估非常繁琐、费时和主观；

(2)基于特征预处理的自动睡眠评估方法，通过对生理信号进行预处理，提取与睡眠相关的各种特征。同样，特征提取方法具有黑盒性，很多潜在的睡眠特征没有被挖掘；

(3)目前，常用的基于深度学习的睡眠阶段评估方法，很多方法取得了不错的性能，但是由于构造模型的所使用的数据集单一，很难应用于现实诊所诊断的场景中。另外，基于单通道EEG信号的睡眠阶段评估性能不佳；

(4)目前，身处于知识驱动的时代，网络中存在大量关于睡眠阶段分期的知识，这些知识可以作为睡眠阶段评估的辅助信息，但是很难将其利用起来。

发明内容

本发明实施例的目的在于提供一种基于零样本学习与对比学习的睡眠阶段分期方法，以解决现有技术中睡眠阶段评估准确率低的问题。

为解决上述技术问题，本发明所采用的技术方案是，一种基于零样本学习与对比学习的睡眠阶段分期方法，包括以下步骤：

S1：获取原始脑电EEG、肌电EMG、眼电EOG生理信号并进行处理；

S2：获取睡眠阶段分期相关的语义信息；

S3：对生理信号及语义信息进行手动匹配；

S4：数据集划分：将S3中匹配好的生理信号及语义信息组划分为训练集、验证集和测试集；

S5：预训练：将S4过程中得到的训练集输入到基于零样本学习与对比学习模型中进行预训练，并利用对比学习对基于零样本学习与对比学习模型进行微调；

S6：对睡眠阶段分期进行预测。

进一步地，所述S1具体为：从公开的睡眠数据库中收集原始的EEG、EMG、EOG信号，并对EEG、EMG、EOG信号进行下采样处理，使得每种信号的频率一致。

进一步地，所述S2中睡眠阶段分期相关的语义信息获取具体为：采集与睡眠分期判定的知识，将知识融入对应的睡眠阶段分期中，得到睡眠阶段分期的语义信息。

进一步地，所述S3中的匹配方法为：计算出生理信号对应的睡眠分期判定中知识的值，并匹配相应的语义信息，独立成组，格式为：脑电EEG、肌电EMG、眼电EOG、语义信息。

进一步地，基于零样本学习与对比学习模型包括：

生理信号编码器，用于输入生理信号并输出生理信号特征向量；

语义信息编码器，用于输入语义信息并输出语义信息特征向量；

生理信号与语义描述信息匹配模块，用于将生理信息特征向量与语义信息特征向量相乘并输出分类结果。

进一步地，所述S5中预训练包括以下步骤：对于EEG信号：

S51：训练集在采集EEG信号时使用的采样频率为100Hz，以30s为评估睡眠分期的一个周期；数据集中每条数据有3000个数据点；

S52：将EEG信号数据点输入生理信号编码器中，得到生理信息特征向量；语义信息输入语义信息编码器中，得到语义信息特征向量；

S53：将得到的生理信号特征向量与语义信息特征向量进行相乘，然后对生理信号编码器与语义信息编码器进行微调，使配对的特征向量相乘为1，不配对的相乘为0，并使用验证集对预训练过程进行追踪，观察效果。

进一步地，所述S6具体过程为：

输入EEG、EOG、EMG三个信号的测试集数据，利用预训练后的零样本学习和对比学习模型得到生理信号特征向量与语义信息特征向量，并将生理信号特征向量与语义信息特征向量相乘，得出EEG信号分类结果、EMG信号分类结果、EOG信号分类结果，结合三个分类结果，通过设置超参数，将得到的分类结果进行加权融合，得到最终睡眠阶段分期预测结果。

本发明的有益效果是：

1、基于零样本学习思想的知识驱动模块，在不失模型性能的情况下，融入传统专家识别睡眠分期的知识，大大提高了睡眠阶段预测的准确率。

2、采取预训练和预测两阶段方式，首次将匹配训练用于自动睡眠阶段预测，解决了传统方法泛化性不强的问题，有效的提高了方法在下游任务的表现。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例的睡眠阶段分期方法流程图；

图2是本发明实施例的预训练网络结构图；

图3是本发明实施例的测试流程图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明提供了一种基于零样本学习思想的知识驱动和对比学习的睡眠阶段分期方法，该方法分为两个阶段，预训练阶段与预测阶段，采用两阶段方式可以更好地适应于下游任务，具有更好的泛化性。在预训练阶段，首先对睡眠阶段分期的标准进行专家知识提取，获得25条详细的分期语义描述，使用手工提取方法将语义信息与多个模态的生理信号信息匹配。其次在SleepTransformer(基于变换器的睡眠阶段分期技术)中使用多个数据集预训练得到的编码器，提取生理信号信息的相应特征，使用bert预训练编码器，提取语义信息特征向量，并将生理信号信息的特征向量与语义信息特征向量匹配成对，得到分类结果；接着，通过对比学习的方法对这两个编码器进行微调，使得成对的生理信号与语义信息特征相乘为1，不成对的为0。在预测阶段，首先，将成对的生理信号与语义描述输入到预训练好的编码器，提取特征后，进行相乘，得到分类结果；其次，通过超参数设置，将脑电、眼电、肌电得到的分类结果1、分类结果2和分类结果3进行加权融合，得到最终的睡眠阶段分期的预测结果。其具体的技术流程如下，参见图1：

S1：原始EEG、EMG、EOG生理信号获取，从公开睡眠数据库(SleepEDF、SHHS等)中收集原始的EEG、EMG、EOG信号，并对EEG、EMG、EOG信号进行简单的下采样处理，使得每种信号的频率一致。

S2：睡眠阶段分期相关的语义信息获取：从AASM出版的《睡眠及其相关事件判读手册》以及R&K标准中采集与睡眠分期判定的知识，所提取知识有例如代表每个epoch(Epoch数是一个超参数，它定义了学习算法在整个训练数据集中的工作次数)的alpha(Alpha指的是一种频率处于7.5至12.5Hz之间的脑电波)比率的量化值的Alpha EEG(Alpha EEG指的是每个工作次数下的7.5-12.5Hz脑电波比率的量化值)，代表每个epoch的K复合体和纺锤体的SWS EEG(SlowWave Sleep Electroencephalography慢波睡眠脑电波)，共12个知识，将12个知识融入对应的睡眠阶段分期中，得到25条睡眠阶段分期的语义信息(例如清醒期W可以表示为Alpha EEG偏高，0-30EMG偏高、0-4EEG偏低)；收集知识相关数字信号处理计算公式。

S3：对生理信号语义信息进行手动匹配：将生理信号通过数字信号处理领域中的相关数学公式，计算出生理信号对应的睡眠分期判定中知识的值，并匹配相应的语义信息，独立成组，格式为(脑电EEG、肌电EMG、眼电EOG、语义信息)，作为基于零样本学习与对比学习模型的输入。

S4：数据集划分：将S3中匹配好的生理信号及语义信息组划分为训练集、验证集和测试集。

S5：预训练阶段：将S4过程中得到的训练集输入到基于零样本学习与对比学习模型中进行预训练，并利用对比学习对本发明的基于零样本学习与对比学习模型进行微调。采用对比学习，使得正类即匹配的生理信号、文本对与负类即不匹配的生理信号、文本对的分布距离变大，最终使五个睡眠阶段分期的类间分布距离增大，保证了基于零样本学习与对比学习模型的分类性能。

S6：预测阶段：给定EEG、EOG、EMG三个信号的测试集数据，利用预训练后的零样本学习和对比学习模型得到生理信号特征向量与语义信息特征向量，并将生理信号特征向量与语义信息特征向量相乘，得出脑电信号EEG分类结果1、肌电信号EMG分类结果2、眼电信号EOG分类结果3，结合三个分类结果，通过设置合适的超参数，将得到的分类结果1、分类结果2和分类结果3进行加权融合，得出最终睡眠阶段分期预测结果。

进一步地，S5中基于零样本学习与对比学习模型预训练过程具体包括以下步骤(本实施例中以EEG信号为例，其余两种生理信号同理)：

S51：使用EEG信号，该训练集在采集EEG时使用的采样频率为100Hz，以30s为评估睡眠分期的一个周期。数据集中每条数据有3000个数据点。

S52：这些数据点与对应的语义描述信息成对，作为模型的输入。EEG信号数据点输入，截至当前准确率最高的睡眠阶段分期模型SleepTransformer(相当于生理信号编码器)中，得到相应的特征向量(生理信息特征向量)；语义信息输入，选择目前在自然语言处理(NLP，Nature language processing)方向下游任务表现优秀的Bert(BidirectionalEncoder Representation from Transformers)模型(相当于语义信息编码器)中，得到相应的特征向量(语义信息特征向量)。

S53：将得到的两个特征向量，即生理信号特征向量与语义信息特征向量，进行相乘，然后对生理信号编码器与语义信息编码器进行微调，使得配对的特征向量相乘为1，不配对的相乘为0，并使用验证集对预训练过程进行追踪，观察效果。

进一步，S6中预测过程具体包括以下步骤：

S61：输入一个多导图(PSG)，多导图包括脑电EEG、肌电EMG、眼电EOG三个模态，分别将其输入对应的编码器，得到脑电、肌电、眼电特征向量，再分别与语义描述特征向量相乘，得到生理信号的分类结果。

S62：将脑电、肌电、眼电的分类结果，按照result＝αEEG+βEMG+γEOG(α、β、γ分别为脑电EEG、肌电EMG、眼电EOG的分类结果的超参数)计算出最终关于各个睡眠分期的置信度，通过softmax函数得到预测的睡眠分期阶段。

进一步地，基于零样本学习与对比学习模型包括：

生理信号(脑电EEG、肌电EMG、眼电EOG)编码器，用于输入生理信号并输出生理信号特征向量；

语义信息编码器，用于输入语义信息并输出语义信息特征向量；

生理信号与语义描述信息匹配模块，用于将生理信息特征向量与语义信息特征向量相乘并输出分类结果。

实施例：

1.生理信号采集

本发明使用睡眠阶段评估中常用的基准数据集，SHHS(Sleep Heart HealthStudy)。这些记录是从没有任何睡眠相关药物且患有睡眠障碍疾病的白人男性和女性(40岁以上)获得的。这些记录包括水平眼电图EOG，C4-A1、C3-A2通道的脑电图和肌电图，每一个通道的数据都以256Hz进行采样。在这些数据集中，这些记录根据R&K标准被人为地分为八个时期，即W、N1、N2、N3、N4、REM、移动、未知。为了符合AASM标准，本发明将N3和N4时段合并为单个的N3时段，并删除了标记为移动和未知的数据。因为数据集在睡眠前后有一个很长的W阶段，所以本发明只保留数据30分钟。该数据集中带有人工分期的标签且都是以30s为一个周期，故每一条样本都有3000个数据点。由表1所示，统计了该数据集每个睡眠阶段的数据数量，可以看得出来数据是不平衡的。本实施例中，脑电通道使用C3-A2通道、眼电通道采取左右通道、肌电通道采取下巴通道来对本发明的方法进行评估。

表1.SHHS数据集各睡眠阶段分布表

数据集	W期	N1期	N2期	N3期	REM期
						SHHS	46319	10304	142125	60153	65953

2.语义信息描述采集

本发明采集传统专家评估睡眠阶段分期的金标准AASM以及R&K规则，提取判定特征Alpha EEG、0-4EEG、Spindle EEG、SWS EEG等12条相关知识，用于睡眠分期的语义信息描述，例如W期可表示为Alpha EEG偏高，0-30EMG偏高、0-4EEG偏高，得到每个分期的语义描述信息有W期1条、N1期8条、N2期10条、N3期2条、REM期4条，共25条。收集相应数字信号计算方法，将生理信号其与对应语义信息描述一一对应。

3.睡眠阶段评估

如图2和图3所示，显示了预训练和预测阶段的具体实现细节。本发明使用零样本学习和对比学习模型分别得出脑电EEG分类结果1、肌电EMG分类结果2、眼电EOG分类结果3并进行加权融合得到最终结果。注意，预训练模块的生理信号和语义信息编码器选择表现最好的编码器。

4.数据集划分

本发明采用k-fold交叉验证策略对模型进行评价。当划分训练集和测试集时，数据集中的每个对象都是独立的。在本发明的实验中，SHHS数据集的k设置为20。具体来说，本发明使用N-(N/k)主体记录进行训练，其余N/k个主体记录进行测试，其中N是数据集中的主体数。在训练过程中，随机选取训练集中的两个主体作为开发集，该开发集被用来选择合适的训练迭代次数和提前停止训练的标准。本发明的模型需要对SHHS数据集进行20次训练和测试，然后将每一次测试数据的睡眠阶段分类结果结合起来计算评估指标。

5.结果评估

本实施例使用了多个评估指标对本发明方法进行评估，这些评估指标分别是准确率、召回率、精确率、MF1指标(五个周期的平均准确率)和kappa系数。

使用零样本学习和对比学习模型对SHHS数据集进行预测，得到的混淆矩阵如下表2所示：

表2.零样本学习和对比学习模型对SHHS数据集分类结果的混淆矩阵

从表3可以看出，本发明的方法在自动睡眠阶段评估上表现出了良好的分类性能。在SHHS数据集上的总体准确率和F1值分别为86.47％和82.9％，这已经达到了目前所现有方法的基准线。而在N1阶段上的各项评估指标很低，这是由于N1时期和REM时期的表现十分相似以及数据不平衡问题中N1时期数据量最少，缺乏有判别性的信息导致的。这证明了增加语义信息对睡眠阶段评估的有效性。

表3.结合知识模块的睡眠阶段分类结果与原模型的比较

本说明书中的各个实施例均采用相关的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

以上所述仅为本发明的较佳实施例而已，并非用于限定本发明的保护范围。凡在本发明的精神和原则之内所作的任何修改、等同替换、改进等，均包含在本发明的保护范围内。

Claims (7)

1.一种基于零样本学习与对比学习的睡眠阶段分期方法，其特征在于，包括以下步骤：

S1：获取原始脑电EEG、肌电EMG、眼电EOG生理信号并进行处理；

S2：获取睡眠阶段分期相关的语义信息；

S3：对生理信号及语义信息进行手动匹配；

S4：数据集划分：将S3中匹配好的生理信号及语义信息组划分为训练集、验证集和测试集；

S5：预训练：将S4过程中得到的训练集输入到基于零样本学习与对比学习模型中进行预训练，并利用对比学习对基于零样本学习与对比学习模型进行微调；

S6：对睡眠阶段分期进行预测。

2.根据权利要求1所述的一种基于零样本学习与对比学习的睡眠阶段分期方法，其特征在于，所述S1具体为：从公开的睡眠数据库中收集原始的EEG、EMG、EOG信号，并对EEG、EMG、EOG信号进行下采样处理，使得每种信号的频率一致。

3.根据权利要求1所述的一种基于零样本学习与对比学习的睡眠阶段分期方法，其特征在于，所述S2中睡眠阶段分期相关的语义信息获取具体为：采集与睡眠分期判定的知识，将知识融入对应的睡眠阶段分期中，得到睡眠阶段分期的语义信息。

4.根据权利要求1所述的一种基于零样本学习与对比学习的睡眠阶段分期方法，其特征在于，所述S3中的匹配方法为：计算出生理信号对应的睡眠分期判定中知识的值，并匹配相应的语义信息，独立成组，格式为：脑电EEG、肌电EMG、眼电EOG、语义信息。

5.根据权利要求1所述的一种基于零样本学习与对比学习的睡眠阶段分期方法，其特征在于，基于零样本学习与对比学习模型包括：

生理信号编码器，用于输入生理信号并输出生理信号特征向量；

语义信息编码器，用于输入语义信息并输出语义信息特征向量；

生理信号与语义描述信息匹配模块，用于将生理信息特征向量与语义信息特征向量相乘并输出分类结果。

6.根据权利要求1或5所述的一种基于零样本学习与对比学习的睡眠阶段分期方法，其特征在于，所述S5中预训练包括以下步骤：对于EEG信号：

S51：训练集在采集EEG信号时使用的采样频率为100Hz，以30s为评估睡眠分期的一个周期；数据集中每条数据有3000个数据点；

S52：将EEG信号数据点输入生理信号编码器中，得到生理信息特征向量；语义信息输入语义信息编码器中，得到语义信息特征向量；

S53：将得到的生理信号特征向量与语义信息特征向量进行相乘，然后对生理信号编码器与语义信息编码器进行微调，使配对的特征向量相乘为1，不配对的相乘为0，并使用验证集对预训练过程进行追踪，观察效果。

7.根据权利要求1所述的一种基于零样本学习与对比学习的睡眠阶段分期方法，其特征在于，所述S6具体过程为：

输入EEG、EOG、EMG三个信号的测试集数据，利用预训练后的零样本学习和对比学习模型得到生理信号特征向量与语义信息特征向量，并将生理信号特征向量与语义信息特征向量相乘，得出EEG信号分类结果、EMG信号分类结果、EOG信号分类结果，结合三个分类结果，通过设置超参数，将得到的分类结果进行加权融合，得到最终睡眠阶段分期预测结果。

Images