CN111657860B - 一种基于对抗学习的睡眠阶段识别方法及系统 - Google Patents
一种基于对抗学习的睡眠阶段识别方法及系统 Download PDFInfo
- Publication number
- CN111657860B CN111657860B CN202010408610.0A CN202010408610A CN111657860B CN 111657860 B CN111657860 B CN 111657860B CN 202010408610 A CN202010408610 A CN 202010408610A CN 111657860 B CN111657860 B CN 111657860B
- Authority
- CN
- China
- Prior art keywords
- trained
- feature extractor
- inputting
- confrontation
- training
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000008667 sleep stage Effects 0.000 title claims abstract description 119
- 238000000034 method Methods 0.000 title claims abstract description 32
- 238000012549 training Methods 0.000 claims abstract description 139
- 238000013528 artificial neural network Methods 0.000 claims abstract description 59
- 238000012360 testing method Methods 0.000 claims abstract description 29
- 230000003042 antagnostic effect Effects 0.000 claims description 78
- 230000000306 recurrent effect Effects 0.000 claims description 6
- 210000004556 brain Anatomy 0.000 claims description 5
- 230000002457 bidirectional effect Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 8
- 238000013527 convolutional neural network Methods 0.000 description 7
- 125000004122 cyclic group Chemical group 0.000 description 5
- 238000000537 electroencephalography Methods 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000002123 temporal effect Effects 0.000 description 3
- 230000008485 antagonism Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 208000012902 Nervous system disease Diseases 0.000 description 1
- XUIMIQQOPSSXEZ-UHFFFAOYSA-N Silicon Chemical compound [Si] XUIMIQQOPSSXEZ-UHFFFAOYSA-N 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000036039 immunity Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 230000006996 mental state Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 229910052710 silicon Inorganic materials 0.000 description 1
- 239000010703 silicon Substances 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4806—Sleep evaluation
- A61B5/4812—Detecting sleep stages or cycles
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
- A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
- A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2576/00—Medical imaging apparatus involving image processing or analysis
- A61B2576/02—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
- A61B2576/026—Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part for the brain
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Artificial Intelligence (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Veterinary Medicine (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- Pathology (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Evolutionary Computation (AREA)
- Fuzzy Systems (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physiology (AREA)
- Psychiatry (AREA)
- Signal Processing (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本申请公开了一种基于对抗学习的睡眠阶段识别方法及系统，包括：将脑电信号训练集输入至待训练对抗特征提取器，基于对抗学习进行训练更新，得到对抗特征提取器；将脑电信号训练集输入至待训练个体特征提取器进行训练和更新，得到个体特征提取器；将脑电信号测试集分别输入至对抗特征提取器和个体特征提取器，训练和更新待训练神经网络、待训练睡眠阶段分类器和待训练条件随机场层，得到神经网络、睡眠阶段分类器和条件随机场层；将待分类脑电信号输入至三特征网络，确定睡眠阶段。只使用单通道脑电信号能够减小设备体积；通过对抗学习增加提取到的特征的共通性，降低不同的受试者的脑电数据的差异，提高准确性；并且不需要专业知识，操作简单。
Description
技术领域
本申请涉及脑电信号处理领域，尤其涉及一种基于对抗学习的睡眠阶段识别方法及系统。
背景技术
对获取到的未经加工的脑电信号(Electroencephalogram，EEG)进行信号分析和数据处理，对于各种脑机接口(Brain Machine Interface，BMI)应用，如精神状态监测、神经系统疾病诊断、睡眠分期和/或各种前沿神经科学等研究具有重要的意义。传统的睡眠分期是基于多种生物医学信号设计的，如多导睡眠图(Polysomnogram，PSG)，包括：脑电信号、眼电图(Electro-Oculography，EOG)、肌电图(Electromyography，EMG)、心电图(Electrocardiogram，ECG)等多种信号。虽然文献显示其精度较高，但由于体积庞大，操作不便，使其无法在家使用。
已有的文献中也提出了基于单通道脑电信号的睡眠分级，是一种基于传统的机器学习的低复杂度解决方案，但是此方案在进行特征选择时需要专业知识。另一方面，现有的方案中，还提出了SeqSleep-Net，一种基于序列到序列的多输入多输出框架，实现了多脑电时间段的分类，它使用多通道的多导睡眠图(Polysomnography，PSG)信号，精度高，但是此方案的复杂性高。
仅使用单通道脑电信号，虽然能够降低设备体积，但是不同的受试者的脑电数据是具有差异的，这些差异是影响神经信号分析准确性的重要因素。
综上所述，需要提供一种能够仅使用脑电信号的设备体积小，不需要相关的专业知识，操作简单，且准确性高的睡眠阶段识别方法及系统。
发明内容
为解决以上问题，本申请提出了一种基于对抗学习的睡眠阶段识别方法及系统。
一方面，本申请提出一种基于对抗学习的睡眠阶段识别方法，包括：
将脑电信号训练集输入至待训练对抗特征提取器，基于对抗学习进行训练更新，得到对抗特征提取器；
将所述脑电信号训练集输入至待训练个体特征提取器进行训练和更新，得到个体特征提取器；
将脑电信号测试集分别输入至所述对抗特征提取器和所述个体特征提取器，训练和更新待训练神经网络、待训练睡眠阶段分类器和待训练条件随机场层，得到神经网络、睡眠阶段分类器和条件随机场层；
将待分类脑电信号输入至三特征网络，确定睡眠阶段，所述三特征网络包括所述对抗特征提取器、所述个体特征提取器、所述神经网络、睡眠阶段分类器和条件随机场层。
优选地，所述将脑电信号训练集输入至待训练对抗特征提取器，基于对抗学习进行训练更新，得到对抗特征提取器，包括：
将脑电信号训练集输入至待训练对抗特征提取器，得到第一对抗特征；
输入所述第一对抗特征至第一判别器，对第一判别器进行训练更新，得到第二判别器；
输入所述第一对抗特征至第二判别器和对抗睡眠分类器，基于对抗学习，对所述对抗睡眠分类器、第二判别器和待训练对抗特征提取器进行交替训练和更新，得到对抗特征提取器。
优选地，所述输入所述第一对抗特征至第一判别器，对第一判别器进行训练更新，得到第二判别器，包括：
输入所述第一对抗特征至所述第一判别器，确定身份编号和文件编号；
使用身份编号和文件编号计算第一分类损失；
使用所述第一分类损失训练和更新所述第一判别器，得到第二判别器。
优选地，所述输入所述第一对抗特征至第二判别器和对抗睡眠分类器，基于对抗学习，对所述对抗睡眠分类器、第二判别器和待训练对抗特征提取器进行交替训练和更新，得到对抗特征提取器，包括：
分别输入所述第一对抗特征至所述第二判别器和对抗睡眠分类器，确定身份编号、文件编号和睡眠阶段预测值；
使用身份编号和文件编号计算第二分类损失；
使用睡眠阶段预测值和与其对应的标签，确定对抗预测损失；
根据第二分类损失和对抗预测损失更新第二判别器；
或根据第二分类损失和对抗预测损失更新对抗睡眠分类器和待训练对抗特征提取器；
重复上述步骤，直至训练次数达到设定次数，或对抗预测损失小于等于设定阈值，得到对抗特征提取器。
优选地，所述将脑电信号测试集分别输入至所述对抗特征提取器和所述个体特征提取器，训练和更新待训练神经网络、待训练睡眠阶段分类器和待训练条件随机场层，得到神经网络、睡眠阶段分类器和条件随机场层，包括：
分别输入所述脑电信号测试集至所述对抗特征提取器和所述个体特征提取器，得到第二对抗特征和第二个体特征；
拼接第二对抗特征和第二个体特征，得到第一时间无关特征；
输入第一时间无关特征至待训练神经网络，得到第一时间特征；
拼接第一时间特征、第二对抗特征和第二个体特征，得到测试输入特征；
输入测试输入特征至待训练睡眠阶段分类器，得到阶段分类结果；
输入阶段分类结果至待训练条件随机场层，确定并输出睡眠阶段序列；
根据睡眠阶段序列确定测试损失，更新和训练待训练神经网络、待训练睡眠阶段分类器和待训练条件随机场层，得到神经网络、睡眠阶段分类器和条件随机场层。
优选地，所述神经网络，包括：双向长短时记忆循环神经网络。
优选地，所述输入所述脑电信号训练集至待训练个体特征提取器进行训练和更新，得到个体特征提取器，包括：
输入所述脑电信号训练集至待训练个体特征提取器，提取第一个体特征；
输入第一个体特征至个体睡眠分类器，获取个体阶段预测值；
使用个体阶段预测值和与其对应的标签，确定个体预测损失；
根据个体预测损失，更新和训练待训练个体特征提取器，得到个体特征提取器。
优选地，所述输入待分类脑电信号至包括对抗特征提取器、个体特征提取器、神经网络、睡眠阶段分类器和条件随机场层的三特征网络，确定睡眠阶段，包括：
分别输入所述待分类脑电信号至所述对抗特征提取器和所述个体特征提取器，得到第三对抗特征和第三个体特征；
拼接第三对抗特征和第三个体特征，得到第二时间无关特征；
输入第二时间无关特征至神经网络，得到第二时间特征；
拼接第二时间特征、第二对抗特征和第二个体特征，得到待分类输入特征；
输入待分类输入特征至睡眠阶段分类器，得到阶段分类结果；
输入阶段分类结果至条件随机场层，确定并输出睡眠阶段序列。
优选地，所述根据睡眠阶段序列确定测试损失，更新和训练待训练神经网络和待训练睡眠阶段分类器，还包括：更新个体特征提取器和对抗特征提取器。
第二方面，本申请提出一种基于对抗学习的睡眠阶段识别系统，包括：
第一训练模块，用于将脑电信号训练集输入至待训练对抗特征提取器，基于对抗学习进行训练更新，得到对抗特征提取器；输入所述脑电信号训练集至待训练个体特征提取器进行训练和更新，得到个体特征提取器；
第二训练模块，用于将脑电信号测试集分别输入至所述对抗特征提取器和所述个体特征提取器，训练和更新待训练神经网络、待训练睡眠阶段分类器和待训练条件随机场层，得到神经网络、睡眠阶段分类器和条件随机场层；
分类模块，用于输入待分类脑电信号至三特征网络，确定睡眠阶段，所述三特征网络包括所述对抗特征提取器、所述个体特征提取器、所述神经网络和睡眠阶段分类器。
本申请的优点在于：仅使用脑电信号可以有效减小设备体积；通过对抗学习，增加提取到的脑电信号特征的共通性，降低不同的受试者的脑电数据的差异，提高准确性，使用个体特征提取器能够恢复对抗性训练中丢失的信息，提高准确性；并且不需要专业知识，操作简单。
附图说明
通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选事实方案的目的，而并不认为是对本申请的限制。而且在整个附图中，用同样的参考符号表示相同的部件。在附图中：
图1是本申请提供的一种基于对抗学习的睡眠阶段识别方法的步骤示意图；
图2是本申请提供的一种基于对抗学习的睡眠阶段识别方法的示意图；
图3是本申请提供的一种基于对抗学习的睡眠阶段识别方法的待训练个体特征提取器的训练的示意图；
图4是本申请提供的一种基于对抗学习的睡眠阶段识别方法的第一判别器的训练的示意图；
图5是本申请提供的一种基于对抗学习的睡眠阶段识别方法的待训练对抗特征提取器的训练的示意图；
图6是本申请提供的一种基于对抗学习的睡眠阶段识别方法的第二训练部分的训练的示意图；
图7是本申请提供的一种基于对抗学习的睡眠阶段识别方法的分类部分的示意图；
图8是本申请提供的一种基于对抗学习的睡眠阶段识别系统的示意图。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施方式。虽然附图中显示了本公开的示例性实施方式，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。
根据本申请的实施方式，提出一种基于对抗学习的睡眠阶段识别方法，如图1所示，包括：
S101，将脑电信号训练集输入至待训练对抗特征提取器，基于对抗学习进行训练更新，得到对抗特征提取器。
S102，将脑电信号训练集输入至待训练个体特征提取器进行训练和更新，得到个体特征提取器。
S103，将脑电信号测试集分别输入至对抗特征提取器和个体特征提取器，训练和更新待训练神经网络、待训练睡眠阶段分类器和待训练条件随机场(Conditional RandomFields，CRF)层，得到神经网络、睡眠阶段分类器和条件随机场层。
S104，将待分类脑电信号输入至三特征网络，确定睡眠阶段，三特征网络包括对抗特征提取器、个体特征提取器、神经网络、睡眠阶段分类器和条件随机场层。
将脑电信号训练集输入至待训练对抗特征提取器，基于对抗学习进行训练更新，得到对抗特征提取器，包括：
将脑电信号训练集输入至待训练对抗特征提取器，得到第一对抗特征；
输入第一对抗特征至第一判别器，对第一判别器进行训练更新，得到第二判别器；
输入第一对抗特征至第二判别器和对抗睡眠分类器，基于对抗学习，对对抗睡眠分类器、第二判别器和待训练对抗特征提取器进行交替训练和更新，得到对抗特征提取器。
输入第一对抗特征至第一判别器，对第一判别器进行训练更新，得到第二判别器，包括：
输入第一对抗特征至第一判别器，确定身份编号和文件编号；
使用身份编号和文件编号计算第一分类损失；
使用第一分类损失训练和更新第一判别器，得到第二判别器。
输入第一对抗特征至第二判别器和对抗睡眠分类器，基于对抗学习，对对抗睡眠分类器、第二判别器和待训练对抗特征提取器进行交替训练和更新，得到对抗特征提取器，包括：
分别输入第一对抗特征至第二判别器和对抗睡眠分类器，确定身份编号、文件编号和睡眠阶段预测值；
使用身份编号和文件编号计算第二分类损失；
使用睡眠阶段预测值和与其对应的标签，确定对抗预测损失；
根据第二分类损失和对抗预测损失更新第二判别器；
或根据第二分类损失和对抗预测损失更新对抗睡眠分类器和待训练对抗特征提取器；
重复上述步骤，直至训练次数达到设定次数，或对抗预测损失小于等于设定阈值，得到对抗特征提取器。
首先更新第二判别器或对抗睡眠分类器和待训练对抗特征提取器，其次更新的只要与前一次更新的部分不同即可。即，若前一次更新的是对抗睡眠分类器和待训练对抗特征提取器，则后一次更新第二判别器，如此交替更新。
将脑电信号测试集分别输入至对抗特征提取器和个体特征提取器，训练和更新待训练神经网络、待训练睡眠阶段分类器和待训练条件随机场层，得到神经网络、睡眠阶段分类器和条件随机场层，包括：
分别输入脑电信号测试集至对抗特征提取器和个体特征提取器，得到第二对抗特征和第二个体特征；
拼接第二对抗特征和第二个体特征，得到第一时间无关特征；
输入第一时间无关特征至待训练神经网络，得到第一时间特征；
拼接第一时间特征、第二对抗特征和第二个体特征，得到测试输入特征；
输入测试输入特征至待训练睡眠阶段分类器，得到阶段分类结果；
输入阶段分类结果至待训练条件随机场层，确定并输出睡眠阶段序列；
根据睡眠阶段序列确定测试损失，更新和训练待训练神经网络、待训练睡眠阶段分类器和待训练条件随机场层，得到神经网络、睡眠阶段分类器和条件随机场层。
根据睡眠阶段序列确定测试损失，更新和训练待训练神经网络和待训练睡眠阶段分类器，还包括：更新个体特征提取器和对抗特征提取器。
神经网络，包括：双向长短时记忆循环神经网络。
输入脑电信号训练集至待训练个体特征提取器进行训练和更新，得到个体特征提取器，包括：
输入脑电信号训练集至待训练个体特征提取器，提取第一个体特征；
输入第一个体特征至个体睡眠分类器，获取个体阶段预测值；
使用个体阶段预测值和与其对应的标签，确定个体预测损失；
根据个体预测损失，更新和训练待训练个体特征提取器，得到个体特征提取器。
输入待分类脑电信号至包括对抗特征提取器、个体特征提取器、神经网络、睡眠阶段分类器和条件随机场层的三特征网络，确定睡眠阶段，包括：
分别输入待分类脑电信号至对抗特征提取器和个体特征提取器，得到第三对抗特征和第三个体特征；
拼接第三对抗特征和第三个体特征，得到第二时间无关特征；
输入第二时间无关特征至神经网络，得到第二时间特征；
拼接第二时间特征、第二对抗特征和第二个体特征，得到待分类输入特征；
输入待分类输入特征至睡眠阶段分类器，得到阶段分类结果；
输入阶段分类结果至条件随机场层，确定并输出睡眠阶段序列。
对抗睡眠分类器、个体睡眠分类器和待训练睡眠阶段分类器的结构相同，均使用三层全连接层来执行分类，其中最后一个全连接层带有softmax输出。在每一层之后应用批标准化、泄漏修正线性单元(LeakyReLU)激活。输入层的大小取决于特征提取程序的输出大小。根据美国睡眠医学学会(AASM)，三个睡眠分类器的输出层大小均为5，对应于五个离散睡眠阶段：Wake、N1、N2、N3和REM。全连接层最后一层输出的维度是P的训练数据集中的文件数量。
上述的三个分类器输出的均为0至4的数字，分别对应五个离散睡眠阶段，而经过条件随机场层后输出的睡眠阶段序列为一连串0至4数字序列。
下面，对本申请实施例进行进一步说明，如图2所示。
本申请的实施方式包括三部分，即第一训练部分，第二训练部分，以及在第二训练部分完成后，第二训练部分变为可以使用的分类部分。第一训练部分中的待训练个体特征提取器和待训练对抗特征提取器，在完成训练后，作为个体特征提取器和对抗特征提取器，用于第二训练部分。
将判别器(第一判别器和第二判别器)P、对抗睡眠分类器QA、个体睡眠分类器QS、待训练对抗特征提取器以及对抗特征提取器FA和待训练个体特征提取器以及个体特征提取器Fs的参数分别表示为θp、θqa、θqs、θfa和θfs。
首先使用第一训练部分对待训练个体特征提取器和待训练对抗特征提取器进行训练。
将脑电信号训练集分别输入至待训练个体特征提取器和待训练对抗特征提取器。待训练个体特征提取器和待训练对抗特征提取器无特定的先后训练顺序。
如图3所示，待训练个体特征提取器对脑电信号训练集进行特征提取，得到第一个体特征，输入至个体睡眠分类器进行预测，输出个体阶段预测值。使用输出的个体阶段预测值和与其对应的标签，计算交叉熵损失Ltask，更新待训练个体特征提取器和个体睡眠分类器中的参数。
其中，Nb为输入的个体特征的数量，yji是输入的对应批次的个体特征中第j个第一个体特征的真实的睡眠阶段标签，
是softmax层的输出，
其中Q表示分类器，F表示特征提取器，I表示输入的脑电信号(数据序列)，用于训练待训练个体特征提取器时，Q表示个体睡眠分类器QS，F表示待训练个体特征提取器FS，用于训练待训练对抗特征提取器时，Q表示对抗睡眠分类器QA，F表示待训练对抗特征提取器FA。
个体特征提取器FS的参数确定如下：
其中，θfs表示待训练个体特征提取器当前的参数，θqs表示个体睡眠分类器当前的参数，
表示待训练个体特征提取器的更新参数，
表示对抗睡眠分类器的更新参数。
当训练次数达到设定次数，或交叉熵损失Ltask小于等于设定阈值，得到个体特征提取器。
待训练对抗特征提取器对脑电信号训练集进行特征提取，得到第一对抗特征。
训练待训练对抗特征提取器时，首先需要训练第一判别器，如图4所示，输入第一对抗特征至第一判别器，第一判别器输出预测得到的身份编号(Subject ID)和文件编号(Session ID)，使用身份编号和文件编号对第一判别器进行训练和更新，得到用于对抗学习的第二判别器。
第一判别器P利用多层感知器(Multi-Layer Perceptron，MLP)对
提取的特征进行身份编号识别和文件编号分类。身份编号表示输入数据是属于哪个人的，而文件编号表示输入数据的文件编号。
由于得到的第二判别器P用于识别身份编号和文件编号，所以需要一个足够强的第二判别器P来加速对抗训练的收敛。
第二判别器P的参数确定如下：
其中，θp表示第一判别器当前的参数，θfa表示待训练对抗特征提取器当前的参数，
表示第一判别器的更新参数，
表示待训练对抗特征提取器的更新参数，LP表示计算得到的第一判别器的损失。
第二判别器用于同时区分身份编号和文件编号，使得对抗特征不仅取得身份上的不变性，还取得同一身份在不同数据采集条件下的不变性。第二判别器P是将一批脑电信号训练集中随机抽样的Nb个样本，输入至第一判别器进行训练得到的，训练和更新第一判别器的交叉熵损失LP的公式如下：
其中，Nsubject和Nsession为脑电信号训练集中的身份数量和文件数量，对应该批数据的第j个样本，vji和uji分别为文件编号和身份编号的独热(One-Hot)向量的第i维，
为softmax层输出的第i维，同时也表示该数据属于第i文件的概率：
P表示第一判别器，
表示待训练对抗特征提取器。
是属于第i文件的数据的预测概率：
其中k是对应于第i身份的文件编号。
当训练次数达到设定次数，或第一判别器的损失Lp小于等于设定阈值，得到第二判别器。
其次，使用第二判别器、对抗睡眠分类器和待训练对抗特征提取器进行对抗训练，如图5所示。通过对抗训练(对抗学习)使最终得到的对抗特征提取器获取到的对抗特征能够为个体不变特征，即每个个体的脑电信号中都具有的相同的特征。
此步骤包括两个部分的交替训练更新：第二判别器部分和由对抗睡眠分类器和待训练对抗特征提取器组成的生成器部分。两部分的训练更新不分先后，只需后一次训练更新的部分与前一次训练更新的部分不同即可。
在对抗训练的第二判别器训练阶段，对第二判别器的参数θp进行优化，使损失LP最小，使生成器(对抗睡眠分类器和待训练对抗特征提取器)训练阶段的损失(Ltask-αLP)最大。在对抗训练的生成器训练阶段，对对抗睡眠分类器的参数θqa和对抗特征提取器的参数θfa进行优化，使生成器训练阶段的损失最小。最后，P和
被训练到LP的一个鞍点(SaddlePoint)，使的第二判别器P不能区分不同被试者(身份编号)之间的差异。因此，
提取的对抗特征为不会因为受试者不同而变化的共同特征。
对抗睡眠分类器和待训练对抗特征提取器的参数确定如下：
其中，θfa表示待训练对抗特征提取器当前的参数，θqa表示对抗睡眠分类器当前的参数，
表示待训练对抗特征提取器的更新参数，
表示对抗睡眠分类器的更新参数，α表示平衡第二判别器P影响的参数，LP表示第二判别器的损失。
第二判别器P的参数确定如下：
其中，θp表示第二判别器当前的参数，
表示第二判别器的更新参数。
待训练对抗特征提取器
和第二判别器P的训练针对Ltask-αLP的鞍点进行。
当训练次数达到设定次数，或交叉熵损失Ltask小于等于设定阈值，得到对抗特征提取器。
通过优化θqa和θfa，使对抗性训练中的生成器训练阶段Ltask最小化，保证了
提取的第一对抗特征包含与睡眠相关的信息。通过对参数θqs和θfs的优化，使个体特征训练过程中的Ltask最小化，保证了
提取的第一个体特征包含个体特征的睡眠分期信息。
得到训练好的个体特征提取器和对抗特征提取器后，进入第二训练部分。
如图6所示，在测试阶段有三个关键部分：对抗性特征提取器，个体特征提取器，残差序列学习部分。其中，残差序列学习部分包括双向长短时记忆循环(Bi-LSTM)神经网络L、睡眠阶段分类器QT和条件随机场层(CRF层)C。残差序列学习中的各部分均需要训练更新。
双向长短时记忆循环神经网络L，用于根据输入的时间无关特征提取时间特征，基于获取的过去和未来的睡眠分期信息。
睡眠阶段分类器QT，用于对时间特征进行分类。然而，睡眠阶段分类器只考虑数据中的时间信息，对脑电信号测试集输入的每个样本独立进行分类，而忽略了标签序列中的时间信息。
条件随机场层C，其目的是输出最大概率睡眠阶段序列，同时考虑连续标签之间的相关性。
优选地，、
和
分别使用一维CNN，用于提取对应
和
的第二对抗特征和第二个体特征。利用第二对抗特征来降低脑电信号中的个体差异噪声，而第二个体特征保留了目标信息，对目标任务有用，但在
中丢失。两个对应
和
的特征组合为时间无关特征fCNN
fCNN用于输入双向长短时记忆循环神经网络L。
表示结合第二个体特征和第二对抗特征的级联操作。假设输出的时间特征的大小为n，输入的脑电信号为X，脑电信号的第i个组为Xi，该组的对应的身份编号为Si。组合特征
其中l表示脑电信号。利用残差序列学习将上述两个时间无关特征与时间特征相结合，以最大概率输出睡眠阶段序列。残差序列学习由三部分组成：
假设
和
的时间序列中有l个特征，那么残差序列学习的输入可以表示为fCNN＝[f1,..,fl]。残差序列学习定义如下：
ht,ct＝L(ht-1,ht+1,ct-1,ct+1,fCNN)
ot＝QT(ht‖fCNN)
其中L是将输入的时间无关特征序列fCNN映射到由θL参数化的双向长短时记忆循环神经网络，得到时间特征的过程。ht和ct分别是L在时间步t的隐态和单元态。ht表示时间t时提取的时间特征。
对得到的时间特征、第二个体特征以及第二对抗特征进行拼接，得到用于输入至待训练睡眠阶段分类器QT的测试输入特征(此特征在分类部分时，即输入至训练好的睡眠阶段分类器时，为待分类输入特征)。待训练睡眠阶段分类器QT将时间特征和时间无关特征(第二个体特征以及第二对抗特征)的具体内容映射到ot中，ot的维数是输出标签的个数。θt表示条件随机场层C的参数。score(X,y)是给定输出睡眠阶段序列y＝[y1,..,yn]的基于输入脑电信号的评分函数X。T是定义连续两个睡眠阶段yt-1和yt的评分的转换矩阵。基于score(X,y)，采用Viterbi算法寻找概率最大的睡眠阶段序列。
残差序列学习用于双向长短时记忆循环神经网络L、睡眠阶段分类器QT和条件随机场层C。该步骤将时间无关特征和时间特征与残差序列学习相结合。在此步骤中还确定了条件随机场层C的参数。双向长短时记忆循环神经网络的更新参数
睡眠阶段分类器的更新参数
条件随机场层的更新参数
的训练采用较大的学习率，对抗特征提取器的参数
和个体特征提取器的参数
的训练采用较小的学习率。因此，在第二训练部分的训练过程中保留了第二对抗特征的信息和第二个体特征的息。各部分的参数确定如下：
其中，θL为双向长短时记忆循环神经网络的当前参数，θqt为睡眠阶段分类器的当前参数，θc为条件随机场层的当前参数。
当训练次数达到设定次数，或交叉熵损失Ltask小于等于设定阈值，得到训练好的双向长短时记忆循环神经网络L，睡眠阶段分类器以及条件随机场层C。
如图7所示,最后，使用在测试阶段得到的包括：个体特征提取器，对抗特征提取器，双向长短时记忆循环神经网络，睡眠阶段分类器以及条件随机场层的三特征网络作为使用的分类部分，将需要分类的脑电信号输入至三特征网络，得到睡眠阶段序列ysleep。
本申请的实施方式使用的脑电信号训练集、脑电信号测试集和待分类脑电信号均为单通道脑电信号。
根据本申请的实施方式，还提出一种基于对抗学习的睡眠阶段识别系统，如图8所示，包括：
第一训练模块101，用于将脑电信号训练集输入至待训练对抗特征提取器，基于对抗学习进行训练更新，得到对抗特征提取器；输入脑电信号训练集至待训练个体特征提取器进行训练和更新，得到个体特征提取器；
第二训练模块102，用于将脑电信号测试集分别输入至对抗特征提取器和个体特征提取器，训练和更新待训练神经网络、待训练睡眠阶段分类器和待训练条件随机场层，得到神经网络、睡眠阶段分类器和条件随机场层；
分类模块103，用于输入待分类脑电信号至三特征网络，确定睡眠阶段，三特征网络包括对抗特征提取器、个体特征提取器、神经网络、睡眠阶段分类器和条件随机场层。
本申请的实施方式能够在便携式睡眠分级系统中实现，例如在由无线单通道脑电采集设备、移动设备图形用户界面和云服务器组成的便携式睡眠分级系统中实现。优选地，采集设备基于低噪声模拟前端和用于蓝牙通信的北欧nRF51822开发板设计。脑电采集模拟前端采用TSMC 180nm CMOS工艺，硅面积为2.4mm×2mm。采集装置将脑电数据实时传输到手机上。手机每30秒向云服务器发送一次脑电图数据，并且能够在移动应用程序上实时显示睡眠分段结果。实验结果表明，单通道脑电信号的准确率(ACC)为82.9％。
本申请的方法中，通过仅使用单通道的脑电信号可以有效减小设备体积；通过对抗学习，增加提取到的脑电信号特征的共通性，降低不同的受试者的脑电数据的差异，提高准确性，使用个体特征提取器能够恢复对抗性训练中丢失的信息，提高准确性；并且不需要专业知识，操作简单。通过Bi-LSTM网络，获取时间信息，增加被个体特征提取器和对抗特征提取器忽略的时间特征，提高对睡眠阶段预测的准确性，使用单通道脑电信号能够降低计算的复杂度，提高计算速度。
以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。
Claims (10)
1.一种基于对抗学习的睡眠阶段识别方法，其特征在于，包括：
将脑电信号训练集输入至待训练对抗特征提取器，基于对抗学习进行训练更新，得到对抗特征提取器；
将所述脑电信号训练集输入至待训练个体特征提取器进行训练和更新，得到个体特征提取器；
将脑电信号测试集分别输入至所述对抗特征提取器和所述个体特征提取器，训练和更新待训练神经网络、待训练睡眠阶段分类器和待训练条件随机场层，得到神经网络、睡眠阶段分类器和条件随机场层；
将待分类脑电信号输入至三特征网络，确定睡眠阶段，所述三特征网络包括所述对抗特征提取器、所述个体特征提取器、所述神经网络、睡眠阶段分类器和条件随机场层。
2.根据权利要求1所述的方法，其特征在于，所述将脑电信号训练集输入至待训练对抗特征提取器，基于对抗学习进行训练更新，得到对抗特征提取器，包括：
将脑电信号训练集输入至待训练对抗特征提取器，得到第一对抗特征；
输入所述第一对抗特征至第一判别器，对第一判别器进行训练更新，得到第二判别器；
输入所述第一对抗特征至第二判别器和对抗睡眠分类器，基于对抗学习，对所述对抗睡眠分类器、第二判别器和待训练对抗特征提取器进行交替训练和更新，得到对抗特征提取器。
3.根据权利要求2所述的方法，其特征在于，所述输入所述第一对抗特征至第一判别器，对第一判别器进行训练更新，得到第二判别器，包括：
输入所述第一对抗特征至所述第一判别器，确定身份编号和文件编号；
使用身份编号和文件编号计算第一分类损失；
使用所述第一分类损失训练和更新所述第一判别器，得到第二判别器。
4.根据权利要求2所述的方法，其特征在于，所述输入所述第一对抗特征至第二判别器和对抗睡眠分类器，基于对抗学习，对所述对抗睡眠分类器、第二判别器和待训练对抗特征提取器进行交替训练和更新，得到对抗特征提取器，包括：
分别输入所述第一对抗特征至所述第二判别器和对抗睡眠分类器，确定身份编号、文件编号和睡眠阶段预测值；
使用身份编号和文件编号计算第二分类损失；
使用睡眠阶段预测值和与其对应的标签，确定对抗预测损失；
根据第二分类损失和对抗预测损失更新第二判别器；
或根据第二分类损失和对抗预测损失更新对抗睡眠分类器和待训练对抗特征提取器；
当训练次数达到设定次数，或对抗预测损失小于等于设定阈值，得到对抗特征提取器。
5.根据权利要求1所述的方法，其特征在于，所述将脑电信号测试集分别输入至所述对抗特征提取器和所述个体特征提取器，训练和更新待训练神经网络、待训练睡眠阶段分类器和待训练条件随机场层，得到神经网络、睡眠阶段分类器和条件随机场层，包括：
分别输入所述脑电信号测试集至所述对抗特征提取器和所述个体特征提取器，得到第二对抗特征和第二个体特征；
拼接第二对抗特征和第二个体特征，得到第一时间无关特征；
输入第一时间无关特征至待训练神经网络，得到第一时间特征；
拼接第一时间特征、第二对抗特征和第二个体特征，得到测试输入特征；
输入测试输入特征至待训练睡眠阶段分类器，得到阶段分类结果；
输入阶段分类结果至待训练条件随机场层，确定并输出睡眠阶段序列；
根据睡眠阶段序列确定测试损失，更新和训练待训练神经网络、待训练睡眠阶段分类器和待训练条件随机场层，得到神经网络、睡眠阶段分类器和条件随机场层。
6.如权利要求1所述的方法，其特征在于，所述神经网络，包括：双向长短时记忆循环神经网络。
7.如权利要求1所述的方法，其特征在于，所述输入所述脑电信号训练集至待训练个体特征提取器进行训练和更新，得到个体特征提取器，包括：
输入所述脑电信号训练集至待训练个体特征提取器，提取第一个体特征；
输入第一个体特征至个体睡眠分类器，获取个体阶段预测值；
使用个体阶段预测值和与其对应的标签，确定个体预测损失；
根据个体预测损失，更新和训练待训练个体特征提取器，得到个体特征提取器。
8.如权利要求1所述的方法，其特征在于，所述输入待分类脑电信号至包括对抗特征提取器、个体特征提取器、神经网络、睡眠阶段分类器和条件随机场层的三特征网络，确定睡眠阶段，包括：
分别输入所述待分类脑电信号至所述对抗特征提取器和所述个体特征提取器，得到第三对抗特征和第三个体特征；
拼接第三对抗特征和第三个体特征，得到第二时间无关特征；
输入第二时间无关特征至神经网络，得到第二时间特征；
拼接第二时间特征、第二对抗特征和第二个体特征，得到待分类输入特征；
输入待分类输入特征至睡眠阶段分类器，得到阶段分类结果；
输入阶段分类结果至条件随机场层，确定并输出睡眠阶段序列。
9.如权利要求5所述的方法，其特征在于，所述根据睡眠阶段序列确定测试损失，更新和训练待训练神经网络和待训练睡眠阶段分类器，还包括：更新个体特征提取器和对抗特征提取器。
10.一种基于对抗学习的睡眠阶段识别系统，其特征在于，包括：
第一训练模块，用于将脑电信号训练集输入至待训练对抗特征提取器，基于对抗学习进行训练更新，得到对抗特征提取器；输入所述脑电信号训练集至待训练个体特征提取器进行训练和更新，得到个体特征提取器；
第二训练模块，用于将脑电信号测试集分别输入至所述对抗特征提取器和所述个体特征提取器，训练和更新待训练神经网络、待训练睡眠阶段分类器和待训练条件随机场层，得到神经网络、睡眠阶段分类器和条件随机场层；
分类模块，用于输入待分类脑电信号至三特征网络，确定睡眠阶段，所述三特征网络包括所述对抗特征提取器、所述个体特征提取器、所述神经网络和睡眠阶段分类器。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010408610.0A CN111657860B (zh) | 2020-05-14 | 2020-05-14 | 一种基于对抗学习的睡眠阶段识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202010408610.0A CN111657860B (zh) | 2020-05-14 | 2020-05-14 | 一种基于对抗学习的睡眠阶段识别方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN111657860A CN111657860A (zh) | 2020-09-15 |
| CN111657860B true CN111657860B (zh) | 2021-07-20 |
Family
ID=72383669
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202010408610.0A Active CN111657860B (zh) | 2020-05-14 | 2020-05-14 | 一种基于对抗学习的睡眠阶段识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN111657860B (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115590477B (zh) * | 2022-11-16 | 2023-03-28 | 中国医学科学院药用植物研究所 | 基于自监督的睡眠分期方法、装置、电子设备及存储介质 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015097713A (ja) * | 2013-11-20 | 2015-05-28 | トヨタ自動車株式会社 | 睡眠状態推定装置及び睡眠状態推定方法 |
| CN110141226A (zh) * | 2019-05-29 | 2019-08-20 | 清华大学深圳研究生院 | 自动睡眠分期方法、装置、计算机设备及计算机存储介质 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102033484B1 (ko) * | 2019-06-05 | 2019-10-17 | 메디사피엔스 주식회사 | 적대적 인공지능 생성망 (gan)을 활용한 반려동물 검사의 정상범위 기준치 설정 방법 및 장치 |
| CN110367933A (zh) * | 2019-07-15 | 2019-10-25 | 天津大学 | 基于复杂网络和深度学习的睡眠阶段分类方法及应用 |
| CN111000555B (zh) * | 2019-11-29 | 2022-09-30 | 中山大学 | 一种癫痫脑电信号的训练数据生成方法、自动识别模型建模方法和自动识别方法 |
-
2020
- 2020-05-14 CN CN202010408610.0A patent/CN111657860B/zh active Active
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2015097713A (ja) * | 2013-11-20 | 2015-05-28 | トヨタ自動車株式会社 | 睡眠状態推定装置及び睡眠状態推定方法 |
| CN110141226A (zh) * | 2019-05-29 | 2019-08-20 | 清华大学深圳研究生院 | 自动睡眠分期方法、装置、计算机设备及计算机存储介质 |
Non-Patent Citations (3)
| Title |
|---|
| DeepSleepNet: A Model for Automatic Sleep Stage Scoring Based on Raw Single-Channel EEG;Akara Supratak et al.;《IEEE TRANSACTIONS ON NEURAL SYSTEMS AND REHABILITATION ENGINEERING》;20171130;第25卷(第11期);第1998-2008页 * |
| 基于对抗神经网络的脑电情绪识别;吴涧柯;《中国优秀硕士学位论文全文数据库 基础科学辑》;20190831;第1-53页 * |
| 考虑个体特征的非脑电睡眠分期;王海涛 等;《中国生物医学工程学报》;20100430;第29卷(第2期);第161-165页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111657860A (zh) | 2020-09-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Hong et al. | Dynamic joint domain adaptation network for motor imagery classification | |
| Coyle et al. | A time-series prediction approach for feature extraction in a brain-computer interface | |
| Kächele et al. | Methods for person-centered continuous pain intensity assessment from bio-physiological channels | |
| CN114052735B (zh) | 一种基于深度领域自适应的脑电情绪识别方法及系统 | |
| Xiao et al. | An efficient temporal network with dual self-distillation for electroencephalography signal classification | |
| CN110472649B (zh) | 基于多尺度分析和集成树模型的脑电情感分类方法及系统 | |
| CN112800998A (zh) | 融合注意力机制和dmcca的多模态情感识别方法及系统 | |
| Li et al. | EEG signal classification method based on feature priority analysis and CNN | |
| CN113208593A (zh) | 基于相关性动态融合的多模态生理信号情绪分类方法 | |
| Zhang et al. | Ready for use: subject-independent movement intention recognition via a convolutional attention model | |
| Xie et al. | WT feature based emotion recognition from multi-channel physiological signals with decision fusion | |
| CN109009098A (zh) | 一种运动想象状态下的脑电信号特征识别方法 | |
| Zheng et al. | L-sign: Large-vocabulary sign gestures recognition system | |
| CN111657860B (zh) | 一种基于对抗学习的睡眠阶段识别方法及系统 | |
| Rajalakshmi et al. | Classification of yoga, meditation, combined yoga–meditation EEG signals using L-SVM, KNN, and MLP classifiers | |
| Liao et al. | Tri-featurenet: An adversarial learning-based invariant feature extraction for sleep staging using single-channel EEG | |
| CN114384999A (zh) | 基于自适应学习的用户无关肌电手势识别系统 | |
| CN111913575B (zh) | 一种手语词的识别方法 | |
| Huang et al. | Relation Learning Using Temporal Episodes for Motor Imagery Brain-Computer Interfaces | |
| CN116763324A (zh) | 基于多尺度和多注意力的单通道脑电信号睡眠分期方法 | |
| Niu et al. | Motion intention recognition of the affected hand based on the sEMG and improved DenseNet network | |
| Belsare et al. | Performance comparison of different EEG analysis techniques based on deep learning approaches | |
| CN110321856A (zh) | 一种时频多尺度散度csp的脑机接口方法及装置 | |
| CN114611556A (zh) | 一种基于图神经网络的多类别运动想象任务识别方法 | |
| Gupta et al. | Multi-stage Indian sign language classification with Sensor Modality Assessment |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |