CN112274162A - 基于生成对抗域自适应的跨被试eeg疲劳状态分类方法 - Google Patents

基于生成对抗域自适应的跨被试eeg疲劳状态分类方法 Download PDF

Info

Publication number
CN112274162A
CN112274162A CN202010985675.1A CN202010985675A CN112274162A CN 112274162 A CN112274162 A CN 112274162A CN 202010985675 A CN202010985675 A CN 202010985675A CN 112274162 A CN112274162 A CN 112274162A
Authority
CN
China
Prior art keywords
data set
domain data
tested
target domain
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010985675.1A
Other languages
English (en)
Other versions
CN112274162B (zh
Inventor
曾虹
李秀峰
吴振华
赵月
张佳明
孔万增
戴国骏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN202010985675.1A priority Critical patent/CN112274162B/zh
Publication of CN112274162A publication Critical patent/CN112274162A/zh
Application granted granted Critical
Publication of CN112274162B publication Critical patent/CN112274162B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7225Details of analog processing, e.g. isolation amplifier, gain or sensitivity adjustment, filtering, baseline or drift compensation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20Workers
    • A61B2503/22Motor vehicles operators, e.g. drivers, pilots, captains
    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02ATECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A90/00Technologies having an indirect contribution to adaptation to climate change
    • Y02A90/10Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Psychiatry (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Power Engineering (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明公开了一种基于生成对抗域自适应的跨被试EEG疲劳状态分类方法。本发明首先获取数据并预处理,去除伪迹;其次通过PSD来进行EEG特征提取,从三维EEG时间序列获得二维样本矩阵;然后区分源域和目标域数据集,获得不重合的训练集和测试集;再用部分无标签的目标域数据和符合高斯分布的随机数据训练分类模型GDANN;最后利用混淆矩阵对分类结果准确率进行评估。本发明将生成对抗网络和域不变思想进一步结合,既解决了EEG信号数据集稀少难获得的问题,又平衡了源域数据和目标域数据不匹配的问题,一定程度上避免了负迁移,训练出了高精度的跨被试疲劳检测分类器,以期在实际的脑机交互中有着广泛的应用前景。

Description

基于生成对抗域自适应的跨被试EEG疲劳状态分类方法
技术领域
本发明属于生物特征识别领域中的脑电信号(EEG)疲劳状态识 别领域,具体涉及一种基于生成对抗域自适应的跨被试EEG疲劳状态 分类方法。
背景技术
精神疲劳是一种复杂的生理和心理状态,可导致人的机敏性、注 意力和认知能力下降。全世界每年约有130万人死于交通事故,疲劳 驾驶是其中的主要因素。因此,如何在驾驶时进行有效的精神状态检 测和预测对于减少疲劳驾驶所造成的生命和财产损失非常重要。
近年来,已经提出了许多疲劳驾驶检测方法。其中,基于EEG的 心理状态分析方法是一种有效且客观的疲劳检测方法。因为脑电图记 录了人类大脑皮层神经细胞的电活动,可以直接反映大脑的即时状态, 并避免人的主观影响。然而,由于脑电数据存在难获取、信噪比大、 时效性低、不同人之间差异很大等问题,因此如何有效地将现有受试 者的脑电图分析模型转移到其他受试者上仍然很困难。
如今,基于领域自适应方法的迁移学习模型已广泛应用于自然语 言处理,图像分类等许多领域,并取得了很好的性能。DANN是典型 的域自适应方法,它的最重要特征是可以在没有标记目标样本的情况 下对齐源域和目标域,但其在跨被试的EEG分析中仍然存在一些缺陷。 首先,DANN要求平衡源域和目标域之间的样本,而对于跨被试脑电 图分析,源域中的样本通常比目标域中的样本大得多,这表明存在严 重的失衡。其次,由于跨受试者的脑电信号存在显着差异,因此某些 源域样本可能与目标域的分布极为不一致,这将导致“负迁移”,并 使DANN的性能下降。
基于这种情况,我们希望探索迁移学习神经网络在EEG疲劳状态 分类上的应用,为后续做精确的识别以及心理状态分析打下坚实的基 础。针对上述问题及现实意义,本发明将生成对抗网络和域不变思想 进一步结合,通过优化参数设置,利用适当的训练技巧,训练生成对 抗域自适应的迁移学习神经网络模型,以实现更好的分类性能。
发明内容
为了克服上述现有技术在跨被试EEG疲劳状态分类中判别性能 不佳、源域目标域数据不匹配、过多源域样本导致负迁移等问题,本 发明提出一种基于生成对抗域自适应的跨被试EEG疲劳状态分类方 法Generative-DANN(GDANN)。
本发明采用的技术方案是:
本发明使用独立成分分析(ICA)及带通滤波对EEG数据集进行 预处理;其次通过功率谱密度方法(PSD)对预处理后的EEG数据集 进行EEG特征提取,获得二维特征样本集;然后对二维特征样本集进 行划分,获得初始源域数据集及初始目标域数据集;用结合生成对抗 网络(GAN)的域自适应模型GDANN作为分类器,实现跨被试下的疲 劳、清醒两种状态的有效区分。
本发明的具体实现包括如下步骤:
步骤S1.数据获取:
S1-1:搭建模拟平台
搭建模拟驾驶平台,设计模拟驾驶实验,还原驾驶过程场景。同 时选取N名被试驾驶员,并让他们分别进行不同驾驶难度的模拟驾驶 实验,其中N是不小于2的整数。通过设置不同的刺激率来设计TAV (驾驶任务)的五个级别(TAV1-TAV5),用不同级别的工作量需求来 反应驾驶员的整体精神疲劳状态,最后进行使驾驶员昏昏欲睡的实验 任务,即DROW级别;
S1-2:采集被试信号打标签
获得这N名被试驾驶员在模拟驾驶实验中的不同难度阶段下的 信号,其中,TAV3状态和DROW状态下采集到的脑电数据差异最明显, 于是给TAV3状态下获取到的脑电数据打上“清醒”的标签,标记为 1;给DROW状态下获取到的脑电数据打上“疲劳”的标签,标记为0。 获得设置有标签的原始脑电信号I1i,原始脑电信号I1i包括脑电信号 X及标签Y,其中i表示第i个被试驾驶员对应的原始脑电信号,且i∈[1,N];
步骤S2.数据处理:
S2-1:预处理
对采集到的原始脑电信号I1i进行预处理操作,包括独立成分分 析(ICA)和带通滤波,获得预处理后脑电信号I2_1i,其中i表示第i个被试驾驶员驾对应的脑电信号I2_1i,且i∈[1,N];
S2-2:特征提取(PSD)
通过PSD对数据进行特征提取,从三维的脑电信号I2_1i中提取 出二维特征样本集,获得特征提取后的脑电信号I2_2i,其中i表示 第i个被试驾驶员驾对应的脑电信号I2_2i,且i∈[1,N];
S2-3:数据集划分
数据集划分,将二维特征样本集划分为初始源域数据集及初始目 标域数据集。选择一个被试驾驶员的数据作为初始目标域数据集I2T, 包含{Xt,Yt},其二维特征样本数量为nt;剩下的N-1个被试驾驶员 的数据整合为初始源域数据集I2S,包含{Xs,Ys},其二维特征样本 数量为ns。划分出不同的数据域,用于后续分析。
步骤S3.神经网络GDANN模型的构建与训练:
神经网络GDANN模型中的主要参数包括:
1)设定比例因子λ,用于从初始目标域数据集I2T的无标签样 本集Xt中选择占比例为λ的无标签辅助数据样本λXt来辅助训练, λ∈(0,1);
2)设定表示模型训练的实际源域数据集中被试驾驶员数目Ns, 用来精简初始源域数据集I2S,从初始源域的N-1个被试驾驶员中选 择最佳的Ns个被试驾驶员数据作为实际源域数据集,来进行后续训练, Ns∈[1,N-1];
S3-1:初始化
相比原模型DANN,GDANN多了额外的生成对抗网络GAN,神经网 络GDANN模型最终由目标域数据判别器Ntd,目标域数据生成器Ntg, 域判别器Nd,特征提取器Nf和标签分类器Ny这五个网络组成。将目 标域数据判别器Ntd、目标域数据生成器Ntg、域判别器Nd、特征提取器Nf和标签分类器Ny这五个网络的参数μ进行初始化操作;
S3-2:训练目标域数据判别器Ntd和目标域数据生成器Ntg
用符合高斯分布的随机噪音z和无标签辅助数据样本λXt来训练 生成对抗网络的目标域数据判别器Ntd和目标域数据生成器Ntg,使之 收敛,达到平衡;
S3-3:获得实际源域数据集中被试驾驶员数目Ns,更新实际源域 数据集;
将包含N-1个被试驾驶员数据的初始源域数据集中的无标签数 据样本Xs通过步骤S3-1训练完成的目标域数据判别器Ntd,从而筛选 获得与目标域数据集I2T中无标签样本集Xt空间分布最相近的前Ns个被试被试驾驶员,用这NS个被试驾驶员所对应的脑电信号Xs及标 签Ys组成新的实际源域数据集I3S,更新(Xs,Ys)及二维特征样本数 量ns;
S3-4:假数据更新目标域
将大量的随机噪音z通过步骤S3-1训练完成的目标域数据生成 器Ntg,生成模拟目标域空间分布的假数据Xt-fake,用Xt-fake和无标签辅 助数据样本λXt组成用于后续训练的无标签目标域数据集I3T,并且, 使I3T在数量上与实际源域数据集I3S相等;
S3-5:训练特征提取器Nf,获得特征信息
将无标签目标域数据集I3T和实际源域数据集I3S通过特征提取 器Nf,分别获得特征信息FT和FS
S3-6:训练标签分类器Ny,判断预测状态
将特征信息FS通过标签分类器Ny获得预测状态
Figure BDA0002689170430000041
将预测状态
Figure BDA0002689170430000042
和实际源域数据集I3S中样本对应标签YS进行空间距离比较;
S3-7:训练域判别器Nd,使无标签目标域数据集I3T和实际源域 数据集I3S对齐
将特征信息FT标记为1,特征信息FS标记为0,然后通过数据 {(FT,1)∪(FS,0)}训练域判别器Nd
S3-8:跳转步骤S3-5,直至反馈训练达到全局最优。
步骤S4.用混淆矩阵来评估结果:
S4-1:获得预测结果
将初始目标域数据集I2T的无标签样本集Xt通过训练好的特征提 取器Nf获得特征信息,再将特征信息通过标签分类器Ny获得对疲劳 状态的预测
Figure BDA0002689170430000051
S4-2:用混淆矩阵对预测结果进行评估
在S4-1获得的预测状态
Figure BDA0002689170430000052
和初始目标域数据集I2T中标签显示 的真实状态Yt用混淆矩阵进行对比,评估其性能。混淆矩阵是对分 类问题的预测结果的总结,这里用到了混淆矩阵的准确度(Accuracy)、 精度(Precision)、召回(Recall)、F1分数(F1Score)这四个指标。
与现有技术相比,本发明的有益效果是:
1)针对精神状态预测,本发明可以得到比其他分类方法更好 的结果;
2)本发明通过借用一部分无标签目标域数据以及大量的随机 噪音训练生成对抗网络来获得符合目标域分布的假数据,解决了EEG 信号数据集稀少难获得的问题;
3)本发明通过生成大量的符合目标域分布的假数据,解决模 型训练时数据量巨大的源域数据和稀少的目标域数据不匹配的问题;
4)本发明对源域数据做出初步的筛选,选出与目标域空间分 布相近的最佳Ns个被试的数据来进行后续训练,在一定程度上避免 了负迁移。
总之,本发明在精神状态预测方面具有较好的性能,以期在实际 的脑机交互中有着广泛的应用前景。
附图说明
图1为本发明流程图;
图2为PSD特征提取流程图;
图3为GDANN神经网络架构图;
图4为目标域生成器Ntg神经网络结构图;
图5为目标域判别器Ntd神经网络架构图。
具体实施方式
下面结合附图对本发明的较佳实施例进行详细阐述,以使本发明 的优点和特征能更易于被本领域技术人员理解,从而对本发明的保护 范围做出更为清楚明确的界定。
本发明以功率谱密度(PSD)作为特征提取方法,用结合生成对抗 网络(GAN)的域自适应模型GDANN作为分类器,通过对EEG信号的 分析,实现跨被试下的疲劳、清醒两种状态的有效区分。首先获取数 据并预处理,去除伪迹;其次通过PSD来进行EEG特征提取,从三维 EEG时间序列获得二维样本矩阵;然后区分源域和目标域数据集,获 得不重合的训练集和测试集;再用部分无标签的目标域数据和符合高 斯分布的随机数据训练分类模型GDANN;最后利用混淆矩阵对分类结 果准确率进行评估。
本发明具体实现请参阅图1、图2、图3、图4和图5,本发明实 施方式包括如下步骤:
步骤S1.数据获取:
S1-1:搭建模拟平台
搭建模拟驾驶平台,设计模拟驾驶实验,还原驾驶过程场景。同 时选取N名被试驾驶员,并让他们分别进行不同驾驶难度的模拟驾驶 实验,其中N是不小于2的整数,本次实验中取N=13;通过设置不 同的刺激率来设计TAV(驾驶任务)的五个级别(TAV1-TAV5),用不 同级别的工作量需求来反应驾驶员的整体精神疲劳状态,最后进行使 驾驶员昏昏欲睡的实验任务,即DROW级别。模拟平台细节可参考论 文《Evaluation of the workload anddrowsiness during car driving by using high resolution EEG activity andneurophysiologic indices》;
S1-2:采集被试信号打标签
获得这N名被试驾驶员在模拟驾驶实验中的不同难度阶段下的 信号,其中,TAV3状态和DROW状态下采集到的脑电数据差异最明显, 于是给TAV3状态下获取到的脑电数据打上“清醒”的标签,标记为 1;给DROW状态下获取到的脑电数据打上“疲劳”的标签,标记为0。 本次模拟的数据采集由数字监控系统(德国Beain Products GmbH) 记录,采样频率为200Hz,所有61个EEG通道均参考接地到FCz通 道的两个耳垂,并且其阻抗保持在10KQ以下。获得设置有标签的原 始脑电信号I1i,包括脑电信号X及标签Y,其中i表示第i个被试 驾驶员对应的原始脑电信号,且i∈[1,N],即:
Figure BDA0002689170430000071
步骤S2.数据处理:
S2-1:预处理
对采集到的原始脑电信号I1i进行预处理操作,用独立成分分析 (ICA)来消除眨眼所造成的伪影,用去除成分工具将提取到的眼电 成分去除;使用带通滤波器将EEG数据保持在0.1Hz至30Hz之间。 获得预处理后脑电信号I2_1i,其中i表示第i个被试驾驶员驾对应 的脑电信号I2_1i,且i∈[1,N];
独立成分分析和带通滤波属于本领域技术人员所熟知的常规技 术,故不详解;
S2-2:特征提取(PSD)
通过PSD对数据进行特征提取。本实验中,应用一个10%重叠 的1s滑动窗口来分割连续EEG时间序列I2_1i,这将为每个被试获得 400个时间片段的疲劳数据及400个时间片段的清醒数据,即将I2_1i更新为
Figure BDA0002689170430000072
的三维数据,其中n表示是第n个片段,最 大值为800;t表示时间序列,由于200Hz的采样频率和1s的滑动 窗口,故t=200;c表示通道数,本实验中c=61。
1)如图2中(a)所示,我们将针对每个被试获得800个关于61个EEG 通道的矩阵,由于200Hz的采样频率和1s的滑动窗口,每个矩阵的 维度是200*61;
2)图2中(b)揭示了100Hz EEG信号的单边PSD估计,这意味着在0 到100Hz之间的整数频率处信号功率的对数;
3)如图2中(c)所示,对于PSD相关频段,我们选择EEG的0.1到30 Hz范围作为输入信号,这部分包含EEG信号的大部分能量;
4)如图2中(d)所示,对于来自61个电极的信号,将会在30个积分 频率点(在0到30Hz之间的整数频率处)上产生EEG信号的功率, 将其按通道方式附加以获得800个1830(=30×61)维度的特征向量。
从三维时序信号I2_1i中提取出二维特征样本集,即将脑电信号 片段转换为脑电向量样本,获得特征提取后脑电信号
Figure BDA0002689170430000081
Figure BDA0002689170430000082
其中n表示是第n个样本,最大值为800;Dim表示特征 维度,本实验中Dim=1830;i表示第i个被试驾驶员驾对应的脑电信 号I2_2i,且i∈[1,N];
S2-3:数据集划分
数据集划分,将I2_2i数据集区分为初试源域(Source)和初 试目标域(Target)数据集。
初试目标域(Target):选择一个被试的数据作为初试目标域数 据集I2T,即:
Figure BDA0002689170430000083
其中Xt是目标域数据,Yt是其 对应标签,nt是I2T的样本数,在这里为800,Pt为I2T的分布空间;
初试源域(Source):剩下的N-1个被试的数据整合为初试源域 数据集I2S,即:
Figure BDA0002689170430000084
其中Xs是目标域数据,Ys是 其对应标签,ns是I2S的样本数,在这里为800*(N-1)=9600,Ps为I2S的分布空间。
划分出不同的数据域,用于后续分析;
步骤S3.神经网络GDANN模型的构建与训练:
神经网络GDANN模型的整体架构如图3所示,其中的主要参数包 括:
设定比例因子λ,用于从初试目标域数据集I2T的无标签样本集Xt中 选择占比例为λ的无标签辅助数据样本λXt样本来辅助训练,λ取 值为0到1;在本实验中λ=0.5;
设定表示模型训练的实际源域数据集中被试驾驶员数目Ns,用来精简 初试源域数据集I2S,从初试源域的N-1个被试驾驶员中选择最佳的 Ns个被试驾驶员数据来作为实际源于数据集,进行后续训练,NS∈ [1,N-1],在本实验中Ns=9。
S3-1:初始化
相比原模型DANN,GDANN多了额外的生成对抗网络GAN,神经网 络GDANN模型最终由目标域数据判别器Ntd,目标域数据生成器Ntg, 域判别器Nd,特征提取器Nf和标签分类器Ny这五个网络组成。将Ntd、 Ntg、Nd、Nf和Ny这五个网络的参数μtg、μtd、μd、μy和μf分别进行初始化操作,其中Nd、Nf和Ny的网络结构可参考原论文 《Domain-Adversarial Training ofNeural Networks》,Ntg的网路 结构如图4所示,Ntd的网络结构如图5所示;
网络各层的激活函数为L络各层的激络函数函数,其中leak是个常数, 且leak∈(0,1),如公式2所示:
LeakyRelu(α)=max(0,α)+leak*min(0,α)#(2)
各层网络训练时使用CrossEntropy作为损失函数,其中x代表 样本,p(x)和q(x)分别是是真实样本分布和x的预测样本分布, 如公式3所示:
Figure BDA0002689170430000091
S3-2:训练目标域数据判别器Ntd和目标域数据生成器Ntg;
用符合高斯分布的随机噪音z和无标签辅助数据样本λXt来训练 生成对抗网络Ntg和Ntd,使之收敛,达到平衡。其中z如公式4所示, Nr是个随机数,Pz是高斯分布空间:
Figure BDA0002689170430000092
训练过程使用自适应时间估计方法(Adam)来用于执行梯度下降, 以使GDANN具有更好的收敛性。如公式5和6所示,这是公式3的变 种,它是Ntg与Ntd之间的对抗,是一个最大最小的优化过程。这里, 噪声z和无标签目标域数据Xt1(即从Xt中随机选择出的λXt,数目为nt1,在本实验中nt1=λ*nt=0.5*800=400)用于辅助训练:
Figure BDA0002689170430000101
Figure BDA0002689170430000102
优化过程以
Figure BDA0002689170430000103
接近0.5,
Figure BDA0002689170430000104
接近0.5为结束标志;
S3-3:获得实际源域数据集中被试驾驶员数目Ns,更新实际源域 数据集源域;
Ntd网络的输出使用Tanh函数,是个0到1之间的概率值,用来 表示域相似性。将包含N-1个被试驾驶员数据的初试源域数据集中的 无标签数据样本Xs通过步骤S3-1训练完成的目标域数据判别器Ntd, 获得每个被试数据与初始目标域的域相似性概率值,将概率值最大的 前Ns个被试驾驶员数据筛选出来,,用这NS个被试驾驶员所对应的脑 电信号XS及标签YS组成新的实际源域数据集I3S,更新(Xs,Ys), 及二维特征样本数量ns;S3-4:假数据更新目标域
将大量的随机噪音z通过步骤S3-1训练完成的目标域数据生成 器Ntg网络,生成模拟目标域空间分布的假数据Xt-fake,用Xt-fake和无标 签辅助数据样本λXt组成用于后续训练的无标签目标域数据集I3T, 并且,使I3T在数量上与实际源域数据集I3S相等,如公式7所示:
Length(I3T)==ns,I3T={Xt-fake∪λXt}#(7)
S3-5:训练特征提取器Nf获得特征信息
将无标签目标域数据集I3T和实际源域数据集I3S通过特征提取 器Nf网络,分别获得特征信息FT和FS
S3-6:训练标签分类器Ny,判断预测状态
将特征信息FS通过标签分类器Ny网络,获得预测状态
Figure BDA0002689170430000111
将预 测状态
Figure BDA0002689170430000112
和实际源域数据集I3S中样本对应标签YS进行空间距离比较;
S3-7:训练域判别器Nd对齐,使无标签目标域数据集I3T和实际 源域数据集I3S对齐
将特征信息FT标记为1,特征信息FS标记为0,然后通过数据 {(FT,1)∪(FS,0)}训练域判别器Nd
S3-8:跳转步骤S3-5,直至反馈训练达到全局最优;
这里Nf、Ny和Nd网络联动训练,跟原模型DANN一样,使用SGD 函数更新参数。这也是一个对抗竞争的过程,目的是为了最小化特征 提取器Nf和标签分类器Ny网络,如公式8所示,这也是公式3的变 种,使Nf网络提取出源域和目标域的共同特征空间,这样当Ny能很 好的判断出带标签的源域数据特征对应的标签值后,也即获得能力预 测无标签的目标域特征,为其打上预测标签:
Figure BDA0002689170430000113
以及最大化域判别器Nd,如公式9所示,这是公式3的变种。使 Nd网络判别输入特征来是自源域,还是目标域的能力越来越强:
Figure BDA0002689170430000114
优化过程以
Figure BDA0002689170430000115
的和接近1为结束标志;
步骤S4.用混淆矩阵来评估结果:
S4-1:获得预测结果
将初试目标域数据集I2T中的无标签样本集Xt通过训练好的特征 提取器Nf获得特征信息,再将特征信息通过标签分类器Ny获得对疲 劳状态的预测
Figure BDA0002689170430000121
S4-2:用混淆矩阵对预测结果进行评估
将在S4-1获得的预测状态
Figure BDA0002689170430000122
和初始目标域数据集I2T中标签显 示的真实状态Yt用混淆矩阵进行对比,获得对比结果,评估模型性 能。混淆矩阵是对分类问题的预测结果的总结,这里用到了混淆矩阵 的准确度(Accuracy)、精度(Precision)、召回(Recall)、F1分数 (F1Score)这四个指标。对于常见的二分类(即本实验的分类),如表 1所示:
Figure BDA0002689170430000123
表1:二分类混淆矩阵
那么,混淆矩阵中的这四个数值,分别为如下:
准确度(Accuracy)=(TP+TN)/(TP+TN+FN+TN)
精度(Precision)=TP/(TP+FP)
召回(Recall)=TP/(TP+FN)F1分数(F1Score)=2 *(Precision*Recall)/(Precision+Recall)。
在本次实验中,GDANN的平均分类性能为:Accuracy为91.63%, Precision为91.61%,F1Score为91.62%,Recall为91.76;均比原 模型DANN平均提升了10%。

Claims (7)

1.基于生成对抗域自适应的跨被试EEG疲劳状态分类方法,其特征在于使用独立成分分析及带通滤波对EEG数据集进行预处理;其次通过功率谱密度方法对预处理后的EEG数据集进行EEG特征提取,获得二维特征样本集;然后对二维特征样本集进行划分,获得初始源域数据集及初始目标域数据集;用结合生成对抗网络的域自适应模型GDANN作为分类器,实现跨被试下的疲劳、清醒两种状态的有效区分。
2.根据权利要求1所述的基于生成对抗域自适应的跨被试EEG疲劳状态分类方法,其特征在于具体实现步骤如下:
步骤S1.数据获取:通过搭建模拟平台采集被试信号打标签;
步骤S2.数据处理:包括预处理、特征提取和数据集划;
步骤S3.神经网络GDANN模型的构建与训练:初始化神经网络GDANN模型的网络参数;训练神经网络GDANN模型中目标域数据判别器Ntd和目标域数据生成器Ntg;获得实际源域数据集中被试驾驶员数目Ns,更新实际源域数据集;用假数据更新目标域;迭代训练特征提取器Nf,、标签分类器Ny、域判别器Nd直至反馈训练达到全局最优;
步骤S4.用混淆矩阵来评估结果。
3.根据权利要求2所述的基于生成对抗域自适应的跨被试EEG疲劳状态分类方法,其特征在于步骤1具体实现步骤如下:
S1-1:搭建模拟平台;
搭建模拟驾驶平台,设计模拟驾驶实验,还原驾驶过程场景;同时选取N名被试驾驶员,并让N名被试驾驶员分别进行不同驾驶难度的模拟驾驶实验,其中N是不小于2的整数;通过设置不同的刺激率来设计TAV驾驶任务的五个级别TAV1-TAV5,用不同级别的工作量需求来反应驾驶员的整体精神疲劳状态,最后进行使驾驶员昏昏欲睡的实验任务,即DROW级别;
S1-2:采集被试信号打标签;
获得这N名被试驾驶员在模拟驾驶实验中的不同难度阶段下的信号,其中,TAV3状态和DROW状态下采集到的脑电数据差异最明显,于是给TAV3状态下获取到的脑电数据打上“清醒”的标签,标记为1;给DROW状态下获取到的脑电数据打上“疲劳”的标签,标记为0;获得设置有标签的原始脑电信号I1i,原始脑电信号I1i包括脑电信号X及标签Y,其中i表示第i个被试驾驶员对应的原始脑电信号,且i∈[1,N]。
4.根据权利要求3所述的基于生成对抗域自适应的跨被试EEG疲劳状态分类方法,其特征在于步骤2具体实现步骤如下:
S2-1:预处理;
对采集到的原始脑电信号I1i进行预处理操作,包括独立成分分析和带通滤波,获得预处理后脑电信号I2_1i,其中i表示第i个被试驾驶员驾对应的脑电信号I2_1i,且i∈[1,N];
S2-2:特征提取;
通过PSD对数据进行特征提取,从三维的脑电信号I2_1i中提取出二维特征样本集,获得特征提取后的脑电信号I2_2i,其中i表示第i个被试驾驶员驾对应的脑电信号I2_2i,且i∈[1,N];
S2-3:数据集划分;
将二维特征样本集划分为初始源域数据集及初始目标域数据集;选择一个被试驾驶员的数据作为初始目标域数据集I2T,包含{Xt,Yt},其二维特征样本数量为nt;剩下的N-1个被试驾驶员的数据整合为初始源域数据集I2S,包含{Xs,Ys},其二维特征样本数量为ns
5.根据权利要求4所述的基于生成对抗域自适应的跨被试EEG疲劳状态分类方法,其特征在于步骤3需要设定神经网络GDANN模型中的参数,包括:
1)设定比例因子λ,用于从初始目标域数据集I2T的无标签样本集Xt中选择占比例为λ的无标签辅助数据样本λXt来辅助训练,λ∈(0,1);
2)设定表示模型训练的实际源域数据集中被试驾驶员数目Ns,用来精简初始源域数据集I2S,从初始源域的N-1个被试驾驶员中选择最佳的Ns个被试驾驶员数据作为实际源域数据集,来进行后续训练,Ns∈[1,N-1]。
6.根据权利要求5所述的基于生成对抗域自适应的跨被试EEG疲劳状态分类方法,其特征在于步骤3具体实现步骤如下:
3-1:初始化
神经网络GDANN模型包括目标域数据判别器Ntd,目标域数据生成器Ntg,域判别器Nd,特征提取器Nf和标签分类器Ny;将目标域数据判别器Ntd、目标域数据生成器Ntg、域判别器Nd、特征提取器Nf和标签分类器Ny这五个网络的参数μ进行初始化操作;
S3-2:训练目标域数据判别器Ntd和目标域数据生成器Ntg
用符合高斯分布的随机噪音z和无标签辅助数据样本λXt来训练生成对抗网络的目标域数据判别器Ntd和目标域数据生成器Ntg,使之收敛,达到平衡;
S3-3:获得实际源域数据集中被试驾驶员数目Ns,更新实际源域数据集;
将包含N-1个被试驾驶员数据的初始源域数据集中的无标签数据样本Xs通过步骤S3-1训练完成的目标域数据判别器Ntd,从而筛选获得与目标域数据集I2T中无标签样本集Xt空间分布最相近的前Ns个被试被试驾驶员,用这NS个被试驾驶员所对应的脑电信号Xs及标签Ys组成新的实际源域数据集I3S,更新(Xs,Ys)及二维特征样本数量ns;
S3-4:假数据更新目标域
将大量的随机噪音z通过步骤S3-1训练完成的目标域数据生成器Ntg,生成模拟目标域空间分布的假数据Xt-fake,用Xt-fake和无标签辅助数据样本λXt组成用于后续训练的无标签目标域数据集I3T,并且,使I3T在数量上与实际源域数据集I3S相等,如公式(7)所示;
Length(I3T)==ns,I3T={Xt-fake∪λXt}#(7)
S3-5:训练特征提取器Nf,获得特征信息
将无标签目标域数据集I3T和实际源域数据集I3S通过特征提取器Nf,分别获得特征信息FT和FS
S3-6:训练标签分类器Ny,判断预测状态
将特征信息FS通过标签分类器Ny获得预测状态
Figure FDA0002689170420000041
将预测状态
Figure FDA0002689170420000042
和实际源域数据集I3S中样本对应标签YS进行空间距离比较;
S3-7:训练域判别器Nd,使无标签目标域数据集I3T和实际源域数据集I3S对齐
将特征信息FT标记为1,特征信息FS标记为0,然后通过数据{(FT,1)∪(FS,0)}训练域判别器Nd
S3-8:跳转步骤S3-5,直至反馈训练达到全局最优。
7.根据权利要求6所述的基于生成对抗域自适应的跨被试EEG疲劳状态分类方法,其特征在于步骤4具体实现步骤如下:
S4-1:获得预测结果
将初始目标域数据集I2T的无标签样本集Xt通过训练好的特征提取器Nf获得特征信息,再将特征信息通过标签分类器Ny获得对疲劳状态的预测
Figure FDA0002689170420000043
S4-2:用混淆矩阵对预测结果进行评估
将步骤S4-1获得的预测状态
Figure FDA0002689170420000044
和初始目标域数据集I2T中标签显示的真实状态Yt用混淆矩阵进行对比,评估其性能。
CN202010985675.1A 2020-09-18 2020-09-18 基于生成对抗域自适应的跨被试eeg疲劳状态分类方法 Active CN112274162B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010985675.1A CN112274162B (zh) 2020-09-18 2020-09-18 基于生成对抗域自适应的跨被试eeg疲劳状态分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010985675.1A CN112274162B (zh) 2020-09-18 2020-09-18 基于生成对抗域自适应的跨被试eeg疲劳状态分类方法

Publications (2)

Publication Number Publication Date
CN112274162A true CN112274162A (zh) 2021-01-29
CN112274162B CN112274162B (zh) 2022-05-17

Family

ID=74420021

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010985675.1A Active CN112274162B (zh) 2020-09-18 2020-09-18 基于生成对抗域自适应的跨被试eeg疲劳状态分类方法

Country Status (1)

Country Link
CN (1) CN112274162B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113177482A (zh) * 2021-04-30 2021-07-27 中国科学技术大学 一种基于最小类别混淆的跨个体脑电信号分类方法
CN113392733A (zh) * 2021-05-31 2021-09-14 杭州电子科技大学 基于标签对齐的多源域自适应跨被试eeg认知状态评估方法
CN114224344A (zh) * 2021-12-31 2022-03-25 杭州电子科技大学 基于eeg与迁移学习的疲劳状态实时检测系统
CN114305454A (zh) * 2021-11-22 2022-04-12 广东电网有限责任公司 基于域对抗神经网络的疲劳状态识别方法及装置
CN114343673A (zh) * 2021-11-29 2022-04-15 北京机械设备研究所 跨被试的运动想象脑电信号处理方法、介质、设备
CN114424941A (zh) * 2022-01-26 2022-05-03 广东电网有限责任公司 疲劳检测模型构建方法、疲劳检测方法、装置及设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109512442A (zh) * 2018-12-21 2019-03-26 杭州电子科技大学 一种基于LightGBM的EEG疲劳状态分类方法
CN109840612A (zh) * 2018-07-24 2019-06-04 上海赢科信息技术有限公司 用户驾驶行为分析方法及系统
US20200107766A1 (en) * 2018-10-09 2020-04-09 Sony Corporation Electronic device for recognition of mental behavioral attributes based on deep neural networks

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109840612A (zh) * 2018-07-24 2019-06-04 上海赢科信息技术有限公司 用户驾驶行为分析方法及系统
US20200107766A1 (en) * 2018-10-09 2020-04-09 Sony Corporation Electronic device for recognition of mental behavioral attributes based on deep neural networks
CN109512442A (zh) * 2018-12-21 2019-03-26 杭州电子科技大学 一种基于LightGBM的EEG疲劳状态分类方法

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113177482A (zh) * 2021-04-30 2021-07-27 中国科学技术大学 一种基于最小类别混淆的跨个体脑电信号分类方法
CN113392733A (zh) * 2021-05-31 2021-09-14 杭州电子科技大学 基于标签对齐的多源域自适应跨被试eeg认知状态评估方法
CN113392733B (zh) * 2021-05-31 2022-06-21 杭州电子科技大学 基于标签对齐的多源域自适应跨被试eeg认知状态评估方法
CN114305454A (zh) * 2021-11-22 2022-04-12 广东电网有限责任公司 基于域对抗神经网络的疲劳状态识别方法及装置
CN114343673A (zh) * 2021-11-29 2022-04-15 北京机械设备研究所 跨被试的运动想象脑电信号处理方法、介质、设备
CN114343673B (zh) * 2021-11-29 2024-03-29 北京机械设备研究所 跨被试的运动想象脑电信号处理方法、介质、设备
CN114224344A (zh) * 2021-12-31 2022-03-25 杭州电子科技大学 基于eeg与迁移学习的疲劳状态实时检测系统
CN114224344B (zh) * 2021-12-31 2024-05-07 杭州电子科技大学 基于eeg与迁移学习的疲劳状态实时检测系统
CN114424941A (zh) * 2022-01-26 2022-05-03 广东电网有限责任公司 疲劳检测模型构建方法、疲劳检测方法、装置及设备

Also Published As

Publication number Publication date
CN112274162B (zh) 2022-05-17

Similar Documents

Publication Publication Date Title
CN112274162B (zh) 基于生成对抗域自适应的跨被试eeg疲劳状态分类方法
CN107368798B (zh) 一种基于深度学习的人群情绪识别方法
CN109820525A (zh) 一种基于cnn-lstm深度学习模型的驾驶疲劳识别方法
CN107924472A (zh) 通过脑部计算机介面的图像分类
CN109614885A (zh) 一种基于lstm的脑电信号快速分类识别方法
CN109124625A (zh) 一种驾驶员疲劳状态水平分级方法
CN110236533A (zh) 基于多深度神经网络迁移特征学习的癫痫发作预测方法
CN111931576A (zh) 基于ewt和改进csp的癫痫信号分类方法
CN107518896B (zh) 一种肌电臂环佩戴位置预测方法和系统
CN111358475A (zh) 电力系统高危作业人员精神状态评估方法及系统
CN113951903B (zh) 基于脑电数据测定的高速铁路调度员超负荷状态识别方法
CN112674782B (zh) 癫痫患者发作间期痫样电活动检测装置和方法
CN112472048A (zh) 用于心血管疾病患者脉象识别的神经网络结构
CN113743471A (zh) 一种驾驶评估方法及其系统
CN115563484A (zh) 一种基于生理唤醒识别的街道绿化品质检测方法
CN113796873B (zh) 穿戴式动态心电信号分类方法及系统
CN107045624B (zh) 一种基于最大加权团的脑电信号预处理与分类方法
CN111671445A (zh) 一种意识障碍程度分析方法
TC et al. Prediction of Parkinson's disease using XGBoost
Nanthini et al. Different approaches of analysing EEG signals for seizure detection
CN113255789B (zh) 基于对抗网络和多被试脑电信号的视频质量评价方法
CN115022617A (zh) 基于脑电信号和时空多尺度联合网络的视频质量评价方法
CN114305452A (zh) 一种基于脑电和领域适配的跨任务认知负荷识别方法
CN117520821A (zh) 一种基于事件相关电位的自杀风险评估系统及方法
CN112465152B (zh) 一种适用于情绪脑-机接口的在线迁移学习方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant