CN113842151A - 一种基于高效多源胶囊网络的跨被试eeg认知状态检测方法 - Google Patents

一种基于高效多源胶囊网络的跨被试eeg认知状态检测方法 Download PDF

Info

Publication number
CN113842151A
CN113842151A CN202111160386.9A CN202111160386A CN113842151A CN 113842151 A CN113842151 A CN 113842151A CN 202111160386 A CN202111160386 A CN 202111160386A CN 113842151 A CN113842151 A CN 113842151A
Authority
CN
China
Prior art keywords
capsule
domain
eeg
cognitive
sub
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202111160386.9A
Other languages
English (en)
Other versions
CN113842151B (zh
Inventor
方欣
戴国骏
赵月
张振炎
吴政轩
金燕萍
吴琪
夏念章
刘洋
曾虹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN202111160386.9A priority Critical patent/CN113842151B/zh
Publication of CN113842151A publication Critical patent/CN113842151A/zh
Application granted granted Critical
Publication of CN113842151B publication Critical patent/CN113842151B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/168—Evaluating attention deficit, hyperactivity
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/372—Analysis of electroencephalograms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203—Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/725—Details of waveform analysis using specific filters therefor, e.g. Kalman or adaptive filters
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20—Workers
    • A61B2503/22—Motor vehicles operators, e.g. drivers, pilots, captains

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Psychiatry (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Artificial Intelligence (AREA)
  • Psychology (AREA)
  • Signal Processing (AREA)
  • Developmental Disabilities (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Hospice & Palliative Care (AREA)
  • Social Psychology (AREA)
  • Educational Technology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明提出一种基于高效多源胶囊网络的跨被试EEG认知状态检测方法。本发明通过将目标域和多源域的特征分布对齐，以实现域间特征的有效迁移。将EEG数据构建成多通道一维结构，提高了训练效率，同时提高模型性能。其次，引入自表达模块来捕捉样本之间的潜在联系，能够很好地适应不同任务下具有显著个体差异的跨被试EEG数据分析。最后提出了基于动态子胶囊的空间注意力算法来进一步学习EEG数据空间层次上的细粒度特征信息，有效刻画了EEG数据的部分间空间关系和部分‑整体层次关系。本发明有效避免了脑认知计算领域脑电信号的个体差异性问题，可适用于任何任务下基于EEG的认知状态识别，具有较强的泛化能力，能够很好的适用于临床诊断和实际应用。

Description

一种基于高效多源胶囊网络的跨被试EEG认知状态检测方法
技术领域
本发明涉及脑认知计算领域的神经电生理信号分析技术，及无监督学习领域的多源域域适应模型构建方法，是一种基于高效多源胶囊网络使用脑电信号(EEG)对认知状态进行检测的方法。本发明不仅能够有效解决不同被试个体差异性显著的问题，还能有效解释EEG特征与认知状态之间相关性的内在机制，此外，在保持胶囊网络性能的同时有效提高训练效率。
背景技术
脑电信号(EEG)是最能反映人脑认知活动的信号，是认知状态检测任务的关键指标。近年来，基于EEG的认知状态检测方法因其高时间分辨率、无创性和低成本的特点而受到越来越多的研究关注，并且广泛应用于不同任务，如疾病诊断、驾驶员疲劳状态检测和情绪识别等。
传统的基于EEG的分析方法通常将适当的特征提取与分类器结合起来，通过提取和分析EEG电位特征，识别不同任务的不同认知状态。尽管这些方法具有很高的判别性能，但大多针对被试内部的EEG会话数据或者分别混合多个被试的EEG会话数据进行分析，实现跨会话泛化。由于EEG信号具备个体差异性大、低信噪比和非线性的特征，上述方法在跨被试分析中的性能可能会严重下降，阻碍了基于EEG的跨被试认知状态检测的发展。因此，构建一个通用的跨被试EEG认知状态检测方法十分重要。
最近，深度学习(DL)由于具有良好的特征表示能力，在帮助理解复杂EEG信号方面显示出巨大的前景。然而，为了获得更好的神经网络性能，DL需要更大的数据量、更深的网络和更复杂的结构，而EEG数据普遍为有限小样本数据，且存在个体差异性大的特点，目前的一些DL方法可能不适合跨被试的EEG分析。特别地，对于经典卷积神经网络(CNN)及其变体，也很难建立明确学习或解释EEG特征与认知状态之间相关性的内在机制，很难分析它们为什么不适合在空间层面上进行具有强相关性的跨被试EEG数据。
胶囊网络是一种可解释的架构，采用了一种新的“矢量输入矢量输出”特征信息传输策略，并引入了动态路由算法来描述部分(底层特征的矢量表示)和整体(上层特征的矢量表示)之间的关系。在训练样本有限的情况下，胶囊网络的动态路由机制仍能获得较好的性能。目前已有一些研究工作将胶囊网络及其变体应用于基于EEG的分析，如运动想象分类、驾驶员警惕性估计等。
尽管现有的基于胶囊的EEG分析方法已经取得了快速的进展，但跨被试EEG分析仍然存在许多挑战：首先，胶囊网络的原始动态路由算法对EEG显著个体差异引起的异常值较为敏感；其次，胶囊网络的动态路由过程虽然能够描述从局部到整体的层次关系，但不能解释底层的部分间交互问题。具体地，对于多通道EEG分析，它很难描述通道之间的相互作用。从理论上讲，认知状态与脑功能连接方式之间存在着很强的相关性，不同的认知状态导致不同脑功能区活动的差异，而胶囊网络牺牲其训练性能以实现其可解释性，如何在保持胶囊网络性能的同时提高训练效率也是一个有待解决的问题。
此外，相关文献表明，区别于单源域域适应问题，多源域迁移学习同时将多个源域的知识迁移到目标域中辅助目标域的学习，这些数据不但和目标域不同，而且互相之间也不同，该方法可有效解决EEG的个体差异性问题。
综上所述，针对上述挑战，本发明将以跨被试、可解释性、高效、多源域为关键出发点，构建基于高效多源胶囊网络的跨被试EEG认知状态检测方法，以便在神经生理信号分析领域更高效的应用。
发明内容
本发明提出一种基于高效多源胶囊网络的跨被试EEG认知状态检测方法，针对EEG数据存在的高度非线性和显著的个体差异情况，以及对于EEG认知状态检测方法的准确性、可解释性和效率的需求，充分学习样本的结构特征，通过将目标域和多源域的特征分布对齐，以实现域间特征的有效迁移。
本发明提出的基于EEG的认知状态检测方法，综合考虑跨被试的关联性和相似性，通过对EEG进行特征分析，对被试的认知状态进行分类，实现在不同实验任务下的跨被试认知状态检测，如网络游戏成瘾患者的认知状态(成瘾和正常对照组)、驾驶员驾驶任务下的认知状态(清醒和疲劳)、实验被试在不同情绪刺激任务下的认知状态(负面、中性和正面情绪)等，可处理不同的脑电数据集。
本发明以疲劳驾驶脑电数据集为前提，为克服现有方法的不足所采用的技术方案如下：
步骤1：数据获取
本发明采用的疲劳驾驶脑电数据集中的数据为多名具有较好驾驶经验的健康被试的脑电EEG数据，并且每位被试在试验后填写NASA-TLX问卷，以提供主观的工作负荷感知。根据NASA-TLX问卷，本发明选取TAV3和DROWS两种精神状态作为分析。
步骤2：数据预处理
为进一步过滤噪声和去除伪影，本发明针对原始EEG数据，首先使用带通滤波器(1-30Hz)消除自发脑电信号以外的高频噪声以及工频干扰等信号，然后使用独立成分分析(ICA)方法进行处理，最后利用功率谱密度(PSD)提取EEG信号特征，为后续模型构建提供稳定的信号特征。
步骤3：基于E3GCAPS算法的跨被试EEG认知状态检测方法
输入：①带有认知状态标签的多源域样本数据
Figure BDA0003289927480000031
其中N为源域总数(即被试总数)，n为第n个源域，
Figure BDA0003289927480000032
表示第n个源域的样本，
Figure BDA0003289927480000033
表示第n个源域样本对应的真实标签。
②不带认知状态标签的目标域样本数据
Figure BDA0003289927480000041
其中
Figure BDA0003289927480000042
表示目标域的第i个样本，|XT|为目标域样本的总数。
③最大迭代次数T，标签类别k＝{1,2,…,K}，其中K为标签类别总数。
3-1.考虑到EEG通道之间的联系，将二维EEG数据转换为多通道一维结构，在保持模型性能的同时，极大地提高了训练效率。将源域和目标域的每个样本表示为
Figure BDA0003289927480000043
其中
Figure BDA0003289927480000044
Figure BDA0003289927480000045
Channels表示样本的通道数，Features表示样本每个通道的特征数。
3-2.使用批量归一化(BN)和指数线性单元(ELU)激活的逐点卷积作为公共特征提取器G(·)，提取公共域不变特征。第n个源域中的第i个样本
Figure BDA0003289927480000046
获得的公共域不变特征为
Figure BDA0003289927480000047
将其简化为
Figure BDA0003289927480000048
目标域中的第i个样
Figure BDA0003289927480000049
获得的公共域不变特征为
Figure BDA00032899274800000410
将其简化为
Figure BDA00032899274800000411
3-3.考虑到EEG数据异常值的敏感性，进一步引入多个自表达模块来获取样本之间的潜在联系。每个自表达模块包括全连接层和softmax函数；使用全连接层(FC)作为分类器，将学习到的特征分布映射到样本标签空间，并使用softmax函数从该全连接层的输出中获得类别系数C。softmax函数为：
Figure BDA00032899274800000412
其中，Ci表示来自源域或目标域的样本zi的类别系数，
Figure BDA00032899274800000413
表示FC层的转换，fik表示fi中属于第k类的特征。
3-4.为有效消除对少量数据的依赖，增加一个正则化项Lwc来约束自表达的类别系数C，防止过度拟合，提高泛化能力。Lwc的计算如下：
Figure BDA00032899274800000414
其中，T表示矩阵转置，M表示批训练样本数，α表示超参数。
总的正则化损失为：
Figure BDA0003289927480000051
其中，
Figure BDA0003289927480000052
为第n个源域的正则化项，
Figure BDA0003289927480000053
为目标域对应的正则化项。
3-5.公共特征提取器输出的域不变特征作为输入，引入多个EEGCAPS分类器，有效提取EEG的各种细粒度特征，包括：从公共域不变特征中提取特定于域的特征，将特定于域的特征映射到更高纬度的空间；通过初始胶囊层(PrimaryCaps)获得拥有向量输出的胶囊层
Figure BDA0003289927480000054
其中el为子胶囊，每个子胶囊在第l层的纬度是dl。记此时输出子胶囊数量为p个，
Figure BDA0003289927480000055
表示第n个源域的第j个子胶囊，
Figure BDA0003289927480000056
表示目标域的第j个子胶囊。
为了规范化特征，通过squash函数将特征压缩到0-1的范围内，squash函数可表示为：
Figure BDA0003289927480000057
其中，Fj为当前源域或目标域中的某个子胶囊，||Fj||表示Fj的L1范数，||Fj||2表示Fj的L2范数。此时第n个源域中第j个胶囊的输出为
Figure BDA0003289927480000058
记为
Figure BDA0003289927480000059
目标域中的第j个胶囊输出为
Figure BDA00032899274800000510
记为
Figure BDA00032899274800000511
3-6.考虑到EEG的强空间相关性，引入基于动态子胶囊的空间注意路由，子胶囊通过空间注意路由，路由到子胶囊所属的整体，输出认知胶囊，具体为：
①设置路由次数r，初始化层数l＝0，初始化先验权重矩阵W和先验概率矩阵a，初始化路由协议系数b，将类别系数C维度扩展输出C'，将子胶囊投影为认知胶囊：
Figure BDA00032899274800000512
其中，
Figure BDA0003289927480000061
表示源域或目标域中某个子胶囊T'j的第l层表达，C'j为维度扩展后第j个子胶囊的类别系数，
Figure BDA0003289927480000062
为T'j和认知胶囊Tk在第l层的先验权重矩阵。
②获取基于子胶囊的注意耦合系数rjk：
Figure BDA0003289927480000063
其中，ajk是T'j和
Figure BDA0003289927480000064
的先验概率矩阵，
Figure BDA0003289927480000065
是路由协议系数，tjk是通过学习T'j和
Figure BDA0003289927480000066
之间的空间关系计算的空间注意权重。
③获取加权和特征sk：
Figure BDA0003289927480000067
④获取输出胶囊
Figure BDA0003289927480000068
Figure BDA0003289927480000069
⑤获取路由协议系数
Figure BDA00032899274800000610
Figure BDA00032899274800000611
其中，cos(·)表示余弦相似性函数。
⑥层数l＝l+1，重复步骤②-⑤，直到达到路由次数r，记此时输出第k个认知胶囊为Tk。
3-7.认知胶囊的范数长度表示认知胶囊的存在概率。使用边际损失Lcap应用于每个认知胶囊，以优化整个胶囊网络模块。边际损失Lcap的计算如下：
Figure BDA00032899274800000612
其中，
Figure BDA00032899274800000613
为认知胶囊
Figure BDA00032899274800000614
的L1范数，如果样本属于类别k，则Yk＝1，否则Yk＝0，m+、m-和λ是超参数，max表示求两个数的最大值。
3-8.记当前第n个源域为
Figure BDA00032899274800000615
其第k个认知胶囊的范数长度为
Figure BDA00032899274800000616
目标域为
Figure BDA00032899274800000617
其第k'个认知胶囊的范数长度为
Figure BDA00032899274800000618
根据各个认知胶囊的范数长度，使用最大均值差异(MMD)来度量源域和目标域的预测分布的距离，对这两个分布进行对齐，得到损失
Figure BDA0003289927480000071
计算如下：
Figure BDA0003289927480000072
其中，H为再生核希尔伯特空间(RKHS),
Figure BDA0003289927480000073
表示将域的特定特征分布映射到H的特征映射函数。
总的MMD损失为：
Figure BDA0003289927480000074
3-9.计算总的目标优化函数，定义如下：
Ltotal＝Lcap+βLmmd+γLw#(13)
其中β和γ为模型的超参数。
3-10.重复步骤3-1至步骤3-9，直至迭代T次。
输出：目标域样本标签对应于所有分类器集成结果的类别标签。
本发明的主要贡献在于：
首先，将EEG数据构建成多通道一维结构，大大提高了训练效率，同时实现了更好的模型性能。其次，引入自表达模块来捕捉样本之间的潜在联系，能够很好地适应不同任务下具有显著个体差异的跨被试EEG数据分析。最后，提出了基于动态子胶囊的空间注意力算法来进一步学习EEG数据空间层次上的细粒度特征信息，有效刻画了EEG数据的部分间空间关系和部分-整体层次关系。
本发明有效避免了脑认知计算领域脑电信号的个体差异性问题，可适用于任何任务下基于EEG的认知状态识别，具有较强的泛化能力，能够很好的适用于临床诊断和实际应用。
附图说明
图1是本发明结构图。
具体实施方式
下面结合附图和实例对本发明作进一步说明。
目前，基于胶囊的相关研究成果大多应用在图像识别、目标检测等方面，胶囊网络为解释EEG与其相应的身体活动之间的相关性提供一种新的途径。现有方法大多使用胶囊网络从多频带EEG数据中提取多层次特征以进行认知状态检测，忽略了局部胶囊之间的关系，而对于被试之间存在显著差异的EEG数据，也没有有效的基于胶囊的框架来对其进行分析。
本发明所提出的算法主要有以下三个方面：1)考虑到不同EEG通道之间的相互作用，提取多通道一维脑电特征以代替通常采用的二维脑电特征作为输入，有效保留通道之间潜在的特征信息，并且显著加快训练过程；2)引入一个自表达的模块，通过考虑不同样本之间的潜在联系来计算类别系数，对胶囊路由模块进行加权，有效降低方法对异常值的敏感性，此外采用适当的正则化算法对批量样本的联合概率分布进行优化，有效避免过拟合；3)提出了一种改进的基于动态子胶囊的空间注意算法(子胶囊定义为底层特征的向量表示)，考虑到认知状态与脑功能连接模式之间的强相关性，通过引入空间注意力机制来探索多通道一维脑电数据的空间关系，进而有效地刻画脑电特征的潜在空间关系(部分间)和层次关系(部分-整体)。
从本质上看，该算法能够有效避免EEG高度非线性和显著个体差异特征的影响，在基于EEG的认知状态检测中可达到较好的准确率和较高的效率，并且能够较好地解释EEG特征与认知状态之间相关性的内在机制，在实际中具有广泛的应用场景。
综上所述，本发明针对基于EEG的认知状态检测问题，以EEG数据个体差异性特性以及认知检测方法的准确率、可解释性和效率为关键出发点，对被试的认知状态进行检测，其核心技术主要是基于高效多源胶囊网络的算法(Efficient EEG-based Multi-Capsule,E3GCAPS)构建针对多源域跨被试的EEG认知状态检测方法。本发明将每个训练被试个体作为一个单独域组成多个源域，新的跨被试个体作为目标域，综合考虑跨被试的关联性和相似性，引入胶囊网络和空间注意力机制对跨被试的认知状态进行检测。该方法充分考虑数据的特征空间分布结构，不仅能有效解释EEG特征与认知状态之间相关性的内在机制，还能大大提高模型训练效率，并且具有较高的普适性，在实际的脑机交互(BCI)中有广泛的应用前景，为临床应用提供技术支持。
如图1所示，是基于高效多源胶囊网络的跨被试EEG认知状态检测方法(E3GCAPS)的结构图，主要包括如下步骤：
步骤1：数据获取
本发明采用的疲劳驾驶脑电数据集中的数据为15名具有较好驾驶经验的健康被试的脑电EEG数据，并且每位被试在试验后填写NASA-TLX问卷，以提供主观的工作负荷感知。根据NASA-TLX问卷，本发明选取TAV3和DROWS两种精神状态作为分析。
步骤2：数据预处理
以疲劳驾驶EEG数据为例，原始EEG数据处理步骤如下所示：
2-1.伪迹去除：对获取的原始EEG数据进行伪迹去除操作，首先进行1-30Hz的带通滤波处理，同时去除信号中的工频干扰及直流成分；之后采用ICA独立成分分析去除信号中的伪迹。
2-2.PSD特征提取：对伪迹去除后的EEG进行PSD特征提取，针对每个被试个体的EEG通过0.5s的滑动窗口进行数据分割，得到1400个样本，脑电数据采集通道数为61，提取与疲劳驾驶相关的频段4-30Hz(其中θ为4-7Hz，α为8-13Hz，β为14-30Hz)，对提取频段和通道维度进行拼接得到61*27维的特征向量，每个被试个体对应1400*1647维度的样本数据。
步骤3：基于E3GCAPS算法的跨被试EEG认知状态检测方法
输入：①带有认知状态标签的多源域样本数据集Us，具体为：
Figure BDA0003289927480000101
其中N为源域总数(即被试总数)，n为第n个源域，
Figure BDA0003289927480000102
表示第n个源域的样本，
Figure BDA0003289927480000103
表示第n个源域样本对应的真实标签，更具体地如下所示：
Figure BDA0003289927480000104
其中
Figure BDA0003289927480000105
表示第n个源域的第i个样本，
Figure BDA0003289927480000106
表示第n个源域的第i个样本对应的真实标签，|Xsn|为第n个源域的样本总数；
②不带认知状态标签的目标域样本数据XT，具体为：
Figure BDA0003289927480000107
其中
Figure BDA0003289927480000108
表示目标域的第i个样本，|XT|为目标域样本的总数；
③最大迭代次数T，标签类别k＝{1,2,…,K}，其中K为标签类别总数。
3-1.考虑到EEG通道之间的联系，将二维EEG数据转换为多通道一维结构，在保持模型性能的同时，极大地提高了训练效率。将源域和目标域的每个样本表示为
Figure BDA0003289927480000109
其中
Figure BDA00032899274800001010
Figure BDA00032899274800001011
Channels表示样本的通道数，Features表示样本每个通道的特征数。
3-2.使用批量归一化(BN)和指数线性单元(ELU)激活的逐点卷积作为公共特征提取器G(·)，从多个源域和目标域中提取多通道一维数据的公共域不变特征。第n个源域中的第i个样本
Figure BDA00032899274800001012
获得的公共域不变特征为
Figure BDA00032899274800001013
将其简化为
Figure BDA00032899274800001014
目标域中的第i个样
Figure BDA00032899274800001015
获得的公共域不变特征为
Figure BDA00032899274800001016
将其简化为
Figure BDA00032899274800001017
3-3.考虑到EEG数据异常值的敏感性，进一步引入多个自表达模块来获取样本之间的潜在联系。每个自表达模块包括全连接层和softmax函数；使用全连接层(FC)作为分类器，将学习到的特征分布映射到样本标签空间，并使用softmax函数从该全连接层的输出中获得类别系数C，其中：第n个源域中的第i个样本
Figure BDA00032899274800001018
获得的自表达模块输出为类别系数
Figure BDA0003289927480000111
目标域中的第i个样本
Figure BDA0003289927480000112
获得的自表达模块输出为类别系数
Figure BDA0003289927480000113
softmax函数为：
Figure BDA0003289927480000114
其中，Ci表示来自源域或目标域的样本zi的类别系数，
Figure BDA0003289927480000115
表示FC层的转换，fik表示fi中属于第k类的特征。
3-4.为有效消除对少量数据的依赖，增加一个正则化项Lwc来约束自表达的类别系数C，防止过度拟合，提高泛化能力。Lwc的计算如下：
Figure BDA0003289927480000116
其中，T表示矩阵转置，M表示批训练样本数，α表示超参数。
总的正则化损失为：
Figure BDA0003289927480000117
其中，
Figure BDA0003289927480000118
为第n个源域的正则化项，
Figure BDA0003289927480000119
为目标域对应的正则化项。
3-5.公共特征提取器输出的域不变特征作为输入，引入多个EEGCAPS分类器，有效提取EEG的各种细粒度特征，包括：
首先，使用一组卷积层从公共域不变特征中提取特定于域的特征，并应用BN和ELU，将特定于域的特征映射到更高纬度的空间。
接着，通过初始胶囊层(PrimaryCaps)获得拥有向量输出的胶囊层
Figure BDA00032899274800001110
其中el为子胶囊，每个子胶囊在第l层的纬度是dl，此时的特征表示不再是单个神经元，而是向量胶囊。记此时第n个源域的输出为p个子胶囊，
Figure BDA00032899274800001111
表示其中的第j个子胶囊，目标域的输出为p个子胶囊，
Figure BDA00032899274800001112
表示其中的第j个子胶囊。
最后，为了规范化特征，通过squash函数将特征压缩到0-1的范围内，squash函数可表示为：
Figure BDA0003289927480000121
其中，Fj为当前源域或目标域中的某个子胶囊，||Fj||表示Fj的L1范数，||Fj||2表示Fj的L2范数。此时第n个源域中第j个胶囊的输出为
Figure BDA0003289927480000122
记为
Figure BDA0003289927480000123
目标域中的第j个胶囊输出为
Figure BDA0003289927480000124
记为
Figure BDA0003289927480000125
3-6.考虑到EEG的强空间相关性，引入一种空间注意力机制来约束动态路由系数，子胶囊通过空间注意路由，路由到子胶囊所属的整体，最终输出为认知胶囊。每个源域或目标域的认知胶囊数均为K。具体为：
⑦设置路由次数r，初始化层数l＝0，初始化先验权重矩阵W和先验概率矩阵a，初始化路由协议系数b，将类别系数C维度扩展输出C'，将子胶囊投影为认知胶囊：
Figure BDA0003289927480000126
其中，
Figure BDA0003289927480000127
表示源域或目标域中某个子胶囊T'j的第l层表达，C'j为维度扩展后的对应第j个子胶囊的类别系数，
Figure BDA0003289927480000128
为T'j和某个认知胶囊Tk在第l层的先验权重矩阵。
⑧获取基于子胶囊的注意耦合系数rjk：
Figure BDA0003289927480000129
其中，ajk是T'j和
Figure BDA00032899274800001210
的先验概率矩阵，
Figure BDA00032899274800001211
是路由协议系数，tjk是通过学习T'j和
Figure BDA00032899274800001212
之间的空间关系计算的空间注意权重，通过一维卷积直接学习子胶囊的特征而来，该卷积可以进行权重共享，以实现跨通道(空间级别)交互策略，而无需降维，可以有效捕捉子胶囊之间的空间关系。
⑨获取加权和特征sk：
Figure BDA00032899274800001213
⑩获取输出胶囊
Figure BDA00032899274800001214
Figure BDA0003289927480000131
Figure BDA00032899274800001315
获取路由协议系数
Figure BDA0003289927480000132
Figure BDA0003289927480000133
其中，cos(·)表示余弦相似性函数，通过计算向量间夹角的余弦来评估其相似性，可以有效度量样本特征的空间差异。其计算公式如下：
Figure BDA0003289927480000134
其中，A和B表示两个向量，||A||表示A的L1范数，||B||表示B的L1范数。
Figure BDA00032899274800001316
层数l＝l+1，重复步骤②-⑤，直到达到路由次数r，记此时输出第k个认知胶囊为Tk。
3-7.向量的范数长度用于表示认知胶囊的存在概率。使用边际损失Lcap应用于每个认知胶囊，以优化整个胶囊网络。边际损失Lcap的计算如下：
Figure BDA0003289927480000135
其中，
Figure BDA0003289927480000136
为第n个源域第k个认知胶囊
Figure BDA0003289927480000137
的L1范数，如果样本属于类别k，则Yk＝1，否则Yk＝0，m+、m-和λ是超参数，max表示求最大值。
3-8.记当前第n个源域为
Figure BDA0003289927480000138
其第k个认知胶囊的范数长度为
Figure BDA0003289927480000139
目标域为
Figure BDA00032899274800001310
其第k'个认知胶囊的范数长度为
Figure BDA00032899274800001311
根据各个认知胶囊的范数长度，使用最大均值差异(MMD)来度量源域和目标域的预测分布的距离，对这两个分布进行对齐，得到损失
Figure BDA00032899274800001312
计算如下：
Figure BDA00032899274800001313
其中，H为再生核希尔伯特空间(RKHS),
Figure BDA00032899274800001314
表示将域的特定特征分布映射到H的特征映射函数。
总的MMD损失为：
Figure BDA0003289927480000141
3-9.计算总的目标优化函数，定义如下：
Ltotal＝Lcap+βLmmd+γLw#(17)
其中β和γ为模型的超参数。
3-10.重复步骤3-1至步骤3-9，直至迭代T次。
输出：目标域样本标签对应于所有分类器集成结果的类别标签。
本发明可适用于任何基于EEG的认知状态检测，一定程度上解决了脑电个体差异性问题，解释了EEG特征与认知状态之间相关性的内在机制，具有效率高、泛化能力强等优势。

Claims (4)

1.一种基于高效多源胶囊网络的跨被试EEG认知状态检测方法，其特征在于包括如下步骤：
步骤1：数据获取
采用的疲劳驾驶脑电数据集中的数据：多名具有较好驾驶经验的健康被试的脑电EEG数据，并且每位被试在试验后填写NASA-TLX问卷，根据NASA-TLX问卷，选取TAV3和DROWS两种精神状态作为分析；
步骤2：数据预处理
针对原始EEG数据，首先使用带通滤波器消除自发脑电信号以外的高频噪声以及工频干扰信号，然后使用独立成分分析方法进行处理，最后利用功率谱密度提取EEG信号特征，为后续模型构建提供稳定的信号特征。
步骤3：基于E3GCAPS算法的跨被试EEG认知状态检测方法。
2.根据权利要求1所述的一种基于高效多源胶囊网络的跨被试EEG认知状态检测方法，其特征在于步骤3具体实现如下：
输入：①带有认知状态标签的多源域样本数据
Figure FDA0003289927470000011
其中N为源域总数，n为第n个源域，
Figure FDA0003289927470000012
表示第n个源域的样本，
Figure FDA0003289927470000013
表示第n个源域样本对应的真实标签；
②不带认知状态标签的目标域样本数据
Figure FDA0003289927470000014
其中
Figure FDA0003289927470000015
表示目标域的第i个样本，|XT|为目标域样本的总数；
③最大迭代次数T，标签类别k＝{1,2,…,K}，其中K为标签类别总数；
3-1.考虑到EEG通道之间的联系，将二维EEG数据转换为多通道一维结构，将源域和目标域的每个样本表示为
Figure FDA0003289927470000016
Figure FDA0003289927470000017
其中
Figure FDA0003289927470000018
Channels表示样本的通道数，Features表示样本每个通道的特征数；
3-2.使用批量归一化和指数线性单元激活的逐点卷积作为公共特征提取器G(·)，提取公共域不变特征；第n个源域中的第i个样本
Figure FDA0003289927470000021
获得的公共域不变特征为
Figure FDA0003289927470000022
将其简化为
Figure FDA0003289927470000023
目标域中的第i个样
Figure FDA0003289927470000024
获得的公共域不变特征为
Figure FDA0003289927470000025
将其简化为
Figure FDA0003289927470000026
3-3.考虑到EEG数据异常值的敏感性，进一步引入多个自表达模块来获取样本之间的潜在联系；
3-4.为有效消除对少量数据的依赖，增加一个正则化项Lwc来约束自表达的类别系数C，防止过度拟合，提高泛化能力；Lwc的计算如下：
Figure FDA0003289927470000027
其中，T表示矩阵转置，M表示批训练样本数，α表示超参数；
总的正则化损失为：
Figure FDA0003289927470000028
其中，
Figure FDA0003289927470000029
为第n个源域的正则化项，
Figure FDA00032899274700000210
为目标域对应的正则化项；
3-5.公共特征提取器输出的域不变特征作为输入，引入多个EEGCAPS分类器，有效提取EEG的各种细粒度特征，包括：从公共域不变特征中提取特定于域的特征，将特定于域的特征映射到更高纬度的空间；通过初始胶囊层获得拥有向量输出的胶囊层
Figure FDA00032899274700000211
其中el为子胶囊，每个子胶囊在第l层的纬度是dl；记此时输出子胶囊数量为p个，
Figure FDA00032899274700000212
表示第n个源域的第j个子胶囊，
Figure FDA00032899274700000213
表示目标域的第j个子胶囊；
为了规范化特征，通过squash函数将特征压缩到0-1的范围内，squash函数可表示为：
Figure FDA00032899274700000214
其中，Fj为当前源域或目标域中的某个子胶囊，||Fj||表示Fj的L1范数，||Fj||2表示Fj的L2范数；此时第n个源域中第j个胶囊的输出为
Figure FDA0003289927470000031
记为
Figure FDA0003289927470000032
目标域中的第j个胶囊输出为
Figure FDA0003289927470000033
记为
Figure FDA0003289927470000034
3-6.考虑到EEG的强空间相关性，引入基于动态子胶囊的空间注意路由，子胶囊通过空间注意路由，路由到子胶囊所属的整体，输出认知胶囊；
3-7.认知胶囊的范数长度表示认知胶囊的存在概率；使用边际损失Lcap应用于每个认知胶囊，以优化整个胶囊网络模块；边际损失Lcap的计算如下：
Figure FDA0003289927470000035
其中，
Figure FDA0003289927470000036
为认知胶囊
Figure FDA0003289927470000037
的L1范数，如果样本属于类别k，则Yk＝1，否则Yk＝0，m+、m-和λ是超参数，max表示求两个数的最大值；
3-8.记当前第n个源域为
Figure FDA0003289927470000038
其第k个认知胶囊的范数长度为
Figure FDA0003289927470000039
目标域为
Figure FDA00032899274700000310
其第k'个认知胶囊的范数长度为
Figure FDA00032899274700000311
根据各个认知胶囊的范数长度，使用最大均值差异来度量源域和目标域的预测分布的距离，对这两个分布进行对齐，得到损失
Figure FDA00032899274700000312
计算如下：
Figure FDA00032899274700000313
其中，H为再生核希尔伯特空间,
Figure FDA00032899274700000314
表示将域的特定特征分布映射到H的特征映射函数；
总的MMD损失为：
Figure FDA00032899274700000315
3-9.计算总的目标优化函数，定义如下：
Ltotal＝Lcap+βLmmd+γLw#(13)
其中β和γ为模型的超参数；
3-10.重复步骤3-1至步骤3-9，直至迭代T次；
输出：目标域样本标签对应于所有分类器集成结果的类别标签。
3.根据权利要求2所述的一种基于高效多源胶囊网络的跨被试EEG认知状态检测方法，其特征在于步骤3-3具体实现如下：
每个自表达模块包括全连接层和softmax函数；使用全连接层(FC)作为分类器，将学习到的特征分布映射到样本标签空间，并使用softmax函数从该全连接层的输出中获得类别系数C；
softmax函数为：
Figure FDA0003289927470000041
其中，Ci表示来自源域或目标域的样本zi的类别系数，
Figure FDA0003289927470000042
表示FC层的转换，fik表示fi中属于第k类的特征。
4.根据权利要求2或3所述的一种基于高效多源胶囊网络的跨被试EEG认知状态检测方法，其特征在于步骤3-6具体实现如下：
3-6-1.设置路由次数r，初始化层数l＝0，初始化先验权重矩阵W和先验概率矩阵a，初始化路由协议系数b，将类别系数C维度扩展输出C'，将子胶囊投影为认知胶囊：
Figure FDA0003289927470000043
其中，
Figure FDA0003289927470000044
表示源域或目标域中某个子胶囊T'j的第l层表达，C'j为维度扩展后第j个子胶囊的类别系数，
Figure FDA0003289927470000045
为T'j和认知胶囊Tk在第l层的先验权重矩阵；
3-6-2.获取基于子胶囊的注意耦合系数rjk：
Figure FDA0003289927470000046
其中，ajk是T'j和
Figure FDA0003289927470000047
的先验概率矩阵，
Figure FDA0003289927470000048
是路由协议系数，tjk是通过学习T'j和
Figure FDA0003289927470000049
之间的空间关系计算的空间注意权重；
3-6-3.获取加权和特征sk：
Figure FDA00032899274700000410
3-6-4.获取输出胶囊
Figure FDA0003289927470000051
Figure FDA0003289927470000052
3-6-5.获取路由协议系数
Figure FDA0003289927470000053
Figure FDA0003289927470000054
其中，cos(·)表示余弦相似性函数；
3-6-6.层数l＝l+1，重复步骤3-6-2到步骤3-6-5，直到达到路由次数r，记此时输出第k个认知胶囊为Tk。
CN202111160386.9A 2021-09-30 2021-09-30 一种基于高效多源胶囊网络的跨被试eeg认知状态检测方法 Active CN113842151B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111160386.9A CN113842151B (zh) 2021-09-30 2021-09-30 一种基于高效多源胶囊网络的跨被试eeg认知状态检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111160386.9A CN113842151B (zh) 2021-09-30 2021-09-30 一种基于高效多源胶囊网络的跨被试eeg认知状态检测方法

Publications (2)

Publication Number Publication Date
CN113842151A true CN113842151A (zh) 2021-12-28
CN113842151B CN113842151B (zh) 2024-01-05

Family

ID=78977491

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111160386.9A Active CN113842151B (zh) 2021-09-30 2021-09-30 一种基于高效多源胶囊网络的跨被试eeg认知状态检测方法

Country Status (1)

Country Link
CN (1) CN113842151B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116304585A (zh) * 2023-05-18 2023-06-23 中国第一汽车股份有限公司 情感识别及模型训练方法、装置、电子设备及存储介质

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015071901A2 (en) * 2013-11-13 2015-05-21 Elminda Ltd. Method and system for managing pain
US20160321559A1 (en) * 2013-06-28 2016-11-03 D-Wave Systems Inc. Systems and methods for quantum processing of data
US20200337625A1 (en) * 2019-04-24 2020-10-29 Interaxon Inc. System and method for brain modelling
CN112488081A (zh) * 2020-12-23 2021-03-12 杭州电子科技大学 基于ddadsm跨被试迁移学习脑电精神状态检测方法
CN112580518A (zh) * 2020-12-22 2021-03-30 杭州电子科技大学 基于原型聚类域适应算法的跨被试eeg认知状态识别方法
CN112667080A (zh) * 2020-12-28 2021-04-16 西安电子科技大学 基于深度卷积对抗网络的脑电信号无人平台智能控制方法
CN112733721A (zh) * 2021-01-12 2021-04-30 浙江工业大学 一种基于胶囊网络的表面肌电信号分类方法
CN112749635A (zh) * 2020-12-29 2021-05-04 杭州电子科技大学 基于原型聚类域适应算法的跨被试eeg认知状态识别方法
CN112766355A (zh) * 2021-01-13 2021-05-07 合肥工业大学 一种标签噪声下的脑电信号情绪识别方法
CN113392733A (zh) * 2021-05-31 2021-09-14 杭州电子科技大学 基于标签对齐的多源域自适应跨被试eeg认知状态评估方法

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160321559A1 (en) * 2013-06-28 2016-11-03 D-Wave Systems Inc. Systems and methods for quantum processing of data
WO2015071901A2 (en) * 2013-11-13 2015-05-21 Elminda Ltd. Method and system for managing pain
US20200337625A1 (en) * 2019-04-24 2020-10-29 Interaxon Inc. System and method for brain modelling
CN112580518A (zh) * 2020-12-22 2021-03-30 杭州电子科技大学 基于原型聚类域适应算法的跨被试eeg认知状态识别方法
CN112488081A (zh) * 2020-12-23 2021-03-12 杭州电子科技大学 基于ddadsm跨被试迁移学习脑电精神状态检测方法
CN112667080A (zh) * 2020-12-28 2021-04-16 西安电子科技大学 基于深度卷积对抗网络的脑电信号无人平台智能控制方法
CN112749635A (zh) * 2020-12-29 2021-05-04 杭州电子科技大学 基于原型聚类域适应算法的跨被试eeg认知状态识别方法
CN112733721A (zh) * 2021-01-12 2021-04-30 浙江工业大学 一种基于胶囊网络的表面肌电信号分类方法
CN112766355A (zh) * 2021-01-13 2021-05-07 合肥工业大学 一种标签噪声下的脑电信号情绪识别方法
CN113392733A (zh) * 2021-05-31 2021-09-14 杭州电子科技大学 基于标签对齐的多源域自适应跨被试eeg认知状态评估方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
HONG ZENG， CHEN YANG ， GUOJUN DAI ， FEIWEI QIN ， JIANHAI ZHANG ， WANZENG KONG: "EEG classification of driver mental states by deep learning", COGNITIVE NEURODYNAMICS, pages 597 - 606 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116304585A (zh) * 2023-05-18 2023-06-23 中国第一汽车股份有限公司 情感识别及模型训练方法、装置、电子设备及存储介质
CN116304585B (zh) * 2023-05-18 2023-08-15 中国第一汽车股份有限公司 情感识别及模型训练方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN113842151B (zh) 2024-01-05

Similar Documents

Publication Publication Date Title
Pathak et al. A study of deep learning approach for the classification of Electroencephalogram (EEG) brain signals
CN110598793B (zh) 一种大脑功能网络特征分类方法
CN112244873A (zh) 一种基于混合神经网络的脑电时空特征学习与情感分类方法
CN113392733B (zh) 基于标签对齐的多源域自适应跨被试eeg认知状态评估方法
CN112580518B (zh) 基于原型聚类域适应算法的跨被试eeg认知状态识别方法
CN114176607B (zh) 一种基于视觉Transformer的脑电信号分类方法
CN114564990B (zh) 一种基于多通道反馈胶囊网络的脑电信号分类方法
CN113010013A (zh) 一种基于Wasserstein距离的运动想象脑电迁移学习方法
CN111513717A (zh) 一种大脑功能状态提取方法
CN115919330A (zh) 基于多层次se注意力和图卷积的eeg情绪状态分类方法
CN112749635A (zh) 基于原型聚类域适应算法的跨被试eeg认知状态识别方法
CN113842151B (zh) 一种基于高效多源胶囊网络的跨被试eeg认知状态检测方法
CN114983343A (zh) 睡眠分期方法及其系统、计算机可读存储介质、电子设备
CN113011330B (zh) 一种基于多尺度神经网络和空洞卷积的脑电信号分类方法
Zhao et al. E3GCAPS: Efficient EEG-based multi-capsule framework with dynamic attention for cross-subject cognitive state detection
Liu et al. Automatic detection of ECG abnormalities by using an ensemble of deep residual networks with attention
Li et al. Facial emotion recognition via stationary wavelet entropy and Biogeography-based optimization
CN115429286B (zh) 一种心电表征自监督学习方法
CN114492560A (zh) 一种基于迁移学习的脑电情绪分类方法
CN114757273A (zh) 一种基于协同对比正则化平均教师模型的脑电信号分类方法
CN113128459A (zh) 一种基于多层次脑电信号表达下的特征融合方法
CN117257242B (zh) 一种癫痫分类方法和系统
CN117770840A (zh) 一种基于自注意力机制的脑电信号识别方法
CN117708499A (zh) 基于动态特征共识的子域自适应运动想象eeg解码方法
Deepthi An Optimized Prediction Of Alzheimer’s Disease Using Deep Convoltional Neural Network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant