CN115238835B - 基于双空间自适应融合的脑电情感识别方法、介质及设备 - Google Patents

基于双空间自适应融合的脑电情感识别方法、介质及设备 Download PDF

Info

Publication number
CN115238835B
CN115238835B CN202211161210.XA CN202211161210A CN115238835B CN 115238835 B CN115238835 B CN 115238835B CN 202211161210 A CN202211161210 A CN 202211161210A CN 115238835 B CN115238835 B CN 115238835B
Authority
CN
China
Prior art keywords
representation
space
electroencephalogram
adaptive fusion
double
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202211161210.XA
Other languages
English (en)
Other versions
CN115238835A (zh
Inventor
陈俊龙
叶梦晴
张通
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
South China University of Technology SCUT
Original Assignee
South China University of Technology SCUT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by South China University of Technology SCUT filed Critical South China University of Technology SCUT
Priority to CN202211161210.XA priority Critical patent/CN115238835B/zh
Publication of CN115238835A publication Critical patent/CN115238835A/zh
Application granted granted Critical
Publication of CN115238835B publication Critical patent/CN115238835B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/372—Analysis of electroencephalograms
    • A61B5/374—Detecting the frequency distribution of signals, e.g. detecting delta, theta, alpha, beta or gamma waves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/377—Electroencephalography [EEG] using evoked responses
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Psychiatry (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Artificial Intelligence (AREA)
  • Pathology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Psychology (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Fuzzy Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Social Psychology (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明提供了一种基于双空间自适应融合的脑电情感识别方法、介质及设备；其中方法为：输入脑电数据并进行预处理；将脑电数据并行输入到双空间表示自适应融合网络的潜在空间表示模块和图拓扑空间表示模块：潜在空间表示模块得到判别性特征表示；在图拓扑空间表示模块中，脑电通道图构建单元构建脑电通道的邻接矩阵；将邻接矩阵及脑电数据输入到图卷积网络中进行特征提取得到拓扑空间表示；将判别性特征表示、拓扑空间表示及融合表示联合输入到自适应融合模块中提取协同信息表示，实现情感分类。该方法既可捕获脑电数据的潜在空间信息，同时获取脑电通道间的拓扑空间信息，并进行互补融合，可得到更全面特征表示，提高情感识别的性能。

Description

基于双空间自适应融合的脑电情感识别方法、介质及设备
技术领域
本发明涉及情感识别方法技术领域，更具体地说，涉及一种基于双空间自适应融合的脑电情感识别方法、介质及设备。
背景技术
基于脑电信号的情感识别过程主要分为以下四个步骤：首先，使用刺激材料对受试者进行情绪诱导，同时采集受试者的脑电信号；其次，原始脑电信号包含许多噪声和干扰，需要对其进行预处理，如滤波去噪和应用巴特沃斯带通滤波器去噪；然后，需要从预处理的信号中提取和选择特征，即转换信号并去除不相关的成分，并选择最相关的特征集来提高基于脑电图的情感识别的性能；最后，将选取的特征输入到分类器中进行训练和测试。
早期的基于脑电信号的情感识别研究大多利用传统的分类方法来提取特征，如支持向量机（SVM）、K-近邻（KNN）、贝叶斯网络（BN）。随着深度学习在各种任务中的成功应用，基于脑电信号的情感识别在深度学习中的应用日益突出。现有的许多方法都能很好地捕捉脑电信号的时域和频域信息。其中，基于卷积神经网络的方法侧重于空间建模，具有权重共享和局部连接的特点。基于递归神经网络（RNN）的方法侧重于脑电信号的时间建模，有许多改进的模型和变体。这些方法在基于脑电图的情感识别中取得了较好的性能，但都只在单通道上进行特征提取，忽略了脑内通道之间的潜在联系。而基于卷积神经网络的方法虽然表明了将深度学习应用于基于脑电图的情感识别的可行性，但数据处理仅限于欧几里得空间，数据通常具有平移不变性和局部可联通性。而脑电通道内隐连接分布不规则且不具有欧几里得结构，这些方法很难学习到其特性。因此构建大脑的功能连接是一个挑战。
近年来，利用图卷积网络（GCN）的方法越来越多，它已被证明在图学习中具有强大的作用。关于大脑连接的研究指出，杏仁核和内侧前额叶皮层之间的结构和功能连接比单独的任何一个区域的活动更能反应情绪的状态。这意味着不同脑区的互动可以在帮助揭示大脑活动方面发挥重要作用。目前用于脑电情绪识别的算法大多趋向于探究及构建脑电通道的拓扑空间关系。最近有许多工作将图卷积网络用于脑电情绪识别，旨在更好地构建EEG通道的拓扑关系以捕获更多的实际信息。基于图卷积网络的脑电情感识别算法可以建立通道之间的连接，并融合不规则脑电图通道的信息。具体来说，许多使用图卷积网络的研究将每个通道视为图中的节点，邻接矩阵表示通道之间的连接。目前很多采用图卷积网络的方法将邻接矩阵作为可学习参数，使模型动态学习通道间的空间关系。有些算法提出自适应的图构建方法，以探索不同脑电区域之间的个体差异和动态不确定关系。从大量研究中可以得出结论，图卷积网络有效地构建了不同脑区的功能连接。
现有的基于图卷积网络的脑电情绪识别算法通过构建脑电通道间的连接关系，将不规则脑电通道的信息进行传递融合。许多研究采用根据通道的物理位置预先定义通道的连接，将每个通道视为图中的节点，通道间的联系用邻接矩阵来表示。但有研究表明大脑存在与情绪相关的隐式通道连接关系，即通过预先定义的物理连接关系不能反应真实的脑电通道连接关系。因此很难准确捕获有效的脑电通道拓扑空间信息。此外，这些方法大多仅关注脑电通道间的联系，而忽略了脑电信号原始数据本身的一些判别性特征。并且这些方法在训练模型时大多缺乏对数据真实分布的判断。
发明内容
为克服现有技术中的缺点与不足，本发明的目的在于提供一种基于双空间自适应融合的脑电情感识别方法、介质及设备；该方法既可以捕获脑电数据的潜在空间信息，同时获取脑电通道间的拓扑空间信息，并将两种信息进行互补融合，可得到一个更全面、更利于情感识别任务的特征表示，从而提高情感识别的性能。
为了达到上述目的，本发明通过下述技术方案予以实现：一种基于双空间自适应融合的脑电情感识别方法，通过双空间表示自适应融合网络实现；所述双空间表示自适应融合网络包括潜在空间表示模块、图拓扑空间表示模块和自适应融合模块；所述双空间表示自适应融合网络是指经过训练的双空间表示自适应融合网络；
脑电情感识别方法包括如下步骤：
输入脑电数据；对脑电数据进行预处理；
将预处理后的脑电数据 X并行输入到双空间表示自适应融合网络的潜在空间表示模块和图拓扑空间表示模块：
所述潜在空间表示模块包括潜在表示层，以及与潜在表示层共享权重结构的分类器；在潜在空间表示模块中，预处理后的脑电数据同时输入到潜在表示层和分类器；潜在表示层得到脑电数据的判别性特征表示 Z F ；分类器通过伪学习生成一个伪标签 Y F ；
所述图拓扑空间表示模块包括脑电通道图构建单元和图卷积网络；在图拓扑空间表示模块中，脑电通道图构建单元根据脑电数据 X在特征空间上的特征相似性构建不同的通道间连接，构建脑电通道的邻接矩阵 A；将构建好的邻接矩阵 A及脑电数据 X输入到图卷积网络中进行特征提取，得到拓扑空间表示 Z G ；
将判别性特征表示 Z F 、拓扑空间表示 Z G 、以及判别性特征表示 Z F 和拓扑空间表示 Z G 的融合表示 Z C 联合输入到自适应融合模块中提取协同信息表示 Z Z ，实现情感分类。
优选地，所述潜在表示层由三个潜在表示块组成，每个潜在表示块包括了批归一化层、多层感知机和激活函数；
每个潜在表示块得到的特征表示 H F (l+1) 为：
H F (l+1) =σ(  f (  BN( H F (l) ) ,Θ F ))
其中，初始状态 H F (0) =X； BN(·)为批归一化层； Θ F 为参数集； f (·)是以参数集 Θ F 对脑电数据 X进行特征提取的多层感知机； H F (l) 是第 l层潜在表示块输出的特征表示；σ为激活函数；
堆叠三个潜在表示块得到的特征表示 H F (l+1) 后得到潜在表示层的判别性特征 Z F 。
优选地，所述分类器通过伪学习生成的伪标签 Y F 为：
Y F =h ( H F (l+1) )
其中， h为伪标签映射函数。
优选地，所述图拓扑空间表示模块中，邻接矩阵 A的构建方法是，脑电数据 X={ X 1  ,  X 2  , ... , X N }， N为脑电数据的通道数量；采用高斯核函数在特征空间中计算通道之间的相似度，构建通道间的功能性连接，邻接矩阵 A中的 A pq 代表第 p个通道与第 q个通道间的相似度；
当 X p 和 X q 连接时，
当 X p 和 X q 不连接时， A pq =0；
其中， X p  、 X q 分别对应第 p、q个通道的脑电数据； X avg 代表脑电数据的平均值， exp为以自然常数 e为底的指数函数。
优选地，所述图卷积网络由堆叠的两层图卷积层组成；图卷积网络表示 Z G 为：
其中, A'=A+I； I是单位矩阵； H G (l) 是第 l层图卷积层的输出； H G (l+1) 是第 l+1层图卷积层的输出； D是邻接矩阵 A的对角度矩阵； W G (l) 是第 l层图卷积层的权重；σ代表激活函数。
优选地，所述协同信息表示 Z Z 为：
Z Z =α F · Z F  +α G · Z G  +α C · Z C
其中， α k  ( k= F,G,C)为注意力系数；注意力系数 α k 通过归一化注意权重 e k 得到；注意权重 e k 通过一个共享特征向量 q k 学习得到：
e k  =q k ·tanh(W· Z k +b)
α k =softmax(e k ) ；
其中， k= F,G,C； Z F 是判别性特征表示； Z G 是拓扑空间表示； Z C 是融合表示； W是自适应融合模块的权重；  b是自适应融合模块的偏置。
优选地，双空间表示自适应融合网络训练时，将作为样本的脑电数据进行预处理，输入到双空间表示自适应融合网络中，得到协同信息表示 Z Z ；通过将协同信息表示 Z Z 得到的分类结果与真实结果进行对比，优化网络参数。
优选地，所述双空间表示自适应融合网络的损失函数，由基于数据驱动的分类损失 L cla 及伪标签损失 L y 两部分组成；
所述基于数据驱动的分类损失 L cla 用四种嵌入得到的预测向量与真实数据分布间的交叉熵损失来衡量；四种嵌入分别为：潜在空间表示模块输出嵌入、图拓扑空间表示模块输出嵌入、融合嵌入以及自适应融合模块输出嵌入；
基于数据驱动的分类损失 L cla 为：
其中， n为样本数量； c为分类数目； Y ij 表示第 i个样本属于第 j个类的真实概率； Ỹ F ij 代表潜在空间表示模块输出的第 i个样本属于第 j个类的预测概率； Ỹ G ij 代表图拓扑空间表示模块输出的第 i个样本属于第 j个类的预测概率； Ỹ C ij 代表融合表示的第 i个样本属于第 j个类的预测概率； Ỹ Z ij 代表自适应融合模块输出的表示第 i个样本属于第 j个类的预测概率；
预测概率 Ỹ F ij 、Ỹ G ij 、 Ỹ C ij 、 Ỹ Z ij 分别通过 softmax函数得到；
所述伪标签损失 L y 为：
其中， Y i 为第 i个样本对应的真实标签； Y F i 为学习得到的伪标签；
双空间表示自适应融合网络的损失函数 L total 为：
L total  =  αL cla +βL y
其中， α和 β分别为系数；通过迭代最小化损失函数来更新双空间表示自适应融合网络的参数，得到最优的双空间表示自适应融合网络结构。
优选地，所述对脑电数据进行预处理是指，对脑电数据进行去除噪声、伪影的预处理。
一种存储介质，其中所述存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行上述基于双空间自适应融合的脑电情感识别方法。
一种计算设备，包括处理器以及用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现上述基于双空间自适应融合的脑电情感识别方法。
与现有技术相比，本发明具有如下优点与有益效果：
1、本发明方法集潜在空间表示模块、图拓扑空间表示模块、自适应融合模块于一体，提取脑电数据的特征并进行情绪识别；可同时考虑原始脑电数据的判别性特征以及基于实例图的脑电通道拓扑空间信息，再通过自适应融合模块将两个空间的表示进行自适应融合，提升了基于脑电数据情绪识别任务的性能；
2、本发明方法，潜在空间表示模块关注捕获脑电数据的潜在空间信息，图拓扑空间表示模块侧重于脑电通道间的连接关系构建以及图拓扑空间信息的提取；两个空间表示是一种互补关系，通过自适应融合模块能够根据不同空间表示的重要性将两种空间信息进行互补融合从而得到一个更全面、更利于脑电数据情绪识别任务的特征表示；
3、本发明方法，利用图拓扑空间表示模块对脑电多通道拓扑结构进行建模，采用高斯核函数根据输入构建基于数据驱动的通道连接图，可以增强相关脑区域的功能连接；
4、本发明方法，构建与潜在空间特征提取器共享结构的一个分类器，通过该分类器得到一个伪标签，考虑缩小伪标签与真实标签之间的差距，辅助指导分类任务，并提高模型学习数据真实分布的能力；伪标签学习可以促进共享网络捕获真实数据的标签分布；共享权重具有显著优势，因为网络可以同时探索特征相关性和真实标签的分布，获得对基于脑电图的情感分类更有效的信息。
附图说明
图1是本发明基于双空间自适应融合的脑电情感识别方法的流程图；
图2是本发明基于双空间自适应融合的脑电情感识别方法中双空间表示自适应融合网络的结构示意图。
具体实施方式
下面结合附图与具体实施方式对本发明作进一步详细的描述。
实施例一
本实施例一种基于双空间自适应融合的脑电情感识别方法，如图1所示，采用两个信息互补的模块对脑电数据进行特征提取，然后利用自适应融合机制根据特征自身的重要性将互补信息进行聚合，对有效信息进行进一步提取，得到最适于情绪识别的表示。该方法还考虑了数据的真实分布情况，提出伪标签学习机制辅助指导分类任务，提高了脑电情感识别的准确率。
脑电情感识别方法通过双空间表示自适应融合网络实现；双空间表示自适应融合网络，如图2所示，包括潜在空间表示模块、图拓扑空间表示模块和自适应融合模块。
脑电情感识别方法包括如下步骤：
输入脑电数据；对脑电数据进行去除噪声、伪影的预处理。
将预处理后的脑电数据 X并行输入到双空间表示自适应融合网络的潜在空间表示模块和图拓扑空间表示模块。
潜在空间表示模块包括潜在表示层，以及与潜在表示层共享权重结构的分类器。在潜在空间表示模块中，预处理后的脑电数据同时输入到潜在表示层和分类器；
潜在表示层由三个潜在表示块组成，每个潜在表示块包括了批归一化层、多层感知机和激活函数；
每个潜在表示块得到的特征表示 H F (l+1) 为：
H F (l+1) =σ(  f (  BN( H F (l) ) ,Θ F ))
其中，初始状态 H F (0) =X； BN(·)为批归一化层； Θ F 为参数集； f (·)是以参数集 Θ F 对脑电数据 X进行特征提取的多层感知机； H F (l) 是第 l层潜在表示块输出的特征表示；参数集包括权重和偏置；σ为激活函数；堆叠三个潜在表示块得到的特征表示 H F (l+1) 后得到潜在表示层的判别性特征 Z F 。
分类器通过伪学习生成一个伪标签 Y F 以辅助指导分类任务：
Y F =h ( H F (l+1) )
其中， h为伪标签映射函数。
潜在空间表示模块通过潜在空间表示模块将脑电数据映射到低维特征空间以提取出多通道的判别性特征，并去除部分不利于脑电情绪识别性能的噪声。同时，利用与潜在表示层共享权重结构训练一个分类器获得伪标签，用于辅助指导情感识别任务。伪标签学习可以促进共享网络捕获真实数据的标签分布。共享权重具有显著优势，因为网络可以同时探索特征相关性和真实标签的分布，获得对基于脑电图的情感分类更有效的信息。
图拓扑空间表示模块包括脑电通道图构建单元和图卷积网络；在图拓扑空间表示模块中，脑电通道图构建单元根据脑电数据 X在特征空间上的特征相似性构建不同的通道间连接，构建脑电通道的邻接矩阵 A。
邻接矩阵 A的构建方法是，脑电数据 X={ X 1  , X 2  , ... , X N }， N为脑电数据的通道数量；采用高斯核函数在特征空间中计算通道之间的相似度，构建通道间的功能性连接，邻接矩阵 A中的 A pq 代表第 p个通道与第 q个通道间的相似度；
当 X p 和 X q 连接时，
当 X p 和 X q 不连接时， A pq =0；
其中， X p  、 X q 分别对应第 p、q个通道的脑电数据； X avg 代表脑电数据的平均值， exp为以自然常数 e为底的指数函数。
利用图拓扑空间表示模块对脑电多通道拓扑结构进行建模，采用高斯核函数根据输入构建基于数据驱动的通道连接图，以增强相关脑区域的功能连接，而不是采用预先固定连接的方式。
将构建好的邻接矩阵 A及脑电数据 X输入到图卷积网络中进行特征提取，得到拓扑空间表示 Z G 。
图卷积网络由堆叠的两层图卷积层组成；图卷积网络表示 Z G 为：
其中, A'=A+I； I是单位矩阵； H G (l) 是第 l层图卷积层的输出； H G (l+1) 是第 l+1层图卷积层的输出； D是邻接矩阵 A的对角度矩阵； W G (l) 是第 l层图卷积层的权重；σ代表激活函数。
图拓扑空间表示模块输出脑电通道内在功能连接关系的图表示。
潜在空间表示模块可以很好地获得固有的判别性特征表示，但它更多地关注脑电数据本身和相邻通道之间的信息；图拓扑空间表示模块侧重于学习全局通道之间的隐式功能关联，导致丢失一些重要的原始脑电数据信息；考虑到基于脑电数据的情绪识别与这两种表示及它们的融合相关，将判别性特征表示 Z F 、拓扑空间表示 Z G 、以及判别性特征表示 Z F 和拓扑空间表示 Z G 的融合表示 Z C 联合输入到自适应融合模块中，采用自适应融合模块通过分配学习到的注意力系数来组合具有不同重要性的表示，以自适应地融合特征嵌入，从而提取最相关的协同信息表示 Z Z ，实现情感识别。
协同信息表示 Z Z 为：
Z Z =α F · Z F  +α G · Z G  +α C · Z C
其中， α k  ( k= F,G,C)为注意力系数；注意力系数 α k 通过归一化注意权重 e k 得到；注意权重 e k 通过一个共享特征向量 q k 学习得到：
e k  =q k ·tanh(W· Z k +b)
α k =softmax(e k ) ；
其中， k= F,G,C； Z F 是判别性特征表示； Z G 是拓扑空间表示； Z C 是融合表示； W是自适应融合模块的权重；  b是自适应融合模块的偏置。
双空间表示自适应融合网络是指经过训练的双空间表示自适应融合网络。训练时，将作为样本的脑电数据进行预处理，输入到双空间表示自适应融合网络中，得到协同信息表示 Z Z ；通过将协同信息表示 Z Z 得到的分类结果与真实结果进行对比，优化网络参数。
双空间表示自适应融合网络训练是通过最小化损失函数来实现，该过程采用反向传播算法优化网络的参数权重。损失函数，由基于数据驱动的分类损失 L cla 及伪标签损失 L y 两部分组成；
基于数据驱动的分类损失 L cla 用四种嵌入得到的预测向量与真实数据分布间的交叉熵损失来衡量；四种嵌入分别为：潜在空间表示模块输出嵌入、图拓扑空间表示模块输出嵌入、融合嵌入以及自适应融合模块输出嵌入；
基于数据驱动的分类损失 L cla 为：
其中， n为样本数量； c为分类数目； Y ij 表示第 i个样本属于第 j个类的真实概率； Ỹ F ij 代表潜在空间表示模块输出的第 i个样本属于第 j个类的预测概率； Ỹ G ij 代表图拓扑空间表示模块输出的第 i个样本属于第 j个类的预测概率； Ỹ C ij 代表融合表示的第 i个样本属于第 j个类的预测概率； Ỹ Z ij 代表自适应融合模块输出的表示第 i个样本属于第 j个类的预测概率；
预测概率 Ỹ F ij 、Ỹ G ij 、 Ỹ C ij 、 Ỹ Z ij 分别通过 softmax函数得到；
伪标签损失 L y 是用来衡量伪标签与真实标签间的距离，也用交叉熵损失函数来衡量；伪标签损失 L y 为：
其中， Y i 为第 i个样本对应的真实标签； Y F i 为学习得到的伪标签；
由于伪标签具有较高的置信度，采用伪标签损失 L y 可以提高潜在空间表示模块的表示能力和拟合能力。双空间表示自适应融合网络的损失函数 L total 为：
L total  =  αL cla +βL y
其中， α和 β分别为系数；通过迭代最小化损失函数来更新双空间表示自适应融合网络的参数，得到最优的双空间表示自适应融合网络结构。
本实施例通过在两个公开数据集SEED及DREAMER上进行实验来验证所提出算法的有效性。SEED是一个由中国电影片段诱发的包含积极、中性和消极三种情绪的数据集。每种情绪有5个对应的电影片段，即每个实验共15个4分钟的电影片段。该数据集共有15名受试者（7名男性，8名女性），令其在一周内观看所有影片三次，得到45次实验结果。SEED数据集包括了五种频段 (δ,θ,α,β,γ bands) 对应的五种不同特征（PSD、DE、DCAU、DASM、RASM）。DREAMER数据集包含由电影片段引发的娱乐、兴奋、快乐、平静、愤怒、厌恶、恐惧、悲伤和惊讶9种情绪。一项实验由18个电影片段组成，每个实验共有23名受试者(14名男性，9名女性)参与实验，该数据集提供了从三个频段(δ,θ,α)提取的功率谱密度(PSD)特征。
在SEED数据集上，使用本实施例方法在DE特征上的all band上可以达到95.11%的准确率，取得了所有对比方法（SVM、DBN、GCNN、DGCNN、GCB-Net）中最高的准确率。
在数据集DREAMER上，本实施例方法在不同的维度上与其他方法进行对比均取得了最高的准确率。在效价、唤醒、支配三个维度上的准确率相比于最高性能的对比方法分别提升了5.97%、3.49% 和 2.84%。
实施例二
本实施例一种存储介质，其中所述存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行实施例一所述的基于双空间自适应融合的脑电情感识别方法。
实施例三
本实施例一种计算设备，包括处理器以及用于存储处理器可执行程序的存储器，所述处理器执行存储器存储的程序时，实现实施例一所述的基于双空间自适应融合的脑电情感识别方法。
上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.一种基于双空间自适应融合的脑电情感识别方法，其特征在于：通过双空间表示自适应融合网络实现；所述双空间表示自适应融合网络包括潜在空间表示模块、图拓扑空间表示模块和自适应融合模块；所述双空间表示自适应融合网络是指经过训练的双空间表示自适应融合网络；
脑电情感识别方法包括如下步骤：
输入脑电数据；对脑电数据进行预处理；
将预处理后的脑电数据X并行输入到双空间表示自适应融合网络的潜在空间表示模块和图拓扑空间表示模块：
所述潜在空间表示模块包括潜在表示层，以及与潜在表示层共享权重结构的分类器；在潜在空间表示模块中，预处理后的脑电数据同时输入到潜在表示层和分类器；潜在表示层得到脑电数据的判别性特征表示Z F ；分类器通过伪学习生成一个伪标签Y F ；
所述图拓扑空间表示模块包括脑电通道图构建单元和图卷积网络；在图拓扑空间表示模块中，脑电通道图构建单元根据脑电数据X在特征空间上的特征相似性构建不同的通道间连接，构建脑电通道的邻接矩阵A；将构建好的邻接矩阵A及脑电数据X输入到图卷积网络中进行特征提取，得到拓扑空间表示Z G ；
将判别性特征表示Z F 、拓扑空间表示Z G 、以及判别性特征表示Z F 和拓扑空间表示Z G 的融合表示Z C 联合输入到自适应融合模块中提取协同信息表示Z Z ，实现情感分类。
2.根据权利要求1所述的基于双空间自适应融合的脑电情感识别方法，其特征在于：所述潜在表示层由三个潜在表示块组成，每个潜在表示块包括了批归一化层、多层感知机和激活函数；
每个潜在表示块得到的特征表示H F (l+1) 为：
H F (l+1) =σ( f ( BN(H F (l) ) ,Θ F ))
其中，初始状态H F (0) =X；BN(·)为批归一化层；Θ F 为参数集；f (·)是以参数集Θ F 对脑电数据X进行特征提取的多层感知机；H F (l) 是第l层潜在表示块输出的特征表示；σ为激活函数；
堆叠三个潜在表示块得到的特征表示H F (l+1) 后，得到潜在表示层的判别性特征Z F 。
3.根据权利要求2所述的基于双空间自适应融合的脑电情感识别方法，其特征在于：所述分类器通过伪学习生成的伪标签Y F 为：
Y F =h (H F (l+1) )
其中，h为伪标签映射函数。
4.根据权利要求1所述的基于双空间自适应融合的脑电情感识别方法，其特征在于：所述图拓扑空间表示模块中，邻接矩阵A的构建方法是，脑电数据X={X 1  , X 2  , ... , X N }，N为脑电数据的通道数量；采用高斯核函数在特征空间中计算通道之间的相似度，构建通道间的功能性连接，邻接矩阵A中的A pq 代表第p个通道与第q个通道间的相似度；
当X p 和X q 连接时，
当X p 和X q 不连接时，A pq =0；
其中，X p  、X q 分别对应第p、q个通道的脑电数据；X avg 代表脑电数据的平均值，exp为以自然常数e为底的指数函数。
5.根据权利要求4所述的基于双空间自适应融合的脑电情感识别方法，其特征在于：所述图卷积网络由堆叠的两层图卷积层组成；图卷积网络表示Z G 为：
其中,A'=A+I；I是单位矩阵；H G (l) 是第l层图卷积层的输出；H G (l+1) 是第l+1层图卷积层的输出；D是邻接矩阵A的对角度矩阵；W G (l) 是第l层图卷积层的权重；σ代表激活函数。
6.根据权利要求1所述的基于双空间自适应融合的脑电情感识别方法，其特征在于：所述协同信息表示Z Z 为：
Z Z =α F ·Z F +α G ·Z G +α C ·Z C
其中，α k  (k=F,G,C)为注意力系数；注意力系数α k 通过归一化注意权重e k 得到；注意权重e k 通过一个共享特征向量q k 学习得到：
e k =q k ·tanh(W· Z k +b)
α k =softmax(e k )；
其中，k=F,G,C；Z F 是判别性特征表示；Z G 是拓扑空间表示；Z C 是融合表示；W是自适应融合模块的权重； b是自适应融合模块的偏置。
7.根据权利要求1所述的基于双空间自适应融合的脑电情感识别方法，其特征在于：双空间表示自适应融合网络训练时，将作为样本的脑电数据进行预处理，输入到双空间表示自适应融合网络中，得到协同信息表示Z Z ；通过将协同信息表示Z Z 得到的分类结果与真实结果进行对比，优化网络参数。
8.根据权利要求7所述的基于双空间自适应融合的脑电情感识别方法，其特征在于：所述双空间表示自适应融合网络的损失函数，由基于数据驱动的分类损失L cla 及伪标签损失L y 两部分组成；
所述基于数据驱动的分类损失L cla 用四种嵌入得到的预测向量与真实数据分布间的交叉熵损失来衡量；四种嵌入分别为：潜在空间表示模块输出嵌入、图拓扑空间表示模块输出嵌入、融合嵌入以及自适应融合模块输出嵌入；
基于数据驱动的分类损失L cla 为：
其中，n为样本数量；c为分类数目；Y ij 表示第i个样本属于第j个类的真实概率；Ỹ F ij 代表潜在空间表示模块输出的第i个样本属于第j个类的预测概率；Ỹ G ij 代表图拓扑空间表示模块输出的第i个样本属于第j个类的预测概率；Ỹ C ij 代表融合表示的第i个样本属于第j个类的预测概率；Ỹ Z ij 代表自适应融合模块输出的表示第i个样本属于第j个类的预测概率；
预测概率Ỹ F ij 、Ỹ G ij 、Ỹ C ij 、Ỹ Z ij 分别通过softmax函数得到；
所述伪标签损失L y 为：
其中，Y i 为第i个样本对应的真实标签；Y F i 为学习得到的伪标签；
双空间表示自适应融合网络的损失函数L total 为：
L total  = αL cla +βL y
其中，α和β分别为系数；通过迭代最小化损失函数来更新双空间表示自适应融合网络的参数，得到最优的双空间表示自适应融合网络结构。
9.一种存储介质，其特征在于，其中所述存储介质存储有计算机程序，所述计算机程序当被处理器执行时使所述处理器执行权利要求1-8中任一项所述的基于双空间自适应融合的脑电情感识别方法。
10.一种计算设备，包括处理器以及用于存储处理器可执行程序的存储器，其特征在于，所述处理器执行存储器存储的程序时，实现权利要求1-8中任一项所述的基于双空间自适应融合的脑电情感识别方法。
CN202211161210.XA 2022-09-23 2022-09-23 基于双空间自适应融合的脑电情感识别方法、介质及设备 Active CN115238835B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211161210.XA CN115238835B (zh) 2022-09-23 2022-09-23 基于双空间自适应融合的脑电情感识别方法、介质及设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211161210.XA CN115238835B (zh) 2022-09-23 2022-09-23 基于双空间自适应融合的脑电情感识别方法、介质及设备

Publications (2)

Publication Number Publication Date
CN115238835A CN115238835A (zh) 2022-10-25
CN115238835B true CN115238835B (zh) 2023-04-07

Family

ID=83667135

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211161210.XA Active CN115238835B (zh) 2022-09-23 2022-09-23 基于双空间自适应融合的脑电情感识别方法、介质及设备

Country Status (1)

Country Link
CN (1) CN115238835B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115659259A (zh) * 2022-12-27 2023-01-31 华南理工大学 基于层次化多维空间的脑电情感识别方法、介质及设备
CN116701917B (zh) * 2023-07-28 2023-10-20 电子科技大学 一种基于生理信号的开放集情感识别方法
CN117033638B (zh) * 2023-08-23 2024-04-02 南京信息工程大学 一种基于脑电eeg认知对齐知识图谱的文本情感分类方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007141325A1 (en) * 2006-06-09 2007-12-13 Bracco Spa Method of processing multichannel and multivariate signals and method of classifying sources of multichannel and multivariate signals operating according to such processing method
US20200104641A1 (en) * 2018-09-29 2020-04-02 VII Philip Alvelda Machine learning using semantic concepts represented with temporal and spatial data
CN110399857B (zh) * 2019-08-01 2023-05-23 西安邮电大学 一种基于图卷积神经网络的脑电情感识别方法
CN111543988B (zh) * 2020-05-25 2021-06-08 五邑大学 一种自适应认知活动识别方法、装置及存储介质
CN111950467B (zh) * 2020-08-14 2021-06-25 清华大学 基于注意力机制的融合网络车道线检测方法及终端设备
CN112932502B (zh) * 2021-02-02 2022-05-03 杭州电子科技大学 结合互信息通道选择与混合神经网络的脑电情感识别方法
CN114004260A (zh) * 2021-11-09 2022-02-01 中国人民解放军战略支援部队信息工程大学 基于生成式对抗网络的情绪脑电数据增强模型及扩充样本的方法
CN114145744B (zh) * 2021-11-22 2024-03-29 华南理工大学 基于跨设备前额脑电情绪识别的方法和系统
CN114052735B (zh) * 2021-11-26 2023-05-23 山东大学 一种基于深度领域自适应的脑电情绪识别方法及系统
CN114224342B (zh) * 2021-12-06 2023-12-15 南京航空航天大学 一种基于时空融合特征网络的多通道脑电信号情绪识别方法
CN114239652A (zh) * 2021-12-15 2022-03-25 杭州电子科技大学 基于聚类的对抗部分域适应跨被试eeg情绪识别方法
CN114305333A (zh) * 2021-12-16 2022-04-12 广州大学 一种基于脑网络和深度学习的脑电信号识别方法
CN114190944B (zh) * 2021-12-23 2023-08-22 上海交通大学 基于脑电信号的鲁棒情绪识别方法
CN114155478B (zh) * 2022-02-09 2022-05-10 苏州浪潮智能科技有限公司 一种情感识别方法、装置、系统及计算机可读存储介质
CN114732409A (zh) * 2022-02-24 2022-07-12 河南大学 一种基于脑电信号的情绪识别方法
CN114578967B (zh) * 2022-03-08 2023-04-25 天津理工大学 一种基于脑电信号的情感识别方法及系统
CN114767130A (zh) * 2022-04-26 2022-07-22 郑州大学 基于多尺度成像的多模态特征融合脑电情感识别方法

Also Published As

Publication number Publication date
CN115238835A (zh) 2022-10-25

Similar Documents

Publication Publication Date Title
CN115238835B (zh) 基于双空间自适应融合的脑电情感识别方法、介质及设备
Abdullah et al. Multimodal emotion recognition using deep learning
CN113378632B (zh) 一种基于伪标签优化的无监督域适应行人重识别方法
Rouast et al. Deep learning for human affect recognition: Insights and new developments
Hassanpour et al. A novel end‐to‐end deep learning scheme for classifying multi‐class motor imagery electroencephalography signals
Sandoval et al. Two-stage deep learning approach to the classification of fine-art paintings
Zhao et al. Towards age-invariant face recognition
Bavkar et al. Multimodal sarcasm detection via hybrid classifier with optimistic logic
CN112784929B (zh) 一种基于双元组扩充的小样本图像分类方法及装置
Rahdari et al. A multimodal emotion recognition system using facial landmark analysis
Siam et al. Biosignal classification for human identification based on convolutional neural networks
CN112232395B (zh) 一种基于联合训练生成对抗网络的半监督图像分类方法
He et al. DepNet: An automated industrial intelligent system using deep learning for video‐based depression analysis
CN110717423A (zh) 一种老人面部表情的情感识别模型的训练方法及装置
CN114511912A (zh) 基于双流卷积神经网络的跨库微表情识别方法及装置
CN113243924A (zh) 基于脑电信号通道注意力卷积神经网络的身份识别方法
Le et al. Multi visual and textual embedding on visual question answering for blind people
Youme et al. Generalization of bangla sign language recognition using angular loss functions
CN113851112A (zh) 一种基于多监督多特征融合的语音测谎方法
Megahed et al. A comprehensive review of generative adversarial networks: Fundamentals, applications, and challenges
CN116797817A (zh) 基于自监督图卷积模型的自闭症疾病预测技术
CN114626408A (zh) 脑电信号分类方法、装置、电子设备、介质及产品
Zhou [Retracted] Analysis of Psychological and Emotional Tendency Based on Brain Functional Imaging and Deep Learning
Chaturvedi et al. Attacking vqa systems via adversarial background noise
WO2024066927A1 (zh) 图像分类模型的训练方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant