CN114578967A - 一种基于脑电信号的情感识别方法及系统 - Google Patents

一种基于脑电信号的情感识别方法及系统 Download PDF

Info

Publication number
CN114578967A
CN114578967A CN202210219722.0A CN202210219722A CN114578967A CN 114578967 A CN114578967 A CN 114578967A CN 202210219722 A CN202210219722 A CN 202210219722A CN 114578967 A CN114578967 A CN 114578967A
Authority
CN
China
Prior art keywords
classifier
domain
layer
emotion
representing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210219722.0A
Other languages
English (en)
Other versions
CN114578967B (zh
Inventor
宋雨
白忠立
田泽坤
高强
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tianjin University of Technology
Original Assignee
Tianjin University of Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tianjin University of Technology filed Critical Tianjin University of Technology
Priority to CN202210219722.0A priority Critical patent/CN114578967B/zh
Publication of CN114578967A publication Critical patent/CN114578967A/zh
Application granted granted Critical
Publication of CN114578967B publication Critical patent/CN114578967B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G06F2218/10—Feature extraction by analysing the shape of a waveform, e.g. extracting parameters relating to peaks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Human Computer Interaction (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明涉及一种于脑电信号的情感识别方法及系统。该方法包括：获取多通道的脑电信号；对脑电信号进行初步特征提取，得到第一特征矩阵；获取基于域对抗网络的情感域对抗网络模型；情感域对抗网络模型包括特征提取器、标签分类器和域分类器；特征提取器包括卷积长短时网络和卷积网络；域分类器包括全局域分类器和局部域分类器；将第一特征矩阵输入情感域对抗网络模型，得到脑电信号对应的情感识别结果。本发明可以实现对听力受损者的情感进行识别。

Description

一种基于脑电信号的情感识别方法及系统
技术领域
本发明涉及脑电信号分析领域，特别是涉及一种基于脑电信号的情感识别方法及系统。
背景技术
基于脑电图(Electroencephalogram，EEG)的情感识别是目前人机交互领域研究的热点，目前基于EEG的情感识别研究多为正常人和认知障碍者，对听力受损者的研究较少。与正常人相比，听力受损者对于情感的认知可能存在偏差。因此，不能采用正常人的识别方式对听力受损者的情感进行识别。
发明内容
本发明的目的是提供一种基于脑电信号的情感识别方法及系统，以实现对听力受损者的情感进行识别。
为实现上述目的，本发明提供了如下方案：
一种基于脑电信号的情感识别方法，包括：
获取多通道的脑电信号；
对所述脑电信号进行初步特征提取，得到第一特征矩阵；
获取基于域对抗网络的情感域对抗网络模型；所述情感域对抗网络模型包括特征提取器、标签分类器和域分类器；所述特征提取器包括卷积长短时网络和卷积网络；所述域分类器包括全局域分类器和局部域分类器；
将所述第一特征矩阵输入所述情感域对抗网络模型，得到所述脑电信号对应的情感识别结果。
可选的，所述对所述脑电信号进行初步特征提取，得到第一特征矩阵，具体包括：
将所述脑电信号划分为n个频段；n大于4；
对每个频段的每个通道的脑电信息采用微分熵进行特征提取；
采用EEGLAB工具箱中基于通道定位的脑地形图插补函数对微分熵特征提取得到的特征进行插补与采样，得到三维特征矩阵；
采用基于线性SVM的嵌入法对所述三维特征矩阵进行特征选择，得到每个频段对应的通道选择；
利用空间过滤矩阵将通道选择后的特征矩阵进行过滤，得到第一特征矩阵。
可选的，所述空间过滤矩阵为：
Figure BDA0003536453120000021
其中，FFilter(n1,n2)为基于通道定位的脑地形图插补函数对特征n1与特征n2计算得到的数值。
可选的，所述获取基于域对抗网络的情感域对抗网络模型，具体包括：
构建特征提取器；所述特征提取器的卷积长短时网络的输入为所述第一特征矩阵，所述特征提取器的卷积网络的输入为所述卷积长短时网络的输出；所述卷积长短时网络采用三维卷积运算，用于对时间、频率和空间三个维度进行特征提取；所述卷积网络包括第一标准卷积层和第二标准卷积层，所述第一标准卷积层包括卷积层、批标准化层、最大池化层和激活层；所述第二标准卷积层包括卷积层、批标准化层、最大池化层、激活层和随机失活层；
构建标签分类器；所述标签分类器的输出为每个特征所在域的范围；所述标签分类器包括第一标签分类器、第二标签分类器和输出层；所述第一标签分类器包括全连接层、批标准化层、激活函数层和随机失活层；所述第二标签分类器包括全连接层、批标准化层和激活函数层；所述输出层包括全连接层和激活函数；
构建全局域分类器和局部域分类器；所述全局分类器的输入为所述标签分类器的输出；所述局部域分类器的输入为所述标签分类器的输出以及属于对应情感类别的概率；
构建基于动态权重的训练函数。
可选的，所述基于动态权重的训练函数为：
Figure BDA0003536453120000031
其中，ω为动态权重，
Figure BDA0003536453120000032
表示情感类别c在第一局部域分类器的参数，
Figure BDA0003536453120000033
表示情感类别c在第二局部域分类器的参数，C为情感类别的数量，θf表示特征提取器参数，θy表示标签分类器参数，θd表示全局域分类器参数，λ表示权重参数，Ly为所述标签分类器的损失，Lg为全局域分类器的损失，
Figure BDA0003536453120000034
为第一局部域分类器的损失，
Figure BDA0003536453120000035
为第二局部域分类器的损失；一次循环计算得到的动态权重
Figure BDA0003536453120000036
为
Figure BDA0003536453120000037
其中，Ds表示原域空间，Dt表示目标域空间；
Figure BDA0003536453120000038
ns表示源域样本数量，Pxi→c表示样本xi属于情感类别c的概率，Gf表示特征提取器，Gy1表示第一标签分类器，Gy2表示第二标签分类器；
Figure BDA0003536453120000039
nt表示目标域样本数量，di为域标签，Gd表示全局域分类器；
Figure BDA00035364531200000310
表示情感类别c对应的第一局部域分类器的交叉熵损失，
Figure BDA00035364531200000311
表示情感类别c对应的第一局部域分类器，
Figure BDA00035364531200000312
表示第一局部域分类器对样本的情绪类别c的预测概率；
Figure BDA00035364531200000313
表示情感类别c对应的第二局部域分类器，
Figure BDA00035364531200000314
表示xi样本在第二局部域分类器的标签。
本发明还提供一种基于脑电信号的情感识别系统，包括：
脑电信号获取模块，用于获取多通道的脑电信号；
初步特征提取模块，用于对所述脑电信号进行初步特征提取，得到第一特征矩阵；
情感域对抗网络模型获取模块，用于获取基于域对抗网络的情感域对抗网络模型；所述情感域对抗网络模型包括特征提取器、标签分类器和域分类器；所述特征提取器包括卷积长短时网络和卷积网络；所述域分类器包括全局域分类器和局部域分类器；
情感识别模块，用于将所述第一特征矩阵输入所述情感域对抗网络模型，得到所述脑电信号对应的情感识别结果。
可选的，所述初步特征提取模块，具体包括：
频段划分单元，用于将所述脑电信号划分为n个频段；n大于4；
特征提取单元，用于对每个频段的每个通道的脑电信息采用微分熵进行特征提取；
三维特征矩阵构建单元，用于采用EEGLAB工具箱中基于通道定位的脑地形图插补函数对微分熵特征提取得到的特征进行插补与采样，得到三维特征矩阵；
特征选择单元，用于采用基于线性SVM的嵌入法对所述三维特征矩阵进行特征选择，得到每个频段对应的通道选择；
特征过滤单元，用于利用空间过滤矩阵将通道选择后的特征矩阵进行过滤，得到第一特征矩阵。
可选的，所述空间过滤矩阵为：
Figure BDA0003536453120000041
其中，FFilter(n1,n2)为基于通道定位的脑地形图插补函数对特征n1与特征n2计算得到的数值。
可选的，所述情感域对抗网络模型获取模块，具体包括：
特征提取器构建单元，用于构建特征提取器；所述特征提取器的卷积长短时网络的输入为所述第一特征矩阵，所述特征提取器的卷积网络的输入为所述卷积长短时网络的输出；所述卷积长短时网络采用三维卷积运算，用于对时间、频率和空间三个维度进行特征提取；所述卷积网络包括第一标准卷积层和第二标准卷积层，所述第一标准卷积层包括卷积层、批标准化层、最大池化层和激活层；所述第二标准卷积层包括卷积层、批标准化层、最大池化层、激活层和随机失活层；
标签分类器构建单元，用于构建标签分类器；所述标签分类器的输出为每个特征所在域的范围；所述标签分类器包括第一标签分类器、第二标签分类器和输出层；所述第一标签分类器包括全连接层、批标准化层、激活函数层和随机失活层；所述第二标签分类器包括全连接层、批标准化层和激活函数层；所述输出层包括全连接层和激活函数；
域分类器构建单元，用于构建全局域分类器和局部域分类器；所述全局分类器的输入为所述标签分类器的输出；所述局部域分类器的输入为所述标签分类器的输出以及属于对应情感类别的概率；
构建基于动态权重的训练函数。
可选的，所述基于动态权重的训练函数为：
Figure BDA0003536453120000051
其中，ω为动态权重，
Figure BDA0003536453120000052
表示情感类别c在第一局部域分类器的参数，
Figure BDA0003536453120000053
表示情感类别c在第二局部域分类器的参数，C为情感类别的数量，θf表示特征提取器参数，θy表示标签分类器参数，θd表示全局域分类器参数，λ表示权重参数，Ly为所述标签分类器的损失，Lg为全局域分类器的损失，
Figure BDA0003536453120000054
为第一局部域分类器的损失，
Figure BDA0003536453120000055
为第二局部域分类器的损失；一次循环计算得到的动态权重
Figure BDA0003536453120000061
为
Figure BDA0003536453120000062
其中，Ds表示原域空间，Dt表示目标域空间；
Figure BDA0003536453120000063
ns表示源域样本数量，Pxi→c表示样本xi属于情感类别c的概率，Gf表示特征提取器，Gy1表示第一标签分类器，Gy2表示第二标签分类器；
Figure BDA0003536453120000064
nt表示目标域样本数量，di为域标签，Gd表示全局域分类器；
Figure BDA0003536453120000065
表示情感类别c对应的第一局部域分类器的交叉熵损失，
Figure BDA0003536453120000066
表示情感类别c对应的第一局部域分类器，
Figure BDA0003536453120000067
表示第一局部域分类器对样本的情绪类别c的预测概率；
Figure BDA0003536453120000068
表示情感类别c对应的第二局部域分类器，
Figure BDA0003536453120000069
表示xi样本在第二局部域分类器的标签。
根据本发明提供的具体实施例，本发明公开了以下技术效果：
本发明采用情绪域对抗神经网络，通过学习源域和目标域之间的隐藏情绪信息来识别听力障碍被试的情绪，进而实现对听力受损者的情感进行识别。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明基于脑电信号的情感识别方法的流程示意图；
图2为本发明基于脑电信号的情感识别方法的整体示意图；
图3为本发明特征提取器的结构示意图；
图4为本发明标签分类器的结构示意图；
图5为本发明基于域对抗网络的情感域对抗网络模型的架构图；
图6为本发明基于脑电信号的情感识别系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明基于脑电信号的情感识别方法的流程示意图，图2为本发明基于脑电信号的情感识别方法的整体示意图。如图1和图2所示，包括以下步骤：
步骤100：获取多通道的脑电信号。例如，可以采用符合“10-20”国际标准的64导脑电采集系统进行记录脑电信号(EEG)的采集，采集得到64通道脑电信号，其中2通道作为重参考，62通道作为数据分析使用。
采集得到的原始EEG数据首先被降采样到200Hz，采用带通滤波(1-75Hz)去除低频漂移和高频噪声。然后使用带通滤波(49-51Hz)消除工频干扰。再独立成分分析(Independent component analysis，ICA)方法去除眨眼、眼动和肌肉运动的伪影，得到预处理的脑电信号。
步骤200：对脑电信号进行初步特征提取，得到第一特征矩阵。特征提取是脑电情感识别的重要环节，通过提取特征向量可以简化情感分类。本发明首先将预处理的脑电信号划分为n个频段(n大于4，例如n＝5)，可以得到n频段×62通道的二维矩阵。然后采用微分熵(DE)对二维矩阵中每个频段的每个通道的脑电信息进行特征提取，DE特征在定义中认为EEG信号的时间序列符合高斯分布N(μ,δ2)。对于第i个单频带脑电序列X，DE特征h(X)为：
Figure BDA0003536453120000081
其中，σ2为这段脑电序列X的方差。本发明中一个片段的DE特征被分别从62个通道中的n个频段提取，共提取了n×62个特征。为了能够更好的提取脑区空间信息，利用EEGLAB工具箱中基于通道定位的脑地形图插补函数，对每个样本的DE特征进行插补与采样，得到尺寸为n×28×28的三维特征矩阵。
为了避免受试者间由于个体差异性造成的特征基线变化，首先需要对受试者插值后的三维特征矩阵Fi进行归一化：
Figure BDA0003536453120000082
Xi(j,nf)表示第i个受试者第j个样本中的第nf个特征Fi(j,nf)归一化后数值，max[Fi(:,nf)]表示第i个受试的所有样本中第nf个特征的最大值，min[Fi(:,nf)]表示第i个受试的所有样本中第nf个特征的最小值。
将每名受试者归一化后的特征进行整合，获得新的特征矩阵X以及相应的标签矩阵Y。采用基于线性SVM的嵌入法对特征矩阵X进行特征选择，获得最具情感判别性的特征组合Fselect。对Fselect进行统计，获得不同频段上的通道选择情况，利用EEGLAB工具箱中基于通道定位的脑地形图插补函数，获取空间过滤矩阵FFilter。通过对FFilter设置上下阈值范围，来优化过滤矩阵性能：
Figure BDA0003536453120000083
其中n1,n2∈[1,28]。基于嵌入法得到的判别性特征并非适用于所有分类任务，因此没有将过滤权重直接置0来清除特征，而是使其等于0.1将被过滤特征信息进行低权重保留。使用n个频带的空间过滤矩阵对特征矩阵进行过滤：
FFiltered(n1,n2)＝FDE(n1,n2)×FFilter(n1,n2)
FFiltered为经过过滤的新特征矩阵，定义为第一特征矩阵。
步骤300：获取基于域对抗网络的情感域对抗网络模型。本发明的情感域对抗网络(Emotional Domain Adversarial Neural Network,EDANN)是基于域对抗网络(DomainAdversarial Neural Network,DANN)构建而成的模型，主要包括三部分:特征提取器、标签分类器与域分类器。通过对原始框架的优化，使得模型能够获取跨受试稳定的深层特征，更充分挖掘EEG的时序信息与空间信息，并且不易发生过拟合。
具体的，包括以下过程：
Step1：构建特征提取器。脑电信号在初步特征提取后，输入到特征提取器进行深度信息挖掘。本发明的特征提取器由卷积长短时网络(ConvLSTM)与卷积网络(Convnet)结合而成，如图3所示，每个单元的未来状态由其自身以及临近单元的过去状态和当前状态共同求得，这种特性是由于特征提取器将传统LSTM的序列运算转变为三维的卷积运算。特征提取器的输入采用了连续EEG中9个第一特征矩阵(9×n×28×28)。特征经过四层ConvLSTM进行时间、频率、空间的综合情感特征提取，每层卷积核为7×7且经过ConvLSTM后特征的尺寸不发生变化，每层输出的通道数分别为8，8，8，8。ConvLSTM的输出采用最后一层ConvLSTM的最后一个状态(8×28×28)作为后层Convnet网络的输入。卷积核的参数共享具有防止过拟合的功能，这对于跨受试情感识别任务尤为重要。本发明特征提取器的卷积网络中包含了2层标准卷积层。其中，标准卷积层由卷积核为5×5的卷积层(Conv)、批标准化(BatchNormalization)、尺寸为2×2的最大池化层(MaxPool)与激活层共同构成。两层卷积层输出的通道数分别为64与50，第二层标准卷积后加入随机失活层(Dropout)来防止过拟合。
Step2：构建标签分类器。在深度信息提取完成后，将其矩阵输入至标签分类器进行分类操作，其主要作用是将已经提取好的信息进行标签分类。标签分类器采用了3层全连接层进行设计，包含2个标准全连接层和一个输出层，如图4所示，标准全连接层由全连接层(输出维度为100)、批标准化层和激活函数(Relu)共同构成。输出层由全连接层(输出维度为3)、激活函数(LogSoftmax)构成。其中第一层标准全连接层后加入随机失活层，防止过拟合。
Step3：构建域分类器。本发明采用域分类器来拉近源域和目标域的分布，如图5所示，在标签分类器完成分类后，便可得到不同特征所在域的范围，将标签分类结果输入至域分类之中进行最终对抗模型生成。情感域对抗网络模型(Emotional Domain AdversarialNeural Network,EDANN)将梯度反转层设置在标签分类器结构的中间(第一层标准全连接层后)，从分类的中间模态层进行域适应来缓解标签分类器易过拟合的问题。EDANN除了与DANN相同的全局域分类器外，还加入了多个个局部域分类器，多个局部域分类器分成两组：情感域分类器和情感影片组域分类器。局部域分类器的思想源自于动态对抗适应网络(Dynamic Adversarial Adaptation Network，DAAN)。
本发明还设计了随训练进行而动态更新的权重ω，来控制与平衡训练过程中各模块损失的反向传播。为避免由于结构造成反向传播过程中的多Loss对抗问题，全局域分类器与局部域分类均由一个标准全连接(输出维度100)和一个输出层构成(全局域分类器、情感域分类器的输出维度为2，情感影片组域分类器输出维度为5)。域分类器中存在梯度反转层(Gradient Reversal Layer,GRL)，该层在Loss反向传播时将使梯度发生反转，拉近域分类器分类对象的分布。在DAAN的局部域分类器结构中，特征需要与标签分类器的预测概率做乘积，因此EDANN结构中将激活函数LogSoftmax的输出先输入ex后变为不同情感的概率值，再根据域分类器种类与特征对应相乘。标签分类器中Ly的计算方式与DANN基本相同，不同点在于反向传播层被放置于标签分类器之内，因此标签分类器Gy被分为了两部分：第一标签分类器(情感域分类器)Gy1和第二标签分类器(情感影片组域分类器)Gy2。训练的目标为最小化交叉熵损失，标签分类器的损失具体可表示为：
Figure BDA0003536453120000101
其中ns表示源域样本数量，C表示三种情感类型，Pxi→c表示样本xi属于C类情感的概率。全局域分类器的Lg的计算方式与DANN的域分类器相同，表示为：
Figure BDA0003536453120000111
其中nt表示目标域样本数量，Ld为域分类器的交叉熵损失，di为域标签。在情感局部域适应中，通过使情感域分类器判断域标签di(源域：0，目标域：1)，从而拉近源域与目标域的距离，减小差异性。例如，情感类别有三种时，C＝3，局部域分类器的总个数为6个，情感域分类器和情感影片组域分类器均包括3个局部域分类器，通过三个局部域分类器计算，因此情感域分类器的损失可以表示为：
Figure BDA0003536453120000112
其中
Figure BDA0003536453120000113
表示情感域分类器的交叉熵损失，
Figure BDA0003536453120000114
表示第c类情感的情感域分类器的交叉熵损失，
Figure BDA0003536453120000115
表示第c类情感的情感域分类器的传递函数，
Figure BDA0003536453120000116
表示情感标签分类器对样本xi为c情感的预测概率。情感影片组局部域适应将源域所有受试者的不同片段组设置标签dm(不同片段标签分别为：0，1，2，3，4)，使用局部域分类器进行域适应，这将有助于模型降低对影片差异、时间跨度的敏感程度，提升跨受试识别性能。域分类器的损失可以被表示为：
Figure BDA0003536453120000117
其中
Figure BDA0003536453120000118
表示情感影片组域分类器的交叉熵损失，
Figure BDA0003536453120000119
表示第c类情感的情感影片组域分类器的交叉熵损失，
Figure BDA00035364531200001110
表示第c类情感的情感影片组域分类器的传递函数，
Figure BDA00035364531200001111
表示样本xi的影片组标签。
由于对抗网络的不同损失权重将会剧烈影响模型的训练效率和目标域识别准确度，因此基于DAAN与听力受损者情感数据集，动态权重ω被设计为：
Figure BDA00035364531200001112
其中
Figure BDA0003536453120000121
表示根据一次样本循环计算得到的动态权重ω。在本实验的训练中，权重ω每5次迭代周期(Epoch)更新一次。与动态对抗因子ω相应的训练的目标为：
Figure BDA0003536453120000122
其中
Figure BDA0003536453120000123
表示情感c的情感域分类器参数，
Figure BDA0003536453120000124
表示情感c的情感影片组域分类器的参数。模型设计时，存在超参数λ需要被调试，以保证较高的训练速度与目标域准确度。在EDANN中，参数ω可以由计算得到并动态调整，使得模型在同样的样本上比其他固定权重的对抗方法具有更好的动态性能。在训练过程中，参数ω接近于0时模型退化为DANN，此时源域与目标域具有较大的差异性，全局域分类器的损失分得更多权重。参数ω接近于1时模型退化为多对抗域适应算法(Multi-Adversarial Domain Adaptation,MADA)，此时源域与目标域差异性较小。在实际训练过程中，源域与目标域分布未知，因此采用动态对抗因子ω可以更有效的提升模型动态性能。
步骤400：将第一特征矩阵输入情感域对抗网络模型，得到脑电信号对应的情感识别结果。
本发明采用综合实验对提出的EDANN*(不带鉴别通道选择)和EDANN方法在听力受损者情绪数据集上进行情感识别。此外，为了对比不同结构的EDANN在识别听力受损者情绪方面的表现，本发明还设计了两种EDANN消融版本，分别表示为EDANN-R1和EDANN-R2。在EDANN-R1中，只使用CNN特征提取器来捕获源域与目标域的空间情感信息。在EDANN-R2模型中，只使用全局域鉴别器来缩小源域与目标域之间的分布距离，而不考虑局部分布距离，同时对比支持向量机(SVM)，分层卷积神经网络(HCNN)，多对抗域适应网络(MADA)采用1名受试者的所有样本作为测试集(目标域)，其余14名受试者的样本用于训练集(源域)。进行对比实验，实验结果如表1所示：
表1基于独立跨受试的听力受损者情感识别结果
Figure BDA0003536453120000125
Figure BDA0003536453120000131
从表1可以看出，EDANN的性能优于其他方法。EDANN的准确率较高，可能是因为EDANN的情感电影群局部域鉴别器和情感局部域鉴别器能够有效减少电影群与相似情感之间的差异，学习到更多有区别的深层特征，提高了被试独立实验的准确性。EDANN比EDANN-R1有更好的识别效果，证明了在脑电信号中考虑时间信息的重要性。此外，EDANN的分类性能也优于EDANN-R2，这意味着局部鉴别器有助于提高主题无关的分类精度。另外，具有甄别性通道选择的EDANN获得了比EDANN*更好的平均正确率，说明该甄别通道具有提高独立跨受试情绪识别性能的效果。
基于上述方法，本发明还提供一种基于脑电信号的情感识别系统，图6为本发明基于脑电信号的情感识别系统的结构示意图。如图6所示，包括：
脑电信号获取模块601，用于获取多通道的脑电信号。
初步特征提取模块602，用于对所述脑电信号进行初步特征提取，得到第一特征矩阵。
情感域对抗网络模型获取模块603，用于获取基于域对抗网络的情感域对抗网络模型；所述情感域对抗网络模型包括特征提取器、标签分类器和域分类器；所述特征提取器包括卷积长短时网络和卷积网络；所述域分类器包括全局域分类器和局部域分类器。
情感识别模块604，用于将所述第一特征矩阵输入所述情感域对抗网络模型，得到所述脑电信号对应的情感识别结果。
作为另一实施例，本发明基于脑电信号的情感识别系统中，所述初步特征提取模块602，具体包括：
频段划分单元，用于将所述脑电信号划分为n个频段；n大于4。
特征提取单元，用于对每个频段的每个通道的脑电信息采用微分熵进行特征提取。
三维特征矩阵构建单元，用于采用EEGLAB工具箱中基于通道定位的脑地形图插补函数对微分熵特征提取得到的特征进行插补与采样，得到三维特征矩阵。
特征选择单元，用于采用基于线性SVM的嵌入法对所述三维特征矩阵进行特征选择，得到每个频段对应的通道选择。
特征过滤单元，用于利用空间过滤矩阵将通道选择后的特征矩阵进行过滤，得到第一特征矩阵。
作为另一实施例，本发明基于脑电信号的情感识别系统中，所述空间过滤矩阵为：
Figure BDA0003536453120000141
其中，FFilter(n1,n2)为基于通道定位的脑地形图插补函数对特征n1与特征n2计算得到的数值。
作为另一实施例，本发明基于脑电信号的情感识别系统中，所述情感域对抗网络模型获取模块603，具体包括：
特征提取器构建单元，用于构建特征提取器；所述特征提取器的卷积长短时网络的输入为所述第一特征矩阵，所述特征提取器的卷积网络的输入为所述卷积长短时网络的输出；所述卷积长短时网络采用三维卷积运算，用于对时间、频率和空间三个维度进行特征提取；所述卷积网络包括第一标准卷积层和第二标准卷积层，所述第一标准卷积层包括卷积层、批标准化层、最大池化层和激活层；所述第二标准卷积层包括卷积层、批标准化层、最大池化层、激活层和随机失活层。
标签分类器构建单元，用于构建标签分类器；所述标签分类器的输出为每个特征所在域的范围；所述标签分类器包括第一标签分类器、第二标签分类器和输出层；所述第一标签分类器包括全连接层、批标准化层、激活函数层和随机失活层；所述第二标签分类器包括全连接层、批标准化层和激活函数层；所述输出层包括全连接层和激活函数。
域分类器构建单元，用于构建全局域分类器和局部域分类器；所述全局分类器的输入为所述标签分类器的输出；所述局部域分类器的输入为所述标签分类器的输出以及属于对应情感类别的概率。
构建基于动态权重的训练函数。
作为另一实施例，本发明基于脑电信号的情感识别系统中，所述基于动态权重的训练函数为：
Figure BDA0003536453120000151
其中，ω为动态权重，
Figure BDA0003536453120000152
表示情感类别c在第一局部域分类器的参数，
Figure BDA0003536453120000153
表示情感类别c在第二局部域分类器的参数，C为情感类别的数量，θf表示特征提取器参数，θy表示标签分类器参数，θd表示域鉴别器参数，λ表示权重参数，Ly为所述标签分类器的损失，Lg为全局域分类器的损失，
Figure BDA0003536453120000154
为第一局部域分类器的损失，
Figure BDA0003536453120000155
为第二局部域分类器；一次循环计算得到的动态权重
Figure BDA0003536453120000156
为
Figure BDA0003536453120000157
其中，Ds表示原域空间，Dt表示目标域空间；
Figure BDA0003536453120000158
ns表示源域样本数量，Pxi→c表示样本xi属于情感类别c的概率，Gf表示特征提取器，Gy1表示第一标签分类器，Gy2表示第二标签分类器；
Figure BDA0003536453120000159
nt表示目标域样本数量，di为域标签，Gd表示域鉴别器；
Figure BDA00035364531200001510
表示第c种情绪的情绪域鉴别器的交叉熵损失，
Figure BDA0003536453120000161
表示第c种情感，
Figure BDA0003536453120000162
表示情绪标签分类器对样本的情绪为c的预测概率；
Figure BDA0003536453120000163
表示第c级情感电影群域鉴别器，
Figure BDA0003536453120000164
表示xi样本的电影组标签。
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

Claims (10)

1.一种基于脑电信号的情感识别方法，其特征在于，包括：
获取多通道的脑电信号；
对所述脑电信号进行初步特征提取，得到第一特征矩阵；
获取基于域对抗网络的情感域对抗网络模型；所述情感域对抗网络模型包括特征提取器、标签分类器和域分类器；所述特征提取器包括卷积长短时网络和卷积网络；所述域分类器包括全局域分类器和局部域分类器；
将所述第一特征矩阵输入所述情感域对抗网络模型，得到所述脑电信号对应的情感识别结果。
2.根据权利要求1所述的基于脑电信号的情感识别方法，其特征在于，所述对所述脑电信号进行初步特征提取，得到第一特征矩阵，具体包括：
将所述脑电信号划分为n个频段；n大于4；
对每个频段的每个通道的脑电信息采用微分熵进行特征提取；
采用EEGLAB工具箱中基于通道定位的脑地形图插补函数对微分熵特征提取得到的特征进行插补与采样，得到三维特征矩阵；
采用基于线性SVM的嵌入法对所述三维特征矩阵进行特征选择，得到每个频段对应的通道选择；
利用空间过滤矩阵将通道选择后的特征矩阵进行过滤，得到第一特征矩阵。
3.根据权利要求2所述的基于脑电信号的情感识别方法，其特征在于，所述空间过滤矩阵为：
Figure FDA0003536453110000011
其中，FFilter(n1,n2)为基于通道定位的脑地形图插补函数对特征n1与特征n2计算得到的数值。
4.根据权利要求1所述的基于脑电信号的情感识别方法，其特征在于，所述获取基于域对抗网络的情感域对抗网络模型，具体包括：
构建特征提取器；所述特征提取器的卷积长短时网络的输入为所述第一特征矩阵，所述特征提取器的卷积网络的输入为所述卷积长短时网络的输出；所述卷积长短时网络采用三维卷积运算，用于对时间、频率和空间三个维度进行特征提取；所述卷积网络包括第一标准卷积层和第二标准卷积层，所述第一标准卷积层包括卷积层、批标准化层、最大池化层和激活层；所述第二标准卷积层包括卷积层、批标准化层、最大池化层、激活层和随机失活层；
构建标签分类器；所述标签分类器的输出为每个特征所在域的范围；所述标签分类器包括第一标签分类器、第二标签分类器和输出层；所述第一标签分类器包括全连接层、批标准化层、激活函数层和随机失活层；所述第二标签分类器包括全连接层、批标准化层和激活函数层；所述输出层包括全连接层和激活函数；
构建全局域分类器和局部域分类器；所述全局分类器的输入为所述标签分类器的输出；所述局部域分类器的输入为所述标签分类器的输出以及属于对应情感类别的概率；
构建基于动态权重的训练函数。
5.根据权利要求4所述的基于脑电信号的情感识别方法，其特征在于，所述基于动态权重的训练函数为：
Figure FDA0003536453110000021
其中，ω为动态权重，
Figure FDA0003536453110000022
表示情感类别c在第一局部域分类器的参数，
Figure FDA0003536453110000023
表示情感类别c在第二局部域分类器的参数，C为情感类别的数量，θf表示特征提取器参数，θy表示标签分类器参数，θd表示全局域分类器参数，λ表示权重参数，Ly为所述标签分类器的损失，Lg为全局域分类器的损失，
Figure FDA0003536453110000024
为第一局部域分类器的损失，
Figure FDA0003536453110000025
为第二局部域分类器的损失；一次循环计算得到的动态权重
Figure FDA0003536453110000026
为
Figure FDA0003536453110000027
其中，Ds表示原域空间，Dt表示目标域空间；
Figure FDA0003536453110000031
ns表示源域样本数量，Pxi→c表示样本xi属于情感类别c的概率，Gf表示特征提取器，Gy1表示第一标签分类器，Gy2表示第二标签分类器；
Figure FDA0003536453110000032
nt表示目标域样本数量，di为域标签，Gd表示全局域分类器；
Figure FDA0003536453110000033
Figure FDA0003536453110000034
情感类别c对应的第一局部域分类器的交叉熵损失，
Figure FDA0003536453110000035
表示情感类别c对应的第一局部域分类器，
Figure FDA0003536453110000036
表示第一局部域分类器对样本的情绪类别c的预测概率；
Figure FDA0003536453110000037
Figure FDA0003536453110000038
表示情感类别c对应的第二局部域分类器，
Figure FDA0003536453110000039
表示xi样本在第二局部域分类器的标签。
6.一种基于脑电信号的情感识别系统，其特征在于，包括：
脑电信号获取模块，用于获取多通道的脑电信号；
初步特征提取模块，用于对所述脑电信号进行初步特征提取，得到第一特征矩阵；
情感域对抗网络模型获取模块，用于获取基于域对抗网络的情感域对抗网络模型；所述情感域对抗网络模型包括特征提取器、标签分类器和域分类器；所述特征提取器包括卷积长短时网络和卷积网络；所述域分类器包括全局域分类器和局部域分类器；
情感识别模块，用于将所述第一特征矩阵输入所述情感域对抗网络模型，得到所述脑电信号对应的情感识别结果。
7.根据权利要求6所述的基于脑电信号的情感识别系统，其特征在于，所述初步特征提取模块，具体包括：
频段划分单元，用于将所述脑电信号划分为n个频段；n大于4；
特征提取单元，用于对每个频段的每个通道的脑电信息采用微分熵进行特征提取；
三维特征矩阵构建单元，用于采用EEGLAB工具箱中基于通道定位的脑地形图插补函数对微分熵特征提取得到的特征进行插补与采样，得到三维特征矩阵；
特征选择单元，用于采用基于线性SVM的嵌入法对所述三维特征矩阵进行特征选择，得到每个频段对应的通道选择；
特征过滤单元，用于利用空间过滤矩阵将通道选择后的特征矩阵进行过滤，得到第一特征矩阵。
8.根据权利要求7所述的基于脑电信号的情感识别系统，其特征在于，所述空间过滤矩阵为：
Figure FDA0003536453110000041
其中，FFilter(n1,n2)为基于通道定位的脑地形图插补函数对特征n1与特征n2计算得到的数值。
9.根据权利要求6所述的基于脑电信号的情感识别系统，其特征在于，所述情感域对抗网络模型获取模块，具体包括：
特征提取器构建单元，用于构建特征提取器；所述特征提取器的卷积长短时网络的输入为所述第一特征矩阵，所述特征提取器的卷积网络的输入为所述卷积长短时网络的输出；所述卷积长短时网络采用三维卷积运算，用于对时间、频率和空间三个维度进行特征提取；所述卷积网络包括第一标准卷积层和第二标准卷积层，所述第一标准卷积层包括卷积层、批标准化层、最大池化层和激活层；所述第二标准卷积层包括卷积层、批标准化层、最大池化层、激活层和随机失活层；
标签分类器构建单元，用于构建标签分类器；所述标签分类器的输出为每个特征所在域的范围；所述标签分类器包括第一标签分类器、第二标签分类器和输出层；所述第一标签分类器包括全连接层、批标准化层、激活函数层和随机失活层；所述第二标签分类器包括全连接层、批标准化层和激活函数层；所述输出层包括全连接层和激活函数；
域分类器构建单元，用于构建全局域分类器和局部域分类器；所述全局分类器的输入为所述标签分类器的输出；所述局部域分类器的输入为所述标签分类器的输出以及属于对应情感类别的概率；
构建基于动态权重的训练函数。
10.根据权利要求9所述的基于脑电信号的情感识别系统，其特征在于，所述基于动态权重的训练函数为：
Figure FDA0003536453110000051
其中，ω为动态权重，
Figure FDA0003536453110000052
表示情感类别c在第一局部域分类器的参数，
Figure FDA0003536453110000053
表示情感类别c在第二局部域分类器的参数，C为情感类别的数量，θf表示特征提取器参数，θy表示标签分类器参数，θd表示全局域分类器参数，λ表示权重参数，Ly为所述标签分类器的损失，Lg为全局域分类器的损失，
Figure FDA0003536453110000054
为第一局部域分类器的损失，
Figure FDA0003536453110000055
为第二局部域分类器的损失；一次循环计算得到的动态权重
Figure FDA0003536453110000056
为
Figure FDA0003536453110000057
其中，Ds表示原域空间，Dt表示目标域空间；
Figure FDA0003536453110000058
ns表示源域样本数量，Pxi→c表示样本xi属于情感类别c的概率，Gf表示特征提取器，Gy1表示第一标签分类器，Gy2表示第二标签分类器；
Figure FDA0003536453110000059
nt表示目标域样本数量，di为域标签，Gd表示全局域分类器；
Figure FDA0003536453110000061
Figure FDA0003536453110000062
表示情感类别c对应的第一局部域分类器的交叉熵损失，
Figure FDA0003536453110000063
表示情感类别c对应的第一局部域分类器，
Figure FDA0003536453110000064
表示第一局部域分类器对样本的情绪类别c的预测概率；
Figure FDA0003536453110000065
Figure FDA0003536453110000066
表示情感类别c对应的第二局部域分类器，
Figure FDA0003536453110000067
表示xi样本在第二局部域分类器的标签。
CN202210219722.0A 2022-03-08 2022-03-08 一种基于脑电信号的情感识别方法及系统 Active CN114578967B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210219722.0A CN114578967B (zh) 2022-03-08 2022-03-08 一种基于脑电信号的情感识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210219722.0A CN114578967B (zh) 2022-03-08 2022-03-08 一种基于脑电信号的情感识别方法及系统

Publications (2)

Publication Number Publication Date
CN114578967A true CN114578967A (zh) 2022-06-03
CN114578967B CN114578967B (zh) 2023-04-25

Family

ID=81773968

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210219722.0A Active CN114578967B (zh) 2022-03-08 2022-03-08 一种基于脑电信号的情感识别方法及系统

Country Status (1)

Country Link
CN (1) CN114578967B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115238835A (zh) * 2022-09-23 2022-10-25 华南理工大学 基于双空间自适应融合的脑电情感识别方法、介质及设备
CN116701917A (zh) * 2023-07-28 2023-09-05 电子科技大学 一种基于生理信号的开放集情感识别方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110353702A (zh) * 2019-07-02 2019-10-22 华南理工大学 一种基于浅层卷积神经网络的情感识别方法及系统
US20210390355A1 (en) * 2020-06-13 2021-12-16 Zhejiang University Image classification method based on reliable weighted optimal transport (rwot)
CN113974627A (zh) * 2021-10-26 2022-01-28 杭州电子科技大学 一种基于脑机生成对抗的情绪识别方法
CN114091529A (zh) * 2021-11-12 2022-02-25 江苏科技大学 一种基于生成对抗网络数据增强的脑电情感识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110353702A (zh) * 2019-07-02 2019-10-22 华南理工大学 一种基于浅层卷积神经网络的情感识别方法及系统
US20210390355A1 (en) * 2020-06-13 2021-12-16 Zhejiang University Image classification method based on reliable weighted optimal transport (rwot)
CN113974627A (zh) * 2021-10-26 2022-01-28 杭州电子科技大学 一种基于脑机生成对抗的情绪识别方法
CN114091529A (zh) * 2021-11-12 2022-02-25 江苏科技大学 一种基于生成对抗网络数据增强的脑电情感识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
李晓坤等: "基于深度迁移学习的跨库语音情感识别" *
李阳: "基于认知启发的脑电情感识别研究" *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115238835A (zh) * 2022-09-23 2022-10-25 华南理工大学 基于双空间自适应融合的脑电情感识别方法、介质及设备
CN116701917A (zh) * 2023-07-28 2023-09-05 电子科技大学 一种基于生理信号的开放集情感识别方法
CN116701917B (zh) * 2023-07-28 2023-10-20 电子科技大学 一种基于生理信号的开放集情感识别方法

Also Published As

Publication number Publication date
CN114578967B (zh) 2023-04-25

Similar Documents

Publication Publication Date Title
CN107844755B (zh) 一种结合dae和cnn的脑电信号特征提取与分类方法
CN110353702A (zh) 一种基于浅层卷积神经网络的情感识别方法及系统
CN108038466B (zh) 基于卷积神经网络的多通道人眼闭合识别方法
CN110991406B (zh) 一种基于rsvp脑电特征的弱小目标检测方法及系统
CN110353673B (zh) 一种基于标准互信息的脑电通道选择方法
CN110693493A (zh) 一种基于卷积与循环神经网络结合时间多尺度的癫痫脑电预测方法
CN112381008B (zh) 一种基于并行序列通道映射网络的脑电情感识别方法
CN114578967A (zh) 一种基于脑电信号的情感识别方法及系统
CN112036433A (zh) 一种基于CNN的Wi-Move行为感知方法
CN110289081B (zh) 深度网络堆栈模型自适应加权特征融合的癫痫检测方法
KR102292678B1 (ko) 뇌 인지 부하 분류 시스템 및 방법
CN110135244B (zh) 一种基于脑-机协同智能的表情识别方法
CN111150393A (zh) 基于lstm多通道的脑电癫痫尖棘波放电联合检测方法
CN114492513B (zh) 跨用户场景下对抗域适应的脑电情绪识别方法
CN110781751A (zh) 基于跨连型卷积神经网络的情感脑电信号分类方法
CN110037693A (zh) 一种基于面部表情和eeg的情绪分类方法
CN113297981B (zh) 一种基于注意力机制的端到端脑电情感识别方法
CN115221969A (zh) 基于emd数据增强和并行scn的运动想象脑电信号识别方法
Suresh et al. Driver drowsiness detection using deep learning
CN113627391B (zh) 一种考虑个体差异的跨模式脑电信号识别方法
CN116421200A (zh) 一种基于并行训练的多任务混合模型的脑电情感分析方法
CN107898458B (zh) 基于图像先验的单试次脑电p300成分检测方法及装置
KR102290243B1 (ko) 운동 상상 뇌전도 분류 방법
Zhang et al. Recognizing the level of organizational commitment based on deep learning methods and EEG
Dutta et al. An extensive analysis on deep neural architecture for classification of subject-independent cognitive states

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant