CN114492513A - 跨用户场景下基于注意力机制的对抗域适应的脑电情绪识别方法 - Google Patents

跨用户场景下基于注意力机制的对抗域适应的脑电情绪识别方法 Download PDF

Info

Publication number
CN114492513A
CN114492513A CN202210001237.6A CN202210001237A CN114492513A CN 114492513 A CN114492513 A CN 114492513A CN 202210001237 A CN202210001237 A CN 202210001237A CN 114492513 A CN114492513 A CN 114492513A
Authority
CN
China
Prior art keywords
domain
emotion
electroencephalogram
representing
emotion recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202210001237.6A
Other languages
English (en)
Other versions
CN114492513B (zh
Inventor
叶娅兰
李云霞
朱欣
孟千贺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Publication of CN114492513A publication Critical patent/CN114492513A/zh
Application granted granted Critical
Publication of CN114492513B publication Critical patent/CN114492513B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明公开了一种跨用户场景下基于注意力机制的对抗域适应的脑电情绪识别方法，属于脑电情绪识别技术领域。本发明包括：首先进行数据集的收集和划分，用带有常规卷积神经网络的图卷积神经网络提取特征表示，构建一个广阔的特征空间。然后将特征空间划分为若干个区域，每个区域对应一个域判别器。训练过后，域判别器难以判别的区域，相对来说具有更好的迁移能力。通过赋予这些区域更大的权重，训练集中在多个具有更好的迁移能力的区域的对齐上。以提取到区别能力和迁移能力的情绪相关和领域不变的特征，从而提高迁移能力，获得更好的情绪识别性能。本发明方法大幅度提升了情绪识别模型的效果，具有更好的可实用性。

Description

跨用户场景下基于注意力机制的对抗域适应的脑电情绪识别 方法
技术领域
本发明涉及脑电情绪识别技术领域，尤其涉及一种跨用户场景下基于注意力机制的对抗域适应的脑电情绪识别方法。
背景技术
情绪是一种综合了人的感觉、思想和行为的状态，它包括人对外界或自身刺激的心理反应，也包括伴随这种心理反应的生理反应，在人们的日常工作和生活中，情绪的作用无处不在。如何准确识别情绪，在人机交互研究中占据重要位置，且有实际应用的意义：在交通领域中，特别是对于高速铁路和长途汽车司机来说，情绪的稳定非常重要，通过对驾驶员的情绪状态进行识别评估，就可以针对驾驶员的情绪状态判断出该驾驶员是否需要休息调理，提高驾驶安全度。在教育类产品中，用户在产品上进行任务学习，当产品识别出用户情绪较为挫败时，通过降低难度或提供一些辅助来降低用户的挫败感，保持学习动力，得到更好的用户体验。在辅助诊断领域里，具有情感障碍或者表达障碍的患者可能无法和医生达到良好的合作从而影响诊断的准确性，因此能够了解患者的情绪对心理类疾病的预防和诊断有很大的作用。随着可穿戴设备和人机交互的不断发展，基于脑电(Electroencephalographic，EEG)的情绪识别已成为一个有吸引力的研究课题。
然而，不同的个体存在个体差异性，这种个体差异性表现在每个人产生情感的方式和程度不同，对同一个刺激材料的反映不同。因此，针对一个人所训练的情绪识别模型，在训练后会对该人的情绪有着较好的识别结果。若用该模型对另一个人的情绪进行识别，结果可能就会出现大的误差。即人与人之间的这种个体差异性会导致数据分布的差异从而影响模型的泛化能力，使模型的准确性在跨受试人的应用场景中大大降低。
有几种新技术试图减少个体差异对情绪识别模型的影响。其中一种技术是特征选择。例如，Yin Zhong等人选择在源域和目标域中常见的特征，并基于这些选择的特征构建一个健壮的情绪识别模型。另一种技术是一般域适应。Lan Zirui等人领导了几种一般域适应技术的比较研究，例如迁移成分分析、子空间对齐等。他们发现，通过领域对齐，针对多个用户训练一个通用的模型的分类准确率可以提高约10％。然而，这两种技术都有一个局限性，它们需要浅层的手工提取的特征，这些特征的判别能力可能不够强，不足以代表情绪。
深度学习有助于获得情绪识别的有区分能力的特征。例如，Song Tengfei等人通过动态图卷积神经网络生成深度判别表示，以学习脑电通道之间的内在关系。Zhang Tong等人利用广义概念(broad concept)来连接所有的层次特征，以构建一个广阔的特征空间。虽然它们保持了特征的鉴别性，但它们并没有探索特征的迁移能力。
近年来，通过将域适应嵌入到深度学习中，在探索具有迁移能力的特征上取得了令人满意的效果。例如，Jin Yiming等人首先将对抗性域适应应用到基于脑电的情绪识别中，通过学习具有区别能力和迁移能力的特征，在跨用户的情绪识别场景下取得了显著的进步。后来，Li Yang等人和Zhong Peixiang等人扩展了特征提取器，进一步提高了特征的判别性。Li Yang等人使用双向长短期记忆来学习可区分的时空脑电特征。Zhong Peixiang等人提出了一种正则化的图神经网络来提取脑电通道中的局部和全局信息。与非域适应技术相比，一般的域适应技术可以在一定程度上减少受试者之前的分布差异，但它也可能导致负迁移的发生，从而导致跨受试者场景中的情绪识别性能下降。因为只有一个域判别器，这意味着所有的特征都被视为一个整体是否要被转移。然而，特征空间中的特性并不具有相同的迁移能力，利用这一点可以提高情绪识别的性能。
发明内容
本发明的发明目的在于：针对上述存在的问题，提出了一种针对跨用户场景下基于注意机制的对抗域适应的脑电情绪识别方法(ADAAM-ER)，以减少个体差异，提升脑电情绪识别性能。
本发明提供了一种跨用户场景下基于注意力机制的对抗域适应的脑电情绪识别方法，该方法包括：
信号采集步骤，采集用户在不同情绪状态下激发的脑电数据，并对不同的情绪状态下的脑电数据赋予不同的情绪标签，对脑电数据进行切割形成样本，并将样本划分为训练集和测试集；
信号预处理步骤，对采集的脑电数据进行信号预处理，并提取初始脑电信号特征；
网络构建及训练步骤：以训练集作为源域数据、测试集作为目标域数据，对情绪识别网络模型进行训练处理；
所述情绪识别网络模型包括特征提取器、基于注意力机制的使用对抗域适应处理模块和情绪标签预测器；
所述特征提取器用于提取脑电初始信号特征的多层第一脑电信号特征，并将提取到的多层第一脑电信号特征输入到基于注意力机制的使用对抗域适应处理模块，所述特征提取器包括依次连接的一层图卷积网络和多个堆叠的卷积神经网络；
所述基于注意力机制的使用对抗域适应处理模块，将每一层特征信息按照指定的划分规则分别划分为两个子区域，分别对应源域与目标域，并通过注意力机制配置每个子区域的迁移权重；即子区域的迁移能力越强，则迁移权重越大；
再基于每个子区域的迁移权重对子区域内的第一脑电信号特征进行变换处理，得到第二脑电信号特征并输入情绪标签预测器；
所述情绪标签预测器包括至少两层全连接层，用于预测样本属于各情绪类别的类别预测概率，即对第二脑电信号特征进行情绪类别的分类任何预测；
基于采集的样本对情绪识别网络模型进行深度学习训练，直到满足预设训练需求，得到训练好的情绪识别网络模型；
情绪识别处理，对实时采集得到的脑电数据进行信号预处理，并提取初始脑电信号特征，再将待识别的初始脑电信号特征输入到训练好的情绪识别网络模型，基于情绪标签预测器的输出确定识别结果：最大类别预测概率所对应的情绪类别。
进一步的，基于注意力机制的使用对抗域适应处理模块还包括：为每一个子区域配置一个判别器，用于输出当前子区域的各样本属于源域和目标域的预测概率
Figure BDA0003454279550000031
基于所述预测概率
Figure BDA0003454279550000032
计算信息熵
Figure BDA0003454279550000033
并基于信息熵
Figure BDA0003454279550000034
确定第k个子区域的第i个样本的迁移权重
Figure BDA0003454279550000035
Figure BDA0003454279550000036
其中，k表示子区域标识符，i表示样本标识符。
进一步的，第一脑电信号特征的变换处理为：
Figure BDA0003454279550000037
其中，
Figure BDA0003454279550000038
表示第k个子区域的第i个样本的第一脑电信号特征，
Figure BDA0003454279550000039
表示第k个子区域的第i个样本的迁移权重，
Figure BDA00034542795500000310
表示第k个子区域的第i个样本的第二脑电信号特征。
进一步的，对情绪识别网络模型进行训练处理，所述基于注意力机制的使用对抗域适应处理模块在计算迁移权重时，计算域分类损失；所述情绪标签预测器在预测类别预测概率时，计算情绪分类损失，并结合域分类损失与情绪分类损失对情绪识别网络模型的网络参数进行更新。
进一步的，信号预处理包括降采样、带通滤波、时间窗口切割和提取差分熵特征。
进一步的，情绪标签预测器涉及的情绪类别包括三类：积极、中性和消极。
本发明提供的技术方案至少带来如下有益效果：
本发明通过对齐具有更高迁移能力的特征区域来减少个体差异，可以在跨受试人的实际场景中提升情绪识别的判别效果。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本发明实施例提供的跨用户场景下基于注意力机制的对抗域适应的脑电情绪识别方法的处理过程示意图；
图2是本发明实施例中，本发明实施例提供的脑电情绪识别方法与现有方式的性能对比图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
本发明实施提供的跨用户场景下基于注意力机制的对抗域适应的脑电情绪识别方法采用的情绪识别网络模型包括部分，一部分是由图卷积网络(GCNN，GraphConvolutional Neural Network)加上多个堆叠起来的常规卷积网络(CNN，ConvolutionalNeural Network)组成的特征提取器，用于提取多层次的具有区别能力的特征。经过图卷积进行表征后，再通过多个堆叠的CNN进行更深层次的抽象，从而得到多层次的情绪表征；另一部分是具有层次化注意机制的对抗域适应(ADAAM)，用于减少源受试者和目标被试者之间的分布偏移。本发明中，将多层次特征空间划分为不同的区域，每个区域对应一个域判别器。训练后，域判别器难以判别的区域，相对来说具有更好的迁移能力。通过赋予这些区域更大的权重，训练集中在多个具有更好的迁移能力的区域的对齐上。这两部分可以提取出同时具有区别能力和迁移能力的情绪相关特征，从而提高情绪识别模型的泛化能力，获得更好的性能表现。
作为一种可能的实现方式，参见图1，本发明实施例提供的跨用户场景下基于注意力机制的对抗域适应的脑电情绪识别方法，包括以下步骤：
步骤S1：采集用户在不同情绪状态下激发的脑电数据，并对不同的情绪状态下的脑电数据赋予不同的情绪标签，对脑电信号数据进行切割形成样本并划分为训练集、测试集；
步骤S11：受试人群由15名受试者(7名男性和8名女性)组成，收集了他们在3个不同的时期共62个通道的脑电数据。每个时期，每个受试者观看15个激发情绪的电影片段，包括5种积极情绪、5种中性情绪和5种负面情绪。每个片段大约4分钟，每个电影片段都被很好的剪辑，以创造连贯的情绪激发并最大化情绪意义。
步骤S2：对采集得到的脑电信号做预处理；
S21：首先进行信号处理，将脑电数据从1000Hz下采样到200Hz的采样率，以减小数据大小。再采用0-75Hz的带通滤波来去除噪声和伪影，并使用1s的时间窗口切割每个通道的脑电数据避免重叠。
S22：本发明实施例中，不使用原始脑电作为模型的输入，而是在原始信号的基础上计算特征作为模型的输入。这些特征包括差分嫡(DE)、功率谱密度(PSD)、差分不对称(DASM)、理性不对称(RASM)和差分尾部(DCAU)。
每种特征包含五个频带：delta(1-4Hz)、theta(4-8Hz)、alpha(8-14Hz)、beta(14-31Hz)和gamma(31-50Hz)。最近的研究表明，DE在情绪识别方面优于PSD。因此，本发明实施例中，选择了所有五个频带上的DE特征作为输入。
其中，DE被定义为：
Figure BDA0003454279550000051
其中，X是预处理后的脑电数据并且符合正态分布，X～N(μ,σ2)，μ是均值，σ2是方差，e和π是常数。
步骤S3：将训练集数据作为源域数据，测试集数据作为目标域数据，在训练时将源域的知识迁移到目标域上实现对目标域更好的分类效果。
步骤S4：构建及训练情绪识别网络模型(情绪识别的深度学习网络模型)。
步骤S41：网络的总体结构如图1所示，首先是带多层卷积神经网络的图卷积神经网络(GCNN-CNNs)，用来提取多层特征，构成更广阔的特征空间。然后将特征空间划分为多个特征区域，每个特征区域对应一个域判别器。最后是一个标签预测器，根据源域特征预测情绪类别。
步骤S42：将源域和目标域中对每个EEG通道提取到的DE矩阵分别输入到GCNN，以捕获不同EEG通道之间的结构信息，然后使用多个常规的CNNs进一步抽象特征。输入到GCNN的差分熵矩阵需要转换为图结构的表示。每个EEG通道都被视为图中的一个顶点，两个不同的顶点之间的连接对应于图的一条边。不同通道之间的功能关系可以从图的边来探索。无向图可以表示为G＝(V,ε,A)，其中V是n个节点的集合，ε是连接这些节点的边集。A属于Rn×n是表示边集ε的加权邻接矩阵，每个元素Aij表示第i个节点和第j个节点之间的连接。Aij是可学习的，为了减少过拟合，加权邻接矩阵A是一个只有
Figure BDA0003454279550000052
个参数而不是n2个参数的对称矩阵。Aij如下定义：
Figure BDA0003454279550000053
其中，θ和τ是固定的超参数，dij,i,j＝1,2,…,n表示第i个信道和第j个信道之间的物理距离，即τ表示预置的物理距离阈值，θ的取值基于实际应用场景进行设置，经验值。
谱图滤波在信号处理中使用卷积的定义，即将信号变换到傅里叶域，将变换后的信号与同样变换到傅里叶域的滤波器响应进行相乘，最后应用傅里叶变换的逆。图的傅里叶分析基于拉普拉斯矩阵L＝D-A，它的对称规范化版本被定义为
Figure BDA0003454279550000061
其中D∈Rn×n是一个对称矩阵，I是单位矩阵。L能被分解为L＝UΛU，U是正交特征向量矩阵,Λ是具有相应特征值的对角矩阵。给定图形信号X，X的图形傅里叶变换(GFT)为
Figure BDA0003454279550000062
其逆变换为
Figure BDA0003454279550000063
因此，X和滤波器G之间的图卷积定义为:
X*G＝U((UTG)⊙(UTX))＝Ug(Λ)UTX (3)
其中，⊙是阿达玛积，g(Λ)表示具有n个谱滤波器系数的对角矩阵。
由于直接计算g(Λ)过于耗费时间，本发明实施例中，通过K阶切比雪夫多项式来接近g(Λ)：
Figure BDA0003454279550000064
其中，θk是切比雪夫多项式的系数，函数Tk(x)可根据以下表达式递归计算：
Figure BDA0003454279550000065
因此，滤波操作可以进行如下转换：
Figure BDA0003454279550000066
其中
Figure BDA0003454279550000067
因此K阶切比雪夫图卷积的输出可以表示为：
Figure BDA0003454279550000068
其中，θgcnn是在GCNN中学习的所有参数的矩阵。ReLU用于增加非线性，即ReLU表示非线性激活函数。由GCNN(x)计算的抽象表示被输入到以下规则CNNs中以获得更高级别的特征。经过几次正则卷积后，所有层的特征进行拼接：
Gf(X)＝[GCNN,CNN1,CNN2,…,CNNl] (8)
其中，Gf表示GCNN-CNNs特征提取器，用于提取有区别能力的情绪相关特征。
步骤S43：在提取出情绪特征后，为了更好地降低个体差异的影响，本发明实施例采用具有注意力机制的对抗域适应方法。
即将整个特征空间划分为更细粒度的区域，并将每个层次的特征划分为两个区域，每个区域对应于一个域判别器。如图1所示，将公式7的域判别器Gd分为K个域判别器，因此总共有
Figure BDA0003454279550000069
个层次，将其应用于所有K个域判别器
Figure BDA00034542795500000610
Figure BDA00034542795500000611
其中，n＝ns+nt，ns和nt分别是源域和目标域的样本数量，Ds表示源域，Dt表示目标域。
Figure BDA0003454279550000071
是特征提取器提取样本xi得到的特征空间中第k区域的特征表示，di表示样本xi所属域标签。
Figure BDA0003454279550000072
是域判别器
Figure BDA0003454279550000073
的交叉熵损失。每个域判别器
Figure BDA0003454279550000074
的输出
Figure BDA0003454279550000075
是源域的样本xi的区域k的预测概率。当概率接近1时，表示区域k属于源域，0表示它属于目标域。
为了更关注具有更高迁移能力的区域，给予它们更多的权重。应用信息熵准则E(p)＝-∑jpj·log(pj)计算每个区域k的迁移权重：
Figure BDA0003454279550000076
其中，p表示预测概率，pj表示第j个样本的预测概率。
因此，
Figure BDA0003454279550000077
使用迁移权重进行变换：
Figure BDA0003454279550000078
这样，训练就可以把注意集中在重要的区域上，因为具有较强的迁移能力的区域会获得较大的迁移权重。
步骤S44：在得到变换后的特征mi之后，样本xi的情绪类别概率可以计算如下
Gy(mi)＝softmax(fc(mi)) (12)
其中，fc(mi)＝mi·θy是全连接层的输出，其中θy表示全连接层的网络参数。
最终，ADAAM-ER的目标优化函数表示为：
Figure BDA0003454279550000079
其中，D＝Ds∪Dt，Gy(mi)和yi分别是预测标签和真实标签的向量，Ly(.,.)是类标签预测的损失，λ是统一优化问题中平衡两个目标的超参数，极大极小优化问题是求网络参数θf,θy,θd的估计值
Figure BDA00034542795500000710
和
Figure BDA00034542795500000711
使它们共同满足：
Figure BDA00034542795500000712
Figure BDA00034542795500000713
其中，θf,θy,θd分别表示特征提取器(GCNN-CNNs)、全连接层和所有判别器的网络参数，
Figure BDA00034542795500000714
表示第k个判别器的网络参数。
从而针对不同层次之间的可转移区域进行研究，通过注意机制实现更好的域对齐。
步骤S5：将实时采集得到脑电输入到S4训练好的深度学习网络模型中，得到当前脑电的情绪状态。
本发明实施例中，运用S1，S2，S3步骤中得到的情绪数据进行测试，与其他在情绪识别领域应用较为广泛的机器学习方法以及一些近期研究提出的方法进行对比实验，本发明实施例中，对比的方法有SVM，TCA、SA、DAN、DGCNN、R2G-STNN、RGNN。每个方法在用户独立场景下，即取一个受试者的数据作为测试集，其他受试者的数据作为训练集，训练非用户依赖的模型，对比实验的平均准确率和标准差的详细结果如表1所示。可以看出，本发明实施例所提方法优于其他方法，平均准确率为86.58％。标准差不是最小的，这是由于受试者4的结果极低。结果表明本发明实施例对15名受试者的准确度和整体平均准确度都优于其他模型。显然，本发明实施例所训练出来的网络提取的特征更具区别能力。
表1用户独立场景下对比实验的平均准确率和标准差(％)结果
方法 平均准确率/标准差
SVM 56.73/16.29
TCA 63.64/14.88
SA 69.00/10.89
DAN 79.19/13.14
DGCNN 79.98/09.02
R2G-STNN 84.16/07.63
RGNN 85.30/06.72
Ours 86.58/08.41
其中，SVM表示支持向量机，TCA表示迁移成分分析，SA表示子空间对齐，DAN表示对抗域适应，DGCNN表示动态图卷积神经网络，R2G-STNN表示区域到全局的时空神经网络，RGNN表示正则化的图神经网络，Ours表示本发明实施例所提方法。
同时，针对Without-DA(不含域适应)、General-DA(通用域适应)和本发明实施例所提供的识别模型的准确率和平均准确率进行了比对，如图2所示，从图可知，本发明实施例所训练出来的网络提取的特征更具区别能力。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
以上所述的仅是本发明的一些实施方式。对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (7)

1.跨用户场景下基于注意力机制的对抗域适应的脑电情绪识别方法，其特征在于，包括：
信号采集步骤，采集用户在不同情绪状态下激发的脑电数据，并对不同的情绪状态下的脑电数据赋予不同的情绪标签，对脑电数据进行切割形成样本，并将样本划分为训练集和测试集；
信号预处理步骤，对采集的脑电数据进行信号预处理，并提取初始脑电信号特征；
网络构建及训练步骤：以训练集作为源域数据、测试集作为目标域数据，对情绪识别网络模型进行训练处理；
所述情绪识别网络模型包括特征提取器、基于注意力机制的使用对抗域适应处理模块和情绪标签预测器；
所述特征提取器用于提取脑电初始信号特征的多层第一脑电信号特征，并将提取到的多层第一脑电信号特征输入到基于注意力机制的使用对抗域适应处理模块，所述特征提取器包括依次连接的一层图卷积网络和多个堆叠的卷积神经网络；
所述基于注意力机制的使用对抗域适应处理模块，将每一层特征信息按照指定的划分规则分别划分为两个子区域，分别对应源域与目标域，并通过注意力机制配置每个子区域的迁移权重；即子区域的迁移能力越强，则迁移权重越大；
再基于每个子区域的迁移权重对子区域内的第一脑电信号特征进行变换处理，得到第二脑电信号特征并输入情绪标签预测器；
所述情绪标签预测器包括至少两层全连接层，用于预测样本属于各情绪类别的类别预测概率，即对第二脑电信号特征进行情绪类别的分类任何预测；
基于采集的样本对情绪识别网络模型进行深度学习训练，直到满足预设训练需求，得到训练好的情绪识别网络模型；
情绪识别处理，对实时采集得到的脑电数据进行信号预处理，并提取初始脑电信号特征，再将待识别的初始脑电信号特征输入到训练好的情绪识别网络模型，基于情绪标签预测器的输出确定识别结果：最大类别预测概率所对应的情绪类别。
2.如权利要求1所述的方法，其特征在于，基于注意力机制的使用对抗域适应处理模块还包括：为每一个子区域配置一个判别器，用于输出当前子区域的各样本属于源域和目标域的预测概率
Figure FDA0003454279540000011
基于所述预测概率
Figure FDA0003454279540000012
计算信息熵
Figure FDA0003454279540000013
并基于信息熵
Figure FDA0003454279540000014
确定第k个子区域的第i个样本的迁移权重
Figure FDA0003454279540000015
Figure FDA0003454279540000016
其中，k表示子区域标识符，i表示样本标识符。
3.如权利要求1或2所述的方法，其特征在于，第一脑电信号特征的变换处理为：
Figure FDA0003454279540000021
其中，
Figure FDA0003454279540000022
表示第k个子区域的第i个样本的第一脑电信号特征，
Figure FDA0003454279540000023
表示第k个子区域的第i个样本的迁移权重，
Figure FDA0003454279540000024
表示第k个子区域的第i个样本的第二脑电信号特征。
4.如权利要求2所述的方法，其特征在于，对情绪识别网络模型进行训练处理，所述基于注意力机制的使用对抗域适应处理模块在计算迁移权重时，计算域分类损失；所述情绪标签预测器在预测类别预测概率时，计算情绪分类损失，并结合域分类损失与情绪分类损失对情绪识别网络模型的网络参数进行更新。
5.如权利要求4所述的方法，其特征在于，情绪识别网络模型在训练时的总损失L为：
Figure FDA0003454279540000025
其中，Ly()表示情绪分类损失，
Figure FDA0003454279540000026
表示第k个子区域的域分类损失，
Figure FDA0003454279540000027
表示第k个子区域的判别器的输出，Ds表示源域数据，Dt表示目标域数据，xi表示第i个样本的初始脑电信号特征，D＝Ds∪Dt，Gy(mi)和yi分别表示预测标签和真实标签的向量，Gf()表示特征提取器的输出，di表示第i个样本的域标签，mi表示第i个样本的所有子区域的第二脑电信号特征，参数n＝ns+nt，ns和nt分别表示源域和目标域的样本数量，K表示判别器数量，λ为预置的平衡参数。
6.如权利要求1所述的方法，其特征在于，信号预处理包括降采样、带通滤波、时间窗口切割和提取差分熵特征。
7.如权利要求1所述的方法，其特征在于，情绪标签预测器涉及的情绪类别包括三类：积极、中性和消极。
CN202210001237.6A 2021-07-15 2022-01-04 跨用户场景下对抗域适应的脑电情绪识别方法 Active CN114492513B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN2021108025774 2021-07-15
CN202110802577 2021-07-15

Publications (2)

Publication Number Publication Date
CN114492513A true CN114492513A (zh) 2022-05-13
CN114492513B CN114492513B (zh) 2023-05-26

Family

ID=81510123

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210001237.6A Active CN114492513B (zh) 2021-07-15 2022-01-04 跨用户场景下对抗域适应的脑电情绪识别方法

Country Status (1)

Country Link
CN (1) CN114492513B (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115105079A (zh) * 2022-07-26 2022-09-27 杭州罗莱迪思科技股份有限公司 基于自注意力机制的脑电情绪识别方法及其应用
CN115444431A (zh) * 2022-09-02 2022-12-09 厦门大学 一种基于互信息驱动下的脑电情绪分类模型生成方法
CN116701917A (zh) * 2023-07-28 2023-09-05 电子科技大学 一种基于生理信号的开放集情感识别方法
CN116825060A (zh) * 2023-08-31 2023-09-29 小舟科技有限公司 一种基于bci情感反馈的ai生成音乐优化方法以及相关装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040072133A1 (en) * 2001-09-10 2004-04-15 Epoch Innovations, Ltd. Apparatus, method and computer program product to produce or direct movements in synergic timed correlation with physiological activity
CN111259761A (zh) * 2020-01-13 2020-06-09 东南大学 基于可迁移注意力神经网络的脑电情感识别方法及装置
CN112690793A (zh) * 2020-12-28 2021-04-23 中国人民解放军战略支援部队信息工程大学 情绪脑电迁移模型训练方法、系统及情绪识别方法和设备
CN112800937A (zh) * 2021-01-26 2021-05-14 华南理工大学 一种智能人脸识别方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040072133A1 (en) * 2001-09-10 2004-04-15 Epoch Innovations, Ltd. Apparatus, method and computer program product to produce or direct movements in synergic timed correlation with physiological activity
CN111259761A (zh) * 2020-01-13 2020-06-09 东南大学 基于可迁移注意力神经网络的脑电情感识别方法及装置
CN112690793A (zh) * 2020-12-28 2021-04-23 中国人民解放军战略支援部队信息工程大学 情绪脑电迁移模型训练方法、系统及情绪识别方法和设备
CN112800937A (zh) * 2021-01-26 2021-05-14 华南理工大学 一种智能人脸识别方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
YALAN YE 等: "Cross-subject EEG-based Emotion Recognition Using Adversarial Domain Adaption with Attention Mechanism" *
马博群: "基于对抗域泛化的跨被试情绪识别与疲劳检测" *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115105079A (zh) * 2022-07-26 2022-09-27 杭州罗莱迪思科技股份有限公司 基于自注意力机制的脑电情绪识别方法及其应用
CN115444431A (zh) * 2022-09-02 2022-12-09 厦门大学 一种基于互信息驱动下的脑电情绪分类模型生成方法
CN116701917A (zh) * 2023-07-28 2023-09-05 电子科技大学 一种基于生理信号的开放集情感识别方法
CN116701917B (zh) * 2023-07-28 2023-10-20 电子科技大学 一种基于生理信号的开放集情感识别方法
CN116825060A (zh) * 2023-08-31 2023-09-29 小舟科技有限公司 一种基于bci情感反馈的ai生成音乐优化方法以及相关装置
CN116825060B (zh) * 2023-08-31 2023-10-27 小舟科技有限公司 一种基于bci情感反馈的ai生成音乐优化方法以及相关装置

Also Published As

Publication number Publication date
CN114492513B (zh) 2023-05-26

Similar Documents

Publication Publication Date Title
CN110399857B (zh) 一种基于图卷积神经网络的脑电情感识别方法
CN107844755B (zh) 一种结合dae和cnn的脑电信号特征提取与分类方法
CN114492513A (zh) 跨用户场景下基于注意力机制的对抗域适应的脑电情绪识别方法
Kim et al. A study on user recognition using 2D ECG based on ensemble of deep convolutional neural networks
CN106108894A (zh) 一种提高情绪识别模型时间鲁棒性的情绪脑电识别方法
CN110353673B (zh) 一种基于标准互信息的脑电通道选择方法
CN112381008B (zh) 一种基于并行序列通道映射网络的脑电情感识别方法
CN109497996B (zh) 一种微状态eeg时域特征的复杂网络构建及分析方法
CN110135244B (zh) 一种基于脑-机协同智能的表情识别方法
CN114595725B (zh) 一种基于加法网络和监督对比学习的脑电信号分类方法
CN115221969A (zh) 基于emd数据增强和并行scn的运动想象脑电信号识别方法
Nakra et al. Motor imagery EEG signal classification using long short-term memory deep network and neighbourhood component analysis
Chalaki et al. Epileptic seizure classification using ConvLSTM deep classifier and rotation short-time Fourier Transform
CN108874137B (zh) 一种基于脑电信号的手势动作意图检测的通用模型
CN114424941A (zh) 疲劳检测模型构建方法、疲劳检测方法、装置及设备
CN111931578B (zh) 一种基于最小生成树和区域双层网络的脑电识别方法
Pan et al. Epileptic seizure detection with hybrid time-frequency EEG input: a deep learning approach
Chougule et al. Enabling safe its: Eeg-based microsleep detection in vanets
CN112438741A (zh) 一种基于脑电特征迁移学习的驾驶状态检测方法及系统
Behrouzi et al. Understanding power of graph convolutional neural network on discriminating human EEG signal
CN116115240A (zh) 基于多分支图卷积网络的脑电情绪识别方法
Fabietti et al. Artefact Detection in Chronically Recorded Local Field Potentials: An Explainable Machine Learning-based Approach
Arjaria et al. Hjorth parameter based seizure diagnosis using cluster analysis
CN112084935B (zh) 一种基于扩充高质量脑电样本的情绪识别方法
CN114305452A (zh) 一种基于脑电和领域适配的跨任务认知负荷识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant