CN115758267A - 一种基于sru和双重注意力的脑电信号情绪识别方法 - Google Patents

Abstract

本发明涉及人工智能技术领域，尤其涉及一种基于SRU和双重注意力的脑电信号情绪识别方法，包括：对数据集进行分段预处理以扩充样本数量，由一维卷积提取62个通道局部情感特征；构建嵌入内注意力简单循环单元以捕捉多通道融合特征以及通道之间的依赖关系，全局注意力机制识别出对情感倾向识别影响较大的重点特征，进一步增强对深层次脑电信号特征的学习；线性层输出积极、中性、消极的情感识别结果。实验结果表明，本发明取得了90.24％的平均分类准确率，高于实验对比的优秀深度学习模型，嵌入内注意力简单循环单元特征捕捉能力更强，能够准确地识别出脑电信号所表示的情感倾向，实现检测自动化，同时为医生诊断提供有效的辅助决策。

Description

一种基于SRU和双重注意力的脑电信号情绪识别方法

技术领域

本发明涉及人工智能技术领域，尤其涉及一种基于SRU和双重注意力的脑电信号情绪识别方法。

背景技术

情绪是人对客观事物或者自身刺激带来的生理反应。脑电信号属于典型生物电信号，是大脑皮层神经细胞或头皮表层电活动的总体反应，相比于其他生理信号，脑电信号存在难以进行伪装、特征信息丰富且应用可靠性更高的特点，在情感分类任务中识别准确度也更优。由于脑电信号在情绪识别方面的独特优势，已成为人工智能领域的一个热门研究方向。

从脑电信号中提取出与人的情感相关度高的特征是情绪识别中的关键步骤，脑电信号特征主要分为时域特征、频域特征、时频域、非线性动力学等特征。大量研究结果表明传统人工进行特征提取的方式较为复杂繁琐，且难以解决脑电信号非平稳和非线性问题，从而导致情感识别准确率不高。同时，机器学习方法构建特征工程具有明显的主观性，无法确保提取特征的有效性和准确性，且处理过程十分耗时，无法高效地处理大规模脑电信号数据。

深度学习模型具有强大的深层特征学习能力，已逐渐成为脑电信号情感识别研究的主流方法。陈景霞,王丽艳,贾小云,等.基于深度卷积神经网络的脑电信号情感识别[J].计算机工程与应用,2019,55(18):103-110提出了基于深度卷积神经网络的脑电信号情感识别模型，在DEAP数据集实验证明在效价和唤醒度维度上性能表现较传统机器学习方法有着不错提升，但卷积神经网络仅能捕捉局部情感特征信息，缺乏对时序情感特征的学习。Chen Wei,Lan-lan Chen,Zhen-zhen Song,et al.EEG-based emotion recognitionusing simple recurrent units network and ensemble learning[J].BiomedicalSignal Processing and Control,2020,58:101756.通过结合简单循环单元和集成策略，提出了基于深度学习的脑电情感识别系统，在公开DEAP和SEED数据集上取得了良好性能，简单循环单元训练效率高于LSTM等传统循环网络。刘帅,王磊,丁旭涛.基于Bi-LSTM的脑电情绪识别[J].山东大学学报(工学版),2020,50(04):35-39+45.为捕捉脑电信号中的时序变化，提出了一种基于双向长短时记忆网络的脑电情绪分类模型，但BiLSTM模块训练效率较低且参数量较大，影响模型整体训练速度。卢官明,丛文康,魏金生,等.基于CNN和LSTM的脑电信号情感识别[J].南京邮电大学学报(自然科学版),2021,41(01):58-64.提出了基于CNN和LSTM的脑电信号情感识别模型，利用一维卷积模块提取脑电信号局部特征，LSTM模块捕捉多通道融合特征，但CNN、LSTM等基础模型无法识别出对情感分类结果影响大的关键特征，且循环网络序列特征学习过程中未能区分不同通道之间的依赖关系，无法全面地捕捉脑电信号中的情感特征表示。

发明内容

本发明的目的是为了解决现有技术中存在的缺点，而提出的一种基于SRU和双重注意力的脑电信号情绪识别方法，采用一维卷积网络自动提取情感特征，避免传统复杂的提取过程，并对脑电信号数据集进行分段以进扩充样本数量，提升模型性能表现。

为了实现上述目的，本发明采用了如下技术方案：

一种基于SRU和双重注意力的脑电信号情绪识别方法，具体步骤如下：

首先对脑电信号采集、将数据进行预处理并分段，使其符合基于SRU和双重注意力的脑电信号情绪识别模型接受的输入形式；

其中，脑电信号情绪识别模型包括一维卷积模块、简单循环单元(SRU)、内注意力机制(Intra Attention)和全局注意力机制(Global Attention)；

一维卷积模块作用在单个信号通道，负责捕捉局部情感特征；

简单循环单元负责提取多通道融合特征，内注意力机制学习到不同通道间情感关联信息；

由全局注意力通过计算每个隐藏层特征输出对情感极性判断的影响权重大小，提高对重点特征的关注程度，线性层输出积极、中性或消极的情感结果；

其中，一维卷积模块包括输入层、n个卷积层、平均池化和输出层；

每个卷积层由卷积操作、Swish激活函数和最大池化层构成；卷积操作提取单通道维度上的局部特征，降低向量维度大小，卷积核大小设置为1×3，在信号维度上通过滑动卷积窗口进行特征学习，步长大小设置为1；为避免RELU激活函数在训练过程中出现神经元坏死，导致训练效果不佳的问题，引入性能更优的非线性激活函数Swish，加快模型训练速度，对整体网络起正则化作用；计算过程如式(1)所示：

f(x)＝x*sigmoid(βx) (1)

其中，β为可训练超参数，最大池化策略对局部特征进行筛选，保留重点特征作为下一层卷积的输入；经多个卷积层进行特征学习后，最后由平均池化层输出每个通道的高维情感特征表示V，构成过程如式(2)所示：

V＝[V₁，V₂，...，V₆₂] (2)

其中，V_i表示第i通道的向量表示，维度大小为w。

优选地，简单循环单元能够对多通道脑电信号序列进行长距离的关系建模，内注意力机制捕捉当前通道与其他通道的情感关联特征，提取深层次情感结构信息；

简单循环单元摆脱对上一个时间状态输出结果的依赖，提高并行计算能力，并保持高效建模能力，单层SRU前向计算过程如式(3)至(6)所示：

r_t＝σ(W_rx_t+v_r⊙c_t-1+b_r) (3)

f_t＝σ(W_tx_t+v_f⊙c_t-1+b_f) (4)

c_t＝f_t⊙c_t-1+(1-f_t)⊙(Wx_t) (5)

h_t＝r_t⊙c_t+(1-r_t)⊙x_t (6)

其中，⊙表示矩阵元素相乘操作；σ为sigmoid()函数；r_t表示重置门，f_t表示遗忘门，控制信息流入下一个时间步骤的程度，达到捕捉信号序列长期依赖的目的；W_r、W_t和W为权重参数矩阵，是训练优化的目标之一；b_r和b_f代表偏置项；h_t表示第t个时间步骤输出。由式(6)可得，计算h_t不再需要等待上一个时间步输出，避免循环依赖导致并行效率低的问题。

优选地，为进一步捕捉各个通道间的情感依赖关系，在简单循环单元的基础上引入内注意力机制，构建嵌入内注意力简单循环单元(Bidirectional Built-in IntraAttention Simple Recurrent Unit，BiBIASRU)，相关计算讨程如式(7)至(11)所示：

Q＝W^qX (7)

K＝W^kQ (8)

V＝W^vQ (9)

U^T＝W^o(Q+α·A) (11)

其中，X表示一维卷积模型输出结果，维度大小为[62，m]；W^q、W^k和W^v为可训练参数权重矩阵；A^T表示注意力得分矩阵；除以

是为了对点积结果进行缩放，避免方差过大，提升训练稳定性；Softmax为归一化函数；α为自适应训练参数；W^o为线性层投影矩阵，U∈R^62*m为输出特征向量矩阵；

对内注意力机制输出向量U，取62个通道向量的第i个维度构成第i个序列特征向量，共得到m个长度大小为62的序列特征，分别输入到嵌入内注意力简单循环单元中以捕捉多通道融合情感特征。

优选地，由于脑电信号情感倾向不但受前向序列影响，也与后向序列关系密切。因此，结合前向和后向嵌入内注意力简单循环单元构建双向嵌入内注意力简单循环单元，同时捕捉两个方向的序列特征，提取完整的情感信息，第t时刻的状态输出H_t由前向

和后向

拼接而成，计算过程如式(12)所示：

采用全局注意力机制通过计算简单循环单元模块每个时间状态输出H_t对情感分类结果影响的权重大小α_t，加权求和后得到整体注意力输出A，突出关键情感特征，避免无关信息干扰；具体计算过程如式(13)至(15)所示：

z_t＝tanh(WH_t+b) (13)

其中，tanh为激活函数；exp为指数函数；W为参数矩阵，b为偏置；

通过线性层降低向量维度，将结果映射到具体分类空间，由Softmax函数对分类概率进行归一化操作得到概率P，max函数取数值最大值对应的情感极性作为最终分类结果result，相关计算过程如式(16)(17)所示：

P＝Softmax(WA+b) (16)

result＝max(P) (17)。

与现有技术相比，本发明具有以下有益效果：

1、本发明针对LSTM循环模块训练速度慢问题，提出了双向嵌入内注意力简单循环单元，内注意力机制负责捕捉不同通道之间的情感依赖关系，提升模型特征学习能力，降低训练时长。

2、本发明通过全局注意力机制计算每个时间步骤输出特征对情感结果的影响权重以突出关键特征，抑制无关信息对结果造成干扰。

3、本发明采用一维卷积网络自动提取情感特征，避免传统复杂的提取过程，并对脑电信号数据集进行分段以进扩充样本数量，提升模型性能表现。

附图说明

图1为本发明的流程图；

图2为本发明中基于SRU和双重注意力的脑电信号情绪识别模型的结构示意图；

图3为本发明中一维卷积模块的结构示意图；

图4为本发明中BIASRU模块的结构示意图；

图5为本发明实施例中循环模块训练时间结果示意图；

图6为本发明实施例中不同分段长度对性能影响示意图。

具体实施方式

下面结合附图将对本发明实施例中的技术方案进行清楚、完整地描述，以使本领域的技术人员能够更好的理解本发明的优点和特征，从而对本发明的保护范围做出更为清楚的界定。本发明所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。

参照图1-6，一种基于SRU和双重注意力的脑电信号情绪识别方法，具体步骤如下：

首先对脑电信号采集、将数据进行预处理并分段，使其符合基于SRU和双重注意力的脑电信号情绪识别模型接受的输入形式；

其中，脑电信号情绪识别模型包括一维卷积模块、简单循环单元、内注意力机制和全局注意力机制；

一维卷积模块作用在单个信号通道，负责捕捉局部情感特征；

简单循环单元负责提取多通道融合特征，内注意力机制学习到不同通道间情感关联信息；

由全局注意力通过计算每个隐藏层特征输出对情感极性判断的影响权重大小，提高对重点特征的关注程度，线性层输出积极、中性或消极的情感结果；

其中，一维卷积模块包括输入层、n个卷积层、平均池化和输出层；

每个卷积层由卷积操作、Swish激活函数和最大池化层构成；卷积操作提取单通道维度上的局部特征，降低向量维度大小，卷积核大小设置为1×3，在信号维度上通过滑动卷积窗口进行特征学习，步长大小设置为1；为避免RELU激活函数在训练过程中出现神经元坏死，导致训练效果不佳的问题，引入性能更优的非线性激活函数Swish，加快模型训练速度，对整体网络起正则化作用；计算过程如式(1)所示：

f(x)＝x*sigmoid(βx) (1)

其中，β为可训练超参数，最大池化策略对局部特征进行筛选，保留重点特征作为下一层卷积的输入；经多个卷积层进行特征学习后，最后由平均池化层输出每个通道的高维情感特征表示V，构成过程如式(2)所示：

V＝[V₁，V₂，...，V₆₂] (2)

其中，V_i表示第i通道的向量表示，维度大小为w。

具体的，简单循环单元能够对多通道脑电信号序列进行长距离的关系建模，内注意力机制捕捉当前通道与其他通道的情感关联特征，提取深层次情感结构信息；

简单循环单元摆脱对上一个时间状态输出结果的依赖，提高并行计算能力，并保持高效建模能力，单层SRU前向计算过程如式(3)至(6)所示：

r_t＝σ(W_rx_t+v_r⊙c_t-1+b_r) (3)

f_t＝σ(W_tx_t+v_f⊙c_t-1+b_f) (4)

c_t＝f_t⊙c_t-1+(1-f_t)⊙(Wx_t) (5)

h_t＝r_t⊙c_t+(1-r_t)⊙x_t (6)

其中，⊙表示矩阵元素相乘操作；σ为sigmoid()函数；r_t表示重置门，f_t表示遗忘门，控制信息流入下一个时间步骤的程度，达到捕捉信号序列长期依赖的目的；W_r、W_t和W为权重参数矩阵，是训练优化的目标之一；b_r和b_f代表偏置项；h_t表示第t个时间步骤输出。由式(6)可得，计算h_t不再需要等待上一个时间步输出，避免循环依赖导致并行效率低的问题。

具体的，为进一步捕捉各个通道间的情感依赖关系，在简单循环单元的基础上引入内注意力机制，构建嵌入内注意力简单循环单元，相关计算过程如式(7)至(11)所示：

Q＝W^qX (7)

K＝W^kQ (8)

V＝W^vQ (9)

U^T＝W^o(Q+α·A) (11)

其中，X表示一维卷积模型输出结果，维度大小为[62，m]；W^q、W^k和W^v为可训练参数权重矩阵；A^T表示注意力得分矩阵；除以

是为了对点积结果进行缩放，避免方差过大，提升训练稳定性；Softmax为归一化函数；α为自适应训练参数；W^o为线性层投影矩阵，U∈R^62*m为输出特征向量矩阵；

对内注意力输出向量U，取62个通道向量的第i个维度构成第i个序列特征向量，共得到m个长度大小为62的序列特征，分别输入到嵌入内注意力简单循环单元中以捕捉多通道融合情感特征。

具体的，由于脑电信号情感倾向不但受前向序列影响，也与后向序列关系密切。因此，结合前向和后向嵌入内注意力简单循环单元构建双向嵌入内注意力简单循环单元，同时捕捉两个方向的序列特征，提取完整的情感信息，第t时刻的状态输出H_t由前向

和后向

拼接而成，计算过程如式(12)所示：

采用全局注意力机制通过计算简单循环单元模块每个时间状态输出H_t对情感分类结果影响的权重大小α_t，加权求和后得到整体注意力输出A，突出关键情感特征，避免无关信息干扰；具体计算过程如式(13)至(15)所示：

z_t＝tanh(WH_t+b) (13)

其中，tanh为激活函数；exp为指数函数；W为参数矩阵，b为偏置；

通过线性层降低向量维度，将结果映射到具体分类空间，由Softmax函数对分类概率进行归一化操作得到概率P，max函数取数值最大值对应的情感极性作为最终分类结果result，相关计算过程如式(16)(17)所示：

P＝Softmax(WA+b) (16)

result＝max(P) (17)。

实施例：

实验采用SEED(周如双，赵慧琳，林玮玥，等.基于深浅特征融合的深度卷积残差网络的脑电情绪识别模型[J].中国生物医学工程学报，2021，40(06)：641-652.)脑电信号情感识别数据集，包含15个被测试对象观看电影剪辑片段时的脑电信号。每个测试对象在不同的3个时间段进行测试，每次观看15个电影片段，片段类型包括喜剧片、悲剧片和纪录片，以激发积极、消极和中性情感，且每个电影片段设有45s自我评估和15s休息时间，避免对后续测试造成影响，每个电影片段输出对应的62个通道脑电信号序列数据，不同电影片段输出序列长度存在差异。

由于每个时间段内仅有15个数据样本，导致模型训练效果较差，结果输出不稳定。本实施例基于15个数据样本通过分段形式扩充数据集，前9个和后6个数据样本分别生成新的训练样本和测试样本。以电影片段1对应脑电信号数据为例，共有62个通道，每个通道长度均为47001，本实施例设置分段长度为800，按照先后顺序每间隔800样本点划分为新样本，舍弃尾部不足800的部分样本点，得到58个训练样本，其他原始数据样本做同样处理。最终获得训练样本共496个，测试样本340个。

实验从每个试验者各个时间段的情感识别准确率、与近期优秀深度学习整体性能对比以及循环模块性能对比等方面开展，本实施例模型情感分类性能如表1所示，各个模型整体平均性能对比如表2所示。

表1本文模型分类准确率

由表1可知，本实施例模型在SEED数据集上的整体平均分类准确率为90.24％。不同测试人员在三个时间段的情感识别准确率存在差异，且同一个测试人员在不同时间段内准确率也存在一定程度上的波动。测试人员13三个时间段平均准确率达到了最高的93.08％，而人员9平均准确率只有86.29％，且在时间段3中准确率仅有79.57％，较时间段1和2明显下降。

表2各个模型整体平均性能对比

由表2结果可知，与近期表现优秀的深度学习模型相比较，本实施例模型取得了最高的平均准确率90.24％，较模型BiLSTM、SRU和CNN-LSTM分别提升了5.76％、6.61％和2.09％，证明了结合一维卷积网络和BiBIASRU-AT的有效性，能够提高脑电信号情感识别精度。

为验证嵌入内注意力简单循环单元的有效性，采用部分传统循环网络作为实验对比，由结果可得，CNN-BiBIASRU模型较CNN-BiLSTM、CNN-BiGRU和CNN-BiSRU平均准确率分别提高了0.78％、1.07％和1.02％，说明了内注意力机制能够捕捉不同通道之间的情感特征依赖，SRU模块提取多通道时序融合特征，实验效果优于传统循环网络。

设置CNN-BiBIASRU与CNN-BiBIASRU-AT进行实验对比，为验证全局注意力模块对模型整体性能的贡献程度，加入全局注意力后模型平均准确率提高了0.77％，结果证明全局注意力模块能够提升模型关注重点特征的能力，有效提升情感分类性能。

为验证BiBIASRU模块在并行计算速度上的优势，采用BiLSTM、BiGRU和BiSRU模块作为实验对比，各个模型每个轮次训练时间如图5所示，BiBIASRU、BiLSTM、BiGRU和BiSRU平均轮次训练时间分别为45.6s、51.375s、50.5s和43.75s。

由图5结果可知，模块BiBIASRU平均训练时长低于BiLSTM和BiGRU，由于加入了内注意力的计算，运算量上有一定增加，时间耗费高于原始BiSRU模块，但增长幅度较小。

分段长度大小影响着单个样本的序列长度以及整体样本数量，分段长度过小会导致每个样本包含序列信息过少，导致识别效果差，分段长度过大则会影响整体样本数量。本实施例共设置5个不同大小的分段长度进行实验验证，结果如图6所示。

由图6结果可知，当分段长度为800时，模型情感识别准确率最高，而分段长度为600和700时，分类性能较长度900和1000差，说明了样本长度越大，保留的情感信息越足，有利于模型进行特征学习。同时，分段长度作为超参数，对分类结果影响较大，需要依据具体数据集特点通过大量实验调试验证。

为验证本文模型在脑电信号情感识别任务上的有效性，采用准确率(Accuary)、精确率(Precision)、召回率(Recall)和F1分数作为评价指标。本文数据集存在积极、中性和消极三种情感，属于文本多分类任务，将其转化为多个二分类问题。如果将一类情感类别视为正例时，则其他两类情感类别均为负例，最后取每个类别评价指标的平均值作为实验结果。相关计算过程如式(18)至(21)所示：

实验软硬件环境采用Linux服务器，训练显卡为两张GTX3090，显存大小为24GB，内存大小为47GB。深度学习框架为Pytorch1.7.1+cuda11.1，并通过其他第三方库搭建模型和训练。模型参数对脑电信号情感识别性能有着直接影响，通过多次实验调整参数后，设置最优参数如下：BiBIASRU模块隐藏层大小为256，层数为2，内注意力维度大小为512，全局注意力维度为256；批处理大小为32，初始化学习率为1e-5，训练轮次为8，损失函数采用多分类交叉熵函数；为避免训练过程中反复调整学习率大小，引入性能更优秀的RAdam优化器,自适应调整学习率大小，提升模型训练效果。

综上所述，本发明通过卷积网络捕捉局部情感特征，避免繁琐的手动特征提取；构建嵌入内注意力简单循环单元以捕捉多通道融合特征以及不同通道之间的情感依赖关系，全局注意力机制识别出对情感极性判断影响较大的关键特征，在SEED数据集上取得了90.24％的平均分类准确率，高于实验对比的优秀深度学习模型。

本发明中披露的说明和实践，对于本技术领域的普通技术人员来说，都是易于思考和理解的，且在不脱离本发明原理的前提下，还可以做出若干改进和润饰。因此，在不偏离本发明精神的基础上所做的修改或改进，也应视为本发明的保护范围。

本发明涉及的参考文献如下：

[6]Chen Wei,Lan-lan Chen,Zhen-zhen Song,et al.EEG-based emotionrecognition using simple recurrent units network and ensemble learning[J].Biomedical Signal Processing and Control,2020,58:101756.

[7]刘帅,王磊,丁旭涛.基于Bi-LSTM的脑电情绪识别[J].山东大学学报(工学版),2020,50(04):35-39+45.

[8]卢官明,丛文康,魏金生,等.基于CNN和LSTM的脑电信号情感识别[J].南京邮电大学学报(自然科学版),2021,41(01):58-64.

Claims (4)

1.一种基于SRU和双重注意力的脑电信号情绪识别方法，其特征在于，具体步骤如下：

首先对脑电信号采集、将数据进行预处理并分段，使其符合基于SRU和双重注意力的脑电信号情感识别模型接受的输入形式；

其中，脑电信号情绪识别模型包括一维卷积模块、简单循环单元、内注意力机制和全局注意力机制；

一维卷积模块作用在单个信号通道，负责捕捉局部情感特征；

简单循环单元负责提取多通道融合特征，内注意力机制学习到不同通道间情感关联信息；

由全局注意力通过计算每个隐藏层特征输出对情感极性判断的影响权重大小，提高对重点特征的关注程度，线性层输出积极、中性或消极的情感结果；

其中，一维卷积模块包括输入层、n个卷积层、平均池化和输出层；

每个卷积层由卷积操作、Swish激活函数和最大池化层构成；卷积操作提取单通道维度上的局部特征，降低向量维度大小，卷积核大小设置为1×3，在信号维度上通过滑动卷积窗口进行特征学习，步长大小设置为1；为避免RELU激活函数在训练过程中出现神经元坏死，导致训练效果不佳的问题，引入性能更优的非线性激活函数Swish，加快模型训练速度，对整体网络起正则化作用；计算过程如式(1)所示：

f(x)＝x*sigmoid(βx) (1)

其中，β为可训练超参数，最大池化策略对局部特征进行筛选，保留重点特征作为下一层卷积的输入；经多个卷积层进行特征学习后，最后由平均池化层输出每个通道的高维情感特征表示V，构成过程如式(2)所示：

V＝[V₁，V₂，...，V₆₂] (2)

其中，V_i表示第i通道的向量表示，维度大小为w。

2.根据权利要求1所述的一种基于SRU和双重注意力的脑电信号情绪识别方法，其特征在于，简单循环单元能够对多通道脑电信号序列进行长距离的关系建模，内注意力机制捕捉当前通道与其他通道的情感关联特征，提取深层次情感结构信息；

简单循环单元摆脱对上一个时间状态输出结果的依赖，提高并行计算能力，并保持高效建模能力，单层SRU前向计算过程如式(3)至(6)所示：

r_t＝σ(W_rx_t+v_r⊙c_t-1+b_r) (3)

f_t＝σ(W_tx_t+v_f⊙c_t-1+b_f) (4)

c_t＝f_t⊙c_t-1+(1-f_t)⊙(Wx_t) (5)

h_t＝r_t⊙c_t+(1-r_t)⊙x_t (6)

其中，⊙表示矩阵元素相乘操作；σ为sigmoid()函数；r_t表示重置门，f_t表示遗忘门，控制信息流入下一个时间步骤的程度，达到捕捉信号序列长期依赖的目的；W_r、W_t和W为权重参数矩阵，是训练优化的目标之一；b_r和b_f代表偏置项；h_t表示第t个时间步骤输出。

3.根据权利要求2所述的一种基于SRU和双重注意力的脑电信号情绪识别方法，其特征在于，在简单循环单元的基础上引入内注意力机制，构建嵌入内注意力简单循环单元，相关计算过程如式(7)至(11)所示：

Q＝W^qX (7)

K＝W^kQ (8)

V＝W^vQ (9)

U^T＝W^o(q+α·A) (11)

其中，X表示一维卷积模型输出结果，维度大小为[62，m]；W^q、W^k和W^v为可训练参数权重矩阵；A^T表示注意力得分矩阵；除以

是为了对点积结果进行缩放，避免方差过大，提升训练稳定性；Soffmax为归一化函数；α为自适应训练参数；W^o为线性层投影矩阵，U∈R^62*m为输出特征向量矩阵；

对内注意力机制输出向量U，取62个通道向量的第i个维度构成第i个序列特征向量，共得到m个长度大小为62的序列特征，分别输入到嵌入内注意力简单循环单元中以捕捉多通道融合情感特征。

4.根据权利要求3所述的一种基于SRU和双重注意力的脑电信号情绪识别方法，其特征在于，结合前向和后向嵌入内注意力简单循环单元构建双向嵌入内注意力简单循环单元，同时捕捉两个方向的序列特征，提取完整的情感信息，第t时刻的状态输出H_t由前向

和后向

拼接而成，计算过程如式(12)所示：

采用全局注意力机制通过计算简单循环单元模块每个时间状态输出H_t对情感分类结果影响的权重大小α_t，加权求和后得到整体注意力输出A，突出关键情感特征，避免无关信息干扰；具体计算过程如式(13)至(15)所示：

z_t＝tanh(WH_t+b) (13)

其中，tanh为激活函数；exp为指数函数；W为参数矩阵，b为偏置；

通过线性层降低向量维度，将结果映射到具体分类空间，由Softmax函数对分类概率进行归一化操作得到概率P，max函数取数值最大值对应的情感极性作为最终分类结果result，相关计算过程如式(16)(17)所示：

P＝Softmax(WA+b) (16)

result＝max(P) (17)。

Images