CN115238731A

CN115238731A - 基于卷积递归神经网络与多头自注意力的情感识别方法

Info

Publication number: CN115238731A
Application number: CN202210665185.2A
Authority: CN
Inventors: 胡章芳; 陈力布杰; 周景帆; 吴昌波
Original assignee: Chongqing University of Post and Telecommunications
Current assignee: Chongqing University of Post and Telecommunications
Priority date: 2022-06-13
Filing date: 2022-06-13
Publication date: 2022-10-25

Abstract

本发明请求保护一种基于卷积递归神经网络与多头自注意力机制的情感识别方法，利用一维卷积(CNN)和双向长短时记忆网络(BiLSTM)提取脑电(EEG)信号的空间和动态时间特征，并利用全连接层融合这些特征克隆给多头自注意力机制(Multi‑Head Self‑Attention)对情感关键信息的权重进行再分配，得到准确的情感状态识别。在情感分析与生理信号数据库(DEAP)上验证了设计的模型，并将设计的模型同其他情感识别模型进行比较。实验结果表明卷积网络的卷积平滑信号能够极大提升LSTM网络的识别能力，当输入为EEG时间序列，BiLSTM能够有效对时间序列过去和未来的关键信息进行学习，同时多头自注意力机制可以对权重再分配来提高准确率。与近几年方法相比，提出的模型依旧取得了显著效果。

Description

基于卷积递归神经网络与多头自注意力的情感识别方法

技术领域

本发明属于脑电情感识别领域，是一种基于卷积递归神经网络与多头自注意力机制的情感识别方法。

背景技术

情感在人类的日常生活中扮演着重要角色，它影响着人们的各个方面，包括人类的决策、言语、睡眠模式、健康、交流和其他各种特征。情感识别往往根据面部表情、语音和生理信号等来实施，而生理信号更能准确反映人类情感状态波动，具有更好的鲁棒性和抗噪性。因此基于多通道脑电时序信号的情感识别成为情感计算领域的研究热点。

脑电图是人脑表皮的电信号，具有非线性、非平稳的特点，针对此类信号的特征提取与分类一直是研究者们的难题。深度学习作为机器学习的分支，在处理EEG特征信息和分类中表现出显著的效果。与现有的各种深度学习技术相比，因为能够自动提取区分特征和分类，卷积神经网络的使用开始增多。以及为了解决卷积神经网络缺少时间序列的问题加入了LSTM模型。

CNN是一种非常有效的图像处理和分类模型，该架构使用的是卷积运算，用来提取数据各种特征，然后将特征传递给下一层。CNN处理过后的卷积平滑信号对LSTM网络有着显著提升。以往很多网络都没考虑到注意力机制对识别的提升，并且缺少CNN的卷积平滑信号导致LSTM学习时间序列变得困难。而且在端到端方法中，不能获取EEG时间序列过去和未来状态的关键信息，也没能对情感关键信息的权值再分配。

CN113724732A，一种基于多头注意力机制融合的卷积递归神经网络模型。首先，提出了一种全卷积网络用于提取语音谱图情感特征，该网络以Alexnet网络为基础模型，通过在Alexnet网络池化层后添加分支的方法阻止情感信息损失；采用2层BiLSTM网络提取语音帧级情感特征，并将BiLSTM网络与全卷积网络并行连接，组成混合网络，用于提取语音情感特征；其次，提出了一种基于多头注意力机制的特征融合算法，该方法利用多头注意力机制实现Alexnet网络与BiLSTM网络特征自适应融合，同时，为抑制网络梯度发散，将混合网络提取的特征与多头注意力融合特征通过shortcut connection连接，构成用于情感识别的特征；最后，将特征送入softmax分类器中，实现情感分类。该专利Alexnet与BiLSTM的混合网络往往容易导致层数过深，出现严重过拟合的情况，本发明CNN和BiLSTM的混合结构中的卷积网络为单层的一维卷积，极大降低网络深度，加快训练和推理的速度并且避免过拟合。该专利利用多头注意力没有自我注意力，对关键的信息权重分配效果不好，本发明将BiLSTM输出的结果克隆给多头自注意力的Q,K,V，可对自身关键信息权重准确分配。

CN113450830A，一种具有多重注意机制的卷积循环神经网络的语音情感识别方法，包括：步骤1，提取谱图特征和帧级特征。步骤2，谱图特征输送进CNN模块来学习特征中的时频相关信息。步骤3，多头自注意力层作用于CNN模块来计算不同规模的全局特征下不同帧的权重，并融合CNN中不同深度的特征。步骤4，一个多维注意层作用于LSTM输入的帧级特征来综合考虑局部特征与全局特征的关系。步骤5，处理过的帧级特征输送进LSTM模型中来获取特征中的时间信息。步骤6，一个融合层来总结不同模块的输出来增强模型性能。步骤7，利用Softmax分类器对不同情感进行分类。本发明结合深度学习网络，模块内部采用并行的连接结构来同时处理特征，能够有效的提升语音情感识别的性能。该专利用LSTM来对输入的序列进行帧级的处理，能对识别有较大的提升，但是对序列中的前后时间关系没有进行深层的认知，缺少了对前后特征的学习，本发明采用BiLSTM网络对过去和未来动态时间特征进行深入学习，并利用多头自注意对关键情感特征权重再分配提高识别准确率。

发明内容

本发明旨在解决以上现有技术的问题。提出了一种基于卷积递归神经网络与多头自注意力的情感识别方法。本发明的技术方案如下：

一种基于卷积递归神经网络与多头自注意力的情感识别方法，其包括以下步骤：

S1，利用卷积神经网络CNN提取脑电EEG信号空间特征，并采用4.0-45.0Hz带通滤波器对EEG信号空间特征进行预处理；

S2，将带有空间特征的EEG信号进行正则化与池化处理；

S3，将卷积平滑信号输入到BiLSTM双向长短时记忆网络，学习EEG时间序列的动态时间特征，获取EEG信号的过去和未来关键的情感信息；

S4，最后利用多头自注意力机制对脑电情感关键信息的权重再分配。

进一步的，所述步骤S1通过卷积神经网络CNN构成的特征提取器对多通道EEG信号的空间特征进行提取，然后将EEG信号的空间特征传递给给正则化和池化层，CNN处理过后的卷积平滑信号还通过引入LSTM网络来增加时间序列。

进一步的，所述步骤S2先利用Relu激活函数的正则化避免过拟合并且加速学习，然后再经过池化将特征信号转递给下一层BiLSTM双向长短时记忆网络。

进一步的，LSTM网络通过共享权值，隐藏层和输出层之间的权重可以随时回收，LSTM网络是一种用于处理时间序列的链式模型，能有效地补偿消失梯度问题，双向脑电信号提取方法可以同时提取脑电信号序列中较早段和较晚段的动态信息；一个LSTM单元由遗忘门、记忆门、输出门三个门控制单元组成。

进一步的，所述LSTM单元的遗忘门、记忆门、输出门三个门控制单元组成，计算公式如下所示：

f_t＝σ(W_f·[h_t-1,x_t])+b_f),

i_t＝σ(W_i·[h_t-1,x_t])+b_i),

O_t＝σ(W_O·[h_t-1,x_t])+b_O),

h_t＝tanh(C_t)×O_t,

其中，x_t为t时刻的时间序列，C_t表示为细胞状态，

为临时细胞状态，σ为sigmoid函数，W为权值矩阵，b为相对应权重的偏置向量，h_t为隐藏状态，f_t为遗忘门，i_t为记忆门，O_t则是输出门；遗忘门选择了保留的特征，将上一状态的信息和当前的状态信息同时输入到sigmoid函数中，记忆门负责更新LSTM单元的状态，之后输入门控制输出值到下一个LSTM单元。

进一步的，所述S4，最后利用多头自注意力机制对脑电情感关键信息的权重再分配，具体包括：

Transformer模型是一种自回归生成模型，使用自我注意机制和正弦位置信息，每一层包括时间自注意子层、前反馈网络子层、残差网络子层和dropout层；时间自注意子层用于捕获关键信息，前反馈网络子层用于是把神经网络中隐藏层归一为标准正态分布加速收敛，残差网络子层缓解了梯度消失的问题，使得网络可以做得比较深，dropout层用于减少过拟合的效果。

注意力本质上是为EEG序列中的每个元素分配一个权重系数，如果存储了每个元素，则注意可以计算Q和K之间的相似性；由Q和K计算的相似性反映了提取的V值的重要性，即权重，然后加权求和得到注意值；K，Q，V模型中自我注意机制的特殊点是Q＝K＝V，Q是指输出端的序列组成的向量组，K是指输入端序列的每个向量对应的各种权重，V是指输入端的序列组成的向量组。缩放点积注意力公式如下：

进一步的，还包括采用训练模型进行训练的步骤，训练模型是双向双层LSTM与多头自注意力机制加上单层卷积神经网络的结构，简称为CNN1D_BiLSTM_MHSA网络，输入的数据经过一维卷积网络，其卷积核为128，然后经过Batch Normalisation正则化和Relu激活函数再对数据进行核为3的一维池化，得到的数据序列喂给BiLSTM深层网络，每层LSTM网络有256个隐藏单元，输出结构用全连接层进行拼接，得到的512个数据序列分别克隆给多头自注意力的Q，K，V，然后通过缩放点积注意力分配权重，最后使用softmax激活函数得到分类结果。

本发明的优点及有益效果如下：

本发明在公开数据集DEAP上验证了设计的模型，并将设计的模型同其它脑电情感识别模型进行比较。实验结果表明在卷积递归神经网络和多头自注意力机制的引入能够进一步提高准确率；当输入为EEG时间序列信息，结合CNN和BiLSTM能够有效提取空间和动态时间特征。而提出多头自注意力机制又能在此基础上继续增强识别准确率，通过与近几年其他EEG情感识别模型的先进方法进行对比，本发明提出的模型依旧取得了优越的性能

本发明的创新主要是步骤1步骤3、4的结合，对于EEG信号的处理，一般数据的量不足以支撑较深层数的训练，容易产生过拟合，采用单层一维卷积减少训练层数，能够加快网络训练和推理的速度并且提取EEG中的空间信息。对于EEG信号存在的动态时间特征缺少研究，利用BiLSTM对过去和未来关键情感信息学习。在以上步骤下，对BiLSTM输出的结果加入了多头自注意力机制对其关键情感特征权重进行再分配，补充了EEG在注意力机制上的研究。

附图说明

图1是本发明提供优选实施例CNN1D-BiLSTM-MHSA训练框架；

图2为BiLSTM的结构图；

图3为Multi-Head Self-Attention的结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、详细地描述。所描述的实施例仅仅是本发明的一部分实施例。

本发明解决上述技术问题的技术方案是：

本发明的估计方法包括以下步骤：

S1，利用卷积网络CNN提取脑电(EEG)信号空间特征

S2，将处理过后EEG信号进行正则化与池化；

S3，将卷积平滑信号输入到BiLSTM，学习EEG时间序列的动态时间特征，对EEG信号的过去和未来关键的情感信息；

S4，最后利用多头自注意力机制对脑电情感关键信息的权重再分配；

S5，构建模型的参数，进行模型训练。

进一步，所述步骤S1，该架构使用的是卷积运算，用来提取数据各种特征，然后将特征传递给下一层。利用CNN构成的特征提取器对多通道EEG信号的空间特征进行提取。CNN处理过后的卷积平滑信号对LSTM网络有着显著提升。

进一步，所述步骤S2，先利用Relu激活函数的正则化避免过拟合并且加速学习，然后再经过池化将特征信号转递给下一层。

进一步，所述步骤S3，LSTM其隐藏层和输出层之间的权重可以随时回收。它是一种用于处理时间序列的链式模型，能有效地补偿消失梯度问题。与经典的单向脑电信号提取方法相比，双向脑电信号提取方法可以同时提取脑电信号序列中较早段和较晚段的动态信息。

进一步的，所述步骤S4，多头自注意力机制获得(Q，K，V)的h(即每一个头部)不同表征，计算每个表征的自我注意，并连接结果。训练过程中能够有效分配关键情感信息的权重。

进一步的，所述步骤S5，基于交叉熵函数优化和反向传播的随机梯度下降(SGD)进行网络训练。CNN的权重共享通常会导致不同层的梯度变化不一，出于这个原因采用的单层卷积神经网络并且使用较小的学习率。由于双层双向LSTM具有较大深度，因此较少的迭代次数(epoch＝50)足以收敛。为了消除过拟合问题的影响，在训练网络中采用dropout＝0.5。卷积层用的是核为128的单层CNN，利用卷积网络提取EEG信息序列的频域特征，再由LSTM单元分析时域特征，最后利用多头自注意力机制提升分类准确率。在该方法中，双向LSTM层有256个单元(共512个)，还研究了隐藏层为128与512个单元的情况，选取最好效果的256个单元。而多头自注意力机制的head从2/4/6/8中选择效果最好的8个head。下面表格列举了训练网络的超参数。

表1 CNN的超参数

表2 BiLSTM的超参数

表3 Multi-Head Self Attention结构的超参数

上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。

以上这些实施例应理解为仅用于说明本发明而不用于限制本发明的保护范围。在阅读了本发明的记载的内容之后，技术人员可以对本发明作各种改动或修改，这些等效变化和修饰同样落入本发明权利要求所限定的范围。

Claims

1.一种基于卷积递归神经网络与多头自注意力的情感识别方法，其特征在于，包括以下步骤：

S2，将预处理后带有空间特征的EEG信号进行正则化与池化处理；

2.根据权利要求1所述的一种基于卷积递归神经网络与多头自注意力的情感识别方法，其特征在于，所述步骤S1通过卷积神经网络CNN构成的特征提取器对多通道EEG信号的空间特征进行提取，然后将EEG信号的空间特征传递给正则化和池化层，CNN处理过后的卷积平滑信号还通过引入LSTM网络来处理时间序列。

3.根据权利要求2所述的一种基于卷积递归神经网络与多头自注意力的情感识别方法，其特征在于，所述步骤S2先利用Relu激活函数的正则化避免过拟合并且加速学习，然后再经过池化将特征信号转递给BiLSTM双向长短时记忆网络。

4.根据权利要求2所述的一种基于卷积递归神经网络与多头自注意力的情感识别方法，其特征在于，LSTM网络通过共享权值，隐藏层和输出层之间的权重可以随时回收，LSTM网络是一种用于处理时间序列的链式模型，能有效地补偿消失梯度问题，双向脑电信号提取方法可以同时提取脑电信号序列中较早段和较晚段的动态信息；一个LSTM单元由遗忘门、记忆门、输出门三个门控制单元组成。

5.根据权利要求4所述的一种基于卷积递归神经网络与多头自注意力的情感识别方法，其特征在于，所述LSTM单元的遗忘门、记忆门、输出门三个门控制单元组成，计算公式如下所示：

f_t＝σ(W_f·[h_t-1,x_t])+b_f),

i_t＝σ(W_i·[h_t-1,x_t])+b_i),

O_t＝σ(W_O·[h_t-1,x_t])+b_O),

h_t＝tanh(C_t)×O_t,

其中，x_t为t时刻的时间序列，C_t表示为细胞状态，

6.根据权利要求5所述的一种基于卷积递归神经网络与多头自注意力的情感识别方法，其特征在于，所述S4，最后利用多头自注意力机制对脑电情感关键信息的权重再分配，具体包括：

7.根据权利要求6所述的一种基于卷积递归神经网络与多头自注意力的情感识别方法，其特征在于，还包括采用训练模型进行训练的步骤，训练模型是双向双层LSTM与多头自注意力机制加上单层卷积神经网络的结构，简称为CNN1D_BiLSTM_MHSA网络，输入的数据经过一维卷积网络，其卷积核为128，然后经过Batch Normalisation正则化和Relu激活函数再对数据进行核为3的一维池化，得到的数据序列喂给BiLSTM深层网络，每层LSTM网络有256个隐藏单元，输出结构用全连接层进行拼接，得到的512个数据序列分别克隆给多头自注意力的Q，K，V，然后通过缩放点积注意力分配权重，最后使用softmax激活函数得到分类结果。