CN110610168B - 一种基于注意力机制的脑电情绪识别方法 - Google Patents

Abstract

本发明公开了一种基于注意力机制的脑电信号情绪识别方法，其步骤包括：1，对于原始EEG数据进行去基线和片段分割的预处理；2，建立时空注意力神经网络模型；3，在公开数据集上采用十折交叉方法训练建立的卷积循环注意力网络模型；4，利用建立好的模型实现情绪分类任务。本发明能实现高精度情绪识别，从而提高识别率。

Description

一种基于注意力机制的脑电情绪识别方法

技术领域

本发明涉及情感计算领域，具体的说是一种基于注意力机制的脑电信号情绪识别方法。

背景技术

情绪是人们日常生活中不可缺少的一部分，同时情绪识别也是人工智能领域的关键技术。应用于情绪识别的研究方法有很多种，常用的有人的表情、语言、肢体动作等判断人的情感，其中脑电信号(Electroencephalogram,EEG)具有实时差异性，与人的情感状态紧密相关，所以采用基于EEG信号的情绪识别研究方法。EEG情绪识别算法主要分为两类：传统算法和基于深度学习的算法。

基于EEG信号的情绪识别的传统算法中，通常是先从EEG信号中设计提取特征，再将提取得到的特征训练分类器进行识别任务。因此选择什么样的特征进行情绪识别非常关键，常用的脑电特征有时域特征，频域特征和时频特征等。除此之外，功率谱特征，小波特征和微分熵等特征作为情绪相关特征进行情绪分类时，也可以取得比较好的结果。

近年来，深度学习方法引起情感计算领域的广泛关注，人们采用各种深度学习网络作为分类器应用于从EEG信号提取得到的特征。除此之外，也有人将深度学习网络直接用于原始EEG信号中，将特征提取与分类同时进行，从而实现端到端的情绪识别研究。

目前，这种基于深度学习的端到端的情绪识别方法大多数采用卷积神经网络提取EEG信号的局部空间特征，这种方法未能考虑脑电信号的所有通道的全局空间信息，也忽略了EEG信号的时间依赖性，从而导致识别精度低。此外，目前基于深度学习的EEG情绪识别方法提取得到的相关特征不仅缺少了全局空间信息，也未考虑样本的时间依赖性，因此不能达到更高的识别率。

发明内容

本发明为克服现有技术的不足之处，提出一种基于注意力机制的脑电情绪识别方法，以期能实现高精度情绪识别，从而提高识别率。

本发明为达到上述发明目的，采用如下技术方案：

本发明一种基于注意力机制的脑电信号情绪识别方法的特点是按如下步骤进行：

步骤1、获取任一受试者A的带有R种情绪标签的脑电信号数据并进行预处理，包括去基线和样本分割，从而得到受试者A的N个脑电信号样本，记为S＝{S₁,S₂,...,S_k,...,S_N}，其中S_k∈R^m×P表示第k个脑电信号样本，m表示脑电信号的通道数，P表示采样点数，k＝1,2,…,N；

步骤2、建立初始的时空注意力模型，所述时空注意力模型由空间信息提取模块和时间信息提取模块组成；其中，所述空间信息提取模块包含卷积层和通道注意力机制层；所述时间信息提取模块包含双层长短期记忆网络模块LSTM和多维自注意力机制层；

步骤2.1、权值初始化：

使用截断正态分布对所述卷积层中的权重进行初始化；

利用正交矩阵生成的随机数对通道注意力机制层进行权重初始化；

对双层长短期记忆网络模块LSTM的状态进行初始化；

步骤2.2、将所述N个脑电信号样本S输入所述空间信息提取模块中，经过所述卷积层的处理得到空间特征序列C＝{C₁,C₂,...,C_k,...,C_N}；其中，C_k表示第k个空间特征；

再将所述空间特征序列C输入所述通道注意力机制层中进行提取，得到空间注意力信息序列C′＝{C′₁,C′₂,...,C′_k,...,C′_N}；其中，C′_k表示第k个空间注意力特征；

步骤2.3、对所述空间注意力特征序列C′进行池化操作得到编码后的序列P＝{P₁,P₂,...,P_k,...,P_N}；其中，P_k表示第k个池化编码；

再采用双层长短期记忆网络模块LSTM对编码后的序列P进行时间建模，从而以所述双层长短期记忆网络模块LSTM中第二层t时刻的隐含层状态h′_t作为时间信息特征；

步骤2.4、将所述时间信息特征h′_t输入所述多维自注意力机制层中，得到最终提取的时空注意力特征序列H＝{H₁,H₂,...,H_k,...,H_N}，其中，H_k表示第k个时空注意力特征；

步骤2.5、将所述时空注意力特征序列H输入外部的SoftMax函数层，从而得到R种情绪状态的概率值；

步骤3、离线训练：

采用式(1)所示交叉熵Γ作为损失函数，并采用ADAM优化器对所述损失函数进行最小化求解，从而对初始的时空注意力模型中的所有参数进行优化，并得到最优时空注意力模型，从而以所述最优时空注意力模型实现对脑电情绪的识别：

式(1)中，

表示第r种情绪标签的标签值，P_r表示时空注意力模型预测的第r种情绪状态的概率值。

与已有技术相比，本发明的有益效果体现在：

1、本发明通过构建时空注意力网络，从输入的原始EEG信号中提取有效的空间时间信息，并从这些信息中提取出情绪相关特征，实现了情绪识别任务，解决了现有情绪识别技术复杂的特征设计及提取等问题。

2、本发明能够实现端到端的训练和测试，与传统的情绪识别技术相比，端到端的结构能够同时实现情绪相关特征的提取和分类，不需要手工设计复杂的情绪相关特征，通过训练使网络具有时空特征提取能力。

3、本发明通过卷积网络和通道注意力模块提取全局性空间信息，能有效的获取从卷积层提取的EEG空间信息，提取的特征信息最终提高了情绪识别精度。

4、本发明使用双层LSTM网络提取经过编码后的EEG片段之间的时间信息，再使用自注意力机制提取反复经过编码后的同一样本中的相似信息作为最终的时空注意力特征，提高了情绪识别精度。

附图说明

图1为本发明方法流程示意图；

图2为本发明时空注意力神经网络的结构图；

图3为本发明时空注意力网络中通道注意力机制结构图；

图4为本发明时空注意力网络中LSTM结构；

图5为本发明时空注意力网络中自注意力机制结构图；

图6为DEAP数据库中唤醒度维度上32名受试者的平均识别精度及标准差图；

图7为DEAP数据库中效价维度上32名受试者的平均识别精度及标准差图。

具体实施方式

本实施例中，一种基于注意力机制的脑电信号情绪识别方法主要是利用卷积神经网络(CNN)和通道注意力机制(Channel-wise attention)提取原始EEG信号中的空间信息，再使用循环神经网络(RNN)和自注意力机制(Self-attention)提取经过编码后样本中时间信息，并最终得到EEG信号的时空注意力特征实现分类，如图1所示，是按如下步骤进行：

步骤1、获取任一受试者A的带有R种情绪标签的脑电信号数据并进行预处理，包括去基线和样本分割，从而得到受试者A的N个脑电信号样本，记为S＝{S₁,S₂,...,S_k,...,S_N}，其中S_k∈R^m×P表示第k个脑电信号样本，m表示脑电信号的通道数，P表示采样点数，k＝1,2,…,N；本实例中使用的是公开数据库DEAP中脑电数据做训练和测试，数据集包含了32名受试者，分别观看了40段一分钟的视频后采集的脑电信号，每位受试者一次trial采集的脑电信号X∈R³²×⁸⁰⁶⁴,其中前3s的数据是基线数据，标签是由受试者一次trial后的评分，包含了两种情绪维度Arousal和Valence，每种情绪分为两类high和low；

对每个受试者的40段脑电信号进行预处理，包括：

假定一次trial的原始EEG信号为X∈R^m×P，m是脑电信号的通道数，P是采样点数，其中基线信号是X_i∈R^m×L,i＝1,2,...,s.在DEAP数据集中，每位受试者的基线时长s＝3。

去基线：计算1s的平均基线数据如下：

为了减小静息状态脑电的干扰，使用平均基线数据对脑电信号做去基线预处理如下：

样本分割：为了扩大样本数量，将一位受试者60s的脑电信号用3s的滑动窗分割，相应的样本标签也随之增加，最终每位受试者的脑电样本。实验采用十折交叉验证方法，随机选择90％的样本作为训练集，剩余10％样本作为测试集，在测试集上进行十次实验后的平均识别率作为最终识别精度。

步骤2、建立初始的时空注意力模型，时空注意力模型由空间信息提取模块和时间信息提取模块组成；其中，空间信息提取模块包含卷积层和通道注意力机制层；时间信息提取模块包含双层长短期记忆网络模块LSTM和多维自注意力机制层；

步骤2.1、权值初始化：

使用截断正态分布对卷积层中的权重进行初始化；模型基于TensorFlow框架下，生成一组符合截断正态分布的tensor；

利用正交矩阵生成的随机数对通道注意力机制层进行权重初始化；

对双层长短期记忆网络模块LSTM的状态进行初始化；

步骤2.2、如图2左半部分所示，EEG信号的空间特征提取模块由卷积神经网络的卷积层和通道注意力机制组成；利用一层全局卷积层提取EEG信号的全局信息，用通道注意力机制来提取卷积特征的通道间信息，比起传统卷积神经网络提取得到的局部空间信息更加丰富。将N个脑电信号样本S输入空间信息提取模块中，经过卷积层的处理得到空间特征序列C＝{C₁,C₂,...,C_k,...,C_N}；其中，C_k表示第k个空间特征；本实施例中，S_N∈R^32×384，C_N＝R^{1 ×340×40}。

为了充分利用卷积特征通道间的信息，将每个样本的40通道的特征序列输入通道注意力机制层中，重新分配各通道卷积特征的权重。C_k的通道特征V＝{v₁,v₂,...,v_g,...,v_n}，n＝40，其中v_g表示每个通道的特征。通道特征序列C_k输入通道注意力机制层提取通道注意力特征序列C′＝{C′₁,C′₂,...,C′_k,...,C′_N}；其中，C′_k表示第k个通道注意力特征；通道注意力机制结构如图3所示，其模型如下：

β＝ softmax(W′_cb+b′_c) (5)

式(4)和式(5)中，tanh函数表达式为

W_c和b_c表示在通道注意力机制层中第c个通道特征初始化后的权值和偏置。W′_c和b′_c是在通道注意力机制层中学习得到的权值和偏置。β表示重新分配权值后的卷积通道特征。

步骤2.3、为了减小参数数目，对空间注意力特征序列C′进行池化操作，得到编码后的序列得到P＝{P_k∈R^1×340×40|P_k＝MaxPool(C′_k),i＝1,2,...,N}，其中，P_k表示第k个池化编码；

再采用双层长短期记忆网络模块LSTM对池化编码后的序列P进行时间建模，如图2右半部分所示，EEG信号的空间特征提取模块包括双层LSTM组成的循环神经网络和自注意力机制层；LSTM单元数目与EEG信号样本数目一样，LSTM的结构机制如图4所示。该单元使用三个“门”结构,来决定应该忘记哪些来自前一时刻的信息，以及当前时刻中的哪些信息应该被添加到输出。C_t-1表示编码序列P上一个时刻的单元状态，h_t-1表示上一时刻的隐藏状态，x_t表示输入的信号。决策向量f_t决定了上一时刻的单元状态能否添加至下一时刻，计算方式如下：

f_t＝σ(W_f·[h_t-1,x_t]+b_f) (6)

式(6)中，σ是sigmoid激活函数，表达式为

W_f和b_f分别是遗忘门中sigmoid激活函数f对应的权值和偏置项。输入门决定了当前时刻t的输入x_t有多少能保存到当前状态C_t中。tanh激活函数决定了当前时刻t的候选信息

决策向量i_t决定有多少

可以保存至单元状态C_t中。

和i_t计算方式如下：

i_t＝σ(W_i·[h_t-1,x_t]+b_i) (8)

式(7)中W_c表示当前状态C在输入门中tanh函数的权重参数，b_c是对应其偏置项；式(8)中W_i表示决策向量i在输入门中sigmoid函数的权重参数，b_i是其对应偏置项。当前时刻的单元状态C_t计算方式如下：

最后一个门是输出门，决定了当前时刻t的单元状态C_t有多少被输入至单元的隐藏状态h_t，单元状态C_t的决策向量o_t和隐藏状态h_t计算方式如下：

o_t＝σ(W_o·[h_t-1,x_t]+b_o) (10)

h_t＝tanh(C_t)×o_t (11)

式(10)中W_o和b_o分别为决策向量o在输出门中sigmoid函数对应的权重参数和偏置量。最终的输出是第二层的隐含状态h′_t＝{h′_t∈R^10×1×64|h′_t＝LSTM(P_k)}。从而以双层长短期记忆网络模块LSTM中第二层t时刻的隐含层状态h′_t作为时间信息特征；

步骤2.4、考虑到EEG信号样本是持续3s的数据，每个样本在这段时刻内存在时间相似信息与无关信息，因此采用了多维自注意力机制层去提取这种时间相似信息。所用的自注意力机制结构如图5所示。将时间信息特征h′_t输入多维自注意力机制层中，多维自注意力机制中由兼容性函数f(x_k)计算得出的每个样本的注意力权重，兼容性函数的计算方式如下：

f(x_k)＝W^Tσ(Wx_k+b) (12)

式(12)中，σ是激活函数ELU，表达式为

W和b是兼容性函数f在激活函数σ对应的权重参数和偏置项。每个样本的相似重要性权重计算如下：

最终，所有样本经过时空注意力网络学习得到时空注意力特征计算如下：

得到最终提取的时空注意力特征序列H＝{H₁,H₂,...,H_k,...,H_N}，其中，H_k表示第k个时空注意力特征；

步骤2.5、将时空注意力特征序列H输入外部的SoftMax函数层，从而得到R种情绪状态的概率值,计算方式如下：

P＝softmax(WA+b) (16)

式(15)和式(16)中，W，b分别表示softmax分类层的权重和偏置项。

步骤3、离线训练：

采用式(1)所示交叉熵Γ作为损失函数，并采用ADAM优化器对损失函数进行最小化求解，从而对初始的时空注意力模型中的所有参数进行优化，并得到最优时空注意力模型，从而以最优时空注意力模型实现对脑电情绪的识别：

式(1)中，

表示第r种情绪标签的标签值，P_r表示时空注意力模型预测的第r种情绪状态的概率值，Softmax函数可以将样本的输出转变成概率密度函数，概率最大的结点对应的标签作为情绪识别的目标。

具体实施中，时空注意力模型ACRNN与支持向量机(SVM),决策树(DT),以及深度学习框架(不含注意力机制的模型CNN-RNN)进行对比，将测试集的平均识别精度作为评价指标，当识别精度越高，模型的识别能力越好。32名受试者十次平均识别精度如下表：

表1.不同方法在DEAP数据库两种情绪的平均识别结果

	效价(％)	唤醒度(％)
			DT	75.95±4.76	78.18±5.45
SVM	89.33±7.41	89.99±6.74
			CNN-RNN	62.75±7.53	67.12±9.13
ACRNN	93.62±3.03	93.72±3.40

32名受试者的十折交叉验证结果如图6和图7所示。结果分析：

实验结果表明，与传统方法SVM和DT相比，添加了注意力机制后的模型，ACRNN在两种情绪维度(效价和唤醒度)的识别精度都有提升。与没有添加注意力机制的深度学习模型CNN-RNN相比，ACRNN大幅度提升了识别结果，验证了通道注意力机制与自注意力机制充分利用EEG信号时空信息，可以增强模型的识别结果。此外，从图6,7中可以发现，ACRNN模型对32名受试者的识别效果均最佳，更小的标准差表明了该模型的稳定性更好，对不同受试者有更好的泛化能力。

综上所述，本发明充分利用EEG原始信号所含有的空间时间信息，使用卷积神经网络与通道注意力机制提取多通道EEG信号的全局空间信息与卷积特征各通道间的信息，使用循环神经网络与自注意力机制从EEG信号片段间及自身片段中提取时间信息，这种时空注意力神经网络模型可以从原始EEG信号中更好地提取情绪相关特征，提高了公开数据集DEAP中两种情绪的识别精度。

本发明提出的结合两种注意力机制的时空注意力模型(ACRNN)，在公共数据集DEAP上达到最佳识别结果，且在所有受试者上的识别结果更加稳定。

Claims (1)

1.一种基于注意力机制的脑电信号情绪识别方法，其特征是按如下步骤进行：

步骤1、获取任一受试者A的带有R种情绪标签的脑电信号数据并进行预处理，包括去基线和样本分割，从而得到受试者A的N个脑电信号样本，记为S＝{S₁,S₂,...,S_k,...,S_N}，其中S_k∈R^m×P表示第k个脑电信号样本，m表示脑电信号的通道数，P表示采样点数，k＝1,2,…,N；

步骤2、建立初始的时空注意力模型，所述时空注意力模型由空间信息提取模块和时间信息提取模块组成；其中，所述空间信息提取模块包含卷积层和通道注意力机制层；所述时间信息提取模块包含双层长短期记忆网络模块LSTM和多维自注意力机制层；

步骤2.1、权值初始化：

使用截断正态分布对所述卷积层中的权重进行初始化；

利用正交矩阵生成的随机数对通道注意力机制层进行权重初始化；

对双层长短期记忆网络模块LSTM的状态进行初始化；

步骤2.2、将所述N个脑电信号样本S输入所述空间信息提取模块中，经过所述卷积层的处理得到空间特征序列C＝{C₁,C₂,...,C_k,...,C_N}；其中，C_k表示第k个空间特征；

再将所述空间特征序列C输入所述通道注意力机制层中进行提取，得到空间注意力信息序列C′＝{C′₁,C′₂,...,C′_k,...,C′_N}；其中，C′_k表示第k个空间注意力特征；

步骤2.3、对所述空间注意力特征序列C′进行池化操作得到编码后的序列P＝{P₁,P₂,...,P_k,...,P_N}；其中，P_k表示第k个池化编码；

再采用双层长短期记忆网络模块LSTM对编码后的序列P进行时间建模，从而以所述双层长短期记忆网络模块LSTM中第二层t时刻的隐含层状态h′_t作为时间信息特征；

步骤2.4、将所述时间信息特征h′_t输入所述多维自注意力机制层中，得到最终提取的时空注意力特征序列H＝{H₁,H₂,...,H_k,...,H_N}，其中，H_k表示第k个时空注意力特征；

步骤2.5、将所述时空注意力特征序列H输入外部的SoftMax函数层，从而得到R种情绪状态的概率值；

步骤3、离线训练：

采用式(1)所示交叉熵Γ作为损失函数，并采用ADAM优化器对所述损失函数进行最小化求解，从而对初始的时空注意力模型中的所有参数进行优化，并得到最优时空注意力模型，从而以所述最优时空注意力模型实现对脑电情绪的识别：

式(1)中，

表示第r种情绪标签的标签值，P_r表示时空注意力模型预测的第r种情绪状态的概率值。

Images