CN111126263B - 一种基于双半球差异性模型的脑电情感识别方法及装置 - Google Patents

Abstract

本发明公开了一种基于双半球差异性模型的脑电情感识别方法及装置，方法包括：(1)获取一个脑电情感数据库，包括训练集和测试集；(2)建立脑电情感识别网络，所述脑电情感识别网络包括特征提取器、域判别器和情感分类器；(3)对所述脑电情感识别网络进行训练，训练时，将训练集和测试集中每一脑电情感数据作为一个样本，输入特征提取器，提取双半球特征，并将从训练集和测试集提取的每个双半球特征作为一个样本，输入域判别器，将从训练集提取的每个双半球特征作为一个样本，输入情感分类器；(4)提取待识别的脑电情感数据，将其作为一个测试集样本输入训练好的脑电情感识别网络，并按照步骤(3)对脑电情感识别网络调整，得到识别的情感类别。本发明准确率更高。

Description

一种基于双半球差异性模型的脑电情感识别方法及装置

技术领域

本发明涉及情感识别，尤其涉及一种基于双半球差异性模型的脑电情感识别方法及装置。

背景技术

人类作为世界上情感最为丰富的动物，在进行各种活动的过程中，总是伴随着情感的发生。在人类的日常生活交流中，对于情感的互相感知，是人类流畅交流的重要部分。积极的情感使人身心愉悦，有助于健康且可以提高人的工作效率；消极的情感会引起很多健康问题，例如长时间累积的消极情绪更容易诱发抑郁症甚至是自杀倾向。所以，研究人类的情感就显得十分重要。

大脑是人类情感产生的根源，对于大脑的直接研究，就是从根源上来研究人类的情感。与大脑直接相关的脑电(EEG)信号，作为大脑神经元信息传递过程中发出的一种电信号，为从根源上直接解码人类的情感提供了一种途径和手段。和表情与语音数据不同，脑电数据不能被伪装，因此其更能准确的反应一个人的真实情感。受益于新型无线脑电设备的高可穿戴性、低价格、便携性和易用性等特点，脑电情感识别技术正在逐步走向市场。其可以应用在众多领域如娱乐设施、在线学习、虚拟现实技术和各种电子医疗等。因此，脑电情感识别受到了越来越多研究者的关注，并已经成为情感计算和模式识别领域的一个新的研究热点。然而，脑电情感识别存在准确率不高等问题。

发明内容

发明目的：本发明针对现有技术存在的问题，提供一种基于双半球差异性模型的脑电情感识别方法及装置，识别准确率更高。

技术方案：本发明所述的基于双半球差异性模型的脑电情感识别方法包括：

(1)获取一个脑电情感数据库，包括训练集和测试集，其中，脑电情感数据库中包含有若干脑电情感数据和对应的情感类别标签；

(2)建立脑电情感识别网络，所述脑电情感识别网络包括特征提取器、域判别器和情感分类器，所述特征提取器提取脑电情感数据库中每个脑电情感数据的双半球特征，所述双半球特征中含有大脑左右半球的不对称差异信息，所述域判别器包括两层全连接层，输出为预测的脑电情感数据所属集合，所述情感分类器包括两层全连接层，输出为预测的脑电情感数据的情感类别；

(3)对所述脑电情感识别网络进行训练，训练时，将训练集和测试集中每一脑电情感数据作为一个样本，输入特征提取器，提取双半球特征，并将从训练集和测试集中每一脑电情感数据提取的双半球特征作为一个样本，输入域判别器，将从训练集中每一脑电情感数据提取的双半球特征作为一个样本，输入情感分类器，网络总损失为情感分类器损失减去域判别器损失，通过随机梯度下降法更新网络参数，完成网络训练；

(4)提取待识别的脑电情感数据，将其作为一个测试集样本输入训练好的脑电情感识别网络，并按照步骤(3)对脑电情感识别网络调整，得到识别的情感类别。

进一步的，所述特征提取器具体用于执行如下步骤：

A、对脑电情感数据X_t按照水平顺序和垂直顺序分别进行遍历，得到：

式中，上标h、v表示水平顺序、垂直顺序，上标l、r分别表示左、右半球，

分别表示采用水平顺序、垂直顺序对脑电情感数据X_t的电极遍历得到的数据序列，

分别表示大脑左、右半球脑电情感数据，形如

表示第i个电极采集到的脑电数据，采集时左右半球分别采用N/2个电极，d为每个电极采集的脑电数据的维度；

B、利用循环递归神经网络模块，对水平顺序遍历得到的数据序列进行处理，得到脑电情感数据水平顺序深度特征

式中，

分别表示采用水平顺序遍历到的左、右半球第i个电极的脑电数据，

表示左、右半球循环递归神经网络模块的隐藏单元，也表示

的深度特征，d_l、d_r表示左、右半球循环递归神经网络模块的维度，且d_l＝d_r，σ()表示非线性操作，

和

分别表示左、右半球循环递归神经网络模块的可学习变换矩阵，

表示表示当前遍历顺序中节点

的前一个节点；

C、采用同步骤B相同的处理方式，对垂直顺序遍历得到的数据序列进行处理，得到脑电情感数据垂直顺序深度特征

D、根据深度特征提取左右半球之间的不对称差异信息

式中，F()表示对左右半球两个成对电极的脑电深度特征的相互作用，d_p表示所提取的深度特征维数；

E、根据所述左右半球之间的不对称差异信息，使用循环递归神经网络模块提取高阶不对称差异特征

其中，

分别表示不对称差异信息

中第i个元素，

和

为可学习的参数矩阵，d_g为循环递归神经网络模块中隐藏单元的维度；

F、根据高阶不对称差异特征，获取差异特征中与情感相关的显著信息

式中，

表示可学习的投影矩阵，K表示电极数量；

G、根据差异特征中与情感相关的显著信息

整合得到脑电情感数据X_t的双半球特征

式中，

表示可学习的映射矩阵，

d_o为融合后的深度特征维数。

进一步的，所述域判别器的损失函数为：

式中，

和

分别表示训练集和测试集中的第t个和第t′个样本，θ_d表示域判别器可学习的参数，训练集的域标签集为

θ_f表示特征提取器的参数；测试集的域标签集为

M₁、M₂分别是训练集和测试集脑电情感数据的数量。

进一步的，所述情感分类器的损失函数为：

式中，P(c|X_t)表示输入样本X_t属于第c类的预测概率，C表示情感分类集合的情感标签类别数量，θ_f和θ_c分别表示特征提取器和情感分类器中可学习的参数，l_t和M₁分别是样本X_t的真实标签和训练集脑电情感数据的数量。

进一步的，所述脑电情感识别网络的损失函数为：

minL(X；θ_f,θ_c,θ_d)＝minL_c(X^S；θ_f,θ_c)-maxL_d(X^S,X^T；θ_f,θ_d)

L(X；θ_f,θ_c,θ_d)是整个模型的损失函数，X表示由训练集X^S和测试集X^T组成的整个数据集，即

本发明所述的基于双半球差异性模型的脑电情感识别装置，包括处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述方法。

有益效果：本发明与现有技术相比，其显著优点是：本发明识别准确率更高。

附图说明

图1是本发明提供的基于双半球差异性模型的脑电情感识别方法的一个实施例的流程示意图；

图2是本发明的提出的脑电情感识别网络的实际网络结构图。

具体实施方式

本实施例提供了一种基于双半球差异性模型的脑电情感识别方法，如图1和图2所示，包括如下步骤：

(1)获取一个脑电情感数据库，包括训练集和测试集，其中，脑电情感数据库中包含有若干脑电情感数据和对应的情感类别标签。

情感类别标签来自于预定的情感类别集合，集合中情感类别共有C个。

(2)建立脑电情感识别网络，所述脑电情感识别网络包括特征提取器、域判别器和情感分类器，所述特征提取器提取脑电情感数据库中每个脑电情感数据的双半球特征，所述双半球特征中含有大脑左右半球的不对称差异信息，所述域判别器包括两层全连接层，输出为预测的脑电情感数据所属集合，所述情感分类器包括两层全连接层，输出为预测的脑电情感数据的情感类别。

其中，所述特征提取器具体用于执行如下步骤：

A、对脑电情感数据X_t按照水平顺序和垂直顺序分别进行遍历，得到：

式中，上标h、v表示水平顺序、垂直顺序，上标l、r分别表示左、右半球，

分别表示采用水平顺序、垂直顺序对脑电情感数据X_t的电极遍历得到的数据序列，

分别表示大脑左、右半球脑电情感数据，形如

表示第i个电极采集到的脑电数据，采集时左右半球分别采用N/2个电极，d为每个电极采集的脑电数据的维度；

B、利用循环递归神经网络模块，对水平顺序遍历得到的数据序列进行处理，得到脑电情感数据水平顺序深度特征

式中，

分别表示采用水平顺序遍历到的左、右半球第i个电极的脑电数据，

表示左、右半球循环递归神经网络模块的隐藏单元，也表示

的深度特征，d_l、d_r表示左、右半球循环递归神经网络模块的维度，且d_l＝d_r，σ()表示非线性操作，

和

分别表示左、右半球循环递归神经网络模块的可学习变换矩阵，

表示表示当前遍历顺序中节点

的前一个节点；

C、采用同步骤B相同的处理方式，对垂直顺序遍历得到的数据序列进行处理，得到脑电情感数据垂直顺序深度特征

D、根据深度特征提取左右半球之间的不对称差异信息

式中，F()表示对左右半球两个成对电极的脑电深度特征的相互作用，d_p表示所提取的深度特征维数；

E、根据所述左右半球之间的不对称差异信息，使用循环递归神经网络模块提取高阶不对称差异特征

其中，

分别表示不对称差异信息

中第i个元素，

和

为可学习的参数矩阵，d_g为循环递归神经网络模块中隐藏单元的维度；

F、根据高阶不对称差异特征，获取差异特征中与情感相关的显著信息

式中，

表示可学习的投影矩阵，K表示电极数量；

G、根据差异特征中与情感相关的显著信息

整合得到脑电情感数据X_t的双半球特征

式中，

表示可学习的映射矩阵，

d_o为融合后的深度特征维数。

(3)对所述脑电情感识别网络进行训练，训练时，将训练集和测试集中每一脑电情感数据作为一个样本，输入特征提取器，提取双半球特征，并将从训练集和测试集中每一脑电情感数据提取的双半球特征作为一个样本，输入域判别器，将从训练集中每一脑电情感数据提取的双半球特征作为一个样本，输入情感分类器，网络总损失为情感分类器损失减去域判别器损失，通过随机梯度下降法更新网络参数，完成网络训练。

其中，域判别器预先定义训练集的域标签集为训练集的域标签集为

测试集的域标签集为

然后通过域判别器，其损失函数为：

式中，

和

分别表示训练集和测试集中的第t个和第t′个样本，θ_d表示域判别器可学习的参数，θ_f表示特征提取器的参数，M₁、M₂分别是训练集和测试集脑电情感数据的数量。

其中，情感分类器首先将softmax函数应用于双半球特征

上，进而预测输入数据的类别标签。

具体地，令

标签预测过程如下式所示：

这里

和

是变换矩阵，C是情感类别总数。

最后，将上式的输出向量输入到softmax层进行情感分类，可以表示为

其中P(c|X_t)表示输入样本X_t属于第c类的预测概率。因此，可以确定样本X_t的标签

为

那么分类器的损失函数可以被表示为

式中，P(c|X_t)表示输入样本X_t属于第c类的预测概率，C表示情感分类集合的情感标签类别数量，θ_f和θ_c分别表示特征提取器和情感分类器中可学习的参数，l_t和M₁分别是样本X_t的真实标签和训练集脑电情感数据的数量。训练时，情感分类器运用梯度反转层，优化、得到所需模型参数。

整个脑电情感识别网络的损失函数为：

minL(X；θ_f,θ_c,θ_d)＝minL_c(X^S；θ_f,θ_c)-maxL_d(X^S,X^T；θ_f,θ_d)。

L(X；θ_f,θ_c,θ_d)是整个模型的损失函数，X表示由训练集X^S和测试集X^T组成的整个数据集，即

如附图2所示的判别器之前使用梯度反转层(GRL)，将最大化问题转化为最小化问题。使用随机梯度下降(SGD)算法优化整个目标函数。

GRL在前向传播中充当等价变换，但在执行后向传播操作时会反转梯度符号。整体优化过程遵循规则如下式：

其中α是学习率。

(4)提取待识别的脑电情感数据，将其作为一个测试集样本输入训练好的脑电情感识别网络，并按照步骤(3)对脑电情感识别网络调整，得到识别的情感类别。

本实施例还提供了一种基于双半球差异性模型的脑电情感识别装置，包括处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法。

为验证本发明的有效性，在SEED脑电情感数据库、SEED-IV脑电情感数据库和MPED脑电情感数据库上做了脑电情感识别，并与另外12种方法进行了相同的实验，进行对比。这些方法包括：线性支持向量机(SVM)、随机森林(RF)、典型相关分析(CCA)、组稀疏典型相关分析(GSCCA)、深度置信网络(DBN)、图正则稀疏线性回归(GRSLR)、图卷积神经网络(GCNN)、动态图卷积神经网络(DGCNN)、域对抗神经网络(DANN)、双半球域对抗神经网络(BiDANN)、EmotionMeter以及有注意力的长短期记忆网络(A-LSTM)。

验证结果如表1所示：

表1

注意，由于计算机存储器限制和计算问题，基于子空间的方法(例如TCA，SA和GFK)在处理大量EEG数据方面存在问题。因此，为了与它们进行比较，不得不从训练数据集中随机选择5000个EEG特征样本来训练这些方法。实验结果表明，基于本发明提出的脑电情感识别方法，识别率更高。

以上所揭露的仅为本发明一种较佳实施例而已，不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (6)

1.一种基于双半球差异性模型的脑电情感识别方法，其特征在于该方法包括：

(1)获取一个脑电情感数据库，包括训练集和测试集，其中，脑电情感数据库中包含有若干脑电情感数据和对应的情感类别标签；

(2)建立脑电情感识别网络，所述脑电情感识别网络包括特征提取器、域判别器和情感分类器，所述特征提取器提取脑电情感数据库中每个脑电情感数据的双半球特征，所述双半球特征中含有大脑左右半球的不对称差异信息，所述域判别器包括两层全连接层，输出为预测的脑电情感数据所属集合，所述情感分类器包括两层全连接层，输出为预测的脑电情感数据的情感类别；

(3)对所述脑电情感识别网络进行训练，训练时，将训练集和测试集中每一脑电情感数据作为一个样本，输入特征提取器，提取双半球特征，并将从训练集和测试集中每一脑电情感数据提取的双半球特征作为一个样本，输入域判别器，将从训练集中每一脑电情感数据提取的双半球特征作为一个样本，输入情感分类器，网络总损失为情感分类器损失减去域判别器损失，通过随机梯度下降法更新网络参数，完成网络训练；

(4)提取待识别的脑电情感数据，将其作为一个测试集样本输入训练好的脑电情感识别网络，并按照步骤(3)对脑电情感识别网络调整，得到识别的情感类别。

2.根据权利要求1所述的基于双半球差异性模型的脑电情感识别方法，其特征在于：所述特征提取器具体用于执行如下步骤：

A、对脑电情感数据X_t按照水平顺序和垂直顺序分别进行遍历，得到：

式中，上标h、v表示水平顺序、垂直顺序，上标l、r分别表示左、右半球，

分别表示采用水平顺序、垂直顺序对脑电情感数据X_t的电极遍历得到的数据序列，

分别表示大脑左、右半球脑电情感数据，形如

表示第i个电极采集到的脑电数据，采集时左右半球分别采用N/2个电极，d为每个电极采集的脑电数据的维度；

B、利用循环递归神经网络模块，对水平顺序遍历得到的数据序列进行处理，得到脑电情感数据水平顺序深度特征

式中，

分别表示采用水平顺序遍历到的左、右半球第i个电极的脑电数据，

表示左、右半球循环递归神经网络模块的隐藏单元，也表示

的深度特征，d_l、d_r表示左、右半球循环递归神经网络模块的维度，且d_l＝d_r，σ()表示非线性操作，

和

分别表示左、右半球循环递归神经网络模块的可学习变换矩阵，

表示表示当前遍历顺序中节点

的前一个节点；

C、采用同步骤B相同的处理方式，对垂直顺序遍历得到的数据序列进行处理，得到脑电情感数据垂直顺序深度特征

D、根据深度特征提取左右半球之间的不对称差异信息

式中，F()表示对左右半球两个成对电极的脑电深度特征的相互作用，d_p表示所提取的深度特征维数；

E、根据所述左右半球之间的不对称差异信息，使用循环递归神经网络模块提取高阶不对称差异特征

其中，

分别表示不对称差异信息

中第i个元素，

和

为可学习的参数矩阵，d_g为循环递归神经网络模块中隐藏单元的维度；

F、根据高阶不对称差异特征，获取差异特征中与情感相关的显著信息

式中，

表示可学习的投影矩阵，K表示电极数量；

G、根据差异特征中与情感相关的显著信息

整合得到脑电情感数据X_t的双半球特征

式中，

表示可学习的映射矩阵，

d_o为融合后的深度特征维数。

3.根据权利要求1所述的基于双半球差异性模型的脑电情感识别方法，其特征在于：所述域判别器的损失函数为：

式中，

和

分别表示训练集和测试集中的第t个和第t′个样本，θ_d表示域判别器可学习的参数，训练集的域标签集为

θ_f表示特征提取器的参数；测试集的域标签集为

M₁、M₂分别是训练集和测试集脑电情感数据的数量。

4.根据权利要求1所述的基于双半球差异性模型的脑电情感识别方法，其特征在于：所述情感分类器的损失函数为：

式中，P(c|X_t)表示输入样本X_t属于第c类的预测概率，C表示情感分类集合的情感标签类别数量，θ_f和θ_c分别表示特征提取器和情感分类器中可学习的参数，l_t和M₁分别是样本X_t的真实标签和训练集脑电情感数据的数量。

5.根据权利要求1所述的基于双半球差异性模型的脑电情感识别方法，其特征在于：所述脑电情感识别网络的损失函数为：

minL(X；θ_f,θ_c,θ_d)＝minL_c(X^S；θ_f,θ_c)-maxL_d(X^S,X^T；θ_f,θ_d)

L(X；θ_f,θ_c,θ_d)是整个模型的损失函数，θ_f和θ_c分别表示特征提取器和情感分类器中可学习的参数，θ_d表示域判别器可学习的参数，X表示由训练集X^S和测试集X^T组成的整个数据集，即

6.一种基于双半球差异性模型的脑电情感识别装置，其特征在于：包括处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-5中任意一项所述的方法。

Images