CN114343676A - 基于自适应层次图神经网络的脑电情感识别方法及装置 - Google Patents

Abstract

本发明公开了一种基于自适应层次图神经网络的脑电情感识别方法及装置，方法包括：(1)获取包括若干脑电情感数据和所属情感类别标签的脑电情感数据库；(2)提取脑电情感数据库中脑电情感数据的每个脑电电极的手工特征；(3)建立脑电情感识别网络，所述脑电情感识别网络具体为自适应层次图神经网络(4)将脑电情感数据的脑电电极的手工特征和脑电情感数据所属情感类别标签作为样本，输入所述脑电情感识别网络进行训练；(5)将待识别的脑电情感数据的脑电电极的手工特征输入训练好的脑电情感识别网络，得到情感类别。本发明识别准确率更高。

Description

基于自适应层次图神经网络的脑电情感识别方法及装置

技术领域

本发明涉及脑电情感识别技术，尤其涉及一种基于自适应层次图神经网络的脑电情感识别方法及装置。

背景技术

人类作为世界上情感最为丰富的动物，在进行各种活动的过程中，总是伴随着情感的发生。情感在日常生活中的决策和人际交往等方面有着重要作用。另外，积极的情感会让人身心愉悦，提高工作效率；而消极的情感可能会引起一些健康问题，严重的可能会导致抑郁症等疾病。所以，研究人类的情感显得至关重要。

大脑是人类情感产生的根源，对于大脑的直接研究，就是从根源上来研究人类的情感。与大脑直接相关的脑电(EEG)信号，作为大脑神经元信息传递过程中发出的一种电信号，为从根源上直接解码人类的情感提供了一种途径和手段。和表情与语音数据不同，脑电数据不能被伪装，因此其更能准确的反应一个人的真实情感。受益于新型无线脑电设备的高可穿戴性、低价格、便携性和易用性等特点，脑电情感识别技术正在逐步走向市场。其可以应用在众多领域如娱乐设施、在线学习、虚拟现实技术和各种电子医疗等。因此，脑电情感识别受到了越来越多研究者的关注，并已经成为情感计算和模式识别领域的一个新的研究热点。

近年来，深度学习发展迅速，为脑电情感识别提供了许多新思路和新方法。脑电作为典型的非欧几里得数据，近年来许多方法基于图模型来建模脑电数据，具体地，其把脑电电极作为图节点，通过节点间的关系来学得更好的节点特征用来识别情感。但是仍然存在一些问题限制了准确率的进一步提升。研究表明人类情感是依赖于一系列分布式的大脑结构，且不同区域之间存在联系。这说明情感一定程度上是可以由大脑区域和其之间的联系所表示的。然而图卷积是很难学习到这种高级结构的，另外，由于容积传导的存在和个体差异的存在，也很难基于先验知识确定这些区域，因此影响后续的识别性能。

发明内容

发明目的：本发明针对现有技术存在的问题，提供一种识别性能更高的基于自适应层次图神经网络的脑电情感识别方法及装置。

技术方案：本发明所述的基于自适应层次图神经网络的脑电情感识别方法包括：

(1)获取包括若干脑电情感数据和所属情感类别标签的脑电情感数据库；

(2)提取脑电情感数据库中脑电情感数据的每个脑电电极的手工特征；

(3)建立脑电情感识别网络，所述脑电情感识别网络具体为自适应层次图神经网络，包括脑电电极水平图构建模块、第一门控自适应图卷积层、大脑区域水平图构建模块、第二门控自适应图卷积层、水平图交互层和全连接层，所述脑电电极水平图构建模块构造脑电电极水平图，所述第一门控自适应图卷积层根据样本对脑电电极水平图进行边连接自适应调整，并从调整后的图中捕获和情感相关的电极水平图特征，所述大脑区域水平图构建模块构造大脑区域水平图，所述第二门控自适应图卷积层根据样本对大脑区域水平图进行边连接自适应调整，并从调整后的图中捕获和情感相关的区域水平图特征，所述不同水平图交互层将电极水平图特征和区域水平图特征对齐后相加，得到混合图特征，所述全连接层根据混合图特征识别出情感类别；

(4)将脑电情感数据的脑电电极的手工特征和脑电情感数据所属情感类别标签作为样本，输入所述脑电情感识别网络进行训练；

(5)将待识别的脑电情感数据的脑电电极的手工特征输入训练好的脑电情感识别网络，得到情感类别。

进一步的，所述脑电电极水平图构建模块具体用于：

将脑电情感数据的每个脑电电极的手工特征作为一个图节点特征，构建脑电电极水平图G₁＝{X,A}，其中,

为脑电电极水平图的图节点特征矩阵，n为脑电电极数，d为特征维度，A＝Relu(B)为邻接矩阵，

为待学习矩阵。

进一步的，所述大脑区域水平图构建模块具体包括：

权重分配矩阵生成模块，用于根据脑电电极水平图的图节点特征矩阵X生成基于自适应池化的权重分配矩阵R：

R＝softmax(PXQ)，

式中，

和

为待学习参数，R中元素R_ij表示第i个脑电电极属于第j个大脑区域的概率，softmax()表示对矩阵每一行i进行

运算；

图构建模块，用于根据权重分配矩阵R，构建大脑区域水平图G₂＝{X_r,A_r}，其中，X_r＝norm(R^T,1)X为大脑区域水平图的图节点特征矩阵，norm( )表示L1正则化运算，A_r＝R^TAR为大脑区域水平图的邻接矩阵。

进一步的，所述第一门控自适应图卷积层具体包括：

第一自适应边连接，用于按照下式对脑电电极水平图的边连接进行自适应调整；

M₁＝sigmoid(XW₁₁(XW₁₂)^T)，

其中，

表示脑电电极水平图边连接自适应调整后的邻接矩阵，M₁表示脑电电极水平图不同图节点之间的和情感相关的连接关系，A为脑电电极水平图边连接自适应调整前的邻接矩阵，

表示度矩阵，⊙表示矩阵逐元素相乘运算，X表示脑电电极水平图的图节点特征矩阵，W₁₁和W₁₂待学习的变换矩阵，

第一门控，用于从边连接自适应调整后的脑电电极水平图中捕获和情感相关的电极水平图特征Y：

式中，W_1i和W_1j为待学习的线性变换矩阵，I、J表示为线性变换矩阵数目，

和

表示图不同阶的邻接关系，Relu(·)＝max(·,0)。

进一步的，所述第二门控自适应图卷积层具体包括：

第二自适应边连接，用于按照下式对大脑区域水平图的边连接进行自适应调整：

M₂＝sigmoid(X_rW₂₁(X_rW₂₂)^T)，

式中，

表示大脑区域水平图边连接自适应调整后的邻接矩阵，M₂表示脑电区域水平图不同图节点之间的和情感相关的连接关系，A_r为大脑区域水平图边连接自适应调整前的邻接矩阵，

表示度矩阵，⊙表示矩阵逐元素相乘运算，X_r表示大脑区域水平图的图节点特征矩阵，W₂₁和W₂₂待学习的变换矩阵，

第二门控，用于从边连接自适应调整后的大脑区域水平图中捕获和情感相关的区域水平图特征Y_r：

式中，W_2i和W_2j为待学习的线性变换矩阵，I、J表示为线性变换矩阵数目，

和

表示图不同阶的邻接关系，Relu(·)＝max(·,0)。

进一步的，所述水平图交互层具体包括：

反池化模块，用于通过下式的反池化实现电极水平图特征和区域水平图特征的对齐：

Y_r'＝RY_r

式中，Y_r'表示反池化对齐后的区域水平图特征，Y_r表示对齐前的区域水平图特征，R表示根据脑电电极水平图的图节点特征矩阵生成的基于自适应池化的权重分配矩阵；

混合图特征生成模块，用于将反池化对齐后的区域水平图特征与电极水平图特征相加，得到混合图特征Y^*：

Y^*＝Y_r'+Y

式中，Y表示电极水平图特征。

进一步的，训练时所采用的损失函数具体为：

式中，l表示真实标签，l^p表示预测标签，cross_entropy(l,l^p)为真实标签和预测标签之间的交叉熵损失，λ表示第二部分损失函数的权重，R₁＝norm(R^T,2)，norm(R^T,2)表示L2正则化运算，R表示根据脑电电极水平图的图节点特征矩阵生成的基于自适应池化的权重分配矩阵，⊙表示逐元素相乘运算，

表示矩阵所有元素加和，I表示单位矩阵。

本发明所述的基于自适应层次图神经网络的脑电情感识别装置，包括处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现上述方法。

有益效果：本发明与现有技术相比，其显著优点是：本发明识别准确率更高，识别性能更高。

附图说明

图1是本发明提供的基于自适应层次图神经网络的脑电情感识别方法的一个实施例的流程示意图；

图2是本发明的脑电情感识别网络的网络结构图。

具体实施方式

本实施例提供了一种基于自适应层次图神经网络的脑电情感识别方法，如图1所示，包括如下步骤：

(1)获取包括若干脑电情感数据和所属情感类别标签的脑电情感数据库。

(2)提取脑电情感数据库中脑电情感数据的每个脑电电极的手工特征。手工特征可以为不同频段的微分熵、功率谱密度等。

(3)建立脑电情感识别网络，所述脑电情感识别网络具体为自适应层次图神经网络。

如图2所示，脑电情感识别网络包括脑电电极水平图构建模块、第一门控自适应图卷积层、大脑区域水平图构建模块、第二门控自适应图卷积层、水平图交互层和全连接层，所述脑电电极水平图构建模块构造脑电电极水平图，所述第一门控自适应图卷积层根据样本对脑电电极水平图进行边连接自适应调整，并从调整后的图中捕获和情感相关的电极水平图特征，所述大脑区域水平图构建模块构造大脑区域水平图，所述第二门控自适应图卷积层根据样本对大脑区域水平图进行边连接自适应调整，并从调整后的图中捕获和情感相关的区域水平图特征，所述水平图交互层将电极水平图特征和区域水平图特征对齐后相加，得到混合图特征，所述全连接层根据混合图特征识别出情感类别。

其中，所述脑电电极水平图构建模块具体用于：将脑电情感数据的每个脑电电极的手工特征作为一个图节点特征，构建脑电电极水平图G₁＝{X,A}，其中,

为脑电电极水平图的图节点特征矩阵，n为脑电电极数，d为特征维度，A＝Relu(B)为邻接矩阵，

为待学习矩阵。

所述大脑区域水平图构建模块具体包括：

权重分配矩阵生成模块，用于根据脑电电极水平图的图节点特征矩阵X生成基于自适应池化的权重分配矩阵R：

R＝softmax(PXQ)，

式中，

和

为待学习参数，R中元素R_ij表示第i个脑电电极属于第j个大脑区域的概率，softmax()表示对矩阵每一行i进行

运算；

图构建模块，用于根据权重分配矩阵R，构建大脑区域水平图G₂＝{X_r,A_r}，其中，X_r＝norm(R^T,1)X为大脑区域水平图的图节点特征矩阵，norm( )表示L1正则化运算，A_r＝R^TAR为大脑区域水平图的邻接矩阵。

所述第一门控自适应图卷积层具体包括：

第一自适应边连接，用于按照下式对脑电电极水平图的边连接进行自适应调整；

M₁＝sigmoid(XW₁₁(XW₁₂)^T)，

其中，

表示脑电电极水平图边连接自适应调整后的邻接矩阵，M₁表示脑电电极水平图不同图节点之间的和情感相关的连接关系，A为脑电电极水平图边连接自适应调整前的邻接矩阵，

表示度矩阵，⊙表示矩阵逐元素相乘运算，X表示脑电电极水平图的图节点特征矩阵，W₁₁和W₁₂待学习的变换矩阵，

第一门控，用于从边连接自适应调整后的脑电电极水平图中捕获和情感相关的电极水平图特征Y：

式中，W_1i和W_1j为待学习的线性变换矩阵，I、J表示为线性变换矩阵数目，

和

表示图不同阶的邻接关系，Relu(·)＝max(·,0)。

所述第二门控自适应图卷积层具体包括：

第二自适应边连接，用于按照下式对大脑区域水平图的边连接进行自适应调整：

M₂＝sigmoid(X_rW₂₁(X_rW₂₂)^T)，

式中，

表示大脑区域水平图边连接自适应调整后的邻接矩阵，M₂表示脑电区域水平图不同图节点之间的和情感相关的连接关系，A_r为大脑区域水平图边连接自适应调整前的邻接矩阵，

表示度矩阵，⊙表示矩阵逐元素相乘运算，X_r表示大脑区域水平图的图节点特征矩阵，W₂₁和W₂₂待学习的变换矩阵，

第二门控，用于从边连接自适应调整后的大脑区域水平图中捕获和情感相关的区域水平图特征Y_r：

式中，W_2i和W_2j为待学习的线性变换矩阵，I、J表示为线性变换矩阵数目，

和

表示图不同阶的邻接关系，Relu(·)＝max(·,0)。

所述水平图交互层具体包括：

反池化模块，用于通过下式的反池化实现电极水平图特征和区域水平图特征的对齐：

Y_r'＝RY_r

式中，Y_r'表示反池化对齐后的区域水平图特征，Y_r表示对齐前的区域水平图特征，R表示根据脑电电极水平图的图节点特征矩阵生成的基于自适应池化的权重分配矩阵；

混合图特征生成模块，用于将反池化对齐后的区域水平图特征与电极水平图特征相加，得到混合图特征Y^*：

Y^*＝Y_r'+Y

式中，Y表示电极水平图特征。

(4)将脑电情感数据的脑电电极的手工特征和脑电情感数据所属情感类别标签作为样本，输入所述脑电情感识别网络进行训练。训练时所采用的损失函数具体为：

式中，l表示真实标签，l^p表示预测标签，cross_entropy(l,l^p)为真实标签和预测标签之间的交叉熵损失，λ表示第二部分损失函数的权重，R₁＝norm(R^T,2)，norm(R^T,2)表示L2正则化运算，R表示根据脑电电极水平图的图节点特征矩阵生成的基于自适应池化的权重分配矩阵，⊙表示逐元素相乘运算，

表示矩阵所有元素加和，I表示单位矩阵。

(5)将待识别的脑电情感数据的脑电电极的手工特征输入训练好的脑电情感识别网络，得到情感类别。

本实施例还提供了一种基于自适应层次图神经网络的脑电情感识别装置，包括处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现上述方法。

为验证本发明的有效性，在SEED脑电情感数据库、SEED-IV脑电情感数据库上做了脑电情感识别，并与另外的11种方法进行了相同的实验，进行对比。这些方法包括：线性支持向量机(SVM)、组稀疏典型相关分析(GSCCA)、深度置信网络(DBN)、时空循环神经网络(STRNN)、动态图卷积神经网络(DGCNN)、双半球域对抗神经网络(BiDANN)、双半球差异模型(BiHDM)、层次化时空神经网络(R2G-STNN)、正则化图神经网络(RGNN)、样本自适应图模型(IAG)、变分样本自适应图模型(V-IAG)。验证结果如表1所示：

表1

实验结果表明，基于本发明提出的脑电情感识别方法，识别率更高。

以上所揭露的仅为本发明一种较佳实施例而已，不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。

Claims (8)

1.一种基于自适应层次图神经网络的脑电情感识别方法，其特征在于该方法包括：

(1)获取包括若干脑电情感数据和所属情感类别标签的脑电情感数据库；

(2)提取脑电情感数据库中脑电情感数据的每个脑电电极的手工特征；

(3)建立脑电情感识别网络，所述脑电情感识别网络具体为自适应层次图神经网络，包括脑电电极水平图构建模块、第一门控自适应图卷积层、大脑区域水平图构建模块、第二门控自适应图卷积层、不同水平图交互层和全连接层，所述脑电电极水平图构建模块构造脑电电极水平图，所述第一门控自适应图卷积层根据样本对脑电电极水平图进行边连接自适应调整，并从调整后的图中捕获和情感相关的电极水平图特征，所述大脑区域水平图构建模块构造大脑区域水平图，所述第二门控自适应图卷积层根据样本对大脑区域水平图进行边连接自适应调整，并从调整后的图中捕获和情感相关的区域水平图特征，所述不同水平图交互层将电极水平图特征和区域水平图特征对齐后相加，得到混合图特征，所述全连接层根据混合图特征识别出情感类别；

(4)将脑电情感数据的脑电电极的手工特征和脑电情感数据所属情感类别标签作为样本，输入所述脑电情感识别网络进行训练；

(5)将待识别的脑电情感数据的脑电电极的手工特征输入训练好的脑电情感识别网络，得到情感类别。

2.根据权利要求1所述的基于自适应层次图神经网络的脑电情感识别方法，其特征在于：所述脑电电极水平图构建模块具体用于：

将脑电情感数据的每个脑电电极的手工特征作为一个图节点特征，构建脑电电极水平图G₁＝{X，A}，其中，

为脑电电极水平图的图节点特征矩阵，n为脑电电极数，d为特征维度，A＝Relu(B)为邻接矩阵，

为待学习矩阵。

3.根据权利要求2所述的基于自适应层次图神经网络的脑电情感识别方法，其特征在于：所述大脑区域水平图构建模块具体包括：

权重分配矩阵生成模块，用于根据脑电电极水平图的图节点特征矩阵X生成基于自适应池化的权重分配矩阵R：

R＝softmax(PXQ)，

式中，

和

为待学习参数，R中元素R_ij表示第i个脑电电极属于第j个大脑区域的概率，softmax()表示对矩阵每一行i进行

运算；

图构建模块，用于根据权重分配矩阵R，构建大脑区域水平图G₂＝{X_r，A_r}，其中，X_r＝norm(R^T，1)，X_r为大脑区域水平图的图节点特征矩阵，norm()表示L1正则化运算，A_r＝R^TAR为大脑区域水平图的邻接矩阵。

4.根据权利要求1所述的基于自适应层次图神经网络的脑电情感识别方法，其特征在于：所述第一门控自适应图卷积层具体包括：

第一自适应边连接，用于按照下式对脑电电极水平图的边连接进行自适应调整；

M₁＝sigmoid(XW₁₁(XW₁₂)^T)，

其中，

表示脑电电极水平图边连接自适应调整后的邻接矩阵，M₁表示脑电电极水平图不同图节点之间的和情感相关的连接关系，A为脑电电极水平图边连接自适应调整前的邻接矩阵，

表示度矩阵，⊙表示矩阵逐元素相乘运算，X表示脑电电极水平图的图节点特征矩阵，W₁₁和W₁₂待学习的变换矩阵，

第一门控，用于从边连接自适应调整后的脑电电极水平图中捕获和情感相关的电极水平图特征Y：

式中，W_1i和W_1j为待学习的线性变换矩阵，I、J表示为线性变换矩阵数目，

和

表示图不同阶的邻接关系，Relu(·)＝max(·，0)。

5.根据权利要求1所述的基于自适应层次图神经网络的脑电情感识别方法，其特征在于：所述第二门控自适应图卷积层具体包括：

第二自适应边连接，用于按照下式对大脑区域水平图的边连接进行自适应调整：

M₂＝sigmoid(X_rW₂₁(X_rW₂₂)^T)，

式中，

表示大脑区域水平图边连接自适应调整后的邻接矩阵，M₂表示脑电区域水平图不同图节点之间的和情感相关的连接关系，A_r为大脑区域水平图边连接自适应调整前的邻接矩阵，

表示度矩阵，⊙表示矩阵逐元素相乘运算，X_r表示大脑区域水平图的图节点特征矩阵，W₂₁和W₂₂待学习的变换矩阵，

第二门控，用于从边连接自适应调整后的大脑区域水平图中捕获和情感相关的区域水平图特征Y_r：

式中，W_2i和W_2j为待学习的线性变换矩阵，I、J表示为线性变换矩阵数目，

和

表示图不同阶的邻接关系，Relu(·)＝max(·，0)。

6.根据权利要求1所述的基于自适应层次图神经网络的脑电情感识别方法，其特征在于：所述不同水平图交互层具体包括：

反池化模块，用于通过下式的反池化实现电极水平图特征和区域水平图特征的对齐：

Y_r′＝RY_r

式中，Y_r′表示反池化对齐后的区域水平图特征，Y_r表示对齐前的区域水平图特征，R表示根据脑电电极水平图的图节点特征矩阵生成的基于自适应池化的权重分配矩阵；

混合图特征生成模块，用于将反池化对齐后的区域水平图特征与电极水平图特征相加，得到混合图特征Y^*：

Y^*＝Y_r′+Y

式中，Y表示电极水平图特征。

7.根据权利要求1所述的基于自适应层次图神经网络的脑电情感识别方法，其特征在于：训练时所采用的损失函数具体为：

式中，l表示真实标签，l^p表示预测标签，cross_entropy(l，lp)为真实标签和预测标签之间的交叉熵损失，λ表示第二部分损失函数的权重，R₁＝norm(R^T，2)，norm(R^T，2)表示L2正则化运算，R表示根据脑电电极水平图的图节点特征矩阵生成的基于自适应池化的权重分配矩阵，⊙表示逐元素相乘运算，

表示矩阵所有元素加和，I表示单位矩阵。

8.一种基于自适应层次图神经网络的脑电情感识别装置，包括处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-7中任意一项所述的方法。

Images