CN110399857B - 一种基于图卷积神经网络的脑电情感识别方法 - Google Patents

Abstract

本发明属于信号处理技术领域，具体涉及一种基于图卷积神经网络的脑电情感识别方法。所提供的方法是：首先，根据各脑电通道信号间的相关性构建情感相关功能连接模式；然后基于功能连接模式结构将提取的各单通道脑电特征建模为图信号，并建立图卷积神经网络模型。之后，输入训练集图信号对模型进行迭代优化训练，采用反向传播算法和交叉熵损失函数优化网络参数；最后将测试集图信号输入已经完成训练的图卷积神经网络，在效价、唤醒和优势度三维情感模型上进行分类识别。本发明通过还原脑电数据在空间和功能上的联系，能提取更具辨别力的脑电情感特征；通过通道相关性大小能选出与情感最相关的通道电极，在减少通道数量的同时降低了处理时间和硬件成本。

Description

一种基于图卷积神经网络的脑电情感识别方法

技术领域

本发明属于信号处理技术领域，更具体涉及一种基于图卷积神经网络的脑电情感识别方法。

背景技术

在众多生理信号中，由于脑电直接取自大脑信号，能直接反映大脑活动状态，并且提取方便，时间分辨率高，实时性强，所以在情绪识别研究中受到广泛关注，发展迅速。不同情绪状态下的脑电信号研究逐渐形成一个新兴的交叉学科研究，不仅包含计算机科学与人工智能，还涉及神经认知科学。有效地解读个体的情绪状态能解决工作生活中的各种现实问题，例如监测人们工作生活中的精神健康状态、了解客户对产品的满意度进而调整销策略、检测车辆行驶过程中司机的精神状况等等，此外，由于脑-机接口(BCI)的广泛应用，基于脑电信号的情感研究将有助于提升用户体验度。

早期大脑信息处理机制的研究主要建立在脑功能分区基础上。但近年的大量研究发现，尽管某些脑区与特定的情绪功能相关，但没有哪一个脑区单纯统一的负责情绪。在情绪发生过程中大脑的许多部位会被激活，在大脑的左右、前后部位都会产生活跃区域。因此从大脑整体，利用脑网络对大脑情绪处理进行研究成为全世界关注的热点。

近年来，深度神经网络已被证明在面部识别、语音识别等应用领域优于传统的机器学习方法。其中卷积神经网络在计算机视觉、自然语言处理等空间连续数据处理方面已被广泛应用，值得注意的是卷积神经网络无法处理空间离散数据，如生物分子、社交网络和脑网络等。由于拓扑图中每个顶点的相邻顶点数目可能不同，无法用一个同样尺寸的卷积核来进行卷积运算，所以传统的离散卷积在非欧几里德结构的数据上无法保持平移不变性。为了在这样的数据结构(拓扑图)上有效地提取空间特征来进行机器学习，图神经网络成为了研究的重点，脑网络作为一种拓扑图结构数据，图卷积神经网络为探讨脑电情感识别中多个EEG通道的关系提供了重要的线索。现有技术仍然无法解决的技术问题是：

(1)如何利用多个头皮脑电通道对之间的关系，构建相关功能连接模式；

(2)如何选择与情感最相关的脑电通道；

(3)如何将空间离散的单通道脑电特征建模为图信号；

(4)如何从脑电信号的空间和功能联系出发，提取与情感最相关的特征并进行分类识别。

发明内容

本发明的目的在于提出一种基于图卷积神经网络的脑电情感识别方法，以达到将图卷积神经网络应用于脑电信号这种空间离散的非结构化数据处理领域，提高脑电情感识别的分类性能的目的。

为了达到本发明的目的，本发明提供的技术方案是：

一种基于图卷积神经网络的脑电情感识别方法，包括以下步骤：

步骤一、根据各脑电通道信号间的相关性构建情感相关功能连接模式：

根据信号间的同步锁相值(phase lock value，PLV)大小确定情感相关功能连接模式，用以表示不同情感状态各脑区活动的相位同步性大小，在功能性脑网络连接模式构建过程中，通过一个惩罚变量实现对重要连接的筛选；

步骤二、基于功能连接模式结构将提取的各单通道脑电特征建模为图信号：

获取不同情绪状态下的脑网络图的PLV邻接矩阵A；对每个通道的脑电信号进行特征提取，分别提取差分熵特征、功率谱密度特征、差分不对称特征、差分尾部特征；定义图模型G＝(V,E)，每个脑电通道对应图中的一个顶点，每个节点的特征表示v_i,节点数为N,特征维度为D维，则所有节点的特征组成一个N×D的矩阵；

步骤三、建立图卷积神经网络模型：

步骤四、输入训练集图信号对模型进行迭代优化训练，采用反向传播算法和交叉熵损失函数优化网络参数，采用Relu激活函数减少参数间的相互依存关系；

交叉熵损失函数为：

Loss＝-∑_x(p(x)logq(x)+(1-p(x))log(1-q(x)))+λR(w) (3)

其中p(x)和q(x)分别表示训练数据的真实值和预测值，R(w)是评价模型复杂度的指标，λR(w)旨在防止模型的过拟合；

ReLu激活函数为：

f(x)＝max(0，y_s，j) (4)

其中，y_s，j为图卷积层后输出的特征图矩阵；

步骤五、将测试集图信号输入已经完成训练的图卷积神经网络，通过softmax函数，在效价、唤醒和优势度三维情感模型上进行分类识别。

进一步的，步骤三中的图卷积层的图卷积方式为：

其中,

λ_max表示L的最大特征值，T_k(L)是k阶切比雪夫多项式，用来代替滤波器的作用，x表示提取的脑电特征；

将样本s输入到图卷积神经网络模型中，经过卷积层之后其第j次输出特征图可表示为：

F_in×F_out向量用于训练切比雪夫系数θ_i，j∈R^K，其中x_s，i表示输入特征映射。

进一步的，步骤三中所述图卷积神经网络模型包括5层，分别是两个图卷积层，两个图池化层和一个全连接层。

对比现有技术，本发明的有益效果在于：

(1)图卷积神经网络弥补了卷积神经网络的局限性，能够处理拓扑图结构的空间离散数据的特征提取问题，图卷积神经网络与情感相关功能连接模式的结合，使得这两种方法的潜在性能都得以发挥。

(2)该方法中建模的图信号，还原了数据本身在空间和功能上的联系，能提取更具辨别力的情感特征，可用于准确分类识别个体的情感状态。

(3)功能连接模式构建过程中考虑了通道选择问题，根据各脑电通道相位同步性大小，可以确定同一种情绪状态下各电极间的关联关系，进而剔除掉一些无用电极，使得在减少通道数量的同时降低了处理时间和硬件成本。

附图说明

图1是一种基于图卷积神经网络的脑电情感识别方法的实施流程图；

图2是建立的图卷积神经网络脑电情感识别方法模型框架图；

图3是图卷积神经网络结构图；

图4是积极、中性和负面情绪下的PLV矩阵；

图5是本发明与传统分类准确率比较。

具体实施方式

下面将结合附图和实施例对本发明进行详细地描述。

本发明提出的一种基于图卷积神经网络的脑电情感识别方法，具体包括以下步骤：

步骤一、根据各脑电通道信号间的相关性构建情感相关功能连接模式：

根据信号间的同步锁相值(phase lock value，PLV)大小确定情感相关功能连接模式，用以表示不同情感状态各脑区活动的相位同步性大小。在功能性脑网络连接模式构建过程中，由于阈值选取影响脑网络的统计特性和拓扑结构，通过一个惩罚变量实现对重要连接的筛选，即控制稀疏性的惩罚变量代替固定阈值的作用；

步骤二、基于功能连接模式结构将提取的各单通道脑电特征建模为图信号：

获取不同情绪状态下的脑网络图的PLV邻接矩阵A；对每个通道的脑电信号进行特征提取，分别提取差分熵特征、功率谱密度特征、差分不对称特征、差分尾部特征；定义图模型G＝(V,E)，每个脑电通道对应图中的一个顶点，每个节点的特征表示v_i,节点数为N,特征维度为D维，则所有节点的特征组成一个N×D的矩阵；

步骤三、建立图卷积神经网络模型：

图卷积神经网络模型包括5层，分别是两个图卷积层，两个图池化层和一个全连接层。其中图卷积层的卷积方式为：

其中,

λ_max表示L的最大特征值，T_k(L)是k阶切比雪夫多项式，用来代替滤波器的作用，x表示提取的脑电特征。

将样本s输入到图卷积神经网络模型中，经过卷积层之后其第j次输出特征图可表示为：

F_in×F_out向量用于训练切比雪夫系数θ_i，j∈R^K，其中x_s，i表示输入特征映射。

图卷积神经网络是将卷积神经网络与光谱理论相结合的深度学习方法，在离散空间域中，图卷积神经网络提供了一种有效的方法来描述图的不同节点之间的内在关系，这为探讨脑电情感识别中多个EEG通道的关系提供了重要的线索。

步骤四、输入训练集图信号对模型进行迭代优化训练，采用反向传播算法和交叉熵损失函数优化网络参数，采用Relu激活函数减少参数间的相互依存关系：

交叉熵损失函数为：

Loss＝-∑_x(p(x)logq(x)+(1-p(x))log(1-q(x)))+λR(w) (4)

其中p(x)和q(x)分别表示训练数据的真实值和预测值，R(w)是评价模型复杂度的指标，λR(w)旨在防止模型的过拟合。

ReLu激活函数为：

f(x)＝max(0，y_s，j) (3)

其中，y_s，j为图卷积层后输出的特征图矩阵。

步骤五、将测试集图信号输入已经完成训练的图卷积神经网络，在效价、唤醒和优势度三维情感模型上进行分类识别。

如图1所示，该方法包括以下步骤：

数据前期处理及预处理：由于在数据采集初期及末期阶段被试的脑网络连接模式难以保持相对稳定，因此截取中间的10s时间序列作为后续处理时间序列，并选用步长为0.2s的滑动时间窗。数据预处理主要包括去尾迹、带通滤波处理。

构建关联矩阵：计算各通道信号间的相位同步性大小,PLV的计算方法如式(1)所示，并构建基于PLV的相关功能连接网络模式。

提取脑电特征：提取时频域单变量脑电特征。

训练网络结构模型：将图信号输入图卷积神经网络，迭代更新网络参数直到网络模型达到最优。

分类识别：将测试集数据输入训练好的网络模型进行深度特征提取和分类识别，获得测试样本的情感识别准确率。

如图2所示，系统包括两个模块图信号构建模块、基于图卷积神经网络的情感特征提取和分类识别模块。

图信号构建模块：利用各电极信号之间的相位同步大小，度量分析与人类情绪相关的网络机制，建立情绪脑功能网络，获得脑功能网络的邻接矩阵，然后，将提取的各通道EEG特征建模为图信号。

情感特征提取和分类识别模块：图卷积神经网络是CNN与光谱理论相结合的深度学习方法，用来处理空间离散数据。将前一个模块得到的图信号作为网络的输入，通过挖掘各脑电通道间的内在联系提取最能表征情绪的特征，为后续分类识别研究提供保障。

训练图卷积神经网络脑电情感识别模型的程序的要求是：

多个频带的单变量EEG特征，EEG特征对应的类标签，预处理的EEG时间序列，切比雪夫多项式阶数k，学习率ρ；

算法的基本步骤为；

1：初始化模型参数：切比雪夫多项式阶数k，学习率ρ，迭代次数；

2.进入循环；

3：计算PLV邻接矩阵W，使用Relu函数对矩阵W的元素正则化处理；

4：计算拉普拉斯矩阵L；

5：计算归一化拉普拉斯矩阵

6：计算切比雪夫多项式项

7：计算

8：计算图卷积结果并使用Relu函数将结果正规化；

9：计算全连接层的结果；

10：使用Loss＝-∑_x(p(x)logq(x)+(1-p(x))log(1-q(x)))+λR(w)计算损失函数；

11：更新模型参数；

12：迭代满足预定算法收敛条件结束。

如图3所示，构建的图卷积神经网络共5层，分别是两个图卷积层，两个图池化层和一个全连接层。该神经网络的主要改进在于以下三个方面：采用了RELU激活函数减少参数间的相互依存关系，缓解过拟合问题的发生；采用BP反向传播算法和交叉熵损失函数优化网络模型参数；全连接(FC)输出层，用于集成来自前面的本地化过滤器的关于图形的全局信息。

假设脑网络图定义为G＝(V,E,W)，其中V是图的顶点集合即头皮电极，E是边集合，W是描述V中任意两个节点之间的连接的邻接矩阵，W_pq表示第p个结点与第q个结点连接的重要性。

式(1)表示利用相位锁值确定邻接矩阵W^*的元素

φ_n(t)表示第p个节点和第q个节点之间的功能连接强度。对输入特征x进行图卷积操作如式(2)，将卷积网络的滤波器与图信号先进行傅里叶变换，然后进行处理。

g_θ*x＝Ug_θU^Tx (2)

其中，U^Tx是特征x的图傅里叶变换，g_θ是L的特征值的函数。U是归一化图拉普拉斯矩阵的特征向量，如式(3)所示：

其中，∧是L的特征值组成的对角矩阵。

为了使滤波器在空间上局部化，并降低其计算复杂度，使用K阶Chebyshev多项式的截断展开来逼近滤波器,

T_k(x)＝2xT_K-1(x)-T_K-2(x) (4)

其中T₀(x)＝1，T₁(x)＝x，利用k域滤波器对特征x进行滤波，

其中，

λ_max表示L的最大特征值。网络中样本s的第q次输出特征图如式(6)所示：/>

F_in×F_out向量可训练切比雪夫系数θ_p，q∈R^K，其中x_s，p表示输入特征映射。

本发明实施例的实施效果：采用上海交通大学的SEED和国际公开的DEAP数据集，结果分析如下所示：

图4为SEED数据集中第一位被试在愉悦(Positive)、平静(Neutral)和悲伤(Negative)3种情感类别下的PLV关联矩阵，可以观察到，在同一波段下，悲伤状态下PLV值大于0.5的电极对数目相对多于愉悦状态，也就是说，悲伤状态下不同脑区的相位同步性较高，即激活的脑区范围较广，形成较大范围的脑内相位同步。而愉悦状态激活的脑区较少、集中。即悲伤状态时人脑关注更多的细节信息，从而激活更多的相关脑区进行信息加工处理。

图5为本发明与传统方法在三维情绪维度(即价态、唤醒、优势度)上的有效性分析，相比于传统的情感识别方法，本发明的分类准确率最高。这说明本发明提取的脑电特征更能表征情绪，在四种识别方法中，同一种情感状态下基于优势度的识别准确率均高于其他两个维度，这可能是当受试者对于观看的视频较为熟悉时更易激发情感。

对于本技术领域的普通技术人员来说，在不脱离本发明所属原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。

Claims (2)

1.一种基于图卷积神经网络的脑电情感识别方法，其特征在于，包括以下步骤：

步骤一、根据各脑电通道信号间的相关性构建情感相关功能连接模式：

根据信号间的同步锁相值phase lock value，PLV大小确定情感相关功能连接模式，用以表示不同情感状态各脑区活动的相位同步性大小，在功能性脑网络连接模式构建过程中，通过一个惩罚变量实现对重要连接的筛选；

步骤二、基于功能连接模式结构将提取的各单通道脑电特征建模为图信号：

获取不同情绪状态下的脑网络图的PLV邻接矩阵A；对每个通道的脑电信号进行特征提取，分别提取差分熵特征、功率谱密度特征、差分不对称特征、差分尾部特征；定义图模型G＝(V，E)，每个脑电通道对应图中的一个顶点，每个节点的特征表示v_i，节点数为N，特征维度为D维，则所有节点的特征组成一个N×D的矩阵；

步骤三、建立图卷积神经网络模型：

步骤四、输入训练集图信号对模型进行迭代优化训练，采用反向传播算法和交叉熵损失函数优化网络参数，采用Relu激活函数减少参数间的相互依存关系；

交叉熵损失函数为：

Loss＝-∑_x(p(x)logq(x)+(1-p(x))log(1-q(x)))+λR(w) (1)

其中p(x)和q(x)分别表示训练数据的真实值和预测值，R(w)是评价模型复杂度的指标，λR(w)旨在防止模型的过拟合；

ReLu激活函数为：

f(x)＝max(0，y_s，j) (2)

其中，y_s，j为图卷积层后输出的特征图矩阵；

步骤五、将测试集图信号输入已经完成训练的图卷积神经网络，通过softmax函数，在效价、唤醒和优势度三维情感模型上进行分类识别；

所述步骤三中的图卷积层的图卷积方式为：

其中,

λ_max表示L的最大特征值，T_k(L)是k阶切比雪夫多项式，用来代替滤波器的作用，x表示提取的脑电特征；

将样本s输入到图卷积神经网络模型中，经过卷积层之后其第j次输出特征图可表示为：

F_in×F_out向量用于训练切比雪夫系数θ_i，j∈R^K，其中x_s，i表示输入特征映射。

2.根据权利要求1所述的基于图卷积神经网络的脑电情感识别方法，其特征在于，步骤三中所述图卷积神经网络模型包括5层，分别是两个图卷积层，两个图池化层和一个全连接层。

Images