CN113128552A

CN113128552A - 一种基于深度可分离因果图卷积网络的脑电情绪识别方法

Info

Publication number: CN113128552A
Application number: CN202110231114.7A
Authority: CN
Inventors: 孔万增; 仇敏; 张建海
Original assignee: Hangzhou Dianzi University
Current assignee: Hangzhou Dianzi University
Priority date: 2021-03-02
Filing date: 2021-03-02
Publication date: 2021-07-16
Anticipated expiration: 2041-03-02
Also published as: CN113128552B

Abstract

本发明公开了一种基于深度可分离因果图卷积网络的脑电情绪识别方法。现有用于识别脑电情绪的神经网络缺乏通道间定向功能性关系的考虑。本发明如下：一、采集被测者的脑电数据。二、构建邻接矩阵。三、计算脑电数据对应的正则化拉普拉斯矩阵。四、利用深度可分离因果图卷积模型进行特征提取和情绪分类。本发明采用格兰杰因果关系对EEG信号通道间的关系进行建模，构建出一个有向的非对称矩阵，充分考虑了通道间的因果关系，与真实的脑电信号产生情况一致，故能够有效提高情绪类型识别的准确率。此外，本发明采用深度可分离卷积充分提取了脑电数据中的局部特征，从而进一步提高了分类准确率。

Description

一种基于深度可分离因果图卷积网络的脑电情绪识别方法

技术领域

本发明属于脑电情绪识别领域，涉及一种基于GC_DSGCN(depthwise separablegraph convolutional neural networkbased on Granger causality基于格兰杰因果关系的深度可分离图卷积算法)的脑电情绪分类方法。

背景技术

情绪在人们的日常交流、工作学习和认知决策过程中具有信息传递与行为调控的作用，识别出正确的情绪，能够帮助人们掌握正确的信息。近几年人工智能有了很大的发展，已经拥有了很完善的逻辑体系和算法结构，但情绪的识别部分仍然存在缺陷，因此情绪识别领域也就受到了广泛的重视，情绪的正确识别将会有助于人机协同的进一步提高。

目前情绪识别的技术主要采用面部表情、语音信号，心理学常用量表和心理信号等。前三种技术虽然实施过程简单，也比较易于获得，但其可靠性、有效性却不能够保证，因为主体可以通过控制面部表情、语音语调和心理变化来掩盖真实的情绪，甚至有些时候主题也不能很正确的表达其真实的心理感受。心理信号则主要包含脑电图(EEG)、心电图(ECG)和肌电图(EMG)等，其中采取脑电图的设备是最轻便，易于获得的，获得信号的速度也十分的快速，采取过程对人体无任何伤害，价格也是最便宜的，这也使在情绪识别领域上EEG的使用最为普遍。

脑电信号提供了一个人的大量的信息，同时也被运用到大量的实际应用中，如为某些脑疾病提供诊断依据，甚至可以提供更有效的治疗手段，近年来大量研究人员借助脑电信号，来实现人机交互。而脑电信号能够更客观地反应人的情绪，因此能为提高人机交互性能提供更大的帮助。

现已经有了卷积神经网络(CNN)、循环神经网络(RNN)、支持向量机(SVM)等方法来识别脑电情绪，也都得到了十分可观的结果，也有对EEG通道间信息的提取的图神经网络(GNN)，但缺乏通道间定向功能性关系的考虑，故需要提出一种方法能够将该信息加入到输入中，同时能够提高情绪分类准确率的方法。

发明内容

本发明针对现有技术的不足，提供一种基于GC_DSGCN的脑电情绪识别方法，通过格兰杰因果关系计算出EEG通道间的定向影响因子，建立模型所需要的拓扑图，通过图卷积提取出空间特征，再通过深度可分离卷积提取出局部特征，用平均池化层将提取出的局部特征总合成新的特征，最后输入全连接层，实现脑电情绪的分类。

本发明的具体步骤如下：

步骤一、获取被测者的脑电数据。

步骤二、构建邻接矩阵。

计算脑电数据中包括任意两通道格兰杰因果关系值；任意两通道c1、c2的格兰杰因果关系值如式(2.5)、(2.6)所示。

其中，GC_c2→c1为通道c2映射到通道c1格兰杰因果关系值；其中，GC_c1→c2为通道c1映射到通道c2格兰杰因果关系值；

分别为通道c1、c2的预测误差的方差，其表达式如式(2.3)所示；

分别为通道c1对通道c2之间的预测误差的方差、通道c1对通道c2，其表达式如式(2.4)所示。

其中，

X₁、X₂分别为数据样本的任意两个通道c1、c2的前P段时间序列；P为自回归模型的阶数；Y₁、Y₂分别表示P到T时刻中通道c1、通道c2的时间序列；T为总时间段数量；

为通道c1、通道c2的单变量自回归系数，其表达式如式(2.1)所示；

为通道c1与通道c2之间的双变量回归系数，其表达式如式(2.2)所示。

用将脑电数据内的各通道数据相互之间的格兰杰因果关系值组成邻接矩阵A。

步骤三、计算脑电数据对应的正则化拉普拉斯矩阵L如式(3.1)。

L＝I_N-D^-1/2AD^-1/2 式(3.1)

其中，I_N是单位矩阵，D是对应的邻接矩阵A的度矩阵。

步骤四、利用深度可分离因果图卷积模型进行特征提取和情绪分类。

所述的深度可分离因果图卷积模型首先利用步骤三得到的正则化拉普拉斯矩阵L，对脑电数据图卷积运算。再通过深度可分离卷积层提取局部特征，提取出频谱能量特征；然后通过平均池化层，将提取到的局部特征整合成新的特征；最后通过全连接层进行情绪分类，确定被测者在脑电采集时的情绪类型。深度可分离因果图卷积模型经过多个已有标签的脑电数据的训练。

作为优选，步骤一中所述的情绪类别包括积极，中性，消极。被试者的情绪类别通过观看不同的电影片段来引导。

作为优选，脑电数据为通过10-20国际标准导联系统采集的62通道脑电信号。

作为优选，所有脑电数据均经过去趋势化、去均值、一阶差分处理。

作为优选，步骤四中的图卷积运算通过切比雪夫滤波器进行。

作为优选，步骤四中，深度可分离因果图卷积模型对脑电数据的具体处理过程如下：提取脑电数据x与滤波器θ的卷积y如式(4.3)所示。

其中，θ_k是切比雪夫多项式的系数；

通过递归表达式计算得到，

λ_max是正则化拉普拉斯矩阵L的最大特征值。I_N为单位矩阵。K为切比雪夫滤波器的阶数。

再将提取出的卷积y输入至深度可分离卷积网络，即先通过逐通道卷积，一个卷积核负责一个通道；再通过一个逐点卷积，将上一步的特征在深度方向上进行加权组合，生成新的局部特征，最后用平均池化层将局部特征总合为新的特征。新的特征输入全连接层即得到情绪类型。

作为优选，构建脑电数据x与滤波器θ的卷积y的表达式的过程如下：

4-1.将脑电数据x与滤波器θ的卷积定义为：y＝g_θ(L)x；其中，g_θ(·)是图信号的滤波函数。

4-2.将正则化拉普拉斯矩阵L分解为：L＝UΛU^T；其中，U是正交矩阵，由L的特征向量组成；Λ为对角矩阵，其各对角元素分别为正则化拉普拉斯矩阵L的各个特征值。进而将样本数据x与滤波器θ的卷积y重新定义为式(4.1)。

y＝g_θ(L)x＝Ug_θ(Λ)U^Tx 式(4.1)

4-3.利用K阶切比雪夫多项式来计算滤波函数g_θ(Λ)如式(4.2)所示。

其中，

通过递归表达式进行计算，

根据式(4.2)进一步将卷积y的表达式优化为式(4.3)。

本发明的有益效果是：

1、本发明采用格兰杰因果关系对EEG信号通道间的关系进行建模，构建出一个有向的非对称矩阵，充分考虑了通道间的因果关系，与真实的脑电信号产生情况一致，故能够有效提高情绪类型识别的准确率。

2、本发明采用深度可分离卷积充分提取了脑电数据中的局部特征，从而进一步提高了分类准确率。

附图说明

图1是本发明获取格兰杰因果关系构建邻接矩阵的流程图；

图2是本发明提出的深度可分离因果图卷积模型的网络框架图。

具体实施方式

为使本发明的目的、技术方案和要点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

一种基于深度可分离因果图卷积网络的脑电情绪识别方法，包括以下步骤：

步骤一、建立数据集。

本实施例使用上海交大提供的情绪脑电SEED数据集，该数据集由15个被试(7名男性，8名女性)分别观看来自6部电影的15个片段，引起的不同的情绪(积极，中性，消极)所产生，因此每次实验得到15个样本数据；每个被试做三次实验，每个实验相隔大约一周；一共有15×3＝45个实验。而每个实验取前9个片段作为训练集，后6个片段作为测试集。

步骤二、邻接矩阵构建。

本发明的数据集采用了国际10-20系统的62个通道，每个通道定义为c，如果通道c1的某些或者全部滞后阶对通道c2产生了显著的影响(或c2的滞后阶也可能对c1造成影响)，那么利用c1去预测c2(或c2去预测c1)的变化就成为了可能，也就是说变量c1是导致变量c2的格兰杰原因。对于通道c1的时间序列和通道c2的时间序列，使用c1的自回归模型(AR)和c1、c2共同的自回归模型来预测两通道见的影响因素。基于这一情况，本发明将每一个通道作为模型的节点，计算出每个节点之间以及该节点对自身的格兰杰因果关系，构建模型所需要的有向邻接矩阵，如图2所示。

如图1所示，将数据集内的各个数据样本分别进行去趋势化、去均值、一阶差分处理，通过最小二乘法估计回归模型的系数，

计算每个数据样本中各通道的P阶AR模型的单变量自回归系数

如式(2.1)所示。P为AR模型的阶数。

其中，X₁表示数据样本的任意通道c1的前P段时间序列；

c₁(i)是通道c1当前时刻向前的第i个时间段的数据；Y₁表示P到T时刻中通道c1的时间序列；T为总时间段数量；

计算联合回归模型的双变量回归系数

如式(2.2)所示。

其中，

X₁、X₂分别为数据样本的任意两个通道c1、c2的前P段时间序列。

计算每个数据样本中各通道的自回归模型的预测误差的方差

如式(2.3)所示。

其中，var(·)为方差函数；c1表示数据样本的任意通道数据；var(·)为方差函数；e_c1为单变量AR模型的预测误差。

计算每个数据样本中两两通道之间的自回归模型的预测误差的方差

如式(2.4)所示。

其中，e_c1c2则是双变量的预测误差。

计算两通道互相的格兰杰因果关系值如式(2.5)、(2.6)所示。

其中，GC_c2→c1为通道c2映射到通道c1格兰杰因果关系值；其中，GC_c1→c2为通道c1映射到通道c2格兰杰因果关系值.

62个通道数据两两组合(包括自身对自身的影响)的格兰杰因果关系值组成62×62的邻接矩阵A。

步骤三、正则化矩阵。

根据正则化拉普拉斯矩阵的定义，计算各样本数据对应的正则化拉普拉斯矩阵L如式(3.1)。

L＝I_N-D^-1/2AD^-1/2 (3.1)

其中，I_N是单位矩阵，D∈R^N*N是邻接矩阵A的度矩阵，D可以通过

计算得到；而A就是步骤二得到的邻接矩阵。

步骤四、特征提取

脑电信号中的每个通道无时无刻不因为其他通道的影响而在改变着自己的状态直到最终的平衡，这也就需要一个网络，能够考虑到信号的结构关系。图卷积神经网络其实和卷积神经网络一样，是一个用于图数据的特征提取器，但和卷积神经网络不同的是，卷积神经网络无论kernel窗口平移到哪里，其内部结构都是一样的，但图数据的结构一般来说是十分不规则的，所以它没有平移不变性。每一个节点的周围结构可能都是独一无二的。这里就需要步骤三中的正则化拉普拉斯矩阵。

如图2所示，建立深度可分离因果图卷积模型，其首先将脑电数据通过切比雪夫滤波器进行图卷积运算，再将其输出输入到深度可分离卷积层提取局部特征，提取出频谱能量特征，再通过一层平均池化层，将提取到的局部特征整合成新的特征，最后输入全连接层，实现脑电情绪的分类。

在图卷积神经网络上，样本数据x与图的滤波器θ的卷积定义为：y＝g_θ(L)x,g_θ(·)是图信号的滤波函数。

正则化拉普拉斯矩阵L的奇异值分解为：L＝UΛU^T；其中，U是正交矩阵，由L的特征向量组成，U＝[u₀,u₁,···,u_N-1]∈R^N×N，Λ为对角矩阵，其各对角元素分别为正则化拉普拉斯矩阵L的各个特征值。Λ＝diag([λ₀,λ₁,···,λ_N-1])；x∈R^N*F是输入信号，F是样本数据x的特征数。

因此：样本数据x与图的滤波器θ的卷积y重新定义为式(4.1)。

y＝g_θ(L)x＝Ug_θ(Λ)U^Tx (4.1)

然而为了简化计算，我们引入了K阶切比雪夫多项式来计算滤波函数g_θ(Λ)，

其中，θ_k是切比雪夫多项式的系数；

λ_max是对角矩阵Λ的最大元素；

可以通过递归表达式进行计算，即

卷积y变为式(4.3)。

其中，

再将公式(3.1)的正则化拉普拉斯矩阵L代入，就得到了最终的图卷积公式(4.3)。

再将提取出的卷积y输入至深度可分离卷积网络，即先通过逐通道卷积，一个卷积核负责一个通道；再通过一个逐点卷积(类似于普通的卷积)，这一层卷积运算会将上一步的特征在深度方向上进行加权组合，生成新的局部特征(即特征图)，最后用平均池化层将局部特征总合为新的特征。

步骤五、根据步骤4提取的特征用全连接层进行分类，获得样本数据x对应的情绪类型。

本发明经过训练集训练后使用测试集进行准确率测试，所得结果与现有技术(SVM、GCNN、P_GCN、DGCNN)对比的情况如下表1所示。在对比中，取每个被试的任意两次实验结果进行测试；并用得到的所有准确率数据的平均值来衡量模型的效果。本发明主要选取SEED数据集中预处理后的的DE特征进行实验。

表1 SEED数据集上平均准确率和标准偏差的比较

从表1可以发现，本发明比SVM、GCNN、P_GCN、DGCNN方法的准确率都要高，且在beta、gamma频段和全频带的表现更为突出，个体差异也有了一定的缩小。

Claims

1.一种基于深度可分离因果图卷积网络的脑电情绪识别方法，其特征在于：步骤一、获取被测者的脑电数据；

步骤二、构建邻接矩阵；

计算脑电数据中包括任意两通道格兰杰因果关系值；任意两通道c1、c2的格兰杰因果关系值如式(2.5)、(2.6)所示；

分别为通道c1对通道c2之间的预测误差的方差、通道c1对通道c2，其表达式如式(2.4)所示；

其中，

为通道c1与通道c2之间的双变量回归系数，其表达式如式(2.2)所示；

用将脑电数据内的各通道数据相互之间的格兰杰因果关系值组成邻接矩阵A；

步骤三、计算脑电数据对应的正则化拉普拉斯矩阵L如式(3.1)；

L＝I_N-D^-1/2AD^-1/2 式(3.1)

其中，I_N是单位矩阵，D是对应的邻接矩阵A的度矩阵；

步骤四、利用深度可分离因果图卷积模型进行特征提取和情绪分类；

所述的深度可分离因果图卷积模型首先利用步骤三得到的正则化拉普拉斯矩阵L，对脑电数据图卷积运算；再通过深度可分离卷积层提取局部特征，提取出频谱能量特征；然后通过平均池化层，将提取到的局部特征整合成新的特征；最后通过全连接层进行情绪分类，确定被测者在脑电采集时的情绪类型；深度可分离因果图卷积模型经过多个已有标签的脑电数据的训练。

2.根据权利要求1所述的一种基于深度可分离因果图卷积网络的脑电情绪识别方法，其特征在于：步骤一中所述的情绪类别包括积极，中性，消极；被试者的情绪类别通过观看不同的电影片段来引导。

3.根据权利要求1所述的一种基于深度可分离因果图卷积网络的脑电情绪识别方法，其特征在于：脑电数据为通过10-20国际标准导联系统采集的62通道脑电信号。

4.根据权利要求1所述的一种基于深度可分离因果图卷积网络的脑电情绪识别方法，其特征在于：所有脑电数据均经过去趋势化、去均值、一阶差分处理。

5.根据权利要求1所述的一种基于深度可分离因果图卷积网络的脑电情绪识别方法，其特征在于：步骤四中的图卷积运算通过切比雪夫滤波器进行。

6.根据权利要求1所述的一种基于深度可分离因果图卷积网络的脑电情绪识别方法，其特征在于：步骤四中，深度可分离因果图卷积模型对脑电数据的具体处理过程如下：提取脑电数据x与滤波器θ的卷积y如式(4.3)所示；

其中，θ_k是切比雪夫多项式的系数；

通过递归表达式计算得到，

λ_max是正则化拉普拉斯矩阵L的最大特征值；I_N为单位矩阵；K为切比雪夫滤波器的阶数；

再将提取出的卷积y输入至深度可分离卷积网络，即先通过逐通道卷积，一个卷积核负责一个通道；再通过一个逐点卷积，将上一步的特征在深度方向上进行加权组合，生成新的局部特征，最后用平均池化层将局部特征总合为新的特征；新的特征输入全连接层即得到情绪类型。

7.根据权利要求6所述的一种基于深度可分离因果图卷积网络的脑电情绪识别方法，其特征在于：构建脑电数据x与滤波器θ的卷积y的表达式的过程如下：

4-1.将脑电数据x与滤波器θ的卷积定义为：y＝g_θ(L)x；其中，g_θ(·)是图信号的滤波函数；

4-2.将正则化拉普拉斯矩阵L分解为：L＝UΛU^T；其中，U是正交矩阵，由L的特征向量组成；Λ为对角矩阵，其各对角元素分别为正则化拉普拉斯矩阵L的各个特征值；进而将样本数据x与滤波器θ的卷积y重新定义为式(4.1)；

y＝g_θ(L)x＝Ug_θ(Λ)U^Tx 式(4.1)

4-3.利用K阶切比雪夫多项式来计算滤波函数g_θ(Λ)如式(4.2)所示；

其中，

通过递归表达式进行计算，

根据式(4.2)进一步将卷积y的表达式优化为式(4.3)。