CN113191225A - 一种基于图注意力网络的情绪脑电识别方法及系统 - Google Patents

Abstract

本发明公开了一种基于图注意力网络的情绪脑电识别方法及系统，包括步骤S1，受不同情绪刺激材料的影响，实验被试者产生不同情绪状态；使用脑电仪获取被试者在情绪体验期间的脑电信号；将每一段的脑电信号标记为对应刺激材料的情绪标签；步骤S2，对数据进行预处理；首先，对脑电信号进行信号筛选，去除实验开始前3s内的低情绪反应数据，去除数据质量差和噪声干扰大的坏通道和坏样本；接着，分割脑电信号为固定4s的片段；最后，从EEG信号中提取微分熵特征，输出结果为特征信号，图卷积神经网络弥补了卷积神经网络的局限性，能够处理拓扑图结构的空间离散数据的特征提取问题，图卷积神经网络与情绪相关脑电通道的结合，使得网络的潜在性能得以发挥。

Description

一种基于图注意力网络的情绪脑电识别方法及系统

技术领域

本发明属于脑机接口以及机器学习技术领域，具体涉及一种基于图注意力网络的情绪脑电识别方法及系统。

背景技术

人对客观世界事物的感情态度和相应的行为反应称为情绪。近年来脑成像和脑信号的相关研究表明：不同情绪及其生理反应主要源自于大脑皮层与皮层下脑区神经的特异性激活或失活。脑电信号是大量脑神经细胞的电生理活动在头皮上的汇总，常使用非侵入式电极对脑电信号进行采集。脑电信号包含了大量的生理信息，可以准确地表征大脑的神经活动，因此利用脑电信号研究情绪特征能够获得更多神经活动信息，进而提高情绪识别的准确率。

脑电领域是一个跨学科的研究领域，随着计算机、数学、物理等学科的加入，出现了很多使用机器学习和数学分析工具分析脑电信号的研究。Ruo-Nan Duan发现在情绪脑电分类任务中使用微分熵(Differential Entropy,DE)特征的分类效果比使用其他特征的分类效果更加好。相较于传统特征如能谱ES(energy spectrum)，使用差分熵的效果准确性更高，稳定性更好。分析脑电信号的频域特征是常用的研究方法，一种被广泛使用的脑电信号频域特征提取方法是将EEG信号分解为几个频带，通常分为delta频带(1-3Hz),theta频带(4-7Hz),alpha频带(8-13Hz),beta频带(14-30Hz)以及gamma频带(>31Hz)。Mu Li andBao-Liang Lu发现使用情绪脑电信号的gamma频带进行情绪脑电分类任务有更高的准确性。

随着机器学习的广泛应用，把深度学习应用到情绪分类任务的研究也越来越多。传统的机器学习方法提取的特征冗余度非常高，导致识别的准确度下降，识别存在较大的时延。脑电信号的采集电极分布在脑部的不同部位，因此脑电信号是以图数据的形式存在的。而传统的卷积神经网络无法学习EEG电极组成的图的拓扑数据，进而无法获取通道之间的相关性信息。

图神经网络在处理图数据方面取得了瞩目的成果，本发明提出一种基于图神经网络的情绪识别框架，根据脑电信号采集节点在脑部的不同位置建模，形成拓扑图，能够充分发现EEG电极间的相关性，学习各个通道的联系，有很强的泛化能力。

发明内容

本发明的目的在于提供一种基于图注意力网络的情绪脑电识别方法及系统，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种基于图注意力网络的情绪脑电识别方法，包括步骤S1，受不同情绪刺激材料的影响，实验被试者产生不同情绪状态；使用脑电仪获取被试者在情绪体验期间的脑电信号；将每一段的脑电信号标记为对应刺激材料的情绪标签，如积极，消极和自然；

步骤S2，对数据进行预处理；首先，对脑电信号进行信号筛选，去除实验开始前3s内的低情绪反应数据，去除数据质量差和噪声干扰大的坏通道和坏样本；接着，分割脑电信号为固定4s的片段；最后，从EEG信号中提取微分熵特征，输出结果为特征信号；

步骤S3，把脑电仪电极视为一个结点，将EEG电极对应的特征信号建模为图的结点；

步骤S4，把预处理数据输入到图神经网络，得到高维特征向量，最后通过全连接分类器得到相应的情绪标签并输出预测结果；

步骤S5，搭建Web服务器，上传训练模型到Web后端。

优选的，步骤S3中“将脑电仪电极视为一个结点，将EEG电极对应的特征信号建模为图的结点”，其方法为：

其中

代表图

的结点(总共有N个结点)，灄是图

的无向边边集，每个结点代表一个EEG电极，

是图的邻接矩阵；边集灄由K近邻算法(KNN)决定；

综上所述，EEG电极的信号被转化为一个无向图，其中EEG电极被表示为图的一个结点。

优选的，步骤S4中“把预处理数据输入到图神经网络，得到高维特征向量，最后通过分类器得到相应的情绪标签并输出预测结果”，其方法为：

1)使用二维卷积对EEG特征信号进行卷积；

2)使用二维池化层对EEG特征信号进行池化；

3)改变EEG特征信号的形状，使其能够输入图神经网络；

4)EEG特征信号输入图注意力网络，得到高维特征向量；

5)高维特征向量输入全连接分类器，输出经过Softmax函数后得到预测结果。

优选的，步骤S4中“搭建Web服务器，上传训练模型到Web后端”，其特征为：

1)以情绪识别为核心，使用云计算技术把系统部署在云服务器中；

2)用户通过Web前端界面使用本系统，获取情绪预测结果；

3)算法模型的更新可以立即被用户获取，不需要用户更新软件。

一种基于图注意力网络的情绪脑电识别系统，包括系统模块；系统模块主要由操作系统、数据库、Web组件组成,主要作为模型计算的基石，支撑模型算法的稳定运行；操作系统采用Linux的Ubuntu 18.04发行版本；Linux是一个稳定操作系统，被广泛用于服务器中；使用Mysql作为脑电信号的存储数据库；Web组件主要包括nginx、Django等，主要用于网站的搭建；

数据处理模块；本系统将通过脑电仪采集脑电信号，将采集到的数据通过HTTP协议发送到后端，提供脑电数据实时传输和上传数据文件两种选择，当用户访问网站的延迟较大时，可选择上传数据文件到服务器；服务器将用户的数据进行数据预处理、特征提取、模型预测等运算，然后将相关数据存储在数据库中；

人机交互模块；由于本系统采用Web技术，因此网站是人机交互模块的主要组成部分；本系统通过Vue框架构建前端页面。

与现有技术相比，本发明的有益效果是：EEG信号是一种经典的结构化数据，非常适合用图数据表示。

图卷积神经网络弥补了卷积神经网络的局限性，能够处理拓扑图结构的空间离散数据的特征提取问题，图卷积神经网络与情绪相关脑电通道的结合，使得网络的潜在性能得以发挥。

本发明中建模的图信号，还原了数据本身在空间和功能上的联系，能提取更具辨别力的情绪特征，可用于准确分类识别个体的情绪状态。

引入注意力机制，让模型权重更集中于情绪脑电图中激活的部分。

附图说明

图1为本发明的原理结构示意图；

图2为本发明的模型原理示意图

图3为本发明的系统组成示意图；

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例1

请参阅图1至图2，本发明提供一种技术方案：实施例中，

进一步地，步骤S1中，受试者A的EEG脑电信号为X_A，第n段样本为v_n其样本标签为y,用公式可以表示为：

X_A＝{(v_1，y₁)，(v₂，y₂)，(v₃，y₃)，...(v_n，y_n)}

所述步骤S2的筛选脑电信号样本和脑电信号预处理步骤如下：

步骤S21：舍弃样本EEG信号的前3s时长信号，以排除实验初期的各种未知因素对实验结果的干扰；

步骤S22：将EEG信号分解为五个频带，即delta频带(1-3Hz)，theta频带(4-7Hz)，alpha频带(8-13Hz)，beta频带(14-30Hz)以及gamma频带(>31Hz)，进行研究；

步骤S23：从EEG信号中提取微分熵(Differential Entropy)特征，公式如下：

所述步骤S3的将EEG电极对应的特征信号建模为图的结点步骤如下：

步骤S31：不同通道的EEG信号是一种典型的非欧氏结构化数据，非常适合于定义成图数据；将EEG电极看作是图的结点，公式为：

其中

代表图

的结点(总共有N个结点)，灄是图

的无向边边集，每个结点代表一个EEG电极，

是图的邻接矩阵；边集灄由K近邻算法(KNN)决定。

综上所述，EEG电极的信号被转化为一个无向图，其中EEG电极被表示为图的一个结点。

所述步骤S4的建立基于图注意力网络的情绪脑电识别步骤如下：

步骤S41：构造一个卷积核大小为5*5的二维卷积层用于输入脑电样本的微分熵特征向量，以学习EEG通道间的相关性，输出为x₁。再对特征序列x₁进行一次卷积核为1*5的二维卷积得到输出x₂，以获取EEG特征序列在时域的特征。

步骤S42：将特征向量x₂输入到图注意力网络(Graph Attention Networks)中，其中图注意力网络注意力系数α_ij和输出特征向量向量

的公式为：

步骤S43：将图注意力网络输出特征向量H＝{h₁，h₂，h₃，…，h_n}，h_n表示第n个注意力特征；将H输入到线性分类器中，得到预测结果p_n。

步骤S44：交叉熵Γ作为损失函数，采用Adam算法进行梯度下降。交叉熵公式如下：

具体实施中，本发明模型与其他模型在SEED数据集和SEED-IV数据集的平均识别精度和方差如下表：

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (5)

1.一种基于图注意力网络的情绪脑电识别方法，其特征在于：包括步骤S1，受不同情绪刺激材料的影响，实验被试者产生不同情绪状态；使用脑电仪获取被试者在情绪体验期间的脑电信号；将每一段的脑电信号标记为对应刺激材料的情绪标签，如积极，消极和自然；

步骤S2，对数据进行预处理；首先，对脑电信号进行信号筛选，去除实验开始前3s内的低情绪反应数据，去除数据质量差和噪声干扰大的坏通道和坏样本；接着，分割脑电信号为固定4s的片段；最后，从EEG信号中提取微分熵特征，输出结果为特征信号；

步骤S3，把脑电仪电极视为一个结点，将EEG电极对应的特征信号建模为图的结点；

步骤S4，把预处理数据输入到图神经网络，得到高维特征向量，最后通过全连接分类器得到相应的情绪标签并输出预测结果；

步骤S5，搭建Web服务器，上传训练模型到Web后端。

2.根据权利要求1所述的一种基于图注意力网络的情绪脑电识别方法，其特征在于：步骤S3中“将脑电仪电极视为一个结点，将EEG电极对应的特征信号建模为图的结点”，其方法为：

E＝{e_ij∣v_i，v_j∈V}

其中

代表图

的结点(总共有N个结点)，灄是图

的无向边边集，每个结点代表一个EEG电极，

是图的邻接矩阵；边集灄由K近邻算法(KNN)决定；

综上所述，EEG电极的信号被转化为一个无向图，其中EEG电极被表示为图的一个结点。

3.根据权利要求1所述的一种基于图注意力网络的情绪脑电识别方法，其特征在于：步骤S4中“把预处理数据输入到图神经网络，得到高维特征向量，最后通过分类器得到相应的情绪标签并输出预测结果”，其方法为：

1)使用二维卷积对EEG特征信号进行卷积；

2)使用二维池化层对EEG特征信号进行池化；

3)改变EEG特征信号的形状，使其能够输入图神经网络；

4)EEG特征信号输入图注意力网络，得到高维特征向量；

5)高维特征向量输入全连接分类器，输出经过Softmax函数后得到预测结果。

4.根据权利要求1所述的一种基于图注意力网络的情绪脑电识别方法，其特征在于：步骤S4中“搭建Web服务器，上传训练模型到Web后端”，其特征为：

1)以情绪识别为核心，使用云计算技术把系统部署在云服务器中；

2)用户通过Web前端界面使用本系统，获取情绪预测结果；

3)算法模型的更新可以立即被用户获取，不需要用户更新软件。

5.根据权利要求1所述的一种基于图注意力网络的情绪脑电识别系统，其特征在于：包括系统模块；系统模块主要由操作系统、数据库、Web组件组成。这部分模块主要作为模型计算的基石，支撑模型算法的稳定运行；操作系统采用Linux的Ubuntu 18.04发行版本；Linux是一个稳定操作系统，被广泛用于服务器中；使用Mysql作为脑电信号的存储数据库；Web组件主要包括nginx、Django等，主要用于网站的搭建；

数据处理模块；本系统将通过脑电仪采集脑电信号，然后将采集到的数据通过HTTP协议发送到后端，提供脑电数据实时传输和上传数据文件两种选择，当用户访问网站的延迟较大时，可选择上传数据文件到服务器；服务器将用户的数据进行数据预处理、特征提取、模型预测等运算，然后将相关数据存储在数据库中；

人机交互模块；由于本系统采用Web技术，因此网站是人机交互模块的主要组成部分；本系统通过Vue框架构建前端页面。

Images