CN114081492A - 一种基于可学习邻接矩阵的脑电情绪识别系统 - Google Patents

Abstract

本发明公开了一种基于可学习邻接矩阵的脑电情绪识别系统，包括以下步骤：步骤一、数据的采集、处理和划分：将采集到的每秒的脑电信号转化为M×N的特征数据；数据划分，将一部分数据作为训练集，另一部分数据为验证集；步骤二、邻接矩阵的构建：按照电极分布图构建初始的邻接矩阵A∈R^M×M，M为脑电极的数量，邻接矩阵A中，对于某一个电极i和其它任一电极j，当i和j相邻时，A_ij＝1；当i和j不相邻时，A_ij＝0；任意电极与自身的邻接关系为A_ii＝1；步骤三、数据输入模型进行训练；步骤四、将待测样本输入模型，模型输出脑电信号对应的情绪。其优点在于：模型学习难度小，能够提高情绪识别效果。

Description

一种基于可学习邻接矩阵的脑电情绪识别系统

技术领域

本发明涉及脑电情绪识别技术领域，具体地说是一种基于可学习邻接矩阵的脑电情绪识别系统。

背景技术

情感识别在人类的感知、推理、决策、社交和行为选择中起到关键作用。在构建更加友好和人性化的人机交互系统的时候，人类的情感因素应该被考虑进去，其中包括能感知、识别和理解人类情感的智能机器。实现这一目标的第一步是情绪识别，这是一种结合了生理学、神经科学和计算机科学的跨学科技术。

传统的情绪识别方法使用了面部表情、语言、物理动作来推断人的情绪。这些信号虽然容易采集，但是由于不同文化不同背景的人有不同的表达习惯，这些采集出来的数据难以用来真正识别情感。相比于其他生理信号，脑电信号可以提供更多深入、真实的情感信息。通过学习算法，提取脑电信号特征，可以实现多种情绪(诸如愉悦、悲伤、平静、愤怒、害怕、惊讶、生气等)的判别分析。因此，基于脑电信号的情感识别研究可用于辅助抑郁症、焦虑症等精神类疾病发病机制的研究和治疗。此外，在精神疾病康复治疗方面，基于脑机接口的神经反馈训练可在抑郁症、焦虑症等治疗中发挥积极作用。

基于脑电的情绪识别流程为：

1)用刺激来激发情绪。最近的研究都通过播放影片刺激。

2)脑电信号的记录和预处理。在刺激过程中，脑电信号会被采集并被打上对应的标签，通常被试者也会进行自检测试来确保被激发的情绪与影片刺激的目标情绪一致，预处理阶段通常包括了下采样，滤波器和人工去除噪声。

3)特征提取。通常情况下，脑电信号中存在许多的噪声信息，对于情绪识别存在极大的影响，为了得到一个更好的信噪比，特征提取是一个必须的步骤。

4)训练分类器。这一步应用了机器学习作为情绪分类器，通常使用的分类器为支持向量机和逻辑回归等。在近几年，深度学习也展现出了高于传统机器学习方法的优越性，但是需要耗费大量时间和大量训练数据以保持模型的性能。

发明内容

本发明之目的是弥补上述之不足，向社会公开模型学习难度小，能够提高情绪识别效果的一种基于可学习邻接矩阵的脑电情绪识别系统。

本发明的技术方案是这样实现的：

一种基于可学习邻接矩阵的脑电情绪识别系统，包括以下步骤：

步骤一、数据的采集、处理和划分：将采集到的每秒的脑电信号转化为M×N的特征数据矩阵X∈R^M×N，其中M为脑电极的数量，N为频段的分段数量；数据划分，将一部分数据作为训练集，另一部分数据为验证集；

步骤二、邻接矩阵的构建：按照电极分布图构建初始的邻接矩阵A∈R^M×M，M为脑电极的数量，邻接矩阵A中，对于某一个电极i和其它任一电极j，当i和j相邻时，A_ij＝1；当i和j不相邻时，A_ij＝0；任意电极与自身的邻接关系为A_ii＝1；

步骤三、数据输入模型进行训练：将脑电数据输入训练模型中进行训练，在每一个批次中，首先计算每一个M×N的脑电特征矩阵的电极与电极之间的注意力关系矩阵Φ∈R^{M ×M}，对于Φ上的任意一个元素，其计算公式为：

其中，x_i，x_j，x_k分别为特征X在i，j和k个电极上的特征向量，W∈R^N×N′为权重矩阵，a^T为长度为2N′的共享权重向量a∈R^2N′的转置，LeakyReLU为激活函数，exp为以e为底的指数函数，

表示第i个电极的邻域电极的集合；同时，根据邻接矩阵A计算出对应的拉普拉斯矩阵L，其计算公式：

其中，I为大小为M×M的单位矩阵，D为大小为M×M的度矩阵；

获取到拉普拉斯矩阵之后，根据公式L＝(1-η}L+ηΦ更新拉普拉斯矩阵，其中η为模型训练过程中的超参数；再进行两层图卷积操作，输出的二维特征矩阵的大小分别为M×N₁和M×N₂，N₁、N₂为正整数，之后将图卷积之后的结果展成长度为Q的一维向量，Q＝M×N₂；再经过两层输出分别为128和分类种类数的全连接层后，输出最终的情绪；训练完成后，将模型集对应的参数保存；

步骤四、将待测样本输入模型，模型输出脑电信号对应的情绪。

进一步优化本技术方案的措施是：

作为改进，所述的步骤一中，数据的采集的具体过程为：受试者头戴脑电采集设备，观看能够引起不同的情绪的视频，观看视频时采集对应的脑电信号。

作为改进，所述的步骤一中，特征数据矩阵中，脑电极的数量为62，频段的分段数量为5。

5个不同的频段分别为δ(1-3Hz)、θ(4-7Hz)、α(8-13Hz)、β(13-30Hz)、γ(30-51Hz)。

作为改进，所述的步骤一中，数据的划分的具体过程中：按时间顺序采集5t个片段，前3t个片段作为训练集，后2t个片段作为验证集，t为正整数。

作为改进，的取值范围为0.1-0.5。

作为改进，所述的步骤三中，获得输出的情绪后，计算分类损失，并计算邻接矩阵的梯度，并反向更新邻接矩阵，更新邻接矩阵A的方式为：

其中，μ为模型训练中的超参数。

作为改进，μ的取值范围为10^-5-10^-3。

本发明与现有技术相比的优点是：

首先根据电极之间的空间距离构建一个初始化邻接矩阵，初始化邻接矩阵构建方便，并在后续的模型训练过程中，通过更新邻接矩阵，最后获得与任务高度相关的邻接矩阵，同时获得更好的情绪识别的效果，模型学习难度小，能够有效提高情绪识别效果。

附图说明

图1是本发明的流程图；

图2是脑电电极分布图。

具体实施方式

如图1和图2所示，一种基于可学习邻接矩阵的脑电情绪识别系统，包括以下步骤：

步骤一、数据的采集、处理和划分：将采集到的每秒的脑电信号转化为M×N的特征数据矩阵X∈R^M×N，其中M为脑电极的数量，N为频段的分段数量；数据划分，将一部分数据作为训练集，另一部分数据为验证集。

本实施例中，数据的采集的具体过程为：受试者头戴脑电采集设备，观看能够引起不同的情绪的视频，观看视频时采集对应的脑电信号，并对获得的脑电信息进行降噪、预处理，提取特征数据。脑电信号采集设备采用NeuroScan公司的64导脑电采集设备，由于部分电极所采集的数据不用于实验，所以64导的采集设备只使用了62个电极的数据，62个电极的分布如图2所示。利用所采集的特征数据构建特征数据矩阵X∈R^62×5，分为5个频段，分别为δ(1-3Hz)、θ(4-7Hz)、α(8-13Hz)、β(13-30Hz)、γ(30-51Hz)；数据的划分的具体过程中：按时间顺序采集5t个片段，前3t个片段作为训练集，后2t个片段作为验证集，t为正整数。

步骤二、邻接矩阵的构建：按照电极分布图构建初始的邻接矩阵A∈R^M×M，M为脑电极的数量，邻接矩阵A中，对于某一个电极i和其它任一电极j，当i和j相邻时，A_ij＝1；当i和j不相邻时，A_ij＝0；任意电极与自身的邻接关系为A_ii＝1；

步骤三、数据输入模型进行训练：将脑电数据输入训练模型中进行训练，在每一个批次中，首先计算每一个M×N的脑电特征矩阵的电极与电极之间的注意力关系矩阵Φ∈R^{M ×M}，对于Φ上的任意一个元素，其计算公式为：

其中，x_i，x_j，x_k分别为特征X在i，j和k个电极上的特征向量，W∈R^N×N′为权重矩阵，a^T为长度为2N′的共享权重向量a∈R^2N′的转置，LeakyReLU为激活函数，exp为以e为底的指数函数，

表示第i个电极的邻域电极的集合；同时，根据邻接矩阵A计算出对应的拉普拉斯矩阵L，其计算公式：

其中，I为大小为M×M的单位矩阵，D为大小为M×M的度矩阵；

获取到拉普拉斯矩阵之后，根据公式L＝(1-η)L+ηΦ更新拉普拉斯矩阵，其中η为模型训练过程中的超参数，η的取值范围为0.1-0.5；再进行两层图卷积操作，输出的二维特征矩阵的大小分别为M×N₁和M×N₂，N₁、N₂为正整数，之后将图卷积之后的结果展成长度为Q的一维向量，Q＝M×N₂；再经过两层输出分别为128和分类种类数的全连接层后，输出最终的情绪；训练完成后，将模型集对应的参数保存。

本实施例中，N₁为10，N₂为20，进行两层图卷积操作，输出的二维特征矩阵的大小分别为62×10和62×20，之后将图卷积之后的结果展成长度为1240长度的一维向量。

获得输出的情绪后，计算分类损失，并计算邻接矩阵的梯度，并通过反向更新邻接矩阵和其它网络参数(例如注意力矩阵计算中的权重W，共享权重向量a)，更新邻接矩阵A的方式为：

其中，μ为模型训练中的超参数，μ的取值范围为10^-5-10^-3。

步骤四、将待测样本输入模型，模型输出脑电信号对应的情绪。

为了构建一种对于情绪识别任务有效的邻接矩阵，本发明提出了一种可学习的邻接矩阵的方法：首先根据电极之间的空间距离构建一个初始化邻接矩阵，并在后续的模型训练过程中，分别通过两条支路更新邻接矩阵，最后获得与任务高度相关的邻接矩阵，同时获得更好的情绪识别的效果。

两条更新邻接矩阵的支路分别为：

基于注意力机制前向更新邻接矩阵。在模型的训练之前，对于每一个批尺寸(batch size)的数据，求取其对应的注意力矩阵，并使用求取的注意力矩阵更新邻接矩阵。

使用梯度反向传播更新邻接矩阵。在每个批次训练完成后，计算出对应的训练损失，使用梯度方向更新邻接矩阵。

本发明的最佳实施例已被阐明，由本领域普通技术人员做出的各种变化或改型都不会脱离本发明的范围。

Claims (8)

1.一种基于可学习邻接矩阵的脑电情绪识别系统，其特征是：包括以下步骤：

步骤一、数据的采集、处理和划分：将采集到的每秒的脑电信号转化为M×N的特征数据矩阵X∈R^M×N，其中M为脑电极的数量，N为频段的分段数量；数据划分，将一部分数据作为训练集，另一部分数据为验证集；

步骤二、邻接矩阵的构建：按照电极分布图构建初始的邻接矩阵A∈R^M×M，M为脑电极的数量，邻接矩阵A中，对于某一个电极i和其它任一电极j，当i和j相邻时，A_ij＝1；当i和j不相邻时，A_ij＝0；任意电极与自身的邻接关系为A_ii＝1；

步骤三、数据输入模型进行训练：将脑电数据输入训练模型中进行训练，在每一个批次中，首先计算每一个M×N的脑电特征矩阵的电极与电极之间的注意力关系矩阵Φ∈R^M×M，对于Φ上的任意一个元素，其计算公式为：

其中，x_i，x_j，x_k分别为特征X在i，j和k个电极上的特征向量，W∈R^N×N′为权重矩阵，a^T为长度为2N′的共享权重向量a∈R^2N′的转置，LeakyReLU为激活函数，exp为以e为底的指数函数，

表示第i个电极的邻域电极的集合；同时，根据邻接矩阵A计算出对应的拉普拉斯矩阵L，其计算公式：

其中，I为大小为M×M的单位矩阵，D为大小为M×M的度矩阵；

获取到拉普拉斯矩阵之后，根据公式L＝(1-η)L+ηΦ更新拉普拉斯矩阵，其中η为模型训练过程中的超参数；再进行两层图卷积操作，输出的二维特征矩阵的大小分别为M×N₁和M×N₂，N₁、N₂为正整数，之后将图卷积之后的结果展成长度为Q的一维向量，Q＝M×N₂；再经过两层输出分别为128和分类种类数的全连接层后，输出最终的情绪；训练完成后，将模型集对应的参数保存；

步骤四、将待测样本输入模型，模型输出脑电信号对应的情绪。

2.根据权利要求1所述的一种基于可学习邻接矩阵的脑电情绪识别系统，其特征是：所述的步骤一中，数据的采集的具体过程为：受试者头戴脑电采集设备，观看能够引起不同的情绪的视频，观看视频时采集对应的脑电信号。

3.根据权利要求1所述的一种基于可学习邻接矩阵的脑电情绪识别系统，其特征是：所述的步骤一中，特征数据矩阵中，脑电极的数量为62，频段的分段数量为5。

4.根据权利要求3所述的一种基于可学习邻接矩阵的脑电情绪识别系统，其特征是：5个不同的频段分别为δ(1-3Hz)、θ(4-7Hz)、α(8-13Hz)、β(13-30Hz)、γ(30-51Hz)。

5.根据权利要求1所述的一种基于可学习邻接矩阵的脑电情绪识别系统，其特征是：所述的步骤一中，数据的划分的具体过程中：按时间顺序采集5t个片段，前3t个片段作为训练集，后2t个片段作为验证集，t为正整数。

6.根据权利要求1所述的一种基于可学习邻接矩阵的脑电情绪识别系统，其特征是：η的取值范围为0.1-0.5。

7.根据权利要求1所述的一种基于可学习邻接矩阵的脑电情绪识别系统，其特征是：所述的步骤三中，获得输出的情绪后，计算分类损失，并计算邻接矩阵的梯度，反向更新邻接矩阵，更新邻接矩阵A的方式为：

其中，μ为模型训练中的超参数。

8.根据权利要求7所述的一种基于可学习邻接矩阵的脑电情绪识别系统，其特征是：μ的取值范围为10^-5-10^-3。

Images