CN113749657B - 一种基于多任务胶囊的脑电情绪识别方法 - Google Patents

Abstract

本发明公开了一种基于多任务学习的脑电信号情绪识别方法，其步骤包括：1，对于原始EEG数据进行去基线和片段分割的预处理；2，建立多任务学习模型；3，对原始EEG信号进行通道注意力的处理；4，构建多任务胶囊网络模型；5，在公开数据集上采用十折交叉方法训练建立的多任务胶囊网络模型；6，利用建立好的模型实现情绪分类任务。本发明能实现高精度情绪识别，从而提高识别率。

Description

一种基于多任务胶囊的脑电情绪识别方法

技术领域

本发明涉及情感计算领域，具体的说是一种基于多任务的脑电信号情绪识别方法。

背景技术

情绪是人们日常生活中不可缺少的一部分，与此同时情绪识别也是人工智能领域的关键技术。应用于情绪识别的研究有很多种，常用的有人的表情、语言、肢体动作等判断人的情感，其中的脑电信号(Electroencephalogram,EEG)室是有实时差异性，但是他与人类的感情状态有着密切的联系，所以本发明采用基于EEG信号的情绪识别研究方法。EEG情绪识别算法主要分为两类：传统算法和基于深度学习的算法。

基于EEG信号的情绪识别的传统算法中，通常是先从EEG信号中提取特征，再将提取得到的特征送到训练分类器进行识别任务。因此选择什么样的特征进行情绪识别非常关键，常用的脑电特征有时域特征、特征和时频特征等，功率谱特征、小波特征和微分熵等特征作为情绪相关特征进行情绪分类时，也可以取得比较好的结果。

近年来，深度学习方法引起情感计算领域的广泛关注，人们采用各种深度学习网络作为分类器应用于从EEG信号提取得到的特征。除此上述，也有一些直接将深度学习网络直接用于原始EEG信号中，将特征提取与分类同时进行，从而实现端到端的情绪识别研究。

目前，这种基于深度学习的端到端的情绪识别方法大多数都是单任务学习提取EEG信号的特征，并且现有的深度学习方法都是基于单任务学习，但是这种方法却不能考虑脑电信号的所有任务之间的的相关信息，当然也不会考虑到脑电信号各任务之间互补信息的共享性，从而使得脑电识别精度降低，因此不能达到预期的识别率。

发明内容

本发明为克服现有单任务学习技术的不足之处，提出一种基于多任务胶囊的脑电情绪识别方法，以期能实现高精度情绪识别，从而提高识别率。

本发明为达到上述发明目的，采用如下技术方案：

本发明一种基于多任务胶囊的脑电信号情绪识别方法的特点是按如下步骤进行：

步骤1、获取任一受试者B的带有L种情绪标签的脑电信号数据并进行预处理，包括去基线和样本分割，从而得到受试者B的N个脑电信号样本，记为U＝{U₁,U₂,…,U_k,…U_N}，其中，U_k∈R^m×p表示第k个脑电信号样本，m表示通道数，p表示采样点数；L≥2；且每种情绪标签有q种类型；

步骤2、建立初始的多任务胶囊模型，包括：通道注意力机制模块和胶囊网络组成，其中，通道注意力机制模块包含最大池化层、平均池化层和共享多层感知器MLP，胶囊网络包含共享卷积层，共享初始胶囊层、动态路由层和情绪胶囊层；

步骤2.1、将N个脑电信号样本U输入所述多任务胶囊模型中，经过所述通道注意力机制模块的最大池化层和均值池化层的操作后输出的结果再输入所述共享多层感知器MLP中，输出与通道相关的特征概率图序列C＝{C₁,C₂,...,C_k,...,C_N}；其中，C_k表示第k个通道的特征概率图；

将所述特征概率图序列C与N个脑电信号样本U相乘后，得到含有通道注意力机制的EEG数据

其中，/>

第k个通道的EEG数据；

步骤2.2、将所述含有通道注意力机制的EEG数据

送入所述胶囊网络中，经过所述共享卷积层的卷积操作后得到低级共享特征序列P＝{P₁,P₂,...,P_k,...,P_N}；其中，P_k表示第k个低级共享特征；

步骤2.3、所述低级共享特征序列P＝{P₁,P₂,...,P_k,...,P_N}经过共享初级胶囊层后得到相应的低级特征向量H＝{H₁,H₂,...,H_k,...,H_N}，其中，H_k表示第k个低级特征；

步骤2.4、利用式(1)建立胶囊网络的第l种情绪标签的第q种类型损失函数Loss_lq：

Loss_lq＝G_lqmax(0,m⁺-||z_lq||₂)²+λ(1-G_lq)max(0,||z_lq||₂-m^-)² (1)

式(1)中，z_lq即为情绪胶囊层输出的第l种情绪标签的第q种类型的情绪胶囊，G_lq是第l个情绪任务的第q种类型的指示函数，当第l种情绪标签中存在第q种类型时，则令G_lq＝1，否则令G_lq＝0；m⁺和m^-分别表示假阳性和假阴性的惩罚函数；λ是比例系数；

利用式(2)建立总损失Loss：

步骤2.5、设置所述动态路由层中的一组初始参数，并将其初始化为0；取所述初始参数的softmax函数得到初始耦合系数；

所述动态路由层基于所述总损失Loss对所述低级特征向量H＝{H₁,H₂,...,H_k,...,H_N}进行多轮训练和反向传播，得到每一轮的变换矩阵；所述低级特征向量H与每一轮的变换矩阵相乘后，就可以得到每一轮的预测向量，即每一轮的高级特征；

将每一轮的预测向量与每一轮的耦合系数进行相乘后再相加，得到低级特征向量H属于每一轮的高级特征的概率；

利用非线性函数对所述概率进行0到1之间的挤压处理，得到情绪胶囊；

所述情绪胶囊层对所述情绪胶囊进行向量长度的计算，得到N个脑电信号样本U的每个脑电信号样本属于L种情绪标签的概率，并选择最后一轮的训练结果作为最终的识别结果。

与已有技术相比，本发明的有益效果体现在：

1、本发明通过构建多任务的胶囊网络，从输入的原始EEG信号中提取各个任务的互补的信息，并从这些信息中提取出情绪相关特征，实现了从不同的任务中获取更多的数据，解决了现有情绪识别只能单个任务学习的数据缺乏等问题。

2、本发明能够实现端到端的训练和测试，与传统的情绪识别技术相比，端到端的结构能够同时实现情绪相关特征的提取和分类，不需要手工设计复杂的情绪相关特征，通过训练使网络具有特征提取能力。

3、本发明通过通道注意力模块提取全局性通道和空间信息，能有效的获取从原始多个任务数据中提取的EEG空间信息，提取的特征信息最终提高了情绪识别精度。

4、本发明胶囊网络对各种情绪进行空间信息和时间信息进行学习和特征提取，并且将所学习到的参数进行共享提高了对情绪的识别，在此之上又加入了通道注意力机制，充分考虑到了各个通道之间的相关信息，提高了情绪识别精度。

附图说明

图1为多任务胶囊流程示意图；

图2为本发明多任务胶囊网络总体结构图；

图3为本发明多任务胶囊网络中通道注意力机制结构图；

图4为本发明多任务胶囊网络中胶囊示意图；

图5为本发明多任务胶囊网络中动态路由算法结构图；

图6为DEAP数据库中唤醒度维度上32名受试者的平均识别精度及标准差图；

图7为DEAP数据库中效价维度上32名受试者的平均识别精度及标准差图。

具体实施方式

本实施例中，一种基于多任务胶囊的脑电信号情绪识别方法首先主要是利用多任务学习的共享信息提升各个任务识别准确率，其次使用通道注意力机制提取原始EEG信号中的通道信息，最后使用胶囊网络(Capsule Network)提取经过编码后样本中时空信息，并最终得到EEG信号的丰富特征从而实现分类，具体流程如图1所示，是按如下步骤进行：

步骤1、首先取任一受试者B的带有L种情绪标签的脑电信号数据，即有L中情绪任务并且每种情绪标签有q种类型(0或1)，并进行预处理，包括去基线和样本分割，从而得到受试者B的N个脑电信号样本，记为S＝{S₁,S₂,...,S_k,...,S_N}，其中，S_k∈R^m×P表示第k个脑电信号样本，m表示通道数，p表示采样点数；L≥2；

步骤2、建立初始的多任务胶囊模型，其中最主要的就是同时学习多个任务，并且将所学习到的互补信息共享给其他任务，以增强其泛化能力和表示能力。多任务胶囊模型由通道注意力提取模块和多任务胶囊提取模块组成；其中，通道注意力机制模块包含最大池化层、平均池化层和共享多层感知器MLP；通道信息提取模块是提取输入初始数据的重要通道信息；而胶囊网络的提取模块包含卷积层，初始胶囊层和情绪胶囊层三部分，具体流程如图2所示；

步骤2.1、提取通道注意力信息：

如图1所示，使用通道注意力机制提取原始数据之间的通道信息；该模型基于pytorch框架下。

通道注意力聚焦EEG中通道输入更有意义，为有效计算通道注意力，需要对输入特征图的空间维度进行压缩，常用的方法是平均池化。然而最大池化可以收集关于独特的物体特征，可以推断更细的通道上的注意力。因此，平均池化和最大池化的特征是同时使用的。将N个脑电信号样本S输入多任务胶囊模型中，经过如式(1)所示的通道注意力机制模块的最大池化层和均值池化层的操作后，之后进入所述共享多层感知器MLP中，输出与通道相关的特征概率图序列C＝{C₁,C₂,...,C_k,...,C_N}；其中，C_k表示第k个通道的特征概率图；

C＝σ(MLP(AvgPool(S))+MLP(MaxPool(S)))

＝σ(w₁(w₀(S_avg))+w₁(w₀(S_max))) (3)

式(3)中，S_avg和S_max分别表示平均池化特征和最大池化特征。w₁和w₀分别表示共享多层感知器输出和输入的权重参数，并且共享该参数，初始化为0。然后，这两个池化结果被转发到一个共享多层感知机网络，生成通道注意力图。共享多层感知器(MLP)只有一个隐含层组成。在经过这一步操作后，输出的特征概率图使用逐元素求和进行合并。σ表示sigmoid函数。这个C就是所含有通道注意力特征概率图，具体如图3所示。之后将特征概率图序列C与N个脑电信号样本S相乘后，得到含有通道注意力机制的EEG数据

其中，/>

第k个通道的EEG数据；

步骤2.2、将含有通道注意力机制的EEG数据

送入多任务的胶囊网络的第一层共享卷积层的卷积操作，本层是为了提取基础的信号特征并且共享这些任务之间的互补信息，用256个stride为1的大小为D＝9×9的filter，得到一个20×20×256的输出，而这一步主要作用就是脑电信号做一次局部特征检测。而对于胶囊网络第一层使用卷积层是因为CNN擅长抽取低级特征，而Capsule是用来表征某个物体的“实例”，所以更适合于表征高级的实例，具体形式如图4所示。该层将学习到的特征来共享表示。共享卷积层的每个神经元通过一组权重连接到上层的局部区域，之后将局部加权求和传递给非线性激活函数Relu，以产生卷积层中每个神经元的最终输出值。

通过上述过程，可以获得特征图的结果。且已经描述了从一个过滤器中提取一个特征的过程。继而可以生成一个特征图并且被重新定义为低级共享特征序列P＝{P₁,P₂,…,P_k,…,P_N}，其中，P_k表示第k个低级共享特征；

步骤2.3、接下来就正式进入了胶囊层网络，对与经过通道注意力机制和卷积层之后的低级共享特征序列P进入共享初级胶囊层(sharedPrimaryCaps)后得到相应的低级特征向量H＝{H₁,H₂,...,H_k,...,H_N}，其中，H_k表示第k个低级特征。这一层包含32个初级胶囊对应于脑电信号有32个通道，接收卷积层提取到的基本特征。这一层的32个主胶囊本质上和卷积层很相似。每个胶囊将8个9×9×256卷积核应用到20×20×256的输入，因而生成6×6×8的输出。由于总共有32个胶囊，输出为6×6×8×32。然后将8D特征图都展成一维，然后对应位置合并，即可得到k₁＝1152个胶囊。而且在共享初级胶囊中，将其从不同任务中提取出来的互补信息进行共享，以增强胶囊的表示能力。

步骤3、离线训练：

采用式MarginLoss作为情绪识别的间隔损失函数。相比于单任务学习，对于多任务学习包含L个任务。将v_j＝z_kq，其中v_j(j＝1,2,…,k₂)，并且z_kq(k＝1,2…,L)和q＝1,2分别表示每种情绪标签为“0”或“1”；q∈Q＝2L；对于MTCA-CapsNet网络的损失函数，对每个EmotionCaps使用间隔损失。它的目标是增加类之间的差异，具体的计算方式如式(4)：

Loss_lq＝G_lqmax(0,m⁺-||z_lq||₂)²+λ(1-G_lq)max(0,||z_lq||₂-m^-)² (4)

式(4)中，G_lq是第l个任务的第q个类的指示函数，当第l个任务中确实存在第q个类时，则G_lq＝1，否则G_lq＝0。m⁺和m^-分别是存在概率的下界和不存在概率的上界，可以分别用于惩罚假阳性和假阴性。在本实施例中，设置m⁺＝0.9和m^-＝0.1，表示如果第k个任务中存在第q个类，则||z_lq||₂将不会大于0.1。λ是比例系数，它用于调整假阳性和假阴性造成的损失比例。在本实施例中，设置λ＝0.5，表示惩罚假阳性的重要性大约是惩罚假阴性的重要性的两倍。在本实施例中，总损失是每个任务中所有类别的间隔损失(MarginLoss)之和，其中具体的计算方式如式(5)：

步骤4、如图5所示，在胶囊网络中最主要的部分就是动态路由算法，而且在共享初始胶囊层和情绪胶囊层中起到了至关重要的作用，这一层就是存储高级别特征的向量即为情绪胶囊层。共享初始胶囊层和情绪胶囊层是全连接的，但不是像传统神经网络标量和标量相连，而是向量与向量相连。全连接神经网络的输入即线性加权求和，胶囊网络与其很类似，但是它在线性求和阶段上多加了一个耦合系数c_ij。

首先为了要求出耦合系数，设置一组初始参数b_ij，这一点是胶囊网络的重点所在，将b_ij初始化为0，得到耦合系数c_ij为0.5，这不能表现出前一层的胶囊和后一层胶囊的之间的关系。故需要损失函数更新b_ij，通过b_ij的更新来更新c_ij。通过计算v_j和当前输出

之间的一致性来迭代更新初始耦合系数，即为v_j和/>

之间的标量积。具体的计算方式如式(6)：

当每次对b_ij进行更新后就会立即求出新的耦合系数c_ij，表示第l层PrimaryCaps的胶囊i和EmotionCaps中的胶囊j的耦合程度，具体计算方式如式(7)：

c_ij＝softmax(b_ij) (7)

式(7)中，取初始参数的softmax函数就可以得到初始耦合系数c_ij，将c_ij严格限制在[0,1]范围内，表示胶囊i属于情感胶囊j的概率。

然后，动态路由层基于总损失Loss对低级特征向量H＝{H₁,H₂,…,H_k,…,H_N}进行多轮训练和反向传播，得到每一轮的变换矩阵w_ij(j＝1,2,…,k₂)；将第i个低级特征向量H_i赋值为u_i(i＝1,2,…,k₁)，其中k₁表示有N个胶囊输入，与每一轮的变换矩阵w_ij相乘后，得到每一轮的预测向量

即每一轮的高级特征，也是更新b_ij式(4)中的重要变量。其中，k₁表示共享胶囊层共有k₁个胶囊输出，也是情绪胶囊的输入。k₂表示在情绪胶囊层中有k₂个16D胶囊，也可以说是对应的k₂＝L个情绪状态，计算方式如式(8)：

式(8)中,

是胶囊网络中的预测向量，w_ij表示u_i和/>

之间的转换矩阵，其大小为8×16，并且它包含低级情绪特征和高级情绪特征空间和位置之间的相关信息。

之后，通过不同的耦合系数将所有的

相加求和得到低级特征向量H_i属于每一轮的高级特征/>

的概率S_j即是输入向量，计算公式如式(9)：

最后，为了确保输出v_j的长度在0到1之间，一个称为“squash”的非线性函数被应用于在0到1之间挤压S_j，得到情绪胶囊v_j。这一步可以表述为式(10)：

式(10)中,将胶囊长度限制在[0，1]范围内。在胶囊网络中使用其新的激活函数Squashing。该激活函数前一部分是输入向量S_j的缩放尺度，后一部分是S_j的单位向量。该激活函数既保留了输入向量的方向，又将输入向量的模压缩到[0,1]之间，得到了情绪胶囊v_j。然后对情绪胶囊v_j进行向量长度的计算，用向量长度的大小衡量某个实体出现的概率，模值越大，概率越大，从而得到N个脑电信号样本U的每个脑电信号样本属于L种情绪标签的概率，作为最终的识别结果。

上述过程决定了信息如何在共享初级胶囊层和情绪胶囊层中的胶囊之间流动。

具体实施中，多任务学习结合通道注意力机制和胶囊网络模型MTCA-CapsNet与支持向量机(SVM),决策树(DT),以及深度学习框架(包含基于CNN的模型)进行对比，将测试集的平均识别精度作为评价指标，当识别精度越高，模型的识别能力越好。32名受试者十次平均识别精度如下表：

表1.不同方法在DEAP数据库两种情绪的平均识别结果

	效价(％)	唤醒度(％)
			DT	75.95±4.76	78.18±5.45
SVM	89.33±7.41	89.99±6.74
			MLP	87.73±7.53	88.88±5.08
DGCNN	92.55±3.53	93.50±3.93
			3DCNN	89.45±4.51	90.42±3.72
ST-Capsule	96.36±2.14	95.61±3.06
			MT-Capsule	96.69±1.73	96.84±1.81
MTCA-CapsNet	97.24±1.58	97.41±1.47

32名受试者的十折交叉验证结果如图6和图7所示。结果分析：

实验结果表明，与传统方法SVM，MLP和DT相比，添加了注意力机制后的模型，MTCA-CapsNet在两种情绪维度(效价和唤醒度)的识别精度都有提升。与没有添加多任务的深度学习并且基于CNN的模型DGCNN和3DCNN相比，还与MTCA-CapsNet大幅度提升了识别结果，验证了结合通道注意力机制和胶囊网络的多任务学习MTCA-CapsNet充分利用多个任务EEG信号之间的共享信息，可以增强模型的识别结果。最后为了更加说明所提出方法的有效性，还将其与单任务胶囊网络(ST-Capsule)和多任务胶囊网络(MT-Capsule)进行了对比此外，结果表明该方法准确度最高，并且还最稳定。从图6,7中可以发现，MTCA-CapsNet模型对32名受试者的识别效果均最佳，更小的标准差表明了该模型的稳定性更好，对不同受试者有更好的泛化能力。

综上所述，本发明充分利用EEG原始信号所含有的时空信息和各个人物之间有助于对方的互补信息，使用结合了通道注意力机制和胶囊网络的多任务学习提取EEG信号的，各任务之间的共享信息，时空信息信息与各通道间的信息，由于使用通道意力机制从原始EEG信号中提取局部部分与整个对象之间的相对空间关系。其中构成胶囊网络的核心单元称为胶囊。Capsules是局部不变的神经元组，它们学习识别视觉实体的存在并将它们的属性编码为向量。这样形成的多任务学习MTCA-CapsNet使其提取的信息更加准确与丰富，从而提高了公开数据集DEAP中两种情绪的识别精度。

本发明提出的多任务学习结合通道注意力机制和胶囊网络模型(MTCA-CapsNet)，在公共数据集DEAP上达到最佳识别结果，且在所有受试者上的识别结果更加稳定。

Claims (1)

1.一种基于多任务胶囊的脑电信号情绪识别方法，其特征是按如下步骤进行：

步骤1、获取任一受试者B的带有L种情绪标签的脑电信号数据并进行预处理，包括去基线和样本分割，从而得到受试者B的N个脑电信号样本，记为U＝{U₁,U₂,…,U_k,…U_N}，其中，U_k∈R^m×p表示第k个脑电信号样本，m表示通道数，p表示采样点数；L≥2；且每种情绪标签有q种类型；

步骤2、建立初始的多任务胶囊模型，包括：通道注意力机制模块和胶囊网络组成，其中，通道注意力机制模块包含最大池化层、平均池化层和共享多层感知器MLP，胶囊网络包含共享卷积层，共享初始胶囊层、动态路由层和情绪胶囊层；

步骤2.1、将N个脑电信号样本U输入所述多任务胶囊模型中，经过所述通道注意力机制模块的最大池化层和均值池化层的操作后输出的结果再输入所述共享多层感知器MLP中，输出与通道相关的特征概率图序列C＝{C₁,C₂,...,C_k,...,C_N}；其中，C_k表示第k个通道的特征概率图；

将所述特征概率图序列C与N个脑电信号样本U相乘后，得到含有通道注意力机制的EEG数据

其中，/>

第k个通道的EEG数据；

步骤2.2、将所述含有通道注意力机制的EEG数据

送入所述胶囊网络中，经过所述共享卷积层的卷积操作后得到低级共享特征序列P＝{P₁,P₂,...,P_k,...,P_N}；其中，P_k表示第k个低级共享特征；

步骤2.3、所述低级共享特征序列P＝{P₁,P₂,...,P_k,...,P_N}经过共享初级胶囊层后得到相应的低级特征向量H＝{H₁,H₂,...,H_k,...,H_N}，其中，H_k表示第k个低级特征；

步骤2.4、利用式(1)建立胶囊网络的第l种情绪标签的第q种类型损失函数Loss_lq：

Loss_lq＝G_lqmax(0,m⁺-||z_lq||₂)²+λ(1-G_lq)max(0,||z_lq||₂-m^-)² (1)

式(1)中，z_lq即为情绪胶囊层输出的第l种情绪标签的第q种类型的情绪胶囊，G_lq是第l个情绪任务的第q种类型的指示函数，当第l种情绪标签中存在第q种类型时，则令G_lq＝1，否则令G_lq＝0；m⁺和m^-分别表示假阳性和假阴性的惩罚函数；λ是比例系数；

利用式(2)建立总损失Loss：

步骤2.5、设置所述动态路由层中的一组初始参数，并将其初始化为0；取所述初始参数的softmax函数得到初始耦合系数；

所述动态路由层基于所述总损失Loss对所述低级特征向量H＝{H₁,H₂,...,H_k,...,H_N}进行多轮训练和反向传播，得到每一轮的变换矩阵；所述低级特征向量H与每一轮的变换矩阵相乘后，就可以得到每一轮的预测向量，即每一轮的高级特征；

将每一轮的预测向量与每一轮的耦合系数进行相乘后再相加，得到低级特征向量H属于每一轮的高级特征的概率；

利用非线性函数对所述概率进行0到1之间的挤压处理，得到情绪胶囊；

所述情绪胶囊层对所述情绪胶囊进行向量长度的计算，得到N个脑电信号样本U的每个脑电信号样本属于L种情绪标签的概率，并选择最后一轮的训练结果作为最终的识别结果。

Images