CN112766355A - 一种标签噪声下的脑电信号情绪识别方法 - Google Patents

Abstract

本发明公开了一种标签噪声下的脑电信号情绪识别方法，其步骤包括：1，对于原始EEG数据进行去基线和片段分割的预处理；2，建立基于胶囊网络的联合优化框架的神经网络模型；3，在公开数据集上引入一定比例的标签噪声并采用十折交叉方法训练建立的联合优化的胶囊网络模型；4，利用建立好的模型实现情绪分类任务。本发明能实现在标签噪声的情况下优化更新伪标签后纠正噪声标签，从而提高识别率。

Description

一种标签噪声下的脑电信号情绪识别方法

技术领域

本发明涉及情感计算领域，具体的说是一种标签噪声下的脑电情绪识别方法。

背景技术

情绪是一种复杂的主观认知经验的通称，它包括人对外界刺激或自身刺激的心理反应，以及其伴随的生理反应。情感识别在人工智能领域占有十分重要的地位。关于情绪识别的研究方法有很多，常用的有非生理信号和生理信号来判断人的情感，其中脑电信号(EEG)与人们的认知行为和心理活动具有很强的相关性，并且具有良好的时间分辨率，更能够直接地反映情绪，所以采用基于EEG信号的情绪识别研究方法。EEG情绪识别算法主要分为两类：传统算法和基于深度学习的算法。

基于EEG信号的情绪识别的传统算法中，通常是先从EEG信号中提取特征，再将提取到的特征运用到分类器中进行识别任务。常用的脑电特征有时域特征、频域特征和时频特征等。除此之外、功率谱特征、小波特征和微分熵等特征作为情绪相关特征进行情绪分类时，也可以取得比较好的结果。

近年来，许多深度学习方法的提出在情感计算领域也取得了非常不错的效果，研究者们采用各种深度学习网络作为分类器应用于从EEG信号提取得到的特征或者直接用于原始EEG信号中，将特征提取与分类同时进行，从而实现端到端的情绪识别研究。

目前，这种基于深度学习的情绪识别方法都是属于监督学习的范畴，监督学习取得良好分类效果的前提是依赖于大量标记良好的干净的带标签的数据。但是得到大量标记正确的标签是非常费时又费力的。对于EEG信号来说，由于不同的人对同一视频片段或者音乐的感受不同，就会导致不同受试者的标签不同，并且同一受试者对相同的视频片段和音乐在不同时间的感受可能不同，这也会导致同样的受试者对同一片段的标签不同，这样就产生了标签噪声。直接将标签噪声应用到分类任务中会使得优化后的参数远离真实的最优值，在测试时分类精度下降。

发明内容

本发明为克服现有技术的不足之处，提出一种标签噪声下的脑电信号情绪识别方法，以期能实现在标签噪声的情况下优化更新伪标签后纠正噪声标签，从而提高情绪识别率。

本发明为达到上述发明目的，采用如下技术方案：

本发明一种标签噪声下的脑电信号情绪识别方法的特点是按如下步骤进行：

步骤1、获取任一受试者A的带有M种情绪标签的脑电信号数据并进行去基线和样本分割处理，从而得到受试者A的N个脑电信号样本，记为X＝{X₁,X₂,...,X_i,...,X_N}，其中，X_i∈R^m×P表示第i个脑电信号样本，m表示脑电信号的通道数，P表示采样点数，i＝1,2,…,N；N是样本数量；

对N个脑电信号样本X的情绪标签引入一定比例的噪声后形成新的一组情绪标签Y＝{Y₁,Y₂,...,Y_i,...,Y_N}，其中，Y_i∈R^M×1表示第i个脑电信号样本X_i对应的情绪标签；M表示情绪类别数；

步骤2、建立基于联合优化框架的胶囊网络模型，所述胶囊网络模型由卷积层模块、初级胶囊层模块和情绪胶囊层模块组成；其中，所述卷积层模块包含k个步长为L₁的a×a卷积核和ReLU激活函数，所述初级胶囊层模块包含由步长为L₂的a×a卷积核单元所组成的d通道的b维初级胶囊，所述情绪胶囊层模块包含M个c维的情绪胶囊；

步骤2.1、将所述N个脑电信号样本X及其情绪标签Y输入所述胶囊网络模型中，所述N个脑电信号样本X经过所述卷积层模块的采样处理，将采样点数P转换为局部特征图的值，并输出k个局部特征图；

步骤2.2、将k个局部特征图输入到初级胶囊层模块，经过所述初级胶囊层模块的分组处理，将k个局部特征图分组为d×b维卷积胶囊，并输出低级情绪特征，通过动态路由协议机制对所述低级情绪特征进行加权求和处理，得到预测向量；

步骤2.3、将所述预测向量输入情绪胶囊层模块，经过M个c维的情绪胶囊的处理，计算出M个情绪胶囊的长度，并输出可能性最大的类别标签作为伪标签Y′＝[Y′₁,Y′₂,...,Y′_i,...,Y′_N]∈R^M×N，其中，Y_i′表示第i个脑电信号样本X_i对应的伪标签；每个情绪胶囊的长度代表相应情绪存在的可能性；

步骤3、联合优化框架的训练：

步骤3.1、利用式(1)构建总的损失函数L：

L(θ,Y′|X)＝L_m(θ,Y′|X)+αL_p(θ|X)+βL_e(θ|X) (1)

式(1)中，L_m是分类损失，L_p和L_e是两个正则化损失，α和β是两个超参数，θ为网络参数；

步骤3.2、定义当前迭代次数为t，最大迭代次数为Tmax；并初始化t＝1；

将伪标签Y′＝[Y′₁,Y′₂,...,Y′_i,...,Y′_N]∈R^M×N作为第t次迭代的伪标签

将网络参数θ作为第t次迭代的网络参数θ_t；

步骤3.3固定第t次迭代的伪标签，通过第t次计算损失函数L并按照梯度下降的方向优化第t次迭代的网络参数θ_t，得到第t+1次迭代的网络参数θ_t+1；

步骤3.4、固定第t+1次迭代的网络参数θ_t+1，并利用式(2)更新第t次迭代的伪标签，得到第t+1次迭代的伪标签

式(2)中，s(θ_t+1,X_i)是第t次迭代第i个脑电信号样本X_i对应的类别标签存在的概率，并由胶囊网络模型的情绪胶囊的长度计算得到；

步骤3.5、将t+1赋值给t后，判断t>Tmax是否成立，若成立，则表示得到训练后的胶囊网络模型，并用于实现脑电情绪的识别；否则返回步骤3.3。

与已有技术相比，本发明的有益效果体现在：

1、以往的监督学习都暗含所用的标签都是完全正确的假设，但是，在现实情况下标签往往包含不准确的标签，称为“标签噪声”。因此本发明首次提出在标签噪声下的EEG情绪识别方法，通过在标签噪声下训练网络模型并校正带噪声的标签，使得模型对于标签噪声更加鲁棒，从而提升了模型的分类表现性能。

2、本发明通过构建联合优化框架下的胶囊网络模型，从输入的原始EEG信号中提取有效的信息，并从这些信息中提取出情绪相关特征，并在联合优化框架下达到校正带噪的标签，实现了情绪识别任务，解决了现有情绪识别技术复杂的特征设计及提取和标签噪声降低分类精度等问题。

附图说明

图1为本发明方法流程示意图；

图2为本发明基于联合优化框架的概念图；

图3为本发明胶囊网络的结构图；

图4为本发明胶囊网络动态路由结构图；

图5为DEAP数据库中唤醒度维度上32名受试者在噪声比例为30％条件下的平均识别精度及标准差图；

图6为DEAP数据库中效价维度上32名受试者在噪声比例为30％条件下的平均识别精度及标准差图。

具体实施方式

本实施例中，一种在标签噪声下的基于联合优化框架的脑电信号情绪识别方法主要是利用胶囊网络(capsule network)提取原始EEG信号中的空间信息，再使用联合优化策略(joint optimization strategy)对网络参数和伪标签进行交替优化更新，逐步校正带噪标签，并最终实现EEG信号在标签噪声下的情绪分类，如图1所示，是按如下步骤进行：

步骤1、获取任一受试者A的带有M种情绪标签的脑电信号数据并进行预处理，包括去基线和样本分割，从而得到受试者A的N个脑电信号样本，记为X＝{X₁,X₂,...,X_i,...,X_N}，其中X_i∈R^m×P表示第i个脑电信号样本，m表示脑电信号的通道数，P表示采样点数，i＝1,2,…,N；本实例中使用的是公开数据库DEAP中脑电数据做训练和测试，数据集包含了32名受试者，分别观看了40段一分钟的视频后采集的脑电信号，每位受试者一次trial采集的脑电信号X∈R^32×8064,其中前3s的数据是基线数据，标签是由受试者一次trial后的评分，包含了两种情绪维度Arousal和Valence，每种情绪分为两类high和low。

对N个脑电信号样本X的情绪标签引入一定比例的噪声后形成新的一组情绪标签Y＝{Y₁,Y₂,...,Y_i,...,Y_N}，其中，Y_i∈R^M×1表示第i个脑电信号样本X_i对应的情绪标签；M表示情绪类别数；

具体实施中，对每个受试者的40段脑电信号进行预处理，包括：

假定一次trial的原始EEG信号为X∈R^m×P，m是脑电信号的通道数，P是采样点数，其中基线信号是X_i∈R^m×L,i＝1,2,...,s.在DEAP数据集中，每位受试者的基线时长s＝3。

去基线：计算1s的平均基线数据如下：

式(1)中，

表示第i个脑电信号样本对应的1s的平均基线数据，X_i表示第i个脑电信号样本。

为了减小静息状态脑电的干扰，使用平均基线数据对脑电信号做去基线预处理如下：

式(2)中，X′_j表示第j个脑电信号样本去除基线信号后的数据，X_j表示第j个脑电信号样本。

样本分割：为了扩大样本数量，将一位受试者60s的脑电信号用1s的滑动窗分割，相应的样本标签也随之增加，最终每位受试者的脑电样本。实验采用十折交叉验证方法，随机选择90％的样本作为训练集，剩余10％样本作为测试集，在测试集上进行十次实验后的平均识别率作为最终识别精度。

步骤2、如图2、图3所示，建立初始的联合优化框架下的将囊网络模型，该胶囊网络模型由卷积层模块，初级胶囊层模块和情绪胶囊层模块组成；其中，卷积层模块具有步长为1的256个9×9卷积核和ReLU激活，初级胶囊层模块具有32通道的8维初级胶囊，每个初级胶囊包含8个步长为2的9×9卷积核单元，情绪胶囊层模块包含2个16维的情绪胶囊；

步骤2.1、如图3、图4所示，将EEG信号的数据

和带噪标签Y_i(i＝1,...,N)输入到胶囊网络中；X_i通过第一层卷积层步长为1的256个9×9卷积核和ReLU激活函数，得到256个24×120的局部特征图输出。

步骤2.2、将256个局部特征图输入到初级胶囊层模块，经过初级胶囊层模块的分组处理，将256个局部特征图分组为32×8维卷积胶囊，每个初级胶囊输出低级情感特征u_i，每个输出的低级情感特征u_i都是一个8维向量。如图4所示，通过将第i个初级胶囊的输出乘以16维权重矩阵W_ij(j＝1,...,n)得到预测向量

式(3)中，W_ij是u_i和

之间的转换矩阵，用于描述低级情绪特征和高级情绪特征之间的相对空间关系，n表示情绪胶囊的数量，在本实施例中n＝2；将具有不同权重的所有初级胶囊的

求和得到第j个情绪胶囊的输出s_j：

式(4)中，c_ij是第i个初级胶囊和第j个情绪胶囊之间的耦合系数，第i个初级胶囊和所有情绪胶囊的耦合系数之和为1。耦合系数c_ij由式(5)计算得出：

式(5)中，初始对数b_ij是第i个初级胶囊与第j个情绪胶囊组合的对数先验概率；

步骤2.3、将预测向量输入情绪胶囊层模块，经过M个c维的情绪胶囊的处理，计算M个情绪胶囊的长度，为了确保第j个情绪胶囊输出的长度介于0和1之间，引入了一个非线性函数“squashing”用于第j个情绪胶囊的输出s_j。此步骤可以表述为：

式(6)中，v_j表示归一化之后的第j个情绪胶囊输出，其情绪胶囊的长度代表该情绪存在的可能性并将其用于损失计算，第j个情绪胶囊的损失

表述为：

式(7)中，

表示第j个情绪胶囊的损失，T_j(j＝1,...,n)表示第j类情绪类别，||v_j||表示第j个情绪胶囊的长度即第j类情绪标签存在的可能性，m⁺和m^-表示针对假阳性和假阴性情况存在时设置的参数，λ是调整各类情绪标签占比的参数。如果第j类情绪存在T_j＝1，否则T_j＝0，使用m⁺和m^-惩罚假阳性和假阴性。为了允许多种情绪，对于每个情感胶囊我们使用单独的保证金损失

设置m⁺＝0.9并且m^-＝0.1。换句话说，如果有第j类情绪，则T_j必须不小于0.9，否则T_j不大于0.1。使用λ＝0.5调整缺少的情绪类别的损失百分比。所有的情绪胶囊的损失求和得到了L_m作为胶囊网络的分类损失：

式(8)中，L_m表示总的情绪胶囊的损失并用作胶囊网络的分类损失，输出可能性最大的类别为伪标签Y′＝[Y′₁,Y′₂,...,Y′_i,...,Y′_N]∈R^M×N，其中，Y′_i表示第i个脑电信号样本X_i对应的伪标签；

步骤3、联合优化框架的训练：

步骤3.1、使用到了提出的联合优化策略来解决在标签噪声下的情绪分类问题如图2所示，假设网络在相同学习率下与干净的标签相比将难以适应带噪声的标签。换句话说，对于带噪声的标签损失较高，而对于干净的标签则较低。在此假设下，通过向减少损失的方向更新标签以达到解决标签噪声的问题在理论上是可行的，如下：

利用式(10)构建总的损失函数L：

L(θ,Y|X)＝L_m(θ,Y|X)+αL_p(θ|X)+βL_e(θ|X) (10)

式(10)中，L_m是分类损失，L_p和L_e是两个正则化损失，α和β是两个超参数，θ为网络参数；

为了防止对于任何X_i(i＝1,...,N)，标签Y_i(i＝1,...,N)总是被预测为不变的同一类标签从而得到不可靠的全局最优解，我们引入了KL散度从s_j到标签的先验概率分布p_j(j＝1,...,n)作为正则化损失L_p：

式(11)和式(12)中，p_j是先验概率分布，即所有训练数据中的类别分布。如果该类的先验分布是已知的，更新后的标签应该遵循相同分布。由于很难获得脑电情绪识别中的先验类别分布，因此通过计算每个小批量B获得训练数据中的平均概率

当α＝β＝0时，网络参数θ和标签Y为在局部最优中，引入一个熵项集中每个伪标签的概率分布解决上述问题：

步骤3.2、定义当前迭代次数为t，最大迭代次数为Tmax；并初始化t＝1；

将伪标签Y′＝[Y′₁,Y′₂,...,Y′_i,...,Y′_N]∈R^M×N作为第t次迭代的伪标签

将网络参数θ作为第t次迭代的网络参数θ_t；

步骤3.3固定第t次迭代的伪标签，通过第t次计算损失函数L并按照梯度下降的方向优化第t次迭代的网络参数θ_t，得到第t+1次迭代的网络参数θ_t+1；

步骤3.4、固定第t+1次迭代的网络参数θ_t+1，并利用式(2)更新第t次迭代的伪标签，得到第t+1次迭代的伪标签

式(14)中，s(θ_t+1,X_i)是第t次迭代第i个脑电信号样本X_i对应的类别标签存在的概率，它是由胶囊网络模型的情绪胶囊的长度计算得到；

步骤3.5、将t+1赋值给t后，判断t>Tmax是否成立，若成立，则表示得到训练后的胶囊网络模型，并用于实现脑电情绪的识别；否则返回步骤3.3。

具体实施中，联合优化框架下的胶囊网络模型JO-CapsNet与支持向量机(SVM)、多层感知器(MLP)和决策树(DT)，以及多个深度学习模型在不同噪声比例下进行对比，将测试集的平均识别精度作为评价指标，当识别精度越高，模型的识别能力越好。32名受试者十次平均识别精度如下表：

表1.DEAP数据库上不同噪声比例下不同方法对两种情绪的平均识别结果

32名受试者在噪声比例为30％情况下的十折交叉验证结果如图5和图6所示。结果分析：

表1实验结果表明，与传统方法SVM、MLP和DT相比，联合优化框架下的胶囊网络模型，JO-CapsNet在两种情绪维度(效价和唤醒度)的识别精度都有提升。与相同比例的噪声标签的深度学习模型conti-CNN、CNN-RNN、DGCNN和原始Capsnet相比，JO-CapsNet也提升了识别结果，验证了联合优化框架下的胶囊网络模型充分利用EEG信号相关信息，大体上纠正了带噪声标签增强了模型的识别结果。此外，从图5和图6中可以发现，JO-CapsNet模型在不同比例的噪声标签下对32名受试者的识别效果均良好，对不同受试者有良好的泛化能力。

综上所述，本发明充分利用EEG原始信号所含有的相关信息，使用胶囊网络与联合优化框架，交替更新优化网络参数和伪标签，两者相互促进，能够起到校正带噪标签，提升分类精度的作用，提高了在标签噪声下的公开数据集DEAP中两种情绪的识别精度。

本发明提出的结合联合优化策略的胶囊网络模型(JO-CapsNet)，在公共数据集DEAP上达到很好的识别结果，且在所有受试者上的识别结果更加稳定。

Claims (1)

1.一种标签噪声下的脑电信号情绪识别方法，其特征是按如下步骤进行：

步骤1、获取任一受试者A的带有M种情绪标签的脑电信号数据并进行去基线和样本分割处理，从而得到受试者A的N个脑电信号样本，记为X＝{X₁,X₂,...,X_i,...,X_N}，其中，X_i∈R^m×P表示第i个脑电信号样本，m表示脑电信号的通道数，P表示采样点数，i＝1,2,…,N；N是样本数量；

对N个脑电信号样本X的情绪标签引入一定比例的噪声后形成新的一组情绪标签Y＝{Y₁,Y₂,...,Y_i,...,Y_N}，其中，Y_i∈R^M×1表示第i个脑电信号样本X_i对应的情绪标签；M表示情绪类别数；

步骤2、建立基于联合优化框架的胶囊网络模型，所述胶囊网络模型由卷积层模块、初级胶囊层模块和情绪胶囊层模块组成；其中，所述卷积层模块包含k个步长为L₁的a×a卷积核和ReLU激活函数，所述初级胶囊层模块包含由步长为L₂的a×a卷积核单元所组成的d通道的b维初级胶囊，所述情绪胶囊层模块包含M个c维的情绪胶囊；

步骤2.1、将所述N个脑电信号样本X及其情绪标签Y输入所述胶囊网络模型中，所述N个脑电信号样本X经过所述卷积层模块的采样处理，将采样点数P转换为局部特征图的值，并输出k个局部特征图；

步骤2.2、将k个局部特征图输入到初级胶囊层模块，经过所述初级胶囊层模块的分组处理，将k个局部特征图分组为d×b维卷积胶囊，并输出低级情绪特征，通过动态路由协议机制对所述低级情绪特征进行加权求和处理，得到预测向量；

步骤2.3、将所述预测向量输入情绪胶囊层模块，经过M个c维的情绪胶囊的处理，计算出M个情绪胶囊的长度，并输出可能性最大的类别标签作为伪标签Y′＝[Y′₁,Y′₂,...,Y′_i,...,Y′_N]∈R^M×N，其中，Y′_i表示第i个脑电信号样本X_i对应的伪标签；每个情绪胶囊的长度代表相应情绪存在的可能性；

步骤3、联合优化框架的训练：

步骤3.1、利用式(1)构建总的损失函数L：

L(θ,Y′|X)＝L_m(θ,Y′|X)+αL_p(θ|X)+βL_e(θ|X) (1)

式(1)中，L_m是分类损失，L_p和L_e是两个正则化损失，α和β是两个超参数，θ为网络参数；

步骤3.2、定义当前迭代次数为t，最大迭代次数为Tmax；并初始化t＝1；

将伪标签Y′＝[Y′₁,Y′₂,...,Y′_i,...,Y′_N]∈R^M×N作为第t次迭代的伪标签

将网络参数θ作为第t次迭代的网络参数θ_t；

步骤3.3固定第t次迭代的伪标签，通过第t次计算损失函数L并按照梯度下降的方向优化第t次迭代的网络参数θ_t，得到第t+1次迭代的网络参数θ_t+1；

步骤3.4、固定第t+1次迭代的网络参数θ_t+1，并利用式(2)更新第t次迭代的伪标签，得到第t+1次迭代的伪标签

Y_i′^(t+1)＝s(θ_t+1,X_i) (2)

式(2)中，s(θ_t+1,X_i)是第t次迭代第i个脑电信号样本X_i对应的类别标签存在的概率，并由胶囊网络模型的情绪胶囊的长度计算得到；

步骤3.5、将t+1赋值给t后，判断t>Tmax是否成立，若成立，则表示得到训练后的胶囊网络模型，并用于实现脑电情绪的识别；否则返回步骤3.3。

Images