CN113673434A - 一种基于高效卷积神经网络和对比学习的脑电情绪识别方法 - Google Patents

Abstract

本发明公开了一种基于高效卷积神经网络和对比学习的脑电情绪识别方法，其步骤包括：1，建立一种适应于脑电信号的高效卷积神经网络模型；2，建立基于监督对比损失和交叉熵损失的混合损失函数；3，在公开脑电情绪数据集上采用十折交叉方法训练建立的混合损失的卷积神经网络模型；4，利用建立好的网络模型实现脑电情绪分类任务。本发明能够实现高精度情绪识别，从而能提高识别率。

Description

一种基于高效卷积神经网络和对比学习的脑电情绪识别方法

技术领域

本发明涉及情感计算领域，具体的说是一种基于高效卷积神经网络和对比学习的脑电情绪识别方法。

背景技术

情绪是人对客观事物的态度体验及相应的行为反应，在人类社会和生活中扮演者有不可或缺的地位。情绪识别是理解和提取人类当前心里状态或思维方式的过程。随着人工智能技术的进步，情绪识别已经成为神经科学、计算机科学、认知科学和医学研究领域中非常重要的一个环节。近几年涌现出许多研究情绪识别的方法，例如面部表情、身体运动和手势等，但是这些通过人类表面运动的变化并不能够真实的反应一个人真正的情绪，而脑电信号(Electroencephalogram,EEG)是不能够通过人为因素改变的，脑电信号最具有真实性，最能够准确的显示一个人的情绪，所以从自发的脑电信号中提取原始情绪具有重要意义。EEG情绪识别算法主要分为两类：传统算法和基于深度学习的算法。

传统基于EEG信号的情绪识别的算法中，通常是先从EEG信号中设计提取特征，再将提取得到的特征训练分类器进行识别任务。所以选择什么样的特征进行情绪识别非常关键，这些特征主要是从时域、频域或信息熵等方面提取单一的脑电特征，因此导致了最终的识别效果并不理想。

近年来，基于深度学习的脑电情绪识别方法引起广泛关注，人们采用各种深度学习网络作为分类器应用于从EEG信号提取得到的特征。除此之外，也有人将深度学习网络直接用于原始EEG信号中，将特征提取与分类同时进行，从而实现端到端的情绪识别研究。一般的深度学习网络使用多层卷积池化操作的原因，导致所携带的网络参数量非常大，由于大量的数据导致计算量增大，使得网络训练速度缓慢，深度学习所以成本很高，并且现在很多应用还不适合在便携式设备上使用。

发明内容

本发明为克服现有技术的不足之处，提出一种基于卷积神经网络和对比学习的脑电信号情绪识别方法，以期能够实现高精度情绪识别，从而能提高识别率。

本发明为达到上述发明目的，采用如下技术方案：

本发明一种基于高效卷积神经网络和对比学习的脑电情绪识别方法的特点是按如下步骤进行：

步骤1、获取任一受试者A的带有P种情绪标签的脑电信号数据并进行去基线和样本分割处理的预处理操作，从而得到受试者A的N个脑电数据样本，记为Y＝{y₁,y₂,…,y_i,…,y_N}其中，y_i∈R^m×n表示第i个脑电信号样本，m表示脑电信号的通道数，n表示采样点数，i＝1,2,…,N；

步骤2、建立由特征提取模型f_θ(·)和分类器模型c(·)组成的高效卷积神经网络结构；以及由所述特征提取模型f_θ(·)和投影模型g(·)组成的特征映射网络结构；

步骤2.1、所述特征提取模型f_θ(·)包括：标准卷积模块、block模块、池化层、标准化层、降维层和全连接层；

所述标准卷积模块包括：一个卷积核大小为k×k，步长为s，填充为p的卷积层、一个标准化层和一个ReLU激活函数层；

所述block模块包括：具有相同的结构r个block结构，其中，每个block结构包括四层卷积结构、四个标准化层和四个LeakyReLU的激活函数层，且每层卷积结构依次与一个标准化层和一个LeakyReLU的激活函数层相连；

第一层卷积结构是由一个卷积核大小为k₁×k₂，步长为s₁，填充为p₁的结构组成；第二层卷积结构是由一个卷积核大小为k₃×k₄，步长为s₂，填充为p₂和一个最大池化层的结构组成；第三层卷积结构是由一个卷积核大小k₅×k₆，步长为s₃，填充为p₃的结构组成；第四层卷积结构是由一个卷积核大小为k₇×k₈，步长为s₄，填充为p₄的结构组成；

所述降维层是将经过block层的三维样本特征拉直成具有a个节点数的一维特征；

所述全连接层是将具有a个节点数的一维特征压缩成具有b个节点数的一维特征，其中b≤a；

步骤2.2、所述分类器模型c(·)为一个全连接层，是将具有b个节点数的一维特征压缩成具有2个节点数的一维样本特征，其中，输出的一维样本特征作为两种情绪状态的概率值；利用所述分类器模型c(·)得到的一维样本特征和对应样本标签计算交叉熵损失函数L_c；

步骤2.3、所述投影模型g(·)为一个全连接层，是将具有b个节点数的一维特征压缩成具有c个节点数的一维样本特征，其中c≤b；利用所述投影模型g(·)得到的一维样本特征和对应样本标签计算对比损失函数L_s；

步骤2.4、利用交叉熵损失L_c和对比损失L_s构建混合损失L；

步骤3、联合优化框架的训练：

步骤3.1、利用式(1)构建交叉熵损失函数L_c：

式(1)中，

是第i个脑电信号样本y_i所对应的标签经过1-hot编码器得到的二值化数值，

是第i个脑电信号样本y_i经过高效卷积神经网络结构后输出的特征；

步骤3.2、利用式(2)构建对比损失函数L_s：

式(2)中，Y′是N个脑电数据样本Y经过特征提取模型f_θ(·)后输出的样本特征向量，且Y′＝{p(y_a)+q(y_b)}，p(y_a)是与第i个脑电信号样本y_i具有相同标签的样本集合，并作为正样本集；q(y_b)是与第i个脑电信号样本y_i具有不同标签的样本集合，并作为负样本集；H(y_i)是所述正样本集中的样本数量；y_i·y_m是度量第i个脑电信号样本y_i和第m个脑电信号样本y_m之间的余弦相似性，且

T是转置，τ是控制训练过程中负样本作用的参数；

步骤3.3、利用式(3)构建混合损失函数L：

L＝λL_c+(1-λ)L_s (3)

式(3)中，λ是正则化参数，指两个损失函数的正则化权重；

步骤3.4、基于N个脑电数据样本Y对所述高效卷积神经网络结构和特征映射网络结构进行训练，采用AdamW优化器对所述混合损失函数L进行最小化求解，从而对网络结构中的所有参数进行优化，并得到最优识别网络模型，用于实现对脑电情绪的识别。

与已有技术相比，本发明的有益效果体现在：

1、本发明利用深度可分离卷积操作替换标准卷积操作，使得整个模型能够显著降低网络计算的负担，解决了数据压缩的问题。

2、本发明提出了一种高效卷积神经网络结构能够很好的提取脑电情绪样本的特征，此网络结构在保证识别精度基本不变的情况下，同时实现携带的网络参数和占用的内存更少，使得整个模型训练和测试过程更加迅速，花费时间更少，效率更高，运行时间更短，可以在经济高效的硬件上运行，从更加容易集成到便携式设备。

3、本发明将自我监督的批对比方法扩展到完全监督的领域，这样能够有效地利用样本标签信息，使用多个相同标签的正样本适应对比学习的全监督设置。在提取样本表示特征之后将其嵌入到单位球面空间中，利用对比损失函数将属于同一类的样本点簇拉到一起，同时将来自不同类的样本簇分开，使得在表示空间应用对比损失将不同类的样本相互分离，最终实现高准确率的脑电情绪识别。

4、本发明提出了一种基于交叉熵损失函数和对比损失函数的混合损失函数，利用混合损失函数训练的神经网络模型优于使用相同结构的单一损失，提高了网络模型的泛化能力以及识别准确性。

附图说明

图1为本发明方法流程示意图；

图2为本发明一种基于高效卷积神经网络和对比学习的脑电情绪识别方法的结构图；

图3为本发明卷积神经网络结构中特征提取模型的结构图；

图4为本发明特征表示模型中block层结构图；

图5为DEAP数据库中效价维度上32名受试者的平均识别精度图；

图6为DEAP数据库中唤醒度维度上32名受试者的平均识别精度图。

具体实施方式

本实施例中，一种基于高效卷积神经网络和对比学习的脑电情绪识别方法，首先对脑电样本进行去基线和样本分割，然后利用特征提取模型对预处理好的脑电样本进行提取特征向量，最后利用并行的分类器模型和投影模型对脑电特征向量进一步处理；分类器模型最终得到节点数为2的特征向量，表示模型对样本的分类结果，以及与样本标签共同计算交叉熵损失；投影模型最终得到节点数为c特征向量，利用此特征向量和样本标签计算对比损失；如图1所示，具体的说，该方法是按照如下步骤进行：

步骤1、获取任一受试者A的带有P种情绪标签的脑电信号数据进行去基线和样本分割处理的预处理操作，从而得到受试者A的N个脑电信号样本，记为Y＝{y₁,y₂,...,y_i,...,y_N}，其中y_i∈R^m×n表示第i个脑电信号样本，m表示脑电信号的通道数，n表示采样点数，i＝1,2,…,N；本实例中使用的是公开数据库DEAP中脑电数据做训练和测试，数据集包含了32名受试者，分别观看了40段一分钟的视频后采集的脑电信号，每位受试者一次trial采集的脑电信号Y∈R^32×8064,其中前3s的数据是基线数据，标签是由受试者一次trial后的评分，包含了两种情绪维度Arousal和Valence，每种情绪分为两类high和low；

对每个受试者的40段脑电信号进行预处理，包括：

假定一次trial的原始EEG信号为Y∈R^m×n，m是脑电信号的通道数，n是采样点数，其中基线信号是y_i∈R^m×L,i＝1,2,...,s.在DEAP数据集中，每位受试者的基线时长s＝3。

去基线：计算1s的平均基线数据如式(1)所示：

式(1)中，

表示第i个脑电信号样本对应的1s的平均基线数据，y_i表示第i个脑电信号样本。

为了减小静息状态脑电的干扰，使用平均基线数据对脑电信号做去基线预处理如式(2)所示：

式(2)中，y′_j表示第j个脑电信号样本去除基线信号后的数据，y_j表示第j个脑电信号样本。

样本分割：为了扩大样本数量，将一位受试者60s的脑电信号用3s的滑动窗分割，相应的样本标签也随之增加，最终每位受试者的脑电样本。实验采用十折交叉验证方法，随机选择90％的样本作为训练集，剩余10％样本作为测试集，在测试集上进行十次实验后的平均识别率作为最终识别精度。

步骤2、如图2所示，建立由特征提取模型f_θ(·)和分类器模型c(·)组成的高效卷积神经网络结构；以及由特征提取模型f_θ(·)和投影模型g(·)组成的特征映射网络结构；本发明的联合优化框架包含三个部分：特征提取模型、投影模型和分类器模型。如图3所示，特征提取模型由标准卷积模块、block模块、池化层、降维层、全连接层组成；分类器模型由一个线性全连接层组成，生成具有节点数为2的特征向量；投影模型由一个线性全连接层组成，具有节点数为128的特征向量；

步骤2.1、特征提取模型f_θ(·)包括：标准卷积模块、block模块、池化层、标准化层、降维层和全连接层；

标准卷积模块包括：一个卷积核大小为k×k＝3×3，步长为s＝1，填充为p＝0的卷积层、一个标准化层和一个ReLU激活函数层，此模块的作用是对脑电样本进行不同维度的采样，得到丰富的脑电样本特征；

block模块包括：具有相同结构的三个block结构，记为block₁、block₂、block₃；如图4所示，其中每个block包括四层卷积结构、四个标准化层和四个LeakyReLU的激活函数层，且每层卷积结构依次与一个标准化层和一个LeakyReLU的激活函数层相连；

第一个卷积结构由一个卷积核大小k₁×k₂＝1×1，步长为s₁＝1，行列填充都为p₁＝1的结构组成，此步不改变数据大小，目的是得到新的样本的特征映射；第二个卷积结构由一个卷积核大小为k₃×k₄＝1×3，步长为s₂＝1，在行填充为0，在列填充为1的卷积和一个最大池化层结构的结构组成、第三个卷积结构由一个卷积核大小k₅×k₆＝3×1，步长为s₃＝1，在行填充为1，在列填充为0的结构组成；第四层卷积结构由一个卷积核大小为k₇×k₈＝1×2，步长为s₄＝1，填充为p₄＝0的结构组成；block层的作用是利用深度可分离卷操作积替换标准卷积操作，不仅能够实现减少网络层的参数量和计算量，同时实现更高的分类准确性；

为了有效说明本发明所提出的block结构的高效性，如表1所示与标准卷积结构进行比较，表中比较了两个结构的参数量和模型的复杂度，由表显示，标准卷积模块的参数量为本发明卷积模块参数量的3.54倍，模型的复杂度为2.13倍；

表1本发明提出的block结构与标准卷积结构比较

表1中FLOPs是floatingpoint operations的缩写(s表复数)，意指浮点运算数，理解为计算量，可以用来衡量算法/模型的复杂度，数值越大表明模型越复杂；BN为标准化；DW代表深度可分离卷积；mp为最大池化；

降维层是将经过block层的三维特征样本拉直成具有a＝32768个节点数的一维特征；

全连接层是将经过具有a＝32768个节点数的一维特征压缩成具有b＝128个节点数的一维特征；

步骤2.2、分类器模型c(·)为一个与情绪分类数量一样多的隐藏单元构成线性全连接层，是利用线性全连接层将特征提取模型的输出具有b＝128个节点数的一维特征压缩成具有2个节点数的一维特征，其中，分类器模型输出的一维样本特征作为两种情绪状态的概率值，用于实现分类结果；同时利用分类器模型c(·)得到的一维样本特征以及和将样本标签经过一个热编码器得到标签的二值化向量，两者共同计算交叉熵损失L_c；

步骤2.3、投影模型g(·)为一个全连接层，是将特征提取模型的输出具有b＝128个节点数的一维向量压缩成具有c＝64个节点数的一维样本特征；利用投影模型g(·)得到的一维样本特征和对应样本标签计算对比损失L_s；对比损失的构建是基于正负样本之间的区别，本发明根据样本的标签来构建正对和负对样本，由于所面对的是二分类问题，所以选择正负样本是根据投影模型随机选取的。首先利用特征提取模型将样本y_i映射到特征表示向量h_i，这里

再利用投影模型将特征表示向量h_i线性映射到具有较低维度的空间中，即

D_g＜＜D_f；最后将投影模型输出的特征表示向量标准化到单位超球面上，利用对比损失来测量投影空间中各样本之间的距离，同时通过优化整个模型的参数将正负样本之间的距离尽可能的拉大；

步骤2.4、利用交叉熵损失L_c和对比损失L_s构建混合损失L；

步骤3、联合优化框架的训练：

步骤3.1、分类器模型使用节点数为b＝128的特征表示向量作为输入，并输出属于每个样本的概率，同时使用一个热编码器将样本标签二值化，利用分类器模型输出的样本概率与样本真实标签计算交叉熵损失，利用式(3)构建交叉熵损失函数L_c：

式(3)中，

是第i个脑电信号样本y_i对应标签经过1-hot编码器得到的二值化数值，而

是第i个脑电信号样本y_i经过高效卷积神经网络结构后输出的特征；

步骤3.2、投影模型将特征提取模型输出的节点数为128的表征向量作为输入，将表征向量进一步映射到低维空间中以此来计算对比损失，利用式(4)构建对比损失函数L_s：

式(4)中，Y′是指N个脑电样本Y经过特征提取模型f_θ(·)后输出的样本特征向量，且Y′＝{p(y_a)+q(y_b)}，p(y_a)是指与第i个脑电信号样本y_i具有相同标签的样本的集合，定义为正样本集；q(y_b)是指与第i个脑电信号样本y_i具有不同标签的样本的集合，定义为负样本集；H(y_i)是指正样本集中样本的数量；y_i·y_m是度量样本y_i和样本y_m之间的余弦相似性，其

T是转置，τ是控制训练过程中负样本作用的参数；

步骤3.3、利用式(5)构建对比损失和交叉熵损失的混合损失函数L：

L＝λL_s+(1-λ)L_c, (5)

式(5)中，L_s是指对比损失，L_c是指交叉熵损失，λ为正则化参数，指交叉熵损失和对比损失两个损失所占的正则化权重；

步骤3.4、基于N个脑电数据样本Y对高效卷积神经网络结构和特征映射网络结构进行训练，本发明采用AdamW优化器，AdamW优化器利用权重衰减与L2正则化有效的解决了网络收敛速度和参数过拟合等问题，将特征提取模型、分类器模型和投影模型中所涉及到的所有参数都利用AdamW优化器进行参数优化，对混合损失函数L进行最小化求解，从而对网络结构中的所有参数进行优化，并得到最优识别网络模型，用于实现对脑电情绪的识别。

步骤3.5、使用提出的联合优化策略来解决脑电情绪分类问题如图1所示，建立混合损失函数L，通过向损失减小的方向更新网络参数以达到高分类准确性证明是可行的；

具体实施中，联合优化框架下的网络模型，给交叉熵损失和对比损失不同的正则化权重进行对比，将测试集的平均识别精度作为评价指标，当识别精度越高，说明模型的识别能力越好，实验证明混合损失的正则化参数λ＝0.5的时候可以达到最佳效果，这表明，通过交叉熵损失和对比损失的相等贡献的时候可以获得更高的精度，并且当这两个损失函数互补时，模型对脑电情绪识别的效果最好。

表2.DEAP数据库上不同模型两种情绪的平均识别结果

方法	Vanlance	Arousal
			SVM	88.65±6.08	89.07±5.79
3DCNN	90.24±4.02	89.45±3.34
			DGCNN	92.55±3.57	93.50±3.30
OURS	98.35±1.27	98.50±1.20

由表2可知，本发明表明，将这种组合损失应用到所提出的高效卷积神经网络模型中能够提高模型的泛化能力以及能够达到最佳的识别精度。

32名受试者的十折交叉验证结果如图5和图6所示。结果分析：

实验结果表明，传统方法SVM和深度学习方法3DCNN与DGCNN相比，本发明提出的基于高效卷积神经网络模型和对比学习的脑电情绪识别方法在两种情绪维度(效价和唤醒度)的识别精度都有明显的提升，验证了对比学习方法能够将具有不同标签的样本在单位空间中相互分离，相同标签的样本之间在单位空间中相互靠近，从而增强了模型的识别结果。此外，从图5，6中可以发现，本发明提出的脑电情绪识别方法对32名受试者的识别效果均最佳，更小的标准差表明了该模型的稳定性更好，对不同受试者有更好的泛化能力。

综上所述，本发明充分利用EEG原始信号所包含的相关信息，使用本发明所提出的组合网络模型与联合优化框架，能够达到卷积神经网络模型在公共数据集DEAP中top-1的识别准确率，且在所有受试者上的识别效果更加稳定。

Claims (1)

1.一种基于高效卷积神经网络和对比学习的脑电情绪识别方法，其特征是按如下步骤进行：

步骤1、获取任一受试者A的带有P种情绪标签的脑电信号数据并进行去基线和样本分割处理的预处理操作，从而得到受试者A的N个脑电数据样本，记为Y＝{y₁,y₂,…,y_i,…,y_N}其中，y_i∈R^m×n表示第i个脑电信号样本，m表示脑电信号的通道数，n表示采样点数，i＝1,2,…,N；

步骤2、建立由特征提取模型f_θ(·)和分类器模型c(·)组成的高效卷积神经网络结构；以及由所述特征提取模型f_θ(·)和投影模型g(·)组成的特征映射网络结构；

步骤2.1、所述特征提取模型f_θ(·)包括：标准卷积模块、block模块、池化层、标准化层、降维层和全连接层；

所述标准卷积模块包括：一个卷积核大小为k×k，步长为s，填充为p的卷积层、一个标准化层和一个ReLU激活函数层；

所述block模块包括：具有相同的结构r个block结构，其中，每个block结构包括四层卷积结构、四个标准化层和四个LeakyReLU的激活函数层，且每层卷积结构依次与一个标准化层和一个LeakyReLU的激活函数层相连；

第一层卷积结构是由一个卷积核大小为k₁×k₂，步长为s₁，填充为p₁的结构组成；第二层卷积结构是由一个卷积核大小为k₃×k₄，步长为s₂，填充为p₂和一个最大池化层的结构组成；第三层卷积结构是由一个卷积核大小k₅×k₆，步长为s₃，填充为p₃的结构组成；第四层卷积结构是由一个卷积核大小为k₇×k₈，步长为s₄，填充为p₄的结构组成；

所述降维层是将经过block层的三维样本特征拉直成具有a个节点数的一维特征；

所述全连接层是将具有a个节点数的一维特征压缩成具有b个节点数的一维特征，其中b≤a；

步骤2.2、所述分类器模型c(·)为一个全连接层，是将具有b个节点数的一维特征压缩成具有2个节点数的一维样本特征，其中，输出的一维样本特征作为两种情绪状态的概率值；利用所述分类器模型c(·)得到的一维样本特征和对应样本标签计算交叉熵损失函数L_c；

步骤2.3、所述投影模型g(·)为一个全连接层，是将具有b个节点数的一维特征压缩成具有c个节点数的一维样本特征，其中c≤b；利用所述投影模型g(·)得到的一维样本特征和对应样本标签计算对比损失函数L_s；

步骤2.4、利用交叉熵损失L_c和对比损失L_s构建混合损失L；

步骤3、联合优化框架的训练：

步骤3.1、利用式(1)构建交叉熵损失函数L_c：

式(1)中，

是第i个脑电信号样本y_i所对应的标签经过1-hot编码器得到的二值化数值，

是第i个脑电信号样本y_i经过高效卷积神经网络结构后输出的特征；

步骤3.2、利用式(2)构建对比损失函数L_s：

式(2)中，Y′是N个脑电数据样本Y经过特征提取模型f_θ(·)后输出的样本特征向量，且Y′＝{p(y_a)+q(y_b)}，p(y_a)是与第i个脑电信号样本y_i具有相同标签的样本集合，并作为正样本集；q(y_b)是与第i个脑电信号样本y_i具有不同标签的样本集合，并作为负样本集；H(y_i)是所述正样本集中的样本数量；y_i·y_m是度量第i个脑电信号样本y_i和第m个脑电信号样本y_m之间的余弦相似性，且

T是转置，τ是控制训练过程中负样本作用的参数；

步骤3.3、利用式(3)构建混合损失函数L：

L＝λL_c+(1-λ)L_s (3)

式(3)中，λ是正则化参数，指两个损失函数的正则化权重；

步骤3.4、基于N个脑电数据样本Y对所述高效卷积神经网络结构和特征映射网络结构进行训练，采用AdamW优化器对所述混合损失函数L进行最小化求解，从而对网络结构中的所有参数进行优化，并得到最优识别网络模型，用于实现对脑电情绪的识别。

Images