CN111297380A - 一种基于时空卷积核心块的情绪识别方法 - Google Patents

Abstract

本发明公开一种基于时空卷积核心块的情绪识别方法，应用于人机交互、远程教育、医疗保健等领域，针对现有技术存在的问题，本发明充分考虑EEG信号的时间维度以及空间维度特征信息，通过融合时间依赖性以及不同电极位置间的空间依赖性来增强情绪识别的准确性；具体的：首先获取DEAP情绪公开数据集并实现数据预处理，采用低通滤波器完成去噪操作，将数据输入STCB_CNN模型进行训练，训练好的模型用于情绪识别；本发明的方法能达到较高的识别精度。

Description

一种基于时空卷积核心块的情绪识别方法

技术领域

本发明属于人机交互、远程教育、医疗保健等领域，特别涉及一种情感识别技术。

背景技术

情绪是人类复杂的一种生理反应，积极情绪有助于改善人体健康和工作效率，而消极情绪可能会导致健康问题。如今，情感识别在人机交互、远程教育、医疗保健等诸多科技领域得到了广泛的应用，受到了学术界的广泛关注。

目前，有两类不同的方式来识别人类的情绪。①基于非生理数据的情绪识别，该类方法采用语音、面部表情、手势、文本等非生理信号构建分类模型来实现分类。尽管这类方法以非侵入性的方式获取数据，适合于实际应用，但是如果一个人刻意掩盖其真实的情感，这类方式则无法识别用户的真实情绪。②基于生理信号的情绪识别，包括自主神经系统(ANS)信号和中枢神经系统(CNS)信号。ANS方法主要是通过心率、皮肤电导率、呼吸等来识别情绪，然而，这些研究缺乏合理的评价标准和准确性。CNS则主要利用脑电图(EEG)信号对情绪进行分类，该信号属于大脑活动的直接反应，具有良好的时间分辨率。因此，近年来越来越多的学者开始研究基于EEG信号的情绪识别。

针对EEG信号的情绪识别根据采用的技术主要分为两类。①基于传统机器学习的方法。该类方法使用大量人工设计的特征(如信号的振幅、中位数、最大值等)，结合机器学习算法，如支持向量机(Support Vector Machine，SVM)等，构建有监督的分类或回归模型，实现不同情绪状态的分类。比如，Bhardwaj(A.Bhardwaj,A.Gupta,P Jain,etal.Classification of human emotions from EEG signals using SVM and LDAClassifiers[C].2015 2nd International Conference on Signal Processing andIntegrated Networks(SPIN),2015,pp.180-185.)等采用独立分量分析去除数据噪声并提取功率谱密度、频谱能量等特征，结合SVM和线性判别分析实现脑电信号的七种情绪分类，最终分类精度达到66.50％。②基于深度学习的脑电信号情绪识别，比如，Li(J.Li,Z.Zhang,H.He,et al.Hierarchical Convolutional Neural Networks for EEG-BasedEmotion Recognition[J].Cognitive Computation,2018,10(2):368–380.)等使用分层卷积神经网络(HCNN)来区分积极、中性和消极情绪状态，将来自不同通道EEG信号的差分熵特征组织为二维映射以训练HCNN，来提取脑电信号中的时序特征。

上述技术存在以下缺陷：

基于传统机器学习的方法，(1)高度依赖人工抽取特征的质量，在做分类任务时，系统的泛化性和迁移性较差；另外，人工提取特征任务繁琐，耗时较大；(2)在人工提取特征时，目前方法主要集中于提取EEG信号中的时间维度特征，而忽略了不同电极位置之间的空间维度信息。

基于深度学习的研究方法存在如下问题：(1)目前研究仍然是主要从EEG信号的时间维度去提取特征，与传统机器学习方法类似，其忽略了不同电极位置之间的空间维度信息；(2)许多深度学习方法，如深度信念网络(DBN)和堆叠自编码器(SAE)，处理二维数据能力较差；常规的卷积神经网络(CNN)在卷积EEG信号时，参数较多。

发明内容

为解决上述技术问题，本发明提出一种基于时空卷积核心块的情绪识别方法，基于EEG信号的时空核心块的卷积神经网络(STCB_CNN)，该模型不仅可以提取数据时间维度上的特征，同时还提取不同电极之间的空间特征，有助于提高情绪识别精度。

本发明采用的技术方案为：一种基于时空卷积核心块的情绪识别方法，包括：

S1、获取脑电信号；

S2、对步骤S1获取的脑电信号进行预处理；

S3、构建神经网络模型；

所述神经网络模型包括多个时空卷积核心块与至少一个全连接层，所述时空卷积核心块用于提取脑电信号时间维度特征与空间维度特征；所述全连接层根据时空卷积核心块输出的特征进行情绪分类；

S4、采用步骤S2处理后的数据对神经网络模型进行训练；

S5、根据步骤S4训练好的神经网络模型进行情绪识别。

步骤S2所述预处理具体为采用带通滤波器去除步骤S1所获取的脑电信号中的噪声。

步骤S3所述神经网络模型包括三个时空卷积核心块。

步骤S3所述时空卷积核心块包括六层卷积层，依次记为第一层卷积层、第二层卷积层、第三层卷积层、第四层卷积层、第五层卷积层以及第六层卷积层，前四层卷积层用于提取时间维度的特征，后两层卷积层用于提取空间维度的特征。

所述前四层卷积层采用1*3的卷积核，后两层卷积层采用3*1的卷积核。

步骤S3所述神经网络模型包括2个全连接层。

步骤S3所述全连接层采用softmax实现情绪的分类。

本发明的有益效果：与现有技术相比，本发明考虑了采用多个时空核心块融合了EEG信号时间维度特征和电极间空间位置信息对情绪识别的影响，实验采用公开数据集DEAP中的32通道的脑电信号进行验证，多用户交叉分类精度效价和唤醒识别准确率分别达到87.56％、88.61％，远高于传统机器学习背景技术方案的69.10％、71.99％和深度学习背景技术方案的76.83％、75.92％。另外，针对于单用户的分类精度效价和唤醒识别准确率如图3所示，同样高于背景技术方案的识别精度；

本发明的优点包括：

①采用多个时空核心块实现时间以及空间特征的提取以及融合；

②运用非对称卷积方式，可以有效减少参数，减少模型训练时间。

附图说明

图1为本发明实施例提供的EEG信号电极通道选择图；

图2为本发明实施例提供的时空卷积的EEG信号情绪识别流程图；

图3为本发明实施例提供的单用户效价觉醒情绪识别精度图。

具体实施方式

为便于本领域技术人员理解本发明的技术内容，下面结合附图1-3对本发明内容进一步阐释。

本发明技术方案首先获取DEAP情绪公开数据集并实现数据预处理，采用低通滤波器完成去噪操作，将数据输入STCB_CNN模型进行训练，训练好的模型用于情绪识别。具体步骤如下。

步骤一：数据预处理

本发明采用伦敦玛丽女王大学Koelstra等人2012年发表的DEAP公开数据集。DEAP数据集包含32个受试者(男、女各16人，年龄19～37岁之间，平均年龄26.9岁)的脑电图和32个通道的周围生理信号。电极位置如图1所示，采用32通道的biemi ActiveTwo系统，采样频率512Hz。每位受试者观看40个不同情绪倾向的音乐视频，每个视频时长约1分钟。受试者每看完一个视频后填写一份关于效价、唤醒、喜好和支配能力四个部分的自我评估量表，分值为：效价从1到9(1代表悲伤，9代表快乐)，唤醒从1到9(1代表平静，9代表兴奋)，喜好度衡量的是一个被试是否喜欢这个视频，分值从1到9(1表示不喜欢，9表示被试非常喜欢)。表1总结了DEAP数据集的主要内容。

表1 DEAP数据集描述

用户数量	32
		视频数量	40
EEG通道数量	32
		其他通道数量	8
评定量表	效价、唤醒、支配、喜欢
		评定值	1～9，其中1为最弱，9为最强
记录信号	原始信号采样频率为512HZ

本发明为了去除原信号数据在采集中如眨眼等动作带来的噪声，将信号通过一个4.0～45.0Hz的低通滤波器实现去燥，同时将信号降采样至128Hz。去噪后每条脑电图信号持续时间为63秒，并包含8064个数据点。本发明在时域内将63秒脑电图信号分割为63个1秒的时段，并将对应的数据标签进行了扩展。每个受试者40次试验脑电图epochs总数为40*63＝2520，最终每个用户数据被划分为128(数据点)*32(通道)*1*2520(epochs)。基于每个视频的情绪等级值的范围为1～9，这里将中位数5作为阈值将唤醒和效价分为两类：超过5则标签为1，表示高唤醒/效价；小于或等于5则标签为0，表示低唤醒/效价。最后得到与脑电信号相对应的1*2520维的标签数据。同时本发明随机抽取30％的EEG信号数据和对应标签作为测试数据,其余70％作为训练数据。

步骤二：特征提取

本方案的情绪识别采用基于时空核心块的卷积神经网络STCB_CNN模型结构如图2所示。

本发明引入核心块的概念，通过时间维度的卷积池化和空间维度的卷积池化两个部分来实现时空特征的融合。时间维度特征提取采用1*3的卷积核进行卷积和最大池化，空间维度特征提取采用3*1的卷积和最大池化。这种非对称卷积方式，相比于一般的卷积方式可以有效减少参数，常规的3*3卷积核一次产生9个参数，而非对称卷积一次产生2*(1*3)＝6个参数。模型首先将多个epochs的32*128的二维矩阵作为输入，经过三个时空卷积核心块进行特征提取，然后将核心块输出的特征矩阵平铺放入两个全连接层中，最终运用softmax实现情绪的分类。

STCB_CNN中每一神经单元用x_l,k,(m,n)表示，其中l代表网络的层数，k表示第k个特征集，(m,n)代表该单元所在特征集中的位置。同样，σ_l,k,(m,n)表示为一组输入神经元之间的标量积。这样x_l,k,(m,n)可以被表示为：

x_l,k,(m,n)＝f(σ_l,k,(m,n))

其中，f使用的是修正线性单元函数ReLU，该激活函数应用于神经网络各层。

卷积层中每个特征集的神经元都拥有相同的权值集合，其目的是减少权值参数的数量。它们附着在前一层神经元的一个子集上，这取决于这个神经元的位置。确切地说，神经元的权重被独立地训练到它们相应的接受域。在本发明的网络结构中，三个核心块的计算过程非常相似，因此这里介绍第一个块以及全连接层部分，每个核心块包含6层，其中前四层用于提取时间维度的特征，后两层用于提取空间维度的特征，即不同电极位置之间的特征提取。

这里层数n用L_n表示，网络结构一共包含20层，则网络信息传递过程如下：

1)第一层L₁：

其中，b_1,k,0是第一层偏置的参数，ω_1,k,i是第一层权重参数的集合，且1≤i≤A(A＝3)，A表示L₁的卷积核大小，I_m+i-1,n表示(m,n)位置神经元的原始输入值。该层设计用于在所有电极之间提取更有效的时间特征。

2)第二层L₂：

其中，b_2,k,0是第二层偏置的参数，ω_2,k,i是第二层权重参数的集合，N₁为L₁层特征集合个数，B为L₂的卷积核大小，X₁表示第一层σ₁经过ReLU激活函数后的结果。该层通过卷积进一步处理L₁提取的时间维度特征。

3)第三层L₃：

其中，b_3,k,0是第三层偏置的参数，ω_3,k,i是第三层权重参数的集合，N₂为L₂层特征集合个数，C为L₃的核大小，X₂表示第二层σ₂经过ReLU激活函数后的结果。该层基于L₂层的特征映射来提取时间依赖关系的高级信息特征。

4)第四层L₄：

σ_4,k,(m,n)＝max(x_3,k,(i,n),x_3,k,(i+1,n))

这一层没有参数，k是固定的，x_3,k,(i,n)表示第三层第k个特征集中第n行的第i个神经元，x_3,k,(i+1,n)表示对应的第i+1个神经元。池化层将特征集合的维数减少了一半，这是为了减少过度拟合。

5)第五层L₅：

其中，b_5,k,0是第五层偏置的参数，ω_5,k,i是第五层权重参数的集合，N₃为L₃层特征集合个数，D为L₅的核大小，σ₄代表第四层的输出结果。该层基于L₄层的特征映射来提取不同电极间空间依赖关系的特征。

6)第六层L₆：

σ_6,k,(m,n)＝max(x_5,k,(m,i),x_5,k,(m,i+1))

其中，x_5,k,(m,i)表示第五层第k个特征集中第n行的第i个神经元，x_5,k,(m,i+1)表示对应的第i+1个神经元。该层属于池化层，没有其他参数，实现空间维度信息的池化。

本发明模型结构第二和第三核心块(L₇-L₁₂和L₁₃-L₁₈)遵循第一核心块(L₁-L₆)相同的规则，可类似推导。

7)第十九层L₁₉：

该层属于卷积神经网络中的全连接层，其中b_19,0,n是全连接层的偏置参数，ω_19,n是第十九层的权重参数，N₁₈表示上一层特征集合的数量，E为L₁₈层的卷积核大小，X_18,i,j表示第十八层σ₁₈经过ReLU激活函数后的结果。此外，本层拥有n个神经元，与L₁₈层平铺后的所有神经单元进行全连接。

8)第二十层L₂₀：

b_20,0,n是本全连接层的偏置参数，ω_20,n是本全连接层的权重参数，N₁₉表示L₁₉层的神经元数量，X_19,i表示第十九层σ₁₉经过ReLU激活函数后的结果。这里L₁₉与L₂₀进行全连接，该层的目的是选择有效的整合时空信息后的特征用于情绪分类。

步骤三：模型训练

本发明通过softmax函数将上面提取的特征进行分类，计算公式如下：

其中，x_i代表网络最后一层第i个神经元的输出，y_i代表预测为第i个类的概率，Z代表情感的类别数，最终将概率最大的标签设置为分类结果。

本发明使用交叉熵目标函数作为损失函数来估计模型性能，损失函数如下：

其中，g_i为真实结果，y_i为预测输出结果，λ_r为L2正则化的系数，Θ表示模型中所有参数的集合，θ代表参数集中的某一个参数，并采用经典的反向传播作为学习算法来调整网络的偏置和权值从而完成模型的训练，反向传播公式如下：

其中，η为模型的学习率，J(Θ)表示模型中带有参数的函数。

本领域的普通技术人员将会意识到，这里所述的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的权利要求范围之内。

Claims (7)

1.一种基于时空卷积核心块的情绪识别方法，其特征在于，包括：

S1、获取脑电信号；

S2、对步骤S1获取的脑电信号进行预处理；

S3、构建神经网络模型；

所述神经网络模型包括多个时空卷积核心块与至少一个全连接层，所述时空卷积核心块用于提取脑电信号时间维度特征与空间维度特征；所述全连接层根据时空卷积核心块输出的特征进行情绪分类；

S4、采用步骤S2处理后的数据对神经网络模型进行训练；

S5、根据步骤S4训练好的神经网络模型进行情绪识别。

2.根据权利要求1所述的一种基于时空卷积核心块的情绪识别方法，其特征在于，步骤S2所述预处理具体为采用带通滤波器去除步骤S1所获取的脑电信号中的噪声。

3.根据权利要求2所述的一种基于时空卷积核心块的情绪识别方法，其特征在于，步骤S3所述神经网络模型包括三个时空卷积核心块。

4.根据权利要求3所述的一种基于时空卷积核心块的情绪识别方法，其特征在于，步骤S3所述时空卷积核心块包括六层卷积层，依次记为第一层卷积层、第二层卷积层、第三层卷积层、第四层卷积层、第五层卷积层以及第六层卷积层，前四层卷积层用于提取时间维度的特征，后两层卷积层用于提取空间维度的特征。

5.根据权利要求4所述的一种基于时空卷积核心块的情绪识别方法，其特征在于，所述前四层卷积层采用1*3的卷积核，后两层卷积层采用3*1的卷积核。

6.根据权利要求5所述的一种基于时空卷积核心块的情绪识别方法，其特征在于，步骤S3所述神经网络模型包括2个全连接层。

7.根据权利要求6所述的一种基于时空卷积核心块的情绪识别方法，其特征在于，步骤S3所述全连接层采用softmax实现情绪的分类。

Images