CN114504331A

CN114504331A - 一种融合cnn和lstm的情绪识别分类方法

Info

Publication number: CN114504331A
Application number: CN202210181953.7A
Authority: CN
Inventors: 王丹; 陈玉霞
Original assignee: Beijing University of Technology
Current assignee: Beijing University of Technology
Priority date: 2022-02-25
Filing date: 2022-02-25
Publication date: 2022-05-17

Abstract

本发明针对机器学习方法分类准确率低以及脑电信号非线性的特点，提出一种融合CNN和LSTM的情绪识别分类方法。该方法使用CNN从脑电信号输入矩阵中学习频率和空间信息，使用LSTM从CNN的输出矩阵中提取脑电信号的时间依赖性，LSTM的最后一个节点的输出执行三分类，通过在最后一个卷积层后添加通道注意力机制的方式对上述方法进行改进。所述方法包括：脑电信号的采集、脑电信号的预处理、计算微分熵特征、特征平滑、将微分熵特征转换为带有62通道空间信息的4维特征、定义CNN‑LSTM模型结构。本发明从集成脑电信号频率、空间和时间三维信息的角度出发，能够简化模型并提高情绪识别的效率和准确率。

Description

一种融合CNN和LSTM的情绪识别分类方法

技术领域

本发明属于脑电信号情绪识别技术领域，是一种融合卷积神经网络(CNN)和长短时记忆(LSTM)的情绪识别分类方法。相比于传统的机器学习分类算法如支持向量机(SVM)、K近邻(KNN)、逻辑回归(LR)、随机森林和深度学习方法如CNN，该方法重点解决以上方法分类准确率低和难以融合脑电信号空间信息的问题。该方法集成了脑电信号的频率、空间和时间的三维信息，在上海交大情感脑电数据集(SEED)上取得了良好的分类准确率。

背景技术

情绪与人类的日常生活息息相关，因为人是感性的，其行为举止、推理判断等都很难避免内心情绪的影响，情绪是人对外界事物产生的心理和生理反应，它是人的感受、思想和行为的综合状态。准确的识别情绪无论在理论上还是在现实应用中都具有非常重要的意义，如在交通运输方面，对于司机的情绪识别和监测可以防止司机在极端情绪下驾驶造成的安全隐患；在医疗护理方面，通过开发情绪识别技术，可以有效地帮助精神病医生诊断和预防病患的各种情绪问题，例如抑郁症、焦虑症和创伤后应激障碍等；在军事领域也可以帮助指挥官实时了解战士的精神状态。

近年来，随着人工智能的发展也为基于脑电信号的情绪识别研究提供了可靠的技术手段，例如，可以通过脑电采集设备对人大脑皮层神经元放电现象进行采集生成脑电信号图，可以使用多种机器学习方法对采集到的脑电信号进行分类等。目前，情绪识别已成为现代神经科学、心理学和计算机科学等领域的研究热点，也成为国内外学者们的重要研究课题，它正在逐渐发展成为一个新的跨学科研究领域。

现有技术存在以下缺点：

传统机器学习分类方法如SVM、KNN、LR、随机森林等模型分类准确率低。卷积神经网络具有自学习能力，运行速度快等优点，提高了情绪识别的处理效率，但是应用CNN识别情绪的准确率还是相对较低。原因之一是脑电采集设备采集到的脑电信号图中各个通道间的空间信息没有被没有合理利用；此外，脑电信号数据量相对较少，由此产生的过拟合几率增大也是原因之一。

发明内容

本发明的目的是针对现有技术方案的不足，提出了一种融合CNN和LSTM的情绪识别新模型。该模型集成了脑电信号的频率、空间和时间的三维信息，将原始的一维链式脑电图信号转化为二维帧序列，将一维向量映射到二维坐标系时，遵循来自物理相邻通道的信号在坐标系中仍然相邻的原则，因此变换后的脑电信号的空间信息可以保留。该模型使用CNN从脑电信号输入矩阵中学习频率和空间信息，使用LSTM从CNN的输出矩阵中提取脑电信号的时间依赖性，LSTM的最后一个节点的输出执行分类。在CNN网络中融合LSTM网络可以增加稳定性并减少振荡，可以达到更好地分类效果。

本发明为解决其技术问题所采用的技术方案包括以下步骤：

步骤1、脑电信号的采集：采用62通道电极帽采集受试者的脑电图信号，使用Neuroscan系统同步记录采样率为1000Hz的数据。

步骤2、脑电信号的预处理：为加快计算速度，对步骤1采集的脑电信号进行下采样、去除基线数据、归一化处理。

步骤3、计算微分熵特征：为了增加样本个数，将步骤2预处理后的脑电信号分成不重叠的1秒长度的脑电信号段，然后，对每个信号段用巴特沃斯滤波器将其分解为δ(1Hz-4Hz)、θ(4Hz-8Hz)、α(8Hz-14Hz)、β(14Hz-31Hz)、γ(31Hz-51Hz)五个频带，最后分别计算五个频段的微分熵特征后垂直拼接成三维矩阵。

步骤4、特征平滑：为了去除与情绪状态无关的成分，采用窗长为20秒的线性动态系统方法对特征序列进行平滑处理。

步骤5、将微分熵特征转换为带有62通道空间信息的四维结构：为了保持电极位置的空间结构信息，将62个通道的位置信息映射到一个二维图中，图中值表示通道名称，0表示未使用该通道。然后，将步骤4经过特征平滑得到的三维微分熵特征转换为带有62通道空间信息的四维特征结构。三维结构

其中代表域，m代表通道数，d代表频带数，T代表有多少个信号段。四维结构

其中代表域，h代表二维图高度，w代表二维图宽度，d代表频带数，T’代表有多少个信号段。

步骤6、定义CNN-LSTM模型结构：有研究发现，不仅时间片上多个电极的频率和空间信息对于情绪识别至关重要，而且时间片之间的上下文依赖性也是至关重要的，因此，本文融合CNN和LSTM同时提取脑电信号的频率、空间和时间域的特征。与传统CNN模型结构相比，为了减少信息丢失，我们只在模型的最后一个卷积层后添加一个池化层，然后池化层的输出被铺平输入到全连接层，然后利用LSTM从CNN的输出中提取时间信息并对输入进行分类。

与已有技术相比，本发明的有益效果体现在：

1、本发明提供了一种融合CNN和LSTM的情绪识别分类方法，相比于常规的使用卷积神经网络仅使用脑电信号的频率或空间信息进行分类，该方法集成了脑电信号的频率、空间和时间的三维信息，将原始的一维链式脑电图信号转化为二维帧序列，脑电信号的空间信息得以保留。该模型使用CNN从脑电信号输入矩阵中学习频率和空间信息，使用LSTM从CNN的输出矩阵中提取脑电信号的时间依赖性，LSTM的最后一个节点的输出执行分类。

附图说明

图1为本发明具体实施方式的流程示意图；

图2为本发明中所使用的脑电采集设备62通道对应的二维结构图；图3为本发明中将原始脑电信号转化为带有62通道空间信息的四维结构特征图；

图4为本发明的融合CNN和LSTM的模型结构图

具体实施方式

本发明实施的具体流程如附图1所示，下面对具体的实施方式做详细描述。

步骤2、脑电信号的预处理：为了加快计算速度，对步骤1采集的脑电信号进行下采样、去除基线数据、归一化处理。脑电信号进行零均值归一化后可以使所有数据在相同的数量级上，以便后续分类处理。本发明采用零均值归一化，零均值归一化也称标准差标准化，对每个被试的样本进行随机打乱操作，然后将其进行归一化处理，经过处理的数据符合标准正态分布，即均值为0，标准差为1。转化公式如下：

公式(1)中，x为原始脑电数据，

为原始脑电数据的均值，ε为原始脑电数据的标准差。

步骤3、计算微分熵特征：为了增加样本个数，将步骤2预处理后的脑电信号分成不重叠的1秒长度的脑电信号段，然后，对每个信号段用巴特沃斯滤波器将其分解为δ、θ、α、β、γ五个频带，最后分别计算五个频段的微分熵特征后垂直拼接成三维矩阵。

微分熵是香农熵在连续变量上的推广形式，如果一段特定长度的脑电信号近似服从高斯分布N(μ,σ²)，其中μ，σ(σ>0)为常数，其微分熵也可以简单的定义为如下：

公式(2)中，x是一个变量，π和e是常量，μ和σ_i(σ_i>0)为常数。

步骤4、特征平滑：为了去除与情绪状态无关的成分，采用线性动力系统对特征序列进行平滑处理。

步骤5、将微分熵特征转换为带有62通道空间信息的四维特征：为了保持电极位置的空间结构信息，将62个通道的位置信息映射到一个二维图中，图中值表示通道名称，0表示未使用该通道。然后，将步骤4经过特征平滑得到的三维微分熵特征转换为带有62通道空间信息的四维特征结构。三维结构

其中

代表域，h代表二维图高度，w代表二维图宽度，d代表频带数，T’代表有多少个信号段。结构图如附图3所示。

步骤6、定义CNN-LSTM模型结构：对于一个输入四维结构，我们通过CNN从它的每个时间切片提取频率和空间信息。与传统的CNN卷积层后面通常跟着一个池化层不同，我们只在最后一个卷积层后面加一个池化层，池化操作以信息损失为代价来减少参数量。但是，由于本发明所使用样本的二维结构太小，为了减少参数的数量，最好保留所有的信息而不是合并信息，因此，只在最后一个卷积层之后加一个池化层，然后池化层的输出被铺平输入到全连接层，然后利用LSTM从CNN的输出中提取时间信息并对输入进行分类，本发明的CNN-LSTM模型结构图如附图4所示。

实施例1：

1、脑电信号的采集：本发明选择15个时长约4分钟的中国电影剪辑，其中5个积极、5个消极、5个中性；选择15个中国受试者，男性7名，女性8名，分别采集15个被试观看15个电影片段的脑电波，每个受试者间隔一周或更长时间共参加三次实验。每次实验需要把15个电影剪辑都观看完，因此每次实验总共有15个试验。在一个剪辑中，每个剪辑之前有5秒提示，自我评估为45秒，休息后为15秒。对于反馈，要求参与者在观看完每个剪辑后立即完成问卷，以报告他们对每个剪辑的情感反应。同时采用国际10-20系统的62通道电极帽采集受试者的脑电图信号，使用Neuroscan系统同步记录采样率为1000Hz的数据。

2、脑电信号的预处理：人工去除眼电等伪迹的干扰，对实施1采集的脑电信号下采样到200Hz，去除1-3秒的基线数据，对数据进行归一化处理以便使所有数据在相同的数量级上便于后续分类处理。

3、计算微分熵特征：将实施2预处理后的脑电信号分成不重叠的1秒长度的脑电信号段，然后，对每个信号段用巴特沃斯滤波器将其分解为δ(1Hz-4Hz)、θ(4Hz-8Hz)、α(8Hz-14Hz)、β(14Hz-31Hz)、γ(31Hz-51Hz)五个频带；最后分别计算五个频段的微分熵特征后叠加成三维矩阵，期望将不同波段的互补信息组合在一起。计算公式如下：

公式(3)中，x是一个变量，π和e是常量，μ和σ_i(σ_i>0)为常数。

步骤5、将微分熵特征转换为带有62通道空间信息的四维特征：为了保持电极位置的空间结构信息，将62个通道的位置信息映射到一个二维图中，二维图宽为9，高为8，图中值表示通道名称，0表示未使用该通道，映射关系如附图2所示。然后，将步骤4经过特征平滑得到的三维微分熵特征转换为带有62通道空间信息的四维特征结构。三维结构

其中代表域，m代表通道数62，d代表频带数5，T代表有多少个信号段。四维结构

其中代表域，h代表二维图高度8，w代表二维图宽度9，d代表频带数5，T’代表有多少个信号段。

步骤6、定义CNN-LSTM模型结构：本发明模型结构包括4个卷积层，1个最大池化层和1个全连接层。具体来说，第一个卷积层有64个3*3大小的卷积核，接下来的两个卷积层分别有128个4*4和5*5大小的卷积核，第四个卷积层有64个1*1大小的卷积层，用于融合前一个卷积层的特征图。对于所有卷积层，都是用了零填充和ReLU激活函数，在卷积操作后是一个核大小为2*2，步长为2的最大池化层，以减少过拟合，提高该模型的鲁棒性。然后，池化层的输出被铺平并反馈到具有512个单元的全连接层。最后，由于脑电信号包含动态内容，4维结构中的时间切片之间的变化可能会隐藏着额外的信息，因此，我们利用带有LSTM细胞的循环神经网络(RNN)从CNN输出中提取时间信息。使用传统分类算法SVM(支持向量机)和KNN(K最近邻)对脑电信号的微分熵特征做分类的平均分类准确率分别为75.72％和71.46％，使用本发明提出的CNN-LSTM模型对脑电信号的微分熵特征做分类达到92％的分类准确率。

以上实施方式仅用于说明本发明，而并非对本发明的限制。本领域的技术人员应当理解，对本发明的技术方案进行的各种组合、修改或者等同替换，都不脱离本发明技术方案的范围，其均应涵盖在本发明的权利要求范围当中。

Claims

1.一种融合CNN和LSTM的情绪识别分类方法，其特征在于，包括如下步骤：

步骤1、脑电信号的采集：采用62通道电极帽采集受试者的脑电图信号，使用Neuroscan系统同步记录采样率为1000Hz的数据；

步骤2、脑电信号的预处理：对步骤1采集的脑电信号进行下采样、去除基线数据、归一化处理；

步骤3、计算微分熵特征；

步骤4、特征平滑：为了去除与情绪状态无关的成分，采用线性动态系统方法对特征序列进行平滑处理；

步骤5、将微分熵特征转换为带有62通道空间信息的四维结构特征；

步骤6、定义融合CNN和LSTM的模型结构：使用CNN从脑电信号输入矩阵中学习频率和空间信息，使用LSTM从CNN的输出矩阵中提取脑电信号的时间依赖性，LSTM的最后一个节点的输出执行分类。

2.根据权利要求1所述的一种融合CNN和LSTM的情绪识别分类方法，其特征在于步骤3中所述的计算微分熵特征，具体如下：

将步骤2预处理后的脑电信号分成不重叠的1秒长度的脑电信号段，然后，对每个信号段用巴特沃斯滤波器将其分解为δ(1Hz-4Hz)、θ(4Hz-8Hz)、α(8Hz-14Hz)、β(14Hz-31Hz)、γ(31Hz-51Hz)五个频带，最后分别计算五个频段的微分熵特征后垂直拼接成三维矩阵，期望将不同波段的互补信息组合在一起；由于特定长度的脑电信号近似服从高斯分布N(μ,σ²)，其中μ，σ为常数且σ>0，计算微分熵DE特征的公式可以简单的定义为如下：

公式(1)中，x是一个变量，π和e是常量，μ和σ_i为常数；σ_i>0。

3.根据权利要求1所述的一种融合CNN和LSTM的情绪识别分类方法，其特征在于步骤5中所述的将微分熵特征转换为带有62通道空间信息的四维特征，具体如下：

为了保持电极位置的空间结构信息，将62个通道的位置信息映射到一个二维图中，图中值表示通道名称，0表示未使用该通道；然后，将步骤4经过特征平滑得到的三维微分熵特征转换为带有62通道空间信息的四维特征结构；三维结构

其中代表域，m代表通道数，d代表频带数，T代表有多少个信号段；四维结构

其中代表域，h代表二维图高度，w代表二维图宽度，d代表频带数，T’代表有多少个信号段；这样，输入CNN-LSTM模型的数据中就带有了脑电信号的频率和空间信息。

4.根据权利要求1所述的一种融合CNN和LSTM的情绪识别分类方法，其特征在于步骤6中所述的定义融合CNN和LSTM的模型结构，具体如下：

对于一个输入的四维结构，通过CNN从它的每个时间切片提取频率和空间信息，只在最后一个卷积层后面加一个池化层，池化操作以信息损失为代价来减少参数量；然后池化层的输出被铺平输入到全连接层，然后利用LSTM从CNN的输出中提取时间信息并对输入进行三分类。