CN113288146A - 基于时-空-频联合特征的脑电情感分类方法 - Google Patents

Abstract

本发明公开了一种基于时‑空‑频联合特征的脑电情感分类方法，将不同通道的微分熵特征转换成一种四维数据结构，之后采用VGG16和长短时记忆网络相结合的深度神经网络模型进行样本的空间和时间信息学习，将LSTM最后一个节点的隐藏层输出到一个线性转换分类器中执行分类。所提方法在DEAP和SEED数据集上都达到了良好的效果，与现有方法相比，验证了时‑空‑频特征对情感识别的有效性。

Description

基于时-空-频联合特征的脑电情感分类方法

技术领域

本发明提出了一种结合脑电信号的时域、空域和频域的特征信息，将不同通道的微分熵(Differential Entropy，DE)特征转换成一种四维(4D)数据结构，采用迁移学习中的Finetune思想，结合VGG16和长短时记忆网络(Long-short term memory neuralnetwork，LSTM)相结合的深度神经网络模型进行样本的空间和时间信息学习，将LSTM最后一个节点的隐藏层输出到一个线性转换分类器中执行分类。

背景技术

情绪是有意识或无意识地感知物体或情况而触发的一种心理生理过程，通常与情绪，气质，性格倾向和动机有关。除了情绪的心理影响外，它还具有生理作用，影响决策过程。积极情绪虽然会积极影响人类健康并有效发挥作用，但消极情绪会导致健康问题。由于这些原因，情绪识别系统在机器人，电子教育，健康，市场，游戏产业，企业家精神产业，安全驾驶，社会保障等许多领域引起了关注。

基于机器学习方法的脑电信号在人类情感识别方面也引起了广泛关注，而常用在情感分类的机器学习方法有支持向量机、决策树、K近邻以及隐马尔科夫模型等。虽然也能完成分类任务，但是传统的机器学习在分类过程中一般都需要我们自己手动提取特征，因此情绪分类准确率难以提高，而且效率低下。深度学习的出现，解决了这个问题，它可以自动完成脑电信号特征提取，并对情绪进行学习分类，大大提高了脑电情绪识别的准确率。然而，对于基于深度学习的脑电表征构建来说，仍有一些挑战需要解决，其中之一就是如何提取更多有用的脑电信息来进行情感识别。

在脑电信号的频率信息上，频段与情绪类型有着密切的关系，其中θ(4–7赫兹)、α(8–13赫兹)、β(14–30赫兹)和γ(31–50赫兹)四个频段关系最为密切，也有研究表明将这四个波段组合在一起在对情绪进行分类时优于任何单个频段。在脑电信号的空间信息上，研究人员试图通过探索电极与电极之间空间位置关系，来提高情绪识别的性能。Zhang提出通过多个方向递归神经网络的方法来捕捉单个时刻电极之间的空间依赖性，证明了不同电极间是有关系的，但不足之处在于他们只扫描了四个顺序电极，无法总结所有电极之间的内在关系；Song等人提出了一种动态图卷积神经网络来探索相邻通道的更深层次的空间信息，该网络通过图像来建模多通道脑电信号；Deng等人提出了一种改进的双三次脑电插值算法和五种折叠对称策略来更大范围地提取空间特征信息。在脑电信号的时间信息上，研究人员意识到在时间切片之间的上下文依赖性也很重要。Alhagry等人将LSTM应用到脑电信号的特征提取中，然后使用密集层来完成分类，不足是只考虑到了脑电信号的时间性且时间窗设置为5s包含的数据量过大。很多人也综合考虑了多种特征信息的结合，Wang等人设计了一个3D卷积构建的EmotioNet，不仅考虑了空间信息，也将时域中的特征进行了处理。Yang等人提出了一个混合神经网络，即结合CNN和LSTM分别对空间和时间上对脑电信号进行特征学习；Ding等人提出一个深度学习框架Tsception，其空间卷积层可以利用额叶脑区情绪反应的不对称性，从大脑左右半球学习辨别表征，时间卷积层由多尺度一维卷积核组成，但他们使用的是自己收集的脑电数据；Jia等人提出了一种基于空间-光谱-时间的注意力三维密集网(SST-EmotionNet)来同时整合空间-光谱-时间特征，缺点是数据量过于庞大。

发明内容

针对以上问题，本文提出了将脑电数据转化为时-空-频三个维度的信息，利用深度神经网络自动提取特征的特性完成对情感脑电信号的识别和分类任务。

本发明包括以下步骤：

步骤(1)：多通道脑电信号采集与预处理

首先采集受试者的多通道运动想象脑电信号，接着使用八阶巴特沃斯滤波器对对每个通道的脑电信号进行滤波；

步骤(2)：时间信息提取

1)时间窗切割

用长度为T的时间窗分别对四个频带的EEG信号进行无重叠的分割，得到X_n∈R^m×d的包含时-频的二维数据格式，m＝T/t,d为频带数；

2)DE特征提取：原EEG信号经过分频和时间窗预处理后，再以t为时间窗，其中t小于T，将EEG信号划分为互不重叠的EEG样本，提取各样本的微分熵特征；对于EEG样本的每个采样值近似的认为其服从正态分布N(μ,σ²)，得到单个EEG样本的DE特征为：

其中x表示EEG样本的采样值；

步骤(3)：二维脑电序列变换

根据脑电帽电极的空间分布，将各通道同一采样时刻采集到一维脑电序列转换为二维网状矩阵形式，然后，将步骤(2)得到的2D阵列在新的维度上进行堆叠，最终形成X_n∈R^{h ×w×m×d}格式的四维数据，h×w表示一维脑电序列转换得到的二维网状矩阵阵列，既保留了电极空间排布的拓扑特性，并作为后续CNN网络的输入；

步骤(4)：深度融合的神经网络对样本进行特征提取和分类

深度融合的神经网络结合了VGG和RNN两种深度学习模型在提取样本空域和时域特征的独特优势，VGG模型用于处理二维网状脑电数据，而从属于RNN网络模型的LSTM则直接用于处理一维链状脑电数据；先通过VGG从所有与情感相关的通道中提取特征，数据有效地整合脑电信号的频率、空间和时间信息来识别情绪，然后利用RNN中具有长短时记忆的LSTM网络将VGG的输出作为输入，并提取切片之间的时间依赖性；LSTM网络在提取脑电信号的时间信息上时已经将电极的空间信息考虑在内，因此能更好的将二者特征信息互补，然后将LSTM最后一个节点的隐藏层输出到一个线性转换分类器中完成分类；使得各个采样点特征融合为一个输入序列的总特征q_m∈R⁵¹²，而后将VGG16网络处理后的输出序列Q_n＝{q₁,q₂,q₃,...,q_m}输入到LSTM，脑电信号片段的最终表示是LSTM最后一个节点的输出y_n∈R¹²⁸，它整合了T秒脑电片段的频率、空间和时间信息该特征向量同时携带了空间、频率和时间三种信息。

作为优选，所述的时间窗T＝2s。

作为优选，所述的VGG使用了5层VGG网络，包括四层卷积层和一层最大池化层，每个卷积层后接批量归一化层加速模型训练和收敛，输入序列经过四层卷积和一个最大池化层之后通过一个展平操作和全连接层。

本发明的有益效果：本发明通过有效地整合了脑电信号的时-空-频三维特征信息以及使用微调模型VGG16和LSTM的深度融合，大大地提高了分类的效率和准确率，通过与其他同类型的CNN+LSTM研究的比较，可见迁移网络模型的高效稳定性以及时-空-频三种信息特征的重要性。

附图说明

图1为4D脑电数据的形成；

图2为SEED数据集实验时观看的15段视频时长；

图3为二维脑电序列变换方法；

图4为简单深度迁移网络的构建；

图5为本发明的流程图；

图6 VGG16的网络构建

图7 LSTM的输入与输出实现

具体实施方式

本发明采用了两个公共数据集DEAP和SEED进行说明，下面结合附图详细描述本发明基于时-空-频特征的脑电情绪分类。

DEAP数据集由40次实验组成，32个被试者要求观看40段不同的视频，以此引发不同的情绪，每段视频剪辑后约60s，又在每个受试者观看每段视频之前记录了3s静默放松的基线信号，故每个人每次实验应包含63s的脑电信号。因该数据为多模态数据，包括32通道的脑电信号，和8通道的生理信号，我们只取前32通道脑电信号进行情感分类实验。数据还使用了4–45Hz的带通滤波器过滤了噪声并下采样到128Hz。实验结束后，每个人按1–9的情感等级填写对应四个标准关于效价(Valence),唤醒度(Arousal),支配度(Dominace)和喜欢(Liking)的心理量表。这里我们只选择了两个维度，即效价和唤醒度，以5为阈值，进行了单维度的二分类：高/低效价，高/低唤醒度。

SEED数据集一共15名受试者，7男8女，每人进行3次实验(三次实验间隔时间不唯一)，每人每次实验观看15段以期望包含最大的情感内容为目标剪辑完好的电影片段，每段视频约长4分钟且仅包含一种情感。整个试验包含15秒的提示，4分钟观看视频，最后10秒为结果反馈。SEED选择了62个通道，在对脑电数据的预处理中，它是以200Hz的采样频率对信号进行采样的，然后信号通过一个0.5–70Hz的带通滤波器进行处理。

步骤(1)：多通道脑电信号采集与预处理。

研究表明，脑电信号的θ(4-7Hz)，α(8-13Hz)，β(14-30Hz)，γ(31-50Hz)4个频段与人的生理活动有着密切联系，其中高频段与人类情感活动有较大关联，根据各节律的起始和截止频率，使用8阶巴特沃斯滤波器(Butter worth filter)对原脑电信号进行滤波。

步骤(2)：时间信息提取。

1)时间窗切割

如图1所示，用T＝2s的时间窗分别对4个频带的EEG信号进行无重叠的分割，得到X_n∈R^m×d的包含时-频的2维数据格式。对于DEAP的40次60s试验数据，得到1200个2s的样本，SEED如图2所示，每次实验的15段视频时长不统一，用2s的时间窗进行裁剪，经计算得到n＝1692个样本，其中积极的样本675个，中性的样本341个，消极的样本676个。

2)DE特征提取：原EEG信号经过分频和时间窗预处理后，再以t＝0.5s为一个时间窗，将EEG信号划分为互不重叠的EEG样本，提取各样本的微分熵特征。其中DEAP需要对3s的基线进行处理，将3s按照0.5s分成6个片段提取DE特征求平均值DE_b，最终的DE特征为减去DE_b后的数值。对于EEG样本的每个采样值近似的认为其服从正态分布N(μ,σ²)，得到单个EEG样本的DE特征为：

步骤(3)：二维脑电序列变换方法。

二维网状脑电序列变换方法，尝试根据脑电帽电极的空间分布，将各通道同一采样时刻采集到一维脑电序列转换为二维网状矩阵形式，然后，将步骤(2)得到的2D阵列在新的维度上进行堆叠，最终形成X_n∈R^h×w×m×d格式的4维数据，这样既可以保留电极空间排布的拓扑特性，又可作为后续CNN网络的输入。

脑电信号不同于时间序列，仅用一维序列就能描述出来。它产生于大脑的不同脑区，根据国际10–20系统标准，大脑电极被排布在一个二维空间中，关于电极的名称，前缀F、Fp、T、C、O、P分别表示额叶、前额叶、颞叶、中央区、枕叶和顶叶，数字后缀奇数表示左半球，偶数表示右半球。

为了保持电极位置的空间结构信息，我们进一步根据电极的位置将所有通道的DE向量转换成紧凑的2D阵列。例如，此次选择的是62个通道，其2D图在图3中示出，没有数据的位置用0填充。然后，将所有的2D阵列在新的维度上进行堆叠，最终形成X_n∈R^h×w×m×d格式的4维数据，其中h和w分别是根据电极位置形成的2D网络的高度和宽度，本文设置了h＝8，w＝9。

步骤(4)：深度融合的神经网络对样本进行特征提取和分类。

混合网络结合了VGG16和RNN两种深度学习模型在提取样本空域和时域特征的独特优势，如图4所示，VGG16模型用于处理二维网状脑电数据，而从属于RNN网络模型的LSTM则直接用于处理一维链状脑电数据，两个串级的网络模型同时对输入样本提取特征，先通过VGG16从所有与情感相关的通道中提取特征，数据有效地整合脑电信号的频率、空间和时间信息来识别情绪，然后利用RNN中具有长短时记忆的LSTM网络将VGG16的输出作为输入，并提取切片之间的时间依赖性。LSTM网络在提取脑电信号的时间信息上时已经将电极的空间信息考虑在内，因此能更好的将二者特征信息互补，然后将LSTM最后一个节点的隐藏层输出到一个线性转换分类器中完成分类。

图5是本发明整个实验的流程图，其中包括VGG16网络对数据的空间域特征提取和LSTM对时间信息的特征提取。VGG使用了5层VGG网络，包括4层卷积层和1层最大池化，具体可见图6。由于VGG16网络的特点就是重复的卷积层加上最大池化层(Max Pooling Layer)，池化操作可以降低数据维度加速训练效果，然而本文中实验数据量小，加入池化层可能会丢失关键的特征信息，故此只在最后一个卷积层之后使保留一个池化层。每个卷积层后接批归一化(Batch Normalization,BN)层加速模型训练和收敛，输入序列经过三层卷积和一个最大池化层之后通过一个展平操作(Flatten)和全连接层(Fulled Connected Layer)使得各个采样点特征融合为一个输入序列的总特征q_m∈R⁵¹²(m＝1,2,3,4)，而后将VGG16网络处理后的输出序列Q_n＝{q₁,q₂,q₃,q₄}输入到LSTM，其输入与输出关系如图7所示。脑电信号片段的最终表示是LSTM最后一个节点的输出y_n∈R¹²⁸，它整合了2s脑电片段的频率、空间和时间信息该特征向量同时携带了空间、频率和时间三种信息。

为验证本发明提出的基于时-空-频特征情绪分类的合理性，对比了只包含两个信息的2D和3D结构以及分别提取时间和空间特征信息最后级联的CNN+LSTM网络在DEAP和SEED上的分类结果，如表1和表2所示：

表1 DEAP数据集上不同方法的平均精度(％)

可以看出，在DEAP中VGG16+LSTM达到了最佳的分类性能，与同样考虑了空间和时间信息的#1和#2相比，在效价和唤醒度上分类精度分别高出了21.03％，3.63％和20.59％，3.82％；原因是#1仅使用3维卷积核去探索时间和空间信息，与#2使用CNN去提取空间信息和LSTM去探索时间信息相比可见，LSTM更适合去探索时间上的先后顺序关系，而与VGG16+LSTM相比，#2是通过CNN和LSTM分别提取空间和时间的特征信息，然后进行并行拼接完成分类，可见CNN和LSTM的深度融合比CNN与LSTM的并行拼接更有利于时-空信息的提取，原因是前者在提取脑电信号的时间信息上已经将电极的空间信息考虑在内，因此能更好的将二者特征信息互补。此外，参考#2的卷积结构，建立一个新的CRNN模型，经实验对比，可见VGG16+LSTM具有更高的效率和准确率。

表2 SEED数据集上不同方法的平均精度(％)

可以看出，在SEED中VGG16+LSTM也能达到最佳的分类性能，#1只考虑了空间电极的关系，而且只扫描了四个顺序电极，无法总结所有电极之间的内在关系，分类精度低于VGG16+LSTM模型约4.66％；#2的HCNN采用分层CNN架构对情绪完成了三分类，但是他只用了两个卷积层，且只考虑了γ频段的空间信息，因此分类精度也不高。此外，同DEAP一样，参考表一中#2的卷积结构，建立一个新的CRNN模型，经实验对比，VGG16+LSTM在SEED三分类中也能实现不错的效果。

从整体上看，本发明提出了一种能够处理综合了脑电信号的时-空-频三维特征信息的情感分类模型，该模型在SEED和DEAP数据集上都达到了较好的性能。经过和其他神经网络的比较，有如下结论：第一，虽然更多的卷积层可以提取更多与情感相关的信息，但是也并不代表卷积层越深越好，选择合适的卷积层进行迁移可以大大提高训练效果；第二，CNN和LSTM的深度融合比CNN与LSTM的并行拼接更有利于时-空信息的提取，原因是前者在提取脑电信号的时间信息上已经将电极的空间信息考虑在内，因此能更好的将二者特征信息互补；第三，整合了时-空-频的4D数据结构比只包含两个信息的2D和3D结构表现更好，只有同时考虑时间、空间及频率三个方面的信息，才能更好的构建情绪特征信号完成分类。通过与其他同类型的CNN+LSTM研究的比较，可见迁移网络模型的高效稳定性以及时-空-频三种信息特征的重要性。

Claims (4)

1.基于时-空-频联合特征的脑电情感分类方法，其特征在于，该方法具体包括以下步骤：

步骤(1)：多通道脑电信号采集与预处理

首先采集受试者的多通道运动想象脑电信号，接着使用八阶巴特沃斯滤波器对对每个通道的脑电信号进行滤波；

步骤(2)：时间信息提取

1)时间窗切割

用长度为T的时间窗分别对四个频带的EEG信号进行无重叠的分割，得到X_n∈R^m×d的包含时-频的二维数据格式，m＝T/t，d为频带数；

2)DE特征提取：原EEG信号经过分频和时间窗预处理后，再以t为时间窗，其中t小于T，将EEG信号划分为互不重叠的EEG样本，提取各样本的微分熵特征；对于EEG样本的每个采样值近似的认为其服从正态分布N(μ，σ²)，得到单个EEG样本的DE特征为：

其中x表示EEG样本的采样值；

步骤(3)：二维脑电序列变换

根据脑电帽电极的空间分布，将各通道同一采样时刻采集到一维脑电序列转换为二维网状矩阵形式，然后，将步骤(2)得到的2D阵列在新的维度上进行堆叠，最终形成X_n∈R^{h ×w×m×d}格式的四维数据，h×w表示一维脑电序列转换得到的二维网状矩阵阵列，既保留了电极空间排布的拓扑特性，并作为后续CNN网络的输入；

步骤(4)：深度融合的神经网络对样本进行特征提取和分类

深度融合的神经网络结合了VGG和RNN两种深度学习模型在提取样本空域和时域特征的独特优势，VGG模型用于处理二维网状脑电数据，而从属于RNN网络模型的LSTM则直接用于处理一维链状脑电数据；先通过VGG从所有与情感相关的通道中提取特征，数据有效地整合脑电信号的频率、空间和时间信息来识别情绪，然后利用RNN中具有长短时记忆的LSTM网络将VGG的输出作为输入，并提取切片之间的时间依赖性；LSTM网络在提取脑电信号的时间信息上时已经将电极的空间信息考虑在内，因此能更好的将二者特征信息互补，然后将LSTM最后一个节点的隐藏层输出到一个线性转换分类器中完成分类；使得各个采样点特征融合为一个输入序列的总特征q_m∈R⁵¹²，而后将VGG16网络处理后的输出序列Q_n＝{q₁，q₂，q₃，…，q_m}输入到LSTM，脑电信号片段的最终表示是LSTM最后一个节点的输出y_n∈R¹²⁸，它整合了T秒脑电片段的频率、空间和时间信息该特征向量同时携带了空间、频率和时间三种信息。

2.根据权利要求1所述的基于时-空-频联合特征的脑电情感分类方法，其特征在于：所述的时间窗T＝2s。

3.根据权利要求1所述的基于时-空-频联合特征的脑电情感分类方法，其特征在于：所述的VGG使用了5层VGG网络，包括四层卷积层和一层最大池化层，每个卷积层后接批量归一化层加速模型训练和收敛，输入序列经过四层卷积和一个最大池化层之后通过一个展平操作和全连接层。

4.根据权利要求1所述的基于时-空-频联合特征的脑电情感分类方法，其特征在于：所述的四个频段分别为：θ(4-7Hz)，α(8-13Hz)，β(14-30Hz)，γ(31-50Hz)。

Images