CN110781751A - 基于跨连型卷积神经网络的情感脑电信号分类方法 - Google Patents

Abstract

本发明提出了一种基于跨连型卷积神经网络的情感脑电信号分类方法，本发明首先利用V3的第一层卷积层提取脑电信号底层特征，并将其作为V1的输入，同时被第二层池化层下采样后输入给第三层卷积层提取中层特征。中层特征将作为V2的输入，并且被V3的第四层池化层下采样后输入给V3的第五层卷积层提取高层特征。接着，三层特征分别降维后一起输入到V3的第八层全连接层中融合，最后进入Softmax层进行分类。比较分类结果与实际标签，计算损失值，然后利用反向传播算法更新卷积核和连接权重。本发明可较高的脑电信号分类准确率，识别结果优于传统机器学习方法和传统CNN模型。

Description

基于跨连型卷积神经网络的情感脑电信号分类方法

技术领域

本发明属于深度学习领域，涉及一种基于脑电的深度学习分类方法，特别涉及一种情感脑电信号的深度学习分类方法。

背景技术

情感识别是人工智能领域中日益受到关注的一个研究方向，它主要包括面部表情、语音、生理模式、文本和生理信号识别等，其中脑电信号(Electroencephalogram,EEG)作为含有信息量最多的生理信号，受到了越来越多的研究关注。当我们采用基于传统特征的机器学习分类方法时，分类的效果将取决于所选取的特征的好坏。然而由于脑电信号本身具有非平稳性和个体间差异性大的特点，很难找到统一的具有代表性的特征，这使得脑电信号分类的准确率一直不尽人意。

脑电信号的分类问题是情感计算应用中的难点，而脑电信号分类的关键是如何寻找合适的特征。目前,已有大量研究应用于脑电信号的分类中,例如基于支持向量机(Support Vector Machine,SVM)的方法、一般神经网络和隐马尔可夫模型等。传统的机器学习方法大多都需要大量先验知识寻找脑电信号的特征。然而脑电信号容易受到噪声干扰,而且特定行为的脑电信号可能同时混合有其他行为产生的干扰信号。在复杂的高级认知过程中,不同被试个体间具有很大差异性,很难找到具有代表性的有效特征，这些原因都使得提高脑电信号分类的准确率十分困难。

同传统方法相比,深度学习可以不需要很多先验知识以及手工提取特征,能够直接对复杂的数据逐级抽取特征。近年来深度学习方法越来越受到重视,并且已经在图像分类、语音识别领域得到了十分有效的应用。如何将深度学习的方法应用到脑电分类问题中,也成为脑-机接口研究中的热点。已经有研究人员将深度学习模型应用在脑电信号分类中,并取得不错的结果。Hosseini等人基于主成分分析、独立成分分析和差分搜索算法拓展了卷积神经网络(Convolutional Neural Networks,CNN)的结构，他们在癫痫数据集上通过使用这种拓展结构来提取数据的无监督特征并进行分类。Lan 等人使用卷积神经网络提取神经信号的特征并对休息状态时睁眼和闭眼状态的数据进行分类。他们的研究结果表明，使用CNN对脑电信号进行10分类时可以实现88％的分类准确率。在Rajendra的研究工作中，他们搭建了一个13层的CNN来检测癫痫患者在正常状态，发作前状态和发作时状态的分类。他们所提出的模型取得了88.67％、90.00％和95.00％的准确率，特异性和灵敏度。目前，国内外使用深度学习进行脑电信号识别的研究较少，存在很大的研究空间。

发明内容

脑电信号是一种包含了丰富人体信息的生理信号，使用脑电信号识别人类情绪是实现高级人机交互技术的关键。本发明提出了一种改进的深度卷积神经网络模型——跨连型CNN，利用非端到端的训练方法提取脑电信号中的底层、中层和高层特征并进行分类。首先，从情感脑电数据集中选取我们要进行训练、验证和测试的数据进行 0-30Hz的低通滤波，去除脑电信号中高频段的噪声干扰，然后将信号输入到跨连型CNN 模型。本发明设计的跨连型CNN包含三个子模型：V1、V2和V3。首先利用V3子模型的第一层卷积层对脑电信号提取底层的特征，并将这个底层特征作为V1子模型的输入，然后这个底层特征将被第二层池化层下采样，采样结果输入给第三层卷积层提取中层特征。中层特征将作为V2子模型的输入，并且同时被V3的第四层池化层下采样。采样结果输入给V3的第五层卷积层提取高层特征。接着，将这三层特征在对应子模型的池化层和全连接层中进行降维，然后一起输入到V3子模型的第八层全连接层中融合，再输入最后一个Softmax层进行分类。最后将分类结果与实际标签比较，计算出损失函数的总误差，然后基于梯度下降法进行反向传播，更新卷积核和各个连接权重的值。实验结果表明，该方法获得了较高的脑电信号分类准确率，识别结果优于传统机器学习方法和传统CNN模型。

为了实现以上目的，本发明方法主要包括以下步骤：

步骤(1)：获取情感脑电信号的样本数据，具体过程是：将数据利用交叉验证函数划分为训练集、验证集和测试集。然后将划分后的数据进行0-30Hz的低通滤波。

步骤(2)：在完整CNN结构的基础上创建三个独立模型分别为V1、V2、V3。每个子模型具体结构和功能为：V3是一个普通的无跨连CNN，用于提取高层特征；V1和V2 子模型的第一层都为池化层，第二层都为全连接层，V1和V2分别用于提取底层和中层特征。V1将底层特征池化抽象后降维，V2将中层特征池化抽象后降维，然后将V1、 V2和V3的全连接层输出的特征融合作为一个独立特征，将其输入到V3的最后一层 Softmax层进行分类。

深度学习DeepLearning尤其是CNN作为近几年来模式识别中的研究重点，受到人们越来越多的关注。“逐层初始化”与“反向传播”算法的提出，解决了深度神经网络训练困难的问题。CNN无需手工提取数据特征、共享权值的特点让它在图像与语音领域取得了前所未有的应用效果。一般来说，一个典型的CNN由卷积层、池化层和全连接层构成。

1)卷积层：

在卷积神经网络中，一个卷积层可以包含很多卷积面。卷积面又称为卷积特征图。每个卷积面都是根据输入、卷积核和激活函数来计算的。卷积面的输入通常是一幅或者多幅图像。卷积核是一个矩阵，又称为卷积滤波器。激活函数有很多不同的选择，但一般选择sigmoid函数或校正线性单元(ReLU)。

如果一幅大小为M×N的图像，用矩阵x表示,卷积核是大小为m×n的矩阵w，偏置为b，那么卷积面的计算过程可表示为：

其中符号

表示卷积计算。如果输入是D个通道，即有D幅图x₁，x₂，…，x_D，相应的卷积核分别为w₁，w₂，w₃，....，w_D，偏置为b，那么卷积面的计算过程可表示为：

2)池化层

对一个矩阵A进行下采样，首先要对它进行分块。标准的分块操作是不重叠的，理论上分块也可以重叠，但是分块的数目会相对较多。如果分块不重叠且每块的大小为 p×q，则其中的第ij块可以表示为：

其中，a_st表示每块里的第(s,t)个元素值，(i-1)·p+1≤s≤i·p，(j-1)·q+ 1≤t≤j·q。

对的平均下采样定义为：

对

的最大下采样定义为：

3)全连接层

全连接层的每一个结点都与上一层的所有结点相连，用来把前边提取到的特征综合起来。由于其全相连的特性，一般全连接层的参数也是最多的。在CNN结构中，经多个卷积层和池化层后，连接着1个或1个以上的全连接层。与MLP类似，全连接层中的每个神经元与其前一层的所有神经元进行全连接，它可以整合卷积层或者池化层中具有类别区分性的局部信息。为了提升CNN网络性能，全连接层每个神经元的激励函数一般采用ReLU函数。最后一层全连接层的输出值被传递给一个输出，可以采用 Softmax逻辑回归进行分类，该层也可称为Softmax层。

步骤(3)：将步骤(1)获取的脑电信号输入跨连型CNN进行特征提取，得出底层、中层和高层特征并进行融合，将预测结果与实际标签对比，计算出损失函数的误差，再利用反向传播算法更新模型权重。

在CNN提取特征的过程中，卷积核提取的特征由低层到高层会越来越集中于它感兴趣的区域，但也因此忽略了除此之外的一些其他特征，因此，采用跨连型的CNN综合考虑低、中、高三层特征，对于分类会有更大的帮助。

本发明设计的跨连型CNN模型方法具体设计如下：

设数据集中的每条脑电信号样本为n通道，分别为x₁,x₂,x₃...,x_n，每个通道都是1×m维度的数据，数据集中共有k条样本，同时有k个与样本对应的情感类型标签 {p₁,p₂,.....,p_k}，整个数据集总共有f个类型的标签。

1)首先，利用交叉验证函数将数据集划分为训练集、验证集和测试集，然后读取训练集中的脑电信号样本和标签，将样本做0-30Hz低通滤波后输入V3子模型。

2)每一条训练数据输入V3子模型后，先经过第一层的卷积层w提取底层的特征，第一层卷积层w包含n个卷积核，分别为w₁,w₂,w₃,...w_n，每个卷积核尺寸为1×3，数据被提取特征后生成一个1×1×(m-2)维的特征图F₁，特征图F₁计算公式为：

式中，b为偏置。

3)特征图F₁作为V1模型的输入，被V1模型的池化层和全连接层降维，作为底层特征。同时，F₁在V3模型中继续向前传播，被第二层池化层中的1×2维池化核下采样后，形成1×1×(m-4)维特征，池化层的池化方式均为最大下采样。将特征图F₁被分成不重叠的块，每块大小为p×q，则对第ij个块采样的公式为：

其中，a_st表示每块里的第(s,t)个元素值，(i-1)·p+1≤s≤i·p，(j-1)·q+1≤ t≤j·q。

此特征经过第三层卷积层x提取特征后形成1×1×(m-6)的新特征图F₂。因为底层特征图F₁在经过第一次卷积后被去除了通道数，因此F₁的通道数为1，用v表示卷积核，则特征图F₂的计算公式为

4)特征图F₂作为V2模型的输入，被V2模型的池化层和全连接层降维，作为中层特征。同时，F₂在V3模型中继续向前传播，被第四层池化层中的1×2维池化核下采样后，形成1×1×(m-8)维特征，此特征经过第五层卷积层z提取特征后形成 1×1×(m-10)的新特征图F₃，即为高层特征，第五层卷积层z的卷积核为μ。F₃的计算过程为

5)将F₁、F₂、F₃通过V3的最后一层全连接层融合为一个高维度的综合特征，输送到一个节点数为f的全连接层进行分类，输出训练样本的预测值。

6)根据预测值与真实值的偏差计算出损失函数的总误差，然后基于梯度下降法进行反向传播，更新卷积核和各个连接权重的值。

本发明设计的跨连CNN方法利用三个子模型V1、V2、V3分别提取输入数据的底层、中层、高层特征，将传统CNN忽略掉的信息也作为特征进行融合，大大提升了模型的分类准确性。

本发明设计的基于改进型CNN的情感脑电分类方法，具有如下优点：

基于人类在表现出不同情感时采集到的脑电信号，使用深度学习方法——跨连型的CNN模型提取脑电数据底层、中层和高层的特征进行融合并训练，获得了比传统机器学习方法和传统型CNN更高的分类准确率。

脑电信号是一种非平稳的型号，同时不同的个体间有着很大的差异性的，因此在使用传统的机器学习分类方法时，很难找到统一的有代表性的的特征。而深度学习因为其强大的特征提取能力，成为了非常适用于脑电信号分类的工具。

同时，CNN在提取特征的过程中由于其逐层提取，逐渐抽象的特点，故在层数变多时会丢失一些有用的特征，采用跨连型CNN，将数据的底层、中层和高层特征融合，可以更好地获得数据间复杂的映射关系，提高模型的性能。

附图说明

图1为本发明的实施流程图；

图2为本发明设计的跨连型CNN模型结构图；

图3为本发明对脑电信号提取的底层、中层、高层特征的特征分布图；

图4(a)-(b)为本发明与普通型CNN分类器输出图。

具体实施方式：

如图1所示，本实例包括以下步骤：

步骤一：获取人类表现出不同情感时的脑电信号并进行低通滤波处理，具体过程为：

(1)记录32名受试者在观看40个1分钟的音乐短视频后的脑电信号和周围生理信号。数据集划分为9种标签：郁闷、冷静、放松、悲伤、平和、愉悦、苦恼、激动、满意。每条数据的维度是40×40×8064，第一个40代表每个受试者观看的40个不同的音乐视频，第二个40表示脑电的通道数，8064是记录的脑电信号数据点，每条数据都有一个与之对应的情感标签，用阿拉伯数字0-8表示。

(2)利用低通滤波器对脑电信号进行0-30Hz的低通滤波，去除高频段的噪声干扰。

步骤二：将步骤一中预处理后的脑电信号输入跨连型CNN进行底层、中层和高层特征的提取与融合。跨连型CNN的结构图如图2所示，V1和V2是子模型，用于提取底层和中层特征，V3是主模型，用于提取高层特征并将三层特征融合输入给分类器。

因为输入共有40个通道，并且数据是一维的脑电信号，因此第一层卷积层的维度设置为40×1×3，输入数据在经过第一层卷积核后被去除通道，因此第三层和第五层的卷积核维度设置为1×1×3，池化核均为1×3，采用最大下采样的方式进行特征降维。V1与V2的全连接层节点数设置为100个，以降低底层和中层特征的维数。V3模型的最后一层全连接层节点数为9，与样本标签数量相同，激活函数设置为Softmax，实现分类。

步骤三：将步骤二中的分类结果与实际的标签值比较，然后基于 categorical_crossentropy损失函数计算出损失值，利用反向传播算法更新网络连接的权重和卷积核。

针对CNN在特征提取的过程中，会因为逐层的对特征进行抽象而忽略一些可能有用的信息，本发明设计的跨连型CNN将数据的底层、中层和高层特征进行连接并融合为一个高维特征，并利用反向传播算法更新网络的权重，最终使得模型的分类准确率越来越高。

本实例采用自行设计的适宜脑电信号分类的跨连型CNN模型，输入为人类不同情感下采集到的脑电信号。将传统的CNN分为三个子模型V1，V2和V3，分别对输入的脑电信号提取底层，中层和高层的特征F₁，F₂，F₃,特征F₁和F₂分别在V1和V2子模型中经过一个1×100维的全连接层进行降维，然后与F₃在经过一个全连接层进行融合，最后经过softmax层输出分类的结果。分类实验中采用交叉验证算法，将数据集划分为训练集，验证集和测试集，输出的分类结果是在测试集上的准确率。在实验中，其中一条样本特征分布图如图3所示，从图3可以看出，底层特征的分布较为广泛，随着卷积核对于特征的逐层抽象，中层和高层特征的分布范围越来越小，说明卷积核提取的特征越来越集中于某一区域。因此综合考虑底层，中层和高层特征，能够弥补因为忽略掉某些特征而带来的损失。同时，一条标签为“3”的样本的分类器的输出如图 4所示，图中横轴代表标签类别，纵轴代表所属每一类别的概率。从图4可看出，在没有加入跨连层之前，CNN的分类器对于样本所属于类别的判断较为模糊，而加入跨连层之后，因为融合了三层特征，分类器对于样本所处正确类别的概率远远大于错误类别的概率，模型的性能变得更加稳定。

为了检测本发明所设计的跨连型CNN分类模型的其他方面性能，将该模型与传统的SVM，经典的网络结构VGG16以及无跨连层的CNN模型进行对比,结果如表1所示：

从表1中可以看出，本发明设计的跨连型CNN模型，不仅具有最高的分类准确率，并且所需的训练时间以及损失值都是最小的，这对于需要快速测试模型性能的场合具有重要意义。

Claims (2)

1.基于跨连型卷积神经网络的情感脑电信号分类方法，其特征在于该方法包括如下步骤:

步骤(1)：获取情感脑电信号的样本数据，具体过程是：将采集到的脑电信号数据利用交叉验证函数划分为训练集、验证集和测试集；然后将划分后的数据进行0-30Hz的低通滤波；

步骤(2)：在完整CNN结构的基础上创建三个独立模型分别为V1、V2、V3；每个子模型具体结构和功能为：V3是一个普通的无跨连CNN，用于提取高层特征；V1和V2子模型的第一层都为池化层，第二层都为全连接层，V1和V2分别用于提取底层和中层特征；V1将底层特征池化抽象后降维，V2将中层特征池化抽象后降维，然后将V1、V2和V3的全连接层输出的特征融合作为一个独立特征，将其输入到V3的最后一层全连接层进行分类；

步骤(3)：将步骤(1)获取的脑电信号输入跨连型CNN进行特征提取，得出底层、中层和高层特征并进行融合，将预测结果与实际标签对比，计算出损失函数的误差，再利用反向传播算法更新模型权重。

2.根据权利要求1所述的基于跨连型卷积神经网络的情感脑电信号分类方法，其特征在于所述的跨连型CNN模型具体设计如下：设数据集中的每条脑电信号样本为n通道，分别为x₁,x₂,x₃…,x_n，每个通道都是1×m维度的数据，数据集中共有k条样本，同时有k个与样本对应的情感类型标签{p₁,p₂,.....,p_k}，整个数据集总共有f个类型的标签；

1)首先，利用交叉验证函数将数据集划分为训练集、验证集和测试集，然后读取训练集中的脑电信号样本和标签，将样本做0-30Hz低通滤波后输入V3子模型；

2)每一条训练数据输入V3子模型后，先经过第一层的卷积层w提取底层的特征，第一层卷积层w包含n个卷积核，分别为w₁,w₂,w₃,…w_n，每个卷积核尺寸为1×3，数据被提取特征后生成一个1×1×m-2)维的特征图F₁，特征图F₁计算公式为：

式中，b为偏置；

3)特征图F₁作为V1模型的输入，被V1模型的池化层和全连接层降维，作为底层特征；同时，F₁在V3模型中继续向前传播，被第二层池化层中的1×2维池化核下采样后，形成1×1×(m-4)维特征，池化层的池化方式均为最大下采样；将特征图F₁被分成不重叠的块，每块大小为p×q，则对第ij个块采样的公式为：

其中，a_st表示每个卷积区域里的第(s,t)个元素值，(i-1)·p+1≤s≤i·p，(j-1)·q+1≤t≤j·q；

此特征经过第三层卷积层x提取特征后形成1×1×(m-6)的新特征图F₂；因为底层特征图F₁在经过第一次卷积后被去除了通道数，因此F₁的通道数为1，用v表示卷积核，则特征图F₂的计算公式为

式中，b为偏置；

4)特征图F₂作为V2模型的输入，被V2模型的池化层和全连接层降维，作为中层特征；同时，F₂在V3模型中继续向前传播，被第四层池化层中的1×2维池化核最大下采样后，形成1×1×(m-8)维特征，

此特征经过第五层卷积层z提取特征后形成1×1×(m-10)的新特征图F₃，再经过第六层池化层后形成高层特征，第五层卷积层z的卷积核为μ；F₃的计算过程为

5)将F₁、F₂、F₃通过V3的最后一层全连接层融合为一个高维度的综合特征，输送到一个节点数为f的分类层进行分类，输出训练样本的预测值；

6)根据预测值与真实值的偏差计算出损失函数的总误差，然后基于梯度下降法进行反向传播，更新卷积核和各个连接权重的值。

Images