CN111709267B - 深度卷积神经网络的脑电信号情感识别方法 - Google Patents

Abstract

一种深度卷积神经网络的脑电信号情感识别方法，属于人机交互智能技术领域。本发明的目的是通过将深度卷积神经网络从输入的差分熵矩阵中学习其所携带的情感特征，以实现针对具体情感任务的分类准确率提升的深度卷积神经网络的脑电信号情感识别方法。本发明步骤是：采集脑电信号、数据预处理、构建差分熵矩阵、训练深度卷积神经网络模型、测试集的情感分类。本发明克服直接将情感脑电信号送入深度卷积神经网络模型中产生的复杂度高、分类准确率不够高的问题，提高了情感识别分类准确率。

Description

深度卷积神经网络的脑电信号情感识别方法

技术领域

本发明属于人机交互智能技术领域。

背景技术

情感识别的实现是人机交互智能化的重要的一步。随着人工智能的迅速发展和对智能化感知和交互的迫切需求，一种能准确分析出人的情感状态的模型逐渐成为研究的热点。脑电信号因能更加客观、实时地表现人的情感变化，且不受人的主观控制，因而越来越多地被应用到情感识别中。近年来，针对脑电信号进行情感识别成为一种有效的途径。

情感识别本质上也是一种模式识别问题。它是一种利用计算机捕捉并分析各种情感信号，提取其中能够描述情感的特征，建立这些特征与情感状态的映射关系，再对情感状态进行分类，从而判断出情感状态并做出反馈的过程。在情感识别问题上，利用如支持向量机、决策树等传统浅层分类模型已能得到较高的分类准确率。随着深度学习的不断发展，越来越多的相关研究希望借助其学习数据的能力，实现更高识别准确率的情感识别。深度卷积神经网络在处理海量数据和复杂分类问题上具有独到的优势，通过构建多层卷积池化模块，可以学习到更能描述输入信息本质的特征来训练模型，并能取得不错的分类效果，因此越来越多地被应用到情感识别研究领域中。

目前，针对具体的脑电信号情感分类任务时，深度卷积神经网络的输入为原始脑电信号。然而，原始脑电信号直接输入可能会加大深度卷积神经网络学习的复杂度，降低整个分类过程的效率。因此，如何提升针对深度卷积神经网络的脑电信号情感识别的分类准确率，是目前此类研究的重要方向。

发明内容

本发明的目的是通过将深度卷积神经网络从输入的差分熵矩阵中学习其所携带的情感特征，以实现针对具体情感任务的分类准确率提升的深度卷积神经网络的脑电信号情感识别方法。

本发明步骤是：

步骤1：采集脑电信号；

步骤2：数据预处理：

首先对数据进行1000Hz采样，随后降采样到采样频率为200Hz，采用ICA方法去除眼电伪迹，并剔除脑电信号中由无效电极引起或局部损坏的部分，数字滤波器选用0.3-50Hz的带通滤波器；

步骤3：构建差分熵矩阵：

将预处理后的数据分割为1s信号片段，再采用256点的快速傅里叶变换对每个片段进行频域变换；频域变换后的片段包含脑电信号携带的频域信息；快速傅里叶变换的具体公式如下：

其中，n表示脑电信号的时域离散点，k表示频域变换后的频率点，x(n)表示输入的脑电信号序列；

差分熵特征从频域中提出，包含情感在频域上的分布信息，相比原始脑电信号，差分熵矩阵更能表征情感信息，采用以下公式计算差分熵：

其中，π与e均为常数，σ²为脑电信号的方差；

步骤4：训练深度卷积神经网络模型：

深层卷积神经网络模型由输入层L0、第一层卷积池化模块L1、第二层卷积池化模块L2、第三层卷积池化模块L3、全连接层L4和最终输出层共六层模块构成；

L0：该层为输入层，L0层的输入为步骤3中构建的差分熵矩阵训练集，输入矩阵用P_m，n表示，其中m表示导联数，1≤m≤N_elec，其中n表示频率点数，1≤n≤N_f，输入矩阵的大小为62*200；用X_l，t(m，n)表示第l层中第t个图的(m，n)位置的神经元的输出值，用σ_{l，t，(m，n)}表示第l层中第t个图的(m，n)位置的神经元的输入值，有

X_{l，t，(m，n)}＝f(σ_{l，t，(m，n)}) (3)

其中，f为激活函数，模型的激活函数选用PReLU函数：

其中，k_ji是服从均匀分布的随机值，在激活函数作用的同时还对数据进行了批归一化处理；

L1：

其中，P_m，n为L1层输入矩阵，即构建的差分熵矩阵，K₁为卷积核的大小(K₁＝3)，ω_1，t，r代表第t个卷积核中第r个神经元与输入矩阵对应位置的连接权值，b₁为L1层的偏置，

为经过激活函数后的输出，X_{1，t，(m，n)}为

再经过批归一化后的L1层的最终输出；

L2：

其中，X_{1，t，(m，n)}为L2层输入矩阵，N₂为卷积核的纵向大小，K₂为卷积核的横向大小，ω_{2，t，(m，n)}为L2层第t个卷积核中的(m，n)位置与X_{1，t，(m，n)}对应位置的连接权值，b₂为L2层的偏置；

L3：

其中，X_{2，t，(m，n)}为L3层输入矩阵，N₃为卷积核的纵向大小，K₃为卷积核的横向大小，ω_{3，t，(m，n)}为L3层第t个卷积核中的(m，n)位置与X_{2，t，(m，n)}对应位置的连接权值；b₃为L3层的偏置；

L4：

σ_4，h＝X_{3，t，(m，n)}ω_{4，t，(m，n)}+b₄，m＝1，...，50，n＝1，...，4，h＝1，...，200 (9)

其中，m和n分别为矩阵X_{3，t，(m，n)}的纵向维度和横向维度，m＝1，...，50，n＝1，...，4；σ_4，h为L4层的输出矩阵，1≤h≤mn；ω_{4，t，(m，n)}为L4层卷积核中的(m，n)位置与X_{3，t，(m，n)}对应位置的连接权值；b₄为L4层的偏置；

L5：

其中，p(l_k|f_k(Xⁱ，θ))为softmax函数生成的条件概率，它表示在给定输入Xⁱ的情况下，最终分类为l_k类别的条件概率，情感类别包含快乐、悲伤、恐惧、平和四种，其标签记为1，2，3，4；

在训练整个网络时，使用负对数似然性作为损失函数来估计分类损失，加快收敛速度，提高分类能力，其具体公式为：

其中，p(l_k|f_k(Xⁱ，θ))为上述softmax函数生成的条件概率；θ^*为反向传播中在损失函数最小的情况下修正和优化后的各个超参数；

步骤5：测试集的情感分类：将差分熵矩阵测试集输入到步骤4训练的最优模型中，采用十折交叉验证法，实现模型对快乐、悲伤、恐惧、平和四种情感的分类，获的最终的分类准确率，其标签分别为1，2，3，4。

本发明克服直接将情感脑电信号送入深度卷积神经网络模型中产生的复杂度高、分类准确率不够高的问题，相比于原始脑电信号，差分熵矩阵更能表征情感状态，在深度卷积神经网络模型的输入上选取更能够表征脑电信号中情感信息的差分熵矩阵。差分熵值与情感关联大，差分熵矩阵直接针对具体的情感分类任务，对直接将脑电信号送入深度卷积神经网络进行训练的方法做出改进，提高了情感识别分类准确率。

附图说明

图1为本发明整体实验框图；

图2为本发明方法流程图；

图3为本发明深度卷积神经网络模型的分层结构图。

具体实施方式

本发明步骤是：

步骤1：采集脑电信号：受试者佩戴脑电采集帽后，在安静、温度适宜、无其他明显干扰的实验环境下，在受试者面前呈现直观易懂的情感视频刺激素材，并实时连续记录受试者在此期间的脑电信号。

步骤2：数据预处理：对原始脑电信号进行采样，去除脑电信号的眼电伪迹，并剔除脑电信号中由无效电极引起或局部损坏的部分，用数字滤波器对脑电信号进行滤波。

步骤3：构建差分熵矩阵：将预处理后的脑电信号分割为固定时长的不重叠片段，对脑电信号片段经过快速傅里叶变换后构建差分熵矩阵；

其中每个片段的构成具体为：针对每个片段构成的二维矩阵，其维度分别代表脑电采集设备的导联数和经过快速傅里叶变换的频率点数，数值代表某导联在某频率点处的差分熵值。差分熵矩阵包含频域特征分布信息，能较好地表征情感状态。

步骤4：训练深度卷积神经网络模型：将构建的差分熵矩阵划分为训练集和测试集，利用深度卷积神经网络从训练集数据中自主学习并提取平移不变特征图，根据随机梯度下降最小原则和Adam优化策略反向传播来修正和优化模型中的各权重和偏置参数，直至深度卷积神经网络模型的分类效果达到最优。

步骤5：测试集的情感分类：将测试集数据输入步骤4训练的最优模型中，采用十折交叉验证法，对测试数据的快乐、悲伤、恐惧、平和四种情感进行分类，并获取最终的分类准确率。

所述步骤2具体为：首先对数据进行1000Hz采样，随后降采样到采样频率为200Hz。采用ICA方法去除眼电伪迹，并剔除脑电信号中由无效电极引起或局部损坏的部分，数字滤波器选用0.3-50Hz的带通滤波器。

所述步骤3具体为：

将预处理后的数据分割为1s信号片段，再采用256点的快速傅里叶变换对每个片段进行频域变换。频域变换后的片段包含脑电信号携带的频域信息。快速傅里叶变换的具体公式如下：

其中，n表示脑电信号的时域离散点，k表示频域变换后的频率点，x(n)表示输入的脑电信号序列。

差分熵特征从频域中提出，包含情感在频域上的分布信息。相比原始脑电信号，差分熵矩阵更能表征情感信息。采用以下公式计算差分熵：

其中，π与e均为常数，σ²为脑电信号的方差。脑电信号在采集过程中不含直流分量，因此脑电信号的均值为零，其某一特定频段的方差值为该频段的频域能量的整数倍，因此差分熵值的计算结果为此特定频段的频域能量的对数值。

所述步骤4具体为：

深层卷积神经网络模型由输入层、第一层卷积池化模块、第二层卷积池化模块、第三层卷积池化模块、全连接层和最终输出层共六层模块构成。模型的输入为步骤3构建的差分熵矩阵。第一、二、三层卷积池化模块都包含：卷积层主动学习并提取输入信号的平移不变特征图，池化层对数据进行降维。其中，第一层卷积池化模块还添加了空间滤波器，用于消除差分熵矩阵中导联维排列的非空间性。在整个训练模型中，激活函数选用PReLU函数，为尽量保留信号的数值原始分布采用了批归一化(BN)处理。全连接层将二维矩阵平铺为一维数据，在训练过程中，采用出现概率为0.5的Dropout函数避免模型可能出现的过拟合现象，最终输出层采用softmax函数，其输出为给定输入后分类为某一标签的条件概率，通过最小化每种分类的损失值来修正模型中的各个参数。损失函数采用负对数似然性来评估，在反向传播中遵循随机梯度下降原则和Adam策略优化参数，直至模型达到最优的分类效果。

深度卷积神经网络模型具体为：

L0：该层为输入层。L0层的输入为步骤3中构建的差分熵矩阵训练集。输入矩阵用P_m，n表示，其中m表示导联数，1≤m≤N_elec，其中n表示频率点数，1≤n≤N_f，输入矩阵的大小为62*200。用X_{l，t，(m，n)}表示第l层中第t个图的(m，n)位置的神经元的输出值，用σ_{l，t，(m，n)}表示第l层中第t个图的(m，n)位置的神经元的输入值，有

X_{l，t，(m，n)}＝f(σ_{l，t，(m，n)}) (3)

其中，f为激活函数，本发明中模型的激活函数选用PReLU函数。PReLU函数的表达式为：

其中，k_ji是服从均匀分布的随机值，其值通过模型训练得到。在激活函数作用的同时还对数据进行了批归一化(BN)处理。

L1：

该层为第一层卷积池化模块。其中，P_m，n为L1层输入矩阵，即构建的差分熵矩阵，K₁为卷积核的大小(K1＝3)，ω_1，t，r代表第t个卷积核中第r个神经元与输入矩阵对应位置的连接权值，b₁为L1层的偏置，

为经过激活函数后的输出，X_{1，t，(m，n)}为

再经过批归一化后的L1层的最终输出。在本发明中具体地，该层由20个大小为1*3的卷积核提取输入矩阵的特征图，在激活函数的作用下获取L1层各神经元的输出值，经过卷积运算后得到的输出维度为62*198*20，池化层主要采用1*3的最大池化方法。L1层连接着差分熵矩阵与卷积层，为了消除差分熵矩阵中导联维排列的非空间性，采用空间滤波器将各个导联以线性加权组合。L1层最终输出的矩阵大小为20*66。

L2：

该层为第二层卷积池化模块。其中，X_{1，t，(m，n)}为L2层输入矩阵，N₂为卷积核的纵向大小(N₂＝20)，K₂为卷积核的横向大小(K₂＝4)，ω_{2，t，(m，n)}为L2层第t个卷积核中的(m，n)位置与X_{1，t，(m，n)}对应位置的连接权值，b₂为L2层的偏置。具体地，该层利用30个大小为20*4的卷积核来提取L1层输出矩阵的平移不变特征图，在PReLU激活函数的作用下获取L2层各神经元的输出值，再利用1*3的最大池化对特征降维。最终输出的矩阵大小为30*21。

L3：

该层为第三层卷积池化模块。其中，X_{2，t，(m，n)}为L3层输入矩阵，N₃为卷积核的纵向大小(N₃＝30)，K₃为卷积核的横向大小(K₃＝10)，ω_{3，t，(m，n)}为L3层第t个卷积核中的(m，n)位置与X_{2，t，(m，n)}对应位置的连接权值；b₃为L3层的偏置。具体地，该层利用50个大小为30*10的卷积核来提取L2层输出矩阵的平移不变特征图，在PReLU激活函数的作用下获取L3层各神经元的输出值，再利用1*3的最大池化方法对特征进行降维。最终输出的矩阵大小为50*4。

L4：

σ_4，h＝X_{3，t，(m，n)}ω_{4，t，(m，n)}+b₄，m＝1，...，50，n＝1，...，4，h＝1，...，200 (9)

该层为全连接层。其中，m和n分别为矩阵X_{3，t，(m，n)}的纵向维度和横向维度，m＝1，...，50，n＝1，...，4；σ_4，h为L4层的输出矩阵，1≤h≤mn。ω_{4，t，(m，n)}为L4层卷积核中的(m，n)位置与X_{3，t，(m，n)}对应位置的连接权值；b₄为L4层的偏置。该层首先利用flatten函数将L3层的输出矩阵平铺为一维输出，大小为1*200。在全连接后采用出现概率为0.5的Dropout避免模型可能出现的过拟合现象。

L5：

该层为最终分类层。其中，p(l_k|f_k(Xⁱ，θ))为softmax函数生成的条件概率，它表示在给定输入Xⁱ的情况下，最终分类为l_k类别的条件概率。情感类别包含快乐、悲伤、恐惧、平和四种，其标签记为1，2，3，4；Softmax函数的结果相当于输入矩阵被分到每种情感的概率分布，该函数为单调增函数，即输入值越大，输出也越大，输入矩阵属于该种情感的概率也越大。通过对比训练得到的判定类别和输入数据的真实类别，根据随机梯度下降原则及Adam策略反向传播修正并优化模型中的参数，直至模型达到最优分类效果。

在训练整个网络时，使用负对数似然性作为损失函数来估计分类损失，加快收敛速度，提高分类能力。其具体公式为：

其中，p(l_k|f_k(Xⁱ，θ))为上述softmax函数生成的条件概率。θ^*为反向传播中在损失函数最小的情况下修正和优化后的各个超参数。

所述步骤5具体为：将差分熵矩阵测试集输入到步骤4训练的最优模型中，采用十折交叉验证法，实现模型对快乐、悲伤、恐惧、平和四种情感的分类，获的最终的分类准确率，其标签分别为1，2，3，4。

下面结合附图和具体实施方式对本发明做进一步描述：

参阅图1，图1为本发明的整体实验框图。具体为：受试者观看情感视频刺激素材，在视频刺激呈现期间通过脑电采集帽记录受试者的脑电信号。在脑电信号预处理方面，首先对数据进行采样，利用ICA方法去除原始脑电信号中的眼电伪迹，并剔除脑电信号中由无效电极引起或局部损坏的脑电信号，随后将脑电信号输入到0.3-50Hz的带通滤波器中；对数据进行分段并构建差分熵矩阵，将差分熵矩阵训练集输入深度卷积神经网络模型中训练，反向传播并逐步修正和优化模型中的超参数，随后将差分熵矩阵测试集输入到训练好的模型中进行情感状态的分类。受试者的情感脑电信号由情感视频刺激素材的内容诱发，分别包含快乐、悲伤、恐惧及平和四种单一情感，最终分类任务为四分类。最后将最终的分类结果反馈至受试者。

参阅图2，图2为本发明的方法流程图，使用本发明方法进行具体分类任务时，需采取的实施步骤具体如下：

第一步：受试者穿戴脑电采集设备，在实验环境下观看带有情感视频刺激素材，脑电采集设备记录下受试者由情感刺激视频素材诱发的脑电信号。

第二步：对数据进行采样及预处理，先对数据进行1000Hz采样，再降采样至采样率为200Hz。在预处理方面，利用ICA方法去除脑电信号中的眼电伪迹，并剔除由无效电极引起或局部损坏的脑电信号，随后将脑电信号输入0.3-50Hz的带通滤波器中。

第三步：将数据分割为1s(62*200)片段，此片段大小即为模型输入的维度。随后，对原始脑电信号片段进行快速傅里叶变换并构建差分熵矩阵。差分熵特征能够较好地表征情感信息。差分熵的计算公式为：

其中，π与e均为常数，σ²为脑电信号的方差。脑电信号在采集过程中不含直流分量，因此脑电信号的均值为零，其某一特定频段的方差值为该频段的频域能量的整数倍，因此差分熵值的计算结果为此特定频段的频域能量的对数值。

第四步：训练深度卷积神经网络；

参阅图3，图3为本发明采用的深度卷积神经网络的分层结构图，其中每层的分层细节为：

L0：输入层。在训练过程中，深度卷积神经网络模型的输入为构建的差分熵矩阵训练集，其维度为62*200，62代表导联数，200代表矩阵的频率点数；

L1：第一层卷积池化模块。卷积层使用的是20个1*3的卷积核构成，卷积后矩阵大小为62*198*20；在神经元上采用PReLU激活函数对卷积后的矩阵值进行激活，其中PReLU函数可通过训练确定激活函数中的最佳参数k_ji，同时还对数据进行了批归一化(BN)处理，使数据更好地贴近输入矩阵的数值分布；由于各导联并接排列不具有空间性，于是在L1层还采用了空间滤波器对导联维进行滤波，得到矩阵大小为20*198；随后进行了1*3的最大池化方法，最终输出矩阵的大小为20*66；

L2：第二层卷积池化模块。卷积层使用的是30个20*4的卷积核构成，卷积后矩阵大小为30*63；在神经元上采用PReLU激活函数对卷积后的矩阵值进行激活，其中PReLU函数可通过训练确定激活函数中的最佳参数k_ji，同时还对数据进行了批归一化(BN)处理，使数据更好地贴近L1层输出信号的分布；随后进行了1*3的最大池化方法，最终输出矩阵的大小为30*21；

L3：第三层卷积池化模块。卷积层使用的是50个30*10的卷积核构成，卷积后矩阵大小为50*12；在神经元上采用PReLU激活函数对卷积后的矩阵值进行激活，其中PReLU函数可通过训练确定激活函数中的最佳参数k_ji，同时还对数据进行了批归一化(BN)处理，使数据更好地贴近L1层输出信号的分布；随后进行了1*3的最大池化方法，最终输出矩阵的大小为50*4；

L4：全连接层。该层将L3的输出矩阵线性拼接为一维矩阵，大小为1*200；为了在训练过程中减少过拟合化的现象，该层在训练过程中采用了出现概率为0.5的Dropout策略暂时对隐藏层的神经元输入、输出设置为0，但不改变神经元的各参数。但不同的是在测试过程中，Dropout的出现概率设定为1；

L5：最终输出层。采用softmax函数描述该输入数据对应于最终分类的各个类别的条件概率，最大概率对应的类别即为该输入的分类类别。比较训练的分类类别和真实类别的损失函数，依据随机梯度下降原则和Adam优化策略，反向传播更新各层的权重和偏置参数，经过多次训练使得模型中的各个超参数构建的模型达到最优状态。

在训练整个网络时，使用负对数似然性作为损失函数来加快收敛速度，提高分类能力。其具体公式为：

其中，p(l_k|f_k(Xⁱ，θ))为softmax函数生成的条件概率分布，其表示在给定输入Xⁱ的情况下，最终分类为l_k(k＝1，2，3，4)类别的条件概率。θ^*为反向传播中在损失函数最小的情况下修正和优化后的超参数。

设计深度卷积神经网络模型采用的策略如表(1)所示：

激活函数	PReLU函数
		池化层	最大池化方法(Max Pooling)
归一化	批归一化(BN)
		梯度下降原则	随机梯度下降原则
参数学习优化	Adam算法
		避免过拟合	Dropout
损失函数	负对数似然性

表(1)

第五步：测试集数据为差分熵矩阵格式，将测试数据输入到训练最优的模型中，并采用十折交叉验证法，提高识别准确率。参与分类的情感类别为快乐、悲伤、恐惧、平和四种，其标签分别为1，2，3，4。

本发明提供了一种基于深度卷积神经网络的脑电信号情感识别方法，能够通过由情感事件诱发的脑电信号来对特定情感分类任务(包含开心、悲伤、恐惧、平和四种情感)进行分类识别。此方法联合差分熵矩阵和深度卷积神经网络以提高情感分类任务的分类准确率。同时，深度卷积神经网络模型具有解决复杂分类问题的能力，只需设定好各层权重和偏置参数，模型能自适应地学习输入信号的特征并修正参数，直至模型每一类标签的分类准确率高。

以下是本发明涉及的符号说明：

公式(1)n表示脑电信号的时域离散点，N为时域离散点总数，k表示频域变换后的频率点，x(n)表示输入的脑电信号序列；

公式(2)中：π、e为常数，μ为脑电信号的均值，σ²为脑电信号的方差，x为脑电信号4中：L0，…，L5；

公式(3)中：l表示第l层，t表示第t个图，(m，n)表示特征图上第m行第n列的神经元位置；X_{l，t，(m，n)}表示第l层中第t个图的(m，n)位置的神经元的输出值，σ_{l，t，(m，n)}表示第l层中第t个图的(m，n)位置的神经元的输入值；

公式(4)中：x_ji代表激活函数的输入值，y_ji代表激活函数的输出值，k_ji代表服从均匀分布的随机值；

公式(5)中：此时l＝1，代表第L1层；P_m，n为L1层的输入矩阵，即构建的差分熵矩阵；m表示导联数，1≤m≤N_elec，其中n表示频率点数，1≤n≤N_f，此时N_elec＝62导，N_f＝200点；K₁为卷积核的大小(K1＝3)；ω_1，t，r代表第t个卷积核中第r个神经元与输入矩阵对应位置的连接权值，b₁为L1层的偏置；σ_{1，t，(m，n)}表示L1层中第t个图的(m，n)位置的神经元的输入值；

公式(6)中：f为激活函数，σ_{1，t，(m，n)}表示第1层中第t个图的(m，n)位置的神经元的输入值；BN代表批归一化处理，X_{1，t，(m，n)}表示第L1层中第t个图的(m，n)位置的神经元的输出值；

公式(7)中：此时l＝2，代表第L2层；X_{1，t，(m，n)}为L2层输入矩阵；ω_{2，t，(m，n)}为L2层第t个卷积核中的(m，n)位置与X_{1，t，(m，n)}对应位置的连接权值；b₂为L2层的偏置；N₂为卷积核的纵向大小(N₂＝20)，K₂为卷积核的横向大小(K₂＝4)；σ_{2，t，(m，n)}表示L2层中第t个图的(m，n)位置的神经元的输入值；

公式(8)中：此时l＝3，代表第L3层；X_{2，t，(m，n)}为L3层输入矩阵；ω_{3，t，(m，n)}为L3层第t个卷积核中的(m，n)位置与X_{2，t，(m，n)}对应位置的连接权值；b₃为L3层的偏置；N₃为卷积核的纵向大小(N₃＝30)，K₃为卷积核的横向大小(K₃＝10)；σ_{3，t，(m，n)}表示L3层中第t个图的(m，n)位置的神经元的输入值；

公式(9)中：此时l＝4，代表第L4层；X_{3，t，(m，n)}为L4层输入矩阵；ω_{4，t，(m，n)}为L4层卷积核中的(m，n)位置与X_{3，t，(m，n)}对应位置的连接权值；b₄为L4层的偏置；m和n分别为矩阵X_{3，t，(m，n)}的纵向维度和横向维度，m＝1，...，50，n＝1，...，4；σ_4，h为L4层的输出矩阵，1≤h≤mn；

公式(10)中：p(l_k|f_k(xⁱ，θ))为softmax函数生成的条件概率，它表示在给定输入Xⁱ的情况下，最终分类为l_k类别的条件概率；k为标签，k＝1，2，3，4；

公式(11)和(12)中：p(l_k|f_k(Xⁱ，θ))为上述softmax函数生成的条件概率；loss(yⁱ，p(l_k|f_k(Xⁱ，θ)))为负对数似然性，用来评价分类损失；θ^*为反向传播中在损失函数最小的情况下修正和优化后的各个超参数。

Claims (1)

1.一种深度卷积神经网络的脑电信号情感识别方法，其特征在于：其步骤是：

步骤1：采集脑电信号；

步骤2：数据预处理：

首先对数据进行1000Hz采样，随后降采样到采样频率为200Hz，采用ICA方法去除眼电伪迹，并剔除脑电信号中由无效电极引起或局部损坏的部分，数字滤波器选用0.3-50Hz的带通滤波器；

步骤3：构建差分熵矩阵：

将预处理后的数据分割为1s信号片段，再采用256点的快速傅里叶变换对每个片段进行频域变换；频域变换后的片段包含脑电信号携带的频域信息；快速傅里叶变换的具体公式如下：

其中，n表示脑电信号的时域离散点，k表示频域变换后的频率点，x(n)表示输入的脑电信号序列；

差分熵特征从频域中提出，包含情感在频域上的分布信息，相比原始脑电信号，差分熵矩阵更能表征情感信息，采用以下公式计算差分熵：

其中，π与e均为常数，σ²为脑电信号的方差；

步骤4：训练深度卷积神经网络模型：

深层卷积神经网络模型由输入层L0、第一层卷积池化模块L1、第二层卷积池化模块L2、第三层卷积池化模块L3、全连接层L4和最终输出层共六层模块构成；

L0：该层为输入层，L0层的输入为步骤3中构建的差分熵矩阵训练集，输入矩阵用P_m，n表示，其中m表示导联数，1≤m≤N_elec，其中n表示频率点数，1≤n≤N_f，输入矩阵的大小为62*200；用X_l，t，(m，n)表示第l层中第t个图的(m，n)位置的神经元的输出值，用σ_l，t，(m，n)表示第l层中第t个图的(m，n)位置的神经元的输入值，有

X_{l，t，(m，n)}＝f(σ_{l，t，(m，n)}) (3)

其中，f为激活函数，模型的激活函数选用PReLU函数：

其中，k_ji是服从均匀分布的随机值，在激活函数作用的同时还对数据进行了批归一化处理；

其中，P_m，n为L1层输入矩阵，即构建的差分熵矩阵，K₁为卷积核的大小(K₁＝3)，ω_1，t，r代表第t个卷积核中第r个神经元与输入矩阵对应位置的连接权值，b₁为L1层的偏置，

为经过激活函数后的输出，X_{1，t，(m，n)}为

再经过批归一化后的L1层的最终输出；

L2：

其中，X_{1，t，(m，n)}为L2层输入矩阵，N₂为卷积核的纵向大小，K₂为卷积核的横向大小，ω_{2，t，(m，n)}为L2层第t个卷积核中的(m，n)位置与X_{1，t，(m，n)}对应位置的连接权值，b₂为L2层的偏置；

L3：

其中，X_{2，t，(m，n)}为L3层输入矩阵，N₃为卷积核的纵向大小，K₃为卷积核的横向大小，ω_{3，t，(m，n)}为L3层第t个卷积核中的(m，n)位置与X_{2，t，(m，n)}对应位置的连接权值；b₃为L3层的偏置；

L4：

σ_4，h＝X_{3，t，(m，n)}ω_{4，t，(m，n)}+b₄，m＝1，...，50，n＝1，...，4，h＝1，...，200 (9)

其中，m和n分别为矩阵X_{3，t，(m，n)}的纵向维度和横向维度，m＝1，...，50，n＝1，...，4；σ_4，h为L4层的输出矩阵，1≤h≤mn；ω_{4，t，(m，n)}为L4层卷积核中的(m，n)位置与X_{3，t，(m，n)}对应位置的连接权值；b₄为L4层的偏置；

L5：

其中，p(l_k|f_k(Xⁱ，θ))为softmax函数生成的条件概率，它表示在给定输入Xⁱ的情况下，最终分类为l_k类别的条件概率，情感类别包含快乐、悲伤、恐惧、平和四种，其标签记为1，2，3，4；

在训练整个网络时，使用负对数似然性作为损失函数来估计分类损失，加快收敛速度，提高分类能力，其具体公式为：

其中，p(l_k|f_k(Xⁱ，θ))为上述softmax函数生成的条件概率；θ^*为反向传播中在损失函数最小的情况下修正和优化后的各个超参数；

步骤5：测试集的情感分类：将差分熵矩阵测试集输入到步骤4训练的最优模型中，采用十折交叉验证法，实现模型对快乐、悲伤、恐惧、平和四种情感的分类，获的最终的分类准确率，其标签分别为1，2，3，4。

Images