CN111616721B - 基于深度学习和脑机接口的情绪识别系统及应用 - Google Patents

Abstract

一种基于深度学习和脑机接口的情绪识别系统及应用，包括依次连接的便携式脑电采集设备、情绪脑电分类模块和情绪分类显示模块，所述便携式脑电采集设备从被试者大脑采集情绪EEG脑电信号，所述的情绪脑电分类模块对情绪EEG脑电信号进行分析，建立情绪EEG脑电信号与情绪之间的关系模型，通过关系模型，对输入的情绪EEG脑电信号进行情绪分类，所述的情绪分类显示模块显示识别出的情绪种类，提示被试者情绪状态。本发明的基于深度学习和脑机接口的情绪识别系统及应用，能够实现对情绪脑电信号的准确获取、有效辨识和正确分类，并直观提示情绪状态，实现情绪状态监测的功能。本发明直接建立脑电信号和情绪种类之间的对应关系，实现对情绪的反馈。

Description

基于深度学习和脑机接口的情绪识别系统及应用

技术领域

本发明涉及一种情绪识别系统。特别是涉及一种基于深度学习和脑机接口的情绪识别系统及应用。

背景技术

情绪是人受到外界事物刺激时的反应，是一种广泛而复杂的生理和心理状态。人的情绪状态种类繁多，心理学家Ekman将其大致定义为高兴、生气、吃惊、恐惧、厌恶和悲伤六种。事实上，还有很多其他的情绪状态，如羞愧，傲慢，失望，焦虑等。人的情绪状态往往反应了一个人对外在事物的态度与看法，通过情绪识别可以帮助人们提高设备使用安全性，分析日常行为潜在情感因素。例如，在康复医疗方面，可以帮助医生诊断以及预防如抑郁症、创伤后应激障碍等问题。同时，根据患者的情绪反应可以方便医护人员提供更好的医疗护理，以辅助患者的康复。在交通运输方面，可以通过情绪检测分析驾驶员的精神状态，如是否疲劳，清醒程度如何，是否紧张焦虑等，来确保驾驶安全。在教育行业，可以通过学生对不同科目的情绪反应开发学生特长，进行更有针对性的辅导。同时，当学生大脑负荷较重，显示出疲劳情绪时，提示教师活跃课堂或者短暂休息，确保课堂效率。对情绪的精确识别可以从很多方面提升我们的生活质量。

人的情绪可以通过各种途径反映出来，例如面部表情、语音语调、动作眼神等等。现阶段情绪识别可以利用包括表情、语音、动作以及生理信号等模态。其中，生理信号特别是脑电信号(Electroencephalogram,EEG)不容易受到人为因素的影响。由于脑电信号的稳定性，基于脑电信号的情绪分类工作得到广泛关注。然而在实际应用中，利用脑电信号进行情绪分析还存在着很多挑战。首先，脑电采集过程比较困难，想要获得稳定的脑电信号对采集设备、被试者、外部环境都有一定的要求。尽管植入式和半植入式脑电电极能获得更稳定的信号，但其操作复杂，日常使用可行性较低。目前业界普遍采用的是非植入式脑电电极，虽然有便携、操作简单等优点，但容易收到外界噪声影响。其次，脑电信号具有强度弱和背景噪声强的特点，想要得到真实有效的脑电信号需要先进的预处理技术。同时，在分类工作时，需要一些处理技术从大量信号样本中提取特征，以建立信号与情绪状态之间的对应关系，这个过程对处理方法的准确性要求很高。

最近，复杂网络理论作为一种多学科融合方法为复杂系统分析提供了新的途径。其中，多层网络由于其多尺度特性，在分析时空数据集上具有优势。人类大脑是一个复杂系统，复杂网络无疑是分析人脑信号在多空间、多尺度上的交互模式的有力工具。其中，利用脑电信号建立脑网络进行分析的方法也越来越受到关注。将脑电极被设定为节点，通过各种各样的相关性测度确定节点之间的连边以建立脑网络。通过对脑网络特性的研究可以深化对脑电信号特征的理解。

随着计算机处理速度和计算能力的提升，使用深度学习处理大数据样本成为可能。作为人工智能领域的前沿技术，深度学习是一种端到端的学习方法，它可以自动学习并提取输入样本的抽象特征，不用进行人工的操作分析，大大提高了处理效率。脑电信号数据具有数量大，特征多，变化快的特点，使用深度学习方法分析脑电数据优势明显。其中，卷积神经网络(Convolutional Neural Network,CNN)有权值共享和局部感知的特点，有效降低了模型参数数量和复杂性，使得模型更易于训练。同时，它更接近实际的生物神经网络，具有对于平移、旋转、尺度缩放等形式的变有度的不变性，可以有效从大量样本中学习到相应的特征。Densenet作为一种基于卷积神经网络的深度学习模型，有着参数节省，计算效率高，一定抗过拟合的特性，在分析大数据样本上具有很大潜力。

发明内容

本发明所要解决的技术问题是，提供一种能够实现对情绪脑电信号的准确获取、有效辨识和正确分类的基于深度学习和脑机接口的情绪识别系统及应用。

本发明所采用的技术方案是：一种基于深度学习和脑机接口的情绪识别系统，包括依次连接的便携式脑电采集设备、情绪脑电分类模块和情绪分类显示模块，所述便携式脑电采集设备从被试者大脑采集情绪EEG脑电信号，所述的情绪脑电分类模块对情绪EEG脑电信号进行分析，建立情绪EEG脑电信号与情绪之间的关系模型，通过关系模型，对输入的情绪EEG脑电信号进行情绪分类，所述的情绪分类显示模块显示识别出的情绪种类，提示被试者情绪状态。

一种基于深度学习和脑机接口的情绪识别系统的应用，包括如下步骤：

1)使用者观看不同的情感视频，在视频刺激下产生三种不同的情绪，分别是积极、中性和消极；

2)使用便携式脑电采集设备采集使用者三种不同情绪下的情绪EEG脑电信号，根据情绪EEG脑电信号和相应的情绪标签训练情绪分类深度学习模型；

3)使用便携式脑电采集设备采集使用者待识别的新的情绪EEG脑电信号，并输入到用于情绪分类检测的双输入深度学习模型，对新的情绪EEG脑电信号进行情绪分类；

4)通过显示器显示出当前情绪种类，提示使用者的情绪状态。

本发明的基于深度学习和脑机接口的情绪识别系统及应用，能够实现对情绪脑电信号的准确获取、有效辨识和正确分类，并直观提示情绪状态，实现情绪状态监测的功能。本发明直接建立脑电信号和情绪种类之间的对应关系，实现对情绪的反馈。

附图说明

图1是本发明基于深度学习和脑机接口的情绪识别系统的构成框图；

图2是本发明中便携式脑电采集设备构成框图；

图3是本发明中构建多层脑复杂网络的流程图；

图4是本发明中双输入深度学习模型的结构示意图；

图5是本发明基于深度学习和脑机接口的情绪识别系统的应用示意图；

具体实施方式

下面结合实施例和附图对本发明的基于深度学习和脑机接口的情绪识别系统及应用做出详细说明。

如图1所示，本发明的基于深度学习和脑机接口的情绪识别系统，包括依次连接的便携式脑电采集设备1、情绪脑电分类模块2和情绪分类显示模块3，所述便携式脑电采集设备1从被试者大脑采集情绪EEG脑电信号，所述的情绪脑电分类模块2对情绪EEG脑电信号进行分析，建立情绪EEG脑电信号与情绪之间的关系模型，通过关系模型，对输入的情绪EEG脑电信号进行情绪分类，所述的情绪分类显示模块3显示识别出的情绪种类，提示被试者情绪状态。

如图2所示，本发明所述的便携式脑电采集设备1包括有：依次连接的用于采集情绪EEG脑电信号的脑电极帽及其转接线11、用于情绪EEG脑电信号放大和转换的生物电信号采集模块12、用于控制情绪EEG脑电信号的采集并通过USB通信电路14向情绪脑电分类模块2传输情绪EEG脑电信号的FPGA处理器13，以及分别连接生物电信号采集模块12和FPGA处理器13的系统供电电路15，其中，

所述的脑电极帽及其转接线11中的脑电极帽采集不同脑区的情绪EEG脑电信号，通过转接线及DSUB37接口与生物电信号采集模块12相连接，用于生物电信号的采集和传输；

所述的生物电信号采集模块12是由数片集成了用于接收脑电帽采集的电压信号的高共模抑制比模拟输入模块、用于进行脑电压信号放大的低噪声可编程增益放大器PGA和用于将模拟信号转换为数字信号的高分辨率同步采样模数转换器ADC的生物电信号采集芯片组成；

所述的FPGA处理器13用于调整生物电信号采集模块12的采集模式与参数和控制USB通信电路14将情绪EEG脑电信号数据向情绪脑电分类模块2传输；

所述的USB通信电路14的输出连接所述情绪脑电分类模块2的输入端，USB通信电路14工作在异步FIFO模式，最高传输速率8MB/秒，在FPGA处理器13的控制下周期性地将采集到的情绪EEG脑电信号以数据包的形式发送至情绪脑电分类模块2；

所述的系统供电电路15，输入电压为5V，由USB接口进行供电，通过电压转换模块提供系统不同芯片的工作电压。

所述的便携式脑电采集设备1采集被试者情绪EEG脑电信号，是采集被试者对应于脑电极帽的FP1,FPZ,FP2,AF3,AF4,F7,F5,F3,F1,FZ,F2,F4,F6,F8,FT7,FC5,FC3,FC1,FCZ,FC2,FC4,FC6,FT8,T7,C5,C3,C1,CZ,C2,C4,C6,T8,TP7,CP5,CP3,CP1,CPZ,CP2,CP4,CP6,TP8,P7,P5,P3,P1,PZ,P2,P4,P6,P8,PO7,PO5,PO3,POZ,PO4,PO6,PO8,CB1,O1,OZ,O2,CB2共62个电极的情绪EEG脑电信号；脑电极帽的电极分布符合10/20国际标准导联；具体是使用视频片段作为情绪刺激源，采集被试者观看视频后产生相应情绪状态的情绪EEG脑电信号；所述的相应情绪状态为积极情绪状态，消极情绪状态和中性情绪状态，采集过程是：

(1)被试者观看三种不同情绪对应的视频片段，在视频源刺激期间产生情绪EEG脑电信号；

(2)在每次观看视频时，便携式脑电采集设备完成情绪EEG脑电信号采集，并为每一次采集到的情绪情绪EEG脑电信号根据刺激所用的视频设定标签，标签和情绪EEG脑电信号共同构成样本集。

本发明所述的情绪脑电分类模块2的运行具体包括如下步骤：

1)使用便携式脑电采集设备获取三种情绪状态的情绪EEG脑电信号

c＝1,2,…,62构成样本集，其中c代表电极序号，L为信号采集的长度，X_c,g表示第c个电极采样到的第g个数据点的数值；

2)对情绪情绪EEG脑电信号

进行滑动窗口划分，得到情绪EEG脑电信号片段，对情绪EEG脑电信号片段进行连续小波变换，将原情绪EEG脑电信号片段分为五个频段，在五个频段δ,θ,α,β,γ内分别构建脑复杂网络A^f,f＝δ,θ,α,β,γ，最终得到多层脑复杂网络；

所述的五个频段分别为：δ(1-3Hz)、θ(4-7Hz)、α(8-12Hz)、β(13-30Hz),和γ(31-50Hz)五个频段，多层脑复杂网络的构建如图3所示，具体包括：

(2.1)对于采集到的情绪EEG脑电信号

通过长度为l的无重叠滑动窗口进行数据分割，滑动窗口的滑动步长为b，得到一系列滑动窗口数据，其中第j个滑动窗口数据表示为

表示第c个频段中第j个滑动窗口中的第g₁个数据点；

(2.2)对于每个滑动窗口得到的数据片段，使用连续小波变换将每个情绪EEG脑电信号片段划分为5个频段，得到分频后的情绪EEG脑电信号

f＝δ,θ,α,β,γ；

(2.3)对一个频段内的情绪EEG脑电信号

将每个通道设置为一个节点，节点之间的连边通过皮尔逊相关系数(Pearson correlation coefficient，PCC)来推断，以此来建立脑复杂网络，包括：

(2.3.1)通道间皮尔逊相关系数的计算，皮尔逊相关系数能够衡量两个变量序列之间的相似性，取值范围为-1到1，两个通道间皮尔逊相关系数ρ_X,Y的计算如下：

其中，σ_X和σ_Y分别是通道X和通道Y的情绪EEG脑电信号的标准差，计算两两通道之间的皮尔逊相关系数，得到通道间的邻接矩阵；

(2.3.2)对通道之间皮尔逊相关系数值进行权重排序，去除50％权重较小的连边，得到该频段内的脑复杂网络；

(2.4)在五个频段内重复第(2.3)步，得到对应五个频段δ,θ,α,β,γ的脑复杂网络A^δ，A^θ，A^α，A^β，A^γ，进而构成多层脑复杂网络。

3)选取不同类别情绪脑复杂网络之间差异最大的30个节点作为关键节点，依据关键节点重构多层脑复杂网络；包括：

(3.1)计算每个网络节点的聚集系数

其中k_i表示与节点i相邻节点的数量，e(i)表示节点i实际连边数量；

(3.2)统计节点i在三种不同情绪间聚集系数的差异大小

q1≠q2，其中

表示不同类别情绪脑复杂网络的节点i的聚集系数，q1和q2代表两种不同的情绪状态，对M值进行从大到小排序，选取M值较大的30个节点作为关键节点，通过保留脑复杂网络中关键节点与关键节点之间的连边，并去除其他连边，来重构多层脑复杂网络。

4)搭建双输入深度学习模型的卷积神经网络分支，卷积神经网络分支的输入是多层脑复杂网络和对应的标签，所述的卷积神经网络分支由五层相同的卷积神经网络模型组成，每一层卷积神经网络模型对应多层脑复杂网络的五个频段δ,θ,α,β,γ中的一个频段；所述的每一层卷积神经网络模型包括依次连接的：

(4.1)数据输入层，输入为对应频段脑复杂网络A^f；

(4.2)第一卷积层，卷积核大小为5×5，卷积核数量为8个，激活函数为ReLU函数；

(4.3)第一平均池化层，池化核大小为2×2；

(4.4)第二卷积层，卷积核大小为5×5，卷积核数量为16个，激活函数为ReLU；

(4.5)第二平均池化层，池化核大小为2×2；

(4.6)Dropout层，以概率p随机选择上一层的神经元，使该神经元不输出，减轻过拟合现象，对于δ,θ,α频段p＝0.03，对于β,γ频段p＝0.01；

(4.7)批量归一化层；

(4.8)Flatten层，将多维的输入一维化；

(4.9)全连接层，激活函数为ReLU，选择L1范数作为正则化项，L1范数设置为0.0005。

5)搭建双输入深度学习模型的密集卷积网络(DenseNet)分支，密集卷积网络分支的输入是使用小波变换进行0-50Hz滤波后的情绪EEG脑电信号和对应标签；

所述的双输入深度学习模型的密集卷积网络分支，包括依次连接的：

(5.1)数据输入层，输入数据为0-50Hz的情绪EEG脑电信号；

(5.2)卷积层，卷积核大小为1×62，卷积核数量为24个；

(5.3)第一密集块，由三个卷积块依次连构组成，每个卷积块包括一个批量归一化层和一个卷积层，每个卷积层的卷积核大小为3×1，三个卷积层的卷积核数量分别为36，48，60；

(5.4)第一过渡块，由一个卷积核大小为1×1、卷积核数量为72的卷积层，一个卷积核大小为2×1、卷积核数量为72的卷积层，以及一个2×2池化层组成；

(5.5)第二密集块，由三个卷积块依次连构组成，每个卷积块包括一个批量归一化层和一个卷积层，每个卷积层的卷积核大小为3×1，三个卷积层的卷积核数量分别为72，84，96；

(5.6)第二过渡块，由一个卷积核大小为1×1、卷积核数量为108的卷积层，一个卷积核大小为2×1、卷积核数量为108的卷积层，以及一个2×2池化层组成；

(5.7)第三密集块，由三个卷积块依次连构组成，每个卷积块包括一个批量归一化层和一个卷积层，每个卷积层的卷积核大小为3×1，三个卷积层的卷积核数量分别为108，120，132；

(5.8)全局池化层，池化核大小为50×1。

6)通过串联层连接所述卷积神经网络分支的输出和所述密集卷积网络分支的输出，所述的串联层与另外一个全连接层相连，全连接层输出分类结果，并用H个神经元表示，分类层选择Softmax作为激活函数，Softmax函数本质上是归一化的指数函数，定义为

其中h＝1…H，e为自然对数值，z_h为第h个神经元的输出，式中分母充当正则项作用，使得

使用Keras框架实现深度学习模型的搭建，得到双输入深度学习模型；

7)将采集到的三种情绪状态下的情绪EEG脑电信号分为训练集和验证集，使用训练集对双输入深度学习模型进行训练，使用验证集对训练后的双输入深度学习模型进行验证，最终得到用于情绪分类检测的双输入深度学习模型。包括：

对双输入深度学习模型的训练，选用Adam优化算法，通过最小化交叉熵损失函数，对双输入深度学习模型中的各种权值和偏差进行优化，记录使得验证集损失函数最小时的最优双输入深度学习模型，最优双输入深度学习模型学习率设为0.001，共进行100周期的循环训练，Batchsize大小为100，最终得到用于情绪分类检测的双输入深度学习模型。

本发明的实例中，双输入深度学习模型训练时的脑电数据样本共来自于15位实验者，平均年龄23岁，其中包括7名女性，脑电采集频率为200Hz，每位实验者去除中间休息时间采集50分钟数据。考虑到实验者之间的个体差异，用每个实验者的EEG脑电信号训练一个双输入深度学习模型。在双输入深度学习模型训练时，样本集的80％被用作训练模型参数，10％被用作验证集以在训练过程中获得最好的模型，10％的样本集被用作测试集确定模型最终性能。在性能测试中，15位实验者的模型在情绪三分类任务中获得了97.27％的平均分类准确率。

本发明的基于深度学习和脑机接口的情绪识别系统，对于通过每个使用者的脑电样本数据训练好的双输入深度学习模型，不需要新的调整。在情绪分类检测任务中，只要输入使用者新的脑电样本数据，双输入深度学习模型就可以确定相应的情绪种类。

如图5所示，本发明的基于深度学习和脑机接口的情绪识别系统的应用，包括如下步骤：

1)使用者观看不同的情感视频，在视频刺激下产生三种不同的情绪，分别是积极、中性和消极；

2)使用便携式脑电采集设备采集使用者三种不同情绪下的情绪EEG脑电信号，根据情绪EEG脑电信号和相应的情绪标签训练情绪分类深度学习模型；

3)使用便携式脑电采集设备采集使用者待识别的新的情绪EEG脑电信号，并输入到用于情绪分类检测的双输入深度学习模型，对新的情绪EEG脑电信号进行情绪分类；

4)通过显示器显示出当前情绪种类，提示使用者的情绪状态。

Claims (7)

1.一种基于深度学习和脑机接口的情绪识别系统，包括依次连接的便携式脑电采集设备(1)、情绪脑电分类模块(2)和情绪分类显示模块(3)，其特征在于，所述便携式脑电采集设备(1)从被试者大脑采集情绪EEG脑电信号，所述的情绪脑电分类模块(2)对情绪EEG脑电信号进行分析，建立情绪EEG脑电信号与情绪之间的关系模型，通过关系模型，对输入的情绪EEG脑电信号进行情绪分类，所述的情绪分类显示模块(3)显示识别出的情绪种类，提示被试者情绪状态；其中，

所述的情绪脑电分类模块(2)的运行具体包括如下步骤：

1)使用便携式脑电采集设备获取三种情绪状态的情绪EEG脑电信号

构成样本集，其中c代表电极序号，L为信号采集的长度，X_c,g表示第c个电极采样到的第g个数据点的数值；

2)对情绪EEG脑电信号

进行滑动窗口划分，得到情绪EEG脑电信号片段，对情绪EEG脑电信号片段进行连续小波变换，将原情绪EEG脑电信号片段分为五个频段，在五个频段δ,θ,α,β,γ内分别构建脑复杂网络A^f,f＝δ,θ,α,β,γ，最终得到多层脑复杂网络；

3)选取不同类别情绪脑复杂网络之间差异最大的30个节点作为关键节点，依据关键节点重构多层脑复杂网络；包括：

(3.1)计算每个网络节点的聚集系数

其中k_i表示与节点i相邻节点的数量，e(i)表示节点i实际连边数量；

(3.2)统计节点i在三种不同情绪间聚集系数的差异大小

其中

表示不同类别情绪脑复杂网络的节点i的聚集系数，q1和q2代表两种不同情绪状态，对M值进行从大到小排序，选取M值较大的30个节点作为关键节点，只保留脑复杂网络中关键节点与关键节点之间的连边，并去除其他连边，来重构多层脑复杂网络；

4)搭建双输入深度学习模型的卷积神经网络分支，卷积神经网络分支的输入是多层脑复杂网络和对应的标签，所述的卷积神经网络分支由五层相同的卷积神经网络模型组成，每一层卷积神经网络模型对应多层脑复杂网络的五个频段δ,θ,α,β,γ中的一个频段；

5)搭建双输入深度学习模型的密集卷积网络分支，密集卷积网络分支的输入是使用小波变换进行0-50Hz滤波后的情绪EEG脑电信号和对应标签；

6)通过串联层连接所述卷积神经网络分支的输出和所述密集卷积网络分支的输出，所述的串联层与另外一个全连接层相连，全连接层输出分类结果，并用H个神经元表示，分类层选择Softmax作为激活函数，Softmax函数本质上是归一化的指数函数，定义为

其中h＝1…H，e为自然对数值，z_h为第h个神经元的输出，式中分母充当正则项作用，使得

使用Keras框架实现深度学习模型的搭建，得到双输入深度学习模型；

7)将采集到的三种情绪状态下的情绪EEG脑电信号分为训练集和验证集，使用训练集对双输入深度学习模型进行训练，使用验证集对训练后的双输入深度学习模型进行验证，最终得到用于情绪分类检测的双输入深度学习模型。

2.根据权利要求1所述的基于深度学习和脑机接口的情绪识别系统，其特征在于，所述的便携式脑电采集设备(1)包括有：依次连接的用于采集情绪EEG脑电信号的脑电极帽及其转接线(11)、用于情绪EEG脑电信号放大和转换的生物电信号采集模块(12)、用于控制情绪EEG脑电信号的采集并通过USB通信电路(14)向情绪脑电分类模块(2)传输情绪EEG脑电信号的FPGA处理器(13)，以及分别连接生物电信号采集模块(12)和FPGA处理器(13)的系统供电电路(15)，其中，

所述的脑电极帽及其转接线(11)中的脑电极帽采集不同脑区的情绪EEG脑电信号，通过转接线及DSUB37接口与生物电信号采集模块(12)相连接，用于生物电信号的采集和传输；

所述的生物电信号采集模块12是由数片集成了用于接收脑电帽采集的电压信号的高共模抑制比模拟输入模块、用于进行脑电压信号放大的低噪声可编程增益放大器(PGA)和用于将模拟信号转换为数字信号的高分辨率同步采样模数转换器(ADC)的生物电信号采集芯片组成；

所述的FPGA处理器13用于调整生物电信号采集模块(12)的采集模式与参数和控制USB通信电路(14)将情绪EEG脑电信号数据向情绪脑电分类模块(2)传输；

所述的USB通信电路(14)的输出连接所述情绪脑电分类模块(2)的输入端，USB通信电路(14)工作在异步FIFO模式，最高传输速率8MB/秒，在FPGA处理器(13)的控制下周期性地将采集到的情绪EEG脑电信号以数据包的形式发送至情绪脑电分类模块(2)；

所述的系统供电电路(15)，输入电压为5V，由USB接口进行供电，通过电压转换模块提供系统不同芯片的工作电压。

3.根据权利要求1所述的基于深度学习和脑机接口的情绪识别系统，其特征在于，所述的便携式脑电采集设备(1)采集被试者情绪EEG脑电信号，是采集被试者对应于脑电极帽的FP1,FPZ,FP2,AF3,AF4,F7,F5,F3,F1,FZ,F2,F4,F6,F8,FT7,FC5,FC3,FC1,FCZ,FC2,FC4,FC6,FT8,T7,C5,C3,C1,CZ,C2,C4,C6,T8,TP7,CP5,CP3,CP1,CPZ,CP2,CP4,CP6,TP8,P7,P5,P3,P1,PZ,P2,P4,P6,P8,PO7,PO5,PO3,POZ,PO4,PO6,PO8,CB1,O1,OZ,O2,CB2共62个电极的情绪EEG脑电信号；脑电极帽的电极分布符合10/20国际标准导联；具体是使用视频片段作为情绪刺激源，采集被试者观看视频后产生相应情绪状态的情绪EEG脑电信号；所述的相应情绪状态为积极情绪状态，消极情绪状态和中性情绪状态，采集过程是：

(1)被试者观看三种不同情绪对应的视频片段，在视频源刺激期间产生情绪EEG脑电信号；

(2)在每次观看视频时，便携式脑电采集设备完成情绪EEG脑电信号采集，并为每一次采集到的情绪EEG脑电信号根据刺激所用的视频设定标签，标签和情绪EEG脑电信号共同构成样本集。

4.根据权利要求1所述的基于深度学习和脑机接口的情绪识别系统，其特征在于，步骤2)中所述的五个频段分别为：δ(1-3Hz)、θ(4-7Hz)、α(8-12Hz)、β(13-30Hz),和γ(31-50Hz)五个频段，多层脑复杂网络的构建具体包括：

(2.1)对于采集到的情绪EEG脑电信号

通过长度为l的无重叠滑动窗口进行数据分割，滑动窗口的滑动步长为b，得到一系列滑动窗口数据，其中第j个滑动窗口数据表示为

表示第c个频段中第j个滑动窗口中的第g₁个数据点；

(2.2)对于每个滑动窗口得到的数据片段，使用连续小波变换将每个情绪EEG脑电信号片段划分为5个频段，得到分频后的情绪EEG脑电信号

(2.3)对一个频段内的情绪EEG脑电信号

将每个通道设置为一个节点，节点之间的连边通过皮尔逊相关系数来推断，以此来建立脑复杂网络，包括：

(2.2.1)通道间皮尔逊相关系数的计算，皮尔逊相关系数能够衡量两个变量序列之间的相似性，取值范围为-1到1，两个通道间皮尔逊相关系数ρ_X,Y的计算如下：

其中，σ_X和σ_Y分别是通道X和通道Y的情绪EEG脑电信号的标准差，计算两两通道之间的皮尔逊相关系数，得到通道间的邻接矩阵；

(2.2.2)对通道之间皮尔逊相关系数值进行权重排序，去除50％权重较小的连边，得到该频段内的脑复杂网络；

(2.4)在五个频段内重复第(2.3)步，得到对应五个频段δ,θ,α,β,γ的脑复杂网络A^δ，A^θ，A^α，A^β，A^γ，进而构成多层脑复杂网络。

5.根据权利要求1所述的基于深度学习和脑机接口的情绪识别系统，其特征在于，步骤4)中所述的每一层卷积神经网络模型包括依次连接的：

(4.1)数据输入层，输入为对应频段脑复杂网络A^f；

(4.2)第一卷积层，卷积核大小为5×5，卷积核数量为8个，激活函数为ReLU函数；

(4.3)第一平均池化层，池化核大小为2×2；

(4.4)第二卷积层，卷积核大小为5×5，卷积核数量为16个，激活函数为ReLU；

(4.5)第二平均池化层，池化核大小为2×2；

(4.6)Dropout层，以概率p随机选择上一层的神经元，使该神经元不输出，减轻过拟合现象，对于δ,θ,α频段p＝0.03，对于β,γ频段p＝0.01；

(4.7)批量归一化层；

(4.8)Flatten层，将多维的输入一维化；

(4.9)全连接层，激活函数为ReLU，选择L1范数作为正则化项，L1范数设置为0.0005。

6.根据权利要求1所述的基于深度学习和脑机接口的情绪识别系统，其特征在于，步骤5)中所述的双输入深度学习模型的密集卷积网络分支，包括依次连接的：

(5.1)数据输入层，输入数据为0-50Hz的情绪EEG脑电信号；

(5.2)卷积层，卷积核大小为1×62，卷积核数量为24个；

(5.3)第一密集块，由三个卷积块依次连构组成，每个卷积块包括一个批量归一化层和一个卷积层，每个卷积层的卷积核大小为3×1，三个卷积层的卷积核数量分别为36，48，60；

(5.4)第一过渡块，由一个卷积核大小为1×1、卷积核数量为72的卷积层，一个卷积核大小为2×1、卷积核数量为72的卷积层，以及一个2×2池化层组成；

(5.5)第二密集块，由三个卷积块依次连构组成，每个卷积块包括一个批量归一化层和一个卷积层，每个卷积层的卷积核大小为3×1，三个卷积层的卷积核数量分别为72，84，96；

(5.6)第二过渡块，由一个卷积核大小为1×1、卷积核数量为108的卷积层，一个卷积核大小为2×1、卷积核数量为108的卷积层，以及一个2×2池化层组成；

(5.7)第三密集块，由三个卷积块依次连构组成，每个卷积块包括一个批量归一化层和一个卷积层，每个卷积层的卷积核大小为3×1，三个卷积层的卷积核数量分别为108，120，132；

(5.8)全局池化层，池化核大小为50×1。

7.根据权利要求1所述的基于深度学习和脑机接口的情绪识别系统，其特征在于，步骤7)中对双输入深度学习模型的训练，选用Adam优化算法，通过最小化交叉熵损失函数，对双输入深度学习模型中的各种权值和偏差进行优化，记录使得验证集损失函数最小时的最优双输入深度学习模型，最优双输入深度学习模型学习率设为0.001，共进行100周期的循环训练，Batchsize大小为100，最终得到用于情绪分类检测的双输入深度学习模型。

Images