CN112932502A - 结合互信息通道选择与混合神经网络的脑电情感识别方法 - Google Patents

Abstract

本发明公开了一种结合互信息通道选择与混合神经网络的脑电情感识别方法，首先提取脑电信号各通道中γ节律的微分熵(DE)特征，通过DE计算通道间相互的归一化互信息(NMI)，将所得NMI矩阵按列求和后的向量作为表征各通道任务相关性的权值，根据权值选出最优通道集，之后采用卷积神经网络(CNN)和长短期记忆网络(LSTM)相结合的混合深度神经网络(HDNN)进行样本特征提取和分类。该方法选出的通道数量适中，分布合理，通道选择结合混合深度神经网络后一定程度的提高了情感BCI系统的分类性能，为情感脑电识别领域提供了一种新思路。

Description

结合互信息通道选择与混合神经网络的脑电情感识别方法

技术领域

本发明属于模式识别领域，提出一种结合互信息通道选择与混合神经网络的情感脑电识别方法，首先提取EEG信号各通道中γ节律的微分熵(Differential Entropy，DE)特征，通过DE计算通道间相互的归一化互信息(Normalized mutual information，NMI)，将所得NMI矩阵按列求和后的向量作为表征各通道任务相关性的权值，根据权值选出最优通道集，之后采用卷积神经网络和长短期记忆网络相结合的混合深度神经网络(Hybrid DeepNeural Networks，HDNN)进行样本特征提取和分类。

背景技术

随着人工智能技术的不断发展，情感识别已经成为了人机交互(Human MachineInterface，HMI)领域的研究热点。将情感自动识别技术引入到HMI应用，可显著提高用户的体验质量，并推动实现人工智能由感知智能到认知智能的飞跃。脑机接口(Brain ComputerInterface，BCI)可以有效的作为人机交互的桥梁，BCI技术可通过非侵入的方法采集人体脑电信号(electroencephalography，EEG)，且大量的神经生理学和心理学研究发现，人类的情绪产生和情感活动与大脑皮层的电信号高度相关，因此EEG信号凭借其高时间分辨率，低成本，高便捷的优点被有效的运用在人类情感识别任务中。

然而对情感EEG信号进行特征提取并分类是一项具有挑战性的任务，基于浅层机器学习方法的研究在该领域取得了一定的进展，研究者通常提取EEG信号的时域特征，频域特征，空间域特征等，并使用支持向量机(Support Vector Machine，SVM)，线性判别分析(Linear Discriminant Analysis，LDA)，随机森林((Random Forest，RF)等分类方法对提取到的EEG特征进行分类，浅层机器学习方法必须人为的从原EEG信号中寻找和提取各种与情感相关的特征，这也成为了阻碍研究突破的瓶颈。近年来随着深度学习技术的不断发展，深度神经网络(DNN)受到越来越多研究者的关注，例如基于深度信念网络(Deep BeliefNets，DBN)的脑电情感识别方法，基于卷积神经网络(Convolutional Neural Networks，CNN)的脑电情感识别方法，基于长短期记忆网络(Long Short-Term Memory，LSTM)的脑电情感识别方法等。DNN网络摆脱了特征工程，能够自行实现端到端的“黑箱”学习过程，适合对抽象的EEG信号进行识别分类，得到的分类结果也普遍优于浅层机器学习。然而EEG信号是一种集时域，频域，空间域信息于一体的复杂信号，仅使用的单模态DNN模型可能无法充分挖掘其潜在的特征规律，且脑电信号多个通道中可能存在着冗余信息干扰，不仅影响最终的分类结果还增大了样本维度，提高了DNN的训练难度。

发明内容

针对现有技术的不足，本发明提出一种结合互信息通道选择与混合神经网络的方法，用以完成对情感EEG信号识别和分类的任务。

本发明包括以下步骤：

步骤(1)：多通道脑电信号采集与预处理，首先采集受试者的多通道情感脑电信号，接着利用8阶巴特沃斯滤波器对每个通道的脑电信号进行带通滤波，得到δ(1-3Hz)，θ(4-7Hz)，α(8-13Hz)，β(14-30Hz)，γ(31-50Hz)这5个频带的EEG信号，并提取EEG信号各通道中γ频带的微分熵(Differential Entropy，DE)特征。

步骤(2)：基于归一化互信息(Normalized mutual information，NMI)的脑电通道选择，通过DE计算通道间相互的NMI，将所得NMI矩阵按列求和后的向量作为表征各通道任务相关性的权值，根据权值选出最优通道集。

步骤(3)：二维脑电序列变换方法，根据脑电帽电极的空间分布，将各通道同一采样时刻采集到一维脑电序列转换为二维矩阵形式，既保留了电极空间排布的拓扑特性，又可作为后续CNN网络的输入

步骤(4)：使用混合神经网络对样本进行特征提取和分类，将经过通道选择后的样本分别并行输入到CNN和LSTM网络中，其中输入CNN中的样本需要经过步骤(3)中的二维网状脑电序列变换，两类神经网络分别提取样本的特征并进行融合，使用softmax层对融合特征进行最后分类。

本发明的有益效果：本发明通过归一化NMI方法选出来的通道能有效地避免不同个体以及不同通道间的差异性，且所选通道分布的脑区与经验上和情感活动相关的脑区大致吻合，结合混合DNN网络后得到的EEG情感识别结果优于其它单模态DNN网络和未经通道选择的DNN网络。

附图说明

图1为单次实验的时间轴；

图2为脑电信号分频预处理；

图3为受试1观看第1段情感诱发视频得到的全通道NMI矩阵；

图4(a)为通道权值脑电地形图；

图4(b)为最优通道集；

图5为二维脑电序列变换方法；

图6为混合神经网络特征提取与分类过程。

具体实施方式

本发明采用DEAP公共数据集进行说明。数据集采集了32位健康受试各自观看40段时长1分钟的情感诱发视频的生理信号，其中包括32通道的EEG信号和8通道的外周生理信号，实验开始后，屏幕显示2秒当前视频编号，随后屏幕呈现交叉十字，记录5秒信号基值，接着播放60s的情感诱发视频，最后受试将对看过的视频在情感的唤醒度、效价、喜好度、控制程度4个维度上进行1-9的评分。具体时间轴如图1所示。DEAP中提供了预处理后的数据，提取每次实验的63秒EEG信号(包括3s实验前的脑电基线信号和60s的视频刺激信号)，并将信号下采样至128Hz，在本发明的验证中只使用数据集中的前32通道的EEG信号，并针对情感的效价和唤醒度进行识别分类，即根据被试的评分标记数据集中样本的类别，以5为阈值，将低于5的样本标记为低效价/唤醒度，高于5的样本标记为高效价/唤醒度。

下面结合附图详细描述本发明结合归一化互信息通道选择与混合神经网络的情感脑电识别方法，

步骤(1)：多通道脑电信号采集与预处理。

1)频带处理：脑电信号的δ(1-3Hz)，θ(4-7Hz)，α(8-13Hz)，β(14-30Hz)，γ(31-50Hz)5个频段与人的生理活动有着密切联系，其中γ频段与人类情感活动有较大关联，根据各节律的起始和截止频率，使用8阶巴特沃斯滤波器(Butter worth filter)对原脑电信号进行滤波，图2展示了受试1观看第一个视频后FPl通道的EEG信号经过巴特沃斯滤波器带通滤波后得到的5种节律波形。

2)DE特征提取：原EEG信号经过分频预处理后，以1s为一个时间窗，将EEG信号划分为互不重叠的EEG样本，提取各样本γ频段的微分熵特征，对于EEG样本的每个采样值近似的认为其服从正态分布N(μ，σ²)，得到单个EEG样本的DE特征为：

步骤(2)：基于归一化互信息的脑电通道选择。

互信息(Mutual Information，MI)是衡量两个随机变量之间相互依赖性的统计学指标，对于两类离散随机变量X和Y，其互信息为：

其中p(x，y)为两个随机变量的联合分布，p(x)，p(y)分别为两个随机变量的边缘分布，为了方便计算和对比，将所得的互信息进行归一化处理：

其中H(X)与H(Y)分别代表随机变量X和Y的信息熵(Information Entropy)。

首先计算被试观看完每个情感诱发视频后单时间窗内EEG信号的DE特征，然后计算各通道DE值之间的MI并进行归一化处理。由于相同通道之间的MI值为1，如此便得到了一个n×n(n代表通道个数)的实对称互信息矩阵。如图3为受试1在观看完第1段情感诱发视频后得到的NMI矩阵。

以权值来表征各通道的任务相关程度并进行通道选择，零初始化各被试全通道权值向量

求出被试每次实验对应的I_NMI后，对其按列相加，得到各通道与其他通道互信息和的数组V_NMI，互信息和值越大代表该通道在情感活动中与其余脑区电极交互信息越多，任务相关性越高，故取V_NMI中最大元素，记其对应的通道编号为m，同时将向量W_s中的

值加一。单个被试共进行M次实验，故经过M轮更新计算后得到单个被试的最终权值向量W_s。

由于个体的差异性，依赖被试的通道选择最终得到的是每个被试的最优通道集，然而在一些应用场景中对每一位使用者使用特定的最优通道集是不切实际的，这里我们采用一种权值相加法的思想，选择出适合所有被试的最优通道集，将每位被试经过M轮更新后的权值向量W_s按通道编号对应相加，得到不依赖具体被试的共性通道权值向量

其中

N表示被试总数，

表示被试s第i个通道的权值。将W_f中的元素按从大到小排列后取前K个通道最为最优通道，K应满足：

基于互信息通道的整体流程如表1所示：

表1通道选择流程

根据上述的具体流程，计算出各通道对应的权值，根据权值做出脑地形图并择选出适合所有受试的最优通道集，如图4(a)、图4(b)所示，可以看到所选通道主要分布在前额叶区(尤其是左前额叶)、顶叶区和颞叶区，这也在经验上和人类情感活动相关的脑区位置大致吻合，说明了该通道选择方法的合理性。

步骤(3)：二维脑电序列变换方法。

EEG信号由携带特定电极排布的可穿戴式脑电帽采集，DEAP中使用的是国际常用的“10-20”脑电帽，“10”和“20”是指相邻电极之间的实际距离为颅骨前后或左右总距离的10％或20％。各通道在某采样时刻t采集到的脑电信号构成向量X_t＝

其中

为t时刻第n个通道采集的脑电数据。对于一个时间窗[0，T-1]，共有T个这样的向量构成脑电信号序列。

原始的一维脑电信号只能表示两个相邻采样点之间的数据变换情况，尝试根据脑电帽的电极分布，将原始的一维脑电信号X_t转换为二维矩阵形式，既保留了电极空间排布的拓扑特性，又可作为后续CNN网络的输入，因此原链状脑电序列X_t可转换为二维矩阵形式的Y_t：

其中未排布电极的位置设为0，如此一个时间窗[0，T-1]内的T个一维脑电数据[X₀，X₁，...，X_T-1]便转换为T个脑电数据矩阵[Y₀，Y₁，...，Y_T-1]，二维脑电序列变换方法如图5所示。

步骤(4)：混合神经网络对样本进行特征提取和分类。

混合网络结合了CNN和RNN两种深度学习模型在提取样本空域和时域特征的独特优势，CNN模型用于处理二维网状脑电数据，而从属于RNN网络模型的LSTM则直接用于处理一维链状脑电数据，两个并行的网络模型同时对输入样本提取特征，然后对各自提取的特征进行特征融合，最后根据融合的特征进行分类。

如图6所示，CNN模型从经过二维转换的脑电信号序列中提取空间域特征，第j个EEG样本经过转换后输入到CNN模型中为P_j＝[Y₀，Y₁，...Y_T-1]∈R^T×h×w，其中Y_k(k＝0，1，2…T-1)是维度为h×w的矩阵。在CNN模型中共有4个卷积层，对于前三个卷积层，输入的是二维的稀疏矩阵，使用3×3卷积核可能无法充分提取特征图的特征信息，使用5×5卷积核可能会加大卷积运算复杂度，故选择4×4的卷积核，卷积核步长设为“1”，并进行调整补零(Padding)使输入层经过卷积后与输出层维度一致，三个卷积层分别使用32、64、128个卷积核。传统CNN模型中卷积核之间需要有池化层(Pooling Layer)操作，降低数据维度加速训练效果，然而本文CNN模块中输入的脑电矩阵维数较小，加入池化层可能会丢失关键的特征信息，故此CNN模型中未设置池化层。每个卷积层后接批归一化(Barch Normalization，BN)层加速模型训练和收敛，输入序列经过三层卷积后还需经过一个拼接层(ConcatenateLayer)使得各个采样点特征融合为一个输入序列的总特征，之后经过一个具有10卷积核，卷积核维度为1×1的卷积层，作为CNN网络的最终特征输出，为了方便特征融合将最终特征输出展平(Flatten)为一维特征向量C_j∈R^1×810。

双层LSTM网络模型并行提取各采样点之间的时间域特征，LSTM模型第j个EEG样本输入为Q_j＝[X₀，X₁，...，X_T-1]，记第一层LSTM单元在当前时刻t的隐层输出为h_t，则h_t-1表示在前一时刻t-1时的隐层输出，在LSTM的每一层中，前一个时间点的信息被传递到当前时间点，以此类推，影响最后一个采样时刻的最终输出。第一层LSTM的隐层输出序列[h₀，h₁，...，h_T-1]作为第二层LSTM单元的输入。由于我们感兴趣的是输入EEG样本整个时段的情感类别，因此取第二层最后一个单元的输出h′_T-1作为输入样本的特征，将h′_T-1送入全连接层，作为LSTM模型提取的最终特征L_j，其中L_j∈R^1×1024。

将上述两个模型提取到的空域特征和时域特征连接起来作为最终的特征向量，最后经过一个带有softmax输出的全连接层进行分类。

为验证本发明提出的基于归一化互信息通道选择的合理性，对比了通道选择的混合神经网络模型(NMI-HDNN)和全通道的神经网络模型(HDNN)在情绪的效价和唤醒度上的分类效果，如表2所示：

表2两种模型下所有被试在效价和唤醒度上的平均分类准确率(均值±标准差)

可以看到经过通道选择后，NMI-HDNN在使用低维度，高稀疏样本的条件下分类准确率较全通道HDNN模型在效价和唤醒都上分别得到了1.15％和0.7％的提升，推断在相同分类模型下，通道选择可以有效排除冗余通道的信息干扰，提高模型稳定性。

为研究空域特征和时域特征对脑电情感识别的影响和作用，分别去掉HDNN模型中的空域特征提取器CNN模块和时域特征提取器LSTM模块，保持余下独立的CNN和LSTM模型网络架构不变，结合通道选择对所有被试数据分别使用这两种模型进行分类实验，结果和对比如表3所示：

表3在不同通道模式下LSTM，CNN，HDNN分别在效价和唤醒度上的分类效果

由表3可知，在相同通道模式下，HDNN的分类准确率最高，CNN模型其次，LSTM模型最低，且经过通道选择后的各模型得到的分类准确率均高于全通道模型，这佐证了提出的NMI-HDNN模型不仅可以集成不同深度学习网络的分类优势，还排除了冗余通道的噪音干扰，得到了最优的分类效果。

从整体上看，本发明提出了一种基于NMI通道选择的混合神经网络用于对情感EEG信号进行识别分类，提取EEG信号各通道中与情感活动最相关的γ节律的DE特征，通过DE计算通道间相互的NMI，将所得NMI矩阵按列求和后的向量作为表征各通道任务相关性的权值，通过权值大小选出一定数量的最优通道，之后采用CNN与LSTM相结合的混合DNN网络进行样本特征提取和分类。使用公开的DEAP情感脑电数据集对所提方法进行了实验对比，结果表明通道选择可以排除冗余通道信息干扰，提高分类准确率。同时HDNN的分类效果优于单一结构的深度神经网络，说明混合神经网络可以继承不同深度神经网络的优势，挖掘更多的EEG样本信息。该方法一定程度的提高了情感BCI系统的分类性能，为后续通道选择方法和深度神经网络集成模式提供了新的思路。

Claims (6)

1.结合互信息通道选择与混合神经网络的脑电情感识别方法，其特征在于，该方法具体包括以下步骤：

步骤(1)：多通道脑电信号采集与预处理；

首先采集受试者的多通道情感脑电信号，接着利用8阶巴特沃斯滤波器对每个通道的脑电信号进行带通滤波，得到δ(1-3Hz)，θ(4-7Hz)，α(8-13Hz)，β(14-30Hz)，γ(31-50Hz)这5个频带的EEG信号，并提取EEG信号各通道中γ频带的微分熵特征；

步骤(2)：基于归一化互信息的脑电通道选择，通过微分熵计算通道间相互的归一化互信息，将所得归一化互信息矩阵按列求和后的向量作为表征各通道任务相关性的权值，根据权值选出最优通道集；

步骤(3)：二维脑电序列变换方法，尝试根据脑电帽电极的空间分布，将各通道同一采样时刻采集到一维脑电序列转换为二维矩阵形式，既保留了电极空间排布的拓扑特性，又可作为后续CNN网络的输入；

步骤(4)：使用混合深度神经网络对采集受试者的多通道情感脑电信号进行特征提取和分类，将经过通道选择后的样本分别并行输入到CNN和LSTM网络中，其中输入CNN中的样本需要经过步骤(3)中的二维网状脑电序列变换，两类神经网络分别提取样本的特征并进行融合，使用softmax层对融合特征进行最后分类。

2.根据权利要求1所述的结合互信息通道选择与混合神经网络的脑电情感识别方法，其特征在于：所述的步骤(2)基于归一化互信息的脑电通道选择，具体为：

互信息是衡量两个随机变量之间相互依赖性的统计学指标，对于两类离散随机变量X和Y，其互信息为：

其中p(x,y)为两个随机变量的联合分布，p(x),p(y)分别为两个随机变量的边缘分布，为了方便计算和对比，将所得的互信息进行归一化处理：

其中H(X)与H(Y)分别代表随机变量X和Y的信息熵；

首先计算被试观看完每个情感诱发视频后单时间窗内EEG信号的DE特征，然后计算各通道DE值之间的互信息并进行归一化处理；由于相同通道之间的互信息值为1，如此便得到了一个n×n的实对称互信息矩阵；其中n代表通道个数；

以权值来表征各通道的任务相关程度并进行通道选择，零初始化各被试全通道权值向量

求出被试每次实验对应的I_NMI后，对其按列相加，得到各通道与其他通道互信息和的数组V_NMI，互信息和值越大代表该通道在情感活动中与其余脑区电极交互信息越多，任务相关性越高，故取V_NMI中最大元素，记其对应的通道编号为m，同时将向量W_s中的

值加一；单个被试共进行M次实验，故经过M轮更新计算后得到单个被试的最终权值向量W_s；

由于个体的差异性，依赖被试的通道选择最终得到的是每个被试的最优通道集，然而在一些应用场景中对每一位使用者使用特定的最优通道集是不切实际的，这里我们采用一种权值相加法的思想，选择出适合所有被试的最优通道集，将每位被试经过M轮更新后的权值向量W_s按通道编号对应相加，得到不依赖具体被试的共性通道权值向量

其中

N表示被试总数，

表示被试s第i个通道的权值；将W_f中的元素按从大到小排列后取前K个通道最为最优通道，K应满足：

基于互信息通道选择法的步骤如表1所示：

表1通道选择流程

根据上述的具体流程，计算出各通道对应的权值，根据权值做出脑地形图并择选出适合所有受试的最优通道集。

3.根据权利要求1所述的结合互信息通道选择与混合神经网络的脑电情感识别方法，其特征在于：所述的二维脑电序列变换方法，具体为：

EEG信号由携带特定电极排布的可穿戴式脑电帽采集，DEAP中使用的是国际常用的“10-20”脑电帽，“10”和“20”是指相邻电极之间的实际距离为颅骨前后或左右总距离的10％或20％；各通道在某采样时刻t采集到的脑电信号构成向量

其中

为t时刻第n个通道采集的脑电数据；对于一个时间窗[0,T-1]，共有T个这样的向量构成脑电信号序列；

原始的一维脑电信号只能表示两个相邻采样点之间的数据变换情况，尝试根据脑电帽的电极分布，将原始的一维脑电信号X_t转换为二维矩阵形式，既保留了电极空间排布的拓扑特性，又可作为后续CNN网络的输入，因此原链状脑电序列X_t可转换为二维矩阵形式的Y_t：

其中未排布电极的位置设为0，如此一个时间窗[0,T-1]内的T个一维脑电数据[X₀,X₁,…,X_T-1]便转换为T个脑电数据矩阵[Y₀,Y₁,…,Y_T-1]。

4.根据权利要求1所述的结合互信息通道选择与混合神经网络的脑电情感识别方法，其特征在于：所述的CNN模型具体为：从各采样点的二维脑电数据中提取空间域特征，第j个EEG样本经过转换后输入到CNN模型中为P_j＝[Y₀,Y₁,…Y_T-1]∈R^T×h×w，其中Y_k是维度为h×w的矩阵，k＝0,1,2…T-1；在CNN模型中共有4个卷积层，对于前三个卷积层，输入的是二维的稀疏矩阵，使用3×3卷积核可能无法充分提取特征图的特征信息，使用5×5卷积核可能会加大卷积运算复杂度，故选择4×4的卷积核，卷积核步长设为“1”，并进行调整补零使输入层经过卷积后与输出层维度一致，三个卷积层分别使用32、64、128个卷积核；传统CNN模型中卷积核之间需要有池化层操作，降低数据维度加速训练效果，然而本文CNN模块中输入的脑电矩阵维数较小，加入池化层可能会丢失关键的特征信息，故此CNN模型中未设置池化层；每个卷积层后接批归一化层加速模型训练和收敛，输入序列经过三层卷积后还需经过一个拼接层使得各个采样点特征融合为一个输入序列的总特征，之后经过一个具有10卷积核，卷积核维度为1×1的卷积层，作为CNN网络的最终特征输出，为了方便特征融合将最终特征输出展平为一维特征向量C_j∈R^1×810。

5.根据权利要求1所述的结合互信息通道选择与混合神经网络的脑电情感识别方法，其特征在于：所述的LSTM网络，具体为：构建双层LSTM网络模型并行提取各采样点之间的时间域特征，LSTM模型第j个EEG样本输入为Q_j＝[X₀,X₁,…,X_T-1]，记第一层LSTM单元在当前时刻t的隐层输出为h_t，则h_t-1表示在前一时刻t-1时的隐层输出，在LSTM的每一层中，前一个时间点的信息被传递到当前时间点，以此类推，影响最后一个采样时刻的最终输出；第一层LSTM的隐层输出序列[h₀,h₁,…,h_T-1]作为第二层LSTM单元的输入；由于我们感兴趣的是输入EEG样本整个时段的情感类别，因此取第二层最后一个单元的输出h′_T-1作为输入样本的特征，将h′_T-1送入全连接层，作为LSTM模型提取的最终特征L_j，其中L_j∈R^1×1024。

6.根据权利要求1所述的结合互信息通道选择与混合神经网络的脑电情感识别方法，其特征在于：所述的对两类神经网络分别提取样本的特征并进行融合，使用softmax层对融合特征进行最后分类；具体为：将CNN模型和LSTM网络模型提取到的空域特征和时域特征连接起来作为最终的特征向量，由于是二分类任务，特征向量还需再经过一个全连接层将维度降为2：

o＝FC(C_j||L_j)∈R^1×2 (7)

最后使用softmax层对降维后的特征向量o进行分类；其中FC(·)表示全连接层，

C_j表示CNN模型提取的空域特征，L_j表示LSTM网络模型提取的时域特征。

Images