CN110897648A - 基于脑电信号与lstm神经网络模型的情绪识别分类方法 - Google Patents

Abstract

本发明公开了一种基于脑电信号的差分熵的特征提取与LSTM神经网络模型相结合的情绪识别分类的研究方法，包括以下步骤：(1)提取正常成年人的62通道的脑电信号；(2)计算其差分熵(Differential entropy，DE)，从而构成一个62维的时序特征；(3)将时序特征作为LSTM神经网络的输入并进行训练学习；(4)利用平均分类准确率。标准差以及F1值对网络训练的结果进行评估。该方法效果良好，能对三种情绪进行有效的识别分类。

Description

基于脑电信号与LSTM神经网络模型的情绪识别分类方法

技术领域

本发明属于生物医学领域，具体涉及一种基于γ频段差分熵的特征提取与LSTM神经网络模型相结合的情绪识别的研究方法。

背景技术

情绪识别(Emotion Recognition)是指AI通过对个体的胜利或非生理信号的获取从而对个体的情绪状态进行自动识别，是情感计算的一部分。目前情绪识别研究方向主要包括基于面部表情，语音，心电，肌电，脑电等生理信号来判断用户的情绪状态。通过个体的多种生理指标，能分析反馈出个体真实的情绪活动，这对多种的病症的辅助恢复治疗以及预测起着极为重要的作用。

由于脑电信号是一种非平稳的，非线性的复杂信号，差分熵(Differentialentropy，DE)可以体现脑电时序信号的频域功率特征，且脑电的高频信号与大脑皮层的兴奋具有高相关度，故本文提出基于差分熵的特征与LSTM神经网络模型相结合的方法，探索了积极，平静以及消极情绪的区分方法。

发明内容

发明目的：为了寻找区分成年人消极，平静，积极三种不同情绪的有效方法的问题，本发明提供了一种基于差分熵的特征提取与LSTM神经网络模型相结合的情绪分类识别的研究方法，该方法从脑电信号的非平稳性、非线性、时频域和复杂度等特征上，找出三种不同情绪脑电信号的异同性，从而区分三种情绪，帮助对多种疾病的辅助治疗恢复。

本发明采用如下技术方案：

上海交通大学的BCMI实验室SEED数据集具有较高的权威性，并在多篇论文中得到引用，其采集的数据时段长，实验设计严谨，数据质量高，故本文采用此数据库进行情绪识别分析研究。

一种基于脑电信号与LSTM神经网络模型的情绪识别分类方法，其特征在于包括以下步骤：

步骤(1)导入数据库中的脑电信号；

步骤(2)对时域信号使用汉宁窗(Hamming Window)滤波并做短时傅里叶变换(Short-time Fourier transform，SFFT)，将每一秒信号作为一个滑动窗口，计算其62个通道的差分熵；

步骤(3)将62维时序特征输入LSTM神经网络进行训练学习；

步骤(4)利用平均分类准确率，标准差以及F1值对网络学习结果进行评估。

所述步骤(1)中的数据库来源为上海交通大学BCMI实验室，数据来自15名成年人，每位成年人进行3组实验，每组15次，记录了实验者在观看消极，平静，积极三种情绪时62个通道的脑电信号。数据集包括原始未处理信号以及数据处理后计算的某些特征值。

所述步骤(2)具体为：

步骤(2-1)对导入的数据进行滤波后，将一秒的数据定义为一个窗口，对其进行短时傅里叶变化；采用汉明窗对原始数据进行滤波，并对每秒数据做512点的短时傅里叶变换，对每秒的数据计算其功率谱密度值，通过功率谱密度值计算其各频段的差分熵；

步骤(2-2)对每个窗口计算其功率谱密度函数(Power Spectral Density，PSD)，并基于PSD值计算δ，θ，α，β，γ频段的差分熵值；每个样本的差分熵的定义方法如下：

设随机变量X的取值为X＝{x₁,x₂,...,x_n}(n≥1)，与之对应的概率为

根据香农信息熵的定义法，此非确定性系统的信息量表示为：

将上式中时域的状态概率p_i替换为基于短时傅立叶变换定义的频域功率谱密度

由此引出差分熵的定义：

代表功率谱密度。

步骤(2-3)差分熵的定义方法如下：

设随机变量X的取值为X＝{x₁,x₂,...,x_n}(n≥1)，与之对应的概率为

根据香农信息熵的定义法，此非确定性系统的信息量表示为：

将上式中时域的状态概率p_i替换为基于短时傅立叶变换定义的频域功率谱密度

由此引出差分熵的定义：

代表功率谱密度。

所述步骤(3)具体为：

步骤(3-1)将(2-1)到(2-3)提取到的脑电的差分熵进行z-score归一化处理，z-score的归一化公式为：

σ为数据的标准差，μ为样本的平均值，则归一化之后各维度的数据均值为0，方差为1；

步骤(3-2)将(3-1)经归一化处理后的消极，平静以及积极情绪的62个通道的差分熵作为LSTM神经网络的输入特征，送入网络进行学习。

所述步骤(4)具体为：

步骤(4-1)本发明是一个三分类模型，采用十次交叉实验后的平均准确率，标准差以及F1值作为评估指标；

步骤(4-2)分析对比不同参数条件下的平均准确率，标准差以及F1值的效果。

所述步骤(4-2)具体为：

实验步骤：

采用具体实施方式中的步骤(1)，导入SEED数据库，数据库中共有15名受试者的脑电数据，每位受试者共进行组次实验，每组共15次实验，每次实验数据包括62个通道的脑电数据以及相关计算后的数据。数据库拥有权为BCMI实验室；

采用具体实施方式中的步骤(2)，对脑电时序信号用采样频率为200Hz，截止频率为50Hz的50阶汉明窗滤波并做512点的短时傅里叶变换，得到其频域信号，并通过计算其功率谱密度值，计算其各个频段的差分熵，采用差分熵作为输入62维时序特征；

采用具体实施方式中的步骤(3)，将62维时序特征输入LSTM神经网络进行学习。网络输入层的大小参数为EEG序列的维度，此处为62，LSTM层可学习到不同步长的时间序列数据中的长期依赖关系，输出模式为last代表此网络为针对序列-标签的分类，全连接层的大小为3即为分类的种类数，通过softmax层输出各类的概率，最后的分类层输出最后的分类结果；

其中，网络的隐层节点数与样本量的多少以及分类的要求都有直接关系，隐层节点数太多会延长网络的学习时间，隐层节点数过少会导致网络的容错性低，在测试样本集上的分类识别能力降低；

本发明中消极情绪样本量为3360个，平静情绪样本量为3312个，积极情绪样本量为3510个，样本总量为10182个；打乱总样本，将总样本划分为十个分块，共进行十次交叉验证，每次交叉验证采用其中的一个划分块作为测试样本，剩余九个划分块作为训练样本，根据本发明的样本量大小，设置网络的隐层单元数为1，输入从贝塔段差分熵到伽马段差分熵，隐层节点数从40到160，步长为36；

利用平均分类准确率和标准差对网络学习结果进行评估。本发明中，记NG(Negative)为消极情绪，NT(Neutral)为平静情绪，PT(Positive)为积极情绪，TP(TruePositive，真阳性)为被模型预测为正类的正类样本，TN(True Negative，真阴性)为被模型预测为负类的负类样本，FP(False Positive，假阳性)为被模型预测为正类的负类样本，FN(False Negative，假阴性)为被模型预测为负类的正类样本，i＝1,2,3,…,10，则，准确率定义为所有样本正确分类的概率：

则十次交叉验证实验的平均准确率为：

十次交叉验证的标准差为

精确率可分为正类样本的精确率和负类样本的精确率，正类样本的精确率即为在预测为正类的样本中实际也为正类的占比：

负类样本的精确率为在预测为负类的样本中实际也为负类的占比：

召回率也可分为正类样本的召回率和负类样本的召回率，正类样本的召回率即为在实际为正类的样本中，被判定为正类的占比：

负类样本的召回率为在实际为负类的样本中，被判定为负类的占比：

F1值综合考虑了精确率和召回率，为精确率和召回率的调和平均数，常作为机器学习分类方法的最终评价方法，每一类的F1值越高代表分类结果越好。

每个类别下的F1值表示为：

本发明中采用两种方式进行对比：将贝塔频段的差分熵作为输入参数对消极，平静，积极三种情绪识别分类；将伽马频段的差分熵作为输入参数对消极，平均，积极三类情绪识别分类。

有益效果：本发明对情绪识别分析的方法进行研究，提取脑电信号的差分熵作为62维时序特征，并送入LSTM神经网络进行学习。本发明的有益效果是：能够准确的分析成年人的消极，平静，积极三类情绪，能够帮助多种病症的恢复。

附图说明

图1为本发明公开的方法流程图；

图2为隐层节点数为40时，γ频段差分熵作为输入时消极，平静，积极分类的网络训练过程；

图3为隐层节点数为40时，β频段差分熵作为输入时消极，平静，积极分类的网络训练过程；

具体实施方式

下面结合附图和具体实施方式，进一步阐明本发明。

如图1所示，为本发明公开的基于脑电信号与LSTM神经网络模型的情绪识别分类方法的流程图，具体包括以下步骤：

(1)导入公开脑电数据库；

本发明对成年人的脑电数据进行分析。数据库来源为上海交通大学BCMI实验室。数据来自15名成年人，每位成年人进行3组实验，每组15次，记录了实验者在观看引发消极，平静，积极三种情绪时62个通道的脑电信号。数据集包括原始未处理信号以及数据处理后计算的某些特征值。

(2)提取脑电信号0.5Hz至50Hz的频域信号，计算其差分熵；

(2-1)具体步骤为：

导入脑电电数据后，对数据进行滤波，将各种情绪下的脑电信号作为样本，每个样本时间为4分钟左右，滑动窗口长度为1s，通过汉明窗滤波，滤除50Hz以上的噪声干扰；

(2-2)差分熵的定义方法如下：

设随机变量X的取值为X＝{x₁,x₂,...,x_n}(n≥1)，与之对应的概率为

根据香农信息熵的定义法，此非确定性系统的信息量表示为：

将上式中时域的状态概率p_i替换为基于短时傅立叶变换定义的频域功率谱密度

由此引出差分熵的定义：

代表功率谱密度。

(3)将二维时序特征输入LSTM神经网络进行学习；具体步骤为：

(3-1)将(2-1)到(2-3)提取到的脑电瞬时频率和功率谱熵进行z-score归一化处理，z-score的归一化公式为：

σ为数据的标准差，μ为样本的平均值，则归一化之后各维度的数据均值为0，方差为1；

(3-2)将(3-1)经归一化处理后的消极，平静，积极的62通道的脑电的差分熵的62维时序特征作为LSTM神经网络的输入，送入网络进行学习。

(4)利用十次交叉实验并用平均分类准确率，标准差以及F1值对网络学习结果进行评估，包括如下步骤：

(4-1)本发明是一个三分类模型，采用十次交叉实验并用平均分类准确率，标准差以及F1值作为评估指标；

(4-2)分析对比不同参数条件下的平均准确率，标准差以及F1值的效果。

实验步骤：

采用具体实施方式中的步骤(1)，导入SEED数据库，数据库中共有15名受试者的脑电数据，每位受试者共进行组次实验，每组共15次实验，每次实验数据包括62个通道的脑电数据以及相关计算后的数据。数据库拥有权为BCMI实验室；

采用具体实施方式中的步骤(2)，对脑电时序信号用采样频率为200Hz，截止频率为50Hz的50阶汉明窗滤波并做512点的短时傅里叶变换，得到其频域信号，并通过计算其功率谱密度值，计算其各个频段的差分熵，采用差分熵作为输入62维时序特征；

采用具体实施方式中的步骤(3)，将62维时序特征输入LSTM神经网络进行学习。网络输入层的大小参数为EEG序列的维度，此处为62，LSTM层可学习到不同步长的时间序列数据中的长期依赖关系，输出模式为last代表此网络为针对序列-标签的分类，全连接层的大小为3即为分类的种类数，通过softmax层输出各类的概率，最后的分类层输出最后的分类结果。其中，网络的隐层节点数与样本量的多少以及分类的要求都有直接关系，隐层节点数太多会延长网络的学习时间，隐层节点数过少会导致网络的容错性低，在测试样本集上的分类识别能力降低。本发明中消极情绪样本量为3360个，平静情绪样本量为3312个，积极情绪样本量为3510个，样本总量为10182个。打乱总样本，将总样本划分为十个分块，共进行十次交叉验证，每次交叉验证采用其中的一个划分块作为测试样本，剩余九个划分块作为训练样本，根据本发明的样本量大小，设置网络的隐层单元数为1，输入从贝塔段差分熵到伽马段差分熵，隐层节点数从40到160，步长为36。

采用具体实施方式中的步骤(4)，利用平均分类准确率和标准差对网络学习结果进行评估。本发明中，记NG(Negative)为消极情绪，NT(Neutral)为平静情绪，PT(Positive)为积极情绪，TP(True Positive，真阳性)为被模型预测为正类的正类样本，TN(TrueNegative，真阴性)为被模型预测为负类的负类样本，FP(False Positive，假阳性)为被模型预测为正类的负类样本，FN(False Negative，假阴性)为被模型预测为负类的正类样本，i＝1,2,3,…,10，则，准确率定义为所有样本正确分类的概率：

则十次交叉验证实验的平均准确率为：

十次交叉验证的标准差为

精确率可分为正类样本的精确率和负类样本的精确率，正类样本的精确率即为在预测为正类的样本中实际也为正类的占比：

负类样本的精确率为在预测为负类的样本中实际也为负类的占比：

召回率也可分为正类样本的召回率和负类样本的召回率，正类样本的召回率即为在实际为正类的样本中，被判定为正类的占比：

负类样本的召回率为在实际为负类的样本中，被判定为负类的占比：

F1值综合考虑了精确率和召回率，为精确率和召回率的调和平均数，常作为机器学习分类方法的最终评价方法，每一类的F1值越高代表分类结果越好。

每个类别下的F1值表示为：

本发明中采用两种方式进行对比：将贝塔频段的差分熵作为输入参数对消极，平静，积极三种情绪识别分类；将伽马频段的差分熵作为输入参数对消极，平均，积极三类情绪识别分类。

表1中列出了在不同的隐层节点数下总样本的分类准确率，不同类的分类精确率，标准差以及F1值如表2至表7所示。

表1不同隐层节点数下的分类准确率及标准差

表2 β频段差分熵的消极情绪的评估指标

表3 β频段差分熵的平静情绪的评估指标

表4 β频段差分熵的积极情绪的评估指标

表5 γ频段差分熵的消极情绪的评估指标

表5 γ频段差分熵的平静情绪的评估指标

表5 γ频段差分熵的情绪的评估指标

由表1可以看出，情绪识别的分辨率随着隐含层增大而提高，并逐渐收敛，在160层可达到最高的准确率，γ频段为89.69％，β频段为83.45％(网络的训练过程如图2、3所示)。β频段差分熵在不同隐层节点数下的平均分类准确率为82.76％，γ频段差分熵在不同隐层节点数下的平均分类准确率为89.04％。由图2和图3以及表1可以看出，γ频段输入参数的准确率高于β频段输入参数的准确率并且十次交叉验证的标准差在6％左右，具有较高的准确率以及稳定性，符合现实预期目标。

由表2、表3和表4的实验结果可以看出，在情绪识别分类对比实验中，β频段特征综合精确率和召回率，隐层节点数为160时，消极，平静以及积极情绪的F-score值达到各自最大值。而γ频段特征在隐层节点数为160时，其三种情绪分类的F-score也达到其最大值，效果最优。

从表1至表7的实验结果可以得出，隐层节点数为120和160时，情绪识别分类准确率最高，β频段和γ频段的各种情绪的F1值也最高，同时，γ频段个各隐含节点数的F1值均大于β频段的F1值。因此，综合比较总样本的分类准确率以及每一类样本的F1值，可以看出γ频段的差分熵特征的LSTM分类模型在脑电分类问题上是有效的，其在消极情绪，平静情绪，积极情绪上可以达到很好的分类效果。

Claims (6)

1.一种基于脑电信号与LSTM神经网络模型的情绪识别分类方法，其特征在于包括以下步骤：

步骤(1)导入数据库中的脑电信号；

步骤(2)对时域信号使用汉宁窗(Hamming Window)滤波并做短时傅里叶变换(Short-time Fourier transform，SFFT)，将每一秒信号作为一个滑动窗口，计算其62个通道的差分熵；

步骤(3)将62维时序特征输入LSTM神经网络进行训练学习；

步骤(4)利用平均分类准确率，标准差以及F1值对网络学习结果进行评估。

2.根据权利要求1所述的基于脑电信号与LSTM神经网络模型的情绪识别分类方法，所述步骤(1)中的数据库来源为上海交通大学BCMI实验室，数据来自15名成年人，每位成年人进行3组实验，每组15次，记录了实验者在观看消极，平静，积极三种情绪时62个通道的脑电信号。数据集包括原始未处理信号以及数据处理后计算的某些特征值。

3.根据权利要求1所述的基于脑电信号与LSTM神经网络模型的情绪识别分类方法，所述步骤(2)具体为：

步骤(2-1)对导入的数据进行滤波后，将一秒的数据定义为一个窗口，对其进行短时傅里叶变化；采用汉明窗对原始数据进行滤波，并对每秒数据做512点的短时傅里叶变换，对每秒的数据计算其功率谱密度值，通过功率谱密度值计算其各频段的差分熵；

步骤(2-2)对每个窗口计算其功率谱密度函数(Power Spectral Density，PSD)，并基于PSD值计算δ，θ，α，β，γ频段的差分熵值；每个样本的差分熵的定义方法如下：

设随机变量X的取值为X＝{x₁,x₂,...,x_n}(n≥1)，与之对应的概率为

根据香农信息熵的定义法，此非确定性系统的信息量表示为：

将上式中时域的状态概率p_i替换为基于短时傅立叶变换定义的频域功率谱密度

由此引出差分熵的定义：

代表功率谱密度。

步骤(2-3)差分熵的定义方法如下：

设随机变量X的取值为X＝{x₁,x₂,...,x_n}(n≥1)，与之对应的概率为

根据香农信息熵的定义法，此非确定性系统的信息量表示为：

将上式中时域的状态概率p_i替换为基于短时傅立叶变换定义的频域功率谱密度

由此引出差分熵的定义：

代表功率谱密度。

4.根据权利要求3所述的基于脑电信号与LSTM神经网络模型的情绪识别分类方法，所述步骤(3)具体为：

步骤(3-1)将(2-1)到(2-3)提取到的脑电的差分熵进行z-score归一化处理，z-score的归一化公式为：

σ为数据的标准差，μ为样本的平均值，则归一化之后各维度的数据均值为0，方差为1；

步骤(3-2)将(3-1)经归一化处理后的消极，平静以及积极情绪的62个通道的差分熵作为LSTM神经网络的输入特征，送入网络进行学习。

5.根据权利要求1所述的基于脑电信号与LSTM神经网络模型的情绪识别分类方法，所述步骤(4)具体为：

步骤(4-1)本发明是一个三分类模型，采用十次交叉实验后的平均准确率，标准差以及F1值作为评估指标；

步骤(4-2)分析对比不同参数条件下的平均准确率，标准差以及F1值的效果。

6.根据权利要求5所述的基于脑电信号与LSTM神经网络模型的情绪识别分类方法，所述步骤(4-2)具体为：

实验步骤：

采用具体实施方式中的步骤(1)，导入SEED数据库，数据库中共有15名受试者的脑电数据，每位受试者共进行组次实验，每组共15次实验，每次实验数据包括62个通道的脑电数据以及相关计算后的数据。数据库拥有权为BCMI实验室；

采用具体实施方式中的步骤(2)，对脑电时序信号用采样频率为200Hz，截止频率为50Hz的50阶汉明窗滤波并做512点的短时傅里叶变换，得到其频域信号，并通过计算其功率谱密度值，计算其各个频段的差分熵，采用差分熵作为输入62维时序特征；

采用具体实施方式中的步骤(3)，将62维时序特征输入LSTM神经网络进行学习。网络输入层的大小参数为EEG序列的维度，此处为62，LSTM层可学习到不同步长的时间序列数据中的长期依赖关系，输出模式为last代表此网络为针对序列-标签的分类，全连接层的大小为3即为分类的种类数，通过softmax层输出各类的概率，最后的分类层输出最后的分类结果；

其中，网络的隐层节点数与样本量的多少以及分类的要求都有直接关系，隐层节点数太多会延长网络的学习时间，隐层节点数过少会导致网络的容错性低，在测试样本集上的分类识别能力降低；

本发明中消极情绪样本量为3360个，平静情绪样本量为3312个，积极情绪样本量为3510个，样本总量为10182个；打乱总样本，将总样本划分为十个分块，共进行十次交叉验证，每次交叉验证采用其中的一个划分块作为测试样本，剩余九个划分块作为训练样本，根据本发明的样本量大小，设置网络的隐层单元数为1，输入从贝塔段差分熵到伽马段差分熵，隐层节点数从40到160，步长为36；

利用平均分类准确率和标准差对网络学习结果进行评估。本发明中，记NG(Negative)为消极情绪，NT(Neutral)为平静情绪，PT(Positive)为积极情绪，TP(True Positive，真阳性)为被模型预测为正类的正类样本，TN(True Negative，真阴性)为被模型预测为负类的负类样本，FP(False Positive，假阳性)为被模型预测为正类的负类样本，FN(FalseNegative，假阴性)为被模型预测为负类的正类样本，i＝1,2,3,…,10，则，准确率定义为所有样本正确分类的概率：

则十次交叉验证实验的平均准确率为：

十次交叉验证的标准差为

精确率可分为正类样本的精确率和负类样本的精确率，正类样本的精确率即为在预测为正类的样本中实际也为正类的占比：

负类样本的精确率为在预测为负类的样本中实际也为负类的占比：

召回率也可分为正类样本的召回率和负类样本的召回率，正类样本的召回率即为在实际为正类的样本中，被判定为正类的占比：

负类样本的召回率为在实际为负类的样本中，被判定为负类的占比：

F1值综合考虑了精确率和召回率，为精确率和召回率的调和平均数，常作为机器学习分类方法的最终评价方法，每一类的F1值越高代表分类结果越好。每个类别下的F1值表示为：

本发明中采用两种方式进行对比：将贝塔频段的差分熵作为输入参数对消极，平静，积极三种情绪识别分类；将伽马频段的差分熵作为输入参数对消极，平均，积极三类情绪识别分类。

Images