CN115099311B - 基于脑电时空频特征和眼动特征的多模态情绪分类方法 - Google Patents
基于脑电时空频特征和眼动特征的多模态情绪分类方法 Download PDFInfo
- Publication number
- CN115099311B CN115099311B CN202210633218.5A CN202210633218A CN115099311B CN 115099311 B CN115099311 B CN 115099311B CN 202210633218 A CN202210633218 A CN 202210633218A CN 115099311 B CN115099311 B CN 115099311B
- Authority
- CN
- China
- Prior art keywords
- neural network
- data
- eye movement
- eeg
- dimensional
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000004424 eye movement Effects 0.000 title claims abstract description 77
- 230000008451 emotion Effects 0.000 title claims abstract description 44
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000013527 convolutional neural network Methods 0.000 claims abstract description 65
- 238000013528 artificial neural network Methods 0.000 claims abstract description 52
- 238000012549 training Methods 0.000 claims abstract description 41
- 238000012360 testing method Methods 0.000 claims abstract description 39
- 230000004927 fusion Effects 0.000 claims abstract description 14
- 238000012795 verification Methods 0.000 claims abstract description 10
- 238000007781 pre-processing Methods 0.000 claims abstract description 6
- 230000002996 emotional effect Effects 0.000 claims description 26
- 238000011176 pooling Methods 0.000 claims description 18
- 230000004913 activation Effects 0.000 claims description 12
- 238000007500 overflow downdraw method Methods 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 10
- 238000013524 data verification Methods 0.000 claims description 6
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims description 3
- 230000007246 mechanism Effects 0.000 claims description 3
- 238000005457 optimization Methods 0.000 claims description 3
- 238000010276 construction Methods 0.000 claims 1
- 230000002708 enhancing effect Effects 0.000 abstract 1
- 230000006870 function Effects 0.000 description 14
- 230000008909 emotion recognition Effects 0.000 description 5
- 238000004088 simulation Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000036651 mood Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- 235000021110 pickles Nutrition 0.000 description 1
- 208000020016 psychiatric disease Diseases 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000000638 stimulation Effects 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
一种基于脑电时空频特征和眼动特征的多模态情绪分类方法，由获取脑电信号和眼动特征数据集、脑电信号数据集预处理、选取数据样本、增强脑电数据、脑电数据标准化、划分训练集和测试集以及验证集、构建三维卷积神经网络和深度神经网络、训练三维卷积神经网络和深度神经网络、多模态决策融合、测试网络性能步骤组成。本发明采用多模态方法从决策级融合层次将脑电信号和眼动信息两种模态进行融合，进行情绪分类；针对脑电信号数据集训练了三维卷积神经网络，针对眼动特征数据训练了深度卷积神经网络，将脑电信号在时间域、空间域和频率域特征三种特征进行融合，对脑电信号和眼动信息模态进行情绪分类，提高了情绪分类的准确率。
Description
技术领域
本发明属于脑电技术领域，具体涉及到脑电情绪分类方法。
技术背景
情绪影响着人们的行为，在日常生活中扮演着非常重要的角色，很多精神疾病都与情绪有紧密的关联；情绪识别主要分为基于生理信号的情绪识别和基于非生理信号的情绪识别，非生理信号，例如面部表情具有一定的伪装性，导致根据面部表情等非生理信号的情绪分类准确率不高；生理信号，例如脑电信号，能够从内在脑电信号反应人的生理机能和身体状态是否正常，同时也能反应人的情绪、心情、心理活动，因此脑电可以作为情绪识别的一种有效方法。使用脑电信号进行情绪分类，关注到脑电信号的多种特征，包括空间特征、时间特征、频率特征；同时，研究者也进行了很多基于图像、文本、音乐等的多媒体刺激，目的是为了更好地激发人们的情绪。现有的研究中大多只关注一种脑电特征或者两种脑电特征的结合，没有充分利用脑电的多种特征，现有的方法多基于一种模态进行情绪分类，不能充分的解码情绪。
脑电信号分类有很多种方法，常见的有诸如支持向量机、K近邻等机器学习方法和诸如深度神经网络、卷积神经网络等深度学习方法。传统的机器学习方法具有分类精确度不高、需要手动提取特征、成本较高、效果不佳等缺点。
在脑电信号情绪识别技术领域，当前需迫切解决的一个技术问题是提供一种多特征、多模态、准确率更高、泛化能力强的基于脑电时空频特征和眼动特征的多模态情绪分类方法。
发明内容
本发明所要解决的技术问题在于克服上述现有技术问题的缺点，提供一种融合多模态、多特征、分类准确率高的基于脑电时空频特征和眼动特征的多模态情绪分类方法。
解决上述技术问题采用的技术方案是由下述步骤组成：
(1)获取脑电信号和眼动特征数据集
从上海交通大学仿脑计算和机理实验室提供的多模态情绪脑电数据集SEED-V 中选取一维脑电信号特征数据、眼动特征数据。
(2)脑电信号数据集预处理
将一维脑电信号特征数据通过二维的电极拓扑结构映射为三维脑电信号特征数据。
(3)选取数据样本
1)选取脑电信号样本
从三维脑电信号特征数据中选取脑电样本集S{s1，s2，...，sm}，m为样本数量， m∈[1，20]，脑电样本集S中每一个数据样本的维度为9×9×800。
2)选取眼动特征数据样本
从眼动特征数据中选取眼动特征数据样本集合E{e1，e2，...，em}，眼动特征数据样本集合E中每一个数据样本的维度为1×594。
(4)增强脑电数据
采用滑动窗口方法扩展脑电信号数据集，该方法的窗口尺寸为4秒，窗口重叠为 2秒。
(5)脑电数据标准化
将脑电样本集S按下式进行数据标准化s′：
其中为脑电数据的平均值，v为脑电数据的方差且不为0。
(6)划分训练集和测试集以及验证集
将脑电信号数据样本集S划分成脑电信号训练集、脑电信号验证集、脑电信号测试集，脑电信号训练集与脑电信号验证集、脑电信号测试集的划分比例为7∶2∶1；眼动特征数据样本集E划分成对应的眼动数据训练集、眼动数据验证集、眼动数据测试集，眼动数据训练集与眼动数据验证集、眼动数据测试集的划分比例为7∶2∶1。
(7)构建三维卷积神经网络和深度神经网络
1)构建三维卷积神经网络
三维卷积神经网络由第一三维卷积层C1与第一最大池化层M1、第二三维卷积层C2、第二最大池化层M2、第一全连接层F1、第二全连接层F2、激活函数Softmax 层依次串联构成。
2)构建深度神经网络
深度神经网络由第一全连接层FC1与第二全连接层FC2、第三全连接层FC3、第四全连接层FC4、第五全连接层FC5、激活函数Softmax层依次串联构成。
(8)训练三维卷积神经网络和深度神经网络
将脑电信号数据样本集S中的训练集输入到三维卷积神经网络，眼动特征数据样本集E中的训练集输入到深度神经网络中，进行网络训练，采用Adam优化方法更新神经网络的权重和偏置参数，损失函数使用类别交叉熵损失函数Loss：
其中，yi表示数据样本对应的真实标签，y′i表示数据样本的预测值；训练三维卷积神经网络时每次输入到神经网络的数据样本批量为16，训练深度神经网络时每次输入到神经网络的数据样本批量为32，训练至类别交叉熵损失函数Loss收敛；得到三维卷积神经网络和深度神经网络对高兴、伤心、厌恶、中立、害怕不同情绪状态的分类准确率P：
其中，TP表示预测正确的数据样本总数，FP表示预测错误的数据样本总数。
(9)多模态决策融合
采用多模态决策级融合方法对三维卷积神经网络和深度卷积神经网络的预测结果进行融合，得到情绪分类结果。
(10)测试网络性能
将脑电信号测试集输入到训练好的三维卷积神经网络中进行测试，眼动数据测试集输入到训练好的深度神经网络中进行测试。
在本发明的(7)构建三维卷积神经网络和深度神经网络步骤的1)构建三维卷积神经网络中，所述的第一三维卷积层C1是带激活函数RELU的三维卷积层，有 32个滤波器，卷积核的大小为3×3×4，步长为1；第一最大池化层M1是最大池化层，卷积核的大小为1×1×2，步长为1；第二三维卷积层C2是带激活函数RELU 的三维卷积层，有64个滤波器，卷积核的大小为3×3×4，步长为1；第二最大池化层M2是最大池化层，卷积核的大小为1×1×2，步长为1；第一全连接层F1是全连接层，输出维数为1024；第二全连接层F2是全连接层，输出维数为5。
在本发明的(7)构建三维卷积神经网络和深度神经网络的2)构建深度神经网络步骤中，所述的第一全连接层FCl的输出维数为256；第二全连接层FC2的输出维数为800；第三全连接层FC3的输出维数为64；第四全连接层FC4的输出维数为32；第五全连接层FC5的输出维数为5。
在本发明的(9)多模态决策融合步骤中，所述的多模态决策级融合方法为：
1)将三维卷积神经网络对高兴、伤心、厌恶、中立、害怕不同情绪状态进行分类，得分类准确率P1：
P1＝(P11，P12，...，P15)T
深度神经网络对高兴、伤心、厌恶、中立、害怕不同情绪状态进行分类，得分类准确率P2：
P2＝(P21，P22，...，P25)T
2)将分类准确率P1构成权重矩阵W1：
分类准确率P2构成权重矩阵W2：
3)三维卷积神经网络对高兴、伤心、厌恶、中立、害怕不同情绪状态进行分类，得分类结果C1：
C1＝(c11，…，c15)T
深度神经网络对高兴、伤心、厌恶、中立、害怕不同情绪状态进行分类，得分类结果C2：
C2＝(c21，…，c25)T
4)按下式确定多模态融合情绪分类的结果C：
5)按下式确定最终的分类结果：
其中k为1～5整数。
本发明与现有技术相对具有以下优点：
本发明采用多模态方法从决策级融合层次将脑电信号和眼动信息两种模态进行融合，进行情绪分类；针对脑电信号数据集训练了三维卷积神经网络，针对眼动特征数据训练了深度卷积神经网络；与现有的情绪分类方法相比，该方法将脑电信号在时间域、空间域和频率域特征三种特征进行融合，并且采用了脑电信号和眼动信息两种模态进行情绪分类，提高了情绪分类的分类准确率。
附图说明
图1是本发明实施例1的流程图。
图2是三维卷积神经网络的结构示意图。
图3是深度卷积神经网络的结构示意图。
图4是实施例1多模态融合方法进行情绪分类的准确率曲线。
图5是实施例1多模态融合方法进行情绪分类的模型损失曲线。
具体实施方式
下面结合附图和实施例对本发明进一步详细说明，但本发明不限于下述的实施方式。
实施例1
本实施例的基于脑电时空频特征和眼动特征的多模态情绪分类方法由以下步骤组成(参见图1)：
(1)获取脑电信号和眼动特征数据集
从上海交通大学仿脑计算和机理实验室提供的多模态情绪脑电数据集SEED-V 中选取一维脑电信号特征数据、眼动特征数据。
(2)脑电信号数据集预处理
将一维脑电信号特征数据通过二维的电极拓扑结构映射为三维脑电信号特征数据。
(3)选取数据样本
1)选取脑电信号样本
从三维脑电信号特征数据中选取脑电样本集S{s1，s2，...，sm}，m为样本数量， m∈[1，20]，本实施例的m取值为10，脑电样本集S中每一个数据样本的维度为9×9×800。
2)选取眼动特征数据样本
从眼动特征数据中选取眼动特征数据样本集合E{e1，e2，...，em}，本实施例的m 取值为10，眼动特征数据样本集合E中每一个数据样本的维度为1×594。
(4)增强脑电数据
采用滑动窗口方法扩展脑电信号数据集，该方法的窗口尺寸为4秒，窗口重叠为 2秒。
(5)脑电数据标准化
将脑电样本集S按下式进行数据标准化s′：
其中为脑电数据的平均值，v为脑电数据的方差且不为0。
(6)划分训练集和测试集以及验证集
将脑电信号数据样本集S划分成脑电信号训练集、脑电信号验证集、脑电信号测试集，脑电信号训练集与脑电信号验证集、脑电信号测试集的划分比例为7∶2∶1；眼动特征数据样本集E划分成对应的眼动数据训练集、眼动数据验证集、眼动数据测试集，眼动数据训练集与眼动数据验证集、眼动数据测试集的划分比例为7∶2∶1。
(7)构建三维卷积神经网络和深度神经网络
1)构建三维卷积神经网络
在图2中，本实施例的三维卷积神经网络由第一三维卷积层C1与第一最大池化层M1、第二三维卷积层C2、第二最大池化层M2、第一全连接层F1、第二全连接层F2、激活函数Softmax层依次串联构成。
本实施例的第一三维卷积层C1是带激活函数RELU的三维卷积层，有32个滤波器，卷积核的大小为3×3×4，步长为1。第一最大池化层M1是最大池化层，卷积核的大小为1×1×2，步长为1。第二三维卷积层C2是带激活函数RELU的三维卷积层，有64个滤波器，卷积核的大小为3×3×4，步长为1。第二最大池化层M2 是最大池化层，卷积核的大小为1×1×2，步长为1。第一全连接层F1是全连接层，输出维数为1024。第二全连接层F2是全连接层，输出维数为5。
2)构建深度神经网络
在图3中，本实施例的深度神经网络由第一全连接层FC1与第二全连接层FC2、第三全连接层FC3、第四全连接层FC4、第五全连接层FC5、激活函数Softmax层依次串联构成。
本实施例的第一全连接层FC1的输出维数为256。第二全连接层FC2的输出维数为800。第三全连接层FC3的输出维数为64。第四全连接层FC4的输出维数为32。第五全连接层FC5的输出维数为5。
(8)训练三维卷积神经网络和深度神经网络
将脑电信号数据样本集S中的训练集输入到三维卷积神经网络，眼动特征数据样本集E中的训练集输入到深度神经网络中，进行网络训练，采用Adam优化方法更新神经网络的权重和偏置参数，损失函数使用类别交叉熵损失函数Loss：
其中，yi表示数据样本对应的真实标签，y′i表示数据样本的预测值；本实施例的训练三维卷积神经网络时每次输入到神经网络的数据样本批量为16，训练深度神经网络时每次输入到神经网络的数据样本批量为32，训练至类别交叉熵损失函数Loss 收敛；得到三维卷积神经网络和深度神经网络对高兴、伤心、厌恶、中立、害怕不同情绪状态的分类准确率P：
其中，TP表示预测正确的数据样本总数，FP表示预测错误的数据样本总数。
(9)多模态决策融合
采用多模态决策级融合方法对三维卷积神经网络和深度卷积神经网络的预测结果进行融合，得到情绪分类结果。
本实施例的多模态决策级融合方法如下：
1)将三维卷积神经网络对高兴、伤心、厌恶、中立、害怕不同情绪状态进行分类，得分类准确率P1：
P1＝(P11，P12，...，P15)T
深度神经网络对高兴、伤心、厌恶、中立、害怕不同情绪状态进行分类，得分类准确率P2：
P2＝(P21，P22，...，P25)T
2)将分类准确率P1构成权重矩阵W1：
分类准确率P2构成权重矩阵W2：
3)三维卷积神经网络对高兴、伤心、厌恶、中立、害怕不同情绪状态进行分类，得分类结果C1：
C1＝(c11，…，c15)T
深度神经网络对高兴、伤心、厌恶、中立、害怕不同情绪状态进行分类，得分类结果C2：
C2＝(c21，…，c25)T
4)按下式确定多模态融合情绪分类的结果C：
5)按下式确定最终的分类结果：
其中k为1～5整数，本实施例的k取值为3。
(10)测试网络性能
将脑电信号测试集输入训练好的三维卷积神经网络中进行测试，眼动数据测试集输入到训练好的深度神经网络中进行测试。
实施例2
本实施例的基于脑电时空频特征和眼动特征的多模态情绪分类方法由以下步骤组成：
(1)获取脑电信号和眼动特征数据集
该步骤与实施例1相同。
(2)脑电信号数据集预处理
该步骤与实施例1相同。
(3)选取数据样本
1)选取脑电信号样本
从三维脑电信号特征数据中选取脑电样本集S{s1，s2，...，sm}，m为样本数量， m∈[1，20]，本实施例的m取值为1，脑电样本集S中每一个数据样本的维度为 9×9×800。
2)选取眼动特征数据样本
从眼动特征数据中选取眼动特征数据样本集合E{e1，e2，...，em}，本实施例的m 取值为1，眼动特征数据样本集合E中每一个数据样本的维度为1×594。
(4)～(8)步骤与实施例1相同。
(9)多模态决策融合
采用多模态决策级融合方法对三维卷积神经网络和深度卷积神经网络的预测结果进行融合，得到情绪分类结果。
本实施例的多模态决策级融合方法如下：
1)将三维卷积神经网络对高兴、伤心、厌恶、中立、害怕不同情绪状态进行分类，得分类准确率P1：
P1＝(P11，P12，...，P15)T
深度神经网络对高兴、伤心、厌恶、中立、害怕不同情绪状态进行分类，得分类准确率P2：
P2＝(P21，P22，...，P25)T
2)将分类准确率P1构成权重矩阵W1：
分类准确率P2构成权重矩阵W2：
3)三维卷积神经网络对高兴、伤心、厌恶、中立、害怕不同情绪状态进行分类得分类结果C1：
C1＝(c11，…，c15)T
深度神经网络对高兴、伤心、厌恶、中立、害怕不同情绪状态进行分类，得分类结果C2：
C2＝(c21，…，c25)T
4)按下式确定多模态融合情绪分类的结果C：
5)按下式确定最终的分类结果：
其中k为1～5整数，本实施例的k取值为1。
其它步骤与实施例1相同。完成基于脑电时空频特征和眼动特征的多模态情绪分类方法。
实施例3
本实施例的基于脑电时空频特征和眼动特征的多模态情绪分类方法由以下步骤组成：
(1)获取脑电信号和眼动特征数据集
该步骤与实施例1相同。
(2)脑电信号数据集预处理
该步骤与实施例1相同。
(3)选取数据样本
1)选取脑电信号样本
从三维脑电信号特征数据中选取脑电样本集S{s1，s2，...，sm}，m为样本数量， m∈[1，20]，本实施例的m取值为20，脑电样本集S中每一个数据样本的维度为 9×9×800。
2)选取眼动特征数据样本
从眼动特征数据中选取眼动特征数据样本集合E{e1，e2，...，em}，本实施例的m 取值为20，眼动特征数据样本集合E中每一个数据样本的维度为1×594。
(4)～(8)步骤与实施例1相同。
(9)多模态决策融合
采用多模态决策级融合方法对三维卷积神经网络和深度卷积神经网络的预测结果进行融合，得到情绪分类结果。
本实施例的多模态决策级融合方法如下：
1)将三维卷积神经网络对高兴、伤心、厌恶、中立、害怕不同情绪状态进行分类，得分类准确率P1：
P1＝(P11，P12，...，P15)T
深度神经网络对高兴、伤心、厌恶、中立、害怕不同情绪状态进行分类，得分类准确率P2：
P2＝(P21，P22，...，P25)T
2)将分类准确率P1构成权重矩阵W1：
分类准确率P2构成权重矩阵W2：
3)三维卷积神经网络对高兴、伤心、厌恶、中立、害怕不同情绪状态进行分类，得分类结果C1：
C1＝(c11，…，c15)T
深度神经网络对高兴、伤心、厌恶、中立、害怕不同情绪状态进行分类，得分类结果C2：
C2＝(c21，…，c25)T
4)按下式确定多模态融合情绪分类的结果C：
5)按下式确定最终的分类结果：
其中k为1～5整数，本实施例的k取值为5。
其它步骤与实施例1相同。完成基于脑电时空频特征和眼动特征的多模态情绪分类方法。
为了验证本发明的效果，发明人采用实施例1的方法进行了仿真实验，实验情况如下：
1、仿真条件
软件环境：PyCharm 2019.3.1x64
硬件条件：1台台式电脑(Nvidia1650显卡)
电脑配置：
1)处理器：Intel(R)Core(TM)i7-10700CPU@2.90GHz 2.90GHz。
2)内存：24.0GB。
软件平台：tensorflow2.4.1。
其它第三方库：numpy1.19.5、os、pickle、matplotlib、glob。
2、仿真内容与结果
在上述仿真条件下进行实验，结果见图4、图5。在图4中，横轴表示三维卷积神经网络和深度卷积神经网络的迭代次数，纵轴表示三维卷积神经网络和深度卷积神经网络的分类准确率，上面一条曲线表示网络在训练集上进行分类的准确率，下面一条曲线表示网络在测试集上进行分类的准确率；用分类网络在测试集上的分类准确率用来衡量网络的分类性能，在测试集上的分类准确率越高，表示网络的性能越好。在图5中，横轴表示分类网络的迭代次数，纵轴表示分类网络的损失，上面一条曲线表示分类网络在训练集上进行分类的损失，下面一条曲线表示网络在测试集合上进行分类的损失；通常，网络在测试集上的损失大于等于网络在训练集上的损失，训练集损失和测试集损失越接近，表明网络拟合的越好。由图5可见，随着迭代次数的增加，网络的损失逐渐下降，网络的分类准确率逐渐上升，当迭代次数达到25时分类网络开始收敛，损失值和分类准确率趋于稳定，表明本发明使用的情绪分类方法切实可行。
与现有技术相比，本发明具有以下优点：
本发明采用多模态方法从决策级融合层次将脑电信号和眼动信息两种模态进行融合，进行情绪分类；针对脑电信号数据集训练了三维卷积神经网络，针对眼动特征数据训练了深度卷积神经网络；与现有的情绪分类方法相比，该方法将脑电信号在时间域、空间域和频率域特征三种特征进行融合，并且采用了脑电信号和眼动信息两种模态进行情绪分类，提高了情绪分类的分类准确率。
Claims (3)
1.一种基于脑电时空频特征和眼动特征的多模态情绪分类方法，其特征在于它是由下述步骤组成：
(1)获取脑电信号和眼动特征数据集
从上海交通大学仿脑计算和机理实验室提供的多模态情绪脑电数据集SEED-V中选取一维脑电信号特征数据、眼动特征数据；
(2)脑电信号数据集预处理
将一维脑电信号特征数据通过二维的电极拓扑结构映射为三维脑电信号特征数据；
(3)选取数据样本
1)选取脑电信号样本
从三维脑电信号特征数据中选取脑电样本集S{s1，s2，...，sm}，m为样本数量，m∈[1，20]，脑电样本集S中每一个数据样本的维度为9×9×800；
2)选取眼动特征数据样本
从眼动特征数据中选取眼动特征数据样本集合E{e1，e2，...，em}，眼动特征数据样本集合E中每一个数据样本的维度为1×594；
(4)增强脑电数据
采用滑动窗口方法扩展脑电信号数据集，该方法的窗口尺寸为4秒，窗口重叠为2秒；
(5)脑电数据标准化
将脑电样本集S按下式进行数据标准化s′：
其中为脑电数据的平均值，v为脑电数据的方差且不为0；
(6)划分训练集和测试集以及验证集
将脑电信号数据样本集S划分成脑电信号训练集、脑电信号验证集、脑电信号测试集，脑电信号训练集与脑电信号验证集、脑电信号测试集的划分比例为7:2:1；眼动特征数据样本集E划分成对应的眼动数据训练集、眼动数据验证集、眼动数据测试集，眼动数据训练集与眼动数据验证集、眼动数据测试集的划分比例为7:2:1；
(7)构建三维卷积神经网络和深度神经网络
1)构建三维卷积神经网络
三维卷积神经网络由第一三维卷积层C1与第一最大池化层M1、第二三维卷积层C2、第二最大池化层M2、第一全连接层F1、第二全连接层F2、激活函数Softmax层依次串联构成；
2)构建深度神经网络
深度神经网络由第一全连接层FC1与第二全连接层FC2、第三全连接层FC3、第四全连接层FC4、第五全连接层FC5、激活函数Softmax层依次串联构成；
(8)训练三维卷积神经网络和深度神经网络
将脑电信号数据样本集S中的训练集输入到三维卷积神经网络，眼动特征数据样本集E中的训练集输入到深度神经网络中，进行网络训练，采用Adam优化方法更新神经网络的权重和偏置参数，损失函数使用类别交叉熵损失函数Loss：
其中，yi表示数据样本对应的真实标签，y′i表示数据样本的预测值；训练三维卷积神经网络时每次输入到神经网络的数据样本批量为16，训练深度神经网络时每次输入到神经网络的数据样本批量为32，训练至类别交叉熵损失函数Loss收敛；得到三维卷积神经网络和深度神经网络对高兴、伤心、厌恶、中立、害怕不同情绪状态的分类准确率P：
其中，TP表示预测正确的数据样本总数，FP表示预测错误的数据样本总数；
(9)多模态决策融合
采用多模态决策级融合方法对三维卷积神经网络和深度卷积神经网络的预测结果进行融合，得到情绪分类结果；
所述的多模态决策级融合方法为：
1)将三维卷积神经网络对高兴、伤心、厌恶、中立、害怕不同情绪状态进行分类，得分类准确率P1：
P1＝(P11，P12，...，P15)T
深度神经网络对高兴、伤心、厌恶、中立、害怕不同情绪状态进行分类，得分类准确率P2：
P2＝(P21，P22，...，P25)T
2)将分类准确率P1构成权重矩阵W1：
分类准确率P2构成权重矩阵W2：
3)三维卷积神经网络对高兴、伤心、厌恶、中立、害怕不同情绪状态进行分类，得分类结果C1：
C1＝(c11，…，c15)T
深度神经网络对高兴、伤心、厌恶、中立、害怕不同情绪状态进行分类，得分类结果C2：
C2＝(c21,…,c25)T
4)按下式确定多模态融合情绪分类的结果C：
5)按下式确定最终的分类结果：
其中k为1～5整数；
(10)测试网络性能
将脑电信号测试集输入到训练好的三维卷积神经网络中进行测试，眼动数据测试集输入到训练好的深度神经网络中进行测试。
2.根据权利要求1所述的基于脑电时空频特征和眼动特征的多模态情绪分类方法，其特征在于：在(7)构建三维卷积神经网络和深度神经网络步骤的1)构建三维卷积神经网络中，所述的第一三维卷积层C1是带激活函数RELU的三维卷积层，有32个滤波器，卷积核的大小为3×3×4，步长为1；第一最大池化层M1是最大池化层，卷积核的大小为1×1×2，步长为1；第二三维卷积层C2是带激活函数RELU的三维卷积层，有64个滤波器，卷积核的大小为3×3×4，步长为1；第二最大池化层M2是最大池化层，卷积核的大小为1×1×2，步长为1；第一全连接层F1是全连接层，输出维数为1024；第二全连接层F2是全连接层，输出维数为5。
3.根据权利要求1所述的基于脑电时空频特征和眼动特征的多模态情绪分类方法，其特征在于:在(7)构建三维卷积神经网络和深度神经网络的2)构建深度神经网络步骤中，所述的第一全连接层FC1的输出维数为256；第二全连接层FC2的输出维数为800；第三全连接层FC3的输出维数为64；第四全连接层FC4的输出维数为32；第五全连接层FC5的输出维数为5。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210633218.5A CN115099311B (zh) | 2022-06-06 | 2022-06-06 | 基于脑电时空频特征和眼动特征的多模态情绪分类方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210633218.5A CN115099311B (zh) | 2022-06-06 | 2022-06-06 | 基于脑电时空频特征和眼动特征的多模态情绪分类方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN115099311A CN115099311A (zh) | 2022-09-23 |
| CN115099311B true CN115099311B (zh) | 2024-03-19 |
Family
ID=83288329
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210633218.5A Active CN115099311B (zh) | 2022-06-06 | 2022-06-06 | 基于脑电时空频特征和眼动特征的多模态情绪分类方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN115099311B (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2017105271A3 (zh) * | 2017-02-17 | 2018-08-17 | ||
| CN112364697A (zh) * | 2020-10-14 | 2021-02-12 | 陕西师范大学 | 基于r-lstm模型的脑电信号情绪识别方法 |
| CN112861778A (zh) * | 2021-03-05 | 2021-05-28 | 南京邮电大学 | 一种基于多模态融合的情绪分类识别方法 |
| CN113569997A (zh) * | 2021-08-31 | 2021-10-29 | 山东海量信息技术研究院 | 基于图卷积神经网络的情绪分类方法及系统 |
| CN113705398A (zh) * | 2021-08-17 | 2021-11-26 | 陕西师范大学 | 基于卷积-长短期记忆网络音乐脑电时空特征分类方法 |
| CN114091599A (zh) * | 2021-11-16 | 2022-02-25 | 上海交通大学 | 模态间密集交互深度神经网络情绪识别方法 |
| CN114224342A (zh) * | 2021-12-06 | 2022-03-25 | 南京航空航天大学 | 一种基于时空融合特征网络的多通道脑电信号情绪识别方法 |
| WO2022067524A1 (zh) * | 2020-09-29 | 2022-04-07 | 香港教育大学 | 自动情绪识别方法、系统、计算设备及计算机可读存储介质 |
| CN114305415A (zh) * | 2021-11-25 | 2022-04-12 | 广东电网有限责任公司 | 一种跨被试和跨模态的多模态紧张情绪识别方法及系统 |
| CN114431862A (zh) * | 2021-12-22 | 2022-05-06 | 山东师范大学 | 基于脑功能连接网络的多模态情绪识别方法及系统 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11468288B2 (en) * | 2020-07-28 | 2022-10-11 | Oken Technologies, Inc. | Method of and system for evaluating consumption of visual information displayed to a user by analyzing user's eye tracking and bioresponse data |
-
2022
- 2022-06-06 CN CN202210633218.5A patent/CN115099311B/zh active Active
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2017105271A3 (zh) * | 2017-02-17 | 2018-08-17 | ||
| WO2022067524A1 (zh) * | 2020-09-29 | 2022-04-07 | 香港教育大学 | 自动情绪识别方法、系统、计算设备及计算机可读存储介质 |
| CN112364697A (zh) * | 2020-10-14 | 2021-02-12 | 陕西师范大学 | 基于r-lstm模型的脑电信号情绪识别方法 |
| CN112861778A (zh) * | 2021-03-05 | 2021-05-28 | 南京邮电大学 | 一种基于多模态融合的情绪分类识别方法 |
| CN113705398A (zh) * | 2021-08-17 | 2021-11-26 | 陕西师范大学 | 基于卷积-长短期记忆网络音乐脑电时空特征分类方法 |
| CN113569997A (zh) * | 2021-08-31 | 2021-10-29 | 山东海量信息技术研究院 | 基于图卷积神经网络的情绪分类方法及系统 |
| CN114091599A (zh) * | 2021-11-16 | 2022-02-25 | 上海交通大学 | 模态间密集交互深度神经网络情绪识别方法 |
| CN114305415A (zh) * | 2021-11-25 | 2022-04-12 | 广东电网有限责任公司 | 一种跨被试和跨模态的多模态紧张情绪识别方法及系统 |
| CN114224342A (zh) * | 2021-12-06 | 2022-03-25 | 南京航空航天大学 | 一种基于时空融合特征网络的多通道脑电信号情绪识别方法 |
| CN114431862A (zh) * | 2021-12-22 | 2022-05-06 | 山东师范大学 | 基于脑功能连接网络的多模态情绪识别方法及系统 |
Non-Patent Citations (2)
| Title |
|---|
| 基于卷积神经网络的脑电情绪识别研究;张俊晓;薄华;;现代计算机(专业版);20180815(23);14-18 * |
| 结合人脸图像和脑电的情绪识别技术;黄泳锐;杨健豪;廖鹏凯;潘家辉;;计算机系统应用;20180215(02);11-17 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN115099311A (zh) | 2022-09-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112784798B (zh) | 一种基于特征-时间注意力机制的多模态情感识别方法 | |
| Tian | Artificial intelligence image recognition method based on convolutional neural network algorithm | |
| Wen et al. | Ensemble of deep neural networks with probability-based fusion for facial expression recognition | |
| Zhao et al. | PDANet: Polarity-consistent deep attention network for fine-grained visual emotion regression | |
| CN111553295A (zh) | 基于自注意力机制的多模态情感识别方法 | |
| CN112561064B (zh) | 基于owkbc模型的知识库补全方法 | |
| CN113396422B (zh) | 使用生物统计数据训练感知任务的机器学习模型 | |
| CN109255340A (zh) | 一种融合多种改进vgg网络的人脸识别方法 | |
| Chu et al. | Multi-scale graph representation learning for autism identification with functional MRI | |
| CN116682557A (zh) | 一种基于小样本深度学习的慢性病并发症早期风险预警方法 | |
| CN113705398B (zh) | 基于卷积-长短期记忆网络音乐脑电时空特征分类方法 | |
| Kayadibi et al. | An eye state recognition system using transfer learning: AlexNet-based deep convolutional neural network | |
| CN117077078A (zh) | 基于三模态融合对比学习的跨人脸-语音验证方法及系统 | |
| CN115186731A (zh) | 基于多层次特征融合的深度tsk模糊分类器 | |
| Zhao et al. | An identification algorithm of driver steering characteristics based on backpropagation neural network | |
| Liu | Artificial intelligence–based neural network for the diagnosis of diabetes: Model development | |
| CN117690178A (zh) | 一种基于计算机视觉的人脸图像识别方法与系统 | |
| Jia et al. | Element extraction and convolutional neural network-based classification for blue calico | |
| Li et al. | [Retracted] Deep Learning and Improved HMM Training Algorithm and Its Analysis in Facial Expression Recognition of Sports Athletes | |
| CN116543215A (zh) | 一种基于深度哈希互学习的脑网络分类方法 | |
| Indu et al. | A modified kNN algorithm to detect Parkinson’s disease | |
| CN111543988A (zh) | 一种自适应认知活动识别方法、装置及存储介质 | |
| Anand et al. | Multi-class facial emotion expression identification using DL-based feature extraction with classification models | |
| CN115099311B (zh) | 基于脑电时空频特征和眼动特征的多模态情绪分类方法 | |
| CN114757271A (zh) | 基于多通道图卷积网络的社交网络节点分类方法与系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |