CN117204856A - 基于脑电数据的驾驶员情绪状态检测方法和装置 - Google Patents
基于脑电数据的驾驶员情绪状态检测方法和装置 Download PDFInfo
- Publication number
- CN117204856A CN117204856A CN202311290934.9A CN202311290934A CN117204856A CN 117204856 A CN117204856 A CN 117204856A CN 202311290934 A CN202311290934 A CN 202311290934A CN 117204856 A CN117204856 A CN 117204856A
- Authority
- CN
- China
- Prior art keywords
- features
- driver
- channel
- module
- manifold
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 230000008451 emotion Effects 0.000 title claims abstract description 73
- 238000000034 method Methods 0.000 title claims abstract description 60
- 210000004556 brain Anatomy 0.000 title claims abstract description 53
- 238000013507 mapping Methods 0.000 claims abstract description 85
- 230000002996 emotional effect Effects 0.000 claims abstract description 67
- 238000012545 processing Methods 0.000 claims abstract description 58
- 238000001514 detection method Methods 0.000 claims abstract description 50
- 238000000605 extraction Methods 0.000 claims abstract description 32
- 230000009467 reduction Effects 0.000 claims abstract description 28
- 206010063659 Aversion Diseases 0.000 claims abstract description 13
- 230000005611 electricity Effects 0.000 claims abstract description 11
- 238000005096 rolling process Methods 0.000 claims abstract description 8
- 238000012549 training Methods 0.000 claims description 24
- 238000004590 computer program Methods 0.000 claims description 22
- 230000006870 function Effects 0.000 claims description 22
- 238000005070 sampling Methods 0.000 claims description 18
- 230000004913 activation Effects 0.000 claims description 16
- 238000010606 normalization Methods 0.000 claims description 16
- 230000009466 transformation Effects 0.000 claims description 12
- 239000011159 matrix material Substances 0.000 claims description 10
- 238000001914 filtration Methods 0.000 claims description 8
- 238000011176 pooling Methods 0.000 claims description 7
- 238000007306 functionalization reaction Methods 0.000 claims description 6
- 238000003860 storage Methods 0.000 claims description 3
- 206010039203 Road traffic accident Diseases 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 14
- 230000008569 process Effects 0.000 description 13
- 238000012795 verification Methods 0.000 description 9
- 238000002679 ablation Methods 0.000 description 8
- 238000002474 experimental method Methods 0.000 description 8
- 238000013135 deep learning Methods 0.000 description 6
- 238000011160 research Methods 0.000 description 4
- 230000009471 action Effects 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 230000003595 spectral effect Effects 0.000 description 3
- 230000003213 activating effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000008909 emotion recognition Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 210000002569 neuron Anatomy 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000000638 stimulation Effects 0.000 description 2
- PIZHFBODNLEQBL-UHFFFAOYSA-N 2,2-diethoxy-1-phenylethanone Chemical compound CCOC(OCC)C(=O)C1=CC=CC=C1 PIZHFBODNLEQBL-UHFFFAOYSA-N 0.000 description 1
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000004075 alteration Effects 0.000 description 1
- 210000003710 cerebral cortex Anatomy 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000010835 comparative analysis Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Landscapes
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本申请提供了一种基于脑电数据的驾驶员情绪状态检测方法和装置，所述方法包括：获取驾驶员脑电数据的微分熵特征；将微分熵特征输入到通道特征提取模块进行特征提取，得到通道特征；利用空间流形映射模块对通道特征进行对称正定流形映射处理，得到低维度的流形映射特征；利用卷积降维模块对流形映射特征进行卷积和降尺度处理，得到情绪状态特征；通过全连接层对情绪状态特征进行处理，得到驾驶员情绪检测结果，驾驶员情绪检测结果包括以下任意一者：愤怒、恐惧、悲伤、厌恶、惊讶、快乐和中性。基于本申请提供的方法，能够实现多种驾驶员情绪状态检测，有助于检测驾驶员情绪状态中的人为因素，预防由负面情绪引起的交通事故。
Description
技术领域
本申请涉及脑电数据处理技术领域，特别涉及一种基于脑电数据的驾驶员情绪状态检测方法和装置。
背景技术
驾驶员情绪状态的检测与行车安全密切相关，不良的驾驶状态会导致驾驶风险增加，因此对驾驶员的情绪状态检测具有重要意义。随着脑电数据处理和深度学习技术的发展，开始通过脑电数据来研究情绪状态。
然而，相关研究大多是使用非特异性刺激诱导情绪，而对驾驶特定领域的研究相对较少。并且用于脑电数据情感检测所使用模型仍然偏向于传统机器学习(例如，SVM、KNN等模型)或基本深度学习结构(例如，CNN、LSTM等)，这些模型对情绪特征提取能力有限，当涉及的情绪种类较多时，情绪检测结果不可靠。因此，亟需一种应用于驾驶领域且可靠性强的情绪状态检测方法。
发明内容
鉴于上述问题，本申请实施例提供了一种基于脑电数据的驾驶员情绪状态检测方法和装置，以便克服上述问题或者至少部分地解决上述问题。
本申请实施例的第一方面，公开了一种基于脑电数据的驾驶员情绪状态检测方法，所述方法包括：
获取驾驶员脑电数据的微分熵特征；
将所述微分熵特征输入到通道特征提取模块进行特征提取，得到通道特征；
利用空间流形映射模块对所述通道特征进行对称正定流形映射处理，得到低维度的流形映射特征；
利用卷积降维模块对所述流形映射特征进行卷积和降尺度处理，得到情绪状态特征；
通过全连接层对所述情绪状态特征进行处理，得到驾驶员情绪检测结果，所述驾驶员情绪检测结果包括以下任意一者：愤怒、恐惧、悲伤、厌恶、惊讶、快乐和中性。
可选地，将所述微分熵特征输入到通道特征提取模块进行特征提取，得到通道特征，包括：
利用卷积层对所述微分熵特征的单个通道特征进行提取，得到初始通道特征；
利用ELU激活函和归一化层对所述始通道特征进行处理，得到所述通道特征。
可选地，利用空间流形映射模块对所述通道特征进行对称正定流形映射处理，得到低维度的流形映射特征，包括：
利用通道卷积层对所述通道特征进行特征提取，得到空间特征；
将所述空间特征分为N个子空间特征，并将每个所述子空间特征进行对称正定矩阵变换，子流形映射特征，N为大于0的整数；
将N个所述子流形映射特征进行拼接，得到低维度的流形映射特征。
可选地，利用卷积降维模块对所述流形映射特征进行卷积和降尺度处理，包括：
依次对所述流形映射特征进行卷积、ELU激活函数和归一化处理，得到流形映射卷积特征；
利用池化层对所述流形映射卷积特征进行降维处理，得到所述情绪状态特征。
可选地，获取驾驶员脑电数据的微分熵特征，包括：
按照目标频段对所述驾驶员脑电数据进行滤波，得到不同频段的脑电数据；
根据预设采样点对每个频段的脑电数据进行采样，得到所述目标脑电数据样本；
按照预设窗口和步长对所述目标脑电数据样本进行频域变换处理，得到所述驾驶员脑电数据的微分熵特征。
可选地，所述基于脑电数据的驾驶员情绪状态检测方法是基于流形学习的对称正定网络实现的，所述对称正定网络通过以下步骤训练得到：
设置不同的驾驶场景诱发驾驶员产生不同的驾驶情绪，并采集相应的脑电数据作为训练数据，所述驾驶情绪包括：愤怒、悲伤、厌恶、恐惧、快乐、中性和惊讶；
将所述训练数据输入到所述对称正定网络进行训练，并计算交叉熵损失作为所述对称正定网络的损失值；
利用所述损失值更新所述对称正定网络的网络参数，在满足收敛条件后得到训练好的对称正定网络。
本申请实施例的第二方面，公开了一种基于脑电数据的驾驶员情绪状态检测装置，所述装置包括：
获取模块，用于获取驾驶员脑电数据的微分熵特征；
第一特征模块，用于将所述微分熵特征输入到通道特征提取模块进行特征提取，得到通道特征；
第二特征模块，用于利用空间流形映射模块对所述通道特征进行对称正定流形映射处理，得到低维度的流形映射特征；
第三特征模块，用于利用卷积降维模块对所述流形映射特征进行卷积和降尺度处理，得到情绪状态特征；
结果输出模块，用于通过全连接层对所述情绪状态特征进行处理，得到驾驶员情绪检测结果，所述驾驶员情绪检测结果包括以下任意一者：愤怒、恐惧、悲伤、厌恶、惊讶、快乐和中性。
本申请实施例的第三方面，公开了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现本申请实施例第一方面所述的基于脑电数据的驾驶员情绪状态检测方法的步骤。
本申请实施例的第四方面，公开了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本申请实施例第一方面所述的基于脑电数据的驾驶员情绪状态检测方法的步骤。
本申请实施例的第五方面，公开了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现本申请实施例第一方面所述的基于脑电数据的驾驶员情绪状态检测方法的步骤。
本申请实施例包括以下优点：
在本申请实施例中，基于驾驶情绪状态的脑电数据可微的特点，利用脑电数据对驾驶员情绪状态进行检测。首先获取驾驶员脑电数据的微分熵特征，并将微分熵特征输入到通道特征提取模块进行特征提取，得到通道特征，然后利用空间流形映射模块对通道特征进行对称正定流形映射处理，得到低维度的流形映射特征，接着利用卷积降维模块对流形映射特征进行卷积和降尺度处理，得到情绪状态特征，最后通过全连接层对情绪状态特征进行处理，得到驾驶员情绪检测结果。
由于关注的驾驶员情绪状态种类较多，使得驾驶员情绪状态检测是一个复杂的检测任务，需要提取大量的情绪状态特征才能实现准确的检测。鉴于流形学习具有将高维数据转化为可微的低维特征的良好特性，因此利用流形学习来进行特征提取，以更好的表达驾驶员情绪状态特征，实现对驾驶员情绪状态的准确检测。该方法有助于检测驾驶员情绪状态中的人为因素，能够预防由负面情绪引起的交通事故。
附图说明
为了更清楚地说明本申请实施例的技术方案，下面将对本申请实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种基于脑电数据的驾驶员情绪状态检测方法的步骤流程图；
图2是本申请实施例提供的一种微分熵特征的获取过程示意图；
图3是本申请实施例提供的一种对称正定网络的结构示意图；
图4是现有模型与本申请实施例提供的一种对称正定网络的性能对比结果；
图5是本申请实施例提供的一种基于脑电数据的驾驶员情绪状态检测装置的结构示意图；
图6本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
为使本申请的上述目的、特征和优点能够更加明显易懂，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
相关技术中，通过识别人的面部表情来识别人的情绪状态，但这种方法的局限性在于基于面部的判断是不确定的，因为人可以在消极的情绪状态下设法保持微笑，所以它的检测结果不可靠。因此，开始对人体内的生理信号进行了研究，由于大脑皮层是人体的主要决策中枢，基于脑电数据的情绪状态研究具有重要意义。目前脑电数据情感检测使用了多种模块，例如，利用SVM模型、KNN模型进行情绪识别；且随着深度学习网络的普及，使用深度学习方法进行基于脑电数据的情绪研究，例如，CNN和LSTM。虽然有很方法都关注了脑电数据与人类情绪状态之间的关系，但这些方法大多是使用非特异性刺激诱导情绪，而对驾驶特定领域的研究相对较少，并且从情绪识别的公共数据集来看，经典的情绪公共数据集如SEED和DEAP并不关注实际场景，并且数据集涉及的情绪类型也较少，当涉及的情绪种类较多时，情绪检测结果不可靠。
为了解决现有技术的局限性，申请人提出以下技术构思：基于流形学习具有将高维数据转化为可微的低维特征的特性，利用流形学习对驾驶员情绪状态进行特征提取，以更好的表达驾驶员情绪状态特征，进而基于特征实现多种驾驶员情绪状态检测。
本申请实施例提供了一种基于脑电数据的驾驶员情绪状态检测方法，参照图1所示，图1是本申请实施例提供的一种基于脑电数据的驾驶员情绪状态检测方法的步骤流程图。如图1所示，所述方法可以包括步骤S110至步骤S150：
步骤S110：获取驾驶员脑电数据的微分熵特征。
本申请实施例中，驾驶员脑电数据是驾驶员在驾驶车辆过程中采集的表征情绪状态的脑电数据，该脑电数据是一个通道数为32，采样率为500Hz的数据。驾驶员脑电数据具有可微的特点，微分熵特征可以描述脑电数据的变化率和变化趋势，因此基于脑电数据的微分熵特征来进行后续的情绪状态检测。具体地，通过对采集的驾驶员脑电数据进行预处理(即噪声过滤和采样等处理)和微分熵特征提取，得到微分熵特征。
在一种可选的实施例中，获取驾驶员脑电数据的微分熵特征，包括步骤S110-1至步骤S110-3：
步骤S110-1：按照目标频段对所述驾驶员脑电数据进行滤波，得到不同频段的脑电数据。
其中，目标频段是指5个标准的频段(即当前业内公认的5个不同的频段，脑电数据在不同频段内具有不同的情绪表现)，进而按照不同的目标频段对驾驶员脑电数据进行滤波，分别得到不同目标频段的脑电数据。此外，考虑到脑电数据在采集过程中含有大量的噪声，因此在按照目标频段对所述驾驶员脑电数据进行滤波之前，利用0.5-40Hz线性带通滤波器对驾驶员脑电数据进行噪声过滤，得到更清晰的驾驶员脑电数据，进而对经过噪声过来的驾驶员脑电数据按照目标频段进行过滤。
步骤S110-2：根据预设采样点对每个频段的脑电数据进行采样，得到所述目标脑电数据样本。
具体地，考虑到采集的驾驶员脑电数据是长时序的连续信号，因此为了便于特征提取，将每个频段的脑电数据截取(即采样)为固定长度的目标脑电数据样本，在目标脑电数据样本之间没有重复和冗余。例如，若采样点为250，则按照每250个采样点对每个频段的脑电数据进行采样，得到由250个采样点组成的目标脑电数据样本，目标脑电数据样本的大小为32×250。
步骤S110-3：按照预设窗口和步长对所述目标脑电数据样本进行频域变换处理，得到所述驾驶员脑电数据的微分熵特征。
具体地，按照预设窗口(例如，窗口为50)和步长(例如，步长为10)对每个目标脑电数据样本进行频域变换处理(即，短时傅里叶变换STFT)，得到每个目标脑电数据样本对应的平均功率谱密度，进而对平均功率谱密度进行计算，得到微分熵特征。
示例地，由频域能谱计算平均功率谱密度PSD表示为：
PSD＝∑[FFT(x)]2/(fend-fstart+1)
其中，x为目标脑电数据样本为信号，fend为频带的末端，fstart为频带的起点。
而微分熵特征通过一个简化的公式来进行计算，这种简化是基于在确定的脑电数据的一定频率范围内截取的固定长度的脑电信号(即目标脑电数据样本)可以看作是高斯信号，其微分熵近似等于对数能谱。因此微分熵特征DE表示为：
DE＝log2(PSD)
图2是本申请实施例提供的一种微分熵特征的获取过程示意图，具体地，首先利用0.5-40Hz线性带通滤波器对驾驶员脑电数据进行噪声过滤，接着利用5个目标频带对脑电数据进行滤波，得到不同目标频段的脑电数据，并按照预设采样点(即250个采用)对每个频段的脑电数据进行采样，得到目标脑电数据样本，最后按照预设窗口(窗口等于50)和步长(步长等于10)对目标脑电数据样本进行频域变换处理，得到驾驶员脑电数据的微分熵特征，微分熵特征尺寸为32×100。
步骤S120：将所述微分熵特征输入到通道特征提取模块进行特征提取，得到通道特征。
本申请实施例中，利用通道特征提取模块对微分熵特征进行特征提取，以从通道维度对微分熵特征作进一步的提取和自适应修饰，得到能够准确表征情绪状态的通道特征。
在一种可选的实施例中，通道特征提取模块包括卷积层、ELU激活函和归一化层。具体地，将所述微分熵特征输入到通道特征提取模块进行特征提取，得到通道特征，包括：利用卷积层对所述微分熵特征的单个通道特征进行提取，得到初始通道特征；利用ELU激活函和归一化层对所述始通道特征进行处理，得到所述通道特征。
在具体实施时，使用卷积核在同一通道上实现64个连续数据点的卷积运算，得到初始通道特征，然后通过ELU激活函进行激活处理，并通过归一化层BN进行归一化，以提高网络的鲁棒性和收敛速度，最终得到通道特征。
步骤S130：利用空间流形映射模块对所述通道特征进行对称正定流形映射处理，得到低维度的流形映射特征。
本申请实施例中，通道特征是一个从高维度表达驾驶员情绪状态的特征，为了更好的对驾驶员情绪状态进行分类，需要将高维度的通道特征准确映射为低维度的特征表达。流形学习是一种将高维数据映射到低维流形上的方法，其通过保留特征之间的局部关系来达到降维的目的。而本申请实施例中，采用对称正定流形对通道特征进行对称正定流形映射处理，其中，正定流形被定义为n×n个对称正定矩阵组成的集合，这个集合定义为：
其中，n表示矩阵的维数，Rn×n表示所有n×n个实矩阵的集合，表示n×n个对称正定矩阵的集合。因此，对称正定矩阵流形可定义为n(n+1)/2维欧氏流形，其切空间可视为所有对称矩阵的集合。
在一种可选的实施例中，利用空间流形映射模块对所述通道特征进行对称正定流形映射处理，得到低维度的流形映射特征，包括：利用通道卷积层对所述通道特征进行特征提取，得到空间特征；将所述空间特征分为N个子空间特征，并将每个所述子空间特征进行对称正定矩阵变换，子流形映射特征，N为大于0的整数；将N个所述子流形映射特征进行拼接，得到低维度的流形映射特征。
在具体实施时，通道卷积层同样包括卷积模块和ELU激活函数和归一化层，进而利用通道卷积层对所述通道特征进行特征提取的过程具体包括：利用卷积层对通道特征进行特征提取，得到初始空间特征；再利用ELU激活函数和归一化层进行激活和归一化处理，以得到空间特征；然后执行对称正定流形映射处理以实现特征降维，得到低维度的流形映射特征，其中对每个子空间特征进行对称正定矩阵变换是指：计算每个子空间特征的协方差矩阵。N的取值根据实际的处理需要而确定，例如，若N的取值为3，则将空间特征分为3个子空间特征，并分别计算3个空间特征的协方差矩阵，以作为子流形映射特征，进而将3个子流形映射特征拼接，得到流形映射特征。
步骤S140：利用卷积降维模块对所述流形映射特征进行卷积和降尺度处理，得到情绪状态特征。
本申请实施例中，通过对流形映射特征作进一步的降维处理，以便于对降维后的情绪状态特征进行分类。
在一种可选的实施例中，卷积降维模块包括卷积层、ELU激活函、归一化层以及最大池化层。进一步地，利用卷积降维模块对所述流形映射特征进行卷积和降尺度处理，包括：依次对所述流形映射特征进行卷积、ELU激活函数和归一化处理，得到流形映射卷积特征：利用池化层对所述流形映射卷积特征进行降维处理，得到所述情绪状态特征。
在具体实施时，利用大小为32的一维卷积核对流形映射特征进行再卷积，然后进行ELU激活函数和归一化处理，并建立最大池化层进行特征处理和降维，此外还增加dropout随机删除节点以降低网络过拟合的风险。
步骤S150：通过全连接层对所述情绪状态特征进行处理，得到驾驶员情绪检测结果，所述驾驶员情绪检测结果包括以下任意一者：愤怒、恐惧、悲伤、厌恶、惊讶、快乐和中性。
其中，全连接层的神经元数量与关注的驾驶员情绪状态的种类数量相同。由于本申请实施例关注了愤怒、恐惧、悲伤、厌恶、惊讶、快乐和中性7种情绪状态，则在全连接层中有7个神经元。进而利用该全连接层输出驾驶员情绪所属的类型。
在本申请实施例中，基于不同驾驶情绪状态的脑电数据可微的特点，利用脑电数据对驾驶员情绪状态进行检测。由于关注的驾驶员情绪状态种类较多，使得驾驶员情绪状态检测是一个复杂的检测任务，需要提取大量的情绪状态特征才能实现准确的检测。鉴于流形学习具有将高维数据转化为可微的低维特征的良好特性，因此利用流形学习来进行特征提取，以更好的表达驾驶员情绪状态特征，实现对驾驶员情绪状态的准确检测。该方法有助于检测驾驶员情绪状态中的人为因素，能够预防由负面情绪引起的交通事故，从而为智能交通安全系统做出贡献。并且，本申请实施例提供的方法同样适用于基于生理信号的特定场景下人类的情绪状态。
在一种可选的实施例中，所述基于脑电数据的驾驶员情绪状态检测方法是基于流形学习的对称正定网络实现的。图3是本申请实施例提供的一种对称正定网络的结构示意图，具体地，首先通道特征提取模块利用卷积层对微分熵特征的单个通道特征进行提取，得到初始通道特征，利用ELU激活函和归一化层对始通道特征进行处理，得到所述通道特征；接着，空间流形映射模块利用通道卷积层对通道特征进行特征提取，得到空间特征，再对空间特征执行对称正定流形映射处理以实现特征降维，得到低维度的流形映射特征；最后利用卷积降维模块依次对流形映射特征进行卷积、ELU激活函数和归一化处理，得到流形映射卷积特征，利用最大池化层对流形映射卷积特征进行降维处理，得到情绪状态特征，并利用全连接层输出驾驶员情绪状态所属的类别。
进一步地，所述对称正定网络通过以下步骤训练得到，包括步骤A1至步骤A3：
步骤A1：设置不同的驾驶场景诱发驾驶员产生不同的驾驶情绪，并采集相应的脑电数据作为训练数据，所述驾驶情绪包括：愤怒、悲伤、厌恶、恐惧、快乐、中性和惊讶。
步骤A2：将所述训练数据输入到所述对称正定网络进行训练，并计算交叉熵损失作为所述对称正定网络的损失值。
步骤A3：利用所述损失值更新所述对称正定网络的网络参数，在满足收敛条件后得到训练好的对称正定网络。
本申请实施例中，在采集训练样本时，考虑到人类情绪的生理表达至少可以持续30秒，因此截取每次驾驶过程的前30秒脑电数据，形成训练数据集，该脑电数据通道数为32个，采样率为500Hz。进而对该对称正定网络进行了端到端的训练，选择交叉熵损失作为对称正定网络的损失函数，其中yj为真实标签向量，/>为对称正定网络预测向量。在训练时将学习率设置为5e-4，批大小设置为64，并将dropout参数设置为p＝0.25，以避免过拟合。同时为了获得更好的对称正定网络训练效果，选择了Adam优化器来进行对称正定网络训练。由于训练数据中涵盖了愤怒、悲伤、厌恶、恐惧、快乐、中性和惊讶等7中情绪状态，因此基于该训练数据训练后的对称正定网络能够准确的识别出这7类驾驶员情绪状态。
进一步地，为了对本申请实施例提供的对称正定网络的性能进行分析，设计了3消融实验进行对比分析。消融实验1不使用通道特征提取模块，消融实验2不使用空间流形映射模块，消融实验3不使用卷积降维模块。同时，考虑到单个人的脑电数据量有限，以及涉及七种情绪的任务的复杂性，采用了主体内验证和组合主体验证两种方式进行对比，并且通过网络在测试集上的准确率(Acc)、精密度(P)、召回率(R)和F1分来评价分类效果。具体地，在两种验证方式下，将3消融实验的模型性能与对称正定网络性能进行比较，比较结果如表1所示，可以看出：对称正定网络性能优于任何一种消融实验方法形成的网络结构。因此，删除某些模块将会对称正定网络性能产生影响。并且，对比3种消融实验，可以发现空间流形映射模对对称正定网络性能的影响程度最大(准确率在70％左右)，即空间特征的处理发挥最大的作用。
表1消融实验与对称正定网络的性能对比结果
进一步地，使用多种现有的模型作为基准来实现驾驶员情绪状态检测，并将其与本申请实施例提出的对称正定网络进行比较，以验证对称正定网络的性能。选择的7个现有的模型包括：MLP、1DCNN、LSTM、EEGNet、LDA、SVM和KNN来进行对比，对比结果如表2所示，可以看出：对称正定网络的主体内验证方法的准确率达到97.12％，组合主体验证方法的准确率达到97.25％。对比不同模型的结果可以看出，无论采用何种验证方法，对称正定网络都能获得最好的结果。这表明本申请实施例提供的对称正定网络比其他方法更先进，可以更好地根据驾驶员的脑电图数据对驾驶员驾驶过程中的情绪状态进行分类。对比同一模型下两种验证方法的分类结果，可以看到结果是一致的，这表明在两种验证方法下，每个模型得到的结果是稳定的，基本反映了模型的性能。
表2现有的模型与对称正定网络的性能对比结果
此外，除了LSTM、MLP和1DCNN等深度学习网络(准确率均在70％以上)也取得了较好的结果，这证明了驾驶员在不同驾驶情绪状态下的脑电数据表现不同，因此可以通过脑电数据检测驾驶员在驾驶过程中的情绪状态。传统的机器学习方法，如SVM、LDA和KNN(准确率均在30％以下)在该分类任务中表现不佳，是由于模型过于简单，无法处理这种复杂的分类任务。这些结果的比较反映了深度学习网络在处理复杂任务方面的有效性，同时也表明了设计一个结构良好的模型来检测驾驶员情绪状态的必要性。基于每个模型的不同结果，发现除了对称正定网络之外，EEGNet网络也表现得更好(准确率在90％左右)，进一步比较了组合主体验证方法下EEGNet和SDENet的混淆矩阵，如图4所示，通过对比混淆矩阵可以看到本申请提供的对称正定网络在检测每一种情绪状态上更准确，而EEGNet缺乏处理愤怒、快乐和悲伤三种驱动情绪状态的能力。
本申请实施例还提供了一种基于脑电数据的驾驶员情绪状态检测装置，参照图5所示，图5是本申请实施例提供的一种基于脑电数据的驾驶员情绪状态检测装置的结构示意图，所述装置包括：
获取模块510，用于获取驾驶员脑电数据的微分熵特征；
第一特征模块520，用于将所述微分熵特征输入到通道特征提取模块进行特征提取，得到通道特征；
第二特征模块530，用于利用空间流形映射模块对所述通道特征进行对称正定流形映射处理，得到低维度的流形映射特征；
第三特征模块540，用于利用卷积降维模块对所述流形映射特征进行卷积和降尺度处理，得到情绪状态特征；
结果输出模块550，用于通过全连接层对所述情绪状态特征进行处理，得到驾驶员情绪检测结果，所述驾驶员情绪检测结果包括以下任意一者：愤怒、恐惧、悲伤、厌恶、惊讶、快乐和中性。
在一种可选的实施例中，所述第一特征模块包括：
卷积模块，用于利用卷积层对所述微分熵特征的单个通道特征进行提取，得到初始通道特征；
函数模块，用于利用ELU激活函和归一化层对所述始通道特征进行处理，得到所述通道特征。
在一种可选的实施例中，所述第二特征模块包括：
空间特征模块，用于利用通道卷积层对所述通道特征进行特征提取，得到空间特征；
特征拆分模块，用于将所述空间特征分为N个子空间特征，并将每个所述子空间特征进行对称正定矩阵变换，子流形映射特征，N为大于0的整数；
映射拼接模块，用于将N个所述子流形映射特征进行拼接，得到低维度的流形映射特征。
在一种可选的实施例中，所述第三特征模块包括：
卷积模块，用于依次对所述流形映射特征进行卷积、ELU激活函数和归一化处理，得到流形映射卷积特征；
降维模块，用于利用池化层对所述流形映射卷积特征进行降维处理，得到所述情绪状态特征。
在一种可选的实施例中，所述获取模块包括：
滤波模块，用于按照目标频段对所述驾驶员脑电数据进行滤波，得到不同频段的脑电数据；
采样模块，用于根据预设采样点对每个频段的脑电数据进行采样，得到所述目标脑电数据样本；
变换模块，用于按照预设窗口和步长对所述目标脑电数据样本进行频域变换处理，得到所述驾驶员脑电数据的微分熵特征。
在一种可选的实施例中，所述基于脑电数据的驾驶员情绪状态检测方法是基于流形学习的对称正定网络实现的，所述对称正定网络通过训练模块训练得到，所述训练模块包括：
样本模块，用于设置不同的驾驶场景诱发驾驶员产生不同的驾驶情绪，并采集相应的脑电数据作为训练数据，所述驾驶情绪包括：愤怒、悲伤、厌恶、恐惧、快乐、中性和惊讶；
损失模块，用于将所述训练数据输入到所述对称正定网络进行训练，并计算交叉熵损失作为所述对称正定网络的损失值；
更新模块，用于利用所述损失值更新所述对称正定网络的网络参数，在满足收敛条件后得到训练好的对称正定网络。
本申请实施例还提供了一种电子设备，参照图6，图6是本申请实施例提供的一种电子设备结构示意图。如图6所示，电子设备600包括：存储器610和处理器620，存储器610与处理器620之间通过总线通信连接，存储器610中存储有计算机程序，该计算机程序可在处理器620上运行，进而实现本申请实施例所述的基于脑电数据的驾驶员情绪状态检测方法的步骤。
本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本申请实施例所述的基于脑电数据的驾驶员情绪状态检测方法的步骤。
本申请实施例还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现本申请实施例所述的基于脑电数据的驾驶员情绪状态检测方法的步骤。
本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。
本申请实施例是参照根据本申请实施例的方法、装置的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本申请实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本申请实施例范围的所有变更和修改。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。
以上对本申请所提供的一种基于脑电数据的驾驶员情绪状态检测方法和装置进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想；同时，对于本领域的一般技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本申请的限制。
Claims (10)
1.一种基于脑电数据的驾驶员情绪状态检测方法，其特征在于，所述方法包括：
获取驾驶员脑电数据的微分熵特征；
将所述微分熵特征输入到通道特征提取模块进行特征提取，得到通道特征；
利用空间流形映射模块对所述通道特征进行对称正定流形映射处理，得到低维度的流形映射特征；
利用卷积降维模块对所述流形映射特征进行卷积和降尺度处理，得到情绪状态特征；
通过全连接层对所述情绪状态特征进行处理，得到驾驶员情绪检测结果，所述驾驶员情绪检测结果包括以下任意一者：愤怒、恐惧、悲伤、厌恶、惊讶、快乐和中性。
2.根据权利要求1所述的方法，其特征在于，将所述微分熵特征输入到通道特征提取模块进行特征提取，得到通道特征，包括：
利用卷积层对所述微分熵特征的单个通道特征进行提取，得到初始通道特征；
利用ELU激活函和归一化层对所述始通道特征进行处理，得到所述通道特征。
3.根据权利要求1所述的方法，其特征在于，利用空间流形映射模块对所述通道特征进行对称正定流形映射处理，得到低维度的流形映射特征，包括：
利用通道卷积层对所述通道特征进行特征提取，得到空间特征；
将所述空间特征分为N个子空间特征，并将每个所述子空间特征进行对称正定矩阵变换，子流形映射特征，N为大于0的整数；
将N个所述子流形映射特征进行拼接，得到低维度的流形映射特征。
4.根据权利要求1所述的方法，其特征在于，利用卷积降维模块对所述流形映射特征进行卷积和降尺度处理，包括：
依次对所述流形映射特征进行卷积、ELU激活函数和归一化处理，得到流形映射卷积特征；
利用池化层对所述流形映射卷积特征进行降维处理，得到所述情绪状态特征。
5.根据权利要求1所述的方法，其特征在于，获取驾驶员脑电数据的微分熵特征，包括：
按照目标频段对所述驾驶员脑电数据进行滤波，得到不同频段的脑电数据；
根据预设采样点对每个频段的脑电数据进行采样，得到所述目标脑电数据样本；
按照预设窗口和步长对所述目标脑电数据样本进行频域变换处理，得到所述驾驶员脑电数据的微分熵特征。
6.根据权利要求1所述的方法，其特征在于，所述基于脑电数据的驾驶员情绪状态检测方法是基于流形学习的对称正定网络实现的，所述对称正定网络通过以下步骤训练得到：
设置不同的驾驶场景诱发驾驶员产生不同的驾驶情绪，并采集相应的脑电数据作为训练数据，所述驾驶情绪包括：愤怒、悲伤、厌恶、恐惧、快乐、中性和惊讶；
将所述训练数据输入到所述对称正定网络进行训练，并计算交叉熵损失作为所述对称正定网络的损失值；
利用所述损失值更新所述对称正定网络的网络参数，在满足收敛条件后得到训练好的对称正定网络。
7.一种基于脑电数据的驾驶员情绪状态检测装置，其特征在于，所述装置包括：
获取模块，用于获取驾驶员脑电数据的微分熵特征；
第一特征模块，用于将所述微分熵特征输入到通道特征提取模块进行特征提取，得到通道特征；
第二特征模块，用于利用空间流形映射模块对所述通道特征进行对称正定流形映射处理，得到低维度的流形映射特征；
第三特征模块，用于利用卷积降维模块对所述流形映射特征进行卷积和降尺度处理，得到情绪状态特征；
结果输出模块，用于通过全连接层对所述情绪状态特征进行处理，得到驾驶员情绪检测结果，所述驾驶员情绪检测结果包括以下任意一者：愤怒、恐惧、悲伤、厌恶、惊讶、快乐和中性。
8.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1-6任一项所述的基于脑电数据的驾驶员情绪状态检测方法的步骤。
9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1-6任一项所述的基于脑电数据的驾驶员情绪状态检测方法的步骤。
10.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现如权利要求1-6任一项所述的基于脑电数据的驾驶员情绪状态检测方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311290934.9A CN117204856A (zh) | 2023-10-07 | 2023-10-07 | 基于脑电数据的驾驶员情绪状态检测方法和装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311290934.9A CN117204856A (zh) | 2023-10-07 | 2023-10-07 | 基于脑电数据的驾驶员情绪状态检测方法和装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117204856A true CN117204856A (zh) | 2023-12-12 |
Family
ID=89037053
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311290934.9A Pending CN117204856A (zh) | 2023-10-07 | 2023-10-07 | 基于脑电数据的驾驶员情绪状态检测方法和装置 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117204856A (zh) |
Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105809124A (zh) * | 2016-03-06 | 2016-07-27 | 北京工业大学 | 基于DWT和Parametric t-SNE的运动想象脑电信号的特征提取方法 |
| KR20200075711A (ko) * | 2018-12-07 | 2020-06-26 | 이화여자대학교 산학협력단 | 인공지능 수면개선 비침습적 뇌회로 조절치료시스템 및 방법 |
| CN111671445A (zh) * | 2020-04-20 | 2020-09-18 | 广东食品药品职业学院 | 一种意识障碍程度分析方法 |
| CN112163518A (zh) * | 2020-09-28 | 2021-01-01 | 华南理工大学 | 情绪监测的情绪建模方法及情绪监测调节系统 |
| US20210312296A1 (en) * | 2018-11-09 | 2021-10-07 | Hewlett-Packard Development Company, L.P. | Classification of subject-independent emotion factors |
| CN114139572A (zh) * | 2021-10-29 | 2022-03-04 | 杭州电子科技大学 | 一种基于增强对称正定矩阵的脑电情绪识别方法 |
| CN115169067A (zh) * | 2021-04-02 | 2022-10-11 | 维智脑数据服务(天津)有限公司 | 脑网络模型构建方法、装置、电子设备及介质 |
| CN116671918A (zh) * | 2023-05-31 | 2023-09-01 | 平安科技（深圳）有限公司 | 基于脑电信号的情绪识别方法和装置、电子设备及介质 |
| CN116687406A (zh) * | 2023-05-06 | 2023-09-05 | 粤港澳大湾区精准医学研究院(广州) | 情绪识别方法、装置、电子设备及存储介质 |
| CN116804895A (zh) * | 2023-06-20 | 2023-09-26 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 一种基于判别黎曼流形的脑机接口系统 |
-
2023
- 2023-10-07 CN CN202311290934.9A patent/CN117204856A/zh active Pending
Patent Citations (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN105809124A (zh) * | 2016-03-06 | 2016-07-27 | 北京工业大学 | 基于DWT和Parametric t-SNE的运动想象脑电信号的特征提取方法 |
| US20210312296A1 (en) * | 2018-11-09 | 2021-10-07 | Hewlett-Packard Development Company, L.P. | Classification of subject-independent emotion factors |
| KR20200075711A (ko) * | 2018-12-07 | 2020-06-26 | 이화여자대학교 산학협력단 | 인공지능 수면개선 비침습적 뇌회로 조절치료시스템 및 방법 |
| CN111671445A (zh) * | 2020-04-20 | 2020-09-18 | 广东食品药品职业学院 | 一种意识障碍程度分析方法 |
| CN112163518A (zh) * | 2020-09-28 | 2021-01-01 | 华南理工大学 | 情绪监测的情绪建模方法及情绪监测调节系统 |
| CN115169067A (zh) * | 2021-04-02 | 2022-10-11 | 维智脑数据服务(天津)有限公司 | 脑网络模型构建方法、装置、电子设备及介质 |
| CN114139572A (zh) * | 2021-10-29 | 2022-03-04 | 杭州电子科技大学 | 一种基于增强对称正定矩阵的脑电情绪识别方法 |
| CN116687406A (zh) * | 2023-05-06 | 2023-09-05 | 粤港澳大湾区精准医学研究院(广州) | 情绪识别方法、装置、电子设备及存储介质 |
| CN116671918A (zh) * | 2023-05-31 | 2023-09-01 | 平安科技（深圳）有限公司 | 基于脑电信号的情绪识别方法和装置、电子设备及介质 |
| CN116804895A (zh) * | 2023-06-20 | 2023-09-26 | 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) | 一种基于判别黎曼流形的脑机接口系统 |
Non-Patent Citations (1)
| Title |
|---|
| WENQI ZHANG; YANJUN QIN; SHANGHANG ZHANG DIGITAL MEDIA INSTITUTE, PEKING UNIVERSITY, BEIJING, CHINA ; XIAOMING TAO: "Electroencephalogram-Based Driver Emotional State Detection with Manifold Learning", 《2023 IEEE 26TH INTERNATIONAL CONFERENCE ON INTELLIGENT TRANSPORTATION SYSTEMS (ITSC)》, 13 February 2024 (2024-02-13) * |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108615010B (zh) | 基于平行卷积神经网络特征图融合的人脸表情识别方法 | |
| CN106782602B (zh) | 基于深度神经网络的语音情感识别方法 | |
| CN109740544B (zh) | 听觉注意状态觉醒度识别方法、装置及存储介质 | |
| CN104167208B (zh) | 一种说话人识别方法和装置 | |
| CN110853654B (zh) | 一种模型生成方法、声纹识别方法及对应装置 | |
| CN106909784A (zh) | 基于二维时频图像深度卷积神经网络的癫痫脑电识别方法 | |
| CN111832416A (zh) | 一种基于增强卷积神经网络的运动想象脑电信号识别方法 | |
| CN110929581A (zh) | 一种基于时空特征加权卷积神经网络的脑电信号识别方法 | |
| CN104538035B (zh) | 一种基于Fisher超向量的说话人识别方法及系统 | |
| CN110047517A (zh) | 语音情感识别方法、问答方法及计算机设备 | |
| CN112426160A (zh) | 一种心电信号类型识别方法及装置 | |
| CN112364697B (zh) | 基于r-lstm模型的脑电信号情绪识别方法 | |
| WO2023077592A1 (zh) | 一种智能心电信号处理方法 | |
| CN112869717B (zh) | 一种基于bl-cnn的脉搏特征识别分类系统及方法 | |
| CN112801003B (zh) | 一种无人机辐射源调制样式识别方法 | |
| CN109871831A (zh) | 一种情感识别方法及系统 | |
| CN110415697A (zh) | 一种基于深度学习的车载语音控制方法及其系统 | |
| Hariharan et al. | Speech stuttering assessment using sample entropy and Least Square Support Vector Machine | |
| CN110192864B (zh) | 一种跨域心电图生物特征身份识别方法 | |
| CN107334481B (zh) | 一种驾驶分心检测方法及系统 | |
| CN116687406B (zh) | 情绪识别方法、装置、电子设备及存储介质 | |
| CN113421546A (zh) | 基于跨被试多模态的语音合成方法及相关设备 | |
| CN111785262B (zh) | 一种基于残差网络及融合特征的说话人年龄性别分类方法 | |
| CN116350239A (zh) | 一种脑电信号专注度分类方法及系统 | |
| CN117204856A (zh) | 基于脑电数据的驾驶员情绪状态检测方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |