CN117731303A - 基于脑电立体滤波特征的情绪识别方法、装置和存储介质 - Google Patents
基于脑电立体滤波特征的情绪识别方法、装置和存储介质 Download PDFInfo
- Publication number
- CN117731303A CN117731303A CN202311476283.2A CN202311476283A CN117731303A CN 117731303 A CN117731303 A CN 117731303A CN 202311476283 A CN202311476283 A CN 202311476283A CN 117731303 A CN117731303 A CN 117731303A
- Authority
- CN
- China
- Prior art keywords
- dimensional
- electroencephalogram
- emotion
- brain wave
- features
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001914 filtration Methods 0.000 title claims abstract description 99
- 230000008909 emotion recognition Effects 0.000 title claims abstract description 75
- 238000000034 method Methods 0.000 title claims abstract description 67
- 210000004556 brain Anatomy 0.000 claims abstract description 172
- 230000008451 emotion Effects 0.000 claims abstract description 94
- 238000013507 mapping Methods 0.000 claims abstract description 19
- 238000010276 construction Methods 0.000 claims abstract description 10
- 238000013527 convolutional neural network Methods 0.000 claims description 23
- 230000006870 function Effects 0.000 claims description 18
- 238000004590 computer program Methods 0.000 claims description 16
- 210000004761 scalp Anatomy 0.000 claims description 16
- 238000000605 extraction Methods 0.000 claims description 14
- 230000015654 memory Effects 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 9
- 238000010606 normalization Methods 0.000 claims description 6
- 230000002996 emotional effect Effects 0.000 claims description 5
- 230000008569 process Effects 0.000 claims description 4
- 230000036651 mood Effects 0.000 abstract description 2
- 238000012545 processing Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 238000009826 distribution Methods 0.000 description 7
- 239000012634 fragment Substances 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 238000013136 deep learning model Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 230000037007 arousal Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 4
- 239000013598 vector Substances 0.000 description 4
- 230000008901 benefit Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 238000003672 processing method Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000013461 design Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000002474 experimental method Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000010801 machine learning Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000000047 product Substances 0.000 description 2
- 238000012795 verification Methods 0.000 description 2
- PIZHFBODNLEQBL-UHFFFAOYSA-N 2,2-diethoxy-1-phenylethanone Chemical compound CCOC(OCC)C(=O)C1=CC=CC=C1 PIZHFBODNLEQBL-UHFFFAOYSA-N 0.000 description 1
- 102100032202 Cornulin Human genes 0.000 description 1
- 101000920981 Homo sapiens Cornulin Proteins 0.000 description 1
- 238000001276 Kolmogorov–Smirnov test Methods 0.000 description 1
- 238000002679 ablation Methods 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000007177 brain activity Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000035772 mutation Effects 0.000 description 1
- 230000001242 postsynaptic effect Effects 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000033764 rhythmic process Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000002269 spontaneous effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Landscapes
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明提供一种基于脑电立体滤波特征的情绪识别方法、装置、电子设备和存储介质，该方法包括：获取脑电波信号，并提取所述脑电波信号的微分熵特征；将所述脑电波信号的微分熵特征映射到二维平面上进行排列，获得二维脑电特征；使用高斯核对所述二维脑电特征进行滤波处理，所述高斯核通过高斯函数构建获得；将滤波处理后的二维脑电特征进行堆叠，获得立体脑电特征；提取所述立体脑电特征中的情绪特征；基于所述情绪特征，获得情绪分类结果。可以有效提高情绪识别的准确率与效率。
Description
技术领域
本发明涉及脑电信号处理领域，尤其涉及一种基于脑电立体滤波特征的情绪识别方法、装置和存储介质。
背景技术
相关技术中通过设计特殊的特征提取器、包含更多模块的学习模型，以期达到提升情绪识别准确率和泛化性的目标。然而，由于非平稳、非线性、非高斯、包含大量噪声等特点是脑电波(Electroencephalogram，EEG)信号与生俱来的属性，即便是结合手工特征提取的手段，其在情绪识别上仍然具有很大的挑战。
发明内容
本发明提供一种基于脑电立体滤波特征的情绪识别方法、装置和存储介质，可以有效提高情绪识别的准确率与效率。
本发明提供一种基于脑电立体滤波特征的情绪识别方法，包括：
获取脑电波信号，并提取所述脑电波信号的微分熵特征；
将所述脑电波信号的微分熵特征映射到二维平面上进行排列，获得二维脑电特征；
使用高斯核对所述二维脑电特征进行滤波处理，所述高斯核通过高斯函数构建获得；
将滤波处理后的二维脑电特征进行堆叠，获得立体脑电特征；
提取所述立体脑电特征中的情绪特征；
基于所述情绪特征，获得情绪分类结果。
根据本发明提供的基于脑电立体滤波特征的情绪识别方法，所述提取所述脑电波信号的微分熵特征，包括：
将所述脑电波信号分为第一数量的波段的数据；
对所述第一数量的波段的数据进行切割，获得第二数量的片段；
计算片段的微分熵特征。
根据本发明提供的基于脑电立体滤波特征的情绪识别方法，所述将所述脑电波信号的微分熵特征映射到二维平面上进行排列，获得二维脑电特征，包括：
将所述片段的微分熵特征按照头皮电极的通道位置映射到二维平面上进行排列，获得所述二维脑电特征。
根据本发明提供的基于脑电立体滤波特征的情绪识别方法，在所述提取所述立体脑电特征中的情绪特征之前，所述方法还包括：
构建卷积神经网络，所述卷积神经网络中包括批量归一化BN和实例归一化IN；
所述提取所述立体脑电特征中的情绪特征，包括：
将所述立体脑电特征输入所述卷积神经网络，获得所述卷积神经网络输出的情绪特征。
根据本发明提供的基于脑电立体滤波特征的情绪识别方法，所述基于所述情绪特征，获得情绪分类结果，包括：
将所述情绪特征输入多层感知机MLP，获得所述MLP输出的情绪分类结果，所述MLP通过最小化交叉熵损失函数训练获得。
根据本发明提供的基于脑电立体滤波特征的情绪识别方法，所述将滤波处理后的二维脑电特征进行堆叠，获得立体脑电特征，包括：
将滤波处理后的二维脑电特征按照所述多个波段进行堆叠，获得所述立体脑电特征。
本发明还提供一种基于脑电立体滤波特征的情绪识别装置，包括：
获取模块，用于获取脑电波信号，并提取所述脑电波信号的微分熵特征；
排列模块，用于将所述脑电波信号的微分熵特征映射到二维平面上进行排列，获得二维脑电特征；
滤波模块，用于使用高斯核对所述二维脑电特征进行滤波处理，所述高斯核通过高斯函数构建获得；
堆叠模块，用于将滤波处理后的二维脑电特征进行堆叠，获得立体脑电特征；
提取模块，用于提取所述立体脑电特征中的情绪特征；
分类模块，用于基于所述情绪特征，获得情绪分类结果。
本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现如上述任一种所述基于脑电立体滤波特征的情绪识别方法。
本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如上述任一种所述基于脑电立体滤波特征的情绪识别方法。
本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述基于脑电立体滤波特征的情绪识别方法。
本发明提供的一种基于脑电立体滤波特征的情绪识别方法、装置和存储介质，通过将脑电波信号的微分熵特征映射为二维的排列，可以对其进行滤波以减少数据中的噪声，然后堆叠成三维立体脑电特征，可以进一步提取可用于脑电情绪识别的情绪特征，最后实现情绪的分类识别，可以有效提高情绪识别的准确率与效率。
附图说明
为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明提供的基于脑电立体滤波特征的情绪识别方法的流程示意图；
图2是本发明提供的头皮电极的通道位置与二维平面位置之间的映射示意图；
图3是本发明提供的OBSS场景的示意图；
图4是本发明提供的基于脑电立体滤波特征的情绪识别方法的框架示意图；
图5是本发明提供的基于脑电立体滤波特征的情绪识别装置的结构示意图；
图6是本发明提供的电子设备的结构示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
首先对以下内容进行介绍：
情绪是人心理和身体状态的综合表现，很大程度上影响着人类的意识、行为和人际交往。情绪的准确识别在人机交互、产品设计、虚拟现实等领域至关重要，越来越受到学术界的关注，成为一个重要的研究课题。相关技术的情绪识别主要基于生理信号或非生理信号，相较于面部表情、语音、文本等非生理信号，脑电信号具有不易伪装、便于采集、成本低等优点。因此，基于EEG的情绪识别受到越来越多研究者的青睐。
早期基于EEG的情绪识别大多采用机器学习的方法，有赖于从业者手工设计特征用于识别，该方法需要大量经验。随着深度学习技术的发展，采用深度学习模型作为自动特征提取器或分类器进一步提升了分类的性能。相关技术中，为了充分利用EEG信号中所包含的有效特征与深度学习方法的学习能力，有许多工作采用手工特征提取和深度学习模型相结合的方法。比如有研究者采用深度置信网络(Deep Belief Network，DBN)对从多通道EEG数据中提取的不同频段的微分熵(Differential Entropy，DE)特征进行训练。还有一些工作则均采用卷积神经网络(Convolutional Neural Network，CNN)与长短期记忆网络(LongShort-Term Memory，LSTM)相结合构成卷积循环神经网络(Convolutional RecurrentNeural Network)CRNN的方式从包含EEG时空频信息的3D特征中学习。
然而，随着各类深度学习模型的涌现，许多工作大多聚焦于模型上的不断改进和复杂化，许多研究者通过设计更特殊的特征提取器、包含更多模块的学习模型，以期达到提升情绪识别准确率和泛化性的目标。然而，由于非平稳、非线性、非高斯、包含大量噪声等特点是EEG信号与生俱来的属性，即便是结合手工特征提取的手段，其在情绪识别上仍然具有很大的挑战。
综上，本发明从脑电信号本身出发，考虑信号处理的方法提高其数据可分性，再结合深度学习模型，从而有效提高情绪识别的准确率与效率。
下面结合图1-图4描述本发明提供的基于脑电立体滤波特征的情绪识别方法。
图1是本发明提供的基于脑电立体滤波特征的情绪识别方法的流程示意图，如图1所示，该方法包括以下步骤：
步骤100，获取脑电波信号，并提取所述脑电波信号的微分熵特征；
可选地，脑电波是一种使用电生理指标记录大脑活动的方法，大脑在活动时，大量神经元同步发生的突触后电位经总和后形成的，它记录大脑活动时的电波变化，是脑神经细胞的电生理活动在大脑皮层或头皮表面的总体反映。
可选地，可以通过脑电采集设备获得脑电波信号。
可选地，微分熵特征是指在统计学和信息论中，用于描述信号、图像、声音等连续性数据的一种特征量，可以应用于分类、识别、监测、去噪等各种应用中。
步骤110，将所述脑电波信号的微分熵特征映射到二维平面上进行排列，获得二维脑电特征；
可选地，在提取脑电波信号中的微分熵特征后，可以将其映射到二维平面上进行排列，获得二维脑电特征；
可选地，为了充分结合脑电信号的频域信息和空间信息，可以基于微分熵特征的频域信息和空间信息，对其进行二维平面上的排列。
步骤120，使用高斯核对所述二维脑电特征进行滤波处理，所述高斯核通过高斯函数构建获得；
可选地，在获得二维脑电特征后，可以采用二维高斯函数构建高斯核，其中x和y分别是在水平方向和垂直方向距离中心点的偏移量，σ是高斯函数的标准差，决定了滤波器的平滑程度，σ越大，平滑效果越明显。
可选地，高斯滤波是通过输入数据与高斯核进行卷积实现的，高斯核实际上是二维高斯函数在一个窗口内的离散近似，即通过计算二维高斯函数在离散采样点上的值得到的。
可选地，卷积的过程就是将高斯核在输入数据上滑动，对每个点及其邻域内的点进行加权平均。
可选地，由于构建的二维脑电特征中所包含的数据位置数目一般多于实际脑电信号的通道数目，因此采用高斯核滤波处理方法可以补充二维脑电特征中无电极位置的数据值，增加数据包含的有效信息量，增加数据之间的过渡，减少突变，更好的模拟大脑电信号的产生及其在头皮上的分布情况。
可选地，采用高斯核滤波处理方法可以减少数据中的噪声，保留对情绪识别有帮助的有效信息，提高不同情绪状态下的数据的可分性。
步骤130，将滤波处理后的二维脑电特征进行堆叠，获得立体脑电特征；
可选地，对二维脑电特征进行滤波后，可以将其进行堆叠，使二维特征变成三维立体脑电特征。
可选地，可以将二维脑电特征按照波段顺序堆叠成三维格式，本发明对波段顺序不作限定。
步骤140，提取所述立体脑电特征中的情绪特征；
可选地，立体脑电特征中包含多种特征，为了提高情绪识别的准确性，可以将其中的情绪特征提取出来。
可选地，提取方法可以是人工提取，或通过机器学习的方式提取，或通过情绪特征提取器提取，或其他方式提取，本发明对此不作限定。
可选地，情绪特征可以是离散情绪，如快乐、悲伤、恐惧、愤怒等，也可以是情绪的维度，如唤醒度、效价、支配度等的高低分级。
步骤150，基于所述情绪特征，获得情绪分类结果。
可选地，提取情绪特征后，可以基于情绪特征，获得情绪分类结果，分类的方法可以是人工分类，或通过聚类算法分类，或分类器分类，或其他方式分类，本发明对此不作限定。
本发明提供的基于脑电立体滤波特征的情绪识别方法，通过将脑电波信号的微分熵特征映射为二维的排列，可以对其进行滤波以减少数据中的噪声，然后堆叠成三维立体脑电特征，可以进一步提取可用于脑电情绪识别的情绪特征，最后实现情绪的分类识别，可以有效提高情绪识别的准确率与效率。
可选地，所述提取所述脑电波信号的微分熵特征，包括：
将所述脑电波信号分为多个波段的脑电波数据；
对所述多个波段的脑电波数据进行切割，获得多个脑电波数据的片段；
分别计算所述多个脑电波数据的片段的微分熵特征。
可选地，脑电波根据不同的节律可以划分成不同的波段，包括
可选地，多个波段可以是δ波、θ波、α波、β波和γ波中的多个波段，其中δ波频率为1-4Hz，θ波频率为4-8Hz，α波频率为8-14Hz，β波频率为14-31Hz，γ波频率为31-45Hz。
在本发明的一个实施例中，将脑电波信号分为θ、α、β和γ四个波段。
在本发明的一个实施例中，通过巴特沃斯滤波器将脑电波信号分为多个波段的脑电波数据。
可选地，将脑电波信号分为多个波段的脑电波数据后，可以对其进行切割，以实现数据增强。
可选地，每个波段的脑电波数据可以切割成多个脑电波数据的片段，可以等长切割，比如切分成Ts长的片段。
可选地，切割成多个脑电波数据的片段后，可以对每个波段的每个片段的脑电波数据，计算其微分熵特征。
可选地，计算微分熵特征的计算公式可以如下所示：
h(X)＝-∫Xf(x)log(f(x))dx
其中若随机变量X服从高斯分布N(μ,σ2)，则以上公式可以简化为如下公式：
其中，σ为标准差，e为自然常数，μ为高斯分布的均值。
可选地，为了对情绪进行识别，可以首先获取脑电波信号，将脑电波信号分为多个波段的脑电波数据，对多个波段的脑电波数据进行切割，获得多个脑电波数据的片段，然后分别计算多个脑电波数据的片段的微分熵特征，然后将微分熵特征映射到二维平面上进行排列，获得二维脑电特征，对二维脑电特征进行滤波处理，将滤波处理后的二维脑电特征进行堆叠，获得立体脑电特征，提取立体脑电特征中的情绪特征，最后基于情绪特征，获得情绪分类结果。
本发明提供的基于脑电立体滤波特征的情绪识别方法，将脑电波信号分为多个波段的脑电波数据并进行切割，以实现数据增强，然后分别计算每个波段每个片段的微分熵特征，以便于后续将其映射到二维平面上进行排列。
可选地，所述将所述脑电波信号的微分熵特征映射到二维平面上进行排列，获得二维脑电特征，包括：
将所述片段的微分熵特征按照头皮电极的通道位置映射到二维平面上进行排列，获得所述二维脑电特征。
可选地，头皮电极脑电图是从头皮上将脑部的自发性电活动加以放大记录而获得的图形。
可选地，头皮电极的通道位置可以取决于采集脑电波信号的采集设备，同型号的采集设备的头皮电极的通道位置可以相同。
可选地，在计算出多个脑电波数据的片段的微分熵特征后，可以将各个片段的微分熵特征向量按照头皮电极的通道位置映射形成大小为H×W的二维格式。
图2是本发明提供的头皮电极的通道位置与二维平面位置之间的映射示意图，如图2所示，在本发明的一个实施例中，以32通道的脑电信号为例，头皮电极的通道位置如图2中的左图所示，其对应的二维平面位置如图2中右图所示。
可选地，将各个片段的微分熵特征向量按照头皮电极的通道位置映射形成二维脑电特征，有助于充分结合脑电信号的频域信息和空间信息。
可选地，为了对情绪进行识别，可以首先获取脑电波信号，将脑电波信号分为多个波段的脑电波数据，对多个波段的脑电波数据进行切割，获得多个脑电波数据的片段，然后分别计算多个脑电波数据的片段的微分熵特征，然后将多个脑电波数据的片段的微分熵特征按照头皮电极的通道位置映射到二维平面上进行排列，获得二维脑电特征，对二维脑电特征进行滤波处理，将滤波处理后的二维脑电特征进行堆叠，获得立体脑电特征，提取立体脑电特征中的情绪特征，最后基于情绪特征，获得情绪分类结果。
本发明提供的基于脑电立体滤波特征的情绪识别方法，可以将各个脑电波片段的微分熵特征向量按照头皮电极的通道位置映射到二维平面，获得二维脑电特征，有助于充分结合脑电信号的频域信息和空间信息，以便于后续对其进行滤波处理。
可选地，在所述提取所述立体脑电特征中的情绪特征之前，所述方法还包括：
构建卷积神经网络，所述卷积神经网络中包括批量归一化BN和实例归一化IN；
所述提取所述立体脑电特征中的情绪特征，包括：
将所述立体脑电特征输入所述卷积神经网络，获得所述卷积神经网络输出的情绪特征。
可选地，可以构建同时结合BN和IN的卷积神经网络，作为立体脑电特征的情绪特征提取器。
可选地，在卷积神经网络的浅卷积层可以采用IN来降低每组数据之间由于脑电波信号本身性质而产生的与情绪识别无关的差异。
可选地，在卷积神经网络的深卷积层可以采用BN来加速训练并保持分类鉴别性特征。
可选地，将立体脑电特征输入卷积神经网络，可以获得其输出的情绪特征，相比于立体脑电特征，情绪特征中包含更多情绪相关的信息，可以是离散情绪，如快乐、悲伤、恐惧、愤怒等，也可以是情绪的维度，如唤醒度、效价、支配度等的高低分级。
可选地，采用包括IN和BN的卷积神经网络对构建的立体脑电特征进行进一步的情绪特征提取，有助于借助深度学习的优势学习脑电信号中不同情绪状态下的特征模式。
图3是本发明提供的卷积神经网络的示意图，如图3所示，包含BN和IN的卷积神经网络如图3中的Model C。
可选地，为了对情绪进行识别，可以首先获取脑电波信号，并提取所述脑电波信号的微分熵特征，然后分别计算多个脑电波数据的片段的微分熵特征，然后将微分熵特征映射到二维平面上进行排列，获得二维脑电特征，然后对二维脑电特征进行滤波处理，将滤波处理后的二维脑电特征进行堆叠，获得立体脑电特征，然后构建包括BN和IN的卷积神经网络，提取立体脑电特征中的情绪特征，最后基于情绪特征，获得情绪分类结果。
本发明提供的基于脑电立体滤波特征的情绪识别方法，使用包含BN和IN的卷积神经网络提取立体脑电特征中的情绪特征，可以降低每组数据之间由于脑电波信号本身性质而产生的与情绪识别无关的差异，同时加速训练并保持分类鉴别性特征。
可选地，所述基于所述情绪特征，获得情绪分类结果，包括：
将所述情绪特征输入多层感知机MLP，获得所述MLP输出的情绪分类结果，所述MLP通过最小化交叉熵损失函数训练获得。
可选地，本发明采用MLP对情绪特征进行分类，相较于SVM等其他分类器，MLP是一种深度学习模型，具有多个隐藏层，因此能够学习非常复杂的决策边界，这使得MLP在处理具有复杂特征分布或非线性关系的问题时表现出色。
可选地，MLP可以通过增加更多的隐藏层和神经元来扩展模型的复杂度，以适应不同的问题，其在大规模数据集上也表现良好。
可选地，MLP的训练是通过最小化交叉熵损失进行的，其损失函数为：其中y(i)代表输入的one-hot标签向量，/>表示对应分类器的预测输出，N是一个batch中的样本量。
可选地，为了对情绪进行识别，可以首先获取脑电波信号，并提取所述脑电波信号的微分熵特征，然后分别计算多个脑电波数据的片段的微分熵特征，然后将微分熵特征映射到二维平面上进行排列，获得二维脑电特征，然后对二维脑电特征进行滤波处理，将滤波处理后的二维脑电特征进行堆叠，获得立体脑电特征，然后提取所述立体脑电特征中的情绪特征，最后将情绪特征输入MLP，获得MLP输出的情绪分类结果。
本发明提供的基于脑电立体滤波特征的情绪识别方法采用通过最小化交叉熵损失函数训练的MLP作为分类器，对提取的情绪特征进行识别和分类，可以学习非常复杂的决策边界，且在处理具有复杂特征分布或非线性关系的问题时表现出色，以提高情绪识别的准确率与效率。
可选地，所述将滤波处理后的二维脑电特征进行堆叠，获得立体脑电特征，包括：
将滤波处理后的二维脑电特征按照所述多个波段进行堆叠，获得所述立体脑电特征。
可选地，在将脑电波信号分为多个波段的脑电波数据构建二维脑电特征的情况下，可以基于分成的多个波段将滤波处理后的二维脑电特征堆叠成三维格式，获得立体脑电特征。
例如，若将脑电波信号分为θ、α和β三个波段，则在堆叠时，可以按照θ、α、β的顺序，将滤波处理后的二维脑电特征进行堆叠，获得立体脑电特征。
图4是本发明提供的基于脑电立体滤波特征的情绪识别方法的框架示意图，如图4所示，在本发明的一个实施例中，首先基于原始脑电信号，对其进行脑电信号特征的提取与排列，形成二维平面的脑电特征，然后对其进行滤波并堆叠成立体脑电特征，最后提取其中的情绪特征并输入分类器，获得情绪分类结果，即情绪类别。
表1为本发明的对比实验结果，在本发明的一个实施例中，采用本发明在公开的情绪识别数据集DEAP上进行训练与测试，并与相关技术的其他算法在此数据集上的分类准确率进行对比，表1中Valance代表在效价上的分类准确率，Arousal代表在唤醒度上的分类准确率，结果表明，本算法(our method)所取得的分类准确率远高于其他算法。
表1：对比实验结果
表2为本发明在不同模型结构和是否采用高斯滤波上的实验结果。为了验证本发明不依赖于模型结构的有效性，设计三种不同模型结构(Model A、B、C)，分别在采用高斯滤波和不采用高斯滤波的情况下构建模型的立体特征输入，并进行训练和测试。结果表明，本发明在不同模型结构上的识别准确率均有显著的提升，并且在Model C上的识别准确率最高。
表2：在不同模型结构和是否采用高斯滤波上的实验结果
表3为本发明的有效性验证实验结果。为了验证本发明中高斯滤波的重要性和不可替代性，选取了中值滤波和自适应滤波作为对比进行消融实验，同时采用Kolmogorov-Smirnov(K-S)检验来进行理论有效性的分析。分别对不进行滤波、采用中值滤波、自适应滤波和高斯滤波之后的微分熵特征进行上述K-S检验，求出每个被试对应的p-value，并计算所有被试在唤醒度和效价上的p-value的平均值。p-value可以反映两个分布之间的相似程度，较大的p-value表示两组数据的分布更相似。结果表明，在本发明提出的采用高斯滤波构建的基于脑电信号的立体滤波特征作为输入具有最高的识别准确率。
表3：有效性验证实验结果
本发明提供的基于脑电立体滤波特征的情绪识别方法，将滤波处理后的二维脑电特征按照多个波段进行堆叠，获得立体脑电特征，以便于后续从中提取情绪特征。
下面对本发明提供的基于脑电立体滤波特征的情绪识别装置进行描述，下文描述的基于脑电立体滤波特征的情绪识别装置与上文描述的基于脑电立体滤波特征的情绪识别方法可相互对应参照。
图5是本发明提供的基于脑电立体滤波特征的情绪识别装置的结构示意图，如图5所示，该装置包括获取模块510，排列模块520，滤波模块530、堆叠模块540、提取模块550和分类模块560，其中：
获取模块510，用于获取脑电波信号，并提取所述脑电波信号的微分熵特征；
排列模块520，用于将所述脑电波信号的微分熵特征映射到二维平面上进行排列，获得二维脑电特征；
滤波模块530，用于使用高斯核对所述二维脑电特征进行滤波处理，所述高斯核通过高斯函数构建获得；
堆叠模块540，用于将滤波处理后的二维脑电特征进行堆叠，获得立体脑电特征；
提取模块550，用于提取所述立体脑电特征中的情绪特征；
分类模块560，用于基于所述情绪特征，获得情绪分类结果。
本发明提供的基于脑电立体滤波特征的情绪识别装置，通过将脑电波信号的微分熵特征映射为二维的排列，可以对其进行滤波以减少数据中的噪声，然后堆叠成三维立体脑电特征，可以进一步提取可用于脑电情绪识别的情绪特征，最后实现情绪的分类识别，可以有效提高情绪识别的准确率与效率。
可以理解的是，本发明提供的基于脑电立体滤波特征的情绪识别装置与上述各实施例提供的基于脑电立体滤波特征的情绪识别方法相对应，本发明提供的基于脑电立体滤波特征的情绪识别装置的相关技术特征可参考上述各实施例提供的基于脑电立体滤波特征的情绪识别方法的相关技术特征，在此不再赘述。
图6示例了一种电子设备的实体结构示意图，如图6所示，该电子设备可以包括：处理器(processor)610、通信接口(Communications Interface)620、存储器(memory)630和通信总线640，其中，处理器610，通信接口620，存储器630通过通信总线640完成相互间的通信。处理器610可以调用存储器630中的逻辑指令，以执行基于脑电立体滤波特征的情绪识别方法，该方法包括：获取脑电波信号，并提取所述脑电波信号的微分熵特征；将所述脑电波信号的微分熵特征映射到二维平面上进行排列，获得二维脑电特征；使用高斯核对所述二维脑电特征进行滤波处理，所述高斯核通过高斯函数构建获得；将滤波处理后的二维脑电特征进行堆叠，获得立体脑电特征；提取所述立体脑电特征中的情绪特征；基于所述情绪特征，获得情绪分类结果。
此外，上述的存储器630中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，计算机程序可存储在非暂态计算机可读存储介质上，所述计算机程序被处理器执行时，计算机能够执行上述各方法所提供的基于脑电立体滤波特征的情绪识别方法，该方法包括：获取脑电波信号，并提取所述脑电波信号的微分熵特征；将所述脑电波信号的微分熵特征映射到二维平面上进行排列，获得二维脑电特征；使用高斯核对所述二维脑电特征进行滤波处理，所述高斯核通过高斯函数构建获得；将滤波处理后的二维脑电特征进行堆叠，获得立体脑电特征；提取所述立体脑电特征中的情绪特征；基于所述情绪特征，获得情绪分类结果。
又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现以执行上述各方法提供的基于脑电立体滤波特征的情绪识别方法，该方法包括：获取脑电波信号，并提取所述脑电波信号的微分熵特征；将所述脑电波信号的微分熵特征映射到二维平面上进行排列，获得二维脑电特征；使用高斯核对所述二维脑电特征进行滤波处理，所述高斯核通过高斯函数构建获得；将滤波处理后的二维脑电特征进行堆叠，获得立体脑电特征；提取所述立体脑电特征中的情绪特征；基于所述情绪特征，获得情绪分类结果。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
Claims (10)
1.一种基于脑电立体滤波特征的情绪识别方法，其特征在于，包括：
获取脑电波信号，并提取所述脑电波信号的微分熵特征；
将所述脑电波信号的微分熵特征映射到二维平面上进行排列，获得二维脑电特征；
使用高斯核对所述二维脑电特征进行滤波处理，所述高斯核通过高斯函数构建获得；
将滤波处理后的二维脑电特征进行堆叠，获得立体脑电特征；
提取所述立体脑电特征中的情绪特征；
基于所述情绪特征，获得情绪分类结果。
2.根据权利要求1所述的基于脑电立体滤波特征的情绪识别方法，其特征在于，所述提取所述脑电波信号的微分熵特征，包括：
将所述脑电波信号分为多个波段的脑电波数据；
对所述多个波段的脑电波数据进行切割，获得多个脑电波数据的片段；
分别计算所述多个脑电波数据的片段的微分熵特征。
3.根据权利要求2所述的基于脑电立体滤波特征的情绪识别方法，其特征在于，所述将所述脑电波信号的微分熵特征映射到二维平面上进行排列，获得二维脑电特征，包括：
将所述多个脑电波数据的片段的微分熵特征按照头皮电极的通道位置映射到二维平面上进行排列，获得所述二维脑电特征。
4.根据权利要求1所述的基于脑电立体滤波特征的情绪识别方法，其特征在于，在所述提取所述立体脑电特征中的情绪特征之前，所述方法还包括：
构建卷积神经网络，所述卷积神经网络中包括批量归一化BN和实例归一化IN；
所述提取所述立体脑电特征中的情绪特征，包括：
将所述立体脑电特征输入所述卷积神经网络，获得所述卷积神经网络输出的情绪特征。
5.根据权利要求1所述的基于脑电立体滤波特征的情绪识别方法，其特征在于，所述基于所述情绪特征，获得情绪分类结果，包括：
将所述情绪特征输入多层感知机MLP，获得所述MLP输出的情绪分类结果，所述MLP通过最小化交叉熵损失函数训练获得。
6.根据权利要求2所述的基于脑电立体滤波特征的情绪识别方法，其特征在于，所述将滤波处理后的二维脑电特征进行堆叠，获得立体脑电特征，包括：
将滤波处理后的二维脑电特征按照所述多个波段进行堆叠，获得所述立体脑电特征。
7.一种基于脑电立体滤波特征的情绪识别装置，其特征在于，所述装置包括：
获取模块，用于获取脑电波信号，并提取所述脑电波信号的微分熵特征；
排列模块，用于将所述脑电波信号的微分熵特征映射到二维平面上进行排列，获得二维脑电特征；
滤波模块，用于使用高斯核对所述二维脑电特征进行滤波处理，所述高斯核通过高斯函数构建获得；
堆叠模块，用于将滤波处理后的二维脑电特征进行堆叠，获得立体脑电特征；
提取模块，用于提取所述立体脑电特征中的情绪特征；
分类模块，用于基于所述情绪特征，获得情绪分类结果。
8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1至6任一项所述基于脑电立体滤波特征的情绪识别方法。
9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述基于脑电立体滤波特征的情绪识别方法。
10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述基于脑电立体滤波特征的情绪识别方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311476283.2A CN117731303A (zh) | 2023-11-07 | 2023-11-07 | 基于脑电立体滤波特征的情绪识别方法、装置和存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311476283.2A CN117731303A (zh) | 2023-11-07 | 2023-11-07 | 基于脑电立体滤波特征的情绪识别方法、装置和存储介质 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117731303A true CN117731303A (zh) | 2024-03-22 |
Family
ID=90276531
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311476283.2A Pending CN117731303A (zh) | 2023-11-07 | 2023-11-07 | 基于脑电立体滤波特征的情绪识别方法、装置和存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117731303A (zh) |
-
2023
- 2023-11-07 CN CN202311476283.2A patent/CN117731303A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Zheng et al. | Revealing critical channels and frequency bands for emotion recognition from EEG with deep belief network | |
| CN114266276B (zh) | 一种基于通道注意力和多尺度时域卷积的运动想象脑电信号分类方法 | |
| CN106108894A (zh) | 一种提高情绪识别模型时间鲁棒性的情绪脑电识别方法 | |
| Taqi et al. | Classification and discrimination of focal and non-focal EEG signals based on deep neural network | |
| CN112450947B (zh) | 一种针对情绪唤醒度的动态脑网络分析方法 | |
| Keshishzadeh et al. | Improved EEG based human authentication system on large dataset | |
| CN114224360B (zh) | 一种基于改进emd-ica的eeg信号处理方法、设备及存储介质 | |
| WO2022183966A1 (zh) | 脑电信号分类方法、装置、设备、存储介质及程序产品 | |
| CN112488002B (zh) | 基于n170的情绪识别方法及识别系统 | |
| Köster et al. | A two-layer model of natural stimuli estimated with score matching | |
| CN110543831A (zh) | 一种基于卷积神经网络的脑纹识别方法 | |
| CN114129163B (zh) | 基于脑电信号的多视图深度学习的情绪分析方法和系统 | |
| Jiang et al. | Analytical comparison of two emotion classification models based on convolutional neural networks | |
| CN113128384B (zh) | 一种基于深度学习的脑卒中康复系统脑机接口软件关键技术方法 | |
| CN112438741B (zh) | 一种基于脑电特征迁移学习的驾驶状态检测方法及系统 | |
| CN114091529A (zh) | 一种基于生成对抗网络数据增强的脑电情感识别方法 | |
| Barreto et al. | On the classification of mental tasks: a performance comparison of neural and statistical approaches | |
| CN116919422A (zh) | 基于图卷积的多特征情感脑电识别模型建立方法及装置 | |
| CN116340825A (zh) | 一种基于迁移学习的跨被试rsvp脑电信号的分类方法 | |
| CN115969392A (zh) | 基于张量化频空注意力域适应网络的跨时段脑纹识别方法 | |
| CN117731303A (zh) | 基于脑电立体滤波特征的情绪识别方法、装置和存储介质 | |
| Pereira et al. | Factor analysis for finding invariant neural descriptors of human emotions | |
| Wang et al. | Residual learning attention cnn for motion intention recognition based on eeg data | |
| He et al. | Identification of EEG-based Music Emotion Using Hybrid COA features and t-SNE | |
| Tang et al. | A channel selection method for event related potential detection based on random forest and genetic algorithm |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |