CN114305415B - 一种跨被试和跨模态的多模态紧张情绪识别方法及系统 - Google Patents
一种跨被试和跨模态的多模态紧张情绪识别方法及系统 Download PDFInfo
- Publication number
- CN114305415B CN114305415B CN202111439051.0A CN202111439051A CN114305415B CN 114305415 B CN114305415 B CN 114305415B CN 202111439051 A CN202111439051 A CN 202111439051A CN 114305415 B CN114305415 B CN 114305415B
- Authority
- CN
- China
- Prior art keywords
- eye movement
- modal
- brain
- training data
- data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000008909 emotion recognition Effects 0.000 title claims abstract description 67
- 238000000034 method Methods 0.000 title claims abstract description 53
- 238000012360 testing method Methods 0.000 title claims abstract description 51
- 230000004424 eye movement Effects 0.000 claims abstract description 115
- 238000012549 training Methods 0.000 claims abstract description 81
- 210000004556 brain Anatomy 0.000 claims abstract description 70
- 230000008451 emotion Effects 0.000 claims abstract description 51
- 238000001914 filtration Methods 0.000 claims abstract description 33
- 230000008569 process Effects 0.000 claims abstract description 29
- 230000009466 transformation Effects 0.000 claims abstract description 21
- 238000007781 pre-processing Methods 0.000 claims abstract description 18
- 238000012545 processing Methods 0.000 claims description 10
- 230000004913 activation Effects 0.000 claims description 7
- 230000036651 mood Effects 0.000 claims description 6
- 238000000605 extraction Methods 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 3
- 230000006870 function Effects 0.000 description 9
- 230000000694 effects Effects 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
- 230000010482 emotional regulation Effects 0.000 description 1
- 238000000802 evaporation-induced self-assembly Methods 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004434 saccadic eye movement Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02T—CLIMATE CHANGE MITIGATION TECHNOLOGIES RELATED TO TRANSPORTATION
- Y02T10/00—Road transport of goods or passengers
- Y02T10/10—Internal combustion engine [ICE] based vehicles
- Y02T10/40—Engine management systems
Landscapes
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
本发明提供一种跨被试和跨模态的多模态紧张情绪识别方法及系统，其中方法包括：获取眼动信号训练数据、与眼动信号训练数据对应的脑信号训练数据及眼动信号测试数据；对眼动信号训练数据及脑信号训练数据进行预处理及特征提取，得到眼动特征信号及脑特征信号；其中，预处理包括：滤波处理、频域变换处理及特征维度统一；将眼动特征信号及脑特征信号输入至情绪分类器，进行情绪分类并计算损失函数，优化多模态紧张情绪识别模型，得到训练完成的多模态紧张情绪识别模型；将眼动信号测试数据输入至训练完成的多模态紧张情绪识别模型，得到眼动信号测试数据对应的紧张情绪分类结果。本发明提高了紧张情绪识别的准确性。
Description
技术领域
本发明涉及情绪识别技术领域，特别是涉及一种跨被试和跨模态的多模态紧张情绪识别方法及系统。
背景技术
情感智能是提升人机交互中用户体验的一种很有前景的方法，因而成为人工智能研究的热点。情感智能包含情绪识别、情绪理解和情绪调节等三个主要阶段，其中第一步是最关键的，因为它在娱乐、教育、医疗以及工业等广泛场景中有着巨大的应用潜力。
研究人员已经探索了各种方法来寻找一种有效的测量情绪的方法。实验证明，代表外部潜意识行为的眼动信号与内部生理反应的脑电信号相结合是一种更可靠并且可解释性高的方法。然而，虽然这种互补搭配表现不错，但脑电信号采集设备在有些实际应用场景中难以使用。由于注入脑电膏等操作会不可避免地造成外在障碍，使得在日常生活中使用成本高，操作困难。另外，脑电数据具有高度的被试依赖性，易受被试之间的结构和功能差异的影响，这给构建实用性的基于脑电的情感模型带来了巨大的挑战。
发明内容
为解决以上现有技术问题，本发明提供一种跨被试和跨模态的多模态紧张情绪识别方法及系统，提高了紧张情绪识别的准确性。
本发明第一方面提供一种跨被试和跨模态的多模态紧张情绪识别方法，包括：
获取眼动信号训练数据、与所述眼动信号训练数据对应的脑信号训练数据及眼动信号测试数据；
对所述眼动信号训练数据及所述脑信号训练数据进行预处理及特征提取，得到眼动特征信号及脑特征信号；其中，所述预处理包括：滤波处理、频域变换处理及特征维度统一；
将所述眼动特征信号及所述脑特征信号输入至情绪分类器，进行情绪分类并计算损失函数，优化多模态紧张情绪识别模型，得到训练完成的多模态紧张情绪识别模型；
将所述眼动信号测试数据输入至所述训练完成的多模态紧张情绪识别模型，得到所述眼动信号测试数据对应的紧张情绪分类结果。
进一步地，所述对所述眼动信号训练数据及所述脑信号训练数据进行预处理，包括：
通过带通滤波器对所述眼动信号训练数据及所述脑信号训练数据进行滤波处理，得到眼动滤波信号及脑滤波信号；
通过短时傅里叶变换对所述脑滤波信号进行频域变换，并计算频域上对每5个特征频段的能量值，根据所述能量值计算5个频段的微分熵特征值；
将不同维度的所述眼动滤波信号及所述脑滤波信号映射到同一维度空间。
进一步地，所述特征提取包括：
将完成特征维度统一的所述眼动信号训练数据及所述脑信号训练数据输入到浅层特征提取器，并将提取到的浅层特征数据通过梯度反转层连接到模态域分类器，进行模态间差异的消除；
将所述浅层特征数据输入到由全连接网络构成的深层特征提取器以提取深层特征，提取的深层特征数据通过梯度反转层连接到被试域分类器进行被试间差异的消除。
进一步地，所述浅层特征提取器的训练过程通过以下公式表示：
其中，θs为特征提取器的参数，θy为情绪分类器的参数，θmd为模态域分类器的参数，为优化后的特征提取器的参数，/>为优化后的情绪分类器的参数，/>为优化后的模态域分类器的参数。
进一步地，所述情绪分类器由全连接层和Relu激活层构成。
本发明第二方面提供一种跨被试和跨模态的多模态紧张情绪识别系统，包括：
数据获取模块，用于获取眼动信号训练数据、与所述眼动信号训练数据对应的脑信号训练数据及眼动信号测试数据；
数据处理模块，用于对所述眼动信号训练数据及所述脑信号训练数据进行预处理及特征提取，得到眼动特征信号及脑特征信号；其中，所述预处理包括：滤波处理、频域变换处理及特征维度统一；
模型优化模块，用于将所述眼动特征信号及所述脑特征信号输入至情绪分类器，进行情绪分类并计算损失函数，优化多模态紧张情绪识别模型，得到训练完成的多模态紧张情绪识别模型；
情绪识别模块，用于将所述眼动信号测试数据输入至所述训练完成的多模态紧张情绪识别模型，得到所述眼动信号测试数据对应的紧张情绪分类结果。
进一步地，所述数据处理模块，还用于：
通过带通滤波器对所述眼动信号训练数据及所述脑信号训练数据进行滤波处理，得到眼动滤波信号及脑滤波信号；
通过短时傅里叶变换对所述脑滤波信号进行频域变换，并计算频域上对每5个特征频段的能量值，根据所述能量值计算5个频段的微分熵特征值；
将不同维度的所述眼动滤波信号及所述脑滤波信号映射到同一维度空间。
进一步地，所述数据处理模块，还用于：
将完成特征维度统一的所述眼动信号训练数据及所述脑信号训练数据输入到浅层特征提取器，并将提取到的浅层特征数据通过梯度反转层连接到模态域分类器，进行模态间差异的消除；
将所述浅层特征数据输入到由全连接网络构成的深层特征提取器以提取深层特征，提取的深层特征数据通过梯度反转层连接到被试域分类器进行被试间差异的消除。
进一步地，所述浅层特征提取器的训练过程通过以下公式表示：
其中，θs为特征提取器的参数，θy为情绪分类器的参数，θmd为模态域分类器的参数，为优化后的特征提取器的参数，/>为优化后的情绪分类器的参数，/>为优化后的模态域分类器的参数。
进一步地，所述情绪分类器由全连接层和Relu激活层构成。
与现有技术相比，本发明实施例的有益效果在于：
本发明提供一种跨被试和跨模态的多模态紧张情绪识别方法及系统，其中方法包括：获取眼动信号训练数据、与所述眼动信号训练数据对应的脑信号训练数据及眼动信号测试数据；对所述眼动信号训练数据及所述脑信号训练数据进行预处理及特征提取，得到眼动特征信号及脑特征信号；其中，所述预处理包括：滤波处理、频域变换处理及特征维度统一；将所述眼动特征信号及所述脑特征信号输入至情绪分类器，进行情绪分类并计算损失函数，优化多模态紧张情绪识别模型，得到训练完成的多模态紧张情绪识别模型；将所述眼动信号测试数据输入至所述训练完成的多模态紧张情绪识别模型，得到所述眼动信号测试数据对应的紧张情绪分类结果。本发明集成了跨被试和跨模态技术，使得实际应用阶段只需要目标被试的眼动信号，这大大降低了模型在实际应用场景的传感器数目和设备成本。同时，将包含较多信息的脑电特征参与训练，从而模型的效果更佳，并且避免了脑电信号采集等过程中的造成的成本高，操作难度大等问题，使得模型实用化进一步成为可能。本发明从实用化的角度考虑，构建了一个多模态的紧张情绪识别模型。相比较于传统的基于脑电信号或者眼动信号的紧张情绪识别，我们的模型更加具有实用性，同时性能逼近于单纯基于脑电信号的情绪识别结果，高于基于眼动信号的情绪识别结果，说明我们设计的结构确实学习到了脑电信号中的信息。
附图说明
为了更清楚地说明本发明的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明某一实施例提供的一种跨被试和跨模态的多模态紧张情绪识别方法的流程图；
图2是本发明某一实施例提供的一种跨被试和跨模态的多模态紧张情绪识别系统的装置图；
图3是本发明某一实施例提供的一种电子设备的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
应当理解，文中所使用的步骤编号仅是为了方便描述，不对作为对步骤执行先后顺序的限定。
应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。
术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。
第一方面。
请参阅图1，本发明一实施例提供一种跨被试和跨模态的多模态紧张情绪识别方法，包括：
S10、获取眼动信号训练数据、与所述眼动信号训练数据对应的脑信号训练数据及眼动信号测试数据。
S20、对所述眼动信号训练数据及所述脑信号训练数据进行预处理及特征提取，得到眼动特征信号及脑特征信号；其中，所述预处理包括：滤波处理、频域变换处理及特征维度统一。
S30、将所述眼动特征信号及所述脑特征信号输入至情绪分类器，进行情绪分类并计算损失函数，优化多模态紧张情绪识别模型，得到训练完成的多模态紧张情绪识别模型。
S40、将所述眼动信号测试数据输入至所述训练完成的多模态紧张情绪识别模型，得到所述眼动信号测试数据对应的紧张情绪分类结果。
在本发明实施例的某一具体实施方式中，所述步骤S20包括：
通过带通滤波器对所述眼动信号训练数据及所述脑信号训练数据进行滤波处理，得到眼动滤波信号及脑滤波信号；
通过短时傅里叶变换对所述脑滤波信号进行频域变换，并计算频域上对每5个特征频段的能量值，根据所述能量值计算5个频段的微分熵特征值；
将不同维度的所述眼动滤波信号及所述脑滤波信号映射到同一维度空间。
在本发明实施例的另一具体实施方式中，所述步骤S20包括：
将完成特征维度统一的所述眼动信号训练数据及所述脑信号训练数据输入到浅层特征提取器，并将提取到的浅层特征数据通过梯度反转层连接到模态域分类器，进行模态间差异的消除；
将所述浅层特征数据输入到由全连接网络构成的深层特征提取器以提取深层特征，提取的深层特征数据通过梯度反转层连接到被试域分类器进行被试间差异的消除。
优选地，所述浅层特征提取器的训练过程通过以下公式表示：
其中，θs为特征提取器的参数，θy为情绪分类器的参数，θmd为模态域分类器的参数，为优化后的特征提取器的参数，/>为优化后的情绪分类器的参数，/>为优化后的模态域分类器的参数。
需要说明的是，所述情绪分类器由全连接层和Relu激活层构成。
本发明提供的方法集成了跨被试和跨模态技术，使得实际应用阶段只需要目标被试的眼动信号，这大大降低了模型在实际应用场景的传感器数目和设备成本。同时，将包含较多信息的脑电特征参与训练，从而模型的效果更佳，并且避免了脑电信号采集等过程中的造成的成本高，操作难度大等问题，使得模型实用化进一步成为可能。本发明提供的方法从实用化的角度考虑，构建了一个多模态的紧张情绪识别模型。相比较于传统的基于脑电信号或者眼动信号的紧张情绪识别，我们的模型更加具有实用性，同时性能逼近于单纯基于脑电信号的情绪识别结果，高于基于眼动信号的情绪识别结果，说明我们设计的结构确实学习到了脑电信号中的信息。
在本发明另一实施例，本发明提供一种跨被试和跨模态的多模态紧张情绪识别方法，整个过程可以分为训练阶段(S1-S5)和测试阶段(S6)。在训练阶段，眼动信号和脑电信号都需要作为输入。在测试阶段，我们的模型只需要目标被试者的眼动信号。
S1、处理采集到的原始数据，得到模型的输入。对采集到的原始脑电信号使用范围为1～75Hz的带通滤波器进行滤波。利用短时傅里叶变换将预处理后的脑电信号变换到频域上。然后，在频域上对每5个特征频段求能量值，根据得到的能量值计算5个频段的微分熵特征。特征频段包括：Delta波，其频率范围为：1～4Hz；Theta波，其频率范围为：4～8Hz；Alpha波，其频率范围为：8～14Hz；Beta波，其频率范围为：14～31Hz；Gamma波，其频率范围为：31～50Hz。每个频段的微分熵等价于能量值的对数。对于使用SMI眼动仪采集的眼动信息，我们提取出包含不同信息的特征，如瞳孔直径、注视、扫视和眨眼等。
S2、将不同维度的脑电数据和眼动数据映射到同一维度空间。经过预处理后，由于脑电信息的充分性，导致预处理后的脑电特征维度比眼动特征维度/>大得多。但跨模态技术需要相同维度的脑电数据和眼动数据作为输入。所以，我们分别为脑电数据和眼动数据设计了脑电全连接层和眼动全连接层进行维度统一。在没有信息缺失的情况下，我们得到了统一维度的脑电数据XEEG和眼动数据XEYE。
S3、将映射后的特征输入到浅层特征提取器，提取的特征通过梯度反转层连接到模态域分类器进行模态间差异的消除。经过维度变换后，将映射的特征XEEG，XEYE输入由全联接层构成的浅特征提取器进行进一步提取特征。接下来，通过一个特别设计的称为梯度反转层(GRL)的层连接到模态域分类器，该层对模态约简至关重要。在反向传播中，梯度反转层会将梯度乘一个负的超参数，使得梯度反转，最终使得模态域分类器难以区分特征是来自脑电域还是眼动域，从而达到减少模态差异的目的。整个训练过程可以集成如下：
其中，θs代表特征提取器的参数；θy代表情绪分类器的参数；θmd代表模态域分类器的参数。分别为优化后的网络参数。上述思想即为最小化情绪分类器损失，最大化域分类器损失，从而进行参数的优化。通过这种巧妙的梯度反转机制，脑电和眼动的特征逐渐无法区分，直到模态域分类器无法区分它们。我们就得到了模态无关的特征。
S4、将浅层特征提取器提取到的特征输入到由全连接网络构成的深层特征提取器以提取深层特征，提取的特征通过梯度反转层连接到被试域分类器进行被试间差异的消除。由于被试间差异更大而且是由更多且更复杂的因素决定的，所以降低这种差异的难度比在不同模态之间要困难得多。所以，我们相较于S3使用了更深的特征提取器进行特征的提取，进而进行被试间差异性的消除。通过与S3相似的配置，我们将浅层特征提取器的输出输入到深层特征提取器，再通过梯度反转层(GRL)连接到被试域分类器。这一步之后的特征将不再包含模态和被试间信息，即得到了被试域和模态域均无关的特征。
S5、将上述提取到的特征输入到情绪分类器，进行情绪分类并计算损失函数，进行反向传播调优模型。情绪分类器由全连接层和Relu激活层构成，模态无关和被试无关的特征输入后，即可输出得到预测情绪类别。我们的损失函数是针对于情绪分类器，被试域分类器和模态域分类器共同制定的，并通过三个加和为1的超参数，控制三个损失函数的权重。得到损失后，我们使用Adam优化器进行优化，调优模型参数。
S6、将目标被试的眼动特征输入到训练好的模型中，得到所述目标被试的紧张情绪分类结果。在这个阶段，我们并不需要事先校准模型，只需要目标被试的眼动信号作为输入，通过前向传播通过调优参数后的网络层，最终得到一个精度较高的情绪分类的结果。在这个过程中我们只利用了脑电信号的信息，同时还避免了其限制因素。
本发明集成了跨被试和跨模态技术，使得实际应用阶段只需要目标被试的眼动信号，这大大降低了模型在实际应用场景的传感器数目和设备成本。同时，将包含较多信息的脑电特征参与训练，从而模型的效果更佳，并且避免了脑电信号采集等过程中的造成的成本高，操作难度大等问题，使得模型实用化进一步成为可能。
本发明从实用化的角度考虑，构建了一个多模态的紧张情绪识别模型。相比较于传统的基于脑电信号或者眼动信号的紧张情绪识别，我们的模型更加具有实用性，同时性能逼近于单纯基于脑电信号的情绪识别结果，高于基于眼动信号的情绪识别结果，说明我们设计的结构确实学习到了脑电信号中的信息。
第二方面。
请参阅图2，本发明一实施例提供一种跨被试和跨模态的多模态紧张情绪识别系统，包括：
数据获取模块10，用于获取眼动信号训练数据、与所述眼动信号训练数据对应的脑信号训练数据及眼动信号测试数据；
数据处理模块20，用于对所述眼动信号训练数据及所述脑信号训练数据进行预处理及特征提取，得到眼动特征信号及脑特征信号；其中，所述预处理包括：滤波处理、频域变换处理及特征维度统一；
模型优化模块30，用于将所述眼动特征信号及所述脑特征信号输入至情绪分类器，进行情绪分类并计算损失函数，优化多模态紧张情绪识别模型，得到训练完成的多模态紧张情绪识别模型；
情绪识别模块40，用于将所述眼动信号测试数据输入至所述训练完成的多模态紧张情绪识别模型，得到所述眼动信号测试数据对应的紧张情绪分类结果。
在本发明实施例的某一具体实施方式中，所述数据处理模块20，还用于：
通过带通滤波器对所述眼动信号训练数据及所述脑信号训练数据进行滤波处理，得到眼动滤波信号及脑滤波信号；
通过短时傅里叶变换对所述脑滤波信号进行频域变换，并计算频域上对每5个特征频段的能量值，根据所述能量值计算5个频段的微分熵特征值；
将不同维度的所述眼动滤波信号及所述脑滤波信号映射到同一维度空间。
在本发明实施例的另一具体实施方式中，所述数据处理模块20，还用于：
将完成特征维度统一的所述眼动信号训练数据及所述脑信号训练数据输入到浅层特征提取器，并将提取到的浅层特征数据通过梯度反转层连接到模态域分类器，进行模态间差异的消除；
将所述浅层特征数据输入到由全连接网络构成的深层特征提取器以提取深层特征，提取的深层特征数据通过梯度反转层连接到被试域分类器进行被试间差异的消除。
优选地，所述浅层特征提取器的训练过程通过以下公式表示：
其中，θs为特征提取器的参数，θy为情绪分类器的参数，θmd为模态域分类器的参数，为优化后的特征提取器的参数，/>为优化后的情绪分类器的参数，/>为优化后的模态域分类器的参数。
需要说明的是，所述情绪分类器由全连接层和Relu激活层构成。
本发明提供的系统集成了跨被试和跨模态技术，使得实际应用阶段只需要目标被试的眼动信号，这大大降低了模型在实际应用场景的传感器数目和设备成本。同时，将包含较多信息的脑电特征参与训练，从而模型的效果更佳，并且避免了脑电信号采集等过程中的造成的成本高，操作难度大等问题，使得模型实用化进一步成为可能。本发明提供的系统从实用化的角度考虑，构建了一个多模态的紧张情绪识别模型。相比较于传统的基于脑电信号或者眼动信号的紧张情绪识别，我们的模型更加具有实用性，同时性能逼近于单纯基于脑电信号的情绪识别结果，高于基于眼动信号的情绪识别结果，说明我们设计的结构确实学习到了脑电信号中的信息。
第三方面。
本发明提供了一种电子设备，该电子设备包括：
处理器、存储器和总线；
所述总线，用于连接所述处理器和所述存储器；
所述存储器，用于存储操作指令；
所述处理器，用于通过调用所述操作指令，可执行指令使处理器执行如本申请的第一方面所示的一种跨被试和跨模态的多模态紧张情绪识别方法对应的操作。
在一个可选实施例中提供了一种电子设备，如图3所示，图3所示的电子设备5000包括：处理器5001和存储器5003。其中，处理器5001和存储器5003相连，如通过总线5002相连。可选地，电子设备5000还可以包括收发器5004。需要说明的是，实际应用中收发器5004不限于一个，该电子设备5000的结构并不构成对本申请实施例的限定。
处理器5001可以是CPU，通用处理器，DSP，ASIC，FPGA或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器5001也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。
总线5002可包括一通路，在上述组件之间传送信息。总线5002可以是PCI总线或EISA总线等。总线5002可以分为地址总线、数据总线、控制总线等。为便于表示，图3中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。
存储器5003可以是ROM或可存储静态信息和指令的其他类型的静态存储设备，RAM或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM、CD-ROM或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。
存储器5003用于存储执行本申请方案的应用程序代码，并由处理器5001来控制执行。处理器5001用于执行存储器5003中存储的应用程序代码，以实现前述任一方法实施例所示的内容。
其中，电子设备包括但不限于：移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。
第四方面。
本发明提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现本申请第一方面所示的一种跨被试和跨模态的多模态紧张情绪识别方法。
本申请的又一实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，当其在计算机上运行时，使得计算机可以执行前述方法实施例中相应内容。
Claims (6)
1.一种跨被试和跨模态的多模态紧张情绪识别方法，其特征在于，包括：
获取眼动信号训练数据、与所述眼动信号训练数据对应的脑信号训练数据及眼动信号测试数据；
对所述眼动信号训练数据及所述脑信号训练数据进行预处理及特征提取，得到眼动特征信号及脑特征信号；其中，所述预处理包括：滤波处理、频域变换处理及特征维度统一，所述特征提取包括：将完成特征维度统一的所述眼动信号训练数据及所述脑信号训练数据输入到浅层特征提取器，并将提取到的浅层特征数据通过梯度反转层连接到模态域分类器，进行模态间差异的消除；将所述浅层特征数据输入到由全连接网络构成的深层特征提取器以提取深层特征，提取的深层特征数据通过梯度反转层连接到被试域分类器进行被试间差异的消除，所述浅层特征提取器的训练过程通过以下公式表示：
；
；
其中，为特征提取器的参数，/>为情绪分类器的参数，/>为模态域分类器的参数，为优化后的特征提取器的参数，/>为优化后的情绪分类器的参数，/>为优化后的模态域分类器的参数；
将所述眼动特征信号及所述脑特征信号输入至情绪分类器，进行情绪分类并计算损失函数，优化多模态紧张情绪识别模型，得到训练完成的多模态紧张情绪识别模型；
将所述眼动信号测试数据输入至所述训练完成的多模态紧张情绪识别模型，得到所述眼动信号测试数据对应的紧张情绪分类结果。
2.如权利要求1所述的一种跨被试和跨模态的多模态紧张情绪识别方法，其特征在于，所述对所述眼动信号训练数据及所述脑信号训练数据进行预处理，包括：
通过带通滤波器对所述眼动信号训练数据及所述脑信号训练数据进行滤波处理，得到眼动滤波信号及脑滤波信号；
通过短时傅里叶变换对所述脑滤波信号进行频域变换，并计算频域上对每5个特征频段的能量值，根据所述能量值计算5个频段的微分熵特征值；
将不同维度的所述眼动滤波信号及所述脑滤波信号映射到同一维度空间。
3.如权利要求1所述的一种跨被试和跨模态的多模态紧张情绪识别方法，其特征在于，所述情绪分类器由全连接层和Relu激活层构成。
4.一种跨被试和跨模态的多模态紧张情绪识别系统，其特征在于，包括：
数据获取模块，用于获取眼动信号训练数据、与所述眼动信号训练数据对应的脑信号训练数据及眼动信号测试数据；
数据处理模块，用于对所述眼动信号训练数据及所述脑信号训练数据进行预处理及特征提取，得到眼动特征信号及脑特征信号；其中，所述预处理包括：滤波处理、频域变换处理及特征维度统一；
所述数据处理模块，还用于：将完成特征维度统一的所述眼动信号训练数据及所述脑信号训练数据输入到浅层特征提取器，并将提取到的浅层特征数据通过梯度反转层连接到模态域分类器，进行模态间差异的消除；将所述浅层特征数据输入到由全连接网络构成的深层特征提取器以提取深层特征，提取的深层特征数据通过梯度反转层连接到被试域分类器进行被试间差异的消除，其中，所述浅层特征提取器的训练过程通过以下公式表示：
；
；
其中，为特征提取器的参数，/>为情绪分类器的参数，/>为模态域分类器的参数，为优化后的特征提取器的参数，/>为优化后的情绪分类器的参数，/>为优化后的模态域分类器的参数；
模型优化模块，用于将所述眼动特征信号及所述脑特征信号输入至情绪分类器，进行情绪分类并计算损失函数，优化多模态紧张情绪识别模型，得到训练完成的多模态紧张情绪识别模型；
情绪识别模块，用于将所述眼动信号测试数据输入至所述训练完成的多模态紧张情绪识别模型，得到所述眼动信号测试数据对应的紧张情绪分类结果。
5.如权利要求4所述的一种跨被试和跨模态的多模态紧张情绪识别系统，其特征在于，所述数据处理模块，还用于：
通过带通滤波器对所述眼动信号训练数据及所述脑信号训练数据进行滤波处理，得到眼动滤波信号及脑滤波信号；
通过短时傅里叶变换对所述脑滤波信号进行频域变换，并计算频域上对每5个特征频段的能量值，根据所述能量值计算5个频段的微分熵特征值；
将不同维度的所述眼动滤波信号及所述脑滤波信号映射到同一维度空间。
6.如权利要求4所述的一种跨被试和跨模态的多模态紧张情绪识别系统，其特征在于，所述情绪分类器由全连接层和Relu激活层构成。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111439051.0A CN114305415B (zh) | 2021-11-25 | 2021-11-25 | 一种跨被试和跨模态的多模态紧张情绪识别方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202111439051.0A CN114305415B (zh) | 2021-11-25 | 2021-11-25 | 一种跨被试和跨模态的多模态紧张情绪识别方法及系统 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114305415A CN114305415A (zh) | 2022-04-12 |
| CN114305415B true CN114305415B (zh) | 2023-10-24 |
Family
ID=81046381
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202111439051.0A Active CN114305415B (zh) | 2021-11-25 | 2021-11-25 | 一种跨被试和跨模态的多模态紧张情绪识别方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114305415B (zh) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115099311B (zh) * | 2022-06-06 | 2024-03-19 | 陕西师范大学 | 基于脑电时空频特征和眼动特征的多模态情绪分类方法 |
| CN115067944B (zh) * | 2022-08-22 | 2022-11-11 | 深圳市心流科技有限公司 | 一种眼动状态评估方法、装置、终端设备及存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW201607511A (zh) * | 2014-08-29 | 2016-03-01 | 國立臺中教育大學 | 多生理訊號之情感運算引擎系統及方法 |
| CN111553295A (zh) * | 2020-05-01 | 2020-08-18 | 北京邮电大学 | 基于自注意力机制的多模态情感识别方法 |
| CN111881812A (zh) * | 2020-07-24 | 2020-11-03 | 中国中医科学院针灸研究所 | 用于针灸的基于深度学习的多模态情绪分析方法及系统 |
| CN112690793A (zh) * | 2020-12-28 | 2021-04-23 | 中国人民解放军战略支援部队信息工程大学 | 情绪脑电迁移模型训练方法、系统及情绪识别方法和设备 |
| CN113349780A (zh) * | 2021-06-07 | 2021-09-07 | 浙江科技学院 | 一种情绪设计对在线学习认知负荷影响的评估方法 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11382545B2 (en) * | 2015-10-09 | 2022-07-12 | Senseye, Inc. | Cognitive and emotional intelligence engine via the eye |
-
2021
- 2021-11-25 CN CN202111439051.0A patent/CN114305415B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW201607511A (zh) * | 2014-08-29 | 2016-03-01 | 國立臺中教育大學 | 多生理訊號之情感運算引擎系統及方法 |
| CN111553295A (zh) * | 2020-05-01 | 2020-08-18 | 北京邮电大学 | 基于自注意力机制的多模态情感识别方法 |
| CN111881812A (zh) * | 2020-07-24 | 2020-11-03 | 中国中医科学院针灸研究所 | 用于针灸的基于深度学习的多模态情绪分析方法及系统 |
| CN112690793A (zh) * | 2020-12-28 | 2021-04-23 | 中国人民解放军战略支援部队信息工程大学 | 情绪脑电迁移模型训练方法、系统及情绪识别方法和设备 |
| CN113349780A (zh) * | 2021-06-07 | 2021-09-07 | 浙江科技学院 | 一种情绪设计对在线学习认知负荷影响的评估方法 |
Non-Patent Citations (1)
| Title |
|---|
| 《基于最大分类器差异域对抗方法的跨被试脑电情绪识别研究》;蔡梓良等;《生物医学工程学杂志》;第第38卷卷(第第3期期);第455-462页 * |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114305415A (zh) | 2022-04-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN114305415B (zh) | 一种跨被试和跨模态的多模态紧张情绪识别方法及系统 | |
| Sadiq et al. | Motor imagery EEG signals decoding by multivariate empirical wavelet transform-based framework for robust brain–computer interfaces | |
| Doma et al. | A comparative analysis of machine learning methods for emotion recognition using EEG and peripheral physiological signals | |
| Ay et al. | Automated depression detection using deep representation and sequence learning with EEG signals | |
| Xie et al. | Wavelet-based sparse functional linear model with applications to EEGs seizure detection and epilepsy diagnosis | |
| Sahonero-Alvarez et al. | A comparison of SOBI, FastICA, JADE and Infomax algorithms | |
| Guo et al. | A hybrid fuzzy cognitive map/support vector machine approach for EEG-based emotion classification using compressed sensing | |
| Albasri et al. | EEG electrode selection for person identification thru a genetic-algorithm method | |
| Shen et al. | Gesture recognition through sEMG with wearable device based on deep learning | |
| CN114259255B (zh) | 一种基于频域信号与时域信号的模态融合胎心率分类方法 | |
| Tigga et al. | Efficacy of novel attention-based gated recurrent units transformer for depression detection using electroencephalogram signals | |
| Wankhade et al. | Hybrid hunt-based deep convolutional neural network for emotion recognition using EEG signals | |
| CN114595692A (zh) | 一种情绪识别方法、系统及终端设备 | |
| Wang et al. | Multi-source information deep fusion for rolling bearing fault diagnosis based on deep residual convolution neural network | |
| Kumar et al. | A CNN based graphical user interface controlled by imagined movements | |
| Zhou et al. | A novel real-time EEG based eye state recognition system | |
| Helaly et al. | Deep convolution neural network implementation for emotion recognition system | |
| CN116805002A (zh) | 问答方法、问答装置、设备及存储介质 | |
| CN114052675B (zh) | 一种基于融合注意力机制的脉搏异常判别方法及系统 | |
| Bagherzadeh et al. | A Hybrid EEG-based Emotion Recognition Approach Using Wavelet Convolutional Neural Networks and Support Vector Machine | |
| Wirawan et al. | Continuous Capsule Network Method for Improving Electroencephalogram-Based Emotion Recognition | |
| Zhang et al. | DSC based Dual-Resunet for radio frequency interference identification | |
| Gia et al. | Detection of epilepsy seizures based on deep learning with attention mechanism | |
| Xie et al. | Bidirectional feature pyramid attention-based temporal convolutional network model for motor imagery electroencephalogram classification | |
| El-Adawi et al. | Wireless body area sensor networks based human activity recognition using deep learning |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |