CN114305415A - 一种跨被试和跨模态的多模态紧张情绪识别方法及系统 - Google Patents

Abstract

本发明提供一种跨被试和跨模态的多模态紧张情绪识别方法及系统，其中方法包括：获取眼动信号训练数据、与眼动信号训练数据对应的脑信号训练数据及眼动信号测试数据；对眼动信号训练数据及脑信号训练数据进行预处理及特征提取，得到眼动特征信号及脑特征信号；其中，预处理包括：滤波处理、频域变换处理及特征维度统一；将眼动特征信号及脑特征信号输入至情绪分类器，进行情绪分类并计算损失函数，优化多模态紧张情绪识别模型，得到训练完成的多模态紧张情绪识别模型；将眼动信号测试数据输入至训练完成的多模态紧张情绪识别模型，得到眼动信号测试数据对应的紧张情绪分类结果。本发明提高了紧张情绪识别的准确性。

Description

一种跨被试和跨模态的多模态紧张情绪识别方法及系统

技术领域

本发明涉及情绪识别技术领域，特别是涉及一种跨被试和跨模态的多模态紧张情绪识别方法及系统。

背景技术

情感智能是提升人机交互中用户体验的一种很有前景的方法，因而成为人工智能研究的热点。情感智能包含情绪识别、情绪理解和情绪调节等三个主要阶段，其中第一步是最关键的，因为它在娱乐、教育、医疗以及工业等广泛场景中有着巨大的应用潜力。

研究人员已经探索了各种方法来寻找一种有效的测量情绪的方法。实验证明，代表外部潜意识行为的眼动信号与内部生理反应的脑电信号相结合是一种更可靠并且可解释性高的方法。然而，虽然这种互补搭配表现不错，但脑电信号采集设备在有些实际应用场景中难以使用。由于注入脑电膏等操作会不可避免地造成外在障碍，使得在日常生活中使用成本高，操作困难。另外，脑电数据具有高度的被试依赖性，易受被试之间的结构和功能差异的影响，这给构建实用性的基于脑电的情感模型带来了巨大的挑战。

发明内容

为解决以上现有技术问题，本发明提供一种跨被试和跨模态的多模态紧张情绪识别方法及系统，提高了紧张情绪识别的准确性。

本发明第一方面提供一种跨被试和跨模态的多模态紧张情绪识别方法，包括：

获取眼动信号训练数据、与所述眼动信号训练数据对应的脑信号训练数据及眼动信号测试数据；

对所述眼动信号训练数据及所述脑信号训练数据进行预处理及特征提取，得到眼动特征信号及脑特征信号；其中，所述预处理包括：滤波处理、频域变换处理及特征维度统一；

将所述眼动特征信号及所述脑特征信号输入至情绪分类器，进行情绪分类并计算损失函数，优化多模态紧张情绪识别模型，得到训练完成的多模态紧张情绪识别模型；

将所述眼动信号测试数据输入至所述训练完成的多模态紧张情绪识别模型，得到所述眼动信号测试数据对应的紧张情绪分类结果。

进一步地，所述对所述眼动信号训练数据及所述脑信号训练数据进行预处理，包括：

通过带通滤波器对所述眼动信号训练数据及所述脑信号训练数据进行滤波处理，得到眼动滤波信号及脑滤波信号；

通过短时傅里叶变换对所述脑滤波信号进行频域变换，并计算频域上对每5个特征频段的能量值，根据所述能量值计算5个频段的微分熵特征值；

将不同维度的所述眼动滤波信号及所述脑滤波信号映射到同一维度空间。

进一步地，所述特征提取包括：

将完成特征维度统一的所述眼动信号训练数据及所述脑信号训练数据输入到浅层特征提取器，并将提取到的浅层特征数据通过梯度反转层连接到模态域分类器，进行模态间差异的消除；

将所述浅层特征数据输入到由全连接网络构成的深层特征提取器以提取深层特征，提取的深层特征数据通过梯度反转层连接到被试域分类器进行被试间差异的消除。

进一步地，所述浅层特征提取器的训练过程通过以下公式表示：

其中，θ_s为特征提取器的参数，θ_y为情绪分类器的参数，θ_md为模态域分类器的参数，

为优化后的特征提取器的参数，

为优化后的情绪分类器的参数，

为优化后的模态域分类器的参数。

进一步地，所述情绪分类器由全连接层和Relu激活层构成。

本发明第二方面提供一种跨被试和跨模态的多模态紧张情绪识别系统，包括：

数据获取模块，用于获取眼动信号训练数据、与所述眼动信号训练数据对应的脑信号训练数据及眼动信号测试数据；

数据处理模块，用于对所述眼动信号训练数据及所述脑信号训练数据进行预处理及特征提取，得到眼动特征信号及脑特征信号；其中，所述预处理包括：滤波处理、频域变换处理及特征维度统一；

模型优化模块，用于将所述眼动特征信号及所述脑特征信号输入至情绪分类器，进行情绪分类并计算损失函数，优化多模态紧张情绪识别模型，得到训练完成的多模态紧张情绪识别模型；

情绪识别模块，用于将所述眼动信号测试数据输入至所述训练完成的多模态紧张情绪识别模型，得到所述眼动信号测试数据对应的紧张情绪分类结果。

进一步地，所述数据处理模块，还用于：

通过带通滤波器对所述眼动信号训练数据及所述脑信号训练数据进行滤波处理，得到眼动滤波信号及脑滤波信号；

通过短时傅里叶变换对所述脑滤波信号进行频域变换，并计算频域上对每5个特征频段的能量值，根据所述能量值计算5个频段的微分熵特征值；

将不同维度的所述眼动滤波信号及所述脑滤波信号映射到同一维度空间。

进一步地，所述数据处理模块，还用于：

将完成特征维度统一的所述眼动信号训练数据及所述脑信号训练数据输入到浅层特征提取器，并将提取到的浅层特征数据通过梯度反转层连接到模态域分类器，进行模态间差异的消除；

将所述浅层特征数据输入到由全连接网络构成的深层特征提取器以提取深层特征，提取的深层特征数据通过梯度反转层连接到被试域分类器进行被试间差异的消除。

进一步地，所述浅层特征提取器的训练过程通过以下公式表示：

其中，θ_s为特征提取器的参数，θ_y为情绪分类器的参数，θ_md为模态域分类器的参数，

为优化后的特征提取器的参数，

为优化后的情绪分类器的参数，

为优化后的模态域分类器的参数。

进一步地，所述情绪分类器由全连接层和Relu激活层构成。

与现有技术相比，本发明实施例的有益效果在于：

本发明提供一种跨被试和跨模态的多模态紧张情绪识别方法及系统，其中方法包括：获取眼动信号训练数据、与所述眼动信号训练数据对应的脑信号训练数据及眼动信号测试数据；对所述眼动信号训练数据及所述脑信号训练数据进行预处理及特征提取，得到眼动特征信号及脑特征信号；其中，所述预处理包括：滤波处理、频域变换处理及特征维度统一；将所述眼动特征信号及所述脑特征信号输入至情绪分类器，进行情绪分类并计算损失函数，优化多模态紧张情绪识别模型，得到训练完成的多模态紧张情绪识别模型；将所述眼动信号测试数据输入至所述训练完成的多模态紧张情绪识别模型，得到所述眼动信号测试数据对应的紧张情绪分类结果。本发明集成了跨被试和跨模态技术，使得实际应用阶段只需要目标被试的眼动信号，这大大降低了模型在实际应用场景的传感器数目和设备成本。同时，将包含较多信息的脑电特征参与训练，从而模型的效果更佳，并且避免了脑电信号采集等过程中的造成的成本高，操作难度大等问题，使得模型实用化进一步成为可能。本发明从实用化的角度考虑，构建了一个多模态的紧张情绪识别模型。相比较于传统的基于脑电信号或者眼动信号的紧张情绪识别，我们的模型更加具有实用性，同时性能逼近于单纯基于脑电信号的情绪识别结果，高于基于眼动信号的情绪识别结果，说明我们设计的结构确实学习到了脑电信号中的信息。

附图说明

为了更清楚地说明本发明的技术方案，下面将对实施方式中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明某一实施例提供的一种跨被试和跨模态的多模态紧张情绪识别方法的流程图；

图2是本发明某一实施例提供的一种跨被试和跨模态的多模态紧张情绪识别系统的装置图；

图3是本发明某一实施例提供的一种电子设备的结构图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

应当理解，文中所使用的步骤编号仅是为了方便描述，不对作为对步骤执行先后顺序的限定。

应当理解，在本发明说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本发明。如在本发明说明书和所附权利要求书中所使用的那样，除非上下文清楚地指明其它情况，否则单数形式的“一”、“一个”及“该”意在包括复数形式。

术语“包括”和“包含”指示所描述特征、整体、步骤、操作、元素和/或组件的存在，但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些组合。

第一方面。

请参阅图1，本发明一实施例提供一种跨被试和跨模态的多模态紧张情绪识别方法，包括：

S10、获取眼动信号训练数据、与所述眼动信号训练数据对应的脑信号训练数据及眼动信号测试数据。

S20、对所述眼动信号训练数据及所述脑信号训练数据进行预处理及特征提取，得到眼动特征信号及脑特征信号；其中，所述预处理包括：滤波处理、频域变换处理及特征维度统一。

S30、将所述眼动特征信号及所述脑特征信号输入至情绪分类器，进行情绪分类并计算损失函数，优化多模态紧张情绪识别模型，得到训练完成的多模态紧张情绪识别模型。

S40、将所述眼动信号测试数据输入至所述训练完成的多模态紧张情绪识别模型，得到所述眼动信号测试数据对应的紧张情绪分类结果。

在本发明实施例的某一具体实施方式中，所述步骤S20包括：

通过带通滤波器对所述眼动信号训练数据及所述脑信号训练数据进行滤波处理，得到眼动滤波信号及脑滤波信号；

通过短时傅里叶变换对所述脑滤波信号进行频域变换，并计算频域上对每5个特征频段的能量值，根据所述能量值计算5个频段的微分熵特征值；

将不同维度的所述眼动滤波信号及所述脑滤波信号映射到同一维度空间。

在本发明实施例的另一具体实施方式中，所述步骤S20包括：

将完成特征维度统一的所述眼动信号训练数据及所述脑信号训练数据输入到浅层特征提取器，并将提取到的浅层特征数据通过梯度反转层连接到模态域分类器，进行模态间差异的消除；

将所述浅层特征数据输入到由全连接网络构成的深层特征提取器以提取深层特征，提取的深层特征数据通过梯度反转层连接到被试域分类器进行被试间差异的消除。

优选地，所述浅层特征提取器的训练过程通过以下公式表示：

其中，θ_s为特征提取器的参数，θ_y为情绪分类器的参数，θ_md为模态域分类器的参数，

为优化后的特征提取器的参数，

为优化后的情绪分类器的参数，

为优化后的模态域分类器的参数。

需要说明的是，所述情绪分类器由全连接层和Relu激活层构成。

本发明提供的方法集成了跨被试和跨模态技术，使得实际应用阶段只需要目标被试的眼动信号，这大大降低了模型在实际应用场景的传感器数目和设备成本。同时，将包含较多信息的脑电特征参与训练，从而模型的效果更佳，并且避免了脑电信号采集等过程中的造成的成本高，操作难度大等问题，使得模型实用化进一步成为可能。本发明提供的方法从实用化的角度考虑，构建了一个多模态的紧张情绪识别模型。相比较于传统的基于脑电信号或者眼动信号的紧张情绪识别，我们的模型更加具有实用性，同时性能逼近于单纯基于脑电信号的情绪识别结果，高于基于眼动信号的情绪识别结果，说明我们设计的结构确实学习到了脑电信号中的信息。

在本发明另一实施例，本发明提供一种跨被试和跨模态的多模态紧张情绪识别方法，整个过程可以分为训练阶段(S1-S5)和测试阶段(S6)。在训练阶段，眼动信号和脑电信号都需要作为输入。在测试阶段，我们的模型只需要目标被试者的眼动信号。

S1、处理采集到的原始数据，得到模型的输入。对采集到的原始脑电信号使用范围为1～75Hz的带通滤波器进行滤波。利用短时傅里叶变换将预处理后的脑电信号变换到频域上。然后，在频域上对每5个特征频段求能量值，根据得到的能量值计算5个频段的微分熵特征。特征频段包括：Delta波，其频率范围为：1～4Hz；Theta波，其频率范围为：4～8Hz；Alpha波，其频率范围为：8～14Hz；Beta波，其频率范围为：14～31Hz；Gamma波，其频率范围为：31～50Hz。每个频段的微分熵等价于能量值的对数。对于使用SMI眼动仪采集的眼动信息，我们提取出包含不同信息的特征，如瞳孔直径、注视、扫视和眨眼等。

S2、将不同维度的脑电数据和眼动数据映射到同一维度空间。经过预处理后，由于脑电信息的充分性，导致预处理后的脑电特征维度

比眼动特征维度

大得多。但跨模态技术需要相同维度的脑电数据和眼动数据作为输入。所以，我们分别为脑电数据和眼动数据设计了脑电全连接层和眼动全连接层进行维度统一。在没有信息缺失的情况下，我们得到了统一维度的脑电数据X_EEG和眼动数据X_EYE。

S3、将映射后的特征输入到浅层特征提取器，提取的特征通过梯度反转层连接到模态域分类器进行模态间差异的消除。经过维度变换后，将映射的特征X_EEG，X_EYE输入由全联接层构成的浅特征提取器进行进一步提取特征。接下来，通过一个特别设计的称为梯度反转层(GRL)的层连接到模态域分类器，该层对模态约简至关重要。在反向传播中，梯度反转层会将梯度乘一个负的超参数，使得梯度反转，最终使得模态域分类器难以区分特征是来自脑电域还是眼动域，从而达到减少模态差异的目的。整个训练过程可以集成如下：

其中，θ_s代表特征提取器的参数；θ_y代表情绪分类器的参数；θ_md代表模态域分类器的参数。

分别为优化后的网络参数。上述思想即为最小化情绪分类器损失，最大化域分类器损失，从而进行参数的优化。通过这种巧妙的梯度反转机制，脑电和眼动的特征逐渐无法区分，直到模态域分类器无法区分它们。我们就得到了模态无关的特征。

S4、将浅层特征提取器提取到的特征输入到由全连接网络构成的深层特征提取器以提取深层特征，提取的特征通过梯度反转层连接到被试域分类器进行被试间差异的消除。由于被试间差异更大而且是由更多且更复杂的因素决定的，所以降低这种差异的难度比在不同模态之间要困难得多。所以，我们相较于S3使用了更深的特征提取器进行特征的提取，进而进行被试间差异性的消除。通过与S3相似的配置，我们将浅层特征提取器的输出输入到深层特征提取器，再通过梯度反转层(GRL)连接到被试域分类器。这一步之后的特征将不再包含模态和被试间信息，即得到了被试域和模态域均无关的特征。

S5、将上述提取到的特征输入到情绪分类器，进行情绪分类并计算损失函数，进行反向传播调优模型。情绪分类器由全连接层和Relu激活层构成，模态无关和被试无关的特征输入后，即可输出得到预测情绪类别。我们的损失函数是针对于情绪分类器，被试域分类器和模态域分类器共同制定的，并通过三个加和为1的超参数，控制三个损失函数的权重。得到损失后，我们使用Adam优化器进行优化，调优模型参数。

S6、将目标被试的眼动特征输入到训练好的模型中，得到所述目标被试的紧张情绪分类结果。在这个阶段，我们并不需要事先校准模型，只需要目标被试的眼动信号作为输入，通过前向传播通过调优参数后的网络层，最终得到一个精度较高的情绪分类的结果。在这个过程中我们只利用了脑电信号的信息，同时还避免了其限制因素。

本发明集成了跨被试和跨模态技术，使得实际应用阶段只需要目标被试的眼动信号，这大大降低了模型在实际应用场景的传感器数目和设备成本。同时，将包含较多信息的脑电特征参与训练，从而模型的效果更佳，并且避免了脑电信号采集等过程中的造成的成本高，操作难度大等问题，使得模型实用化进一步成为可能。

本发明从实用化的角度考虑，构建了一个多模态的紧张情绪识别模型。相比较于传统的基于脑电信号或者眼动信号的紧张情绪识别，我们的模型更加具有实用性，同时性能逼近于单纯基于脑电信号的情绪识别结果，高于基于眼动信号的情绪识别结果，说明我们设计的结构确实学习到了脑电信号中的信息。

第二方面。

请参阅图2，本发明一实施例提供一种跨被试和跨模态的多模态紧张情绪识别系统，包括：

数据获取模块10，用于获取眼动信号训练数据、与所述眼动信号训练数据对应的脑信号训练数据及眼动信号测试数据；

数据处理模块20，用于对所述眼动信号训练数据及所述脑信号训练数据进行预处理及特征提取，得到眼动特征信号及脑特征信号；其中，所述预处理包括：滤波处理、频域变换处理及特征维度统一；

模型优化模块30，用于将所述眼动特征信号及所述脑特征信号输入至情绪分类器，进行情绪分类并计算损失函数，优化多模态紧张情绪识别模型，得到训练完成的多模态紧张情绪识别模型；

情绪识别模块40，用于将所述眼动信号测试数据输入至所述训练完成的多模态紧张情绪识别模型，得到所述眼动信号测试数据对应的紧张情绪分类结果。

在本发明实施例的某一具体实施方式中，所述数据处理模块20，还用于：

通过带通滤波器对所述眼动信号训练数据及所述脑信号训练数据进行滤波处理，得到眼动滤波信号及脑滤波信号；

通过短时傅里叶变换对所述脑滤波信号进行频域变换，并计算频域上对每5个特征频段的能量值，根据所述能量值计算5个频段的微分熵特征值；

将不同维度的所述眼动滤波信号及所述脑滤波信号映射到同一维度空间。

在本发明实施例的另一具体实施方式中，所述数据处理模块20，还用于：

将完成特征维度统一的所述眼动信号训练数据及所述脑信号训练数据输入到浅层特征提取器，并将提取到的浅层特征数据通过梯度反转层连接到模态域分类器，进行模态间差异的消除；

将所述浅层特征数据输入到由全连接网络构成的深层特征提取器以提取深层特征，提取的深层特征数据通过梯度反转层连接到被试域分类器进行被试间差异的消除。

优选地，所述浅层特征提取器的训练过程通过以下公式表示：

其中，θ_s为特征提取器的参数，θ_y为情绪分类器的参数，θ_md为模态域分类器的参数，

为优化后的特征提取器的参数，

为优化后的情绪分类器的参数，

为优化后的模态域分类器的参数。

需要说明的是，所述情绪分类器由全连接层和Relu激活层构成。

本发明提供的系统集成了跨被试和跨模态技术，使得实际应用阶段只需要目标被试的眼动信号，这大大降低了模型在实际应用场景的传感器数目和设备成本。同时，将包含较多信息的脑电特征参与训练，从而模型的效果更佳，并且避免了脑电信号采集等过程中的造成的成本高，操作难度大等问题，使得模型实用化进一步成为可能。本发明提供的系统从实用化的角度考虑，构建了一个多模态的紧张情绪识别模型。相比较于传统的基于脑电信号或者眼动信号的紧张情绪识别，我们的模型更加具有实用性，同时性能逼近于单纯基于脑电信号的情绪识别结果，高于基于眼动信号的情绪识别结果，说明我们设计的结构确实学习到了脑电信号中的信息。

第三方面。

本发明提供了一种电子设备，该电子设备包括：

处理器、存储器和总线；

所述总线，用于连接所述处理器和所述存储器；

所述存储器，用于存储操作指令；

所述处理器，用于通过调用所述操作指令，可执行指令使处理器执行如本申请的第一方面所示的一种跨被试和跨模态的多模态紧张情绪识别方法对应的操作。

在一个可选实施例中提供了一种电子设备，如图3所示，图3所示的电子设备5000包括：处理器5001和存储器5003。其中，处理器5001和存储器5003相连，如通过总线5002相连。可选地，电子设备5000还可以包括收发器5004。需要说明的是，实际应用中收发器5004不限于一个，该电子设备5000的结构并不构成对本申请实施例的限定。

处理器5001可以是CPU，通用处理器，DSP，ASIC，FPGA或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器5001也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。

总线5002可包括一通路，在上述组件之间传送信息。总线5002可以是PCI总线或EISA总线等。总线5002可以分为地址总线、数据总线、控制总线等。为便于表示，图3中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

存储器5003可以是ROM或可存储静态信息和指令的其他类型的静态存储设备，RAM或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM、CD-ROM或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。

存储器5003用于存储执行本申请方案的应用程序代码，并由处理器5001来控制执行。处理器5001用于执行存储器5003中存储的应用程序代码，以实现前述任一方法实施例所示的内容。

其中，电子设备包括但不限于：移动电话、笔记本电脑、数字广播接收器、PDA(个人数字助理)、PAD(平板电脑)、PMP(便携式多媒体播放器)、车载终端(例如车载导航终端)等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。

第四方面。

本发明提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现本申请第一方面所示的一种跨被试和跨模态的多模态紧张情绪识别方法。

本申请的又一实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，当其在计算机上运行时，使得计算机可以执行前述方法实施例中相应内容。

Claims (10)

1.一种跨被试和跨模态的多模态紧张情绪识别方法，其特征在于，包括：

获取眼动信号训练数据、与所述眼动信号训练数据对应的脑信号训练数据及眼动信号测试数据；

对所述眼动信号训练数据及所述脑信号训练数据进行预处理及特征提取，得到眼动特征信号及脑特征信号；其中，所述预处理包括：滤波处理、频域变换处理及特征维度统一；

将所述眼动特征信号及所述脑特征信号输入至情绪分类器，进行情绪分类并计算损失函数，优化多模态紧张情绪识别模型，得到训练完成的多模态紧张情绪识别模型；

将所述眼动信号测试数据输入至所述训练完成的多模态紧张情绪识别模型，得到所述眼动信号测试数据对应的紧张情绪分类结果。

2.如权利要求1所述的一种跨被试和跨模态的多模态紧张情绪识别方法，其特征在于，所述对所述眼动信号训练数据及所述脑信号训练数据进行预处理，包括：

通过带通滤波器对所述眼动信号训练数据及所述脑信号训练数据进行滤波处理，得到眼动滤波信号及脑滤波信号；

通过短时傅里叶变换对所述脑滤波信号进行频域变换，并计算频域上对每5个特征频段的能量值，根据所述能量值计算5个频段的微分熵特征值；

将不同维度的所述眼动滤波信号及所述脑滤波信号映射到同一维度空间。

3.如权利要求1所述的一种跨被试和跨模态的多模态紧张情绪识别方法，其特征在于，所述特征提取包括：

将完成特征维度统一的所述眼动信号训练数据及所述脑信号训练数据输入到浅层特征提取器，并将提取到的浅层特征数据通过梯度反转层连接到模态域分类器，进行模态间差异的消除；

将所述浅层特征数据输入到由全连接网络构成的深层特征提取器以提取深层特征，提取的深层特征数据通过梯度反转层连接到被试域分类器进行被试间差异的消除。

4.如权利要求3所述的一种跨被试和跨模态的多模态紧张情绪识别方法，其特征在于，所述浅层特征提取器的训练过程通过以下公式表示：

其中，s_s为特征提取器的参数，θ_y为情绪分类器的参数，θ_md为模态域分类器的参数，

为优化后的特征提取器的参数，

为优化后的情绪分类器的参数，

为优化后的模态域分类器的参数。

5.如权利要求1所述的一种跨被试和跨模态的多模态紧张情绪识别方法，其特征在于，所述情绪分类器由全连接层和Relu激活层构成。

6.一种跨被试和跨模态的多模态紧张情绪识别系统，其特征在于，包括：

数据获取模块，用于获取眼动信号训练数据、与所述眼动信号训练数据对应的脑信号训练数据及眼动信号测试数据；

数据处理模块，用于对所述眼动信号训练数据及所述脑信号训练数据进行预处理及特征提取，得到眼动特征信号及脑特征信号；其中，所述预处理包括：滤波处理、频域变换处理及特征维度统一；

模型优化模块，用于将所述眼动特征信号及所述脑特征信号输入至情绪分类器，进行情绪分类并计算损失函数，优化多模态紧张情绪识别模型，得到训练完成的多模态紧张情绪识别模型；

情绪识别模块，用于将所述眼动信号测试数据输入至所述训练完成的多模态紧张情绪识别模型，得到所述眼动信号测试数据对应的紧张情绪分类结果。

7.如权利要求6所述的一种跨被试和跨模态的多模态紧张情绪识别系统，其特征在于，所述数据处理模块，还用于：

通过带通滤波器对所述眼动信号训练数据及所述脑信号训练数据进行滤波处理，得到眼动滤波信号及脑滤波信号；

通过短时傅里叶变换对所述脑滤波信号进行频域变换，并计算频域上对每5个特征频段的能量值，根据所述能量值计算5个频段的微分熵特征值；

将不同维度的所述眼动滤波信号及所述脑滤波信号映射到同一维度空间。

8.如权利要求6所述的一种跨被试和跨模态的多模态紧张情绪识别系统，其特征在于，所述数据处理模块，还用于：

将完成特征维度统一的所述眼动信号训练数据及所述脑信号训练数据输入到浅层特征提取器，并将提取到的浅层特征数据通过梯度反转层连接到模态域分类器，进行模态间差异的消除；

将所述浅层特征数据输入到由全连接网络构成的深层特征提取器以提取深层特征，提取的深层特征数据通过梯度反转层连接到被试域分类器进行被试间差异的消除。

9.如权利要求8所述的一种跨被试和跨模态的多模态紧张情绪识别系统，其特征在于，所述浅层特征提取器的训练过程通过以下公式表示：

其中，θ_s为特征提取器的参数，θ_y为情绪分类器的参数，θ_md为模态域分类器的参数，

为优化后的特征提取器的参数，

为优化后的情绪分类器的参数，

为优化后的模态域分类器的参数。

10.如权利要求6所述的一种跨被试和跨模态的多模态紧张情绪识别系统，其特征在于，所述情绪分类器由全连接层和Relu激活层构成。

Images