CN113688673A - 在线场景下心电信号的跨用户情感识别方法 - Google Patents

Abstract

本发明公开了一种在线场景下心电信号的跨用户情感识别方法，属于情感识别技术领域。本发明通过学习源域数据和目标域数据的数据分布的共享子空间，减小个体差异造成的用户间差异，建立跨用户的情感识别分类器；然后通过基于在线数据自适应处理方法，将输入心电信号数据和初始目标数据对齐，减小用户自身的差异，以适应时变的心电信号；最后，使用训练好的情感识别分类器对对齐后的输入心电信号数据进行分类，得到当前输入心电信号的情感状态。本发明用于跨用户情感识别，其识别精度高、速度快、健壮性强，减小了用户间和用户自身心电信号数据的差异，适用于与训练数据不同对象的在线情感识别，从而保证了跨用户在线情感识别方法的可实施性。

Description

在线场景下心电信号的跨用户情感识别方法

技术领域

本发明属于情感识别技术领域，具体其涉及一种在线场景下心电信号的跨用户情感识别方法。

背景技术

情感识别是人机交互领域当前快速发展的方向之一。在许多需要实时性的实际应用中，以在线方式进行情感识别十分重要，例如实时掌握病人的情感状态，对于精神科医生监测患者的心理健康状况很有帮助。对于使用心电信号的情感识别来说，不同用户之间存在的个体差异导致难以得到一个跨用户的通用情感识别模型。例如，性格和性别等个体差异，可能会导致源用户和目标用户之间的数据分布差异，即用户间差异，而这将使得情感识别模型被应用于新用户时，可能会存在性能下降的问题。为了避免这样的个体差异性，传统方法一般使用被标记的数据训练一个针对新用户的新模型，但标记数据非常耗时，并且收集成本较高。

近年来，一些研究者提出了使用无监督域适应来解决用户间存在的个体差异，这种方法以一种无监督的方式将知识从源目标迁移到新目标，得到了一个针对新目标的通用模型。例如，针对基于脑电信号的跨用户情感识别，现有方式中，利用迁移成分分析方法得到了一个有效减少目标间差异的共享子空间。在这种方法中，只需要获得目标用户的无标签数据即可。然而，现有方法主要关注提前收集目标用户数据的离线场景，当这些方法被应用到在线情感识别场景时，它们忽略了目标用户自身的数据差异。

实际上，往往是以在线的方式得到心电信号。此外，由于生理信号的非平稳性，于在线场景中，心电信号会随时间变化，导致同一目标用户在输入数据和过往数据的数据特征分布中存在差异。因此，在基于在线心电信号的跨用户情感识别方法中，除了用户间的差异，还需要关注目标用户自身的差异，而时变性导致的用户自身心电信号差异可能会使得情感识别模型于在线场景中的性能下降。

只有少量情感识别方法同时考虑到了在线场景中的用户间和用户自身的差异。如王启松等人提出的一种基于无监督域适应的脑电信号的跨用户在线情感识别方法，减小了个体差异导致的用户间差异，并且通过定期重新训练新模型来减小用户自身差异。然而重新训练新模型可能会耗费大量时间和资源，而这将可能会限制情感识别模型在现实世界中的应用。

发明内容

本发明的发明目的在于：针对上述存在的问题，提供了一种在线场景下心电信号的跨用户情感识别方法。

本发明的在线场景下心电信号的跨用户情感识别方法，包括下列步骤：

步骤S1：将已有用户的带标签数据作为源域数据，新用户的不带标签的数据作为目标域数据，新用户的在线到达的不带标签数据作为在线数据；

步骤S2：分别提取源域数据和目标域数据的指定心电信号特征，得到源域X^s和初始目标域

其中提取的心电信号特征为具有情感区分性的特征；

在一种可能的方式中，提取的特征为当前被证实与情感相关的心电信号特征，包括基于心率变异性、心率以及RR(心电信号中R峰与R峰之间的间期，即心跳间期)的时域特征、不同频率范围心电信号的频域特征和非线性特征。

步骤S3：基于步骤S2所提取的心电信号特征，训练针对目标用户的情感识别分类器；

步骤S301：通过无监督域适应方法，得到一个投影矩阵P_r，投影矩阵P_r可以将源域与目标域投影到一个共享子空间，在此共享子空间中，不同用户间的特征分布得到对齐；

基于投影矩阵P_r，源域X^s被投影到共享子空间，得到一个对齐后的源域Z^s，初始目标域

被投影到共享子空间，得到一个对齐后的初始目标域Z^t；

本步骤中，利用无监督域适应方法，通过学习源用户域和目标用户域之间数据分布的共享子空间，减小个体差异造成的目标间差异；

在一种可能的方式中，所述无监督域适应算法采用平衡领域自适应方法，用于减小源心电信号数据与目标心电信号数据间特征分布的差异，平衡领域自适应方法的代价函数为：

其中，θ为平衡因子，λ为正则化参数，||·||_F表示弗罗贝尼乌斯范数，C表示情感分类的数量，c表示情感状态编号，X由源数据X^s和初始目标数据

组成，P_r表示投影矩阵，I为单位矩阵，H为定心矩阵，其矩阵大小为(n_s+n_t)×(n_s+n_t)，其中n_s表示源样本的数量，n_t表示目标样本的数量，M₀和M_c为边界和额外分布的最大平均差异矩阵；

P_r可以通过求解方程的维数d的最小向量得到，方程为：

其中，Φ表示拉格朗日乘子，d为共享子空间的维数；

通过投影矩阵P_r，源域X^s和初始目标域

被转换到共享子空间中，得到对齐后的源域Z^s和对齐后的初始目标域Z^t：

Z^s＝P_r ^TX^s

步骤S302：基于对齐后的源域Z^s训练用于情感状态分类的支持向量机，得到分类器f；

本步骤中，基于步骤S301所提供的对齐后的源域Z^s作为训练样本，可以采用基于径向基核函数的支持向量机分类器，训练得到可以对对齐后的初始目标域Z^t进行情感状态分类的情感识别分类器f；

步骤S4：采用在线数据自适应处理方法对在线数据进行转换后，基于分类器f对当前的在线数据进行情感状态识别：

步骤S401：基于投影矩阵P_r，转换在线数据得到在线数据子空间z_i；以及更新对齐后的初始目标域Z^t得到初始数据子空间Z_n；

其中，

表示在线数据，i表示在线数据的批次，上标T表示转置；

而更新初始目标子空间Z^t的目的在于：使在线数据与初始数据的分类比例更加接近，以此避免两种数据间不同分类比例所导致的负迁移。

在一种可能的实现方式中，更新初始目标子空间Z^t的方法为：根据投影矩阵P_r和分类器f得到在线数据的初始分类，计算在线数据的分类比例，并从初始目标子空间Z^t中根据分类比例选择部分样本，得到关于初始数据更新后的子空间Z_n；即每个类别的样本数量占比与该类别的分类比例正相关。

步骤S402：由于用户自身存在数据特征分布的差异，在线数据自适应处理方法被用来对在线数据子空间z_i进行转换，得到转换后的在线数据

在一种可能的处理方式中，在线数据自适应处理方法具体为：

定义对齐z_i和Z_n的投影矩阵P_i：

P_i＝σP_C+I

其中，P_C表示将在线数据子空间z_i投影到初始数据子空间Z_n的投影矩阵，I表示单位矩阵，σ表示减小负迁移的参数；

基于相关对齐方法对齐z_i和Z_n的二阶统计量协方差，通过求解优化问题，得出转换矩阵P_C，通过转换矩阵P_C使源域z_i接近目标域Z_n；

所述优化问题为：

其中，C_S和C_t分别表示在线数据子空间z_i和初始目标数据子空间Z_n的协方差矩阵；

进一步地，根据上述公式通过转换矩阵P_C得到投影矩阵P_i，并使用在线投影矩阵P_i，将在线数据子空间z_i投影到初始目标数据子空间Z_n，得到更加接近初始目标数据的转换后的在线数据

步骤S403：基于分类器f，对转换后的在线心电信号数据

进行分类，得到当前在线数据的推测情感状态。

在情感识别精度上，本发明以一般支持向量机作为基线方法，相对提高了12％到14％的分类精度，展现了本发明方法减小用户间和用户自身所存在的差异的优势。此外，本发明方法相较于其他无监督域适应方法表现得更好，展示了基于心电信号的在线跨用户情感识别的优势。本发明方法同样与没有使用在线数据自适应处理方法的平衡领域自适应方法进行了比较，取得了更好的效果，表现了在线数据自适应处理方法的有效性，以及本发明方法于在线场景中对时变的心电信号的健壮性。

综上所述，由于采用了上述技术方案，本发明的有益效果是：识别精度高，速度快，识别复杂度低，同时处理了用户间差异和在线场景中的用户自身差异，面对跨用户识别无需重训练情感识别模型，并且对在线场景中的用户自身差异具有健壮性，可以方便地应用于在线场景中的心电信号跨用户情感识别。

附图说明

图1是本发明实施例中，本发明的在线场景下心电信号的跨用户情感识别方法的处理过程示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。

在本发明中，关注以在线方式输入数据的在线情感识别方法。在情感识别方面，诸如脑电信号和心电信号等生理信号具有难以隐藏或伪装的优势。近年来，因为廉价可穿戴的心电信号记录设备快速发展，心电信号越来越受到关注。

本发明提供一种在线场景下心电信号的跨用户情感识别方法，主要包括基于无监督域适应的用户迁移方法和在线数据自适应处理方法两部分。基于无监督域适应的用户迁移方法为：利用无监督域适应方法，通过学习源域数据和目标域数据的数据特征分布的共享子空间，减小个体差异造成的用户间差异，建立跨用户的情感识别分类器；在线数据自适应处理方法为：通过使用本发明提出的在线数据自适应处理方法，将输入心电信号数据和初始目标数据对齐，减小用户自身的差异，以适应时变的心电信号。本发明用于跨用户情感识别，其识别精度高、速度快、健壮性强，减小了用户间和用户自身心电信号数据的差异，适用于与训练数据不同用户的在线情感识别，从而保证了跨用户在线情感识别方法的可实施性。

参见图1，本发明实施例提供的在线场景下心电信号的跨用户情感识别方法，包括训练阶段和在线识别阶段。

训练阶段包括特征提取阶段、基于无监督域适应方法的用户迁移阶段和分类器训练阶段。

特征提取阶段对心电信号中被证实与情感相关的特征数据进行提取，得到基于心率变异性、心率和RR的时域特征、不同频率范围心电信号的频域特征，以及非线性特征。

本实施例中，选择的时域特征包括心率变异性相关特征、心率相关特征和RR相关特征，频域特征包括低频范围的最大峰值、高频范围的峰值频率、全频域范围的总功率、低频范围总功率所占的百分比、高频范围总功率所占的百分比、低频范围的低频和高频功率的百分比、高频范围的低频和高频功率的百分比、低频和高频功率的比率、低频功率归一化为低频和高频功率的总和、高频功率归一化为低频和高频功率的总和，非线性特征包括庞加莱相关特征和非线性动态相关特征。其中，低频范围和高频范围指基于指定频率，将其分为两部分，低于指定频率的为低频范围，否则为高频范围。

同时，选择采用以256Hz记录，包含23个用户心电信号数据的心电信号数据集Dreamer，以及包含40个用户心电信号数据的心电信号数据集Amigos。其中，Amigos中包含许多非数心电信号数据的四个用户未被选用。

本实施例中，将原始心电信号以W秒作为时间窗口划分，以提升数据量，优选的，可设置W为30秒的较长时间窗口以保证在一个时间窗口中有充足的情感信息。

其中一个用户作为目标域，其他对象作为源域，目标域数据被随机分为初始数据和在线数据两部分，各占总目标域数据的一半。在线数据被分为小批量依次到达。同时，为了保证基于无监督域适应的用户迁移方法的作用，初始训练数据包含所有分类。

将现有用户的带标签数据作为源域数据，新用户的不带标签的数据作为目标域数据，新用户的在线到达的不带标签数据作为在线数据。

针对源域数据，提取以上特征作为源域X^s；针对目标域数据，提取以上特征作为目标域

基于无监督域适应方法的用户迁移阶段中，由于不同对象的数据差异导致数据特征分布之间存在差异，无监督域适应方法被用来减小用户间的差异。具体地，通过无监督域适应方法，得到一个投影矩阵P_r，投影矩阵P_r可以将源域数据与目标域数据投影到一个共享子空间，在此共享子空间中，不同用户间的特征分布得到对齐。

基于投影矩阵P_r，源数据X^s被投影到共享子空间，得到一个对齐后的源数据Z^s，初始目标数据

被投影到共享子空间，得到一个对齐后的初始目标数据Z^t。

其中，所述无监督域适应算法主要采用平衡领域自适应方法，用于减小源心电信号数据与目标心电信号数据间的差异，平衡领域自适应方法的代价函数为：

其中，θ为平衡因子，λ为正则化参数，||·||_F表示弗罗贝尼乌斯范数，C表示情感分类的数量，c表示情感类型编号，X由源数据X^s和初始目标数据

组成，P_r表示投影矩阵，I为单位矩阵，H为定心矩阵，其矩阵大小为((n_s+n_t)×(n_s+n_t)，其中n_s表示源样本的数量，n_t表示目标样本的数量，M₀和M_c为边界和额外分布的最大平均差异矩阵。

P_r可以通过求解方程的维数d的最小向量得到，方程为：

其中，Φ表示拉格朗日乘子，d为共享子空间的维数。

通过投影矩阵P_r，源域数据X^s和初始目标数据

被转换到共享子空间中，得到对齐后的源域Z^s和对齐后的初始目标域Z^t：

Z^s＝P_r ^TX^s

分类器训练阶段中，基于对齐后的源域Z^s，训练使用径向基核函数实现函数拟合的支持向量机，得到分类器f。

本实施例中，分类任务为包括两种情感的二分类任务，即情感的积极或消极，或者是情感强度的高或低。即两个二分类任务任选其一，若从情感唤醒这个维度上看，则将情感划分为高强度与低强度；若从情感效价这个维度上看，则将情感划分为积极与消极。其中，唤醒表示情感的强度与否，效价表示情感是高兴还是不是，即积极与消极。

在线识别阶段包括在线数据自适应阶段和在线情感识别。

在线数据自适应阶段中，针对在线数据，在线数据自适应处理方法被用来降低在线数据与目标域数据之间特征分布的差异。基于投影矩阵P_r，转换在线数据得到在线数据子空间zi，通过更新子空间Z^t获得初始数据子空间Z_n，并基于在线数据自适应处理方法得到更加接近初始目标数据的转换后的在线数据

其中，通过计算得到在线数据子空间z_i：

代表在线数据，i为在线数据的批次。

同时，更新初始目标子空间Z^t以使在线数据与初始数据的分类比例更加接近，以此避免两种数据间不同分类比例所导致的负迁移。其中，更新初始目标子空间Z^t的方法为：

根据投影矩阵P_r和分类器f得到在线数据的初始分类，计算在线数据的分类比例，并从子空间Z^t中根据比例选择部分样本，得到关于初始数据更新后的子空间Z_n。

定义对齐z_i和Z_n的投影矩阵P_i＝σP_C+I，其中P_C表示将在线数据子空间z_i投影到初始数据子空间Z_n的投影矩阵，I为单位矩阵，σ为减小负迁移的参数。

基于相关对齐方法(Correlation Alignment(CORAL))对齐z_i和Z_n的二阶统计量协方差，通过求解优化问题，得出转换矩阵P_C，通过转换矩阵P_C使源域z_i接近目标域Z_n。

所述优化问题为：

其中，C_S和C_t分别表示在线数据子空间z_i和初始目标数据子空间Z_n的协方差矩阵。

进一步地，根据上述公式通过转换矩阵P_C得到投影矩阵P_i，并使用在线投影矩阵P_i，将在线数据子空间z_i投影到初始目标数据子空间Z_n，得到更加接近初始目标数据的转换后的在线数据

在线情感识别基于分类器f，对转换后的在线心电信号数据

进行分类，得到当前推测情感状态。

其中当前推测情感状态可以表示为：

f(·)表示分类器f的输出。

本实施例中，在Intel core i5-10400 2.90GHz的处理器和16GB RAM的环境下，利用pycharm2020进行在线情感识别，消耗0.099秒完成推测，远低于每批心电信号数据到来的30秒间隔，证明了本发明方法可以在下一批次在线数据到来前完成分类，展现了本发明方法在实际应用场景中的使用价值。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

以上所述的仅是本发明的一些实施方式。对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (7)

1.在线场景下心电信号的跨用户情感识别方法，其特征在于，包括下列步骤：

步骤S1：将已有用户的带标签数据作为源域数据，新用户的不带标签的数据作为目标域数据，新用户的在线到达的不带标签数据作为在线数据；

步骤S2：分别提取源域数据和目标域数据的指定心电信号特征，得到源域X^s和初始目标域

步骤S3：基于步骤S2所提取的心电信号特征，训练针对目标用户的情感识别分类器；

步骤S301：通过无监督域适应方法，得到一个投影矩阵P_r；基于投影矩阵P_r，得到对齐后的源域Z^s：Z^s＝P_r ^TX^s，以及得到对齐后的初始目标域Z^t：

步骤S302：基于对齐后的源域Z^s训练用于情感状态分类的支持向量机，得到分类器f；

步骤S4：采用在线数据自适应处理方法对在线数据进行转换后，基于分类器f对当前的在线数据进行情感状态识别：

步骤S401：基于投影矩阵P_r，转换在线数据得到在线数据子空间z_i；以及更新对齐后的初始目标域Z^t得到初始数据子空间Z_n；

步骤S402：采用在线数据自适应处理方法对在线数据子空间z_i进行转换，得到转换后的在线数据

步骤S403：基于分类器f，对转换后的在线心电信号数据

进行分类，得到当前在线数据的推测情感状态。

2.如权利要求1所述的方法，其特征在于，步骤S301中，采用平衡领域自适应方法，得到投影矩阵P_r；

所述平衡领域自适应方法的代价函数为：

其中，θ为平衡因子，λ为正则化参数，||·||_F表示弗罗贝尼乌斯范数，C表示情感分类的数量，c表示情感状态编号，X由源数据X^s和初始目标数据

组成，P_r表示投影矩阵，I为单位矩阵，H为定心矩阵，其矩阵大小为(n_s+n_t)×(n_s+n_t)，其中n_s表示源样本的数量，n_t表示目标样本的数量，M₀和M_c为边界和额外分布的最大平均差异矩阵；

投影矩阵P_r通过求解方程的维数d的最小向量得到，方程为：

其中，Φ表示拉格朗日乘子，d为共享子空间的维数。

3.如权利要求1所述的方法，其特征在于，步骤S302中，所述支持向量机为采用径向基核函数实现函数拟合的支持向量机。

4.如权利要求1所述的方法，其特征在于，步骤S401中，更新初始目标子空间Z^t的具体方式为：

根据投影矩阵P_r和分类器f得到在线数据的初始分类，计算在线数据的分类比例；

基于每个类别的样本数量占比与该类别的分类比例正相关的策略，从初始目标子空间Z^t中根据分类比例选择部分样本，得到关于初始数据更新后的子空间Z_n。

5.如权利要求1所述的方法，其特征在于，步骤S402中，所述在线数据自适应处理方法具体为：

定义对齐z_i和Z_n的投影矩阵P_i：

P_i＝σP_C+I

其中，P_C表示将在线数据子空间z_i投影到初始数据子空间Z_n的投影矩阵，I表示单位矩阵，σ表示减小负迁移的参数；

基于相关对齐方法对齐z_i和Z_n的二阶统计量协方差，通过求解优化问题，得出转换矩阵P_C，通过转换矩阵P_C使源域z_i接近目标域Z_n；

所述优化问题为：

其中，C_S和C_t分别表示在线数据子空间z_i和初始目标数据子空间Z_n的协方差矩阵。

6.如权利要求5所述的方法，其特征在于，步骤S402中，转换后的在线数据

为：

7.如权利要求1所述的方法，其特征在于，步骤S2中，指定心电信号特征包括：基于心率变异性、心率以及RR的时域特征、不同频率范围心电信号的频域特征和非线性特征。

Images