CN113688673B - 在线场景下心电信号的跨用户情感识别方法 - Google Patents

在线场景下心电信号的跨用户情感识别方法 Download PDF

Info

Publication number
CN113688673B
CN113688673B CN202110802173.5A CN202110802173A CN113688673B CN 113688673 B CN113688673 B CN 113688673B CN 202110802173 A CN202110802173 A CN 202110802173A CN 113688673 B CN113688673 B CN 113688673B
Authority
CN
China
Prior art keywords
data
online
subspace
domain
user
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110802173.5A
Other languages
English (en)
Other versions
CN113688673A (zh
Inventor
叶娅兰
李云霞
何文文
潘桐杰
孟千贺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Electronic Science and Technology of China
Original Assignee
University of Electronic Science and Technology of China
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Electronic Science and Technology of China filed Critical University of Electronic Science and Technology of China
Priority to CN202110802173.5A priority Critical patent/CN113688673B/zh
Publication of CN113688673A publication Critical patent/CN113688673A/zh
Application granted granted Critical
Publication of CN113688673B publication Critical patent/CN113688673B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/08—Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2218/00—Aspects of pattern recognition specially adapted for signal processing
    • G06F2218/12—Classification; Matching
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种在线场景下心电信号的跨用户情感识别方法，属于情感识别技术领域。本发明通过学习源域数据和目标域数据的数据分布的共享子空间，减小个体差异造成的用户间差异，建立跨用户的情感识别分类器；然后通过基于在线数据自适应处理方法，将输入心电信号数据和初始目标数据对齐，减小用户自身的差异，以适应时变的心电信号；最后，使用训练好的情感识别分类器对对齐后的输入心电信号数据进行分类，得到当前输入心电信号的情感状态。本发明用于跨用户情感识别，其识别精度高、速度快、健壮性强，减小了用户间和用户自身心电信号数据的差异，适用于与训练数据不同对象的在线情感识别，从而保证了跨用户在线情感识别方法的可实施性。

Description

在线场景下心电信号的跨用户情感识别方法
技术领域
本发明属于情感识别技术领域，具体其涉及一种在线场景下心电信号的跨用户情感识别方法。
背景技术
情感识别是人机交互领域当前快速发展的方向之一。在许多需要实时性的实际应用中，以在线方式进行情感识别十分重要，例如实时掌握病人的情感状态，对于精神科医生监测患者的心理健康状况很有帮助。对于使用心电信号的情感识别来说，不同用户之间存在的个体差异导致难以得到一个跨用户的通用情感识别模型。例如，性格和性别等个体差异，可能会导致源用户和目标用户之间的数据分布差异，即用户间差异，而这将使得情感识别模型被应用于新用户时，可能会存在性能下降的问题。为了避免这样的个体差异性，传统方法一般使用被标记的数据训练一个针对新用户的新模型，但标记数据非常耗时，并且收集成本较高。
近年来，一些研究者提出了使用无监督域适应来解决用户间存在的个体差异，这种方法以一种无监督的方式将知识从源目标迁移到新目标，得到了一个针对新目标的通用模型。例如，针对基于脑电信号的跨用户情感识别，现有方式中，利用迁移成分分析方法得到了一个有效减少目标间差异的共享子空间。在这种方法中，只需要获得目标用户的无标签数据即可。然而，现有方法主要关注提前收集目标用户数据的离线场景，当这些方法被应用到在线情感识别场景时，它们忽略了目标用户自身的数据差异。
实际上，往往是以在线的方式得到心电信号。此外，由于生理信号的非平稳性，于在线场景中，心电信号会随时间变化，导致同一目标用户在输入数据和过往数据的数据特征分布中存在差异。因此，在基于在线心电信号的跨用户情感识别方法中，除了用户间的差异，还需要关注目标用户自身的差异，而时变性导致的用户自身心电信号差异可能会使得情感识别模型于在线场景中的性能下降。
只有少量情感识别方法同时考虑到了在线场景中的用户间和用户自身的差异。如王启松等人提出的一种基于无监督域适应的脑电信号的跨用户在线情感识别方法，减小了个体差异导致的用户间差异，并且通过定期重新训练新模型来减小用户自身差异。然而重新训练新模型可能会耗费大量时间和资源，而这将可能会限制情感识别模型在现实世界中的应用。
发明内容
本发明的发明目的在于：针对上述存在的问题，提供了一种在线场景下心电信号的跨用户情感识别方法。
本发明的在线场景下心电信号的跨用户情感识别方法，包括下列步骤：
步骤S1：将已有用户的带标签数据作为源域数据，新用户的不带标签的数据作为目标域数据，新用户的在线到达的不带标签数据作为在线数据；
步骤S2：分别提取源域数据和目标域数据的指定心电信号特征，得到源域Xs和初始目标域
Figure BDA0003165086460000021
其中提取的心电信号特征为具有情感区分性的特征；
在一种可能的方式中，提取的特征为当前被证实与情感相关的心电信号特征，包括基于心率变异性、心率以及RR(心电信号中R峰与R峰之间的间期，即心跳间期)的时域特征、不同频率范围心电信号的频域特征和非线性特征。
步骤S3：基于步骤S2所提取的心电信号特征，训练针对目标用户的情感识别分类器；
步骤S301：通过无监督域适应方法，得到一个投影矩阵Pr，投影矩阵Pr可以将源域与目标域投影到一个共享子空间，在此共享子空间中，不同用户间的特征分布得到对齐；
基于投影矩阵Pr，源域Xs被投影到共享子空间，得到一个对齐后的源域Zs，初始目标域
Figure BDA0003165086460000022
被投影到共享子空间，得到一个对齐后的初始目标域Zt；
本步骤中，利用无监督域适应方法，通过学习源用户域和目标用户域之间数据分布的共享子空间，减小个体差异造成的目标间差异；
在一种可能的方式中，所述无监督域适应算法采用平衡领域自适应方法，用于减小源心电信号数据与目标心电信号数据间特征分布的差异，平衡领域自适应方法的代价函数为：
Figure BDA0003165086460000023
其中，θ为平衡因子，λ为正则化参数，||·||F表示弗罗贝尼乌斯范数，C表示情感分类的数量，c表示情感状态编号，X由源数据Xs和初始目标数据
Figure BDA0003165086460000024
组成，Pr表示投影矩阵，I为单位矩阵，H为定心矩阵，其矩阵大小为(ns+nt)×(ns+nt)，其中ns表示源样本的数量，nt表示目标样本的数量，M0和Mc为边界和额外分布的最大平均差异矩阵；
Pr可以通过求解方程的维数d的最小向量得到，方程为：
Figure BDA0003165086460000025
其中，Φ表示拉格朗日乘子，d为共享子空间的维数；
通过投影矩阵Pr，源域Xs和初始目标域
Figure BDA0003165086460000026
被转换到共享子空间中，得到对齐后的源域Zs和对齐后的初始目标域Zt：
Zs＝Pr TXs
Figure BDA0003165086460000031
步骤S302：基于对齐后的源域Zs训练用于情感状态分类的支持向量机，得到分类器f；
本步骤中，基于步骤S301所提供的对齐后的源域Zs作为训练样本，可以采用基于径向基核函数的支持向量机分类器，训练得到可以对对齐后的初始目标域Zt进行情感状态分类的情感识别分类器f；
步骤S4：采用在线数据自适应处理方法对在线数据进行转换后，基于分类器f对当前的在线数据进行情感状态识别：
步骤S401：基于投影矩阵Pr，转换在线数据得到在线数据子空间zi；以及更新对齐后的初始目标域Zt得到初始数据子空间Zn；
其中，
Figure BDA0003165086460000032
Figure BDA0003165086460000033
表示在线数据，i表示在线数据的批次，上标T表示转置；
而更新初始目标子空间Zt的目的在于：使在线数据与初始数据的分类比例更加接近，以此避免两种数据间不同分类比例所导致的负迁移。
在一种可能的实现方式中，更新初始目标子空间Zt的方法为：根据投影矩阵Pr和分类器f得到在线数据的初始分类，计算在线数据的分类比例，并从初始目标子空间Zt中根据分类比例选择部分样本，得到关于初始数据更新后的子空间Zn；即每个类别的样本数量占比与该类别的分类比例正相关。
步骤S402：由于用户自身存在数据特征分布的差异，在线数据自适应处理方法被用来对在线数据子空间zi进行转换，得到转换后的在线数据
Figure BDA0003165086460000034
在一种可能的处理方式中，在线数据自适应处理方法具体为：
定义对齐zi和Zn的投影矩阵Pi：
Pi＝σPC+I
其中，PC表示将在线数据子空间zi投影到初始数据子空间Zn的投影矩阵，I表示单位矩阵，σ表示减小负迁移的参数；
基于相关对齐方法对齐zi和Zn的二阶统计量协方差，通过求解优化问题，得出转换矩阵PC，通过转换矩阵PC使源域zi接近目标域Zn；
所述优化问题为：
Figure BDA0003165086460000035
其中，CS和Ct分别表示在线数据子空间zi和初始目标数据子空间Zn的协方差矩阵；
进一步地，根据上述公式通过转换矩阵PC得到投影矩阵Pi，并使用在线投影矩阵Pi，将在线数据子空间zi投影到初始目标数据子空间Zn，得到更加接近初始目标数据的转换后的在线数据
Figure BDA0003165086460000041
Figure BDA0003165086460000042
步骤S403：基于分类器f，对转换后的在线心电信号数据
Figure BDA0003165086460000043
进行分类，得到当前在线数据的推测情感状态。
在情感识别精度上，本发明以一般支持向量机作为基线方法，相对提高了12％到14％的分类精度，展现了本发明方法减小用户间和用户自身所存在的差异的优势。此外，本发明方法相较于其他无监督域适应方法表现得更好，展示了基于心电信号的在线跨用户情感识别的优势。本发明方法同样与没有使用在线数据自适应处理方法的平衡领域自适应方法进行了比较，取得了更好的效果，表现了在线数据自适应处理方法的有效性，以及本发明方法于在线场景中对时变的心电信号的健壮性。
综上所述，由于采用了上述技术方案，本发明的有益效果是：识别精度高，速度快，识别复杂度低，同时处理了用户间差异和在线场景中的用户自身差异，面对跨用户识别无需重训练情感识别模型，并且对在线场景中的用户自身差异具有健壮性，可以方便地应用于在线场景中的心电信号跨用户情感识别。
附图说明
图1是本发明实施例中，本发明的在线场景下心电信号的跨用户情感识别方法的处理过程示意图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地详细描述。
在本发明中，关注以在线方式输入数据的在线情感识别方法。在情感识别方面，诸如脑电信号和心电信号等生理信号具有难以隐藏或伪装的优势。近年来，因为廉价可穿戴的心电信号记录设备快速发展，心电信号越来越受到关注。
本发明提供一种在线场景下心电信号的跨用户情感识别方法，主要包括基于无监督域适应的用户迁移方法和在线数据自适应处理方法两部分。基于无监督域适应的用户迁移方法为：利用无监督域适应方法，通过学习源域数据和目标域数据的数据特征分布的共享子空间，减小个体差异造成的用户间差异，建立跨用户的情感识别分类器；在线数据自适应处理方法为：通过使用本发明提出的在线数据自适应处理方法，将输入心电信号数据和初始目标数据对齐，减小用户自身的差异，以适应时变的心电信号。本发明用于跨用户情感识别，其识别精度高、速度快、健壮性强，减小了用户间和用户自身心电信号数据的差异，适用于与训练数据不同用户的在线情感识别，从而保证了跨用户在线情感识别方法的可实施性。
参见图1，本发明实施例提供的在线场景下心电信号的跨用户情感识别方法，包括训练阶段和在线识别阶段。
训练阶段包括特征提取阶段、基于无监督域适应方法的用户迁移阶段和分类器训练阶段。
特征提取阶段对心电信号中被证实与情感相关的特征数据进行提取，得到基于心率变异性、心率和RR的时域特征、不同频率范围心电信号的频域特征，以及非线性特征。
本实施例中，选择的时域特征包括心率变异性相关特征、心率相关特征和RR相关特征，频域特征包括低频范围的最大峰值、高频范围的峰值频率、全频域范围的总功率、低频范围总功率所占的百分比、高频范围总功率所占的百分比、低频范围的低频和高频功率的百分比、高频范围的低频和高频功率的百分比、低频和高频功率的比率、低频功率归一化为低频和高频功率的总和、高频功率归一化为低频和高频功率的总和，非线性特征包括庞加莱相关特征和非线性动态相关特征。其中，低频范围和高频范围指基于指定频率，将其分为两部分，低于指定频率的为低频范围，否则为高频范围。
同时，选择采用以256Hz记录，包含23个用户心电信号数据的心电信号数据集Dreamer，以及包含40个用户心电信号数据的心电信号数据集Amigos。其中，Amigos中包含许多非数心电信号数据的四个用户未被选用。
本实施例中，将原始心电信号以W秒作为时间窗口划分，以提升数据量，优选的，可设置W为30秒的较长时间窗口以保证在一个时间窗口中有充足的情感信息。
其中一个用户作为目标域，其他对象作为源域，目标域数据被随机分为初始数据和在线数据两部分，各占总目标域数据的一半。在线数据被分为小批量依次到达。同时，为了保证基于无监督域适应的用户迁移方法的作用，初始训练数据包含所有分类。
将现有用户的带标签数据作为源域数据，新用户的不带标签的数据作为目标域数据，新用户的在线到达的不带标签数据作为在线数据。
针对源域数据，提取以上特征作为源域Xs；针对目标域数据，提取以上特征作为目标域
Figure BDA0003165086460000051
基于无监督域适应方法的用户迁移阶段中，由于不同对象的数据差异导致数据特征分布之间存在差异，无监督域适应方法被用来减小用户间的差异。具体地，通过无监督域适应方法，得到一个投影矩阵Pr，投影矩阵Pr可以将源域数据与目标域数据投影到一个共享子空间，在此共享子空间中，不同用户间的特征分布得到对齐。
基于投影矩阵Pr，源数据Xs被投影到共享子空间，得到一个对齐后的源数据Zs，初始目标数据
Figure BDA0003165086460000061
被投影到共享子空间，得到一个对齐后的初始目标数据Zt。
其中，所述无监督域适应算法主要采用平衡领域自适应方法，用于减小源心电信号数据与目标心电信号数据间的差异，平衡领域自适应方法的代价函数为：
Figure BDA0003165086460000062
其中，θ为平衡因子，λ为正则化参数，||·||F表示弗罗贝尼乌斯范数，C表示情感分类的数量，c表示情感类型编号，X由源数据Xs和初始目标数据
Figure BDA0003165086460000063
组成，Pr表示投影矩阵，I为单位矩阵，H为定心矩阵，其矩阵大小为((ns+nt)×(ns+nt)，其中ns表示源样本的数量，nt表示目标样本的数量，M0和Mc为边界和额外分布的最大平均差异矩阵。
Pr可以通过求解方程的维数d的最小向量得到，方程为：
Figure BDA0003165086460000064
其中，Φ表示拉格朗日乘子，d为共享子空间的维数。
通过投影矩阵Pr，源域数据Xs和初始目标数据
Figure BDA0003165086460000065
被转换到共享子空间中，得到对齐后的源域Zs和对齐后的初始目标域Zt：
Zs＝Pr TXs
Figure BDA0003165086460000066
分类器训练阶段中，基于对齐后的源域Zs，训练使用径向基核函数实现函数拟合的支持向量机，得到分类器f。
本实施例中，分类任务为包括两种情感的二分类任务，即情感的积极或消极，或者是情感强度的高或低。即两个二分类任务任选其一，若从情感唤醒这个维度上看，则将情感划分为高强度与低强度；若从情感效价这个维度上看，则将情感划分为积极与消极。其中，唤醒表示情感的强度与否，效价表示情感是高兴还是不是，即积极与消极。
在线识别阶段包括在线数据自适应阶段和在线情感识别。
在线数据自适应阶段中，针对在线数据，在线数据自适应处理方法被用来降低在线数据与目标域数据之间特征分布的差异。基于投影矩阵Pr，转换在线数据得到在线数据子空间zi，通过更新子空间Zt获得初始数据子空间Zn，并基于在线数据自适应处理方法得到更加接近初始目标数据的转换后的在线数据
Figure BDA0003165086460000067
其中，通过计算得到在线数据子空间zi：
Figure BDA0003165086460000068
Figure BDA0003165086460000069
代表在线数据，i为在线数据的批次。
同时，更新初始目标子空间Zt以使在线数据与初始数据的分类比例更加接近，以此避免两种数据间不同分类比例所导致的负迁移。其中，更新初始目标子空间Zt的方法为：
根据投影矩阵Pr和分类器f得到在线数据的初始分类，计算在线数据的分类比例，并从子空间Zt中根据比例选择部分样本，得到关于初始数据更新后的子空间Zn。
定义对齐zi和Zn的投影矩阵Pi＝σPC+I，其中PC表示将在线数据子空间zi投影到初始数据子空间Zn的投影矩阵，I为单位矩阵，σ为减小负迁移的参数。
基于相关对齐方法(Correlation Alignment(CORAL))对齐zi和Zn的二阶统计量协方差，通过求解优化问题，得出转换矩阵PC，通过转换矩阵PC使源域zi接近目标域Zn。
所述优化问题为：
Figure BDA0003165086460000071
其中，CS和Ct分别表示在线数据子空间zi和初始目标数据子空间Zn的协方差矩阵。
进一步地，根据上述公式通过转换矩阵PC得到投影矩阵Pi，并使用在线投影矩阵Pi，将在线数据子空间zi投影到初始目标数据子空间Zn，得到更加接近初始目标数据的转换后的在线数据
Figure BDA0003165086460000072
Figure BDA0003165086460000073
在线情感识别基于分类器f，对转换后的在线心电信号数据
Figure BDA0003165086460000074
进行分类，得到当前推测情感状态。
其中当前推测情感状态可以表示为：
Figure BDA0003165086460000075
f(·)表示分类器f的输出。
本实施例中，在Intel core i5-10400 2.90GHz的处理器和16GB RAM的环境下，利用pycharm2020进行在线情感识别，消耗0.099秒完成推测，远低于每批心电信号数据到来的30秒间隔，证明了本发明方法可以在下一批次在线数据到来前完成分类，展现了本发明方法在实际应用场景中的使用价值。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。
以上所述的仅是本发明的一些实施方式。对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (5)

1.在线场景下心电信号的跨用户情感识别方法，其特征在于，包括下列步骤：
步骤S1：将已有用户的带标签数据作为源域数据，新用户的不带标签的数据作为目标域数据，新用户的在线到达的不带标签数据作为在线数据；
步骤S2：分别提取源域数据和目标域数据的指定心电信号特征，得到源域Xs和初始目标域
Figure FDA0004180124320000015
步骤S3：基于步骤S2所提取的心电信号特征，训练针对目标用户的情感识别分类器；
步骤S301：通过无监督域适应方法，得到一个投影矩阵Pr；基于投影矩阵Pr，得到对齐后的源域Zs：Zs＝Pr TXs，以及得到对齐后的初始目标域Zt：
Figure FDA0004180124320000011
步骤S302：基于对齐后的源域Zs训练用于情感状态分类的支持向量机，得到分类器f；
步骤S4：采用在线数据自适应处理方法对在线数据进行转换后，基于分类器f对当前的在线数据进行情感状态识别：
步骤S401：基于投影矩阵Pr，转换在线数据得到在线数据子空间zi；以及更新对齐后的初始目标域Zt得到初始数据子空间Zn：
根据投影矩阵Pr和分类器f得到在线数据的初始分类，计算在线数据的分类比例；
基于每个类别的样本数量占比与该类别的分类比例正相关的策略，从初始目标子空间Zt中根据分类比例选择部分样本，得到关于初始数据更新后的子空间Zn；
步骤S402：采用在线数据自适应处理方法对在线数据子空间zi进行转换，得到转换后的在线数据
Figure FDA0004180124320000012
所述在线数据自适应处理方法具体为：
定义对齐zi和Zn的投影矩阵Pi：
Pi＝σPC+I
其中，PC表示将在线数据子空间zi投影到初始数据子空间Zn的投影矩阵，I表示单位矩阵，σ表示减小负迁移的参数；
基于相关对齐方法对齐zi和Zn的二阶统计量协方差，通过求解优化问题，得出转换矩阵PC，通过投影矩阵PC使在线数据子空间zi接近初始数据子空间Zn；
所述优化问题为：
Figure FDA0004180124320000013
其中，CS和Ct分别表示在线数据子空间zi和初始目标数据子空间Zn的协方差矩阵；
步骤S403：基于分类器f，对转换后的在线心电信号数据
Figure FDA0004180124320000014
进行分类，得到当前在线数据的推测情感状态。
2.如权利要求1所述的方法，其特征在于，步骤S301中，采用平衡领域自适应方法，得到投影矩阵Pr；
所述平衡领域自适应方法的代价函数为：
Figure FDA0004180124320000021
其中，θ为平衡因子，λ为正则化参数，||·||F表示弗罗贝尼乌斯范数，C表示情感分类的数量，c表示情感状态编号，X由源数据Xs和初始目标数据
Figure FDA0004180124320000025
组成，Pr表示投影矩阵，I为单位矩阵，H为定心矩阵，其矩阵大小为(ns+nt)×(ns+nt)，其中ns表示源样本的数量，nt表示目标样本的数量，M0和Mc为边界和额外分布的最大平均差异矩阵；
投影矩阵Pr通过求解方程的维数d的最小向量得到，方程为：
Figure FDA0004180124320000022
其中，Φ表示拉格朗日乘子，d为共享子空间的维数。
3.如权利要求1所述的方法，其特征在于，步骤S302中，所述支持向量机为采用径向基核函数实现函数拟合的支持向量机。
4.如权利要求1所述的方法，其特征在于，步骤S402中，转换后的在线数据
Figure FDA0004180124320000023
为：
Figure FDA0004180124320000024
5.如权利要求1所述的方法，其特征在于，步骤S2中，指定心电信号特征包括：基于心率变异性、心率以及RR的时域特征、不同频率范围心电信号的频域特征和非线性特征。
CN202110802173.5A 2021-07-15 2021-07-15 在线场景下心电信号的跨用户情感识别方法 Active CN113688673B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110802173.5A CN113688673B (zh) 2021-07-15 2021-07-15 在线场景下心电信号的跨用户情感识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110802173.5A CN113688673B (zh) 2021-07-15 2021-07-15 在线场景下心电信号的跨用户情感识别方法

Publications (2)

Publication Number Publication Date
CN113688673A CN113688673A (zh) 2021-11-23
CN113688673B true CN113688673B (zh) 2023-05-30

Family

ID=78577230

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110802173.5A Active CN113688673B (zh) 2021-07-15 2021-07-15 在线场景下心电信号的跨用户情感识别方法

Country Status (1)

Country Link
CN (1) CN113688673B (zh)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105590091A (zh) * 2014-11-06 2016-05-18 Tcl集团股份有限公司 一种面部识别方法及其系统
CN105913002A (zh) * 2016-04-07 2016-08-31 杭州电子科技大学 视频场景下在线自适应的异常事件检测方法
WO2018014436A1 (zh) * 2016-07-18 2018-01-25 天津大学 一种提高情绪识别模型时间鲁棒性的情绪脑电识别方法
WO2018120088A1 (zh) * 2016-12-30 2018-07-05 中国科学院深圳先进技术研究院 情感识别模型生成方法及装置
CN109475294A (zh) * 2016-05-06 2019-03-15 斯坦福大学托管董事会 用于治疗精神障碍的移动和可穿戴视频捕捉和反馈平台
CN110974259A (zh) * 2019-11-05 2020-04-10 华南师范大学 基于均值粗粒化的脑电情感识别方法、系统和存储介质
CN111728609A (zh) * 2020-08-26 2020-10-02 腾讯科技（深圳）有限公司 脑电信号的分类方法、分类模型的训练方法、装置及介质
WO2021007485A1 (en) * 2019-07-10 2021-01-14 University Of Virginia Patent Foundation System and method for online domain adaptation of models for hypoglycemia prediction in type 1 diabetes
CN112426160A (zh) * 2020-11-30 2021-03-02 贵州省人民医院 一种心电信号类型识别方法及装置
CN112690793A (zh) * 2020-12-28 2021-04-23 中国人民解放军战略支援部队信息工程大学 情绪脑电迁移模型训练方法、系统及情绪识别方法和设备
CN112699922A (zh) * 2020-12-21 2021-04-23 中国电力科学研究院有限公司 一种基于区域内距离的自适应聚类方法及系统
CN112749635A (zh) * 2020-12-29 2021-05-04 杭州电子科技大学 基于原型聚类域适应算法的跨被试eeg认知状态识别方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9213694B2 (en) * 2013-10-10 2015-12-15 Language Weaver, Inc. Efficient online domain adaptation

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105590091A (zh) * 2014-11-06 2016-05-18 Tcl集团股份有限公司 一种面部识别方法及其系统
CN105913002A (zh) * 2016-04-07 2016-08-31 杭州电子科技大学 视频场景下在线自适应的异常事件检测方法
CN109475294A (zh) * 2016-05-06 2019-03-15 斯坦福大学托管董事会 用于治疗精神障碍的移动和可穿戴视频捕捉和反馈平台
WO2018014436A1 (zh) * 2016-07-18 2018-01-25 天津大学 一种提高情绪识别模型时间鲁棒性的情绪脑电识别方法
WO2018120088A1 (zh) * 2016-12-30 2018-07-05 中国科学院深圳先进技术研究院 情感识别模型生成方法及装置
WO2021007485A1 (en) * 2019-07-10 2021-01-14 University Of Virginia Patent Foundation System and method for online domain adaptation of models for hypoglycemia prediction in type 1 diabetes
CN110974259A (zh) * 2019-11-05 2020-04-10 华南师范大学 基于均值粗粒化的脑电情感识别方法、系统和存储介质
CN111728609A (zh) * 2020-08-26 2020-10-02 腾讯科技（深圳）有限公司 脑电信号的分类方法、分类模型的训练方法、装置及介质
CN112426160A (zh) * 2020-11-30 2021-03-02 贵州省人民医院 一种心电信号类型识别方法及装置
CN112699922A (zh) * 2020-12-21 2021-04-23 中国电力科学研究院有限公司 一种基于区域内距离的自适应聚类方法及系统
CN112690793A (zh) * 2020-12-28 2021-04-23 中国人民解放军战略支援部队信息工程大学 情绪脑电迁移模型训练方法、系统及情绪识别方法和设备
CN112749635A (zh) * 2020-12-29 2021-05-04 杭州电子科技大学 基于原型聚类域适应算法的跨被试eeg认知状态识别方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
Su Kyoung Kim等."Flexible online adaptation of learning strategy using EEG-based reinforcement signals in real-world robotic application".《2020 IEEE International Conference on Robotics and Automation》.2020,第1-7页. *
X.Chai等."A fast,efficient domain adaptation technique for cross-domain electroencephalography (eeg)-based emotion recognition".《Sensors》.2017,第17卷(第5期),第1-21页. *
Zhuo Zhang等."Modeling EEG-based Motor Imagery with Session to Session Online Adaptation".《2018 4th Annual International Conference of the IEEE Engineering in Medicine and Biology Society》.2018,第1-4页. *
权学良."基于生理信号的情感计算研究综述".《自动化学报》.2021,第1-16页. *
陈辛."基于协方差的MI-EEG信号域适应算法研究".《中国优秀硕士学位论文全文数据库》.2020,(第1期),第I136-310页. *

Also Published As

Publication number Publication date
CN113688673A (zh) 2021-11-23

Similar Documents

Publication Publication Date Title
Li et al. EEG-based intention recognition with deep recurrent-convolution neural network: Performance and channel selection by Grad-CAM
Li et al. Automatic assessment of depression and anxiety through encoding pupil-wave from HCI in VR scenes
Jin et al. EEG-based emotion recognition using domain adaptation network
Alwasiti et al. Motor imagery classification for brain computer interface using deep metric learning
Seng et al. Multimodal emotion and sentiment modeling from unstructured Big data: Challenges, architecture, & techniques
Chen et al. Multiattention adaptation network for motor imagery recognition
Huang et al. End-to-end continuous emotion recognition from video using 3D ConvLSTM networks
CN115238835B (zh) 基于双空间自适应融合的脑电情感识别方法、介质及设备
Xie et al. WT feature based emotion recognition from multi-channel physiological signals with decision fusion
Zhu et al. Instance-representation transfer method based on joint distribution and deep adaptation for EEG emotion recognition
Yin et al. GITGAN: Generative inter-subject transfer for EEG motor imagery analysis
CN113688673B (zh) 在线场景下心电信号的跨用户情感识别方法
Gao et al. Metric Learning Based Feature Representation with Gated Fusion Model for Speech Emotion Recognition.
Furdui et al. AC-WGAN-GP: Augmenting ECG and GSR signals using conditional generative models for arousal classification
Li et al. Unsupervised cross-database micro-expression recognition using target-adapted least-squares regression
Wang et al. Improved brain–computer interface signal recognition algorithm based on few-channel motor imagery
CN110432899B (zh) 基于深度堆叠支持矩阵机的脑电信号识别方法
Zhang et al. ECMER: Edge-cloud collaborative personalized multimodal emotion recognition framework in the Internet of vehicles
Tang et al. Eye movement prediction based on adaptive BP neural network
Götz et al. Self-supervised representation learning using multimodal Transformer for emotion recognition
Luo et al. MDDD: Manifold-based Domain Adaptation with Dynamic Distribution for Non-Deep Transfer Learning in Cross-subject and Cross-session EEG-based Emotion Recognition
Schwenker et al. Multimodal affect recognition in the context of human-computer interaction for companion-systems
Li et al. Reducing the calibration effort of EEG emotion recognition using domain adaptation with soft labels
Dutta et al. An extensive analysis on deep neural architecture for classification of subject-independent cognitive states
CN112464711A (zh) 一种基于mfdc的脑电身份识别方法、存储介质及识别装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant