CN113208593A - 基于相关性动态融合的多模态生理信号情绪分类方法 - Google Patents

基于相关性动态融合的多模态生理信号情绪分类方法 Download PDF

Info

Publication number
CN113208593A
CN113208593A CN202110378481.XA CN202110378481A CN113208593A CN 113208593 A CN113208593 A CN 113208593A CN 202110378481 A CN202110378481 A CN 202110378481A CN 113208593 A CN113208593 A CN 113208593A
Authority
CN
China
Prior art keywords
fusion
signal
feature
signals
correlation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110378481.XA
Other languages
English (en)
Inventor
孔万增
陈思含
唐佳佳
张建海
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hangzhou Dianzi University
Original Assignee
Hangzhou Dianzi University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hangzhou Dianzi University filed Critical Hangzhou Dianzi University
Priority to CN202110378481.XA priority Critical patent/CN113208593A/zh
Publication of CN113208593A publication Critical patent/CN113208593A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7253—Details of waveform analysis characterised by using transforms
    • A61B5/726—Details of waveform analysis characterised by using transforms using Wavelet transforms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Psychiatry (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Physiology (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Educational Technology (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本发明公开了基于相关性动态融合的多模态生理信号情绪分类方法，该方法首先采集多模态生理信号，再使用神经网络进行特征提取，然后计算两两模态间的皮尔逊相关系数，按照相关性系数的大小确定多模态两两融合的顺序，首先融合相关性大的两个模态特征向量，再依次融合相关性小的其他特征向量。最后使用全连接层对采集的多模态生理信号进行分类，并使用交叉熵损失函数与Adam优化器进行整体的训练、优化。本方法基于时序动态的相关性系数对多模态生理信号进行两两融合，使输入分类器的特征向量包含更丰富的信息，提高了分类准确度。

Description

基于相关性动态融合的多模态生理信号情绪分类方法
技术领域
本发明属于多模态生理信号融合领域，具体涉及基于相关性动态融合的多模态生理信号情绪分类方法。
背景技术
情绪是人对客观事物所持有的态度体验，为人类认识与反映世界提供了一种特别的途径。通常情况下，情感识别可以分为两大类别。一种是利用人体的外部身体信号，如面部表情、语音、手势等。外部信号具有采集方便的优点，已被研究多年。但是，外部信号有一个无法避免的缺点，具有欺骗性，受试者可以控制自己的面部表情和手势等信号来控制情感的表达。由于身体信号的不可靠性，情感识别领域开始关注如何通过内部信号，即生理信号来分析人类的情感状态。根据康农理论，生理信号是对人体中枢神经系统和自主神经系统的反应，其中情绪的变化是由这些信号引起的。其最大特点在于中枢神经系统和自主神经系统在很大程度上是非自愿激活的，因此不容易控制，更具有客观准确性。生理信号，包括脑电图(EEG)、体温(T)、心电图(ECG)、肌电图(EMG)、皮肤电反应(GSR)、呼吸(RSP)等客观地表达了人类的情感状态，通过分析生理信号，可以知道被试是否撒谎，了解被试当前的想法。由于生理信号存在获取困难、信噪比低等问题，如何有效地分析生理信号来识别人类情感状态仍然是一个值得研究的方向。
目前在脑机接口领域，对脑电生理信号的情感识别研究已经取得了比较瞩目的成果，但是对多模态生理信号的研究还比较少。仅对单模态生理信号进行处理，难以取得完整又准确的特征。而多模态信号情感识别通过识别多个模态的信息，可以提取出更加完整的情感相关特征。所以多模态信号相对于单模态信号，在情感识别任务中可以取得更好的结果。通过融合多模态生理信号特征，可以产生更有效的任务相关特征，用于后续的工作。
现有技术中多模态融合技术已经广泛应用于自然语言处理、机器视觉等领域，并且取得了令人瞩目的成果。多模态融合依据融合的时间点，可以分为数据水平融合、中层特征融合和决策水平融合这三种融合方式。由于原始生理信号具有数据量大以及信噪比低的特点，决策水平的融合无法充分利用不同模态特征之间的关系，基于中间层抽象特征的融合方法更适合多模态生理信号数据的情感分类。
发明内容
针对现有技术的不足，本发明提出了基于相关性动态融合的多模态生理信号情绪分类方法，首先对收集到的信号进行预处理以及特征提取，然后根据时序以及模态间的相关性对多模态生理信号特征进行两两动态融合，最后对融合后的特征进行情感识别。在特征融合的过程中除了关注信号本身包含的信息之外，还关注多模态特征之间的相关性在时间方向上的变化，因此动态融合后的信息更加丰富，除了与任务相关的信息还包含了时间信息。
基于相关性动态融合的多模态生理信号情绪分类方法，该方法包括以下步骤：
步骤一、多模态信号采集与预处理
首先以频率Fs采集多种生理信号的静息态信号与任务态信号，对不同时刻的静息态信号求取平均值得到静息态均值矩阵，再将任务态信号减去静息态均值矩阵，然后将其切剪为长度相等的多个样本，每个样本中均包括同一时段的多个单模态数据。
所述静息态信号为不受任务刺激时的信号，任务态信号为受到任务刺激时的信号。
作为优选，所述多种生理信号为脑电信号、肌电信号和眼电信号。
作为优选，生理信号的采样率Fs为128Hz，静息态信号的长度为3s，任务态信号的长度为60s。
步骤二、提取多模态信号的特征
使用特征提取模块对步骤一处理后每个样本中的各单模态数据分别进行特征提取，得到各单模态数据对应的长度为L1的单模态特征向量。
作为优选，选用EEGNet模型提取脑电信号特征；肌电信号和眼电信号经过小波变换后再输入卷积神经网络进行特征提取。
所述EEGNet模型包括时间卷积模块、深度卷积模块和可分离卷积模块。其中时间卷积模块的输入通道为1，卷积核的大小为
Figure BDA0003011818610000021
输出通道为N；深度卷积模块的输入通道为 N，卷积核的大小为CEEG×1，输出通道为N×D；可分离卷积模块的输入通道为N×D，包括大小为
Figure BDA0003011818610000022
的深度卷积和大小为1×1的逐点通道卷积，输出通道为N×D。CEEG为输入脑电信号的通道数，N表示经过时间卷积模块得到的时间特征图数量，D表示卷积的深度。
所述卷积神经网络包括输入通道为8，卷积核的大小为CE×1，输出通道为16的一维卷积模块和与EEGNet相同的可分离卷积模块。CE表示输入信号的通道数。
作为优选，N＝8，D＝2；CEEG＝32，CE＝2。
步骤三、特征融合
使用特征融合模块对步骤二提取得到的同一样本内的多个单模态特征向量进行特征融合；具体步骤为：
步骤3.1、使用输入特征长度为L1，输出特征长度为L2的全连接层与激活函数Tanh将步骤二提取到的单模态特征向量投影到公共子空间；所述公共子空间的单模态内部类间区分度大，并且可以计算多模态间相关性。
步骤3.2、计算各单模态特征向量两两之间的相关性系数；
作为优选，相关性系数ρXY的计算公式为：
Figure BDA0003011818610000031
其中，X，Y分别代表两个不同模态的特征向量。E(X)和E(Y)分别代表两个特征的期望， E(XY)表示两个特征逐元素乘积的期望。X2和Y2分别表述对向量自身做逐元素乘积。步骤3.3、根据步骤3.2计算得到的相关性系数确定每个样本中各单模态特征向量两两融合的顺序，首先融合相关性系数最大的两个单模态特征向量，然后计算融合后得到的新的特征向量与剩余的单模态特征向量之间的两两相关性，重新依据相关性系数进行排序，继续融合相关性系数最大的两个特征向量；重复多次，直到完成每个样本中所有模态的融合，得到各样本对应的融合了所有模态信息的特征。
步骤四、特征分类
将步骤三融合后的特征输入全连接层与Softmax激活函数层中，使用交叉熵损失函数与 Adam优化器对特征提取与特征融合模型进行整体训练、优化，实现生理信号的情绪分类。
本发明具有以下有益效果：
基于信号间的相关性对多模态信号进行两两融合，得到的多模态特征不但保留了每个模态内部的任务相关信息，而且包含两两模态之间的交互信息，融合了更多细粒度的模态间信息，有效提高了分类的准确度。
附图说明
图1为实施例多模态生理信号分类流程图；
图2为实施例中脑电信号特征提取流程图；
图3为双模态特征融合方法图。
具体实施方式
以下结合附图对本发明作进一步的解释说明；
如图1所示，基于相关性动态融合的多模态生理信号情绪分类方法，具体包括多模态信号采集与预处理、特征提取、特征融合与分类四个步骤。步骤一、多模态信号采集与预处理
首先采集36通道的生理信号，分别为32导脑电信号，2导眼电信号和2导肌电信号。2 导眼电信号包括1导水平眼电信号，1导竖直眼电信号。32导脑电信号按照国际10-20系统采集，通道位置分别为Fp1、AF3、F3、F7、FC5、FC1、C3、T7、CP5、CP1、P3、P7、PO3、 O1、Oz、Pz、Fp2、AF4、Fz、F4、F8、FC6、FC、Cz、C4、T8、Cp6、Cp2、P4、P8、PO4、 O2。信号采样率为128赫兹，采样时间为63秒，因此采集到的数据大小为36*63*128。其中，每段信号的前3秒为静息态信号，后60秒为任务态信号。对静息态信号求取平均值得到静息态均值矩阵，再将任务态信号减去静息态均值矩阵，得到大小为36*60*128的数据，再以1s 为间隔对数据进行分割，得到60个大小为36*128的样本，作为特征提取步骤使用的数据。
步骤二、提取多模态信号的特征
使用特征提取模块对步骤一处理后的处理后每个样本中的各单模态数据分别进行特征提取，选用EEGNet模型提取脑电信号特征；肌电信号和眼电信号经过小波变换后再输入卷积神经网络进行特征提取，每个样本得到三个长度为64的一维向量。
如图2所示，所述EEGNet模型包括时间卷积模块、深度卷积模块和可分离卷积模块。其中时间卷积模块的输入通道为1，卷积核的大小为1×64，输出通道为8；深度卷积模块的输入通道为8，卷积核的大小为32×1，输出通道为16；可分离卷积模块的输入通道为16，包括大小为1×16的深度卷积和大小为1×1的逐点通道卷积，输出通道为16。
所述卷积神经网络包括输入通道为8，卷积核的大小为2×1，输出通道为16的一维卷积模块和与EEGNet相同的可分离卷积模块。
步骤三、特征融合
首先将步骤二提取得到的数据大小为3*64的单模态特征向量投影到公共子空间，然后分析每个样本中单模态特征向量两两之间的相关性。由于单模态特征向量之间的相关性会随着时间变动，因此按照相关性系数大小进行排序后，不同样本中的单模态特征向量的排列顺序也存在区别。按照相关性系数大小确定融合顺序。具体步骤为：
步骤3.1、使用输入特征长度为64，输出特征长度为256的全连接层与Tanh激活函数将步骤二提取到的多模态特征向量投影到公共子空间。所述公共子空间的单模态内部类间区分度大，并且可以计算多模态间相关性。Tanh激活函数为：
Figure BDA0003011818610000041
其中，x为经过连接层得到的长度为256的新特征。
步骤3.2、采用皮尔逊相关系数分析多模态间的相关程度，皮尔逊相关系数ρXY为：
Figure BDA0003011818610000051
其中，X，Y分别代表两个不同模态的特征向量。E(XY)-E(X)E(Y)E(XY)计算的是两个特征之间的协方差，E(X)和E(Y)分别代表两个特征的期望，E(XY)表示两个特征内积的期望。
计算得到三个相关性系数ρ1，ρ2和ρ3，分别表示脑电特征与眼电特征的相关系数，眼电特征和肌电特征的相关系数，肌电特征和眼电特征的相关系数。
步骤3.3、如图3所示，根据步骤3.2计算得到的相关性系数确定多模态两两融合的顺序，首先融合相关性系数较大的两个模态的特征向量h1和h2，点乘后得到中间向量h3：
h3＝h1⊙h2
然后将中间向量h3与特征向量h1和h2拼接得到一个新的一维向量[h1,h2,h3]，将该一维向量输入全连接层与Tanh激活函数层中，最后得到特征向量h1和h2融合后的特征向量h4：
h4＝tanh(W[h1,h2,h3]+b)
其中，W为权重系数，b为偏置值，通过模型的训练得到。
再将特征向量h4与第三个的特征向量进行融合，得到长度为256的特征向量，用于分类。
步骤四、特征分类
将步骤三融合后的特征输入全连接层，输入一维特征的长度为256，输出长度为分类类别数。全连接层后为Softmax激活函数层，Softmax激活函数为：
Figure BDA0003011818610000052
其中，e表示自然常数，μ表示经过全连接层的新向量。μl为μ中的第l个元素，L2为一维特征的长度，L2＝256。
使用交叉熵损失函数与Adam优化器对特征提取与特征融合模型进行整体训练、优化，交叉熵损失函数CrossEntropy(p,q)为：
Figure BDA0003011818610000053
其中，p代表真实的情绪样本的类别概率，q代表通过Softmax激活层得到的本方法推理分析得出的类别概率。n为类别数，当分类任务时二分类时n为2，四分类n为4。
在对DEAP多模态生理信号情感数据集的分类实验中，本实施例在效价二分类任务下的准确率为98.85％，在唤醒度二分类任务下的准确率为98.77％，在效价-唤醒度四分类任务下的准确率为98.14％，下表为本实施例的分类结果与其他模型分类结果的对比：
Figure BDA0003011818610000061

Claims (7)

1.基于相关性动态融合的多模态生理信号情绪分类方法，其特征在于：该方法具体包括以下步骤：
步骤一、多模态信号采集与预处理
首先以频率Fs采集多种生理信号的静息态信号与任务态信号，对不同时刻的静息态信号求取平均值得到静息态均值矩阵，再将任务态信号减去静息态均值矩阵，然后将其切剪为长度相等的多个样本，每个样本中均包括同一时段的多个单模态数据；
所述静息态信号为不受任务刺激时的信号，任务态信号为受到任务刺激时的信号；
步骤二、提取各单模态数据的特征
使用特征提取模块对步骤一处理后每个样本中的各单模态数据分别进行特征提取，得到各单模态数据对应的长度为L1的单模态特征向量；
步骤三、特征融合
使用特征融合模块对步骤二提取得到的同一样本内的多个单模态特征向量进行特征融合；具体步骤为：
步骤3.1、使用输入特征长度为L1的全连接层与激活函数Tanh将步骤二提取到的单模态特征向量投影到公共子空间；
步骤3.2、计算各单模态特征向量两两之间的相关性系数；
步骤3.3、根据步骤3.2计算得到的相关性系数确定每个样本中各单模态特征向量两两融合的顺序，首先融合相关性系数最大的两个单模态特征向量，然后计算融合后得到的新的特征向量与剩余的单模态特征向量之间的两两相关性，重新依据相关性系数进行排序，继续融合相关性系数最大的两个特征向量；重复多次，直到完成每个样本中所有模态的融合，得到各样本对应的融合了所有模态信息的特征；
步骤四、特征分类
将步骤三融合后的特征输入全连接层与Softmax激活函数层中，使用交叉熵损失函数与Adam优化器对特征提取与特征融合模型进行整体训练、优化；完成生理信号的情绪分类。
2.如权利要求1所述基于相关性动态融合的多模态生理信号情绪分类方法，其特征在于：所述多种生理信号分别为脑电信号、肌电信号和眼电信号。
3.如权利要求1所述基于相关性动态融合的多模态生理信号情绪分类方法，其特征在于：生理信号的采样率Fs为128Hz，静息态信号的长度为3s，任务态信号的长度为60s。
4.如权利要求1或3所述基于相关性动态融合的多模态生理信号情绪分类方法，其特征在于：步骤一中得到的每个样本长度均为1s。
5.如权利要求1或2所述基于相关性动态融合的多模态生理信号情绪分类方法，其特征在于：步骤二中，选用EEGNet模型提取脑电信号特征；肌电信号和眼电信号经过小波变换后再输入卷积神经网络进行特征提取；
所述EEGNet模型包括时间卷积模块、深度卷积模块和可分离卷积模块；其中时间卷积模块的输入通道为1，卷积核的大小为
Figure FDA0003011818600000021
输出通道为N；深度卷积模块的输入通道为N，卷积核的大小为CEEG×1，CEEG为输入脑电信号的通道数，输出通道为N×D；可分离卷积模块的输入通道为N×D，包括大小为
Figure FDA0003011818600000022
的深度卷积和大小为1×1的逐点通道卷积，输出通道为N×D；CEEG为输入脑电信号的通道数，N表示经过时间卷积模块得到的时间特征图数量，D表示卷积的深度；
所述卷积神经网络包括输入通道为8，卷积核的大小为CE×1，输出通道为16的一维卷积模块和与EEGNet相同的可分离卷积模块，CE表示输入信号的通道数。
6.如权利要求5所述基于相关性动态融合的多模态生理信号情绪分类方法，其特征在于：EEGNet模型中，输入脑电信号的通道数CEEG＝32，时间卷积模块得到的时间特征图数量N＝8，卷积的深度D＝2；卷积神经网络输入信号的通道数CE＝2。
7.如权利要求1所述基于相关性动态融合的多模态生理信号情绪分类方法，其特征在于：步骤3.2中相关性系数ρXY的计算公式为：
Figure FDA0003011818600000023
其中，X，Y分别代表两个不同模态的特征向量；E(X)和E(Y)分别代表两个特征的期望，E(XY)表示两个特征逐元素乘积的期望；X2和Y2分别表述对向量自身做逐元素乘积。
CN202110378481.XA 2021-04-08 2021-04-08 基于相关性动态融合的多模态生理信号情绪分类方法 Pending CN113208593A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110378481.XA CN113208593A (zh) 2021-04-08 2021-04-08 基于相关性动态融合的多模态生理信号情绪分类方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110378481.XA CN113208593A (zh) 2021-04-08 2021-04-08 基于相关性动态融合的多模态生理信号情绪分类方法

Publications (1)

Publication Number Publication Date
CN113208593A true CN113208593A (zh) 2021-08-06

Family

ID=77086825

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110378481.XA Pending CN113208593A (zh) 2021-04-08 2021-04-08 基于相关性动态融合的多模态生理信号情绪分类方法

Country Status (1)

Country Link
CN (1) CN113208593A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114489321A (zh) * 2021-12-13 2022-05-13 重庆邮电大学 基于多任务深度学习的稳态视觉诱发电位目标识别方法
CN114947852A (zh) * 2022-06-14 2022-08-30 华南师范大学 一种多模态情感识别方法、装置、设备及存储介质
CN114970608A (zh) * 2022-05-06 2022-08-30 中国科学院自动化研究所 基于眼电信号的人机交互方法及系统
CN115778389A (zh) * 2022-12-02 2023-03-14 复旦大学 基于心电和皮肤电联合分析的分娩恐惧检测方法和系统
CN116269386A (zh) * 2023-03-13 2023-06-23 中国矿业大学 基于序数划分网络的多通道生理时间序列情绪识别方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108021715A (zh) * 2017-12-29 2018-05-11 西安交通大学 基于语义结构特征分析的异构标签融合系统
CN108229662A (zh) * 2018-01-03 2018-06-29 华南理工大学 一种基于两阶段学习的多模态时间序列建模方法
CN110025322A (zh) * 2019-04-11 2019-07-19 辽宁师范大学 基于滤波与集成分类器的多模态生理信号情感分类方法
CN110084266A (zh) * 2019-03-11 2019-08-02 中国地质大学（武汉） 一种基于视听特征深度融合的动态情感识别方法
CN111178389A (zh) * 2019-12-06 2020-05-19 杭州电子科技大学 基于多通道张量池化的多模态深度分层融合情感分析方法
CN111274955A (zh) * 2020-01-20 2020-06-12 中国地质大学（武汉） 一种基于视听特征相关性融合的情感识别方法及系统
CN112101401A (zh) * 2020-07-10 2020-12-18 南京邮电大学 一种基于稀疏监督最小二乘多类核典型相关分析的多模态情感识别方法
CN112120716A (zh) * 2020-09-02 2020-12-25 中国人民解放军军事科学院国防科技创新研究院 一种可穿戴式多模态情绪状态监测装置

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108021715A (zh) * 2017-12-29 2018-05-11 西安交通大学 基于语义结构特征分析的异构标签融合系统
CN108229662A (zh) * 2018-01-03 2018-06-29 华南理工大学 一种基于两阶段学习的多模态时间序列建模方法
CN110084266A (zh) * 2019-03-11 2019-08-02 中国地质大学（武汉） 一种基于视听特征深度融合的动态情感识别方法
CN110025322A (zh) * 2019-04-11 2019-07-19 辽宁师范大学 基于滤波与集成分类器的多模态生理信号情感分类方法
CN111178389A (zh) * 2019-12-06 2020-05-19 杭州电子科技大学 基于多通道张量池化的多模态深度分层融合情感分析方法
CN111274955A (zh) * 2020-01-20 2020-06-12 中国地质大学（武汉） 一种基于视听特征相关性融合的情感识别方法及系统
CN112101401A (zh) * 2020-07-10 2020-12-18 南京邮电大学 一种基于稀疏监督最小二乘多类核典型相关分析的多模态情感识别方法
CN112120716A (zh) * 2020-09-02 2020-12-25 中国人民解放军军事科学院国防科技创新研究院 一种可穿戴式多模态情绪状态监测装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
凌文芬等: "基于3D分层卷积融合的多模态生理信号情绪识别", 《智能科学与技术学报》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114489321A (zh) * 2021-12-13 2022-05-13 重庆邮电大学 基于多任务深度学习的稳态视觉诱发电位目标识别方法
CN114489321B (zh) * 2021-12-13 2024-04-09 广州大鱼创福科技有限公司 基于多任务深度学习的稳态视觉诱发电位目标识别方法
CN114970608A (zh) * 2022-05-06 2022-08-30 中国科学院自动化研究所 基于眼电信号的人机交互方法及系统
CN114947852A (zh) * 2022-06-14 2022-08-30 华南师范大学 一种多模态情感识别方法、装置、设备及存储介质
CN114947852B (zh) * 2022-06-14 2023-01-10 华南师范大学 一种多模态情感识别方法、装置、设备及存储介质
CN115778389A (zh) * 2022-12-02 2023-03-14 复旦大学 基于心电和皮肤电联合分析的分娩恐惧检测方法和系统
CN115778389B (zh) * 2022-12-02 2024-05-28 复旦大学 基于心电和皮肤电联合分析的分娩恐惧检测方法和系统
CN116269386A (zh) * 2023-03-13 2023-06-23 中国矿业大学 基于序数划分网络的多通道生理时间序列情绪识别方法
CN116269386B (zh) * 2023-03-13 2024-06-11 中国矿业大学 基于序数划分网络的多通道生理时间序列情绪识别方法

Similar Documents

Publication Publication Date Title
Nakisa et al. Evolutionary computation algorithms for feature selection of EEG-based emotion recognition using mobile sensors
CN109199414B (zh) 一种基于脑电信号的视听诱发情绪识别方法及系统
Edla et al. Classification of EEG data for human mental state analysis using Random Forest Classifier
CN113208593A (zh) 基于相关性动态融合的多模态生理信号情绪分类方法
Benalcázar et al. Hand gesture recognition using machine learning and the Myo armband
CN111329474B (zh) 基于深度学习的脑电身份识别方法、系统及信息更新方法
CN110070105B (zh) 基于元学习实例快速筛选的脑电情绪识别方法、系统
Esfahani et al. Classification of primitive shapes using brain–computer interfaces
CN113693613B (zh) 脑电信号分类方法、装置、计算机设备及存储介质
CN110555468A (zh) 一种联合递归图和cnn的脑电信号识别方法及系统
CN111265212A (zh) 一种运动想象脑电信号分类方法及闭环训练测试交互系统
CN114533086B (zh) 一种基于空域特征时频变换的运动想象脑电解码方法
CN109976525B (zh) 一种用户界面交互方法、装置及计算机设备
WO2009145725A1 (en) A method and system for classifying brain signals in a bci
CN113705398B (zh) 基于卷积-长短期记忆网络音乐脑电时空特征分类方法
CN109657646B (zh) 生理时间序列的特征表示与提取方法、装置及存储介质
CN113191395A (zh) 一种基于双脑的多层次信息融合的目标检测方法
CN112488002A (zh) 基于n170的情绪识别方法及识别系统
Saka et al. Classification of EEG signals recorded during right/left hand movement imagery using Fast Walsh Hadamard Transform based features
CN113180659A (zh) 一种基于三维特征和空洞全卷积网络的脑电情感识别系统
CN109009098A (zh) 一种运动想象状态下的脑电信号特征识别方法
Ogino et al. Semi-supervised learning for auditory event-related potential-based brain–computer interface
CN112698720B (zh) 一种基于互信息特征提取及多人融合的运动想象识别方法
CN115414050A (zh) 一种实现情绪识别的eeg脑网络最大团检测方法及系统
CN117407748A (zh) 基于图卷积和融合注意力的脑电情绪识别方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20210806

RJ01 Rejection of invention patent application after publication