CN112401886B - 情感识别的处理方法、装置、设备及存储介质 - Google Patents

情感识别的处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112401886B
CN112401886B CN202011121650.3A CN202011121650A CN112401886B CN 112401886 B CN112401886 B CN 112401886B CN 202011121650 A CN202011121650 A CN 202011121650A CN 112401886 B CN112401886 B CN 112401886B
Authority
CN
China
Prior art keywords
emotion
data
mode
classification confidence
basic
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202011121650.3A
Other languages
English (en)
Other versions
CN112401886A (zh
Inventor
赵宇轩
曹昕妍
杨晋
曹喜信
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Peking University
Original Assignee
Peking University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Peking University filed Critical Peking University
Priority to CN202011121650.3A priority Critical patent/CN112401886B/zh
Publication of CN112401886A publication Critical patent/CN112401886A/zh
Application granted granted Critical
Publication of CN112401886B publication Critical patent/CN112401886B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Psychiatry (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Artificial Intelligence (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Hospice & Palliative Care (AREA)
  • Educational Technology (AREA)
  • Social Psychology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开一种情感识别的处理方法、装置、设备及存储介质，该方法包括：获取原情感数据，所述原情感数据包括至少两种模态的情感数据；根据原情感数据，获取各模态情感数据对应的情感特征；根据各模态情感数据对应的情感特征，确定各模态的第一分类置信度，其中，各模态的第一分类置信度包括该模态在各基础情感类别上的单模态分类置信度；根据各模态的第一分类置信度及预先获得的多模态信息融合权重数据，进行多模态信息融合，获得第二分类置信度，第二分类置信度包括各模态融合后在各所述基础情感类别上的融合分类置信度；根据第二分类置信度，确定原情感数据所属的目标基础情感类别。本发明能有效提高情感识别的识别率及准确性。

Description

情感识别的处理方法、装置、设备及存储介质
技术领域
本发明涉及计算机技术领域，尤其涉及一种情感识别的处理方法、装置、设备及存储介质。
背景技术
在日常交流中，人类能够通过聆听语言、观察表情及姿态动作等捕捉对方的情感变化，识别情感状态信息，进而进行情感交流。随着计算机技术的飞速发展，机器逐渐能够对人类这方面的能力进行模拟，实现了情感状态信息的自动识别。
现有技术中，通常基于生理信号进行情感识别，通过采集原生理信号，对原生理信号进行信号预处理、特征提取、分类等来获得情感识别结果。其中，原生理信号包括脑电信号(Electroencephalogram，EEG)、皮肤电反应(Galvanic Skin Reaction，GSR)、皮肤温度信号(Human Skin Temperature，HST)、肌电信号(Electromyogram，EMG)、心电信号(Electrocardiogram，ECG)等。
但是，现有的情感识别方法识别率较低，因此，如何有效提高识别率成为亟需解决的技术问题。
发明内容
本发明提供一种情感识别的处理方法、装置、设备及存储介质，以解决现有技术识别率低等缺陷。
本发明第一个方面提供一种情感识别的处理方法，包括：
获取原情感数据，所述原情感数据包括至少两种模态的情感数据，每种模态对应一种生理信号；
根据所述原情感数据，获取各模态情感数据对应的情感特征；
根据各模态情感数据对应的情感特征，确定各模态的第一分类置信度，其中，各模态的所述第一分类置信度包括该模态在各基础情感类别上的单模态分类置信度；
根据各模态的第一分类置信度及预先获得的多模态信息融合权重数据，进行多模态信息融合，获得第二分类置信度，所述第二分类置信度包括各模态融合后在各所述基础情感类别上的融合分类置信度；所述多模态信息融合权重数据是根据标签数据确定的，所述标签数据是基于被试用户的自我情感评价获得的；
根据所述第二分类置信度，确定所述原情感数据所属的目标基础情感类别。
本发明第二个方面提供一种情感识别的处理装置，包括：
获取模块，用于获取原情感数据，所述原情感数据包括至少两种模态的情感数据，每种模态对应一种生理信号；
特征模块，用于根据所述原情感数据，获取各模态情感数据对应的情感特征；
分类模块，用于根据各模态情感数据对应的情感特征，确定各模态的第一分类置信度，其中，各模态的所述第一分类置信度包括该模态在各基础情感类别上的单模态分类置信度；
处理模块，用于根据各模态的第一分类置信度及预先获得的多模态信息融合权重数据，进行多模态信息融合，获得第二分类置信度，所述第二分类置信度包括各模态融合后在各所述基础情感类别上的融合分类置信度；所述多模态信息融合权重数据是根据标签数据确定的，所述标签数据是基于被试用户的自我情感评价获得的；
确定模块，用于根据所述第二分类置信度，确定所述原情感数据所属的目标基础情感类别。
本发明第三个方面提供一种电子设备，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如上第一个方面以及第一个方面各种可能的设计所述的方法。
本发明第四个方面提供一种计算机可读存储介质，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如上第一个方面以及第一个方面各种可能的设计所述的方法。
本发明提供的情感识别的处理方法、装置、设备及存储介质，通过获取原情感数据，根据原情感数据，获取各模态情感数据对应的情感特征，根据各模态情感数据对应的情感特征，确定各模态的第一分类置信度，根据各模态的第一分类置信度及预先获得的多模态信息融合权重数据，进行多模态信息融合，获得第二分类置信度，根据第二分类置信度，确定原情感数据所属的目标基础情感类别，有效实现了多模态情感数据的信息融合，提高情感识别的准确性和识别率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例基于的处理系统的架构示意图；
图2为本发明一实施例提供的情感识别的处理方法的流程示意图；
图3为本发明另一实施例提供的情感识别的处理方法的流程示意图；
图4为本发明一实施例提供的情感识别的处理装置的结构示意图；
图5为本发明一实施例提供的电子设备的结构示意图。
通过上述附图，已示出本发明明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本公开构思的范围，而是通过参考特定实施例为本领域技术人员说明本发明的概念。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
首先对本发明所涉及的名词进行解释：
AdaBoost.M1算法：AdaBoost.M1是通常所说的Discrete AdaBoost。AdaBoost是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器，即弱分类器，然后把这些弱分类器集合起来，构造一个更强的最终分类器。算法本身是改变数据分布实现的，它根据每次训练集之中的每个样本的分类是否正确，以及上次的总体分类的准确率，来确定每个样本的权值。将修改权值的新数据送给下层分类器进行训练，然后将每次训练得到的分类器融合起来，作为最后的决策分类器。Discrete AdaBoost是指,弱分类器的输出值限定在{-1,+1}，每个弱分类器有相应的权值，从而构成一个强分类器。
本发明实施例提供的情感识别的处理方法，适用于在多种模态下对用户的情感进行识别的应用场景。如图1所示，为本发明实施例基于的处理系统的架构示意图。该处理系统可以包括但不限于包括采集终端及电子设备，也可以是只包括电子设备。采集终端可以是用于采集用户情感数据的终端设备，也可以是供用户输入情感数据的终端设备，具体可以根据实际需求设置，电子设备可以是用于进行情感识别处理的任意计算机设备，比如服务器、台式电脑、笔记本电脑等等。其中采集终端用于获取用户的原情感数据给电子设备，原情感数据包括至少两种模态的情感数据，一种模态的情感数据是指，在一种生理信号下采集的用户的情感数据。示例性的，采集的用户的脑电信号、皮肤电反应、皮肤温度信号、肌电信号、心电信号等等，其中一种信号即是一种模态。电子设备获取原情感数据，根据所述原情感数据，获取各模态情感数据对应的情感特征，根据各模态情感数据对应的情感特征，确定各模态的第一分类置信度，其中，各模态的所述第一分类置信度包括该模态在各基础情感类别上的单模态分类置信度；根据各模态的第一分类置信度及预先获得的多模态信息融合权重数据，进行多模态信息融合，获得第二分类置信度，所述第二分类置信度包括各模态融合后在各所述基础情感类别上的融合分类置信度；根据所述第二分类置信度，确定所述原情感数据所属的目标基础情感类别。其中，基础情感类别是预先设置的情感类别，比如可以包括但不限于包括Neutral(中性)、Disgust(厌恶)、Happiness(高兴)、Surprise(惊讶)、Anger(生气)、Fear(害怕)、Sadness(悲伤)7种基础情感类别，可以理解地，还可以根据实际需求设置更多的其他基础情感类别。通过多模态融合进行情感识别，有效提高识别的准确性及识别率。
此外，术语“第一”、“第二”等仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。在以下各实施例的描述中，“多个”的含义是两个以上，除非另有明确具体的限定。
下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。
本发明一实施例提供一种情感识别的处理方法，用于实现多模态的情感识别，提高情感识别率及识别准确性。本实施例的执行主体为情感识别的处理装置，该装置可以设置在电子设备中，该电子设备可以是服务器、笔记本电脑、台式电脑等计算机设备。
如图2所示，为本实施例提供的情感识别的处理方法的流程示意图，该方法包括：
步骤101，获取原情感数据，原情感数据包括至少两种模态的情感数据。
具体来说，可以获取用户的脑电信号、皮肤电反应、皮肤温度信号、肌电信号、心电信号等信号中的至少两种信号，每种信号即是一种模态的情感数据。
情感数据可以表示用户对目标对象的情感，比如用户在观看一段视频时的情感，或者其他目标对象的情感等等，具体可以根据实际需求确定，本发明对目标对象不做限定。
示例性的，获取某用户在观看一段视频时的脑电信号和心电信号，作为原情感数据。
步骤102，根据原情感数据，获取各模态情感数据对应的情感特征。
具体来说，在获取到原情感数据后，需要对原情感数据进行特征提取，获得各模态情感数据对应的情感特征。
示例性的，原情感数据可以包括脑电信号、皮肤电反应信号和心电信号三种模态的情感数据。对脑电信号可以提取在Delat(1-4Hz)、Theta(4-8Hz)、SlowAlpha(8-10Hz)、Alpha(8-12Hz)、Beta(12-30Hz)、Gamma(30Hz以上)5个频段下的功率谱密度(PowerSpectral Density，PSD)特征；对皮肤电反应可以提取皮肤电反应信号的均值和方差、皮肤电反应信号的一阶差分均值和均方根、皮肤电活动(Skin Conductance Reactivity，SCR)的特征包括SCR的个数、SCR的平均幅度、SCR的平均持续时间和SCR的最大幅度；对心电信号可以提取心跳间期(inter-beat interval，IBI)均值、IBI相邻差的均方根、IBI相邻差大于50ms的比率、IBI在不同频率范围的功率包括VLF(0.003-0.04Hz)、LF(0.04-0.15HZ)和HF(0.15-0.4Hz)。
需要说明的是，上述只是示例性说明，实际应用中还可以根据实际需求采集用户的其他类型的生理信号，并根据实际需求进行特征提取，在此不再一一赘述。
步骤103，根据各模态情感数据对应的情感特征，确定各模态的第一分类置信度。
其中，各模态的第一分类置信度包括该模态在各基础情感类别上的单模态分类置信度。
基础情感类别是预先设置的情感类别，比如可以包括但不限于包括Neutral(中性)、Disgust(厌恶)、Happiness(高兴)、Surprise(惊讶)、Anger(生气)、Fear(害怕)、Sadness(悲伤)7种基础情感类别，可以理解地，还可以根据实际需求设置更多的其他基础情感类别。
具体来说，在获得了各模态情感数据对应的情感特征后，则可以根据各模态情感数据对应的情感特征来确定各模态分别在各基础情感类别上的单模态分类置信度。
示例性的，原情感数据包括三种模态的情感数据，预设7种基础情感类别，则要获得每种模态的情感数据在各基础情感类别的单模态分类置信度。比如，可以以矩阵形式记录第一分类置信度，则为3行7列的矩阵，可以称为单模态分类置信度矩阵S。
实际应用中可以采用任意算法进行单模态情感分类，获得第一分类置信度。
示例性的，可以采用AdaBoost.M1算法进行单模态情感分类，获得第一分类置信度。
可以理解地，在采用AdaBoost.M1算法进行单模态情感分类之前需要进行分类器训练，获得训练好的分类器，采用训练好的分类器来进行单模态情感分类，获得第一分类置信度。
步骤104，根据各模态的第一分类置信度及预先获得的多模态信息融合权重数据，进行多模态信息融合，获得第二分类置信度。
第二分类置信度包括各模态融合后在各基础情感类别上的融合分类置信度。
具体来说，在获得各模态的第一分类置信度后，可以进行多模态信息融合，获得各模态融合后在各基础情感类别上的融合分类置信度。
其中，多模态信息融合权重数据需要预先计算获得。具体来说，可以预先获取大量的训练情感特征数据及对应的标签数据，训练情感特征数据包括至少两种模态的情感特征数据，用于训练分类器，标签数据包括各模态在各基础情感类别上的情感属性，情感属性包括效价指标、唤醒度、优势度中的至少一种。标签数据是在采集用户的原情感数据时采集获得的，是用户的自我情感评价。
示例性的，基础情感类别数量为n，n可以设置为大于或等于3，即采用至少三种基础情感类别。标签数据形成n×4的标签矩阵[V,A,D,E]，其中，E表示基础情感类别，V表示效价指标，A表示唤醒度，D表示优势度。比如，标签矩阵中的一行为[V1,A1,D1,E1]＝[1,1,1,高兴]。在标签矩阵中，效价指标、唤醒度、优势度表现为1-9的数值。基础情感类别还可以采用其他符号表示。比如也可以用数字表示还可以用字母表示不同的基础情感类别。比如对于7种基础情感类别，可以分别用1-7来表示。具体可以根据实际需求设置，本发明不做限定。
在获取到标签数据后，根据标签数据来确定多模态信息融合权重数据，具体来说，可以提取每个基础情感类别对应的效价指标、唤醒度、优势度三个数值，用这三个数值表征对应的基础情感类别，采用聚类算法确定各基础情感类别在情感属性下的聚类中心，并进一步计算两两基础情感类别之间的欧式距离，获得基础情感距离数据，根据基础情感距离数据来确定多模态信息融合权重数据。
步骤105，根据第二分类置信度，确定原情感数据所属的目标基础情感类别。
具体的，确定了在各基础情感类别上的融合分类置信度之后，在可以根据融合分类置信度来确定原情感数据属于哪种基础情感类别。
示例性的，3种模态7种基础情感类别，融合后获得在7种基础情感类别上的融合分类置信度F＝[F1,F2,…,F7]，其中,Fi表示第i个基础情感类别，i＝1,2,…,7。将其中最大融合分类置信度对应的基础情感类别确定为最终的情感识别结果。比如F2最大，F2是表示在基础情感类别“厌恶”，则确定原情感数据的情感识别结果为“厌恶”，也即用户的情感为“厌恶”。
本实施例提供的情感识别的处理方法，通过获取原情感数据，根据原情感数据，获取各模态情感数据对应的情感特征，根据各模态情感数据对应的情感特征，确定各模态的第一分类置信度，根据各模态的第一分类置信度及预先获得的多模态信息融合权重数据，进行多模态信息融合，获得第二分类置信度，根据第二分类置信度，确定原情感数据所属的目标基础情感类别，有效实现了多模态情感数据的信息融合，提高情感识别的准确性和识别率。
本发明另一实施例对上述实施例提供的方法做进一步补充说明。
如图3所示，为本实施例提供的情感识别的处理方法的流程示意图。
作为一种可实施的方式，在上述实施例的基础上，可选地，在根据各模态的第一分类置信度及预先获得的多模态信息融合权重数据，进行多模态信息融合，获得第二分类置信度之前，该方法还包括：
步骤2011，获取训练情感特征数据及标签数据。
训练情感特征数据包括至少两种模态的情感特征数据，标签数据包括各模态在各基础情感类别上的情感属性，情感属性包括效价指标、唤醒度、优势度中的至少一种。
具体来说，可以预先获取大量训练情感数据及标签数据，并对训练情感数据进行特征提取获得训练情感特征数据。训练情感特征数据包括至少两种模态的情感特征数据，标签数据包括各模态在各基础情感类别上的情感属性，情感属性包括效价指标、唤醒度、优势度中的至少一种。标签数据是在采集用户的原情感数据时采集获得的，是用户的自我情感评价。
示例性的，要实现识别用户对视频的情感，可以预先通过视频诱导大量被试用户情感，采集被试用户的情感数据作为训练情感数据，并获取被试用户的自我情感评价，包括n类基础情感类别及在每类基础情感类别上的效价指标、唤醒度、优势度三个维度的情感属性。比如获取40个被试用户分别观看16个短视频时的情感数据作为训练情感数据，并获得各被试用户的自我情感评价，形成标签数据。对训练情感数据进行特征提取获得训练情感特征数据。
步骤2012，根据训练情感特征数据对预设的分类器进行训练，获得训练好的分类器。
具体的，确定各模态的第一分类置信度需要采用训练好的分类器，即需要对预设的分类器不断进行分类训练，直至分类结果达到要求，获得训练好的分类器。具体来说，可以根据获取到的训练情感特征数据进行分类器训练，比如提取脑电信号、皮肤电信号、心电信号的特征，输入到预设分类器，分类目标为各基础情感类别，使得训练好的分类器能够具备分类能力。
在训练过程中可以测试训练结果是否符合要求，具体来说可以将训练情感特征数据一部分用于训练，一部分作为测试数据用于测试，根据测试数据确定第三分类置信度，第三分类置信度包括各模态在各基础情感类别上的单模态分类置信度。
示例性的，可以采用AdaBoost.M1算法确定第三分类置信度，也可以用其他算法来确定第三分类置信度，具体可以根据实际需求设置。
示例性的，第三分类置信度可以表示为单模态分类置信度矩阵S，为了与应用过程区分，可以称为第一单模态分类置信度矩阵S：
Figure GDA0003331404460000091
其中，m表示模态数量，n表示基础情感类别数量，Sij表示第i种模态的在第j种基础情感类别上的单模态分类置信度。
根据第三分类置信度判断分类器训练是否达到要求。具体训练及测试过程为现有技术，在此不再赘述。
可以理解的是，训练时需要训练情感特征数据，还需要训练情感特征数据对应的基础情感类别标签，基础情感类别标签可以从标签数据中提取，也可以是预先单独存放的。示例性的，一个被试用户对一段视频的情感特征作为训练情感特征数据时，需要该被试用户自我评价的其所属的基础情感类别，比如“高兴”。
在获得训练好的分类器后，相应的，根据各模态情感数据对应的情感特征，确定各模态的第一分类置信度，包括：
步骤1031、根据各模态情感数据对应的情感特征，采用训练好的分类器，确定各模态的第一分类置信度。
步骤2013，根据标签数据，确定多模态信息融合权重数据。
可以从标签数据提取每个基础情感类别对应的效价指标、唤醒度、优势度三个数值，用这三个数值表征对应的基础情感类别，采用聚类算法确定各基础情感类别在情感属性下的聚类中心，并进一步计算两两基础情感类别之间的欧式距离，获得基础情感距离数据，根据基础情感距离数据来确定多模态信息融合权重数据
需要说明的是，步骤2012和步骤2013不分先后顺序。
可选地，根据标签数据，确定多模态信息融合权重数据，具体可以包括：
步骤2021，根据标签数据，确定各基础情感类别在情感属性下的聚类中心。
具体的，可以采用K-means聚类算法来确定各基础情感类别在情感属性下的聚类中心，比如，各基础情感类别在效价指标、唤醒度和优势度三个维度下的聚类中心。
示例性的，7种基础情感类别Neutral(中性)、Disgust(厌恶)、Happiness(高兴)、Surprise(惊讶)、Anger(生气)、Fear(害怕)、Sadness(悲伤)在效价指标、唤醒度和优势度三个维度下的聚类中心如表1所示：
表1
Neutral Anger Disgust Fear Happiness Sadness Surprise
唤醒度 3.627 6.055 5.639 7.011 5.120 5.609 6.282
效价指标 4.657 2.819 2.435 2.855 7.336 3.234 5.626
优势度 6.937 3.953 3.555 3.673 5.209 4.316 4.434
步骤2022，根据各基础情感类别在情感属性下的聚类中心，确定两两基础情感类别之间的欧式距离，获得基础情感距离数据。
具体的，在确定了各基础情感类别在情感属性下的聚类中心后，则可以根据各基础情感类别在情感属性下的聚类中心，确定两两基础情感类别之间的欧式距离，获得基础情感距离数据。
示例性的，基础情感距离数据可以矩阵形式表示，也可以用其他形式表示。以矩阵形式表示时可以称为基础情感距离矩阵D。
Figure GDA0003331404460000111
其中，E1-En表示n个基础情感类别，dij为第i个基础情感类别与第j个基础情感类别之间的欧式距离,n为基础情感类别数量。即：
Figure GDA0003331404460000112
计算两基础情感类别之间的欧式距离具体为计算该两基础情感类别的聚类中心之间的欧式距离，具体计算方法为现有技术，在此不再赘述。
步骤2023，根据基础情感距离数据，确定多模态信息融合权重数据。
在确定了基础情感距离数据后，则可以根据基础情感距离数据来确定多模态信息融合权重数据。
具体来说，根据基础情感距离数据，确定多模态信息融合权重数据，具体可以包括：
根据基础情感距离数据，采用以下公式确定多模态信息融合权重数据W：
Figure GDA0003331404460000113
Figure GDA0003331404460000114
其中，dij为基础情感距离矩阵中第i个基础情感类别与第j个基础情感类别之间的欧式距离,n为基础情感类别数量，k＝1,2,…,n；l＝1,2,…,n。
示例性的，若n＝7：
Figure GDA0003331404460000121
Figure GDA0003331404460000122
Figure GDA0003331404460000123
作为另一种可实施的方式，在上述实施例的基础上，可选地，根据第二分类置信度，确定原情感数据所属的目标基础情感类别，包括：
将最大融合分类置信度对应的基础情感类别作为原情感数据所属的目标基础情感类别。
示例性的，3种模态7种基础情感类别，融合后获得在7种基础情感类别上的融合分类置信度F＝[F1,F2,…,F7]，其中,Fi表示第i个基础情感类别，i＝1,2,…,7。将其中最大融合分类置信度对应的基础情感类别确定为最终的情感识别结果。比如F2最大，F2是表示在基础情感类别“厌恶”，则确定原情感数据的情感识别结果为“厌恶”，也即用户的情感为“厌恶”。
作为另一种可实施的方式，在上述实施例的基础上，可选地，根据各模态情感数据对应的情感特征，确定各模态的第一分类置信度，具体可以包括：
根据各模态情感数据对应的情感特征，采用预设的AdaBoost.M1算法确定各模态的第一分类置信度。
具体的，AdaBoost.M1是一种分类器，可以采用AdaBoost.M1算法训练获得的最终分类器对情感特征数据进行单模态情感识别，获得各模态在各基础情感类别上的单模态分类置信度。
作为另一种可实施的方式，在上述实施例的基础上，可选地，根据各模态的第一分类置信度及预先获得的多模态信息融合权重数据，进行多模态信息融合，获得第二分类置信度，具体可以包括：
根据各模态的第一分类置信度及预先获得的多模态信息融合权重数据，采用以下公式进行多模态信息融合，获得第二分类置信度F：
Figure GDA0003331404460000124
F＝[F1,F2,…,Fn]
其中，Fk表示在第k个基础情感类别上的融合分类置信度，Sij表示第i个模态在第j个基础情感类别上的单模态分类置信度，Wjk表示多模态信息融合权重数据W中第j行第k列的权重。
作为一种示例性的实施方式，以3种模态的情感数据7种基础情感类别为例对上述方法进行详细说明，但不以此作为限定。
1、获取被试用户的脑电信号、皮肤电反应、心电信号3种模态的情感数据作为训练情感数据，以及获取被试用户的自我情感评价作为标签数据。
具体的，获取40个被试用户分别观看16个短视频时诱导的情感数据，以及每个被试用户的自我情感评价，自我情感评价包括3种模态分别在7种基础情感类别下的情感属性。7种基础情感类别包括Neutral(中性)、Disgust(厌恶)、Happiness(高兴)、Surprise(惊讶)、Anger(生气)、Fear(害怕)、Sadness(悲伤)。实际应用中还可以是采用其中至少一种基础情感类别，或者还可以设置其他基础情感类别。情感属性包括效价指标、唤醒度和优势度。
7种基础情感类别的数据样本分别占总样本的比率如表2所示。
表2
Neutral Anger Disgust Fear Happiness Sadness Surprise
Ratio 3.96％ 4.66％ 7.23％ 13.05％ 45.69％ 20.98％ 4.43％
2、提取每种模态下的情感特征，获得训练情感特征数据。
具体的，对脑电信号可以提取在Delat(1-4Hz)、Theta(4-8Hz)、SlowAlpha(8-10Hz)、Alpha(8-12Hz)、Beta(12-30Hz)、Gamma(30Hz以上)5个频段下的功率谱密度(PowerSpectral Density，PSD)特征；对皮肤电反应可以提取皮肤电反应信号的均值和方差、皮肤电反应信号的一阶差分均值和均方根、皮肤电活动(Skin Conductance Reactivity，SCR)的特征包括SCR的个数、SCR的平均幅度、SCR的平均持续时间和SCR的最大幅度；对心电信号可以提取心跳间期(inter-beat interval，IBI)均值、IBI相邻差的均方根、IBI相邻差大于50ms的比率、IBI在不同频率范围的功率包括VLF(0.003-0.04Hz)、LF(0.04-0.15HZ)和HF(0.15-0.4Hz)。
3、对每种模态进行单模态情感识别。
即对分类器进行训练，具体的可以采用AdaBoost.M1算法进行分类，实现单模态情感识别，获得单模态分类置信度矩阵S，为了区分可以称为第一单模态分类置信度矩阵：
Figure GDA0003331404460000141
其中，Sij表示第i种模态的在第j种基础情感类别上的单模态分类置信度，i＝1,2,3；j＝1,2,…,7。
4、计算两两基础情感类别的欧式距离。
具体的，提取每种基础情感类别对应的效价指标、唤醒度和优势度。采用K-means聚类算法来确定各基础情感类别在效价指标、唤醒度和优势度三个维度下的聚类中心，如见表1。
根据7种基础情感类别的聚类中心计算两两基础情感类别之间的欧式距离，获得基础情感距离矩阵D，如表3所示。
表3
Neutral Anger Disgust Fear Happiness Sadness Surprise
Neutral 0.000 4.254 4.301 4.906 3.566 3.236 3.523
Disgust 4.254 0.000 0.838 0.815 4.484 1.019 2.179
Happiness 4.301 0.838 0.000 1.418 5.073 1.265 2.893
Surprise 4.906 0.815 1.418 0.000 4.827 1.740 2.406
Anger 3.566 4.484 5.073 4.827 0.000 3.902 2.460
Fear 3.236 1.019 1.265 1.740 3.902 0.000 1.853
Sadness 3.523 2.179 2.893 2.406 2.460 1.853 0.000
5、计算多模态信息融合权重矩阵
具体的，根据获得的基础情感距离矩阵计算得到n×n的多模态信息融合权重矩阵W：
Figure GDA0003331404460000142
Figure GDA0003331404460000151
其中，dij为基础情感距离矩阵中第i个基础情感类别与第j个基础情感类别之间的欧式距离,n为基础情感类别数量。
最终获得的多模态信息融合权重矩阵如表4所示：
表4
Neutral Anger Disgust Fear Happiness Sadness Surprise
Neutral 23.787 -4.254 -4.301 -4.906 -3.566 -3.236 -3.523
Disgust -4.254 13.589 -0.838 -0.815 -4.484 -1.019 -2.179
Happiness -4.301 -0.838 15.789 -1.418 -5.073 -1.265 -2.893
Surprise -4.906 -0.815 -1.418 16.112 -4.827 -1.740 -2.406
Anger -3.566 -4.484 -5.073 -4.827 24.313 -3.902 -2.460
Fear -3.236 -1.019 -1.265 -1.740 -3.902 13.015 -1.853
Sadness -3.523 -2.179 -2.893 -2.406 -2.460 -1.853 15.314
6、根据第一单模态分类置信度矩阵S和多模态信息融合权重矩阵进行模态信息融合，获得每个基础情感类别的融合分类置信度Fk：
Figure GDA0003331404460000152
F＝[F1,F2,…,Fn]
其中，Fk表示在第k个基础情感类别上的融合分类置信度，Sij表示第i个模态在第j个基础情感类别上的单模态分类置信度，Wjk表示多模态信息融合权重数据W中第j行第k列的权重。
7、将最大融合分类置信度对应的基础情感类别作为最终识别结果。
Label＝argmax(Fk)
还可以将识别结果与实际所属的基础情感类别结果进行对比，确定识别正确率。
本示例的单模态及多模态下的识别正确率比较结果如表5所示。
表5
Modality Delat Theta SlowAlpha Alpha Beta Gamma GSR ECG FT
Acc 77.2 70.22 73.45 75.23 81.07 81.5 76.1 80.21 87.52
其中，Modality表示模态，Acc表示识别正确率，FT表示多模态识别，其他为单模态识别，相应符号与前述内容一致，在此不再赘述。
可见，多模态识别相比于单模态识别的正确率提高6％-17％。
需要说明的是，上述1-7为分类器训练、多模态信息融合权重矩阵计算、加测试的过程，分类器需要经过多次训练，直至测试结果满足实际需要。
在训练完成后，实际应用过程如下：
1、获取原情感数据，并进行特征提取获得各模态情感数据对应的情感特征。
2、根据各模态情感数据对应的情感特征，确定各模态的第一分类置信度，即确定单模态分类置信度矩阵，为了区分可以称为第二单模态分类置信度矩阵。
3、根据第二单模态分类置信度矩阵和多模态信息融合权重矩阵进行模态信息融合，获得每个基础情感类别的融合分类置信度。
具体的，根据m×n维的第二单模态分类置信度矩阵及n×n的多模态信息融合权重矩阵W，进行多模态信息融合，获得各基础情感类别的融合分类置信度。
4、将最大融合分类置信度对应的基础情感类别作为原情感数据所属的目标基础情感类别。
可以理解地，应用过程的各步骤的具体操作与训练过程相应的部分一致，在此不再赘述。
需要说明的是，用于确定多模态信息融合权重数据的标签数据可以实时或定时地进行扩展，也即可以不断增加更多的训练数据及对应的标签数据，使得情感识别结果更加准确，具体不再赘述。
需要说明的是，本实施例中各可实施的方式可以单独实施，也可以在不冲突的情况下以任意组合方式结合实施本发明不做限定。
本实施例提供的情感识别的处理方法，通过获取原情感数据，根据原情感数据，获取各模态情感数据对应的情感特征，根据各模态情感数据对应的情感特征，确定各模态的第一分类置信度，根据各模态的第一分类置信度及预先获得的多模态信息融合权重数据，进行多模态信息融合，获得第二分类置信度，根据第二分类置信度，确定原情感数据所属的目标基础情感类别，有效实现了多模态情感数据的信息融合，提高情感识别的准确性和识别率。
本发明再一实施例提供一种情感识别的处理装置，用于执行上述实施例的情感识别的处理方法。
如图4所示，为本实施例提供的情感识别的处理装置的结构示意图。该情感识别的处理装置30包括获取模块31、特征模块32、分类模块33、处理模块34和确定模块35。
其中，获取模块，用于获取原情感数据，原情感数据包括至少两种模态的情感数据；特征模块，用于根据原情感数据，获取各模态情感数据对应的情感特征；分类模块，用于根据各模态情感数据对应的情感特征，确定各模态的第一分类置信度，其中，各模态的第一分类置信度包括该模态在各基础情感类别上的单模态分类置信度；处理模块，用于根据各模态的第一分类置信度及预先获得的多模态信息融合权重数据，进行多模态信息融合，获得第二分类置信度，第二分类置信度包括各模态融合后在各基础情感类别上的融合分类置信度；确定模块，用于根据第二分类置信度，确定原情感数据所属的目标基础情感类别。
关于本实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
根据本实施例提供的情感识别的处理装置，通过获取原情感数据，根据原情感数据，获取各模态情感数据对应的情感特征，根据各模态情感数据对应的情感特征，确定各模态的第一分类置信度，根据各模态的第一分类置信度及预先获得的多模态信息融合权重数据，进行多模态信息融合，获得第二分类置信度，根据第二分类置信度，确定原情感数据所属的目标基础情感类别，有效实现了多模态情感数据的信息融合，提高情感识别的准确性和识别率。
本发明又一实施例对上述实施例提供的装置做进一步补充说明。
作为一种可实施的方式，在上述实施例的基础上，可选地，获取模块，还用于获取训练情感特征数据及标签数据，训练情感特征数据包括至少两种模态的情感特征数据，标签数据包括各模态在各基础情感类别上的情感属性，情感属性包括效价指标、唤醒度、优势度中的至少一种；分类模块，还用于根据训练情感特征数据对预设的分类器进行训练，获得训练好的分类器，并根据标签数据，确定多模态信息融合权重数据；分类模块，具体用于根据各模态情感数据对应的情感特征，采用训练好的分类器，确定各模态的第一分类置信度。
可选地，分类模块，具体用于：根据标签数据，确定各基础情感类别在情感属性下的聚类中心；根据各基础情感类别在情感属性下的聚类中心，确定两两基础情感类别之间的欧式距离，获得基础情感距离数据；根据基础情感距离数据，确定多模态信息融合权重数据。
可选地，分类模块，具体用于：
根据基础情感距离数据，采用以下公式确定多模态信息融合权重数据W：
Figure GDA0003331404460000181
Figure GDA0003331404460000182
其中，dij为基础情感距离矩阵中第i个基础情感类别与第j个基础情感类别之间的欧式距离,n为基础情感类别数量。
作为另一种可实施的方式，在上述实施例的基础上，可选地，确定模块，具体用于：
将最大融合分类置信度对应的基础情感类别作为原情感数据所属的目标基础情感类别。
作为另一种可实施的方式，在上述实施例的基础上，可选地，分类模块，具体用于：
根据各模态情感数据对应的情感特征，采用预设的AdaBoost.M1算法确定各模态的第一分类置信度。
作为另一种可实施的方式，在上述实施例的基础上，可选地，处理模块，具体用于：
根据各模态的第一分类置信度及预先获得的多模态信息融合权重数据，采用以下公式进行多模态信息融合，获得第二分类置信度F：
Figure GDA0003331404460000191
F＝[F1,F2,…,Fn]
其中，Fk表示在第k个基础情感类别上的融合分类置信度，Sij表示第i个模态在第j个基础情感类别上的单模态分类置信度，Wjk表示多模态信息融合权重数据W中第j行第k列的权重。
关于本实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
需要说明的是，本实施例中各可实施的方式可以单独实施，也可以在不冲突的情况下以任意组合方式结合实施本发明不做限定。
根据本实施例的情感识别的处理装置，通过获取原情感数据，根据原情感数据，获取各模态情感数据对应的情感特征，根据各模态情感数据对应的情感特征，确定各模态的第一分类置信度，根据各模态的第一分类置信度及预先获得的多模态信息融合权重数据，进行多模态信息融合，获得第二分类置信度，根据第二分类置信度，确定原情感数据所属的目标基础情感类别，有效实现了多模态情感数据的信息融合，提高情感识别的准确性和识别率。
本发明再一实施例提供一种电子设备，用于执行上述实施例提供的方法。
如图5所示，为本实施例提供的电子设备的结构示意图。该电子设备50包括：至少一个处理器51和存储器52；
存储器存储计算机执行指令；至少一个处理器执行存储器存储的计算机执行指令，使得至少一个处理器执行如上任一实施例提供的方法。
根据本实施例的电子设备，通过获取原情感数据，根据原情感数据，获取各模态情感数据对应的情感特征，根据各模态情感数据对应的情感特征，确定各模态的第一分类置信度，根据各模态的第一分类置信度及预先获得的多模态信息融合权重数据，进行多模态信息融合，获得第二分类置信度，根据第二分类置信度，确定原情感数据所属的目标基础情感类别，有效实现了多模态情感数据的信息融合，提高情感识别的准确性和识别率。
本发明又一实施例提供一种计算机可读存储介质，计算机可读存储介质中存储有计算机执行指令，当处理器执行计算机执行指令时，实现如上任一实施例提供的方法。
根据本实施例的计算机可读存储介质，通过获取原情感数据，根据原情感数据，获取各模态情感数据对应的情感特征，根据各模态情感数据对应的情感特征，确定各模态的第一分类置信度，根据各模态的第一分类置信度及预先获得的多模态信息融合权重数据，进行多模态信息融合，获得第二分类置信度，根据第二分类置信度，确定原情感数据所属的目标基础情感类别，有效实现了多模态情感数据的信息融合，提高情感识别的准确性和识别率。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域技术人员可以清楚地了解到，为描述的方便和简洁，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。上述描述的装置的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
最后应说明的是：以上各实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述各实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的范围。

Claims (10)

1.一种情感识别的处理方法，其特征在于，包括：
获取原情感数据，所述原情感数据包括至少两种模态的情感数据，每种模态对应一种生理信号；所述生理信号包括脑电信号、皮肤电反应、皮肤温度信号、肌电信号和心电信号中的至少两种信号；
根据所述原情感数据，获取各模态情感数据对应的情感特征；
根据各模态情感数据对应的情感特征，确定各模态的第一分类置信度，其中，各模态的所述第一分类置信度包括该模态在各基础情感类别上的单模态分类置信度；
根据各模态的第一分类置信度及预先获得的多模态信息融合权重数据，进行多模态信息融合，获得第二分类置信度，所述第二分类置信度包括各模态融合后在各所述基础情感类别上的融合分类置信度；所述多模态信息融合权重数据是根据标签数据确定的，所述标签数据是在采集被试用户的原情感数据时基于被试用户的自我情感评价获得的；且所述标签数据包括各模态在各基础情感类别上的情感属性，所述情感属性包括效价指标、唤醒度、优势度中的至少一种；
根据所述第二分类置信度，确定所述原情感数据所属的目标基础情感类别。
2.根据权利要求1所述的方法，其特征在于，在所述根据各模态的第一分类置信度及预先获得的多模态信息融合权重数据，进行多模态信息融合，获得第二分类置信度之前，所述方法还包括：
获取训练情感特征数据及标签数据，所述训练情感特征数据包括至少两种模态的情感特征数据；
根据所述训练情感特征数据对预设的分类器进行训练，获得训练好的分类器；
根据所述标签数据确定所述多模态信息融合权重数据；
所述根据各模态情感数据对应的情感特征，确定各模态的第一分类置信度，包括：
根据各模态情感数据对应的情感特征，采用所述训练好的分类器，确定各模态的第一分类置信度。
3.根据权利要求2所述的方法，其特征在于，所述根据所述标签数据，确定所述多模态信息融合权重数据，包括：
根据所述标签数据，确定各基础情感类别在情感属性下的聚类中心；
根据各基础情感类别在情感属性下的聚类中心，确定两两基础情感类别之间的欧式距离，获得基础情感距离数据；
根据所述基础情感距离数据，确定所述多模态信息融合权重数据。
4.根据权利要求3所述的方法，其特征在于，所述根据所述基础情感距离数据，确定所述多模态信息融合权重数据，包括：
根据所述基础情感距离数据，采用以下公式确定所述多模态信息融合权重数据W：
Figure FDA0003868558080000021
Figure FDA0003868558080000022
其中，dij为基础情感距离矩阵中第i个基础情感类别与第j个基础情感类别之间的欧式距离,n为基础情感类别数量，Wkl为多模态信息融合权重数据W中第k行第l列的权重，k＝1，2，...，n；l＝1，2，...，n。
5.根据权利要求1所述的方法，其特征在于，所述根据所述第二分类置信度，确定所述原情感数据所属的目标基础情感类别，包括：
将最大融合分类置信度对应的基础情感类别作为所述原情感数据所属的目标基础情感类别。
6.根据权利要求1所述的方法，其特征在于，所述根据各模态情感数据对应的情感特征，确定各模态的第一分类置信度，包括：
根据各模态情感数据对应的情感特征，采用预设的AdaBoost.M1算法确定各模态的第一分类置信度。
7.根据权利要求1-6任一项所述的方法，其特征在于，所述根据各模态的第一分类置信度及预先获得的多模态信息融合权重数据，进行多模态信息融合，获得第二分类置信度，包括：
根据各模态的第一分类置信度及预先获得的多模态信息融合权重数据，采用以下公式进行多模态信息融合，获得第二分类置信度F：
Figure FDA0003868558080000031
F＝[F1，F2，...，Fn]
其中，Fk表示在第k个基础情感类别上的融合分类置信度，Sij表示第i个模态在第j个基础情感类别上的单模态分类置信度，Wjk表示多模态信息融合权重数据W中第j行第k列的权重。
8.一种情感识别的处理装置，其特征在于，包括：
获取模块，用于获取原情感数据，所述原情感数据包括至少两种模态的情感数据，每种模态对应一种生理信号；所述生理信号包括脑电信号、皮肤电反应、皮肤温度信号、肌电信号和心电信号中的至少两种信号；
特征模块，用于根据所述原情感数据，获取各模态情感数据对应的情感特征；
分类模块，用于根据各模态情感数据对应的情感特征，确定各模态的第一分类置信度，其中，各模态的所述第一分类置信度包括该模态在各基础情感类别上的单模态分类置信度；
处理模块，用于根据各模态的第一分类置信度及预先获得的多模态信息融合权重数据，进行多模态信息融合，获得第二分类置信度，所述第二分类置信度包括各模态融合后在各所述基础情感类别上的融合分类置信度；所述多模态信息融合权重数据是根据标签数据确定的，所述标签数据是在采集被试用户的原情感数据时基于被试用户的自我情感评价获得的；且所述标签数据包括各模态在各基础情感类别上的情感属性，所述情感属性包括效价指标、唤醒度、优势度中的至少一种；
确定模块，用于根据所述第二分类置信度，确定所述原情感数据所属的目标基础情感类别。
9.一种电子设备，其特征在于，包括：至少一个处理器和存储器；
所述存储器存储计算机执行指令；
所述至少一个处理器执行所述存储器存储的计算机执行指令，使得所述至少一个处理器执行如权利要求1-7任一项所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当处理器执行所述计算机执行指令时，实现如权利要求1-7任一项所述的方法。
CN202011121650.3A 2020-10-22 2020-10-22 情感识别的处理方法、装置、设备及存储介质 Active CN112401886B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011121650.3A CN112401886B (zh) 2020-10-22 2020-10-22 情感识别的处理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011121650.3A CN112401886B (zh) 2020-10-22 2020-10-22 情感识别的处理方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN112401886A CN112401886A (zh) 2021-02-26
CN112401886B true CN112401886B (zh) 2023-01-31

Family

ID=74841293

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011121650.3A Active CN112401886B (zh) 2020-10-22 2020-10-22 情感识别的处理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112401886B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113743267B (zh) * 2021-08-25 2023-06-16 中国科学院软件研究所 一种基于螺旋和文本的多模态视频情感可视化方法及装置
CN113743271B (zh) * 2021-08-27 2023-08-01 中国科学院软件研究所 一种基于多模态情感的视频内容有效性可视分析方法与系统
CN114398983A (zh) * 2022-01-14 2022-04-26 腾讯科技（深圳）有限公司 分类预测方法、装置、设备、存储介质及计算机程序产品
CN114782781A (zh) * 2022-06-22 2022-07-22 阿里巴巴达摩院(杭州)科技有限公司 数据处理方法、装置及计算机可读存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0585098A3 (en) * 1992-08-24 1995-01-11 Hitachi Ltd Sign language recognition device and method and sign language translation system using the same.
JP2002230485A (ja) * 2001-02-01 2002-08-16 Canon Inc 文字認識装置、携帯端末装置、および関連する方法、記録媒体、並びにプログラム
CN106096641A (zh) * 2016-06-07 2016-11-09 南京邮电大学 一种基于遗传算法的多模态情感特征融合方法
CN107080546A (zh) * 2017-04-18 2017-08-22 安徽大学 基于脑电图的青少年环境心理的情绪感知系统及方法、刺激样本选择方法
CN107361767A (zh) * 2017-08-04 2017-11-21 西南大学 一种使用脑电信号的人类情感效价分类识别方法
CN110037693A (zh) * 2019-04-24 2019-07-23 中央民族大学 一种基于面部表情和eeg的情绪分类方法
CN110516696A (zh) * 2019-07-12 2019-11-29 东南大学 一种基于语音和表情的自适应权重双模态融合情感识别方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0585098A3 (en) * 1992-08-24 1995-01-11 Hitachi Ltd Sign language recognition device and method and sign language translation system using the same.
JP2002230485A (ja) * 2001-02-01 2002-08-16 Canon Inc 文字認識装置、携帯端末装置、および関連する方法、記録媒体、並びにプログラム
CN106096641A (zh) * 2016-06-07 2016-11-09 南京邮电大学 一种基于遗传算法的多模态情感特征融合方法
CN107080546A (zh) * 2017-04-18 2017-08-22 安徽大学 基于脑电图的青少年环境心理的情绪感知系统及方法、刺激样本选择方法
CN107361767A (zh) * 2017-08-04 2017-11-21 西南大学 一种使用脑电信号的人类情感效价分类识别方法
CN110037693A (zh) * 2019-04-24 2019-07-23 中央民族大学 一种基于面部表情和eeg的情绪分类方法
CN110516696A (zh) * 2019-07-12 2019-11-29 东南大学 一种基于语音和表情的自适应权重双模态融合情感识别方法

Also Published As

Publication number Publication date
CN112401886A (zh) 2021-02-26

Similar Documents

Publication Publication Date Title
CN112401886B (zh) 情感识别的处理方法、装置、设备及存储介质
George et al. Recognition of emotional states using EEG signals based on time-frequency analysis and SVM classifier.
Rozgić et al. Robust EEG emotion classification using segment level decision fusion
Chakladar et al. EEG based emotion classification using “correlation based subset selection”
CN108446635B (zh) 一种利用脑电信号辅助偏好获取协同过滤推荐系统及方法
CN113243918B (zh) 基于多模态隐匿信息测试的风险检测方法及装置
US20220313172A1 (en) Prediabetes detection system and method based on combination of electrocardiogram and electroencephalogram information
CN113392918A (zh) 一种基于多源信息融合的抑郁障碍相关因素识别方法
WO2021008601A1 (zh) 一种医学数据的检验方法
CN111904411A (zh) 基于多尺度特征提取的多导联心跳信号分类方法及装置
Fabien et al. Studying the use of fuzzy inference systems for motor imagery classification
US8932229B2 (en) Apparatus and method for real-time emotion recognition using heart rate variability
CN112215962B (zh) 一种虚拟现实情感刺激系统及其创建方法
CN111047590A (zh) 基于眼底图像的高血压分类方法及设备
CN114416929A (zh) 实体召回模型的样本生成方法、装置、设备及存储介质
CN114129163A (zh) 基于脑电信号的多视图深度学习的情绪分析方法和系统
CN116807479B (zh) 一种基于多模态深度神经网络的驾驶注意力检测方法
CN113569924A (zh) 一种基于支持向量机多核协作的情绪辨识分类方法
Ohannesian et al. Epileptic seizures detection from EEG recordings based on a hybrid system of Gaussian mixture model and random forest classifier
Xiao et al. Coefficient-of-variation-based channel selection with a new testing framework for MI-based BCI
CN114049637A (zh) 一种目标识别模型的建立方法、系统、电子设备及介质
Chen et al. Classification of human electrocardiograms by multi-layer convolutional neural network and hyperparameter optimization
CN113297934B (zh) 检测互联网暴力有害场景的多模态视频行为分析方法
Sweet et al. Applying Big Transfer-based classifiers to the DEAP dataset
Dessai et al. Emotion classification using physiological signals: A recent survey

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant