CN113855020A - 用于情绪识别的方法及装置、计算机设备、存储介质 - Google Patents

用于情绪识别的方法及装置、计算机设备、存储介质 Download PDF

Info

Publication number
CN113855020A
CN113855020A CN202111110668.8A CN202111110668A CN113855020A CN 113855020 A CN113855020 A CN 113855020A CN 202111110668 A CN202111110668 A CN 202111110668A CN 113855020 A CN113855020 A CN 113855020A
Authority
CN
China
Prior art keywords
signals
electroencephalogram
user
emotion recognition
feature
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111110668.8A
Other languages
English (en)
Inventor
李静雯
闵栋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Academy of Information and Communications Technology CAICT
Original Assignee
China Academy of Information and Communications Technology CAICT
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Academy of Information and Communications Technology CAICT filed Critical China Academy of Information and Communications Technology CAICT
Priority to CN202111110668.8A priority Critical patent/CN113855020A/zh
Publication of CN113855020A publication Critical patent/CN113855020A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/372—Analysis of electroencephalograms
    • A61B5/374—Detecting the frequency distribution of signals, e.g. detecting delta, theta, alpha, beta or gamma waves
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Theoretical Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Data Mining & Analysis (AREA)
  • Surgery (AREA)
  • Evolutionary Computation (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Physics & Mathematics (AREA)
  • Psychology (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Physiology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Evolutionary Biology (AREA)
  • Software Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Fuzzy Systems (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Social Psychology (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

本申请涉及计算机技术领域，公开一种用于情绪识别的方法，包括：获取用户的多个特征信号；将多个特征信号进行融合，获得融合的特征信号集；利用融合的特征信号集识别用户的情绪。通过多个信号相互依赖，构建出可以更准确的反映情绪本质的模型。利用不同类别的信号，对信息进行融合处理，改善了单个信号容易受到噪声影响以及难以完整的反映情绪状态的情况，从而提高情绪识别的准确率及可靠性。本申请还公开一种用于情绪识别的装置及计算机设备、存储介质。

Description

用于情绪识别的方法及装置、计算机设备、存储介质
技术领域
本申请涉计算机技术领域，例如涉及一种用于情绪识别的方法及装置、计算机设备、存储介质。
背景技术
情绪是人对外界事物产生的心理和生理反应，在人际交流中扮演着重要角色。情绪识别在人机交互、医学、教育、交通和军事等方面都具有切实的研究需要和广阔的应用前景。
目前，在现有的情绪识别技术中，主要通过获取人的生理或非生理的单通道信号，并对单通道信号进行特征提取，从而对人的情绪状态进行辨别。常见的情绪识别方法主要包含对面部表情、语音语调、姿势动作等非生理信号的特征进行识别，或对脑电、心电、皮电等生理信号的特征进行识别。
在实现本公开实施例的过程中，发现相关技术中至少存在如下问题：
现有的通过获取单信号特征进行情绪识别的方法，在识别过程中仅能反映某些生理信号或某些非生理信号的变化，不能进行全面的分辨，情绪识别的准确率及可靠性不能得到保障。
发明内容
为了对披露的实施例的一些方面有基本的理解，下面给出了简单的概括。所述概括不是泛泛评述，也不是要确定关键/重要组成元素或描绘这些实施例的保护范围，而是作为后面的详细说明的序言。
本公开实施例提供了一种用于情绪识别的方法及装置、计算机设备，从而提升情绪识别的准确率与可靠性。
在一些实施例中，所述用于情绪识别的方法包括：
获取用户的多个特征信号；
将多个特征信号进行融合，获得融合的特征信号集；
利用融合的特征信号集识别用户的情绪。
在一些实施例中，所述用于情绪识别的装置包括：
处理器和存储有程序指令的存储器，处理器被配置为在运行所述程序指令时，执行如前述用于情绪识别的方法。
在一些实施例中，所述计算机设备包括：
如前述用于情绪识别的装置。
在一些实施例中，所述存储介质，存储有程序指令，程序指令在运行时，执行如前述用于情绪识别的方法。
本公开实施例提供的用于情绪识别的方法、用于情绪识别的装置和计算机设备、存储介质，可以实现以下技术效果：
通过多个信号相互依赖，构建出可以更准确的反映情绪本质的模型。利用不同类别的信号，对信息进行融合处理，改善了单个信号容易受到噪声影响以及难以完整的反映情绪状态的情况，从而提高情绪识别的准确率及可靠性。
以上的总体描述和下文中的描述仅是示例性和解释性的，不用于限制本申请。
附图说明
一个或多个实施例通过与之对应的附图进行示例性说明，这些示例性说明和附图并不构成对实施例的限定，附图中具有相同参考数字标号的元件示为类似的元件，附图不构成比例限制，并且其中：
图1是本公开实施例提供的一种用于情绪识别的模型示意图；
图2是本公开实施例提供的一种用于情绪识别的方法的示意图；
图3是本公开实施例提供的一种用于表情特征信号提取的方法的示意图；
图4是本公开实施例提供的另一种用于表情特征信号提取的方法的示意图；
图5是本公开实施例提供的一种用于脑电特征信号提取的模型示意图；
图6是本公开实施例提供的一种用于脑电特征信号提取的方法的示意图；
图7是本公开实施例提供的一种用于情绪识别的装置的示意图。
具体实施方式
为了能够更加详尽地了解本公开实施例的特点与技术内容，下面结合附图对本公开实施例的实现进行详细阐述，所附附图仅供参考说明之用，并非用来限定本公开实施例。在以下的技术描述中，为方便解释起见，通过多个细节以提供对所披露实施例的充分理解。然而，在没有这些细节的情况下，一个或多个实施例仍然可以实施。在其它情况下，为简化附图，熟知的结构和装置可以简化展示。
本公开实施例的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开实施例的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。
除非另有说明，术语“多个”表示两个或两个以上。
本公开实施例中，字符“/”表示前后对象是一种“或”的关系。例如，A/B表示：A或B。
术语“和/或”是一种描述对象的关联关系，表示可以存在三种关系。例如，A和/或B，表示：A或B，或，A和B这三种关系。
术语“对应”可以指的是一种关联关系或绑定关系，A与B相对应指的是A与B之间是一种关联关系或绑定关系。
Yolov3：基于Darknet-53目标监测网络结构，Darknet是一种基于残差结构的特征提取网络。
Xception：Xception是google继Inception后提出的对Inception v3的另一种改进，主要是采用深度可分离卷积(depthwise separable convolution)来替换原来Inception v3中的卷积操作。
结合图1所示，本公开实施例提供的一种用于情绪识别的卷积神经网络10包括：
卷积层100，用于对在时间上连续的多个输入特征信号进行特征提取，多个输入特征信号包括脑电特征信号和人脸特征信号。
可选地，卷积层100可以具有多个卷积层100-1至100-N，卷积层100可以使用现有的结构，N为大于或等于2的整数，卷积层的数量可以根据实际需要而设置，本申请对此不做具体限定。
全连接层101，用于输出与多个输入特征信号相对应的多组类别特征。
这样，通过对多个特征信号进行特征提取，构建出可以更准确的反映情绪本质的集合。利用不同类别的信号，对信息进行融合处理，有效改善了单种信号容易受到噪声影响以及难以完整的反映情绪状态的情况，从而提高情绪识别的准确性及可靠性。
结合图2所示，本公开实施例提供一种用于情绪识别的方法，包括：
S21，计算机设备获取用户的多个特征信号。
在本技术方案中，多个特征信号包括脑电特征信号和人脸特征信号。人脸特征信号可以是通过调用摄像头进行人脸图像数据采样，或直接输入人脸图像数据，或其他形式，本申请对此不做具体限定，只要可以获得人脸图像数据即可。脑电信号可以是采用干电极脑电采集设备采集脑电信号，或其他现有可行方式，本申请对此不作具体限定，只要可以采集脑电信号即可。
S22，计算机设备将多个特征信号进行融合，获得融合的特征信号集。
在本技术方案中，计算机设备将多个特征信号进行融合，获得融合的特征信号集具体指将提取到的人脸特征信号与脑电特征信号拼接成一个特征集。
可选地，将多个特征信号进行融合，包括：
将多个特征信号级联为特征向量。
S23，计算机设备利用融合的特征信号集识别用户的情绪。
在本技术方案中，可选地，利用融合的特征信号集识别用户的情绪，包括：
将融合的特征信号集输入预先训练的Softmax分类器，并按照Softmax分类器的输出确定用户情绪。
在实际应用中，用户的情绪包括积极、中性或消极。
采用本公开实施例提供的用于情绪识别的方法，通过多个信号相互依赖，构建出可以更准确的反映情绪本质的模型。利用不同类别的信号，对信息进行融合处理，改善了单个信号容易受到噪声影响以及难以完整的反映情绪状态的情况，从而提高情绪识别的准确率及可靠性。
结合图3所示，本公开实施例提供的一种用于表情特征信号提取的方法，包括：
S31，采集用户的人脸图像。
S32，从人脸图像中提取表情特征信号。
在本公开实施例中，采集用户人脸图像是通过调用摄像头进行人脸图像数据采样。人脸图像可以是包含头发、脖子、背景等因素的图像，也可以是只包含人脸区域的图像。
在一些可选实施方式中，在采集用户的人脸图像之后，可以根据人脸图像，检测人脸区域图像。
可选地，根据人脸图像，检测人脸区域图像，包括：基于yolov3检测网络模型实时检测人脸区域图像。
在实际应用中，yolov3检测网络模型是指经过训练的网络模型，在输入人脸图像后可以自动识别输入图像中的人脸区域，从而得到人脸区域图像。并将识别后的人脸区域图像作为人脸图像进行表情特征信号的提取。
可选地，从人脸图像中提取表情特征信号，包括：利用卷积神经网络提取人脸图像的表情特征信号。
在实际应用中，利用卷积神经网络提取人脸图像的表情特征信号可以是基于Xception网络模型提取表情特征信号。
在实际应用中，在利用轻量级网络模型Xception提取表情特征信号后，加入全局平均池化层进行降维，输出人脸通道的高层次特征。
这样，通过去除人脸图像区域中对于表情识别没有作用的如头发、脖子、背景等无用像素，从而减少了卷积神经网络提取表情特征信号的计算量，为后续输出人脸通道的高层次特征提供数据基础。
结合图4所示，本公开实施例提供的另一种用用于表情特征信号提取的方法，包括：
S41，输入人脸图像。
S42，根据人脸图像，检测人脸区域图像。
S43，提取人脸区域图像表情特征。
S44，将提取的表情特征加入全局平均池化层。
S45，输出单通道高层次特征。
这样，通过去除人脸图像区域中对于表情识别没有作用的无用像素，减少了提取表情特征信号的计算量，并通过池化层对卷积操作后的信息进行降维，从而得到人脸通道的高层次特征，为后续情绪识别提供数据基础。
结合图5所示，本公开实施例提供的一种用于脑电特征信号提取的模型20，包括：
卷积层200，用于对在时间上连续的多个输入脑电信号进行脑电特征提取。
可选地，卷积层200可以具有多个卷积层200-1至200-N，卷积层200可以使用现有的结构，N为大于或等于2的整数，卷积层的数量可以根据实际需要而设置，在本公开实施例中，选取卷积层的数量为5。
池化层201，用于对卷积操作后提取的脑电特征信号降维。
可选地，池化层201可以具有多个池化层201-1至201-N，池化层可以使用现有的结构，N为大于或等于2的整数，池化层的数量可以根据实际需要而设置。
在本公开实施例中，池化层201包括最大池化层与平均池化层。最大池化层用于对特征张量进行下采样。平均池化层用于改变输出特征张量的维度。通过最大池化层与平均池化层的共同作用完成对脑电特征信号降维操作。在本公开实施例中，选取最大池化层的数量为4，平均池化层的数量为1。
激活函数202，用于加入非线性元素，提升模型的泛化能力。
可选地，激活函数可以是Sigmoid函数、双曲正切函数tanh或其他激活函数。在本公开实施例中，激活函数选取线性整流函数(ReLU，Rectified Linear Unit)。激活函数ReLU可通过算数(1)表示：
f(x)＝max(0,x) (1)
在本公开实施例中，卷积层200对输入的多个脑电信号进行脑电特征提取可以理解为进行卷积操作。卷积操作可通过算式(2)表示：
S(i,j)＝(I*K)(i,j)＝∑m∑nI(i+m,j+n)K(m,n) (2)
其中，I表示输入数据矩阵，K表示卷积核，S(i，j)表示输出矩阵S中(i，j)位置的元素值，(m，n)表示核矩阵的形状，I(i+m，j+n)K(m，n)表示输入矩阵的某个元素I(i+m，j+n)与核矩阵的元素K(m，n)相乘，∑m∑n表示分别在矩阵的恒祥和纵向做累加。
在本公开实施例中，卷积核的大小取决于脑电信号数据维度。卷积层的步长为1，池化层的步长为2。网络具体情况如下表1提供了一种卷积层与卷积核、步长的对应关系示例表，表2提供了一种池化层与卷积核、步长的对应关系示例表：
表1：卷积层与卷积核、步长的对应关系示例表
卷积层 步长 卷积核
第一卷积层 1 1x5x32x32
第二卷积层 1 1x5x32x64
第三卷积层 1 1x5x64x128
第四卷积层 1 1x5x128x128
第五卷积层 1 1x5x128x256
表2：池化层与卷积核、步长的对应关系示例表
池化层 步长 卷积核
第一最大池化层 2 1x2x32
第二最大池化层 2 1x2x64
第三最大池化层 2 1x2x128
第四最大池化层 2 1x2x128
平均池化层 2 1x2x256
这样，通过卷积层、最大池化层、平均池化层与激活函数完成脑电特征信号的提取与降维，从而得到脑电通道的高层次特征，为后续情绪识别提供数据基础。
结合图6所示，本公开实施例提供的一种用于脑电特征信号提取的方法，包括：检测用户的脑电信号；对检测的脑电信号进行预处理；从预处理后的脑电信号中提取脑电特征信号。
可选地，对检测的脑电信号进行预处理，包括：提取脑电信号在预设频域中的数据；将提取后的数据按照预设频带区间分成不同频带的脑电信号。
在本公开实施例中，预设频域为0-50Hz，预设频带为δ频带、θ频带、α频带、β频带与γ频带。δ频带对应的区间为0-4Hz，θ频带对应的区间为4-8Hz，α频带对应的区间为8-13Hz，β频带对应的区间为13-30Hz，γ频带对应的区间为30-50Hz。
这样，通过脑电信号的频域特征，不同频带对应不同的大脑活动，从而完成对检测的脑电信号的预处理，有效的去除采集设备产生的干扰信息和其他生理信号噪声。为后续输出脑电通道的高层次特征提供数据基础。
结合图7所示，本公开实施例提供一种用于情绪识别的装置，包括处理器(processor)700和存储器(memory)701。可选地，该装置还可以包括通信接口(Communication Interface)702和总线703。其中，处理器700、通信接口702、存储器701可以通过总线703完成相互间的通信。通信接口702可以用于信息传输。处理器700可以调用存储器701中的逻辑指令，以执行上述实施例的用于情绪识别的方法。
此外，上述的存储器701中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
存储器701作为一种计算机可读存储介质，可用于存储软件程序、计算机可执行程序，如本公开实施例中的方法对应的程序指令/模块。处理器700通过运行存储在存储器701中的程序指令/模块，从而执行功能应用以及数据处理，即实现上述实施例中用于情绪识别的方法。
存储器701可包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据终端设备的使用所创建的数据等。此外，存储器701可以包括高速随机存取存储器，还可以包括非易失性存储器。
本公开实施例提供了一种计算机设备，包含上述的用于情绪识别的装置。
本公开实施例提供了一种计算机可读存储介质，存储有计算机可执行指令，所述计算机可执行指令设置为执行上述用于情绪识别的方法。
本公开实施例提供了一种计算机程序产品，所述计算机程序产品包括存储在计算机可读存储介质上的计算机程序，所述计算机程序包括程序指令，当所述程序指令被计算机执行时，使所述计算机执行上述用于…的方法。
上述的计算机可读存储介质可以是暂态计算机可读存储介质，也可以是非暂态计算机可读存储介质。
本公开实施例的技术方案可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括一个或多个指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本公开实施例所述方法的全部或部分步骤。而前述的存储介质可以是非暂态存储介质，包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等多种可以存储程序代码的介质，也可以是暂态存储介质。
以上描述和附图充分地示出了本公开的实施例，以使本领域的技术人员能够实践它们。其他实施例可以包括结构的、逻辑的、电气的、过程的以及其他的改变。实施例仅代表可能的变化。除非明确要求，否则单独的部件和功能是可选的，并且操作的顺序可以变化。一些实施例的部分和特征可以被包括在或替换其他实施例的部分和特征。而且，本申请中使用的用词仅用于描述实施例并且不用于限制权利要求。如在实施例以及权利要求的描述中使用的，除非上下文清楚地表明，否则单数形式的“一个”(a)、“一个”(an)和“所述”(the)旨在同样包括复数形式。类似地，如在本申请中所使用的术语“和/或”是指包含一个或一个以上相关联的列出的任何以及所有可能的组合。另外，当用于本申请中时，术语“包括”(comprise)及其变型“包括”(comprises)和/或包括(comprising)等指陈述的特征、整体、步骤、操作、元素，和/或组件的存在，但不排除一个或一个以上其它特征、整体、步骤、操作、元素、组件和/或这些的分组的存在或添加。在没有更多限制的情况下，由语句“包括一个…”限定的要素，并不排除在包括所述要素的过程、方法或者设备中还存在另外的相同要素。本文中，每个实施例重点说明的可以是与其他实施例的不同之处，各个实施例之间相同相似部分可以互相参见。对于实施例公开的方法、产品等而言，如果其与实施例公开的方法部分相对应，那么相关之处可以参见方法部分的描述。
本领域技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，可以取决于技术方案的特定应用和设计约束条件。所述技术人员可以对每个特定的应用来使用不同方法以实现所描述的功能，但是这种实现不应认为超出本公开实施例的范围。所述技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
本文所披露的实施例中，所揭露的方法、产品(包括但不限于装置、设备等)，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，可以仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例。另外，在本公开实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。
附图中的流程图和框图显示了根据本公开实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。在附图中的流程图和框图所对应的描述中，不同的方框所对应的操作或步骤也可以以不同于描述中所披露的顺序发生，有时不同的操作或步骤之间不存在特定的顺序。例如，两个连续的操作或步骤实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这可以依所涉及的功能而定。框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

Claims (10)

1.一种用于情绪识别的方法，其特征在于，包括：
获取用户的多个特征信号；
将多个特征信号进行融合，获得融合的特征信号集；
利用融合的特征信号集识别用户的情绪。
2.根据权利要求1所述的方法，其特征在于，将多个特征信号进行融合，包括：
将多个特征信号级联为特征向量。
3.根据权利要求1所述的方法，其特征在于，利用融合的特征信号集识别用户的情绪，包括：
将融合的特征信号集输入预先训练的Softmax分类器，并按照Softmax分类器的输出确定用户的情绪；
其中，用户的情绪包括积极、中性或消极。
4.根据权利要求1、2或3所述的方法，其特征在于，多个特征信号包括脑电特征信号和人脸特征信号。
5.根据权利要求4所述的方法，其特征在于，获取用户的脑电特征信号，包括：
检测用户的脑电信号；
对检测的脑电信号进行预处理；
从预处理后的脑电信号中提取脑电特征信号。
6.根据权利要求5所述的方法，其特征在于，对检测的脑电信号进行预处理，包括：
提取脑电信号在预设频域中的数据；
将提取后的数据按照预设频带区间分成不同频带的脑电信号。
7.根据权利要求4所述的方法，其特征在于，获取用户的人脸特征信号，包括：
采集用户的人脸图像；
从人脸图像中提取表情特征信号。
8.一种用于情绪识别的装置，包括处理器和存储有程序指令的存储器，其特征在于，所述处理器被配置为在运行所述程序指令时，执行如权利要求1至7任一项所述的用于情绪识别的方法。
9.一种计算机设备，其特征在于，包括如权利要求8所述的用于情绪识别的装置。
10.一种存储介质，存储有程序指令，其特征在于，所述程序指令在运行时，执行如权利要求1至7任一项所述的用于情绪识别的方法。
CN202111110668.8A 2021-09-18 2021-09-18 用于情绪识别的方法及装置、计算机设备、存储介质 Pending CN113855020A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111110668.8A CN113855020A (zh) 2021-09-18 2021-09-18 用于情绪识别的方法及装置、计算机设备、存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111110668.8A CN113855020A (zh) 2021-09-18 2021-09-18 用于情绪识别的方法及装置、计算机设备、存储介质

Publications (1)

Publication Number Publication Date
CN113855020A true CN113855020A (zh) 2021-12-31

Family

ID=78993330

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111110668.8A Pending CN113855020A (zh) 2021-09-18 2021-09-18 用于情绪识别的方法及装置、计算机设备、存储介质

Country Status (1)

Country Link
CN (1) CN113855020A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115019363A (zh) * 2022-05-19 2022-09-06 重庆邮电大学 一种基于mid-Xception网络的轻量级人脸表情识别方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107463874A (zh) * 2017-07-03 2017-12-12 华南师范大学 情绪识别方法及系统、及应用该方法的智能看护系统
CN108921061A (zh) * 2018-06-20 2018-11-30 腾讯科技（深圳）有限公司 一种表情识别方法、装置和设备
CN109190479A (zh) * 2018-08-04 2019-01-11 台州学院 一种基于混合深度学习的视频序列表情识别方法
CN111797683A (zh) * 2020-05-21 2020-10-20 台州学院 一种基于深度残差注意力网络的视频表情识别方法
CN112057089A (zh) * 2020-08-31 2020-12-11 五邑大学 情绪识别方法、装置及存储介质
CN113011493A (zh) * 2021-03-18 2021-06-22 华南理工大学 基于多核宽度学习脑电情绪分类方法、装置、介质及设备
CN113057633A (zh) * 2021-03-26 2021-07-02 华南理工大学 多模态情绪压力识别方法、装置、计算机设备及存储介质
CN213883251U (zh) * 2020-09-16 2021-08-06 中国人民解放军空军军医大学 一种癫痫发作预警耳麦

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107463874A (zh) * 2017-07-03 2017-12-12 华南师范大学 情绪识别方法及系统、及应用该方法的智能看护系统
CN108921061A (zh) * 2018-06-20 2018-11-30 腾讯科技（深圳）有限公司 一种表情识别方法、装置和设备
CN109190479A (zh) * 2018-08-04 2019-01-11 台州学院 一种基于混合深度学习的视频序列表情识别方法
CN111797683A (zh) * 2020-05-21 2020-10-20 台州学院 一种基于深度残差注意力网络的视频表情识别方法
CN112057089A (zh) * 2020-08-31 2020-12-11 五邑大学 情绪识别方法、装置及存储介质
CN213883251U (zh) * 2020-09-16 2021-08-06 中国人民解放军空军军医大学 一种癫痫发作预警耳麦
CN113011493A (zh) * 2021-03-18 2021-06-22 华南理工大学 基于多核宽度学习脑电情绪分类方法、装置、介质及设备
CN113057633A (zh) * 2021-03-26 2021-07-02 华南理工大学 多模态情绪压力识别方法、装置、计算机设备及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115019363A (zh) * 2022-05-19 2022-09-06 重庆邮电大学 一种基于mid-Xception网络的轻量级人脸表情识别方法

Similar Documents

Publication Publication Date Title
Amin et al. Deep Learning for EEG motor imagery classification based on multi-layer CNNs feature fusion
CN111190939B (zh) 一种用户画像构建方法及装置
Mohammadpour et al. Facial emotion recognition using deep convolutional networks
CN110353675B (zh) 基于图片生成的脑电信号情感识别方法及装置
US20210012777A1 (en) Context acquiring method and device based on voice interaction
CN111563480B (zh) 冲突行为检测方法、装置、计算机设备和存储介质
EP3685288B1 (en) Apparatus, method and computer program product for biometric recognition
CN110175526A (zh) 狗情绪识别模型训练方法、装置、计算机设备及存储介质
CN114787883A (zh) 自动情绪识别方法、系统、计算设备及计算机可读存储介质
WO2021159571A1 (zh) 一种有向动态脑功能网络多类情绪识别构建方法及其装置
Khurana et al. EEG based word familiarity using features and frequency bands combination
CN114639150A (zh) 情绪识别方法、装置、计算机设备和存储介质
CN114424940A (zh) 基于多模态时空特征融合的情绪识别方法及系统
Asaad Review on Deep Learning and Neural Network Implementation for Emotions Recognition
Singh et al. A reliable and efficient machine learning pipeline for american sign language gesture recognition using EMG sensors
Frydenlund et al. Emotional affect estimation using video and EEG data in deep neural networks
CN112632248A (zh) 问答方法、装置、计算机设备和存储介质
CN115862120A (zh) 可分离变分自编码器解耦的面部动作单元识别方法及设备
CN114881668A (zh) 一种基于多模态的欺骗检测方法
CN113855020A (zh) 用于情绪识别的方法及装置、计算机设备、存储介质
CN114781441A (zh) Eeg运动想象分类方法及多空间卷积神经网络模型
Chew et al. Facial expression recognition via enhanced stress convolution neural network for stress detection
CN114595692A (zh) 一种情绪识别方法、系统及终端设备
Mahapatra et al. Decoding of imagined speech electroencephalography neural signals using transfer learning method
Hegde et al. Facial expression recognition using entire gabor filter matching score level fusion approach based on subspace methods

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20211231