CN112926525A - 情绪识别方法、装置、电子设备和存储介质 - Google Patents

情绪识别方法、装置、电子设备和存储介质 Download PDF

Info

Publication number
CN112926525A
CN112926525A CN202110341498.8A CN202110341498A CN112926525A CN 112926525 A CN112926525 A CN 112926525A CN 202110341498 A CN202110341498 A CN 202110341498A CN 112926525 A CN112926525 A CN 112926525A
Authority
CN
China
Prior art keywords
result
text
coding
face
coding result
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202110341498.8A
Other languages
English (en)
Inventor
杨占栋
李昱
王全礼
张晨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Construction Bank Corp
Original Assignee
China Construction Bank Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Construction Bank Corp filed Critical China Construction Bank Corp
Priority to CN202110341498.8A priority Critical patent/CN112926525A/zh
Publication of CN112926525A publication Critical patent/CN112926525A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition

Abstract

本发明实施例公开了一种情绪识别方法、装置、电子设备和存储介质。该情绪识别方法包括：采集待识别人物的人脸图像，以及与所述人脸图像的采集时机关联的所述待识别人物输出的语音信息；对所述人脸图像进行人脸检测，根据人脸检测结果得到图像编码结果；对所述语音信息进行文本编码和概念编码，根据文本编码结果和概念编码结果得到语音编码结果；对所述图像编码结果和所述语音编码结果进行融合，根据融合编码结果识别所述待识别人物的情绪。本发明实施例涉及人工智能技术领域，通过融合编码结果提高了对人物情绪识别的准确度。

Description

情绪识别方法、装置、电子设备和存储介质
技术领域
本发明实施例涉及人工智能技术领域，尤其涉及一种情绪识别方法、装置、电子设备和存储介质。
背景技术
人物情绪识别是人机交互与情感计算研究的重要组成部分。情感计算，也被称为人工情感智能或者情感AI，是基于系统和设备的研究和开发识别、理解和模拟人的情感。人物常见且重要的情绪类别包括开心、愤怒、厌恶、恐惧、悲伤、惊讶等。研究情绪识别的目的是使得情绪能够模拟和计算，这个技术使得人机交互时机器能够理解人类的情绪状态，并且反作用于他们的行为，对识别到的情绪做出适当的反应，进而提高人机交互的智能性。
目前情绪识别的技术主要有以下四类。基于语音的情绪识别，自主神经系统的各种变化可以间接的改变一个人的言语，而情绪识别技术可以利用这些信息来识别情绪，例如，在恐惧、愤怒或欢乐的状态下产生的言语，会迅速、响亮、准确的发音，音调更高、范围更广，而诸如疲倦、无聊、悲伤等情绪往往会产生缓慢、低沉和含糊不清的语言。基于面部表情的情绪识别，对人脸的面部表情进行分析，识别出快乐、气愤、惊讶、害怕等情绪。基于肢体动作的情绪识别，自动动作分析可以被有效的用来检测用户的特定的情绪状态，例如，当你不知道一个问题答案的时候抬起你的肩膀，当使用一个物体时候，可以用手指向它们等等，这些动作都可以被捕捉并且识别。基于身体数据监控的情绪识别，通过检测和分析用户的身体数据信号来检测用户的情绪状态，例如心跳、血压、脑电波数据等。
现有技术中，主要是基于人脸表情、语音、肢体动作或身体数据监控中的一种进行情感识别；其中，人脸表情、语音或肢体动作的方法，存在准确率和稳定性不高的问题；基于身体数据监控的方法，需要被测人员主动配合才可以完成，存在用户体验度不高的问题。
发明内容
本发明实施例提供一种情绪识别方法、装置、电子设备和存储介质，以提高人物情绪识别的准确度。
第一方面，本发明实施例提供了一种情绪识别方法，包括：
采集待识别人物的人脸图像，以及与所述人脸图像的采集时机关联的所述待识别人物输出的语音信息；
对所述人脸图像进行人脸检测，根据人脸检测结果得到图像编码结果；
对所述语音信息进行文本编码和概念编码，根据文本编码结果和概念编码结果得到语音编码结果；
对所述图像编码结果和所述语音编码结果进行融合，根据融合编码结果识别所述待识别人物的情绪。
第二方面，本发明实施例还提供了一种情绪识别装置，包括：
信息采集模块，用于采集待识别人物的人脸图像，以及与所述人脸图像的采集时机关联的所述待识别人物输出的语音信息；
图像处理模块，用于对所述人脸图像进行人脸检测，根据人脸检测结果得到图像编码结果；
语音处理模块，用于对所述语音信息进行文本编码和概念编码，根据文本编码结果和概念编码结果得到语音编码结果；
情绪识别模块，用于对所述图像编码结果和所述语音编码结果进行融合，根据融合编码结果识别所述待识别人物的情绪。
第三方面，本发明实施例还提供了一种电子设备，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如本发明任一实施例所述的情绪识别方法。
第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任一实施例所述的情绪识别方法。
本发明实施例基于对待识别人物的人脸图像进行编码，得到图像编码结果，同时对待识别人物输出的语音信息进行编码，得到语音编码结果，其中语音编码结果是根据对语音信息进行文本编码和概念编码得到的，以提高语音编码结果的准确度；再根据图像编码结果和语音编码结果的融合编码结果对待识别人物进行情绪识别，以实现对人物情绪识别准确度的提高。
附图说明
图1是本发明实施例一中的情绪识别方法的流程图；
图2是本发明实施例二中的情绪识别装置的结构示意图；
图3是本发明实施例三中的电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1是本发明实施例一中的情绪识别方法的流程图，本实施例可适用于对人物的实时情绪进行识别的情况。该方法可以由情绪识别装置来执行，该装置可以采用软件和/或硬件的方式实现，并可配置在电子设备中，例如电子设备可以是后台服务器等具有通信和计算能力的设备。如图1所示，该方法具体包括：
步骤101、采集待识别人物的人脸图像，以及与人脸图像的采集时机关联的待识别人物输出的语音信息。
其中，待识别人物是指需要进行情绪识别的对象，例如正在与机器进行人机交互的对象，在进行人机交互时，机器需要实时获取人的情绪，以便根据人的情绪进行及时的反映。人脸图像是指进行情绪识别时采集到的人脸部位的图像，与人脸图像的采集时机关联的待识别人物输出的语音信息是指在采集人脸图像时，采集在同一时刻待识别人物输出的语音。示例性的，在进行人机交互时，实时获取交互中人物的人脸图像，并获取当前时间对应预设长度的时间段内待识别人物输出的语音信息。例如，每隔一秒获取一次人物的实时人脸图像，并获取这一秒内待识别人物输出的语音信息。
步骤102、对人脸图像进行人脸检测，根据人脸检测结果得到图像编码结果。
进行人脸检测是为了获取人脸图像上的表情特征信息。具体的，使用单阶段像素的人脸定位方法，进行人脸检测和人脸对齐，最后进行人脸特征提取，根据提取到的特征进行编码，得到图像编码结果。
在一个可行的实施例中，对人脸图像进行人脸检测，包括：
基于多任务学习模型对人脸图像进行人脸检测；其中，多任务至少包括人脸分类任务、人脸框位置回归任务以及人脸关键点回归任务。
采用了超监督和自监督多任务的方式对人脸进行检测，得到多任务的人脸检测结果。其中，多任务包括预测人脸框的分类任务分支、人脸框位置回归任务分支以及人脸关键点回归任务分支，通过多任务学习模型得到的人脸检测结果为对每个输入的人脸图像输出人脸预测得分、人脸框预测位置、人脸关键点预测位置。
示例性的，通过超监督和自监督多任务的方式，进行模型训练，模型训练完成后，输入人脸图像，则可以预测出该人脸图像中是否含有人脸、人脸框的位置、以及人脸关键点位置。
在一个可行的实施例中，多任务学习模型训练时的多任务损失函数为：
Figure BDA0002999742640000051
其中，L表示多任务学习模型中的最终损失值，
Figure BDA0002999742640000052
表示第i个人脸图像样本的人脸分类任务的损失值，
Figure BDA0002999742640000053
表示第i个人脸图像样本的人脸框回归任务的损失值，
Figure BDA0002999742640000054
表示第i个人脸图像样本的人脸关键点回归任务的损失值，λ1和λ2为预设参数值，pi表示第i个人脸图像样本中人脸预测概率，
Figure BDA0002999742640000061
表示第i个人脸图像样本中人脸标注真值，ti表示第i个人脸图像样本中人脸框预测位置信息，
Figure BDA0002999742640000062
表示第i个人脸图像样本中人脸框标注位置信息，li表示第i个人脸图像样本中人脸关键点预测位置信息，
Figure BDA0002999742640000063
表示第i个人脸图像样本中人脸关键点标注位置信息。
具体的，第i个人脸图像样本的人脸分类任务的损失值通过人脸分类任务得到，第i个人脸图像样本的人脸框回归任务的损失值通过人脸框位置回归任务得到，第i个人脸图像样本的人脸关键点回归任务的损失值通过人脸关键点回归任务得到。λ1和λ2为预设参数值，可以根据经验值进行确定，在本发明实施例中并不作限定。pi是指通过人脸分类任务得到的预测结果，
Figure BDA0002999742640000064
是指预先标注的在该样本中是否存在人脸的数据，例如，若第i个人脸图像样本中存在人脸，则
Figure BDA0002999742640000065
若没有人脸，则
Figure BDA0002999742640000066
ti是指通过人脸框位置回归任务得到预测结果，
Figure BDA0002999742640000067
是指预先标注的在该样本中人脸框的位置信息。例如，ti＝(tx,ty,tw,th)i，其中，tx,ty,tw和th分别表示预测人脸框左上角的x坐标值、y坐标值，以及人脸框的宽度和高度值。
Figure BDA0002999742640000068
其中，
Figure BDA0002999742640000069
和
Figure BDA00029997426400000610
分别表示预先标注的人脸框左上角的x坐标值、y坐标值，以及人脸框的宽度和高度值。li是指通过人脸关键点回归任务得到的预测结果，
Figure BDA00029997426400000611
是指预先标注的在该样本中人脸关键点的位置信息。
多任务损失函数为训练多任务学习模型使用，也就是求解损失L最小化的最优解，模型训练好后，就可以预测出是否为人脸、人脸框位置信息、人脸关键点位置信息等。
可选的，多任务学习模型训练时的多任务损失函数为：
Figure BDA00029997426400000612
Figure BDA00029997426400000613
其中，Lpixel表示密度回归损失，
Figure BDA0002999742640000071
表示第i个人脸图像样本中人脸标注真值，3为预设参数值，可以根据经验值进行确定，在本发明实施例中并不作限定。通过在多任务损失函数中添加对人脸图像的密度回归损失值，使得多任务学习模型的训练准确度提高。
在一个可行的实施例中，根据人脸检测结果得到图像编码结果，包括：
基于卷积神经网络对人脸检测结果进行特征提取，得到特征提取结果；
采用协方差池化对特征提取结果进行计算，得到图像编码结果。
其中，人脸检测结果中包括：人脸识别的概率、人脸框位置信息以及人脸关键点位置信息。
具体的，对检测和对齐的人脸进行新的特征提取，采用的方式是使用卷积神经网络计算后，再使用协方差池化进行计算。因为将面部表情识别成不同类别的关键在于能够捕捉到面部关键点区域的扭曲，而协方差的二阶统计量能够更好的获取面部区域特征中的这种扭曲，进而保证图像编码结果中准确表达与情绪相关的特征，提高情绪识别的准确率。
在一个可行的实施例中，协方差池化的计算公式如下所示：
Figure BDA0002999742640000072
其中，C表示协方差池化的计算结果，n表示特征提取结果中的特征维度，fi∈(f1,f2,…,fn)，f1,f2,…,fn表示特征提取结果中n个维度的特征数据，
Figure BDA0002999742640000073
其中，fi为特征提取集合中的第i个维度的特征，(f1,f2,…,fn)为卷积神经网络进行特征提取得到的特征提取集合，
Figure BDA0002999742640000074
为特征提取集合的平均值。具体的，通过协方差池化的计算结果C即为图像编码结果，记为e1。
步骤103、对语音信息进行文本编码和概念编码，根据文本编码结果和概念编码结果得到语音编码结果。
其中，文本编码是指对语音信息的文本层面进行表达；或者说文本编码从语音信息的字面意思进行表达；概念编码是指对语音信息的概念层面进行表达，或者说概念编码从语音信息的内在含义进行表达。语音编码结果用于从文本层面和概念层面对语音信息进行综合表达，实现对语音信息所表达意思的深度挖掘。
具体的，在接收到语音信息后，对语音信息进行文本编码和概念编码，得到文本编码结果和概念编码结果，其中，文本编码结果中体现了对语音信息的字面意思进行表征；概念编码结果中体现了根据知识图谱得到的隐藏含义。最后根据文本编码结果和概念编码结果得到语音编码结果，提高了语音编码结果的准确度和全面性。示例性的，根据文本编码结果和概念编码结果得到语音编码结果可以通过对二者经过某种预设结合方式进行融合得到，预设结合方式可以根据文本编码结果和概念编码结果的维度以及其他信息进行设置，例如融合编码等。
在一个可行的实施例中，在对语音信息进行文本编码和概念编码之前，还包括：
对语音信息进行语音识别，得到文本识别结果。
文本编码和概念编码均是对语音信息的文本识别结果进行处理得到，因此在进行文本编码和概念编码之前，首先需要对接收到由待识别人物输出的语音信息进行语音识别，得到语音信息中的文本识别结果。
在一个可行的实施例中，对语音信息进行文本编码，包括：
使用Bi-LSTM对文本识别结果进行处理，得到文本识别结果的中间向量表示；
使用缩放点积注意力机制对中间向量表示进行处理，得到矩阵表示；
使用最大池化对矩阵表示进行处理，得到文本识别结果的句子表征，作为文本编码结果。
其中，Bi-LSTM(Bidirectional Long Short Term Memory，双向长短时记忆)，结合了输入序列在前向和后向两个方向上的信息。对于t时刻的输出，前向LSTM层具有输入序列中t时刻以及之前时刻的信息，而后向LSTM层中具有输入序列中t时刻以及之后时刻的信息。前向LSTM层t时刻的输出和后向LSTM层t时刻的输出向量可以使用相加、平均值或连接等方式进行处理。
具体的，在获取文本识别结果后，在使用自注意力之前，使用Bi-LSTM来转换底层的输入，注意力机制使用加权和来生成输出矢量，因此其表示能力受到限制。同时，Bi-LSTM擅长捕获序列的上下文信息，可以进一步提高注意力网络的表达能力。Bi-LSTM输出之后，经过一个自注意力机制，以提取更有效的特征，注意力机制使用缩放点积注意力机制(scaled dot-product attention)。缩放点积注意力机制的计算公式如下所示：
Figure BDA0002999742640000091
其中，A为自注意力机制的输出特征矩阵表示，然后使用最大池化层去获取句子表征q，即为文本编码结果。经过最大池化层的目的是在向量的每个维度上选择最大值以捕获最重要的特征。其中，Q、K、V是通过Bi-LSTM计算出的数据与模型训练得到的权重参数矩阵相乘计算得出的数据，Q为查询矩阵，K为关键词矩阵，V为目标矩阵，u为预设参数值。
在一个可行的实施例中，在使用Bi-LSTM对文本识别结果进行处理之前，还包括：
对文本识别结果进行字符嵌入和/或词嵌入，得到文本嵌入向量；其中，基于卷积神经网络进行字符嵌入，基于预训练嵌入向量进行词嵌入；
相应的，使用Bi-LSTM对文本识别结果进行处理，包括：
使用Bi-LSTM对文本嵌入向量进行处理。
为了提高对文本识别结果的处理效率以及增加文本特征的维度信息，在使用Bi-LSTM对文本识别结果进行处理之前，对文本识别结果进行处理。
在经过语音识别后，得到的文本识别结果为长度为n的短文本序列。在进行语音识别时，为了保证实时性，输入的文本为短文本，因此文本识别结果为短文本序列。为了提高对文本识别结果的处理效率，将短文本序列转换为向量表示。具体的，对文本识别结果进行字符嵌入和/或词嵌入，得到文本嵌入向量。其中，可以采用字符嵌入和词嵌入中任意一种或两种对短文本序列进行处理，得到与短文本序列对应的文本嵌入向量。
具体的，通过字符嵌入(character embedding)和/或词嵌入(word embedding)将短文本序列表示为x的向量x＝(x1,x2,…,xn)，通过Bi-LSTM计算x得到中间表征数据Q、K和V，再通过缩放点积注意力机制和最大池化获得x的最后表征数据q，即文本编码结果，即通过文本提取得到的特征。
在一个可行的实施例中，对语音信息进行概念编码，包括：
对文本识别结果进行实体识别，得到实体概念集合；
根据C-ST注意力机制确定实体概念集合中每个实体概念对文本的初始注意力权重；
根据C-CS注意力机制确定每个实体概念在实体概念集合中的特征选择权重；
根据初始注意力权重和特征选择权重，确定实体概念集合中每个实体概念对文本的更新注意力权重；
根据更新注意力权重和实体概念集合，确定概念编码结果。
其中，实体概念集合是通过文本识别结果生成的，具体的生成方式为：首先从短文本序列中找出实体的集合，然后将实体信息输入预先设置的知识图谱，从而获取与实体集合对应的实体概念集合。例如“论中国历史剧的创作”短文本中，“中国”、“历史剧”为实体，生成的实体概念集合为“国家”、“历史”、“古国”等。
具体的，根据文本识别结果得到的实体概念集合为大小为m的集合c，表示为c＝(c1,c2,…,cm)，其中ci是第i个概念向量。使用C-ST(Concept towards Short Text，短文本概念)、C-CS(Concept towards Concept Set，概念集概念)这两种注意力机制，以更多地关注重要的概念，提高对实体概念集合中特征表达的准确度。
C-ST注意力机制用于计算文本和对应的概念集合的语义相关性，减少由于实体的歧义或KB(Knowledge Retrieve)噪声而引入的一些不正确概念的不良影响。其中，C-ST注意力机制通过如下公式进行计算实体概念集合中每个实体概念对文本的初始注意力权重：
Figure BDA0002999742640000111
其中，αi代表第i个实体概念ci对文本的初始注意力权重，αi越大说明对应的实体概念和短文本的语义越相关。f(·)是一种非线性激活函数，例如双曲线正切变换tanh，softmax函数用于归一化每个实体概念的初始注意力权重。W1是权重矩阵，w1是权重矢量，b1是偏移量，可以根据经验值进行设置，在此不作限定。
C-CS注意力机制用于计算实体概念集合中的每一个实体概念的重要性。其中，C-CS注意力机制通过如下公式进行计算每个实体概念在实体概念集合中的特征选择权重：
Figure BDA0002999742640000121
其中，βi代表第i个实体概念ci在整个实体概念集合c中的注意力权重，即特征选择权重，W2是权重矩阵，w2是权重矢量，b2是偏移量，可以根据经验值进行设置，在此不作限定。C-CS注意力机制的效果类似于特征选择的效果，实现将较大的权重分配给重要的实体概念，将较小的权重分配给普通的实体概念。
实体概念集合中每个实体概念对文本的更新注意力权重可以通过将αi和βi进行结合得到，结合公式如下所示：
Figure BDA0002999742640000122
其中，αi′表示第i个实体概念对于文本最终的更新注意力权重，γ∈{0,1}是用于调节αi和βi两者权重的软开关，k∈[1,m]，m为实体概念集合的长度，γ的值的设置方法有两种：把γ当做超参数，通过经验调节达到最优；γ参与神经网络的训练，自动调节。在本发明实施例中，γ的计算方法为参与神经网络的训练，通过如下公式进行计算：
γ＝σ(wT[α；β]+b)；
其中，w和b是参与神经网络的训练中需要学习的参数，w为权重参数，b为偏置参数，σ为sigmoid函数，α、β为由m个αi、βi组成的矩阵。
最后，根据更新注意力权重和实体概念集合，确定概念编码结果，即计算实体概念集合和更新注意力权重的加权和，从而得到表示概念的语义向量p，即概念编码结果，其中，概念编码结果p的计算公式如下所示：
Figure BDA0002999742640000131
其中，ci表示实体概念集合中第i个实体概念，αi ′表示第i个实体概念对于文本最终的更新注意力权重。
在一个可行的实施例中，在对文本识别结果进行实体识别，得到实体概念集合之后，还包括：
对实体概念集合进行概念嵌入，得到概念嵌入向量；其中，基于预训练嵌入向量进行概念嵌入。
为了提高对实体概念集合的处理效率以及增加概念特征的维度信息，在在对文本识别结果进行实体识别，得到实体概念集合之前，对实体概念集合进行处理。
在对文本识别结果进行实体识别，得到大小为m的实体概念集合。为了提高对概念特征的提取维度，将实体概念集合转换为向量表示。具体的，对实体概念集合进行概念嵌入(concept embedding)，得到概念嵌入向量。后续基于概念嵌入向量使用C-ST注意力机制和C-CS注意力机制进行概念编码结果的确定。
在一个可行的实施例中，根据文本编码结果和概念编码结果得到语音编码结果，包括：
对文本编码结果和概念编码结果进行合并，根据合并结果确定语音编码结果。
具体的，在得到文本编码结果q，和概念编码结果p后，将文本编码结果和概念编码结果合并后，生成新的编码e2，即为语音编码结果。示例性的，e2＝[p；q]，即将文本编码结果拼接在概念编码结果后，可选的，可以对文本编码结果和概念编码结果进行维度一致化处理后进行拼接合并。
其中，步骤102和步骤103可以并列执行，并不对这两个步骤的执行顺序进行限定。并且对于文本编码和概念编码也可以并列执行，并不限定执行顺序。
步骤104、对图像编码结果和语音编码结果进行融合，根据融合编码结果识别待识别人物的情绪。
具体的，在得到图像编码结果e1，和语音编码结果e2后，将e1和e2合并后，生成新的编码e，即为融合编码结果。融合编码结果中既包括人脸图像中人脸关键点的信息，也包括了语音信息中体现情绪的特征信息，通过融合编码结果识别情绪有利于提高情绪识别的准确度。
示例性的，e＝[e1；e2]，即将语音编码结果拼接在图像编码结果后，可选的，可以对图像编码结果和语音编码结果进行维度一致化处理后进行拼接合并。
在得到融合编码结果后，基于预先训练的情绪识别模型，将融合编码结果输入到情绪识别模型中，得到各情绪分类结果的预测概率，根据预测概率的比较结果确定待识别人物的情绪。示例性的，情绪识别模型通过预先采集的图像和语音样本进行训练得到，在本发明实施例中并不限制模型的训练的方法。
在一个可行的实施例中，步骤104，包括：
对图像编码结果和语音编码结果进行合并，根据合并结果确定融合编码结果；
使用预先设置的softmax回归函数对融合编码结果处理，得到分类结果，根据分类结果识别待识别人物的情绪。
预先训练的情绪识别模型可以采用预先设置的softmax回归函数。具体的，采用预先设置的softmax回归函数对融合编码结果进行计算，得到各情绪分类结果的回归值，进而识别待识别人物的情绪。示例性的，情绪分类结果中至少包括高兴、平静、悲伤、惊讶、恐惧、厌恶和愤怒等。
本发明实施例通过对人脸表情进行编码，以及对文本数据进行编码，融合人脸表情编码和文本数据编码后的特征，使用softmax分类器进行情绪分类。其中，人脸表情编码包括人脸检测、人脸对齐、人脸特征提取的过程，人脸特征提取的过程中，在对人脸进行卷积神经网络计算后，使用协方差池化进行计算，得出人脸表情编码；文本数据编码包括输入层获取文本识别结果和实体概念集合、对文本识别结果进行文本编码，对实体概念集合进行概念编码，以及融合文本编码结果和概念编码结果。
本发明实施例基于对待识别人物的人脸图像进行编码，得到图像编码结果，同时对待识别人物输出的语音信息进行编码，得到语音编码结果，其中语音编码结果是根据对语音信息进行文本编码和概念编码得到的，以提高语音编码结果的准确度；再根据图像编码结果和语音编码结果的融合编码结果对待识别人物进行情绪识别，以实现对人物情绪识别准确度的提高。
实施例二
图2是本发明实施例二中的情绪识别装置的结构示意图，本实施例可适用于对人物的实时情绪进行识别的情况。如图2所示，该装置包括：
信息采集模块210，用于采集待识别人物的人脸图像，以及与所述人脸图像的采集时机关联的所述待识别人物输出的语音信息；
图像处理模块220，用于对所述人脸图像进行人脸检测，根据人脸检测结果得到图像编码结果；
语音处理模块230，用于对所述语音信息进行文本编码和概念编码，根据文本编码结果和概念编码结果得到语音编码结果；
情绪识别模块240，用于对所述图像编码结果和所述语音编码结果进行融合，根据融合编码结果识别所述待识别人物的情绪。
本发明实施例基于对待识别人物的人脸图像进行编码，得到图像编码结果，同时对待识别人物输出的语音信息进行编码，得到语音编码结果，其中语音编码结果是根据对语音信息进行文本编码和概念编码得到的，以提高语音编码结果的准确度；再根据图像编码结果和语音编码结果的融合编码结果对待识别人物进行情绪识别，以实现对人物情绪识别准确度的提高。
可选的，图像处理模块中包括人脸检测单元，用于：
基于多任务学习模型对人脸图像进行人脸检测；其中，多任务至少包括人脸分类任务、人脸框位置回归任务以及人脸关键点回归任务。
可选的，所述多任务学习模型训练时的多任务损失函数为：
Figure BDA0002999742640000161
其中，L表示多任务学习模型中的最终损失值，
Figure BDA0002999742640000162
表示第i个人脸图像样本的人脸分类任务的损失值，
Figure BDA0002999742640000163
表示第i个人脸图像样本的人脸框回归任务的损失值，
Figure BDA0002999742640000164
表示第i个人脸图像样本的人脸关键点回归任务的损失值，λ1和λ2为预设参数值，pi表示第i个人脸图像样本中人脸预测概率，
Figure BDA0002999742640000165
表示第i个人脸图像样本中人脸标注真值，ti表示第i个人脸图像样本中人脸框预测位置信息，
Figure BDA0002999742640000166
表示第i个人脸图像样本中人脸框标注位置信息，li表示第i个人脸图像样本中人脸关键点预测位置信息，
Figure BDA0002999742640000167
表示第i个人脸图像样本中人脸关键点标注位置信息。
可选的，图像处理模块中包括图像编码单元，用于：
基于卷积神经网络对所述人脸检测结果进行特征提取，得到特征提取结果；
采用协方差池化对所述特征提取结果进行计算，得到图像编码结果。
可选的，协方差池化的计算公式如下所示：
Figure BDA0002999742640000171
其中，C表示协方差池化的计算结果，n表示特征提取结果中的特征维度，fi∈(f1,f2,…,fn)，f1,f2,…,fn表示特征提取结果中n个维度的特征数据，
Figure BDA0002999742640000172
可选的，所述装置还包括语音识别模块，用于：
在对所述语音信息进行文本编码和概念编码之前，对所述语音信息进行语音识别，得到文本识别结果。
可选的，语音处理模块包括文本编码单元，用于：
使用Bi-LSTM对所述文本识别结果进行处理，得到所述文本识别结果的中间向量表示；
使用缩放点积注意力机制对所述中间向量表示进行处理，得到矩阵表示；
使用最大池化对所述矩阵表示进行处理，得到所述文本识别结果的句子表征，作为文本编码结果。
可选的，文本编码单元中还包括文本嵌入子单元，用于：
在使用Bi-LSTM对所述文本识别结果进行处理之前，对所述文本识别结果进行字符嵌入和/或词嵌入，得到文本嵌入向量；其中，基于卷积神经网络进行字符嵌入，基于预训练嵌入向量进行词嵌入；
相应的，文本编码单元，包括：
使用Bi-LSTM对所述文本嵌入向量进行处理。
可选的，语音处理模块包括概念编码单元，用于：
对所述文本识别结果进行实体识别，得到实体概念集合；
根据C-ST注意力机制确定所述实体概念集合中每个实体概念对文本的初始注意力权重；
根据C-CS注意力机制确定所述每个实体概念在所述实体概念集合中的特征选择权重；
根据所述初始注意力权重和所述特征选择权重，确定所述实体概念集合中每个实体概念对文本的更新注意力权重；
根据所述更新注意力权重和所述实体概念集合，确定概念编码结果。
可选的，概念编码单元中包括概念嵌入子单元，用于：
在对所述文本识别结果进行实体识别，得到实体概念集合之后，对所述实体概念集合进行概念嵌入，得到概念嵌入向量；其中，基于预训练嵌入向量进行概念嵌入。
可选的，语音处理模块，包括编码合并单元，用于：
对所述文本编码结果和所述概念编码结果进行合并，根据合并结果确定语音编码结果。
可选的，情绪识别模块，具体用于：
对所述图像编码结果和所述语音编码结果进行合并，根据合并结果确定融合编码结果；
使用预先设置的softmax回归函数对所述融合编码结果处理，得到分类结果，根据分类结果识别所述待识别人物的情绪。
本发明实施例所提供的情绪识别装置可执行本发明任意实施例所提供的情绪识别方法，具备执行情绪识别方法相应的功能模块和有益效果。
实施例三
图3是本发明实施例三提供的一种电子设备的结构示意图。图3示出了适于用来实现本发明实施方式的示例性电子设备12的框图。图3显示的电子设备12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图3所示，电子设备12以通用计算设备的形式表现。电子设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储装置28，连接不同系统组件(包括系统存储装置28和处理单元16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储装置总线或者存储装置控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
电子设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被电子设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
系统存储装置28可以包括易失性存储装置形式的计算机系统可读介质，例如随机存取存储装置(RAM)30和/或高速缓存存储装置32。电子设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图3未显示，通常称为“硬盘驱动器”)。尽管图3中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储装置28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储装置28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
电子设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该设备12交互的设备通信，和/或与使得该设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，电子设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图3所示，网络适配器20通过总线18与电子设备12的其它模块通信。应当明白，尽管图3中未示出，可以结合电子设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理单元16通过运行存储在系统存储装置28中的程序，从而执行各种功能应用以及数据处理，例如实现本发明实施例所提供的情绪识别方法，包括：
采集待识别人物的人脸图像，以及与所述人脸图像的采集时机关联的所述待识别人物输出的语音信息；
对所述人脸图像进行人脸检测，根据人脸检测结果得到图像编码结果；
对所述语音信息进行文本编码和概念编码，根据文本编码结果和概念编码结果得到语音编码结果；
对所述图像编码结果和所述语音编码结果进行融合，根据融合编码结果识别所述待识别人物的情绪。
实施例四
本发明实施例四还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明实施例所提供的情绪识别方法，包括：
采集待识别人物的人脸图像，以及与所述人脸图像的采集时机关联的所述待识别人物输出的语音信息；
对所述人脸图像进行人脸检测，根据人脸检测结果得到图像编码结果；
对所述语音信息进行文本编码和概念编码，根据文本编码结果和概念编码结果得到语音编码结果；
对所述图像编码结果和所述语音编码结果进行融合，根据融合编码结果识别所述待识别人物的情绪。
本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络包括局域网(LAN)或广域网(WAN)连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (15)

1.一种情绪识别方法，其特征在于，包括：
采集待识别人物的人脸图像，以及与所述人脸图像的采集时机关联的所述待识别人物输出的语音信息；
对所述人脸图像进行人脸检测，根据人脸检测结果得到图像编码结果；
对所述语音信息进行文本编码和概念编码，根据文本编码结果和概念编码结果得到语音编码结果；
对所述图像编码结果和所述语音编码结果进行融合，根据融合编码结果识别所述待识别人物的情绪。
2.根据权利要求1所述的方法，其特征在于，对所述人脸图像进行人脸检测，包括：
基于多任务学习模型对人脸图像进行人脸检测；其中，多任务至少包括人脸分类任务、人脸框位置回归任务以及人脸关键点回归任务。
3.根据权利要求2所述的方法，其特征在于，所述多任务学习模型训练时的多任务损失函数为：
Figure FDA0002999742630000011
其中，L表示多任务学习模型中的最终损失值，
Figure FDA0002999742630000012
表示第i个人脸图像样本的人脸分类任务的损失值，
Figure FDA0002999742630000013
表示第i个人脸图像样本的人脸框回归任务的损失值，
Figure FDA0002999742630000014
表示第i个人脸图像样本的人脸关键点回归任务的损失值，λ1和λ2为预设参数值，pi表示第i个人脸图像样本中人脸预测概率，
Figure FDA0002999742630000015
表示第i个人脸图像样本中人脸标注真值，ti表示第i个人脸图像样本中人脸框预测位置信息，
Figure FDA0002999742630000016
表示第i个人脸图像样本中人脸框标注位置信息，li表示第i个人脸图像样本中人脸关键点预测位置信息，
Figure FDA0002999742630000017
表示第i个人脸图像样本中人脸关键点标注位置信息。
4.根据权利要求1所述的方法，其特征在于，根据人脸检测结果得到图像编码结果，包括：
基于卷积神经网络对所述人脸检测结果进行特征提取，得到特征提取结果；
采用协方差池化对所述特征提取结果进行计算，得到图像编码结果。
5.根据权利要求4所述的方法，其特征在于，协方差池化的计算公式如下所示：
Figure FDA0002999742630000021
其中，C表示协方差池化的计算结果，n表示特征提取结果中的特征维度，fi∈(f1，f2，...，fn)，f1，f2，...，fn表示特征提取结果中n个维度的特征数据，
Figure FDA0002999742630000022
6.根据权利要求1所述的方法，其特征在于，在对所述语音信息进行文本编码和概念编码之前，还包括：
对所述语音信息进行语音识别，得到文本识别结果。
7.根据权利要求6所述的方法，其特征在于，对所述语音信息进行文本编码，包括：
使用Bi-LSTM对所述文本识别结果进行处理，得到所述文本识别结果的中间向量表示；
使用缩放点积注意力机制对所述中间向量表示进行处理，得到矩阵表示；
使用最大池化对所述矩阵表示进行处理，得到所述文本识别结果的句子表征，作为文本编码结果。
8.根据权利要求7所述的方法，其特征在于，在使用Bi-LSTM对所述文本识别结果进行处理之前，还包括：
对所述文本识别结果进行字符嵌入和/或词嵌入，得到文本嵌入向量；其中，基于卷积神经网络进行字符嵌入，基于预训练嵌入向量进行词嵌入；
相应的，使用Bi-LSTM对所述文本识别结果进行处理，包括：
使用Bi-LSTM对所述文本嵌入向量进行处理。
9.根据权利要求6所述的方法，其特征在于，对所述语音信息进行概念编码，包括：
对所述文本识别结果进行实体识别，得到实体概念集合；
根据C-ST注意力机制确定所述实体概念集合中每个实体概念对文本的初始注意力权重；
根据C-CS注意力机制确定所述每个实体概念在所述实体概念集合中的特征选择权重；
根据所述初始注意力权重和所述特征选择权重，确定所述实体概念集合中每个实体概念对文本的更新注意力权重；
根据所述更新注意力权重和所述实体概念集合，确定概念编码结果。
10.根据权利要求9所述的方法，其特征在于，在对所述文本识别结果进行实体识别，得到实体概念集合之后，还包括：
对所述实体概念集合进行概念嵌入，得到概念嵌入向量；其中，基于预训练嵌入向量进行概念嵌入。
11.根据权利要求1所述的方法，其特征在于，根据文本编码结果和概念编码结果得到语音编码结果，包括：
对所述文本编码结果和所述概念编码结果进行合并，根据合并结果确定语音编码结果。
12.根据权利要求1所述的方法，其特征在于，对所述图像编码结果和所述语音编码结果进行融合，根据融合编码结果识别所述待识别人物的情绪，包括：
对所述图像编码结果和所述语音编码结果进行合并，根据合并结果确定融合编码结果；
使用预先设置的softmax回归函数对所述融合编码结果处理，得到分类结果，根据分类结果识别所述待识别人物的情绪。
13.一种情绪识别装置，其特征在于，包括：
信息采集模块，用于采集待识别人物的人脸图像，以及与所述人脸图像的采集时机关联的所述待识别人物输出的语音信息；
图像处理模块，用于对所述人脸图像进行人脸检测，根据人脸检测结果得到图像编码结果；
语音处理模块，用于对所述语音信息进行文本编码和概念编码，根据文本编码结果和概念编码结果得到语音编码结果；
情绪识别模块，用于对所述图像编码结果和所述语音编码结果进行融合，根据融合编码结果识别所述待识别人物的情绪。
14.一种电子设备，其特征在于，包括：
一个或多个处理器；
存储装置，用于存储一个或多个程序，
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-12中任一所述的情绪识别方法。
15.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-12中任一所述的情绪识别方法。
CN202110341498.8A 2021-03-30 2021-03-30 情绪识别方法、装置、电子设备和存储介质 Pending CN112926525A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110341498.8A CN112926525A (zh) 2021-03-30 2021-03-30 情绪识别方法、装置、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110341498.8A CN112926525A (zh) 2021-03-30 2021-03-30 情绪识别方法、装置、电子设备和存储介质

Publications (1)

Publication Number Publication Date
CN112926525A true CN112926525A (zh) 2021-06-08

Family

ID=76176611

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110341498.8A Pending CN112926525A (zh) 2021-03-30 2021-03-30 情绪识别方法、装置、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN112926525A (zh)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113434227A (zh) * 2021-06-18 2021-09-24 深圳掌酷软件有限公司 锁屏壁纸切换方法、装置、设备及存储介质
CN113536999A (zh) * 2021-07-01 2021-10-22 汇纳科技股份有限公司 人物情绪识别方法、系统、介质及电子设备
CN113724697A (zh) * 2021-08-27 2021-11-30 北京百度网讯科技有限公司 模型生成方法、情绪识别方法、装置、设备及存储介质
CN113837072A (zh) * 2021-09-24 2021-12-24 厦门大学 一种融合多维信息的说话人情绪感知方法
WO2024000867A1 (zh) * 2022-06-30 2024-01-04 浪潮电子信息产业股份有限公司 情绪识别方法、装置、设备及存储介质

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113434227A (zh) * 2021-06-18 2021-09-24 深圳掌酷软件有限公司 锁屏壁纸切换方法、装置、设备及存储介质
CN113536999A (zh) * 2021-07-01 2021-10-22 汇纳科技股份有限公司 人物情绪识别方法、系统、介质及电子设备
CN113724697A (zh) * 2021-08-27 2021-11-30 北京百度网讯科技有限公司 模型生成方法、情绪识别方法、装置、设备及存储介质
CN113837072A (zh) * 2021-09-24 2021-12-24 厦门大学 一种融合多维信息的说话人情绪感知方法
WO2024000867A1 (zh) * 2022-06-30 2024-01-04 浪潮电子信息产业股份有限公司 情绪识别方法、装置、设备及存储介质

Similar Documents

Publication Publication Date Title
Liao et al. Dynamic sign language recognition based on video sequence with BLSTM-3D residual networks
CN110096570B (zh) 一种应用于智能客服机器人的意图识别方法及装置
CN112926525A (zh) 情绪识别方法、装置、电子设备和存储介质
CN111680159B (zh) 数据处理方法、装置及电子设备
CN111931795A (zh) 基于子空间稀疏特征融合的多模态情感识别方法及系统
CN111597341A (zh) 一种文档级关系抽取方法、装置、设备及存储介质
CN111401105A (zh) 一种视频表情识别方法、装置及设备
CN113392265A (zh) 多媒体处理方法、装置及设备
Hardjadinata et al. Facial expression recognition using xception and densenet architecture
Rodrigues et al. Classification of facial expressions under partial occlusion for VR games
CN117058597B (zh) 一种基于音视频的维度情感识别方法、系统、设备及介质
Setyono et al. Recognizing word gesture in sign system for Indonesian language (SIBI) Sentences using DeepCNN and BiLSTM
WO2023226239A1 (zh) 对象情绪的分析方法、装置和电子设备
CN111445545A (zh) 一种文本转贴图方法、装置、存储介质及电子设备
Kumar et al. A constructive deep convolutional network model for analyzing video-to-image sequences
Nahar et al. A robust model for translating arabic sign language into spoken arabic using deep learning
CN113515935B (zh) 一种标题生成方法、装置、终端及介质
Veinović Apparent Personality Analysis Based on Aggregation Model
Hukkeri et al. Erratic navigation in lecture videos using hybrid text based index point generation
CN112990301A (zh) 情绪数据标注方法、装置、计算机设备和存储介质
Elangovan et al. Hand gesture recognition for sign languages using 3dcnn for efficient detection
Anekar et al. Exploring emotion and sentiment landscape of depression: A multimodal analysis approach
Kuang et al. ERBFV-Net: An Emotion Recognizer Based on Face Video for MAHNOB-HCI
CN114048319B (zh) 基于注意力机制的幽默文本分类方法、装置、设备、介质
CN117150320B (zh) 对话数字人情感风格相似度评价方法及系统

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination