CN115035438A - 情绪分析方法、装置及电子设备 - Google Patents

Abstract

本发明提供一种情绪分析方法、装置及电子设备，该情绪分析方法包括：获取待处理人体特征数据，待处理人体特征数据包括待处理视频和与待处理视频同步的语音序列；识别待处理视频中的面部图像序列和人体姿态图像序列；将语音序列、面部图像序列和人体姿态图像序列输入多模态情绪分析模型，进行基于语音序列、面部图像序列和人体姿态图像序列的情绪识别与分析，获得多模态情绪分析模型输出的多维度情绪得分；输出多维度情绪得分。本发明实施例提供的技术方案能够提高情绪识别的准确率。

Description

情绪分析方法、装置及电子设备

技术领域

本发明涉及情感识别技术领域，尤其涉及一种情绪分析方法、装置及电子设备。

背景技术

对个体的情绪状态进行辨别与分析是情感计算的一个重要组成部分，在智能监控、智能心理咨询等多个场景中发挥着重要的作用。目前的情绪识别主要是通过提取个体面部图像中能够体现情绪的表情特征来实现，但由于受到每个个体的性格、表达情绪的方式等因素的影响，不同个体在产生相同情绪时其面部图像中展现出的表情特征不尽相同，这便导致情绪识别的准确率不高。

发明内容

本发明提供一种情绪分析方法、装置及电子设备，用以解决现有技术中情绪识别准确率低的缺陷，实现多模态的情绪识别，提高情绪识别的准确率。

本发明提供一种情绪分析方法，包括：

获取待处理人体特征数据，所述待处理人体特征数据包括待处理视频和与所述待处理视频同步的语音序列；

识别所述待处理视频中的面部图像序列和人体姿态图像序列；

将所述语音序列、所述面部图像序列和所述人体姿态图像序列输入多模态情绪分析模型，进行基于所述语音序列、所述面部图像序列和所述人体姿态图像序列的情绪识别与分析，获得所述多模态情绪分析模型输出的多维度情绪得分；

输出所述多维度情绪得分。

根据本发明提供的一种情绪分析方法，所述多模态情绪分析模型包括语音特征提取网络、面部特征提取网络、姿态特征提取网络和情绪预测网络；所述将所述语音序列、所述面部图像序列和所述人体姿态图像序列输入多模态情绪分析模型，进行基于所述语音序列、所述面部图像序列和所述人体姿态图像序列的情绪识别与分析，获得所述多模态情绪分析模型输出的多维度情绪得分包括：

将所述语音序列、所述面部图像序列和所述人体姿态图像序列输入所述多模态情绪分析模型，利用所述语音特征提取网络对所述语音序列进行语音特征提取，得到所述语音特征提取网络输出的语音情绪特征信息；

利用所述面部特征提取网络对所述面部图像序列进行面部特征提取，得到所述面部特征提取网络输出的面部情绪特征信息；

利用所述姿态特征提取网络对所述人体姿态图像序列进行姿态特征提取，得到所述姿态特征提取网络输出的姿态情绪特征信息；

基于所述语音情绪特征信息、所述面部情绪特征信息和所述姿态情绪特征信息，利用所述情绪预测网络确定所述待处理人体特征数据的多维度情绪得分。

根据本发明提供的一种情绪分析方法，所述情绪分析方法还包括：

获取样本数据，所述样本数据中包括样本语音序列、样本面部图像序列和样本人体姿态图像序列；

对所述样本数据进行标注，得到标签数据，所述标签数据包括情绪类型和所述情绪类型对应的情绪得分；

获取初始的第一神经网络模型、第二神经网络模型、第三神经网络模型和第四神经网络模型；

以所述样本语音序列作为所述第一神经网络模型的输入，以所述样本面部图像序列作为所述第二神经网络模型的输入，以所述样本人体姿态图像序列作为所述第三神经网络模型的输入，以所述第一神经网络模型、所述第二神经网络模型和所述第三神经网络模型的输出作为所述第四神经网络模型的输入，以所述标签数据作为所述第四神经网络模型的输出，对所述第一神经网络模型、所述第二神经网络模型、所述第三神经网络模型和所述第四神经网络模型进行训练；

将训练后的所述第一神经网络模型确定为所述语音特征提取网络，将训练后的所述第二神经网络模型确定为所述面部特征提取网络，将训练后的所述第三神经网络模型确定为所述姿态特征提取网络，将训练后的所述第四神经网络模型确定为所述情绪预测网络。

根据本发明提供的一种情绪分析方法，所述基于所述语音情绪特征信息、所述面部情绪特征信息和所述姿态情绪特征信息，利用所述情绪预测网络确定所述待处理人体特征数据的多维度情绪得分包括：

将所述语音情绪特征信息、所述面部情绪特征信息和所述姿态情绪特征信息输入所述情绪预测网络，对所述语音情绪特征信息、所述面部情绪特征信息和所述姿态情绪特征信息进行感知映射，获得所述情绪预测网络输出的所述待处理人体特征数据的多维度情绪得分。

根据本发明提供的一种情绪分析方法，所述多模态情绪分析模型还包括第一权重、第二权重和第三权重，所述情绪分析方法还包括：

获取样本数据，所述样本数据中包括样本语音序列、样本面部图像序列和样本人体姿态图像序列；

对所述样本数据进行标注，得到标签数据，所述标签数据包括情绪类型和所述情绪类型对应的情绪得分；

获取初始的第一神经网络模型、第二神经网络模型、第三神经网络模型和第四神经网络模型；

为所述第一神经网络模型的输出添加第一训练权重、为所述第二神经网络模型的输出添加第二训练权重且为所述第三神经网络模型的输出添加第三训练权重，分别得到第一输出、第二输出和第三输出；

以所述样本语音序列作为所述第一神经网络模型的输入，以所述样本面部图像序列作为所述第二神经网络模型的输入，以所述样本人体姿态图像序列作为所述第三神经网络模型的输入，以所述第一输出、所述第二输出和所述第三输出作为所述第四神经网络模型的输入，以所述标签数据作为所述第四神经网络模型的输出，对所述第一神经网络模型、所述第二神经网络模型、所述第三神经网络模型、所述第四神经网络模型、所述第一训练权重、所述第二训练权重和所述第三训练权重进行训练；

将训练后的所述第一神经网络模型确定为所述语音特征提取网络，将训练后的所述第二神经网络模型确定为所述面部特征提取网络，将训练后的所述第三神经网络模型确定为所述姿态特征提取网络，将训练后的所述第四神经网络模型确定为所述情绪预测网络，将训练后的所述第一训练权重确定为所述第一权重值，将训练后的所述第二训练权重确定为所述第二权重值，将训练后的所述第三训练权重确定为所述第三权重值。

根据本发明提供的一种情绪分析方法，所述基于所述语音情绪特征信息、所述面部情绪特征信息和所述姿态情绪特征信息，利用所述情绪预测网络确定所述待处理人体特征数据的多维度情绪得分包括：

将所述语音情绪特征信息添加所述第一权重、将所述面部情绪特征信息添加所述第二权重且将所述姿态情绪特征信息添加所述第三权重后输入所述情绪预测网络，对添加权重值后的所述语音情绪特征信息、所述面部情绪特征信息和所述姿态情绪特征信息进行感知映射，获得所述情绪预测网络输出的所述待处理人体特征数据的多维度情绪得分。

本发明还提供一种情绪分析装置，包括：

获取模块，用于获取待处理人体特征数据，所述待处理人体特征数据包括待处理视频和与所述待处理视频同步的语音序列；

识别模块，用于识别所述待处理视频中的面部图像序列和人体姿态图像序列；

分析模块，用于将所述语音序列、所述面部图像序列和所述人体姿态图像序列输入多模态情绪分析模型，进行基于所述语音序列、所述面部图像序列和所述人体姿态图像序列的情绪识别与分析，获得所述多模态情绪分析模型输出的多维度情绪得分；

输出模块，用于输出所述多维度情绪得分。

本发明还提供一种电子设备，包括存储器、处理器及存储在存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述任一种所述情绪分析方法。

本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述情绪分析方法。

本发明还提供一种计算机程序产品，包括计算机程序，所述计算机程序被处理器执行时实现如上述任一种所述情绪分析方法。

本发明提供的情绪分析方法、装置及电子设备，通过获取待处理视频和与该待处理视频同步的语音序列，识别出待处理视频中的面部图像序列和人体姿态图像序列，然后将获得的语音序列、面部图像序列和人体姿态图像序列输入训练好的多模态情绪分析模型，进行基于语音序列、面部图像序列和人体姿态图像序列这三种模态的情绪识别分析，得到多维度情绪得分并输出，可以使用被测对象的语音序列、面部图像序列和人体姿态图像序列多个模态的数据，多角度融合分析被测对象的情绪，能够多方位考虑反映情绪的特征，提高了情绪识别的准确性。

附图说明

为了更清楚地说明本发明或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明提供的情绪分析方法的流程示意图；

图2是本发明提供的基于多模态情绪分析模型进行情绪识别与分析以获得多维度情绪得分的方法的流程示意图；

图3是本发明提供的训练多模态情绪分析模型的方法的流程示意图之一；

图4是本发明提供的利用多模态情绪分析模型进行情绪识别与分析以输出多维度情绪得分的原理示意图之一；

图5是本发明提供的训练多模态情绪分析模型的方法的流程示意图之二；

图6是本发明提供的利用多模态情绪分析模型进行情绪识别与分析以输出多维度情绪得分的原理示意图之二；

图7是本发明提供的情绪分析装置的结构示意图；

图8是本发明提供的电子设备的结构示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合本发明中的附图，对本发明中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

下面结合图1-图6描述本发明的情绪分析方法。该情绪分析方法可以应用于服务器、手机、电脑等电子设备或专门设计的智能设备中，也可以应用于设置在该电子设备或智能设备中的情绪分析装置中，该情绪分析装置可以通过软件、硬件或两者的结合来实现。

图1示例性示出了本发明提供的情绪分析方法的流程示意图，参照图1所示，该情绪分析方法可以包括如下的步骤110～步骤140。

步骤110：获取待处理人体特征数据，待处理人体特征数据包括待处理视频和与待处理视频同步的语音序列。

待处理视频可以从摄像头获取，语音序列可以从语音采集装置获取，比如，电子设备中可以包括摄像头和语音采集装置，语音采集装置比如为麦克风，摄像头和语音采集装置可以配合工作，在检测范围内采集待处理人体特征数据，也就是，摄像头可以采集其检测范围内的视频流，同时，语音采集装置可以同步采集语音信息，得到待处理视频和与该待处理视频同步的语音序列。示例性的，电子设备也可以从外置的摄像头和语音采集装置分别获取待处理视频和语音信息。

步骤120：识别待处理视频中的面部图像序列和人体姿态图像序列。

获取到待处理视频之后，可以对该待处理视频进行解析，提取其中的面部图像序列和人体姿态图像序列。比如，可以对待处理视频进行解析，获取到连续的图像帧，然后对每一帧图像进行目标检测，识别出其中的人物图像，将该人物图像分别作为面部图像序列和人体姿态图像序列。示例性的，获取到连续的图像帧之后，也可以每隔设定数量的图像帧，从中获取一帧图像进行目标检测。

步骤130：将语音序列、面部图像序列和人体姿态图像序列输入多模态情绪分析模型，进行基于语音序列、面部图像序列和人体姿态图像序列的情绪识别与分析，获得多模态情绪分析模型输出的多维度情绪得分。

多模态情绪分析模型用于对语音序列、面部图像序列和人体姿态图像序列进行情绪识别与分析，输出多维度情绪得分。多维度情绪得分可以表征同一时刻多种类型情绪的得分，比如人物A在同一时刻可以存在生气和伤心两种情绪，通过多模态情绪分析模型的情绪识别与分析后，可以识别出生气和伤心两种情绪，且可以得到生气情绪的得分和伤心情绪的得分，通过情绪得分可以反映出情绪的表现程度。

一种示例实施例中，多模态情绪分析模型可以包括语音特征提取网络、面部特征提取网络、姿态特征提取网络和情绪预测网络，语音特征提取网络、面部特征提取网络和姿态特征提取网络的输入作为多模态情绪分析模型的输入，语音特征提取网络、面部特征提取网络和姿态特征提取网络的输出可以作为情绪预测网络的输入或者添加权重后作为情绪预测网络的输入，情绪预测网络的输出作为多模态情绪分析模型的输出。

示例性的，图2示出了本发明提供的基于多模态情绪分析模型进行情绪识别与分析以获得多维度情绪得分的方法的流程示意图，该方法将语音序列、面部图像序列和人体姿态图像序列输入多模态情绪分析模型，进行基于语音序列、面部图像序列和人体姿态图像序列的情绪识别与分析，获得多模态情绪分析模型输出的多维度情绪得分。参照图2所示，该方法可以包括如下的步骤210～步骤240。

步骤210：将语音序列、面部图像序列和人体姿态图像序列输入多模态情绪分析模型，利用语音特征提取网络对语音序列进行语音特征提取，得到语音特征提取网络输出的语音情绪特征信息。语音情绪特征信息比如可以包括积极、平静和消极等语音情绪特征中的至少一种，但不限于此。

步骤220：利用面部特征提取网络对面部图像序列进行面部特征提取，得到面部特征提取网络输出的面部情绪特征信息。面部情绪特征信息比如可以包括正常、开心、伤心、生气等面部表情特征中的至少一种，但不限于此。

步骤230：利用姿态特征提取网络对人体姿态图像序列进行姿态特征提取，得到姿态特征提取网络输出的姿态情绪特征信息。

人在不同情绪状态下会有不同的肢体动作，通过姿态特征提取网络对人体姿态图像序列进行姿态特征提取，可以获得人体姿态图像序列中肢体动作对应的肢体情绪特征，得到姿态情绪特征信息。该姿态情绪特征信息比如可以包括平静、激动、愤怒、开心、害怕等其中至少一种肢体情绪特征，但不限于此。

步骤240：基于语音情绪特征信息、面部情绪特征信息和姿态情绪特征信息，利用情绪预测网络确定待处理人体特征数据的多维度情绪得分。情绪预测网络可以用于对语音情绪特征信息、面部情绪特征信息和姿态情绪特征信息进行多层感知计算和映射，输出多维度情绪得分。

在本发明实施例中，语音特征提取网络、面部特征提取网络、姿态特征提取网络和情绪预测网络可以基于样本语音序列、样本面部图像序列、样本人体姿态图像序列及标注的情绪类型与该情绪类型对应的情绪得分对初始的神经网络模型进行训练得到。相应的，本发明提供的情绪分析方法还可以包括训练多模态情绪分析模型的步骤。具体的，图3示例性示出了本发明提供的训练多模态情绪分析模型的方法的流程示意图之一，参照图3所示，该方法可以包括如下的步骤310～步骤350。

步骤310：获取样本数据，样本数据中包括样本语音序列、样本面部图像序列和样本人体姿态图像序列。

样本语音序列可以是利用语音采集装置采集的大量语音序列，样本面部图像序列和样本人体姿态图像序列可以是从摄像头采集的大量视频中获取。

步骤320：对样本数据进行标注，得到标签数据，标签数据包括情绪类型和情绪类型对应的情绪得分。

获取到样本数据之后，可以对该样本数据进行情绪类型和情绪类型对应的情绪得分的标注，情绪类型比如可以包括平静、激动、愤怒、悲伤、快乐、恐惧、兴奋、焦虑等其中的至少一种，但不限于此。可以对样本数据中的各类情绪标注类型标签，每一种类型的情绪可以用得分来表示该类型情绪所表现出来的程度，比如可以用1-5分的打分区间进行得分标注，分值越高表示相应情绪表现的越明显。

示例性的，在对样本数据进行标注之前，还可以对样本数据进行清洗处理，通过清洗滤除掉无用的样本，比如过滤掉不含人物的图像。

步骤330：获取初始的第一神经网络模型、第二神经网络模型、第三神经网络模型和第四神经网络模型。

初始的第一神经网络模型、第二神经网络模型、第三神经网络模型和第四神经网络模型可以是预设的基础神经网络模型，初始的第一神经网络模型比如可以是循环神经网络(Recurrent Neural Network Transducer，RNN)、循环神经网络变换器(RecurrentNeural Network Transducer，RNN-T)、长短期记忆网络(Long Short-Term Memory，LSTM)、Transformer特征提取网络等可以识别语音的神经网络；初始的第二神经网络模型比如可以是卷积神经网络(Convolutional Neural Networks，CNN)、RNN等可以实现面部图像识别的神经网络；初始的第三神经网络模型比如可以是CNN、级联金字塔网络(CascadingPyramid Network，CPN)等可以检测人体姿态的神经网络；初始的第四神经网络模型比如可以是多层感知器神经网络等。

步骤340：以样本语音序列作为第一神经网络模型的输入，以样本面部图像序列作为第二神经网络模型的输入，以样本人体姿态图像序列作为第三神经网络模型的输入，以第一神经网络模型、第二神经网络模型和第三神经网络模型的输出作为第四神经网络模型的输入，以标签数据作为第四神经网络模型的输出，对第一神经网络模型、第二神经网络模型、第三神经网络模型和第四神经网络模型进行训练。

步骤350：将训练后的第一神经网络模型确定为语音特征提取网络，将训练后的第二神经网络模型确定为面部特征提取网络，将训练后的第三神经网络模型确定为姿态特征提取网络，将训练后的第四神经网络模型确定为情绪预测网络。

一种示例实施例中，基于图3对应实施例的多模态情绪分析模型及其训练方法，基于语音情绪特征信息、面部情绪特征信息和姿态情绪特征信息，利用情绪预测网络确定待处理人体特征数据的多维度情绪得分可以包括：将语音情绪特征信息、面部情绪特征信息和姿态情绪特征信息输入情绪预测网络，对语音情绪特征信息、面部情绪特征信息和姿态情绪特征信息进行计算分析，获得情绪预测网络输出的待处理人体特征数据的多维度情绪得分。

例如，图4示例性示出了本发明提供的利用多模态情绪分析模型进行情绪识别与分析以输出多维度情绪得分的原理示意图之一，参照图4所示，多模态情绪分析模型的输入可以分为三部分，第一部分为语音序列，第二部分为面部图像序列，第三部分为人体姿态图像序列。语音序列经语音特征提取网络处理，提取出语音情绪特征信息；面部图像序列经面部特征提取网络处理，提取出面部情绪特征信息；人体姿态图像序列经姿态特征提取网络处理，提取出姿态情绪特征信息。这三部分特征信息合并作为下一级网络的输入，也即情绪预测网络的输入，经情绪预测网络的多层感知映射出多维度情绪得分，比如得到悲伤情绪5分、失望情绪4分和困惑情绪1分三个维度的情绪得分。示例性的，可以将语音情绪特征信息、面部情绪特征信息和姿态情绪特征信息这三部分特征信息合并为特征矢量传递到情绪预测网络的输入层。示例性的，进行特征信息合并时可以是将每个特征信息矢量归一化后合并为多维度的特征矢量。

在一种示例实施例中，图5示例性示出了本发明提供的训练多模态情绪分析模型的方法的流程示意图之二，其中，多模态情绪分析模型还可以包括第一权重值、第二权重值和第三权重值，参照图5所示，该方法可以包括如下的步骤510～步骤560。

步骤510：获取样本数据，样本数据中包括样本语音序列、样本面部图像序列和样本人体姿态图像序列。

步骤520：对样本数据进行标注，得到标签数据，标签数据包括情绪类型和情绪类型对应的情绪得分。

步骤530：获取初始的第一神经网络模型、第二神经网络模型、第三神经网络模型和第四神经网络模型。

步骤540：为第一神经网络模型的输出添加第一训练权重、为第二神经网络模型的输出添加第二训练权重且为第三神经网络模型的输出添加第三训练权重，分别得到第一输出、第二输出和第三输出。

第一训练权重、第二训练权重和第三训练权重为可调的权重参量，可以作为模型的参数参与模型训练，通过训练得到具体的权重值。

步骤550：以样本语音序列作为第一神经网络模型的输入，以样本面部图像序列作为第二神经网络模型的输入，以样本人体姿态图像序列作为第三神经网络模型的输入，以第一输出、第二输出和第三输出作为第四神经网络模型的输入，以标签数据作为第四神经网络模型的输出，对第一神经网络模型、第二神经网络模型、第三神经网络模型、第四神经网络模型、第一训练权重、第二训练权重和第三训练权重进行训练。

步骤560：将训练后的第一神经网络模型确定为语音特征提取网络，将训练后的第二神经网络模型确定为面部特征提取网络，将训练后的第三神经网络模型确定为姿态特征提取网络，将训练后的第四神经网络模型确定为情绪预测网络，将训练后的第一训练权重确定为第一权重值，将训练后的第二训练权重确定为第二权重值，将训练后的第三训练权重确定为第三权重值。

一种示例实施例中，基于图5对应实施例的多模态情绪分析模型及其训练方法，基于语音情绪特征信息、面部情绪特征信息和姿态情绪特征信息，利用情绪预测网络确定待处理人体特征数据的多维度情绪得分可以包括：将语音情绪特征信息添加第一权重值、将面部情绪特征信息添加第二权重值且将姿态情绪特征信息添加第三权重值后输入情绪预测网络，对添加权重值后的语音情绪特征信息、面部情绪特征信息和姿态情绪特征信息进行感知映射，获得情绪预测网络输出的待处理人体特征数据的多维度情绪得分。

例如，图6示例性示出了本发明提供的利用多模态情绪分析模型进行情绪识别与分析以输出多维度情绪得分的原理示意图之二，参照图6所示，多模态情绪分析模型的输入可以分为三部分，第一部分为语音序列，第二部分为面部图像序列，第三部分为人体姿态图像序列。语音序列经语音特征提取网络处理，提取出语音情绪特征信息；面部图像序列经面部特征提取网络处理，提取出面部情绪特征信息，该面部情绪特征信息可以是面部表情特征信息；人体姿态图像序列经姿态特征提取网络处理，提取出姿态情绪特征信息。这三部分特征信息可以根据各自不同的权重值进行合并，作为下一级网络的输入，也即作为情绪预测网络的输入，经情绪预测网络的多层感知映射出多维度情绪得分。

一种示例实施例中，每一部分的特征信息可以对应同一个权重值，比如，如图6所示，语音情绪特征信息对应第一权重值α，面部情绪特征信息对应第二权重值β，姿态情绪特征信息对应第三权重值δ；对语音特征提取网络提取出的语音情绪特征信息添加第一权重值α、对面部特征提取网络提取出的面部情绪特征信息添加第二权重值β且对姿态特征提取网络提取出的姿态情绪特征信息添加第三权重值δ后进行合并输入情绪预测网络。

另一种示例实施例中，每一部分的特征信息可以分为多种类型的特征，比如语音情绪特征信息可以分为积极、平静、消极等多种语音情绪特征，面部情绪特征信息可以分为正常、开心、伤心、生气等多种面部情绪特征，姿态情绪特征信息可以分为平静、激动、愤怒、开心、害怕等多种肢体情绪特征；对于每一部分的特征信息，可以分别为每一种类型特征赋予相应的权重，比如将语音情绪特征信息分为了3种语音情绪特征，可以为这3种语音情绪特征分别添加权重值α1、α2和α3，相应的，第一权重值α可以理解为α1、α2和α3构成的权重向量；对于面部情绪特征信息，可以为每种面部情绪特征设置相应的权重值，相应的，第二权重值β可以理解为由这些权重值构成的向量；对于姿态情绪特征信息，可以为每种人体姿态设置相应的权重值，相应的第三权重值δ可以理解为由这些权重值构成的向量。

这样，通过权重实现多模态信息融合，可以提高情绪识别与分析的准确率。

步骤140：输出多维度情绪得分。

得到多维度情绪得分之后，可以通过电子设备输出该多维度情绪得分，包括但不限于如下至少一种：在电子设备的显示屏上显示该多维度情绪得分，以报表的形式打印输出，发送给指定邮箱，通过社交软件发送给指定对象等。

本发明提供的情绪分析方法，通过获取待处理视频和与该待处理视频同步的语音序列，识别出待处理视频中的面部图像序列和人体姿态图像序列，然后将获得的语音序列、面部图像序列和人体姿态图像序列输入训练好的多模态情绪分析模型，进行基于语音序列、面部图像序列和人体姿态图像序列这三种模态的情绪识别分析，得到多维度情绪得分并输出。一方面，可以使用被测对象的语音序列、面部图像序列和人体姿态图像序列多个模态的数据，多角度融合分析被测对象的情绪，能够多方位考虑反映情绪的特征，提高了情绪识别的准确性；另一方面，利用多模态情绪分析模型进行情绪识别与分析，能够得到多维度情绪得分，通过该多维度情绪得分可以反映出同一时刻个体所表现出的多种情绪以及各情绪的表现程度，情绪识别结果更丰富。

下面对本发明提供的情绪分析装置进行描述，下文描述的情绪分析装置与上文描述的情绪分析方法可相互对应参照。

图7示例性示出了本发明提供的情绪分析装置的结构示意图，参照图7所示，该情绪分析装置700可以包括获取模块710、识别模块720、分析模块730和输出模块740。其中：获取模块710可以用于获取待处理人体特征数据，待处理人体特征数据包括待处理视频和与待处理视频同步的语音序列；识别模块720可以用于识别待处理视频中的面部图像序列和人体姿态图像序列；分析模块730可以用于将语音序列、面部图像序列和人体姿态图像序列输入多模态情绪分析模型，进行基于语音序列、面部图像序列和人体姿态图像序列的情绪识别与分析，获得多模态情绪分析模型输出的多维度情绪得分；输出模块740可以用于输出多维度情绪得分。

一种示例实施例中，多模态情绪分析模型包括语音特征提取网络、面部特征提取网络、姿态特征提取网络和情绪预测网络；分析模块730可以具体用于：将语音序列、面部图像序列和人体姿态图像序列输入多模态情绪分析模型，利用语音特征提取网络对语音序列进行语音特征提取，得到语音特征提取网络输出的语音情绪特征信息；利用面部特征提取网络对面部图像序列进行面部特征提取，得到面部特征提取网络输出的面部情绪特征信息；利用姿态特征提取网络对人体姿态图像序列进行姿态特征提取，得到姿态特征提取网络输出的姿态情绪特征信息；基于语音情绪特征信息、面部情绪特征信息和姿态情绪特征信息，利用情绪预测网络确定待处理人体特征数据的多维度情绪得分。

一种示例实施例中，情绪分析装置700还可以包括第一获取模块、标注模块、第二获取模块、第一训练模块和第一确定模块。其中：第一获取模块可以用于获取样本数据，样本数据中包括样本语音序列、样本面部图像序列和样本人体姿态图像序列；标注模块可以用于对样本数据进行标注，得到标签数据，标签数据包括情绪类型和情绪类型对应的情绪得分；第二获取模块可以用于获取初始的第一神经网络模型、第二神经网络模型、第三神经网络模型和第四神经网络模型；第一训练模块可以用于以样本语音序列作为第一神经网络模型的输入，以样本面部图像序列作为第二神经网络模型的输入，以样本人体姿态图像序列作为第三神经网络模型的输入，以第一神经网络模型、第二神经网络模型和第三神经网络模型的输出作为第四神经网络模型的输入，以标签数据作为第四神经网络模型的输出，对第一神经网络模型、第二神经网络模型、第三神经网络模型和第四神经网络模型进行训练；第一确定模块可以用于将训练后的第一神经网络模型确定为语音特征提取网络，将训练后的第二神经网络模型确定为面部特征提取网络，将训练后的第三神经网络模型确定为姿态特征提取网络，将训练后的第四神经网络模型确定为情绪预测网络。

一种示例实施例中，分析模块730在基于语音情绪特征信息、面部情绪特征信息和姿态情绪特征信息，利用情绪预测网络确定待处理人体特征数据的多维度情绪得分时可以具体用于将语音情绪特征信息、面部情绪特征信息和姿态情绪特征信息输入情绪预测网络，对语音情绪特征信息、面部情绪特征信息和姿态情绪特征信息进行感知映射，获得情绪预测网络输出的待处理人体特征数据的多维度情绪得分。

一种示例实施例中，多模态情绪分析模型还包括第一权重、第二权重和第三权重，情绪分析装置700还可以包括第一获取模块、标注模块、第二获取模块、添加模块、第二训练模块和第二确定模块。其中：第一获取模块可以用于获取样本数据，样本数据中包括样本语音序列、样本面部图像序列和样本人体姿态图像序列；标注模块可以用于对样本数据进行标注，得到标签数据，标签数据包括情绪类型和情绪类型对应的情绪得分；第二获取模块可以用于获取初始的第一神经网络模型、第二神经网络模型、第三神经网络模型和第四神经网络模型；添加模块可以用于为第一神经网络模型的输出添加第一训练权重、为第二神经网络模型的输出添加第二训练权重且为第三神经网络模型的输出添加第三训练权重，分别得到第一输出、第二输出和第三输出；第二训练模块可以用于以样本语音序列作为第一神经网络模型的输入，以样本面部图像序列作为第二神经网络模型的输入，以样本人体姿态图像序列作为第三神经网络模型的输入，以第一输出、第二输出和第三输出作为第四神经网络模型的输入，以标签数据作为第四神经网络模型的输出，对第一神经网络模型、第二神经网络模型、第三神经网络模型、第四神经网络模型、第一训练权重、第二训练权重和第三训练权重进行训练；第二确定模块可以用于将训练后的第一神经网络模型确定为语音特征提取网络，将训练后的第二神经网络模型确定为面部特征提取网络，将训练后的第三神经网络模型确定为姿态特征提取网络，将训练后的第四神经网络模型确定为情绪预测网络，将训练后的第一训练权重确定为第一权重值，将训练后的第二训练权重确定为第二权重值，将训练后的第三训练权重确定为第三权重值。

一种示例实施例中，分析模块730在基于语音情绪特征信息、面部情绪特征信息和姿态情绪特征信息，利用情绪预测网络确定待处理人体特征数据的多维度情绪得分时可以具体用于将语音情绪特征信息添加第一权重、将面部情绪特征信息添加第二权重且将姿态情绪特征信息添加第三权重后输入情绪预测网络，对添加权重值后的语音情绪特征信息、面部情绪特征信息和姿态情绪特征信息进行感知映射，获得情绪预测网络输出的待处理人体特征数据的多维度情绪得分。

图8示例了一种电子设备的实体结构示意图，如图8所示，该电子设备800可以包括：处理器(processor)810、通信接口(Communication Interface)820、存储器(memory)830和通信总线840，其中，处理器810，通信接口820，存储器830通过通信总线840完成相互间的通信。处理器810可以调用存储器830中的逻辑指令，以执行上述各实施例所提供的情绪分析方法的步骤，例如可以包括：获取待处理人体特征数据，待处理人体特征数据包括待处理视频和与待处理视频同步的语音序列；识别待处理视频中的面部图像序列和人体姿态图像序列；将语音序列、面部图像序列和人体姿态图像序列输入多模态情绪分析模型，进行基于语音序列、面部图像序列和人体姿态图像序列的情绪识别与分析，获得多模态情绪分析模型输出的多维度情绪得分；输出多维度情绪得分。

此外，上述的存储器830中的逻辑指令可以通过软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。

另一方面，本发明还提供一种计算机程序产品，所述计算机程序产品包括计算机程序，该计算机程序可存储在非暂态计算机可读存储介质上，该计算机程序被处理器执行时，计算机能够执行上述各实施例所提供的情绪分析方法的步骤，例如可以包括：获取待处理人体特征数据，待处理人体特征数据包括待处理视频和与待处理视频同步的语音序列；识别待处理视频中的面部图像序列和人体姿态图像序列；将语音序列、面部图像序列和人体姿态图像序列输入多模态情绪分析模型，进行基于语音序列、面部图像序列和人体姿态图像序列的情绪识别与分析，获得多模态情绪分析模型输出的多维度情绪得分；输出多维度情绪得分。

又一方面，本发明还提供一种非暂态计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现上述各实施例所提供的情绪分析方法的步骤，例如可以包括：获取待处理人体特征数据，待处理人体特征数据包括待处理视频和与待处理视频同步的语音序列；识别待处理视频中的面部图像序列和人体姿态图像序列；将语音序列、面部图像序列和人体姿态图像序列输入多模态情绪分析模型，进行基于语音序列、面部图像序列和人体姿态图像序列的情绪识别与分析，获得多模态情绪分析模型输出的多维度情绪得分；输出多维度情绪得分。

以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。

通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行各个实施例或者实施例的某些部分所述的方法。

最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (10)

1.一种情绪分析方法，其特征在于，包括：

获取待处理人体特征数据，所述待处理人体特征数据包括待处理视频和与所述待处理视频同步的语音序列；

识别所述待处理视频中的面部图像序列和人体姿态图像序列；

将所述语音序列、所述面部图像序列和所述人体姿态图像序列输入多模态情绪分析模型，进行基于所述语音序列、所述面部图像序列和所述人体姿态图像序列的情绪识别与分析，获得所述多模态情绪分析模型输出的多维度情绪得分；

输出所述多维度情绪得分。

2.根据权利要求1所述的情绪分析方法，其特征在于，所述多模态情绪分析模型包括语音特征提取网络、面部特征提取网络、姿态特征提取网络和情绪预测网络；所述将所述语音序列、所述面部图像序列和所述人体姿态图像序列输入多模态情绪分析模型，进行基于所述语音序列、所述面部图像序列和所述人体姿态图像序列的情绪识别与分析，获得所述多模态情绪分析模型输出的多维度情绪得分包括：

将所述语音序列、所述面部图像序列和所述人体姿态图像序列输入所述多模态情绪分析模型，利用所述语音特征提取网络对所述语音序列进行语音特征提取，得到所述语音特征提取网络输出的语音情绪特征信息；

利用所述面部特征提取网络对所述面部图像序列进行面部特征提取，得到所述面部特征提取网络输出的面部情绪特征信息；

利用所述姿态特征提取网络对所述人体姿态图像序列进行姿态特征提取，得到所述姿态特征提取网络输出的姿态情绪特征信息；

基于所述语音情绪特征信息、所述面部情绪特征信息和所述姿态情绪特征信息，利用所述情绪预测网络确定所述待处理人体特征数据的多维度情绪得分。

3.根据权利要求2所述的情绪分析方法，其特征在于，所述情绪分析方法还包括：

获取样本数据，所述样本数据中包括样本语音序列、样本面部图像序列和样本人体姿态图像序列；

对所述样本数据进行标注，得到标签数据，所述标签数据包括情绪类型和所述情绪类型对应的情绪得分；

获取初始的第一神经网络模型、第二神经网络模型、第三神经网络模型和第四神经网络模型；

以所述样本语音序列作为所述第一神经网络模型的输入，以所述样本面部图像序列作为所述第二神经网络模型的输入，以所述样本人体姿态图像序列作为所述第三神经网络模型的输入，以所述第一神经网络模型、所述第二神经网络模型和所述第三神经网络模型的输出作为所述第四神经网络模型的输入，以所述标签数据作为所述第四神经网络模型的输出，对所述第一神经网络模型、所述第二神经网络模型、所述第三神经网络模型和所述第四神经网络模型进行训练；

将训练后的所述第一神经网络模型确定为所述语音特征提取网络，将训练后的所述第二神经网络模型确定为所述面部特征提取网络，将训练后的所述第三神经网络模型确定为所述姿态特征提取网络，将训练后的所述第四神经网络模型确定为所述情绪预测网络。

4.根据权利要求3所述的情绪分析方法，其特征在于，所述基于所述语音情绪特征信息、所述面部情绪特征信息和所述姿态情绪特征信息，利用所述情绪预测网络确定所述待处理人体特征数据的多维度情绪得分包括：

将所述语音情绪特征信息、所述面部情绪特征信息和所述姿态情绪特征信息输入所述情绪预测网络，对所述语音情绪特征信息、所述面部情绪特征信息和所述姿态情绪特征信息进行感知映射，获得所述情绪预测网络输出的所述待处理人体特征数据的多维度情绪得分。

5.根据权利要求2所述的情绪分析方法，其特征在于，所述多模态情绪分析模型还包括第一权重、第二权重和第三权重，所述情绪分析方法还包括：

获取样本数据，所述样本数据中包括样本语音序列、样本面部图像序列和样本人体姿态图像序列；

对所述样本数据进行标注，得到标签数据，所述标签数据包括情绪类型和所述情绪类型对应的情绪得分；

获取初始的第一神经网络模型、第二神经网络模型、第三神经网络模型和第四神经网络模型；

为所述第一神经网络模型的输出添加第一训练权重、为所述第二神经网络模型的输出添加第二训练权重且为所述第三神经网络模型的输出添加第三训练权重，分别得到第一输出、第二输出和第三输出；

以所述样本语音序列作为所述第一神经网络模型的输入，以所述样本面部图像序列作为所述第二神经网络模型的输入，以所述样本人体姿态图像序列作为所述第三神经网络模型的输入，以所述第一输出、所述第二输出和所述第三输出作为所述第四神经网络模型的输入，以所述标签数据作为所述第四神经网络模型的输出，对所述第一神经网络模型、所述第二神经网络模型、所述第三神经网络模型、所述第四神经网络模型、所述第一训练权重、所述第二训练权重和所述第三训练权重进行训练；

将训练后的所述第一神经网络模型确定为所述语音特征提取网络，将训练后的所述第二神经网络模型确定为所述面部特征提取网络，将训练后的所述第三神经网络模型确定为所述姿态特征提取网络，将训练后的所述第四神经网络模型确定为所述情绪预测网络，将训练后的所述第一训练权重确定为所述第一权重值，将训练后的所述第二训练权重确定为所述第二权重值，将训练后的所述第三训练权重确定为所述第三权重值。

6.根据权利要求5所述的情绪分析方法，其特征在于，所述基于所述语音情绪特征信息、所述面部情绪特征信息和所述姿态情绪特征信息，利用所述情绪预测网络确定所述待处理人体特征数据的多维度情绪得分包括：

将所述语音情绪特征信息添加所述第一权重、将所述面部情绪特征信息添加所述第二权重且将所述姿态情绪特征信息添加所述第三权重后输入所述情绪预测网络，对添加权重值后的所述语音情绪特征信息、所述面部情绪特征信息和所述姿态情绪特征信息进行感知映射，获得所述情绪预测网络输出的所述待处理人体特征数据的多维度情绪得分。

7.一种情绪分析装置，其特征在于，包括：

获取模块，用于获取待处理人体特征数据，所述待处理人体特征数据包括待处理视频和与所述待处理视频同步的语音序列；

识别模块，用于识别所述待处理视频中的面部图像序列和人体姿态图像序列；

分析模块，用于将所述语音序列、所述面部图像序列和所述人体姿态图像序列输入多模态情绪分析模型，进行基于所述语音序列、所述面部图像序列和所述人体姿态图像序列的情绪识别与分析，获得所述多模态情绪分析模型输出的多维度情绪得分；

输出模块，用于输出所述多维度情绪得分。

8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述的情绪分析方法。

9.一种非暂态计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的情绪分析方法。

10.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的情绪分析方法。

Images