CN114332990A - 一种情绪识别方法、装置、设备及介质 - Google Patents

Abstract

本申请涉及一种情绪识别方法、装置、设备及介质，本申请通过获取目标对象的目标脸部图像，利用特征提取模型对目标脸部图像进行特征提取，得到图像特征向量，将图像特征向量输入关键点检测模型，得到人脸部位上与情绪关联的人脸关键点的人脸关键点信息，利用情绪识别模型对图像特征向量和人脸关键点信息进行情绪识别处理，得到目标对象的情绪类别信息，将图像特征向量和与情绪相关联的人脸关键点信息共同作为情绪识别模型的输入，大大提高了情绪类别结果的准确性，提高情绪识别模型识别处理的效率。

Description

一种情绪识别方法、装置、设备及介质

技术领域

本发明涉及数据处理领域，尤其涉及一种情绪识别方法、装置、设备及介质。

背景技术

随着科技的不断发展，情绪识别的应用越来越广泛，例如可以被用于制成测谎仪、应用于心理诊所、反恐预警、疲劳驾驶提醒等。现有的情绪识别技术，需要大量的有标注的图像数据进行模型训练，其模型精度依赖训练数据的数量和质量。但是人类的情绪是一种较为复杂的任务，比如对于开心，每个人的面部特征有相似的表达但具体又是有差异的，而想要遍历所有的样本空间是极其困难的，所以会影响学习的模型精度，或者训练出的模型进行情绪识别时，结果不够准确。

发明内容

为了解决上述技术问题，本发明提供一种情绪识别方法、装置、设备及介质，可以大大提高情绪识别结果的准确性。

根据本公开实施例的第一方面，提供一种情绪识别方法，该方法包括：

获取目标对象的目标脸部图像；

利用特征提取模型对所述目标脸部图像进行特征提取，得到图像特征向量；

将所述图像特征向量输入关键点检测模型，得到人脸关键点信息；其中，所述人脸关键点表征人脸部位上与情绪关联的关键点；

利用情绪识别模型对所述图像特征向量和所述人脸关键点信息进行情绪识别处理，得到所述目标对象的情绪类别信息。

在一种可能的实现方式中，所述利用情绪识别模型对所述图像特征向量和所述人脸关键点信息进行情绪识别处理，得到所述目标对象的情绪类别信息之前，所述方法还包括：

根据所述人脸关键点信息，得到目标情绪参考信息；

所述利用情绪识别模型对所述图像特征向量和所述人脸关键点信息进行情绪识别处理，得到所述目标对象的情绪类别信息包括：

将所述图像特征向量和所述人脸关键点信息进行拼接，得到目标特征向量；

利用所述情绪识别模型对所述目标特征向量进行情绪识别处理，得到所述目标对象的情绪类别信息。

在一种可能的实现方式中，所述人脸关键点信息包括第一关键点信息和第二关键点信息，其中，第一关键点和第二关键点位于目标人脸部位；

所述根据所述人脸关键点信息，得到目标情绪参考信息包括：

根据所述第一关键点信息和所述第二关键点信息，得到所述目标人脸部位的情绪参考信息，并将所述目标人脸部位的情绪参考信息作为所述目标情绪参考信息。

在一种可能的实现方式中，所述人脸关键点信息包括第一关键点信息和第二关键点信息，其中，第一关键点位于第一目标人脸部位，第二关键点位于第二目标人脸部位；

所述根据所述人脸关键点信息，得到目标情绪参考信息包括：

根据所述第一关键点信息和所述第一目标人脸部位对应的第一权重，得到第一目标人脸部位的情绪参考信息；

根据所述第二关键点信息和所述第二目标人脸部位对应的第二权重，得到第二目标人脸部位的情绪参考信息；

对所述第一目标人脸部位的情绪参考信息和所述第二目标部位的情绪参考信息进行整合处理，得到所述目标情绪参考信息。

在一种可能的实现方式中，所述方法还包括：

获取多个样本数据以及对应数据标签，所述多个样本数据包括多个样本人脸图像的样本图像特征向量和样本人脸关键点信息；所述数据标签为所述样本人脸图像中对象的情绪类别信息；

将多个所述样本人脸图像的所述样本图像特征向量和所述样本人脸关键点信息输入预设机器学习模型进行类别预测处理，得到所述多个样本人脸图像中对象的情绪类别预测信息；

基于所述情绪类别预测信息和所述对应数据标签，训练所述预设机器学习模型，得到所述情绪识别模型。

在一种可能的实现方式中，所述获取目标对象的目标脸部图像之前，所述方法还包括：

采集所述目标对象在连续时间段内预设数量帧的脸部图像；

从所述预设数量帧的脸部图像中，得到目标脸部图像。

在一种可能的实现方式中，所述方法还包括：

获取所述目标对象的生理信息；

所述利用情绪模型对所述图像特征向量和所述人脸关键点信息进行情绪识别处理，得到所述目标对象的情绪类别信息包括：

利用所述情绪识别模型对所述图像特征向量、所述人脸关键点信息和所述目标对象的生理信息进行情绪识别处理，得到所述目标对象的情绪类别信息。

根据本公开实施例的第二方面，提供一种情绪识别装置，所述装置可以包括：

目标脸部图像获取模块，用于获取目标对象的目标脸部图像；

特征提取模块，用于利用特征提取模型对所述目标脸部图像进行特征提取，得到图像特征向量；

关键点信息确定模块，用于将所述图像特征向量输入关键点检测模型，得到人脸关键点信息；其中，所述人脸关键点表征人脸部位上与情绪关联的关键点；

情绪识别模块，用于利用情绪识别模型对所述图像特征向量和所述人脸关键点信息进行情绪识别处理，得到所述目标对象的情绪类别信息。

根据本公开实施例的第三方面，提供一种电子设备，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现上述第一方面中任一项所述方法。

根据本公开实施例的第四方面，提供一种计算机可读存储介质，当所述计算机可读存储介质中的指令由车辆功能系统的测试装置/电子设备的处理器执行时，使得所述电子设备能够执行本公开实施例的第一方面中任一所述方法。

根据本公开实施例的第五方面，提供一种计算机程序产品，使得计算机执行本公开实施例的第一方面中任一项所述方法。

实施本申请，具有如下有益效果：

本申请通过获取目标对象的目标脸部图像，利用特征提取模型对目标脸部图像进行特征提取，得到图像特征向量，将图像特征向量输入关键点检测模型，得到人脸关键点信息，其中人脸关键点表征人脸部位上与情绪关联的关键点，利用情绪识别模型对图像特征向量和人脸关键点信息进行情绪识别处理，得到目标对象的情绪类别信息，将图像特征向量和与情绪相关联的人脸关键点信息共同作为情绪识别模型的输入，大大提高了情绪类别结果的准确性，提高情绪识别模型识别处理的效率。

附图说明

为了更清楚地说明本申请的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它附图。

图1为本申请实施例提供的一种情绪识别方法的流程示意图。

图2为本申请实施例提供的一种人脸关键点示意图。

图3为本申请另一实施例提供的一种情绪识别方法的流程示意图。

图4为本申请另一实施例提供的根据人脸关键点信息，得到目标情绪参考信息方法的流程示意图。

图5为本申请实施例提供的一种通过样本数据训练得到情绪识别模型的流程示意图。

图6是本申请另一实施例提供的一种情绪识别方法的流程示意图。

图7是本申请另一实施例提供的一种情绪识别方法的流程示意图。

图8是本申请实施例提供的一种情绪识别装置的示意图。

图9是根据一示例性实施例示出的一种用于情绪识别方法的电子设备的框图。

具体实施方式

为了使本技术领域的人员更好地理解本申请中的技术方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或服务器不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

为了实现本申请的技术方案，让更多的工程技术工作者容易了解和应用本申请，将结合具体的实施例，进一步阐述本申请的工作原理。

本申请可应用于数据处理领域，尤其涉及一种情绪识别方法、装置、设备及介质。

请参考图1，其所示为本申请实施例提供的一种情绪识别方法的流程示意图。本说明书提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例列入的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。具体的，如图1所示，该方法可以包括：

S101：获取目标对象的目标脸部图像。

本说明书实施例中，目标对象是指确定情绪类别的对象，具体可以为坐着的、行走的等各种状态的人。目标脸部图像是指包含目标对象的脸部在内的图像。具体的，目标脸部图像可以为连续多个图像，也可以为单个图像，本申请对此不作限定。

实际应用中，目标对象的目标脸部图像可以是实时采集的，例如，车辆中对司机实时进行脸部图像的拍摄。目标对象的目标脸部图像也可以是从一些录制好的视频中提取的。本申请对此不作限定。

S102：利用特征提取模型对目标脸部图像进行特征提取，得到图像特征向量。

本说明书实施例中，特征提取模型可以是基于训练样本集对预设特征提取模型进行训练得到的。将目标脸部图像输入特征提取模型，可以得到特征提取模型的特征向量。具体的，目标脸部图像可以是以像素信息的形式输入至特征提取模型。特征提取模型可以根据目标脸部图像的像素信息得到表征图像特征的浮点数向量。

S103：将图像特征向量输入关键点检测模型，得到人脸关键点信息。其中，人脸关键点表征人脸部位上与情绪关联的关键点。

本说明书实施例中，人脸关键点是人脸上与情绪关联的特定部位的关键点，例如，嘴巴上的关键点(图2a中21、22、23、24)可以反映嘴角上扬或者下垂程度，从而表征对应的目标对象是否存在开心或者伤心等情绪；或者可以是眉毛上的关键点(图2b中25、26、27)，可以反映眉毛舒展或皱眉程度，从而表征对应的目标对象是否存在懊恼或者生气等情绪。

实际应用中，关键点检测模型可以是基于训练样本集对预设关键点检测模型进行训练得到的。

S104：利用情绪识别模型对图像特征向量和人脸关键点信息进行情绪识别处理，得到目标对象的情绪类别信息。

本说明书实施例中，情绪识别模型可以包括但不限于卷积神经网络。具体的，在情绪识别模型的连接层中，可以对图像特征向量和人脸关键点信息进行特征合并处理，得到目标脸部图像的语义特征。在情绪识别模型的多层感知器中，对目标脸部图像的语义特征的权重进行拟合处理，得到目标对象的情绪类别信息与多个预设标签的关联分值。该关联分值可以包括能够反映目标对象的情绪类别信息与多个预设标签的相关程度的字符化表征通过预设的规则量化的一特定值；当目标对象的情绪类别信息与预设标签的相关程度越高，该关联分值越高；反之，当目标对象的情绪类别信息与预设标签的相关程度越低，该关联分值越低。

该实施例通过获取目标对象的目标脸部图像，利用特征提取模型对目标脸部图像进行特征提取，得到图像特征向量，将图像特征向量输入关键点检测模型，得到人脸部位上与情绪关联的人脸关键点的人脸关键点信息，利用情绪识别模型对图像特征向量和人脸关键点信息进行情绪识别处理，得到目标对象的情绪类别信息，将图像特征向量和与情绪相关联的人脸关键点信息共同作为情绪识别模型的输入，大大提高了情绪类别结果的准确性，提高情绪识别模型识别处理的效率。

在一示例性的实施方式中，如图3所示，该方法可以包括：

S101：获取目标对象的目标脸部图像。

S102：利用特征提取模型对目标脸部图像进行特征提取，得到图像特征向量。

S103：将图像特征向量输入关键点检测模型，得到人脸关键点信息。其中，人脸关键点表征人脸部位上与情绪关联的关键点。

S301：根据人脸关键点信息，得到目标情绪参考信息。

本说明书实施例中，目标情绪参考信息可以是指能够指示目标对象有预设情绪或能够指示目标对象没有预设情绪的参考信息。可以根据人脸关键点信息确定指向一种情绪类别的目标情绪参考信息，也可以根据人脸关键点信息确定多种情绪类别的目标情绪参考信息。目标情绪参考信息可以用于指示一种情绪类别的可能性，例如：该目标情绪参考信息可以为“高兴1”或者“伤心-1”，其中，“高兴”或“伤心”可以是通过人脸关键信息得到的相关情绪，“1”和“-1”指示是否为该情绪，“高兴1”用于可以表示目标对象的情绪类别为高兴的可能性较高，“伤心-1”可以用于表示目标对象的情绪类别为伤心的可能性较低。考虑到情绪的复杂性，目标情绪参考信息可以用于指示多种情绪类别的可能性，例如：该目标情绪参考信息可以包括目标对象可能的多种情绪类别及该多种情绪类别各自对应的概率。

S302：将图像特征向量和目标情绪参考信息进行拼接，得到目标特征向量。

本说明书实施例中，可以将图像特征向量和人脸关键点信息拼接成一维向量，将所述一维向量作为目标特征向量。

S303：利用情绪识别模型对目标特征向量进行情绪识别处理，得到目标对象的情绪类别信息。

本说明书实施例中，将目标特征向量输入情绪识别模型，可以得到目标对象的情绪类别信息。

该实施例通过根据人脸关键点信息，得到目标情绪参考信息，将图像特征向量和目标情绪参考信息进行拼接，得到目标特征向量，并将目标特征向量作为情绪识别模型的输入，得到目标对象的情绪类别信息，可以将图像特征向量和直接的目标情绪参考信息共同作为情绪识别模型的输入，大大提高了情绪类别结果的准确性，并且在情绪识别模型进行情绪识别前，将人脸关键点信息处理为目标情绪参考信息，可以提高情绪识别模型的处理效率，从而提高整体的情绪识别效率。

在一些实施例中，人脸关键点信息可以包括第一关键点信息和第二关键点信息，其中，第一关键点和第二关键点位于目标人脸部位。

相应的，步骤S301，根据人脸关键点信息，得到目标情绪参考信息可以包括：根据第一关键点信息和第二关键点信息，得到目标人脸部位的情绪参考信息，并将目标人脸部位的情绪参考信息作为目标情绪参考信息。

该实施例中，第一关键点可以为至少一个，第二关键点可以为至少一个，本申请对第一关键点和第二关键点的数量不作限定。第一关键点和第二关键点位于的目标人脸部位，可以为嘴巴、眼睛或者眉毛中的任一部位。第一关键点信息可以是指第一关键点在目标脸部图像上的位置信息，第二关键点信息可以是指第二关键点在目标脸部图像上的位置信息。通过第一关键点和第二关键点各自在目标脸部图像上的位置信息，可以得到目标人脸部位的情绪参考信息。例如，第一关键点是单只眼睛上上眼睑中心的点和下眼睑中心的点，第二关键点是该只眼睛两个眼角的点。根据第一关键点和第二关键点的连线关系，可以确定眼睛的情绪参考信息。

该实施例中，通过根据第一关键点信息和第二关键点信息，得到目标人脸部位的情绪参考信息，并将目标人脸部位的情绪参考信息作为目标情绪参考信息，可以确定单个目标人脸部位的情绪参考信息，提高目标情绪参考信息确定处理的效率。

在一些实施方式中，人脸关键点信息可以包括第一关键点信息和第二关键点信息，其中第一关键点可以位于第一目标人脸部位，第二关键点可以位于第二目标人脸部位。

相应的，如图4所示，步骤S301，根据人脸关键点信息，得到目标情绪参考信息可以包括：

S401：根据第一关键点信息和第一目标人脸部位对应的第一权重，得到第一目标人脸部位的情绪参考信息。

该实施例中，第一目标人脸部位的第一关键点可以为多个，第一关键点信息可以为第一目标人脸部位的多个第一关键点在目标脸部的位置信息。

S402：根据第二关键点信息和第二目标人脸部位对应的第二权重，得到第二目标人脸部位的情绪参考信息。

该实施例中，第二目标人脸部位的第二关键点可以为多个，第二关键点信息可以为第二目标人脸部位的多个第二关键点在目标脸部的位置信息。

实际应用中，第一目标人脸部位对应的第一权重和第二目标人脸部位对应的第二权重，可以根据第一目标人脸部位和第二目标人脸部位对预设情绪类别的重要程度进行设置。例如，对于“高兴”这一情绪类别，可以设置嘴巴这一部位对应的权重高于眉毛这一部位的权重。

S403：对第一目标人脸部位的情绪参考信息和第二目标部位的情绪参考信息进行整合处理，得到目标情绪参考信息。

该实施例中，可以将第一目标人脸部位的情绪参考信息和第二目标部位的情绪参考信息进行加权，例如，第一目标人脸部位的情绪参考信息为权重为0.5的高兴情绪，第二目标人脸部位的情绪参考信息为权重为0.7的高兴情绪，加权后可以得到目标情绪参考信息为0.6的高兴情绪。或者可以预先确定多种情绪之间的关系，例如高兴和伤心可以设置为相反的情绪，第一目标人脸部位的情绪参考信息为高兴的概率是0.8，第二目标人脸部位的情绪参考信息为伤心的概率0.2，即为高兴的概率是-0.2，由此可以得到目标情绪参考信息为高兴的概率是0.6。

通过根据第一关键点信息和第一目标人脸部位对应的第一权重，得到第一目标人脸部位的情绪参考信息，根据第二关键点信息和第二目标人脸部位对应的第二权重，得到第二目标人脸部位的情绪参考信息，对第一目标人脸部位的情绪参考信息和第二目标部位的情绪参考信息进行整合处理，得到目标情绪参考信息，可以提高目标情绪参考信息的精确度，从而提高目标对象的情绪类别信息的准确性。

在一些实施方式中，可以通过样本数据训练的方式得到情绪识别模型，如图5所示，该方法还可以包括：

S501：获取多个样本数据以及对应数据标签。

本说明书实施例中，多个样本数据包括多个样本人脸图像的样本图像特征向量和样本人脸关键点信息。数据标签为样本人脸图像中对象的情绪类别信息。

S502：将多个样本人脸图像的样本图像特征向量和样本人脸关键点信息输入预设机器学习模型进行类别预测处理，得到多个样本人脸图像中对象的情绪类别预测信息。

本说明书实施例中，预设机器学习模型可以为VGG(Visual Geometry Group)卷积神经网络，本申请对此不作限定。

S503：基于情绪类别预测信息和对应数据标签，训练预设机器学习模型，得到情绪识别模型。

本说明书实施例中，可以根据情绪类别预测信息和对应数据标签，确定预设机器学习模型的损失函数，例如，可以取情绪类别预测信息和对应数据标签之间的差值，并将该差值的绝对值作为损失函数，或者取该差值的平方作为损失函数。根据情绪类别预测信息和对应数据标签，对预设机器学习模型进行训练，直至损失函数的值不再变化或损失函数的值小于阈值，得到情绪识别模型。

该实施例，通过获取多个样本数据以及对应数据标签，将多个样本人脸图像的样本图像特征向量和样本人脸关键点信息输入预设机器学习模型进行类别预测处理，得到多个样本人脸图像中对象的情绪类别预测信息，基于情绪类别预测信息和对应数据标签，训练预设机器学习模型，得到情绪识别模型，可以通过多个样本人脸图像的样本图像特征向量和样本人脸关键点信息之间的关系，提高情绪识别训练的准确率，从而训练得到准确的情绪识别模型。

在一些实施例中，如图6所示，获取目标对象的目标脸部图像之前，该方法还可以包括：

S601：采集目标对象在连续时间段内预设数量帧的脸部图像。

本说明书实施例中，可以采集连续时间段内包含目标对象脸部图像的图像队列，再从该图像队列中得到预设数量帧的脸部图像。例如可以采集连续15秒的图像数据，按照一秒钟的时间间隔，获取每一秒的中间帧图像，可以得到15帧的脸部图像。

S602：从预设数量帧的脸部图像中，得到目标脸部图像。

本说明书实施例中，可以从预设数量帧的脸部图像中，选取中间时刻的脸部图像，作为目标脸部图像。

该实施例通过采集目标对象在连续时间段内预设数量帧的脸部图像，从预设数量帧的脸部图像中，得到目标脸部图像，可以使目标脸部图像更为随机。

在一些实施例中，如图7所示，该方法还可以包括：

S701：获取目标对象的生理信息。

本说明书实施例中，生理信息可以是指受情绪影响的人体生理反应，例如心电、心率、呼吸、血压等人体生理反应。由于生理变化很少能够受人的主观控制，利用目标对象的生理信息，可以提高情绪识别的准确性。

相应的，利用情绪模型对图像特征向量和人脸关键点信息进行情绪识别处理，得到目标对象的情绪类别信息包括：

S702：利用情绪识别模型对图像特征向量、人脸关键点信息和目标对象的生理信息进行情绪识别处理，得到目标对象的情绪类别信息。

本说明书实施例中，可以在训练过程中的样本数据中加入目标对象的生理信息，由此训练得到情绪识别模型。

该实施例通过获取目标对象的生理信息，利用情绪识别模型对图像特征向量、人脸关键点信息和目标对象的生理信息进行情绪识别处理，得到目标对象的情绪类别信息，由于生理变化很少能够受人的主观控制，利用目标对象的生理信息，可以提高情绪识别的准确性。

本申请另一方面还提供一种情绪识别装置，如图8所示，该情绪识别装置800可以包括：

目标脸部图像获取模块801，用于获取目标对象的目标脸部图像；

特征提取模块802，用于利用特征提取模型对所述目标脸部图像进行特征提取，得到图像特征向量；

关键点信息确定模块803，用于将所述图像特征向量输入关键点检测模型，得到人脸关键点信息；其中，所述人脸关键点表征人脸部位上与情绪关联的关键点；

情绪识别模块804，用于利用情绪识别模型对所述图像特征向量和所述人脸关键点信息进行情绪识别处理，得到所述目标对象的情绪类别信息。

在一些实施例中，该装置还可以包括：

目标情绪参考信息确定模块，用于根据所述人脸关键点信息，得到目标情绪参考信息。

情绪识别模块804还可以用于将所述图像特征向量和所述目标情绪参考信息进行拼接，得到目标特征向量；利用所述情绪识别模型对所述目标特征向量进行情绪识别处理，得到所述目标对象的情绪类别信息。

在一些实施例中，目标情绪参考信息确定模块还可以用于根据所述第一关键点信息和所述第二关键点信息，得到所述目标人脸部位的情绪参考信息，并将所述目标人脸部位的情绪参考信息作为所述目标情绪参考信息。

在一些实施例中，目标情绪参考信息确定模块可以包括：

第一情绪参考信息确定单元，用于根据所述第一关键点信息和所述第一目标人脸部位对应的第一权重，得到第一目标人脸部位的情绪参考信息。

第二情绪参考信息确定单元，用于根据所述第二关键点信息和所述第二目标人脸部位对应的第二权重，得到第二目标人脸部位的情绪参考信息。

目标情绪参考信息确定单元，用于对所述第一目标人脸部位的情绪参考信息和所述第二目标部位的情绪参考信息进行整合处理，得到所述目标情绪参考信息。

在一些实施例中，该装置还可以包括：

样本获取模块，用于获取多个样本数据以及对应数据标签，所述多个样本数据包括多个样本人脸图像的样本图像特征向量和样本人脸关键点信息；所述数据标签为所述样本人脸图像中对象的情绪类别信息；

预测模块，用于将多个所述样本人脸图像的所述样本图像特征向量和所述样本人脸关键点信息输入预设机器学习模型进行类别预测处理，得到所述多个样本人脸图像中对象的情绪类别预测信息；

训练模块，用于基于所述情绪类别预测信息和所述对应数据标签，训练所述预设机器学习模型，得到所述情绪识别模型。

在一些实施例中，该装置还可以包括：

脸部图像采集模块，用于采集所述目标对象在连续时间段内预设数量帧的脸部图像；

目标脸部图像确定模块，用于从所述预设数量帧的脸部图像中，得到目标脸部图像。

在一些实施例中，该装置还可以包括：

生理信息获取模块，用于获取所述目标对象的生理信息；

情绪类别信息确定模块，用于利用所述情绪识别模型对所述图像特征向量、所述人脸关键点信息和所述目标对象的生理信息进行情绪识别处理，得到所述目标对象的情绪类别信息。

本申请另外还提供一种电子设备，该电子设备可以包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，该处理器被配置为执行该可执行指令，以实现上述任一实施例中的测试方法。

本申请另外还提供一种计算机可读存储介质，当计算机可读存储介质中的指令由车辆功能系统的测试装置/电子设备的处理器执行时，使得测试装置/电子设备能够实现上述任一实施例中的情绪识别方法。

图9是根据一示例性实施例示出的一种用于情绪识别方法的电子设备的框图，该电子设备可以是终端，其内部结构图可以如图9所示。该电子设备900包括通过系统总线连接的处理器901、存储器902、网络接口903、显示屏904和输入装置905。其中，该电子设备900的处理器901用于提供计算和控制能力。该电子设备900的存储器902包括非易失性存储介质906和内存储器。该非易失性存储介质906存储有操作系统907和计算机程序908。该内存储器为非易失性存储介质906中的操作系统907和计算机程序908的运行提供环境。该电子设备900的网络接口903用于与外部的服务器通过网络连接通信。该计算机程序被处理器执行时以实现一种情绪识别方法。该电子设备的显示屏904可以是液晶显示屏或者电子墨水显示屏，该电子设备900的输入装置905可以是显示屏上覆盖的触摸层，也可以是电子设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图9中示出的结构，仅仅是与本公开方案相关的部分结构的框图，并不构成对本公开方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

在示例性实施例中，还提供了一种计算机可读存储介质，当该计算机可读存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行本公开实施例中的虚拟对象构建方法。计算机可读存储介质可以是ROM、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光数据存储设备等。

本申请另外还提供一种计算机程序产品，包括计算机程序/指令，该计算机程序/指令被处理器执行时实现上述任一实施例中的情绪识别方法。

上述的实施例可以看出，本申请通过获取目标对象的目标脸部图像，利用特征提取模型对目标脸部图像进行特征提取，得到图像特征向量，将图像特征向量输入关键点检测模型，得到人脸部位上与情绪关联的人脸关键点的人脸关键点信息，利用情绪识别模型对图像特征向量和人脸关键点信息进行情绪识别处理，得到目标对象的情绪类别信息，将图像特征向量和与情绪相关联的人脸关键点信息共同作为情绪识别模型的输入，大大提高了情绪类别结果的准确性，提高情绪识别模型识别处理的效率。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如本发明的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在本发明的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者系统程序(如计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，也可以在载体信号上提供，或者以任何其他形式提供。

应该注意的是，上述实施例是对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或者步骤等。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干系统的单元权利要求中，这些系统中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二以及第三等的使用不表示任何顺序，可将这些单词解释为名称。

Claims (10)

1.一种情绪识别方法，其特征在于，所述方法包括：

获取目标对象的目标脸部图像；

利用特征提取模型对所述目标脸部图像进行特征提取，得到图像特征向量；

将所述图像特征向量输入关键点检测模型，得到人脸关键点信息；其中，所述人脸关键点表征人脸部位上与情绪关联的关键点；

利用情绪识别模型对所述图像特征向量和所述人脸关键点信息进行情绪识别处理，得到所述目标对象的情绪类别信息。

2.根据权利要求1所述的方法，其特征在于，所述利用情绪识别模型对所述图像特征向量和所述人脸关键点信息进行情绪识别处理，得到所述目标对象的情绪类别信息之前，所述方法还包括：

根据所述人脸关键点信息，得到目标情绪参考信息；

所述利用情绪识别模型对所述图像特征向量和所述人脸关键点信息进行情绪识别处理，得到所述目标对象的情绪类别信息包括：

将所述图像特征向量和所述目标情绪参考信息进行拼接，得到目标特征向量；

利用所述情绪识别模型对所述目标特征向量进行情绪识别处理，得到所述目标对象的情绪类别信息。

3.根据权利要求2所述的方法，其特征在于，所述人脸关键点信息包括第一关键点信息和第二关键点信息，其中，第一关键点和第二关键点位于目标人脸部位；

所述根据所述人脸关键点信息，得到目标情绪参考信息包括：

根据所述第一关键点信息和所述第二关键点信息，得到所述目标人脸部位的情绪参考信息，并将所述目标人脸部位的情绪参考信息作为所述目标情绪参考信息。

4.根据权利要求2所述的方法，其特征在于，所述人脸关键点信息包括第一关键点信息和第二关键点信息，其中，第一关键点位于第一目标人脸部位，第二关键点位于第二目标人脸部位；

所述根据所述人脸关键点信息，得到目标情绪参考信息包括：

根据所述第一关键点信息和所述第一目标人脸部位对应的第一权重，得到第一目标人脸部位的情绪参考信息；

根据所述第二关键点信息和所述第二目标人脸部位对应的第二权重，得到第二目标人脸部位的情绪参考信息；

对所述第一目标人脸部位的情绪参考信息和所述第二目标部位的情绪参考信息进行整合处理，得到所述目标情绪参考信息。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取多个样本数据以及对应数据标签，所述多个样本数据包括多个样本人脸图像的样本图像特征向量和样本人脸关键点信息；所述数据标签为所述样本人脸图像中对象的情绪类别信息；

将多个所述样本人脸图像的所述样本图像特征向量和所述样本人脸关键点信息输入预设机器学习模型进行类别预测处理，得到所述多个样本人脸图像中对象的情绪类别预测信息；

基于所述情绪类别预测信息和所述对应数据标签，训练所述预设机器学习模型，得到所述情绪识别模型。

6.根据权利要求1所述的方法，其特征在于，所述获取目标对象的目标脸部图像之前，所述方法还包括：

采集所述目标对象在连续时间段内预设数量帧的脸部图像；

从所述预设数量帧的脸部图像中，得到目标脸部图像。

7.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取所述目标对象的生理信息；

所述利用情绪模型对所述图像特征向量和所述人脸关键点信息进行情绪识别处理，得到所述目标对象的情绪类别信息包括：

利用所述情绪识别模型对所述图像特征向量、所述人脸关键点信息和所述目标对象的生理信息进行情绪识别处理，得到所述目标对象的情绪类别信息。

8.一种情绪识别装置，其特征在于，所述装置包括：

目标脸部图像获取模块，用于获取目标对象的目标脸部图像；

特征提取模块，用于利用特征提取模型对所述目标脸部图像进行特征提取，得到图像特征向量；

关键点信息确定模块，用于将所述图像特征向量输入关键点检测模型，得到人脸关键点信息；其中，所述人脸关键点表征人脸部位上与情绪关联的关键点；

情绪识别模块，用于利用情绪识别模型对所述图像特征向量和所述人脸关键点信息进行情绪识别处理，得到所述目标对象的情绪类别信息。

9.一种电子设备，其特征在于，包括：

处理器；

用于存储所述处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述指令，以实现如权利要求1至7中任一项所述的情绪识别方法。

10.一种计算机可读存储介质，其特征在于，当所述计算机可读存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至7中任一项所述的情绪识别方法。

Images