CN117036877A - 一种人脸表情及姿态融合的情绪识别方法及系统 - Google Patents

Abstract

本发明提供的一种人脸表情及姿态融合的情绪识别方法及系统，所述情绪识别方法包括：获取人脸表情，并计算得到人脸情绪结果；获取人体姿态，并计算得到姿态情绪结果；将所述人脸情绪结果和所述姿态情绪结果，获得情绪识别结果。能够利用人脸表情和视觉状态下人体姿态动作的融合处理，结合心理学范式微调，有效地融合了人脸表情和人体姿态在情绪识别上的独特优势，实现了公共空间个体情绪状态的有效识别。

Description

一种人脸表情及姿态融合的情绪识别方法及系统

技术领域

本发明涉及情感计算领域的多模态情绪识别领域，尤其涉及一种人脸表情及姿态融合的情绪识别方法及系统。

背景技术

情绪识别的目标是能够通过计算机对人的情绪和意图进行感知和分析，它可以应用在娱乐、教育、医疗等领域，比如人机交互中机器人对人类的情绪感知能力，在医疗系统中帮助医生对病人的焦虑抑郁情绪做出判断。

现有的方法通常会通过人的表情、声音、人体生理反应等外部特征或者内部特征对人的情绪状态进行识别和分类。人脸表情可以直观反映出人的情绪状态，随着深度学习的发展，计算机可以达到较高的人脸表情识别精度，然而有心理研究表明，在互动或社交环境中，人脸表情本身具有误导性，而人的肢体动作通常情况下是真实的，可以结合其表现提高对人的情绪状态的识别能力。此外在真实场景下，受光照、距离的影响，通常人脸分辨率不高，面部特征较为模糊，这会对人脸表情的精确识别造成影响。而在人脸表情及姿态相结合的多模态情绪识别上，大多使用传统方法提取人脸表情、姿态动作的信息。基于曲线和人体颜色跟踪头部和手部并提取多个特征以进行情绪识别，而特征提取工作量巨大，只提取了4个被试者的27个视频，数据量较少。使用动作历史图像(MHI,MotionHistoryImage)方向梯度直方图(HOG,HistogramofOrientedGradient)和图像方向梯度直方图表示人脸和人体姿态的局部和外部信息，提取的特征量更大。使用了静态人脸和肢体信息进行情绪识别，而动态对于识别人体情绪是非常重要的。

因此，如何更好地结合人脸表情和姿态的分析结果得出准确的人类情绪，该方面问题仍然亟需解决。

发明内容

鉴于上述问题，提出了本发明以便提供克服上述问题或者至少部分地解决上述问题的一种人脸表情及姿态融合的情绪识别方法及系统。

根据本发明的一个方面，提供了一种人脸表情及姿态融合的情绪识别方法，所述情绪识别方法包括：

获取人脸表情，并计算得到人脸情绪结果；

获取人体姿态，并计算得到姿态情绪结果；

将所述人脸情绪结果和所述姿态情绪结果，获得情绪识别结果。

可选的，所述获取人脸表情，并计算得到人脸情绪结果具体包括：

采用目标检测算法定位图像中出现的所有人脸框，获得预测情绪结果；

根据具体的应用场景或数据采集场景，获得心理学层面的情绪状态及情绪分数；

根据所述预测情绪结果及所述情绪分数加权融合，得到人脸情绪结果。

可选的，所述采用目标检测算法定位图像中出现的所有人脸框，获得预测情绪结果具体包括：

采用目标检测算法定位图像中出现的所有人脸框，进行缩放裁剪，得到人脸图像；

将所述人脸图像缩放为第一尺寸并做归一化处理，送入Resnet18卷积神经网络中提取深度特征；

将所述深度特征经过一个全连接层和sigmoid函数为每个图像分配一个注意力权重；

将所述深度特征经过一个全连接层后与注意力权重相乘，其中分数最高的为预测情绪结果。

可选的，所述根据具体的应用场景或数据采集场景，获得心理学层面的情绪状态及情绪分数具体包括：

根据具体的应用场景或数据采集场景选择对应的情绪状态测评量表，由被采集人完成情绪状态的自评，再由专业心理学研究人员对其完成情绪状态的他评，将双方结果加权融合，得出心理学层面的情绪状态及情绪分数。

可选的，所述获取人体姿态，并计算得到姿态情绪结果具体包括：

对于一帧图像用特征提取网络提取特征；

针对每个关键点，生成置信度图，每个置信度图上的像素表示对应点在像素位置出现的可能性；

生成每对相关点之间的相关点关联字段，每个所述相关点关联字段表示连接相关点的可能性大小和方向；

根据已有信息提取出所有人体关键点，并将所述关键点进行分组匹配连接，使得同一个人的人体关键点得到相连，得到人体基本姿态图像；

根据通过心理学验证的有效情绪分数得到每个姿态图像的情绪分数；

设定一个超参数分配人脸表情结果和人体姿态结果之间的权重，

将所述人脸表情和所述人体姿态的情绪结果做后融合加权平均，经过softmax层取最高值以得到最终的情绪结果。

可选的，所述关键点具体包括：鼻子、肩膀、手肘。

可选的，所述每对相关点具体包括：肩膀和肘部之间的关系。

可选的，所述第一尺寸为224x224。

本发明还提供了一种人脸表情及姿态融合的情绪识别系统，应用于上述所述的一种人脸表情及姿态融合的情绪识别方法，所述识别系统包括：

人脸表情识别模块，用于获取人脸表情，并计算得到人脸情绪结果；

人体姿态识别模块，用于获取人体姿态，并计算得到姿态情绪结果；

情绪识别结果计算模块，用于将所述人脸情绪结果和所述姿态情绪结果，获得情绪识别结果。

本发明提供的一种人脸表情及姿态融合的情绪识别方法及系统，所述情绪识别方法包括：获取人脸表情，并计算得到人脸情绪结果；获取人体姿态，并计算得到姿态情绪结果；将所述人脸情绪结果和所述姿态情绪结果，获得情绪识别结果。能够利用人脸表情和视觉状态下人体姿态动作的融合处理，结合心理学范式微调，有效地融合了人脸表情和人体姿态在情绪识别上的独特优势，实现了公共空间个体情绪状态的有效识别。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本发明实施例提供的一种人脸表情及姿态融合的情绪识别方法的流程图。

具体实施方式

下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例，然而应当理解，可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本公开，并且能够将本公开的范围完整的传达给本领域的技术人员。

本发明的说明书实施例和权利要求书及附图中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元。

下面结合附图和实施例，对本发明的技术方案做进一步的详细描述。

本发明的目的是提出一种基于心理学范式的多模态情绪识别系统，能够利用人脸表情和视觉状态下人体姿态动作的融合处理，结合心理学范式微调，有效地融合了人脸表情和人体姿态在情绪识别上的独特优势，实现了公共空间个体情绪状态的有效识别。

如图1所示，图像信息以信息流方式输入，对每一帧图像输入做识别处理，通过多线程方式将图像分别放入人脸表情识别模型和人体姿态识别模型中，分别得到不同的情绪分数；

基于特定的心理学范式对情绪分数进行检验，得到通过心理学验证的情绪分数结果；

通过加权融合的方式得到最终的情绪分数，分数最高的情绪状态即每一帧图像最终的情绪结果。

在这个过程中，多线程方式有效缓解了模型处理时间过长的问题，使得系统得以进行低延迟的实时情绪识别，其次当图像中人数不断变化时，模型需要处理的数据量也发生了变化，动态抽帧策略使得系统及时根据模型处理时间进行性能调整，保持系统的稳定性。

人脸表情识别模块中首先通过目标检测算法定位图像中出现的所有人脸框，进行一定尺寸的缩放裁剪，得到只包含人脸信息的图像，将人脸图像缩放为224x224大小并做归一化处理，而后送入Resnet18卷积神经网络中提取深度特征，将深度特征经过一个全连接层和sigmoid函数为每个图像分配一个注意力权重，接着将深度特征经过一个全连接层后与注意力权重相乘，其中分数最高的即预测的情绪结果。

随后，根据具体的应用场景或数据采集场景选择对应的情绪状态测评量表，由被采集人完成情绪状态的自评，再由专业心理学研究人员对其完成情绪状态的他评，将双方结果加权融合，得出心理学层面的情绪状态及情绪分数。

得到通过心理学验证的有效情绪分数，将其与人脸表情模块的情绪结果做加权融合得到人脸情绪结果。

人体姿态识别模块中使用自底向上的方式，对于一帧图像用特征提取网络提取特征，然后针对每个关键点(例如鼻子、肩膀、手肘)，生成其置信度图，每个置信度图上的像素表示该点在该像素位置出现的可能性大小。接着生成每对相关点(例如肩膀和肘部之间的关系)之间的相关点关联字段，每个相关点关联字段表示连接相关点的可能性大小和方向。

根据已有信息提取出所有人体关键点，并将人体关键点进行分组匹配连接，使得同一个人的人体关键点得到相连，得到人体基本姿态图像。然后根据通过心理学验证的有效情绪分数得到每个姿态图像的情绪分数，而后设定一个超参数分配人脸表情结果和人体姿态结果之间的权重，将两者的情绪结果做后融合加权平均，而后经过softmax层取最高值以得到最终的情绪结果。

一种人脸表情及姿态融合的情绪识别系统包括：

人脸表情识别模块，用于获取人脸表情，并计算得到人脸情绪结果；

人体姿态识别模块，用于获取人体姿态，并计算得到姿态情绪结果；

情绪识别结果计算模块，用于将所述人脸情绪结果和所述姿态情绪结果，获得情绪识别结果。

采用本发明的一种人脸表情及姿态融合的情绪识别方法基于心理学范式的人脸表情与人体姿态相结合的多模态情绪识别结果，具有良好的泛化能力和适用性，人脸表情和人体姿态表达的情感信息具有较好的互补作用，提高了情绪识别的能力和可靠性。而多线程的实现和动态抽帧策略保证了系统进行实时分析的稳定性和低延迟要求。

有益效果：传统单一模态的情绪识别结果往往不够立体可靠，而多模态情绪识别中结合人脸表情和人体姿态的研究中大多存在特征提取等局限性，且模型泛化能力较低，缺少心理学范式基础，识别结果难有参考价值。该发明设计了一种基于心理学范式的人脸表情和人体姿态融合的情绪识别系统，先多线程分别根据每一帧的人脸表情和人体姿态得到基本结果，再根据具体应用场景，选择对应的心理测评量表作为校标，对情绪识别的结果进行可靠性和有效性的验证。而后通过后融合方式得到最终每一帧的情绪识别结果。这样不仅控制了算法处理时间，而且识别结果更有心理学意义上的解释意义，提高了模型泛化能力。

以上的具体实施方式，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上仅为本发明的具体实施方式而已，并不用于限定本发明的保护范围，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (9)

1.一种人脸表情及姿态融合的情绪识别方法，其特征在于，所述情绪识别方法包括：

获取人脸表情，并计算得到人脸情绪结果；

获取人体姿态，并计算得到姿态情绪结果；

将所述人脸情绪结果和所述姿态情绪结果，获得情绪识别结果。

2.根据权利要求1所述的一种人脸表情及姿态融合的情绪识别方法，其特征在于，所述获取人脸表情，并计算得到人脸情绪结果具体包括：

采用目标检测算法定位图像中出现的所有人脸框，获得预测情绪结果；

根据具体的应用场景或数据采集场景，获得心理学层面的情绪状态及情绪分数；

根据所述预测情绪结果及所述情绪分数加权融合，得到人脸情绪结果。

3.根据权利要求2所述的一种人脸表情及姿态融合的情绪识别方法，其特征在于，所述采用目标检测算法定位图像中出现的所有人脸框，获得预测情绪结果具体包括：

采用目标检测算法定位图像中出现的所有人脸框，进行缩放裁剪，得到人脸图像；

将所述人脸图像缩放为第一尺寸并做归一化处理，送入Resnet18卷积神经网络中提取深度特征；

将所述深度特征经过一个全连接层和sigmoid函数为每个图像分配一个注意力权重；

将所述深度特征经过一个全连接层后与注意力权重相乘，其中分数最高的为预测情绪结果。

4.根据权利要求2所述的一种人脸表情及姿态融合的情绪识别方法，其特征在于，所述根据具体的应用场景或数据采集场景，获得心理学层面的情绪状态及情绪分数具体包括：

根据具体的应用场景或数据采集场景选择对应的情绪状态测评量表，由被采集人完成情绪状态的自评，再由专业心理学研究人员对其完成情绪状态的他评，将双方结果加权融合，得出心理学层面的情绪状态及情绪分数。

5.根据权利要求1所述的一种人脸表情及姿态融合的情绪识别方法，其特征在于，所述获取人体姿态，并计算得到姿态情绪结果具体包括：

对于一帧图像用特征提取网络提取特征；

针对每个关键点，生成置信度图，每个置信度图上的像素表示对应点在像素位置出现的可能性；

生成每对相关点之间的相关点关联字段，每个所述相关点关联字段表示连接相关点的可能性大小和方向；

根据已有信息提取出所有人体关键点，并将所述关键点进行分组匹配连接，使得同一个人的人体关键点得到相连，得到人体基本姿态图像；

根据通过心理学验证的有效情绪分数得到每个姿态图像的情绪分数；

设定一个超参数分配人脸表情结果和人体姿态结果之间的权重，

将所述人脸表情和所述人体姿态的情绪结果做后融合加权平均，经过softmax层取最高值以得到最终的情绪结果。

6.根据权利要求5所述的一种人脸表情及姿态融合的情绪识别方法，其特征在于，所述关键点具体包括：鼻子、肩膀、手肘。

7.根据权利要求5所述的一种人脸表情及姿态融合的情绪识别方法，其特征在于，所述每对相关点具体包括：肩膀和肘部之间的关系。

8.根据权利要求3所述的一种人脸表情及姿态融合的情绪识别方法，其特征在于，所述第一尺寸为224x224。

9.一种人脸表情及姿态融合的情绪识别系统，应用于上述权利要求1-8任意一项所述的一种人脸表情及姿态融合的情绪识别方法，其特征在于，所述识别系统包括：

人脸表情识别模块，用于获取人脸表情，并计算得到人脸情绪结果；

人体姿态识别模块，用于获取人体姿态，并计算得到姿态情绪结果；

情绪识别结果计算模块，用于将所述人脸情绪结果和所述姿态情绪结果，获得情绪识别结果。