CN111860031A - 人脸姿态估计方法、装置、电子设备与可读存储介质 - Google Patents

人脸姿态估计方法、装置、电子设备与可读存储介质 Download PDF

Info

Publication number
CN111860031A
CN111860031A CN201910332617.6A CN201910332617A CN111860031A CN 111860031 A CN111860031 A CN 111860031A CN 201910332617 A CN201910332617 A CN 201910332617A CN 111860031 A CN111860031 A CN 111860031A
Authority
CN
China
Prior art keywords
face
posture
type
value
pose
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
CN201910332617.6A
Other languages
English (en)
Inventor
杨茜
王楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Potevio Information Technology Co Ltd
Original Assignee
Potevio Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Potevio Information Technology Co Ltd filed Critical Potevio Information Technology Co Ltd
Priority to CN201910332617.6A priority Critical patent/CN111860031A/zh
Publication of CN111860031A publication Critical patent/CN111860031A/zh
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本申请公开了一种人脸姿态估计方法、装置、电子设备与可读存储介质，涉及图像识别技术。该方法，包括：获取人脸图像，将人脸图像输入预先训练的人脸姿态估计模型中，得到目标角度值和目标姿态类型；判断目标角度值是否落入目标姿态类型对应的角度范围；如果目标角度值落入目标姿态类型对应的角度范围，则将目标角度值作为人脸姿态估计结果；否则，确定目标姿态类型的上边界与下边界中，与目标角度值的大小最接近的一个，作为人脸姿态估计结果。本申请的人脸姿态估计模型将人脸姿态的分类和人脸姿态角度值的估计结合起来，进行联合训练，并共享特征和参数，从而大幅提升对人脸姿态进行人脸姿态估计时，得到的人脸姿态估计结果的准确度。

Description

人脸姿态估计方法、装置、电子设备与可读存储介质
技术领域
本申请涉及图像识别技术，特别是涉及一种人脸姿态估计方法、装置、电子设备与可读存储介质。
背景技术
随着计算机视觉的不断发展，人脸识别相关算法层出不穷，基于深度学习的人脸识别算法在理想实验环境下，已经达到相当高的识别准确率，但在现实场景中，不同的人脸姿态，如面部的左右、俯仰与平面内旋转角度的变化等将会造成面部信息缺失，从而使得人脸识别效果面临着非常大的挑战。因此，提高人脸识别效果需要首先对人脸姿态进行准确的估计。
目前，基于算法模型训练的人脸姿态估计方法，通常包括：针对人脸姿态进行分类得到人脸姿态类型，或者针对人脸姿态进行人脸姿态估计，得到人脸姿态的角度值。如果仅针对人脸姿态进行分类得到人脸姿态类型，在对每个人脸姿态类型的边界进行划分时，通常根据实际需要将不同的角度范围划分为不同的人脸姿态类型，但在每个角度范围的边界附近存在大量的边界点难以正确的分类。如果仅针对人脸姿态进行人脸姿态的角度值的估计，当人脸姿态的角度值较大时，难以通过拟合得到姿态角度，造成算法模型训练时难以收敛或过拟合等问题，从而无法得到准确的人脸姿态估计结果。
发明内容
有鉴于此，本申请的主要目的在于提供一种人脸姿态估计方法、装置、电子设备与可读存储介质，该方法可以大幅提升对人脸姿态进行人脸姿态估计时，得到的人脸姿态估计结果的准确度。
为了达到上述目的，本申请提出的技术方案为：
第一方面，本申请实施例提供了一种人脸姿态估计方法，包括：
获取人脸图像，将所述人脸图像输入人脸姿态估计模型中，得到目标角度值和目标姿态类型；所述人脸姿态估计模型，预先基于标记了人脸姿态的人脸姿态角度标签和人脸姿态类型标签的人脸图像训练集进行了联合训练；所述目标姿态类型为依据人脸姿态的角度值划分的人脸姿态类型中的一种，每个所述人脸姿态类型包含预设的角度范围；
判断所述目标角度值是否落入所述目标姿态类型对应的角度范围；
如果所述目标角度值落入所述目标姿态类型对应的角度范围，则将所述目标角度值作为人脸姿态估计结果；
否则，确定所述目标姿态类型的上边界与下边界中，与所述目标角度值的大小最接近的一个，作为人脸姿态估计结果。
一种可能的实施方式中，对所述人脸姿态估计模型进行训练的步骤包括：
获取人脸图像训练集，并对所述人脸图像训练集中的每张人脸图像样本的人脸姿态的角度值和人脸姿态类型做出标记，作为人脸姿态角度标签和人脸姿态类型标签；
将所述人脸图像训练集分为至少一个子集，针对每个子集，将该子集中的每张人脸图像样本输入人脸姿态估计模型，前向传播得到人脸姿态角度预测值和人脸姿态类型预测值；
将所述人脸姿态角度预测值、人脸姿态角度标签和人脸姿态类型标签输入人脸姿态回归损失函数，得到人脸姿态角度损失值；
将所述人脸姿态类型预测值和人脸姿态类型标签输入人脸姿态分类损失函数，得到人脸姿态类型损失值；
根据人脸姿态角度损失值和人脸姿态类型损失值，以及人脸姿态角度损失值和人脸姿态类型损失值分别的权值，确定所述人脸姿态估计模型的总体损失函数值；
根据所述总体损失函数值，对所述人脸姿态估计模型的参数进行反向传播调整，完成所述人脸姿态估计模型利用该子集的训练；
利用每个子集对所述人脸姿态估计模型进行迭代训练后，得到所述人脸姿态估计模型。
一种可能的实施方式中，所述将所述人脸姿态角度预测值、人脸姿态角度标签和人脸姿态类型标签输入人脸姿态回归损失函数，得到人脸姿态角度损失值的步骤包括：
根据所述人脸姿态角度预测值和每个人脸姿态类型对应的角度范围，确定所述人脸姿态角度预测值所属的计算人脸姿态类型；所述计算人脸姿态类型，为所述人脸姿态角度预测值落入的角度范围对应的人脸姿态类型；
根据所述人脸图像样本标记的人脸姿态角度标签和所述人脸姿态角度预测值，确定人脸姿态角度值的损失函数值；
根据所述人脸图像训练集标记的人脸姿态类型标签、所述计算人脸姿态类型和每种预测情况对应的损失函数权值，确定所述人脸姿态角度值的损失函数值对应的权值；所述每种预测情况为，每种人脸姿态类型标签与每种计算人脸姿态类型的组合；
根据人脸姿态角度值的损失函数值和人脸姿态角度值的损失函数值的权值，确定所述人脸姿态角度损失值。
一种可能的实施方式中，通过下述步骤确定所述每种预测情况对应的损失函数权值：
判断所述人脸姿态类型标签与所述计算人脸姿态类型是否相同；
如果所述人脸姿态类型标签与所述计算人脸姿态类型相同，则所述损失函数权值小于1；
如果所述人脸姿态类型标签与所述计算人脸姿态类型不同，判断所述人脸姿态类型标签与所述计算人脸姿态类型之间的差距，并根据所述差距确定所述损失函数权值。
一种可能的实施方式中，所述将所述人脸姿态类型预测值和人脸姿态类型标签输入人脸姿态分类损失函数，得到人脸姿态类型损失值的步骤包括：
根据所述人脸姿态类型标签和属于所述人脸姿态类型标签的概率，确定所述人脸姿态类型损失值。
一种可能的实施方式中，在将所述人脸图像输入人脸姿态估计模型中的步骤，还得到：
人脸特征点相对于人脸边框的目标位置坐标；所述人脸特征点为人的面部器官对应的特征点。
一种可能的实施方式中，对所述人脸姿态估计模型进行训练的步骤包括：
获取人脸图像训练集，并对所述人脸图像训练集中的每张人脸图像样本的人脸姿态的角度值、人脸姿态类型和人脸特征点的位置做出标记，作为人脸姿态角度标签、人脸姿态类型标签和人脸特征位置标签；
将所述人脸图像训练集分为至少一个子集，针对每个子集，将该子集中的每张人脸图像样本输入人脸姿态估计模型，前向传播得到人脸姿态角度预测值和人脸姿态类型预测值和人脸特征位置预测值；
将所述人脸姿态角度预测值、人脸姿态角度标签和人脸姿态类型标签输入人脸姿态回归损失函数，得到人脸姿态角度损失值；
将所述人脸姿态类型预测值和人脸姿态类型标签输入人脸姿态分类损失函数，得到人脸姿态类型损失值；
将人脸特征位置预测值和人脸特征位置标签输入人脸姿态特征损失函数，得到人脸姿态特征损失值；
根据人脸姿态角度损失值、人脸姿态类型损失值和人脸姿态特征损失值，以及人脸姿态角度损失值、人脸姿态类型损失值和人脸姿态特征损失值分别的权值，确定所述人脸姿态估计模型的总体损失函数值；
根据所述总体损失函数值，对所述人脸姿态估计模型的参数进行反向传播调整，完成所述人脸姿态估计模型利用该子集的训练；
利用每个子集对所述人脸姿态估计模型进行迭代训练后，得到所述人脸姿态估计模型。
第二方面，本申请实施例提供了一种人脸姿态估计装置，包括：
获取模块，用于获取人脸图像；
人脸姿态估计模型，用于根据输入的所述人脸图像，得到目标角度值和目标姿态类型；所述目标姿态类型为依据人脸姿态的角度值划分的人脸姿态类型中的一种，每个所述人脸姿态类型包含预设的角度范围；所述人脸姿态估计模型，预先基于标记了人脸姿态的人脸姿态角度标签和人脸姿态类型标签的人脸图像训练集进行了联合训练；
结果确定模块，用于判断所述目标角度值是否落入所述目标姿态类型对应的角度范围；如果所述目标角度值落入所述目标姿态类型对应的角度范围，则将所述目标角度值作为人脸姿态估计结果；否则，确定所述目标姿态类型的上边界与下边界中，与所述目标角度值的大小最接近的一个，作为人脸姿态估计结果。
第三方面，本申请实施例提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述程序时实现本申请实施例第一方面及第一方面的任一种可能的实施方式中的方法步骤。
第四方面，本申请实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本申请实施例第一方面及第一方面的任一种可能的实施方式中的方法步骤。
综上所述，本申请将人脸图像输入人脸姿态估计模型中，得到目标角度值和目标姿态类型，根据目标角度值和目标姿态类型对应的角度范围，确定人脸姿态估计结果，由于本申请实施例的人脸姿态估计模型将人脸姿态的分类和人脸姿态角度值的估计结合起来，并预先基于标记了人脸姿态的人脸姿态角度标签和人脸姿态类型标签的人脸图像训练集进行了联合训练，共享特征和参数，从而大幅提升对人脸姿态进行人脸姿态估计时，得到的人脸姿态估计结果的准确度。
附图说明
图1为本申请实施例一的流程示意图；
图2为本申请实施例二的流程示意图；
图3为本申请实施例二的方法中使用带有标记的人脸图像训练集对人脸姿态估计模型进行训练的流程示意图
图4为本申请实施例二的方法中将所述人脸姿态角度预测值、人脸姿态角度标签输入人脸姿态回归损失函数，得到人脸姿态角度损失值的流程示意图；
图5为本申请实施例三的流程示意图；
图6为本申请实施例四的结构示意图；
图7为本申请实施例五提供的电子设备的结构示意图。
具体实施方式
随着计算机视觉的不断发展，人脸识别相关算法层出不穷，基于深度学习的人脸识别算法在理想实验环境下，已经达到相当高的识别准确率，但在现实场景中，不同的人脸姿态，如面部的左右、俯仰与平面内旋转角度的变化等将会造成面部信息缺失，从而使得人脸识别效果面临着非常大的挑战。因此，提高人脸识别效果需要首先对人脸姿态进行准确的估计。
尤其是针对视频流中的人脸图像进行人脸识别时，对于同一个人可能会抓拍到不同姿态的人脸图像，更加要求在进行人脸识别之前，对每个抓拍到的人脸图像中的人脸姿态做出判别，并基于对该抓拍到的人脸图像中人脸姿态的判别，决定是否使用该抓拍到的人脸图像进行人脸识别。在进行人脸识别之前，先进行人脸姿态的判别，既能提高人脸识别的准确率，又能节约对人脸图像的存储空间。当然除此之外，对人脸姿态的判别在其他方面也有广泛的应用，比如：人脸对齐、人脸数据增强等。
目前，解决人脸姿态判别问题的方法，主要分为三类：基于特征三角形的人脸姿态估计、基于建模的人脸姿态估计和基于算法模型训练的人脸姿态估计。
对于基于特征三角形的人脸姿态估计方法：人脸姿态是一种连续变化的模型，基于特征三角形的人脸姿态估计方法会造成人脸的部分特征信息丢失。
对于基于建模的人脸姿态估计方法：在不考虑人脸表情的情况下，人脸模型是一种刚体，然而在考虑人脸表情的情况下，人脸模型是非刚体的，因此，基于建模的人脸姿态估计方法不但要针对不同类型的人脸建立不同的模型，而且在考虑人脸表情的情况下，基于建模的人脸姿态估计方法将面临很大的挑战。
基于特征三角形的人脸姿态估计方法和基于建模的人脸姿态估计方法在实际实施时，均会遇到难以克服的挑战，影响其实际的实施效果。
而对于基于算法模型训练的人脸姿态估计方法：如果仅针对人脸姿态进行分类得到人脸姿态类型，在对分类的边界进行划分时，通常根据实际需要将不同的角度范围划分为不同的人脸姿态类型，但在每个角度范围的边界附近存在大量的边界点难以正确的分类。如果仅针对人脸姿态进行人脸姿态的角度值的估计，当人脸姿态的角度值较大时，难以通过拟合得到姿态角度，造成算法模型训练时难以收敛或过拟合等问题，从而无法得到准确的人脸姿态估计结果。
有鉴于此，本申请提出了一种人脸姿态估计方法、装置、电子设备与可读存储介质，可以应用于任一种需要进行人脸姿态判别的应用场景中。本申请将人脸图像输入人脸姿态估计模型中，得到目标角度值和目标姿态类型，根据目标角度值和目标姿态类型对应的角度范围，确定人脸姿态估计结果，由于人脸姿态估计模型将人脸姿态的分类和人脸姿态角度值的估计结合起来，预先基于标记了人脸姿态的人脸姿态角度标签和人脸姿态类型标签的人脸图像训练集进行了联合训练，共享特征和参数，从而大幅提升对人脸姿态进行人脸姿态估计时，得到的人脸姿态估计结果的准确度。
为使本申请的目的、技术方案和优点更加清楚，下面将结合附图及具体实施例对本申请作进一步地详细描述。
实施例一
图1为本申请实施例一的流程示意图，如图1所示，该实施例主要包括：
S101：获取人脸图像，将所述人脸图像输入人脸姿态估计模型中，得到目标角度值和目标姿态类型；所述人脸姿态估计模型，预先基于标记了人脸姿态的人脸姿态角度标签和人脸姿态类型标签的人脸图像训练集进行了联合训练；所述目标姿态类型为依据人脸姿态的角度值划分的人脸姿态类型中的一种，每个所述人脸姿态类型包含预设的角度范围。
具体的，可以使用多任务深度学习算法构建上述人脸姿态估计模型，上述多任务深度学习算法构建的人脸姿态估计模型包括至少两个任务，分别是人脸姿态的角度值估计和人脸姿态类型的分类。人脸姿态估计模型中的每个任务共享特征和参数，提高了人脸姿态估计模型得到的人脸姿态角度值的准确度，并且基于标记了人脸姿态的人脸姿态角度标签和人脸姿态类型标签的人脸图像训练集进行了联合训练，使得人脸姿态估计模型在训练过程中易于收敛。
在实际应用中，依据人脸姿态的角度值划分得到人脸姿态类型，每个所述人脸姿态类型包含预设的角度范围。以人脸姿态为左右旋转的角度值将人脸姿态类型划分为六类为例，每个人脸姿态类型包含的角度值分别为[-90,-60),[-60,-30),[-30,0),[0,30),[30,60),[60,90]。同样的，也可以以人脸姿态为俯仰旋转或平面内旋转的角度值划分人脸姿态类型，并且人脸姿态类型包括至少两类。
S102：判断所述目标角度值是否落入所述目标姿态类型对应的角度范围。
S103：如果所述目标角度值落入所述目标姿态类型对应的角度范围，则将所述目标角度值作为人脸姿态估计结果。
如果目标角度值落入所述目标姿态类型对应的角度范围，证明此时人脸姿态的角度值估计和人脸姿态类型的分类这两个任务得到的估计结果一致，人脸姿态的角度值估计和人脸姿态类型的分类这两个任务得到的估计结果较为准确，此时，直接将目标角度值作为人脸姿态估计结果。
S104：否则，确定所述目标姿态类型的上边界与下边界中，与所述目标角度值的大小最接近的一个，作为人脸姿态估计结果。
如果目标角度值未落入所述目标姿态类型对应的角度范围，证明此时人脸姿态的角度值估计和人脸姿态类型的分类这两个任务得到的估计结果不一致。由于基于人脸姿态的角度值估计和人脸姿态类型的分类这两个任务的不同特点，相比人脸姿态的角度值估计而言，人脸姿态类型的分类这一任务得到的估计结果更为准确，因此，根据人脸姿态类型的分类任务结果确定人脸姿态估计结果。具体的，判断目标姿态类型的上边界与下边界中，哪一个与目标角度值的大小最为接近，将与目标角度值的大小最为接近的上边界或下边界，作为人脸姿态估计结果。
由于单纯的使用算法模型进行人脸姿态的角度值估计的方法，在人脸姿态角度较大的情况下，会给算法模型带来不收敛或者过拟合的风险，并且在实际应用中，人脸姿态角度较大的情况出现的频率较小，难以通过人力使用肉眼将人脸姿态角度较大的图像筛选并剔除出去，因此，本申请结合人脸姿态的角度值估计和人脸姿态类型的分类这两个任务，在人脸姿态角度较大时，通过人脸姿态类型的分类任务，辅助弱化人脸姿态的角度值估计任务在在人脸姿态角度较大时产生计算错误和无法收敛的缺陷，对整个人脸姿态估计产生的影响，提升了人脸姿态估计结果的准确度。
实施例二
如图2所示，为本申请实施例提供的人脸姿态估计方法应用时的流程示意图，包括：
S201：获取人脸图像训练集，并对所述人脸图像训练集中的每张人脸图像样本的人脸姿态的角度值和人脸姿态类型做出标记，作为人脸姿态角度标签和人脸姿态类型标签。
这里，获取的人脸图像训练集为中包含多张人脸图像样本，每张人脸图像样本包含至少一张人脸图像。在每张人脸图像样本中的对人脸姿态类型标签做出标记之前，需要首先构建人脸姿态类型并将人脸姿态分类，具体的，可根据实际需要设定每个人脸姿态类型包含的角度范围，这里，为了方便描述，以人脸姿态为左右旋转的角度值将人脸姿态类型划分为六类为例，每个人脸姿态类型包含的角度值分别为[-90,-60),[-60,-30),[-30,0),[0,30),[30,60),[60,90]。在实际实施过程中，可以以人脸姿态为左右旋转、俯仰旋转或平面内旋转中至少一种姿态的角度值划分人脸姿态类型，并且人脸姿态类型的个数至少为两个。
S202：建立人脸姿态估计模型。
具体的，可以基于多任务深度学习网络模型建立人脸姿态估计模型，人脸姿态估计模型包括两个任务输出，分别为人脸姿态的角度值估计和人脸姿态类型的分类。由于上述两个任务之间具有很强的相关性，所以采用联合训练的形式建立人脸姿态估计模型的神经网络架构。
S203：建立人脸姿态估计模型的损失函数。
具体的，根据人脸姿态的角度值估计和人脸姿态类型的分类这两个任务，分别建立相应的损失函数，并根据上述两个任务的损失函数和上述两个任务的损失函数分别对应的权值，确定人脸姿态估计模型的损失函数。例如，可以采用下述公式(1)描述人脸姿态估计模型的损失函数：
Figure BDA0002038178490000111
其中，
Figure BDA0002038178490000112
为人脸姿态的角度值估计任务的损失函数，α为人脸姿态的角度值估计任务的损失函数对应的权值，
Figure BDA0002038178490000113
为人脸姿态类型的分类任务的损失函数，β为人脸姿态类型的分类任务的损失函数对应的权值，N为人脸图像训练集中人脸图像样本的数量。
一种可能的实施方式中，本申请实施例提供的人脸姿态的角度值估计任务的损失函数，将人脸姿态角度值的损失函数和人脸姿态角度值的损失函数对应的权值结合起来得到，例如，人脸姿态的角度值估计任务的损失函数可以用下列公式(2)表示：
Figure BDA0002038178490000121
其中，
Figure BDA0002038178490000122
为人脸图像训练集中标记的人脸姿态类型标签，Λ为权值，
Figure BDA0002038178490000123
为计算人脸姿态类型，
Figure BDA0002038178490000124
为人脸姿态角度预测值，
Figure BDA0002038178490000125
为人脸姿态角度标签。在实际实施时，
Figure BDA0002038178490000126
和
Figure BDA0002038178490000127
均可以采用独热(one-hot)编码作为数据形式，因此，Λ为如公式(3)表示的一个权值矩阵。
Figure BDA0002038178490000128
其中，c为人脸姿态类型中包含的种类个数，λij为人脸姿态类型标签为第i类而计算人脸姿态类型为第j类时的损失函数权值。具体的，以人脸姿态为左右旋转的角度值将人脸姿态类型划分为六类为例，Λ可以为如公式(4)表示的一个权值矩阵。
Figure BDA0002038178490000129
公式(4)中的数值仅为了直观的表现下述获得损失函数权值的方法：
在人脸姿态类型标签与计算人脸姿态类型相同，损失函数权值小于1；如果所述人脸姿态类型标签与所述计算人脸姿态类型不同，判断所述人脸姿态类型标签与所述计算人脸姿态类型之间的差距，并根据所述差距确定所述损失函数权值。具体的，可以根据人脸姿态类型标签与计算人脸姿态类型之间相隔的人脸姿态类型的个数，确定损失函数权值。人脸姿态类型标签与计算人脸姿态类型之间相隔的人脸姿态类型的个数越多，损失函数权值越大。公式(3)中Λ矩阵中每个元素的值均可根据实际情况更改。但是，在
Figure BDA00020381784900001210
和
Figure BDA00020381784900001211
采用one-hot编码作为数据形式的情况下，ΛT＝Λ，且对角线、次对角线上的每个元素分别相同。
同样的，可以根据人脸姿态类型标签和属于人脸姿态类型标签的概率，构建所述人脸姿态类型损失值函数。例如，人脸姿态类型的分类任务的损失函数可以用下列公式(5)表示：
Figure BDA0002038178490000131
其中，
Figure BDA0002038178490000132
为人脸图像训练集中标记的人脸姿态类型标签，pi为得到的人脸图像训练集属于人脸姿态类型标签的概率。另外，本申请实施例应用于以人脸姿态为左右旋转的角度值将人脸姿态类型划分为六类为例的应用场景时，也可以采用任一种常用的损失函数作为人脸姿态类型的分类任务的损失函数，例如，可以采用交叉熵损失函数作为人脸姿态类型的分类任务的损失函数。
承接上述步骤S203，接下来介绍步骤S204的内容。
S204：利用上述人脸姿态估计模型的损失函数对人脸姿态估计模型进行训练，得到人脸姿态估计模型。
如图3所示，对人脸姿态估计模型进行训练的步骤包括：
S301：将所述人脸图像训练集分为至少一个子集，针对每个子集，将该子集中的每张人脸图像样本输入人脸姿态估计模型，前向传播得到人脸姿态角度预测值和人脸姿态类型预测值。
此时的人脸姿态估计模型为开始进行迭代训练的初始模型、或某一轮迭代训练得到的中间模型，人脸姿态估计模型中的参数为初始参数或中间参数。
人脸姿态角度预测值，为当前人脸姿态估计模型根据人脸图像样本进行计算，得到的人脸图像样本中人脸姿态的角度值。人脸姿态类型预测值，为当前人脸姿态估计模型根据人脸图像样本进行计算，得到的人脸图像样本中人脸姿态所属的人脸姿态类型。此时，人脸姿态角度预测值不一定落入人脸姿态类型预测值对应的角度范围。
S302：将所述人脸姿态角度预测值、人脸姿态角度标签和人脸姿态类型标签输入人脸姿态回归损失函数，得到人脸姿态角度损失值。
具体的，采用如图4所示的步骤将人脸姿态角度预测值、人脸姿态角度标签和人脸姿态类型标签输入人脸姿态回归损失函数，得到人脸姿态角度损失值：
S401：根据所述人脸姿态角度预测值和每个人脸姿态类型对应的角度范围，确定所述人脸姿态角度预测值所属的计算人脸姿态类型；所述计算人脸姿态类型，为所述人脸姿态角度预测值落入的角度范围对应的人脸姿态类型。
这里，人脸姿态的角度值估计任务中应用的人脸姿态类型，可以与人脸姿态类型的分类任务中设定的人脸姿态类型一致，拥有相同的种类个数、划分方法和角度范围。
S402：根据所述人脸图像训练集标记的人脸姿态角度标签和所述人脸姿态角度预测值，确定人脸姿态角度值的损失函数值。
除了利用人脸姿态类型构造损失函数辅助人脸姿态的角度值估计任务的训练，还需要根据人脸图像训练集标记的人脸姿态角度标签和人脸姿态角度预测值，确定人脸姿态角度值的损失函数值。可以采用任一种常用的损失函数，根据人脸图像训练集标记的人脸姿态角度标签和人脸姿态角度预测值，确定人脸姿态角度值的损失函数值，例如，可以采用平方损失函数，确定人脸姿态角度值的损失函数值。
S403：根据所述人脸图像训练集标记的人脸姿态类型标签、所述计算人脸姿态类型和每种预测情况对应的损失函数权值，确定所述人脸姿态角度值的损失函数值对应的权值；所述每种预测情况为，每种人脸姿态类型标签与每种计算人脸姿态类型的组合。
为了更好的人脸姿态类型辅助人脸姿态的角度值估计任务的训练，从而提升人脸姿态的角度值估计的准确度，为每种人脸姿态角度值的损失函数值对应的预测情况设定对应的权值，具体的，可以采用下述步骤1到步骤3，确定每种预测情况对应的损失函数权值：
步骤1、判断所述人脸姿态类型标签与所述计算人脸姿态类型是否相同。
具体的，每种预测情况为每种人脸姿态类型标签与每种计算人脸姿态类型的组合，通过判断人脸姿态类型标签与计算人脸姿态类型是否相同，来判断人脸姿态估计模型的计算结果是否准确。
步骤2、如果所述人脸姿态类型标签与所述计算人脸姿态类型相同，则所述损失函数权值小于1。
当人脸姿态类型标签与计算人脸姿态类型相同时，也就是，人脸姿态角度预测值落入了人脸姿态类型标签的角度范围时，此时人脸姿态估计模型的计算结果较为准确，因此在此种情况下采用小于1的权值，可以使人脸姿态估计模型在训练过程中提升计算结果的准确性。
步骤3、如果所述人脸姿态类型标签与所述计算人脸姿态类型不同，判断所述人脸姿态类型标签与所述计算人脸姿态类型之间的差距，并根据所述差距确定所述损失函数权值。
当人脸姿态类型标签与计算人脸姿态类型不相同时，也就是，人脸姿态角度预测值没有落入人脸姿态类型标签的角度范围时，此时人脸姿态估计模型的计算结果不准确，因此需要加大此种情况下损失函数权值。进一步的，可以判断人脸姿态类型标签与计算人脸姿态类型之间，相隔的人脸姿态类型的个数，确定人脸姿态模型的计算结果的偏差程度。人脸姿态类型标签与计算人脸姿态类型之间相隔的人脸姿态类型的个数越多，人脸姿态模型的计算结果的偏差程度越大，此时损失函数权值应当越大，从而在训练过程中提升人脸姿态估计模型计算结果的准确性。
S404：根据人脸姿态角度值的损失函数值和人脸姿态角度值的损失函数值的权值，确定所述人脸姿态角度损失值。
在一种可能的实施方式中，可以将人脸姿态角度值的损失函数值和人脸姿态角度值的损失函数值的权值相乘，得到人脸姿态角度损失值。
S303：将所述人脸姿态类型预测值和人脸姿态类型标签输入人脸姿态分类损失函数，得到人脸姿态类型损失值。
具体的，可以采用下述步骤，将所述人脸姿态类型预测值和人脸姿态类型标签输入人脸姿态分类损失函数，得到人脸姿态类型损失值：
根据所述人脸姿态类型标签和属于所述人脸姿态类型标签的概率，确定所述人脸姿态类型损失值。
S304：根据人脸姿态角度损失值和人脸姿态类型损失值，以及人脸姿态角度损失值和人脸姿态类型损失值分别的权值，确定所述当前人脸姿态估计模型的总体损失函数值。
这里，由于人脸姿态估计模型的人脸姿态的角度值估计和人脸姿态类型的分类这两个任务中，人脸姿态的角度值估计任务较为重要，因此，可以使人脸姿态角度损失值的权值大于人脸姿态类型损失值的权值。
S305：根据所述总体损失函数值，对所述人脸姿态估计模型的参数进行反向传播调整，完成所述人脸姿态估计模型利用该子集的训练。
S306：利用每个子集对所述人脸姿态估计模型进行迭代训练后，得到所述人脸姿态估计模型。
对人脸姿态估计模型进行当前轮训练时，对人脸姿态的角度值估计和人脸姿态类型的分类这两个任务进行联合训练，共同调整当前轮人脸姿态估计模型中上述两个任务的参数。利用每个子集对人脸姿态估计模型进行迭代训练，迭代调整上述两个任务的参数，得到人脸姿态估计模型。
承接上述步骤S204，接下来介绍步骤S205的内容。
S205：根据人脸姿态的角度值估计任务得到的目标角度值和人脸姿态类型的分类任务得到的目标姿态类型，确定人脸姿态估计结果。
具体的，人脸姿态估计模型对于每张人脸图像的输出为一个目标角度值和一个人脸姿态类型的组合
Figure BDA0002038178490000161
如果目标角度值落入目标姿态类型对应的角度范围，则将目标角度值作为人脸姿态估计结果；如果目标角度值未落入目标姿态类型对应的角度范围，将目标姿态类型的对应的角度范围中与目标角度值最接近的上边界或者下边界的角度值，作为人脸姿态估计的结果。
实施例三
本申请实施例三提供的人脸姿态估计方法为了更好的提取人脸图像中的人脸特征点，从而利用更准确的特征点进行人脸姿态估计，得到更准确的人脸姿态估计的结果，在人脸姿态估计模型中，除了人脸姿态的角度值估计任务和人脸姿态类型的分类任务，还可以包括人脸特征点的定位任务，因此，在将人脸图像输入人脸姿态估计模型中的步骤，还得到人脸特征点相对于人脸边框的目标位置坐标。如图5所示，为本申请实施例三的方法应用时的流程示意图，包括：
S501：获取人脸图像训练集，并对每个人脸图像训练集中人脸姿态的角度值、人脸姿态类型和人脸特征点的位置做出标记，作为人脸姿态角度标签、人脸姿态类型标签和人脸特征位置标签。
同样的，在每个人脸图像训练集中的对人脸姿态类型标签做出标记之前，需要首先构建并将姿态分类。并且，每个人脸图像训练集中人脸姿态的人脸特征位置标签为，人脸特征点相对于人脸边框的人脸特征位置标签，这样可以消除不同脸型对于人脸姿态判别的影响。这里，人脸特征点为人的面部器官对应的特征点，一般的，人脸特征点包括代表了人的两个眼睛、鼻子和嘴巴的特征点。
S502：建立人脸姿态估计模型。
具体的，可以基于多任务深度学习网络模型建立人脸姿态估计模型，人脸姿态估计模型包括三个任务输出，分别为人脸姿态的角度值估计、人脸姿态类型的分类和人脸特征点的定位任务。由于上述三个任务之间具有很强的相关性，所以采用联合训练的形式建立人脸姿态估计模型的神经网络架构。
S503：建立人脸姿态估计模型的损失函数。
具体的，根据人脸姿态的角度值估计、人脸姿态类型的分类和人脸特征点的定位任务这三个任务，分别建立相应的损失函数，并根据上述三个任务的损失函数和上述三个任务的损失函数分别对应的权值，确定人脸姿态估计模型的损失函数。例如，可以采用下述公式(1)描述人脸姿态估计模型的损失函数：
Figure BDA0002038178490000181
其中，
Figure BDA0002038178490000182
为人脸姿态的角度值估计任务的损失函数，α为人脸姿态的角度值估计任务的损失函数对应的权值，
Figure BDA0002038178490000183
为人脸姿态类型的分类任务的损失函数，β为人脸姿态类型的分类任务的损失函数对应的权值，
Figure BDA0002038178490000184
为人脸特征点的定位任务的损失函数，γ为人脸特征点的定位任务的损失函数对应的权值，N为人脸图像训练集中人脸图像的数量。
这里，由于在本申请实施例中，人脸姿态的角度值估计任务是三个任务中最重要的任务，因此，将人脸姿态的角度值估计任务作为主任务，人脸姿态类型的分类任务和人脸特征点的定位任务作为辅助任务。此时，人脸姿态的角度值估计任务的损失函数对应的权值α最大，同时，人脸姿态类型的分类任务的损失函数对应的权值β和人脸特征点的定位任务的损失函数对应的权值γ与α相比较小。
人脸姿态的角度值估计、人脸姿态类型的分类的损失函数可以采用实施例二中提供的损失函数，此处不再赘述。
人脸特征点的定位任务的损失函数可以采用任一种常用的损失函数，例如，可以采用平方损失函数作为人脸姿态类型的分类任务的损失函数。具体的，也可以采用下述公式(7)中的损失函数，作为人脸特征点的定位任务的损失函数：
Figure BDA0002038178490000191
其中，
Figure BDA0002038178490000192
为人脸特征点相对于人脸框的计算位置坐标，
Figure BDA0002038178490000193
为人脸特征点相对于人脸框的人脸特征位置标签。
S504：利用上述人脸姿态估计模型的损失函数对人脸姿态估计模型进行训练，得到人脸姿态估计模型。
具体的，采用下述步骤1-步骤7对人脸姿态估计模型进行训练：
步骤1、将所述人脸图像训练集分为至少一个子集，针对每个子集，将该子集中的每张人脸图像样本输入人脸姿态估计模型，前向传播得到人脸姿态角度预测值和人脸姿态类型预测值和人脸特征位置预测值。
步骤2、将所述人脸姿态角度预测值、人脸姿态角度标签和人脸姿态类型标签输入人脸姿态回归损失函数，得到人脸姿态角度损失值。
步骤3、将所述人脸姿态类型预测值和人脸姿态类型标签输入人脸姿态分类损失函数，得到人脸姿态类型损失值。
步骤4、将人脸特征位置预测值和人脸特征位置标签输入人脸姿态特征损失函数，得到人脸姿态特征损失值。
步骤5、根据人脸姿态角度损失值、人脸姿态类型损失值和人脸姿态特征损失值，以及人脸姿态角度损失值、人脸姿态类型损失值和人脸姿态特征损失值分别的权值，确定所述人脸姿态估计模型的总体损失函数值。
步骤6、根据所述总体损失函数值，对所述人脸姿态估计模型的参数进行反向传播调整，完成所述人脸姿态估计模型利用该子集的训练。
步骤7、利用每个子集对所述人脸姿态估计模型进行迭代训练后，得到所述人脸姿态估计模型。
其中，上述步骤2-步骤4不需要按照固定的先后顺序执行，也可以同时执行。
同理，对人脸姿态估计模型进行训练时，对人脸姿态的角度值估计、人脸姿态类型的分类和人脸特征点的定位任务这三个任务进行联合训练，共同调整人脸姿态估计模型中上述三个任务的参数，得到人脸姿态估计模型。
S505：根据人脸姿态的角度值估计任务得到的目标角度值和人脸姿态类型的分类任务得到的目标姿态类型，确定人脸姿态估计结果。
具体的，人脸姿态估计模型中人脸特征点的定位任务输出的人脸特征点相对于人脸边框的目标位置坐标，可以作为人脸姿态的角度值估计任务和人脸姿态类型的分类任务需要的输入特征，三个任务联合训练、共享参数，可以使人脸姿态估计模型中人脸特征点的定位任务输出的人脸特征点更加准确，同时，利用上述更加准确的人脸特征点进行人脸姿态的估计，同样使得人脸姿态估计结果更加准确。
对于每张人脸图像，人脸姿态估计模型利用目标位置坐标输出一个目标角度值和一个人脸姿态类型的组合
Figure BDA0002038178490000201
如果目标角度值落入目标姿态类型对应的角度范围，则将目标角度值作为人脸姿态估计结果；如果目标角度值未落入目标姿态类型对应的角度范围，将目标姿态类型的对应的角度范围中与目标角度值最接近的上边界或者下边界的角度值，作为人脸姿态估计的结果。上述目标位置坐标一方面作为人脸姿态的角度值估计任务和人脸姿态类型的分类任务的输入特征，另一方面也可以作为人脸姿态估计模型的输出，供用户随时调用。
基于相同的设计构思，本申请实施例还提供一种人脸姿态估计装置、电子设备和可读存储介质。
实施例四
如图6所示，本申请实施例提供的一种人脸姿态估计装置600，包括：
获取模块601，用于获取人脸图像；
人脸姿态估计模型602，用于根据输入的所述人脸图像，得到目标角度值和目标姿态类型；所述目标姿态类型为依据人脸姿态的角度值划分的人脸姿态类型中的一种，每个所述人脸姿态类型包含预设的角度范围；所述人脸姿态估计模型，预先基于标记了人脸姿态的人脸姿态角度标签和人脸姿态类型标签的人脸图像训练集进行了联合训练；
结果确定模块603，用于判断所述目标角度值是否落入所述目标姿态类型对应的角度范围；如果所述目标角度值落入所述目标姿态类型对应的角度范围，则将所述目标角度值作为人脸姿态估计结果；否则，确定所述目标姿态类型的上边界与下边界中，与所述目标角度值的大小最接近的一个，作为人脸姿态估计结果。
一种可能的实施方式中，人脸姿态估计装置600，还包括，模型训练模块604，用于：
获取人脸图像训练集，并对所述人脸图像训练集中的每张人脸图像样本的人脸姿态的角度值和人脸姿态类型做出标记，作为人脸姿态角度标签和人脸姿态类型标签；
将所述人脸图像训练集分为至少一个子集，针对每个子集，将该子集中的每张人脸图像样本输入人脸姿态估计模型，前向传播得到人脸姿态角度预测值和人脸姿态类型预测值；
将所述人脸姿态角度预测值、人脸姿态角度标签和人脸姿态类型标签输入人脸姿态回归损失函数，得到人脸姿态角度损失值；
将所述人脸姿态类型预测值和人脸姿态类型标签输入人脸姿态分类损失函数，得到人脸姿态类型损失值；
根据人脸姿态角度损失值和人脸姿态类型损失值，以及人脸姿态角度损失值和人脸姿态类型损失值分别的权值，确定所述人脸姿态估计模型的总体损失函数值；
根据所述总体损失函数值，对所述人脸姿态估计模型的参数进行反向传播调整，完成所述人脸姿态估计模型利用该子集的训练；
利用每个子集对所述人脸姿态估计模型进行迭代训练后，得到所述人脸姿态估计模型。
一种可能的实施方式中，模型训练模块604，还用于：
根据所述人脸姿态角度预测值和每个人脸姿态类型对应的角度范围，确定所述人脸姿态角度预测值所属的计算人脸姿态类型；所述计算人脸姿态类型，为所述人脸姿态角度预测值落入的角度范围对应的人脸姿态类型；
根据所述人脸图像训练集标记的人脸姿态角度标签和所述人脸姿态角度预测值，确定人脸姿态角度值的损失函数值；
根据所述人脸图像训练集标记的人脸姿态类型标签、所述计算人脸姿态类型和每种预测情况对应的损失函数权值，确定所述人脸姿态角度值的损失函数值对应的权值；所述每种预测情况为，每种人脸姿态类型标签与每种计算人脸姿态类型的组合；
根据人脸姿态角度值的损失函数值和人脸姿态角度值的损失函数值的权值，确定所述人脸姿态角度损失值。
一种可能的实施方式中，模型训练模块604，还用于通过下述步骤确定所述每种预测情况对应的损失函数权值：
判断所述人脸姿态类型标签与所述计算人脸姿态类型是否相同；
如果所述人脸姿态类型标签与所述计算人脸姿态类型相同，则所述损失函数权值小于1；
如果所述人脸姿态类型标签与所述计算人脸姿态类型不同，判断所述人脸姿态类型标签与所述计算人脸姿态类型之间的差距，并根据所述差距确定所述损失函数权值。
一种可能的实施方式中，模型训练模块604，还用于：
根据所述人脸姿态类型标签和属于所述人脸姿态类型标签的概率，确定所述人脸姿态类型损失值。
一种可能的实施方式中，人脸姿态估计模型602，还用于在输入人脸图像时，还得到人脸特征点相对于人脸边框的目标位置坐标；所述人脸特征点为人的面部器官对应的特征点。
一种可能的实施方式中，模型训练模块604，还用于：
获取人脸图像训练集，并对每个人脸图像训练集中人脸姿态的角度值、人脸姿态类型和人脸特征点的位置做出标记，作为人脸姿态角度标签、人脸姿态类型标签和人脸特征位置标签；
将所述人脸图像训练集分为至少一个子集，针对每个子集，将该子集中的每张人脸图像样本输入人脸姿态估计模型，前向传播得到人脸姿态角度预测值和人脸姿态类型预测值和人脸特征位置预测值；
将所述人脸姿态角度预测值、人脸姿态角度标签和人脸姿态类型标签输入人脸姿态回归损失函数，得到人脸姿态角度损失值；
将所述人脸姿态类型预测值和人脸姿态类型标签输入人脸姿态分类损失函数，得到人脸姿态类型损失值；
将人脸特征位置预测值和人脸特征位置标签输入人脸姿态特征损失函数，得到人脸姿态特征损失值；
根据人脸姿态角度损失值、人脸姿态类型损失值和人脸姿态特征损失值，以及人脸姿态角度损失值、人脸姿态类型损失值和人脸姿态特征损失值分别的权值，确定所述人脸姿态估计模型的总体损失函数值；
根据所述总体损失函数值，对所述人脸姿态估计模型的参数进行反向传播调整，完成所述人脸姿态估计模型利用该子集的训练；
利用每个子集对所述人脸姿态估计模型进行迭代训练后，得到所述人脸姿态估计模型。
实施例五
如图7所示，本申请实施例五还提供一种电子设备700，包括：
包括存储器701、处理器702及存储在存储器701上并可在处理器702上运行的计算机程序，所述处理器702执行所述程序时实现实施例一到实施例三中任一种人脸姿态估计方法的步骤。存储器701和处理器702之间可以通过总线进行连接。
实施例六
本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现实施例一到实施例三中任一种人脸姿态估计方法的步骤。
综上所述，以上仅为本申请的较佳实施例而已，并非用于限定本申请的保护范围。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

Claims (10)

1.一种人脸姿态估计方法，其特征在于，包括：
获取人脸图像，将所述人脸图像输入人脸姿态估计模型中，得到目标角度值和目标姿态类型；所述人脸姿态估计模型，预先基于标记了人脸姿态的人脸姿态角度标签和人脸姿态类型标签的人脸图像训练集进行了联合训练；所述目标姿态类型为依据人脸姿态的角度值划分的人脸姿态类型中的一种，每个所述人脸姿态类型包含预设的角度范围；
判断所述目标角度值是否落入所述目标姿态类型对应的角度范围；
如果所述目标角度值落入所述目标姿态类型对应的角度范围，则将所述目标角度值作为人脸姿态估计结果；
否则，确定所述目标姿态类型的上边界与下边界中，与所述目标角度值的大小最接近的一个，作为人脸姿态估计结果。
2.根据权利要求1所述的方法，其特征在于，对所述人脸姿态估计模型进行训练的步骤包括：
获取人脸图像训练集，并对所述人脸图像训练集中的每张人脸图像样本的人脸姿态的角度值和人脸姿态类型做出标记，作为人脸姿态角度标签和人脸姿态类型标签；
将所述人脸图像训练集分为至少一个子集，针对每个子集，将该子集中的每张人脸图像样本输入人脸姿态估计模型，前向传播得到人脸姿态角度预测值和人脸姿态类型预测值；
将所述人脸姿态角度预测值、人脸姿态角度标签和人脸姿态类型标签输入人脸姿态回归损失函数，得到人脸姿态角度损失值；
将所述人脸姿态类型预测值和人脸姿态类型标签输入人脸姿态分类损失函数，得到人脸姿态类型损失值；
根据人脸姿态角度损失值和人脸姿态类型损失值，以及人脸姿态角度损失值和人脸姿态类型损失值分别的权值，确定所述人脸姿态估计模型的总体损失函数值；
根据所述总体损失函数值，对所述人脸姿态估计模型的参数进行反向传播调整，完成所述人脸姿态估计模型利用该子集的训练；
利用每个子集对所述人脸姿态估计模型进行迭代训练后，得到所述人脸姿态估计模型。
3.根据权利要求2所述的方法，其特征在于，所述将所述人脸姿态角度预测值、人脸姿态角度标签和人脸姿态类型标签输入人脸姿态回归损失函数，得到人脸姿态角度损失值人脸姿态角度损失值的步骤包括：
根据所述人脸姿态角度预测值和每个人脸姿态类型对应的角度范围，确定所述人脸姿态角度预测值所属的计算人脸姿态类型；所述计算人脸姿态类型，为所述人脸姿态角度预测值落入的角度范围对应的人脸姿态类型；
根据所述人脸图像样本标记的人脸姿态角度标签和所述人脸姿态角度预测值，确定人脸姿态角度值的损失函数值；
根据所述人脸图像样本标记的人脸姿态类型标签、所述计算人脸姿态类型和每种预测情况对应的损失函数权值，确定所述人脸姿态角度值的损失函数值对应的权值；所述每种预测情况为，每种人脸姿态类型标签与每种计算人脸姿态类型的组合；
根据人脸姿态角度值的损失函数值和人脸姿态角度值的损失函数值的权值，确定所述人脸姿态角度损失值。
4.根据权利要求3所述的方法，其特征在于，通过下述步骤确定所述每种预测情况对应的损失函数权值：
判断所述人脸姿态类型标签与所述计算人脸姿态类型是否相同；
如果所述人脸姿态类型标签与所述计算人脸姿态类型相同，则所述损失函数权值小于1；
如果所述人脸姿态类型标签与所述计算人脸姿态类型不同，判断所述人脸姿态类型标签与所述计算人脸姿态类型之间的差距，并根据所述差距确定所述损失函数权值。
5.根据权利要求2所述的方法，其特征在于，所述将所述人脸姿态类型预测值和人脸姿态类型标签输入人脸姿态分类损失函数，得到人脸姿态类型损失值的步骤包括：
根据所述人脸姿态类型标签和属于所述人脸姿态类型标签的概率，确定所述人脸姿态类型损失值。
6.根据权利要求1所述的方法，其特征在于，在将所述人脸图像输入人脸姿态估计模型中的步骤，还得到：
人脸特征点相对于人脸边框的目标位置坐标；所述人脸特征点为人的面部器官对应的特征点。
7.根据权利要求6所述的方法，其特征在于，对所述人脸姿态估计模型进行训练的步骤包括：
获取人脸图像训练集，并对所述人脸图像训练集中的每张人脸图像样本的人脸姿态的角度值、人脸姿态类型和人脸特征点的位置做出标记，作为人脸姿态角度标签、人脸姿态类型标签和人脸特征位置标签；
将所述人脸图像训练集分为至少一个子集，针对每个子集，将该子集中的每张人脸图像样本输入人脸姿态估计模型，前向传播得到人脸姿态角度预测值和人脸姿态类型预测值和人脸特征位置预测值；
将所述人脸姿态角度预测值、人脸姿态角度标签和人脸姿态类型标签输入人脸姿态回归损失函数，得到人脸姿态角度损失值；
将所述人脸姿态类型预测值和人脸姿态类型标签输入人脸姿态分类损失函数，得到人脸姿态类型损失值；
将人脸特征位置预测值和人脸特征位置标签输入人脸姿态特征损失函数，得到人脸姿态特征损失值；
根据人脸姿态角度损失值、人脸姿态类型损失值和人脸姿态特征损失值，以及人脸姿态角度损失值、人脸姿态类型损失值和人脸姿态特征损失值分别的权值，确定所述人脸姿态估计模型的总体损失函数值；
根据所述总体损失函数值，对所述人脸姿态估计模型的参数进行反向传播调整，完成所述人脸姿态估计模型利用该子集的训练；
利用每个子集对所述人脸姿态估计模型进行迭代训练后，得到所述人脸姿态估计模型。
8.一种人脸姿态估计装置，其特征在于，包括：
获取模块，用于获取人脸图像；
人脸姿态估计模型，用于根据输入的所述人脸图像，得到目标角度值和目标姿态类型；所述目标姿态类型为依据人脸姿态的角度值划分的人脸姿态类型中的一种，每个所述人脸姿态类型包含预设的角度范围；所述人脸姿态估计模型，预先基于标记了人脸姿态的人脸姿态角度标签和人脸姿态类型标签的人脸图像训练集进行了联合训练；
结果确定模块，用于判断所述目标角度值是否落入所述目标姿态类型对应的角度范围；如果所述目标角度值落入所述目标姿态类型对应的角度范围，则将所述目标角度值作为人脸姿态估计结果；否则，确定所述目标姿态类型的上边界与下边界中，与所述目标角度值的大小最接近的一个，作为人脸姿态估计结果。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-7任一项所述的方法步骤。
10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-7任一项所述的方法步骤。
CN201910332617.6A 2019-04-24 2019-04-24 人脸姿态估计方法、装置、电子设备与可读存储介质 Withdrawn CN111860031A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910332617.6A CN111860031A (zh) 2019-04-24 2019-04-24 人脸姿态估计方法、装置、电子设备与可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910332617.6A CN111860031A (zh) 2019-04-24 2019-04-24 人脸姿态估计方法、装置、电子设备与可读存储介质

Publications (1)

Publication Number Publication Date
CN111860031A true CN111860031A (zh) 2020-10-30

Family

ID=72952417

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910332617.6A Withdrawn CN111860031A (zh) 2019-04-24 2019-04-24 人脸姿态估计方法、装置、电子设备与可读存储介质

Country Status (1)

Country Link
CN (1) CN111860031A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112364803A (zh) * 2020-11-20 2021-02-12 深圳龙岗智能视听研究院 活体识别辅助网络和训练方法、终端、设备及存储介质
CN112488067A (zh) * 2020-12-18 2021-03-12 北京的卢深视科技有限公司 人脸姿态估计方法、装置、电子设备和存储介质

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112364803A (zh) * 2020-11-20 2021-02-12 深圳龙岗智能视听研究院 活体识别辅助网络和训练方法、终端、设备及存储介质
CN112364803B (zh) * 2020-11-20 2023-08-11 深圳龙岗智能视听研究院 活体识别辅助网络的训练方法、终端、设备及存储介质
CN112488067A (zh) * 2020-12-18 2021-03-12 北京的卢深视科技有限公司 人脸姿态估计方法、装置、电子设备和存储介质

Similar Documents

Publication Publication Date Title
US11914677B2 (en) Image processing method and apparatus, terminal, and storage medium
US10452893B2 (en) Method, terminal, and storage medium for tracking facial critical area
JP6664163B2 (ja) 画像識別方法、画像識別装置及びプログラム
CN112040834A (zh) 眼球跟踪方法及系统
CN110879982B (zh) 一种人群计数系统及方法
CN108446672B (zh) 一种基于由粗到细脸部形状估计的人脸对齐方法
CN110598638A (zh) 模型训练方法、人脸性别预测方法、设备及存储介质
CN110738160A (zh) 一种结合人脸检测的人脸质量评估方法
CN105912126B (zh) 一种手势运动映射到界面的增益自适应调整方法
CN105335719A (zh) 活体检测方法及装置
CN111209818A (zh) 视频个体识别方法、系统、设备及可读存储介质
CN111062263A (zh) 手部姿态估计的方法、设备、计算机设备和存储介质
CN111368751A (zh) 图像处理方法、装置、存储介质及电子设备
CN110705489B (zh) 目标识别网络的训练方法、装置、计算机设备和存储介质
CN115661943A (zh) 一种基于轻量级姿态评估网络的跌倒检测方法
WO2014180108A1 (en) Systems and methods for matching face shapes
CN113179421B (zh) 视频封面选择方法、装置、计算机设备和存储介质
CN111860031A (zh) 人脸姿态估计方法、装置、电子设备与可读存储介质
CN114495241A (zh) 一种图像识别方法及装置、电子设备、存储介质
CN106778576B (zh) 一种基于sehm特征图序列的动作识别方法
CN111310720A (zh) 基于图度量学习的行人重识别方法及系统
CN113239866B (zh) 一种时空特征融合与样本注意增强的人脸识别方法及系统
CN114492634A (zh) 一种细粒度装备图片分类识别方法及系统
CN111915676B (zh) 图像生成方法、装置、计算机设备和存储介质
CN112836682A (zh) 视频中对象的识别方法、装置、计算机设备和存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WW01 Invention patent application withdrawn after publication
WW01 Invention patent application withdrawn after publication

Application publication date: 20201030