CN112101247A - 一种人脸姿态估计方法、装置、设备及存储介质 - Google Patents

Abstract

本发明公开了一种人脸姿态估计方法、装置、设备及存储介质，该方法包括：获取人脸图像，并确定所述人脸图像包含的、当前需要进行人脸姿态估计的任意一个人脸为目标人脸；从所述目标人脸上获取多个人脸关键点，该多个人脸关键点为能够表现所述目标人脸的人脸特征的关键点；对从所述目标人脸上获取的多个人脸关键点进行几何特征分析，并基于分析所得结果估计所述目标人脸的人脸姿态。可见，本申请通过能够表现人脸特征的多个人脸关键点的几何特征实现人脸姿态的估算，并不会因为人脸不同而影响人脸姿态的估算，从而在实现人脸姿态估算时具有较高的精度及较好的鲁棒性。

Description

一种人脸姿态估计方法、装置、设备及存储介质

技术领域

本发明涉及图像处理技术领域，更具体地说，涉及一种人脸姿态估计方法、装置、设备及存储介质。

背景技术

人脸姿态估计在注意力检测、行为分析、人机交互、角度优选等场合具有重要的应用；所谓人脸姿态估计即通过特定技术手段去估算人脸相对参照物(例如相机或观察者)的面部朝向的角度信息。

人脸姿态估计方法中基于模型的方法最为常用，但是基于模型的方法需要进行3D人脸模型匹配，因此3D人脸模型的好坏直接关系到人脸姿态估计的精度；目前基于模型的方法通常采用单一的3D人脸模型，而该模型不可能符合所有人脸，因此在基于该模型实现不同人脸的人脸姿态估计时，可能出现计算出的人脸姿态与真实人脸姿态差异较大的情况；并且考虑到人脸采集设备可能存在的图像比例失调问题，基于相同的3D人脸模型，如果目标图像的宽高比发生变化，则计算出的人脸姿态与正常人脸姿态差异也会较大。

综上所述，现有技术中实现人脸姿态估计的方法存在精度较低、鲁棒性较差的问题。

发明内容

本发明的目的是提供一种人脸姿态估计方法、装置、设备及存储介质，能够在实现人脸姿态估算时具有较高的精度及较好的鲁棒性。

为了实现上述目的，本发明提供如下技术方案：

一种人脸姿态估计方法，包括：

获取人脸图像，并确定所述人脸图像包含的、当前需要进行人脸姿态估计的任意一个人脸为目标人脸；

从所述目标人脸上获取多个人脸关键点，该多个人脸关键点为能够表现所述目标人脸的人脸特征的关键点；

对从所述目标人脸上获取的多个人脸关键点进行几何特征分析，并基于分析所得结果估计所述目标人脸的人脸姿态。

优选的，所述人脸关键点包括中心点、左上点、右上点、左下点及右下点，所述中心点位于所述目标人脸的面部中央，所述左上点及所述右上点分别位于在所述中心点上部的、所述目标人脸的面部包含的、一组成对人脸区域的每个人脸区域或者一个单独人脸区域的两侧，所述左下点及所述右下点分别位于在所述中心点下部的、所述目标人脸的面部包含的、一组成对人脸区域的每个人脸区域或者一个单独人脸区域的两侧。

优选的，所述人脸姿态包括偏航角；基于分析所得结果确定所述目标人脸的偏航角，包括：

如果所述中心点位于四边形之内，则按照下列公式计算所述目标人脸的偏航角：

如果所述中心点未位于所述四边形之内，则按照下列公式计算所述目标人脸的偏航角：

其中，S₁＝min(S_left/S_right,S_right/S_left)，S_left表示所述中心点、所述左上点及所述左下点组成的三角形的面积，S_right表示所述中心点、所述右上点及所述右下点组成的三角形的面积，所述四边形由所述左上点、所述右上点、所述左下点及所述右下点组成，θ_yaw表示所述偏航角的角度，λ为预先设定的常数。

优选的，所述人脸姿态包括俯仰角；基于分析所得结果确定所述目标人脸的俯仰角，包括：

如果所述中心点位于四边形之内，则按照下列公式计算所述目标人脸的俯仰角的基准角：

如果所述中心点未位于所述四边形之内，则按照下列公式计算所述目标人脸的俯仰角的基准角：

其中，S₂＝min(S_up/S_down,S_down/S_up)，S_up表示所述中心点、所述左上点及所述右上点组成的三角形的面积，S_down表示所述中心点、所述左下点及所述右下点组成的三角形的面积，θ_ra表示所述俯仰角的基准角；

将S_up及S_down进行比对，并基于比对结果利用预先设定的校正角对所述基准角进行校正，得到所述目标人脸的俯仰角。

优选的，所述人脸姿态包括滚转角；基于分析所得结果确定所述目标人脸的滚转角，包括：

按照下列公式计算所述目标人脸的滚转角：

其中，θ_roll表示所述滚转角，

表示所述左上点及所述右上点之间的距离，

表示

在x坐标轴的投影长度，

表示

在y坐标轴的投影长度，x坐标轴、y坐标轴组成的平面为所述滚转角的参考平面。

优选的，所述中心点位于鼻尖，所述左上点位于左眼的左眼角，所述右上点位于右眼的右眼角，所述左下点位于左嘴角，所述右下点位于右嘴角。

优选的，基于比对结果利用预先设定的校正角对所述基准角进行校正，得到所述目标人脸的俯仰角，包括：

如果S_down/S_up>1，则所述目标人脸的俯仰角θ_pitch为θ_pitch＝θ_ra+θ_offset；

如果S_down/S_up<β，则所述目标人脸的俯仰角θ_pitch为θ_pitch＝θ_ra-θ_offset；

如果β≤S_down/S_up≤1，则所述目标人脸的俯仰角θ_pitch为θ_pitch＝θ_offset-θ_ra；

其中，β为预先设定的小于1且大于0的常数，θ_offset为所述校正角。

一种人脸姿态估计装置，包括：

确定模块，用于：获取人脸图像，并确定所述人脸图像包含的、当前需要进行人脸姿态估计的任意一个人脸为目标人脸；

获取模块，用于：从所述目标人脸上获取多个人脸关键点，该多个人脸关键点为能够表现所述目标人脸的人脸特征的关键点；

估计模块，用于：对从所述目标人脸上获取的多个人脸关键点进行几何特征分析，并基于分析所得结果估计所述目标人脸的人脸姿态。

一种人脸姿态估计设备，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如上任意一个项所述人脸姿态估计方法的步骤。

一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如上任意一个项所述人脸姿态估计方法的步骤。

本发明提供一种人脸姿态估计方法、装置、设备及存储介质，该方法包括：获取人脸图像，并确定所述人脸图像包含的、当前需要进行人脸姿态估计的任意一个人脸为目标人脸；从所述目标人脸上获取多个人脸关键点，该多个人脸关键点为能够表现所述目标人脸的人脸特征的关键点；对从所述目标人脸上获取的多个人脸关键点进行几何特征分析，并基于分析所得结果估计所述目标人脸的人脸姿态。本申请在确定出位于人脸图像上的需要进行人脸姿态估计的目标人脸后，从目标人脸上获取能够表现其人脸特征的多个人脸关键点，由于人脸在不同姿态时具有的人脸特征是不同的，因此本申请通过对目标人脸上这多个人脸关键点分析得到的几何特征表现其人脸特征，最终基于目标人脸上这多个人脸关键点的几何特征估计其人脸姿态，从而实现人脸姿态的有效估计；可见，本申请通过能够表现人脸特征的多个人脸关键点的几何特征实现人脸姿态的估算，并不会因为人脸不同而影响人脸姿态的估算，从而在实现人脸姿态估算时具有较高的精度及较好的鲁棒性。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本发明实施例提供的一种人脸姿态估计方法的流程图；

图2为本发明实施例提供的一种人脸姿态估计方法中人脸姿态示意图；

图3为本发明实施例提供的一种人脸姿态估计方法中具体场景下人脸姿态估计整体流程图；

图4为本发明实施例提供的一种人脸姿态估计方法中人脸关键点及几何特征示意图；

图5为本发明实施例提供的一种人脸姿态估计方法中人脸偏航角Yaw的原理图；

图6为本发明实施例提供的一种人脸姿态估计方法中人脸偏航角Yaw与人脸左右面积比值关系图；

图7为本发明实施例提供的一种人脸姿态估计方法中人脸原图(a)及缩放后人脸(b)的示意图；

图8为本发明实施例提供的一种人脸姿态估计方法中数据集中人脸图像示意图；

图9为本发明实施例提供的一种人脸姿态估计装置的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

请参阅图1，其示出了本发明实施例提供的一种人脸姿态估计方法的流程图，可以包括：

S11：获取人脸图像，并确定人脸图像包含的、当前需要进行人脸姿态估计的任意一个人脸为目标人脸。

本发明实施例提供的一种人脸姿态估计方法的执行主体可以为对应的人脸姿态估计装置、设备等；其中，人脸图像为包含一个或者多个人脸的图像，在获取到人脸图像之后，可以确定人脸图像中包含的当前需要进行人脸姿态估计的任意一个人脸为目标人脸，也即对于需要实现人脸姿态估计的、位于任意人脸图像上的任意一个人脸均可以作为目标人脸，进而实现对目标人脸的人脸姿态估计。

S12：从目标人脸上获取多个人脸关键点，该多个人脸关键点为能够表现目标人脸的人脸特征的关键点。

需要说明的是，人脸关键点通常指人脸的关键部位(如眼睛、鼻子、嘴巴等)的像素位置，可通过MTCNN等人脸关键点检测网络或其它计算机视觉技术获取。在确定出目标人脸后，本申请从目标人脸上获取其包含的多个人脸关键点，这多个人脸关键点分别位于目标人脸的不同部位，从而使得这多个人脸关键点能够体现出目标人脸的人脸特征，由于人脸在不同姿态时通过其包含的多个人脸关键点所体现出的人脸特征不同，如任意一个人脸在正脸状态下眼睛之间的距离和该任意一个人脸在偏转一定角度状态下眼睛之间的距离是不同的，因此在得到能够表现出人脸的人脸特征的多个人脸关键点后，能够基于这多个人脸关键点确定出人脸姿态。另外，本申请在从目标人脸上获取多个人脸关键点时，具体可以是获取目标人脸上各个人脸关键点的2D坐标，进而基于各个人脸关键点的2D坐标实现相应的几何特征分析。

S13：对从目标人脸上获取的多个人脸关键点进行几何特征分析，并基于分析所得结果估计目标人脸的人脸姿态。

如上，在人脸处于不同姿态时人脸特征是不同的，因此本申请实施例在获取到目标人脸上包含的能够表现人脸特征的多个人脸关键点后，可以分析这多个人脸关键点的几何特征，也即本申请中利用几何特征表现人脸特征，几何特征具体可以包括不同的人脸关键点之间的距离、组成的形状的面积等，从而基于这多个人脸关键点的几何特征则可以估计出人脸关键点所属人脸的人脸姿态。

本申请在确定出位于人脸图像上的需要进行人脸姿态估计的目标人脸后，从目标人脸上获取能够表现其人脸特征的多个人脸关键点，由于人脸在不同姿态时具有的人脸特征是不同的，因此本申请通过对目标人脸上这多个人脸关键点分析得到的几何特征表现其人脸特征，最终基于目标人脸上这多个人脸关键点的几何特征估计其人脸姿态，从而实现人脸姿态的有效估计；可见，本申请通过能够表现人脸特征的多个人脸关键点的几何特征实现人脸姿态的估算，并不会因为人脸不同而影响人脸姿态的估算，从而在实现人脸姿态估算时具有较高的精度及较好的鲁棒性。

本发明实施例提供的一种人脸姿态估计方法，人脸关键点可以包括中心点、左上点、右上点、左下点及右下点，中心点位于目标人脸的面部中央，左上点及右上点分别位于在中心点上部的、目标人脸的面部包含的、一组成对人脸区域的每个人脸区域或者一个单独人脸区域的两侧，左下点及右下点分别位于在中心点下部的、目标人脸的面部包含的、一组成对人脸区域的每个人脸区域或者一个单独人脸区域的两侧。

需要说明的是，本申请实施例中的人脸区域可以包括额头、眉毛、眼睛、鼻子、嘴巴、下巴、脸颊等，其中，额头、鼻子、嘴巴及下巴则为单独人脸区域，而眉毛、眼睛、脸颊则为成对人脸区域，人脸的面部中央可以是鼻子所在位置，因此中心点可以设置于鼻子上；左上点及右上点位于中心点之上，且分别位于成对人脸区域的每个人脸区域或者单独人脸区域的两则，如左上点位于左眼、右上点位于右眼，左上点位于左脸颊、右上点位于右脸颊，左上点位于额头左侧、右上点位于额头右侧，等；左下点及右下点位于中心点之下，且分别位于成对人脸区域的每个人脸区域或者单独人脸区域的两侧，如左下点位于左嘴角、右下点位于右嘴角，左下点位于下巴左侧、右下点位于下巴右侧，等。通过这种方式获取到人脸上的五个人脸关键点，这五个人脸关键点几乎遍布全脸，因此不仅获取的人脸关键点的数量较少，且可以有效表现出人脸的人脸特征，从而保证实现人脸姿态估计的同时，减少人脸关键点几何特征分析所需的工作量。

在本申请实施例中，人脸姿态可以用三个欧拉角Yaw(偏航角)、Pitch(俯仰角)、Roll(滚转角)表示；人脸的Yaw、Pitch、Roll相互独立，通常人脸的实际姿态为Yaw、Pitch、Roll的自由组合。因此在实现人脸姿态的研究时，可以到该人脸姿态所对应的参考平面进行研究。如图2所示，为人脸姿态的示意图；由图2可以看出，Yaw、Pitch、Roll所对应的参考平面分别为o-xz、o-yz以及o-xy。本申请实施例将人脸姿态变化视为三维刚体运动(在三维空间中把一个物体作旋转、平移的运动称为刚体运动)，这样就可以将人脸Yaw、Pitch、Roll的变化抽象为对应参考平面上人脸关键点的圆周运动，因此不同圆周上人脸关键点与相应偏转角的变化规律则是实现人脸姿态估计的关键。

基于此，本发明实施例提供的一种人脸姿态估计方法，基于分析所得结果确定目标人脸的偏航角，可以包括：

如果中心点位于四边形之内，则按照下列公式计算目标人脸的偏航角：

如果中心点未位于四边形之内，则按照下列公式计算目标人脸的偏航角：

其中，S₁＝min(S_left/S_right,S_right/S_left)，S_left表示中心点、左上点及左下点组成的三角形的面积，S_right表示中心点、右上点及右下点组成的三角形的面积，四边形由左上点、右上点、左下点及右下点组成，θ_yaw表示偏航角的角度，λ为预先设定的常数。

基于分析所得结果确定目标人脸的俯仰角，可以包括：

如果中心点位于四边形之内，则按照下列公式计算目标人脸的俯仰角的基准角：

如果中心点未位于四边形之内，则按照下列公式计算目标人脸的俯仰角的基准角：

其中，S₂＝min(S_up/S_down,S_down/S_up)，S_up表示中心点、左上点及右上点组成的三角形的面积，S_down表示中心点、左下点及右下点组成的三角形的面积，θ_ra表示俯仰角的基准角；

将S_up及S_down进行比对，并基于比对结果利用预先设定的校正角对基准角进行校正，得到目标人脸的俯仰角。

基于分析所得结果确定目标人脸的滚转角，可以包括：

按照下列公式计算目标人脸的滚转角：

其中，θ_roll表示滚转角，

表示左上点及右上点之间的距离，

表示

在x坐标轴的投影长度，

表示

在y坐标轴的投影长度，x坐标轴、y坐标轴组成的平面为滚转角的参考平面。

由于在人脸姿态发生变化时，从人脸上获取的人脸关键点之间的几何特征会相应的发生变化，因此本申请实施例按照上述方式通过简单的几何特征分析(包括面积比值、距离计算等)即可确定出人脸姿态，简单易实现。

在一种具体实现方式中，本申请中获取的上述五个人脸关键点可以如下：中心点位于鼻尖，左上点位于左眼的左眼角，右上点位于右眼的右眼角，左下点位于左嘴角，右下点位于右嘴角。从而将这个人脸关键点均设置于在人脸关键点获取时较为容易检测及获取的位置，提高了人脸关键点的获取速度。

对应的，基于比对结果利用预先设定的校正角对基准角进行校正，得到目标人脸的俯仰角，可以包括：

如果S_down/S_up>1，则目标人脸的俯仰角θ_pitch为θ_pitch＝θ_ra+θ_offset；

如果S_down/S_up<β，则目标人脸的俯仰角θ_pitch为θ_pitch＝θ_ra-θ_offset；

如果β≤S_down/S_up≤1，则目标人脸的俯仰角θ_pitch为θ_pitch＝θ_offset-θ_ra；

其中，β为预先设定的小于1且大于0的常数，θ_offset为校正角。从而通过这种方式实现对基准角的校正，使得最终所得俯仰角更加准确。

在一种具体应用场景中，可以利用相应的模型实现Yaw、Pitch、Roll的计算，以下以中心点位于鼻尖、左上点位于左眼的左眼角、右上点位于右眼的右眼角、左下点位于左嘴角、右下点位于右嘴角为例对本申请公开的上述技术方案进行详细说明。如图3所示，具体可以如下：

(1)获取人脸关键点的2D坐标

通过MTCNN等人脸关键点检测网络获取人脸的左眼左眼角、右眼右眼角、鼻尖、左嘴角、右嘴角这五个人脸关键点的2D坐标。

(2)获取标准的3D人脸模型

表1标准3D人脸模型

人脸关键点	3D坐标
		鼻尖	(0.00.00.0)
左眼左眼角	(-225.0170.0-135.0)
		右眼右眼角	(225.0170.0-135.0)
左嘴角	(-150.0-150.0-125.0)
		右嘴角	(150.0-150.0-125.0)

标准的3D人脸模型通常以鼻尖为坐标原点，这样在计算人脸姿态时只需计算2D点到3D点的旋转矩阵，不需要计算平移矩阵，可以降低运算量。另外本申请实施例获取3D人脸模型是为了分析如何基于人脸关键点的2D坐标实现人脸姿态估计，并非利用该3D人脸模型实现相应的人脸姿态估计；也即本申请基于3D人脸模型确定实现各项偏转角对应的参考平面，进而在相应参考平面上实现所对应的偏转角的计算，如Yaw、Pitch、Roll所对应的参考平面分别为o-xz、o-yz以及o-xy，则分别在o-xz、o-yz以及o-xy上分别实现Yaw、Pitch、Roll的计算(在o-xz上计算Yaw，在o-yz上计算Pitch，在o-xy上计算Roll)，进而在得到实现各项偏转角的计算所用公式后，只需要基于相应人脸关键点的2D坐标按照得到的公式计算各项偏转角即可。

(3)人脸姿态建模

对需要实现人脸姿态估计的人脸实现人脸姿态建模，得到如图4所示的模型，其中，o、e₁、e₂、m₁、m₂分别代表鼻尖、左眼左眼角、右眼右眼角、左嘴角、右嘴角；S_left表示△e₁om₁的面积，S_right表示△e₂om₂的面积、S_up表示△e₁oe₂的面积、S_down表示△m₁om₂的面积。

(4)Yaw模型、Pitch模型、Roll模型

基于图2、图4可知，Yaw与S_left、S_right的比值存在某种函数关系；又由于Yaw仅与人脸关键点在o-xz平面的变化有关，因此S_left、S_right的比值可转换为o、e₁、e₂在x坐标轴上投影点的分割比。

根据表1很容易看出o-xz平面上o、e₁、e₂三点同轴共圆，记圆周半径为R；令e₁和e₂间距为2L，圆心为O°，取z轴反方向为正，此时o-xz平面上o、e₁、e₂三点坐标的相对位置如图5所示；其中a为O°o与e₁e₂的交点，且O°o⊥e₁e₂。假设人脸向左偏转θ_yaw角度，此时鼻尖、左眼左眼角、右眼右眼角分别记为o′、e′₁、e′₂，O°o′与e′₁e′₂的交点为a′。e′₁e′_2x为e′₁e′₂在x坐标轴方向的投影，o′在e′₁e′_2x的投影点为o′_x、a′在e′₁e′_2x的投影点为a′_x。

因此根据图5所示的几何关系得到θ_yaw与S_left、S_right的比值S的关系：

(鼻尖o位于四边形e₁e₂m₁m₂内侧) (1)

(鼻尖o未位于四边形e₁e₂m₁m₂内侧) (2)

其中，S₁＝min(S_left/S_right,S_right/S_left)，λ为与R、L相关的常数，

公式(2)表明这样一种情形，当人脸偏侧至某一角度时，人脸的同侧眼角、嘴角和鼻尖共线，该角度为48°，当偏侧角度大于48°时，鼻尖会越过同侧眼角-嘴角的连线，则此时偏航角与人脸左右面积比的关系如图6曲线(2)所示。

Pitch与Yaw的区别在于人脸的上下部分是不对称的，因此计算θ_pitch时，本申请还考虑角度偏移量θ_offset；记正脸状态下S_up与S_down的最小比值为β，规定人脸上仰为正方向，下俯为反方向，则θ_pitch计算流程如下：

计算S_up与S_down的最小比值，带入公式(1)或(2)得到角度θ_ra；

如果S_down/S_up>1，则人脸处于上仰状态，θ_pitch＝θ_ra+θ_offset；如果S_down/S_up<β，则人脸处于下俯状态，俯仰角Pitch为θ_pitch＝θ_ra-θ_offset；如果β≤S_down/S_up≤1，则人脸处于正常状态，俯仰角Pitch为θ_pitch＝θ_offset-θ_ra；其中，获取θ_offset时，可以在人脸在正脸状态下令

则

计算滚转角Roll只需计算出两眼连线与x坐标轴的夹角即可；令两眼角距离为

在x坐标轴的投影长度

在y坐标轴的投影长度

根据余弦公式可得滚转角θ_roll：

为了证明本申请公开的技术方案具有较高的精度及较好的准确性，本申请针对如图7所示的人脸图像缩放前(人脸原图)及人脸图像缩放后(缩放后人脸)，分别利用基于模型的方法及本申请公开的技术方案实现人脸姿态估计，结果如表2所示。

表2人脸姿态计算结果

从表2可以看到图7中人脸缩放前后，本申请公开的技术方案计算的角度值更稳定，鲁棒性更好；而基于模型的方法则在人脸缩放前后计算得到的角度差异较大。另外，本申请中设定正脸时人脸姿态角度值均为0，角度方向为“左正右负、上正下负”。

为了进一步证明本申请公开的技术方案的优点，在如图8所示的数据集上进行测试，也即对如图8所示的相应人脸图像分别利用本申请公开的技术方案及基于模型的方法进行人脸姿态估计，利用本申请得到的结果如表3所示，利用基于模型的方法得到的结果如表4所示

表3本发明测试结果

表4基于模型的方法测试结果

结合图8以及表3、表4的数据进行分析，本发明的Yaw与基于模型的方法对比其平均偏差为6.97°，但从图7来看，本发明的Yaw取值相对更加精确，而Pitch平均偏差2.63°，Roll平均偏差为2.75°。综合来看，本发明的人脸姿态估计方法满足能够工程需求。

可见，本申请实现方案的原理简单，易于部署，不需要摄像机标定、2D与3D点匹配以及求解旋转矩阵等操作，并且对缩放人脸具有很好的鲁棒性，尤其适合要求低耗时、高指标的场景。另外，本申请可以应用于角度优选(人脸检测应用中，从同一人被抓拍的多张人脸图像中选择偏转角最小的一张脸)、人脸识别、人脸属性、人脸质量分析等多种场景，具有较好的通用性。

本发明实施例还提供了一种人脸姿态估计装置，如图9所示，可以包括：

确定模块11，用于：获取人脸图像，并确定人脸图像包含的、当前需要进行人脸姿态估计的任意一个人脸为目标人脸；

获取模块12，用于：从目标人脸上获取多个人脸关键点，该多个人脸关键点为能够表现目标人脸的人脸特征的关键点；

估计模块13，用于：对从目标人脸上获取的多个人脸关键点进行几何特征分析，并基于分析所得结果估计目标人脸的人脸姿态。

本发明实施例提供的一种人脸姿态估计装置，人脸关键点可以包括中心点、左上点、右上点、左下点及右下点，中心点位于目标人脸的面部中央，左上点及右上点分别位于在中心点上部的、目标人脸的面部包含的、一组成对人脸区域的每个人脸区域或者一个单独人脸区域的两侧，左下点及右下点分别位于在中心点下部的、目标人脸的面部包含的、一组成对人脸区域的每个人脸区域或者一个单独人脸区域的两侧。

本发明实施例提供的一种人脸姿态估计装置，人脸姿态包括偏航角；估计模块可以包括：

第一估计单元，用于：

如果中心点位于四边形之内，则按照下列公式计算目标人脸的偏航角：

如果中心点未位于四边形之内，则按照下列公式计算目标人脸的偏航角：

其中，S₁＝min(S_left/S_right,S_right/S_left)，S_left表示中心点、左上点及左下点组成的三角形的面积，S_right表示中心点、右上点及右下点组成的三角形的面积，四边形由左上点、右上点、左下点及右下点组成，θ_yaw表示偏航角的角度，λ为预先设定的常数。

本发明实施例提供的一种人脸姿态估计装置，人脸姿态包括俯仰角；估计模块可以包括：

第二估计单元，用于：

如果中心点位于四边形之内，则按照下列公式计算目标人脸的俯仰角的基准角：

如果中心点未位于四边形之内，则按照下列公式计算目标人脸的俯仰角的基准角：

其中，S₂＝min(S_up/S_down,S_down/S_up)，S_up表示中心点、左上点及右上点组成的三角形的面积，S_down表示中心点、左下点及右下点组成的三角形的面积，θ_ra表示俯仰角的基准角；

将S_up及S_down进行比对，并基于比对结果利用预先设定的校正角对基准角进行校正，得到目标人脸的俯仰角。

本发明实施例提供的一种人脸姿态估计装置，人脸姿态包括滚转角；估计模块可以包括：

第三估计单元，用于：

按照下列公式计算目标人脸的滚转角：

其中，θ_roll表示滚转角，

表示左上点及右上点之间的距离，

表示

在x坐标轴的投影长度，

表示

在y坐标轴的投影长度，x坐标轴、y坐标轴组成的平面为滚转角的参考平面。

本发明实施例提供的一种人脸姿态估计装置，中心点位于鼻尖，左上点位于左眼的左眼角，右上点位于右眼的右眼角，左下点位于左嘴角，右下点位于右嘴角。

本发明实施例提供的一种人脸姿态估计装置，第二估计单元可以包括：

估计子单元，用于：

如果S_down/S_up>1，则目标人脸的俯仰角θ_pitch为θ_pitch＝θ_ra+θ_offset；

如果S_down/S_up<β，则目标人脸的俯仰角θ_pitch为θ_pitch＝θ_ra-θ_offset；

如果β≤S_down/S_up≤1，则目标人脸的俯仰角θ_pitch为θ_pitch＝θ_offset-θ_ra；

其中，β为预先设定的小于1且大于0的常数，θ_offset为校正角。本发明实施例还提供了一种人脸姿态估计设备，可以包括：

存储器，用于存储计算机程序；

处理器，用于执行计算机程序时实现如上任意一个项人脸姿态估计方法的步骤。

本发明实施例还提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现如上任意一个项人脸姿态估计方法的步骤。

需要说明的是，本发明实施例提供的一种人脸姿态估计装置、设备及存储介质中相关部分的说明请参见本发明实施例提供的一种人脸姿态估计方法中对应部分的详细说明，在此不再赘述。另外，本发明实施例提供的上述技术方案中与现有技术中对应技术方案实现原理一致的部分并未详细说明，以免过多赘述。

对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种人脸姿态估计方法，其特征在于，包括：

获取人脸图像，并确定所述人脸图像包含的、当前需要进行人脸姿态估计的任意一个人脸为目标人脸；

从所述目标人脸上获取多个人脸关键点，该多个人脸关键点为能够表现所述目标人脸的人脸特征的关键点；

对从所述目标人脸上获取的多个人脸关键点进行几何特征分析，并基于分析所得结果估计所述目标人脸的人脸姿态。

2.根据权利要求1所述的方法，其特征在于，所述人脸关键点包括中心点、左上点、右上点、左下点及右下点，所述中心点位于所述目标人脸的面部中央，所述左上点及所述右上点分别位于在所述中心点上部的、所述目标人脸的面部包含的、一组成对人脸区域的每个人脸区域或者一个单独人脸区域的两侧，所述左下点及所述右下点分别位于在所述中心点下部的、所述目标人脸的面部包含的、一组成对人脸区域的每个人脸区域或者一个单独人脸区域的两侧。

3.根据权利要求2所述的方法，其特征在于，所述人脸姿态包括偏航角；基于分析所得结果确定所述目标人脸的偏航角，包括：

如果所述中心点位于四边形之内，则按照下列公式计算所述目标人脸的偏航角：

如果所述中心点未位于所述四边形之内，则按照下列公式计算所述目标人脸的偏航角：

其中，S₁＝min(S_left/S_right,S_right/S_left)，S_left表示所述中心点、所述左上点及所述左下点组成的三角形的面积，S_right表示所述中心点、所述右上点及所述右下点组成的三角形的面积，所述四边形由所述左上点、所述右上点、所述左下点及所述右下点组成，θ_yaw表示所述偏航角的角度，λ为预先设定的常数。

4.根据权利要求3所述的方法，其特征在于，所述人脸姿态包括俯仰角；基于分析所得结果确定所述目标人脸的俯仰角，包括：

如果所述中心点位于四边形之内，则按照下列公式计算所述目标人脸的俯仰角的基准角：

如果所述中心点未位于所述四边形之内，则按照下列公式计算所述目标人脸的俯仰角的基准角：

其中，S₂＝min(S_up/S_down,S_down/S_up)，S_up表示所述中心点、所述左上点及所述右上点组成的三角形的面积，S_down表示所述中心点、所述左下点及所述右下点组成的三角形的面积，θ_ra表示所述俯仰角的基准角；

将S_up及S_down进行比对，并基于比对结果利用预先设定的校正角对所述基准角进行校正，得到所述目标人脸的俯仰角。

5.根据权利要求4所述的方法，其特征在于，所述人脸姿态包括滚转角；基于分析所得结果确定所述目标人脸的滚转角，包括：

按照下列公式计算所述目标人脸的滚转角：

其中，θ_roll表示所述滚转角，

表示所述左上点及所述右上点之间的距离，

表示

在x坐标轴的投影长度，

表示

在y坐标轴的投影长度，x坐标轴、y坐标轴组成的平面为所述滚转角的参考平面。

6.根据权利要求5所述的方法，其特征在于，所述中心点位于鼻尖，所述左上点位于左眼的左眼角，所述右上点位于右眼的右眼角，所述左下点位于左嘴角，所述右下点位于右嘴角。

7.根据权利要求6所述的方法，其特征在于，基于比对结果利用预先设定的校正角对所述基准角进行校正，得到所述目标人脸的俯仰角，包括：

如果S_down/S_up>1，则所述目标人脸的俯仰角θ_pitch为θ_pitch＝θ_ra+θ_offset；

如果S_down/S_up<β，则所述目标人脸的俯仰角θ_pitch为θ_pitch＝θ_ra-θ_offset；

如果β≤S_down/S_up≤1，则所述目标人脸的俯仰角θ_pitch为θ_pitch＝θ_offset-θ_ra；

其中，β为预先设定的小于1且大于0的常数，θ_offset为所述校正角。

8.一种人脸姿态估计装置，其特征在于，包括：

确定模块，用于：获取人脸图像，并确定所述人脸图像包含的、当前需要进行人脸姿态估计的任意一个人脸为目标人脸；

获取模块，用于：从所述目标人脸上获取多个人脸关键点，该多个人脸关键点为能够表现所述目标人脸的人脸特征的关键点；

估计模块，用于：对从所述目标人脸上获取的多个人脸关键点进行几何特征分析，并基于分析所得结果估计所述目标人脸的人脸姿态。

9.一种人脸姿态估计设备，其特征在于，包括：

存储器，用于存储计算机程序；

处理器，用于执行所述计算机程序时实现如权利要求1至7任意一个项所述人脸姿态估计方法的步骤。

10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至7任意一个项所述人脸姿态估计方法的步骤。

Images