CN110781728B - 一种人脸朝向估计方法、装置、电子设备及存储介质 - Google Patents

Abstract

本申请提供了一种人脸朝向估计方法、装置、电子设备及存储介质，其中，该方法包括：获取待检测人脸图像；采用人脸朝向估计网络对所述待检测人脸图像进行处理，确定所述待检测人脸图像的人脸朝向；其中，所述人脸朝向估计网络的隐藏层中设置有位置图，所述人脸朝向估计网络为根据所述位置图对所述样本人脸图像进行监督训练得到的网络，所述位置图为：所述样本人脸图像在三维建模空间中完整三维面部形状的二维表示；输出所述待检测人脸图像的人脸朝向。解决现有技术中人脸朝向估计误差大的问题，达到了得到更准确的人脸朝向识别结果的效果。

Description

一种人脸朝向估计方法、装置、电子设备及存储介质

技术领域

本申请涉及人脸识别技术领域，具体而言，涉及一种人脸朝向估计方法、装置、电子设备及存储介质。

背景技术

人脸朝向估计有着广泛的应用场景，比如人机交互、驾驶员行为分析、3D人脸重建、安全监控等，它是人脸研究领域的一个重要组成部分。人脸朝向估计是指给定一张人脸图片，确定其中人脸的欧拉角度，分别为偏转角(yaw)、俯仰角(pitch)、滚动角(roll)。

目前，人脸朝向估计的方法主要分为两类，一类是基于关键点的人脸朝向估计方法，另一类是基于面容的人脸朝向估计方法。其中，基于关键点的人脸朝向估计方法需要分两步完成，第一步是检测人脸关键点，第二步是根据关键点的位置来估计人脸朝向。

但是由于人脸在大角度扭转的时候很多关键点在二维图像中是被遮挡而不可见的，使得不可见的关键点的估计误差变大，在这个基础上进行人脸朝向估计的误差也会增大。

发明内容

有鉴于此，本申请的目的在于提供一种人脸朝向估计方法、装置、电子设备及存储介质，解决现有技术中人脸朝向估计误差大的问题，提高人脸朝向估计的准确性。

在本申请的第一方面，本申请提供一种人脸朝向估计方法，包括：

获取待检测人脸图像；

采用人脸朝向估计网络对所述待检测人脸图像进行处理，确定所述待检测人脸图像的人脸朝向；其中，所述人脸朝向估计网络的隐藏层中设置有位置图，所述人脸朝向估计网络为根据所述位置图对样本人脸图像进行监督训练得到的网络，所述位置图为：所述样本人脸图像在三维建模空间中完整三维面部形状的二维表示；

输出所述待检测人脸图像的人脸朝向。

可选地，所述获取待检测人脸图像之前，所述方法还包括：

根据多个样本人脸图像获取对应的位置图，根据多个位置图对对应的样本人脸图像进行监督训练，确定各所述样本人脸图像的人脸朝向，并根据训练结果，生成所述人脸朝向估计网络。

可选地，所述根据多个样本人脸图像获取对应的位置图包括：

采用位置图回归网络PRN，对所述样本人脸图像进行处理，得到所述样本人脸图像对应的位置图。

可选地，所述根据多个位置图对对应的样本人脸图像进行监督训练，确定各所述样本人脸图像的人脸朝向包括：

采用所述人脸朝向估计网络，对所述样本人脸图像进行处理，在每个中间层生成对应的特征图；

采用所述人脸朝向估计网络，对所述位置图进行多次下采样处理，得到多个尺寸的位置图，使得每个尺寸的所述特征图都有对应的尺寸相同的所述位置图；

根据所述位置图对尺寸相同的所述特征图进行监督训练，得到所述人脸朝向估计网络。

可选地，所述根据位置图对尺寸相同的特征图进行监督训练，包括：

采用所述人脸朝向估计网络对所述样本人脸图像进行处理，得到所述样本人脸图像的估计人脸朝向；

根据所述样本人脸图像的估计人脸朝向和所述样本人脸图像的预设人脸朝向，确定所述人脸朝向估计网络的回归损失；

根据多个尺寸的所述位置图和对应尺寸的所述特征图，确定所述人脸朝向估计网络的位置偏移损失；

根据所述回归损失和所述位置偏移损失，确定所述人脸朝向估计网络的损失函数，并根据所述损失函数对所述人脸朝向网络进行迭代训练。

可选地，所述根据多个尺寸的所述位置图和对应尺寸的所述特征图，确定所述人脸朝向估计网络的位置偏移损失，包括：

对多个尺寸的所述位置图和对应尺寸的所述特征图的像素值进行归一化处理，并根据归一化后的所述位置图和所述特征图的像素值，计算所述位置偏移损失。

可选地，每个尺寸的所述特征图包括：多个通道的所述特征图；所述对多个尺寸的所述位置图和对应尺寸的所述特征图的像素值进行归一化处理，包括：

对多个通道的所述特征图中同一位置点的像素值进行平均处理，得到所述特征图中各位置点的像素值，并将平均处理后的特征图作为每个尺寸的单通道特征图；

对多个尺寸的所述位置图和各尺寸的所述单通道特征图的像素值进行归一化处理。

在本申请的第二方面，本申请还提供了一种人脸朝向估计装置，所述装置包括获取模块、确定模块和输出模块，其中：

所述获取模块，用于获取待检测人脸图像；

所述确定模块，用于采用人脸朝向估计网络对所述待检测人脸图像进行处理，确定所述待检测人脸图像的人脸朝向；其中，所述人脸朝向估计网络的隐藏层中设置有位置图，所述人脸朝向估计网络为根据所述位置图对样本人脸图像进行监督训练得到的网络，所述位置图为：所述样本人脸图像在三维建模空间中完整三维面部形状的二维表示；

所述输出模块，用于输出待检测人脸图像的人脸朝向。

可选地，所述装置还包括：生成模块，用于根据多个样本人脸图像获取对应的位置图，根据多个位置图对对应的样本人脸图像进行监督训练，确定各所述样本人脸图像的人脸朝向，并根据训练结果，生成所述人脸朝向估计网络。

在本申请的第三方面，提供一种电子设备，处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行上述第一方面任一所述方法的步骤。

在本申请的第四方面，本申请还提供一种存储介质，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如上述第一方面任一所述方法的步骤。

基于上述任一方面，本申请采用的人脸朝向估计网络是：在训练过程中在隐藏层中设置有位置图的人脸朝向估计网络，对待检测人脸图像进行处理；其中，位置图用于对样本人脸图像进行监督，由于在人脸朝向估计网络的训练过程中在隐藏层中设置有位置图，所以会引导网络将关注点放在对人脸朝向估计更有用的信息上，从而优化了深度网络的学习过程，使得采用训练好的人脸朝向估计网络对待检测人脸图像进行识别时，可以得到更准确的人脸朝向识别结果。

另外，在一些实施例中，由于在网络的迭代训练的过程中，在回归损失的基础上，考虑了位置图和特征图带来的位置偏移损失，通过回归损失和位置偏移损失确定人脸朝向估计网络的损失函数，并根据最终计算的损失函数对人脸朝向网络进行迭代训练。

附图说明

为了更清楚地说明本申请实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本申请的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。

图1示出了本申请一实施例提供的一种人脸朝向估计系统的结构示意图；

图2示出了本申请一实施例提供的一种人脸朝向估计方法的流程示意图；

图3示出了本申请另一实施例提供的一种人脸朝向估计方法的流程示意图；

图4示出了本申请另一实施例提供的一种人脸朝向估计装置的结构示意图；

图5示出了本申请实施例提供的一种人脸朝向估计设备的结构示意图。

具体实施方式

为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，应当理解，本申请中附图仅起到说明和描述的目的，并不用于限定本申请的保护范围。另外，应当理解，示意性的附图并未按实物比例绘制。本申请中使用的流程图示出了根据本申请的一些实施例实现的操作。应该理解，流程图的操作可以不按顺序实现，没有逻辑的上下文关系的步骤可以反转顺序或者同时实施。此外，本领域技术人员在本申请内容的指引下，可以向流程图添加一个或多个其他操作，也可以从流程图中移除一个或多个操作。

另外，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围，而是仅仅表示本申请的选定实施例。基于本申请的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

为了使得本领域技术人员能够使用本申请内容，结合特定应用场景代驾服务的驾驶员行为分析，给出以下实施方式。对于本领域技术人员来说，在不脱离本申请的精神和范围的情况下，可以将这里定义的一般原理应用于其他实施例和应用场景，例如：人机交互、3D人脸重建、安全监控等。虽然本申请主要围绕代驾服务的驾驶员行为分析进行描述，但是应该理解，这仅是一个示例性实施例，本申请可以应用于各种需要对人脸朝向进行估计的场景中。

需要说明的是，本申请实施例中将会用到术语“包括”，用于指出其后所声明的特征的存在，但并不排除增加其它的特征。

人脸朝向估计是指给定一张人脸图片，确定该人脸图像中的人脸朝向，即人脸的欧拉角度：偏转角(yaw)、俯仰角(pitch)、滚动角(roll)。

本申请的一个方面涉及一种人脸朝向估计系统。该系统可以先获取待检测人脸图像，再根据预先训练好的人脸朝向估计网络对待检测人脸图像进行处理，确定待检测人脸图像的人脸朝向，例如：“当前人脸朝向为左侧”等，在此不作限制。

值得注意的是，在本申请提出申请之前，现有技术通常通过基于关键点的人脸朝向估计方法，或是基于面容的人脸朝向估计方法，但是这两种方法在大角度人脸偏转时的估计误差都很大，无法准确地估计待检测人脸图像中的人脸朝向。

本申请提供的人脸朝向估计方法，可以通过使用在训练过程中，在隐藏层中设置有位置图的人脸朝向估计网络对样本人脸图像进行处理，其中，位置图用于对样本人脸图像进行监督训练，由于在人脸朝向估计网络的训练过程中在隐藏层中设置有位置图，所以会引导网络将关注点放在朝向相关信息上，从而优化了深度网络的学习过程，因此，通过本申请提出的方案，可以得到更准确的人脸朝向识别结果，从而解决现有技术中人脸朝向估计的误差大的问题，达到提高人脸识别的效果。

图1是本申请实施例提供的一种人脸朝向估计系统100的架构示意图。例如，人脸朝向估计系统100可以是用于诸如出租车、代驾服务、快车、拼车、公共汽车服务、或班车服务之类的运输服务、或是安全监控等任何涉及需要对人脸朝向估计的智能平台或智能设备的任意平台或场景。人脸朝向估计系统100可以包括服务器110、网络120、服务终端130、和数据库140中的一种或多种。

在一些实施例中，服务器110可以包括处理器。处理器可以处理与服务请求有关的信息和/或数据，以执行本申请中描述的一个或多个功能。例如，处理器可以基于从服务终端130获得的服务请求来确定用户意图。在一些实施例中，处理器可以包括一个或多个处理核(例如，单核处理器(S)或多核处理器(S))。仅作为举例，处理器可以包括中央处理单元(Central Processing Unit，CPU)、专用集成电路(Application Specific IntegratedCircuit，ASIC)、专用指令集处理器(Application Specific Instruction-setProcessor，ASIP)、图形处理单元(Graphics Processing Unit，GPU)、物理处理单元(Physics Processing Unit，PPU)、数字信号处理器(Digital Signal Processor,DSP)、现场可编程门阵列(Field Programmable Gate Array，FPGA)、可编程逻辑器件(Programmable Logic Device，PLD)、控制器、微控制器单元、简化指令集计算机(ReducedInstruction Set Computing，RISC)、或微处理器等，或其任意组合。

在一些实施例中，服务终端130对应的设备类型可以是移动设备，比如可以包括智能家居设备、可穿戴设备、智能移动设备、虚拟现实设备、或增强现实设备等，也可以是平板计算机、膝上型计算机、或机动车辆中的内置智能设备等。以代驾服务的驾驶员行为分析场景为例，服务终端130可以是安装在车辆驾驶座前端的具有摄像功能的手机，服务终端130的安装位置仅需可以采集到完整的驾驶员人脸图像即可，应用过程中，通过手机的摄像功能采集驾驶员的人脸图像作为待检测人脸图像，采用人脸朝向估计网络对待检测人脸图像进行处理，确定待检测人脸图像的人脸朝向，并将待检测人脸图像的人脸朝向输出，用于根据输出的人脸朝向对驾驶员的行为进行分析。

在一些实施例中，数据库140可以连接到网络120以与人脸朝向估计系统100中的一个或多个组件(例如，服务器110，服务终端130，服务提供端140等)通信。人脸朝向估计系统100中的一个或多个组件可以经由网络120访问存储在数据库140中的数据或指令。在一些实施例中，数据库140可以直接连接到人脸朝向估计系统100中的一个或多个组件，或者，数据库140也可以是服务器110的一部分。

下面结合上述图1示出的人脸朝向估计系统100中描述的内容，对本申请实施例提供的人脸朝向估计方法进行详细说明，下述人脸朝向估计方法应用于上述系统之中，执行主体可以为服务终端或者服务器，预设场景可以根据用户需要设计和调整，任何涉及需要对人脸朝向进行估计的场景均可使用，并不以实施例给出的两个场景为限。

参照图2所示，为本申请一实施例提供的一种人脸朝向估计方法的流程示意图，该方法可以由人脸朝向估计系统中的服务器或服务终端来执行，包括：

S101：获取待检测人脸图像。

可选地，若该方法由服务器执行，则该服务器可接收服务终端发送的该待检测人脸图像；若该方法由服务终端执行，则该服务终端可接收用户通过该服务终端的采集界面所获取的该待检测人脸图像。

该服务终端可以为：安装有人脸朝向估计应用程序的终端。该服务终端可以为智能设备，如智能手机、智能摄像机、智能平板等任意具有图像处理功能的智能设备。服务器可以有该人脸朝向估计应用程序对应的服务端设备。

该服务终端可在该人脸朝向估计应用程序处于开机或待机的状态下，接收用户通过该人脸朝向估计应用程序的采集界面所获取的待检测人脸图像。其中，该获取的待检测人脸图像可以为采集界面捕获的视频中的某一帧图像，也可以为采集界面接收的拍摄的某一张图像。当然，也可以为其它形式下获取的图像，本申请不对此进行任何限制。该待检测人脸图像可以为二维人脸图像。

S102：采用人脸朝向估计网络对待检测人脸图像进行处理，确定待检测人脸图像的人脸朝向。

可选地，人脸朝向估计网络可以为人脸朝向估计的卷积神经网络，主干网络可以是resnet50等深度卷积神经网络结构，但并不以此为限，也可以根据用户需要修改。

本申请提供的人脸朝向估计网络的隐藏层中设置有位置图，人脸朝向估计网络为根据位置图对样本人脸图像进行监督训练得到的网络，位置图为：样本人脸图像在三维建模空间中三维面部形状的二维表示。位置图在训练过程中用来监督训练，测试及应用过程中与位置图无关。

其中，位置图中仅包括样本人脸图像中的人脸信息，不包含样本人脸图像中的背景信息，位置图用于引导人脸朝向估计网络去关注朝向相关信息，例如：人脸的五官信息等。

其中，由于人脸图像中包含了很多和人脸朝向无关的冗余信息，比如身份、年龄、性别、表情等，这些冗余信息会增加人脸朝向估计的难度，而且使得深度学习网络很难收敛。所以在本申请中，为了更准确的估计人脸朝向的角度，优化深度网络的收敛效果，在人脸朝向估计网络的训练过程中，在人脸朝向估计网络的隐藏层中加入了与人脸朝向更相关的位置图作为网络训练的监督，不仅监督深度网络的输出层，同时也监督深度网络的隐藏层，引导深度网络学习出对人间朝向估计更有用的特征图，从而根据特征图得到更准确的人脸朝向角度估计。

例如，在一个目标场景中，用户可在服务终端的人脸朝向估计应用程序，如服务终端所安装的智能机器人应用程序启动之后，通过该智能机器人应用程序的采集界面通过服务终端获取当前的待检测人脸图像，服务终端便可根据接收到获取的待检测人脸图像进行处理，其中，处理过程可以为：由服务终端自身进行处理，从而确定该待检测人脸图像中的人脸朝向；或者，将该待检测人脸图像发送给服务器，由服务器确定该待检测人脸图像中的人脸朝向。

S103：输出待检测人脸图像的人脸朝向。

其中，在本申请的一个实施例中，输出的待检测人脸图像的人脸朝向可以用于对驾驶员的行为进行分析，例如：服务终端的人脸朝向估计应用程序接收到返回的检测人脸图像的人脸朝向为向下时，可能会判断当前驾驶员处于疲惫状态，驾驶存在风险，可能会返回报警信号，提醒驾驶员保持正常驾驶姿势安全驾驶；或者服务终端的人脸朝向估计应用程序连续多次接收到返回的检测人脸图像的人脸朝向为向左时，可能会判断当前驾驶员处于分心驾驶状态，驾驶存在风险，可能会返回报警信号，提醒驾驶员保持正常驾驶姿势安全驾驶；具体接收到输出的待检测人脸图像的人脸朝向后，进行的操作并不局限于上述实施例提供的，具体根据用户需要设计，本申请在此不做任何限制。

采用本申请实施例提供的人脸朝向估计方法，通过在训练过程中在隐藏层中设置有位置图的人脸朝向估计网络，对待检测人脸图像进行处理；其中，位置图用于对样本人脸图像进行监督，由于在人脸朝向估计网络的训练过程中在隐藏层中设置有位置图，所以会引导网络将关注点放在对人脸朝向估计更有用的信息上，从而优化了深度网络的学习过程，使得采用训练好的人脸朝向估计网络对待检测人脸图像进行识别时，可以得到更准确的人脸朝向识别结果。

图3为本申请另一实施例提供的人脸朝向估计方法的流程示意图，如图3所示，步骤S101之前，该方法还可包括：

S104：根据多个样本人脸图像获取对应的位置图，根据多个位置图对对应的样本人脸图像进行监督训练，确定各样本人脸图像的人脸朝向，并根据训练结果，生成人脸朝向估计网络。

位置图的获取方式可以为：采用位置图回归网络(Position map RegressionNetwork，PRN)，对样本人脸图像进行处理，得到样本人脸图像对应的位置图，并将位置图发送至人脸朝向估计网络；PRN是一个沙漏形的卷积神经网络，包括卷积层和转置卷积层，在PRN的隐藏层输出的样本人脸图像对应的特征图，先经过卷基层依次输出逐渐变小的特征图，再经过转置卷积层依次输出逐渐变大的特征图，其最终经过转置卷积层输出的特征图和输入的样本人脸图像尺寸相同。

位置图为通过PRN从二维的样本人脸图像直接回归得到的，其中，每个尺寸的样本人脸图像对应的特征图均对应一个尺寸相同的位置图，在PRN网络中，输入的是二维的样本人脸图像，输出的是样本人脸图像对应的位置图。

由于人脸朝向估计网络中间层的特征图尺寸和注意图的尺寸不同，因此做注意力迁移时需要对注意图做下采样处理，使其尺寸和被监督的隐藏层的特征图相同。其中，注意力迁移即为在对样本人脸图像的人脸朝向进行识别时，通过位置图来引导人脸朝向估计网络去关注人脸朝向相关信息，将注意力放在人脸朝向相关信息上，从而训练网络。

可选地，人脸朝向估计网络在接收到PRN发送的位置图之后，采用人脸朝向估计网络对样本人脸图像进行处理，在每个中间层生成对应的特征图；采用人脸朝向估计网络，对位置图进行多次下采样处理，得到多个尺寸的位置图，使得每个尺寸的特征图都有对应的尺寸相同的位置图；根据位置图对尺寸相同的特征图进行监督训练，得到人脸朝向估计网络。

其中，本申请中的人脸朝向估计网络是根据对大量的样本人脸图像进行估计，反复训练迭代后，最终生成训练后的人脸朝向估计网络，迭代过程是根据损失函数对人脸朝向网络进行迭代训练的，在经过多次迭代后，损失函数满足预设要求时，人脸朝向估计网络才会停止迭代，生成人脸朝向估计网络。

本申请提供的人脸朝向估计网络中，损失函数包括回归损失和位置偏移损失，其中，采用人脸朝向估计网络对样本人脸图像进行处理，得到样本人脸图像的估计人脸朝向，回归损失为根据样本人脸图像的估计人脸朝向和样本人脸图像的预设人脸朝向确定的；位置偏移损失为根据多个尺寸的位置图和对应尺寸的特征图确定的，损失函数的确定方式可以为：回归损失与位置偏移损失分别与预设权重相乘后相加。

多次迭代后生成人脸朝向估计网络，可以使得生成的人脸朝向估计网络在应用过程中，估计的准确性更高。

其中，确定位置偏移损失时，是对多个尺寸的位置图和对应尺寸的特征图的像素值进行归一化处理，并根据归一化后的位置图和特征图的像素值，计算位置偏移损失。

其中，每个尺寸的特征图包括：多个通道的特征图；对多个尺寸的位置图和各尺寸的特征图的像素值进行归一化处理，包括：对多个通道的特征图中同一位置点的像素值进行平均处理，得到特征图中各位置点的像素值，并将平均处理后的特征图作为每个尺寸的单通道特征图；对多个尺寸的位置图和各尺寸的单通道特征图的像素值进行归一化处理。

图4为本申请一实施例提供的人脸朝向估计装置的结构示意图，如图4所述，该装置包括获取模块201、确定模块202和输出模块203，其中：

获取模块201，用于获取待检测人脸图像。

确定模块202，用于采用人脸朝向估计网络对待检测人脸图像进行处理，确定待检测人脸图像的人脸朝向；其中，人脸朝向估计网络的隐藏层中设置有位置图，人脸朝向估计网络为根据位置图对样本人脸图像进行监督训练得到的网络，位置图为：样本人脸图像在三维建模空间中完整三维面部形状的二维表示。

输出模块203，用于输出待检测人脸图像的人脸朝向。

基于同一发明构思，本申请实施例中还提供了与人脸朝向估计方法对应的人脸朝向估计装置，由于本申请实施例中的装置解决问题的原理与本申请实施例上述人脸朝向估计方法相似，因此装置的实施可以参见方法的实施，有益效果的重复之处不再赘述。

如图5所示，本申请实施例还提供一种人脸朝向估计设备，包括：处理器601、存储器602和总线603；存储器602存储有处理器601可执行的机器可读指令，当人脸朝向估计设备运行时，处理器601与存储器602之间通过总线603通信，处理器601执行机器可读指令，以执行时执行如前述方法实施例所提供的请求处理方法的步骤。

具体地，存储器602中所存储的机器可读指令为本申请前述实施例所述的请求处理方法的执行步骤，处理器601可执行该请求处理方法对请求进行处理，因此，该电子设备同样具备前述方法实施例中所述的全部有益效果，本申请亦不再重复描述。

需要说明的是，该电子设备可以是通用计算机或特殊用途的计算机，以及其他用于处理数据的服务器等，三者都可以用于实现本申请的请求处理方法。本申请尽管仅仅通过计算机和服务器分别对请求处理方法进行了说明，但是为了方便起见，也可以在多个类似平台上以分布式方式实现本申请描述的功能，以均衡处理负载。

例如，电子设备可以包括用于执行程序指令的一个或多个处理器、通信总线、和不同形式的存储介质，例如，磁盘、ROM、或RAM，或其任意组合。示例性地，计算机平台还可以包括存储在ROM、RAM、或其他类型的非暂时性存储介质、或其任意组合中的程序指令。根据这些程序指令可以实现本申请的方法。

为了便于说明，在电子设备中仅描述了一个处理器。然而，应当注意，本申请中的电子设备还可以包括多个处理器，因此本申请中描述的一个处理器执行的步骤也可以由多个处理器联合执行或单独执行。

本申请实施例还提供了一种存储介质，该存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述人脸朝向估计方法的步骤。

具体地，该存储介质能够为通用的存储介质，如移动磁盘、硬盘等，该存储介质上的计算机程序被运行时，能够执行上述人脸朝向估计方法，从而，解决现有技术中存在的由于语言表达组合形式多种多样，大量信息会导致句库规模过大，占用过多的资源的问题，进而达到减小资源占用的效果。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统和装置的具体工作过程，可以参考方法实施例中的对应过程，本申请中不再赘述。在本申请所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，又例如，多个模块或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口，装置或模块的间接耦合或通信连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。

所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、ROM、RAM、磁碟或者光盘等各种可以存储程序代码的介质。

以上仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以权利要求的保护范围为准。

Claims (11)

1.一种人脸朝向估计方法，其特征在于，所述方法包括：

获取待检测人脸图像；

采用人脸朝向估计网络对所述待检测人脸图像进行处理，确定所述待检测人脸图像的人脸朝向；其中，所述人脸朝向估计网络的隐藏层中设置有位置图，所述人脸朝向估计网络为根据所述位置图对样本人脸图像进行监督训练得到的网络，所述位置图为：所述样本人脸图像在三维建模空间中完整三维面部形状的二维表示；

输出所述待检测人脸图像的人脸朝向。

2.如权利要求1所述的方法，其特征在于，所述获取待检测人脸图像之前，所述方法还包括：

根据多个样本人脸图像获取对应的位置图，根据多个位置图对对应的样本人脸图像进行监督训练，确定各所述样本人脸图像的人脸朝向，并根据训练结果，生成所述人脸朝向估计网络。

3.如权利要求2所述的方法，其特征在于，所述根据多个样本人脸图像获取对应的位置图包括：

采用位置图回归网络PRN，对所述样本人脸图像进行处理，得到所述样本人脸图像对应的位置图。

4.如权利要求2所述的方法，其特征在于，所述根据多个位置图对对应的样本人脸图像进行监督训练，确定各所述样本人脸图像的人脸朝向包括：

采用所述人脸朝向估计网络，对所述样本人脸图像进行处理，在每个中间层生成对应的特征图；

采用所述人脸朝向估计网络，对所述位置图进行多次下采样处理，得到多个尺寸的位置图，使得每个尺寸的所述特征图都有对应的尺寸相同的所述位置图；

根据所述位置图对尺寸相同的所述特征图进行监督训练，得到所述人脸朝向估计网络。

5.如权利要求4所述的方法，其特征在于，所述根据位置图对尺寸相同的特征图进行监督训练，包括：

采用所述人脸朝向估计网络对所述样本人脸图像进行处理，得到所述样本人脸图像的估计人脸朝向；

根据所述样本人脸图像的估计人脸朝向和所述样本人脸图像的预设人脸朝向，确定所述人脸朝向估计网络的回归损失；

根据多个尺寸的所述位置图和对应尺寸的所述特征图，确定所述人脸朝向估计网络的位置偏移损失；

根据所述回归损失和所述位置偏移损失，确定所述人脸朝向估计网络的损失函数，并根据所述损失函数对所述人脸朝向网络进行迭代训练。

6.如权利要求5所述的方法，其特征在于，所述根据多个尺寸的所述位置图和对应尺寸的所述特征图，确定所述人脸朝向估计网络的位置偏移损失，包括：

对多个尺寸的所述位置图和对应尺寸的所述特征图的像素值进行归一化处理，并根据归一化后的所述位置图和所述特征图的像素值，计算所述位置偏移损失。

7.如权利要求6所述的方法，其特征在于，每个尺寸的所述特征图包括：多个通道的所述特征图；所述对多个尺寸的所述位置图和对应尺寸的所述特征图的像素值进行归一化处理，包括：

对多个通道的所述特征图中同一位置点的像素值进行平均处理，得到所述特征图中各位置点的像素值，并将平均处理后的特征图作为每个尺寸的单通道特征图；

对多个尺寸的所述位置图和各尺寸的所述单通道特征图的像素值进行归一化处理。

8.一种人脸朝向估计装置，其特征在于，所述装置包括获取模块、确定模块和输出模块，其中：

所述获取模块，用于获取待检测人脸图像；

所述确定模块，用于采用人脸朝向估计网络对所述待检测人脸图像进行处理，确定所述待检测人脸图像的人脸朝向；其中，所述人脸朝向估计网络的隐藏层中设置有位置图，所述人脸朝向估计网络为根据所述位置图对样本人脸图像进行监督训练得到的网络，所述位置图为：所述样本人脸图像在三维建模空间中完整三维面部形状的二维表示；

所述输出模块，用于输出待检测人脸图像的人脸朝向。

9.如权利要求8所述的装置，其特征在于，所述装置还包括：生成模块，用于根据多个样本人脸图像获取对应的位置图，根据多个位置图对对应的样本人脸图像进行监督训练，确定各所述样本人脸图像的人脸朝向，并根据训练结果，生成所述人脸朝向估计网络。

10.一种电子设备，其特征在于，包括：处理器、存储介质和总线，所述存储介质存储有所述处理器可执行的机器可读指令，当电子设备运行时，所述处理器与所述存储介质之间通过总线通信，所述处理器执行所述机器可读指令，以执行如权利要求1至7任一所述方法的步骤。

11.一种存储介质，其特征在于，所述存储介质上存储有计算机程序，所述计算机程序被处理器运行时执行如权利要求1至7任一所述方法的步骤。

Images