CN108985220A - 一种人脸图像处理方法、装置及存储介质 - Google Patents
一种人脸图像处理方法、装置及存储介质 Download PDFInfo
- Publication number
- CN108985220A CN108985220A CN201810759499.2A CN201810759499A CN108985220A CN 108985220 A CN108985220 A CN 108985220A CN 201810759499 A CN201810759499 A CN 201810759499A CN 108985220 A CN108985220 A CN 108985220A
- Authority
- CN
- China
- Prior art keywords
- face
- dimensional
- human face
- dimensional coordinate
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
Abstract
本发明实施例公开了一种人脸图像处理方法、装置及存储介质，本发明实施例获取待处理的二维人脸图像；对所述二维人脸图像进行人脸特征点检测，得到人脸特征点的二维坐标信息；获取预设三维人脸基底映射在二维平面内的坐标，得到映射坐标信息；将所述映射坐标信息向所述二维坐标信息收敛，并根据收敛结果确定所述预设三维人脸基底的三维变换参数；根据所述三维变换参数确定所述二维人脸图像中的人脸姿态。该方案通过利用预设三维人脸基底的映射坐标信息，与二维人脸图像的二维坐标信息之间的收敛关系来确定人脸姿态，相对于现有的几何计算方法，提高了对人脸姿态确定的准确性及可靠性。
Description
技术领域
本发明涉及图像处理技术领域，具体涉及一种人脸图像处理方法、装置及存储介质。
背景技术
人脸姿态估计是指给定一张包含人脸的图像，估计出该图像中人脸的朝向，人脸姿态估计在人脸识别、人脸优选、及人脸3D挂件等领域有广泛的应用。
现有技术中，人脸姿态估计一般是在二维坐标系下，通过几何方法计算显著的特征点之间相互的距离和比例关系，推算出人脸的朝向。例如，可以获取图像中人脸的左外眼角、右外眼角、鼻尖、左嘴角和右嘴角等特征点的位置，并根据左外眼角、右外眼角、鼻尖、左嘴角和右嘴角等特征点的位置计算各个特征点之间的距离和比例关系，根据计算得到的距离和比例关系可估计出图像中人脸的姿态。可以看出，该几何方法计算非常简单，仅依赖于少量的人脸特征点便可以计算，且需要非常细致的学习及确定各个比例与人脸实际的姿态之间的映射关系。同时，对于不同的用户、不同的表情，其特征点的位置及比例关系有很大的差异，因此，易受夸张表情的影响，计算出的距离和比例关系并不准确。
在对现有技术的研究和实践过程中，本发明的发明人发现，现有的姿态估计方法只依赖少量特征点，易受到人脸表情(例如大笑或嘟嘴等)、形态(例如脸的胖瘦或长短等)等因素的影响，计算出错误的距离和比例关系等，导致根据该距离和比例关系对人脸姿态估计的准确性非常低。
发明内容
本发明实施例提供一种人脸图像处理方法、装置及存储介质，旨在提高对人脸姿态确定的准确性。
为解决上述技术问题，本发明实施例提供以下技术方案：
一种人脸图像处理方法，包括：
获取待处理的二维人脸图像；
对所述二维人脸图像进行人脸特征点检测，得到人脸特征点的二维坐标信息；
获取预设三维人脸基底映射在二维平面内的坐标，得到映射坐标信息；
将所述映射坐标信息向所述二维坐标信息收敛，并根据收敛结果确定所述预设三维人脸基底的三维变换参数；
根据所述三维变换参数确定所述二维人脸图像中的人脸姿态。
一种人脸图像处理装置，包括：
图像获取单元，用于获取待处理的二维人脸图像；
第一检测单元，用于对所述二维人脸图像进行人脸特征点检测，得到人脸特征点的二维坐标信息；
信息获取单元，用于获取预设三维人脸基底映射在二维平面内的坐标，得到映射坐标信息；
收敛单元，用于将所述映射坐标信息向所述二维坐标信息收敛，并根据收敛结果确定所述预设三维人脸基底的三维变换参数；
确定单元，用于根据所述三维变换参数确定所述二维人脸图像中的人脸姿态。
一种存储介质，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行本发明实施例提供的任一种人脸图像处理方法中的步骤。
本发明实施例可以获取待处理的二维人脸图像，对二维人脸图像进行人脸特征点检测，得到人脸特征点的二维坐标信息，以及获取预设三维人脸基底映射在二维平面内的坐标，得到映射坐标信息，然后将映射坐标信息向二维坐标信息收敛，并根据收敛结果确定预设三维人脸基底的三维变换参数，此时可以根据三维变换参数确定二维人脸图像中的人脸姿态。该方案通过利用预设三维人脸基底的映射坐标信息，与二维人脸图像的二维坐标信息之间的收敛关系来确定人脸姿态，相对于现有的几何计算方法，提高了对人脸姿态确定的准确性及可靠性。
附图说明
为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1是本发明实施例提供的人脸图像处理方法的场景示意图；
图2是本发明实施例提供的人脸图像处理方法的流程示意图；
图3是本发明实施例提供的人脸特征点检测的示意图；
图4是本发明实施例提供的多个用户各自不同表情的样本人脸图像的示意图；
图5是本发明实施例提供的预设三维基底的示意图；
图6是本发明实施例提供的三维变换参数中各个角度的示意图；
图7是本发明实施例提供的装饰后人脸图像的示意图；
图8是本发明实施例提供的人脸图像处理方法的另一流程示意图；
图9是本发明实施例提供的构建预设三维基底的流程示意图；
图10是本发明实施例提供的人脸图像处理装置的结构示意图；
图11是本发明实施例提供的人脸图像处理装置的另一结构示意图；
图12是本发明实施例提供的人脸图像处理装置的另一结构示意图；
图13是本发明实施例提供的人脸图像处理装置的另一结构示意图；
图14是本发明实施例提供的人脸图像处理装置的另一结构示意图；
图15是本发明实施例提供的终端的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明实施例提供一种人脸图像处理方法、装置及存储介质。
请参阅图1，图1为本发明实施例所提供的人脸图像处理方法的场景示意图，其中，人脸图像处理装置具体可以集成在平板电脑、手机、笔记本电脑、及台式电脑等具备储存单元并安装有微处理器而具有运算能力的终端中，例如，该终端可以用于获取待处理的二维人脸图像，例如，在接收到用户输入的人脸图像处理指令时，可以从终端本地获取二维人脸图像，或者向服务器发送图像获取请求，并接收服务器基于图像获取请求返回的二维人脸图像。在得到二维人脸图像后，可以对二维人脸图像进行人脸特征点检测，得到人脸特征点的二维坐标信息，例如，可以对二维人脸图像中的人脸进行识别，得到人脸区域，在人脸区域内对各个人脸器官进行检测，从而获取各个人脸器官的特征点所在的位置，得到人脸特征点的二维坐标信息。以及，获取预设三维人脸基底映射在二维平面内的坐标，得到映射坐标信息，其中，可以通过对多个用户各自不同表情的样本人脸图像进行人脸特征点检测，得到二维坐标集合，并根据二维坐标集合获取每张样本人脸图像中人脸特征点的三维坐标，得到三维坐标集合，然后根据三维坐标集合获取与人脸形态相关的第一基底，以及获取与人脸表情相关的第二基底，此时可以根据第一基底和第二基底构建预设三维人脸基底。在得到映射坐标信息和二维坐标信息后，可以将映射坐标信息向二维坐标信息收敛，并根据收敛结果确定预设三维人脸基底的三维变换参数，例如，可以获取映射坐标信息和二维坐标信息之间的误差，根据误差对预设三维人脸基底进行三维变换，以便获取误差小于预设阈值时所对应的预设三维人脸基底的三维变换参数。此时，可以根据三维变换参数确定二维人脸图像中的人脸姿态，例如，可以根据三维变换参数确定二维人脸图像中人脸的俯仰角、偏航角和翻滚角，并根据俯仰角、偏航角和翻滚角确定人脸在三维空间中不同方向上的旋转角度，根据旋转角度确定二维人脸图像中的人脸姿态；等等。
需要说明的是，图1所示的人脸图像处理方法的场景示意图仅仅是一个示例，本发明实施例描述的人脸图像处理方法的场景是为了更加清楚的说明本发明实施例的技术方案，并不构成对于本发明实施例提供的技术方案的限定，本领域普通技术人员可知，随着人脸图像处理方法的演变和新业务场景的出现，本发明实施例提供的技术方案对于类似的技术问题，同样适用。
以下分别进行详细说明。
在本实施例中，将从人脸图像处理装置的角度进行描述，该人脸图像处理装置具体可以集成在平板电脑、手机、笔记本电脑、及台式电脑等具备储存单元并安装有微处理器而具有运算能力的终端中。
一种人脸图像处理方法，包括：获取待处理的二维人脸图像；对二维人脸图像进行人脸特征点检测，得到人脸特征点的二维坐标信息；获取预设三维人脸基底映射在二维平面内的坐标，得到映射坐标信息；将映射坐标信息向二维坐标信息收敛，并根据收敛结果确定预设三维人脸基底的三维变换参数；根据三维变换参数确定二维人脸图像中的人脸姿态。
请参阅图2，图2是本发明一实施例提供的人脸图像处理方法的流程示意图。该人脸图像处理方法可以包括：
在步骤S101中，获取待处理的二维人脸图像。
其中，待处理的二维人脸图像中可以包含一张或多张人脸，还可以包括其他的物体，二维人脸图像中包含的人脸可以是正面的人脸(即正脸)，或者任意角度的人脸(即侧脸)等。
二维人脸图像的获取方式可以包括：在拍照的过程中，人脸图像处理装置通过拍照摄像头采集到二维人脸图像；或者是，人脸图像处理装置从本地存储空间中获取预存的二维人脸图像；或者是，人脸图像处理装置通过在互联网上搜索得到二维人脸图像；或者是，人脸图像处理装置从服务器上的图像数据库中获取到二维人脸图像等；当然，二维人脸图像也可以是通过其他方式获取到，具体获取方式在此处不作限定。
在步骤S102中，对二维人脸图像进行人脸特征点检测，得到人脸特征点的二维坐标信息。
人脸图像处理装置可以采用人脸检测及配准技术对二维人脸图像进行人脸特征点检测，例如，可以对二维人脸图像中人脸上的眼睛、鼻子、眉毛及嘴巴等各个人脸器官进行检测，得到人脸特征点的二维坐标信息，该二维坐标信息可以是各个人脸器官对应的关键点的像素坐标信息或二维直角坐标信息等。
例如，如图3所示，可以利用人脸检测及配准技术对二维人脸图像中人脸上的各个人脸器官进行检测，得到各个人脸器官对应的人脸特征点的二维坐标信息，该人脸特征点可以在人脸的外部轮廓和各个人脸器官的边缘或中心等，该人脸特征点的个数可以是83个或68个等，具体个数可以根据实际需要进行灵活设置。
在某些实施方式中，对二维人脸图像进行人脸特征点检测，得到人脸特征点的二维坐标信息的步骤可以包括：
对二维人脸图像中的人脸进行识别，得到人脸区域；在人脸区域内对各个人脸器官进行检测，得到各个人脸器官所在的器官区域；根据器官区域获取各个人脸器官的特征点所在的位置，得到人脸特征点的二维坐标信息。
具体地，人脸图像处理装置可以先对二维人脸图像中的人脸进行识别，例如，当二维人脸图像中包括用户A的人脸时，可以从二维人脸图像中识别出用户A的人脸所在的人脸区域1；当二维人脸图像中包括用户A、用户B和用户C的人脸时，可以从二维人脸图像中识别出用户A、用户B和用户C的人脸分别所在的人脸区域1、人脸区域2和人脸区域3；等等。
在得到二维人脸图像中的人脸区域后，可以在人脸区域内对各个人脸器官进行检测，例如，可以对人脸区域中左眼睛、右眼睛、鼻子、左眉毛、右眉毛、下巴及嘴巴等各个人脸器官进行检测，得到各个人脸器官所在的器官区域，此时可以为各个人脸器官设置预设数量的特征点(即关键点)，并根据器官区域获取各个人脸器官的特征点所在的位置，例如，可以获取左眉毛8个特征点所在的位置，获取鼻子13个特征点所在的位置，获取下巴1个特征点所在的位置等，各个人脸器官的特征点的二维坐标信息即为人脸特征点的二维坐标信息。
在步骤S103中，获取预设三维人脸基底映射在二维平面内的坐标，得到映射坐标信息。
在某些实施方式中，获取预设三维人脸基底映射在二维平面内的坐标，得到映射坐标信息的步骤之前，人脸图像处理方法还可以包括：
(1)获取多个用户各自不同表情的样本人脸图像；
(2)对每张样本人脸图像进行人脸特征点检测，得到二维坐标集合；
(3)根据二维坐标集合获取每张样本人脸图像中人脸特征点的三维坐标，得到三维坐标集合；
(4)根据三维坐标集合获取与人脸形态相关的第一基底，以及获取与人脸表情相关的第二基底；
(5)根据第一基底和第二基底构建预设三维人脸基底。
人脸图像处理装置可以预先设置预设三维人脸基底，具体地，首先获取多个用户各自不同表情的样本人脸图像，例如，可以先利用照相机或拍照摄像头等采集同一个人的多种不同表情的图像，然后采集另一个人的多种不同表情的图像，以此类推，一直采集到第N个人的多种不同表情的图像，得到样本人脸图像，其中，N的取值可以根据实际需要进行灵活设置。或者是，从人脸图像处理装置本地或服务器等获取多个用户各自不同表情的样本人脸图像，当然，样本人脸图像也可以是通过其他方式获取到，具体获取方式在此处不作限定。
其中，多个用户的数量可以根据实际需要进行灵活设置，具体内容在此处不作限定，不同表情可以包括张嘴、咧嘴、嘟嘴、闭眼、瞪眼、单闭眼、大笑、微笑或沮丧等，样本人脸图像包括每个用户对应的无表情图像和有表情图像，样本人脸图像中的人脸可以是正脸，即样本人脸图像包括每个用户分别对应的多种不同表情的正面人脸图像。例如，如图4所示，样本人脸图像包括用户A的不同表情的人脸图像、用户B的不同表情的人脸图像、及用户C的不同表情的人脸图像等。
在得到多个用户各自不同表情的样本人脸图像后，人脸图像处理装置可以对每张样本人脸图像进行人脸特征点检测，或者先将每张样本人脸图像归一化到同一尺度，得到归一化后的样本人脸图像，例如，归一化到n×m的样本人脸图像，其中，n表示图像的长度，m表示图像的宽度，n和m的取值可以根据实际需要进行灵活设置，然后对归一化后的样本人脸图像进行人脸特征点检测。
在对样本人脸图像进行人脸特征点检测的过程中，人脸图像处理装置可以采用人脸检测及配准技术对每张样本人脸图像分别进行人脸特征点检测，例如，可以对每张样本人脸图像中人脸上的眼睛、鼻子、眉毛及嘴巴等各个人脸器官进行检测，得到二维坐标集合，该二维坐标集合包括每张样本人脸图像对应的人脸特征点的二维坐标信息，该二维坐标信息可以是各个人脸器官对应的关键点的像素坐标信息或二维直角坐标信息等。具体地，可以对每张样本人脸图像中的人脸进行识别，得到人脸区域；在人脸区域内对各个人脸器官进行检测，得到各个人脸器官所在的器官区域；根据器官区域获取各个人脸器官的特征点所在的位置，得到每张样本人脸图像的人脸特征点的二维坐标信息组成的二维坐标集合。
在得到二维坐标集合后，人脸图像处理装置可以根据二维坐标集合获取每张样本人脸图像中人脸特征点的三维坐标，得到三维坐标集合。
在某些实施方式中，根据二维坐标集合获取每张样本人脸图像中人脸特征点的三维坐标，得到三维坐标集合的步骤可以包括：
根据二维坐标集合将每张样本人脸图像中人脸特征点分别与预设三维人脸模型中的特征点进行配准，得到每张样本人脸图像中人脸特征点在预设三维人脸模型中对应的三维坐标点；
根据三维坐标点获取二维坐标集合在三维空间内的深度信息；
根据深度信息确定二维坐标集合映射在三维空间内的三维坐标，得到三维坐标集合。
其中，预设三维人脸模型可以是三维平均人脸模型，通过改变该三维平均人脸模型的三维坐标点的位置信息可以生成不同的表情及不同身份的用户的三维人脸模型，也就是说所有三维人脸模型都可以通过在三维平均人脸模型的三维坐标点上增加偏移来表示，如果将某个角度的三维平均人脸模型投影到二维平面可以与样本人脸图像中人脸相匹配，那么这个角度的三维平均人脸模型的深度信息就是需要获取的深度信息。
具体地，可以根据二维坐标集合分别将每张样本人脸图像中人脸特征点分别与预设三维人脸模型中的特征点进行配准，例如，从多张样本人脸图像中选择其中一张样本人脸图像作为当前人脸图像，获取该当前人脸图像在二维平面内的人脸特征点，以及可以获取预设三维人脸模型投影在二维平面的投影参数，从投影参数中筛选出人脸特征点，然后判断当前人脸图像的人脸特征点，与预设三维人脸模型的人脸特征点是否配准，若配准，则获取当前人脸图像中人脸特征点在预设三维人脸模型中对应的三维坐标点，若不配准，则对预设三维人脸模型进行旋转，得到旋转后预设三维人脸模型，再获取旋转后预设三维人脸模型的人脸特征点，直至当前人脸图像的人脸特征点与旋转后预设三维人脸模型的人脸特征点配准，此时可以获取当前样本人脸图像中人脸特征点在预设三维人脸模型中对应的三维坐标点。然后从多张样本人脸图像中选择另一张样本人脸图像作为当前人脸图像，返回执行获取该当前人脸图像在二维平面内的人脸特征点的步骤，直到得到每张样本人脸图像中人脸特征点在预设三维人脸模型中对应的三维坐标点。
例如，可以将样本人脸图像a中左眉毛的8个特征点与预设三维人脸模型中左眉毛的8个特征点进行配准，将样本人脸图像a中鼻子的13个特征点与预设三维人脸模型中鼻子的13个特征点进行配准，等等。
在得到每张样本人脸图像中人脸特征点在预设三维人脸模型中对应的三维坐标点后，可以根据每张样本人脸图像对应的三维坐标点，获取每张样本人脸图像的二维坐标在三维空间中的深度信息，该深度信息可以是z轴方向上的z坐标，可以将某个人脸特征点的三维坐标点中的z坐标作为样本人脸图像中对应人脸特征点的z坐标，此时可以根据深度信息确定每张样本人脸图像中各个人脸特征点的二维坐标，映射在三维空间内的三维坐标，得到三维坐标集合。
在某些实施方式中，根据深度信息确定二维坐标集合映射在三维空间内的三维坐标，得到三维坐标集合的步骤包括：
根据深度信息确定二维坐标集合映射在三维空间内的三维坐标，得到每张样本人脸图像的三维坐标；将每张样本人脸图像的三维坐标归一化到同一尺度，得到三维坐标集合。
为了提高后续对人脸图像进行处理的精准性，可以将每张样本人脸图像的三维坐标归一化到同一尺度，例如，可以根据深度信息确定二维坐标集合映射在三维空间内的三维坐标，得到每张样本人脸图像的三维坐标，此时，可以将每张样本人脸图像的三维坐标归一化到同一尺度，以使得每张样本人脸图像中人脸区域的大小一致，从而可以得到归一化后的三维坐标集合。
例如，某张样本人脸图像中人脸的左眼角的三维坐标为(a，b，c)、右眼角的三维坐标为(d，e，f)，这两个眼睛的三维坐标点之间的距离为x，另一张样本人脸图像中人脸的左眼角的三维坐标为(g，h，i)、右眼角的三维坐标为(j，k，l)这两个眼睛的三维坐标点之间的距离为2x，则归一化后可以得到另一张样本人脸图像中人脸的左眼角的三维坐标为(g/2，h/2，i/2)，右眼角的三维坐标为(j/2，k/2，l/2)。
在得到三维坐标集合后，可以根据三维坐标集合获取与人脸形态相关的第一基底，以及获取与人脸表情相关的第二基底。
在某些实施方式中，根据三维坐标集合获取与人脸形态相关的第一基底的步骤可以包括：
从三维坐标集合中筛选出所有无表情图像的三维坐标，得到目标三维坐标；
根据目标三维坐标构建稀疏三维人脸特征点；
根据稀疏三维人脸特征点获取与人脸形态相关的第一基底。
具体地，可以从多个用户各自不同表情的样本人脸图像中筛选出各个用户的无表情图像，得到所有无表情图像，以及从三维坐标集合中筛选出所有无表情图像的三维坐标，得到目标三维坐标，然后根据目标三维坐标构建稀疏三维人脸特征点，该稀疏三维人脸特征点可以是由无表情图像中每个特征点组成的三维人脸特征点集合。
在某些实施方式中，根据目标三维坐标构建稀疏三维人脸特征点的步骤可以包括：根据目标三维坐标计算所有无表情图像中每个特征点的平均值，得到平均三维坐标值；根据平均三维坐标值构建稀疏三维人脸特征点。
人脸图像处理装置可以根据目标三维坐标计算无表情图像中每个特征点(即人脸特征点)的平均值，例如，可以将1至n张(n的取值可以根据实际需要进行灵活设置)无表情图像中眼睛对应的人脸特征点1三维坐标中x值、y值和z值分别进行累加，得到人脸特征点1对应的x值、y值和z值的总和，然后根据所有无表情图像的张数及x值、y值和z值的总和，分别计算x值、y值和z值的平均值，得到眼睛对应的人脸特征点1的三维坐标的平均值，依次类推，其他的每个人脸特征点均可以按照上述计算方式计算所有无表情图像中每个特征点的平均值，得到平均三维坐标值。此时可以根据平均三维坐标值构建稀疏三维人脸特征点，例如，每一个平均三维坐标值分别对应稀疏三维人脸特征点中每一个三维人脸特征点。
在得到稀疏三维人脸特征点后，可以根据稀疏三维人脸特征点获取与人脸形态相关的第一基底。
在某些实施方式中，根据稀疏三维人脸特征点获取与人脸形态相关的第一基底的步骤可以包括：
计算每张无表情图像中人脸特征点的三维坐标与稀疏三维人脸特征点的三维坐标之间的第一偏差值；根据第一偏差值对每张无表情图像进行主成分分析，得到与人脸形态相关的第一基底。
具体地，人脸图像处理装置可以分别计算每张无表情图像中人脸特征点的三维坐标与稀疏三维人脸特征点的三维坐标之间的第一偏差值，例如，可以分别计算每张无表情图像中鼻子对应的13个人脸特征点的三维坐标，与稀疏三维人脸特征点中鼻子对应的13个人脸特征点三维坐标之间的偏差值；可以计算每张无表情图像中下巴对应的1个人脸特征点的三维坐标与稀疏三维人脸特征点中下巴对应的1个人脸特征点三维坐标之间的偏差值；等等，所有无表情图像中每个人脸特征点的三维坐标与稀疏三维人脸特征点中每个人脸特征点的三维坐标之间的偏差值，得到第一偏差值。然后，可以根据第一偏差值对每张无表情图像进行主成分分析(Principal Component Analysis，PCA)，以便对所有无表情图像中人脸特征点的三维坐标进行降维，从而可以得到与人脸形态相关的第一基底Aid。
在某些实施方式中，根据三维坐标集合获取与人脸表情相关的第二基底的步骤可以包括：
从三维坐标集合中筛选出所有无表情图像的三维坐标，以及所有有表情图像的三维坐标；
计算每张有表情图像的三维坐标与对应同一用户的无表情图像的三维坐标之间的第二偏差值；
根据第二偏差值对每张有表情图像进行主成分分析，得到与人脸表情相关的第二基底。
具体地，人脸图像处理装置可以从多个用户各自不同表情的样本人脸图像中筛选出各个用户的无表情图像和各个用户的有表情图像，其中，无表情图像可以是用户正常表情的图像，有表情图像可以包括张嘴、咧嘴、嘟嘴、闭眼、瞪眼及单闭眼等表情的图像。人脸图像处理装置可以预先设置图像标识与三维坐标之间的映射关系，此时可以根据无表情图像的图像标识和有表情图像的图像标识，以及结合映射关系，分别从三维坐标集合中筛选出所有无表情图像的三维坐标，以及所有有表情图像的三维坐标。
然后分别计算同一用户的每张有表情图像的三维坐标与该用户的无表情图像的三维坐标之间的第二偏差值，例如，可以计算用户A的每张有表情图像中鼻子对应的13个人脸特征点的三维坐标，与无表情图像中鼻子对应的13个人脸特征点的三维坐标之间的偏差值，计算用户A的每张有表情图像中下巴对应的1个人脸特征点的三维坐标与无表情图像中下巴对应的1个人脸特征点的三维坐标之间的偏差值，可以计算用户A的每张有表情图像中右眼睛对应的8个人脸特征点的三维坐标与无表情图像中右眼睛对应的8个人脸特征点的三维坐标之间的偏差值等，所有用户的每张有表情图像中各个人脸特征点的三维坐标与无表情图像中各个人脸特征点的三维坐标之间偏差值，即可得到第二偏差值。
然后，可以根据第二偏差值对每张有表情图像进行主成分分析，对多个用户的样本人脸图像中人脸特征点的三维坐标进行降维，从而可以得到与人脸表情相关的第二基底Aexp。
在得到第一基底和第二基底后，可以根据第一基底和第二基底构建预设三维人脸基底，该预设三维人脸基底可以用以下公式(1)表示：
X＝M+Aid×P1+Aexp×P2 (1)
其中，X表示计算出的三维人脸基底，M表示预设三维人脸模型(即三维平均人脸模型)，M∈R3N×1，N为三维平均人脸模型包含的三维坐标点的点数；AidP1表示形态偏移项(也可以称为身份偏移项)，Aid为mid维身份基，Aid表示第一基底，P1为身份参数；AexpP2表示表情偏移项，Aexp为mexp维表情基，Aexp表示第二基底，P2为表情参数。
例如，预设三维人脸模型可以如图5所示，图5为预设三维人脸模型的侧面图，图5中多边形的顶点为人脸特征点。
在得到预设三维人脸基底后，可以获取预设三维人脸基底映射在二维平面内的坐标，得到映射坐标信息，该映射坐标信息与上述提及的二维坐标信息类似，该映射坐标信息可以是预设三维人脸基底中各个特征点的像素坐标信息或二维直角坐标信息等。
在步骤S104中，将映射坐标信息向二维坐标信息收敛，并根据收敛结果确定预设三维人脸基底的三维变换参数。
在得到预设三维人脸基底的映射坐标信息和二维人脸图像的二维坐标信息后，人脸图像处理装置可以将映射坐标信息向二维坐标信息收敛，并根据收敛结果确定预设三维人脸基底的三维变换参数。
在某些实施方式中，将映射坐标信息向二维坐标信息收敛，并根据收敛结果确定预设三维人脸基底的三维变换参数的步骤可以包括：
将映射坐标信息作为当前映射坐标信息；
获取当前映射坐标信息和二维坐标信息之间的误差；
当误差大于预设阈值时，对预设三维人脸基底进行三维变换，得到变换后三维人脸基底；
获取变换后三维人脸基底在二维平面内的映射坐标信息，返回执行将映射坐标信息作为当前映射坐标信息的步骤，直至得到的误差小于预设阈值，并获取误差小于预设阈值时所对应的预设三维人脸基底的三维变换参数。
人脸图像处理装置可以获取映射坐标信息和二维坐标信息之间的误差，根据误差对预设三维人脸基底进行三维变换，获取误差小于预设阈值时所对应的预设三维人脸基底的三维变换参数，其中，预设阈值可以根据实际需要进行灵活设置。具体地，可以将当前预设三维人脸基底的映射坐标信息作为当前映射坐标信息，获取当前映射坐标信息和二维坐标信息之间的误差，判断该误差是否小于预设阈值。当误差大于预设阈值时，对预设三维人脸基底进行三维变换，得到变换后三维人脸基底，然后获取变换后三维人脸基底映射在二维平面内的映射坐标信息，返回执行将映射坐标信息作为当前映射坐标信息的步骤，直至得到的误差小于预设阈值，并获取误差小于预设阈值时所对应的预设三维人脸基底的三维变换参数。该三维变换参数可以包括俯仰角、偏航角和翻滚角等，还可以包括其他的参数。
三维变换参数的计算过程为优化映射坐标信息和二维坐标信息之间的误差，可通过梯度下降法求解，例如，如下公式(2)所示：
其中，s为缩放系数，该缩放系数可以是用户的真实人脸与成像平面中人脸之间的缩放比例；T＝(Tx，Ty)为二维平面的平移量，该平移量可以是用户的正脸中间与拍照人脸图像的相机正方向之间的平移量；其他参数表示的含义与上述公式(1)类似，R为根据俯仰角(pitch)、偏航角(yaw)和翻滚角(roll)计算出的旋转矩阵，该旋转矩阵R可以如下所示：
其中，c1＝cos(pitch)，c2＝cos(yaw)，c3＝cos(roll)，s1＝sin(pitch)，s2＝sin(yaw)，s3＝sin(roll)，求解出的三维变换参数可以包括俯仰角(pitch)、偏航角(yaw)和翻滚角(roll)等。
在步骤S105中，根据三维变换参数确定二维人脸图像中的人脸姿态。
在得到三维变换参数后，可以根据三维变换参数确定二维人脸图像中的人脸姿态，该人脸姿态可以是人脸相对于正脸的偏转角度。当二维人脸图像中包括一个人脸时，可以根据该人脸对应的三维变换参数确定该人脸的人脸姿态；当二维人脸图像中包括多个人脸时，可以根据每个人脸对应的三维变换参数确定对应人脸的人脸姿态。
在某些实施方式中，根据三维变换参数确定二维人脸图像中的人脸姿态的步骤可以包括：根据三维变换参数确定二维人脸图像中人脸的俯仰角、偏航角和翻滚角；根据俯仰角获取人脸的在X轴方向上的第一旋转角度，根据偏航角获取人脸的在Y轴方向上的第二旋转角度，以及根据翻滚角获取人脸的在Z轴方向上的第三旋转角度；根据第一旋转角度、第二旋转角度及第三旋转角度确定二维人脸图像中的人脸姿态。
其中，俯仰角、偏航角和翻滚角可以如图6所示，俯仰角可以为围绕X轴旋转的角度，偏航角可以为围绕Y轴旋转的角度，翻滚角可以为围绕Z轴旋转的角度。人脸图像处理装置可以根据三维变换参数确定二维人脸图像中人脸的俯仰角、偏航角和翻滚角等，然后根据俯仰角、偏航角和翻滚角确定人脸在三维空间中不同方向上的旋转角度，并根据该旋转角度确定二维人脸图像中的人脸姿态。例如，可以根据俯仰角确定人脸的在X轴方向上的旋转角度，得到第一旋转角度；根据偏航角确定人脸的在Y轴方向上的旋转角度，得到第二旋转角度，以及根据翻滚角确定人脸的在Z轴方向上的旋转角度，得到第三旋转角度；此时可以根据第一旋转角度、第二旋转角度及第三旋转角度确定确定二维人脸图像中的人脸姿态。实现了通过构建预设三维人脸基底，该预设三维人脸基底中包含人脸形态和表情等维度，通过预设三维人脸基底可以快速准确的计算出不同用户各种表情及形态下的人脸姿态，可以有效减弱不同用户对应不同表情对人脸姿态估计的影响。
在某些实施方式中，根据三维变换参数确定二维人脸图像中的人脸姿态的步骤之后，人脸图像处理方法还可以包括：
接收设置指令，根据设置指令确定待放置的物品；根据人脸姿态确定物品需要放置在二维人脸图像中的人脸区域内的位置；根据位置放置物品，得到装饰后人脸图像。
在确定二维人脸图像中的人脸姿态后，人脸图像处理装置可以接收用户在二维人脸图像显示界面内输入的设置指令，该设置指令可以用于选择待放置的物品，该物品可以包括眼镜、帽子或其他的装饰物品等，根据设置指令可以确定待放置的物品，以及根据人脸姿态可以确定该物品需要放置在二维人脸图像中的人脸区域内的位置，并根据该位置在二维人脸图像中的人脸区域内放置物品，得到装饰后人脸图像。例如，如图7所示，该物品可以是眼镜，根据人脸姿态可以确定人脸中眼睛所在的区域后，可以将眼镜放置在二维人脸图像中的眼睛所在的区域，得到包含戴眼镜后人脸的人脸图像。
需要说明的是，人脸图像处理装置可以实时或间隔预设时间采集用户的人脸图像，并根据采集到的人脸图像实时检测人脸图像中的人脸姿态，并根据得到的人脸姿态在人脸图像中的人脸区域内放置物品，得到装饰后人脸图像，例如，当用户的头部转动时，可以实现眼镜或帽子等物品随头部转动而移动效果。
由上可知，本发明实施例可以获取待处理的二维人脸图像，对二维人脸图像进行人脸特征点检测，得到人脸特征点的二维坐标信息，以及获取预设三维人脸基底映射在二维平面内的坐标，得到映射坐标信息，然后将映射坐标信息向二维坐标信息收敛，并根据收敛结果确定预设三维人脸基底的三维变换参数，此时可以根据三维变换参数确定二维人脸图像中的人脸姿态。该方案通过利用预设三维人脸基底的映射坐标信息，与二维人脸图像的二维坐标信息之间的收敛关系来确定人脸姿态，相对于现有的几何计算方法，提高了对人脸姿态确定的准确性及可靠性。
根据上述实施例所描述的方法，以下将举例作进一步详细说明。
本实施例以人脸图像处理装置为终端为例，并以终端在拍照的过程中对人脸图像进行装饰为例。请参阅图8，图8为本发明实施例提供的人脸图像处理方法的另一流程示意图。该方法流程可以包括：
S201、终端获取待处理的二维人脸图像。
终端可以通过拍照摄像头采集到待处理的二维人脸图像，该二维人脸图像中可以包含一张或多张人脸，还可以包括其他的物体，二维人脸图像中包含的人脸可以是脸或者侧脸等。终端可以将采集到的二维人脸图像实时显示在显示界面内。
S202、终端对二维人脸图像中的人脸进行识别，得到人脸区域，对人脸区域内各个人脸器官进行人脸特征点检测，得到人脸特征点的二维坐标信息。
终端可以可以对二维人脸图像中的人脸进行识别，例如，当二维人脸图像中包括用户A的人脸时，可以从二维人脸图像中识别出用户A的人脸所在的人脸区域1；当二维人脸图像中包括用户A和用户B的人脸时，可以从二维人脸图像中识别出用户A的人脸所在的人脸区域1及用户B的人脸所在的人脸区域2等。在得到二维人脸图像中的人脸区域后，可以在人脸区域内对各个人脸器官进行检测，例如，可以对人脸区域中左眼睛、右眼睛、鼻子、左眉毛、右眉毛、下巴及嘴巴等各个人脸器官进行检测，得到各个人脸器官的特征点所在的位置，例如，可以获取左眉毛8个特征点所在的位置，获取鼻子13个特征点所在的位置，获取下巴1个特征点所在的位置等，各个人脸器官的特征点的二维坐标信息即为人脸特征点的二维坐标信息。
S203、终端获取预设三维人脸基底映射在二维平面内的坐标，得到映射坐标信息。
在执行步骤S203之前，终端可以预先构建预设三维基底，如图9所示，图9为本发明实施例提供的构建预设三维基底的流程示意图，包括：
S301、终端获取多个用户各自不同表情的样本人脸图像，对每张样本人脸图像进行人脸特征点检测，得到二维坐标集合。
终端可以通过拍照摄像头采集同一个人的多种不同表情的图像，然后采集另一个人的多种不同表情的图像，以此类推，一直采集到第N个人的多种不同表情的图像，得到样本人脸图像，其中，N的取值可以根据实际需要进行灵活设置。或者是，终端可以从人脸图像处理装置本地或服务器等获取多个用户各自不同表情的样本人脸图像，当然，样本人脸图像也可以是通过其他方式获取到，具体获取方式在此处不作限定。
其中，样本人脸图像包括每个用户分别对应的多种不同表情的正面人脸图像，多个用户的数量可以根据实际需要进行灵活设置，具体内容在此处不作限定，不同表情可以包括张嘴、咧嘴、嘟嘴、闭眼、瞪眼、单闭眼、大笑、微笑或沮丧等，正常表情的图像可以是无表情图像，存在张嘴、咧嘴、闭眼、大笑或沮丧等表情的图像可以是有表情图像。
例如，如图4所示，样本人脸图像包括用户A的不同表情的人脸图像、用户B的不同表情的人脸图像、及用户C的不同表情的人脸图像等，其中，用户A的不同表情的人脸图像可以包括微笑、撇嘴及难过等表情的人脸图像，用户B的不同表情的人脸图像可以包括微笑、难过及鬼脸等表情的人脸图像，用户C的不同表情的人脸图像可以包括大笑、微笑及沮丧等表情的人脸图像；等等。
在得到多个用户各自不同表情的样本人脸图像后，终端可以对每张样本人脸图像进行人脸特征点检测，或者先将每张样本人脸图像归一化到同一尺度，得到归一化后的样本人脸图像，然后对归一化后的样本人脸图像进行人脸特征点检测。例如，可以采用人脸检测及配准技术对每张样本人脸图像中人脸上的眼睛、鼻子、眉毛及嘴巴等各个人脸器官进行人脸特征点检测，得到二维坐标集合，该二维坐标集合包括每张样本人脸图像对应的人脸特征点的二维坐标信息。
S302、终端获取每张样本人脸图像中人脸特征点在预设三维人脸模型中配准的三维坐标点，并根据三维坐标点获取二维坐标集合在三维空间内的深度信息。
终端可以根据二维坐标集合分别将每张样本人脸图像中人脸特征点分别与预设三维人脸模型中的特征点进行配准，该预设三维人脸模型可以是三维平均人脸模型，通过改变该三维平均人脸模型的三维坐标点的位置信息可以生成不同的表情及不同身份的用户的三维人脸模型。
例如，终端可以获取每张样本人脸图像在二维平面内的人脸特征点，以及可以获取预设三维人脸模型投影在二维平面的人脸特征点，然后判断样本人脸图像的人脸特征点，与预设三维人脸模型的人脸特征点是否配准，若配准，则获取样本人脸图像中人脸特征点在预设三维人脸模型中对应的三维坐标点，若不配准，则对预设三维人脸模型进行旋转，得到旋转后预设三维人脸模型，再获取旋转后预设三维人脸模型的人脸特征点，直至当前人脸图像的人脸特征点与旋转后预设三维人脸模型的人脸特征点配准，此时可以获取样本人脸人脸图像中人脸特征点在预设三维人脸模型中对应的三维坐标点。
例如，终端可以将样本人脸图像a中左眼睛的8个特征点与预设三维人脸模型中左眼睛的8个特征点进行配准，将样本人脸图像a中鼻子的13个特征点与预设三维人脸模型中鼻子的13个特征点进行配准，将样本人脸图像a中下巴的1个特征点与预设三维人脸模型中下巴的1个特征点进行配准等。
在得到每张样本人脸图像中人脸特征点在预设三维人脸模型中对应的三维坐标点后，终端可以根据每张样本人脸图像对应的三维坐标点，获取每张样本人脸图像的二维坐标在三维空间中的深度信息，该深度信息可以是z轴方向上的z坐标。
S303、终端根据深度信息确定二维坐标集合映射在三维空间内的三维坐标，得到三维坐标集合。
终端可以根据深度信息确定每张样本人脸图像中各个人脸特征点的二维坐标，映射在三维空间内的三维坐标，在得到每张样本人脸图像的三维坐标后，可以将每张样本人脸图像的三维坐标归一化到同一尺度，得到三维坐标集合。
例如，可以将样本人脸图像中的人脸特征点与预设三维人脸模型中的人脸特征点进行配准，得到每个人脸特征点的二维坐标(x1，y1)在预设三维人脸模型中对应的三维坐标点(x2，y2，z2)，即得到每个人脸特征点的二维坐标与预设三维人脸模型中每个人脸特征点的三维坐标点之间的一一对应关系，然后将三维坐标点z2作为人脸特征点的二维坐标在三维空间内的深度信息，根据深度信息确定每个人脸特征点二维坐标映射在三维空间内的特征点三维坐标为(x1，y1，z2)。
S304、终端根据三维坐标集合中所有无表情图像的三维坐标构建稀疏三维人脸特征点，并根据稀疏三维人脸特征点获取与人脸形态相关的第一基底。
终端可以从多个用户各自不同表情的样本人脸图像中筛选出各个用户的无表情图像，得到所有无表情图像，以及从三维坐标集合中筛选出所有无表情图像的三维坐标，得到目标三维坐标，然后根据目标三维坐标构建稀疏三维人脸特征点，该稀疏三维人脸特征点可以是由无表情图像中每个特征点组成的三维人脸特征点集合。例如，终端可以根据目标三维坐标计算无表情图像中每个人脸特征点的平均值，得到平均三维坐标值，根据平均三维坐标值构建稀疏三维人脸特征点，每一个平均三维坐标值分别对应稀疏三维人脸特征点中每一个三维人脸特征点。
例如，可以将1至n张(n的取值可以根据实际需要进行灵活设置)无表情图像中各个人脸器官对应的每个人脸特征点的三维坐标分别进行累加，得到每个人脸特征点对应的三维坐标总和，然后根据所有无表情图像的张数及三维坐标总和，分别计算每个人脸特征点对应的平均值，得到每个人脸特征点对应的三维坐标的平均值，得到平均三维坐标值，此时可以根据平均三维坐标值构建稀疏三维人脸特征点。
然后，终端可以分别计算每张无表情图像中人脸特征点的三维坐标与稀疏三维人脸特征点的三维坐标之间的第一偏差值，例如，可以分别计算每张无表情图像中鼻子对应的13个人脸特征点的三维坐标，与稀疏三维人脸特征点中鼻子对应的13个人脸特征点三维坐标之间的偏差值；可以计算每张无表情图像中下巴对应的1个人脸特征点的三维坐标与稀疏三维人脸特征点中下巴对应的1个人脸特征点三维坐标之间的偏差值；等等，所有无表情图像中每个人脸特征点的三维坐标与稀疏三维人脸特征点中每个人脸特征点的三维坐标之间的偏差值，得到第一偏差值。然后，可以根据第一偏差值对每张无表情图像进行主成分分析从而可以得到与人脸形态相关的第一基底。
S305、终端根据三维坐标集合中每张有表情图像的三维坐标与对应同一用户的无表情图像的三维坐标之间的偏差值，对每张有表情图像进行主成分分析，得到与人脸表情相关的第二基底。
终端可以预先设置样本人脸图像的图像标识与三维坐标之间的映射关系，以及可以从多个用户各自不同表情的样本人脸图像中筛选出各个用户的无表情图像和各个用户的有表情图像，此时可以根据无表情图像的图像标识和有表情图像的图像标识，以及结合映射关系，分别从三维坐标集合中筛选出所有无表情图像的三维坐标，以及所有有表情图像的三维坐标。
然后分别计算同一用户的每张有表情图像的三维坐标与该用户的无表情图像的三维坐标之间的第二偏差值，例如，可以计算用户A的每张有表情图像中鼻子对应的13个人脸特征点的三维坐标，与无表情图像中鼻子对应的13个人脸特征点的三维坐标之间的偏差值，可以计算用户A的每张有表情图像中右眼睛对应的8个人脸特征点的三维坐标与无表情图像中右眼睛对应的8个人脸特征点的三维坐标之间的偏差值等，所有用户的每张有表情图像中各个人脸特征点的三维坐标与无表情图像中各个人脸特征点的三维坐标之间偏差值，即可得到第二偏差值。此时，终端可以根据第二偏差值对每张有表情图像进行主成分分析，从而可以得到与人脸表情相关的第二基底。
S306、终端根据第一基底和第二基底构建预设三维人脸基底。
在得到第一基底和第二基底后，终端可以根据第一基底和第二基底构建预设三维人脸基底，该预设三维人脸基底可以用上述公式(1)表示。例如，预设三维人脸基底的人脸特征点可以包括下巴对应的1个特征点、左眼睛对应的8个特征点、右眼睛对应的8个特征点、鼻子对应的13个特征点、左眉毛对应的8个特征点、右眉毛对应的8个特征点、及嘴巴对应的22个特征点等。
在得到预设三维人脸基底后，终端可以将预设三维人脸基底映射在二维平面内，并获取预设三维人脸基底中各个人脸特征点在二维平面内的坐标，得到映射坐标信息。
S204、终端获取映射坐标信息和二维坐标信息之间的误差，根据误差对预设三维人脸基底进行三维变换，获取误差小于预设阈值时所对应的预设三维人脸基底的三维变换参数。
在得到预设三维人脸基底后，可以获取预设三维人脸基底映射在二维平面内的坐标，得到映射坐标信息，将映射坐标信息向二维坐标信息收敛，并根据收敛结果确定预设三维人脸基底的三维变换参数。例如，终端可以获取映射坐标信息和二维坐标信息之间的误差，根据误差对预设三维人脸基底进行三维变换，获取误差小于预设阈值时所对应的预设三维人脸基底的三维变换参数，其中，预设阈值可以根据实际需要进行灵活设置。
具体地，终端可以将当前预设三维人脸基底的映射坐标信息作为当前映射坐标信息，获取当前映射坐标信息和二维坐标信息之间的误差，判断该误差是否小于预设阈值。当误差大于预设阈值时，对预设三维人脸基底进行三维变换，得到变换后三维人脸基底，然后获取变换后三维人脸基底映射在二维平面内的映射坐标信息，返回执行将映射坐标信息作为当前映射坐标信息的步骤，直至得到的误差小于预设阈值，并获取误差小于预设阈值时所对应的预设三维人脸基底的三维变换参数。该三维变换参数可以包括俯仰角、偏航角和翻滚角等，还可以包括其他的参数。
S205、终端根据三维变换参数确定二维人脸图像中人脸的俯仰角、偏航角和翻滚角，并根据俯仰角、偏航角和翻滚角确定二维人脸图像中的人脸姿态。
S206、根据人脸姿态确定待放置的物品需要放置在二维人脸图像中的位置，并根据位置放置物品，得到装饰后人脸图像
例如，终端可以根据三维变换参数确定二维人脸图像中人脸的俯仰角、偏航角和翻滚角等，然后根据俯仰角、偏航角和翻滚角确定人脸在三维空间中不同方向上的旋转角度，并根据该旋转角度确定二维人脸图像中的人脸姿态。例如，可以根据俯仰角确定人脸的在X轴方向上的旋转角度，得到第一旋转角度；根据偏航角确定人脸的在Y轴方向上的旋转角度，得到第二旋转角度，以及根据翻滚角确定人脸的在Z轴方向上的旋转角度，得到第三旋转角度；此时可以根据第一旋转角度、第二旋转角度及第三旋转角度确定确定二维人脸图像中的人脸姿态。
在确定二维人脸图像中的人脸姿态后，终端可以接收用户在二维人脸图像显示界面内输入的设置指令，根据设置指令选择眼镜、帽子或其他的装饰物品等待放置的物品，以及根据人脸姿态可以确定该物品需要放置在二维人脸图像中的位置，并根据该位置在二维人脸图像中放置物品，得到装饰后人脸图像。例如，如图7所示，该物品可以是眼镜，根据人脸姿态可以确定人脸中眼睛所在的区域后，可以将眼镜放置在二维人脸图像中的眼睛所在的区域，得到包含戴眼镜后人脸的人脸图像。
在得到装饰后人脸图像后，终端可以接收用户输入保存指令，并根据保存指令对装饰后人脸图像进行保存，可以将装饰后人脸图像保存至指令的路径下，还可以将装饰后人脸图像上传至服务器进行存储等。
由于终端可以实时或间隔预设时间采集用户的人脸图像，因此可以根据采集到的人脸图像实时检测人脸图像中的人脸姿态，当用户的头部转动时，可以快速计算出当前采集到的人脸图像中的人脸姿态，实现了当用户的头部转动时，眼镜或帽子等物品可以随头部转动而移动效果。
本发明实施例终端可以对二维人脸图像进行人脸特征点检测，以及通过构建预设三维人脸基底，该预设三维人脸基底中包含人脸形态和表情等维度，通过预设三维人脸基底可以快速准确的计算出不同用户各种表情及形态下的人脸姿态，例如通过利用预设三维人脸基底的映射坐标信息，与二维人脸图像的二维坐标信息之间的收敛关系来确定人脸姿态，可以有效减弱不同用户对应不同表情对人脸姿态估计的影响。以及，将各个人脸器官的多个人脸特征点点均参与到人脸姿态估计中，可以避免某个人脸特征点定位不准导致的姿态估计不准确的问题，提高了对人脸姿态确定的准确性及可靠性。
为便于更好的实施本发明实施例提供的人脸图像处理方法，本发明实施例还提供一种基于上述人脸图像处理方法的装置。其中名词的含义与上述人脸图像处理方法中相同，具体实现细节可以参考方法实施例中的说明。
请参阅图10，图10为本发明实施例提供的人脸图像处理装置的结构示意图，其中该人脸图像处理装置可以包括图像获取单元401、第一检测单元402、信息获取单元403、收敛单元404及确定单元405等。
其中，图像获取单元401，用于获取待处理的二维人脸图像。
该二维人脸图像中可以包含一张或多张人脸，还可以包括其他的物体，二维人脸图像中包含的人脸可以是正脸或侧脸等。图像获取单元401可以通过拍照摄像头采集到二维人脸图像，或者从本地存储空间或从服务器上的图像数据库中获取到二维人脸图像等；当然，二维人脸图像也可以是通过其他方式获取到，具体获取方式在此处不作限定。
第一检测单元402，用于对二维人脸图像进行人脸特征点检测，得到人脸特征点的二维坐标信息。
第一检测单元402可以采用人脸检测及配准技术对二维人脸图像进行人脸特征点检测，例如，可以对二维人脸图像中人脸上的眼睛、鼻子、眉毛及嘴巴等各个人脸器官进行检测，得到人脸特征点的二维坐标信息，该二维坐标信息可以是各个人脸器官对应的关键点的像素坐标信息或二维直角坐标信息等。
在某些实施方式中，第一检测单元402具体可以用于：对二维人脸图像中的人脸进行识别，得到人脸区域；在人脸区域内对各个人脸器官进行检测，得到各个人脸器官所在的器官区域；根据器官区域获取各个人脸器官的特征点所在的位置，得到人脸特征点的二维坐标信息。
第一检测单元402可以先对二维人脸图像中的人脸进行识别，得到人脸区域，然后在人脸区域内对各个人脸器官进行检测，例如，可以对人脸区域中左眼睛、右眼睛、鼻子、左眉毛、右眉毛、下巴及嘴巴等各个人脸器官进行检测，得到各个人脸器官所在的器官区域，并根据器官区域获取各个人脸器官的特征点所在的位置，例如，可以获取左眉毛8个特征点所在的位置，获取鼻子13个特征点所在的位置等，各个人脸器官的特征点的二维坐标信息即为人脸特征点的二维坐标信息。
信息获取单元403，用于获取预设三维人脸基底映射在二维平面内的坐标，得到映射坐标信息。
在某些实施方式中，如图11所示，人脸图像处理装置还可以包括样本获取单元406、第二检测单元407、坐标获取单元408、基底获取单元409及构建单元410等，具体可以如下：
样本获取单元406，用于获取多个用户各自不同表情的样本人脸图像；
第二检测单元407，用于对每张样本人脸图像进行人脸特征点检测，得到二维坐标集合；
坐标获取单元408，用于根据二维坐标集合获取每张样本人脸图像中人脸特征点的三维坐标，得到三维坐标集合；
基底获取单元409，用于根据三维坐标集合获取与人脸形态相关的第一基底，以及获取与人脸表情相关的第二基底；
构建单元410，用于根据第一基底和第二基底构建预设三维人脸基底。
样本获取单元406可以获取多个用户各自不同表情的样本人脸图像，例如，可以利用照相机或拍照摄像头等采集多个用户各自不同表情的图像，或者从人脸图像处理装置本地或服务器等获取多个用户各自不同表情的样本人脸图像等。其中，样本人脸图像可以包括每个用户分别对应的多种不同表情的正面人脸图像，多个用户的数量可以根据实际需要进行灵活设置，具体内容在此处不作限定，不同表情可以包括张嘴、咧嘴、嘟嘴、闭眼、瞪眼、单闭眼、大笑、微笑或沮丧等，样本人脸图像包括每个用户对应的无表情图像和有表情图像。
在得到多个用户各自不同表情的样本人脸图像后，第二检测单元407可以对每张样本人脸图像进行人脸特征点检测，或者先将每张样本人脸图像归一化到同一尺度，得到归一化后的样本人脸图像，然后对归一化后的样本人脸图像进行人脸特征点检测。第二检测单元407可以采用人脸检测及配准技术对每张样本人脸图像分别进行人脸特征点检测，例如，可以对每张样本人脸图像中人脸上的眼睛、鼻子、眉毛及嘴巴等各个人脸器官进行检测，得到二维坐标集合。
在得到二维坐标集合后，坐标获取单元408可以根据二维坐标集合获取每张样本人脸图像中人脸特征点的三维坐标，得到三维坐标集合。
在某些实施方式中，如图14所示，坐标获取单元408可以包括配准子单元4081、信息获取子单元4082及确定子单元4083等，具体可以如下：
配准子单元4081，用于根据二维坐标集合将每张样本人脸图像中人脸特征点分别与预设三维人脸模型中的特征点进行配准，得到每张样本人脸图像中人脸特征点在预设三维人脸模型中对应的三维坐标点；
信息获取子单元4082，用于根据三维坐标点获取二维坐标集合在三维空间内的深度信息；
确定子单元4083，用于根据深度信息确定二维坐标集合映射在三维空间内的三维坐标，得到三维坐标集合。
其中，预设三维人脸模型可以是三维平均人脸模型，通过改变该三维平均人脸模型的三维坐标点的位置信息可以生成不同的表情及不同身份的用户的三维人脸模型，也就是说所有三维人脸模型都可以通过在三维平均人脸模型的三维坐标点上增加偏移来表示。
具体地，配准子单元4081可以根据二维坐标集合分别将每张样本人脸图像中人脸特征点分别与预设三维人脸模型中的特征点进行配准，例如，配准子单元4081可以获取每张样本人脸图像在二维平面内的人脸特征点，以及可以获取预设三维人脸模型投影在二维平面的人脸特征点，然后判断样本人脸图像的人脸特征点，与预设三维人脸模型的人脸特征点是否配准，若配准，则获取样本人脸图像中人脸特征点在预设三维人脸模型中对应的三维坐标点，若不配准，则对预设三维人脸模型进行旋转，得到旋转后预设三维人脸模型，再获取旋转后预设三维人脸模型的人脸特征点，直至当前人脸图像的人脸特征点与旋转后预设三维人脸模型的人脸特征点配准，此时可以获取样本人脸人脸图像中人脸特征点在预设三维人脸模型中对应的三维坐标点。
在得到每张样本人脸图像中人脸特征点在预设三维人脸模型中对应的三维坐标点后，信息获取子单元4082可以根据每张样本人脸图像对应的三维坐标点，获取每张样本人脸图像的二维坐标在三维空间中的深度信息，该深度信息可以是z轴方向上的z坐标，可以将某个人脸特征点的三维坐标点中的z坐标作为样本人脸图像中对应人脸特征点的z坐标，此时确定子单元4083可以根据深度信息确定每张样本人脸图像中各个人脸特征点的二维坐标，映射在三维空间内的三维坐标，得到三维坐标集合。
在某些实施方式中，确定子单元4083具体可以用于：根据深度信息确定二维坐标集合映射在三维空间内的三维坐标，得到每张样本人脸图像的三维坐标；将每张样本人脸图像的三维坐标归一化到同一尺度，得到三维坐标集合。
在某些实施方式中，如图12所示，基底获取单元409可以包括第一筛选子单元4091、构建子单元4092及获取子单元4093等，具体可以如下：
第一筛选子单元4091，用于从三维坐标集合中筛选出所有无表情图像的三维坐标，得到目标三维坐标；
构建子单元4092，用于根据目标三维坐标构建稀疏三维人脸特征点；
获取子单元4093，用于根据稀疏三维人脸特征点获取与人脸形态相关的第一基底。
第一筛选子单元4091可以从多个用户各自不同表情的样本人脸图像中筛选出各个用户的无表情图像，得到所有无表情图像，以及从三维坐标集合中筛选出所有无表情图像的三维坐标，得到目标三维坐标，然后构建子单元4092根据目标三维坐标构建稀疏三维人脸特征点，该稀疏三维人脸特征点可以是由无表情图像中每个特征点组成的三维人脸特征点集合。
在某些实施方式中，构建子单元4092具体可以用于：根据目标三维坐标计算所有无表情图像中每个特征点的平均值，得到平均三维坐标值；根据平均三维坐标值构建稀疏三维人脸特征点。
在某些实施方式中，获取子单元4093具体可以用于：计算每张无表情图像中人脸特征点的三维坐标与稀疏三维人脸特征点的三维坐标之间的第一偏差值；根据第一偏差值对每张无表情图像进行主成分分析，得到与人脸形态相关的第一基底。
在某些实施方式中，如图13所示，基底获取单元409可以包括第二筛选子单元4094、计算子单元4095及分析子单元4096等，具体可以如下：
第二筛选子单元4094，用于从三维坐标集合中筛选出所有无表情图像的三维坐标，以及所有有表情图像的三维坐标；
计算子单元4095，用于计算每张有表情图像的三维坐标与对应同一用户的无表情图像的三维坐标之间的第二偏差值；
分析子单元4096，用于根据第二偏差值对每张有表情图像进行主成分分析，得到与人脸表情相关的第二基底。
第二筛选子单元4094可以从多个用户各自不同表情的样本人脸图像中筛选出各个用户的无表情图像和各个用户的有表情图像，其中，无表情图像可以是用户正常表情的图像，有表情图像可以包括张嘴、咧嘴、嘟嘴、闭眼、瞪眼及单闭眼等表情的图像。例如，第二筛选子单元4094可以预先设置图像标识与三维坐标之间的映射关系，此时可以根据无表情图像的图像标识和有表情图像的图像标识，以及结合映射关系，分别从三维坐标集合中筛选出所有无表情图像的三维坐标，以及所有有表情图像的三维坐标。
然后计算子单元4095分别计算同一用户的每张有表情图像的三维坐标与该用户的无表情图像的三维坐标之间的第二偏差值，例如，可以计算用户A的每张有表情图像中鼻子对应的13个人脸特征点的三维坐标，与无表情图像中鼻子对应的13个人脸特征点的三维坐标之间的偏差值，可以计算用户A的每张有表情图像中右眼睛对应的8个人脸特征点的三维坐标与无表情图像中右眼睛对应的8个人脸特征点的三维坐标之间的偏差值等，所有用户的每张有表情图像中各个人脸特征点的三维坐标与无表情图像中各个人脸特征点的三维坐标之间偏差值，即可得到第二偏差值。
然后，分析子单元4096可以根据第二偏差值对每张有表情图像进行主成分分析，对多个用户的样本人脸图像中人脸特征点的三维坐标进行降维，从而可以得到与人脸表情相关的第二基底。
在得到第一基底和第二基底后，构建单元410可以根据第一基底和第二基底构建预设三维人脸基底，该预设三维人脸基底可以用上述公式(1)表示。
在得到预设三维人脸基底后，信息获取单元403可以获取预设三维人脸基底映射在二维平面内的坐标，得到映射坐标信息，该映射坐标信息与上述提及的二维坐标信息类似，该映射坐标信息可以是预设三维人脸基底中各个特征点的像素坐标信息或二维直角坐标信息等。
收敛单元404，用于将映射坐标信息向二维坐标信息收敛，并根据收敛结果确定预设三维人脸基底的三维变换参数。
在某些实施方式中，收敛单元404具体可以用于：将映射坐标信息作为当前映射坐标信息；获取当前映射坐标信息和二维坐标信息之间的误差；当误差大于预设阈值时，对预设三维人脸基底进行三维变换，得到变换后三维人脸基底；获取变换后三维人脸基底在二维平面内的映射坐标信息，返回执行将映射坐标信息作为当前映射坐标信息的步骤，直至得到的误差小于预设阈值，并获取误差小于预设阈值时所对应的预设三维人脸基底的三维变换参数。
收敛单元404可以获取映射坐标信息和二维坐标信息之间的误差，根据误差对预设三维人脸基底进行三维变换，获取误差小于预设阈值时所对应的预设三维人脸基底的三维变换参数，其中，预设阈值可以根据实际需要进行灵活设置。该三维变换参数可以包括俯仰角、偏航角和翻滚角等，还可以包括其他的参数。
确定单元405，用于根据三维变换参数确定二维人脸图像中的人脸姿态。
在某些实施方式中，确定单元405具体可以用于：根据三维变换参数确定二维人脸图像中人脸的俯仰角、偏航角和翻滚角；根据俯仰角获取人脸的在X轴方向上的第一旋转角度，根据偏航角获取人脸的在Y轴方向上的第二旋转角度，以及根据翻滚角获取人脸的在Z轴方向上的第三旋转角度；根据第一旋转角度、第二旋转角度及第三旋转角度确定二维人脸图像中的人脸姿态。实现了通过构建预设三维人脸基底，该预设三维人脸基底中包含人脸形态和表情等维度，通过预设三维人脸基底可以快速准确的计算出不同用户各种表情及形态下的人脸姿态，可以有效减弱不同用户对应不同表情对人脸姿态估计的影响。
在某些实施方式中，人脸图像处理装置还可以包括：接收单元，用于接收设置指令，根据设置指令确定待放置的物品；位置确定单元，用于根据人脸姿态确定物品需要放置在二维人脸图像中的人脸区域内的位置；放置单元，用于根据位置放置物品，得到装饰后人脸图像。
在确定二维人脸图像中的人脸姿态后，接收单元可以接收用户在二维人脸图像显示界面内输入的设置指令，该设置指令可以用于选择待放置的物品，该物品可以包括眼镜、帽子或其他的装饰物品等，位置确定单元根据设置指令可以确定待放置的物品，以及根据人脸姿态可以确定该物品需要放置在二维人脸图像中的人脸区域内的位置，放置单元可以根据该位置在二维人脸图像中的人脸区域内放置物品，得到装饰后人脸图像。例如，如图7所示，该物品可以是眼镜，根据人脸姿态可以确定人脸中眼睛所在的区域后，可以将眼镜放置在二维人脸图像中的眼睛所在的区域，得到包含戴眼镜后人脸的人脸图像。
需要说明的是，人脸图像处理装置可以实时或间隔预设时间采集用户的人脸图像，并根据采集到的人脸图像实时检测人脸图像中的人脸姿态，并根据得到的人脸姿态在人脸图像中的人脸区域内放置物品，得到装饰后人脸图像，例如，当用户的头部转动时，可以实现眼镜或帽子等物品随头部转动而移动效果。
由上可知，本发明实施例可以由图像获取单元401获取待处理的二维人脸图像，由第一检测单元402对二维人脸图像进行人脸特征点检测，得到人脸特征点的二维坐标信息，以及由信息获取单元403获取预设三维人脸基底映射在二维平面内的坐标，得到映射坐标信息，然后由收敛单元404将映射坐标信息向二维坐标信息收敛，并根据收敛结果确定预设三维人脸基底的三维变换参数，此时确定单元405可以根据三维变换参数确定二维人脸图像中的人脸姿态。该方案通过利用预设三维人脸基底的映射坐标信息，与二维人脸图像的二维坐标信息之间的收敛关系来确定人脸姿态，相对于现有的几何计算方法，提高了对人脸姿态确定的准确性及可靠性。
相应的，本发明实施例还提供一种终端，如图15所示，该终端可以包括射频(RF，Radio Frequency)电路601、包括有一个或一个以上计算机可读存储介质的存储器602、输入单元603、显示单元604、传感器605、音频电路606、无线保真(WiFi，Wireless Fidelity)模块607、包括有一个或者一个以上处理核心的处理器608、以及电源609等部件。本领域技术人员可以理解，图15中示出的终端结构并不构成对终端的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
RF电路601可用于收发信息或通话过程中，信号的接收和发送，特别地，将基站的下行信息接收后，交由一个或者一个以上处理器608处理；另外，将涉及上行的数据发送给基站。通常，RF电路601包括但不限于天线、至少一个放大器、调谐器、一个或多个振荡器、用户身份模块(SIM，Subscriber Identity Module)卡、收发信机、耦合器、低噪声放大器(LNA，Low Noise Amplifier)、双工器等。此外，RF电路601还可以通过无线通信与网络和其他设备通信。所述无线通信可以使用任一通信标准或协议，包括但不限于全球移动通讯系统(GSM，Global System of Mobile communication)、通用分组无线服务(GPRS，GeneralPacket Radio Service)、码分多址(CDMA，Code Division Multiple Access)、宽带码分多址(WCDMA，Wideband Code Division Multiple Access)、长期演进(LTE，Long TermEvolution)、电子邮件、短消息服务(SMS，Short Messaging Service)等。
存储器602可用于存储软件程序以及模块，处理器608通过运行存储在存储器602的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器602可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据终端的使用所创建的数据(比如音频数据、电话本等)等。此外，存储器602可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器602还可以包括存储器控制器，以提供处理器608和输入单元603对存储器602的访问。
输入单元603可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。具体地，在一个具体的实施例中，输入单元603可包括触敏表面以及其他输入设备。触敏表面，也称为触摸显示屏或者触控板，可收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触敏表面上或在触敏表面附近的操作)，并根据预先设定的程式驱动相应的连接装置。可选的，触敏表面可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器；触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器608，并能接收处理器608发来的命令并加以执行。此外，可以采用电阻式、电容式、红外线以及表面声波等多种类型实现触敏表面。除了触敏表面，输入单元603还可以包括其他输入设备。具体地，其他输入设备可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆等中的一种或多种。
显示单元604可用于显示由用户输入的信息或提供给用户的信息以及终端的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。显示单元604可包括显示面板，可选的，可以采用液晶显示器(LCD，Liquid Crystal Display)、有机发光二极管(OLED，Organic Light-Emitting Diode)等形式来配置显示面板。进一步的，触敏表面可覆盖显示面板，当触敏表面检测到在其上或附近的触摸操作后，传送给处理器608以确定触摸事件的类型，随后处理器608根据触摸事件的类型在显示面板上提供相应的视觉输出。虽然在图15中，触敏表面与显示面板是作为两个独立的部件来实现输入和输入功能，但是在某些实施例中，可以将触敏表面与显示面板集成而实现输入和输出功能。
终端还可包括至少一种传感器605，比如光传感器、运动传感器以及其他传感器。具体地，光传感器可包括环境光传感器及接近传感器，其中，环境光传感器可根据环境光线的明暗来调节显示面板的亮度，接近传感器可在终端移动到耳边时，关闭显示面板和/或背光。作为运动传感器的一种，重力加速度传感器可检测各个方向上(一般为三轴)加速度的大小，静止时可检测出重力的大小及方向，可用于识别终端姿态的应用(比如横竖屏切换、相关游戏、磁力计姿态校准)、振动识别相关功能(比如计步器、敲击)等；至于终端还可配置的陀螺仪、气压计、湿度计、温度计、红外线传感器等其他传感器，在此不再赘述。
音频电路606、扬声器，传声器可提供用户与终端之间的音频接口。音频电路606可将接收到的音频数据转换后的电信号，传输到扬声器，由扬声器转换为声音信号输出；另一方面，传声器将收集的声音信号转换为电信号，由音频电路606接收后转换为音频数据，再将音频数据输出处理器608处理后，经RF电路601以发送给比如另一终端，或者将音频数据输出至存储器602以便进一步处理。音频电路606还可能包括耳塞插孔，以提供外设耳机与终端的通信。
WiFi属于短距离无线传输技术，终端通过WiFi模块607可以帮助用户收发电子邮件、浏览网页和访问流式媒体等，它为用户提供了无线的宽带互联网访问。虽然图15示出了WiFi模块607，但是可以理解的是，其并不属于终端的必须构成，完全可以根据需要在不改变发明的本质的范围内而省略。
处理器608是终端的控制中心，利用各种接口和线路连接整个终端的各个部分，通过运行或执行存储在存储器602内的软件程序和/或模块，以及调用存储在存储器602内的数据，执行终端的各种功能和处理数据，从而对终端进行整体监控。可选的，处理器608可包括一个或多个处理核心；优选的，处理器608可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器608中。
终端还包括给各个部件供电的电源609(比如电池)，优选的，电源可以通过电源管理系统与处理器608逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源609还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
尽管未示出，终端还可以包括摄像头、蓝牙模块等，在此不再赘述。具体在本实施例中，终端中的处理器608会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器602中，并由处理器608来运行存储在存储器602中的应用程序，从而实现本发明实施例提供的人脸图像处理方法，如下：
获取待处理的二维人脸图像；对二维人脸图像进行人脸特征点检测，得到人脸特征点的二维坐标信息；获取预设三维人脸基底映射在二维平面内的坐标，得到映射坐标信息；将映射坐标信息向二维坐标信息收敛，并根据收敛结果确定预设三维人脸基底的三维变换参数；根据三维变换参数确定二维人脸图像中的人脸姿态。
可选地，获取预设三维人脸基底映射在二维平面内的坐标，得到映射坐标信息的步骤之前，人脸图像处理方法还包括：获取多个用户各自不同表情的样本人脸图像；对每张样本人脸图像进行人脸特征点检测，得到二维坐标集合；根据二维坐标集合获取每张样本人脸图像中人脸特征点的三维坐标，得到三维坐标集合；根据三维坐标集合获取与人脸形态相关的第一基底，以及获取与人脸表情相关的第二基底；根据第一基底和第二基底构建预设三维人脸基底。
由上可知，终端可以获取待处理的二维人脸图像，对二维人脸图像进行人脸特征点检测，得到人脸特征点的二维坐标信息，以及获取预设三维人脸基底映射在二维平面内的坐标，得到映射坐标信息，然后将映射坐标信息向二维坐标信息收敛，并根据收敛结果确定预设三维人脸基底的三维变换参数，此时可以根据三维变换参数确定二维人脸图像中的人脸姿态。该方案通过利用预设三维人脸基底的映射坐标信息，与二维人脸图像的二维坐标信息之间的收敛关系来确定人脸姿态，相对于现有的几何计算方法，提高了对人脸姿态确定的准确性及可靠性。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见上文针对人脸图像处理方法的详细描述，此处不再赘述。
本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
为此，本发明实施例提供一种存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本发明实施例所提供的任一种人脸图像处理方法中的步骤。例如，该指令可以执行如下步骤：
获取待处理的二维人脸图像；对二维人脸图像进行人脸特征点检测，得到人脸特征点的二维坐标信息；获取预设三维人脸基底映射在二维平面内的坐标，得到映射坐标信息；将映射坐标信息向二维坐标信息收敛，并根据收敛结果确定预设三维人脸基底的三维变换参数；根据三维变换参数确定二维人脸图像中的人脸姿态。
可选地，获取预设三维人脸基底映射在二维平面内的坐标，得到映射坐标信息的步骤之前，人脸图像处理方法还包括：获取多个用户各自不同表情的样本人脸图像；对每张样本人脸图像进行人脸特征点检测，得到二维坐标集合；根据二维坐标集合获取每张样本人脸图像中人脸特征点的三维坐标，得到三维坐标集合；根据三维坐标集合获取与人脸形态相关的第一基底，以及获取与人脸表情相关的第二基底；根据第一基底和第二基底构建预设三维人脸基底。
以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
其中，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。
由于该存储介质中所存储的指令，可以执行本发明实施例所提供的任一种人脸图像处理方法中的步骤，因此，可以实现本发明实施例所提供的任一种人脸图像处理方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
以上对本发明实施例所提供的一种人脸图像处理方法、装置及存储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。
Claims (15)
1.一种人脸图像处理方法，其特征在于，包括：
获取待处理的二维人脸图像；
对所述二维人脸图像进行人脸特征点检测，得到人脸特征点的二维坐标信息；
获取预设三维人脸基底映射在二维平面内的坐标，得到映射坐标信息；
将所述映射坐标信息向所述二维坐标信息收敛，并根据收敛结果确定所述预设三维人脸基底的三维变换参数；
根据所述三维变换参数确定所述二维人脸图像中的人脸姿态。
2.根据权利要求1所述的人脸图像处理方法，其特征在于，所述根据所述三维变换参数确定所述二维人脸图像中的人脸姿态的步骤包括：
根据所述三维变换参数确定所述二维人脸图像中人脸的俯仰角、偏航角和翻滚角；
根据所述俯仰角获取所述人脸的在X轴方向上的第一旋转角度，根据所述偏航角获取所述人脸的在Y轴方向上的第二旋转角度，以及根据所述翻滚角获取所述人脸的在Z轴方向上的第三旋转角度；
根据所述第一旋转角度、第二旋转角度及第三旋转角度确定所述二维人脸图像中的人脸姿态。
3.根据权利要求1所述的人脸图像处理方法，其特征在于，所述获取预设三维人脸基底映射在二维平面内的坐标，得到映射坐标信息的步骤之前，所述方法还包括：
获取多个用户各自不同表情的样本人脸图像；
对每张样本人脸图像进行人脸特征点检测，得到二维坐标集合；
根据所述二维坐标集合获取每张样本人脸图像中人脸特征点的三维坐标，得到三维坐标集合；
根据所述三维坐标集合获取与人脸形态相关的第一基底，以及获取与人脸表情相关的第二基底；
根据所述第一基底和第二基底构建预设三维人脸基底。
4.根据权利要求3所述的人脸图像处理方法，其特征在于，所述样本人脸图像包括每个用户对应的无表情图像，所述根据所述三维坐标集合获取与人脸形态相关的第一基底的步骤包括：
从所述三维坐标集合中筛选出所有无表情图像的三维坐标，得到目标三维坐标；
根据所述目标三维坐标构建稀疏三维人脸特征点；
根据所述稀疏三维人脸特征点获取与人脸形态相关的第一基底。
5.根据权利要求4所述的人脸图像处理方法，其特征在于，所述根据所述目标三维坐标构建稀疏三维人脸特征点的步骤包括：
根据所述目标三维坐标计算所有无表情图像中每个特征点的平均值，得到平均三维坐标值；
根据所述平均三维坐标值构建稀疏三维人脸特征点。
6.根据权利要求4所述的人脸图像处理方法，其特征在于，所述根据所述稀疏三维人脸特征点获取与人脸形态相关的第一基底的步骤包括：
计算每张无表情图像中人脸特征点的三维坐标与稀疏三维人脸特征点的三维坐标之间的第一偏差值；
根据所述第一偏差值对每张无表情图像进行主成分分析，得到与人脸形态相关的第一基底。
7.根据权利要求3所述的人脸图像处理方法，其特征在于，所述样本人脸图像包括每个用户对应的无表情图像和有表情图像，根据所述三维坐标集合获取与人脸表情相关的第二基底的步骤包括：
从所述三维坐标集合中筛选出所有无表情图像的三维坐标，以及所有有表情图像的三维坐标；
计算每张有表情图像的三维坐标与对应同一用户的无表情图像的三维坐标之间的第二偏差值；
根据所述第二偏差值对每张有表情图像进行主成分分析，得到与人脸表情相关的第二基底。
8.根据权利要求3所述的人脸图像处理方法，其特征在于，所述根据所述二维坐标集合获取每张样本人脸图像中人脸特征点的三维坐标，得到三维坐标集合的步骤包括：
根据所述二维坐标集合将每张样本人脸图像中人脸特征点分别与预设三维人脸模型中的特征点进行配准，得到每张样本人脸图像中人脸特征点在所述预设三维人脸模型中对应的三维坐标点；
根据所述三维坐标点获取所述二维坐标集合在三维空间内的深度信息；
根据所述深度信息确定所述二维坐标集合映射在三维空间内的三维坐标，得到三维坐标集合。
9.根据权利要求8所述的人脸图像处理方法，其特征在于，所述根据所述深度信息确定所述二维坐标集合映射在三维空间内的三维坐标，得到三维坐标集合的步骤包括：
根据所述深度信息确定所述二维坐标集合映射在三维空间内的三维坐标，得到每张样本人脸图像的三维坐标；
将每张样本人脸图像的三维坐标归一化到同一尺度，得到三维坐标集合。
10.根据权利要求1至9任一项所述的人脸图像处理方法，其特征在于，所述对所述二维人脸图像进行人脸特征点检测，得到人脸特征点的二维坐标信息的步骤包括：
对所述二维人脸图像中的人脸进行识别，得到人脸区域；
在所述人脸区域内对各个人脸器官进行检测，得到各个人脸器官所在的器官区域；
根据所述器官区域获取各个人脸器官的特征点所在的位置，得到人脸特征点的二维坐标信息。
11.根据权利要求1至9任一项所述的人脸图像处理方法，其特征在于，所述将所述映射坐标信息向所述二维坐标信息收敛，并根据收敛结果确定所述预设三维人脸基底的三维变换参数的步骤包括：
将所述映射坐标信息作为当前映射坐标信息；
获取所述当前映射坐标信息和所述二维坐标信息之间的误差；
当所述误差大于预设阈值时，对所述预设三维人脸基底进行三维变换，得到变换后三维人脸基底；
获取变换后三维人脸基底在二维平面内的映射坐标信息，返回执行将所述映射坐标信息作为当前映射坐标信息的步骤，直至得到的误差小于预设阈值，并获取误差小于预设阈值时所对应的所述预设三维人脸基底的三维变换参数。
12.根据权利要求1至9任一项所述的人脸图像处理方法，其特征在于，所述根据所述三维变换参数确定所述二维人脸图像中的人脸姿态的步骤之后，所述方法还包括：
接收设置指令，根据所述设置指令确定待放置的物品；
根据所述人脸姿态确定所述物品需要放置在所述二维人脸图像中的人脸区域内的位置；
根据所述位置放置所述物品，得到装饰后人脸图像。
13.一种人脸图像处理装置，其特征在于，包括：
图像获取单元，用于获取待处理的二维人脸图像；
第一检测单元，用于对所述二维人脸图像进行人脸特征点检测，得到人脸特征点的二维坐标信息；
信息获取单元，用于获取预设三维人脸基底映射在二维平面内的坐标，得到映射坐标信息；
收敛单元，用于将所述映射坐标信息向所述二维坐标信息收敛，并根据收敛结果确定所述预设三维人脸基底的三维变换参数；
确定单元，用于根据所述三维变换参数确定所述二维人脸图像中的人脸姿态。
14.根据权利要求13所述的人脸图像处理装置，其特征在于，所述人脸图像处理装置还包括：
样本获取单元，用于获取多个用户各自不同表情的样本人脸图像；
第二检测单元，用于对每张样本人脸图像进行人脸特征点检测，得到二维坐标集合；
坐标获取单元，用于根据所述二维坐标集合获取每张样本人脸图像中人脸特征点的三维坐标，得到三维坐标集合；
基底获取单元，用于根据所述三维坐标集合获取与人脸形态相关的第一基底，以及获取与人脸表情相关的第二基底；
构建单元，用于根据所述第一基底和第二基底构建预设三维人脸基底。
15.一种存储介质，其特征在于，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至12任一项所述的人脸图像处理方法中的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810759499.2A CN108985220B (zh) | 2018-07-11 | 2018-07-11 | 一种人脸图像处理方法、装置及存储介质 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN201810759499.2A CN108985220B (zh) | 2018-07-11 | 2018-07-11 | 一种人脸图像处理方法、装置及存储介质 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN108985220A true CN108985220A (zh) | 2018-12-11 |
| CN108985220B CN108985220B (zh) | 2022-11-04 |
Family
ID=64537095
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN201810759499.2A Active CN108985220B (zh) | 2018-07-11 | 2018-07-11 | 一种人脸图像处理方法、装置及存储介质 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN108985220B (zh) |
Cited By (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110189248A (zh) * | 2019-05-16 | 2019-08-30 | 腾讯科技（深圳）有限公司 | 图像融合方法及装置、存储介质、电子设备 |
| CN110532933A (zh) * | 2019-08-26 | 2019-12-03 | 淮北师范大学 | 一种活体人脸检测头部姿态回归器的获取方法及检测方法 |
| CN110941332A (zh) * | 2019-11-06 | 2020-03-31 | 北京百度网讯科技有限公司 | 表情驱动方法、装置、电子设备及存储介质 |
| CN111383350A (zh) * | 2018-12-28 | 2020-07-07 | 广州市百果园信息技术有限公司 | 图片三维姿态标注方法、装置、计算机存储介质和终端 |
| CN111898553A (zh) * | 2020-07-31 | 2020-11-06 | 成都新潮传媒集团有限公司 | 一种判别虚像人员的方法、装置及计算机设备 |
| CN111985280A (zh) * | 2019-05-24 | 2020-11-24 | 北京小米移动软件有限公司 | 图像处理方法及装置 |
| CN112507848A (zh) * | 2020-12-03 | 2021-03-16 | 中科智云科技有限公司 | 一种移动端实时人脸姿态估计方法 |
| CN113628322A (zh) * | 2021-07-26 | 2021-11-09 | 阿里巴巴（中国）有限公司 | 图像处理、ar显示与直播方法、设备及存储介质 |
| CN113808249A (zh) * | 2021-08-04 | 2021-12-17 | 北京百度网讯科技有限公司 | 图像处理方法、装置、设备和计算机存储介质 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101499132A (zh) * | 2009-03-12 | 2009-08-05 | 广东药学院 | 一种人脸图像中特征点提取的三维变换搜索方法 |
| CN102156537A (zh) * | 2010-02-11 | 2011-08-17 | 三星电子株式会社 | 一种头部姿态检测设备及方法 |
| US20130129159A1 (en) * | 2011-11-22 | 2013-05-23 | Ronald Huijgens | Face recognition method and apparatus |
| CN106203400A (zh) * | 2016-07-29 | 2016-12-07 | 广州国信达计算机网络通讯有限公司 | 一种人脸识别方法及装置 |
| CN106503671A (zh) * | 2016-11-03 | 2017-03-15 | 厦门中控生物识别信息技术有限公司 | 确定人脸姿态的方法和装置 |
-
2018
- 2018-07-11 CN CN201810759499.2A patent/CN108985220B/zh active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101499132A (zh) * | 2009-03-12 | 2009-08-05 | 广东药学院 | 一种人脸图像中特征点提取的三维变换搜索方法 |
| CN102156537A (zh) * | 2010-02-11 | 2011-08-17 | 三星电子株式会社 | 一种头部姿态检测设备及方法 |
| US20130129159A1 (en) * | 2011-11-22 | 2013-05-23 | Ronald Huijgens | Face recognition method and apparatus |
| CN106203400A (zh) * | 2016-07-29 | 2016-12-07 | 广州国信达计算机网络通讯有限公司 | 一种人脸识别方法及装置 |
| CN106503671A (zh) * | 2016-11-03 | 2017-03-15 | 厦门中控生物识别信息技术有限公司 | 确定人脸姿态的方法和装置 |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111383350A (zh) * | 2018-12-28 | 2020-07-07 | 广州市百果园信息技术有限公司 | 图片三维姿态标注方法、装置、计算机存储介质和终端 |
| CN110189248A (zh) * | 2019-05-16 | 2019-08-30 | 腾讯科技（深圳）有限公司 | 图像融合方法及装置、存储介质、电子设备 |
| CN111985280A (zh) * | 2019-05-24 | 2020-11-24 | 北京小米移动软件有限公司 | 图像处理方法及装置 |
| CN111985280B (zh) * | 2019-05-24 | 2023-12-29 | 北京小米移动软件有限公司 | 图像处理方法及装置 |
| CN110532933A (zh) * | 2019-08-26 | 2019-12-03 | 淮北师范大学 | 一种活体人脸检测头部姿态回归器的获取方法及检测方法 |
| CN110941332A (zh) * | 2019-11-06 | 2020-03-31 | 北京百度网讯科技有限公司 | 表情驱动方法、装置、电子设备及存储介质 |
| CN111898553A (zh) * | 2020-07-31 | 2020-11-06 | 成都新潮传媒集团有限公司 | 一种判别虚像人员的方法、装置及计算机设备 |
| CN111898553B (zh) * | 2020-07-31 | 2022-08-09 | 成都新潮传媒集团有限公司 | 一种判别虚像人员的方法、装置及计算机设备 |
| CN112507848A (zh) * | 2020-12-03 | 2021-03-16 | 中科智云科技有限公司 | 一种移动端实时人脸姿态估计方法 |
| CN113628322A (zh) * | 2021-07-26 | 2021-11-09 | 阿里巴巴（中国）有限公司 | 图像处理、ar显示与直播方法、设备及存储介质 |
| CN113628322B (zh) * | 2021-07-26 | 2023-12-05 | 阿里巴巴（中国）有限公司 | 图像处理、ar显示与直播方法、设备及存储介质 |
| CN113808249A (zh) * | 2021-08-04 | 2021-12-17 | 北京百度网讯科技有限公司 | 图像处理方法、装置、设备和计算机存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN108985220B (zh) | 2022-11-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108985220A (zh) | 一种人脸图像处理方法、装置及存储介质 | |
| US11798190B2 (en) | Position and pose determining method, apparatus, smart device, and storage medium | |
| CN107818288B (zh) | 标志牌信息获取方法及装置 | |
| CN106991367B (zh) | 确定人脸转动角度的方法和装置 | |
| CN107835367A (zh) | 一种图像处理方法、装置及移动终端 | |
| US8994752B2 (en) | Image processing device, image processing method, and program | |
| CN105956518A (zh) | 一种人脸识别方法、装置和系统 | |
| CN108921795A (zh) | 一种图像融合方法、装置及存储介质 | |
| CN110163806A (zh) | 一种图像处理方法、装置以及存储介质 | |
| CN108108704A (zh) | 人脸识别方法及移动终端 | |
| CN107864336B (zh) | 一种图像处理方法、移动终端 | |
| CN109151442A (zh) | 一种图像拍摄方法及终端 | |
| CN109218648A (zh) | 一种显示控制方法及终端设备 | |
| CN110505403A (zh) | 一种录像处理方法及装置 | |
| CN107255813A (zh) | 基于3d技术的测距方法、移动终端、及存储介质 | |
| CN108271012A (zh) | 一种深度信息的获取方法、装置以及移动终端 | |
| US11740313B2 (en) | Augmented reality precision tracking and display | |
| CN109409244A (zh) | 一种物体摆放方案的输出方法和移动终端 | |
| CN109241832A (zh) | 一种人脸活体检测的方法及终端设备 | |
| US20220084303A1 (en) | Augmented reality eyewear with 3d costumes | |
| CN109685900A (zh) | 基于双摄像头的家具适配方法、装置、终端及存储介质 | |
| CN108881544A (zh) | 一种拍照的方法及移动终端 | |
| CN109544445A (zh) | 一种图像处理方法、装置及移动终端 | |
| CN109618055A (zh) | 一种位置共享方法及移动终端 | |
| CN109740493A (zh) | 一种目标对象推荐方法及移动终端 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |