CN116797454A - 人脸图像处理方法、装置、设备及存储介质 - Google Patents

Abstract

本申请提出一种人脸图像处理方法、装置、设备及存储介质，该方法包括：获取用户人脸图像、用户人脸图像对应的人脸关键点以及与用户人脸图像对齐的预设模特脸图像的脸部轮廓关键点；确定人脸关键点的变形前坐标；根据用户人脸图像的人脸关键点和预设模特脸图像的脸部轮廓关键点，确定人脸关键点的变形后坐标；根据用户人脸图像、变形前坐标和变形后坐标，生成变形效果图。本申请基于黄金比例的预设模特脸图像对用户人脸进行瘦脸变形，能使瘦脸后的用户人脸不仅像用户本人，且更美，更自然。对用户的眼部关键点插值得到数目更多的眼部稠密关键点，据此进行大眼变形，使变形更细致，效果更自然。同时进行瘦脸和大眼操作，整体效果更佳，效率更高。

Description

人脸图像处理方法、装置、设备及存储介质

技术领域

本申请属于图像处理技术领域，具体涉及一种人脸图像处理方法、装置、设备及存储介质。

背景技术

目前，美颜相机、视频直播等场景中都会对用户的人脸图像进行美颜处理，使美颜后的人脸图像呈现出瘦脸、大眼等效果。

但相关技术中瘦脸处理，只是在用户原有的脸型轮廓的基础上缩小一圈，或者以脸颊内缩的方式获得瘦脸效果。大眼处理只是在用户原有眼睛轮廓的基础上放大一圈。这种瘦脸、大眼的美颜处理方式，虽然能够获得瘦脸、大眼的效果，但是美颜后的人脸图像容易出现五官不协调，视觉效果不自然的问题。

发明内容

本申请提出人脸图像处理方法、装置、设备及存储介质，基于预设模特脸图像和用户人脸图像确定变形后坐标，根据用户人脸图像、变形前坐标和变形后坐标同时进行瘦脸和大眼操作，整体效果更佳，效率更高。

本申请第一方面实施例提出了人脸图像处理方法，包括：

获取用户人脸图像、所述用户人脸图像对应的人脸关键点以及与所述用户人脸图像对齐的预设模特脸图像的脸部轮廓关键点；

确定所述人脸关键点对应的变形前坐标；

根据所述用户人脸图像对应的人脸关键点和所述预设模特脸图像的脸部轮廓关键点，确定所述人脸关键点对应的变形后坐标；

根据所述用户人脸图像、所述变形前坐标和所述变形后坐标，生成所述用户人脸图像对应的变形效果图。

在本申请的一些实施例中，所述确定所述人脸关键点对应的变形前坐标，包括：

根据所述人脸关键点中的眼部关键点，通过插值运算获得眼部稠密关键点；

将所述眼部稠密关键点及所述人脸关键点中除眼部关键点外的剩余关键点确定为变形前坐标。

在本申请的一些实施例中，所述根据所述用户人脸图像对应的人脸关键点和所述预设模特脸图像的脸部轮廓关键点，确定所述人脸关键点对应的变形后坐标，包括：

根据所述人脸关键点中的眼部关键点，通过插值运算获得眼部稠密关键点；

对所述眼部稠密关键点进行眼部逆变换，得到眼部变形后坐标；

根据所述人脸关键点中的脸部轮廓关键点和所述预设模特脸图像的脸部轮廓关键点，通过轮廓逆变换得到轮廓变形后坐标；

将所述眼部变形后坐标、所述轮廓变形后坐标及所述人脸关键点中除眼部关键点和脸部轮廓关键点外的剩余关键点确定为变形后坐标。

在本申请的一些实施例中，所述对所述眼部稠密关键点进行眼部逆变换，得到眼部变形后坐标，包括：

根据所述眼部稠密关键点，确定左眼中心点和右眼中心点；

根据预设大眼变形系数、所述左眼中心点及所述眼部稠密关键点中的左眼关键点，通过逆变换运算得到所述左眼关键点对应的左眼变形后坐标；

根据所述预设大眼变形系数、所述右眼中心点及所述眼部稠密关键点中的右眼关键点，通过逆变换运算得到所述右眼关键点对应的右眼变形后坐标。

在本申请的一些实施例中，所述根据预设大眼变形系数、所述左眼中心点及所述眼部稠密关键点中的左眼关键点，通过逆变换运算得到所述左眼关键点对应的左眼变形后坐标，包括：

计算第一左眼关键点与所述左眼中心点之间的距离，所述第一左眼关键点为所述眼部稠密关键点中的任一左眼关键点；

计算预设大眼变形系数与所述距离之间的乘积；

在由所述左眼中心点向所述第一左眼关键点延伸的直线上，确定出与所述第一左眼关键点之间的距离为所述乘积的坐标点，将所述坐标点确定为所述第一左眼关键点对应的左眼变形后坐标。

在本申请的一些实施例中，所述根据所述人脸关键点中的脸部轮廓关键点和所述预设模特脸图像的脸部轮廓关键点，通过轮廓逆变换得到轮廓变形后坐标，包括：

从所述预设模特脸图像的脸部轮廓关键点中选取与第一轮廓关键点编号相同的第二轮廓关键点，所述第一轮廓关键点为所述人脸关键点包括的脸部轮廓关键点中的任一轮廓关键点；

计算所述第一轮廓关键点与所述第二轮廓关键点之间的距离，以及计算预设轮廓变形系数与所述距离之间的乘积；

在由所述第二轮廓关键点向所述第一轮廓关键点延伸的直线上，确定出与所述第一轮廓关键点之间的距离为所述乘积的坐标点，将所述坐标点确定为所述第一轮廓关键点对应的轮廓变形后坐标。

在本申请的一些实施例中，获取与所述用户人脸图像对齐的预设模特脸图像的脸部轮廓关键点，包括：

获取预设模特脸图像及所述预设模特脸图像对应的人脸关键点；

从所述用户人脸图像对应的人脸关键点中选取第一五官关键点，以及从所述预设模特脸图像对应的人脸关键点中选取第二五官关键点；

根据所述第一五官关键点和所述第二五官关键点，通过仿射变换将所述预设模特脸图像与所述用户人脸图像对齐；

检测对齐后的所述预设模特脸图像中的脸部轮廓关键点。

本申请第二方面的实施例提供了一种人脸图像处理装置，包括：

获取模块，用于获取用户人脸图像、所述用户人脸图像对应的人脸关键点以及与所述用户人脸图像对齐的预设模特脸图像的脸部轮廓关键点；

变形前坐标确定模块，用于确定所述人脸关键点对应的变形前坐标；

变形后坐标确定模块，用于根据所述用户人脸图像对应的人脸关键点和所述预设模特脸图像的脸部轮廓关键点，确定所述人脸关键点对应的变形后坐标；

生成模块，用于根据所述用户人脸图像、所述变形前坐标和所述变形后坐标，生成所述用户人脸图像对应的变形效果图。

本申请第三方面的实施例提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序以实现上述第一方面所述的方法。

本申请第四方面的实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行实现上述第一方面所述的方法。

本申请实施例中提供的技术方案，至少具有如下技术效果或优点：

在本申请实施例中，基于对齐后的黄金比例的预设模特脸图像的脸部轮廓关键点，确定用户人脸图像的轮廓变形后坐标。基于该轮廓变形后坐标对用户人脸图像的脸部轮廓进行瘦脸变形处理，能够使瘦脸后的用户人脸不仅像用户本人，并且更美，更自然。对用户人脸图像的眼部关键点进行插值得到眼部稠密关键点，基于眼部稠密关键点确定眼部变形后坐标，利用眼部变形后坐标进行大眼变形处理。由于眼部稠密关键点的数目更多，从而使大眼变形处理更加细致，准确性高，变形后效果更加自然。且本申请实施例中可以同时进行瘦脸和大眼的变形操作，不需要分为两个单独的步骤进行，整体交互体现上效果更佳，效率更高。

本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变的明显，或通过本申请的实践了解到。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。

在附图中：

图1示出了本申请一实施例所提供的一种人脸图像处理方法的流程示意图；

图2中(a)图为黄金比例的预设模特脸图像，图(b)为该预设模特脸图像对应的106个关键点的示意图；

图3中(a)图示出了预设模特脸图像中选取的5个第二五官关键点，图(b)中示出了用户人脸图像中选取的5个第一五官关键点；

图4示出了本申请一实施例所提供的依据左右各8个眼部关键点生成左右各56个眼部稠密关键点的前后对比图；

图5示出了本申请一实施例所提供的用户人脸图像对应的变形前坐标的示意图；

图6示出了本申请一实施例所提供的逆变换的原理示意图；

图7示出了本申请一实施例所提供的用户人脸图像的脸部轮廓关键点、对齐后预设模特脸图像的脸部轮廓关键点及逆变换处理后的轮廓变形后坐标的示意图；

图8示出了本申请一实施例所提供的用户人脸图像对应的变形后坐标的示意图；

图9示出了本申请一实施例所提供的瘦脸和大眼变形处理前后的效果对比图；

图10示出了本申请一实施例所提供的一种人脸图像处理方法的另一流程示意图；

图11示出了本申请一实施例所提供的一种人脸图像处理装置的结构示意图；

图12示出了本申请一实施例所提供的一种电子设备的结构示意图；

图13示出了本申请一实施例所提供的一种存储介质的示意图。

具体实施方式

下面将参照附图更详细地描述本申请的示例性实施方式。虽然附图中显示了本申请的示例性实施方式，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。

需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本申请所属领域技术人员所理解的通常意义。

下面结合附图来描述根据本申请实施例提出的人脸图像处理方法、装置、设备及存储介质。

目前，美颜相机、视频直播等场景中都会对人脸图像进行瘦脸、大眼等处理。但相关技术中瘦脸处理，只是在用户原有的脸型轮廓的基础上缩小一圈，或者以脸颊内缩的方式获得瘦脸效果。大眼处理只是在用户原有眼睛轮廓的基础上放大一圈。这种瘦脸、大眼的美颜处理方式，虽然能够获得瘦脸、大眼的效果，但是美颜后的人脸图像容易出现五官不协调，视觉效果不自然的问题。

基于此，本申请实施例提供了一种人脸图像处理方法，该方法将黄金比例的预设模特脸图像与用户人脸图像对齐，依据用户的脸部轮廓关键点及对齐后模特的脸部轮廓关键点，结合预设轮廓变形系数确定出轮廓变形后坐标。对用户人脸图像中的眼部关键点进行插值得到眼部稠密关键点，依据眼部稠密关键点和预设大眼变形系数确定出眼部变形后坐标。将轮廓变形后坐标、眼部变形后坐标和用户人脸图像中除轮廓关键点和眼部关键点以外的剩余关键点组成变形后坐标，将眼部稠密关键点和用户人脸图像中除眼部关键点以外的剩余关键点组成变形前坐标。将用户人脸图像、变形前坐标和变形后坐标输入预设变形算法中，得到对应的变形效果图。

基于黄金比例的预设模特脸图像对用户人脸图像的脸部轮廓进行变形处理，能够使瘦脸后的用户人脸不仅像用户本人，并且更美，更自然。且根据用户人脸图像、变形前坐标和变形后坐标，可以同时进行瘦脸和大眼的变形操作，不需要分为两个单独的步骤进行，整体交互体现上效果更佳，效率更高。

参见图1，该方法具体包括以下步骤：

步骤101：获取用户人脸图像、用户人脸图像对应的人脸关键点以及与用户人脸图像对齐的预设模特脸图像的脸部轮廓关键点。

用户人脸图像可以为包括用户完整面部区域的图像。可以通过摄像头对用户进行拍摄获得用户人脸图像，也可以从互联网下载具有完整面部的用户人脸图像。通过预设的人脸关键点检测模型检测用户人脸图像中的所有人脸关键点。检测的人脸关键点包括用户人脸图像中人物面部轮廓、眼睛、鼻子、嘴部、眉毛等部位的人脸关键点。人脸关键点的数目可以为106个，这106个关键点包括人脸轮廓的33个关键点，左右眉毛各9个关键点，左右眼睛各10个关键点，鼻子15个关键点，嘴巴20个关键点。

本申请实施例还获取预设模特脸图像，该预设模特脸图像的脸部为标准的黄金比例脸型，如图2(a)所示。通过预设的人脸关键点检测模型检测预设模特脸图像的所有人脸关键点，如图2(b)所示。预设模特脸图像的人脸关键点也可以为106个，同样包括人脸轮廓的33个关键点，左右眉毛各9个关键点，左右眼睛各10个关键点，鼻子15个关键点，嘴巴20个关键点。

在本申请实施例中，预设的人脸关键点检测模型检测人脸关键点的同时，还对每个人脸关键点编号，对于不同图像中相同位置处的人脸关键点的编号是相同的。例如，用户人脸图像中左侧嘴角的关键点与预设模特脸图像中左侧嘴角的关键点的编号是相同的。

根据用户人脸图像的人脸关键点及预设模特脸图像的人脸关键点，将预设模特图像与用户人脸图像对齐。具体地，从用户人脸图像对应的人脸关键点中选取第一五官关键点，以及从预设模特脸图像对应的人脸关键点中选取第二五官关键点。其中，第一五官关键点和第二五官关键点均可以包括左眼中心点、右眼中心点、鼻子尖点、左侧嘴角尖点和右侧嘴角尖点。如图3(a)在预设模特脸图像中用黑色的点示出了5个第二五官关键点，图3(b)在用户人脸图像中用黑色的点示出了5个第一五官关键点。

根据第一五官关键点和第二五官关键点，通过仿射变换将预设模特脸图像与用户人脸图像对齐。具体地，根据第一五官关键点和第二五官关键点，计算出从预设模特脸图像向用户人脸图像对齐的仿射变换矩阵。通过该仿射变换矩阵，对预设模特脸图像进行旋转、平移、缩放的操作，以将预设模特脸图像中模特脸的姿态变换为用户人脸图像中用户人脸的姿态。变换完成之后，预设模特脸图像的眼睛、鼻子和嘴巴分别能够与用户人脸图像中的眼睛、鼻子和嘴巴重合起来。

通过上述方式将预设模特脸图像向用户人脸图像对齐后，再次通过预设人脸关键点检测模型检测对齐后的预设模特脸图像中的所有人脸关键点，并对齐后的所有人脸关键点中获取脸部轮廓关键点，脸部轮廓关键点的数目可以为33个。

步骤102：确定人脸关键点对应的变形前坐标。

通过步骤101获得用户人脸图像的所有人脸关键点之后，用户左右眼的关键点各8个，眼部关键点比较稀疏，为了后续进行大眼变形操作的准确性更高，本申请根据人脸关键点中的眼部关键点，通过插值运算获得眼部稠密关键点。具体可以对人脸关键点中的所有左眼关键点，通过贝塞尔插值算法进行插值得到更多的左眼关键点。如通过对左眼8个关键点插值，扩充为56个左眼关键点。对于右眼也进行相同的插值处理。如图4所示，图4左侧为插值前较稀疏的眼部关键点，右侧为插值后的眼部稠密关键点。

将眼部稠密关键点及人脸关键点中除眼部关键点外的剩余关键点确定为变形前坐标，如图5所示。

步骤103：根据用户人脸图像对应的人脸关键点和预设模特脸图像的脸部轮廓关键点，确定人脸关键点对应的变形后坐标。

本申请实施例具体通过如下步骤S1-S3的操作来确定变形后坐标，包括：

S1：对眼部稠密关键点进行眼部逆变换，得到眼部变形后坐标。

步骤102中对眼部关键点进行插值得到眼部稠密关键点之后，首先根据眼部稠密关键点，确定左眼中心点和右眼中心点。其中，眼部稠密关键点中的所有左眼关键点围绕形成左眼区域，左眼区域的中心点即为左眼中心点。右眼中心点即为右眼关键点围成的右眼区域的中心点。

本申请实施例预先配置了预设大眼变形系数，其取值区间为0-1，如预设大眼变形系数可以为0.2、0.4或0.5等。根据预设大眼变形系数、左眼中心点及眼部稠密关键点中的左眼关键点，通过逆变换运算得到左眼关键点对应的左眼变形后坐标。

由于每个左眼关键点的逆变换运算过程都是相同的，因此本申请实施例以第一左眼关键点为例来说明逆变换运算的具体过程，第一左眼关键点为眼部稠密关键点中的任一左眼关键点。具体地，计算第一左眼关键点与左眼中心点之间的距离，计算预设大眼变形系数与该距离之间的乘积。绘制由左眼中心点向第一左眼关键点延伸的直线，在该直线上，确定出与第一左眼关键点之间的距离为计算的乘积的坐标点，将该坐标点确定为第一左眼关键点对应的左眼变形后坐标。

对于其他每个左眼关键点，都按照上述方式分别确定出其他每个左眼关键点对应的左眼变形后坐标。

对于右眼也是同样地，根据预设大眼变形系数、右眼中心点及眼部稠密关键点中的右眼关键点，通过逆变换运算得到右眼关键点对应的右眼变形后坐标。具体逆变换过程与上述左眼的逆变换过程相同，在此不再赘述。

为了便于理解上述眼部逆变换过程，下面结合附图进行说明。如图6所示，(x1,y1)为眼睛中心点，(x3,y3)为大眼变形后的眼睛关键点，(x2,y2)为大眼变形前的眼睛关键点。其中，(x1,y1)、(x2,y2)和(x3,y3)均属于同一侧眼睛，如均属于左眼，或均属于右眼。(x1,y1)和(x2,y2)之间的距离为表示为d，(x3,y3)和(x2,y2)之间的距离为表示为kd，其中k为预设大眼变形系数。通过如下公式计算大眼变形后的坐标点(x3,y3)。

x2＝(x3+kx1)/(k+1)

y2＝(y3+ky1)/(k+1)

通过上述方式获得左眼变形后坐标和右眼变形后坐标，即得到了眼部的变形后坐标。

S2：根据人脸关键点中的脸部轮廓关键点和预设模特脸图像的脸部轮廓关键点，通过轮廓逆变换得到轮廓变形后坐标。

得到用户人脸图像中的脸部轮廓关键点和对齐后预设模特脸图像的脸部轮廓关键点之后，如图7所示，黑色实心点表示用户人脸图像中的脸部轮廓关键点，空心方形点表示对齐后预设模特脸图像的脸部轮廓关键点，将对齐后预设模特脸图像的脸部轮廓关键点，以用户人脸图像中的脸部轮廓关键点为中心进行对称变换得到图7中的空心圆形点，即得到轮廓变形后坐标。

由于每个脸部轮廓关键点的逆变换运算过程都是相同的，因此本申请实施例以第一轮廓关键点为例来说明逆变换运算的具体过程，第一轮廓关键点为用户人脸图像的脸部轮廓关键点中的任一轮廓关键点。通过预设人脸关键点检测模型检测的人脸关键点都具有编号，不同图像中相同位置处的人脸关键点的编号相同。从预设模特脸图像的脸部轮廓关键点中选取与第一轮廓关键点编号相同的第二轮廓关键点。

计算第一轮廓关键点与第二轮廓关键点之间的距离，以及计算预设轮廓变形系数与该距离之间的乘积。预设轮廓变形系数的取值区间为0-1，如预设轮廓变形系数可以为0.2、0.4或0.5等。绘制由第二轮廓关键点向第一轮廓关键点延伸的直线，在该直线上确定出与第一轮廓关键点之间的距离为该乘积的坐标点，将该坐标点确定为第一轮廓关键点对应的轮廓变形后坐标。

对于用户人脸图像中的其他每个脸部轮廓关键点，都按照上述方式分别确定出其他每个脸部轮廓关键点对应的轮廓变形后坐标。

轮廓逆变换的几何关系也如图6所示，在轮廓逆变换的场景下，(x2,y2)为用户人脸图像中的一个脸部轮廓关键点，(x1,y1)为对齐后的预设模特脸图像的一个脸部轮廓关键点，且(x1,y1)和(x2,y2)的编号相同，即这两个点在人脸中的位置相同。(x3,y3)为(x2,y2)对应的轮廓变形后坐标。(x1,y1)和(x2,y2)之间的距离表示为d，(x3,y3)和(x2,y2)之间的距离为表示为kd，k为预设轮廓变形系数。以(x2,y2)为中心，计算(x1,y1)经过对称变换后的坐标点(x3,y3)。计算公式如下：

x3＝(k+1)x2-kx1

y3＝(k+1)y2-ky1

通过上述方式即获得了用户人脸图像中每个脸部轮廓关键点对应的轮廓变形后坐标。

S3：将眼部变形后坐标、轮廓变形后坐标及用户人脸图像的人脸关键点中除眼部关键点和脸部轮廓关键点外的剩余关键点确定为变形后坐标。

从用户人脸图像的所有人脸关键点中确定除眼部关键点和脸部轮廓关键点外的剩余关键点，剩余关键点包括用户的鼻子、嘴巴、眉毛等部位的关键点。将确定的剩余关键点与步骤S1确定的眼部变形后坐标，以及步骤S2确定的轮廓变形后坐标共同作为用户人脸图像对应的变形后坐标，如图8所示。

步骤104：根据用户人脸图像、变形前坐标和变形后坐标，生成用户人脸图像对应的变形效果图。

将用户人脸图像、变形前坐标和变形后坐标输入预设变形算法，输出用户人脸图像对应的变形效果图。该预设变形算法可以为IDW(Inverse Distance Weighted，空间插值)算法。变形效果图中经过了大眼和瘦脸两种美型处理，且是同时进行这两种变形处理，提高了变形处理的效率。而且瘦脸处理所依据的轮廓变形后坐标是根据黄金比例的预设模特脸图像获得的，因此瘦脸处理的效果更好。

如图9所示，左侧为原始的用户人脸图像，右侧为通过本申请实施例进行大眼、瘦脸变形处理后的变形效果图。

为了便于理解本申请实施例提高的人脸图像处理过程，下面结合附图进行说明。如图10所示，对用户人脸图像进行人脸检测，得到人脸关键点(106个)，获取黄金比例的预设模特脸的所有人脸关键点(106个)，将预设模特脸图像与用户人脸图像对齐，得到对齐后黄金比例的人脸关键点，从中获取黄金比例的脸部轮廓关键点(33个)。对用户人脸图像的人脸关键点中的眼部关键点进行插值运算，得到眼部稠密关键点，对眼部稠密关键点进行眼部逆变换得到眼部变形后坐标。对用户人脸图像中的脸部轮廓关键点(33个)和黄金比例的脸部轮廓关键点(33个)进行轮廓逆变换，得到轮廓变形后坐标。将眼部变形后坐标、轮廓变形后坐标和用户人脸图像中除眼部关键点和脸部轮廓关键点外剩余的鼻子、嘴巴、眉毛等部位的关键点作为用户人脸图像对应的变形后坐标。将眼部稠密关键点、用户人脸图像中除眼部关键点外剩余的脸部轮廓、鼻子、嘴巴、眉毛等部位的关键点作为用户人脸图像对应的变形前坐标。将变形前坐标、变形后坐标和用户人脸图像输入预设变形算法(如IDW算法)，输出用户人脸图像对应的变形效果图。

在本申请实施例中，基于对齐后的黄金比例的预设模特脸图像的脸部轮廓关键点，确定用户人脸图像的轮廓变形后坐标。基于该轮廓变形后坐标对用户人脸图像的脸部轮廓进行瘦脸变形处理，能够使瘦脸后的用户人脸不仅像用户本人，并且更美，更自然。对用户人脸图像的眼部关键点进行插值得到眼部稠密关键点，基于眼部稠密关键点确定眼部变形后坐标，利用眼部变形后坐标进行大眼变形处理。由于眼部稠密关键点的数目更多，从而使大眼变形处理更加细致，准确性高，变形后效果更加自然。且本申请实施例中可以同时进行瘦脸和大眼的变形操作，不需要分为两个单独的步骤进行，整体交互体现上效果更佳，效率更高。

本申请实施例还提供一种人脸图像处理装置，用于执行上述任一实施例提供的人脸图像处理方法。如图11所示，该装置包括：

获取模块201，用于获取用户人脸图像、用户人脸图像对应的人脸关键点以及与用户人脸图像对齐的预设模特脸图像的脸部轮廓关键点；

变形前坐标确定模块202，用于确定人脸关键点对应的变形前坐标；

变形后坐标确定模块203，用于根据用户人脸图像对应的人脸关键点和预设模特脸图像的脸部轮廓关键点，确定人脸关键点对应的变形后坐标；

生成模块204，用于根据用户人脸图像、变形前坐标和变形后坐标，生成用户人脸图像对应的变形效果图。

变形前坐标确定模块202，用于根据人脸关键点中的眼部关键点，通过插值运算获得眼部稠密关键点；将眼部稠密关键点及人脸关键点中除眼部关键点外的剩余关键点确定为变形前坐标。

变形后坐标确定模块203，用于根据人脸关键点中的眼部关键点，通过插值运算获得眼部稠密关键点；对眼部稠密关键点进行眼部逆变换，得到眼部变形后坐标；根据人脸关键点中的脸部轮廓关键点和预设模特脸图像的脸部轮廓关键点，通过轮廓逆变换得到轮廓变形后坐标；将眼部变形后坐标、轮廓变形后坐标及人脸关键点中除眼部关键点和脸部轮廓关键点外的剩余关键点确定为变形后坐标。

变形后坐标确定模块203，用于根据眼部稠密关键点，确定左眼中心点和右眼中心点；根据预设大眼变形系数、左眼中心点及眼部稠密关键点中的左眼关键点，通过逆变换运算得到左眼关键点对应的左眼变形后坐标；根据预设大眼变形系数、右眼中心点及眼部稠密关键点中的右眼关键点，通过逆变换运算得到右眼关键点对应的右眼变形后坐标。

变形后坐标确定模块203，用于计算第一左眼关键点与左眼中心点之间的距离，第一左眼关键点为眼部稠密关键点中的任一左眼关键点；计算预设大眼变形系数与距离之间的乘积；在由左眼中心点向第一左眼关键点延伸的直线上，确定出与第一左眼关键点之间的距离为乘积的坐标点，将坐标点确定为第一左眼关键点对应的左眼变形后坐标。

变形后坐标确定模块203，用于从预设模特脸图像的脸部轮廓关键点中选取与第一轮廓关键点编号相同的第二轮廓关键点，第一轮廓关键点为人脸关键点包括的脸部轮廓关键点中的任一轮廓关键点；计算第一轮廓关键点与第二轮廓关键点之间的距离，以及计算预设轮廓变形系数与距离之间的乘积；在由第二轮廓关键点向第一轮廓关键点延伸的直线上，确定出与第一轮廓关键点之间的距离为乘积的坐标点，将坐标点确定为第一轮廓关键点对应的轮廓变形后坐标。

获取模块201，用于获取预设模特脸图像及预设模特脸图像对应的人脸关键点；从用户人脸图像对应的人脸关键点中选取第一五官关键点，以及从预设模特脸图像对应的人脸关键点中选取第二五官关键点；根据第一五官关键点和第二五官关键点，通过仿射变换将预设模特脸图像与用户人脸图像对齐；检测对齐后的预设模特脸图像中的脸部轮廓关键点。

本申请的上述实施例提供的人脸图像处理装置与本申请实施例提供的人脸图像处理方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。

本申请实施方式还提供一种电子设备，以执行上述人脸图像处理方法。请参考图12，其示出了本申请的一些实施方式所提供的一种电子设备的示意图。如图12所示，电子设备8包括：处理器800，存储器801，总线802和通信接口803，所述处理器800、通信接口803和存储器801通过总线802连接；所述存储器801中存储有可在所述处理器800上运行的计算机程序，所述处理器800运行所述计算机程序时执行本申请前述任一实施方式所提供的人脸图像处理方法。

其中，存储器801可能包含高速随机存取存储器(RAM：Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口803(可以是有线或者无线)实现该装置网元与至少一个其他网元之间的通信连接，可以使用互联网、广域网、本地网、城域网等。

总线802可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。其中，存储器801用于存储程序，所述处理器800在接收到执行指令后，执行所述程序，前述本申请实施例任一实施方式揭示的所述人脸图像处理方法可以应用于处理器800中，或者由处理器800实现。

处理器800可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器800中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器800可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器801，处理器800读取存储器801中的信息，结合其硬件完成上述方法的步骤。

本申请实施例提供的电子设备与本申请实施例提供的人脸图像处理方法出于相同的发明构思，具有与其采用、运行或实现的方法相同的有益效果。

本申请实施方式还提供一种与前述实施方式所提供的人脸图像处理方法对应的计算机可读存储介质，请参考图13，其示出的计算机可读存储介质为光盘30，其上存储有计算机程序(即程序产品)，所述计算机程序在被处理器运行时，会执行前述任意实施方式所提供的人脸图像处理方法。

需要说明的是，所述计算机可读存储介质的例子还可以包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他光学、磁性存储介质，在此不再一一赘述。

本申请的上述实施例提供的计算机可读存储介质与本申请实施例提供的人脸图像处理方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。

需要说明的是：

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本申请并帮助理解各个发明方面中的一个或多个，在上面对本申请的示例性实施例的描述中，本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下示意图：即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本申请的单独实施例。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种人脸图像处理方法，其特征在于，包括：

获取用户人脸图像、所述用户人脸图像对应的人脸关键点以及与所述用户人脸图像对齐的预设模特脸图像的脸部轮廓关键点；

确定所述人脸关键点对应的变形前坐标；

根据所述用户人脸图像对应的人脸关键点和所述预设模特脸图像的脸部轮廓关键点，确定所述人脸关键点对应的变形后坐标；

根据所述用户人脸图像、所述变形前坐标和所述变形后坐标，生成所述用户人脸图像对应的变形效果图。

2.根据权利要求1所述的方法，其特征在于，所述确定所述人脸关键点对应的变形前坐标，包括：

根据所述人脸关键点中的眼部关键点，通过插值运算获得眼部稠密关键点；

将所述眼部稠密关键点及所述人脸关键点中除眼部关键点外的剩余关键点确定为变形前坐标。

3.根据权利要求1所述的方法，其特征在于，所述根据所述用户人脸图像对应的人脸关键点和所述预设模特脸图像的脸部轮廓关键点，确定所述人脸关键点对应的变形后坐标，包括：

根据所述人脸关键点中的眼部关键点，通过插值运算获得眼部稠密关键点；

对所述眼部稠密关键点进行眼部逆变换，得到眼部变形后坐标；

根据所述人脸关键点中的脸部轮廓关键点和所述预设模特脸图像的脸部轮廓关键点，通过轮廓逆变换得到轮廓变形后坐标；

将所述眼部变形后坐标、所述轮廓变形后坐标及所述人脸关键点中除眼部关键点和脸部轮廓关键点外的剩余关键点确定为变形后坐标。

4.根据权利要求3所述的方法，其特征在于，所述对所述眼部稠密关键点进行眼部逆变换，得到眼部变形后坐标，包括：

根据所述眼部稠密关键点，确定左眼中心点和右眼中心点；

根据预设大眼变形系数、所述左眼中心点及所述眼部稠密关键点中的左眼关键点，通过逆变换运算得到所述左眼关键点对应的左眼变形后坐标；

根据所述预设大眼变形系数、所述右眼中心点及所述眼部稠密关键点中的右眼关键点，通过逆变换运算得到所述右眼关键点对应的右眼变形后坐标。

5.根据权利要求4所述的方法，其特征在于，所述根据预设大眼变形系数、所述左眼中心点及所述眼部稠密关键点中的左眼关键点，通过逆变换运算得到所述左眼关键点对应的左眼变形后坐标，包括：

计算第一左眼关键点与所述左眼中心点之间的距离，所述第一左眼关键点为所述眼部稠密关键点中的任一左眼关键点；

计算预设大眼变形系数与所述距离之间的乘积；

在由所述左眼中心点向所述第一左眼关键点延伸的直线上，确定出与所述第一左眼关键点之间的距离为所述乘积的坐标点，将所述坐标点确定为所述第一左眼关键点对应的左眼变形后坐标。

6.根据权利要求3所述的方法，其特征在于，所述根据所述人脸关键点中的脸部轮廓关键点和所述预设模特脸图像的脸部轮廓关键点，通过轮廓逆变换得到轮廓变形后坐标，包括：

从所述预设模特脸图像的脸部轮廓关键点中选取与第一轮廓关键点编号相同的第二轮廓关键点，所述第一轮廓关键点为所述人脸关键点包括的脸部轮廓关键点中的任一轮廓关键点；

计算所述第一轮廓关键点与所述第二轮廓关键点之间的距离，以及计算预设轮廓变形系数与所述距离之间的乘积；

在由所述第二轮廓关键点向所述第一轮廓关键点延伸的直线上，确定出与所述第一轮廓关键点之间的距离为所述乘积的坐标点，将所述坐标点确定为所述第一轮廓关键点对应的轮廓变形后坐标。

7.根据权利要求1-6任一项所述的方法，其特征在于，获取与所述用户人脸图像对齐的预设模特脸图像的脸部轮廓关键点，包括：

获取预设模特脸图像及所述预设模特脸图像对应的人脸关键点；

从所述用户人脸图像对应的人脸关键点中选取第一五官关键点，以及从所述预设模特脸图像对应的人脸关键点中选取第二五官关键点；

根据所述第一五官关键点和所述第二五官关键点，通过仿射变换将所述预设模特脸图像与所述用户人脸图像对齐；

检测对齐后的所述预设模特脸图像中的脸部轮廓关键点。

8.一种人脸图像处理装置，其特征在于，包括：

获取模块，用于获取用户人脸图像、所述用户人脸图像对应的人脸关键点以及与所述用户人脸图像对齐的预设模特脸图像的脸部轮廓关键点；

变形前坐标确定模块，用于确定所述人脸关键点对应的变形前坐标；

变形后坐标确定模块，用于根据所述用户人脸图像对应的人脸关键点和所述预设模特脸图像的脸部轮廓关键点，确定所述人脸关键点对应的变形后坐标；

生成模块，用于根据所述用户人脸图像、所述变形前坐标和所述变形后坐标，生成所述用户人脸图像对应的变形效果图。

9.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器运行所述计算机程序以实现如权利要求1-7任一项所述的方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行实现如权利要求1-7中任一项所述的方法。