CN114596198A - 一种图像处理方法、装置、设备及存储介质 - Google Patents

Abstract

本申请提出一种图像处理方法、装置、设备及存储介质，该方法包括：根据用户的人脸图像，获取当前微调任务对应的调节点坐标；在人脸图像上划分出预设尺寸的三角面片网格；根据调节点坐标对三角面片网格调整，得到调整后的三角面片网格；根据调整后的三角面片网格和人脸图像，生成人脸微调图像。本申请通过三角面片网格对人脸图像整体调整，无需逐像素运算，运算量小，速度快，效率高。且整体操作对控制点的操作范围更广，提升了三角面片网格中各子网格之间像素颜色的平滑度。且像素拉伸平均，得到的人脸微调图像看起来很平滑，图像边缘不会出现缺少像素形成的空白，微调效果很好。

Description

一种图像处理方法、装置、设备及存储介质

技术领域

本申请属于图像处理技术领域，具体涉及一种图像处理方法、装置、设备及存储介质。

背景技术

目前，很多用于处理视频或图像的APP(Application，应用程序)都需要对用户的人脸图像进行脸部轮廓的微调，如对用户的人脸图像进行瘦脸、收窄鼻翼、尖下巴等微整形操作。

相关技术中提供了一种对脸部轮廓进行微调的方法，该方法对用户的人脸图像进行逐像素的变形运算，对于人脸图像中的每个像素点，都根据固定的缩放程度确定该像素点的移动距离，然后根据该移动距离确定该像素点对应的移动后的坐标。通过该方式依次确定出人脸图像中每个像素点对应的移动后的坐标后，根据每个像素点对应的移动后的坐标渲染出脸部轮廓调整后的人脸图像。

但上述相关技术中需要确定每个像素点对应的移动后的坐标，运算量很大，微整形处理的效率很低。而且逐像素的变形有损脸部整体的协调性，调整后的人脸图像会显得虚假不自然。

发明内容

本申请提出一种图像处理方法、装置、设备及存储介质，本申请通过三角面片网格对人脸图像整体调整，无需逐像素运算，运算量小，速度快，效率高。且整体操作对控制点的操作范围更广，提升了三角面片网格中各子网格之间像素颜色的平滑度。且像素拉伸平均，得到的人脸微调图像看起来很平滑，图像边缘不会出现缺少像素形成的空白，微调效果很好。

本申请第一方面实施例提出了一种图像处理方法，包括：

根据用户的人脸图像，获取当前微调任务对应的调节点坐标；

在所述人脸图像上划分出预设尺寸的三角面片网格；

根据所述调节点坐标对所述三角面片网格进行调整，得到调整后的三角面片网格；

根据调整后的所述三角面片网格和所述人脸图像，生成所述当前微调任务对应的人脸微调图像。

在本申请的一些实施例中，所述调节点坐标包括当前微调任务所针对的目标部位的控制点坐标及所述控制点坐标对应的挪动点坐标；所述根据用户的人脸图像，获取当前微调任务对应的调节点坐标，包括：

获取用户的人脸图像中的人脸关键点坐标；

从所述人脸关键点坐标中提取当前微调任务所针对的目标部位的控制点坐标；

移动所述控制点坐标，得到所述控制点坐标对应的挪动点坐标。

在本申请的一些实施例中，所述移动所述控制点坐标，得到所述控制点坐标对应的挪动点坐标，包括：

根据所述人脸图像，确定所述人脸图像对应的缩放范围及摆正旋转角度；

根据所述人脸图像，为所述用户分配微调权重；

根据所述缩放范围、所述摆正旋转角度、所述微调权重和所述当前微调任务对应的预设移动距离，移动所述控制点坐标，得到所述控制点坐标对应的挪动点坐标。

在本申请的一些实施例中，根据所述人脸图像，确定所述人脸图像对应的缩放范围，包括：

提取所述人脸关键点坐标中的左眼中心点坐标和右眼中心点坐标；

根据所述左眼中心点坐标和所述右眼中心点坐标，确定所述用户的两眼距离；

根据预设标准距离和所述两眼距离，计算所述人脸图像对应的缩放范围。

在本申请的一些实施例中，根据所述人脸图像，确定所述人脸图像对应的摆正旋转角度，包括：

提取所述人脸关键点坐标中的左眼中心点坐标和右眼中心点坐标；

根据所述左眼中心点坐标和所述右眼中心点坐标，确定所述人脸图像中的两眼间连线；

所述人脸图像的像素行的第一延伸方向与所述两眼间连线之间的夹角为所述人脸图像对应的摆正旋转角度。

在本申请的一些实施例中，所述根据所述人脸图像，为所述用户分配微调权重，包括：

对所述人脸图像中所述当前微调任务所针对的目标部位进行识别，确定所述目标部位所属的部位类型；

获取所述部位类型对应的预设权重；

将所述预设权重确定为所述用户对应的微调权重。

在本申请的一些实施例中，所述根据所述缩放范围、所述摆正旋转角度、所述微调权重和所述当前微调任务对应的预设移动距离，移动所述控制点坐标，得到所述控制点坐标对应的挪动点坐标，包括：

根据所述第一延伸方向和所述摆正旋转角度，对所述控制点坐标进行摆正旋转；

按照所述当前微调任务对应的移动方向，将旋转后的所述控制点坐标移动所述当前微调任务对应的预设移动距离；

根据所述缩放范围和所述微调权重，对移动后的所述控制点坐标进行缩放；

将缩放后的所述控制点坐标向所述第一延伸方向的反方向旋转所述摆正旋转角度，得到所述控制点坐标对应的挪动点坐标。

在本申请的一些实施例中，所述根据所述调节点坐标对所述三角面片网格进行调整，得到调整后的三角面片网格，包括：

从所述三角面片网格中获取整体网格边界线以内的每个子网格的坐标；

根据所述调节点坐标和所述每个子网格的坐标，对所述每个子网格的坐标进行移动；

根据所述整体网格边界线的坐标和移动后所述每个子网格的坐标，获得变形的三角面片网格。

在本申请的一些实施例中，所述根据调整后的所述三角面片网格和所述人脸图像，生成所述当前微调任务对应的人脸微调图像，包括：

将调整前的所述三角面片网格、调整后的所述三角面片网格和所述人脸图像输入显卡中；

在所述显卡中，通过仿射变换将所述人脸图像中调整前的第一子网格覆盖的像素点分别渲染到调整后的第二子网格中，所述第一子网格为调整前的所述三角面片网格包括的任一子网格，所述第二子网格为调整后的所述三角面片网格中与所述第一子网格对应的子网格；

将放射变换得到的图像确定为所述当前微调任务对应的人脸微调图像。

在本申请的一些实施例中，所述生成所述当前微调任务对应的人脸微调图像之后，还包括：

接收用户设置的自定义权重；

根据所述缩放范围、所述摆正旋转角度、所述自定义权重和所述当前微调任务对应的预设移动距离，重新移动所述控制点坐标，得到所述控制点坐标对应的新的挪动点坐标；

根据所述控制点坐标和所述新的挪动点坐标重新对所述三角面片网格进行调整，得到重新调整后的三角面片网格；

根据重新调整后的所述三角面片网格和所述人脸图像，生成新的人脸微调图像。

在本申请的一些实施例中，所述当前微调任务包括对脸部轮廓、鼻翼、鼻头、鼻长、下巴、颧骨中的一个或多个目标部位的微调任务。

本申请第二方面的实施例提供了一种图像处理装置，包括：

获取模块，用于根据用户的人脸图像，获取当前微调任务对应的调节点坐标；

网格划分模块，用于在所述人脸图像上划分出预设尺寸的三角面片网格；

网格变形模块，用于根据所述调节点坐标对所述三角面片网格进行调整，得到调整后的三角面片网格；

生成模块，用于根据调整后的所述三角面片网格和所述人脸图像，生成所述当前微调任务对应的人脸微调图像。

本申请第三方面的实施例提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序以实现上述第一方面所述的方法。

本申请第四方面的实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行实现上述第一方面所述的方法。

本申请实施例中提供的技术方案，至少具有如下技术效果或优点：

在本申请实施例中，在用户的人脸图像上划分了三角面片网格，通过对三角面片网格进行变型调整，来实现瘦脸、缩鼻头、缩鼻翼、收颧骨、收下巴等面部微调操作。由于通过三角面片网格实现了对人脸图像整体的缩放操作，无需逐像素的运算，运算量小，运算速度快，效率高。而且整体操作对面部需要控制的像素点的操作范围更广，对三角面片网格中各子网格整体的平滑度也进行了提升。而且通过三角面片网格进行整体操作，像素的拉伸平均，最终得到的人脸微调图像看起来很平滑，图像边缘也不会出现缺少像素而形成的空白，虚拟微整形的效果很好。

本申请附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变的明显，或通过本申请的实践了解到。

附图说明

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本申请的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了本申请一实施例所提供的一种图像处理方法的流程图；

图2示出了本申请一实施例所提供的提取的人脸关键点的示意图；

图3示出了本申请一实施例所提供的摆正旋转角度的示意图；

图4示出了本申请一实施例所提供的拖拽控件的示意图；

图5示出了本申请一实施例所提供的一种图像处理方法的另一流程图；

图6示出了本申请一实施例所提供的一种图像处理装置的结构示意图；

图7示出了本申请一实施例所提供的一种电子设备的结构示意图；

图8示出了本申请一实施例所提供的一种存储介质的示意图。

具体实施方式

下面将参照附图更详细地描述本申请的示例性实施方式。虽然附图中显示了本申请的示例性实施方式，然而应当理解，可以以各种形式实现本申请而不应被这里阐述的实施方式所限制。相反，提供这些实施方式是为了能够更透彻地理解本申请，并且能够将本申请的范围完整的传达给本领域的技术人员。

需要注意的是，除非另有说明，本申请使用的技术术语或者科学术语应当为本申请所属领域技术人员所理解的通常意义。

下面结合附图来描述根据本申请实施例提出的一种图像处理方法、装置、设备及存储介质。

目前相关技术中在对用户的人脸图像进行瘦脸、收窄鼻翼、尖下巴等微整形操作时，对用户的人脸图像进行逐像素的变形运算，运算量很大，微整形处理的效率很低。而且逐像素的变形有损脸部整体的协调性，调整后的人脸图像会显得虚假不自然。

为了解决相关技术中的上述问题，本申请实施例提供了一种图像处理方法，该方法在用户的人脸图像上划分了三角面片网格，选取当前微调任务所针对的目标部位的少数几个控制点坐标，计算经过当前微调任务处理后控制点坐标被移动后的挪动点坐标。依据控制点坐标及其对应的挪动点坐标对三角面片网格进行变形调整，实现瘦脸、缩鼻头、缩鼻翼、收颧骨、收下巴等面部微调操作。由于控制点坐标与其对应的挪动点坐标在方向和距离上的偏移能够体现面部微调操作的调整程度，依据控制点坐标与其对应的挪动点坐标之间的偏移程度，对三角面片网格的边界线以内的每个子网格的顶点坐标都进行相同偏移程度的移动，然后基于移动后的三角面片网格渲染用户的人脸图像，得到的调整后的人脸微调图像。

如此通过三角面片网格实现了对人脸图像整体的缩放操作，在整个操作过程中只需对少数几个控制点坐标及每个子网格的顶点坐标进行移动运算处理，需要运算的像素点的数目远小于整个人脸图像包括的像素点数目，无需逐像素的运算，运算量小，运算速度快，效率高。而且整体操作对面部需要控制的像素点的操作范围更广，对三角面片网格中各子网格整体的平滑度也进行了提升。而且通过三角面片网格进行整体操作，像素的拉伸平均，最终得到的人脸微调图像看起来很平滑，图像边缘也不会出现缺少像素而形成的空白，虚拟微整形的效果很好。

参见图1，该方法具体包括以下步骤：

步骤101：根据用户的人脸图像，获取当前微调任务对应的调节点坐标。

本申请实施例的执行主体为终端，终端上安装有能够对视频或图像进行处理的APP。该APP的界面上可以设置有用于对脸部轮廓、鼻翼、鼻头、鼻长、下巴、颧骨等部位进行微调的触发接口。上述当前微调任务可以包括对脸部轮廓、鼻翼、鼻头、鼻长、下巴、颧骨等部位中的一个或多个目标部位的微调任务。

用户在使用该APP时，终端可以调用摄像头采集用户的人脸图像。用户也可以直接上传包含面部的照片作为人脸图像。如果用户想要对自己的人脸图像中某个部位进行微调，则可以通过点击该部位对应的触发接口来向终端提交该部位的微调指令。或者，终端采集到用户的人脸图像时也可以自动对用户的脸部轮廓、鼻子或下巴等部位进行微调。

当终端检测到用户提交的某个部位的微调指令，或终端自动对某个部位进行微调时，将该部位称为目标部位，并通过本申请实施例提供的方法对目标部位进行微整形调整。

具体地，通过如下步骤A1-A3的操作来获取当前微调任务对应的调节点坐标，该调节点坐标包括当前微调任务对应的控制点坐标及该控制点坐标对应的挪动点坐标。其中，挪动点坐标为执行当前微调任务后控制点坐标所移动到的最终坐标。具体包括：

A1：获取用户的人脸图像中人的脸关键点坐标。

在对采集的人脸图像进行处理时，需对采集的人脸图像进行格式转换，具体的，格式转换有多种形式，在此举例说明。具体的，在本申请实施例中，终端通过摄像头采集的人脸图像中像素的色彩格式可能为YUV格式或BGRA格式，如安卓操作系统的终端采集的人脸图像的色彩格式为YUV格式，而IOS操作系统的终端采集的人脸图像的色彩格式为BGRA格式。而本申请实施例中进行微整形操作所需要的人脸图像的色彩格式需采用RGBA格式。

具体地，终端中设置有用于进行图像处理的引擎程序，将终端采集的人脸图像输入引擎程序中，在引擎程序中将人脸图像的色彩格式转换为RGBA格式。若终端采集的人脸图像的色彩格式为YUV格式，则在引擎程序中通过如下公式转换为RGBA格式。

若终端采集的人脸图像的色彩格式为BGRA格式，则在引擎程序中将人脸图像中每个像素点的蓝色通道和红色通道对调，将BGRA格式调整为RGBA格式。

终端确定用户的人脸图像的色彩格式为RGBA格式之后，从人脸图像中识别出用户的人脸关键点坐标，该人脸关键点坐标是一个坐标集合，其中包括脸部轮廓、嘴巴、鼻子、眼睛、眉毛等部位的多个关键点的坐标，如图2所示。例如，该人脸关键点坐标中可以包括脸部轮廓、嘴巴、鼻子、眼睛、眉毛这些部位的共106个关键点的坐标。

A2：从人脸关键点坐标中提取当前微调任务所针对的目标部位的控制点坐标。

在本申请实施例中，上述人脸关键点坐标中包括的每个关键点都有各自的标号。本申请实施例预先设置了不同的微调任务对应的关键点的标号。终端根据当前微调任务对应的预设的关键点的标号，从步骤A1提取的人脸关键点坐标中提取出预设的标号对应的关键点坐标，将提取的关键点坐标确定为当前微调任务所针对的目标部位的控制点坐标。由于人脸是左右对称的，提取的控制点坐标中至少包括目标部位沿人脸的对称线左右对称的两个点的坐标。

例如，对脸部轮廓进行调整的微调任务对应的关键点的标号为位于脸部轮廓部位的9号和23号点；对鼻翼进行调整的微调任务对应的关键点的标号为位于鼻翼部位的82号和83号点；对鼻头进行调整的微调任务对应的关键点的标号为位于鼻头部位的107号和108号点，其中107号点是82号点与46号点连线的中点，108号点是83号点与46号点连线的中点；设置对鼻长进行调整的微调任务对应的关键点的标号为位于鼻梁部位的46号和44号点；对下巴进行调整的微调任务对应的关键点的标号为位于下巴部位的15、16、17号点；以及，对颧骨进行调整的微调任务对应的关键点的标号为位于颧骨部位的3号和29号点。

A3：移动该控制点坐标，得到该控制点坐标对应的挪动点坐标。

具体通过如下步骤A31-A33的操作来得到该控制点坐标对应的挪动点坐标。

A31：根据人脸图像，确定人脸图像对应的缩放范围及摆正旋转角度。

缩放范围表示对人脸图像进行缩放的比例。在确定人脸图像对应的缩放范围时，首先提取人脸关键点坐标中的左眼中心点坐标和右眼中心点坐标；根据左眼中心点坐标和右眼中心点坐标，确定用户的两眼距离；根据两眼距离和预设标准距离，计算人脸图像对应的缩放范围。预设标准距离可以为230px或235px等。

其中，用户的两眼距离为左眼中心点坐标和右眼中心点坐标之间的连线的长度。计算两眼距离与预设标准距离之间的比值，将该比值确定为用户的人脸图像对应的缩放范围。

在本申请实施例中，用户的人脸图像中，用户可能是歪着头的，若直接利用歪着头的人脸图像中的控制点坐标进行微调操作，会影响微调操作的准确性。因此本申请实施例中需要先将人脸图像中用户的头部摆正，确定摆正后的控制点坐标，对摆正后的控制点坐标进行缩放处理之后再将其恢复歪头的状态。上述摆正旋转角度即表示将用户的头部摆正需要对人脸图像进行旋转的角度。

具体地，提取人脸关键点坐标中的左眼中心点坐标和右眼中心点坐标；根据左眼中心点坐标和右眼中心点坐标，确定人脸图像中的两眼间连线；人脸图像的像素行的第一延伸方向与两眼间连线之间的夹角为人脸图像对应的摆正旋转角度，第一延伸方向为像素行的任一延伸方向。

其中，人脸图像为包括用户面部的矩形图像，在人脸图像中包括多个像素行和多个像素列，如720*1280的人脸图像中包括720个像素行和1280个像素列。其中，像素行平行于人脸图像的上、下两条边，像素列平行于人脸图像的左、右两条边。像素行具有向左和向右两个延伸方向，上述第一延伸方向可以为向左延伸的方向，也可以为向右的延伸方向。如图3所示，图3中左上角的直角图标中竖线用于表示人脸图像中的像素列，直角图标中的横线用于表示人脸图像中的像素行。假设图3中两个黑点之间的连线为用户的两眼间连线，箭头所指方向为像素行的第一延伸方向，则两眼间连线与第一延伸方向之间的夹角a即为人脸图像对应的摆正旋转角度。

本申请实施例中可以通过如下公式来计算摆正旋转角度。

a＝Atan(Left(x,y)-right(x,y))*180/PI

其中，a为摆正旋转角度，Atan为反正切函数，Left(x,y)为左眼中心点坐标，right(x,y)为右眼中心点坐标，PI为圆周率。

A32：根据人脸图像，为用户分配微调权重。

微调权重是根据用户人脸图像中展示的面部实际情况为用户分配的调整权重，该微调权重能够使得调整后的人脸图像中被调整的部位贴合时下流行审美，从而使调整后的效果更符合用户需求。

本申请实施例中，对于人脸的各个部位，按照实际情况分别将每个部位划分为多种类型。例如，脸部轮廓可以包括标准脸、倒三角形脸、方型脸、混合脸、圆型脸、长型脸、正三角形脸等多种类型。同样地，对于下巴、鼻子、颧骨等部位均可以划分为多种类型。对于任意部位，分别设置该部位包括的每种类型对应的预设权重，如设置标准脸对应的预设权重为0.29，圆型脸对应的预设权重为0.57等。

本申请实施例中，终端获得用户的人脸图像之后，对人脸图像中当前微调任务所针对的目标部位进行识别，确定目标部位所属的部位类型。识别目标部位所属的部位类型可以采用的目前比较成熟的人脸识别算法，在此不再赘述。

识别出目标部位所属的部位类型后，获取该部位类型对应的预设权重。将获取的预设权重确定为用户对应的微调权重。

A33：根据缩放范围、摆正旋转角度、微调权重和当前微调任务对应的预设移动距离，移动控制点坐标，得到控制点坐标对应的挪动点坐标。

本申请实施例中还预先设置了每种微调任务对应的预设移动距离，预设移动距离可以为5个像素或6个像素等。例如，对脸部轮廓进行微调的预设移动距离为5个像素，对鼻翼进行微调的预设移动距离为3个像素。

对于步骤A2获得的每个控制点坐标，首先根据第一延伸方向和步骤A31确定的摆正旋转角度，对该控制点坐标进行摆正旋转，以获得用户头部摆正后该控制点对应的坐标。具体地，确定沿人脸图像的对称线与该控制点坐标左右对称的另一控制点坐标，确定这两个对称的控制点坐标的连线与第一延伸方向的交点，以该交点为圆心，将该交点与该控制点坐标之间的连线，朝着第一延伸方向旋转上述摆正旋转角度。

然后按照当前微调任务对应的移动方向，将旋转后的控制点坐标移动当前微调任务对应的预设移动距离。根据缩放范围和微调权重，对移动后的控制点坐标进行缩放；将缩放后的控制点坐标向第一延伸方向的反方向旋转摆正旋转角度，以获得恢复原来的歪头状态下缩放后的控制点对应的坐标，该坐标即为该控制点坐标对应的挪动点坐标。

其中，当前微调任务对应的移动方向与当前微调任务是缩小还是放大处理有关，若当前微调任务是瘦脸，则脸部轮廓上位于左半边脸上的控制点的移动方向是向右，而位于右半边脸上的控制点的移动方向是向左。若当前微调任务是胖脸，则正好相反，即左半边脸上的控制点的移动方向是向左，而位于右半边脸上的控制点的移动方向是向右。同理，其他部位的不同微调任务对应的移动方向也是按照微调任务是缩小还是放大来确定的。

对于旋转后的控制点坐标进行缩放处理，可以通过公式(x+t*scale*smooth)或公式(y+t*scale*smooth)来获得缩放后的控制点坐标。其中，x为旋转摆正旋转角度后控制点坐标的横坐标，y为旋转摆正旋转角度后控制点坐标的纵坐标，t为当前微调任务对应的预设移动距离，scale为缩放范围，smooth为微调权重。

若当前微调任务对应的移动方向为向左或右移动，则选用上述公式(x+t*scale*smooth)，对控制点坐标的横坐标处理，纵坐标保持不变。若当前微调任务对应的移动方向为向上或下移动，则选用上述公式(y+t*scale*smooth)对控制点坐标的纵坐标处理，横坐标保持不变。

例如，脸部轮廓微调，则对脸部轮廓上的9号和23号点进行调整，9(x)+t*scale*smooth，23(x)+t*scale*smooth；鼻翼微调，则对鼻翼上的82号和83号点进行调整，82(x)+t*scale*smooth，83(x)+t*scale*smooth；鼻头微调，则对鼻头上的107号和108号点进行调整，107(y)+t*scale*smooth，108(y)+t*scale*smooth；下巴微调，则对下巴上的15、16、17号点进行调整，15(y)+t*scale*smooth，16(y)+t*scale*smooth，15(x)+t*scale*smooth，16(x)+t*scale*smooth；颧骨微调，则对颧骨上的3号和29号点进行调整，3(x)+t*scale*smooth，29(x)+t*scale*smooth。

在本申请实施例中，在用户进行图片或视频的拍摄过程中，对于拍摄的每一帧图像，都按照上述步骤A31-A33的操作确定摆正旋转角度及缩放范围，并依据该帧图像对应的摆正旋转角度及缩放范围，以及结合当前微调任务对应的微调权重和预设移动距离，对该帧图像中的控制点坐标进行移动，得到该帧图像对应的挪动点坐标。之后依据该帧图像的控制点坐标和挪动点坐标按照下述步骤102-104的操作进行微调处理。

步骤102：在人脸图像上划分出预设尺寸的三角面片网格。

上述预设尺寸可以为21*21或22*22等。终端在获得用户的人脸图像之后，还在人脸图像的整个矩形图像中均匀地划分出预设尺寸的三角面片网格，三角面片网格包括多个矩形的子网格，若预设尺寸为22*22，则三角面片网格包括22*22个矩形的子网格。

在人脸图像上划分出三角面片网格之后，还存储三角面片网格对应的网格信息，该网格信息中包括三角面片网格包括的每个子网格坐标信息，子网格坐标信息中至少包括子网格四个顶点的坐标。

步骤103：根据调节点坐标对三角面片网格进行调整，得到调整后的三角面片网格。

调节点坐标包括控制点坐标及其对应的挪动点坐标。通过步骤101获得每个控制点坐标对应的挪动点坐标，以及通过步骤102中获得三角面片网格之后，从三角面片网格的网格信息中获取整体网格边界线以内的每个子网格的坐标；根据控制点坐标、挪动点坐标和每个子网格的坐标，通过最小二乘法对每个子网格的坐标进行移动；根据整体网格边界线的坐标和移动后每个子网格的坐标，获得变形的三角面片网格。

即保持三角面片网格的整体网格的边界线上的坐标不变。根据控制点坐标、挪动点坐标和边界线以内的每个子网格的坐标，通过最小二乘法对每个子网格进行移动调整。然后根据保持不变的边界线上的坐标和移动后每个子网格的坐标，绘制出变形调整后的三角面片网格。

由于在对三角面片网格进行变形调整时保持了整体网格的边界线上的坐标不变，因此后续利用变形调整后的三角面片网格来对人脸图像进行整体调整时，能够确保人脸图像的边缘部分不会出现空白。

步骤104：根据调整后的三角面片网格和人脸图像，生成当前微调任务对应的人脸微调图像。

将调整前的三角面片网格、调整后的三角面片网格和人脸图像输入显卡中；在显卡中，通过仿射变换将人脸图像中调整前的第一子网格覆盖的像素点分别渲染到调整后的第二子网格中，第一子网格为调整前的三角面片网格包括的任一子网格，第二子网格为调整后的三角面片网格中与第一子网格对应的子网格；将放射变换得到的图像确定为当前微调任务对应的人脸微调图像。

即对于调整后的三角面片网格中的每个子网格，都分别获取调整前的三角面片网格中对应的子网格覆盖的图像区域中各个点的颜色值，将获得的各个点的颜色值填充到调整后的三角面片网格中对应的子网格中。每个子网格都完成颜色的放射变换，即得到了当前微调任务对应的人脸微调图像。最后通过显卡显示该人脸微调图像。

由于本申请实施例中绝大部分运算过程是在终端的中央处理器中完成运算，最终输入到显卡中的数据量很小，显卡只需对三角面片网格包括的每个子网格进行运算处理即可，即若三角面片网格的预设尺寸为21*21，则显卡只需对441个数据进行运算处理，相比于逐像素的运算，性能大大提升，人脸图像微调效率很高。

在本申请实施例中，还为用户提供一个用于调整微调权重的拖拽控件，该拖拽控件包括拖拽块和拖拽条，拖拽条用于指示可供调整的微调权重的范围，用户可以通过拖动拖拽块来设置自定义的微调权重。如图4所示，该拖拽条的拖拽范围为0-1。显卡显示上述人脸微调图像时，该拖拽块在拖拽条上所指示的微调权重即为步骤A4中为用户分配的微调权重。用户看到显示的人脸微调图像，若对微调效果不满意，则可以通过拖动拖拽块来提交自定义权重。

终端通过上述拖拽控件接收用户设置的自定义权重；通过步骤A5的方式，根据缩放范围、摆正旋转角度、自定义权重和当前微调任务对应的预设移动距离，重新移动控制点坐标，得到控制点坐标对应的新的挪动点坐标；然后通过步骤103的操作，根据控制点坐标、新的挪动点坐标和三角面片网格，重新对三角面片网格进行变形调整；最后通过步骤104的操作，根据调整前的三角面片网格、重新调整后的三角面片网格和人脸图像，生成新的人脸微调图像。

终端按照上述方式根据用户的自定义权重来重新调整，生成一个新的人脸微调图像，从而使最终生成的人脸微调图像满足用户自己的审美要求。

为了便于理解本申请实施例提供的方法，下面结合附图进行说明。如图5所示，S1：通过摄像头采集用户的人脸图像，或接收用户上传的包含面部的照片作为人脸图像。S2：将人脸图像的色彩格式转换为RGBA格式。S3：从用户的人脸图像中获取人脸关键点坐标。S4：从人脸关键点坐标中提取当前微调任务所针对的目标部位的控制点坐标。S5：根据人脸图像，确定人脸图像对应的缩放范围及摆正旋转角度。S6：根据人脸图像，为用户分配微调权重。S7：根据缩放范围、摆正旋转角度、微调权重和当前微调任务对应的预设移动距离，移动控制点坐标，得到控制点坐标对应的挪动点坐标。S8：在人脸图像上划分出预设尺寸的三角面片网格。S9：根据控制点坐标、挪动点坐标和三角面片网格，通过最小二乘法对三角面片网格进行变形调整。S10：根据调整前的三角面片网格、调整后的三角面片网格和人脸图像，在显卡中通过仿射变换生成当前微调任务对应的人脸微调图像。

在本申请实施例中，在用户的人脸图像上划分了三角面片网格，通过对三角面片网格进行变型调整，来实现瘦脸、缩鼻头、缩鼻翼、收颧骨、收下巴等面部微调操作。由于通过三角面片网格实现了对人脸图像整体的缩放操作，无需逐像素的运算，运算量小，运算速度快，效率高。而且整体操作对面部需要控制的像素点的操作范围更广，对三角面片网格中各子网格整体的平滑度也进行了提升。而且通过三角面片网格进行整体操作，像素的拉伸平均，最终得到的人脸微调图像看起来很平滑，图像边缘也不会出现缺少像素而形成的空白，虚拟微整形的效果很好。

本申请实施例还提供一种图像处理装置，该装置用于执行上述任一实施例提供的图像处理方法。参见图6，该装置包括：

获取模块601，用于根据用户的人脸图像，获取当前微调任务对应的调节点坐标；

网格划分模块602，用于在人脸图像上划分出预设尺寸的三角面片网格；

网格变形模块603，用于根据调节点坐标对三角面片网格进行调整，得到调整后的三角面片网格；

生成模块604，用于根据调整后的三角面片网格和人脸图像，生成当前微调任务对应的人脸微调图像。

所述调节点坐标包括当前微调任务所针对的目标部位的控制点坐标及所述控制点坐标对应的挪动点坐标；获取模块601，用于获取用户的人脸图像中的人脸关键点坐标；从人脸关键点坐标中提取当前微调任务所针对的目标部位的控制点坐标；移动所述控制点坐标，得到所述控制点坐标对应的挪动点坐标。

获取模块601，用于根据人脸图像，确定人脸图像对应的缩放范围及摆正旋转角度；根据人脸图像，为用户分配微调权重；根据缩放范围、摆正旋转角度、微调权重和当前微调任务对应的预设移动距离，移动控制点坐标，得到控制点坐标对应的挪动点坐标。

获取模块601，用于提取人脸关键点坐标中的左眼中心点坐标和右眼中心点坐标；根据左眼中心点坐标和右眼中心点坐标，确定用户的两眼距离；根据两眼距离和预设标准距离，计算人脸图像对应的缩放范围。

获取模块601，用于提取人脸关键点坐标中的左眼中心点坐标和右眼中心点坐标；根据左眼中心点坐标和右眼中心点坐标，确定人脸图像中的两眼间连线；人脸图像的像素行的第一延伸方向与两眼间连线之间的夹角为人脸图像对应的摆正旋转角度。

获取模块601，用于对人脸图像中当前微调任务所针对的目标部位进行识别，确定目标部位所属的部位类型；获取部位类型对应的预设权重；将预设权重确定为用户对应的微调权重。

获取模块601，用于根据所述第一延伸方向和所述摆正旋转角度，对所述控制点坐标进行摆正旋转；按照当前微调任务对应的移动方向，将旋转后的控制点坐标移动当前微调任务对应的预设移动距离；根据缩放范围和微调权重，对移动后的控制点坐标进行缩放；将缩放后的控制点坐标向第一延伸方向的反方向旋转摆正旋转角度，得到控制点坐标对应的挪动点坐标。

网格变形模块603，用于从三角面片网格中获取整体网格边界线以内的每个子网格的坐标；根据调节点坐标和每个子网格的坐标，对每个子网格的坐标进行移动；根据整体网格边界线的坐标和移动后每个子网格的坐标，获得变形的三角面片网格。

生成模块604，用于将调整前的三角面片网格、调整后的三角面片网格和人脸图像输入显卡中；在显卡中，通过仿射变换将人脸图像中调整前的第一子网格覆盖的像素点分别渲染到调整后的第二子网格中，第一子网格为调整前的三角面片网格包括的任一子网格，第二子网格为调整后的三角面片网格中与第一子网格对应的子网格；将放射变换得到的图像确定为当前微调任务对应的人脸微调图像。

该装置还包括：自定义调整模块，用于接收用户设置的自定义权重；根据缩放范围、摆正旋转角度、自定义权重和当前微调任务对应的预设移动距离，重新移动控制点坐标，得到控制点坐标对应的新的挪动点坐标；根据控制点坐标、新的挪动点坐标重新对三角面片网格进行调整，得到重新调整后的三角面片网格；根据重新调整后的三角面片网格和人脸图像，生成新的人脸微调图像。

在本申请实施例中，当前微调任务包括对脸部轮廓、鼻翼、鼻头、鼻长、下巴、颧骨中的一个或多个目标部位的微调任务。

本申请的上述实施例提供的图像处理装置与本申请实施例提供的图像处理方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。

本申请实施方式还提供一种电子设备，以执行上述图像处理方法。请参考图7，其示出了本申请的一些实施方式所提供的一种电子设备的示意图。如图7所示，电子设备7包括：处理器700，存储器701，总线702和通信接口703，所述处理器700、通信接口703和存储器701通过总线702连接；所述存储器701中存储有可在所述处理器700上运行的计算机程序，所述处理器700运行所述计算机程序时执行本申请前述任一实施方式所提供的图像处理方法。

其中，存储器701可能包含高速随机存取存储器(RAM：Random Access Memory)，也可能还包括非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器。通过至少一个通信接口703(可以是有线或者无线)实现该系统网元与至少一个其他网元之间的通信连接，可以使用互联网、广域网、本地网、城域网等。

总线702可以是ISA总线、PCI总线或EISA总线等。所述总线可以分为地址总线、数据总线、控制总线等。其中，存储器701用于存储程序，所述处理器700在接收到执行指令后，执行所述程序，前述本申请实施例任一实施方式揭示的所述图像处理方法可以应用于处理器700中，或者由处理器700实现。

处理器700可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器700中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器700可以是通用处理器，包括中央处理器(Central Processing Unit，简称CPU)、网络处理器(Network Processor，简称NP)等；还可以是数字信号处理器(DSP)、专用集成电路(ASIC)、现成可编程门阵列(FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器701，处理器700读取存储器701中的信息，结合其硬件完成上述方法的步骤。

本申请实施例提供的电子设备与本申请实施例提供的图像处理方法出于相同的发明构思，具有与其采用、运行或实现的方法相同的有益效果。

本申请实施方式还提供一种与前述实施方式所提供的图像处理方法对应的计算机可读存储介质，请参考图8，其示出的计算机可读存储介质为光盘30，其上存储有计算机程序(即程序产品)，所述计算机程序在被处理器运行时，会执行前述任意实施方式所提供的图像处理方法。

需要说明的是，所述计算机可读存储介质的例子还可以包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他光学、磁性存储介质，在此不再一一赘述。

本申请的上述实施例提供的计算机可读存储介质与本申请实施例提供的图像处理方法出于相同的发明构思，具有与其存储的应用程序所采用、运行或实现的方法相同的有益效果。

需要说明的是：

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本申请并帮助理解各个发明方面中的一个或多个，在上面对本申请的示例性实施例的描述中，本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下示意图：即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本申请的单独实施例。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

以上所述，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (14)

1.一种图像处理方法，其特征在于，包括：

根据用户的人脸图像，获取当前微调任务对应的调节点坐标；

在所述人脸图像上划分出预设尺寸的三角面片网格；

根据所述调节点坐标对所述三角面片网格进行调整，得到调整后的三角面片网格；

根据调整后的所述三角面片网格和所述人脸图像，生成所述当前微调任务对应的人脸微调图像。

2.根据权利要求1所述的方法，其特征在于，所述调节点坐标包括当前微调任务所针对的目标部位的控制点坐标及所述控制点坐标对应的挪动点坐标；

所述根据用户的人脸图像，获取当前微调任务对应的调节点坐标，包括：

获取用户的人脸图像中的人脸关键点坐标；

从所述人脸关键点坐标中提取当前微调任务所针对的目标部位的控制点坐标；

移动所述控制点坐标，得到所述控制点坐标对应的挪动点坐标。

3.根据权利要求1所述的方法，其特征在于，所述移动所述控制点坐标，得到所述控制点坐标对应的挪动点坐标，包括：

根据所述人脸图像，确定所述人脸图像对应的缩放范围及摆正旋转角度；

根据所述人脸图像，为所述用户分配微调权重；

根据所述缩放范围、所述摆正旋转角度、所述微调权重和所述当前微调任务对应的预设移动距离，移动所述控制点坐标，得到所述控制点坐标对应的挪动点坐标。

4.根据权利要求3所述的方法，其特征在于，根据所述人脸图像，确定所述人脸图像对应的缩放范围，包括：

提取所述人脸关键点坐标中的左眼中心点坐标和右眼中心点坐标；

根据所述左眼中心点坐标和所述右眼中心点坐标，确定所述用户的两眼距离；

根据预设标准距离和所述两眼距离，计算所述人脸图像对应的缩放范围。

5.根据权利要求3所述的方法，其特征在于，根据所述人脸图像，确定所述人脸图像对应的摆正旋转角度，包括：

提取所述人脸关键点坐标中的左眼中心点坐标和右眼中心点坐标；

根据所述左眼中心点坐标和所述右眼中心点坐标，确定所述人脸图像中的两眼间连线；

所述人脸图像的像素行的第一延伸方向与所述两眼间连线之间的夹角为所述人脸图像对应的摆正旋转角度。

6.根据权利要求3所述的方法，其特征在于，所述根据所述人脸图像，为所述用户分配微调权重，包括：

对所述人脸图像中所述当前微调任务所针对的目标部位进行识别，确定所述目标部位所属的部位类型；

获取所述部位类型对应的预设权重；

将所述预设权重确定为所述用户对应的微调权重。

7.根据权利要求5所述的方法，其特征在于，所述根据所述缩放范围、所述摆正旋转角度、所述微调权重和所述当前微调任务对应的预设移动距离，移动所述控制点坐标，得到所述控制点坐标对应的挪动点坐标，包括：

根据所述第一延伸方向和所述摆正旋转角度，对所述控制点坐标进行摆正旋转；

按照所述当前微调任务对应的移动方向，将旋转后的所述控制点坐标移动所述当前微调任务对应的预设移动距离；

根据所述缩放范围和所述微调权重，对移动后的所述控制点坐标进行缩放；

将缩放后的所述控制点坐标向所述第一延伸方向的反方向旋转所述摆正旋转角度，得到所述控制点坐标对应的挪动点坐标。

8.根据权利要求1所述的方法，其特征在于，所述根据所述调节点坐标对所述三角面片网格进行调整，得到调整后的三角面片网格，包括：

从所述三角面片网格中获取整体网格边界线以内的每个子网格的坐标；

根据所述调节点坐标和所述每个子网格的坐标，对所述每个子网格的坐标进行移动；

根据所述整体网格边界线的坐标和移动后所述每个子网格的坐标，获得变形的三角面片网格。

9.根据权利要求1所述的方法，其特征在于，所述根据调整后的所述三角面片网格和所述人脸图像，生成所述当前微调任务对应的人脸微调图像，包括：

将调整前的所述三角面片网格、调整后的所述三角面片网格和所述人脸图像输入显卡中；

在所述显卡中，通过仿射变换将所述人脸图像中调整前的第一子网格覆盖的像素点分别渲染到调整后的第二子网格中，所述第一子网格为调整前的所述三角面片网格包括的任一子网格，所述第二子网格为调整后的所述三角面片网格中与所述第一子网格对应的子网格；

将放射变换得到的图像确定为所述当前微调任务对应的人脸微调图像。

10.根据权利要求3-7任一项所述的方法，其特征在于，所述生成所述当前微调任务对应的人脸微调图像之后，还包括：

接收用户设置的自定义权重；

根据所述缩放范围、所述摆正旋转角度、所述自定义权重和所述当前微调任务对应的预设移动距离，重新移动所述控制点坐标，得到所述控制点坐标对应的新的挪动点坐标；

根据所述控制点坐标和所述新的挪动点坐标重新对所述三角面片网格进行调整，得到重新调整后的三角面片网格；

根据重新调整后的所述三角面片网格和所述人脸图像，生成新的人脸微调图像。

11.根据权利要求1-9任一项所述的方法，其特征在于，所述当前微调任务包括对脸部轮廓、鼻翼、鼻头、鼻长、下巴、颧骨中的一个或多个目标部位的微调任务。

12.一种图像处理装置，其特征在于，包括：

获取模块，用于根据用户的人脸图像，获取当前微调任务对应的调节点坐标；

网格划分模块，用于在所述人脸图像上划分出预设尺寸的三角面片网格；

网格变形模块，用于根据所述调节点坐标对所述三角面片网格进行调整，得到调整后的三角面片网格；

生成模块，用于根据调整前的所述三角面片网格、调整后的所述三角面片网格和所述人脸图像，生成所述当前微调任务对应的人脸微调图像。

13.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器运行所述计算机程序以实现如权利要求1-11任一项所述的方法。

14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行实现如权利要求1-11中任一项所述的方法。

Images