CN112200716B - 图形处理方法、装置、电子设备及非易失性存储介质 - Google Patents

Abstract

本申请公开了一种图形处理方法、装置、电子设备及非易失性存储介质。该方法包括：获取待变换图形和偏移图，其中，所述偏移图用于记录预设形变算法在预设标准图形上产生的形变偏移量；根据所述偏移图和所述待变换图形进行偏移计算，得到第一坐标集合的坐标偏移量，其中，所述第一坐标集合为所述待变换图形中的部分或全部像素点坐标；根据所述第一坐标集合和所述第一坐标集合的坐标偏移量，确定目标坐标集合；根据所述目标坐标集合，得到与所述待变换图形对应的形变图形。通过本申请，解决了相关技术中图形变换的处理效率较低的问题。

Description

图形处理方法、装置、电子设备及非易失性存储介质

技术领域

本申请涉及图形处理的技术领域，具体而言，涉及一种图形处理方法、装置、电子设备及非易失性存储介质。

背景技术

目前图形变换有许多方法，例如，图形变换为人脸的变形，人脸图形变换对应的变换算法有很多种，如移动最小二乘法、液化形变法和微分形变法等。然而这些方法有特定的适用场景。

移动最小二乘法是通过拖拽控制点来控制图像形变的技术，而一个控制点的变化影响的范围一般很大，因此适合用于做一些比较整体的形变，如瘦脸，胖脸，但不适合一些需要做精细调整的位置，比如眼睛、嘴型、眉形等，

液化形变算法则只需要控制圆圈的半径和形变的力度，适合用于控制眼睛、嘴型，这些局部的形变效果。

在对人脸图形变换时，往往需要同时对整体脸部和局部五官进行处理，因此需要移动最小二乘法和液化形变法等多种算法联合应用，然而，多种算法联合应用的方式存在如下缺陷：1、人脸形变过程中需要对多个区域进行形变，比如包括瘦脸，眼睛放大，嘴型改变，五官位移等，而这些步骤很有可能用的是不一样的形变算法，需要分步计算各个部分的形变，导致形变的复杂度骤增，影响图形形变的处理效率。2、在对图形进行形变的过程中，由于控制点拖拽不准确，容易导致形变效果不理想，需要用户反复拖拽修改控制点，影响了形变的实时性。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本申请的主要目的在于提供一种图形处理方法、装置、电子设备及非易失性存储介质，以解决相关技术中存在的技术缺陷。

为了实现上述目的，根据本申请的一个方面，提供了一种图形处理方法。该方法包括：获取待变换图形和偏移图，其中，所述偏移图用于记录预设形变算法在预设标准图形上产生的形变偏移量；根据所述偏移图和所述待变换图形进行偏移计算，得到第一坐标集合的坐标偏移量，其中，所述第一坐标集合为所述待变换图形中的部分或全部像素点坐标；根据所述第一坐标集合和所述第一坐标集合的坐标偏移量，确定目标坐标集合；根据所述目标坐标集合，得到与所述待变换图形对应的形变图形。

进一步地，在获取待变换图形和偏移图之前，所述方法包括：获取原始偏移图；响应采用预设形变算法对标准图形的目标形变操作，在所述标准图形上生成与所述预设形变算法对应的目标形变；根据所述目标形变，在所述原始偏移图上叠加与所述目标形变对应的形变偏移量，得到所述偏移图。

进一步地，根据所述偏移图和所述待变换图形进行偏移计算，得到第一坐标集合的坐标偏移量包括：获取所述待变换图形和所述标准图形之间的网格变换关系；根据所述网格变换关系，计算所述第一坐标集合映射到所述偏移图中的第二坐标集合；根据所述第二坐标集合计算所述第一坐标集合在待变换图形上的坐标偏移量。

进一步地，根据所述第二坐标集合计算所述第一坐标集合在待变换图形上的坐标偏移量包括：根据所述待变换图形和所述标准图形，计算目标变换矩阵，其中，所述目标变换矩阵用于表示所述待变换图形和所述标准图形之间的差异；根据所述第二坐标集合和所述目标变换矩阵，计算所述第一坐标集合的坐标偏移量。

进一步地，根据所述标准图形和所述待变换图形，计算目标变换矩阵包括：分别确定所述标准图形和所述待变换图形中人脸像素点的外接矩形，得到第一外接矩形和第二外接矩形；根据所述第一外接矩形和所述第二外接矩形的大小，确定目标缩放系数；根据所述第一外接矩形和所述第二外接矩形的角度差异，确定目标旋转角；根据所述目标缩放系数和所述目标旋转角，确定所述目标变换矩阵。

进一步地，根据所述第二坐标集合和目标变换矩阵，计算所述第一坐标集合的坐标偏移量包括：根据所述第二坐标集合和所述目标变换矩阵，计算偏移函数值，所述偏移函数值用于表示形变偏移量；根据所述偏移函数值，计算所述第一坐标集合的坐标偏移量。

进一步地，根据所述第二坐标集合和目标变换矩阵，计算所述第一坐标集合的坐标偏移量包括：根据所述第二坐标集合确定偏移函数值，所述偏移函数值用于表示所述第二坐标集合在偏移图中的偏移量；根据所述偏移函数值和所述目标变换矩阵，计算所述第一坐标集合的坐标偏移量。

进一步地，在获取所述待变换图形和所述标准图形之间的网格变换关系之前，所述方法包括：对所述标准图形进行网格剖分处理，得到标准图形网格化模型；采用所述标准图形网格化模型对所述待变换图形进行网格化处理，得到待变换图形网格化模型，所述标准图形网格化模型中的网格与所述待变换图形网格化模型中网格一一对应；根据所述待变换图形网格化模型和所述标准图形网格化模型确定所述待变换图形和所述标准图形之间的网格变换关系。

进一步地，对所述标准图形进行网格剖分处理，得到标准图形网格化模型包括：对所述标准图形中的人脸图形进行对齐处理，得到人脸像素点集合；对所述人脸像素点集合进行插值处理，得到标准图形的像素点集合；对所述标准图形的像素点集合进行网格剖分处理，得到标准图形网格化模型。

为了实现上述目的，根据本申请的另一方面，提供了一种图形处理装置。该装置包括：第一获取单元，用于获取待变换图形和偏移图，其中，所述偏移图用于记录预设形变算法在预设标准图形上产生的形变偏移量；计算单元，用于根据所述偏移图和所述待变换图形进行偏移计算，得到第一坐标集合的坐标偏移量，其中，所述第一坐标集合为所述待变换图形中的部分或全部像素点坐标；第一确定单元，根据所述第一坐标集合和所述第一坐标集合的坐标偏移量，确定目标坐标集合；第一生成单元，根据所述目标坐标集合，得到与所述待变换图形对应的形变图形。

为了实现上述目的，根据本申请的另一方面，提供了一种非易失性存储介质，所述存储介质包括存储的程序，其中，所述程序执行上述任意一项所述的图形处理方法。

为了实现上述目的，根据本申请的另一方面，提供了一种电子设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现如上述任意一项所述图形处理方法。

通过本申请，采用以下步骤：获取待变换图形和偏移图，其中，所述偏移图用于记录预设形变算法在预设标准图形上产生的形变偏移量；根据所述偏移图和所述待变换图形进行偏移计算，得到第一坐标集合的坐标偏移量，其中，所述第一坐标集合为所述待变换图形中的部分或全部像素点坐标；根据所述第一坐标集合和所述第一坐标集合的坐标偏移量，确定目标坐标集合；根据所述目标坐标集合，得到与所述待变换图形对应的形变图形。可以有效克服了现有技术中使用多种形变算法组合应用对图形进行处理带来的计算量过大、形变位置不准确的弊端，达到了减小图形变换的复杂度，提升图形变换的处理效率以及精准定位形变区域的技术效果。

附图说明

构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：

图1是根据本申请实施例提供的图形处理方法的流程图；

图2a是根据本申请实施例提供的对待变换图形进行变换处理过程的示意图一；

图2b是根据本申请实施例提供的对待变换图形进行变换处理过程的示意图二；

图2c是根据本申请实施例提供的对待变换图形进行变换处理过程的示意图三；

图3是根据本申请实施例提供的图形处理装置的示意图。

具体实施方式

需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。

为了使本技术领域的人员更好地理解本申请方案，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分的实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本申请保护的范围。

需要说明的是，本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本申请的实施例。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。

根据本申请的实施例，提供了一种图形处理方法。

图1是根据本申请实施例提供的图形处理方法的流程图。如图1所示，该方法包括以下步骤：

步骤S101，获取待变换图形和偏移图，其中，所述偏移图用于记录预设形变算法在预设标准图形上产生的形变偏移量；

步骤S102，根据所述偏移图和所述待变换图形进行偏移计算，得到第一坐标集合的坐标偏移量，其中，所述第一坐标集合为所述待变换图形中的部分或全部像素点坐标；

步骤S103，根据所述第一坐标集合和所述第一坐标集合的坐标偏移量，确定目标坐标集合；

步骤S104，根据所述目标坐标集合，得到与所述待变换图形对应的形变图形。

通过本示例性实施例的图形处理方法，只需将形变效果预先调在标准图形上，便可以通过人脸偏移图对待变换图形进行形变，而不用在意该形变效果采用了什么形变算法，分了多少步骤，技术实现简单且效率高。有效克服了现有技术中使用多种形变算法组合应用对图形进行处理带来的计算量过大、形变位置不准确的弊端，达到了减小图形变换的复杂度，提升图形变换的处理效率以及精准定位形变区域的技术效果。

需要说明的是，上述方法中的各个步骤的执行主体可以相同也可以不同，执行主体包括服务器或者客户端。

下面，将对本示例性实施例中图形处理方法的各步骤作进一步地说明。

步骤S101，获取待变换图形和偏移图，其中，偏移图用于记录预设形变算法在预设标准图形上产生的形变偏移量。

本申请实施例中的图形处理方法可以针对人脸图形进行变换处理，不同于现有技术中使用图形变换算法对待变换图形进行处理，本申请实施例中是通过预先设计的偏移图作用在待变换图形上实现对待变换图形的形变效果，因此在应用图形变换方法之前，先获取到待变换图形和偏移图，如，获取到一张人脸图像和预先设计的标准偏移图。其中，偏移图是在设计阶段用于记录在标准图形上产生的形变偏移量，可用来反映标准图形的目标形变效果，因此通过偏移图将标准图形的目标形变效果应用到待变换图形上，达到对待变换图形进行与标准图形同样的形变处理。

可选地，在本申请实施例提供的图形处理方法中，在获取待变换图形和偏移图之前，该方法包括：获取原始偏移图；响应采用预设形变算法对标准图形的目标形变操作，在标准图形上生成与预设形变算法对应的目标形变；根据目标形变，在原始偏移图上叠加与目标形变对应的形变偏移量，得到偏移图。

在本申请实施例提供的图形处理方法中，为了得到用于对待变换图形进行处理的偏移图，在对获取的待变换图形进行处理之前，先获取一张包含人脸图形的标准图形和一张空白的偏移图(对应上述的原始偏移图)，其中，标准图形中的人脸图形是正脸，且人脸图形居于标准图形的中间位置，标准图形的宽高一致，例如，标准图形的宽高比例为1024*1024，空白偏移图的宽高比例与标准图形一致，例如，偏移图的宽高比例为256*256。除了要求原始偏移图的宽高比例与标准图形一致以外，还要求原始偏移图的每个像素点的像素值一致，这样有利于运算，例如，原始偏移图可以是一张中性灰色图。通过预设图形处理算法对获取到的包含人脸图形的标准图形进行形变效果调整，例如，使用形变工具在标准图形中调整形变效果，该形变工具可以集成各种各样的形变算法，比如，基于拖动控制点的移动最小二乘形变，基于调圆圈的液化形变等。在对标准图形进行变换操作的过程中，记录与变换操作对应的目标形变，然后将目标形变叠加到获取到的空白偏移图上，得到用于对待变换图形进行处理的标准图形的偏移图。在标准图形中产生的目标形变效果反映到原始偏移图中，是每个像素点的像素值的变化，由于原始偏移图中每个像素点的像素值是一致且确定的，通过将处理后的偏移图中每个像素点的像素值与原始偏移图中每个像素点的像素值进行对比，就可以得到形变处理后的偏移图中每个像素点相对于原始偏移图产生的偏移量。也即，将标准图形中的像素点的形变叠加到原始偏移图相对应的位置的像素点中，并记录在原始偏移图中相对应位置的像素点的RG通道，得到用于对待变换图形进行变换处理的标准图形的偏移图。

本申请实施例中提供的图形处理方法是通过标准图形的偏移图实现的，在基于标准图形调整形变效果的时，先将形变效果作用到标准图形上，然后程序产生一张与标准图对应的偏移图，用于记录形变算法计算的偏移量，这样就可以把所有形变算法产生的偏移量都叠加到这张偏移图上得到标准图形的偏移图，然后使用标准图形的偏移图对待变换图形进行形变处理。

具体地，可以在对标准图形进行形变处理的同时，记录标准图形中形变区域在横向和纵向上的偏移量，由于标准图形与原始偏移图的宽高比例一致，因此可在原始偏移图上找到与该标准图形中形变处理区域相对应的位置，将标准图形中形变区域的偏移量叠加到原始偏移图中相对应的位置。例如，标准图形中的uv位置的形变量是dx，dy，那就将形变量叠加到原始偏移图上与uv相对应的位置，一般可以记录到像素点的RG通道，即Offset(uv)rg＝Offset(uv)rg+(dx，dy)。也即，将在标准图形中所有形变处理产生的偏移量都叠加到原始偏移图中相对应位置的像素点的RG通道上，得到标准图形的偏移图。偏移图中直接存储的是每个像素点的RG通道像素值，但通过每个像素点的RG通道像素值与原始偏移图每个像素点的RG通道像素值的对比，即可得到偏移图中每个像素点产生的偏移量。

步骤S102，根据偏移图和待变换图形进行偏移计算，得到第一坐标集合的坐标偏移量，其中，第一坐标集合为待变换图形中的部分或全部像素点坐标。

图形的显示效果由图形中各像素点的坐标确定，为了得到待变换图形形变后的效果，需要先计算待变换图形在处理前后各像素点坐标的偏移量，偏移量的计算需要用到待变换图形和上述偏移图。

可选地，在本申请实施例提供的图形处理方法中，根据偏移图和待变换图形进行偏移计算，得到第一坐标集合的坐标偏移量包括：获取待变换图形和标准图形之间的网格变换关系；根据网格变换关系，计算第一坐标集合映射到偏移图中的第二坐标集合；根据第二坐标集合计算第一坐标集合在待变换图形上的坐标偏移量。

本申请实施例提供的图形处理方法的思路是使用人脸偏移图将标准人脸上形变效果映射到待变换图形上，即，不管选择何种形变技术，分了多复杂的步骤调整，只需要将形变效果先调在标准图形上，便可以通过偏移图对待变换图形进行形变，而不用在意之前用了什么形变算法，分了多少步骤。因此，为了得到待变换图形中各像素点坐标的偏移量，需要先计算待变换图形的坐标集合映射到偏移图上的坐标偏移量，再通过标准图形和待变换图形之间的关系由偏移图上的坐标偏移量得到待变换图形的坐标偏移量。其中，由待变换图形的坐标计算映射到上述偏移图中的坐标偏移量需要用到标准图形和待变换图形之间的网格变换关系。

可选地，在本申请实施例提供的图形处理方法中，根据第二坐标集合计算第一坐标集合在待变换图形上的坐标偏移量包括：根据待变换图形和标准图形，计算目标变换矩阵，其中，目标变换矩阵用于表示待变换图形和标准图形之间的差异；根据第二坐标集合和目标变换矩阵，计算第一坐标集合的坐标偏移量。

在前述步骤中已经具体阐述了根据网格变换关系计算待变换图形的坐标集合映射到偏移图中的坐标偏移量，由于目标变换矩阵可以用来表示待变换图形和标准图形之间的差异，因此在本申请实施例中将待变换图形映射到偏移图中的坐标偏移量乘以目标变换矩阵，即可得到待变换图形中各像素点坐标的坐标偏移量。

可选地，在本申请实施例提供的图形处理方法中，根据标准图形和待变换图形，计算目标变换矩阵包括：分别确定标准图形和待变换图形中人脸像素点的外接矩形，得到第一外接矩形和第二外接矩形；根据第一外接矩形和第二外接矩形的大小，确定目标缩放系数；根据第一外接矩形和第二外接矩形的角度差异，确定目标旋转角；根据目标缩放系数和目标旋转角，确定目标变换矩阵。

为了得到标准图形和待变换图形之间的变换矩阵，首先确定标准图形中人脸图形的外接矩形框，记作第一外接矩形，确定待变换图形中人脸图形的外接矩形框，记作第二外接矩形，然后根据第一外接矩形和第二外接矩形的大小差异，计算标准图形和待变换图形之间的缩放系数，记作s；根据第一外接矩形和第二外接矩形的角度差异，计算标准图形和待变换图形之间的目标旋转角度，记作r；得到标准图形和待变换图形之间的变换矩阵为：M＝[s*cos(r),s*-sin(r)；s*sin*(r),s*cos(r)]。

需要说明的是，上述计算标准图形和待变换图形之间的变换矩阵是所有坐标共用的，为了更好地控制待变换图形上的形变效果，还可以在顶点着色器上计算每个网格点的变换矩阵，利用GPU来计算形变，比如OpenGL，directX等。具体的方法可以为：对于网格上的每一个顶点，找到标准图形网格化模型和待变换图形网格化模型中与这个顶点对应的三角形，根据三角形的面积比计算顶点的缩放系数s，从而实现更好地控制待变换图形的形变效果。

可选地，在本申请实施例提供的图形处理方法中，根据所述第二坐标集合和目标变换矩阵，计算所述第一坐标集合的坐标偏移量包括：根据所述第二坐标集合确定偏移函数值，所述偏移函数值用于表示所述第二坐标集合在偏移图中的偏移量；根据所述偏移函数值和所述目标变换矩阵，计算所述第一坐标集合的坐标偏移量。

第二坐标集合为待变换图形通过网格变换关系映射到偏移图中的坐标集合，根据第二坐标集合在偏移图中确定每个坐标点的像素值，通过将每个坐标点的像素值与原始偏移图的像素值进行对比，就可以得到每个像素点相对于原始偏移图的坐标偏移量，由于偏移图用于反映对标准图形进行形变处理的坐标偏移量，而目标变换矩阵可以用来反映待变换图形与标准图形之间的差异，因此可以根据目标变换矩阵和待变换图形映射到偏移图上的每个像素点的坐标偏移量，计算待变换图形的坐标偏移量，即第一坐标集合的坐标偏移量。

为了更具体地解释上述第一坐标集合的坐标偏移量的计算过程，以第一坐标集合中的其中一个像素点的计算过程进行说明。例如，像素点A为待变换图形中的其中一个像素点，A在待变换图形中的坐标为(100，200)，像素点A通过网格变换关系映射到偏移图中得到像素点B，假设B在偏移图中的坐标为(50，50)，根据像素点B的坐标可以获取像素点B的像素值，由于像素值主要用于计算像素点在X方向和Y方向的偏移量，因此在本实施例中只记录像素点的R、G通道的像素值，其中R通道用于反映像素点在X方向的偏移量，G通道的像素值用于反映像素点在Y方向上的偏移量。假设像素点B的R、G通道的像素值为(128，150)，通过像素点B的像素值与原始偏移图中像素点的像素值进行对比即可得到像素点B的偏移量。优选地，本实施例中原始偏移图可以为一张纯灰色的图形，也即原始偏移图中每个像素点的R、G通道的像素值为(128，128)，由此可以计算，像素点B的像素值相对于原始偏移图中的像素值的变化量为(0，22)，根据像素点B的像素值的变化量可以计算出像素点B在X方向和Y方向上的坐标偏移量为(0，22/255)。由于目标变换矩阵可用来表示待变换图形与标准图形之间的尺寸和角度等差异，因此可通过目标变换矩阵和像素点B在偏移图中的坐标偏移量计算像素点A在待变换图形中的坐标偏移量，为了便于理解，假设待变换图形与标准图形都是端正的人脸图形，二者之间只存在尺寸上的差异，没有角度上的差异，假设待变换图形的尺寸为标准图形的1.5倍，可通过待变换图形与标准图形之间的缩放系数以及像素点B在偏移图上的坐标偏移量(0,22/255)计算像素点A在待变换图形中的坐标偏移量为(0，22/255*1.5)，也即，我们能看到像素点A在待变换图形中的X方向偏移量为0，在Y方向的偏移量为22/255*1.5。以上即为将偏移图应用于待变换图形后，待变换图形中的像素点A的坐标偏移量的计算过程，第一坐标集合中的其他像素点的坐标偏移量的计算方法与上述像素点A的坐标偏移量的计算方法一致。

可选地，在本申请实施例提供的图形处理方法中，在获取待变换图形和标准图形之间的网格变换关系之前，该方法包括：对标准图形进行网格剖分处理，得到标准图形网格化模型；采用标准图形网格化模型对待变换图形进行网格化处理，得到待变换图形网格化模型，标准图形网格化模型中的网格与待变换图形网格化模型中网格一一对应；根据待变换图形网格化模型和标准图形网格化模型确定待变换图形和标准图形之间的网格变换关系。

本申请实施例中的图形变换处理方法，先将形变效果作用到标准图上，然后程序产生一张与标准图对应的偏移图，用于记录形变算法计算的偏移量，这样，就可以把所有形变算法产生的偏移量都叠加到这张偏移图上，然后利用这张偏移图来形变输入的待变换图形。由于通过将标准图形形变效果对应的偏移图作用于待变换图形中，因此用于表示待变换图形和标准图形之间的关联的网格变换关系尤为重要，网格变换关系是用于对待变换图形和标准图形进行换算处理的桥梁，待变换图形和标准图形之间的差异以及坐标偏移量的计算都需要用到网格变换关系。通过网格变换关系可以将形变算法形变后的网格位置准确对应于待变换图形的网格位置，使得形变区域的定位更加精准，而不再需要拖拽控制点对待变换图形进行形变，提高了图形形变的精确性和实时性。

为了得到网格变换关系，需要先对标准图形进行网格剖分处理得到标准图形的网格化模型，再使用标准图形网格化模型对待变换模型进行网格化处理得到待变换图形网格化模型，为了确保基于标准图形网格化模型和待变换图形网格化模型基础上得到的网格变换关系与实际一致，需要保证待变换图形的网格化模型中的网格与标准图形网格化模型之间的网格一一对应。

可选地，在本申请实施例提供的图形处理方法中，对标准图形进行网格剖分处理，得到标准图形网格化模型包括：对标准图形中的人脸图形进行对齐处理，得到人脸像素点集合；对人脸像素点集合进行插值处理，得到标准图形的像素点集合；对标准图形的像素点集合进行网格剖分处理，得到标准图形网格化模型。

例如，在人脸像素点集合中插入额头点和背景点等，得到标准图形的像素点集合，再通过对标准图形的像素点集合进行网格剖分处理，得到标准图形网格化模型。需要说明的是，在本申请实施例中对标准图形网格化模型不要求有固定的模板，只要能包括人脸区域并且包含可形变的背景区域即可。

步骤S103，根据第一坐标集合和第一坐标集合的坐标偏移量，确定目标坐标集合。

图形的显示效果由图形中各像素点的坐标确定，为了得到待变换图形自动形变处理之后的效果，需要先计算待变换图形经过形变处理后的目标坐标集合。其中，通过将待变换图形在形变处理前的坐标集合与该坐标集合经过形变处理后的坐标偏移量进行相加，即可得到待变换图形的目标坐标集合。

本申请实施例主要通过标准图形的偏移图对待变换图形进行处理达到形变的效果，通过网格变换关系，先计算待变换图形坐标集合映射到偏移图上的坐标集合，然后确认坐标集合中的每个像素点的像素值，并根据每个像素点的像素值与原始偏移图中每个像素点的像素值的差异确定待变换图形映射到偏移图上的偏移量，再结合目标变化矩阵计算待变换图形坐标集合在待变换图形中的坐标偏移量，进而得到待变换图形经过形变处理后的目标坐标集合。具体方法为：假设待变换图形的坐标集合为uv，根据网格变换关系，计算uv映射到标准图形偏移图上的坐标集合为uv_warp，根据uv_warp中每个点的像素值确认偏移函数值offset(uv_warp)，所述偏移函数值表示待变换图形映射到偏移图中的坐标集合的偏移量，M为标准图形和待变换图形之间的变换矩阵，用来表示标准图形中的人脸图形与待变换图形中的人脸图形之间的差异，那么，通过M*offset(uv_warp)即可得到待变换图形坐标集合uv在待变换图形中的坐标偏移量，进而得到待变换图形进行形变后的目标坐标集合为uv_offest＝uv+M*offset(uv_warp)。

由于偏移图是在原始偏移图上根据对标准图形的形变处理得到的，原始偏移图除了比例与标准图形一致以外，优选地，原始偏移图在颜色上可以选择纯灰色，即原始偏移图中的每个像素点的R、G通道的像素值为(128,128)，当用户对标准图形进行形变的过程反映到原始偏移图上即表现为每个像素点的像素值发生变化，在本实施例中，将偏移图中每个像素点的坐标偏移量记录到像素值的R、G通道中，这样当确定偏移图中的坐标集合后，通过坐标集合即可确定每个像素点的R、G通道像素值，进而通过每个像素点R、G通道像素值相对于原始偏移图中像素值的改变计算像素点的坐标偏移量。在计算待变换图形的目标坐标集合的过程中，首先计算待变换图形映射到偏移图上产生的坐标偏移量，而上述计算目标坐标集合的公式中，offset(uv_warp)即表示基于offset函数，通过待变换图形映射到偏移图中的坐标集合计算偏移图中的坐标偏移量。

步骤S104，根据目标坐标集合，得到与待变换图形对应的形变图形。

通过计算待变换图形中坐标集合的偏移量得到了待变换图形在经过偏移图形变处理后的目标坐标集合，进而根据该目标坐标集合生成待变换图形变换后的目标图形。

为了对形变处理后的待变换图形进行渲染显示，在得到待变换图形的目标坐标集合后，需要获取目标坐标集合中每个坐标的像素值，具体计算方法为User(uv)＝User(uv_offest)，即将目标坐标集合输入到User函数中，获取目标集合中每个坐标的像素值，进而根据像素值对目标坐标集合中的每个坐标进行渲染显示，得到形变处理后的待变换图形。

例如，图2a是待变换图形，图2b是根据网格变换关系将标准图形偏移图叠加到待变换图形上的效果图，图2c是对待变换图形进行处理后得到的与待变换图形对应的形变图形。

综上，在本申请实施例提供的图形处理方法中，通过获取待变换图形和偏移图，其中，偏移图用于记录预设形变算法在预设标准图形上产生的形变偏移量；根据偏移图和待变换图形进行偏移计算，得到第一坐标集合的坐标偏移量，其中，第一坐标集合为待变换图形中的部分或全部像素点坐标；根据第一坐标集合和第一坐标集合的坐标偏移量，确定目标坐标集合；根据目标坐标集合，得到与待变换图形对应的形变图形，解决了相关技术中图形变换的处理效率较低的问题，进而达到了提高图形变换的处理效率的效果。

需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。

本申请实施例还提供了一种图形处理装置，需要说明的是，本申请实施例的图形变换装置可以用于执行本申请实施例所提供的用于图形变换方法。以下对本申请实施例提供的图形变换装置进行介绍。

图3是根据本申请实施例的图形变换装置的示意图。如图3所示，该装置包括：第一获取单元301、计算单元302、第一确定单元303、第二获取单元304。

具体地，第一获取单元301，用于获取待变换图形和偏移图，其中，偏移图用于记录预设形变算法在预设标准图形上产生的形变偏移量；

计算单元302，用于根据偏移图和待变换图形进行偏移计算，得到第一坐标集合的坐标偏移量，其中，第一坐标集合为待变换图形中的部分或全部像素点坐标；

第一确定单元303，用于根据第一坐标集合和第一坐标集合的坐标偏移量，确定目标坐标集合；

第一生成单元304，用于根据目标坐标集合，得到与待变换图形对应的形变图形。

本申请实施例提供的图形变换装置，通过第一获取单元301，获取待变换图形和偏移图，其中，偏移图用于记录预设形变算法在预设标准图形上产生的形变偏移量；计算单元302，用于根据偏移图和待变换图形进行偏移计算，得到第一坐标集合的坐标偏移量，其中，第一坐标集合为待变换图形中的部分或全部像素点坐标；第一确定单元303，用于根据第一坐标集合和第一坐标集合的坐标偏移量，确定目标坐标集合；第一生成单元304，用于根据目标坐标集合，得到与待变换图形对应的形变图形。解决了相关技术中图形变换的处理效率较低的问题，进而达到了提高图形变换的处理效率的效果。

可选地，在本申请实施例提供的图形处理装置中，该装置包括：第二获取单元，用于在获取待变换图形和偏移图之前，获取标准图形和原始偏移图；第二生成单元，用于响应采用预设形变算法对标准图形的目标形变操作，在标准图形上生成与预设形变算法对应的目标形变；第三获取单元，用于根据目标形变，在原始偏移图上叠加与目标形变对应的形变偏移量，得到偏移图。

可选地，在本申请实施例提供的图形处理装置中，计算单元302包括：获取子单元，用于获取待变换图形和标准图形之间的网格变换关系；第一计算子单元，用于根据网格变换关系，计算第一坐标集合映射到偏移图中的第二坐标集合；第二计算子单元，用于根据第二坐标集合计算第一坐标集合在待变换图形上的坐标偏移量。

可选地，在本申请实施例提供的图形处理装置中，第二计算子单元包括：第一计算模块，用于根据待变换图形和标准图形，计算目标变换矩阵，其中，目标变换矩阵用于表示待变换图形和标准图形之间的差异；第二计算模块，用于根据第二坐标集合和目标变换矩阵，计算第一坐标集合的坐标偏移量。

可选地，在本申请实施例提供的图形处理装置中，第一计算模块包括：第一确定子模块，用于分别确定标准图形和待变换图形中人脸像素点的外接矩形，得到第一外接矩形和第二外接矩形；第二确定子模块，用于根据第一外接矩形和第二外接矩形的大小，确定目标缩放系数；第三确定子模块，用于根据第一外接矩形和第二外接矩形的角度差异，确定目标旋转角；第四确定子模块，用于根据目标缩放系数和目标旋转角，确定目标变换矩阵。

可选地，在本申请实施例提供的图形处理装置中，第二计算模块包括：根据所述第二坐标集合确定偏移函数值，所述偏移函数值用于表示所述第二坐标集合在偏移图中的偏移量；根据所述偏移函数值和所述目标变换矩阵，计算所述第一坐标集合的坐标偏移量。

可选地，在本申请实施例提供的图形处理装置中，该装置包括：网格剖分单元，用于在获取待变换图形和标准图形之间的网格变换关系之前，对标准图形进行网格剖分处理，得到标准图形网格化模型；第四获取单元，用于采用标准图形网格化模型对待变换图形进行网格化处理，得到待变换图形网格化模型，标准图形网格化模型中的网格与待变换图形网格化模型中网格一一对应；第二确定单元，用于根据待变换图形网格化模型和标准图形网格化模型确定待变换图形和标准图形之间的网格变换关系。

可选地，在本申请实施例提供的图形处理装置中，网格剖分单元包括：对齐模块，用于对标准图形中的人脸图形进行对齐处理，得到人脸像素点集合；插值模块，用于对人脸像素点集合进行插值处理，得到标准图形的像素点集合；网格剖分模块对标准图形的像素点集合进行网格剖分处理，得到标准图形网格化模型。

所述图形变换装置包括处理器和存储器，上述第一获取单元301、计算单元302、第一确定单元303和第一生成单元304单元等均作为程序单元存储在存储器中，由处理器执行存储在存储器中的上述程序单元来实现相应的功能。

处理器中包含内核，由内核去存储器中调取相应的程序单元。内核可以设置一个或以上，通过调整内核参数来提高图形变换的处理效率。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)，存储器包括至少一个存储芯片。

本发明实施例提供了一种非易失性存储介质，其上存储有程序，该程序被处理器执行时实现所述图形处理方法。

本发明实施例提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行所述图形处理方法。

本发明实施例提供了一种电子设备，设备包括处理器、存储器及存储在存储器上并可在处理器上运行的程序，处理器执行程序时实现以下步骤：获取待变换图形和偏移图，其中，所述偏移图用于记录预设形变算法在预设标准图形上产生的形变偏移量；根据所述偏移图和所述待变换图形进行偏移计算，得到第一坐标集合的坐标偏移量，其中，所述第一坐标集合为所述待变换图形中的部分或全部像素点坐标；根据所述第一坐标集合和所述第一坐标集合的坐标偏移量，确定目标坐标集合；根据所述目标坐标集合，得到与所述待变换图形对应的形变图形。

处理器执行程序时还可以实现以下步骤：在获取待变换图形和偏移图之前，所述方法包括：获取标准图形和原始偏移图；响应采用预设形变算法对所述标准图形的目标形变操作，在所述标准图形上生成与所述预设形变算法对应的目标形变；根据所述目标形变，在所述原始偏移图上叠加与所述目标形变对应的形变偏移量，得到所述偏移图。

处理器执行程序时还可以实现以下步骤：根据所述偏移图和所述待变换图形进行偏移计算，得到第一坐标集合的坐标偏移量包括：获取所述待变换图形和所述标准图形之间的网格变换关系；根据所述网格变换关系，计算所述第一坐标集合映射到所述偏移图中的第二坐标集合；根据所述第二坐标集合计算所述第一坐标集合在待变换图形上的坐标偏移量。

处理器执行程序时还可以实现以下步骤：根据所述第二坐标集合计算所述第一坐标集合在待变换图形上的坐标偏移量包括：根据所述待变换图形和所述标准图形，计算目标变换矩阵，其中，所述目标变换矩阵用于表示所述待变换图形和所述标准图形之间的差异；根据所述第二坐标集合和所述目标变换矩阵，计算所述第一坐标集合的坐标偏移量。

处理器执行程序时还可以实现以下步骤：根据所述标准图形和所述待变换图形，计算目标变换矩阵包括：分别确定所述标准图形和所述待变换图形中人脸像素点的外接矩形，得到第一外接矩形和第二外接矩形；根据所述第一外接矩形和所述第二外接矩形的大小，确定目标缩放系数；根据所述第一外接矩形和所述第二外接矩形的角度差异，确定目标旋转角；根据所述目标缩放系数和所述目标旋转角，确定所述目标变换矩阵。

处理器执行程序时还可以实现以下步骤：根据所述第二坐标集合和目标变换矩阵，计算所述第一坐标集合的坐标偏移量包括：根据所述第二坐标集合确定偏移函数值，所述偏移函数值用于表示所述第二坐标集合在偏移图中的偏移量；根据所述偏移函数值和所述目标变换矩阵，计算所述第一坐标集合的坐标偏移量。

处理器执行程序时还可以实现以下步骤：在获取所述待变换图形和所述标准图形之间的网格变换关系之前，所述方法包括：对所述标准图形进行网格剖分处理，得到标准图形网格化模型；采用所述标准图形网格化模型对所述待变换图形进行网格化处理，得到待变换图形网格化模型，所述标准图形网格化模型中的网格与所述待变换图形网格化模型中网格一一对应；根据所述待变换图形网格化模型和所述标准图形网格化模型确定所述待变换图形和所述标准图形之间的网格变换关系。

处理器执行程序时还可以实现以下步骤：对所述标准图形进行网格剖分处理，得到标准图形网格化模型包括：对所述标准图形中的人脸图形进行对齐处理，得到人脸像素点集合；对所述人脸像素点集合进行插值处理，得到标准图形的像素点集合；对所述标准图形的像素点集合进行网格剖分处理，得到标准图形网格化模型。本文中的设备可以是服务器、PC、PAD、手机等。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导电子设备或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。所述电子设备包括计算机、移动终端、服务器等具备图形处理功能的设备。

这些计算机程序指令也可装载到电子设备或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。

Claims (10)

1.一种图形处理方法，其特征在于，所述方法包括：

获取待变换图形和偏移图，其中，所述偏移图用于记录预设形变算法在预设标准图形上产生的形变偏移量,所述偏移图还用于将所述标准图形的目标形变效果映射到所述待变换图形，所述目标形变效果用于反应每个像素点的像素值的变化；

根据所述偏移图和所述待变换图形进行偏移计算，得到第一坐标集合的坐标偏移量，其中，所述第一坐标集合为所述待变换图形中的部分或全部像素点坐标；

根据所述第一坐标集合和所述第一坐标集合的坐标偏移量，确定目标坐标集合；

根据所述目标坐标集合，得到与所述待变换图形对应的形变图形；

其中，根据所述偏移图和所述待变换图形进行偏移计算，得到第一坐标集合的坐标偏移量包括：

获取所述待变换图形和所述标准图形之间的网格变换关系；

根据所述网格变换关系，计算所述第一坐标集合映射到所述偏移图中的第二坐标集合；

根据所述第二坐标集合计算所述第一坐标集合在待变换图形上的坐标偏移量。

2.根据权利要求1所述的方法，其特征在于，在获取待变换图形和偏移图之前，所述方法包括：

获取标准图形和原始偏移图；

响应采用预设形变算法对所述标准图形的目标形变操作，在所述标准图形上生成与所述预设形变算法对应的目标形变；

根据所述目标形变，在所述原始偏移图上叠加与所述目标形变对应的形变偏移量，得到所述偏移图。

3.根据权利要求1所述的方法，其特征在于，根据所述第二坐标集合计算所述第一坐标集合在待变换图形上的坐标偏移量包括：

根据所述待变换图形和所述标准图形，计算目标变换矩阵，其中，所述目标变换矩阵用于表示所述待变换图形和所述标准图形之间的差异；

根据所述第二坐标集合和所述目标变换矩阵，计算所述第一坐标集合的坐标偏移量。

4.根据权利要求3所述的方法，其特征在于，根据所述标准图形和所述待变换图形，计算目标变换矩阵包括：

分别确定所述标准图形和所述待变换图形中人脸像素点的外接矩形，得到第一外接矩形和第二外接矩形；

根据所述第一外接矩形和所述第二外接矩形的大小，确定目标缩放系数；

根据所述第一外接矩形和所述第二外接矩形的角度差异，确定目标旋转角；

根据所述目标缩放系数和所述目标旋转角，确定所述目标变换矩阵。

5.根据权利要求3所述的方法，其特征在于，根据所述第二坐标集合和目标变换矩阵，计算所述第一坐标集合的坐标偏移量包括：

根据所述第二坐标集合确定偏移函数值，其中，所述偏移函数值用于表示所述第二坐标集合在偏移图中的偏移量；

根据所述偏移函数值和所述目标变换矩阵，计算所述第一坐标集合的坐标偏移量。

6.根据权利要求1所述的方法，其特征在于，在获取所述待变换图形和所述标准图形之间的网格变换关系之前，所述方法包括：

对所述标准图形进行网格剖分处理，得到标准图形网格化模型；

采用所述标准图形网格化模型对所述待变换图形进行网格化处理，得到待变换图形网格化模型，所述标准图形网格化模型中的网格与所述待变换图形网格化模型中网格一一对应；

根据所述待变换图形网格化模型和所述标准图形网格化模型确定所述待变换图形和所述标准图形之间的网格变换关系。

7.根据权利要求6所述的方法，其特征在于，对所述标准图形进行网格剖分处理，得到标准图形网格化模型包括：

对所述标准图形中的人脸图形进行对齐处理，得到人脸像素点集合；

对所述人脸像素点集合进行插值处理，得到标准图形的像素点集合；

对所述标准图形的像素点集合进行网格剖分处理，得到标准图形网格化模型。

8.一种图形处理装置，其特征在于，所述装置包括：

第一获取单元，用于获取待变换图形和偏移图，其中，所述偏移图用于记录预设形变算法在预设标准图形上产生的形变偏移量,所述偏移图还用于将所述标准图形的目标形变效果映射到所述待变换图形，所述目标形变效果用于反应每个像素点的像素值的变化；

计算单元，用于根据所述偏移图和所述待变换图形进行偏移计算，得到第一坐标集合的坐标偏移量，其中，所述第一坐标集合为所述待变换图形中的部分或全部像素点坐标；

第一确定单元，根据所述第一坐标集合和所述第一坐标集合的坐标偏移量，确定目标坐标集合；

第一生成单元，根据所述目标坐标集合，得到与所述待变换图形对应的形变图形，

其中，所述计算单元包括：

获取子单元，用于获取所述待变换图形和所述标准图形之间的网格变换关系；

第一计算子单元，用于根据所述网格变换关系，计算所述第一坐标集合映射到所述偏移图中的第二坐标集合；

第二计算子单元，用于根据所述第二坐标集合计算所述第一坐标集合在待变换图形上的坐标偏移量。

9.一种非易失性存储介质，其特征在于，所述存储介质包括存储的程序，其中，所述程序执行权利要求1至7中任意一项所述的图形处理方法。

10.一种电子设备，其特征在于，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述程序时实现如权利要求1至7中任意一项所述图形处理方法。

Images