CN112528707A - 图像处理方法、装置、设备及存储介质 - Google Patents

Abstract

本发明实施例公开了一种图像处理方法、装置、设备及存储介质。该方法包括：获取将原始人脸图像中设定人脸区域按照参考人脸图像进行调整的指令；根据指令，在原始人脸图像及参考人脸图像中分别获取与人脸区域匹配的原始区域人脸关键点集合以及参考区域人脸关键点集合；根据参考区域人脸关键点集合，确定与原始区域人脸关键点集合匹配的调整后区域人脸关键点集合；根据调整后区域人脸关键点集合，对原始人脸图像中的原始网格进行调整，生成调整后人脸图像。本发明实施例的技术方案，不限制原始人脸图像与调整后人脸图像的尺寸和形状，提高了对原始人脸图像的变形调整速度，可适应于视频实时人脸变换。

Description

图像处理方法、装置、设备及存储介质

技术领域

本发明实施例涉及图像处理技术领域，尤其涉及一种图像处理方法、装置、 设备及存储介质。

背景技术

随着社会的发展，诸如手机、平板电脑等电子设备已经广泛应用在学习、 娱乐、工作等方面，很多电子设备中都配置有摄像头，用于拍照、录像、直播 等操作。如果摄像头的图像数据包含人脸，用户经常会对该人脸进行调整，如 美颜、变脸等。

目前，对人脸进行脸型或者五官的调整时，只有在原始人脸图像与调整后 人脸图像的尺寸或形状类似时，才能比对调整后人脸图像对原始人脸图像进行 相应的变形，得到调整后人脸图像。发明人在实现本发明的过程中，发现现有 技术存在如下缺陷：对原始人脸图像与调整后人脸图像的尺寸和形状有限制， 无法有针对性的对人脸进行调整，调整的效率低，无法适应视频实时人脸变换。

发明内容

本发明实施例提供一种图像处理方法、装置、设备及存储介质，以实现对 原始人脸图像与调整后人脸图像的尺寸和形状不进行限制，提高对原始人脸图 像的变形调整速度，可适应于视频实时人脸变换。

第一方面，本发明实施例提供了一种图像处理方法，包括：

获取将原始人脸图像中设定人脸区域按照参考人脸图像进行调整的指令； 原始人脸图像由人脸关键点划分出的多个原始网格构成；

根据指令，在原始人脸图像及参考人脸图像中分别获取与人脸区域匹配的 原始区域人脸关键点集合以及参考区域人脸关键点集合；

根据参考区域人脸关键点集合，确定与原始区域人脸关键点集合匹配的调 整后区域人脸关键点集合；

根据调整后区域人脸关键点集合，对原始人脸图像中的原始网格进行调整， 生成调整后人脸图像。

可选的，根据参考区域人脸关键点集合，确定与原始区域人脸关键点集合 匹配的调整后区域人脸关键点集合，包括：

在原始人脸图像以及参考人脸图像中分别确定目标定点；

分别计算参考区域人脸关键点集合及原始区域人脸关键点集合中各区域人 脸关键点与对应目标定点之间的位置向量，并组成多个位置向量对；

根据预设的变化力度及各位置向量对，计算与原始区域人脸关键点集合中 各区域人脸关键点对应的调整后位置向量；

根据调整后位置向量，确定与原始区域人脸关键点集合匹配的调整后区域 人脸关键点集合。

可选的，在原始人脸图像以及参考人脸图像中分别确定目标定点，包括：

根据与原始人脸图像及参考人脸图像分别对应的人脸关键点集合，确定与 原始人脸图像及参考人脸图像分别对应的最小外接矩形；

在各最小外接矩形中，获取同一位置的角点作为目标定点。

可选的，根据与原始人脸图像及参考人脸图像分别对应的人脸关键点集合， 确定与原始人脸图像及参考人脸图像分别对应的最小外接矩形，包括：

在与原始人脸图像及参考人脸图像分别对应的人脸关键点集合中，分别获 取图像坐标系四个方向上的最大值点；

根据与各人脸关键点集合对应的图像坐标系四个方向上的最大值点，确定 与原始人脸图像及参考人脸图像分别对应的最小外接矩形。

可选的，根据预设的变化力度及各位置向量对，计算与原始区域人脸关键 点集合中各区域人脸关键点对应的调整后位置向量，包括：

根据与原始人脸图像及参考人脸图像分别对应的最小外接矩形，计算原始 人脸图像与参考人脸图像之间的缩放比例系数；

根据预设的变化力度、各位置向量对、以及缩放比例系数，计算与原始区 域人脸关键点集合中各区域人脸关键点对应的调整后位置向量。

可选的，根据预设的变化力度、各位置向量对、以及缩放比例系数，计算 与原始区域人脸关键点集合中各区域人脸关键点对应的调整后位置向量，包括：

根据公式：σ*XnA+(1-σ)*Xn’A’*K＝XnzAz，计算原始区域人脸关键 点集合中的区域人脸关键点Xn’的调整后位置向量XnzAz，XnzAz与第n个位 置向量对(XnA，Xn’A’)对应；

其中，XnA为参考区域人脸关键点集合中区域人脸关键点Xn与参考人脸 图像中目标定点A之间的位置向量，Xn’A’为原始区域人脸关键点集合中区域 人脸关键点Xn’与原始人脸图像中目标定点A’之间的位置向量，Xn与Xn’相匹 配，σ为变化力度，σ∈[0,1]，K为缩放比例系数。

可选的，根据调整后区域人脸关键点集合，对原始人脸图像中的原始网格 进行调整，生成调整后人脸图像，包括：

建立与原始人脸图像匹配的空白图像；

根据调整后区域人脸关键点集合，确定原始人脸图像中各原始网格的网格 变形方式；

根据网格变形方式，在空白图像中，划分出与原始网格对应的多个目的变 形网格；

根据原始网格与目的变形网格之间的位置对应关系，将原始网格中的各像 素点映射至对应的目的变形网格中，得到调整后人脸图像。

可选的，根据原始网格与目的变形网格之间的位置对应关系，将原始网格 中的各像素点映射至对应的目的变形网格中，得到调整后人脸图像，包括：

获取原始人脸图像中的一个原始网格作为当前处理网格；

在空白图像中，获取与当前处理网格匹配的目的变形网格，作为配对网格；

获取与当前处理网格对应的第一顶点序列，以及与配对网格对应的第二顶 点序列，并根据第一顶点序列以及第二顶点序列，计算当前处理网格与配对网 格之间的映射关系矩阵；

根据映射关系矩阵，将当前处理网格中的各像素点映射至配对网格中，并 返回执行获取原始人脸图像中的一个原始网格作为当前处理网格的操作，直至 完成对全部原始网格的处理。

可选的，在获取将原始人脸图像中设定人脸区域按照参考人脸图像进行调 整的指令之前，还包括：

获取人脸图像数据，并识别人脸图像数据中的人脸关键点；

根据人脸关联点，将人脸图像数据划分为多个网格，网格的顶点至少包括 人脸关键点；

绘制网格，得到原始人脸图像进行显示，并将绘制出的各网格作为原始网 格。

第二方面，本发明实施例还提供了一种图像处理装置，包括：

调整指令获取模块，用于获取将原始人脸图像中设定人脸区域按照参考人 脸图像进行调整的指令；原始人脸图像由人脸关键点划分出的多个原始网格构 成；

关键点集合获取模块，用于根据指令，在原始人脸图像及参考人脸图像中 分别获取与人脸区域匹配的原始区域人脸关键点集合以及参考区域人脸关键点 集合；

确定模块，用于根据参考区域人脸关键点集合，确定与原始区域人脸关键 点集合匹配的调整后区域人脸关键点集合；

调整模块，用于根据调整后区域人脸关键点集合，对原始人脸图像中的原 始网格进行调整，生成调整后人脸图像。

第三方面，本发明实施例还提供了一种设备，设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当一个或多个程序被一个或多个处理器执行，使得一个或多个处理器实现 本发明任意实施例提供的图像处理方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有 计算机程序，该程序被处理器执行时实现本发明任意实施例提供的图像处理方 法。

本发明实施例中，通过获取将原始人脸图像中设定人脸区域按照参考人脸 图像进行调整的指令；原始人脸图像由人脸关键点划分出的多个原始网格构成； 根据指令，在原始人脸图像及参考人脸图像中分别获取与人脸区域匹配的原始 区域人脸关键点集合以及参考区域人脸关键点集合；根据参考区域人脸关键点 集合，确定与原始区域人脸关键点集合匹配的调整后区域人脸关键点集合；根 据调整后区域人脸关键点集合，对原始人脸图像中的原始网格进行调整，生成 调整后人脸图像，解决了现有技术中对原始人脸图像与调整后人脸图像的尺寸 和形状有限制，人脸调整效率低的问题，不限制原始人脸图像与调整后人脸图 像的尺寸和形状，提高了对原始人脸图像的变形调整速度，可适应于视频实时人脸变换。

附图说明

图1a是本发明实施例一中的一种图像处理方法的流程图；

图1b是本发明实施例一中的一种人脸关键点的示意图；

图1c是本发明实施例一中的一种人脸图像中的原始网格的示意图；

图1d是本发明实施例一中的一种网格配对示意图；

图2a是本发明实施例二中的一种图像处理方法的流程图；

图2b是本发明实施例二中的最小外接矩形的示意图；

图3是本发明实施例三中的一种图像处理装置的结构示意图；

图4是本发明实施例四中的一种设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此 处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需 要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结 构。

实施例一

图1a是本发明实施例一中的一种图像处理方法的流程图，本实施例可适用 于对图像中的人脸进行快速实时变形调整的情况，该方法可以由图像处理装置 来执行，该装置可以由硬件和/或软件来实现，并一般可以集成在提供图像处理 服务的设备中。如图1a所示，该方法包括：

步骤110、获取将原始人脸图像中设定人脸区域按照参考人脸图像进行调整 的指令。

本实施例中，原始人脸图像由人脸关键点划分出的多个原始网格构成。原 始人脸图像是指带有人脸的图片，可以是用户的自拍或者拍摄照片，视频或直 播中的人物截图等等，为了便于对人脸的五官或者脸型等设定人脸区域进行调 整，预先根据原始人脸图像中识别出的人脸关键点，将原始人脸图像划分成多 个原始网格，使得可以原始网格为单位对人脸进行变形调整。

在获取将原始人脸图像中设定人脸区域按照参考人脸图像进行调整的指令 之后，可以根据该调整指令指示的参考人脸图像对原始人脸图像中的人脸进行 指定的变形调整操作，例如，瘦脸、增大眼睛、垫高鼻子、变小嘴唇等等，并 且，根据该调整指令可以确定原始人脸图像中的各原始网格分别需要进行怎样 的变形。

可选的，在获取将原始人脸图像中设定人脸区域按照参考人脸图像进行调 整的指令之前，还可以包括：获取人脸图像数据，并识别人脸图像数据中的人 脸关键点；根据人脸关联点，将人脸图像数据划分为多个网格，网格的顶点至 少包括人脸关键点；绘制网格，得到原始人脸图像进行显示，并将绘制出的各 网格作为原始网格。

本实施例中，可以通过对人脸图像数据进行人脸检测，识别出人脸图像数 据中包含的人脸关键点，也就是定位出人脸面部的关键区域位置，包括眉毛、 眼睛、鼻子、嘴巴、脸部轮廓等等，如图1b所示。其中，人脸关键点的数量， 可以根据实际情况设置，对于静态的图像处理，实时性要求较低，可以检测较 为稠密的人脸关键点，对于直播等，实时性要求较高，可以检测较为稀疏的人 脸关键点。

本实施例中，网格代表单个的可绘制实体，其顶点至少包括人脸关键点， 即以人脸关键点作为网格的至少部分顶点，将人脸图像数据进行网格化，划分 为两个及两个以上的网格，如图1c所示。网格化就是将凹多边形或者有边相交 的多边形划分成凸多边形，如三角形，以便被渲染引擎渲染。其中，网格之间 是有序的，可以形成网格序列，当调用渲染引擎时，会按照顺序绘制每个网格， 从而在屏幕显示带有网格的人脸图像数据。

步骤120、根据指令，在原始人脸图像及参考人脸图像中分别获取与人脸 区域匹配的原始区域人脸关键点集合以及参考区域人脸关键点集合。

本实施例中，为了能根据指令指示的参考人脸图像对原始人脸图像中的人 脸进行指定的变形调整操作，需要先在原始人脸图像及参考人脸图像中分别获 取与人脸区域匹配的原始区域人脸关键点集合以及参考区域人脸关键点集合， 进而才能找到原始区域人脸关键点以及参考区域人脸关键点之间的对应关系， 确定原始人脸图像中的各原始网格分别需要进行的变形调整操作。

步骤130、根据参考区域人脸关键点集合，确定与原始区域人脸关键点集 合匹配的调整后区域人脸关键点集合。

考虑到原始人脸图像与参考人脸图像的图像尺寸、人脸的脸型以及人脸的 五官等方面都有可能不一致，因此，需要根据各参考区域人脸关键点，找到对 应的原始区域人脸关键点在对各不同方面进行调整后的关键点位置。

可选的，根据参考区域人脸关键点集合，确定与原始区域人脸关键点集合 匹配的调整后区域人脸关键点集合，可以包括：在原始人脸图像以及参考人脸 图像中分别确定目标定点；分别计算参考区域人脸关键点集合及原始区域人脸 关键点集合中各区域人脸关键点与对应目标定点之间的位置向量，并组成多个 位置向量对；根据预设的变化力度及各位置向量对，计算与原始区域人脸关键 点集合中各区域人脸关键点对应的调整后位置向量；根据调整后位置向量，确 定与原始区域人脸关键点集合匹配的调整后区域人脸关键点集合。

本实施例中，为了确定原始人脸图像以及参考人脸图像的对应关系，需要 先在原始人脸图像以及参考人脸图像中分别确定一个目标定点作为参考位置 点，该目标定点在原始人脸图像以及参考人脸图像中的位置是相同的，原始人 脸图像以及参考人脸图像中的各人脸关键点分别通过与对应目标定点之间的相 对位置关系来确定两者之间的对应关系。

可以分别计算参考区域人脸关键点集合及原始区域人脸关键点集合中各区 域人脸关键点与对应目标定点之间的位置向量，并组成多个位置向量对，在每 个位置向量对中，一个位置向量中的参考区域人脸关键点与另一个位置向量中 的原始区域人脸关键点相对应，可以根据预设的变化力度以及两者间的对应关 系，计算与该原始区域人脸关键点对应的调整后位置向量，进而根据对应目标 定点的位置，确定与该原始区域人脸关键点匹配的调整后区域人脸关键点。

步骤140、根据调整后区域人脸关键点集合，对原始人脸图像中的原始网 格进行调整，生成调整后人脸图像。

可选的，根据调整后区域人脸关键点集合，对原始人脸图像中的原始网格 进行调整，生成调整后人脸图像，可以包括：建立与原始人脸图像匹配的空白 图像；根据调整后区域人脸关键点集合，确定原始人脸图像中各原始网格的网 格变形方式；根据网格变形方式，在空白图像中，划分出与原始网格对应的多 个目的变形网格；根据原始网格与目的变形网格之间的位置对应关系，将原始 网格中的各像素点映射至对应的目的变形网格中，得到调整后人脸图像。

本实施例中，可以在获取到将原始人脸图像中设定人脸区域按照参考人脸 图像进行调整的指令后，建立与原始人脸图像尺寸大小一致的空白图像，也可 以在确定与原始区域人脸关键点集合匹配的调整后区域人脸关键点集合之后， 再建立空白图像，以便于后续在空白图像中划分出与原始网格对应的目的变形 网格，以及，在对原始人脸中的各原始网格进行变形调整后，在空白图像中显 示调整后的人脸，得到调整后的图像。

可选的，通过比对调整后区域人脸关键点集合与原始区域人脸关键点集合， 可以确定原始人脸图像中各原始网格的网格变形方式，例如，将原始网格s中 的顶点c移至指定位置点c’，将顶点d移至指定位置点d’，然后在空白图像中， 根据原始网格s以及对应的网格变形方式，就可以划分出与原始网格s对应的 目的变形网格。

本实施例中，为了加快对原始人脸图像的处理速度，在划分出与原始网格 对应的多个目的变形网格之后，直接根据原始网格与目的变形网格的映射关系， 依次将各原始网格中的像素点映射到对应的目的变形网格中，不需要将原始网 格中的像素点重新渲染到目的变形网格中。

可选的，根据原始网格与目的变形网格之间的位置对应关系，将原始网格 中的各像素点映射至对应的目的变形网格中，得到调整后人脸图像，可以包括： 获取原始人脸图像中的一个原始网格作为当前处理网格；在空白图像中，获取 与当前处理网格匹配的目的变形网格，作为配对网格；获取与当前处理网格对 应的第一顶点序列，以及与配对网格对应的第二顶点序列，并根据第一顶点序 列以及第二顶点序列，计算当前处理网格与配对网格之间的映射关系矩阵；根 据映射关系矩阵，将当前处理网格中的各像素点映射至配对网格中，并返回执 行获取原始人脸图像中的一个原始网格作为当前处理网格的操作，直至完成对 全部原始网格的处理。

本实施例中，在对原始人脸图像中的各原始网格中的像素点进行映射时， 可以先从多个原始网格中选择一个作为当前处理网格，例如可以先从目标调整 网格网格中选择原始网格A当作当前处理网格，然后在空白图像中划分出与当 前处理网格匹配的目的变形网格a，作为配对网格，如图1d所示。接着获取与 当前处理网格A对应的第一顶点序列(x1,y1)、(x2,y2)、(x3,y3)，即当前处 理网格A的三个顶点的坐标，以及与配对网格a对应的第二顶点序列(x1',y1')、 (x2',y2')、(x3',y3')，进而根据当前处理网格A与配对网格a的顶点坐标，计 算两者之间的映射关系矩阵，根据映射关系矩阵得到当前处理网格A中的各个像素点在配对网格a中的坐标值，从而可以实现将当前处理网格A中的各个像 素点直接映射到配对网格a中。然后从剩余的原始网格中选择一个当作当前处 理网格，重复上述过程，直到原始人脸图像中的所有原始网格都被处理完，得 到调整后人脸图像为止。

本发明实施例中，通过获取将原始人脸图像中设定人脸区域按照参考人脸 图像进行调整的指令；原始人脸图像由人脸关键点划分出的多个原始网格构成； 根据指令，在原始人脸图像及参考人脸图像中分别获取与人脸区域匹配的原始 区域人脸关键点集合以及参考区域人脸关键点集合；根据参考区域人脸关键点 集合，确定与原始区域人脸关键点集合匹配的调整后区域人脸关键点集合；根 据调整后区域人脸关键点集合，对原始人脸图像中的原始网格进行调整，生成 调整后人脸图像，解决了现有技术中对原始人脸图像与调整后人脸图像的尺寸 和形状有限制，人脸调整效率低的问题，不限制原始人脸图像与调整后人脸图 像的尺寸和形状，提高了对原始人脸图像的变形调整速度，可适应于视频实时人脸变换。

实施例二

图2a是本发明实施例二中的一种图像处理方法的流程图。本实施例可以与 上述实施例中各个可选方案结合。具体的，参考图2a，该方法可以包括如下步 骤：

步骤210、根据人脸关键点，将原始人脸图像划分为多个原始网格。

步骤220、获取将原始人脸图像中设定人脸区域按照参考人脸图像进行调 整的指令。

步骤230、根据指令，在原始人脸图像及参考人脸图像中分别获取与人脸 区域匹配的原始区域人脸关键点集合以及参考区域人脸关键点集合。

步骤240、在原始人脸图像以及参考人脸图像中分别确定目标定点。

可选的，在原始人脸图像以及参考人脸图像中分别确定目标定点，可以包 括：根据与原始人脸图像及参考人脸图像分别对应的人脸关键点集合，确定与 原始人脸图像及参考人脸图像分别对应的最小外接矩形；在各最小外接矩形中， 获取同一位置的角点作为目标定点。

本实施例中，根据与原始人脸图像及参考人脸图像分别对应的人脸关键点 集合，可以确定分别覆盖原始人脸区域以及参考人脸区域的最小外接矩形，本 实施例中，最小外接矩形可以替换为最小外接正方形、最小外接五边形、最小 外接圆形等其他多边形，然后在各最小外接矩形中，获取同一位置的顶点作为 目标定点，用于确定各原始区域人脸关键点与各参考区域人脸关键点之间的对 应关系。

可选的，根据与原始人脸图像及参考人脸图像分别对应的人脸关键点集合， 确定与原始人脸图像及参考人脸图像分别对应的最小外接矩形，可以包括：在 与原始人脸图像及参考人脸图像分别对应的人脸关键点集合中，分别获取图像 坐标系四个方向上的最大值点；根据与各人脸关键点集合对应的图像坐标系四 个方向上的最大值点，确定与原始人脸图像及参考人脸图像分别对应的最小外 接矩形。

示例性的，如图2b所示，以原始人脸图像的最小外接矩形为例，假设原始 人脸图像中共有n个人脸关键点，第i个人脸关键点的坐标为(xi,yi)，则可以 根据如下方式获取图像坐标系四个方向上的最大值点，即确定原始人脸图像的 最小外接矩形的四个顶点坐标：

A’点坐标：(min(x1,x2,…,xn),max(y1,y2,…,yn))，

B’点坐标：(min(x1,x2,…,xn),min(y1,y2,…,yn))，

C’点坐标：(max(x1,x2,…,xn),min(y1,y2,…,yn))，

D’点坐标：(max(x1,x2,…,xn),max(y1,y2,…,yn))，

通过依次连接顶点A’、B’、C’和D’，就可以得到原始人脸图像的最小外接 矩形。

步骤250、分别计算参考区域人脸关键点集合及原始区域人脸关键点集合 中各区域人脸关键点与对应目标定点之间的位置向量，并组成多个位置向量对。

步骤260、根据预设的变化力度及各位置向量对，计算与原始区域人脸关 键点集合中各区域人脸关键点对应的调整后位置向量。

可选的，根据预设的变化力度及各位置向量对，计算与原始区域人脸关键 点集合中各区域人脸关键点对应的调整后位置向量，可以包括：根据与原始人 脸图像及参考人脸图像分别对应的最小外接矩形，计算原始人脸图像与参考人 脸图像之间的缩放比例系数；根据预设的变化力度、各位置向量对、以及缩放 比例系数，计算与原始区域人脸关键点集合中各区域人脸关键点对应的调整后 位置向量。

本实施例中，缩放比例系数可以是原始人脸图像对应的最小外接矩形与参 考人脸图像对应的最小外接矩形的对角线长度的比值，也可以是最小外接矩形 的面积比值，或者根据其他方式确定。确定原始人脸图像与参考人脸图像之间 的缩放比例系数之后，即可以将原始人脸图像的位置向量缩放至参考人脸图像 的位置向量大小，使得人脸变换不受图像尺寸的限制，再通过向量混合叠加得 到最终的变换处理向量。

可选的，根据预设的变化力度、各位置向量对、以及缩放比例系数，计算 与原始区域人脸关键点集合中各区域人脸关键点对应的调整后位置向量，可以 包括：根据公式：σ*XnA+(1-σ)*Xn’A’*K＝XnzAz，计算原始区域人脸关 键点集合中的区域人脸关键点Xn’的调整后位置向量XnzAz，XnzAz与第n个 位置向量对(XnA，Xn’A’)对应；其中，XnA为参考区域人脸关键点集合中 区域人脸关键点Xn与参考人脸图像中目标定点A之间的位置向量，Xn’A’为原 始区域人脸关键点集合中区域人脸关键点Xn’与原始人脸图像中目标定点A’之 间的位置向量，Xn与Xn’相匹配，σ为变化力度，σ∈[0,1]，K为缩放比例系 数。

本实施例中，如果根据公式对原始区域人脸关键点集合中的所有区域人脸 关键点对应的位置向量分别进行调整变形，则最后实现的是原始人脸图像的脸 型和五官的整体变换，如果仅根据公式对原始区域人脸关键点集合中的某一种 五官的关键点对应的位置向量进行调整变形，则最终实现的是对该五官的变换 效果，例如，只变换嘴型等等。得到调整后位置向量XnzAz后，通过坐标转换 即可得到调整后的人脸关键点坐标(Xz,Yz)。

步骤270、根据调整后位置向量，确定与原始区域人脸关键点集合匹配的 调整后区域人脸关键点集合。

步骤280、根据调整后区域人脸关键点集合，对原始人脸图像中的原始网 格进行调整，生成调整后人脸图像。

本发明实施例中，通过获取将原始人脸图像中设定人脸区域按照参考人脸 图像进行调整的指令；原始人脸图像由人脸关键点划分出的多个原始网格构成； 根据指令，在原始人脸图像及参考人脸图像中分别获取与人脸区域匹配的原始 区域人脸关键点集合以及参考区域人脸关键点集合；根据参考区域人脸关键点 集合，确定与原始区域人脸关键点集合匹配的调整后区域人脸关键点集合；根 据调整后区域人脸关键点集合，对原始人脸图像中的原始网格进行调整，生成 调整后人脸图像，解决了现有技术中对原始人脸图像与调整后人脸图像的尺寸 和形状有限制，人脸调整效率低的问题，不限制原始人脸图像与调整后人脸图 像的尺寸和形状，提高了对原始人脸图像的变形调整速度，可适应于视频实时人脸变换。

实施例三

图3是本发明实施例三中的一种图像处理装置的结构示意图，本实施例可 适用于对图像中的人脸进行快速实时变形调整的情况。如图3所示，该图像处 理装置包括：调整指令获取模块310、关键点集合获取模块320、确定模块330 以及调整模块340。

调整指令获取模块310，用于获取将原始人脸图像中设定人脸区域按照参 考人脸图像进行调整的指令；原始人脸图像由人脸关键点划分出的多个原始网 格构成；

关键点集合获取模块320，用于根据指令，在原始人脸图像及参考人脸图 像中分别获取与人脸区域匹配的原始区域人脸关键点集合以及参考区域人脸关 键点集合；

确定模块330，用于根据参考区域人脸关键点集合，确定与原始区域人脸 关键点集合匹配的调整后区域人脸关键点集合；

调整模块340，用于根据调整后区域人脸关键点集合，对原始人脸图像中 的原始网格进行调整，生成调整后人脸图像。

本发明实施例中，通过获取将原始人脸图像中设定人脸区域按照参考人脸 图像进行调整的指令；原始人脸图像由人脸关键点划分出的多个原始网格构成； 根据指令，在原始人脸图像及参考人脸图像中分别获取与人脸区域匹配的原始 区域人脸关键点集合以及参考区域人脸关键点集合；根据参考区域人脸关键点 集合，确定与原始区域人脸关键点集合匹配的调整后区域人脸关键点集合；根 据调整后区域人脸关键点集合，对原始人脸图像中的原始网格进行调整，生成 调整后人脸图像，解决了现有技术中对原始人脸图像与调整后人脸图像的尺寸 和形状有限制，人脸调整效率低的问题，不限制原始人脸图像与调整后人脸图 像的尺寸和形状，提高了对原始人脸图像的变形调整速度，可适应于视频实时人脸变换。

可选的，确定模块330，具体用于：在原始人脸图像以及参考人脸图像中 分别确定目标定点；分别计算参考区域人脸关键点集合及原始区域人脸关键点 集合中各区域人脸关键点与对应目标定点之间的位置向量，并组成多个位置向 量对；根据预设的变化力度及各位置向量对，计算与原始区域人脸关键点集合 中各区域人脸关键点对应的调整后位置向量；根据调整后位置向量，确定与原 始区域人脸关键点集合匹配的调整后区域人脸关键点集合。

可选的，确定模块330，具体用于：根据与原始人脸图像及参考人脸图像 分别对应的人脸关键点集合，确定与原始人脸图像及参考人脸图像分别对应的 最小外接矩形；在各最小外接矩形中，获取同一位置的角点作为目标定点。

可选的，确定模块330，具体用于：在与原始人脸图像及参考人脸图像分 别对应的人脸关键点集合中，分别获取图像坐标系四个方向上的最大值点；根 据与各人脸关键点集合对应的图像坐标系四个方向上的最大值点，确定与原始 人脸图像及参考人脸图像分别对应的最小外接矩形。

可选的，确定模块330，具体用于：根据与原始人脸图像及参考人脸图像 分别对应的最小外接矩形，计算原始人脸图像与参考人脸图像之间的缩放比例 系数；根据预设的变化力度、各位置向量对、以及缩放比例系数，计算与原始 区域人脸关键点集合中各区域人脸关键点对应的调整后位置向量。

可选的，确定模块330，具体用于：根据公式：σ*XnA+(1-σ)*Xn’A’*K＝ XnzAz，计算原始区域人脸关键点集合中的区域人脸关键点Xn’的调整后位置向 量XnzAz，XnzAz与第n个位置向量对(XnA，Xn’A’)对应；其中，XnA为 参考区域人脸关键点集合中区域人脸关键点Xn与参考人脸图像中目标定点A 之间的位置向量，Xn’A’为原始区域人脸关键点集合中区域人脸关键点Xn’与原 始人脸图像中目标定点A’之间的位置向量，Xn与Xn’相匹配，σ为变化力度， σ∈[0,1]，K为缩放比例系数。

可选的，调整模块340，具体用于：建立与原始人脸图像匹配的空白图像； 根据调整后区域人脸关键点集合，确定原始人脸图像中各原始网格的网格变形 方式；根据网格变形方式，在空白图像中，划分出与原始网格对应的多个目的 变形网格；根据原始网格与目的变形网格之间的位置对应关系，将原始网格中 的各像素点映射至对应的目的变形网格中，得到调整后人脸图像。

可选的，调整模块340，具体用于：获取原始人脸图像中的一个原始网格 作为当前处理网格；在空白图像中，获取与当前处理网格匹配的目的变形网格， 作为配对网格；获取与当前处理网格对应的第一顶点序列，以及与配对网格对 应的第二顶点序列，并根据第一顶点序列以及第二顶点序列，计算当前处理网 格与配对网格之间的映射关系矩阵；根据映射关系矩阵，将当前处理网格中的 各像素点映射至配对网格中，并返回执行获取原始人脸图像中的一个原始网格 作为当前处理网格的操作，直至完成对全部原始网格的处理。

可选的，调整指令获取模块310，还用于在获取将原始人脸图像中设定人 脸区域按照参考人脸图像进行调整的指令之前，获取人脸图像数据，并识别人 脸图像数据中的人脸关键点；根据人脸关联点，将人脸图像数据划分为多个网 格，网格的顶点至少包括人脸关键点；绘制网格，得到原始人脸图像进行显示， 并将绘制出的各网格作为原始网格。

本发明实施例所提供的图像处理装置可执行本发明任意实施例所提供的图 像处理方法，具备执行方法相应的功能模块和有益效果。

实施例四

图4是本发明实施例四公开的一种设备的结构示意图。图4示出了适于用 来实现本发明实施方式的示例性设备12的框图。图4显示的设备12仅仅是一 个示例，不应对本发明实施例的功能和使用范围带来任何限制。

如图4所示，设备12以通用计算设备的形式表现。设备12的组件可以包 括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同 系统组件(包括系统存储器28和处理单元16)的总线18。

总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控 制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线 结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA) 总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA) 局域总线以及外围组件互连(PCI)总线。

设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被 设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的 介质。

系统存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随 机存取存储器(RAM)30和/或高速缓存存储器32。设备12可以进一步包括其 它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例， 存储系统34可以用于读写不可移动的、非易失性磁介质(图4未显示，通常称 为“硬盘驱动器”)。尽管图4中未示出，可以提供用于对可移动非易失性磁盘 (例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM, DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可 以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一 个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块 被配置以执行本发明各实施例的功能。

具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如 存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用 程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包 括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/ 或方法。

设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器 24等)通信，还可与一个或者多个使得用户能与该设备12交互的设备通信， 和/或与使得该设备12能与一个或多个其它计算设备进行通信的任何设备(例 如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22 进行。并且，设备12还可以通过网络适配器20与一个或者多个网络(例如局 域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示， 网络适配器20通过总线18与设备12的其它模块通信。应当明白，尽管图中未 示出，可以结合设备12使用其它硬件和/或软件模块，包括但不限于：微代码、 设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及 数据备份存储系统等。

处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能 应用以及数据处理，例如实现本发明实施例所提供的图像处理方法。

也即：实现一种图像处理方法，包括：

获取将原始人脸图像中设定人脸区域按照参考人脸图像进行调整的指令； 原始人脸图像由人脸关键点划分出的多个原始网格构成；

根据指令，在原始人脸图像及参考人脸图像中分别获取与人脸区域匹配的 原始区域人脸关键点集合以及参考区域人脸关键点集合；

根据参考区域人脸关键点集合，确定与原始区域人脸关键点集合匹配的调 整后区域人脸关键点集合；

根据调整后区域人脸关键点集合，对原始人脸图像中的原始网格进行调整， 生成调整后人脸图像。

实施例五

本发明实施例五还公开了一种计算机存储介质，其上存储有计算机程序， 该程序被处理器执行时实现一种图像处理方法，包括：

获取将原始人脸图像中设定人脸区域按照参考人脸图像进行调整的指令； 原始人脸图像由人脸关键点划分出的多个原始网格构成；

根据指令，在原始人脸图像及参考人脸图像中分别获取与人脸区域匹配的 原始区域人脸关键点集合以及参考区域人脸关键点集合；

根据参考区域人脸关键点集合，确定与原始区域人脸关键点集合匹配的调 整后区域人脸关键点集合；

根据调整后区域人脸关键点集合，对原始人脸图像中的原始网格进行调整， 生成调整后人脸图像。

本发明实施例的计算机存储介质，可以采用一个或多个计算机可读的介质 的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储 介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、 红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存 储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、 便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式 可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、 光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行 系统、装置或者器件使用或者与其结合使用。

计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据 信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种 形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读 的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算 机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用 或者与其结合使用的程序。

计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括—— 但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计 算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、 Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的 程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算 机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算 机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形 中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN) —连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提 供商来通过因特网连接)。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员 会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进 行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽 然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以 上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例， 而本发明的范围由所附的权利要求范围决定。

Claims (12)

1.一种图像处理方法，其特征在于，包括：

获取将原始人脸图像中设定人脸区域按照参考人脸图像进行调整的指令；所述原始人脸图像由人脸关键点划分出的多个原始网格构成；

根据所述指令，在所述原始人脸图像及所述参考人脸图像中分别获取与所述人脸区域匹配的原始区域人脸关键点集合以及参考区域人脸关键点集合；

根据所述参考区域人脸关键点集合，确定与所述原始区域人脸关键点集合匹配的调整后区域人脸关键点集合；

根据所述调整后区域人脸关键点集合，对所述原始人脸图像中的所述原始网格进行调整，生成调整后人脸图像。

2.根据权利要求1所述的方法，其特征在于，根据所述参考区域人脸关键点集合，确定与所述原始区域人脸关键点集合匹配的调整后区域人脸关键点集合，包括：

在所述原始人脸图像以及所述参考人脸图像中分别确定目标定点；

分别计算所述参考区域人脸关键点集合及所述原始区域人脸关键点集合中各区域人脸关键点与对应目标定点之间的位置向量，并组成多个位置向量对；

根据预设的变化力度及各所述位置向量对，计算与所述原始区域人脸关键点集合中各区域人脸关键点对应的调整后位置向量；

根据所述调整后位置向量，确定与所述原始区域人脸关键点集合匹配的调整后区域人脸关键点集合。

3.根据权利要求2所述的方法，其特征在于，在所述原始人脸图像以及所述参考人脸图像中分别确定目标定点，包括：

根据与所述原始人脸图像及所述参考人脸图像分别对应的人脸关键点集合，确定与所述原始人脸图像及所述参考人脸图像分别对应的最小外接矩形；

在各所述最小外接矩形中，获取同一位置的角点作为所述目标定点。

4.根据权利要求3所述的方法，其特征在于，根据与所述原始人脸图像及所述参考人脸图像分别对应的人脸关键点集合，确定与所述原始人脸图像及所述参考人脸图像分别对应的最小外接矩形，包括：

在与所述原始人脸图像及所述参考人脸图像分别对应的人脸关键点集合中，分别获取图像坐标系四个方向上的最大值点；

根据与各所述人脸关键点集合对应的所述图像坐标系四个方向上的最大值点，确定与所述原始人脸图像及所述参考人脸图像分别对应的最小外接矩形。

5.根据权利要求3所述的方法，其特征在于，根据预设的变化力度及各所述位置向量对，计算与所述原始区域人脸关键点集合中各区域人脸关键点对应的调整后位置向量，包括：

根据与所述原始人脸图像及所述参考人脸图像分别对应的最小外接矩形，计算所述原始人脸图像与所述参考人脸图像之间的缩放比例系数；

根据预设的变化力度、各所述位置向量对、以及所述缩放比例系数，计算与所述原始区域人脸关键点集合中各区域人脸关键点对应的调整后位置向量。

6.根据权利要求5所述的方法，其特征在于，根据预设的变化力度、各所述位置向量对、以及所述缩放比例系数，计算与所述原始区域人脸关键点集合中各区域人脸关键点对应的调整后位置向量，包括：

根据公式：σ*XnA+(1-σ)*Xn’A’*K＝XnzAz，计算所述原始区域人脸关键点集合中的区域人脸关键点Xn’的调整后位置向量XnzAz，XnzAz与第n个位置向量对(XnA，Xn’A’)对应；

其中，XnA为所述参考区域人脸关键点集合中区域人脸关键点Xn与所述参考人脸图像中目标定点A之间的位置向量，Xn’A’为所述原始区域人脸关键点集合中区域人脸关键点Xn’与所述原始人脸图像中目标定点A’之间的位置向量，Xn与Xn’相匹配，σ为所述变化力度，σ∈[0,1]，K为所述缩放比例系数。

7.根据权利要求1-6任一项所述的方法，其特征在于，根据所述调整后区域人脸关键点集合，对所述原始人脸图像中的所述原始网格进行调整，生成调整后人脸图像，包括：

建立与所述原始人脸图像匹配的空白图像；

根据所述调整后区域人脸关键点集合，确定所述原始人脸图像中各所述原始网格的网格变形方式；

根据所述网格变形方式，在所述空白图像中，划分出与所述原始网格对应的多个目的变形网格；

根据所述原始网格与所述目的变形网格之间的位置对应关系，将所述原始网格中的各像素点映射至对应的目的变形网格中，得到所述调整后人脸图像。

8.根据权利要求7所述的方法，其特征在于，根据所述原始网格与所述目的变形网格之间的位置对应关系，将所述原始网格中的各像素点映射至对应的目的变形网格中，得到所述调整后人脸图像，包括：

获取所述原始人脸图像中的一个原始网格作为当前处理网格；

在所述空白图像中，获取与所述当前处理网格匹配的目的变形网格，作为配对网格；

获取与所述当前处理网格对应的第一顶点序列，以及与所述配对网格对应的第二顶点序列，并根据所述第一顶点序列以及所述第二顶点序列，计算所述当前处理网格与所述配对网格之间的映射关系矩阵；

根据所述映射关系矩阵，将所述当前处理网格中的各像素点映射至所述配对网格中，并返回执行获取所述原始人脸图像中的一个原始网格作为当前处理网格的操作，直至完成对全部原始网格的处理。

9.根据权利要求1-6任一项所述的方法，其特征在于，在获取将原始人脸图像中设定人脸区域按照参考人脸图像进行调整的指令之前，还包括：

获取人脸图像数据，并识别所述人脸图像数据中的人脸关键点；

根据所述人脸关联点，将所述人脸图像数据划分为多个网格，所述网格的顶点至少包括所述人脸关键点；

绘制所述网格，得到所述原始人脸图像进行显示，并将绘制出的各所述网格作为所述原始网格。

10.一种图像处理装置，其特征在于，包括：

调整指令获取模块，用于获取将原始人脸图像中设定人脸区域按照参考人脸图像进行调整的指令；所述原始人脸图像由人脸关键点划分出的多个原始网格构成；

关键点集合获取模块，用于根据所述指令，在所述原始人脸图像及所述参考人脸图像中分别获取与所述人脸区域匹配的原始区域人脸关键点集合以及参考区域人脸关键点集合；

确定模块，用于根据所述参考区域人脸关键点集合，确定与所述原始区域人脸关键点集合匹配的调整后区域人脸关键点集合；

调整模块，用于根据所述调整后区域人脸关键点集合，对所述原始人脸图像中的所述原始网格进行调整，生成调整后人脸图像。

11.一种设备，其特征在于，所述设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-9中任一所述的图像处理方法。

12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-9中任一所述的图像处理方法。

Images