CN111861872A - 图像换脸方法、视频换脸方法、装置、设备和存储介质 - Google Patents

Abstract

本发明实施例公开了一种图像换脸方法、视频换脸方法、装置、设备和存储介质，图像换脸方法包括：获取用于对待换脸的第一图像执行换脸操作的第二图像，第一图像包括第一人脸，第二图像包括第二人脸；对第一图像中的第一人脸进行变形处理得到包含变形后的第一人脸的第三图像，变形后的第一人脸和第二人脸的人脸关键点对齐；获取融合面罩，融合面罩设置有透明度；根据透明度将第三图像中变形后的第一人脸替换为第二人脸得到第一图像换脸后的目标图像。本发明实施例通过透明度计算像素值来调整换脸后的图像的色彩，无需通过泊松融合来实现图像换脸，无需计算图像的梯度，算法简单，既获得自然的换脸效果，又提高了图像的融合速度和图像换脸的效率。

Description

图像换脸方法、视频换脸方法、装置、设备和存储介质

技术领域

本发明实施例涉及图像处理技术领域，尤其涉及一种图像换脸方法、视频换脸方法、装置、设备和存储介质。

背景技术

随着短视频、直播等视频应用的普及，在视频中对视频人脸进行编辑变为一个热点，而更换视频中的人脸是非常有趣且吸引人的功能，对视频换脸的研究和探索也是近年来一项热门的课题。

现有技术中多采用泊松融合方法来更换视频中的人脸，泊松融合方法是采用泊松方程求解像素最优值，在保留源图像梯度信息的同时，又可以很好的融合源图像与目标图像的背景，该方法根据用户指定的边界条件求解一个泊松方程，实现了梯度域上的连续，从而达到边界处的无缝融合，因此，在泊松融合的过程中需要求解源图像的梯度信息以及目标图像的边界信息，再利用插值的方法重新构建出合成区域内的图像像素。

泊松融合的算法复杂度为O(N)，其中，N为融合区域的像素点个数，对泊松方程可通过牛顿迭代法、高斯-赛德尔迭代法、雅克比迭代法，梯度下降法，共轭梯度法等求解最优解，可见，泊松融合的算法复杂度与像素点个数正相关，而且需要不断迭求最优解，算法复杂，导致换脸的融合速度慢，图像换脸效率低。

发明内容

本发明实施例提供一种图像换脸方法、视频换脸方法、装置、设备和存储介质，以解决现有技术中采用泊松融合来对图像进行换脸存在算法复杂度高，导致换脸融合速度慢，图像换脸效率低的问题。

第一方面，本发明实施例提供了一种图像换脸方法，包括：

获取用于对待换脸的第一图像执行换脸操作的第二图像，所述第一图像包括第一人脸，所述第二图像包括第二人脸；

对所述第一图像中的所述第一人脸进行变形处理，得到包含变形后的第一人脸的第三图像，所述变形后的第一人脸和所述第二人脸的人脸关键点对齐；

获取融合面罩，所述融合面罩设置有透明度；

根据所述透明度将所述第三图像中变形后的第一人脸替换为所述第二人脸得到所述第一图像换脸后的目标图像。

第二方面，本发明实施例提供了一种视频换脸方法，包括：

获取待换脸的视频数据；

从每帧视频数据中提取第一图像；

获取用于对所述第一图像执行换脸操作的第二图像，所述第一图像包括第一人脸，所述第二图像包括第二人脸；

基于预设图像换脸方法将所述第一图像中的第一人脸更换为所述第二图像中的第二人脸，得到目标图像；

采用所述目标图像生成换脸后的视频数据；

其中，所述图像换脸方法为本发明任一实施例所述的图像换脸方法。

第三方面，本发明实施例提供了一种图像换脸装置，包括：

图像获取模块，用于获取用于对待换脸的第一图像执行换脸操作的第二图像，所述第一图像包括第一人脸，所述第二图像包括第二人脸；

变形处理模块，用于对所述第一图像中的所述第一人脸进行变形处理，得到包含变形后的第一人脸的第三图像，所述变形后的第一人脸和所述第二人脸的人脸关键点对齐；

融合面罩获取模块，用于获取融合面罩，所述融合面罩设置有透明度；

换脸模块，用于根据所述透明度将所述第三图像中变形后的第一人脸替换为所述第二人脸得到所述第一图像换脸后的目标图像。

第四方面，本发明实施例提供了一种视频换脸装置，包括：

视频数据获取模块，用于获取待换脸的视频数据；

第一图像提取模块，用于从每帧视频数据中提取第一图像；

第二图像获取模块，用于获取用于对所述第一图像执行换脸操作的第二图像，所述第一图像包括第一人脸，所述第二图像包括第二人脸；

换脸模块，用于基于预设图像换脸方法将所述第一图像中的第一人脸更换为所述第二图像中的第二人脸，得到目标图像；

视频数据生成模块，用于采用所述目标图像生成换脸后的视频数据；

其中，所述图像换脸方法为本发明任一实施例所述的图像换脸方法。

第五方面，本发明实施例提供了一种设备，所述设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本发明任一实施例所述的图像换脸方法和/或视频换脸方法。

第六方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本发明任一实施例所述的图像换脸方法和/或视频换脸方法。

本发明实施例在获取用于对待换脸的第一图像执行换脸操作的第二图像后，对第一图像中的第一人脸进行变形处理得到包含变形后的第一人脸的第三图像，该变形后的第一人脸和第二图像中的第二人脸的人脸关键点对齐，获取设置有透明度的融合面罩，根据融合面罩的透明度将第三图像中变形后的第一人脸替换为第二人脸得到第一图像换脸后的目标图像。本发明实施例通过人脸变形使得变形后的第一人脸和第二人脸的人脸关键点对齐后，通过融合面罩的透明度将变形后的第一人脸替换为第二人脸，实现了采用透明度计算像素值来调整换脸后的图像的色彩，从而获得融合自然的换脸后的目标图像，无需通过泊松融合来实现图像换脸，无需计算图像的梯度，算法简单，既能够获得自然的换脸效果，又提高了图像换脸的融合速度和图像换脸的效率。

附图说明

图1是本发明实施例一提供的一种图像换脸方法的步骤流程图；

图2A是本发明实施例二提供的一种图像换脸方法的步骤流程图；

图2B是本发明实例中图像换脸的示意图；

图2C是本发明实施例的融合面罩的示意图；

图3是本发明实施例三提供的一种视频换脸方法的步骤流程图；

图4是本发明实施例四提供的一种图像换脸装置的结构框图；

图5是本发明实施例五提供的一种视频换脸装置的结构框图；

图6是本发明实施例六提供的一种电子设备的结构示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互结合。

实施例一

图1为本发明实施例一提供的一种图像换脸方法的步骤流程图，本发明实施例可适用于对图像中的人脸进行更换的情况，该方法可以由本发明实施例的图像换脸装置来执行，该图像换脸装置可以由硬件或软件来实现，并集成在本发明实施例所提供的电子设备中，具体地，如图1所示，本发明实施例的图像换脸方法可以包括如下步骤：

S101、获取用于对待换脸的第一图像执行换脸操作的第二图像，所述第一图像包括第一人脸，所述第二图像包括第二人脸。

本发明实施例中，第一图像和第二图像均为包含人脸的图像，其中，第一图像为需要换脸的图像，第一图像包含第一人脸，第二图像为用户指定的用来替换掉第一图像中的第一人脸的图像，第二图像包含第二人脸。本发明实施例的目的是采用第二图像中的第二人脸替换掉第一图像中的第一人脸。

可选地，第一图像可以是视频数据中的一帧包含人脸的视频图像，例如，第一图像可以是短视频、直播视频中包含人脸的图像，当然，还可以是相机拍摄的一张包含人脸的图像，即第二图像还可以是用户指定的任意一张包含人脸的图像。在本发明的一个示例中，用户下载感兴趣的视频后，将视频中多帧包含人脸的视频图像作为第一图像，摄像头采集用户的脸部图像作为第二图像，从而实现将视频中多帧视频图像中的人脸替换为用户的人脸，例如，用户采用自拍图像中用户自己的人脸替换短视频中人物的人脸。

可选地，第二图像还可以是用户指定的图像经由图像处理后得到的图像，例如，用户指定一张图像，对该图像进行三维重建获得一三维人脸网格，将第一图像中第一人脸的姿态数据和人脸表情数据应用到该三维人脸网格上，从而获得包含指定图像中的第二人脸的第二图像，使得第二图像中的第二人脸的姿态数据和人脸表情数据与第一人脸相同，即第二图像中的第二人脸与第一图像中的第一人脸具有相同的姿态和人脸表情。

S102、对所述第一图像中的所述第一人脸进行变形处理，得到包含变形后的第一人脸的第三图像，所述变形后的第一人脸和所述第二人脸的人脸关键点对齐。

在本发明实施例中，可以对第一图像和第二图像均进行人脸关键点检测，分别得到第一人脸和第二人脸的人脸关键点，然后采用图像变形算法将第一人脸关键点的关键点位置调整为第二人脸的人脸关键点的位置得到第三图像，该第三图像中变形后的第一人脸的人脸关键点与第二人脸的人脸关键点的位置相同，从而可以避免两个人脸大小不一致，换脸后人脸特征无法对齐的问题。

S103、获取融合面罩，所述融合面罩设置有透明度。

其中，融合面罩可以是基于预设模板网格生成的具有透明度的三维网格模型，具体地，可以获取预先设置的模板网格，该模板网格上包含多个顶点以及多个顶点连接形成一三维人脸网格，然后在该模板网格上确定一个第一区域和一个第二区域，其中，第一区域为模板网格上包含人脸五官的最小的、连通的区域，第二区域为第一区域的边缘区域，并设置第一区域和第二区域所包含的顶点的透明度，在一个示例中，设置第一区域内所有顶点的透明度为1，第二区域内所有顶点的透明度为0，对于第一区域和第二区域以外的顶点，根据该顶点到第一区域和第二区域的最短距离，以及第一区域内顶点的透明度来计算该顶点的透明度，从而使得人脸区域中所有顶点都具有了透明度，相邻的顶点连接形成一面片，该面片即具有透明度，多个面片连接形成一具有透明度的融合面罩，即该融合面罩上的各个点均具有透明度，更进一步地，通过第一图像中第一人脸的姿态数据和人脸表情参数来调整该融合面罩，获得适用于替换第一人脸的融合面罩。

S104、根据所述透明度将所述第三图像中变形后的第一人脸替换为所述第二人脸得到所述第一图像换脸后的目标图像。

可选地，可以将第三图像中变形后的第一人脸替换为第二人脸得到一张初始图像，然后采用透明度对该初始图像中的人脸区域的色彩进行调整，调整后的图像即为第一图像换脸后的目标图像。

具体地，由于变形后的第一人脸和第二人脸的人脸关键点对齐，可以通过各个人脸关键点对齐后将第三图像中变形后的第一人脸替换为第二人脸，然后确定第二人脸中各个像素点在融合面罩中对应的透明度，采用该透明度和各个像素点的像素值计算目标像素值，将各个像素点的像素值调整为目标像素值，从而使得第二人脸自然地融合到第三图像中，获得自然的换脸效果。

本发明实施例通过人脸变形使得变形后的第一人脸和第二人脸的人脸关键点对齐后，通过融合面罩的透明度将变形后的第一人脸替换为第二人脸，可以通过透明度计算像素值来调整换脸后的图像的色彩，从而获得融合自然的换脸后的目标图像，无需通过泊松融合来实现图像换脸，无需计算图像的梯度，算法简单，既能够获得自然的换脸效果，又提高了图像的融合速度和图像换脸的效率。

实施例二

图2A为本发明实施例二提供的一种图像换脸方法的步骤流程图，本发明实施例在前述实施例一的基础上进行优化，具体地，如图2A所示，本发明实施例的图像换脸方法可以包括如下步骤：

S201、获取指定图像，所述指定图像包含第二人脸。

在本发明实施例中，指定图像可以是用户给定的图像，指定图像中包含无人脸表情的第二人脸。例如，指定图像可以是包含用户的、无人脸表情的人脸的图像。在本发明的一个示例中，指定图像可以是用户的自拍图像，在本发明的另一示例中，在对第一图像进行换脸编辑时，指定图像还可以是用户在本地给定的或者从网络上下载的包含第二人脸的图像，本发明实施例对获取指定图像的方式不加以限制，如图2B中的图像a即为指定图像，该指定图像中可以包含了用户的无人脸表情的人脸。

S202、对第一图像执行人脸检测操作获得所述第一图像中所述第一人脸的人脸数据。

在本发明的可选实施例中，第一图像可以是需要换脸的图像，如图2B中的图像b为第一图像。人脸数据可以包括人脸关键点、人脸姿态数据和人脸表情数据，其中，人脸关键点可以是人脸轮廓、人脸五官等关键点，人脸关键点的数量可以是5关键点、21关键点、68关键点、98关键点或者106关键点等；人脸姿态数据可以是人脸朝向的角度信息，可以用欧拉角表示，示例性地，可以从人脸关键点中确定左眼角，右眼角，鼻尖，左嘴角，右嘴角，下颌6个人脸关键点，通过该6个人脸关键点采用OpenCV的solvePnP函数解出旋转向量，最后将旋转向量转换为欧拉角，人脸姿态数据还可以包括人脸的平移、投影参数等；人脸表情数据可以是混合变形器(blendshape)的一组权重，该权重可以是人脸上各个区域或者关键点变形的权重，从而通过不同的权重驱动人脸上各个区域或者关键点混合变形获得各种人脸表情。

在本发明的一个示例中，可以对第一图像执行人脸检测操作以提取第一人脸的人脸关键点、人脸姿态数据和人脸表情数据，具体地，可以预先训练一个人脸检测模型，该人脸检测模型在输入一张包含人脸的图像后可以从该图像中提取人脸关键点、人脸姿态数据和人脸表情数据，将第一图像输入训练好的人脸检测模型后即可以获得第一图像中人脸的人脸关键点、人脸姿态数据和人脸表情数据。当然，在实际应用中，本领域技术人员还可以通过混合变形器(blendshape)优化的方法对第一图像提取人脸关键点、人脸姿态数据和人脸表情数据，本发明实施例对提取人脸数据的方法不加以限制。

S203、基于预设的模板网格对所述指定图像进行人脸重建，得到所述指定图像中所述第二人脸的人脸网格。

人脸重建可以是基于二维人脸图像重建三维人脸，在本发明实施例可以对用户的指定图像进行三维人脸重建，获得指定图像中第二人脸的人脸网格。具体地，可以获取预设的模板网格，该模板网格可以包括多个顶点，以及多个顶点连接而成的面片，本发明实施例可以对指定图像中的第二人脸进行网格重建，获得与模板网格具有相同结构的人脸网格，例如，人脸网格与模板网格具有相同的顶点和面片。

具体地，可以采用3DMM方法对第二人脸重建人脸网格，3DMM主要是基于平均人脸网格，基于该平均人脸网格进行变形得到任意的人脸网格，当然，还可以直接使用神经网络估算人脸的3D参数来生成人脸网格，例如，将指定图像输入训练好的神经网络中提取第二人脸的3D参数，通过3D参数来生成第二人脸的人脸网格，本发明实施例对生成第二人脸的人脸网格的方式不加以限制。

S204、采用所述人脸数据对所述人脸网格进行调整获得第二图像。

可选地，可以采用第一图像中第一人脸的人脸姿态数据和人脸表情数据调整预先设置的人脸网格的顶点位置获得第二图像，使得第二图像和第一图像中的人脸具有相同的姿态数据和人脸表情数据。

具体到，可以根据人脸姿态数据和人脸表情数据对人脸网格进行变形处理，例如，调整人脸网格的顶点位置，使得人脸网格所形成的三维人脸的姿态和人脸表情与第一图像中的第一人脸的姿态和人脸表情相同，其中，变形可以采用混合变形器来对人脸网格进行表情获得调整后的第二人脸网格，该第二人脸网格投影后即可以得到第二图像，第二图像中的第二人脸与第一图像中的第一人脸具有相同的姿态和人脸表情，如图2B所示的图像c为第二图像，图像c中的第二人脸为指定图像a中的人脸，但是图像c中的第二人脸的姿态和表情与图像b中的第一人脸的姿态和表情相同，从而使得采用第二人脸替换第一人脸后，换脸后的图像中人脸的姿态和表情不变。

S205、对所述第二图像中的所述第二人脸执行人脸关键点检测获得所述第二人脸的人脸关键点。

本发明实施例中，人脸关键点可以是人脸轮廓、人脸五官等关键点，人脸关键点的数量可以是5关键点、21关键点、68关键点、98关键点或者106关键点等，本发明实施例可以通过任意一种人脸关键点检测算法提取第二人脸的人脸关键点，本发明实施例对检测人脸关键点所采用的方法不加以限制。

S206、采用变形算法将所述第一图像中所述第一人脸的人脸关键点的位置调整为所述第二人脸的人脸关键点的位置，得到包含变形后的第一人脸的第三图像。

在实际应用中，第一人脸和第二人脸的大小可能不同，人脸中的各个人脸特征的位置和大小也不相同，例如，人脸五官的位置和大小不同，需要对第一人脸的进行变形处理，使得第一人脸和第二人脸的人脸关键点对齐，从而防止第二人脸替换第一人脸后，第一人脸上的一些显著性特征映射到第二人脸的皮肤上，例如，第一人脸上的眉毛比较浓，如果第一人脸和第二人脸的人脸关键点无法对齐，第一人脸上的眉毛可能会映射到第二人脸的皮肤上。

具体地，第二人脸的人脸网格上标注有人脸关键点，将该人脸关键点的位置作为第一图像中第一人脸的人脸关键点的目标位置，然后采用图像形变方法将第一图像中第一人脸的人脸关键点的位置调整到目标位置，即调整到第二人脸的人脸关键点的位置，使得变形后的第一人脸和第二人脸的人脸关键点的位置对齐。其中，图像形变方法可以是imagewarping(图像扭转)，采用图像形变方法对第一图像中的第一人脸进行形变，从而获得第一人脸与第二人脸的人脸关键点对齐，第一人脸中其余像素平滑过渡的图像，即得到包含变形后的第一人脸的第三图像。

如图2B所示，提取图像c中第二人脸的人脸关键点，对图像b中的第一人脸的人脸关键点进行调整，得到图像d，图像d即为第三图像，该第三图像中变形后的第一人脸的人脸关键点与图像c中第二人脸的人脸关键点对齐。

S207、确定预设模板网格上顶点的透明度。

在本发明的可选实施例中，预设模板网格可以为预先制作的人脸模板网格，该人脸模板网格上包含多个顶点，可以从该预设模板网格上确定出第一区域和第二区域，其中，第一区域为模板网格上包含人脸五官的最小区域，第二区域为第一区域的边缘区域，其中，第二区域的大小可以根据第一区域的大小确定，示例性地，第二区域的面积可以是第一区域的面积的百分之几等。在确定第一区域和第二区域后，设置第一区域和第二区域中所包含的顶点的透明度，再计算第一区域和第二区域以外的目标顶点分别到第一区域和第二区域的第一最短距离和第二最短距离，根据第一最短距离、第二最短距离和第一区域中顶点的透明度计算目标顶点的透明度。

如图2C所示，从预设模板网格上确定出第一区域10以及第二区域20后，设置第一区域10内所有顶点的透明度为α为1，第二区域20内所有顶点的透明度为α为0，对于第一区域10和第二区域20以外的目标顶点，计算该目标顶点到第一区域10的边界的第一最短距离为d1，到第二区域20的边界的第二最短距离为d0，计算第一最短距离d1和第二最短距离d0的和值d1+d0，进一步计算第一最短距离d1与和值d1+d0的比值d0/(d1+d0)，计算比值d0/(d1+d0)和第一区域10的顶点的透明度α的乘积α＝d0/(d1+d0)作为目标顶点的透明度。

S208、基于所述顶点的透明度生成一融合面罩。

具体地，相邻的顶点连接形成面片，多个面片连接获得融合面罩，示例性地，对于第一区域10内的多个顶点，其透明度均为1，则顶点连接后形成的面片的各个像素点的透明度均为1，若连接形成面片的顶点的透明度不相同，则根据形成面片的各个顶点的透明度确定面片上各个像素点的透明度，例如通过插值获得该面片内各个像素点的透明度等，从而使得融合面罩上所有的像素点均具有透明度。

S209、采用所述人脸数据调整所述融合面罩获得用于将变形后的第一人脸替换为所述第二人脸的融合面罩。

本发明实施例中，S207中预设模板网格与S203中对指定图像进行三维人脸重建时所使用的模板网格具有相同的结构，即具有相同的顶点和面片，可以通过人脸数据中第一人脸的姿态数据和人脸表情数据调整该融合面罩，使得调整后的融合面罩对应的人脸网格与S204中调整后的人脸网格是相同的。具体地，可以调整融合面罩上各个点在模板网格上对应的顶点的位置，使得融合面罩适用于对第一人脸进行替换，从而得到用于将变形后的第一人脸替换为第二人脸的融合面罩。如图2B中的图像g即为融合面罩，图像g的各个区域如图2C所示。

当然，在本发明的另一实施例中，也可以将S204中调整后的人脸网格作为预设模板网格，然后确定该预设模板网格上顶点的透明度，基于顶点的透明度直接生成用于将变形后的第一人脸替换为第二人脸的融合面罩。

S210、对所述第二图像的色彩进行校正，得到色彩校正后的第二图像。

在本发明的可选实施例中，校正第二图像的色彩时，可以先分别对第二图像和第三图像进行模糊处理，得到模糊处理后的第二图像和第三图像，进一步计算模糊处理后的第三图像的像素值与模糊处理后的第二图像的像素值的比值，计算比值与第二图像的像素值的乘积得到目标像素值，将第二图像的像素值调整为目标像素值得到色彩校正后的第二图像，其中，模糊处理可以是高斯模糊处理。

示例性地，如图2B所示，先对图像c(第二图像Iu)进行高斯模糊处理获得模糊处理后的第二图像Iu＇，对包含变形后的第一人脸的图像b(第三图像Iv)进行高斯模糊处理获得模糊处理后的第三图像Iv＇，则可以计算第二图像的目标像素值如下：

Ia＝Iu/Iu＇×Iv＇

上述公式中，对于将第二人脸和变形后的第一人脸的关键点对齐后，对于第二人脸上的每个像素点，目标像素值为模糊处理前后像素值的比值与模糊处理后的第三图像中该像素点对应的像素点的像素值的乘积。示例性地，对于第二人脸上的像素点a，其在第三图像中对应的像素点为b，则像素点a的目标像素值为：像素点a模糊处理前后像素值的比值与模糊处理后的第三图像中像素点b的像素值的乘积。如图2B中图像e为色彩校正后的第二图像，本发明实施例在人脸更换前对第二人脸的色彩进行校正，使得第二人脸替换变形后的第一人脸后能够获得色彩过渡自然的换脸图像。

S211、将所述第三图像中变形后的第一人脸替换为所述色彩校正后的第二图像中的第二人脸得到换脸后的初始图像。

具体地，由于第二人脸的人脸关键点和变形后的第一人脸的人脸关键点对齐，可以通过对齐人脸关键点来采用第二人脸覆盖掉第三图像中变形后的第一人脸，覆盖变形后的第一人脸后，变形后的第一人脸不可见。如图2B中图像f为初始图像，相对于图像b(第一图像)，图像b中的人脸已更换为图像e中色彩校正后的第二人脸。

S212、根据所透明度对所述初始图像的色彩进行调整获得所述第一图像换脸后的目标图像。

在本发明实施例中，针对初始图像中第二人脸区域的每个像素点，可以确定每个像素点在融合面罩中的透明度，计算透明度与色彩校正后像素点的像素值的乘积得到像素点的第一像素值，计算1与透明度的差值，计算差值与像素点在第一图像中的像素值的乘积得到像素点的第二像素值，将像素点的像素值调整为第一像素值与第二像素值的和值。

如图2B中图像f所示，第二人脸替换变形后的第一人脸后，在色彩上过渡不自然，为了使得色彩自然，需要对色彩进行调整，具体地，可以通过如下公式计算目标像素值：

I＝α×Ia+(1-α)×Iv

上述公式中，对于图像f中第二人脸区域的各个像素点，确定每个像素点在融合面罩中的透明度α、像素点在色彩校正后的第二人脸中的像素值Ia，像素点在第一图像Iv(图2B中的图像b)中的像素值Iv，通过上述公式即可以计算初始图像中第二人脸区域上每个像素点的目标像素值I，然后将该像素点的像素值调整为目标像素值I，如图2B中的图像h为换脸后的最终图像，图像h中的人脸由图像b(第一图像)中的第一人脸更换为图像a(指定图像)中的第二人脸。由于通过透明度、色彩校正后的像素值、第一图像中的像素值来综合计算第二人脸中各个像素点的像素值，使得像素点的像素值与第一图像的像素值自然过渡，第二人脸可以平滑、自然地融合到图像中，获得自然的换脸效果。

本发明实施例提取第一图像中第一人脸的人脸数据，并对用户的指定图像中的第二人脸进行三维重建获得人脸网格，将人脸数据应用到该人脸网格获得包含第二人脸的第二图像，通过人脸关键点对齐对第一图像中的第一人脸进行变形处理得到包含变形处理后的第三图像，并获取一用于将第二图像中的第二人脸替换到第三图像中的第一人脸的融合面罩，并根据融合面罩的透明度调整第二人脸的像素值，使得第二人脸的色彩与背景色彩平滑过渡，获得良好的换脸效果，无需通过泊松融合来实现图像换脸，无需计算图像的梯度，算法简单，既能够获得自然的换脸效果，又提高了图像的融合速度和图像换脸的效率。

进一步地，采用变形算法将第一图像中第一人脸的人脸关键点的位置调整为第二人脸的人脸关键点的位置，得到包含变形后的第一人脸的第三图像，第一人脸和第二人脸的人脸关键点对齐，使得第一人脸和第二人脸的生理特征对齐，避免了换脸后第一人脸的生理特征出现在第二人脸的皮肤上的情况。

更进一步地，在人脸更换前对第二人脸的色彩进行校正，使得第二人脸替换变形后的第一人脸后能够获得色彩过渡自然的换脸图像。

实施例三

图3为本发明实施例三提供的一种视频换脸方法的步骤流程图，本发明实施例可适用于更换视频中的人脸的情况，该方法可以由本发明实施例的视频换脸装置来执行，该视频换脸装置可以由硬件或软件来实现，并集成在本发明实施例所提供的设备中，具体地，如图3所示，本发明实施例的视频换脸方法可以包括如下步骤：

S301、获取待换脸的视频数据。

本发明实施例中，待换脸的视频数据可以是用户在短视频、直播平台观看的视频数据，该短视频数据可以是其他用户的视频数据，还可以是用户自拍的短视频数据，在本发明的一个示例中，用户观看并下载短视频数据，需要将短视频数据中的人脸更换为用户的人脸或者用户指定的其他人的人脸，在本发明的另一个示例中，用户拍摄包含用户自身人脸的视频，需要将该视频中的人脸替换为其他用户的人脸，或者，换脸还可以用于其他场景对视频数据进行换脸，本发明实施例对此不加以限制。

S302、从每帧视频数据中提取第一图像。

具体地，可以对视频数据进行解码，获得每帧视频数据，对该帧视频数据进行图像提取获得第一图像，优选地，提取包含人脸的图像作为第一图像，具体地，对每帧视频数据进行人脸识别，如果包含人脸，则提取该视频数据的图像作为第一图像，当然，在实际应用中，还可以对每帧视频数据进行指定人脸识别，即提取包含指定人脸的图像作为第一图像，从而实现对指定人脸进行换脸操作。

S303、获取用于对所述第一图像执行换脸操作的第二图像，所述第一图像包括第一人脸，所述第二图像包括第二人脸。

第二图像为用户指定的用来替换掉第一图像中的第一人脸的图像，第二图像包含第二人脸，示例性地，第二图像可以是摄像头采集的用户的脸部图像，当然，还可以是用户指定的其他包含人脸的图像。

S304、基于预设图像换脸方法将所述第一图像中的第一人脸更换为所述第二图像中的第二人脸，得到目标图像。

在本发明实施例中，图像换脸方法可以是实施例一或者实施例二所述的图像换脸方法，具体可参考实施例一或者实施例二，在此不再详述。

本发明实施例采用图像换脸方法，将从视频数据提取的多帧第一图像中的第一人脸更换为第二图像中的第二人脸，得到多帧目标图像。

S305、采用所述目标图像生成换脸后的视频数据。

具体地，可以采用多帧目标图像按照原第一图像的顺序拼接成视频数据，并对该视频数据进行编码后获得最终的视频数据。在本发明的一个示例中，还可以在接收到视频数据时，实时进行解码、提取图像、对提取图像执行换脸操作、直接显示换脸后的图像，从而实现在线换脸。

本发明实施例的视频换脸方法，采用预设图像换脸方法将视频数据中第一图像的第一人脸替换为第二图像中的第二人脸，该图像换脸方法通过人脸变形使得变形后的第一人脸和第二人脸的人脸关键点对齐后，通过融合面罩的透明度将变形后的第一人脸替换为第二人脸，可以通过透明度计算像素值来调整换脸后的图像的色彩，从而获得融合自然的换脸后的目标图像，无需通过泊松融合来实现图像换脸，无需计算图像的梯度，算法简单，既能够获得自然的换脸效果，又提高了图像换脸的融合速度和图像换脸的效率，从而获得换脸自然的视频和提高了视频换脸的速度。

实施例四

图4是本发明实施例四提供的一种图像换脸装置的结构框图，如图4所示，本发明实施例的图像换脸装置具体可以包括如下模块：

图像获取模块401，用于获取用于对待换脸的第一图像执行换脸操作的第二图像，所述第一图像包括第一人脸，所述第二图像包括第二人脸；

变形处理模块402，用于对所述第一图像中的所述第一人脸进行变形处理，得到包含变形后的第一人脸的第三图像，所述变形后的第一人脸和所述第二人脸的人脸关键点对齐；

融合面罩获取模块403，用于获取融合面罩，所述融合面罩设置有透明度；

换脸模块404，用于根据所述透明度将所述第三图像中变形后的第一人脸替换为所述第二人脸得到所述第一图像换脸后的目标图像。

本发明实施例所提供的图像换脸装置可执行本发明实施例一、实施例二所提供的图像换脸方法，具备执行方法相应的功能模块和有益效果。

实施例五

图5是本发明实施例五提供的一种视频换脸装置的结构框图，如图5所示，本发明实施例的视频换脸装置具体可以包括如下模块：

视频数据获取模块501，用于获取待换脸的视频数据；

第一图像提取模块502，用于从每帧视频数据中提取第一图像；

第二图像获取模块503，用于获取用于对所述第一图像执行换脸操作的第二图像，所述第一图像包括第一人脸，所述第二图像包括第二人脸；

换脸模块504，用于基于预设图像换脸方法将所述第一图像中的第一人脸更换为所述第二图像中的第二人脸，得到目标图像；

视频数据生成模块505，用于采用所述目标图像生成换脸后的视频数据；

其中，所述图像换脸方法为本发明实施例一或实施例二所述的图像换脸方法。

本发明实施例所提供的视频换脸装置可执行本发明实施例三所提供的视频换脸方法，具备执行方法相应的功能模块和有益效果。

实施例六

参照图6，示出了本发明一个示例中的一种设备的结构示意图。如图6所示，该设备具体可以包括：处理器601、存储装置602、具有触摸功能的显示屏603、输入装置604、输出装置605以及通信装置606。该设备中处理器601的数量可以是一个或者多个，图6中以一个处理器601为例。该设备的处理器601、存储装置602、显示屏603、输入装置604、输出装置605以及通信装置606可以通过总线或者其他方式连接，图6中以通过总线连接为例。所述设备用于执行如本发明任一实施例提供的图像换脸方法和/或视频换脸方法。

本发明实施例还提供一种计算机可读存储介质，所述存储介质中的指令由设备的处理器执行时，使得设备能够执行如上述方法实施例所述的图像换脸方法和/或视频换脸方法。

需要说明的是，对于装置、设备、存储介质实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变换、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (16)

1.一种图像换脸方法，其特征在于，包括：

获取用于对待换脸的第一图像执行换脸操作的第二图像，所述第一图像包括第一人脸，所述第二图像包括第二人脸；

对所述第一图像中的所述第一人脸进行变形处理，得到包含变形后的第一人脸的第三图像，所述变形后的第一人脸和所述第二人脸的人脸关键点对齐；

获取融合面罩，所述融合面罩设置有透明度；

根据所述透明度将所述第三图像中变形后的第一人脸替换为所述第二人脸得到所述第一图像换脸后的目标图像。

2.根据权利要求1所述的图像换脸方法，其特征在于，所述获取用于对待换脸的第一图像执行换脸操作的第二图像，包括：

获取指定图像，所述指定图像包含第二人脸；

对第一图像执行人脸检测操作获得所述第一图像中所述第一人脸的人脸数据；

基于预设的模板网格对所述指定图像进行人脸重建，得到所述指定图像中所述第二人脸的人脸网格；

采用所述人脸数据对所述人脸网格进行调整获得第二图像。

3.根据权利要求2所述的图像换脸方法，其特征在于，所述对第一图像执行人脸检测操作获得所述第一图像中所述第一人脸的人脸数据，包括：

对所述第一图像执行人脸检测操作以提取所述第一人脸的人脸关键点、人脸姿态数据和人脸表情数据。

4.根据权利要求2所述的图像换脸方法，其特征在于，所述人脸数据包括人脸姿态数据和人脸表情数据，所述采用所述人脸数据对所述人脸网格进行调整获得第二图像，包括：

采用人脸姿态数据和人脸表情数据调整所述人脸网格的顶点位置获得第二图像，所述第二图像和所述第一图像中的人脸具有相同的姿态数据和人脸表情数据。

5.根据权利要求1所述的图像换脸方法，其特征在于，所述对所述第一图像中的所述第一人脸进行变形处理，得到包含变形后的第一人脸的第三图像，包括：

对所述第二图像中的所述第二人脸执行人脸关键点检测获得所述第二人脸的人脸关键点；

采用变形算法将所述第一图像中所述第一人脸的人脸关键点的位置调整为所述第二人脸的人脸关键点的位置，得到包含变形后的第一人脸的第三图像。

6.根据权利要求1-5任一项所述的图像换脸方法，其特征在于，所述获取融合面罩，包括：

确定预设模板网格上顶点的透明度；

基于顶点的透明度生成一融合面罩；

采用所述人脸数据调整所述融合面罩获得用于将变形后的第一人脸替换为所述第二人脸的融合面罩。

7.根据权利要求6所述的图像换脸方法，其特征在于，所述确定预设模板网格上顶点的透明度，包括：

从所述预设模板网格上确定出第一区域和第二区域，所述第一区域为模板网格上包含人脸五官的最小区域，所述第二区域为所述第一区域的边缘区域；

设置所述第一区域和所述第二区域中所包含的顶点的透明度；

计算目标顶点分别到所述第一区域和所述第二区域的第一最短距离和第二最短距离，所述目标顶点为所述第一区域和所述第二区域以外的顶点；

根据所述第一最短距离、所述第二最短距离和所述第一区域中顶点的透明度计算所述目标顶点的透明度。

8.根据权利要求7所述的图像换脸方法，其特征在于，所述根据所述第一最短距离、所述第二最短距离和所述第一区域中顶点的透明度计算所述目标顶点的透明度包括：

计算所述第一最短距离和第二最短距离的和值；

计算所述第一最短距离与所述和值的比值；

计算所述比值和所述第一区域的顶点的透明度的乘积作为所述目标顶点的透明度。

9.根据权利要求1-5任一项所述的方法，其特征在于，所述根据所述透明度将所述第三图像中变形后的第一人脸替换为所述第二人脸得到所述第一图像换脸后的目标图像，包括：

对所述第二图像的色彩进行校正，得到色彩校正后的第二图像；

将所述第三图像中变形后的第一人脸替换为所述色彩校正后的第二图像中的第二人脸得到换脸后的初始图像；

根据所透明度对所述初始图像的色彩进行调整获得所述第一图像换脸后的目标图像。

10.根据权利要求9所述的方法，其特征在于，所述对所述第二图像的色彩进行校正，得到色彩校正后的第二图像，包括：

分别对所述第二图像和所述第三图像进行模糊处理，得到模糊处理后的第二图像和第三图像；

计算模糊处理后的第三图像的像素值与模糊处理后的第二图像的像素值的比值；

计算所述比值与所述第二图像的像素值的乘积得到目标像素值；

将所述第二图像的像素值调整为所述目标像素值得到色彩校正后的第二图像。

11.根据权利要求9所述的方法，其特征在于，所述根据所透明度对所述初始图像的色彩进行调整获得所述第一图像换脸后的目标图像，包括：

针对所述初始图像中所述第二人脸上的每个像素点，确定所述像素点在所述融合面罩中的透明度；

计算所述透明度与所述像素点的像素值的乘积得到所述像素点的第一像素值；

计算1与所述透明度的差值；

计算所述差值与所述像素点在所述第一图像中的像素值的乘积得到所述像素点的第二像素值；

计算所述第一像素值和所述第二像素值的和值作为所述像素点的目标像素值

将所述像素点的像素值调整为所述目标像素值。

12.一种视频换脸方法，其特征在于，包括：

获取待换脸的视频数据；

从每帧视频数据中提取第一图像；

获取用于对所述第一图像执行换脸操作的第二图像，所述第一图像包括第一人脸，所述第二图像包括第二人脸；

基于预设图像换脸方法将所述第一图像中的第一人脸更换为所述第二图像中的第二人脸，得到目标图像；

采用所述目标图像生成换脸后的视频数据；

其中，所述图像换脸方法为权利要求1-11任一项所述的图像换脸方法。

13.一种图像换脸装置，其特征在于，包括：

图像获取模块，用于获取用于对待换脸的第一图像执行换脸操作的第二图像，所述第一图像包括第一人脸，所述第二图像包括第二人脸；

变形处理模块，用于对所述第一图像中的所述第一人脸进行变形处理，得到包含变形后的第一人脸的第三图像，所述变形后的第一人脸和所述第二人脸的人脸关键点对齐；

融合面罩获取模块，用于获取融合面罩，所述融合面罩设置有透明度；

换脸模块，用于根据所述透明度将所述第三图像中变形后的第一人脸替换为所述第二人脸得到所述第一图像换脸后的目标图像。

14.一种视频换脸装置，其特征在于，包括：

视频数据获取模块，用于获取待换脸的视频数据；

第一图像提取模块，用于从每帧视频数据中提取第一图像；

第二图像获取模块，用于获取用于对所述第一图像执行换脸操作的第二图像，所述第一图像包括第一人脸，所述第二图像包括第二人脸；

换脸模块，用于基于预设图像换脸方法将所述第一图像中的第一人脸更换为所述第二图像中的第二人脸，得到目标图像；

视频数据生成模块，用于采用所述目标图像生成换脸后的视频数据；

其中，所述图像换脸方法为权利要求1-11任一项所述的图像换脸方法。

15.一种设备，其特征在于，所述设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序，

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-11中任一项所述的图像换脸方法和/或权利要求12所述的视频换脸方法。

16.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-11中任一项所述的图像换脸方法和/或权利要求12所述的视频换脸方法。

Images