CN115713458A - 人脸替换方法、人脸替换装置、电子设备和存储介质 - Google Patents

Abstract

本申请公开了一种人脸替换方法、人脸替换装置、电子设备和存储介质，方法包括：通过预设图像分割模型对获取的驱动图像进行图像分割，得到第一蒙版图像；通过预设图像分割模型对获取的特定图像进行图像分割，得到第二蒙版图像；获取驱动图像中的第一人脸和特定图像中的第二人脸的姿态变换参数；基于姿态变换参数，对第二人脸进行变换处理，得到变换后的第二人脸，其中，变换后的第二人脸中的人脸姿态与第一人脸中的人脸姿态相同；基于姿态变换参数、变换后的第二人脸、第一蒙版图像和第二蒙版图像，生成驱动图像对应的人脸替换后的目标图像。

Description

人脸替换方法、人脸替换装置、电子设备和存储介质

技术领域

本申请涉及信息处理领域，尤其是涉及一种人脸替换方法、人脸替换装置、电子设备和存储介质。

背景技术

随着互联网技术的不断发展，以及图像处理技术和人工智能技术的不断成熟，大众娱乐社交性质的应用程序不断增多，人们已经可以通过相关应用程序实现人脸互换，其中，可以是将指定对象的人脸替换为特定对象的人脸，从而实现换脸进行娱乐的目的。

相关技术中，人脸替换过程是通过简单的人脸检测功能和区域互换操作，使用抠图的方式直接将指定对象的人脸替换为特定对象的人脸，从而实现换脸的目的。然而，该方法至少存在换脸后的图像视觉效果差的问题。

发明内容

本申请提供一种人脸替换方法、人脸替换装置、电子设备和存储介质，解决相关技术中存在换脸后的图像视觉效果差的问题。

本申请的技术方案是这样实现的：

本申请提供一种人脸替换方法，所述方法包括：

通过预设图像分割模型对获取的驱动图像进行图像分割，得到第一蒙版图像；

通过所述预设图像分割模型对获取的特定图像进行图像分割，得到第二蒙版图像；

获取所述驱动图像中的第一人脸和所述特定图像中的第二人脸的姿态变换参数；

基于所述姿态变换参数，对所述第二人脸进行变换处理，得到变换后的第二人脸，其中，所述变换后的第二人脸中的人脸姿态与所述第一人脸中的人脸姿态相同；

基于所述姿态变换参数、所述变换后的第二人脸、所述第一蒙版图像和所述第二蒙版图像，生成所述驱动图像对应的人脸替换后的目标图像。

本申请提供一种人脸替换装置，所述装置包括：

第一处理模块，用于通过预设图像分割模型对获取的驱动图像进行图像分割，得到第一蒙版图像；

所述第一处理模块，还用于通过所述预设图像分割模型对获取的特定图像进行图像分割，得到第二蒙版图像；

获取模块，用于获取所述驱动图像中的第一人脸和所述特定图像中的第二人脸的姿态变换参数；

第二处理模块，用于基于所述姿态变换参数，对所述第二人脸进行变换处理，得到变换后的第二人脸，其中，所述变换后的第二人脸中的人脸姿态与所述第一人脸中的人脸姿态相同；

所述第二处理模块，还用于基于所述姿态变换参数、所述变换后的第二人脸、所述第一蒙版图像和所述第二蒙版图像，生成所述驱动图像对应的人脸替换后的目标图像。

本申请提供一种电子设备，所述电子设备包括：存储器，用于存储可执行指令；处理器，用于执行所述存储器中存储的可执行指令，以实现上述所述的人脸替换方法。

本申请提供一种计算机存储介质，所述计算机存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述所述的人脸替换方法。

本申请提供一种人脸替换方法、人脸替换装置、电子设备和存储介质，通过预设图像分割模型对获取的驱动图像进行图像分割，得到第一蒙版图像；通过预设图像分割模型对获取的特定图像进行图像分割，得到第二蒙版图像；获取驱动图像中的第一人脸和特定图像中的第二人脸的姿态变换参数；基于姿态变换参数，对第二人脸进行变换处理，得到变换后的第二人脸，其中，变换后的第二人脸中的人脸姿态与第一人脸中的人脸姿态相同；基于姿态变换参数、变换后的第二人脸、第一蒙版图像和第二蒙版图像，生成驱动图像对应的人脸替换后的目标图像；如此，基于驱动图像中的第一人脸和目标图像中的第二人脸之间的姿态变换参数，对第二人脸进行变换处理，以使得生成的驱动图像对应的人脸替换后的目标图像中的人脸姿态，更加贴合原始驱动图像中的人脸姿态，进而保证了目标图像中的人脸姿态足够自然，难辨真伪，且效果优异。

附图说明

图1为本申请实施例提供的一种可选的人脸替换方法的流程示意图；

图2为本申请实施例提供的一种可选的人脸替换方法的模型结构示意图；

图3为本申请实施例提供的一种可选的人脸替换方法的流程示意图；

图4为本申请实施例提供的一种可选的人脸替换方法的流程示意图；

图5为本申请实施例提供的一种可选的人脸替换方法的流程示意图；

图6为本申请实施例提供的一种可选的人脸替换方法的流程示意图；

图7为本申请实施例提供的一种人脸替换装置的结构示意图；

图8为本申请实施例提供的一种电子设备的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，这里，关于附图说明中提到的“另一种”或“又一种”并非指特定某个实施例，本申请的各个实施例可以在不冲突的情况下相互结合。

应理解，说明书通篇中提到的“本申请实施例”或“前述实施例”意味着与实施例有关的特定特征、结构或特性包括在本申请的至少一个实施例中。因此，在整个说明书各处出现的“本申请实施例中”或“在前述实施例中”未必一定指相同的实施例。此外，这些特定的特征、结构或特性可以任意适合的方式结合在一个或多个实施例中应用。在本申请的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。上述本申请实施例序号仅仅为了描述，不代表实施例的优劣。

参见图1，图1是本申请实施例提供的一种可选的人脸替换方法的流程示意图，该人脸替换方法应用于电子设备，该人脸替换方法包括以下步骤：

步骤101、通过预设图像分割模型对获取的驱动图像进行图像分割，得到第一蒙版图像。

步骤102、通过预设图像分割模型对获取的特定图像进行图像分割，得到第二蒙版图像。

本申请实施例中，驱动图像为需要对图像中的预定区域进行处理的图像，这里，预定区域至少包括背景区域、衣服区域、皮肤区域、人脸区域和头发区域。

本申请实施例中，特定图像为需要对图像中的头部区域进行处理的图像，预定区域至少包括背景区域、衣服区域、皮肤区域、人脸区域和头发区域，且将特定图像中的人头区域替换到驱动图像中人头区域中。

本申请实施例中，蒙版图像可以理解为对输入图像内的预定区域分割后得到的各个区域的外部轮廓所组成的图像。这里输入图像包括驱动图像和特定图像。

本申请实施例中，预设图像分割模型用于对输入图像中的预定区域内的图像进行分割模型。这里，预定区域包括图像中的背景区域、衣服区域、皮肤区域、人脸区域和头发区域。在一种可实现的应用场景中，预设图像分割模型先对输入图像中预定的各个区域内进行识别，再根据识别结果对预定的各个区域进行分割，以得到输入图像对应的蒙版图像。示例性的，电子设备将识别出的输入图像中的背景区域、衣服区域、皮肤区域、人脸区域和头发区域进行分割，输出输入图像对应的蒙版图像。

这里，预设图像分割模型包括但不限于U-net网络模型、全卷积网络模型。示例性的，本申请实施例中，预设图像分割模型使用的是U-net网络模型，U-net网络模型有卷积层和上采样层组成，相当于一个编码器和一个解码器，通过卷积进行特征提取，将每层卷积得到的特征分别与对应的上采用层的特征拼接融合，可以达到较好的分割结果。

本申请实施例中，电子设备获取驱动图像和特定图像，通过预设图像分割模型对驱动图像进行图像分割，得到驱动图像对应的第一蒙版图像；通过预设图像分割模型对特定图像进行图像分割，得到特定图像对应的第二蒙版图像；如此，通过对驱动图像和特定图像进行图像分割，使最终的换脸结构更精细，同时能够保持整体脸型。

在实际应用中，电子设备可以包括但不限于智能手机、平板电脑、笔记本电脑、智能电视、个人数字助理(Personal Digital Assistant，PDA)、相机、可穿戴设备等移动终端设备，以及台式计算机等固定终端设备。

步骤103、获取驱动图像中的第一人脸和特定图像中的第二人脸的姿态变换参数。

本申请实施例中，姿态变换参数为驱动图形中的第一人脸与特定图像中的第二人脸之间相同特征点之间的相对位置参数的变化。

这里，第一人脸和第二人脸之间的姿态变换参数可以通过人脸姿态估计模块实现。人脸姿态估计是通过对人脸图像进行分析，获得脸部朝向的角度信息。姿态估计是多姿态问题中较为关键的步骤。一般可以用旋转矩阵、旋转向量、四元数或欧拉角表示。人脸的姿态变化通常包括上下俯仰(pitch)、左右旋转(yaw)以及平面内角度旋转(roll)。在一种可实现的场景中，电子设备通过opencv的solvePnP函数得到旋转向量，即得到姿态变换参数。

步骤104、基于姿态变换参数，对第二人脸进行变换处理，得到变换后的第二人脸。

其中，变换后的第二人脸中的人脸姿态与第一人脸中的人脸姿态相同。

本申请实施例中，电子设备获取驱动图像中的第一人脸和特定图像中的第二人脸的姿态变换参数之后，基于姿态变换参数，对第二人脸进行变换处理，得到与第一人脸中的人脸姿态相同的变换后的第二人脸。

步骤105、基于姿态变换参数、变换后的第二人脸、第一蒙版图像和第二蒙版图像，生成驱动图像对应的人脸替换后的目标图像。

本申请实施例中，目标图像可以为驱动图像对应的人脸替换后的图像，目标图像还可以为驱动图像对应的人脸和人头替换后的图像。

本申请实施例中，电子设备基于姿态变换参数，对第二人脸进行变换处理，得到变换后的第二人脸的情况下，将姿态变换参数、变换后的第二人脸、第一蒙版图像和第二蒙版图像输入到生成模型中，得到生成模型输出的驱动图像对应的人脸替换后的目标图像。

这里，生成模型包括但不限于U-net网络模型、全卷积网络模型。示例性的，本申请实施例中，生成模型使用的是U-net网络模型，生成模型包含编码器和解码器两个模块，可以将卷积层卷积得到的特征拼接融合到反卷积层之中，使解码器最终生成的图像更加自然和真实。这里，电子设备通过输入第一蒙版图像，使得驱动图像中除第一人脸以外的区域不进行形变，使其保持原状；并使用变换后的第二人脸替换第一人脸，从而得到生成模型输出的驱动图像对应的人脸替换后的目标图像。

本申请其他实施例中，参见图2所示，图2是本申请实施例提供的一种可选的人脸替换方法的模型结构示意图，在训练生成模型的过程中，通过损失函数对生成模型进行调整。这里，损失函数为

其中，

为目标图像，F为目标图像对应的原始图像，N_i(.)为通过视觉几何体组-19(Visual Geometry Group-19，VGG-19)卷积后固定的基层中，提取的基层中第n通道的特征，N则是该层的特征数目，这里，基层可以理解为对目标图像和原始图像分别进行不同尺度的下采样如256×256、128×128，64×64以及32×32的特征图对应的基层；每一层的特征数目由卷积层输出的维度确定，如输出位256×256×64，其中，64就是通道数，通道数由当前层的卷积子的个数决定。这里，电子设备通过计算每一基层的损失值，利用损失值提高模型的性能，使生成的图像细节更加精细，不造成模糊的感觉，使换脸的融合程度提高，尽可能的没有违和感。

本申请提供一种人脸替换方法，通过预设图像分割模型对获取的驱动图像进行图像分割，得到第一蒙版图像；通过预设图像分割模型对获取的特定图像进行图像分割，得到第二蒙版图像；获取驱动图像中的第一人脸和特定图像中的第二人脸的姿态变换参数；基于姿态变换参数，对第二人脸进行变换处理，得到变换后的第二人脸，其中，变换后的第二人脸中的人脸姿态与第一人脸中的人脸姿态相同；基于姿态变换参数、变换后的第二人脸、第一蒙版图像和第二蒙版图像，生成驱动图像对应的人脸替换后的目标图像；如此，基于驱动图像中的第一人脸和目标图像中的第二人脸之间的姿态变换参数，对第二人脸进行变换处理，以使得生成的驱动图像对应的人脸替换后的目标图像中的人脸姿态，更加贴合原始驱动图像中的人脸姿态，进而保证了目标图像中的人脸姿态足够自然，难辨真伪，且效果优异

参见图3，图3是本申请实施例提供的一种可选的人脸替换方法的流程示意图，该人脸替换方法应用于电子设备，该人脸替换方法包括以下步骤：

步骤201、通过预设图像分割模型对获取的驱动图像进行图像分割，得到第一蒙版图像。

步骤202、通过预设图像分割模型对获取的特定图像进行图像分割，得到第二蒙版图像。

步骤203、通过预设的人脸特征点模型，确定第一人脸中多个人脸特征点中第i个人脸特征点的第一位置参数，以及第二人脸中多个人脸特征点中第i个人脸特征点的第二位置参数。

本申请实施例中，多个人脸特征点包括但不限于脸型轮廓的特征点、眉毛轮廓的特征点、鼻子轮廓的特征点、眼睛轮廓的特征点以及嘴巴轮廓的特征点。

本申请实施例中，人脸特征点的位置参数用于表示多个人脸特征点中第i个人脸特征点的位置信息，其中，i为大于等于1且小于等于I的正整数，I为多个人脸特征点的总数。

本申请实施例中，预设的人脸特征点模型的确定方法可以理解为在人脸图像的脸型轮廓、眉毛轮廓、鼻子轮廓和嘴巴轮廓等确定出多个特征点。在进行人脸识别和人脸检测时，可采用主动形状模型(Active Shape Model，ASM)、主动外观模型(Active AppreanceModel，AAM)或DLIB方式根据预设的人脸特征点模型提取第一人脸中的多个人脸特征点、以及第二人脸中的多个人脸特征点。其中，DLIB是一个机器学习的C++库，包含了许多机器学习常用的算法。

本申请实施例中，电子设备通过预设的人脸特征点模型，确定第一人脸中多个人脸特征点和第二人脸中多个人脸特征点之后，获取第一人脸中多个人脸特征点中第i个人脸特征点的第一位置参数，以及第二人脸中多个人脸特征点中第i个人脸特征点的第二位置参数，以使电子设备根据多个人脸特征点的第一位置参数和第二位置参数进行姿态估计处理。

步骤204、通过预先建立的人脸姿态估计模型，对多个人脸特征点的第一位置参数和第二位置参数进行姿态估计处理，得到第一人脸和第二人脸的人脸特征点之间的姿态变换参数。

本申请实施例中，姿态变换参数为驱动图形中的第一人脸与特定图像中的第二人脸之间相同特征点之间的相对位置参数的变化。

这里，人脸姿态估计模型中的人脸姿态估计的思想是旋转三维标准模型一定角度，直到模型上的“三维特征点”的“二维投影”，与多个人脸特征点尽量重合，从而确定脸部朝向信息。姿态估计过程中有三个坐标系，分别为世界坐标系、相机坐标系和图像坐标系，一个世界坐标系中的三维点(U，V，W)通过旋转矩阵R和平移向量t映射到相机坐标系(X，Y，Z)，一个相机坐标系中的三维点(X，Y，Z)通过相机的内参数矩阵映射到图像坐标系(x，y)。在获取第一人脸多个人脸特征点中第i个人脸特征点的第一位置参数后，确定第一人脸对应的人脸朝向的第一角度信息；在获取第二人脸多个人脸特征点中第i个人脸特征点的第二位置参数后，确定第二人脸对应的人脸朝向的第二角度信息；最后，电子设备根据第一人脸对应的第一角度信息和第二人脸对应的第二角度信息确定第一人脸和第二人脸的人脸特征点之间的姿态变换参数。

本申请实施例中，电子设备通过预设的人脸特征点模型，确定第一人脸中多个人脸特征点中第i个人脸特征点的第一位置参数，以及第二人脸中多个人脸特征点中第i个人脸特征点的第二位置参数之后，通过预先建立的人脸姿态估计模型，对多个人脸特征点的第一位置参数和第二位置参数进行姿态估计处理，得到第一人脸和第二人脸的人脸特征点之间的姿态变换参数。

步骤205、基于姿态变换参数，对第二人脸进行变换处理，得到变换后的第二人脸。

其中，变换后的第二人脸中的人脸姿态与第一人脸中的人脸姿态相同

本申请实施例中，参见图4所示，步骤205基于姿态变换参数，对第二人脸进行变换处理，得到变换后的第二人脸，可以通过如下步骤实现：

步骤2051、基于姿态变换参数，对第二人脸进行姿态变换处理，得到初始变换人脸。

本申请实施例中，初始变换人脸为第二人脸基于姿态变换参数进行姿态变换后得到的人脸。

步骤2052、通过插值函数拟合初始变换人脸中多个特征点的当前位置和多个特征点对应的预设目标位置之间的二维变换，得到第二人脸形变量。

本申请实施例中，插值函数包括但不限于薄板样条插值(Thin-Plate Spline，TPS)函数、规则样条插值(Regularized Spline)函数和薄板张力样条插值函数。薄板样条插值建立一个通过控制点的面，并使所有点的坡度变化最小，也就是说，薄板样条函数以最小曲率面拟合控制点。

本申请实施例中，电子设备基于姿态变换参数，对第二人脸进行姿态变换处理，得到初始变换人脸之后，通过插值函数拟合初始变换人脸中多个特征点的当前位置和多个特征点对应的预设目标位置之间的二维变换，得到第二人脸的形变量。

步骤2053、基于形变量，通过图像差值算法对初始变换人脸进行差值变换处理，得到变换后的第二人脸。

本申请实施例中，图像差值算法包括双线性差值采样方法。这里，电子设备首先通过双线性差值采样方法得到初始变换人脸上每个像素坐标的像素值，并根据形变量确定该像素值所对应的预设目标位置，并将该像素值透射到该位置，从而得到变换后的第二人脸。

需要说明的是，由于人脸并不是一个平面，而是具有凹凸面的，但是图像为一个二维平面信息，在第二人脸区域中做像素值的薄板样条插值，使得第二人脸中的点有较好的变换效果，不会显得突兀不自然，且该方法运算简单高效，有效减少运算时间。

步骤206、基于姿态变换参数，对第二蒙版图像中第二人头图像进行姿态变换处理，得到变换后的第二人头图像。

其中，变换后的第二人头图像中的人头姿态与第一蒙版图像中的第一人头图像的人头姿态相同。

本申请实施例中，第二人头图像包括人脸区域图像和头发区域图像。

本申请实施例中，电子设备通过预先建立的人脸姿态估计模型，对多个人脸特征点的第一位置参数和第二位置参数进行姿态估计处理，得到第一人脸和第二人脸的人脸特征点之间的姿态变换参数之后，还可以基于姿态变换参数，对第二蒙版图像中第二人头图像进行姿态变换处理，得到与第一蒙版图像中的第一人头图像的人头姿态相同的变换后的第二人头图像。

步骤207、基于变换后的第二人脸、变换后的第二人头图像和第一蒙版图像，生成目标图像。

本申请实施例中，参见图5所示，步骤207基于变换后的第二人脸、变换后的第二人头图像和第一蒙版图像，生成目标图像，可以通过如下步骤实现：

步骤2071、用变换后的第二人头图像替换第一蒙版图像中的第一人头图像，得到替换后的第一蒙版图像。

步骤2072、将变换后的第二人脸拼接到替换后的第一蒙版图像的第二人头图像上，得到拼接图像。

步骤2073、对拼接图像的拼接位置进行平滑处理，得到目标图像。

本申请实施例中，目标图像为驱动图像对应的人脸和人头替换后的图像。

本申请实施例中，电子设备用变换后的第二人头图像替换第一蒙版图像中的第一人头图像，得到替换后的第一蒙版图像；同时，将变换后的第二人脸拼接到替换后的第一蒙版图像的第二人头图像上，得到拼接图像。此时，得到的拼接图像中的第二人脸、第二人头图像与第一蒙版图像中的其他区域结合后还会存在瑕疵，因此，电子设备对拼接图像的拼接位置进行平滑处理，确保得到的目标图像的结合面更加平滑，光照以及边缘颜色过渡更加自然，目标图像更加真实。

这里，对拼接图像的拼接位置进行平滑处理可以通过如下几种方式实现，方式一，对拼接图像的拼接位置进行邻域中值滤波处理；方式二，对拼接图像的拼接位置进行均值滤波处理；方式三，对拼接图像的拼接位置进行高斯滤波处理。对此，本申请不做具体限制。

步骤208、通过超分辨率模型对目标图像的分辨率进行处理，得到高分辨率目标图像，并输出高分辨率目标图像。

本申请实施例中，电子设备得到目标图像后，将目标图像输入到超分辨率模型中，得到超分辨率模型输出的高分辨率目标图像，同时显示高分辨率目标图像。这里，超分辨率模型可以为超分辨率生成对抗(Super Resolution Generative Adversarial，SR-GAN)网络模型，SR-GAN网络模型能够在图像处理器(Graphic Processing Unit，GPU)环境下实时输出高分辨率目标图像，可满足于实时音视频通话。

由上述可知，本申请实施例中，首先，电子设备获取驱动图像对应的第一蒙版图像和特定图像对应的第二蒙版图像。其次，电子设备基于驱动图像中的第一人脸的多个人脸特征点的第一位置参数、和特定图像中第二人脸的多个人脸特征点的第二位置参数，得到第一人脸和第二人脸的人脸特征点之间的姿态变换参数。再次，电子设备基于姿态变换参数对第二人脸进行变换处理，得到变换后的第二人脸；并基于姿态变换参数对第二蒙版图像中第二人头图像进行姿态变换处理，得到变换后的第二人头图像。最后，电子设备用变换后的第二人头图像替换第一蒙版图像中的第一人头图像，将变换后的第二人脸拼接到替换后的第一蒙版图像的第二人头图像上，对拼接图像的拼接位置进行平滑处理，得到目标图像。如此，无需构造三维面部图像，方法简单高效，速度优异，满足实时要求。同时生成的换脸图像足够自然，在姿态变换不大的情况下难辨真伪，效果优异。并且能够同时变换脸型和发型，使换脸图像整体更加完整，通过薄板样条插值方法使得脸部局部不会发生变形，影响整体的美观。并且通过超分辨模型输出的图像分辨率足够高清，可满足于音视频通话应用之中。

需要说明的是，本实施例中与其它实施例中相同步骤和相同内容的说明，可以参照其它实施例中的描述，此处不再赘述。

参见图2和图6，图6是本申请实施例提供的一种可选的人脸替换方法的流程示意图，该人脸替换方法应用于电子设备，该人脸替换方法包括以下步骤：

步骤301、输入驱动图像和目标图像。

步骤302、通过预设图像分割模型以预定区域对驱动图像进行图像分割，得到驱动图像对应的第一蒙版图像；通过预设图像分割模型以预定区域对目标图像进行图像分割，得到目标图像对应的第二蒙版图像。

其中，预定区域包括背景区域、衣服区域、皮肤区域、人脸区域和头发区域。

步骤303、通过级联姿态回归框架分别对驱动图像和目标图像进行人脸对齐以及人脸的对应特征点提取，得到驱动图像中第一人脸的多个人脸特征点和目标图像中第二人脸的多个人脸特征点。

本申请实施例中，步骤302和步骤303的执行顺序可以是随机执行，例如步骤302可以在步骤303之前执行，步骤302也可以在步骤303之后执行；当然，本申请实施例中步骤302与步骤303的执行顺序也可以同时执行，本申请对此不做具体地限定。

步骤304、通过预先建立的人脸姿态估计模型，对多个人脸特征点的第一位置参数和第二位置参数进行姿态估计处理，得到第一人脸和第二人脸的人脸特征点之间的姿态变换参数。

步骤305、基于姿态变换参数，对第二人脸进行变换处理，得到变换后的第二人脸。

步骤306、基于姿态变换参数，对第二蒙版图像中第二人头图像进行姿态变换处理，得到变换后的第二人头图像。

步骤307、将变换后的第二人脸、变换后的第二人头图像和第一蒙版图像输入到生成模型中，得到生成模型输出的驱动图像对应的人脸和人头替换后的目标图像。

步骤308、通过超分辨率模型对目标图像的分辨率进行处理，得到高分辨率目标图像，并输出高分辨率目标图像。

由上述可知，本申请实施例中，电子设备无需构造三维面部图像，方法简单高效，速度优异，满足实时要求。同时生成的换脸图像足够自然，在姿态变换不大的情况下难辨真伪，效果优异。并且能够同时变换脸型和发型，使换脸图像整体更加完整，通过薄板样条插值方法使得脸部局部不会发生变形，影响整体的美观。并且通过超分辨模型输出的图像分辨率足够高清，可满足于音视频通话应用之中。

基于前述实施例，本申请提供一种人脸替换装置，该人脸替换装置可以应用于图1、图3～图5对应提供的一种人脸替换方法中，参照图7所示，该人脸替换装置7包括：

第一处理模块71，用于通过预设图像分割模型对获取的驱动图像进行图像分割，得到第一蒙版图像；

第一处理模块71，还用于通过预设图像分割模型对获取的特定图像进行图像分割，得到第二蒙版图像；

获取模块72，用于获取驱动图像中的第一人脸和特定图像中的第二人脸的姿态变换参数；

第二处理模块73，用于基于姿态变换参数，对第二人脸进行变换处理，得到变换后的第二人脸，其中，变换后的第二人脸中的人脸姿态与第一人脸中的人脸姿态相同；

第二处理模块73，还用于基于姿态变换参数、变换后的第二人脸、第一蒙版图像和第二蒙版图像，生成驱动图像对应的人脸替换后的目标图像

在本申请其他实施例中，第二处理模块73，还用于通过预设的人脸特征点模型，确定第一人脸中多个人脸特征点中第i个人脸特征点的第一位置参数，以及第二人脸中多个人脸特征点中第i个人脸特征点的第二位置参数；通过预先建立的人脸姿态估计模型，对多个人脸特征点的第一位置参数和第二位置参数进行姿态估计处理，得到第一人脸和第二人脸的人脸特征点之间的姿态变换参数。

在本申请其他实施例中，第二处理模块73，还用于基于姿态变换参数，对第二人脸进行姿态变换处理，得到初始变换人脸；通过插值函数拟合初始变换人脸中多个特征点的当前位置和多个特征点对应的预设目标位置之间的二维变换，得到第二人脸的形变量；基于形变量，通过图像差值算法对初始变换人脸进行差值变换处理，得到变换后的第二人脸。

在本申请其他实施例中，第二处理模块73，还用于基于姿态变换参数，对第二蒙版图像中第二人头图像进行姿态变换处理，得到变换后的第二人头图像，其中，变换后的第二人头图像中的人头姿态与第一蒙版图像中的第一人头图像的人头姿态相同；基于变换后的第二人脸、变换后的第二人头图像和第一蒙版图像，生成目标图像。

在本申请其他实施例中，第二处理模块73，还用于用变换后的第二人头图像替换第一蒙版图像中的第一人头图像，得到替换后的第一蒙版图像；将变换后的第二人脸融合到替换后的第一蒙版图像的第二人头图像上，得到目标图像。

在本申请其他实施例中，第二处理模块73，还用于将变换后的第二人脸拼接到替换后的第一蒙版图像的第二人头图像上，得到拼接图像；对拼接图像的拼接位置进行平滑处理，得到目标图像。

在本申请其他实施例中，第二处理模块73，还用于通过超分辨率模型对目标图像的分辨率进行处理，得到高分辨率目标图像，输出模块，用于输出高分辨率目标图像。

基于前述实施例，本申请提供一种电子设备，该电子设备可以应用于图1、图3～图5对应提供的一种人脸替换方法中，参照图8所示，该电子设备8(图8中的电子设备8对应图7中的人脸替换装置7)包括：存储器81和处理器82，其中；处理器82用于执行存储器81中存储的人脸替换程序，电子设备8通过处理器82以实现以下步骤：

通过预设图像分割模型对获取的驱动图像进行图像分割，得到第一蒙版图像；

通过预设图像分割模型对获取的特定图像进行图像分割，得到第二蒙版图像；

获取驱动图像中的第一人脸和特定图像中的第二人脸的姿态变换参数；

基于姿态变换参数，对第二人脸进行变换处理，得到变换后的第二人脸，其中，变换后的第二人脸中的人脸姿态与第一人脸中的人脸姿态相同；

基于姿态变换参数、变换后的第二人脸、第一蒙版图像和第二蒙版图像，生成驱动图像对应的人脸替换后的目标图像。

在本申请其他实施例中，处理器82用于执行存储器81中存储的人脸替换程序，以实现以下步骤：

通过预设的人脸特征点模型，确定第一人脸中多个人脸特征点中第i个人脸特征点的第一位置参数，以及第二人脸中多个人脸特征点中第i个人脸特征点的第二位置参数；通过预先建立的人脸姿态估计模型，对多个人脸特征点的第一位置参数和第二位置参数进行姿态估计处理，得到第一人脸和第二人脸的人脸特征点之间的姿态变换参数。

在本申请其他实施例中，处理器82用于执行存储器81中存储的人脸替换程序，以实现以下步骤：

基于姿态变换参数，对第二人脸进行姿态变换处理，得到初始变换人脸；通过插值函数拟合初始变换人脸中多个特征点的当前位置和多个特征点对应的预设目标位置之间的二维变换，得到第二人脸的形变量；基于形变量，通过图像差值算法对初始变换人脸进行差值变换处理，得到变换后的第二人脸。

在本申请其他实施例中，处理器82用于执行存储器81中存储的人脸替换程序，以实现以下步骤：

基于姿态变换参数，对第二蒙版图像中第二人头图像进行姿态变换处理，得到变换后的第二人头图像，其中，变换后的第二人头图像中的人头姿态与第一蒙版图像中的第一人头图像的人头姿态相同；基于变换后的第二人脸、变换后的第二人头图像和第一蒙版图像，生成目标图像。

在本申请其他实施例中，处理器82用于执行存储器81中存储的人脸替换程序，以实现以下步骤：

用变换后的第二人头图像替换第一蒙版图像中的第一人头图像，得到替换后的第一蒙版图像；将变换后的第二人脸融合到替换后的第一蒙版图像的第二人头图像上，得到目标图像。

在本申请其他实施例中，处理器82用于执行存储器81中存储的人脸替换程序，以实现以下步骤：

将变换后的第二人脸拼接到替换后的第一蒙版图像的第二人头图像上，得到拼接图像；对拼接图像的拼接位置进行平滑处理，得到目标图像。

在本申请其他实施例中，处理器82用于执行存储器81中存储的人脸替换程序，以实现以下步骤：

通过超分辨率模型对目标图像的分辨率进行处理，得到高分辨率目标图像，并输出高分辨率目标图像。

本申请提供一种计算机可读存储介质，该计算机可读存储介质存储有一个或者多个程序，该一个或者多个程序可被一个或者多个处理器执行，以实现如下步骤：

通过预设图像分割模型对获取的驱动图像进行图像分割，得到第一蒙版图像；

通过预设图像分割模型对获取的特定图像进行图像分割，得到第二蒙版图像；

获取驱动图像中的第一人脸和特定图像中的第二人脸的姿态变换参数；

基于姿态变换参数，对第二人脸进行变换处理，得到变换后的第二人脸，其中，变换后的第二人脸中的人脸姿态与第一人脸中的人脸姿态相同；

基于姿态变换参数、变换后的第二人脸、第一蒙版图像和第二蒙版图像，生成驱动图像对应的人脸替换后的目标图像。

在本申请其他实施例中，该一个或者多个程序可被一个或者多个处理器执行，还可实现以下步骤：

通过预设的人脸特征点模型，确定第一人脸中多个人脸特征点中第i个人脸特征点的第一位置参数，以及第二人脸中多个人脸特征点中第i个人脸特征点的第二位置参数；通过预先建立的人脸姿态估计模型，对多个人脸特征点的第一位置参数和第二位置参数进行姿态估计处理，得到第一人脸和第二人脸的人脸特征点之间的姿态变换参数。

在本申请其他实施例中，该一个或者多个程序可被一个或者多个处理器执行，还可实现以下步骤：

基于姿态变换参数，对第二人脸进行姿态变换处理，得到初始变换人脸；通过插值函数拟合初始变换人脸中多个特征点的当前位置和多个特征点对应的预设目标位置之间的二维变换，得到第二人脸的形变量；基于形变量，通过图像差值算法对初始变换人脸进行差值变换处理，得到变换后的第二人脸。

在本申请其他实施例中，该一个或者多个程序可被一个或者多个处理器执行，还可实现以下步骤：

基于姿态变换参数，对第二蒙版图像中第二人头图像进行姿态变换处理，得到变换后的第二人头图像，其中，变换后的第二人头图像中的人头姿态与第一蒙版图像中的第一人头图像的人头姿态相同；基于变换后的第二人脸、变换后的第二人头图像和第一蒙版图像，生成目标图像

在本申请其他实施例中，该一个或者多个程序可被一个或者多个处理器执行，还可实现以下步骤：

用变换后的第二人头图像替换第一蒙版图像中的第一人头图像，得到替换后的第一蒙版图像；将变换后的第二人脸融合到替换后的第一蒙版图像的第二人头图像上，得到目标图像。

在本申请其他实施例中，该一个或者多个程序可被一个或者多个处理器执行，还可实现以下步骤：

将变换后的第二人脸拼接到替换后的第一蒙版图像的第二人头图像上，得到拼接图像；对拼接图像的拼接位置进行平滑处理，得到目标图像。

在本申请其他实施例中，该一个或者多个程序可被一个或者多个处理器执行，还可实现以下步骤：

通过超分辨率模型对目标图像的分辨率进行处理，得到高分辨率目标图像，并输出高分辨率目标图像。

需要说明的是，上述计算机存储介质/存储器可以是只读存储器(Read OnlyMemory，ROM)、可编程只读存储器(Programmable Read-Only Memory，PROM)、可擦除可编程只读存储器(Erasable Programmable Read-Only Memory，EPROM)、电可擦除可编程只读存储器(Electrically Erasable Programmable Read-Only Memory，EEPROM)、磁性随机存取存储器(Ferromagnetic Random Access Memory，FRAM)、快闪存储器(Flash Memory)、磁表面存储器、光盘、或只读光盘(Compact Disc Read-Only Memory，CD-ROM)等存储器；也可以是包括上述存储器之一或任意组合的各种终端，如移动电话、计算机、平板设备、个人数字助理等。

在本申请所提供的几个实施例中，应该理解到，所揭露的设备和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。

上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。

另外，在本申请各实施例中的各功能单元可以全部集成在一个处理模块中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等各种可以存储程序代码的介质。

本申请所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。

本申请所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。

本申请所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。

以上所述，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应以所述权利要求的保护范围为准。

Claims (10)

1.一种人脸替换方法，其特征在于，所述方法包括：

通过预设图像分割模型对获取的驱动图像进行图像分割，得到第一蒙版图像；

通过所述预设图像分割模型对获取的特定图像进行图像分割，得到第二蒙版图像；

获取所述驱动图像中的第一人脸和所述特定图像中的第二人脸的姿态变换参数；

基于所述姿态变换参数，对所述第二人脸进行变换处理，得到变换后的第二人脸，其中，所述变换后的第二人脸中的人脸姿态与所述第一人脸中的人脸姿态相同；

基于所述姿态变换参数、所述变换后的第二人脸、所述第一蒙版图像和所述第二蒙版图像，生成所述驱动图像对应的人脸替换后的目标图像。

2.根据权利要求1所述的方法，其特征在于，所述获取所述驱动图像中的第一人脸和所述特定图像中的第二人脸的姿态变换参数，包括：

通过预设的人脸特征点模型，确定第一人脸中多个人脸特征点中第i个人脸特征点的第一位置参数，以及第二人脸中所述多个人脸特征点中所述第i个人脸特征点的第二位置参数；

通过预先建立的人脸姿态估计模型，对所述多个人脸特征点的第一位置参数和所述第二位置参数进行姿态估计处理，得到所述第一人脸和所述第二人脸的人脸特征点之间的姿态变换参数。

3.根据权利要求1所述的方法，其特征在于，所述基于所述姿态变换参数，对所述第二人脸进行变换处理，得到变换后的第二人脸，包括：

基于所述姿态变换参数，对所述第二人脸进行姿态变换处理，得到初始变换人脸；

通过插值函数拟合所述初始变换人脸中多个特征点的当前位置和所述多个特征点对应的预设目标位置之间的二维变换，得到所述第二人脸的形变量；

基于所述形变量，通过图像差值算法对所述初始变换人脸进行差值变换处理，得到所述变换后的第二人脸。

4.根据权利要求1所述的方法，其特征在于，所述基于所述姿态变换参数、所述变换后的第二人脸、所述第一蒙版图像和所述第二蒙版图像，生成所述驱动图像对应的人脸替换后的目标图像，包括：

基于所述姿态变换参数，对所述第二蒙版图像中所述第二人头图像进行姿态变换处理，得到变换后的第二人头图像，其中，所述变换后的第二人头图像中的人头姿态与所述第一蒙版图像中的第一人头图像的人头姿态相同；

基于所述变换后的第二人脸、所述变换后的第二人头图像和所述第一蒙版图像，生成所述目标图像。

5.根据权利要求4所述的方法，其特征在于，所述基于所述变换后的第二人脸、所述变换后的第二人头图像和所述第一蒙版图像，生成所述目标图像，包括：

用所述变换后的第二人头图像替换所述第一蒙版图像中的所述第一人头图像，得到替换后的第一蒙版图像；

将所述变换后的第二人脸融合到所述替换后的第一蒙版图像的第二人头图像上，得到所述目标图像。

6.根据权利要求5所述的方法，其特征在于，所述将所述变换后的第二人脸融合到所述替换后的第一蒙版图像的第二人头图像上，得到所述目标图像，包括：

将所述变换后的第二人脸拼接到所述替换后的第一蒙版图像的第二人头图像上，得到拼接图像；

对所述拼接图像的拼接位置进行平滑处理，得到所述目标图像。

7.根据权利要求1至6任一项所述的方法，其特征在于，所述方法包括：

通过超分辨率模型对所述目标图像的分辨率进行处理，得到高分辨率目标图像，并输出所述高分辨率目标图像。

8.一种人脸替换装置，其特征在于，所述装置包括：

第一处理模块，用于通过预设图像分割模型对获取的驱动图像进行图像分割，得到第一蒙版图像；

所述第一处理模块，还用于通过所述预设图像分割模型对获取的特定图像进行图像分割，得到第二蒙版图像；

获取模块，用于获取所述驱动图像中的第一人脸和所述特定图像中的第二人脸的姿态变换参数；

第二处理模块，用于基于所述姿态变换参数，对所述第二人脸进行变换处理，得到变换后的第二人脸，其中，所述变换后的第二人脸中的人脸姿态与所述第一人脸中的人脸姿态相同；

所述第二处理模块，还用于基于所述姿态变换参数、所述变换后的第二人脸、所述第一蒙版图像和所述第二蒙版图像，生成所述驱动图像对应的人脸替换后的目标图像。

9.一种电子设备，其特征在于，所述电子设备包括：

存储器，用于存储可执行指令；

处理器，用于执行所述存储器中存储的可执行指令，以实现如权利要求1至7中任一项所述的人脸替换方法。

10.一种计算机存储介质，其特征在于，所述计算机存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现如权利要求1至7中任一项所述的人脸替换方法。

Images