CN112581635B - 一种通用的快速换脸方法、装置、电子设备和存储介质 - Google Patents

Abstract

本发明公开了一种通用的快速换脸方法、装置、电子设备和存储介质，所述方法包括：根据偏移量和尺度变化因子，通过第二编码器进行特征融合处理，生成混合特征；生成器根据混合特征生成换脸图像，换脸图像为基于第一人脸渲染图生成的具有预处理图像的背景特征的图像。本申请的快速换脸方法，由于能够根据偏移量和尺度变化因子，通过第二编码器进行特征融合处理，生成混合特征；生成器根据混合特征生成换脸图像；由于换脸图像是基于混合特征生成的、且由生成器生成的，这样，不仅能够很好地保留原图像的身份特征和目标图像的人物属性，而且无需针对换脸的原图像人物和目标图像的人物单独训练，最终实现了通用且快速的换脸过程。

Description

一种通用的快速换脸方法、装置、电子设备和存储介质

技术领域

本发明涉及人工智能技术领域，特别涉及一种通用的快速换脸方法、装置、电子设备和存储介质。

背景技术

如何基于用户的单张图像实现换脸任务（将指定一张原图像中的人脸的身份特征迁移到目标图像的人上，并保持目标人物的属性：肤色，表情，发型，背景等）具有广泛的应用价值。例如，虚拟世界、电影特效、美发设计、娱乐短视频等。

现有的换脸技术主要有基于人脸关键点的换脸算法，基于人脸3D模型的换脸算法以及基于生成对抗网络的换脸算法。这些算法均能够实现换脸任务，但是并不能实现原图像人脸身份和目标图像的人物属性的很好的剥离和融合，导致现有的换脸技术缺少真实感，不能很好的保留原图像的身份特征和目标图像的人物属性，并且大多数需要针对换脸的原图像人物和目标图像的人物单独训练，而不是通用的模型。

发明内容

基于此，有必要针对基于现有的换脸方法的缺少真实感、且需要针对换脸的原图像人物和目标图像的人物单独训练的问题，提供一种通用的快速换脸方法、装置、电子设备和存储介质。

第一方面，本申请实施例提供了一种通用的快速换脸方法，所述方法包括：

获取第一人脸图像对应的第一人脸渲染图，以及获取第二人脸图像的预处理图像，所述第一人脸渲染图为基于所述第一人脸图像生成的具有所述第二人脸图像的预设属性特征信息的人脸渲染图；

将所述第一人脸渲染图输入至第一编码器，输出第一编码，所述第一编码器用于提取所述第一人脸渲染图的身份特征；

将所述第二人脸图像的预处理图像输入至第二编码器，输出第二编码，所述第二编码器用于提取所述第二人脸图像的预处理图像的背景特征；

通过自适应网络，将所述第一编码器提取的所述身份特征转换为所述第二编码器提取的所述背景特征的偏移量和尺度变化因子；

根据所述偏移量和所述尺度变化因子，通过所述第二编码器进行特征融合处理，生成混合特征，所述混合特征为具有所述第一人脸渲染图的所述身份特征和所述预处理图像的所述背景特征；

生成器根据所述混合特征生成换脸图像，所述换脸图像为基于所述第一人脸渲染图生成的具有所述预处理图像的所述背景特征的图像。

在一种实施方式中，所述获取第二人脸图像的预处理图像包括：

识别所述第二人脸图像的人脸部分；

将所述人脸部分替换为白色图像，得到所述预处理图像。

在一种实施方式中，所述背景特征包括以下至少一项：所述第二人脸图像的预处理图像的人物背景特征、所述第二人脸图像的预处理图像的发型特征和所述第二人脸图像的预处理图像的身体特征。

在一种实施方式中，所述获取第一人脸图像对应的第一人脸渲染图包括：

获取所述第一人脸图像的第三编码和第二人脸图像的第四编码，所述第三编码具有所述第一人脸图像的所述身份特征，所述第二编码具有所述第二人脸图像的预设属性特征；

基于所述第三编码获取第一控制参数，以及基于所述第四编码获取第二控制参数；

根据所述第一控制参数和所述第二控制参数生成第三控制参数；

根据第三控制参数，对所述第一人脸图像进行渲染，生成第一人脸图像渲染图。

在一种实施方式中，所述预设属性特征包括以下至少一项：所述第二人脸图像的姿态属性特征、所述第二人脸图像的皮肤属性特征、所述第二人脸图像的表情属性特征和所述第二人脸图像的场景光线属性特征。

在一种实施方式中，所述第一人脸图像和所述第二人脸图像均为真实人脸的图像。

在一种实施方式中，所述第一编码器和所述第二编码器均采用卷积网络ResNet-50。

第二方面，本申请实施例提供了一种通用的快速换脸装置，编码器包括第一编码器和第二编码器，所述第一编码器用于提取第一人脸渲染图的身份特征，所述第二编码器用于提取第二人脸图像的预处理图像的背景特征，所述装置包括：

获取模块，用于获取第一人脸图像对应的第一人脸渲染图，以及获取第二人脸图像的预处理图像，所述第一人脸渲染图为基于所述第一人脸图像生成的具有所述第二人脸图像的预设属性特征信息的人脸渲染图；

所述编码器，用于将所述第一人脸渲染图输入至所述第一编码器，输出第一编码；以及将所述第二人脸图像的预处理图像输入至所述第二编码器，输出第二编码；

自适应网络，用于将所述第一编码器提取的所述身份特征转换为所述第二编码器提取的所述背景特征的偏移量和尺度变化因子；

融合器，用于根据所述自适应网络生成所述偏移量和所述尺度变化因子，通过所述第二编码器进行特征融合处理，生成混合特征，所述混合特征为具有所述第一人脸渲染图的所述身份特征和所述预处理图像的所述背景特征；

生成器，用于根据所述融合器生成的所述混合特征生成换脸图像，所述换脸图像为基于所述第一人脸渲染图生成的具有所述预处理图像的所述背景特征的图像。

第三方面，本申请实施例提供一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器运行所述计算机程序以实现如上所述的方法步骤。

第四方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行实现如上所述的方法步骤。

本申请实施例提供的技术方案可以包括以下有益效果：

在本申请实施例中，根据偏移量和尺度变化因子，通过第二编码器进行特征融合处理，生成混合特征，混合特征为具有第一人脸渲染图的身份特征和预处理图像的背景特征；以及生成器根据混合特征生成换脸图像，换脸图像为基于第一人脸渲染图生成的具有预处理图像的背景特征的图像。本申请实施例提供的快速换脸方法，由于能够根据偏移量和尺度变化因子，通过第二编码器进行特征融合处理，生成混合特征；生成器根据混合特征生成换脸图像；由于换脸图像是基于混合特征生成的、且由生成器生成的，这样，不仅能够很好地保留原图像的身份特征和目标图像的人物属性，而且无需针对换脸的原图像人物和目标图像的人物单独训练，最终实现了通用且快速的换脸过程。应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本发明的实施例，并与说明书一起用于解释本发明的原理。

图1是本申请实施例提供的一种通用的快速换脸方法的应用场景图；

图2是本申请实施例提供的一种通用的快速换脸方法的流程示意图；

图3是本申请实施例提供的一种通用的快速换脸方法所采用的控制参数学习网络ER-Net框架图；

图4是本申请实施例提供的一种通用的快速换脸方法所采用的基于3D控制参数与渲染的人脸对齐结构图；

图5是本申请实施例提供的一种通用的快速换脸方法所采用的基于自适应网络的通用快速换脸网络结构图；

图6是本申请实施例提供的一种具体应用场景下通用的快速换脸方法的流程示意图；

图7是本申请实施例提供的一种通用的快速换脸装置的结构示意图；

图8示出了根据本申请实施例的电子设备连接结构示意图；

图9是本申请实施例提供的一种终端的结构示意图。

具体实施方式

以下描述和附图充分地示出本发明的具体实施方案，以使本领域的技术人员能够实践它们。

应当明确，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

下面结合附图详细说明本公开的可选实施例。

如图1所示，为本申请实施例的一种应用场景图，该应用场景为多个用户通过手机等终端设备操作安装于该终端设备上的客户端，客户端通过网络与后台服务器进行数据通信。特别的一种应用场景为对至少一个人脸图像进行通用的、且快速换脸的过程，但并不限于该唯一应用场景，可以理解的任何能够应用于本实施方案的场景均包括在内，为了说明方便，本实施例对如图2所示的至少一个人脸图像进行通用的、且快速换脸的应用场景为例进行描述。如图1所示，获取的至少一个人脸图像往往来自如图1所示的多个客户端之一。

如图2所示，本申请实施例提供一种通用的快速换脸方法，具体包括如下方法步骤：

S201：获取第一人脸图像对应的第一人脸渲染图，以及获取第二人脸图像的预处理图像，第一人脸渲染图为基于第一人脸图像生成的具有第二人脸图像的预设属性特征信息的人脸渲染图。

在本申请实施例中，第一人脸图像和第二人脸图像均为真实人脸的图像。

在本申请实施例中，第一编码器和第二编码器均采用卷积网络ResNet-50。

在一种可能的实现方式中，获取第一人脸图像对应的第一人脸渲染图包括以下步骤：

获取第一人脸图像的第三编码和第二人脸图像的第四编码，第三编码具有第一人脸图像的身份特征，第二编码具有第二人脸图像的预设属性特征；

基于第三编码获取第一控制参数，以及基于第四编码获取第二控制参数；

根据第一控制参数和第二控制参数生成第三控制参数；

根据第三控制参数，对第一人脸图像进行渲染，生成第一人脸图像渲染图。

如图3所示，是本申请实施例提供的一种通用的快速换脸方法所采用的控制参数学习网络ER-Net框架图。

如图3所示，给定输入图像I本申请实施例提供的通用的快速换脸方法希望学习的一个能够输出3D人脸控制参数C的映射网络F与编码器E。该3D人脸控制参数C能够渲染出与输入具有相同人脸的渲染图IR（包括人脸形状，皮肤，表情，场景光线，角度）。

如下针对图3中的编码器E、映射网络F、控制参数C、渲染器R以及渲染图IR做如下说明：

编码器E：编码器E用于提取输入图像的特征。具体的采用卷积网络ResNet-50，网络输出编码Z是（18，512）维度的向量。

映射网络F：映射网络F编码器E提取的输入图像的特征生成3D人脸的语义控制参数C。具体的映射网络F采用激活函数为ReLU的多层感知机。控制参数

是（1，257）维度的向量，包含3D人脸形状

、皮肤

、表情

、场景光线

、角度

的控制参数。

渲染器R：渲染器R用于将生成的控制参数C对应的3D人脸渲染成对应的2D人脸图像。

为了保证渲染器能够渲染出与真实输入I相同的人脸，设计了渲染损失。

渲染损失：为了实现渲染图IR与输入I具有相同的人脸，本申请实施例提供的通用的快速换脸方法设计了渲染损失：

其中，M是渲染图IR的二进制掩码，渲染图IR中基于3D模型渲染出来的像素值为1，其余为0。

是人脸关键点坐标，

是权重系数。

在本申请实施例中，预设属性特征包括以下至少一项：第二人脸图像的姿态属性特征、第二人脸图像的皮肤属性特征、第二人脸图像的表情属性特征和第二人脸图像的场景光线属性特征。

上述仅仅罗列了常见的预设属性特征，还可以根据不同应用场景的需求，引入其它的预设属性特征，在此不再赘述。

在一种可能的实现方式中，获取第二人脸图像的预处理图像包括以下步[i]骤：

识别第二人脸图像的人脸部分；

将人脸部分替换为白色图像，得到预处理图像。

S202：将第一人脸渲染图输入至第一编码器，输出第一编码，第一编码器用于提取第一人脸渲染图的身份特征；

S203：将第二人脸图像的预处理图像输入至第二编码器，输出第二编码，第二编码器用于提取第二人脸图像的预处理图像的背景特征；

S204：通过自适应网络，将第一编码器提取的身份特征转换为第二编码器提取的背景特征的偏移量和尺度变化因子；

S205：根据偏移量和尺度变化因子，通过第二编码器进行特征融合处理，生成混合特征，混合特征为具有第一人脸渲染图的身份特征和预处理图像的背景特征；

S206：生成器根据混合特征生成换脸图像，换脸图像为基于第一人脸渲染图生成的具有预处理图像的背景特征的图像。

在本申请实施例中，背景特征包括以下至少一项：第二人脸图像的预处理图像的人物背景特征、第二人脸图像的预处理图像的发型特征和第二人脸图像的预处理图像的身体特征。

上述列举了常见的背景特征，还可以根据不同应用场景的需求，引入其它的背景特征，在此不再赘述。

如图4所示，是本申请实施例提供的一种通用的快速换脸方法所采用的基于3D控制参数与渲染的人脸对齐结构图。

如图4所示，该步骤中给定输入图像I_source和输入图像I_target，本申请实施例提供的通用的快速换脸方法希望生成的输出图像I_R是输入图像I_source的人物生成的具有输入图像I_target的人物的某些属性的新图像（本申请实施例中具体指输入图像I_target姿态、皮肤、表情、场景光线），而保留输入图像I_source的人物身份特征的人物。在本申请实施例中，身份特征可以是指能够区分两个人脸属于不同人物的身份的信息。

如图4所示，基于3D控制参数与渲染的人脸对齐结构图包括编码器E，映射网络F，渲染器R。具体针对编码器E，映射网络F，渲染器R的描述，烦请参见如图3所示的相同或相似部分的描述，在此不再赘述。

如图5所示，是本申请实施例提供的一种通用的快速换脸方法所采用的基于自适应网络的通用快速换脸网络结构图。

如图5所示，该步骤中给定输入图像I_R，图像I_target’，本申请实施例提供的通用的快速换脸方法希望生成的输出图像I_des是基于图像I_R的人物生成的具有图像I_target’的人物背景，发型，身体等的新图像。

如图5所示，针对基于自适应网络的通用快速换脸网络结构图中的输入图像I_R、输入图像I_target’、编码器E1、编码器E2、自适应网络A、生成器G做如下说明，具体如下所述：输入图像I_R：输入图像I_R是步骤S20输出的渲染图输出图像，I_R是输入图像I_source的人物生成的具有输入图像I_target的人物的某些属性的新图像(本实施例中具体指输入图像I_target姿态，皮肤，表情，场景光线)，而保留输入图像I_source的人物身份特征的人物。在本发明实施例中，身份特征可以是指能够区分两个人脸属于不同人物的身份的信息。

输入图像I_target’：输入图像I_target’是输入图像I_target将人脸部分设置为（255，255，255）后的图像。这样做的目的是为了排除输入图像I_target人脸身份信息的干扰，并且保证编码器E2可以提取输入图像I_target的其他信息。

编码器E1：编码器E1用于提取输入图像I_R的身份特征。在本发明实施例中，身份特征可以是指能够区分两个人脸属于不同人物的身份的信息。具体的采用卷积网络ResNet-50，网络输出编码Z是（18,512）维度的向量。

编码器E2：编码器E2用于提取输入图像I_target’的背景特征。在本发明实施例中，背景特征可以是指出身份特征以外的特征（人物背景，发型，身体等）。具体的采用卷积网络ResNet-50，网络输出编码Z是（18,512）维度的向量。

自适应网络A：自适应网络A用于将编码器E1提取的图像I_R的身份特征转换为编码器E2提取的特征的偏移量和尺度变化因子。计算出的偏移量和尺度变化因子以Adain的方式影响编码器E2提取的特征，生成新的同时具有图像I_R的身份特征和图像I_target’的背景的混合特征。

生成器G：生成器G基于自适应网络A输出的混合特征生成最终的换脸图像I_des。输出图像I_des是基于图像I_R的人物生成的具有图像I_target’的人物背景，发型，身体等的新图像。

为了实现输出图像I_des具有输入图像I_source身份特征和输入图像I_target的其他属性（姿态，表情，场景光线等），本实施例设计了身份损失和条件损失。

身份损失：本申请实施例设计了身份损失保证输出图像I_des与具有输入图I_source的人脸身份特征。本申请实施例设计的身份损失

表示为：

其中，

是输出图像I_des的二进制掩码，输出图像I_des中人脸部分的像素值为1，其余为0。

是图像

经过人脸识别网络提取的身份特征，本申请实施例的人脸识别网络可以指是预先训练好的网络，例如，可以是预先训练好的卷积神经网络 CNN、循环神经网络RNN、深度神经网络DNN等。

条件损失：本申请实施例设计了条件损失保证输出图像I_des与具有输入图像I_target的人脸角度、表情。

本申请实施例设计的条件损失

表示为：

其中，

是输出图像I_des的二进制掩码，输出图像I_des中人脸部分的像素值为1，其余为0。

是图像

经过人脸关键点网络提取的关键点。

总体损失：为了实现输出图像I_des具有输入图像I_source身份特征和输入图像I_target的其他属性（姿态，表情，场景光线等），本申请实施例设计了总体损失

：

如图6所示，是本申请实施例提供的一种具体应用场景下通用的快速换脸方法的流程示意图。

如图6所示，本申请实施例提供的一种具体应用场景下通用的快速换脸方法包括以下步骤：

开始；

S10：真实人脸的3D人脸控制参数，与对应3D模型的渲染图。

针对本步骤中的3D人脸控制参数，以及3D模型的渲染图的描述，参见前述图2至图5中相同或相似部分的描述，在此不再赘述。

S20：基于3D控制参数与渲染实现人脸对齐。

针对本步骤中的基于3D控制参数与渲染实现人脸对齐的描述，参见前述图4中相同或相似部分的描述，在此不再赘述。

S30：建立通用的快速换脸网络。

针对本步骤中所建立的通用的快速换脸网络的描述，参见前述图5相同或相似部分的描述，在此不再赘述。

本申请实施例提供的通用的快速换脸方法，具有如下有益效果：

有益效果1：能够实现通用的模型，一次大规模数据集训练后，测试时可以对任意图像实现换脸。无需每次针对需要换脸的两个人物在线训练，无需每次都等待漫长的训练时间，实现快速换脸。

有益效果2：能够解决换脸人物之间姿态不一致问题。Faceshifter等先进的换脸算法，虽然能实现通用的模型，但是不能解决换脸人物之间姿态问题，例如，正脸换到侧脸的角度上。本申请实施例通过结合人脸3D模型渲染，将原图像中的人脸（I_source）变成目标图像（I_target）中的人脸姿态后再融合到图表图像中。

有益效果3：能够目标图像表情到原图像的迁移。本申请实施例通过结合人脸3D模型渲染，解决目标图像表情迁移问题，然后设计了基于人脸关键点的条件损失l_control实现表情的迁移。

有益效果4：能够降低换脸应用软件的使用门槛，测试时无需上传大量用户图像，只需上传一张用户图即可实现换脸。

在本申请实施例中，根据偏移量和尺度变化因子，通过第二编码器进行特征融合处理，生成混合特征；生成器根据混合特征生成换脸图像，换脸图像为基于第一人脸渲染图生成的具有预处理图像的背景特征的图像。本申请的快速换脸方法，由于能够根据偏移量和尺度变化因子，通过第二编码器进行特征融合处理，生成混合特征；生成器根据混合特征生成换脸图像；由于换脸图像是基于混合特征生成的、且由生成器生成的，这样，不仅能够很好地保留原图像的身份特征和目标图像的人物属性，而且无需针对换脸的原图像人物和目标图像的人物单独训练，最终实现了通用且快速的换脸过程。

下述为本申请实施例通用的快速换脸装置实施例，可以用于执行本申请实施例通用的快速换脸方法实施例。对于本申请实施例通用的快速换脸装置实施例中未披露的细节，请参照本申请实施例通用的快速换脸方法实施例。

请参见图7，其示出了本发明一个示例性实施例提供的通用的快速换脸装置的结构示意图。该通用的快速换脸装置可以通过软件、硬件或者两者的结合实现成为终端的全部或一部分。编码器702包括第一编码器和第二编码器，第一编码器用于提取第一人脸渲染图的身份特征，第二编码器用于提取第二人脸图像的预处理图像的背景特征，所述装置包括获取模块701、编码器702、自适应网络703、融合器704和生成器705。

具体而言，获取模块701，用于获取第一人脸图像对应的第一人脸渲染图，以及获取第二人脸图像的预处理图像，第一人脸渲染图为基于第一人脸图像生成的具有第二人脸图像的预设属性特征信息的人脸渲染图；

编码器702，用于将第一人脸渲染图输入至第一编码器，输出第一编码；以及将第二人脸图像的预处理图像输入至第二编码器，输出第二编码；

自适应网络703，用于将第一编码器提取的身份特征转换为第二编码器提取的背景特征的偏移量和尺度变化因子；

融合器704，用于根据自适应网络703生成偏移量和尺度变化因子，通过第二编码器进行特征融合处理，生成混合特征，混合特征为具有第一人脸渲染图的身份特征和预处理图像的背景特征；

生成器705，用于根据融合器704生成的混合特征生成换脸图像，换脸图像为基于第一人脸渲染图生成的具有预处理图像的背景特征的图像。

可选的，获取模块701具体用于：

识别第二人脸图像的人脸部分；

将人脸部分替换为白色图像，得到预处理图像。

可选的，背景特征包括以下至少一项：第二人脸图像的预处理图像的人物背景特征、第二人脸图像的预处理图像的发型特征和第二人脸图像的预处理图像的身体特征。

可选的，获取模块701具体还用于：

获取第一人脸图像的第三编码和第二人脸图像的第四编码，第三编码具有第一人脸图像的身份特征，第二编码具有第二人脸图像的预设属性特征；

基于第三编码获取第一控制参数，以及基于第四编码获取第二控制参数；

根据第一控制参数和第二控制参数生成第三控制参数；

根据第三控制参数，对第一人脸图像进行渲染，生成第一人脸图像渲染图。

可选的，预设属性特征包括以下至少一项：第二人脸图像的姿态属性特征、第二人脸图像的皮肤属性特征、第二人脸图像的表情属性特征和第二人脸图像的场景光线属性特征。

可选的，第一人脸图像和第二人脸图像均为真实人脸的图像。

可选的，第一编码器和第二编码器均采用卷积网络ResNet-50。

需要说明的是，上述实施例提供的通用的快速换脸装置在执行通用的快速换脸方法时，仅以上述各功能单元的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元完成，即将设备的内部结构划分成不同的功能单元，以完成以上描述的全部或者部分功能。另外，上述实施例提供的通用的快速换脸装置与通用的快速换脸方法实施例属于同一构思，其体现实现过程详见通用的快速换脸方法实施例，这里不再赘述。

在本申请实施例中，自适应网络用于将第一编码器提取的身份特征转换为第二编码器提取的背景特征的偏移量和尺度变化因子；融合器用于根据自适应网络生成偏移量和尺度变化因子，通过第二编码器进行特征融合处理，生成混合特征，混合特征为具有第一人脸渲染图的身份特征和预处理图像的背景特征；以及生成器用于根据融合器生成的混合特征生成换脸图像，换脸图像为基于第一人脸渲染图生成的具有预处理图像的背景特征的图像。本申请的快速换脸装置，由于能够根据偏移量和尺度变化因子，通过第二编码器进行特征融合处理，生成混合特征；生成器根据混合特征生成换脸图像；由于换脸图像是基于混合特征生成的、且由生成器生成的，这样，不仅能够很好地保留原图像的身份特征和目标图像的人物属性，而且无需针对换脸的原图像人物和目标图像的人物单独训练，最终实现了通用且快速的换脸过程。

如图8所示，本实施例提供一种电子设备，该电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器运行计算机程序以实现如上所述的方法步骤。

本申请实施例提供了一种存储有计算机可读指令的存储介质，其上存储有计算机程序，程序被处理器执行实现如上所述的方法步骤。

下面参考图8，其示出了适于用来实现本申请实施例的电子设备的结构示意图。本申请实施例中的终端设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、PDA（个人数字助理）、PAD（平板电脑）、PMP（便携式多媒体播放器）、车载终端（例如车载导航终端）等等的移动终端以及诸如数字TV、台式计算机等等的固定终端。图8示出的电子设备仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。

如图8所示，电子设备可以包括处理装置（例如中央处理器、图形处理器等）801，其可以根据存储在只读存储器（ROM）802中的程序或者从存储装置808加载到随机访问存储器（RAM）803中的程序而执行各种适当的动作和处理。在RAM803中，还存储有电子设备操作所需的各种程序和数据。处理装置801、ROM802以及RAM803通过总线804彼此相连。输入/输出（I/O）接口805也连接至总线804。

通常，以下装置可以连接至I/O接口805：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置806；包括例如液晶显示器（LCD）、扬声器、振动器等的输出装置807；包括例如磁带、硬盘等的存储装置808；以及通信装置809。通信装置809可以允许电子设备与其他设备进行无线或有线通信以交换数据。虽然图8示出了具有各种装置的电子设备，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。

特别地，根据本公开的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本公开的实施例包括一种计算机程序产品，其包括承载在计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置809从网络上被下载和安装，或者从存储装置808被安装，或者从ROM802被安装。在该计算机程序被处理装置801执行时，执行本申请实施例的方法中限定的上述功能。

需要说明的是，本公开上述的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑磁盘只读存储器（CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、RF（射频）等等，或者上述的任意合适的组合。

上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。

可以以一种或多种程序设计语言或其组合来编写用于执行本公开的操作的计算机程序代码，上述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。

附图中的流程图和框图，图示了按照本公开各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。

描述于本申请实施例中所涉及到的单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，单元的名称在某种情况下并不构成对该单元本身的限定。

请参见图9，为本申请实施例提供了一种终端的结构示意图。如图9所示，终端900可以包括：至少一个处理器901，至少一个网络接口904，用户接口903，存储器905，至少一个通信总线902。

其中，通信总线902用于实现这些组件之间的连接通信。

其中，用户接口903可以包括显示屏（Display）、摄像头（Camera），可选用户接口903还可以包括标准的有线接口、无线接口。

其中，网络接口904可选的可以包括标准的有线接口、无线接口（如WI-FI接口）。

其中，处理器901可以包括一个或者多个处理核心。处理器901利用各种借口和线路连接整个电子设备900内的各个部分，通过运行或执行存储在存储器905内的指令、程序、代码集或指令集，以及调用存储在存储器905内的数据，执行电子设备900的各种功能和处理数据。可选的，处理器901可以采用数字信号处理（Digital Signal Processing，DSP）、现场可编程门阵列（Field-Programmable Gate Array，FPGA）、可编程逻辑阵列（Programmable Logic Array，PLA）中的至少一种硬件形式来实现。处理器901可集成中央处理器（Central Processing Unit，CPU）、图像处理器（Graphics Processing Unit，GPU）和调制解调器等中的一种或几种的组合。其中，CPU主要处理操作系统、用户界面和应用程序等；GPU用于负责显示屏所需要显示的内容的渲染和绘制；调制解调器用于处理无线通信。可以理解的是，上述调制解调器也可以不集成到处理器901中，单独通过一块芯片进行实现。

其中，存储器905可以包括随机存储器（Random Access Memory，RAM），也可以包括只读存储器（Read-Only Memory）。可选的，该存储器905包括非瞬时性计算机可读介质（non-transitory computer-readable storage medium）。存储器905可用于存储指令、程序、代码、代码集或指令集。存储器905可包括存储程序区和存储数据区，其中，存储程序区可存储用于实现操作系统的指令、用于至少一个功能的指令（比如触控功能、声音播放功能、图像播放功能等）、用于实现上述各个方法实施例的指令等；存储数据区可存储上面各个方法实施例中涉及到的数据等。存储器905可选的还可以是至少一个位于远离前述处理器901的存储装置。如图9所示，作为一种计算机存储介质的存储器905中可以包括操作系统、网络通信模块、用户接口模块以及通用的快速换脸应用程序。

在图9所示的终端900中，用户接口903主要用于为用户提供输入的接口，获取用户输入的数据；而处理器901可以用于调用存储器905中存储的通用的快速换脸应用程序，并具体执行以下操作：

获取第一人脸图像对应的第一人脸渲染图，以及获取第二人脸图像的预处理图像，第一人脸渲染图为基于第一人脸图像生成的具有第二人脸图像的预设属性特征信息的人脸渲染图；

将第一人脸渲染图输入至第一编码器，输出第一编码，第一编码器用于提取第一人脸渲染图的身份特征；

将第二人脸图像的预处理图像输入至第二编码器，输出第二编码，第二编码器用于提取第二人脸图像的预处理图像的背景特征；

通过自适应网络，将第一编码器提取的身份特征转换为第二编码器提取的背景特征的偏移量和尺度变化因子；

根据偏移量和尺度变化因子，通过第二编码器进行特征融合处理，生成混合特征，混合特征为具有第一人脸渲染图的身份特征和预处理图像的背景特征；

生成器根据混合特征生成换脸图像，换脸图像为基于第一人脸渲染图生成的具有预处理图像的背景特征的图像。

在一个实施例中，处理器901在执行获取第二人脸图像的预处理图像具体执行以下操作：

识别第二人脸图像的人脸部分；

将人脸部分替换为白色图像，得到预处理图像。

在一个实施例中，背景特征包括以下至少一项：第二人脸图像的预处理图像的人物背景特征、第二人脸图像的预处理图像的发型特征和第二人脸图像的预处理图像的身体特征。

在一个实施例中，处理器901在执行获取第一人脸图像对应的第一人脸渲染图具体执行以下操作：

获取第一人脸图像的第三编码和第二人脸图像的第四编码，第三编码具有第一人脸图像的身份特征，第二编码具有第二人脸图像的预设属性特征；

基于第三编码获取第一控制参数，以及基于第四编码获取第二控制参数；

根据第一控制参数和第二控制参数生成第三控制参数；

根据第三控制参数，对第一人脸图像进行渲染，生成第一人脸图像渲染图。

在一个实施例中，预设属性特征包括以下至少一项：第二人脸图像的姿态属性特征、第二人脸图像的皮肤属性特征、第二人脸图像的表情属性特征和第二人脸图像的场景光线属性特征。

在一个实施例中，第一人脸图像和第二人脸图像均为真实人脸的图像。

在一个实施例中，第一编码器和第二编码器均采用卷积网络ResNet-50。

在本申请实施例中，根据偏移量和尺度变化因子，通过第二编码器进行特征融合处理，生成混合特征；生成器根据混合特征生成换脸图像，换脸图像为基于第一人脸渲染图生成的具有预处理图像的背景特征的图像。本申请的快速换脸方法，由于能够根据偏移量和尺度变化因子，通过第二编码器进行特征融合处理，生成混合特征；生成器根据混合特征生成换脸图像；由于换脸图像是基于混合特征生成的、且由生成器生成的，这样，不仅能够很好地保留原图像的身份特征和目标图像的人物属性，而且无需针对换脸的原图像人物和目标图像的人物单独训练，最终实现了通用且快速的换脸过程。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体或随机存储记忆体等。

以上所揭露的仅为本申请较佳实施例而已，当然不能以此来限定本申请之权利范围，因此依本申请权利要求所作的等同变化，仍属本申请所涵盖的范围。

Claims (9)

1.一种通用的快速换脸方法，其特征在于，所述方法包括：

获取第一人脸图像对应的第一人脸渲染图，以及获取第二人脸图像的预处理图像，所述第一人脸渲染图为基于所述第一人脸图像生成的具有所述第二人脸图像的预设属性特征信息的人脸渲染图；

将所述第一人脸渲染图输入至第一编码器，输出第一编码，所述第一编码器用于提取所述第一人脸渲染图的身份特征；

将所述第二人脸图像的预处理图像输入至第二编码器，输出第二编码，所述第二编码器用于提取所述第二人脸图像的预处理图像的背景特征；所述背景特征包括以下至少一项：所述第二人脸图像的预处理图像的人物背景特征、所述第二人脸图像的预处理图像的发型特征和所述第二人脸图像的预处理图像的身体特征；

通过自适应网络，将所述第一编码器提取的所述身份特征转换为所述第二编码器提取的所述背景特征的偏移量和尺度变化因子；

根据所述偏移量和所述尺度变化因子，通过所述第二编码器进行特征融合处理，生成混合特征，所述混合特征为具有所述第一人脸渲染图的所述身份特征和所述预处理图像的所述背景特征；

生成器根据所述混合特征生成换脸图像，所述换脸图像为基于所述第一人脸渲染图生成的具有所述预处理图像的所述背景特征的图像。

2.根据权利要求1所述的方法，其特征在于，所述获取第二人脸图像的预处理图像包括：

识别所述第二人脸图像的人脸部分；

将所述人脸部分替换为白色图像，得到所述预处理图像。

3.根据权利要求1所述的方法，其特征在于，所述获取第一人脸图像对应的第一人脸渲染图包括：

获取所述第一人脸图像的第三编码和第二人脸图像的第四编码，所述第三编码具有所述第一人脸图像的所述身份特征，所述第四编码具有所述第二人脸图像的预设属性特征；

基于所述第三编码获取第一控制参数，以及基于所述第四编码获取第二控制参数；

根据所述第一控制参数和所述第二控制参数生成第三控制参数；

根据第三控制参数，对所述第一人脸图像进行渲染，生成第一人脸图像渲染图。

4.根据权利要求3所述的方法，其特征在于，

所述预设属性特征包括以下至少一项：

所述第二人脸图像的姿态属性特征、所述第二人脸图像的皮肤属性特征、所述第二人脸图像的表情属性特征和所述第二人脸图像的场景光线属性特征。

5.根据权利要求1所述的方法，其特征在于，

所述第一人脸图像和所述第二人脸图像均为真实人脸的图像。

6.根据权利要求1所述的方法，其特征在于，

所述第一编码器和所述第二编码器均采用卷积网络ResNet-50。

7.一种通用的快速换脸装置，其特征在于，编码器包括第一编码器和第二编码器，所述第一编码器用于提取第一人脸渲染图的身份特征，所述第二编码器用于提取第二人脸图像的预处理图像的背景特征，所述装置包括：

获取模块，用于获取第一人脸图像对应的第一人脸渲染图，以及获取第二人脸图像的预处理图像，所述第一人脸渲染图为基于所述第一人脸图像生成的具有所述第二人脸图像的预设属性特征信息的人脸渲染图；

所述编码器，用于将所述第一人脸渲染图输入至所述第一编码器，输出第一编码；以及将所述第二人脸图像的预处理图像输入至所述第二编码器，输出第二编码；

自适应网络，用于将所述第一编码器提取的所述身份特征转换为所述第二编码器提取的所述背景特征的偏移量和尺度变化因子；所述背景特征包括以下至少一项：所述第二人脸图像的预处理图像的人物背景特征、所述第二人脸图像的预处理图像的发型特征和所述第二人脸图像的预处理图像的身体特征；

融合器，用于根据所述自适应网络生成所述偏移量和所述尺度变化因子，通过所述第二编码器进行特征融合处理，生成混合特征，所述混合特征为具有所述第一人脸渲染图的所述身份特征和所述预处理图像的所述背景特征；

生成器，用于根据所述融合器生成的所述混合特征生成换脸图像，所述换脸图像为基于所述第一人脸渲染图生成的具有所述预处理图像的所述背景特征的图像。

8.一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器运行所述计算机程序以实现如权利要求1-6任一项所述的方法。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行实现如权利要求1-6中任一项所述的方法。

Images