CN113361490B - 图像生成、网络训练方法、装置、计算机设备和存储介质 - Google Patents

Abstract

本发明实施例公开一种图像生成、网络训练方法、装置、计算机设备和存储介质，获取待替换人脸图像和源人脸图像。从源人脸图像提取对应的人脸身份特征，以及通过生成对抗网络提取待替换人脸图像对应的人脸属性特征。通过生成对抗网络基于人脸属性特征和人脸身份特征进行人脸生成，得到待替换人脸图像对应的替换后人脸图像。提取替换后人脸图像的第一表情向量，以及待替换人脸图像的第二表情向量。基于第一表情向量和第二表情向量，对替换后人脸图像的表情进行调整，得到待替换人脸图像对应的最终替换后人脸图像。提高了替换人脸图像和待替换人脸图像之间的表情一致性。

Description

图像生成、网络训练方法、装置、计算机设备和存储介质

技术领域

本发明涉及人脸替换技术领域，具体涉及一种图像生成、网络训练方法、装置、计算机设备和存储介质。

背景技术

在计算机视觉领域中，人脸替换技术得到了广泛的应用，比如应用于影视剧的后期制作，以及特定人脸动画生成等。

人脸替换技术基于源人脸和目标人脸进行人脸合成，得到合成人脸。该合成人脸具有源人脸的身份信息以及目标人脸的属性信息。现有的人脸替换技术采用生成对抗网络来生成合成人脸，现有的生成对抗网络会造成合成人脸和源人脸、目标人脸之间存在表情不一致的问题。

发明内容

本发明实施例提供一种图像生成、网络训练方法、装置、计算机设备和存储介质，可以提高替换人脸图像和待替换人脸图像之间的表情一致性。

第一方面，本发明实施例提供了一种人脸图像的生成方法，其包括：

获取待替换人脸图像和源人脸图像；

从所述源人脸图像提取对应的人脸身份特征，以及通过生成对抗网络提取所述待替换人脸图像对应的人脸属性特征；

通过所述生成对抗网络基于所述人脸属性特征和所述人脸身份特征进行人脸生成，得到所述待替换人脸图像对应的替换后人脸图像；

提取所述替换后人脸图像的第一表情向量，以及所述待替换人脸图像的第二表情向量；

基于所述第一表情向量和所述第二表情向量，对所述替换后人脸图像的表情进行调整，得到所述待替换人脸图像对应的最终替换后人脸图像。

第二方面，本发明实施例提供了一种生成对抗网络的训练方法，其包括：

获取第一样本人脸图像和第二样本人脸图像；

从所述第二样本人脸图像提取对应的第一人脸身份特征，以及通过生成对抗网络获取所述第一样本人脸图像对应的第一人脸属性特征；

通过所述生成对抗网络基于所述第一人脸属性特征和所述第一人脸身份特征进行人脸生成，得到所述第一样本人脸图像对应的参考替换后人脸图像；

提取所述参考替换后人脸图像的第一人脸表情向量，以及所述第一样本图像的第二人脸表情向量；

根据所述第一人脸表情向量和所述第二人脸表情向量，对所述生成对抗网络的参数进行调整，得到训练完成的生成对抗网络。

第三方面，本发明实施例提供了一种人脸图像的生成方法，采用如上所述的训练完成的生成对抗网络生成人脸图像，其包括：

获取待替换人脸图像和源人脸图像；

获取所述源人脸图像对应的人脸身份特征，以及通过所述训练完成的生成对抗网络获取所述待替换人脸图像对应的人脸属性特征；

通过所述训练完成的生成对抗网络基于所述人脸属性特征和所述人脸身份特征进行人脸生成，得到所述待替换人脸图像对应的替换后人脸图像。

在一实施例中，所述向量提取单元包括：

第一映射子单元，用于基于表情信息编码模块将所述替换后人脸图像映射到表情向量空间中，得到所述替换后人脸图像的第一表情向量；

第二映射子单元，用于基于所述表情信息编码模块将所述待替换人脸图像映射到所述表情向量空间中，得到所述待替换人脸图像的第二表情向量。

在一实施例中，所述表情调整单元包括：

表情调整子单元，用于通过所述表情信息编码模块基于所述第一表情向量和所述第二表情向量，对所述替换后人脸图像的表情进行调整，得到所述待替换人脸图像对应的最终替换后人脸图像。

在一实施例中，所述表情调整单元包括：

距离计算子单元，用于计算所述第一表情向量和第二表情向量的向量距离；

参数调整子单元，用于基于所述向量距离对所述生成对抗网络的参数进行调整；

返回子单元，用于在调整后，返回执行所述从所述源人脸图像提取对应的人脸身份特征，以及通过生成对抗网络提取所述待替换人脸图像对应的人脸属性特征的步骤，直到所述向量距离不高于预设向量距离阈值为止，将最后得到的替换后人脸图像确定为最终的替换后人脸图像。

在一实施例中，所述装置还包括：

身份特征获取单元，用于从所述待替换人脸图像提取对应的人脸身份特征；

属性特征提取单元，用于通过所述生成网络提取所述替换后人脸图像对应的人脸属性特征；

恢复人脸单元，用于通过所述生成对抗网络，基于所述待替换人脸图像对应的人脸身份特征和所述替换后人脸图像对应的人脸属性特征进行人脸生成，得到恢复后人脸图像；

相似度调整单元，用于根据所述恢复后人脸图像和所述待替换人脸图像的相似度值，对所述生成对抗网络的参数进行调整。

在一实施例中，所述装置还包括：

身份特征提取单元，用于从所述替换后人脸图像提取对应的人脸身份特征；

匹配度调整单元，用于根据所述源人脸图像对应的人脸身份特征和所述替换后人脸图像对应的人脸身份特征的匹配度，对所述替换后人脸图像对应的人脸身份特征进行调整。

在一实施例中，所述特征提取单元包括：

子特征获取子单元，用于通过多个预设识别模型获取所述源人脸图像对应的多个人脸身份子特征；

特征融合子单元，用于对所述源人脸图像对应的多个人脸身份子特征进行特征融合，得到源人脸图像提取对应的人脸身份特征。

第五方面，本发明实施例还提供了一种生成对抗网络的训练装置，其包括：

样本获取单元，用于获取第一样本人脸图像和第二样本人脸图像；

特征获取单元，用于从所述第二样本人脸图像提取对应的第一人脸身份特征，以及通过生成对抗网络获取所述第一样本人脸图像对应的第一人脸属性特征；

处理单元，用于通过所述生成对抗网络基于所述第一人脸属性特征和所述第一人脸身份特征进行人脸生成，得到所述第一样本人脸图像对应的参考替换后人脸图像；

向量获取单元，用于提取所述参考替换后人脸图像的第一人脸表情向量，以及所述第一样本图像的第二人脸表情向量；

训练单元，用于根据所述第一人脸表情向量和所述第二人脸表情向量，对所述生成对抗网络的参数进行调整，得到训练完成的生成对抗网络。

在一实施例中，所述训练单元包括：

损失确定子单元，用于基于所述第一表情向量和所述第二表情向量，确定所述生成对抗网络的表情一致性损失；

一致调整子单元，用于基于所述表情一致性损失对所述生成对抗网络的参数进行调整，得到训练完成的生成对抗网络。

在一实施例中，所述装置还包括：

第一获取单元，用于获取所述参考替换后人脸图像对应的第二人脸属性特征；

第一调整单元，用于根据所述第一人脸属性特征和所述第二人脸属性特征，对所述生成对抗网络的参数进行调整。

在一实施例中，所述装置还包括：

第二获取单元，用于从所述第一样本人脸图像提取对应的第三人脸身份特征；

重建单元，用于通过所述生成对抗网络，基于所述第三人脸身份特征和所述第二人脸属性特征进行人脸生成，得到重建人脸图像；

第二调整单元，用于根据所述重建人脸图像和所述第一样本人脸图像的相似度值，对所述生成对抗网络的参数进行调整。

在一实施例中，所述装置还包括：

第三获取单元，用于获取所述参考替换后人脸图像对应的第二人脸身份特征；

第三调整单元，用于根据所述第一人脸身份特征和第二人脸身份特征的相似度值，对所述生成对抗网络的参数进行调整。

在一实施例中，所述特征获取单元包括：

子特征获取子单元，用于通过多个预设识别模型获取所述第二样本人脸图像对应的多个第一人脸身份子特征；

融合子单元，用于对所述多个第一人脸身份子特征进行特征融合，得到所述第二样本人脸图像对应的第一人脸身份特征。

在一实施例中，所述第二人脸身份特征包括多个第二人脸身份子特征，所述第三调整单元包括：

计算子单元，用于对所述第一人脸身份特征和第二人脸身份特征中，相对应的第一人脸身份子特征和第二人脸身份子特征计算相似度值；

调整子单元，用于基于所述相似度值对所述生成对抗网络的参数进行调整。

在一实施例中，所述特征获取单元包括：

尺度提取子单元，用于通过所述生成对抗网络的编码器，对所述第一样本人脸图像进行多个尺度的人脸属性特征提取，得到所述第一样本人脸图像对应的第一人脸属性特征。

在一实施例中，所述生成对抗网络包括解码器，所述解码器包括身份信息嵌入模块以及至少两个融合采样模块；

所述处理单元包括：

第一嵌入子单元，用于基于所述身份信息嵌入模块，将所述第一人脸身份特征嵌入所述第一人脸属性特征，得到所述身份信息嵌入模块的输出特征，将所述输出特征输入到与所述身份信息嵌入模块连接的融合采样模块；

第二嵌入子单元，用于通过所述融合采样模块在所述输出特征中嵌入所述第一人脸身份特征和所述第一人脸属性特征得到嵌入后特征，并对所述嵌入后特征进行上采样，得到所述融合采样模块的输出特征，将所述输出特征输入所述融合采样模块之后的融合采样模块；

返回子单元，用于返回执行所述通过所述融合采样模块在所述输出特征中嵌入所述第一人脸身份特征和所述第一人脸属性特征，得到嵌入后特征的步骤，直到当前的融合采样模块为最后一个融合采样模块，将当前的融合采样模块的输出特征确定为所述第一样本人脸图像对应的参考替换后人脸图像。

在一实施例中，所述融合采样模块包括顺序连接的融合模块和采样嵌入模块，所述第二嵌入子单元用于：

通过融合模块在所述输出特征中嵌入所述第一人脸身份特征和第一人脸属性特征，得到嵌入信息，将所述嵌入信息输入所述采样嵌入模块；

通过所述采样嵌入模块在所述嵌入信息中嵌入所述第一人脸身份特征得到嵌入后特征，并对所述嵌入后特征进行上采样得到所述融合采样模块的输出特征。

第六方面，本发明实施例还提供了一种人脸图像生成装置，其包括：

人脸图像获取单元，用于获取待替换人脸图像和源人脸图像；

信息获取单元，用于获取所述源人脸图像对应的人脸身份特征，以及通过所述训练完成的生成对抗网络获取所述待替换人脸图像对应的人脸属性特征；

生成单元，用于通过所述训练完成的生成对抗网络对所述人脸属性特征和所述人脸身份特征进行人脸生成，得到所述待替换人脸图像对应的替换后人脸图像。

第七方面，本发明实施例还提供了一种计算机设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如上所述生成对抗网络的训练方法和如上所述的人脸图像生成方法的步骤。

第八方面，本发明实施例还提供了一种存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现如上所述生成对抗网络的训练方法和如上所述的人脸图像生成方法的步骤。

本发明实施例提供了一种图像生成、网络训练方法、装置、计算机设备和存储介质，能获取待替换人脸图像和源人脸图像；从所述源人脸图像提取对应的人脸身份特征，以及通过生成对抗网络提取所述待替换人脸图像对应的人脸属性特征；通过所述生成对抗网络基于所述人脸属性特征和所述人脸身份特征进行人脸生成，得到所述待替换人脸图像对应的替换后人脸图像；提取所述替换后人脸图像的第一表情向量，以及所述待替换人脸图像的第二表情向量；基于所述第一表情向量和所述第二表情向量，对所述替换后人脸图像的表情进行调整，得到所述待替换人脸图像对应的最终替换后人脸图像。提高了使用生成对抗网络进行人脸生成时，替换人脸图像和待替换人脸图像之间的表情一致性。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的人脸图像生成系统的示意图；

图2是本发明实施例提供的人脸图像生成方法的流程示意图；

图3是本发明实施例提供的人脸图像生成方法的另一流程示意图；

图4是本发明实施例提供的人脸图像生成方法的场景示意图；

图5是本发明实施例提供的人脸图像生成方法的又一流程示意图；

图6是本发明实施例提供的生成对抗网络的训练方法的场景示意图；

图7是本发明实施例提供的生成对抗网络的训练方法的另一场景示意图；

图8是本发明实施例提供的生成对抗网络的训练方法的又一场景示意图；

图9是本发明实施例提供的一种人脸图像生成装置的结构示意图；

图10是本发明实施例提供的生成对抗网络的训练装置的结构示意图；

图11是本发明实施例提供的生成对抗网络的训练装置的另一结构示意图；

图12是本发明实施例提供的一种计算机设备的结构示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

本发明实施例提供一种生成对抗网络的训练方法、人脸图像生成方法、生成对抗网络的训练装置、人脸图像生成装置、计算机设备和存储介质。

本发明实施例提供一种人脸图像生成系统。该人脸图像生成装置包括可以集成在计算机设备中的人脸图像生成装置。

该计算机设备可以为终端等设备，例如可以为手机、平板电脑、笔记本电脑、台式电脑等。该计算机设备还可以是服务器等设备，该服务器可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN、以及大数据和人工智能平台等基础云计算服务的云服务器，但并不局限于此。

本实施例中的生成对抗网络的训练装置可以集成在服务器中，或者满足模型训练条件的终端中。

本实施例中的人脸图像生成装置可以包括训练完成的生成对抗网络，该人脸图像生成装置可以集成在终端或服务器中，可选的，可以以应用程序等形式集成于终端或服务器中。

请参见图1，图1为本发明实施例提供的人脸图像生成系统的场景示意图。该系统可以包括用户侧设备以及服务侧设备，用户侧设备与服务侧设备通过各种网关组成的互联网等方式连接，不再赘述。其中，用户侧设备包括用户终端10。服务侧设备包括服务器20。用户终端10包括但不局限于手机、平板等便携终端，电脑、查询机、广告机等固定终端，以及各种虚拟终端等。服务器20包括本地服务器和/或远程服务器等。

服务器20可以先获取第一样本人脸图像和第二样本人脸图像。再获取第二样本人脸图像对应的第一人脸身份特征，以及通过生成对抗网络获取第一样本人脸图像对应的第一人脸属性特征。接着，通过生成对抗网络对第一人脸属性特征和第一人脸身份特征进行处理，生成参考替换后人脸图像。然后提取所述参考替换后人脸图像的第一人脸表情向量，以及所述第一样本图像的第二人脸表情向量。最后根据所述第一人脸表情向量和所述第二人脸表情向量，对所述生成对抗网络的参数进行调整，得到训练完成的生成对抗网络。

其中，训练完成的生成对抗网络可以设置在需要的服务器或者终端中，比如服务器20中。

如图1所示，终端10用于向服务器20发送人脸图像生成请求，该人脸图像生成请求携带有待替换人脸图像和源人脸图像。

终端10接收服务器20发送的人脸图像生成请求，并根据该人脸图像生成请求获取待替换人脸图像和源人脸图像。接着，获取源人脸图像对应的人脸身份特征，以及通过训练完成的生成对抗网络获取待替换人脸图像对应的人脸属性特征。最后，通过训练完成的生成对抗网络对人脸属性特征和人脸身份特征进行人脸生成，得到待替换人脸图像对应的替换人脸图像。

以下分别进行详细说明。需说明的是，以下实施例的描述顺序不作为对实施例优选顺序的限定。

在本发明实施例中，将从人脸图像生成装置的角度进行描述，该人脸图像生成装置具体可以集成在服务器中。

请参照图2，图2为本发明实施例提供的人脸图像生成方法的流程示意图，该方法可以包括：

步骤S101，获取待替换人脸图像和源人脸图像。

步骤S102，从源人脸图像提取对应的人脸身份特征，以及通过生成对抗网络提取待替换人脸图像对应的人脸属性特征。

步骤S103，通过生成对抗网络基于人脸属性特征和人脸身份特征进行人脸生成，得到待替换人脸图像对应的替换后人脸图像。

步骤S104，提取替换后人脸图像的第一表情向量，以及待替换人脸图像的第二表情向量。

步骤S105，基于第一表情向量和第二表情向量，对替换后人脸图像的表情进行调整，得到待替换人脸图像对应的最终替换后人脸图像。

需要说明的是，人脸替换将待替换人脸图像中的某个人脸的人脸身份信息替换成源人脸图像中另一个人脸的人脸身份信息，并保留待替换人脸图像中人脸的人脸属性信息，比如头部姿态、面部表情、肤色、光照以及背景等。其中，人脸身份信息可以是指能够区分两个人脸属于不同人脸的身份的特征，比如五官。

在一实施例中，可以使用预设识别模型获取源人脸图像对应的人脸身份特征，比如Arcface、FaceNet或CosineFace。其中，可以采用单个预设识别模型获取人脸身份特征，也可以采用多个预设识别模型获取人脸身份特征。当通过多个预设识别模型获取人脸身份特征时，可以将获取到的多个人脸身份子特征进行特征融合。具体的，首先通过多个预设识别模型获取源人脸图像对应的多个人脸身份子特征。然后对源人脸图像对应的多个人脸身份子特征进行特征融合，得到源人脸图像提取对应的人脸身份特征。

在一实施例中，生成对抗网络包括编码器和解码器。可以通过编码器对待替换人脸图像进行多个尺度的人脸属性特征提取，得到待替换人脸图像对应的人脸属性特征。基于上述人脸属性特征和人脸身份特征，可以通过解码器生成待替换人脸图像对应的替换后人脸图像。

在一实施例中，编码器包括多个残差模块，其中，有些残差模块具有下采样功能。将待替换人脸图像输入编码器后，编码器获取该待替换人脸图像对应的多个尺度的人脸属性特征，再通过具有下采样功能的残差模块对该多个尺度的人脸属性特征进行不同次数的下采样。

假设编码器包括四个带下采样功能的残差模块，待替换人脸图像对应人脸属性特征。人脸属性特征经一个带下采样功能的残差模块后，得到第一尺度的特征图，特征图再经一个带下采样功能的残差模块后，得到第二尺度的特征图。最终，该人脸属性特征经不同个数的带下采样功能的残差模块后，输出四种不同尺度的特征图。

对于不同分辨率要求的人脸属性特征，可以设置相应次数的下采样。例如，获取到的人脸属性特征包括人脸的颜色、纹理以及表情等。上述人脸属性特征对应的特征图的尺度为256×256。则对于人脸的颜色、纹理等浅层人脸属性特征，可以经一个带下采样功能的残差模块处理，得到128×128尺度的特征图。对于人脸的表情等高层人脸属性特征，可以经三个带下采样功能的残差模块处理，得到16×16尺度的特征图。

进一步的，获取替换后人脸图像的第一表情向量，以及待替换人脸图像的第二表情向量。具体的，基于表情信息编码模块将替换后人脸图像映射到表情向量空间中，得到替换后人脸图像的第一表情向量。基于表情信息编码模块将待替换人脸图像映射到表情向量空间中，得到待替换人脸图像的第二表情向量。

然后基于第一表情向量和第二表情向量，对替换后人脸图像的表情进行调整，得到待替换人脸图像对应的最终替换后人脸图像。以下详细介绍基于第一表情向量和第二表情向量，对替换后人脸图像的表情进行调整，得到待替换人脸图像对应的最终替换后人脸图像的步骤：

在一实施例中，可以通过表情信息编码模块基于第一表情向量和第二表情向量，对替换后人脸图像的表情进行调整，得到待替换人脸图像对应的最终替换后人脸图像。

在一实施例中，还可以先计算第一表情向量和第二表情向量的向量距离。基于向量距离对生成对抗网络的参数进行调整。在调整后，返回执行从源人脸图像提取对应的人脸身份特征，以及通过生成对抗网络提取待替换人脸图像对应的人脸属性特征的步骤，直到向量距离不高于预设向量距离阈值为止，将最后得到的替换后人脸图像确定为最终的替换后人脸图像。

进一步的，在本发明实施例中还提供了根据替换后人脸生成最终替换人脸图像的其他方案。

在一实施例中，还可以先从待替换人脸图像提取对应的人脸身份特征。再通过生成网络提取替换后人脸图像对应的人脸属性特征。接着通过生成对抗网络，基于待替换人脸图像对应的人脸身份特征和替换后人脸图像对应的人脸属性特征进行人脸生成，得到恢复后人脸图像。最后根据恢复后人脸图像和待替换人脸图像的相似度值，对生成对抗网络的参数进行调整，得到待替换人脸图像对应的最终替换后人脸图像。

在一实施例中，先从替换后人脸图像提取对应的人脸身份特征。再根据源人脸图像对应的人脸身份特征和替换后人脸图像对应的人脸身份特征的匹配度，对替换后人脸图像对应的人脸身份特征进行调整，得到待替换人脸图像对应的最终替换后人脸图像。

本发明实施例的图像生成方法能获取待替换人脸图像和源人脸图像。从所述源人脸图像提取对应的人脸身份特征，以及通过生成对抗网络提取所述待替换人脸图像对应的人脸属性特征。通过所述生成对抗网络基于所述人脸属性特征和所述人脸身份特征进行人脸生成，得到所述待替换人脸图像对应的替换后人脸图像。提取所述替换后人脸图像的第一表情向量，以及所述待替换人脸图像的第二表情向量。基于所述第一表情向量和所述第二表情向量，对所述替换后人脸图像的表情进行调整，得到所述待替换人脸图像对应的最终替换后人脸图像。提高了使用生成对抗网络进行人脸生成时，替换人脸图像和待替换人脸图像之间的表情一致性。

进一步的，本发明实施例还提供了一种人脸图像的生成方法。在本发明实施例中，将从人脸图像生成装置的角度进行描述，该人脸图像生成装置具体可以集成在服务器中。

请参照图3，图3为本发明实施例提供的人脸图像生成方法的流程示意图，该方法可以包括：

步骤S201，获取待替换人脸图像和源人脸图像。

步骤S202，获取源人脸图像对应的人脸身份特征，以及通过训练完成的生成对抗网络获取待替换人脸图像对应的人脸属性特征。

步骤S203，通过训练完成的生成对抗网络基于人脸属性特征和人脸身份特征进行人脸生成，得到待替换人脸图像对应的替换后人脸图像。

需要说明的是，人脸替换将待替换人脸图像中的某个人脸的人脸身份特征替换成源人脸图像中另一个人脸的人脸身份特征，并保留待替换人脸图像中人脸的人脸属性特征，比如头部姿态、面部表情、肤色、光照以及背景等。其中，人脸身份特征可以是指能够区分两个人脸属于不同人脸的身份的特征，比如五官。

在一实施例中，如图4所示，可以使用预设识别模型获取源人脸图像对应的人脸身份特征，比如Arcface、FaceNet或CosineFace。其中，可以采用单个预设识别模型获取人脸身份特征，也可以采用多个预设识别模型获取人脸身份特征。当通过多个预设识别模型获取人脸身份特征时，可以将获取到的多个人脸身份特征进行向量融合。

在一实施例中，通过训练完成的生成对抗网络获取待替换人脸图像对应的人脸属性特征。在本实施例中，先结合图5，对生成对抗网络的训练方法进行介绍，该方法可以包括：

步骤S301，获取第一样本人脸图像和第二样本人脸图像。

步骤S302，从第二样本人脸图像提取对应的第一人脸身份特征，以及通过生成对抗网络获取第一样本人脸图像对应的第一人脸属性特征。

步骤S303，通过生成对抗网络基于第一人脸属性特征和第一人脸身份特征进行人脸生成，得到第一样本人脸图像对应的参考替换后人脸图像。

步骤S304，提取参考替换后人脸图像的第一人脸表情向量，以及第一样本图像的第二人脸表情向量。

步骤S305，根据第一人脸表情向量和第二人脸表情向量，对生成对抗网络的参数进行调整，得到训练完成的生成对抗网络。

其中，第一样本人脸图像和第二样本人脸图像用于对生成对抗网络进行训练。

在一实施例中，从第二样本人脸图像提取对应的第一人脸身份特征，包括：

通过多个预设识别模型获取第二样本人脸图像对应的多个第一人脸身份子特征。

对多个第一人脸身份子特征进行特征融合，得到第二样本人脸图像对应的第一人脸身份特征。

其中，预设识别模型可以为Arcface、FaceNet以及CosineFace等人脸识别模型。对多个第一人脸身份子特征进行特征融合包括但不限于多个第一人脸身份子特征的拼接，求平均值等。假设，通过3个预设识别模型获取到3个尺寸为512×1×1的第一人脸身份子特征，则将3个第一人脸身份子特征进行特征拼接后，得到尺寸为1536×1×1的第一人脸身份特征。

其中，生成对抗网络包括编码器和解码器。可以通过编码器，对第一样本人脸图像进行多个尺度的人脸属性特征提取，得到第一样本人脸图像对应的第一人脸属性特征。基于上述获取到的第一人脸属性特征和第一人脸身份特征，可以通过解码器生成第一样本人脸图像对应的参考替换后人脸图像。

在一实施例中，编码器包括多个残差模块，其中，有些残差模块具有下采样功能。将第一样本人脸图像输入编码器后，编码器获取该第一样本人脸图像对应的多个尺度的人脸属性特征，再通过具有下采样功能的残差模块对该多个尺度的人脸属性特征进行不同次数的下采样。

如图6所示，假设编码器包括四个带下采样功能的残差模块N，第一样本人脸图像对应人脸属性特征H1。人脸属性特征H1经一个带下采样功能的残差模块N后，得到第一尺度的特征图P1，特征图P1再经一个带下采样功能的残差模块N后，得到第二尺度的特征图P2。最终，该人脸属性特征H1经不同个数的带下采样功能的残差模块N后，输出四种不同尺度的特征图P1、P2、P3以及P4。

对于不同分辨率要求的人脸属性特征，可以设置相应次数的下采样。例如，获取到的人脸属性特征包括人脸的颜色、纹理以及表情等。上述人脸属性特征对应的特征图的尺度为256×256。则对于人脸的颜色、纹理等浅层人脸属性特征，可以经一个带下采样功能的残差模块处理，得到128×128尺度的特征图。对于人脸的表情等高层人脸属性特征，可以经三个带下采样功能的残差模块处理，得到16×16尺度的特征图。

在一实施例中，解码器包括身份信息嵌入模块以及至少两个融合采样模块。以下详细介绍通过解码器生成参考替换后人脸图像的步骤：

基于身份信息嵌入模块，将第一人脸身份特征嵌入第一人脸属性特征，得到身份信息嵌入模块的输出特征，将输出特征输入到与身份信息嵌入模块连接的融合采样模块。

通过融合采样模块在输出特征中嵌入第一人脸身份特征和第一人脸属性特征得到嵌入后特征，并对嵌入后特征进行上采样，得到融合采样模块的输出特征，将输出特征输入融合采样模块之后的融合采样模块。

返回执行通过融合采样模块在输出特征中嵌入第一人脸身份特征和第一人脸属性特征，得到嵌入后特征的步骤，直到当前的融合采样模块为最后一个融合采样模块，将当前的融合采样模块的输出特征确定为第一样本人脸图像对应的参考替换后人脸图像。

在一实施例中，融合采样模块包括顺序连接的融合模块和采样嵌入模块，过融合采样模块在输出特征中嵌入第一人脸身份特征和第一人脸属性特征得到嵌入后特征，并对嵌入后特征进行上采样，得到融合采样模块的输出特征，包括：

通过融合模块在输出特征中嵌入第一人脸身份特征和第一人脸属性特征，得到嵌入信息，将嵌入信息输入采样嵌入模块。

通过采样嵌入模块在嵌入信息中嵌入第一人脸身份特征得到嵌入后特征，并对嵌入后特征进行上采样得到融合采样模块的输出特征。

举例来说，如图7和8所示，在身份信息嵌入模块M中，通过自适应实例规范化方法对第一人脸属性特征H_i进行实例规范化，得到目标人脸属性特征H_i’。并使第一人脸身份特征id经解码器中的全连接层J，得到两个调制参数id_gamma和id_beta。再根据目标人脸属性特征H_i’、两个调制参数id_gamma和id_beta实现将第一人脸身份特征嵌入至第一人脸属性特征，得到输出特征H_i+1，其中，H_i+1＝H_i’×id_gamma+id_beta。

同上述身份信息嵌入模块，融合采样模块K将第一人脸身份特征id和第一人脸属性特征嵌入至输出特征H_i+1，得到嵌入后特征。并对嵌入后特征进行上采样，改变其尺寸。比如将32*32尺寸的嵌入后特征变为64*64尺寸的嵌入后特征。得到融合采样模块的输出特征。

其中，融合采样模块中将第一人脸身份特征嵌入输出特征后得到第一中间特征H₂’，第一人脸属性特征嵌入输出特征后得到第二中间特征H₃’，将第一中间特征H₂’和第二中间特征H₃’融合后得到嵌入后特征H＝H₃’×(1-SA)×(1-CA)+H₂’×SA×CA，其中，SA对应空间注意力权重，CA对应通道注意力权重。

需要说明的是，嵌入第一人脸身份特征的过程中，会对原有属性特征造成破坏。且经过下采样的属性特征会丢失较多细节，比如头发、背景等。因此，在本实施例中通过再次嵌入第一人脸属性特征，来对被破坏的属性特征和丢失的属性特征进行恢复。

根据上述步骤获取到参考替换后人脸图像后，进一步提取参考替换后人脸图像的第一人脸表情向量，以及第一样本图像的第二人脸表情向量。

具体的，可以设置一个预训练的表情编码网络，通过该表情编码网络将参考替换后人脸图像中人脸表情和第一样本图像中人脸表情映射至一个紧凑且连续的表情空间，得到参考替换后人脸图像中人脸表情对应的第一表情向量，以及第一样本图像中人脸表情对应的第二表情向量。再根据第一人脸表情向量和第二人脸表情向量，对生成对抗网络的参数进行调整，得到训练完成的生成对抗网络。

具体的，可以基于第一表情向量和第二表情向量，确定生成对抗网络的表情一致性损失。基于表情一致性损失对生成对抗网络的参数进行调整，得到训练完成的生成对抗网络。

在一实施例中，通过生成对抗网络基于第一人脸属性特征和第一人脸身份特征进行人脸生成，得到第一样本人脸图像对应的参考替换后人脸图像后，还包括：

获取参考替换后人脸图像对应的第二人脸属性特征。

根据第一人脸属性特征和第二人脸属性特征，对生成对抗网络的参数进行调整。

在一实施例中，通过生成对抗网络基于第一人脸属性特征和第一人脸身份特征进行人脸生成，得到第一样本人脸图像对应的参考替换后人脸图像后，还包括：

从第一样本人脸图像提取对应的第三人脸身份特征。

通过生成对抗网络，基于第三人脸身份特征和第二人脸属性特征进行人脸生成，得到重建人脸图像。

根据重建人脸图像和第一样本人脸图像的相似度值，对生成对抗网络的参数进行调整。

第一样本人脸图像对应的人脸身份特征为第三人脸身份特征，对应的人脸属性信息为第一人脸特征。重建人脸图像对应的人脸身份特征为第三人脸身份特征，对应的人脸属性特征为第二人脸属性特征。即，第一样本人脸图像和重建人脸图像具有相同的人脸身份特征。因此，根据重建人脸图像和第一样本人脸图像的相似度值，对生成对抗网络的参数进行调整。

在一实施例中，通过生成对抗网络基于第一人脸属性特征和第一人脸身份特征进行人脸生成，得到第一样本人脸图像对应的参考替换后人脸图像后，还包括：

获取参考替换后人脸图像对应的第二人脸身份特征。

根据第一人脸身份特征和第二人脸身份特征的相似度值，对生成对抗网络的参数进行调整。

第二人脸身份特征包括多个第二人脸身份子特征，根据第一人脸身份特征和第二人脸身份特征的相似度值，对生成对抗网络的参数进行调整，包括：

对第一人脸身份特征和第二人脸身份特征中，相对应的第一人脸身份子特征和第二人脸身份子特征计算相似度值。

基于相似度值对生成对抗网络的参数进行调整。

在一实施例中，获取通过同一预设识别模型得到的第一人脸身份子特征和第二人脸身份子特征之间的相似度值。假设采用三种识别模型获取第一人脸身份子特征和第二人脸身份子特征，其中，通过Arcface识别模型获取到的第一人脸身份子特征和第二人脸身份子特征之间的相似度值为X1，通过FaceNet识别模型获取到的第一人脸身份子特征和第二人脸身份子特征之间的相似度值为X2，通过CosineFace识别模型获取到的第一人脸身份子特征和第二人脸身份子特征之间的相似度值为X3。则将全部相似度值--相似度值X1、相似度值X2以及相似度值X3相加得到最终相似度值X。

在一实施例中，还设置了判别器对参考替换后人脸图像的真实性进行判断，当判别器的输出值为Fake时，认为参考替换后人脸图像不是真实的人脸图像，判别器与生成对抗网络中的编码器、解码器发生对抗训练，提升生成对抗网络的准确性。

以上即生成对抗网络的训练过程，经过上述训练过程得到训练完成的生成对抗网络。可以使用上述训练完成的生成对抗网络中的编码器获取待替换人脸图像对应的人脸属性信息。具体过程可以参见通过生成对抗网络获取第一样本人脸图像对应的第一人脸属性特征步骤，在此不再赘述。

接着，通过训练完成的生成对抗网络基于人脸属性特征和人脸身份特征进行人脸生成，得到待替换人脸图像对应的替换后人脸图像。具体的处理过程可以参见生成对抗网络训练过程中的通过生成对抗网络基于第一人脸属性特征和第一人脸身份特征进行人脸生成，得到第一样本人脸图像对应的参考替换后人脸图像步骤，在此不再赘述。

本发明实施例的图像生成方法，预先使用人脸表情向量对生成对抗网络进行训练，得到训练完成的生成对抗网络。再基于训练完成的生成对抗网络进行人脸生成，提高了替换后人脸图像和待替换人脸图像之间的表情一致性。

为了更好地实施以上方法，相应的，本发明实施例还提供一种人脸图像生成装置。参考图9，该人脸图像生成装置4包括：图像获取单元41、特征提取单元42、人脸生成单元43、向量提取单元44和表情调整单元45。以下进行详细介绍：

图像获取单元41用于获取待替换人脸图像和源人脸图像。特征提取单元42用于从所述源人脸图像提取对应的人脸身份特征，以及通过生成对抗网络提取所述待替换人脸图像对应的人脸属性特征。人脸生成单元43用于通过所述生成对抗网络基于所述人脸属性特征和所述人脸身份特征进行人脸生成，得到所述待替换人脸图像对应的替换后人脸图像。向量提取单元44用于提取所述替换后人脸图像的第一表情向量，以及所述待替换人脸图像的第二表情向量。表情调整单元45用于基于所述第一表情向量和所述第二表情向量，对所述替换后人脸图像的表情进行调整，得到所述待替换人脸图像对应的最终替换后人脸图像。

在一实施例中，所述向量提取单元44包括：第一映射子单元和第二映射子单元。第一映射子单元用于基于表情信息编码模块将所述替换后人脸图像映射到表情向量空间中，得到所述替换后人脸图像的第一表情向量。第二映射子单元用于基于所述表情信息编码模块将所述待替换人脸图像映射到所述表情向量空间中，得到所述待替换人脸图像的第二表情向量。

在一实施例中，所述表情调整单元45包括：表情调整子单元。表情调整子单元用于通过所述表情信息编码模块基于所述第一表情向量和所述第二表情向量，对所述替换后人脸图像的表情进行调整，得到所述待替换人脸图像对应的最终替换后人脸图像。

在一实施例中，所述表情调整单元45包括：距离计算子单元、参数调整子单元和返回子单元。距离计算子单元用于计算所述第一表情向量和第二表情向量的向量距离。参数调整子单元用于基于所述向量距离对所述生成对抗网络的参数进行调整。返回子单元，用于在调整后，返回执行所述从所述源人脸图像提取对应的人脸身份特征，以及通过生成对抗网络提取所述待替换人脸图像对应的人脸属性特征的步骤，直到所述向量距离不高于预设向量距离阈值为止，将最后得到的替换后人脸图像确定为最终的替换后人脸图像。

在一实施例中，所述装置4还包括：身份特征获取单元、属性特征提取单元、恢复人脸单元和相似度调整单元。身份特征获取单元用于从所述待替换人脸图像提取对应的人脸身份特征。属性特征提取单元用于通过所述生成网络提取所述替换后人脸图像对应的人脸属性特征。恢复人脸单元用于通过所述生成对抗网络，基于所述待替换人脸图像对应的人脸身份特征和所述替换后人脸图像对应的人脸属性特征进行人脸生成，得到恢复后人脸图像。相似度调整单元用于根据所述恢复后人脸图像和所述待替换人脸图像的相似度值，对所述生成对抗网络的参数进行调整。

在一实施例中，所述装置4还包括：身份特征提取单元和匹配度调整单元。其中，身份特征提取单元用于从所述替换后人脸图像提取对应的人脸身份特征。匹配度调整单元用于根据所述源人脸图像对应的人脸身份特征和所述替换后人脸图像对应的人脸身份特征的匹配度，对所述替换后人脸图像对应的人脸身份特征进行调整。

在一实施例中，所述特征提取单元42包括：子特征获取子单元和特征融合子单元。子特征获取子单元用于通过多个预设识别模型获取所述源人脸图像对应的多个人脸身份子特征。特征融合子单元用于对所述源人脸图像对应的多个人脸身份子特征进行特征融合，得到源人脸图像提取对应的人脸身份特征。

本发明实施例的图像生成装置能获取待替换人脸图像和源人脸图像。从所述源人脸图像提取对应的人脸身份特征，以及通过生成对抗网络提取所述待替换人脸图像对应的人脸属性特征。通过所述生成对抗网络基于所述人脸属性特征和所述人脸身份特征进行人脸生成，得到所述待替换人脸图像对应的替换后人脸图像。提取所述替换后人脸图像的第一表情向量，以及所述待替换人脸图像的第二表情向量。基于所述第一表情向量和所述第二表情向量，对所述替换后人脸图像的表情进行调整，得到所述待替换人脸图像对应的最终替换后人脸图像。提高了使用生成对抗网络进行人脸生成时，替换人脸图像和待替换人脸图像之间的表情一致性。

本发明实施例还提供了一种生成对抗网络的训练装置5，如图10所示，其包括：样本获取单元51、特征获取单元52、处理单元53、向量获取单元54和训练单元55。样本获取单元51用于获取第一样本人脸图像和第二样本人脸图像。特征获取单元52用于从所述第二样本人脸图像提取对应的第一人脸身份特征，以及通过生成对抗网络获取所述第一样本人脸图像对应的第一人脸属性特征。处理单元53用于通过所述生成对抗网络基于所述第一人脸属性特征和所述第一人脸身份特征进行人脸生成，得到所述第一样本人脸图像对应的参考替换后人脸图像。向量获取单元54用于提取所述参考替换后人脸图像的第一人脸表情向量，以及所述第一样本图像的第二人脸表情向量。训练单元55用于根根据所述第一人脸表情向量和所述第二人脸表情向量，对所述生成对抗网络的参数进行调整，得到训练完成的生成对抗网络。

在一实施例中，所述训练单元55包括：损失确定子单元和一致调整子单元。其中，损失确定子单元用于基于所述第一表情向量和所述第二表情向量，确定所述生成对抗网络的表情一致性损失。一致调整子单元用于基于所述表情一致性损失对所述生成对抗网络的参数进行调整，得到训练完成的生成对抗网络。

在一实施例中，所述装置5还包括：第一获取单元和第一调整单元。第一获取单元用于获取所述参考替换后人脸图像对应的第二人脸属性特征。第一调整单元用于根据所述第一人脸属性特征和所述第二人脸属性特征，对所述生成对抗网络的参数进行调整。

在一实施例中，所述装置5还包括：第二获取单元、重建单元和第二调整单元。第二获取单元用于从所述第一样本人脸图像提取对应的第三人脸身份特征。重建单元用于通过所述生成对抗网络，基于所述第三人脸身份特征和所述第二人脸属性特征进行人脸生成，得到重建人脸图像。第二调整单元用于根据所述重建人脸图像和所述第一样本人脸图像的相似度值，对所述生成对抗网络的参数进行调整。

在一实施例中，所述装置5还包括：第三获取单元和第三调整单元。第三获取单元，用于获取所述参考替换后人脸图像对应的第二人脸身份特征。第三调整单元，用于根据所述第一人脸身份特征和第二人脸身份特征的相似度值，对所述生成对抗网络的参数进行调整。

在一实施例中，所述特征获取单元52包括：子特征获取子单元和融合子单元。子特征获取子单元用于通过多个预设识别模型获取所述第二样本人脸图像对应的多个第一人脸身份子特征。融合子单元用于对所述多个第一人脸身份子特征进行特征融合，得到所述第二样本人脸图像对应的第一人脸身份特征。

在一实施例中，所述第二人脸身份特征包括多个第二人脸身份子特征，所述第三调整单元包括：计算子单元和调整子单元。在一实施例中，计算子单元用于对所述第一人脸身份特征和第二人脸身份特征中，相对应的第一人脸身份子特征和第二人脸身份子特征计算相似度值。调整子单元用于基于所述相似度值对所述生成对抗网络的参数进行调整。

在一实施例中，所述特征获取单元52包括：尺度提取子单元。尺度提取子单元用于通过所述生成对抗网络的编码器，对所述第一样本人脸图像进行多个尺度的人脸属性特征提取，得到所述第一样本人脸图像对应的第一人脸属性特征。

在一实施例中，所述生成对抗网络包括解码器，所述解码器包括身份信息嵌入模块以及至少两个融合采样模块。所述处理单元包括：第一嵌入子单元、第二嵌入子单元和返回子单元。

第一嵌入子单元用于基于所述身份信息嵌入模块，将所述第一人脸身份特征嵌入所述第一人脸属性特征，得到所述身份信息嵌入模块的输出特征，将所述输出特征输入到与所述身份信息嵌入模块连接的融合采样模块。第二嵌入子单元用于通过所述融合采样模块在所述输出特征中嵌入所述第一人脸身份特征和所述第一人脸属性特征得到嵌入后特征，并对所述嵌入后特征进行上采样，得到所述融合采样模块的输出特征，将所述输出特征输入所述融合采样模块之后的融合采样模块。返回子单元用于返回执行所述通过所述融合采样模块在所述输出特征中嵌入所述第一人脸身份特征和所述第一人脸属性特征，得到嵌入后特征的步骤，直到当前的融合采样模块为最后一个融合采样模块，将当前的融合采样模块的输出特征确定为所述第一样本人脸图像对应的参考替换后人脸图像。

在一实施例中，所述融合采样模块包括顺序连接的融合模块和采样嵌入模块，所述第二嵌入子单元用于：通过融合模块在所述输出特征中嵌入所述第一人脸身份特征和第一人脸属性特征，得到嵌入信息，将所述嵌入信息输入所述采样嵌入模块。通过所述采样嵌入模块在所述嵌入信息中嵌入所述第一人脸身份特征得到嵌入后特征，并对所述嵌入后特征进行上采样得到所述融合采样模块的输出特征。

本发明实施例还提供了一种人脸图像生成装置6，如图11，其包括：人脸图像获取单元61、信息获取单元62和生成单元66。人脸图像获取单元用于获取待替换人脸图像和源人脸图像。信息获取单元用于获取所述源人脸图像对应的人脸身份特征，以及通过所述训练完成的生成对抗网络获取所述待替换人脸图像对应的人脸属性特征。生成单元用于通过所述训练完成的生成对抗网络对所述人脸属性特征和所述人脸身份特征进行人脸生成，得到所述待替换人脸图像对应的替换后人脸图像。

本发明实施例的图像生成装置，预先使用人脸表情向量对生成对抗网络进行训练，得到训练完成的生成对抗网络。再基于训练完成的生成对抗网络进行人脸生成，提高了替换后人脸图像和待替换人脸图像之间的表情一致性。

此外，本申请实施例还提供一种计算机设备，该计算机设备可以为终端，该终端可以为智能手机、平板电脑、笔记本电脑、触控屏幕、游戏机、个人计算机(PC，PersonalComputer)、个人数字助理(Personal Digital Assistant，PDA)等终端设备。如图12所示，图12为本申请实施例提供的计算机设备的结构示意图。该计算机设备1000包括有一个或者一个以上处理核心的处理器501、有一个或一个以上计算机可读存储介质的存储器502及存储在存储器502上并可在处理器上运行的计算机程序。其中，处理器501与存储器502电性连接。本领域技术人员可以理解，图中示出的计算机设备结构并不构成对计算机设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

处理器501是计算机设备1000的控制中心，利用各种接口和线路连接整个计算机设备1000的各个部分，通过运行或加载存储在存储器502内的软件程序和/或模块，以及调用存储在存储器502内的数据，执行计算机设备1000的各种功能和处理数据，从而对计算机设备1000进行整体监控。

在本申请实施例中，计算机设备1000中的处理器501会按照如下的步骤，将一个或一个以上的应用程序的进程对应的指令加载到存储器502中，并由处理器501来运行存储在存储器502中的应用程序，从而实现以下功能：

获取待替换人脸图像和源人脸图像。从源人脸图像提取对应的人脸身份特征，以及通过生成对抗网络提取待替换人脸图像对应的人脸属性特征。通过生成对抗网络基于人脸属性特征和人脸身份特征进行人脸生成，得到待替换人脸图像对应的替换后人脸图像。提取替换后人脸图像的第一表情向量，以及待替换人脸图像的第二表情向量。基于第一表情向量和第二表情向量，对替换后人脸图像的表情进行调整，得到待替换人脸图像对应的最终替换后人脸图像。

进一步的，还实现以下功能：

获取第一样本人脸图像和第二样本人脸图像。从第二样本人脸图像提取对应的第一人脸身份特征，以及通过生成对抗网络获取第一样本人脸图像对应的第一人脸属性特征。通过生成对抗网络基于第一人脸属性特征和第一人脸身份特征进行人脸生成，得到第一样本人脸图像对应的参考替换后人脸图像。提取参考替换后人脸图像的第一人脸表情向量，以及第一样本图像的第二人脸表情向量。根据第一人脸表情向量和第二人脸表情向量，对生成对抗网络的参数进行调整，得到训练完成的生成对抗网络。

进一步的，还实现以下功能：

获取待替换人脸图像和源人脸图像。获取源人脸图像对应的人脸身份特征，以及通过训练完成的生成对抗网络获取待替换人脸图像对应的人脸属性特征。通过训练完成的生成对抗网络基于人脸属性特征和人脸身份特征进行人脸生成，得到待替换人脸图像对应的替换后人脸图像。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

可选的，如图12所示，计算机设备1000还包括：触控显示屏503、射频电路504、音频电路505、输入单元506以及电源507。其中，处理器501分别与触控显示屏503、射频电路504、音频电路505、输入单元506以及电源507电性连接。本领域技术人员可以理解，图12中示出的计算机设备结构并不构成对计算机设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。

触控显示屏503可用于显示图形用户界面以及接收用户作用于图形用户界面产生的操作指令。触控显示屏503可以包括显示面板和触控面板。其中，显示面板可用于显示由用户输入的信息或提供给用户的信息以及计算机设备的各种图形用户接口，这些图形用户接口可以由图形、文本、图标、视频和其任意组合来构成。可选的，可以采用液晶显示器(LCD，Liquid Crystal Display)、有机发光二极管(OLED，Organic Light-EmittingDiode)等形式来配置显示面板。触控面板可用于收集用户在其上或附近的触摸操作(比如用户使用手指、触笔等任何适合的物体或附件在触控面板上或在触控面板附近的操作)，并生成相应的操作指令，且操作指令执行对应程序。可选的，触控面板可包括触摸检测装置和触摸控制器两个部分。其中，触摸检测装置检测用户的触摸方位，并检测触摸操作带来的信号，将信号传送给触摸控制器。触摸控制器从触摸检测装置上接收触摸信息，并将它转换成触点坐标，再送给处理器501，并能接收处理器501发来的命令并加以执行。触控面板可覆盖显示面板，当触控面板检测到在其上或附近的触摸操作后，传送给处理器501以确定触摸事件的类型，随后处理器501根据触摸事件的类型在显示面板上提供相应的视觉输出。在本申请实施例中，可以将触控面板与显示面板集成到触控显示屏503而实现输入和输出功能。但是在某些实施例中，触控面板与触控面板可以作为两个独立的部件来实现输入和输出功能。即触控显示屏503也可以作为输入单元506的一部分实现输入功能。

射频电路504可用于收发射频信号，以通过无线通信与网络设备或其他计算机设备建立无线通讯，与网络设备或其他计算机设备之间收发信号。

音频电路505可以用于通过扬声器、传声器提供用户与计算机设备之间的音频接口。音频电路505可将接收到的音频数据转换后的电信号，传输到扬声器，由扬声器转换为声音信号输出。另一方面，传声器将收集的声音信号转换为电信号，由音频电路505接收后转换为音频数据，再将音频数据输出处理器501处理后，经射频电路504以发送给比如另一计算机设备，或者将音频数据输出至存储器502以便进一步处理。音频电路505还可能包括耳塞插孔，以提供外设耳机与计算机设备的通信。

输入单元506可用于接收输入的数字、字符信息或用户特征信息(例如指纹、虹膜、面部信息等)，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。

电源507用于给计算机设备1000的各个部件供电。可选的，电源507可以通过电源管理系统与处理器501逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源507还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。

尽管图12中未示出，计算机设备1000还可以包括摄像头、传感器、无线保真模块、蓝牙模块等，在此不再赘述。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。

为此，本申请实施例提供一种计算机可读存储介质，其中存储有多条计算机程序，该计算机程序能够被处理器进行加载，以执行本申请实施例所提供的任一种图像生成方法和训练方法中的步骤。例如，该计算机程序可以执行如下步骤：

获取待替换人脸图像和源人脸图像。从源人脸图像提取对应的人脸身份特征，以及通过生成对抗网络提取待替换人脸图像对应的人脸属性特征。通过生成对抗网络基于人脸属性特征和人脸身份特征进行人脸生成，得到待替换人脸图像对应的替换后人脸图像。提取替换后人脸图像的第一表情向量，以及待替换人脸图像的第二表情向量。基于第一表情向量和第二表情向量，对替换后人脸图像的表情进行调整，得到待替换人脸图像对应的最终替换后人脸图像。

进一步的，还实现以下功能：

获取第一样本人脸图像和第二样本人脸图像。从第二样本人脸图像提取对应的第一人脸身份特征，以及通过生成对抗网络获取第一样本人脸图像对应的第一人脸属性特征。通过生成对抗网络基于第一人脸属性特征和第一人脸身份特征进行人脸生成，得到第一样本人脸图像对应的参考替换后人脸图像。提取参考替换后人脸图像的第一人脸表情向量，以及第一样本图像的第二人脸表情向量。根据第一人脸表情向量和第二人脸表情向量，对生成对抗网络的参数进行调整，得到训练完成的生成对抗网络。

进一步的，还实现以下功能：

获取待替换人脸图像和源人脸图像。获取源人脸图像对应的人脸身份特征，以及通过训练完成的生成对抗网络获取待替换人脸图像对应的人脸属性特征。通过训练完成的生成对抗网络基于人脸属性特征和人脸身份特征进行人脸生成，得到待替换人脸图像对应的替换后人脸图像。

以上各个操作的具体实施可参见前面的实施例，在此不再赘述。

其中，该存储介质可以包括：只读存储器(ROM，Read Only Memory)、随机存取记忆体(RAM，Random Access Memory)、磁盘或光盘等。

由于该存储介质中所存储的计算机程序，可以执行本申请实施例所提供的任一种图像生成、网络训练方法中的步骤，因此，可以实现本申请实施例所提供的任一种人脸图像生成方法和生成对抗网络的训练方法所能实现的有益效果，详见前面的实施例，在此不再赘述。

以上对本申请实施例所提供的一种图像生成、网络训练方法、装置、存储介质及计算机设备进行了详细介绍，本文中应用了具体个例对本申请的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本申请的方法及其核心思想。同时，对于本领域的技术人员，依据本申请的思想，在具体实施方式及应用范围上均会有改变之处，综上，本说明书内容不应理解为对本申请的限制。

Claims (21)

1.一种人脸图像的生成方法，其特征在于，包括：

获取待替换人脸图像和源人脸图像；

从所述源人脸图像提取对应的人脸身份特征，以及通过生成对抗网络提取所述待替换人脸图像对应的人脸属性特征；

通过所述生成对抗网络基于所述人脸属性特征和所述人脸身份特征进行人脸生成，得到所述待替换人脸图像对应的替换后人脸图像；

从所述待替换人脸图像提取对应的人脸身份特征；

通过所述生成对抗网络提取所述替换后人脸图像对应的人脸属性特征；

通过所述生成对抗网络，基于所述待替换人脸图像对应的人脸身份特征和所述替换后人脸图像对应的人脸属性特征进行人脸生成，得到恢复后人脸图像；

根据所述恢复后人脸图像和所述待替换人脸图像的相似度值，对所述生成对抗网络的参数进行调整；

提取所述替换后人脸图像的第一表情向量，以及所述待替换人脸图像的第二表情向量；

基于所述第一表情向量和所述第二表情向量，对所述替换后人脸图像的表情进行调整，得到所述待替换人脸图像对应的最终替换后人脸图像。

2.根据权利要求1所述的人脸图像的生成方法，其特征在于，所述提取所述替换后人脸图像的第一表情向量，以及所述待替换人脸图像的第二表情向量，包括：

基于表情信息编码模块将所述替换后人脸图像映射到表情向量空间中，得到所述替换后人脸图像的第一表情向量；

基于所述表情信息编码模块将所述待替换人脸图像映射到所述表情向量空间中，得到所述待替换人脸图像的第二表情向量。

3.根据权利要求2所述的人脸图像的生成方法，其特征在于，所述基于所述第一表情向量和所述第二表情向量，对所述替换后人脸图像的表情进行调整，得到所述待替换人脸图像对应的最终替换后人脸图像，包括：

通过所述表情信息编码模块基于所述第一表情向量和所述第二表情向量，对所述替换后人脸图像的表情进行调整，得到所述待替换人脸图像对应的最终替换后人脸图像。

4.根据权利要求2所述的人脸图像的生成方法，其特征在于，所述基于所述第一表情向量和所述第二表情向量，对所述替换后人脸图像的表情进行调整，得到所述待替换人脸图像对应的最终替换后人脸图像，包括：

计算所述第一表情向量和第二表情向量的向量距离；

基于所述向量距离对所述生成对抗网络的参数进行调整；

在调整后，返回执行所述从所述源人脸图像提取对应的人脸身份特征，以及通过生成对抗网络提取所述待替换人脸图像对应的人脸属性特征的步骤，直到所述向量距离不高于预设向量距离阈值为止，将最后得到的替换后人脸图像确定为最终的替换后人脸图像。

5.根据权利要求1所述的人脸图像的生成方法，其特征在于，所述通过所述生成对抗网络基于所述人脸属性特征和所述人脸身份特征进行人脸生成，得到所述待替换人脸图像对应的替换后人脸图像后，还包括：

从所述替换后人脸图像提取对应的人脸身份特征；

根据所述源人脸图像对应的人脸身份特征和所述替换后人脸图像对应的人脸身份特征的匹配度，对所述替换后人脸图像对应的人脸身份特征进行调整。

6.根据权利要求1-5任一项所述的人脸图像的生成方法，其特征在于，所述从所述源人脸图像提取对应的人脸身份特征，包括：

通过多个预设识别模型获取所述源人脸图像对应的多个人脸身份子特征；

对所述源人脸图像对应的多个人脸身份子特征进行特征融合，得到源人脸图像提取对应的人脸身份特征。

7.一种生成对抗网络的训练方法，其特征在于，包括：

获取第一样本人脸图像和第二样本人脸图像；

从所述第二样本人脸图像提取对应的第一人脸身份特征，以及通过生成对抗网络获取所述第一样本人脸图像对应的第一人脸属性特征；

通过所述生成对抗网络基于所述第一人脸属性特征和所述第一人脸身份特征进行人脸生成，得到所述第一样本人脸图像对应的参考替换后人脸图像；

从所述第一样本人脸图像提取对应的第三人脸身份特征；

通过所述生成对抗网络，基于所述第三人脸身份特征和所述参考替换后人脸图像对应的第二人脸属性特征进行人脸生成，得到重建人脸图像；

根据所述重建人脸图像和所述第一样本人脸图像的相似度值，对所述生成对抗网络的参数进行调整；

提取所述参考替换后人脸图像的第一人脸表情向量，以及所述第一样本人脸图像的第二人脸表情向量；

根据所述第一人脸表情向量和所述第二人脸表情向量，对所述生成对抗网络的参数进行调整，得到训练完成的生成对抗网络。

8.根据权利要求7所述的生成对抗网络的训练方法，其特征在于，所述根据所述第一人脸表情向量和所述第二人脸表情向量，对所述生成对抗网络的参数进行调整，得到训练完成的生成对抗网络，包括：

基于所述第一人脸表情向量和所述第二人脸表情向量，确定所述生成对抗网络的表情一致性损失；

基于所述表情一致性损失对所述生成对抗网络的参数进行调整，得到训练完成的生成对抗网络。

9.根据权利要求7所述的生成对抗网络的训练方法，其特征在于，所述通过所述生成对抗网络基于所述第一人脸属性特征和所述第一人脸身份特征进行人脸生成，得到所述第一样本人脸图像对应的参考替换后人脸图像后，还包括：

获取所述参考替换后人脸图像对应的第二人脸属性特征；

根据所述第一人脸属性特征和所述第二人脸属性特征，对所述生成对抗网络的参数进行调整。

10.根据权利要求7所述的生成对抗网络的训练方法，其特征在于，所述通过所述生成对抗网络基于所述第一人脸属性特征和所述第一人脸身份特征进行人脸生成，得到所述第一样本人脸图像对应的参考替换后人脸图像后，还包括：

获取所述参考替换后人脸图像对应的第二人脸身份特征；

根据所述第一人脸身份特征和第二人脸身份特征的相似度值，对所述生成对抗网络的参数进行调整。

11.根据权利要求10所述的生成对抗网络的训练方法，其特征在于，所述从所述第二样本人脸图像提取对应的第一人脸身份特征，包括：

通过多个预设识别模型获取所述第二样本人脸图像对应的多个第一人脸身份子特征；

对所述多个第一人脸身份子特征进行特征融合，得到所述第二样本人脸图像对应的第一人脸身份特征。

12.根据权利要求11所述的生成对抗网络的训练方法，其特征在于，所述第二人脸身份特征包括多个第二人脸身份子特征，所述根据所述第一人脸身份特征和第二人脸身份特征的相似度值，对所述生成对抗网络的参数进行调整，包括：

对所述第一人脸身份特征和第二人脸身份特征中，相对应的第一人脸身份子特征和第二人脸身份子特征计算相似度值；

基于所述相似度值对所述生成对抗网络的参数进行调整。

13.根据权利要求7所述的生成对抗网络的训练方法，其特征在于，所述通过生成对抗网络获取所述第一样本人脸图像对应的第一人脸属性特征，包括：

通过所述生成对抗网络的编码器，对所述第一样本人脸图像进行多个尺度的人脸属性特征提取，得到所述第一样本人脸图像对应的第一人脸属性特征。

14.根据权利要求7所述的生成对抗网络的训练方法，其特征在于，所述生成对抗网络包括解码器，所述解码器包括身份信息嵌入模块以及至少两个融合采样模块；

所述通过所述生成对抗网络基于所述第一人脸属性特征和所述第一人脸身份特征进行人脸生成，得到所述第一样本人脸图像对应的参考替换后人脸图像，包括：

基于所述身份信息嵌入模块，将所述第一人脸身份特征嵌入所述第一人脸属性特征，得到所述身份信息嵌入模块的输出特征，将所述输出特征输入到与所述身份信息嵌入模块连接的融合采样模块；

通过所述融合采样模块在所述输出特征中嵌入所述第一人脸身份特征和所述第一人脸属性特征得到嵌入后特征，并对所述嵌入后特征进行上采样，得到所述融合采样模块的输出特征，将所述输出特征输入所述融合采样模块之后的融合采样模块；

返回执行所述通过所述融合采样模块在所述输出特征中嵌入所述第一人脸身份特征和所述第一人脸属性特征，得到嵌入后特征的步骤，直到当前的融合采样模块为最后一个融合采样模块，将当前的融合采样模块的输出特征确定为所述第一样本人脸图像对应的参考替换后人脸图像。

15.根据权利要求14所述的生成对抗网络的训练方法，其特征在于，所述融合采样模块包括顺序连接的融合模块和采样嵌入模块，所述过所述融合采样模块在所述输出特征中嵌入所述第一人脸身份特征和所述第一人脸属性特征得到嵌入后特征，并对所述嵌入后特征进行上采样，得到所述融合采样模块的输出特征，包括：

通过融合模块在所述输出特征中嵌入所述第一人脸身份特征和第一人脸属性特征，得到嵌入信息，将所述嵌入信息输入所述采样嵌入模块；

通过所述采样嵌入模块在所述嵌入信息中嵌入所述第一人脸身份特征得到嵌入后特征，并对所述嵌入后特征进行上采样得到所述融合采样模块的输出特征。

16.一种人脸图像的生成方法，采用如权利要求7-15任意一项所述的训练完成的生成对抗网络生成人脸图像，其特征在于，包括：

获取待替换人脸图像和源人脸图像；

获取所述源人脸图像对应的人脸身份特征，以及通过所述训练完成的生成对抗网络获取所述待替换人脸图像对应的人脸属性特征；

通过所述训练完成的生成对抗网络基于所述人脸属性特征和所述人脸身份特征进行人脸生成，得到所述待替换人脸图像对应的替换后人脸图像。

17.一种人脸图像的生成装置，其特征在于，包括：

图像获取单元，用于获取待替换人脸图像和源人脸图像；

特征提取单元，用于从所述源人脸图像提取对应的人脸身份特征，以及通过生成对抗网络提取所述待替换人脸图像对应的人脸属性特征；

人脸生成单元，用于通过所述生成对抗网络基于所述人脸属性特征和所述人脸身份特征进行人脸生成，得到所述待替换人脸图像对应的替换后人脸图像；

身份特征获取单元，用于从所述待替换人脸图像提取对应的人脸身份特征；

属性特征提取单元，用于通过所述生成对抗网络提取所述替换后人脸图像对应的人脸属性特征；

恢复人脸单元，用于通过所述生成对抗网络，基于所述待替换人脸图像对应的人脸身份特征和所述替换后人脸图像对应的人脸属性特征进行人脸生成，得到恢复后人脸图像；

相似度调整单元，用于根据所述恢复后人脸图像和所述待替换人脸图像的相似度值，对所述生成对抗网络的参数进行调整；

向量提取单元，用于提取所述替换后人脸图像的第一表情向量，以及所述待替换人脸图像的第二表情向量；

表情调整单元，用于基于所述第一表情向量和所述第二表情向量，对所述替换后人脸图像的表情进行调整，得到所述待替换人脸图像对应的最终替换后人脸图像。

18.一种生成对抗网络的训练装置，其特征在于，包括：

样本获取单元，用于获取第一样本人脸图像和第二样本人脸图像；

特征获取单元，用于从所述第二样本人脸图像提取对应的第一人脸身份特征，以及通过生成对抗网络获取所述第一样本人脸图像对应的第一人脸属性特征；

处理单元，用于通过所述生成对抗网络基于所述第一人脸属性特征和所述第一人脸身份特征进行人脸生成，得到所述第一样本人脸图像对应的参考替换后人脸图像；

第二获取单元，用于从所述第一样本人脸图像提取对应的第三人脸身份特征；

重建单元，用于通过所述生成对抗网络，基于所述第三人脸身份特征和所述参考替换后人脸图像对应的第二人脸属性特征进行人脸生成，得到重建人脸图像；

第二调整单元，用于根据所述重建人脸图像和所述第一样本人脸图像的相似度值，对所述生成对抗网络的参数进行调整；

向量获取单元，用于提取所述参考替换后人脸图像的第一人脸表情向量，以及所述第一样本人脸图像的第二人脸表情向量；

训练单元，用于根根据所述第一人脸表情向量和所述第二人脸表情向量，对所述生成对抗网络的参数进行调整，得到训练完成的生成对抗网络。

19.一种人脸图像生成装置，采用如权利要求7-15任意一项所述的训练完成的生成对抗网络生成人脸图像，其特征在于，包括：

人脸图像获取单元，用于获取待替换人脸图像和源人脸图像；

信息获取单元，用于获取所述源人脸图像对应的人脸身份特征，以及通过所述训练完成的生成对抗网络获取所述待替换人脸图像对应的人脸属性特征，其中，所述人脸身份特征基于对多个人脸识别模型从所述源人脸图像中提取到的人脸身份子特征进行特征拼接得到；

生成单元，用于通过所述训练完成的生成对抗网络基于所述人脸属性特征和所述人脸身份特征进行人脸生成，得到所述待替换人脸图像对应的替换后人脸图像。

20.一种计算机设备，包括存储器，处理器及存储在存储器上并可在处理器上运行的计算机程序，其中，所述处理器执行所述计算机程序时实现如权利要求1-16任一项所述方法的步骤。

21.一种存储介质，其上存储有计算机程序，其中，所述计算机程序被处理器执行时实现如权利要求1-16任一项所述方法的步骤。

Images