CN113592982B

CN113592982B - 身份迁移模型构建方法、装置、电子设备及可读存储介质

Info

Publication number: CN113592982B
Application number: CN202111148719.6A
Authority: CN
Inventors: 余海铭
Original assignee: Beijing QIYI Century Science and Technology Co Ltd
Current assignee: Beijing QIYI Century Science and Technology Co Ltd
Priority date: 2021-09-29
Filing date: 2021-09-29
Publication date: 2022-09-27
Anticipated expiration: 2041-09-29
Also published as: CN113592982A

Abstract

本发明实施例提供了一种身份迁移模型构建方法、装置、电子设备及可读存储介质。该方法包括：获得多个样本源图像及其各自对应的样本目标图像；对多个样本源图像分别进行特征提取，得到多个样本源图像各自的身份特征；将多个样本源图像各自的身份特征以及其各自对应的样本目标图像输入生成式对抗网络中的生成器，并对生成式对抗网络进行训练，直至生成器生成满足预设条件的合成图像时，结束训练；生成器的每一神经网络层的通道数为同一数值；将训练结束时的生成器确定为身份迁移模型。通过本发明实施例的方法，构建的身份迁移模型可在小型移动设备以实时速度运行，利用小型移动设备的计算资源即可实现身份迁移操作。

Description

身份迁移模型构建方法、装置、电子设备及可读存储介质

技术领域

本发明实施例涉及图像处理技术领域，特别是涉及一种图像处理的身份迁移模型构建方法、装置、电子设备及可读存储介质。

背景技术

在当前快节奏生活的影响下，短视频与直播内容的量越来越多，对于娱乐性的要求越来越高，例如对视频或图像进行身份迁移（如换脸、换发型、换装等）的需求也愈来愈多。现阶段的身份迁移模型均为大尺寸模型，需要大量存储、内存和计算资源的支持才能实现身份迁移算法，这就导致这些身份迁移算法只能在高性能的个人电脑或服务器上使用，无法满足在手机等小型移动设备上运行的需求。

发明内容

本发明实施例的目的在于提供一种身份迁移模型构建方法、装置、电子设备及可读存储介质，以实现身份迁移模型可以在手机等小型移动设备以实时速度运行，利用手机等小型移动设备的计算资源即可实现身份迁移操作。具体技术方案如下：

在本发明实施的第一方面，首先提供了一种身份迁移模型构建方法，所述方法包括：

获得多个样本源图像及其各自对应的样本目标图像；

对所述多个样本源图像分别进行特征提取，得到所述多个样本源图像各自的身份特征；

将所述多个样本源图像各自的身份特征以及所述多个样本源图像各自对应的样本目标图像输入生成式对抗网络中的生成器，并对所述生成式对抗网络进行训练，直至所述生成器生成满足预设条件的合成图像时，结束训练；其中，所述合成图像为所述生成器将所述样本源图像的身份特征迁移到其对应的样本目标图像而生成的图像，所述生成式对抗网络中生成器的每一神经网络层的通道数为同一数值；

将训练结束时的生成器确定为身份迁移模型。

可选的，所述生成器包括迁移模块，所述迁移模块用于基于图像艺术风格迁移算法，对所述样本源图像的身份特征进行处理，实现将所述样本源图像的身份特征迁移到其对应的样本目标图像上，进而生成所述合成图像。

可选的，在所述生成式对抗网络的训练过程中，通过损失函数确定生成器输出的合成图像对应的损失函数值，根据所述损失函数值对所述生成式对抗网络的模型参数进行更新；其中，所述损失函数至少包括：对抗损失函数，身份保持损失函数以及属性保持损失函数；

所述对抗损失函数用于利用所述判别器迫使所述合成图像更真实；

所述身份保持损失函数用于迫使所述合成图像的身份特征与其所对应的样本源图像的身份特征接近；

所述属性保持损失函数用于迫使所述合成图像的属性特征与其所对应的样本目标图像的属性特征接近，所述属性特征为除所述身份特征外的图像特征。

可选的，当所述样本源图像与其所对应的样本目标图像为相同图像特征的两张图像时，所述损失函数还包括重建损失函数，所述重建损失函数用于迫使所述合成图像与所述样本目标图像一致。

可选的，所述生成器输出多种不同分辨率的合成图像，所述通过损失函数确定生成器输出的合成图像对应的损失函数值，根据所述损失函数值对所述生成式对抗网络的模型参数进行更新，包括：

通过所述损失函数分别对所述多种不同分辨率的合成图像计算所述不同分辨率的合成图像各自对应的损失函数值，再根据所述不同分辨率的合成图像各自对应的损失函数值确定总损失函数值，根据所述总损失函数值对所述生成式对抗网络的模型参数进行更新。

可选的，所述生成器包括编码器和解码器，所述编码器的输入为所述样本源图像的身份特征以及所述样本源图像所对应的样本目标图像，所述编码器的输出为第一指定分辨率的身份迁移特征以及所述样本目标图像的多种不同分辨率的属性特征；

所述解码器的输入为所述编码器的输出，所述解码器的输出为多种不同分辨率的合成图像。

可选的，所述编码器包括编码器头部结构、身份编码分支以及属性编码分支；

所述编码器头部结构的输入为所述样本源图像所对应的样本目标图像，所述编码器头部结构的输出为所述样本目标图像的身份特征和所述样本目标图像的属性特征；

所述身份编码分支的输入为所述样本源图像的身份特征和所述编码器头部结构输出的所述样本目标图像的身份特征，所述身份编码分支的输出是所述第一指定分辨率的身份迁移特征；

所述属性编码分支的输入为所述编码器头部结构输出的所述样本目标图像的属性特征，所述属性编码分支的输出是所述样本目标图像的多种不同分辨率的属性特征。

可选的，所述身份编码分支包括多个身份编码器组成结构，每相邻两个身份编码器组成结构之间布设有采样结构；每个身份编码器组成结构包括：AdaIN模块，每个身份编码器组成结构的输入端与输出端之间具有直连分支；

所述身份编码分支根据所述样本目标图像的身份特征的分辨率，通过多个身份编码器组成结构逐步进行身份迁移，并通过所述采样结构将身份迁移特征逐步下采样至第二指定分辨率，再逐步上采样至所述第一指定分辨率，以输出所述第一指定分辨率的身份迁移特征；

所述属性编码分支包括多组属性编码器组成结构，每相邻两组属性编码器组成结构之间布设有下采样结构，每个属性编码器组成结构的输入端与输出端之间具有所述直连分支；每组属性编码器组成结构包括的多个属性编码器组成结构的输入为相同分辨率的属性特征，每组属性编码器组成结构输入的属性特征的分辨率，与其包括的属性编码器组成结构的数量呈反比关系；

所述属性编码分支根据所述样本目标图像的属性特征的分辨率，通过多组属性编码器组成结构逐步进行属性特征融合，并通过所述下采样结构将属性特征逐步下采样至所述第一指定分辨率，以输出所述样本目标图像的多种不同分辨率的属性特征。

可选的，所述解码器包括多组解码器组成结构，每相邻两组解码器组成结构之间布设有上采样结构，每个解码器组成结构包括：注意力机制模块，且每个解码器组成结构的输入端与输出端之间具有所述直连分支；

每组解码器组成结构包括的多个解码器组成结构的输入包括相同分辨率的属性特征，每组解码器组成结构输入的属性特征的分辨率，与其包括的解码器组成结构的数量呈反比关系；

每组解码器组成结构的输出经特征处理模块的处理，输出一种分辨率的合成图像。

可选的，所述身份编码器组成结构根据所述样本源图像的身份特征和所述样本目标图像的身份特征，通过所述AdaIN模块进行身份迁移，并通过所述直连分支进行残差连接，以输出已进行部分身份迁移的中间身份迁移特征；多个身份编码器组成结构进行串联以得到第一指定分辨率的身份迁移特征。

可选的，所述解码器组成结构通过所述注意力机制模块对身份迁移特征、对所述身份迁移特征进行空间叠加后得到的第二身份迁移特征，以及样本目标图像的属性特征进行处理，并通过所述直连分支进行残差连接，以输出已进行一部分合成的中间合成图像特征；多个解码器组成结构进行串联以得到完全合成的合成图像特征。

可选的，所述方法还包括：

获得待处理源图像及其对应的待处理目标图像；

对所述待处理源图像进行特征提取，得到所述待处理源图像的身份特征；

将所述待处理源图像的身份特征及所述待处理源图像对应的待处理目标图像输入至所述身份迁移模型；

得到所述身份迁移模型输出的预置分辨率的合成结果图像。

在本发明实施的第二方面，还提供了一种身份迁移模型构建装置，所述装置包括：

获取模块，用于获得多个样本源图像及其各自对应的样本目标图像；

特征提取模块，用于对所述多个样本源图像分别进行特征提取，得到所述多个样本源图像各自的身份特征；

训练模块，用于将所述多个样本源图像各自的身份特征以及所述多个样本源图像各自对应的样本目标图像输入生成式对抗网络中的生成器，并对所述生成式对抗网络进行训练，直至所述生成器生成满足预设条件的合成图像时，结束训练；其中，所述合成图像为所述生成器将所述样本源图像的身份特征迁移到其对应的样本目标图像而生成的图像，所述生成式对抗网络中生成器的每一神经网络层的通道数为同一数值；

模型生成模块，用于将训练结束时的生成器确定为身份迁移模型。

在本发明实施的又一方面，还提供了一种电子设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如本发明实施例第一方面所述的身份迁移模型构建方法的步骤。

在本发明实施的又一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时实现如实现本发明实施例第一方面所述的身份迁移模型构建方法的步骤。

采用本发明实施例提供的身份迁移模型构建方法，获得多个样本源图像及其各自对应的样本目标图像；对多个样本源图像分别进行特征提取，得到多个样本源图像各自的身份特征；将多个样本源图像各自的身份特征以及多个样本源图像各自对应的样本目标图像输入生成式对抗网络中的生成器，并对生成式对抗网络进行训练，直至生成器生成满足预设条件的合成图像时，结束训练；其中，合成图像为生成器将样本源图像的身份特征迁移到其对应的样本目标图像而生成的图像，生成式对抗网络中生成器的每一神经网络层的通道数为同一数值；将训练结束时的生成器确定为身份迁移模型。由于卷积神经网络中卷积层的参数量与该卷积层的通道数有关，如果卷积神经网络层的通道数小，则该层的参数就是少，而通过本发明实施例的身份迁移模型构建方法，在身份迁移模型构建时将生成器的每层神经网络的通道数都保持在一个固定的数值上，且该固定数值的通道数在保证模型性能的基础上尽可能小，从而使得训练出来的身份迁移模型为轻量级小模型，该轻量级身份迁移模型可以在手机、ipad等小型移动设备以实时速度运行，利用小型移动设备的计算资源即可实现身份迁移操作。

附图说明

为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例的描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明一实施例示出的一种身份迁移模型构建方法的流程图；

图2是本发明一实施例示出的一种编码器的结构框图；

图3是本发明一实施例示出的一种解码器的结构框图；

图4是本发明一实施例示出的一种编码器头部结构的结构框图；

图5是本发明一实施例示出的一种身份编码器组成结构的结构框图；

图6是本发明一实施例示出的一种属性编码器组成结构的结构框图；

图7是本发明一实施例示出的一种解码器组成结构的结构框图；

图8是本发明一实施例示出的一种生成式对抗网络的结构框图；

图9是本发明一实施例提供的身份迁移模型构建装置的结构框图；

图10是本发明一实施例示出的一种电子设备的示意图。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

由于当前传统的身份迁移模型均为大尺寸模型的设计，因此其需要大量存储、内存和计算资源来实现身份迁移算法，基于此，本发明实施例提出了一种身份迁移模型构建方法，该方法在身份迁移模型构建时将生成器的每层神经网络的通道数都保持在一个固定的数值上，且该固定数值的通道数在保证模型性能的基础上尽可能小，从而使得训练出来的身份迁移模型为轻量级小模型，利用小型移动设备的计算资源即可实现身份迁移操作。

在本发明实施例中，身份迁移是指将源图像的身份特征迁移到目标图像上，生成新的合成图像，从而使得合成图像的身份特征与源图像一致，合成图像中与身份无关的信息（除身份特征外的其他图像特征）与目标图像一致，本发明实施例的身份迁移可以为换脸、换发型、换服装等等，本发明实施例对身份迁移的类型不作具体限制。如身份迁移为换脸，则此时身份特征为人脸特征；如身份迁移为换发型，则此时身份特征为发型特征；如身份迁移为换发型，则此时身份特征为服装特征。

参考图1，图1是本发明一实施例示出的一种身份迁移模型构建方法的流程图。如图1所示，本实施例的身份迁移模型构建方法可以包括以下步骤：

步骤S11：获得多个样本源图像及其各自对应的样本目标图像。

本实施例中，构建模型需先获取训练样本集，本实施例中的训练样本集为多个样本源图像及其各自对应的样本目标图像，可以理解为本实施例中的训练样本集为多组样本图像对，每组样本图像对为一个样本源图像和该样本源图像对应的一个样本目标图像，旨在训练模型将样本源图像的身份特征迁移到其对应的样本目标图像上，生成新的合成图像。

步骤S12：对所述多个样本源图像分别进行特征提取，得到所述多个样本源图像各自的身份特征。

本实施例中，获取训练样本集后，可对训练样本集进行预处理。针对训练样本集中的多个样本源图像，可采用相关特征提取技术（如利用特征提取模型）对多个样本源图像分别进行特征提取，得到该多个样本源图像各自的身份特征（如人脸特征，发型特征等）。针对训练样本集中的多个样本目标图像，可对多个样本目标图像的尺寸进行相应调整，以统一训练样本集中样本目标图像的尺寸，如将多个样本目标图像的尺寸统一调整为256×256分辨率（256×256个像素点），本实施例对统一尺寸的具体数值不作具体限制。

步骤S13：将所述多个样本源图像各自的身份特征以及所述多个样本源图像各自对应的样本目标图像输入生成式对抗网络中的生成器，并对所述生成式对抗网络进行训练，直至所述生成器生成满足预设条件的合成图像时，结束训练；其中，所述合成图像为所述生成器将所述样本源图像的身份特征迁移到其对应的样本目标图像而生成的图像，所述生成式对抗网络中生成器的每一神经网络层的通道数为同一数值。

本实施例中，采用生成式对抗网络进行模型训练，其中，生成式对抗网络是一种深度学习模型，该模型通过生成器和判别器的互相博弈学习产生效果好的输出。在生成式对抗网络的训练过程中，生成器与判别器相互抗衡，以逐步调整生成器和判别器的模型参数，可以理解，生成式对抗生成网络的训练过程为：对生成器的训练（更新）和对判别器的训练（更新）交替进行。在本实施例中，判别器就是使用真实图像与生成器生成的合成图像去训练，使得判别器能判别哪些是真实图像，哪些是生成的图像（这样才能告知生成器：你生成的合成图像不够真实，还要继续优化）。本实施例将预处理后的多个样本源图像各自的身份特征以及多个样本源图像各自对应的样本目标图像输入至生成式对抗网络中的生成器，对生成式对抗网络进行训练，直至生成器生成满足预设条件的合成图像时，结束训练。

其中，本实施例中的合成图像是指生成器将样本源图像的身份特征迁移到其对应的样本目标图像而生成的图像，该合成图像的身份特征与样本源图像一致，该合成图像中与身份无关的信息（除身份特征外的其他图像特征）与样本目标图像一致。本实施例中满足预设条件的合成图像实际上指：此时的合成图像判别器判别不出来其是一张真实图像，还是一张生成的图像，此时的生成式对抗网络中的所有损失函数值降不下去，即所有损失函数值保持为一个平衡状态，此时表征合成图像能够以“假”（合成图像）乱“真”（真实图像），则结束生成式对抗网络的训练。在本实施例中，真实图像指的是通过人眼目测能够知道其为现实中拍摄得到的图像。

为了使得训练出来的模型能够在小型移动设备上运行，本实施例在训练时主要对生成式对抗网络中的生成器进行了相应改进。现有的身份迁移模型中，每层神经网络的通道数均为逐层增长，甚至可能为成倍增长，模型的通道数越多，这就使得该模型所需的存储、内存及计算资源就越多。并且，对于卷积操作来说，每一卷积层的卷积核的参数量为：输入通道数×输出通道数×卷积核高度×卷积核宽度，因此通道数越小，参数量就越少。而在本实施例中，每层神经网络的通道数均保持到一个固定数值上，即生成器的每一神经网络层的通道数为同一数值，且该固定数值的通道数需在保证模型性能的基础上尽可能小，如每一神经网络层的通道数均为固定数值的模型能够支持在移动设备上运行，例如，将生成器中每层神经网络的通道数均保持为64，从而使得训练出来的生成器的参数量少，该生成器所需的存储、内存及计算资源少，为轻量级小模型。

步骤S14：将训练结束时的生成器确定为身份迁移模型。

本实施例中，在对当生成式对抗网络的训练过程中，当训练到生成器生成满足上述预设条件的合成图像时，则将训练结束时的生成器确定为身份迁移模型，该身份迁移模型即为通过本实施例的身份迁移模型构建方法所得到的能够将源图像的身份特征迁移到目标图像上而生成合成图像的轻量级模型。

通过本实施例的身份迁移模型构建方法，在身份迁移模型构建时将生成器的每层神经网络的通道数都保持在一个固定的数值上，且该固定数值的通道数在保证模型性能的基础上尽可能小，如每一神经网络层的通道数均为固定数值的模型能够支持在移动设备上运行，从而使得训练出来的身份迁移模型的参数量少，所需的存储、内存及计算资源也少，为轻量级小模型，该轻量级身份迁移模型可以在手机、ipad等小型移动设备以实时速度运行，利用小型移动设备的计算资源即可实现身份迁移操作。

结合以上实施例，在一实施方式中，本发明还提供了一种身份迁移模型构建方法，在该方法中，所述生成器包括迁移模块，所述迁移模块用于基于图像艺术风格迁移算法，对所述样本源图像的身份特征进行处理，实现将所述样本源图像的身份特征迁移到其对应的样本目标图像上，进而生成所述合成图像。

本实施例中，生成器中包括迁移模块，该迁移模块用于基于图像艺术风格迁移算法，对样本源图像的身份特征进行处理，实现将样本源图像的身份特征迁移到其对应的样本目标图像上，进而生成合成图像。也就是说，在本实施例中主要通过生成器中的迁移模块实现身份的迁移。图像艺术风格迁移算法是指在保证内容图像的结构的同时，将图像风格进行转换，使得最终输出的合成图像呈现出输入图像内容和目标风格的完美结合。

本实施例中将身份信息与图像的艺术风格进行类比，例如，当本实施例中的身份迁移为换脸时，那么本实施例中基于身份信息方面的眉毛的粗细、鼻子的形状、皮肤的纹理等身份特征，就类似于图像的艺术风格中线条粗细、纹理形式、色调等因素。进一步地，本实施例中的迁移模块可以为AdaIN模块，也可以为其他在图像艺术风格迁移算法中使用的模块，本实施例对迁移模块的具体类型不作具体限制。

在本实施例中，基于图像艺术风格迁移算法实现身份迁移，以将样本源图像的身份特征迁移到其对应的样本目标图像而生成的新的合成图像，该方法不仅身份迁移效果好，还不会影响合成图像的质量。

结合以上实施例，在一种实施方式中，本发明还提供了一种身份迁移模型更新方法，具体地，该方法包括：

步骤S31：在所述生成式对抗网络的训练过程中，通过损失函数确定生成器输出的合成图像对应的损失函数值，根据所述损失函数值对所述生成式对抗网络的模型参数进行更新。

本实施例在生成式对抗网络的训练过程中，可通过损失函数确定生成器输出的合成图像所对应的损失函数值，并根据该损失函数值对生成式对抗网络的模型参数进行迭代更新，以优化生成器使其能够输出效果更好的合成图像。

本实施例采用多种损失函数共同优化模型本实施例中的损失函数至少包括：对抗损失函数，身份保持损失函数以及属性保持损失函数。

对抗损失函数用于利用判别器迫使合成图像更真实，具体地，对抗损失函数是利用判别器去监督生成器所生成的合成图片，迫使生成器生成的合成图片看上去就是现实中拍摄的图像，而不是看上去就知道他不是一张现实中拍摄的图像。

身份保持损失函数用于迫使合成图像的身份特征与其所对应的样本源图像的身份特征接近，具体地，可通过该身份保存损失函数对生成的合成图片提取身份特征，迫使合成图像的身份特征的特征与其所对应的样本源图像的身份特征接近，以此来实现身份的迁移。

属性保持损失函数用于迫使合成图像的属性特征与其所对应的样本目标图像的属性特征接近，其中，本实施例中的属性特征为同一个图像中除身份特征外的图像特征。具体地，属性保持损失函数可通过使用在ImageNet上训练过的VGG19网络对生成的合成图片及其对应的样本目标图像分别提取属性特征，迫使两图的属性特征接近，例如当身份迁移为换脸时，则属性保持损失函数以此来使得合成图像的表情、姿态（如正脸、侧脸、抬头、低头等）、光照、发型、背景等与身份特征（人脸特征）无关的信息与样本目标图像一致。

具体实施时，通过上述三种不同的损失函数分别对生成器输出的合成图像计算相应的损失函数值，再将计算出的各损失函数对应的损失函数值进行加权求和，得到该合成图像的最终损失函数值，以根据最终损失函数值对生成式对抗网络的生成器的参数进行更新。

示例的，本实施例通过对抗损失函数对生成器生成的合成图像进行损失函数值的计算，得到对抗损失函数值；通过身份保持损失函数对生成器生成的合成图像进行损失函数值的计算，得到身份保持损失函数值；通过属性保持损失函数对生成器生成的合成图像进行损失函数值的计算，得到属性保持损失函数值，再将前述计算出的三个损失函数值乘以各自对应的损失函数的权重后求和（即加权求和），得到该合成图像的最终损失函数值，并根据最终损失函数值对生成器的参数进行更新。其中，本实施例中三个损失函数的权重均为事先根据经验所设置，本实施例对损失函数权重的具体数值不作任何限制。

在本实施例中，通过多种损失函数对训练过程中的生成式对抗网络的模型参数进行更新，从而使得训练出来的生成器能够输出身份特征与样本源图像更接近，属性特征与样本目标图像更接近且真实的合成图像。

结合以上实施例，在一种实施方式中，本发明还提供了一种身份迁移模型更新方法，在该方法中，当所述样本源图像与其所对应的样本目标图像为相同图像特征的两张图像时，所述损失函数还包括重建损失函数，所述重建损失函数用于迫使所述合成图像与所述样本目标图像一致。

本实施例中，当样本源图像与其所对应的样本目标图像为相同图像特征的两张图像时，即当样本源图像与其所对应的样本目标图像为两张一样的图像，这两张图像不仅身份特征一样，属性特征也一样时，损失函数还包括重建损失函数，该重建损失函数用于迫使合成图像与输入图像（样本源图像或其对应的样本目标图像）一致，具体地，可使用均方误差损失函数迫使合成图像与输入图一致。可以理解的是，当样本源图像与其所对应的样本目标图像不是相同图像特征的两张图像时，则损失函数中不包括该重建损失函数，或，损失函数中包括该重建损失函数，但置该重建损失函数值为零。

具体实施时，通过上述四种不同的损失函数（对抗损失函数、身份保持损失函数、属性保持损失函数和重建损失函数）分别对生成器输出的合成图像计算相应的损失函数值，再将计算出的各损失函数对应的损失函数值进行加权求和，得到该合成图像的最终损失函数值，以根据最终损失函数值对生成式对抗网络的生成器的参数进行更新。

示例的，本实施例通过对抗损失函数对生成器生成的合成图像进行损失函数值的计算，得到对抗损失函数值；通过身份保持损失函数对生成器生成的合成图像进行损失函数值的计算，得到身份保持损失函数值；通过属性保持损失函数对生成器生成的合成图像进行损失函数值的计算，得到属性保持损失函数值；通过重建损失函数对生成器生成的合成图像进行损失函数值的计算，得到重建损失函数值，再将前述计算出的四个损失函数值乘以各自对应的损失函数的权重后求和（即加权求和），得到该合成图像的最终损失函数值，并根据最终损失函数值对生成器的参数进行更新。其中，本实施例中四个损失函数的权重均为事先根据经验所设置，本实施例对损失函数权重的具体数值不作任何限制。

在本实施例中，当样本源图像与样本目标图像一致时，可通过重建损失函数迫使合成图像与输入图像一致，使生成器输出与输入图一致的合成图像，简化了模型训练步骤，节约了模型内部的计算资源。

结合以上实施例，在一种实施方式中，本发明还提供了一种身份迁移模型更新方法，在该方法中，生成器输出多种不同分辨率的合成图像，该方法可以包括以下步骤：

步骤S51：通过所述损失函数分别对所述多种不同分辨率的合成图像计算所述不同分辨率的合成图像各自对应的损失函数值，再根据所述不同分辨率的合成图像各自对应的损失函数值确定总损失函数值，根据所述总损失函数值对所述生成式对抗网络的模型参数进行更新。

本实施例中，为了更好地优化生成式对抗网络，本实施例的训练过程中采用了多尺度输出，即生成器的输出为多种不同分辨率的合成图像，例如生成器可输出64×64（64×64个像素点）、128×128（128×128个像素点）以及256×256（256×256个像素点）三种分辨率的合成图像，需要说明的是，上述分辨率只是示例，本实施例对训练过程中生成器输出的分辨率数值及生成器输出的图像数量不作任何具体限制。在训练过程中采用多尺度输出，使得能够通过多种损失函数确定出生成器输出的多种不同分辨率的合成图像所各自对应的损失函数值，以根据该各自对应的损失函数值确定出总损失函数值，并通过总损失函数值对生成式对抗网络的模型参数进行迭代更新，从而使得模型的训练效果更好。

示例的，如生成器生成三种不同分辨率（64×64、128×128以及256×256）的合成图像，则可通过前一实施例中计算最终损失函数的方法（用多种损失函数分别计算该合成图像的损失函数值，得到多个损失函数值，再对该多个损失函数值加权求和得到该合成图像的最终损失函数）分别计算：64×64分辨率合成图像所对应的第一最终损失函数值、128×128分辨率合成图像所对应的第二最终损失函数值，以及256×256分辨率合成图像所对应的第三最终损失函数值；然后将这三个最终损失函数值（第一最终损失函数值、第二最终损失函数值和第三最终损失函数值）相加得到总损失函数值，根据该总损失函数值对生成式对抗网络的生成器的参数进行更新。

本实施例在模型训练过程中采用多尺度输出，并通过不同分辨率的合成图进行损失计算以对模型进行优化，从而能够使优化后的模型更好地收敛，更利于去更新进行梯度下降的参数。

此外，在一优选实施例中，可对生成器输出的多种不同分辨率的合成图像进行分类，分成：第一分辨率合成图像和第二分辨率合成图像。其中，第一分辨率合成图像只支持进行两个损失函数（对抗损失函数和身份保持损失函数）的计算，以得到最终损失函数进行参数更新；第二分辨率合成图像可支持四个损失函数（对抗损失函数、身份保持损失函数、属性保持损失函数以及重建损失函数）的计算，以得到最终损失函数进行参数更新。

可以理解，本实施例中的对抗损失函数和身份保持损失函数在生成器中多种分辨率的输出上均可予以应用，而属性保持损失函数和重建损失函数这两个损失函数虽然在多种分辨率的输出上均支持应用，但由于功能的限制，其比较依赖高分辨率的图像，因此，在一种更优的实施例中，属性保持损失函数和重建损失函数这两个损失函数仅支持在高分辨率的输出（如第二分辨率合成图像）上计算损失，以进行模型参数的更新。

例如，当生存器的输出为64×64、128×128以及256×256三种分辨率的合成图像时，则第一分辨率合成图像为：64×64分辨率的合成图像和128×128分辨率的出图像，第二分辨率合成图像为：256×256分辨率的合成图像。则进行总损失函数值的方法为：

通过对抗损失函数和身份保持损失函数分别对64×64分辨率的合成图像进行损失计算，分别得到64×64分辨率的合成图像对应的第二对抗损失函数和第二身份保持损失函数，对第二对抗损失函数和第二身份保持损失函数进行加权求和得到64×64分辨率的合成图像的损失函数值；

通过对抗损失函数和身份保持损失函数分别对128×128分辨率的合成图像进行损失计算，分别得到128×128分辨率的合成图像对应的第三对抗损失函数和第三身份保持损失函数，对第三对抗损失函数和第三身份保持损失函数进行加权求和得到128×128的合成图像的损失函数值；

通过对抗损失函数、身份保持损失函数、属性保存损失函数和重建损失函数分别对256×256分辨率的合成图像进行损失计算，分别得到256×256分辨率的合成图像对应的第四对抗损失函数、第四身份保持损失函数、第四属性保持损失函数和第四重建损失函数，对第四对抗损失函数、第四身份保持损失函数、第四属性保持损失函数和第四重建损失函数进行加权求和以得到256×256的合成图像的损失函数值；

将上述64×64分辨率的合成图像的损失函数值、128×128的合成图像的损失函数值以及256×256的合成图像的损失函数值求和，以得到输出多种不同分辨率的生成器的总损失函数值，从而根据总损失函数值对生成式对抗网络的生成器参数进行更新。

在本实施例中，生成器采用多尺度输出，在训练时会分别对不同分辨率的图像进行多种损失函数的计算，从而得到总损失函数值来更新模型，以使训练出来的模型能够更好地收敛，训练出迁移效果更好的身份迁移模型。

结合以上实施例，在一种实施方式中，本发明还提供了一种身份迁移模型构建方法，在该方法中，生成器包括编码器和解码器。

本实施例重点对生成式对抗网络中的生成器进行了设计，本实施例中的生成器网络由编码器和解码器组成。其中，编码器的输入为样本源图像的身份特征以及该样本源图像所对应的样本目标图像，编码器的输出为第一指定分辨率的身份迁移特征以及该样本目标图像的多种不同分辨率的属性特征。示例的，可参见图2，图2是本发明一实施例示出的一种编码器的结构框图。其中，图2中的B即为每次训练时输入的样本数据集中样本图像对的数量，如一次训练时输入样本图像对的组数B为50组或100组图片，本实施例对B的数量不作具体限制。而图2中的N即为每层神经网络的通道数，且每层神经网络的通道数为一个固定数值。

本实施例通过编码器对生成器的输入样本源图像的身份特征（如图2所示的源特征）以及该样本源图像所对应的样本目标图像（如图2所示的目标图像）进行特征处理，以得到进行身份迁移后的第一指定分辨率的身份迁移特征（如图2所示的

）以及样本目标图像的多种不同分辨率的属性特征，这样不仅实现了身份迁移，还能减少了空间的占用。

其中，具体实施时，由于本实施例为了时身份迁移模型实现轻量级，是将生成器中每层神经网络的通道数都保持到一个固定的小数字（例如64）上，但通道数的减少会带来特征表征能力的缺失，因此，为了弥补特征表征能力的缺失，本实施例中的编码器-解码器结构是将身份迁移特征降到第一指定分辨率，该第一指定分辨率的身份迁移特征为特征图（feature maps），它是三维的，如果将该身份迁移特征的形状表示为C×H×W，那么，这里“降到第一指定分辨率”是指将H×W降到一个新的尺度（如256x256降到64x64），而C为本实施例中固定数值的通道数。而不是像传统的编码器-解码器结构那样将特征直接降到二维向量的形式。这样不仅不会过度损失特征的表征能力，还能为该模型的设计增加了灵活性。其中，本实施例中的第一指定分辨率为事先指定的编码器需要输出的特征分辨率，例如第一指定分辨率可以为64×64分辨率，本实施例对第一指定分辨率的具体数值不作任何限制。

本实施例中，解码器的输入为编码器的输出，即，解码器的输入为第一指定分辨率的身份迁移特征以及该样本目标图像的多种不同分辨率的属性特征。解码器的输出为多种不同分辨率的合成图像。

本实施例中的解码器根据编码器输出的经过身份迁移的第一指定分辨率的身份迁移特征以及多个该样本目标图像的多种不同分辨率的属性特征进行特征处理，从而输出多种不同分辨率的合成图像，输出的合成图像的身份特征与样本源图像一致，输出的合成图像中与身份无关的信息（即属性特征）与样本目标图像一致。示例的，可参见图3，图3是本发明一实施例示出的一种解码器的结构框图。在图3中，解码器的输出为三种分辨率的合成图像（如图3所示的

），图3中的B即为每次训练时输入的样本数据集中样本图像对的数量，如一次训练时输入样本图像对的组数B为50组或100组图片，本实施例对B的数量不作具体限制；而图3中的N即为每层神经网络的通道数，且每层神经网络的通道数为一个固定数值。每次训练中，图2中的B与图3中的B相同，图2中的N与图3中的N也相同。

在本实施例中，通过编码器-解码器结构进行身份迁移，在进行特征处理时，仅将身份迁移特征降到第一指定分辨率，而该身份迁移特征为特征图（feature maps），它是三维的。其并不是像传统的编码器-解码器结构那样将特征直接降到二维向量的形式，这样不仅能够弥补通道数的减少而带来的特征表征能力的缺失，还能为该模型的设计增加了灵活性。

结合以上实施例，在一种实施方式中，本发明还提供了一种身份迁移模型构建方法，在该方法中，编码器包括编码器头部结构、身份编码分支以及属性编码分支。

本实施例中，编码器头部结构的输入为样本源图像所对应的样本目标图像，编码器头部结构的输出为样本目标图像的身份特征和样本目标图像的属性特征。可参见图4，图4是本发明一实施例示出的一种编码器头部结构的结构框图。图4中的

即为样本目标图像的身份特征，

即为样本目标图像的属性特征。而由图2中编码器的结构可知，编码器头部结构（Header）的输入即为样本目标图像（Target Images），由于本实施例需要将同一张样本目标图像输入至两个编码器部分，因此本实施例通过设置一个编码器头部结构，利用编码器头部结构对样本目标图像进行特征提取，得到两种特征（样本目标图像的身份特征和样本目标图像的属性特征）并分别将该两种特征分配给两个编码器部分。

本实施例中，身份编码分支的输入为样本源图像的身份特征和编码器头部结构输出的样本目标图像的身份特征，身份编码分支的输出是第一指定分辨率的身份迁移特征。本实施例通过编码器中的身份编码器分支来对样本源图像的身份特征以及样本目标图像的身份特征，并进行逐步的身份特征的迁移，从而得到第一指定分辨率的身份迁移特征。

本实施例中，属性编码分支的输入为编码器头部结构输出的样本目标图像的属性特征，属性编码分支的输出是样本目标图像的多种不同分辨率的属性特征。如图2所示，

即为样本目标图像的多种不同分辨率的属性特征。本实施例通过属性编码分支对样本目标图像的属性特征进行处理，从而能够使得后续解码器可通过属性编码分支输出的样本目标图像的属性特征进行相应的合成特征的处理。

在本实施例中，通过在编码器中设置编码器头部结构进行图像的初步处理，利用编码器头部结构对样本目标图像进行特征提取，得到两种特征（样本目标图像的身份特征和样本目标图像的属性特征），并分别将该两种特征分配给两个编码器部分，以进行后续的特征迁移等特征处理。

结合以上实施例，在一种实施方式中，本发明还提供了一种身份迁移模型构建方法，在该方法中，身份编码分支包括多个身份编码器组成结构（Identity Encoder Block,IDE-Block），每相邻两个身份编码器组成结构之间布设有采样结构；每个身份编码器组成结构包括：AdaIN模块，每个身份编码器组成结构的输入端与输出端之间具有直连分支。

其中，身份编码分支根据样本目标图像的身份特征的分辨率，通过多个身份编码器组成结构逐步进行身份迁移，并通过采样结构将身份迁移特征逐步下采样至第二指定分辨率，再逐步上采样至第一指定分辨率，以输出第一指定分辨率的身份迁移特征。

本实施例中，每相邻两个身份编码器组成结构之间布设有采样结构，以通过采样结构改变特征的分辨率，具体地，可先通过下采样结构对身份编码器组成结构输出的身份迁移特征进行分辨率逐步下采样（缩小），以将身份迁移特征逐步下采样至第二指定分辨率，本实施例中的第二指定分辨率是事先指定的身份编码分支中需要下采样到的最低特征分辨率，例如第二指定分辨率可以为16×16分辨率，本实施例对第二指定分辨率的具体数值不作任何限制。得到第二指定分辨率的身份迁移特征后，再通过上采样结构对身份编码器组成结构输出的身份迁移特征进行分辨率逐步上采样（放大），以将身份迁移特征逐步上采样至第一指定分辨率，从而输出第一指定分辨率的身份迁移特征。

本实施例中，通过采样结构对身份编码分支中的身份迁移特征的分辨率先下采样至第二指定分辨率，再上采样至第一指定分辨率，可以以此来增加神经网络的深度（即增加神经网络的层数），使得通过神经网络深度的增加去弥补通道数少带来的特征表征能力缺失，使模型训练的效果更好。

结合以上实施例，在一种实施方式中，本发明还提供了一种身份迁移模型构建方法，在该方法中，身份编码器组成结构根据样本源图像的身份特征和样本目标图像的身份特征，通过AdaIN模块进行身份迁移，并通过直连分支进行残差连接，以输出已进行部分身份迁移的中间身份迁移特征；多个身份编码器组成结构进行串联以得到第一指定分辨率的身份迁移特征。示例的，可参见图5，图5是本发明一实施例示出的一种身份编码器组成结构的结构框图。

在本实施例中，每个身份编码器组成结构均包括AdaIN模块（如图5所示的点划线框），并通过AdaIN模块进行身份迁移（如图5所示，将样本目标图像的身份特征

和样本源图像的身份特征

输入AdaIN模块进行身份迁移），且每个身份编码器组成结构的输入端与输出端之间具有直连分支，并通过该直连分支进行残差连接，以对身份编码器组成结构的输入（样本目标图像的身份特征

）以及身份编码器组成结构的初始输出（已进行部分身份迁移的第一中间身份迁移特征）进行线性累加，从而实现特征融合，得到身份编码器组成结构的输出（已进行部分身份迁移的中间身份迁移特征

）。在本实施例中，每个身份编码器组成结构中的AdaIN模块均为实现一部分身份特征的迁移，从而通过多个身份编码器组成结构中所各自包括的AdaIN模块逐步实现完整的身份迁移。

其中，身份编码分支中的第一个身份编码器组成结构的输入为：样本源图像的身份特征和编码器头部结构输出的样本目标图像的身份特征；第一个身份编码器组成结构的输出为：已进行部分身份迁移及残差连接的中间身份迁移特征；身份编码分支中除第一个身份编码器组成结构外的其余身份编码器组成结构的输入为：前一身份编码器组成结构的输出经采样结构改变分辨率后的特征，以及样本源图像的身份特征；身份编码分支中除第一个身份编码器组成结构外的其余身份编码器组成结构的输出为已进行部分身份迁移及残差连接的中间身份迁移特征。

在本实施例中，对每个身份编码器组成结构的输入和初始输出进行残差连接，从而通过不同深度的特征融合来增加特征的表征能力，以弥补通道数少带来的特征表征能力缺失。

在前述实施例中，属性编码分支包括多组属性编码器组成结构，每相邻两组属性编码器组成结构之间布设有下采样结构，每个属性编码器组成结构的输入端与输出端之间具有直连分支，并通过直连分支对属性编码器组成结构的输入和初始输出进行残差连接，已完成特征融合。本实施例中每组属性编码器组成结构包括的多个属性编码器组成结构的输入和输出均为相同分辨率的属性特征，每组属性编码器组成结构输入的属性特征的分辨率，与其包括的属性编码器组成结构的数量呈反比关系。

示例的，可参见图2和图6，图2的右侧即为属性编码分支，图6是本发明一实施例示出的一种属性编码器组成结构（Attribute Encoder Block，AE-Block）的结构框图。每个属性编码器组成结构均会输出经处理后的样本目标图像的属性特征，其中该处理后的样本目标图像的属性特征既用来做下一个属性编码器组成结构输入，也用来构成该属性编码分支的输出（如图2中的

）。

本实施例中，每组属性编码器组成结构均包含不同数量的属性编码器组成结构，且每组属性编码器组成结构输入的属性特征的分辨率，与其包括的属性编码器组成结构的数量呈反比关系。示例的，以图2为例：从编码器头部结构往下依次部署为第一组属性编码器组成结构、下采样结构、第二组属性编码器组成结构、下采样结构及第三组属性编码器组成结构。其中，第一组属性编码器组成结构包含2个属性编码器组成结构，且其处理的是256×256分辨率的属性特征；第二组属性编码器组成结构包含3个属性编码器组成结构，且其处理的是128×128分辨率的属性特征；第三组属性编码器组成结构包含4个属性编码器组成结构，且其处理的是64×64分辨率的属性特征。

本实施例中，属性编码分支可根据样本目标图像的属性特征的分辨率，通过多组属性编码器组成结构逐步进行属性特征融合，并通过下采样结构将属性特征逐步下采样至所述第一指定分辨率，以输出样本目标图像的多种不同分辨率的属性特征。如图2所示，第一组属性编码器组成结构可输出3个256×256分辨率的属性特征（

）,第二组属性编码器组成结构可输出4个128×128分辨率的属性特征，第三组属性编码器组成结构可输出5个64×64分辨率的属性特征。其中，由于每一属性编码器组成结构的原始输入也会直接作为该组属性编码器组成结构的输出，所以每组输出的属性特征比该组的属性编码器组成结构数量多一个。

本实施例中，属性编码分支中的第一个属性编码器组成结构的输入为：编码器头部结构输出的样本目标图像的属性特征；属性编码分支中除第一个属性编码器组成结构外的其余属性编码器组成结构的输入为：前一属性编码器组成结构的输出。其中，如属性编码分支中除第一个属性编码器组成结构外的其余属性编码器组成结构为每组属性编码器组成结构中的第一个属性编码器组成结构，则其输入为：前一属性编码器组成结构的输出且经采样结构改变分辨率后的属性特征；而每个属性编码器组成结构的输出均为：已进行残差连接的属性特征。

在本实施例中，属性编码分支中各组属性编码器组成结构所输出的相对应分辨率的属性特征的数量不同，且每组属性编码器组成结构输入的属性特征的分辨率，与其包括的属性编码器组成结构的数量呈反比关系，这是因为在本实施例中，不同深度的特征，分辨率越小的深度最深，则该特征越抽象，内存更小；分辨率越大的特征越具体，内存更大，占用更多。本实施例不仅需要通过增加神经网络的深度来弥补通道数少带来的特征表征能力缺失，还需要使训练的特征越多越好，因此考虑整体内存因素，想要特征多一点就需要考虑小分辨率的特征的多一点，以减少整个模型的内存消耗。

结合以上实施例，在一种实施方式中，本发明还提供了一种身份迁移模型构建方法，在该方法中，解码器包括多组解码器组成结构，每相邻两组解码器组成结构之间布设有上采样结构，每个解码器组成结构包括：注意力机制模块，且每个解码器组成结构的输入端与输出端之间具有所述直连分支。示例的，可参见图7，图7是本发明一实施例示出的一种解码器组成结构（Decoder-Block）的结构框图。

在本实施例中，解码器包括多组解码器组成结构，其中，解码器中包括多组解码器组成结构的数量与属性编码器分支中包括的多组属性编码器组成结构输的数量相匹配，且解码器中从上至下依次部署的多组解码器组成结构正好与属性编码器分支中从上至下依次部署的多组属性编码器组成结构相反，且每相邻两组解码器组成结构之间布设有上采样结构，以通过解码器逐步将特征恢复成不同分辨率的图像。

在本实施例中，每组解码器组成结构包括的多个解码器组成结构的输入包括相同分辨率的特征，每组解码器组成结构输入和输出的特征的分辨率，与其包括的解码器组成结构的数量呈反比关系，各组解码器组成结构中解码器组成结构的数量与属性编码器分支中与其相同分辨率的相应组属性编码器组成结构所输出的特征的数量相匹配。

在本实施例中，解码器支持多尺寸分辨率输出，且每组解码器组成结构的输出经特征处理模块（如图3所示的conv3×3+tanh）的处理，输出一种分辨率的合成图像。如图3所示，解码器从上往下依次部署为第一组解码器组成结构、上采样结构、第二组解码器组成结构、上采样结构及第三组解码器组成结构。其中，第一组解码器组成结构包含5个解码器组成结构，且其处理的是64×64分辨率的特征；第二组解码器组成结构包含4个解码器组成结构，且其处理的是128×128分辨率的特征；第三组解码器组成结构包含3个解码器组成结构，且其处理的是256×256分辨率的特征。每组解码器组成结构的输出为相应分辨率的合成图像特征，再将该相应分辨率的合成图像特征经特征处理模块进行特征处理后，输出该相应分辨率的合成图像。

在本实施例中，通过多组解码器组成结构对编码器输出的多种不同分辨率的属性特征以及编码器输出的第一指定分辨率的身份迁移特征进行处理，从而得到多种不同分辨率的合成图像，以与本实施例中的编码器相适配，从而由该编码器和解码器构成本实施例中能够进行身份迁移且所需运行资源较少的小尺寸生成器。

结合以上实施例，在一种实施方式中，本发明还提供了一种身份迁移模型构建方法，在该方法中，所述解码器组成结构通过注意力机制模块对身份迁移特征、对该身份迁移特征进行空间叠加后得到的第二身份迁移特征，以及样本目标图像的属性特征进行处理，并通过直连分支进行残差连接，以输出已进行一部分合成的中间合成图像特征；多个解码器组成结构进行串联以得到完全合成的合成图像特征。示例的，可参见图7，图7是本发明一实施例示出的一种解码器组成结构的结构框图。

本实施例中，每个解码器组成结构均包含注意力机制模块，通过该注意力机制模块对身份迁移特征（如图7中的

）、对该身份迁移特征进行空间叠加（如图7中的M）后得到的第二身份迁移特征，以及样本目标图像的属性特征（如图7中的

）进行处理,并且通过解码器组成结构中的直连分支对解码器组成结构的输入（如图7中的身份迁移特征

）和解码器组成结构的初始输出进行线性累加，以进行残差连接，从而输出已进行一部分合成的中间合成图像特征（如图7所示的

）。且在本实施例中构建的解码器中，每组解码器组成结构均通过多个解码器组成结构进行串联以得到完全合成的合成图像特征，再将该完全合成的合成图像特征经特征处理模块进行特征处理后，以输出相应分辨率的合成图像。

在本实施例中，每个解码器组成结构均包含注意力机制与直连分支，可通过注意力机制分配特征权重后在进行相应特征处理，以及通过直连分支进行解码器组成结构输入和初始输出的残差连接，从而通过不同深度的特征融合来增加特征的表征能力，以弥补通道数少带来的特征表征能力缺失。

结合以上实施例，在一种实施方式中，本发明还提供了一种图像处理方法，具体地，该方法可以包括：

步骤S111：获得待处理源图像及其对应的待处理目标图像。

本实施例中，在得到训练好的身份迁移模型后，可获取以对需要进行身份迁移的图像，即获取待处理源图像及其对应的待处理目标图像。

步骤S112：对所述待处理源图像进行特征提取，得到所述待处理源图像的身份特征。

本实施例中，需对获取到的待处理源图像及其对应的待处理目标图像进行预处理。针对待处理源图像，可采用相关特征提取技术（如利用特征提取模型）对其进行特征提取，以得到该待处理源图像的身份特征；针对待处理目标图像，需对其尺寸进行相应调整，如将待处理目标图像的尺寸调整为256×256分辨率，本实施例对尺寸调整的具体数值不作具体限制，本实施例中本实施例中的尺寸调整需与训练模型时的样本目标图像的统一尺寸后的尺寸相对应。

步骤S113：将所述待处理源图像的身份特征及所述待处理源图像对应的待处理目标图像输入至所述身份迁移模型，得到所述身份迁移模型输出的预置分辨率的合成结果图像。

本实施例中，将预处理后的待处理源图像的身份特征及待处理源图像对应的待处理目标图像输入至预先训练好的身份迁移模型，即可得到该身份迁移模型输出的预置分辨率的合成结果图像。在本实施例中，预先训练好的身份迁移模型即为上述实施例中最后训练得到的身份迁移模型。

在本实施例中，预先训练好的身份迁移模型训练时为多尺度输出，以为更好地优化模型，而在使用该预先训练好的身份迁移模型时，可以通过身份迁移模型输出一个或多个预置分辨率的合成结果图像。也就是说，训练好的身份迁移模型支持输出多种分辨率的合成结果图像（如同时输出64×64、128×128以及256×256三种分辨率的合成结果图像），也支持输出其中一种分辨率的合成结果图像（如只输出256×256分辨率的合成结果图像），其中合成结果图像即为通过该身份迁移模型将待处理源图像的身份特征迁移到其对应的待处理目标图像而生成的图像，该合成结果图像的身份特征与待处理源图像一致，该合成结果图像中与身份无关的信息（除身份特征外的其他图像特征）与待处理目标图像一致。

通过本实施例中的图像处理方法，通过训练得到的轻量级身份迁移模型进行图像身份特征的迁移，该方法可直接在手机端以实时速度运行，利用手机用户的计算资源即可实现身份迁移操作。

请参见图8，图8是本发明一实施例示出的一种生成式对抗网络的结构框图。如图8所示，本实施例中的生成式对抗网络500包括：生成器501和判别器502，生成器501用于输出合成图像，该合成图像的身份特征与样本源图像一致，该合成图像中与身份无关的信息（除身份特征外的其他图像特征）与样本目标图像一致。

其中，生成器501包括：编码器503和解码器504；编码器503包括：编码器头部结构505、身份编码分支506和属性编码分支507。编码器头部结构505用于对样本目标图像进行特征处理，从而将处理后得到的样本目标图像的身份特征和属性特征分别输入身份编码分支506和属性编码分支507。身份编码分支506包括多个身份编码器组成结构508，每个身份编码器组成结构508均包括迁移模块510（如AdaIN模块），迁移模块510用于对身份特征进行逐步迁移；而属性编码分支507包括多个属性编码器组成结构509。

将编码器503输出的特征输入至解码器504进行处理，从而得到合成图像。其中，解码器504包括多个解码器组成结构511、每个解码器组成结构511均包括注意力机制模块512。

需要说明的是，对于方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明实施例并不受所描述的动作顺序的限制，因为依据本发明实施例，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作并不一定是本发明实施例所必须的。

基于同一发明构思，本发明一实施例提供了一种身份迁移模型构建装置300。参考图9，图9是本发明一实施例提供的身份迁移模型构建装置的结构框图。如图9所示，该装置300包括：

获取模块301，用于获得多个样本源图像及其各自对应的样本目标图像；

特征提取模块302，用于对所述多个样本源图像分别进行特征提取，得到所述多个样本源图像各自的身份特征；

训练模块303，用于将所述多个样本源图像各自的身份特征以及所述多个样本源图像各自对应的样本目标图像输入生成式对抗网络中的生成器，并对所述生成式对抗网络进行训练，直至所述生成器生成满足预设条件的合成图像时，结束训练；其中，所述合成图像为所述生成器将所述样本源图像的身份特征迁移到其对应的样本目标图像而生成的图像，所述生成式对抗网络中生成器的每一神经网络层的通道数为同一数值；

模型生成模块304，用于将训练结束时的生成器确定为身份迁移模型。

可选的，所述装置300包括：

所述生成器包括迁移模块，所述迁移模块用于基于图像艺术风格迁移算法，对所述样本源图像的身份特征进行处理，实现将所述样本源图像的身份特征迁移到其对应的样本目标图像上，进而生成所述合成图像。

可选的，所述训练模块303包括：

参数更新模块，用于在所述生成式对抗网络的训练过程中，通过损失函数确定生成器输出的合成图像对应的损失函数值，根据所述损失函数值对所述生成式对抗网络的模型参数进行更新；其中，所述损失函数至少包括：对抗损失函数，身份保持损失函数以及属性保持损失函数；

可选的，参数更新模块包括：

第一参数更新模块，用于通过所述损失函数分别对所述多种不同分辨率的合成图像计算所述不同分辨率的合成图像各自对应的损失函数值，再根据所述不同分辨率的合成图像各自对应的损失函数值确定总损失函数值，根据所述总损失函数值对所述生成式对抗网络的模型参数进行更新。

可选的，所述装置300还包括：

图像获取模块，用于获得待处理源图像及其对应的待处理目标图像；

预处理模块，用于对所述待处理源图像进行特征提取，得到所述待处理源图像的身份特征；

图像合成模块，用于将所述待处理源图像的身份特征及所述待处理源图像对应的待处理目标图像输入至所述身份迁移模型；得到所述身份迁移模型输出的预置分辨率的合成结果图像。

基于同一发明构思，本发明另一实施例提供一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器执行时实现如本发明上述任一实施例所述的身份迁移模型构建方法中的步骤。

基于同一发明构思，本发明另一实施例提供一种电子设备400，如图10所示。图10是本发明一实施例示出的一种电子设备的示意图。该电子设备包括存储器402、处理器401及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行时实现本发明上述任一实施例所述的身份迁移模型构建方法中的步骤。

对于装置实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。

本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。

本领域内的技术人员应明白，本发明的实施例可提供为方法、装置、或计算机程序产品。因此，本发明实施例可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明实施例可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本发明实施例是参照根据本发明实施例的方法、终端设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理终端设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理终端设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理终端设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理终端设备上，使得在计算机或其他可编程终端设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程终端设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

尽管已描述了本发明实施例的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例做出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本发明实施例范围的所有变更和修改。

最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者终端设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者终端设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者终端设备中还存在另外的相同要素。

以上对本发明所提供的一种身份迁移模型构建方法、装置、电子设备及可读存储介质，进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

Claims

1.一种身份迁移模型构建方法，其特征在于，所述方法包括：

获得多个样本源图像及其各自对应的样本目标图像；

将训练结束时的生成器确定为身份迁移模型；

其中，所述生成器输出多种不同分辨率的合成图像，生成式对抗网络的模型参数是根据生成器输出的合成图像对应的损失函数值进行更新的；

其中，所述生成器包括编码器，所述编码器包括身份编码分支；所述身份编码分支中包括采样结构，所述采样结构将基于样本源图像的身份特征和样本目标图像的身份特征得到的身份迁移特征进行逐步下采样至第二指定分辨率，再逐步上采样至第一指定分辨率，以输出所述第一指定分辨率的身份迁移特征。

2.根据权利要求1所述的方法，其特征在于，所述生成器包括迁移模块，所述迁移模块用于基于图像艺术风格迁移算法，对所述样本源图像的身份特征进行处理，实现将所述样本源图像的身份特征迁移到其对应的样本目标图像上，进而生成所述合成图像。

3.根据权利要求1所述的方法，其特征在于，

在所述生成式对抗网络的训练过程中，通过损失函数确定所述生成器输出的合成图像对应的损失函数值，根据所述损失函数值对所述生成式对抗网络的模型参数进行更新；其中，所述损失函数至少包括：对抗损失函数，身份保持损失函数以及属性保持损失函数；

所述对抗损失函数用于利用判别器迫使所述合成图像更真实；

4.根据权利要求3所述的方法，其特征在于，当所述样本源图像与其所对应的样本目标图像为相同图像特征的两张图像时，所述损失函数还包括重建损失函数，所述重建损失函数用于迫使所述合成图像与所述样本目标图像一致。

5.根据权利要求3所述的方法，其特征在于，所述通过损失函数确定所述生成器输出的合成图像对应的损失函数值，根据所述损失函数值对所述生成式对抗网络的模型参数进行更新，包括：

6.根据权利要求1所述的方法，其特征在于，所述生成器包括编码器和解码器，所述编码器的输入为所述样本源图像的身份特征以及所述样本源图像所对应的样本目标图像，所述编码器的输出为第一指定分辨率的身份迁移特征以及所述样本目标图像的多种不同分辨率的属性特征；

7.根据权利要求6所述的方法，其特征在于，所述编码器包括编码器头部结构、身份编码分支以及属性编码分支；

8.根据权利要求7所述的方法，其特征在于，所述身份编码分支包括多个身份编码器组成结构，每相邻两个身份编码器组成结构之间布设有采样结构；每个身份编码器组成结构包括：AdaIN模块，每个身份编码器组成结构的输入端与输出端之间具有直连分支；

9.根据权利要求6所述的方法，其特征在于，所述解码器包括多组解码器组成结构，每相邻两组解码器组成结构之间布设有上采样结构，每个解码器组成结构包括：注意力机制模块，且每个解码器组成结构的输入端与输出端之间具有所述直连分支；

10.根据权利要求8所述的方法，其特征在于，所述身份编码器组成结构根据所述样本源图像的身份特征和所述样本目标图像的身份特征，通过所述AdaIN模块进行身份迁移，并通过所述直连分支进行残差连接，以输出已进行部分身份迁移的中间身份迁移特征；多个身份编码器组成结构进行串联以得到第一指定分辨率的身份迁移特征。

11.根据权利要求9所述的方法，其特征在于，所述解码器组成结构通过所述注意力机制模块对身份迁移特征、对所述身份迁移特征进行空间叠加后得到的第二身份迁移特征，以及样本目标图像的属性特征进行处理，并通过所述直连分支进行残差连接，以输出已进行一部分合成的中间合成图像特征；多个解码器组成结构进行串联以得到完全合成的合成图像特征。

12.根据权利要求1-11任一所述的方法，所述方法还包括：

获得待处理源图像及其对应的待处理目标图像；

得到所述身份迁移模型输出的预置分辨率的合成结果图像。

13.一种身份迁移模型构建装置，其特征在于，所述装置包括：

模型生成模块，用于将训练结束时的生成器确定为身份迁移模型；

14.一种电子设备，其特征在于，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述计算机程序被所述处理器执行时实现如权利要求1至12任一所述的方法。

15.一种计算机可读存储介质，所述计算机可读存储介质上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至12任一所述的方法。