CN114550249A - 人脸图像生成方法及装置、计算机可读介质和电子设备 - Google Patents

Abstract

本公开提供一种人脸图像生成方法及装置、计算机可读介质和电子设备，涉及人工智能技术领域。该方法包括：获取包含真实身份信息的原始人脸图像，并将原始人脸图像输入到预训练的人脸匿名化模型中，生成目标人脸图像，目标人脸图像不包含真实身份信息，且目标人脸图像与原始人脸图像的相似度大于或者等于相似度阈值。本公开通过人脸匿名化模型直接生成匿名化后的目标人脸图像，得到的目标人脸图像的图像质量更高，图像细节更加清晰，并且人脸匿名化模型不需要对特征解耦合，计算量更小。

Description

人脸图像生成方法及装置、计算机可读介质和电子设备

技术领域

本公开涉及人工智能技术领域，具体涉及一种人脸图像生成方法、人脸图像生成装置、计算机可读介质和电子设备。

背景技术

伴随着科学技术的不断发展，人脸识别技术得到越来越广泛的应用。人脸识别技术是指基于人的脸部特征信息进行身份识别的一种生物识别技术，但是，随着人脸识别技术的普及，人脸图像中包含的个人隐私信息的泄露风险问题也日渐得到人们的重视。

目前，相关的人脸图像匿名化方案中，一般是通过替换掉原人脸图像中的人脸区域实现匿名化，但是换脸的方式会出现明显边界，图像质量较差，并且可能导致匿名化后的人脸图像不真实、与原人脸图像不相似等问题，用户使用体验差。

发明内容

本公开的目的在于提供一种人脸图像生成方法、人脸图像生成装置、计算机可读介质和电子设备，进而至少在一定程度上提高匿名化后得到的目标人脸图像的图像质量。

根据本公开的第一方面，提供一种人脸图像生成方法，包括：

获取包含真实身份信息的原始人脸图像；

将所述原始人脸图像输入到预训练的人脸匿名化模型中，生成目标人脸图像；

其中，所述目标人脸图像不包含所述真实身份信息，且所述目标人脸图像与所述原始人脸图像的相似度大于相似度阈值。

根据本公开的第二方面，提供一种人脸图像生成装置，包括：

原始人脸图像获取模块，用于获取包含真实身份信息的原始人脸图像；

目标人脸图像生成模块，用于将所述原始人脸图像输入到预训练的人脸匿名化模型中，生成目标人脸图像；

其中，所述目标人脸图像不包含所述真实身份信息，且所述目标人脸图像与所述原始人脸图像的相似度大于相似度阈值。

根据本公开的第三方面，提供一种计算机可读介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述的方法。

根据本公开的第四方面，提供一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储一个或多个程序，当一个或多个程序被一个或多个处理器执行时，使得一个或多个处理器实现上述的方法。

本公开的一种实施例所提供的人脸图像生成方法，可以将包含真实身份信息的原始人脸图像输入到预训练的人脸匿名化模型中，直接生成不包含真实身份信息且与原始人脸图像的相似度大于相似度阈值的目标人脸图像。一方面，通过人脸匿名化模型直接生成目标人脸图像，避免通过替换人脸区域导致人脸图像不真实且图像质量差的问题，有效提升目标人脸图像的图像质量；另一方面，在隐藏原始人脸图像中所包含的真实身份信息的同时，保证生成的目标人脸图像与原始人脸图像尽可能相似，不损失原始人脸图像中的人脸显示特征，提升用户使用体验。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1示出了可以应用本公开实施例的一种示例性系统架构的示意图；

图2示意性示出本公开示例性实施例中一种人脸图像生成方法的流程示意图；

图3示意性示出本公开示例性实施例中一种人脸匿名化模型的模型训练过程的流程示意图；

图4示意性示出本公开示例性实施例中一种人脸匿名化模型的原理示意图；

图5示意性示出本公开示例性实施例中一种构建距离损失函数的流程示意图；

图6示意性示出本公开示例性实施例中一种实现人脸匿名化模型的训练的流程示意图；

图7示意性示出本公开示例性实施例中另一种实现人脸图像生成的流程示意图；

图8示意性示出本公开示例性实施例中人脸图像生成装置的组成示意图；

图9示出了可以应用本公开实施例的一种电子设备的示意图。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施方式中。

此外，附图仅为本公开的示意性图解，并非一定是按比例绘制。图中相同的附图标记表示相同或类似的部分，因而将省略对它们的重复描述。附图中所示的一些方框图是功能实体，不一定必须与物理或逻辑上独立的实体相对应。可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

图1示出了可以应用本公开实施例的一种人脸图像生成方法及装置的示例性应用环境的系统架构的示意图。

如图1所示，系统架构100可以包括终端设备101、102、103中的一个或多个，网络104和服务器105、服务器集群106。网络104用以在终端设备101、102、103和服务器105或者服务器集群106之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。终端设备101、102、103可以是各种具有人工智能(ArtificialIntelligence，AI)处理器的电子设备，包括但不限于边缘计算设备101、智能手机102和智能服务型机器人103等等。应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的，根据实现需要，可以具有任意数目的终端设备、网络和服务器或者服务器集群。

本公开实施例所提供的人脸图像生成方法一般由服务器105或者服务器集群106执行，相应地，人脸图像生成装置一般设置于服务器105或者服务器集群106中。但本领域技术人员容易理解的是，本公开实施例所提供的人脸图像生成方法也可以由终端设备101、102、103执行，相应的，人脸图像生成装置也可以设置于终端设备101、102、103中，本示例性实施例中对此不做特殊限定。

举例而言，在一种示例性实施例中，可以是用户通过终端设备101、102、103将包含真实身份信息的原始人脸图像上传至服务器105或者服务器集群106，服务器105或者服务器集群106通过本公开实施例所提供的人脸图像生成方法对原始人脸图像进行匿名化处理后，将生成的目标人脸图像传输给终端设备101、102、103等。

在相关的一种技术方案中，使用生成对抗网络结构，通过建立人脸区域匿名的目标函数和场景内容区域保留的目标函数来训练；在模型推理阶段，通过对图像中人脸区域进行合成脸的替换而达到人脸匿名的效果，相对马赛克遮挡的方法更高效并且在视觉上更友好。但是，这种技术方案通过替换原始图像中的人脸区域来实现人脸匿名化，可能存在替换后的人脸图像不够真实，且替换后的人脸区域与原图像能看出有明显边界的问题，导致生成的人脸图像的图像质量较差。

另一种相关的技术方案中，通过解耦身份表示信息和其他属性信息来实现人脸匿名化。具体的，首先训练得到一个具有身份解耦能力的编解码神经网络模型，然后利用该模型对已有的人脸特征解耦，得到身份信息以及其他属性信息。在保持属性信息不变，对身份信息进行操纵，以达到对人脸图片进行匿名化的目的。这种匿名化后的人脸图片在保持与原图高度相似的同时，不能够被已有的人脸识别系统检测为原身份，从而有效保护原人脸图片持有者的隐私。但是，这种技术方案中通过特征解耦合的方式来匿名化，需要至少有两个子网络，一个是编码网络，用于特征提取和解耦，一个是解码网络，用于从编码中生成人脸，这种方式生成的人脸图像较为模糊，且相对于原始人脸图像会缺少很多细节，导致生成的人脸图像的图像质量较差，用户使用体验较差。

基于相关技术中的一个或者多个问题，本公开首先提供了一种人脸图像生成方法和人脸图像生成装置。下面以服务器或者服务器集群执行该方法为例，对本公开示例性实施方式的人脸图像生成方法和人脸图像生成装置进行具体说明。

图2示出了本示例性实施方式中一种人脸图像生成方法的流程，可以包括步骤S210和步骤S220：

在步骤S210中，获取包含真实身份信息的原始人脸图像。

在一示例性实施例中，原始人脸图像是采集的未经任何处理的人脸图像，例如，原始人脸图像可以是社区门禁或者监控摄像头采集的人脸图像，也可以是人脸支付软件采集的人脸图像，原始人脸图像可以是实时采集的，可以是非实时采集的，本示例实施例对此不做特殊限定。

真实身份信息是指原始人脸图像中的人脸特征对应的唯一标识信息，例如，真实身份信息可以是原始人脸图像中的人脸对应的身份证号码或者名称，也可以是可以是原始人脸图像中的人脸对应的特殊编码，本示例实施例对此不做特殊限定。通过真实身份信息能够在现实生活中唯一确定某个人。

在步骤S220中，将所述原始人脸图像输入到预训练的人脸匿名化模型中，生成目标人脸图像。

在一示例性实施例中，人脸匿名化模型是指预先训练好的、能够修改原始人脸图像中人脸特征的神经网络模型，例如，人脸匿名化模型可以是基于卷积神经网络(Convolutional Neural Networks，CNN)构建的。具体的，本实施例中的人脸匿名化模型至少可以包括人脸识别网络FaceRecog、人脸操纵网络ManipulationCNN以及对抗判别网络D。

目标人脸图像是指对原始人脸图像中的人脸特征进行修改后得到的人脸图像，目标人脸图像中不包含原始人脸图像中的真实身份信息，即对目标人脸图像进行人脸识别时，输出的人脸识别结果为空值，或者输出虚拟身份信息，其中虚拟身份信息是指目标人脸图像中人脸特征对应的唯一标识信息，但是该虚拟身份信息并不能在现实生活中为以确定某个人。

同时，目标人脸图像与原始人脸图像的相似度大于相似度阈值，例如，可以通过直方图匹配的方式确定目标人脸图像与原始人脸图像的相似度，也可以通过基于特征点的图像相似度计算方式确定目标人脸图像与原始人脸图像的相似度，本示例实施例对确定目标人脸图像与原始人脸图像之间的相似度的方式不做特殊限定。

相似度阈值是指用于评定目标人脸图像与原始人脸图像在视觉上的是否相似的数值，例如，相似度阈值可以是80％，那么如果目标人脸图像与原始人脸图像的相似度为90％，则可以认为目标人脸图像与原始人脸图像在视觉上是相似的；当然，相似度阈值也可以是90％，具体需要根据实际使用场景进行自定义设置，本示例实施例对此不做特殊限定。

在一示例应用场景中，可以是用户对象在社区门禁进行面部识别时，通过社区门禁人脸识别设备采集用户对象的人脸图像，并将用户对象的人脸图像上传到服务器，服务器将用户对象的人脸图像输入到训练完成的人脸匿名化模型中，生成具有虚拟身份信息的虚拟人脸图像，并将虚拟人脸图像返回给社区门禁人脸识别设备，由社区门禁人脸识别设备在显示界面显示该用户对象对应的虚拟人脸图像；不仅可以有效保护用户对象的身份隐私信息，避免他人拍照用于其他场景的人脸识别，而且显示的虚拟人脸图像与用户对象的真实人脸图像相似，不影响用户的使用体验。

下面，对步骤S210和步骤S220中的内容进行展开说明。

在一示例性实施例中，在通过预训练的人脸匿名化模型将原始人脸图像转换为目标人脸图像之前，可以先对初始的人脸匿名化模型进行预训练，得到训练完成的人脸匿名化模型。

具体的，可以先获取训练样本批次，训练样本批次可以包括各真实身份信息对应的至少两张样本原始人脸图像，例如，假设有真实身份信息001和真实身份信息002，那么对于训练样本批次，需要至少包括真实身份信息为001的两张样本原始人脸图像，以及真实身份信息为002的两张样本原始人脸图像，当然，具体每个真实身份信息下样本原始人脸图像的数量可以根据终端或者服务器的计算能力设置，每个真实身份信息下的样本原始人脸图像越多，最终得到的人脸匿名化模型的鲁棒性越强，本示例实施例对此不做特殊限定。

可以获取已有的真实人脸训练集，然后按照真实身份信息在真实人脸训练集中进行采样，实现训练样本批次的构建，在采样过程中保证每个训练样本批次内每个真实身份信息至少对应有2张样本原始人脸图像。

可以通过训练样本批次中的样本原始人脸图像对初始的人脸匿名化模型进行模型训练，直到初始的人脸匿名化模型输出的样本虚拟人脸图像不包含样本原始人脸图像对应的真实身份信息，并且在样本虚拟人脸图像与样本原始人脸图像的相似度大于或者等于相似度阈值时，可以认为人脸匿名化模型的模型训练完成，得到训练完成的人脸匿名化模型。

在一示例性实施例中，人脸匿名化模型至少可以包括人脸操纵网络、人脸识别网络和对抗判别网络；其中，人脸操纵网络可以用于将样本原始人脸图像或者原始人脸图像中的人脸特征进行修改调整，生成样本虚拟人脸图像或者目标人脸图像；人脸识别网络可以判别各个样本目标人脸图像或者目标人脸图像之间的距离，主要用于监督人脸操纵网络，人脸识别网络通过距离损失函数保证人脸操纵网络生成的同一虚拟身份信息内的不同样本之间的距离尽可能小，不同虚拟身份信息之间的样本距离尽可能大，并且保证生成的虚拟身份信息和其他真实身份信息之间的距离尽可能大，避免将一个真实身份信息编辑成另一个真实身份信息；对抗判别网络可以监督人脸操纵网络，使人脸操纵网络生成的样本虚拟人脸图像或者目标人脸图像与样本原始人脸图像或者原始人脸图像尽可能相似。

可选的，可以通过图3中的步骤实现对初始的人脸匿名化模型的模型训练。参考图3所示，具体可以包括：

步骤S310，将所述样本原始人脸图像输入到所述人脸操纵网络中，得到具有虚拟身份信息的样本虚拟人脸图像；

步骤S320，通过所述样本原始人脸图像、所述样本虚拟人脸图像以及所述人脸识别网络，确定距离损失函数；

步骤S330，通过所述样本原始人脸图像、所述样本虚拟人脸图像以及所述对抗判别网络，确定对抗损失函数；

步骤S340，基于所述距离损失函数和所述对抗损失函数调整所述人脸操纵网络的网络权重，实现对所述人脸操纵网络的模型训练。

其中，人脸操纵网络可以用于将样本原始人脸图像中的人脸特征进行修改调整，得到样本虚拟人脸图像的神经网络结构，例如，人脸操纵网络可以包括但不限于全卷积网络(Fully Convolutional Network，FCN)，通过基于全卷积网络结构的人脸操纵网络，可以更好的保留输入的人脸图像中的细节和背景，有效提升生成的人脸图像的图像质量。

人脸识别网络是指用于对样本原始人脸图像或者样本虚拟人脸图像进行特征提取，并通过构建的距离损失函数判别各个样本目标人脸图像或者目标人脸图像之间的距离的神经网络结构，例如，人脸识别网络可以包括但不限于FaceRecogKNN网络。

可以通过人脸识别网络提取样本原始人脸图像或者样本虚拟人脸图像中的图像特征得到特征矩阵，并通过距离损失函数衡量样本原始人脸图像与生成的样本虚拟人脸图像之间、样本虚拟人脸图像与其他的样本虚拟人脸图像之间的距离，用于确保人脸操纵网络生成的同一虚拟身份信息内的不同样本之间的距离尽可能小，不同虚拟身份信息之间的样本距离尽可能大，并且保证生成的虚拟身份信息和其他真实身份信息之间的距离尽可能大，避免将一个真实身份信息编辑成另一个真实身份信息。

可以通过对抗判别网络构造对抗损失函数。具体的，可以将样本原始人脸图像与生成的样本虚拟人脸图像分别输入到对抗判别网络中，通过分类损失函数(如将样本原始人脸图像分为类别0，样本虚拟人脸图像分为类别1)训练网络权重，然后单独输入生成图像，构建对抗损失函数(即将样本虚拟人脸图像分为类别0)。

可以通过由人脸识别网络构建的距离损失函数得到的距离损失，以及对抗判别网络构建的对抗损失函数得到的对抗损失，共同去训练调整人脸操纵网络的网络权重，训练的目标任务是使人脸操纵网络生成的样本虚拟人脸图像不包含样本原始人脸图像中的真实身份信息，并且样本虚拟人脸图像以及样本原始人脸图像之间的相似度大于或者等于相似度阈值，最终实现对人脸操纵网络的模型训练。

由于人脸匿名化模型不需要对人脸图像的身份信息和其他属性进行解耦，降低了人脸匿名化模型的学习难度，提高训练速度；并且人脸匿名化模型中的人脸操纵网络ManipulationCNN可以是全卷积网络，直接在空间分辨率较高的维度进行真实身份信息到虚拟身份信息的编辑，能够更好的保留输入的原始人脸图像中的细节和背景，生成的目标人脸图像的图像质量较高。

图4示意性示出本公开示例性实施例中一种人脸匿名化模型的原理示意图。

参考图4所示，人脸匿名化模型401至少可以包括人脸操纵网络402(ManipulationCNN)、人脸识别网络403以及对抗判别网络404。需要说明的是，图4的实施例中虽然只画出了一个人脸操纵网络402，当然，也可以使用K个人脸操纵网络(其中，K为大于1的正整数)，每个人脸操纵网络可以采用不同的网络结构或者采用不同的随机初始化参数，来共同训练，从而构建出K组虚拟身份信息的人脸数据集，并保持每个虚拟身份信息都不相同。

可以先获取原始人脸图像405，并将原始人脸图像405输入到人脸匿名化模型401中，通过人脸操纵网络402的图像转换处理，得到具有虚拟身份信息的虚拟人脸图像406；然后将原始人脸图像405以及虚拟人脸图像406输入到人脸识别网络403中，提取得到原始人脸图像405以及虚拟人脸图像406各自对应的特征矩阵，并根据特征矩阵构建距离损失函数(如关系式(1))，用于衡量相同虚拟身份信息内的样本距离、不同虚拟身份信息间的样本距离以及真实身份信息与虚拟身份信息间的距离，并通过距离损失函数得到的距离损失训练人脸操纵网络的网络权重参数；继续将原始人脸图像405以及虚拟人脸图像406分别输入到对抗判别网络404中，并通过分类损失函数(如将原始人脸图像405分为类别0，虚拟人脸图像406分为类别1)训练对抗判别网络404的网络权重，然后单独输入虚拟人脸图像406，构建对抗损失函数(即将虚拟人脸图像406分为类别0)，并通过对抗损失函数得到的对抗损失监督训练人脸操纵网络的网络权重参数。

通过距离损失函数以及对抗损失函数协助人脸操纵网络的训练，使人脸操纵网络生成的虚拟人脸图像406具有虚拟身份信息(即不包含真实身份信息)，且虚拟人脸图像406与原始人脸图像405的人脸相似度大于或者等于相似度阈值。若最新生成的虚拟人脸图像406满足条件，则可以认为人脸匿名化模型401训练完成，并将满足条件的虚拟人脸图像406作为最终输出结果目标人脸图像407进行输出。

在一示例性实施例中，可以通过5中的步骤实现通过人脸识别网络确定距离损失函数，参考图5所示，具体可以包括：

步骤S510，将所述第一原始人脸图像、所述第二原始人脸图像、所述第一虚拟人脸图像和所述第二虚拟人脸图像分别输入到所述人脸识别网络中，得到第一特征矩阵、第二特征矩阵、第三特征矩阵和第四特征矩阵；

步骤S520，通过所述到第一特征矩阵、所述第二特征矩阵、所述第三特征矩阵和所述第四特征矩阵，确定所述距离损失函数。

其中，样本原始人脸图像可以包括第一真实身份信息对应的第一原始人脸图像以及第二真实身份信息对应的第二原始人脸图像，样本原始人脸图像通过人脸操纵网络转换得到的样本虚拟人脸图像可以包括第一虚拟身份信息对应的第一虚拟人脸图像和第二虚拟身份信息对应的第二虚拟人脸图像。

第一特征矩阵、第二特征矩阵、第三特征矩阵和第四特征矩阵分别可以是第一真实身份信息对应的第一原始人脸图像通过人脸识别网络提取得到的特征矩阵、第二真实身份信息对应的第二原始人脸图像通过人脸识别网络提取得到的特征矩阵、第一虚拟身份信息对应的第一虚拟人脸图像通过人脸识别网络提取得到的特征矩阵以及第二虚拟身份信息对应的第二虚拟人脸图像通过人脸识别网络提取得到的特征矩阵。

通过构造使同一虚拟身份信息内的不同样本距离小、不同虚拟身份信息之间类别的样本距离大的距离损失函数，保证编辑后的虚拟身份信息之间也具有可分性，而不会坍塌到同一个虚拟身份信息；距离损失函数还包含虚拟身份信息和其他真实身份信息之间的距离度量，也可以避免将一个真实身份信息编辑成另一个真实身份信息，保证人脸匿名化模型的输出结果的准确性以及鲁棒性。

举例而言，假设第一真实身份信息对应的第一原始人脸图像可以表示为I_o ¹，那么通过人脸识别网络对人脸图像I_o ¹进行特征提取得到的第一特征矩阵可以表示为M_o ¹；第二真实身份信息对应的第二原始人脸图像可以表示为I_o ²，那么通过人脸识别网络对人脸图像I_o ¹进行特征提取得到的第一特征矩阵可以表示为M_o ²；第一虚拟身份信息对应的第一虚拟人脸图像可以表示为I_m ¹，那么通过人脸识别网络对人脸图像I_m ¹进行特征提取得到的第一特征矩阵可以表示为M_m ¹；第二虚拟身份信息对应的第二虚拟人脸图像可以表示为I_m ²，那么通过人脸识别网络对人脸图像I_m ²进行特征提取得到的第一特征矩阵可以表示为M_m ²；

以第一真实身份信息为例，距离损失函数可以表示为关系式(1)：

L₁＝Minimize(M_o ¹×M_m ^1T)+Minimize(M_m ²×M_m ^1T)+Minimize(M_o ²×M_m ^1T)-Maximize(M_m ¹×M_m ^1T) (1)

其中，L₁可以表示第一真实身份信息对应的距离损失函数，M_m ^1T可以表示第一特征矩阵M_m ¹的转置矩阵。同理，可以得到第二真实身份信息对应的距离损失函数，此处不再赘述。

需要说明的是，本示例实施例中的“第一特征矩阵”、“第二特征矩阵”、“第三特征矩阵”、“第四特征矩阵”中的“第一”、“第二”、“第三”、“第四”仅用于区分不同的人脸图像对应的特征矩阵，没有任何特殊的含义，并不应对本示例实施例造成任何特殊限定。

在一示例性实施例中，在将原始人脸图像转换为目标人脸图像之后，还可以将目标人脸图像输入到人脸图像重建模型中，恢复得到包含真实身份信息的原始人脸图像。

其中，人脸图像重建模型可以包括重建损失函数，重建损失函数是由原始人脸图像以及目标人脸图像的人脸特征图构建的均方误差损失函数。

举例而言，可以将原始人脸图像以及目标人脸图像输入到人脸检测网络中，得到原始人脸图像以及目标人脸图像对应的底层人脸特征图F_o和F_m，那么，重建损失函数可以表示为关系式(2)：

L_r＝||F_o-F_m||₂ (2)

其中，L_r可以表示重建损失函数，F_o可以表示原始人脸图像对应的人脸特征图，F_m可以表示目标人脸图像对应的人脸特征图。

图6示意性示出本公开示例性实施例中一种实现人脸匿名化模型的训练的流程示意图。

参考图6所示，步骤S610，获取训练样本批次，训练样本批次可以包括各真实身份信息对应的至少两张样本原始人脸图像，例如，训练样本批次可以包括第一真实身份信息对应的第一原始人脸图像601以及第二真实身份信息对应的第二原始人脸图像602；然后将第一原始人脸图像601以及第二原始人脸图像602输入到人脸操纵网络603中，分别得到第一虚拟身份信息对应的第一虚拟人脸图像604和第二虚拟身份信息对应的第二虚拟人脸图像605；

判断第一虚拟身份信息或者第二虚拟身份信息是否属于第一真实身份信息或者第二真实身份信息，以及判断第一原始人脸图像601或者第二原始人脸图像602，与第一虚拟人脸图像604或者第二虚拟人脸图像605之间的相似度是否大于或者等于相似度阈值，若满足条件，则将第一虚拟人脸图像604或者第二虚拟人脸图像605作为第一原始人脸图像601或者第二原始人脸图像602的输出结果，并确定人脸匿名化模型训练完成，并结束当前流程；若不满足，则继续执行步骤S620；

步骤S620，将第一原始人脸图像601、第二原始人脸图像602、第一虚拟人脸图像604以及第二虚拟人脸图像605输入到人脸识别网络606中，分别得到特征矩阵607、特征矩阵608、特征矩阵609、特征矩阵610，并基于得到的特征矩阵构建距离损失函数611，用于监督人脸操纵网络603，并通过距离损失函数611的距离损失反馈调整人脸操纵网络603的网络权重参数；

步骤S630，将第一原始人脸图像601、第二原始人脸图像602、第一虚拟人脸图像604以及第二虚拟人脸图像605输入到对抗判别网络612中，通过分类损失函数以将第一原始人脸图像601和第二原始人脸图像602分为类别0(或者类别True，本示例实施例不以此为限)，将第一虚拟人脸图像604以及第二虚拟人脸图像605分为类别1(或者类别False，本示例实施例不以此为限)为目标，训练对抗判别网络612的网络权重参数，然后单独输入第一虚拟人脸图像604以及第二虚拟人脸图像605，以将第一虚拟人脸图像604以及第二虚拟人脸图像605分为类别0为目标，构建对抗损失函数613，用于监督人脸操纵网络603，并通过对抗损失函数613得到的对抗损失反馈调整人脸操纵网络603的网络权重参数。

在另一示例性实施例中，可以通过图7中的步骤实现对初始的人脸匿名化模型的模型训练。参考图7所示，具体可以包括：

步骤S710，确定训练样本集中样本原始人脸图像对应的真实身份特征向量；

步骤S720，对所述真实身份特征向量进行统计，得到真实身份特征分布；

步骤S730，从所述真实身份特征分布中随机采样得到虚拟身份特征向量；

步骤S740，将所述虚拟身份特征向量作为所述样本原始人脸图像的标签数据，对初始的人脸匿名化模型进行回归训练，得到训练完成的人脸匿名化模型。

其中，真实身份特征向量是指样本原始人脸图像的真实身份信息对应的特征向量。该实施例提供了一种新的虚拟身份信息的生成方式，即先对训练样本集中的真实身份特征向量进行统计，得到大致分布，然后从分布中随机采样的方式得到虚拟身份特征向量，训练时直接回归虚拟虚拟身份信息，得到训练完成的人脸匿名化模型。

本公开中的实施例不需要对人脸图像的身份信息和其他属性进行解耦，降低了人脸匿名化模型的学习难度，提高训练速度；并且人脸匿名化模型中的人脸操纵网络ManipulationCNN可以是全卷积网络，因此，能够更好的保留输入的原始人脸图像中的细节和背景，生成的目标人脸图像的图像质量较高；同时，本公开中的实施例中同一真实身份信息被编辑成同一虚拟身份信息，因此生成的数据集仍然可以用于训练人脸识别网络。

本公开中的实施例直接在空间分辨率较高的维度进行真实身份信息到虚拟身份信息的编辑，生成的目标人脸图像的图像质量较高，细节丰富；通过构造使同一虚拟身份信息内的不同样本距离小，不同虚拟身份信息之间类别的样本距离大的距离损失函数，保证编辑后的虚拟身份信息之间也具有可分性，而不会坍塌到同一个虚拟身份信息；距离损失函数还包含虚拟身份信息和其他真实身份信息之间的距离度量，也可以避免将一个真实身份信息编辑成另一个真实身份信息。

综上所述，本示例性实施方式中，可以将包含真实身份信息的原始人脸图像输入到预训练的人脸匿名化模型中，直接生成不包含真实身份信息且与原始人脸图像的相似度大于相似度阈值的目标人脸图像。一方面，通过人脸匿名化模型直接生成目标人脸图像，避免通过替换人脸区域导致人脸图像不真实且图像质量差的问题，有效提升目标人脸图像的图像质量；另一方面，在隐藏原始人脸图像中所包含的真实身份信息的同时，保证生成的目标人脸图像与原始人脸图像尽可能相似，不损失原始人脸图像中的人脸显示特征，提升用户使用体验。

需要注意的是，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

进一步的，参考图8所示，本示例的实施方式中还提供一种人脸图像生成装置800，包括原始人脸图像获取模块810和目标人脸图像生成模块810。其中：

原始人脸图像获取模块810用于获取包含真实身份信息的原始人脸图像；

目标人脸图像生成模块820用于将所述原始人脸图像输入到预训练的人脸匿名化模型中，生成目标人脸图像；

其中，所述目标人脸图像不包含所述真实身份信息，且所述目标人脸图像与所述原始人脸图像的相似度大于相似度阈值。

在一示例性实施例中，人脸图像生成装置800可以包括人脸匿名化模型训练单元，该人脸匿名化模型训练单元可以用于：

获取训练样本批次，所述训练样本批次包括各真实身份信息对应的至少一张样本原始人脸图像；

通过所述样本原始人脸图像对初始的人脸匿名化模型进行模型训练，直到输出的样本虚拟人脸图像不包含所述真实身份信息且所述样本虚拟人脸图像与所述样本原始人脸图像的相似度大于或者等于相似度阈值，得到训练完成的人脸匿名化模型。

在一示例性实施例中，人脸匿名化模型可以包括人脸操纵网络、人脸识别网络和对抗判别网络；人脸匿名化模型训练单元可以用于：

将所述样本原始人脸图像输入到所述人脸操纵网络中，得到具有虚拟身份信息的样本虚拟人脸图像；

通过所述样本原始人脸图像、所述样本虚拟人脸图像以及所述人脸识别网络，确定距离损失函数；

通过所述样本原始人脸图像、所述样本虚拟人脸图像以及所述对抗判别网络，确定对抗损失函数；

基于所述距离损失函数和所述对抗损失函数调整所述人脸操纵网络的网络权重，实现对所述人脸操纵网络的模型训练。

在一示例性实施例中，样本原始人脸图像可以包括第一真实身份信息对应的第一原始人脸图像以及第二真实身份信息对应的第二原始人脸图像，样本虚拟人脸图像可以包括第一虚拟身份信息对应的第一虚拟人脸图像和第二虚拟身份信息对应的第二虚拟人脸图像；人脸匿名化模型训练单元还可以用于：

将所述第一原始人脸图像、所述第二原始人脸图像、所述第一虚拟人脸图像和所述第二虚拟人脸图像分别输入到所述人脸识别网络中，得到第一特征矩阵、第二特征矩阵、第三特征矩阵和第四特征矩阵；

通过所述到第一特征矩阵、所述第二特征矩阵、所述第三特征矩阵和所述第四特征矩阵，确定所述距离损失函数。

在一示例性实施例中，人脸图像生成装置800还可以包括目标人脸图像恢复单元，该目标人脸图像恢复单元可以用于：

将所述目标人脸图像输入到人脸图像重建模型中，得到包含所述真实身份信息的原始人脸图像；

其中，所述人脸图像重建模型包括重建损失函数，所述重建损失函数是由原始人脸图像以及目标人脸图像的人脸特征图构建的均方误差损失函数。

在一示例性实施例中，人脸匿名化模型训练单元还可以用于：

确定训练样本集中样本原始人脸图像对应的真实身份特征向量；

对所述真实身份特征向量进行统计，得到真实身份特征分布；

从所述真实身份特征分布中随机采样得到虚拟身份特征向量；

将所述虚拟身份特征向量作为所述样本原始人脸图像的标签数据，对初始的人脸匿名化模型进行回归训练，得到训练完成的人脸匿名化模型。

上述装置中各模块的具体细节在方法部分实施方式中已经详细说明，未披露的细节内容可以参见方法部分的实施方式内容，因而不再赘述。

所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施方式、完全的软件实施方式(包括固件、微代码等)，或硬件和软件方面结合的实施方式，这里可以统称为“电路”、“模块”或“系统”。

本公开的示例性实施方式提供一种用于实现人脸图像生成方法的电子设备，其可以是图1中的终端设备101、102、103、服务器105或者服务器集群106。该电子设备至少包括处理器和存储器，存储器用于存储处理器的可执行指令，处理器配置为经由执行可执行指令来执行人脸图像生成方法。

下面以图9中的电子设备900为例，对本公开中的电子设备的构造进行示例性说明。图9所示的电子设备900仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图9所示，电子设备900以通用计算设备的形式表现。电子设备900的组件可以包括但不限于：至少一个处理单元910、至少一个存储单元920、连接不同系统组件(包括存储单元920和处理单元910)的总线930、显示单元940。

其中，存储单元920存储有程序代码，程序代码可以被处理单元910执行，使得处理单元910执行本说明书中的人脸图像生成方法。

存储单元920可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)921和/或高速缓存存储单元922，还可以进一步包括只读存储单元(ROM)923。

存储单元920还可以包括具有一组(至少一个)程序模块925的程序/实用工具924，这样的程序模块925包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线930可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备900也可以与一个或多个外部设备970(例如传感器设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备900交互的设备通信，和/或与使得该电子设备900能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口950进行。并且，电子设备900还可以通过网络适配器960与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器960通过总线930与电子设备900的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备900使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器、数据备份存储系统以及传感器模块(如陀螺仪传感器、磁传感器、加速度传感器、距离传感器、接近光传感器等)。

通过以上的实施例的描述，本领域的技术人员易于理解，这里描述的示例实施例可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施例的方法。

本公开的示例性实施方式还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施方式中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当程序产品在终端设备上运行时，程序代码用于使终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施方式的步骤。

需要说明的是，本公开所示的计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

在本公开中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本公开中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：无线、电线、光缆、RF等等，或者上述的任意合适的组合。

此外，可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其他实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限。

Claims (10)

1.一种人脸图像生成方法，其特征在于，包括：

获取包含真实身份信息的原始人脸图像；

将所述原始人脸图像输入到预训练的人脸匿名化模型中，生成目标人脸图像；

其中，所述目标人脸图像不包含所述真实身份信息，且所述目标人脸图像与所述原始人脸图像的相似度大于或者等于相似度阈值。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获取训练样本批次，所述训练样本批次包括各真实身份信息对应的至少一张样本原始人脸图像；

通过所述样本原始人脸图像对初始的人脸匿名化模型进行模型训练，直到输出的样本虚拟人脸图像不包含所述真实身份信息且所述样本虚拟人脸图像与所述样本原始人脸图像的相似度大于或者等于相似度阈值，得到训练完成的人脸匿名化模型。

3.根据权利要求2所述的方法，其特征在于，所述人脸匿名化模型包括人脸操纵网络、人脸识别网络和对抗判别网络；所述模型训练包括：

将所述样本原始人脸图像输入到所述人脸操纵网络中，得到具有虚拟身份信息的样本虚拟人脸图像；

通过所述样本原始人脸图像、所述样本虚拟人脸图像以及所述人脸识别网络，确定距离损失函数；

通过所述样本原始人脸图像、所述样本虚拟人脸图像以及所述对抗判别网络，确定对抗损失函数；

基于所述距离损失函数和所述对抗损失函数调整所述人脸操纵网络的网络权重，实现对所述人脸操纵网络的模型训练。

4.根据权利要求3所述的方法，其特征在于，所述样本原始人脸图像包括第一真实身份信息对应的第一原始人脸图像以及第二真实身份信息对应的第二原始人脸图像，所述样本虚拟人脸图像包括第一虚拟身份信息对应的第一虚拟人脸图像和第二虚拟身份信息对应的第二虚拟人脸图像；

所述通过所述样本原始人脸图像、所述样本虚拟人脸图像以及所述人脸识别网络，确定距离损失函数，包括：

将所述第一原始人脸图像、所述第二原始人脸图像、所述第一虚拟人脸图像和所述第二虚拟人脸图像分别输入到所述人脸识别网络中，得到第一特征矩阵、第二特征矩阵、第三特征矩阵和第四特征矩阵；

通过所述到第一特征矩阵、所述第二特征矩阵、所述第三特征矩阵和所述第四特征矩阵，确定所述距离损失函数。

5.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将所述目标人脸图像输入到人脸图像重建模型中，得到包含所述真实身份信息的原始人脸图像；

其中，所述人脸图像重建模型包括重建损失函数，所述重建损失函数是由原始人脸图像以及目标人脸图像的人脸特征图构建的均方误差损失函数。

6.根据权利要求3所述的方法，其特征在于，所述人脸操纵网络是全卷积网络。

7.根据权利要求2所述的方法，其特征在于，所述模型训练包括：

确定训练样本集中样本原始人脸图像对应的真实身份特征向量；

对所述真实身份特征向量进行统计，得到真实身份特征分布；

从所述真实身份特征分布中随机采样得到虚拟身份特征向量；

将所述虚拟身份特征向量作为所述样本原始人脸图像的标签数据，对初始的人脸匿名化模型进行回归训练，得到训练完成的人脸匿名化模型。

8.一种人脸图像生成装置，其特征在于，包括：

原始人脸图像获取模块，用于获取包含真实身份信息的原始人脸图像；

目标人脸图像生成模块，用于将所述原始人脸图像输入到预训练的人脸匿名化模型中，生成目标人脸图像；

其中，所述目标人脸图像不包含所述真实身份信息，且所述目标人脸图像与所述原始人脸图像的相似度大于相似度阈值。

9.一种计算机可读介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的方法。

10.一种电子设备，其特征在于，包括：

处理器；以及

存储器，用于存储所述处理器的可执行指令；

其中，所述处理器配置为经由执行所述可执行指令来执行权利要求1至7任一项所述的方法。

Images