CN114255502B - 人脸图像生成方法及装置、人脸识别方法、设备、介质 - Google Patents

Abstract

本公开提供了一种人脸图像生成方法及装置、人脸识别方法、设备、介质，涉及人工智能技术领域。该人脸图像生成方法包括：获取原始域人脸图像；将原始域人脸图像输入到多域人脸图像转换网络中，生成原始域人脸图像对应的至少一个目标域人脸图像；其中，原始域人脸图像和目标域人脸图像的域类型不同，多域人脸图像转换网络是通过预训练过程生成的。本公开实施例的技术方案中只需输入采集到的原始域人脸图像，即可在不依赖特殊的采集硬件情况下，转换生成多目标域人脸图像，减少硬件成本，并且相比于相关技术方案中一个模型仅能生成一种目标域的人脸图像，生成效率更高，节省资源。

Description

人脸图像生成方法及装置、人脸识别方法、设备、介质

技术领域

本公开涉及人工智能技术领域，具体而言，涉及一种人脸图像生成方法、人脸图像生成装置、人脸识别方法、人脸识别装置、电子设备以及计算机可读存储介质。

背景技术

随着科学技术的飞速发展，人脸识别技术(Face Recognition)越来越得到人们的关注，人脸识别是指对输入的图像或视频，判断其中是否存在人脸，进而依据人脸的面部特征，自动进行身份识别。异质人脸识别(Heterogeneous face recognition，HFR)是指跨不同视觉域进行人脸识别和匹配，不仅仅涉及照片，还包括解决不同视觉域间的人脸图像差距问题，如使用不同的采集设备(例如，可见光与近红外或3D设备)；使用不同的相机设置和规格(例如，高分辨率与低分辨率图像)；以及使用不同的图像形式(例如，艺术家的素描与数字照片)等。

目前，相关的异质人脸转换方案中，仅能实现单视觉域到单视觉域的转换，转换效果较差。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开实施例的目的在于提供一种人脸图像生成方法、人脸图像生成装置、电子设备以及计算机可读存储介质，进而至少在一定程度上克服相关的异质人脸转换方案仅能实现单视觉域到单视觉域的转换并且转换效果较差的问题。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开实施例的第一方面，提供了一种人脸图像生成方法，包括：

获取原始域人脸图像；

将所述原始域人脸图像输入到多域人脸图像转换网络中，生成所述原始域人脸图像对应的至少一个目标域人脸图像；

其中，所述原始域人脸图像和各所述目标域人脸图像的域类型不同，所述多域人脸图像转换网络是通过预训练过程生成的。

在本公开的一些示例实施例中，基于前述方案，所述预训练过程包括：

获取样本人脸图像以及所述样本人脸图像对应的至少一个样本域人脸图像，所述样本人脸图像和所述样本域人脸图像的域类型不同，并根据所述样本人脸图像和所述样本域人脸图像构建训练样本集；

构建初始多域人脸图像转换网络，其中，初始多域人脸图像转换网络包括注意力机制模块、多域生成模块、人脸相似度监督模块和图像特征相似度监督模块；

通过所述训练样本集对所述初始多域人脸图像转换网络进行网络训练，直到所述初始多域人脸图像转换网络对应的损失函数收敛，得到完成训练的多域人脸图像转换网络。

在本公开的一些示例实施例中，基于前述方案，通过所述训练样本集对所述初始多域人脸图像转换网络进行网络训练，包括：

将所述样本人脸图像输入到所述多域生成模块中，生成具有不同于所述样本人脸图像的域类别的中间人脸图像；

其中，所述多域生成模块以所述样本域人脸图像为标签数据进行训练，使生成的所述中间人脸图像的图像特征与所述样本域人脸图像的图像特征之间的相似度大于相似度阈值；所述多域生成模块包括支持多域输出的生成对抗网络或者多域变分自编码器。

在本公开的一些示例实施例中，基于前述方案，将所述样本人脸图像输入到所述多域生成模块中，生成具有不同于所述样本人脸图像的域类别的中间人脸图像，包括：

通过设置在所述多域生成模块中的注意力机制模块提取所述样本人脸图像的关键图像区域，以约束所述多域生成模块生成包含所述关键图像区域的所述中间人脸图像；

其中，所述注意力机制模块包括CBAM网络或者SE网络。

在本公开的一些示例实施例中，基于前述方案，通过所述训练样本集对所述初始多域人脸图像转换网络进行网络训练，包括：

提取所述样本人脸图像对应的第一人脸特征，提取所述中间人脸图像对应的第二人脸特征；

将所述第一人脸特征和所述第二人脸特征输入到人脸相似度监督模块中，确定第一损失，并通过所述第一损失约束所述多域生成模块的训练。

在本公开的一些示例实施例中，基于前述方案，通过所述训练样本集对所述初始多域人脸图像转换网络进行网络训练，包括：

提取所述样本人脸图像对应的第一图像特征，提取所述中间人脸图像对应的第二图像特征；

将所述第一图像特征和所述第二图像特征输入到图像特征相似度监督模块中，确定第二损失，并通过所述第二损失约束所述多域生成模块的训练。

根据本公开实施例的第二方面，提供了一种人脸识别方法，包括：

获取待识别的当前人脸图像；

通过第一方面所述的人脸图像生成方法，生成所述当前人脸图像对应的至少一个目标域人脸图像；

对所述当前人脸图像和所述目标域人脸图像进行人脸识别，确定至少一个识别结果；

若检测到所述识别结果中目标识别结果的数量大于或者等于数量阈值，则将所述目标识别结果作为所述当前人脸图像的人脸识别结果。

根据本公开实施例的第三方面，提供了一种人脸图像生成装置，包括：

人脸图像获取模块，用于获取原始域人脸图像；

人脸图像生成模块，用于将所述原始域人脸图像输入到多域人脸图像转换网络中，生成所述原始域人脸图像对应的至少一个目标域人脸图像；

其中，所述原始域人脸图像和所述目标域人脸图像的域类型不同，所述多域人脸图像转换网络是通过预训练过程生成的。

根据本公开实施例的第四方面，提供了一种人脸识别装置，包括：

当前人脸图像获取模块，用于获取待识别的当前人脸图像；

目标域人脸图像生成模块，用于通过第一方面所述的人脸图像生成方法，生成所述当前人脸图像对应的至少一个目标域人脸图像；

人脸识别模块，用于对所述当前人脸图像和所述目标域人脸图像进行人脸识别，确定至少一个识别结果；

人脸识别结果确定模块，用于若检测到所述识别结果中目标识别结果的数量大于或者等于数量阈值，则将所述目标识别结果作为所述当前人脸图像的人脸识别结果。

根据本公开实施例的第五方面，提供了一种电子设备，包括：处理器；以及存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现第一方面所述的人脸图像生成方法，或者实现第二方面所述的人脸识别方法。

根据本公开实施例的第六方面，提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现第一方面所述的人脸图像生成方法，或者实现第二方面所述的人脸识别方法。

本公开实施例提供的技术方案可以包括以下有益效果：

本公开的示例实施例中的人脸图像生成方法，可以获取原始域人脸图像，并将原始域人脸图像输入到多域人脸图像转换网络中，生成原始域人脸图像对应的至少一个目标域人脸图像，该原始域人脸图像和各目标域人脸图像的域类型不同。一方面，将待转换的原始域人脸图像输入到预训练的多域人脸图像转换网络，并通过多域人脸图像转换网络自动生成多种视觉域类型的多个目标域人脸图像，相比于相关技术方案中仅能生成一个域类别的人脸图像，能够生成多种视觉域类型的目标域人脸图像，转换得到的人脸图像种类更加丰富，有效提升后续工作如人脸识别的准确性；另一方面，将原始域人脸图像输入到多域人脸图像转换网络可以生成多个目标域人脸图像，不需要根据不同的视觉域训练不同的转换模型，转换生成效率更高，节省资源。

应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。显而易见地，下面描述中的附图仅仅是本公开的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。在附图中：

图1示出了可以应用本公开实施例的一种人脸图像生成方法及装置、或者人脸识别方法及装置的示例性应用环境的系统架构示意图；

图2示意性示出了根据本公开的一些实施例的人脸图像生成方法的示意图；

图3示意性示出了根据本公开的一些实施例的多域人脸图像转换网络进行预训练的流程示意图；

图4示意性示出了根据本公开的一些实施例的实现人脸相似度监督的流程示意图；

图5示意性示出了根据本公开的一些实施例的实现图像特征相似度监督的示意图；

图6示意性示出了根据本公开的一些实施例的实现多域异质人脸图像转换生成的示意图；

图7示意性示出了根据本公开的一些实施例的人脸识别方法的流程示意图；

图8示意性示出了根据本公开的一些实施例的人脸图像生成装置的示意图；

图9示意性示出了根据本公开的一些实施例的人脸识别装置的示意图；

图10示意性示出了根据本公开的一些实施例的电子设备的计算机系统的结构示意图；

图11示意性示出了根据本公开的一些实施例的计算机可读存储介质的示意图。

在附图中，相同或对应的标号表示相同或对应的部分。

具体实施方式

现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本公开将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。

此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本公开的实施例的充分理解。然而，本领域技术人员将意识到，可以实践本公开的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本公开的各方面。

此外，附图仅为示意性图解，并非一定是按比例绘制。附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。

图1示出了可以应用本公开实施例的一种人脸图像生成方法及装置、或者人脸识别方法及装置的示例性应用环境的系统架构示意图。

如图1所示，系统架构100可以包括终端设备101、102、103中的一个或多个，网络104和服务器105。网络104用以在终端设备101、102、 103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线、无线通信链路或者光纤电缆等等。终端设备101、 102、103可以是各种具有人脸图像采集功能的电子设备，包括但不限于台式计算机、便携式计算机、智能手机、智能客服机器人、门禁设备和平板电脑等等。应该理解，图1中的终端设备、网络和服务器的数目仅仅是示意性的。根据实现需要，可以具有任意数目的终端设备、网络和服务器。比如服务器105可以是多个服务器组成的服务器集群等。

本公开实施例所提供的人脸图像生成方法或者人脸识别方法一般由终端设备101、102、103中执行，相应地，人脸图像生成装置或者人脸识别装置一般设置于终端设备101、102、103中。但本领域技术人员容易理解的是，本公开实施例所提供的人脸图像生成方法或者人脸识别方法也可以由服务器105执行，相应的，人脸图像生成装置或者人脸识别装置也可以设置于服务器105中，本示例性实施例中对此不做特殊限定。

举例而言，在一种示例性实施例中，可以是用户通过终端设备101、 102、103包括的图像采集单元收集原始域人脸图像或者待识别的当前人脸图像，然后将原始域人脸图像或者待识别的当前人脸图像上传至服务器105，服务器通过本公开实施例所提供的人脸图像生成方法或者人脸识别方法生成至少一个目标域人脸图像或者确定人脸识别结果后，将至少一个目标域人脸图像或者确定人脸识别结果给终端设备101、102、103 等。

相关方案中，提出对输入的人脸图像进行多尺度特征融合，将得到的特征信息与输入的人脸图像采用预设的网络转换生成目标域人脸图像，该预设的网络包含了多域生成模块、多尺度特征融合模块。

但是，该技术方案中，只能实现单视觉域到单视觉域的转换，不能满足多样化的需求，若要实现转换为多个目标视觉域，需要针对不同类型的视觉域训练不同的转换网络或者转换模型，不仅效率低下，而且还会浪费大量的人力物力，导致资源浪费；该技术方案的转换过程中可能导致丢失大量的原人脸特征信息，不能满足后续人脸识别的需求；该技术方案多采用传统方法，人为因素影响大，转换效果差。

基于相关技术方案中的一个或者多个问题，在本示例实施例中，首先提供了一种人脸图像生成方法，下面以服务器执行该方法为例进行详细说明。

图2示意性示出了根据本公开的一些实施例的人脸图像生成方法流程的示意图。参考图2所示，该人脸图像生成方法可以包括以下步骤：

步骤S210，获取原始域人脸图像；

步骤S220，将所述原始域人脸图像输入到多域人脸图像转换网络中，生成所述原始域人脸图像对应的至少一个目标域人脸图像；其中，所述原始域人脸图像和各所述目标域人脸图像的域类型不同，所述多域人脸图像转换网络是通过预训练过程生成的。

根据本示例实施例中的人脸图像生成方法，一方面，将待转换的原始域人脸图像输入到预训练的多域人脸图像转换网络，并通过多域人脸图像转换网络自动生成多种视觉域类型的多个目标域人脸图像，相比于相关技术方案中仅能生成一个域类别的人脸图像，能够生成多种视觉域类型的目标域人脸图像，转换得到的人脸图像种类更加丰富，有效提升后续工作如人脸识别的准确性；另一方面，将原始域人脸图像输入到多域人脸图像转换网络可以生成多个目标域人脸图像，不需要根据不同的视觉域训练不同的转换模型，转换生成效率更高，节省资源。

下面，将对本示例实施例中的人脸图像生成方法进行进一步的说明。

在步骤S210中，获取原始域人脸图像。

在本公开的一个示例实施例中，原始域人脸图像是指需要进行域类别转换的人脸图像，例如，原始域人脸图像可以是普通图像采集单元采集的可见光视觉域的人脸图像，也可以是红外图像采集单元采集的红外视觉域的人脸图像，当然，原始域人脸图像还可以是以其他方式提供的其他视觉域的人脸图像，如原始域人脸图像还可以是通过输入接口上传的素描视觉域的人脸图像，本示例实施例对原始域人脸图像的获取方式以及域类别不做任何特殊限定。

步骤S220，将所述原始域人脸图像输入到多域人脸图像转换网络中，生成所述原始域人脸图像对应的至少一个目标域人脸图像。

在本公开的一个示例实施例中，多域人脸图像转换网络是指基于深度学习技术构建的用于将一个域类别的人脸图像转为多个域类别的人脸图像的神经网络模型，多域人脸图像转换网络可以至少包括注意力机制模块、多域生成模块、人脸相似度监督模块和图像特征相似度监督模块，通过注意力机制模块、多域生成模块、人脸相似度监督模块和图像特征相似度监督模块之间的相互协作，使生成的多个目标域人脸图像所包含的关键信息、人脸特征信息、图像特征信息与原始域人脸图像的相同，且原始域人脸图像和各目标域人脸图像的域类型不同。

下面对步骤S210至步骤S220进行展开说明。

在本公开的一个示例实施例中，多域人脸图像转换网络可以通过预训练过程生成，具体的，可以通过图3中的步骤实现与训练过程，参考图3所示，具体可以包括：

步骤S310，获取样本人脸图像以及所述样本人脸图像对应的至少一个样本域人脸图像，所述样本人脸图像和所述样本域人脸图像的域类型不同，并根据所述样本人脸图像和所述样本域人脸图像构建训练样本集；

步骤S320，构建初始多域人脸图像转换网络，其中，初始多域人脸图像转换网络包括注意力机制模块、多域生成模块、人脸相似度监督模块和图像特征相似度监督模块；

步骤S330，通过所述训练样本集对所述初始多域人脸图像转换网络进行网络训练，直到所述初始多域人脸图像转换网络对应的损失函数收敛，得到完成训练的多域人脸图像转换网络。

其中，样本人脸图像是指预先采集的用于模型网络训练的人脸图像，样本域人脸图像是指样本人脸图像对应的其他域类别的人脸图像，样本人脸图像和样本域人脸图像的域类型一般不同，例如，样本人脸图像可以是可见光视觉域的人脸图像，样本域人脸图像可以是红外视觉域的样本人脸图像、素描视觉域的样本人脸图像等。样本人脸图像与样本人脸图像对应的至少一个样本域人脸图像构成一个训练样本集，用于初始多域人脸图像转换网络的训练。

初始多域人脸图像转换网络是指未经过训练的多域人脸图像转换网络。可以分别构建注意力机制模块、多域生成模块、人脸相似度监督模块和图像特征相似度监督模块，并通过注意力机制模块、多域生成模块、人脸相似度监督模块和图像特征相似度监督模块搭建初始多域人脸图像转换网络。

注意力机制模块可以包含在初始多域人脸图像转换网络中，通过将注意力机制引入到多域生成模块中，使得生成过程更关注重要的区域与特征等，进而使多域人脸图像转换网络的表达力更强，生成的目标域人脸图像效果更佳。

多域生成模块可以包含在初始多域人脸图像转换网络中，实现将输入的人脸图像进行不同目标域的转换生成，在注意力机制模块的参与、人脸相似度监督模块与图像特征相似度监督模块的监督下进行训练。

人脸相似度监督模块可以包含在初始多域人脸图像转换网络中，参与并监督目标域人脸图像的转换生成，输入为待转换的原始域人脸图像以及多域生成模块生成的目标域人脸图像。此模块将从人脸相似度的角度衡量原始域人脸图像和目标域人脸图像的相似程度，并构建损失并反馈给多域生成模块，从而监督多域生成模块的转换过程中人脸信息的保留程度。通过人脸相似度监督模块参与多域人脸图像转换网络的训练，并在实际应用时监督人脸图像的转换生成。

图像特征相似度监督模块可以包含在初始多域人脸图像转换网络中，由于图像特征中包含着图像许多关键信息，如细节、轮廓等，在转换过程中尽可能地保留图像特征信息可以提升图像质量，通过图像特征相似度监督模块可以参与并监督目标域人脸图像的转换生成，输入为待转换的原始域人脸图像以及多域生成模块生成的目标域人脸图像。此模块可以将从图像特征相似度的角度衡量原始域人脸图像和目标域人脸图像的相似度，并构建损失反馈给多域生成模块，从而监督多域生成模块转换过程中图像底层特征信息的保留程度。通过图像特征相似度监督模块参与多域人脸图像转换网络的训练，并在实际应用时监督图像的转换生成。

在本公开的一个示例实施例中，可以将样本人脸图像输入到多域生成模块中，生成具有不同于样本人脸图像的域类别的中间人脸图像。

其中，多域生成模块能够从无到有生成图像，主要用于生成具有不同于样本人脸图像的域类别的中间人脸图像，例如，多域生成模块可以是支持多域输出的生成对抗网络(Generative Adversarial Networks， GAN)，如可以基于Star-GAN构建多域生成模块，当然，多域生成模块也可以是基于多域变分自编码器(Variational Auto-Encoder，VAE) 构建的，本示例实施例对此不做特殊限定。

中间人脸图像是指未训练完成的多域生成模块生成的多目标域人脸图像，多域生成模块可以将样本人脸图像对应的样本域人脸图像作为标签数据进行监督训练，使生成的中间人脸图像的图像特征与样本域人脸图像的图像特征之间的相似度大于相似度阈值，即使多域生成模块的损失(Loss)收敛，以完成对多域生成模块的训练。

具体的，可以通过设置在多域生成模块中的注意力机制模块提取样本人脸图像的关键图像区域，以约束多域生成模块生成包含关键图像区域的中间人脸图像。

注意力机制(Attention Mechanism)可以使得神经网络具备专注于其输入(或特征)子集的能力，即选择特定的输入。注意力可以应用于任何类型的输入而不管其形状如何。在计算能力有限情况下，注意力机制是解决信息超载问题的主要手段的一种资源分配方案，将计算资源分配给更重要的任务。

注意力机制模块可以基于轻量的注意力网络(Convolutional Block AttentionModule，CBAM)构建，CBAM网络可以在通道和空间维度上进行Attention，使得CBAM网络更关注识别目标物体，这也使得 CBAM网络具有更好的解释性；当然，注意力机制模块也可以基于SE(Squeeze-and-Excitation)网络构建，SE网络更加注重通道信息，本示例实施例对此不做特殊限定。

在多域人脸图像转换网络中引入注意力机制模块，能够使多域人脸图像转换网络在学习时更关注关键区域、关键特征等信息，从而使模型的表达能力更强，有效提升生成的目标域人脸图像的图像质量。

在本公开的一个示例实施例中，可以继续通过图4中的步骤实现对初始多域人脸图像转换网络的网络训练，参考图4所示，具体可以包括：

步骤S410，提取所述样本人脸图像对应的第一人脸特征，提取所述中间人脸图像对应的第二人脸特征；

步骤S420，将所述第一人脸特征和所述第二人脸特征输入到人脸相似度监督模块中，确定第一损失，并通过所述第一损失约束所述多域生成模块的训练。

其中，第一人脸特征是指样本人脸图像中用于表征人脸关键信息的特征数据，第二人脸特征是指多域生成模块生成的中间人脸图像中用于表征人脸关键信息的特征数据。

需要说明的是，本示例实施例的“第一人脸特征”、“第二人脸特征”中的“第一”、“第二”仅用于区分不同人脸图像中所包含的关键人脸特征数据，没有特殊含义，并不应对本示例实施例造成任何特殊限定。

人脸相似度监督模块是指用于评估两个人脸图像之间人脸特征表达相似度的神经网络模块，人脸相似度监督模块可以是基于预先训练好的Light-CNN网络构建的，人脸相似度监督模块也可以是基于预先训练好的VGG-Face网络构建的，当然，人脸相似度监督模块还可以是由其他能够评估两个人脸图像之间人脸特征表达相似度的神经网络，本示例实施例对构建人脸相似度监督模块的技术不做特殊限定。

在目标域人脸图像转换生成的过程中，保留足够的人脸特征信息是关键，人脸特征信息决定了转换后的人脸图像用于人脸检测与识别等任务的表现能力。因此，在构建多域人脸图像转换网络的过程中，通过引入人脸相似度监督模块，对样本人脸图像以及多域生成模块阶段生成的中间人脸图像进行人脸特征抽取，进而度量样本人脸图像与中间人脸图像之间的人脸信息损失，即第一损失，并将第一损失回传至多域生成模块用于监督其训练。

通过人脸相似度监督模块提升多域人脸图像转换网络转换生成的目标域人脸图像对于原始域人脸图像中所包含的人脸特征信息的表达，保证生成的目标域人脸图像中的人脸特征信息与原始域人脸图像中的人脸特征信息尽可能相似，提升目标域人脸图像对原始域人脸图像中关键特征的保留度。

进一步的，可以继续通过图5中的步骤实现对初始多域人脸图像转换网络的网络训练，参考图5所示，具体可以包括：

步骤S510，提取所述样本人脸图像对应的第一图像特征，提取所述中间人脸图像对应的第二图像特征；

步骤S520，将所述第一图像特征和所述第二图像特征输入到图像特征相似度监督模块中，确定第二损失，并通过所述第二损失约束所述多域生成模块的训练。

其中，第一图像特征是指样本人脸图像中用于表征图像关键信息的特征数据，第二图像特征是指多域生成模块生成的中间人脸图像中用于表征图像关键信息的特征数据。

需要说明的是，本示例实施例的“第一图像特征”、“第二图像特征”、“第一损失”、“第二损失”中的“第一”、“第二”仅用于区分不同人脸图像中所包含的图像特征数据以及不同的特征之间的损失，没有特殊含义，并不应对本示例实施例造成任何特殊限定。

图像特征相似度监督模块是指用于评估两个人脸图像之间图像特征表达相似度的神经网络模块，图像特征相似度监督模块可以是基于预先训练好的VGG网络构建的，图像特征相似度监督模块也可以是基于预先训练好的GoogLeNet网络构建的，当然，图像特征相似度监督模块还可以是由其他能够评估两个人脸图像之间图像特征表达相似度的神经网络，本示例实施例对构建图像特征相似度监督模块的技术不做特殊限定。

由于图像特征中包含着图像许多关键信息，如细节、轮廓等，在在目标域人脸图像转换生成的过程中尽可能地保留图像特征信息可以有效提升图像质量。因此，在构建多域人脸图像转换网络的过程中，通过引入图像特征相似度监督模块，对样本人脸图像以及多域生成模块阶段生成的中间人脸图像进行图像特征抽取，进而度量样本人脸图像与中间人脸图像之间图像特征的损失，即第二损失，并将第二损失回传至多域生成模块用于监督其训练。

通过图像特征相似度监督模块提升多域人脸图像转换网络转换生成的目标域人脸图像对于原始域人脸图像中所包含的图像特征信息的表达，保证生成的目标域人脸图像中的图像特征信息与原始域人脸图像中的图像特征信息尽可能相似，提升目标域人脸图像对原始域人脸图像中关键特征的保留度，提升转换生成的目标域人脸图像的图像质量。

图6示意性示出了根据本公开的一些实施例的实现多域异质人脸图像转换生成的示意图。

参考图6所示，首先可以获取输入的原始域人脸图像610，该原始域人脸图像610可以是近红外视觉域的人脸图像。然后可以将原始域人脸图像610输入到多域人脸图像转换网络620中，多域人脸图像转换网络620可以包括多域生成模块621、注意力机制模块622、人脸相似度监督模块623以及图像特征相似度监督模块624。原始域人脸图像 610经过由注意力机制模块622、人脸相似度监督模块623以及图像特征相似度监督模块624约束的多域生成模块621后，输出原始域人脸图像610对应的目标域1人脸图像如可见光人脸图像630、目标域2人脸图像如素描人脸图像640、目标域3人脸图像如油画人脸图像650等，具体输出的目标域人脸图像的域类型数量与预训练过程中采用的训练样本集中样本域人脸图像对应的域类型数量一致，此处的目标域人脸图像仅是示意性举例说明，本示例实施例不以此为限。

在本示例实施例中，还提供了一种人脸图像生成方法，下面以终端设备执行该方法为例进行详细说明。

图7示意性示出了根据本公开的一些实施例的人脸图像生成方法流程的示意图。参考图7所示，具体可以包括：

步骤S710，获取待识别的当前人脸图像；

步骤S720，通过人脸图像生成方法，生成所述当前人脸图像对应的至少一个目标域人脸图像；

步骤S730，对所述当前人脸图像和所述目标域人脸图像进行人脸识别，确定至少一个识别结果；

步骤S740，若检测到所述识别结果中目标识别结果的数量大于或者等于数量阈值，则将所述目标识别结果作为所述当前人脸图像的人脸识别结果。

其中，当前人脸图像是指需要进行人脸识别检测的包含人脸信息的图像，例如，在安防场景中，当前人脸图像可以是监控摄像头采集的包含人脸信息的图像，在智能服务场景中，当前人脸图像可以是智能型机器人采集的包含待服务用户的人脸信息的图像，当然，本示例实施例对需要进行识别的人脸图像的来源不做任何特殊限定。

人脸图像生成方法是指本公开其他实施例中提到的、通过预训练的多域人脸图像转换网络生成多个不同域类别的人脸图像的人脸图像转换生成方法。

举例而言，在实际应用过程中，需要对人脸图像进行识别，但是假设在光线不好的场景如晚上进行人脸识别时，采集到的当前人脸图像一般是可见光视觉域或者红外视觉域，此时，由于人脸图像采集设备的局限性，可能导致可见光视觉域或者红外视觉域的当前人脸图像无法实现人脸识别，或者人脸识别结果不准确的问题。为了提升当前人脸图像的图像质量，保证人脸信息的清晰准确，可以通过人脸图像生成方法，生成当前人脸图像对应的多个目标域人脸图像，从而将仅识别当前人脸图像的任务，转换成不同视觉域、且具有当前人脸图像中关键人脸信息以及关键图像特征信息的多个目标域人脸图像，保证人脸识别结果的准确性。

识别结果是指对当前人脸图像以及目标域人脸图像进行人脸检测识别后得到的结果，例如，对当前人脸图像进行人脸识别，确定当前人脸图像属于人脸数据库中的用户001，即当前人脸图像的识别结果为用户001，而当前人脸图像对应的目标域人脸图像1、目标域人脸图像 2、目标域人脸图像的识别结果可以分别为用户001、用户002、用户 001。当然，此处仅是示意性举例说明，并不应对本示例实施例造成任何特殊限定。

人脸识别结果是指当前人脸图像对应的输出结果，例如，假设预训练的多域人脸图像转换网络可以生成9种域类别的人脸图像，那么，数量阈值可以是8，即当前人脸图像以及多域人脸图像转换网络转换生成的9种目标域人脸图像的10个识别结果中，若至少有8个人脸图像的识别结果为用户001，那么可以确认，当前人脸图像的输出的人脸识别结果为用户001。当然，此处仅是示意性举例说明，并不应对本示例实施例造成任何特殊限定。

通过人脸图像生成方法生成当前人脸图像对应的至少一个目标域人脸图像，并根据当前人脸图像以及目标域人脸图像的所有识别结果确认最终输出的人脸识别结果，能够有效提升当前人脸图像的识别准确率，提升人脸识别系统的鲁棒性。

当然，对当前人脸图像进行视觉域转换实现人脸识别，仅是本实施例中的人脸图像生成方法的一种应用场景，也可以用于生成其他深度学习模型的训练集，还可以应用于其他应用场景，本示例实施例不再一一举例说明。

需要说明的是，尽管在附图中以特定顺序描述了本公开中方法的各个步骤，但是，这并非要求或者暗示必须按照该特定顺序来执行这些步骤，或是必须执行全部所示的步骤才能实现期望的结果。附加的或备选的，可以省略某些步骤，将多个步骤合并为一个步骤执行，以及/或者将一个步骤分解为多个步骤执行等。

此外，在本示例实施例中，还提供了一种人脸图像生成装置。参照图8所示，该人脸图像生成装置800包括：人脸图像获取模块810以及人脸图像生成模块820。其中：

人脸图像获取模块810用于获取原始域人脸图像；

人脸图像生成模块820用于将所述原始域人脸图像输入到多域人脸图像转换网络中，生成所述原始域人脸图像对应的至少一个目标域人脸图像；其中，所述原始域人脸图像和所述目标域人脸图像的域类型不同，所述多域人脸图像转换网络是通过预训练过程生成的。

在本公开的一种示例性实施例中，基于前述方案，人脸图像生成装置800可以包括预训练单元，该预训练单元可以用于：

获取样本人脸图像以及所述样本人脸图像对应的至少一个样本域人脸图像，所述样本人脸图像和所述样本域人脸图像的域类型不同，并根据所述样本人脸图像和所述样本域人脸图像构建训练样本集；

构建初始多域人脸图像转换网络，其中，初始多域人脸图像转换网络包括注意力机制模块、多域生成模块、人脸相似度监督模块和图像特征相似度监督模块；

通过所述训练样本集对所述初始多域人脸图像转换网络进行网络训练，直到所述初始多域人脸图像转换网络对应的损失函数收敛，得到完成训练的多域人脸图像转换网络。

在本公开的一种示例性实施例中，基于前述方案，预训练单元可以用于：

将所述样本人脸图像输入到所述多域生成模块中，生成具有不同于所述样本人脸图像的域类别的中间人脸图像；

其中，所述多域生成模块以所述样本域人脸图像为标签数据进行训练，使生成的所述中间人脸图像的图像特征与所述样本域人脸图像的图像特征之间的相似度大于相似度阈值；所述多域生成模块包括支持多域输出的生成对抗网络或者多域变分自编码器。

在本公开的一种示例性实施例中，基于前述方案，预训练单元可以用于：

通过设置在所述多域生成模块中的注意力机制模块提取所述样本人脸图像的关键图像区域，以约束所述多域生成模块生成包含所述关键图像区域的所述中间人脸图像；

其中，所述注意力机制模块包括CBAM网络或者SE网络。

在本公开的一种示例性实施例中，基于前述方案，预训练单元可以用于：

提取所述样本人脸图像对应的第一人脸特征，提取所述中间人脸图像对应的第二人脸特征；

将所述第一人脸特征和所述第二人脸特征输入到人脸相似度监督模块中，确定第一损失，并通过所述第一损失约束所述多域生成模块的训练。

在本公开的一种示例性实施例中，基于前述方案，预训练单元可以用于：

提取所述样本人脸图像对应的第一图像特征，提取所述中间人脸图像对应的第二图像特征；

将所述第一图像特征和所述第二图像特征输入到图像特征相似度监督模块中，确定第二损失，并通过所述第二损失约束所述多域生成模块的训练。

此外，在本示例实施例中，还提供了一种人脸识别装置。参照图9所示，该人脸识别装置900包括：当前人脸图像获取模块910、人脸图像转换模块920、识别结果确定模块930以及人脸识别模块940。其中：

当前人脸图像获取模块910，用于获取待识别的当前人脸图像；

人脸图像转换模块920，用于通过人脸图像生成方法，生成所述当前人脸图像对应的至少一个目标域人脸图像；

识别结果确定模块930，用于对所述当前人脸图像和所述目标域人脸图像进行人脸识别，确定至少一个识别结果；

人脸识别模块940，用于若检测到所述识别结果中目标识别结果的数量大于或者等于数量阈值，则将所述目标识别结果作为所述当前人脸图像的人脸识别结果。

上述中人脸图像生成装置或者人脸识别装置各模块的具体细节已经在对应的人脸图像生成方法或者人脸识别方法中进行了详细的描述，因此此处不再赘述。

应当注意，尽管在上文详细描述中提及了人脸图像生成装置或者人脸识别装置的若干模块或者单元，但是这种划分并非强制性的。实际上，根据本公开的实施方式，上文描述的两个或更多模块或者单元的特征和功能可以在一个模块或者单元中具体化。反之，上文描述的一个模块或者单元的特征和功能可以进一步划分为由多个模块或者单元来具体化。

此外，在本公开的示例性实施例中，还提供了一种能够实现上述人脸图像生成方法或者人脸识别方法的电子设备。

所属技术领域的技术人员能够理解，本公开的各个方面可以实现为系统、方法或程序产品。因此，本公开的各个方面可以具体实现为以下形式，即：完全的硬件实施例、完全的软件实施例(包括固件、微代码等)，或硬件和软件方面结合的实施例，这里可以统称为“电路”、“模块”或“系统”。

下面参照图10来描述根据本公开的这种实施例的电子设备1000。图10所示的电子设备1000仅仅是一个示例，不应对本公开实施例的功能和使用范围带来任何限制。

如图10所示，电子设备1000以通用计算设备的形式表现。电子设备1000的组件可以包括但不限于：上述至少一个处理单元1010、上述至少一个存储单元1020、连接不同系统组件(包括存储单元1020和处理单元1010)的总线1030、显示单元1040。

其中，所述存储单元存储有程序代码，所述程序代码可以被所述处理单元1010执行，使得所述处理单元1010执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施例的步骤。例如，所述处理单元1010可以执行如图2中所示的步骤S210，获取原始域人脸图像；步骤S220，将所述原始域人脸图像输入到多域人脸图像转换网络中，生成所述原始域人脸图像对应的至少一个目标域人脸图像；其中，所述原始域人脸图像和各所述目标域人脸图像的域类型不同，所述多域人脸图像转换网络是通过预训练过程生成的。

存储单元1020可以包括易失性存储单元形式的可读介质，例如随机存取存储单元(RAM)1021和/或高速缓存存储单元1022，还可以进一步包括只读存储单元(ROM)1023。

存储单元1020还可以包括具有一组(至少一个)程序模块1025的程序/实用工具1024，这样的程序模块1025包括但不限于：操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。

总线1030可以为表示几类总线结构中的一种或多种，包括存储单元总线或者存储单元控制器、外围总线、图形加速端口、处理单元或者使用多种总线结构中的任意总线结构的局域总线。

电子设备1000也可以与一个或多个外部设备1070(例如键盘、指向设备、蓝牙设备等)通信，还可与一个或者多个使得用户能与该电子设备1000交互的设备通信，和/或与使得该电子设备1000能与一个或多个其它计算设备进行通信的任何设备(例如路由器、调制解调器等等) 通信。这种通信可以通过输入/输出(I/O)接口1050进行。并且，电子设备1000还可以通过网络适配器1060与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图所示，网络适配器1060通过总线1030与电子设备1000的其它模块通信。应当明白，尽管图中未示出，可以结合电子设备1000使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。

通过以上的实施例的描述，本领域的技术人员易于理解，这里描述的示例实施例可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、终端装置、或者网络设备等)执行根据本公开实施例的方法。

在本公开的示例性实施例中，还提供了一种计算机可读存储介质，其上存储有能够实现本说明书上述方法的程序产品。在一些可能的实施例中，本公开的各个方面还可以实现为一种程序产品的形式，其包括程序代码，当所述程序产品在终端设备上运行时，所述程序代码用于使所述终端设备执行本说明书上述“示例性方法”部分中描述的根据本公开各种示例性实施例的步骤。

参考图11所示，描述了根据本公开的实施例的用于实现上述人脸图像生成方法或者人脸识别方法的程序产品1100，其可以采用便携式紧凑盘只读存储器(CD-ROM)并包括程序代码，并可以在终端设备，例如个人电脑上运行。然而，本公开的程序产品不限于此，在本文件中，可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。

所述程序产品可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以为但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器 (EPROM或闪存)、光纤、便携式紧凑盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。

计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了可读程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。可读信号介质还可以是可读存储介质以外的任何可读介质，该可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。

可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于无线、有线、光缆、RF等等，或者上述的任意合适的组合。

可以以一种或多种程序设计语言的任意组合来编写用于执行本公开操作的程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、C++等，还包括常规的过程式程序设计语言—诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。在涉及远程计算设备的情形中，远程计算设备可以通过任意种类的网络，包括局域网(LAN)或广域网(WAN)，连接到用户计算设备，或者，可以连接到外部计算设备(例如利用因特网服务提供商来通过因特网连接)。

此外，上述附图仅是根据本公开示例性实施例的方法所包括的处理的示意性说明，而不是限制目的。易于理解，上述附图所示的处理并不表明或限制这些处理的时间顺序。另外，也易于理解，这些处理可以是例如在多个模块中同步或异步执行的。

通过以上的实施例的描述，本领域的技术人员易于理解，这里描述的示例实施例可以通过软件实现，也可以通过软件结合必要的硬件的方式来实现。因此，根据本公开实施例的技术方案可以以软件产品的形式体现出来，该软件产品可以存储在一个非易失性存储介质(可以是CD-ROM，U盘，移动硬盘等)中或网络上，包括若干指令以使得一台计算设备(可以是个人计算机、服务器、触控终端、或者网络设备等)执行根据本公开实施例的方法。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施例。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由权利要求指出。

应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (9)

1.一种人脸图像生成方法，其特征在于，包括：

获取原始域人脸图像；

将所述原始域人脸图像输入到多域人脸图像转换网络中，生成所述原始域人脸图像对应的至少一个目标域人脸图像；

其中，所述原始域人脸图像和各所述目标域人脸图像的域类型不同，所述多域人脸图像转换网络是通过预训练过程生成的；

所述预训练过程包括：

获取样本人脸图像以及所述样本人脸图像对应的至少一个样本域人脸图像，所述样本人脸图像和所述样本域人脸图像的域类型不同，并根据所述样本人脸图像和所述样本域人脸图像构建训练样本集；

构建初始多域人脸图像转换网络，其中，初始多域人脸图像转换网络包括注意力机制模块、多域生成模块、人脸相似度监督模块和图像特征相似度监督模块；

通过所述训练样本集对所述初始多域人脸图像转换网络进行网络训练，直到所述初始多域人脸图像转换网络对应的损失函数收敛，得到完成训练的多域人脸图像转换网络。

2.根据权利要求1所述的方法，其特征在于，通过所述训练样本集对所述初始多域人脸图像转换网络进行网络训练，包括：

将所述样本人脸图像输入到所述多域生成模块中，生成具有不同于所述样本人脸图像的域类别的中间人脸图像；

其中，所述多域生成模块以所述样本域人脸图像为标签数据进行训练，使生成的所述中间人脸图像的图像特征与所述样本域人脸图像的图像特征之间的相似度大于相似度阈值；所述多域生成模块包括支持多域输出的生成对抗网络或者多域变分自编码器。

3.根据权利要求2所述的方法，其特征在于，将所述样本人脸图像输入到所述多域生成模块中，生成具有不同于所述样本人脸图像的域类别的中间人脸图像，包括：

通过设置在所述多域生成模块中的注意力机制模块提取所述样本人脸图像的关键图像区域，以约束所述多域生成模块生成包含所述关键图像区域的所述中间人脸图像；

其中，所述注意力机制模块包括CBAM网络或者SE网络。

4.根据权利要求1所述的方法，其特征在于，通过所述训练样本集对所述初始多域人脸图像转换网络进行网络训练，包括：

提取所述样本人脸图像对应的第一人脸特征，提取中间人脸图像对应的第二人脸特征；

将所述第一人脸特征和所述第二人脸特征输入到人脸相似度监督模块中，确定第一损失，并通过所述第一损失约束所述多域生成模块的训练。

5.根据权利要求1所述的方法，其特征在于，通过所述训练样本集对所述初始多域人脸图像转换网络进行网络训练，包括：

提取所述样本人脸图像对应的第一图像特征，提取中间人脸图像对应的第二图像特征；

将所述第一图像特征和所述第二图像特征输入到图像特征相似度监督模块中，确定第二损失，并通过所述第二损失约束所述多域生成模块的训练。

6.一种人脸识别方法，其特征在于，包括：

获取待识别的当前人脸图像；

通过权利要求1至权利要求5任一项所述的人脸图像生成方法，生成所述当前人脸图像对应的至少一个目标域人脸图像；

对所述当前人脸图像和所述目标域人脸图像进行人脸识别，确定至少一个识别结果；

若检测到所述识别结果中目标识别结果的数量大于或者等于数量阈值，则将所述目标识别结果作为所述当前人脸图像的人脸识别结果。

7.一种人脸图像生成装置，其特征在于，包括：

人脸图像获取模块，用于获取原始域人脸图像；

人脸图像生成模块，用于将所述原始域人脸图像输入到多域人脸图像转换网络中，生成所述原始域人脸图像对应的至少一个目标域人脸图像；

其中，所述原始域人脸图像和所述目标域人脸图像的域类型不同，所述多域人脸图像转换网络是通过预训练过程生成的；

所述人脸图像生成装置还包括预训练单元，所述预训练单元用于：

获取样本人脸图像以及所述样本人脸图像对应的至少一个样本域人脸图像，所述样本人脸图像和所述样本域人脸图像的域类型不同，并根据所述样本人脸图像和所述样本域人脸图像构建训练样本集；

构建初始多域人脸图像转换网络，其中，初始多域人脸图像转换网络包括注意力机制模块、多域生成模块、人脸相似度监督模块和图像特征相似度监督模块；

通过所述训练样本集对所述初始多域人脸图像转换网络进行网络训练，直到所述初始多域人脸图像转换网络对应的损失函数收敛，得到完成训练的多域人脸图像转换网络。

8.一种电子设备，包括：

处理器；以及

存储器，所述存储器上存储有计算机可读指令，所述计算机可读指令被所述处理器执行时实现如权利要求1至5中任一项所述的人脸图像生成方法，或者实现如权利要求6所述的人脸识别方法。

9.一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述的人脸图像生成方法，或者实现如权利要求6所述的人脸识别方法。