CN112613435A - 人脸图像生成方法、装置、设备及介质 - Google Patents

Abstract

本发明公开了一种人脸图像生成方法、装置、电子设备及计算机存储介质，涉及人脸识别技术领域，旨在快速得到高质量的人脸图像。该方法包含以下步骤：获取随机向量；将随机向量输入GAN模型的生成网络，得到仿真人脸图像；将仿真人脸图像输入GAN模型的判别网络，得到第一向量；获取真实人脸图像输入GAN模型的判别网络，得到第二向量；计算第一向量和第二向量的距离；比对距离和预设阈值，若距离大于或等于预设阈值，则迭代训练GAN模型；反之，则停止训练GAN模型，得到目标GAN模型。

Description

人脸图像生成方法、装置、设备及介质

技术领域

本发明涉及人脸识别技术领域，尤其涉及一种人脸图像生成方法、装置、设备及介质。

背景技术

人脸图像质量是训练人脸识别模型的重要因素，通过高质量的人脸图像训练人脸识别模型，能提高人脸识别模型的识别率。

为了保证用于训练的人脸图像的质量，在将人脸图像作为训练样本之前，需要先对采集到的人脸图像进行质量判断。目前一般采用人工审核来判断人脸图像质量的好坏，因判断标准存在主观性，所以难以保证用于训练的人脸图像的质量，从而会影响人脸识别模型的识别率；且在审核量较大的情况下，人工审核耗时较长，从而导致采集训练样本的效率低。

因此，快速得到高质量的人脸图像对于人脸识别具有重要意义，而如何快速得到高质量的人脸图像，是目前需要解决的问题。

发明内容

本发明实施例提供了一种人脸图像生成方法、装置、设备及介质，以实现快速得到高质量的人脸图像。

第一方面，本发明实施例提供了一种人脸图像生成方法，包括以下步骤：

获取随机向量；

将所述随机向量输入GAN模型的生成网络，得到仿真人脸图像；

将所述仿真人脸图像输入所述GAN模型的判别网络，得到第一向量；

获取真实人脸图像输入所述GAN模型的判别网络，得到第二向量；

计算所述第一向量和所述第二向量的距离；

比对所述距离和预设阈值，若所述距离大于或等于预设阈值，则迭代训练所述GAN模型；

反之，则停止训练所述GAN模型，得到目标GAN模型。

在其中一些实施例中，所述得到目标GAN模型之后，包括：

通过所述目标GAN模型生成若干仿真人脸图像；

根据所述若干仿真人脸图像，构建训练集，

通过所述训练集训练人脸图像识别模型。

在其中一些实施例中，所述计算所述第一向量和所述第二向量的距离，包括：

计算所述第一向量和所述第二向量之间的欧式距离。

在其中一些实施例中，所述生成网络和所述判别网络均为深度学习算法中的轻量型网络。

在其中一些实施例中，所述获取真实人脸图像输入所述GAN模型的判别网络之前，包括：

预先采集若干真实人脸图像形成训练集。

在其中一些实施例中，所述真实人脸图像为RGB图像。

第二方面，本发明实施例提供了一种人脸图像生成装置，包括：

图像生成模块，用于获取随机向量，并将所述随机向量输入GAN模型的生成网络，得到仿真人脸图像；

图像判别模块，用于将所述仿真人脸图像输入所述GAN模型的判别网络，得到第一向量；获取真实人脸图像输入所述GAN模型的判别网络，得到第二向量；计算所述第一向量和所述第二向量的距离；

效果判定模块，用于比对所述距离和预设阈值，若所述距离大于或等于预设阈值，则迭代训练所述GAN模型；反之，则停止训练所述GAN模型，得到目标GAN模型。

第三方面，本发明实施例提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的人脸图像生成方法。

第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的人脸图像生成方法。

相比于现有技术，本发明实施例提供一种人脸图像生成方法、装置、设备及介质，通过真实人脸图像训练GAN模型，以得到目标GAN模型，使得通过目标GAN模型能快速生成高质量的人脸图像，从而通过生成的高质量人脸图像训练人脸识别模型，可以提高人脸识别模型的识别率。

本发明的一个或多个实施例的细节在以下附图和描述中提出，以使本发明的其他特征、目的和优点更加简明易懂。

附图说明

此处所说明的附图用来提供对本申请的进一步理解，构成本发明的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是本发明人脸图像生成方法的流程示意图；

图2是本发明实施例的人脸图像生成方法的流程图；

图3是本发明实施例的人脸图像生成装置的结构框图；

图4是本发明实施例的电子设备的结构框图。

具体实施方式

为了使本申请的目的、技术方案更加清楚明白，以下结合附图及实施例，对本发明进行描述和说明。应当理解，此处所描述的具体实施例仅仅用于解释本发明，并不用于限定本发明。基于本发明提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。

显而易见地，下面描述中的附图仅仅是本申请的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本申请应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。

在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。

实施例1

图1是本发明人脸图像生成方法的流程示意图，本实施例提供一种对人脸图像生成方法，图2是本发明实施例的人脸图像生成方法的流程图。

如图1、图2所示，人脸图像生成方法，包括以下步骤：

S101、获取随机向量。

该随机向量是一个随机的噪声(随机数)，通过这个随机向量生成图像。在本实施例中，该随机向量可以是一个1000维的数组。

S102、将随机向量输入GAN模型的生成网络，得到仿真人脸图像。

GAN模型的生成网络作为生成器，根据随机向量可输出一个64*64*3 的图片数据，即输出一张图像。上述仿真人脸图像表示通过生成网络生成的人脸图像，与后续的真实人脸图像进行区分。

S103、将仿真人脸图像输入GAN模型的判别网络，得到第一向量。

S104、获取真实人脸图像输入GAN模型的判别网络，得到第二向量。

上述GAN模型的判别网络作为判别器，需要判断输入图像是否为真实的图像，可用于判断生成器生成的人脸图像的真实性。在S103和S104中，分别取判别网络倒数第二层的输出结果作为第一向量和第二向量。在其他实施例中，上述S103和S104可同时执行。

上述GAN模型(Generative adversarial nets)是指生成式对抗网络，可用于从训练样本中学习生成新样本，在本实施例中，训练样本为高质量的真实人脸图像，通过训练GAN模型以生成接近真实人脸图像的高质量人脸图像。

其中，GAN模型包括两个不同的网络，即上述生成网络和判别网络，训练方式采用的是对抗训练方式，在训练过程中，生成网络的训练目标就是尽量生成真实的人脸图像去欺骗判别网络。判别网络需要辨别出生成网络生成的仿真人脸图像和真实人脸图像，生成网络和判别网络构成了一个动态的“博弈过程”，最终使得生成网络和判别网络的能力越来越强。

S105、计算第一向量和第二向量的距离。

在现有技术中，存在多种计算向量间距离的算法，包括但不限于欧式距离、曼哈顿距离算法、切比雪夫距离、夹角余弦距离等。因此，在实际应用时，可根据需要自行选择公知的算法计算第一向量和第二向量之间的距离。

需要注意的是，本步骤计算两个向量之间的距离(即L2范数)，是本实施例GAN模型的其中一个损失计算方式，另一个损失为GAN模型的生成对抗损失。

S106、比对距离和预设阈值，若距离大于或等于预设阈值，则迭代训练 GAN模型；反之，则停止训练GAN模型，得到目标GAN模型。

当距离小于预设阈值时，GAN模型中的参数不再更新，即可得到目标 GAN模型，因该目标GAN模型基于高质量的真实人脸图像训练得到，因此该目标GAN模型可以生成高质量的人脸图像。

当距离大于或等于预设阈值时，GAN模型继续更新参数进行迭代训练，即更新参数后，重复执行步骤S101至S106。

需要注意的是，上述GAN模型中的参数更新采用反向传播，梯度更新信息来自判别网络。

上述GAN模型在不同的实施例中可选用DCGAN、WGAN、BEGAN等。

上述预设阈值的取值，可根据多次实验结果确定。在实际的应用场景中，可自行基于实验结果和经验确定，预设阈值的取值不影响本实施方法的执行，在此不限定预设阈值的具体取值。

本实施例的人脸图像生成方法可由服务器执行，针对具体的业务场景，通过训练完成的目标GAN模型可以快速生成具有高质量的人脸图像，且生成的人脸图像无需进行额外的质量审核和判断，也能保证训练样本的图像质量，同时节约了训练样本的获取成本，通过该生成的高质量人脸图像直接对人脸识别模型进行训练，可提高人脸识别率。

优选地，获取真实人脸图像输入所述GAN模型的判别网络之前，包括：

预先采集若干真实人脸图像形成训练集。

具体地，可通过获取公开数据集、网上搜索、设备采集等方式采集高质量的真实人脸图像作为标签图像，以形成GAN模型的训练集。通过该训练集训练GAN模型，使得训练后的GAN模型能生成大量高质量的人脸图像。

其中，上述真实人脸图像均为RGB图像，即彩色图像。

优选地，得到目标GAN模型之后，包括：

通过所述目标GAN模型生成若干仿真人脸图像；

根据所述若干仿真人脸图像，构建训练集，

通过所述训练集训练人脸图像识别模型。

通过目标GAN模型可输出多张仿真人脸图像，通过输出的人脸图像可构建人脸识别模型的训练集，能保证训练样本质量(人脸图像质量)。

针对样本量较少的训练集，通过目标GAN模型可针对生成相应的人脸图像，以扩充样本量少的训练集，解决训练样本不均衡的问题，从而丰富训练样本，进而进一步提高人脸图像识别模型的识别率。

上述人脸图像识别模型可采用公知的人脸识别算法，因现有技术中已存在成熟的人脸识别算法，在此不对人脸识别算法进行限制，也不对人脸图像识别模型的具体训练过程进行详细赘述。

优选地，计算所述第一向量和所述第二向量的距离，包括：

计算第一向量和第二向量之间的欧式距离。

欧式距离的计算公式为公知常识，在此不再赘述。

优选地，上述生成网络和判别网络均为深度学习算法中的轻量型网络，具有计算量小和计算速度快的优点。深度学习算法中的轻量型网络包括但不限于SqueezeNet、shufflenet等。

实施例2

本实施例提供一种人脸图像生成装置，该装置用于实现上述实施例及优选实施例方式，已经进行过说明的不再赘述，如下所使用的术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能实现并被构想的。

图3是本发明实施例的人脸图像生成装置的结构框图，如图3所示，该装置包括：

图像生成模块21，用于获取随机向量，并将随机向量输入GAN模型的生成网络，得到仿真人脸图像；

图像判别模块22，用于将仿真人脸图像输入GAN模型的判别网络，得到第一向量；获取真实人脸图像输入GAN模型的判别网络，得到第二向量；计算第一向量和第二向量的距离；

效果判定模块23，用于比对距离和预设阈值，若距离大于或等于预设阈值，则迭代训练GAN模型；反之，则停止训练GAN模型，得到目标GAN 模型。

需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。

实施例3

图4为本发明实施例的一种电子设备的结构示意图，如图4所示，提供了一种电子设备，该电子设备可以是服务器，其内部结构图可以如图4所示。该电子设备包括处理器、存储器、输入装置和输出装置；其中该电子设备中处理器的数量可以是一个或多个，图4中以一个处理器为例；电子设备中的处理器、存储器、输入装置和输出装置可以通过总线或其他方式连接，图4中以通过总线连接为例。

存储器作为一种计算机可读存储介质，可以包括高速随机存取存储器、非易失性存储器等，可用于存储操作系统、软件程序、计算机可执行程序和数据库，如本发明实施例1的人脸图像生成方法对应的程序指令/模块，还可以包括内存，可用于为操作系统和计算机程序提供运行环境。在一些实例中，存储器可进一步包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至电子设备。

处理器用于提供计算和控制能力，可以包括中央处理器(CPU)，或者特定集成电路(Application Specific Integrated Circuit，简称为ASIC)，或者可以被配置成实施本申请实施例的一个或多个集成电路。处理器通过运行存储在存储器中的计算机可执行程序、软件程序、指令以及模块，从而执行电子设备的各种功能应用以及数据处理，即实现实施例1的人脸图像生成方法。

该电子设备的输出装置可以是液晶显示屏或者电子墨水显示屏，该电子设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

该电子设备还可包括网络接口/通信接口，该电子设备的网络接口用于与外部的终端通过网络连接通信。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。

本领域技术人员可以理解，图4中示出的结构，仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所述更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

本领域普通技术人员可以理解实现实施例1的人脸图像生成方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM (ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus) 直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

实施例4

本发明实施例提供一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于实现人脸图像生成方法，该方法包括：

获取随机向量；

将随机向量输入GAN模型的生成网络，得到仿真人脸图像；

将仿真人脸图像输入GAN模型的判别网络，得到第一向量；

获取真实人脸图像输入GAN模型的判别网络，得到第二向量；

计算第一向量和第二向量的距离；

比对距离和预设阈值，若距离大于或等于预设阈值，则迭代训练GAN 模型；

反之，则停止训练GAN模型，得到目标GAN模型。

当然，本发明实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述实施例的人脸图像生成方法操作，还可以执行本发明任意实施例所提供的人脸图像生成方法中的相关操作。

通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本发明可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如计算机的软盘、只读存储器 (Read-Only Memory，ROM)、随机存取存储器(RandomAccess Memory， RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台电子设备(可以是手机，个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述的人脸图像生成方法。

值得注意的是，上述人脸图像生成方法的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本发明的保护范围。

除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和 /或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。

对本领域的技术人员来说，可根据以上描述的技术方案以及构思，做出其它各种相应的改变以及形变，而所有的这些改变以及形变都应该属于本发明权利要求的保护范围之内。

Claims (9)

1.一种人脸图像生成方法，其特征在于，包括以下步骤：

获取随机向量；

将所述随机向量输入GAN模型的生成网络，得到仿真人脸图像；

将所述仿真人脸图像输入所述GAN模型的判别网络，得到第一向量；

获取真实人脸图像输入所述GAN模型的判别网络，得到第二向量；

计算所述第一向量和所述第二向量的距离；

比对所述距离和预设阈值，若所述距离大于或等于预设阈值，则迭代训练所述GAN模型；

反之，则停止训练所述GAN模型，得到目标GAN模型。

2.如权利要求1所述的人脸图像生成方法，其特征在于，所述得到目标GAN模型之后，包括：

通过所述目标GAN模型生成若干仿真人脸图像；

根据所述若干仿真人脸图像，构建训练集，

通过所述训练集训练人脸图像识别模型。

3.如权利要求1所述的人脸图像生成方法，其特征在于，所述计算所述第一向量和所述第二向量的距离，包括：

计算所述第一向量和所述第二向量之间的欧式距离。

4.如权利要求1所述的人脸图像生成方法，其特征在于，所述生成网络和所述判别网络均为深度学习算法中的轻量型网络。

5.如权利要求1所述的人脸图像生成方法，其特征在于，所述获取真实人脸图像输入所述GAN模型的判别网络之前，包括：

预先采集若干真实人脸图像形成训练集。

6.如权利要求1或5所述的人脸图像生成方法，其特征在于，所述真实人脸图像为RGB图像。

7.一种人脸图像生成装置，其特征在于，包括：

图像生成模块，用于获取随机向量，并将所述随机向量输入GAN模型的生成网络，得到仿真人脸图像；

图像判别模块，用于将所述仿真人脸图像输入所述GAN模型的判别网络，得到第一向量；获取真实人脸图像输入所述GAN模型的判别网络，得到第二向量；计算所述第一向量和所述第二向量的距离；

效果判定模块，用于比对所述距离和预设阈值，若所述距离大于或等于预设阈值，则迭代训练所述GAN模型；反之，则停止训练所述GAN模型，得到目标GAN模型。

8.一种电子设备，包括存储器、处理器以及存储所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6任一项所述的人脸图像生成方法。

9.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至6任一项所述的人脸图像生成方法。

Images