CN112418139A - 生成人像图像的方法、装置、可读介质和电子设备 - Google Patents

Abstract

本申请公开了一种生成人像图像的方法、装置、可读介质和电子设备，应用于图像生成领域。通过控制输入到生成器的网络单元中的目标噪声向量，使得生成的人像图像库特征质量合格、丰富度足够泛化、数量足够充足。具体的，该方法包括：获取多个随机噪声向量；对多个随机噪声向量进行非线性变换得到多个目标噪声向量，多个随机噪声向量与多个目标噪声向量一一对应；根据多个目标噪声向量，得到多组向量序列，其中每组向量序列中包含的目标噪声向量的数量均为n，且不同向量序列中包含的目标噪声向量不同，n为大于或等于2的正整数；基于多组向量序列生成多个人像图像，多组向量序列与多个人像图像一一对应。具体的，该方法应用于生成人像图像的场景中。

Description

生成人像图像的方法、装置、可读介质和电子设备

技术领域

本申请涉及图像生成领域，特别涉及一种生成人像图像的方法、装置、可读介质和电子设备。

背景技术

随着人脸识别技术在安防，金融等领域大量落地应用，对人脸识别技术相关的产品的质量要求也随之变高。通常以产品使用的人脸识别模型支持的精度以及底库(即人像数据库)规模作为衡量产品质量的重要指标。例如，在人脸识别模型中使用人像聚档技术，有利于提高人像识别的精度，以及提升人像库规模。其中，人像聚档指利用人脸识别模型对数据库中人像根据特征相似度计算得到同一人的不同照片，并归入一个档案。

具体的，实际产品通常需要支持大规模人像库聚档，而发布支持大规模人像库聚档的模型需要更大规模的人像库进行质量测试验收。然而，人脸数据因涉及个人隐私而被政府保护，从而获取困难、资源稀缺且无法形成市场，进而导致规模较大的人像库难以获取。如果考虑伪造虚拟人脸用于人像聚档对应模型的测试，那么由于采用像素融合、区域裁切替等图像处理领域的通用技术伪造虚拟人脸时无法形成新的人脸特征，将导致生成的虚拟人脸无法用于人像聚档验证。

如此，如何获取规模足够大的人像数据库，尤其是人像特征质量合格、丰富度足够泛化、数量足够充足的人像数据库，成为保障大规模聚档模型算法的质量面临的难题。

发明内容

本申请的一些实施例提供了一种生成人像图像的方法、装置、可读介质和电子设备，以下从多个方面介绍本申请，以下多个方面的实施方式和有益效果可互相参考。

第一方面，本申请的实施方式提供了一种生成人像图像的方法，该方法包括：获取多个随机噪声向量；对该多个随机噪声向量进行非线性变换得到多个目标噪声向量，其中该多个随机噪声向量与该多个目标噪声向量一一对应；根据该多个目标噪声向量，得到多组向量序列，其中每组向量序列中包含的目标噪声向量的数量均为n，且不同向量序列中包含的目标噪声向量不同，n为大于或等于2的正整数；基于该多组向量序列生成多个人像图像，该多组向量序列与多个人像图像一一对应。

根据本申请的实施方式，将随机噪声向量通过非线性变换得到多个目标噪声向量，并针对多个目标噪声向量进行组合和排序，得到多组向量序列，基多组向量序列生成一一对应的人像图片，因为输入的向量序列不同也无规律，使得生成的人像图像之间的特征泛性增强。

在一些实施方式中，上述生成人像图像的方法是基于生成网络实现，该生成网络包括串联的n层神经网络单元，该n层神经网络单元中的前一层神经网络单元的输出作为后一层神经网络单元的输入；上述基于多组向量序列生成多个人像图像，包括：将每组向量序列中的n个目标噪声向量按照排列顺序依次输入至n层神经网络单元中，并将预设向量输入至n层神经网络单元中的第一层神经网络单元，使得n层神经网络单元中的最后一层神经网络单元输出一个人像图像，得到多个人像图像。

在一些实施方式中，上述生成人像图像的方法中：多个随机噪声向量和多个目标噪声向量中向量数量均为n，多组向量序列的组数和多个人像图像的个数为n！，并且每组向量序列中均包含多个目标噪声向量中的所有目标噪声向量。

在一些实施方式中，上述生成人像图像的方法中，多个随机噪声向量中每个随机噪声向量的数据结构均为1×n维。

在一些实施方式中，上述生成人像图像的方法中，生成网络基于反卷积网络实现。

在一些实施方式中，上述生成人像图像的方法中，基于多组向量序列生成多个人像图像之前，该方法还包括：将第一随机噪声向量输入至生成网络，并将真实的人像图像输入至判别网络中，其中生成网络和判别网络包含于同一生成对抗网络；通过生成网络对第一随机噪声向量进行非线性变换，得到第一目标噪声向量；将第一目标噪声向量输入n层神经网络单元中的每层神经网络单元中，并将预设向量输入至第一层神经网络单元中，使得最后一层神经单元输出一个第一人像图像；将第一人像图像输入判别网络；通过判别网络区分真实的人像图像和第一人像图像，得到判别结果；若判别结果指示判别网络能够区分人像图像和真实的人像图像，则更新生成网络的参数和/或判别网络的参数；若判别结果指示判别网络无法区分人像图像和真实的人像图像，则导出生成网络。

在一些实施方式中，上述生成人像图像的方法中，非线性变换是基于至少一层全连接网络实现。

第二方面，本申请的实施方式提供了一种生成人像图像的装置，该装置包括：获取单元，用于获取多个随机噪声向量；非线性变换单元，用于对获取单元获取的多个随机噪声向量进行非线性变换得到多个目标噪声向量，其中多个随机噪声向量与多个目标噪声向量一一对应；输入单元，用于根据非线性单元得到多个目标噪声向量，得到多组向量序列，其中每组向量序列中包含的目标噪声向量的数量均为n，n为大于或等于2的正整数；生成单元，用于基于多组向量序列生成多个人像图像，多组向量序列与多个人像图像一一对应。

在一些实施方式中，上述生成人像图像的装置中包括生成网络，其中生成网络包括串联的n层神经网络单元，n层神经网络单元中的前一层神经网络单元的输出作为后一层神经网络单元的输入；生成单元，具体用于将每组向量序列中的n个目标噪声向量按照排列顺序依次输入至n层神经网络单元中，并将预设向量输入至n层神经网络单元中的第一层神经网络单元，使得n层神经网络单元中的最后一层神经网络单元输出一个人像图像，得到多个人像图像。

在一些实施方式中，上述生成人像图像的装置中，多个随机噪声向量和多个目标噪声向量中向量数量均为n，多组向量序列的组数和多个人像图像的个数为n！，并且每组向量序列中均包含多个目标噪声向量中的所有目标噪声向量。

在一些实施方式中，上述生成人像图像的装置中，多个随机噪声向量中每个随机噪声向量的数据结构均为1×n维。

在一些实施方式中，上述生成人像图像的装置中，生成网络基于反卷积网络实现。

在一些实施方式中，上述生成人像图像的装置中，获取单元，还用于在生成单元基于多组向量序列生成多个人像图像之前，将第一随机噪声向量输入至生成网络，并将真实的人像图像输入至判别网络中，其中生成网络和判别网络包含于同一生成对抗网络；非线性变换单元，还用于通过生成网络对获取单元获取的第一随机噪声向量进行非线性变换，得到第一目标噪声向量；输入单元，还用于将非线性单元得到的第一目标噪声向量输入n层神经网络单元中的每层神经网络单元中，并将预设向量输入至第一层神经网络单元中，使得最后一层神经单元输出一个第一人像图像；上述装置还包括：第一输入单元，用于将第一人像图像输入判别网络；判别单元，用于通过判别网络区分真实的人像图像和第一人像图像，得到判别结果；若判别结果指示判别网络能够区分人像图像和真实的人像图像，则更新生成网络的参数和/或判别网络的参数；若判别结果指示判别网络无法区分人像图像和真实的人像图像，则导出生成网络。

在一些实施方式中，上述生成人像图像的装置中的非线性变换单元基于至少一层全连接网络实现。

第三方面，本申请的实施方式提供了一种可读介质，该可读介质上存储有指令，该指令在电子设备上执行时使电子设备执行如上述第一方面所述的生成人像图像的方法。

第四方面，本申请的实施方式提供了一种电子设备，该装置包括：存储器，用于存储由电子设备的一个或多个处理器执行的指令，以及处理器，是电子设备的处理器之一，用于执行如上所述的生成人像图像的方法。

本申请实施例提供的生成人像图像的方法，通过将随机噪声经过非线性变换处理得到多组向量序列，并按照向量序列的顺序以及每个向量序列中各个向量的顺序，将多组向量序列输入到生成器(即生成网络，以下使用生成器)的网络单元。而由于输入的向量序列不同也无规律，因此使得生成器基于生成的多组向量序列生成的人像图像之间的特征泛性增强，进而重复执行上述基于多组向量序列生成人像图像的流程可生成大量的足够泛化的人像图像。即可以实现通过控制目标噪声向量生成人像特征质量合格、丰富度足够泛化、数量足够充足的人像数据库。从而解决了人脸图像数据难从市场获取，人脸特征数据难用通用技术制造的问题，为大规模如亿级人像聚档算法的性能验证提供了特征充足，数目可控的数据来源，解决了算法质量保障技术人员验收模型时需要大规模人像数据库的难题。

附图说明

图1是根据本申请实施例示出的一种对抗神经网络的框架示意图；

图2是根据本申请实施例示出的一种生成器G的结构示意图；

图3是根据本申请实施例示出的一种生成人像图像的方法的流程图；

图4是根据本申请实施例示出的一种基于对抗神经网络训练生成器G的方法的流程图；

图5是根据本申请实施例示出的一种生成人像图像的装置50的结构示意图；

图6是根据本申请的一些实施例示出的一种电子设备的框图。

具体实施方式

本申请的说明性实施例包括但不限于一种生成人像图像的方法、装置、可读介质和电子设备。

本申请实施例提供的生成人像图像的方法，可以应用于生成大规模的人像数据库的场景中。具体地，该方法可以将多个随机噪声向量经过非线性变换处理之后组合为多组向量序列，再将各个向量序列中的向量按照顺序输入到生成器的网络单元，以生成多个人像图像。而由于不同向量序列中的向量不同，因此使得生成器生成的多个人像图像之间的特征泛性增强，从而能够生成人像特征质量合格、丰富度足够泛化、数量足够充足的人像数据库。进而，保证了基于大规模的人像数据库的人像聚档等算法模型的测试验证效果。

需要说明的是，本申请实施例提供的生成人像图像的方法的执行主体可以为电子设备，或者，该电子设备的中央处理器(Central Processing Unit，CPU)，或者该电子设备装置中用于执行生成人像图像的方法的控制模块和/或控制实体，具体的可以根据实际使用需求确定，本申请实施例不作限定。其中，上述生成人像图像的装置可以基于电子设备实现，例如该电子设备包括但不限于手机、平板电脑等终端设备或服务器等。

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请的实施方式作进一步地详细描述。

可以理解的是，本申请实施例提供的生图像的方法，可以通过构建生成器、训练生成器，再使用生成器生成人像数据库中的人像图像的多个部分的流程来实现，下文中具体对各部分流程进行详细说明。

构建生成器的流程

在本申请的一些实施例中，上述构建生成器可以基于构建对抗神经网络的过程实现，下文中通过图1和图2所示的实施例，对构建生成器的结构进行说明。

参图1是根据本申请实施例示出的一种对抗神经网络的框架示意图。如图1所示，该对抗神经网络包括生成器G和判别器D(即判别网络)。

其中，对抗神经网络(Generative Adversarial Networks，GAN)是一种深度学习模型。当训练抗神经网络时，生成器G和判别器D互相博弈学习，使生成器G学习到样本数据的分布并产生预期的输出。具体地，在本申请实施例中，图1示出的对抗神经网络可以由用户预先进行训练，训练完成后，生成器G可以从一段随机数中生成并输出逼真的人像图像，即虚拟的人像图像。

具体地，生成器G可以通过生成模型(Generative Model)实现，用于接收一个随机噪声向量z(即随机数)，通过这个噪声生成图像，如虚拟的人像图像。

而判别器D可以通过判别模型(Discriminative Model)实现，用于接收一个图像并判别该图像是不是“真实的”。其中，判别器D的输入为x，x代表一张图像，判别器D的输出为D(x)，D(x)代表x为真实图像的概率。如果输出D(x)为1，就代表输入的图像(x)100％是真实的，而输出D(x)为0，就代表输入的图像(x)不可能是真实的图像。具体的，判别器D的输入x可以为生成器G生成的图像和/或真实的人像图像。

在本申请的一些实施例中，生成器G基于反卷积神经网络实现，判别器D基于卷积神经网络实现。其中，卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络，具备学习能力，用于支持判别器D区分生成的人像图像和真实的人像图像。

另外，反卷积神经网络并不具备学习的能力，仅仅是用于可视化一个已经训练好的卷积网络模型，没有学习训练的过程。具体的，反卷积是指：通过测量输出和已经输入重构未知输入的过程，例如可以支持生成器G将随机噪声向量z重构为虚拟的人像图像。

继续参照图1所示，本申请实施例中的对抗神经网络的训练过程包括：将随机噪声向量z，如根据高斯随机变量产生随机噪声向量z，输入至生成器G，并将真实的人像图像(以下称为真实的人像图像)输入到判别器D；生成器G根据随机噪声向量z生成虚拟的人像图像，并将生成的人像图像发送给判别器D；判别器D根据真实人像图像的人脸特征数据分布，判别生成的人像图像的真假，得到判别结果；通过判别结果来优化生成器G和判别器D的参数。

在本申请的一些实施例中，上述对抗神经网络的优化目标(即训练目标)为：达到生成器G与判别器D之间的纳什均衡(Nash equilibrium)。纳什均衡是指对每个参与者来说，只要另一方不改变策略，上述参与者就无法改善自己的状况。在对抗神经网络中，生成器G的目标是再现训练数据的分布(造出了和真实数据一模一样的样本)，判别器D无法判别生成的人像图像的真假，此时判别器D判断的准确率为50％。这时，生成器G生成逼真的人像图像的能力和判别器D识别生成的人像图像的能力都达到最大化，生成器G和判别器D不再更新自己的参数。

另外，在其他一些是实施例中，上述对抗神经网络的优化目标为：生成器G与判别器D之间的损失函数中的对抗损失项，该对抗损失项代表生成器G和判别器D的博弈过程，当对抗损失项越趋于稳定，则生成的人像图像越接近真实的人像图像。

可以理解的是，本申请实施例中，上述生成器G可以通过多个神经网络单元实现。下面对本申请实施例的一种生成器G的结构做详细的说明。

参照图2，图2是根据本申请实施例示出的一种生成器G的结构示意图。如图2所示，该生成器G包括非线性变换单元211和串联的n层神经网络单元，即图2中示出的201-20n，n为大于或等于2的正整数。其中，n层神经网络单元中的前一层神经网络单元的输出作为后一层神经网络单元的输入，如神经网络单元201的输出作为神经网络单元202的输入之一。

在一些实施例中，非线性变换单元211可以采用基于至少一层全连接网络实现，即该至少一层全连接网络用于对多个随机噪声向量z进行非线性变换产生多个目标随机噪声w。

在一些实施例中，上述n层神经网络单元用于生成不同的人脸特征数据，例如，神经网络单元201、202、203分别用于处理并生成人的眼睛、鼻子、嘴巴的特征数据。

具体的，上述n层神经网络单元中的且每一层用于接收来自非线性变换单元211产生的一个随机噪声向量z，首层(即第一层)还用于接收一个预设向量(如常数向量)，其余各层还用于接收上一层的输出(即上一层的输出作为下一层的输入)，最后底层对所有特征数据进行整合并输出，输出的所有特征数据用于生成人像图像。

上述非线性变换单元211，用于输入一个或多个随机噪声向量z，并对输入的随机噪声向量z进行非线性变换。在一些实施例中，如果非线性变换单元211中同时输入多个随机噪声向量z，非线性变换单元211对该多个随机噪声向量z进行非线性变换后得到多个目标噪声向量w，还可以对该多个目标噪声向量w进行组合，如进行排列组合得到多个向量序列。在一些实施例中，输入至非线性变换单元211的随机噪声向量z的个数，可以根据n层神经网络单元的层数n确定，例如随机噪声向量z的个数为n，n个随机噪声向量z经过非线性变换后得到n个目标噪声向量w，将n个目标噪声向量w1-wn同步输入至神经网络单元201-20n中。

在本申请的一些实施例中，通过向生成器G中输入不同数量的随机噪声向量，实现训练上述生成器G的过程以及使用生成器G生成人像图像的过程。

具体地，继续参考图2，本申请实施例中，在上述生成器G的每一轮训练过程中，向生成器G中输入一个随机的一维随机噪声向量z，该随机噪声向量z经过非线性变换单元211进行非线性变换得到一个目标噪声向量w；该目标噪声向量w同步输入到n层网络单元中，将预设向量(即常数向量)输入至n层神经网络单元中的第一层神经网络单元，使得n层神经网络单元中的最后一层神经网络单元输出一个人像图像。

在通过生成器G生成图像数据库时，在生成器G中输入多个适当维度(如1×n维)的随机噪声向量z，这些随机噪声向量z经过非线性变换单元211进行非线性变换得到多个目标噪声向量w(如目标噪声向量w1-wn)，每层神经网络单元分别输入该多个目标噪声向量w中的一个。其中，每次输入的由该多个目标噪声向量w形成的序列不同，如w1、w2…wn为一个序列，使得生成的人像图像之间具有较好的特征泛性。

使用生成器G生成图像的具体流程

基于图2示出的生成器G的结构，本申请实施例提供如图3所示的一种生成人像图像的方法的流程图。如图3所示，该生成人像图像的方法包括以下步骤：

在步骤S311中，获取多个随机噪声向量。生成器G获取多个随机噪声向量z。

其中，上述多个随机噪声向量z可以是从先验分布噪声中采样得到，例如，可以根据高斯随机变量产生多个随机噪声向量z。在一些实施例中，多个随机噪声向量z可以由生成器G前端的处理单元生成，并向生成器G中的非线性变换单元211中输入。

在一些实施例中，多个随机噪声向量z中每个随机噪声向量z的数据结构均为1×n维，n为神经网络单元的层数。

在步骤S312中，对多个随机噪声向量进行非线性变换得到多个目标噪声向量。

具体的，生成器G中的非线性变换单元211对多个随机噪声向量z中的每个随机噪声向量z分别进行非线性变换得到上述多个目标噪声向量w，使得该多个随机噪声向量z与该多个目标噪声向量w一一对应。

在步骤S313中，根据多个目标噪声向量，得到多组向量序列。其中，每组向量序列中包含的目标噪声向量w的数量均为n，且不同向量序列中包含的目标噪声向量w不同，n为大于或等于2的正整数。

可以理解的是，上述多组向量序列中包含的目标噪声向量w的数量均为n，使得后续每组向量序列中的n个目标噪声向量w和神经网络单元201-20n能够一一对应，进行使得神经网络单元201-20n中的每个神经网络单元中均可以输入一个随机噪声向量w。

在一些实施例中，步骤313是由非线性变换单元211来完成的。

具体的，上述步骤313可以按照以下两种方式中的任一种得到上述多组向量序列。

方式1：按照每个向量序列中包含n个向量的规则从该多个目标噪声向量w中选择目标噪声向量来得到该多组向量序列。

具体地，非线性变换单元211从多个目标噪声向量w中随机选择n次，得到一个包含n个目标噪声向量w的组合。非线性变换单元211重复“从多个目标噪声向量w中随机选择n次”的步骤，最终得到的各包含n个目标噪声向量w的组合是不重复的。随后非线性变换单元211将各包含n个目标噪声向量w组合内n个目标噪声向量w进行排列，最终得到多组向量序列，其中每组向量序列中包含的目标噪声向量w的数量均为n，且不同向量序列中包含的目标噪声向量w不同。可以理解是，由于上述多组向量序列中的不同序列中的包含的目标噪声向量w不同，使得不同向量序列之间存在一定差异。

方式2：对多个目标噪声向量w进行排列组合得到多组向量序列。

具体的，随机噪声向量z的个数为n，非线性变换单元211将n个随机噪声向量z非线性变换后产生n个目标噪声向量w，将n个目标噪声向量w完全排列组合得到n！组向量序列。例如，假设生成器G的神经网络单元为3层，即n＝3，随机产生三个适当维度的随机噪声向量z，经过非线性单元211得到三个目标噪声向量w，即w1，w2，w3；排列组合最终得到向量序列的数量为3！个(即6个)，分别为：w1，w2，w3；w1，w3，w2；w2，w1，w3；w2，w3，w1；w3，w1，w2；w3，w2，w1。从而，实现了不同向量序列中包含的目标噪声向量w不同。可以理解是，本申请实施例中，由于上述多组向量序列中的不同序列中向量的排列均不同，使得不同向量序列之间存在较大差异。

在步骤S314中，基于多组向量序列生成多个人像图像，多组向量序列与多个人像图像一一对应。

可以理解的是，上述步骤S314中生成的人像图像即为虚拟的人像图像。

在一些实施例中，步骤S313中，非线性变换单元211将多组向量序列按照序列顺序分别传输至n层神经网络单元，或者，同时将多组向量序列按照序列顺序分别传输至n层神经网络单元。进一步的，n层神经网络单元可以逐个对输入的每个向量序列进行处理，进行生成多个人像图像。

可以理解的是，由于上述多组向量序列中的不同向量序列之间存在一定差异，尤其在将n个目标噪声向量w完全排列组合得到n！组向量序列时不同向量序列之间存较大差异，因此使得后续n层神经网络单元基于不同向量序列生成的不同图像之间的特征泛性较强。例如，n＝3时，分别将6个向量序列按照顺序依次且同步输入到神经网络单元中，即将向量序列“w1，w2，w3”输入到神经网络单元201-203中。其中按照排列的顺序和神经网络单元的顺序一一对应输入，w1输入到神经网络单元201，w2输入到神经网络单元202，w3输入到神经网络单元203中；依次再将向量序列“w1，w3，w2”或其它向量序列输入到神经网络单元201-203中。

训练生成器G的具体流程

本申请实施例中，基于多组向量序列生成多个人像图像之前，需要构建对抗神经网络对生成器G进行训练。基于图1和图2示出的对抗神经网络和生成器G的结构，本申请实施例提供如图4所示的一种基于对抗神经网络训练生成器G的方法的流程图。如图4所示，该对抗神经网络训练生成器G的方法包括以下步骤：

在步骤S411中，构建对抗神经网络模型。

具体的，对抗神经网络模型具体如图1所示，包括生成器G和判别器D。

在一些实施例中，在构建好对抗神经网络模型之后，先对生成器G和判别器D的参数进行初始化。

在步骤S412中，将第一随机噪声向量z输入至生成器G，将真实的人像图像输入至判别器D中。

其中，将第一随机噪声向量z输入至生成器G后，生成器G会输出一张第一人像图像。

具体的，将第一随机噪声向量z输入至生成器G后，生成器G中的非线性变换单元211将第一随机噪声向量z经过非线性变换得到第一随机噪声向量w。将预设向量输入首层神经网络单元201中，同时将第一随机噪声向量w输入n层神经网络单元中的每层神经网络单元中(图2所示的201-20n)，将第一目标噪声向量w并经过逐层网络层计算，最终底层神经单元20n输出一张第一人像图像。

可以理解的是，上述真实的人像图像为样本图像，数量可以是小规模的，需要说明的是在条件允许的情况下，样本图像的规模越大训练所得的生成器G的特征泛性越强。

在步骤S413，将第一人像图像输入判别器D。生成器G将生成的第一人像图像输入到判别器D中。

在步骤S414中，判别结果是否符合预设阈值范围。其中，判别结果是由判别器D输出的。

具体的，通过判别器D区分真实的人像图像和第一人像图像，得到判别结果。进一步的，在一些实例中，判别结果是否符合预设阈值范围，说明判别器D能够区分生成的人像图像和真实的人像图像，反之，则说明判别器D无法区分生成的人像图像和真实的人像图像。

进一步的，根据本申请的一些实施例，判别结果可以用真实的人像图像和生成的人像图像的数据分布之间的距离来表示，此时判别结果符合预设阈值范围指的是真实的人像图像和生成的人像图像的数据分布之间的距离处于该预设阈值范围内，则说明判别器D能够区分生成的人像图像和真实的人像图像。

可以理解的是，在理想情况下，判别器D针对真实的人像图像和生成的人像图像的数据分布之间的距离一般采用：Inception分数、Mode分数、Wasserstein距离等进行度量，度量的目的在于评估生成的人像图像的质量和多样性。综合多种度量结果得到真实的人像图像和生成的人像图像的数据分布之间的距离。上述距离为0时，说明判别器D无法区分生成的人像图像和真实的人像图像，亦即最终判别器D对生成的人像图像和真实的人像图像的判别概率均为0.5。意味着生成器G达到训练目标，可以停止训练生成器G。具体地，在实际应用中，可以根据用户需求调整停止训练生成器G时真实的人像图像和生成的人像图像的数据分布之间的距离所需达到的上述预设阈值范围。例如，在上述预设阈值范围的为小于1时，当真实的人像图像和生成的人像图像的数据分布之间的距离值为0.8时，则符合该预设阈值范围，即可停止训练生成器G。

进一步的，若判断结果不符合上述预设阈值范围，则进入步骤S415，优化模型参数。具体的模型是指步骤S411中构建对抗神经网络模型，包括生成器G和判别器D。优化模型参数是指更新生成器G的参数和/或判别器D的参数。若判别器D输出的判别结果符合预设阈值范围，可停止训练生成器G，并进入步骤S416，导出生成器G。

例如，在预设阈值范围为小于1的情况下，若真实的人像图像和生成的人像图像的数据分布之间的距离为2时，则该距离不符合预设阈值范围，即判别器D无法区分生成的人像图像和真实的人像图像。此时就需要优化模型参数。

在一些实施例中，通过更新生成器G和/或判别器D的共享参数，来优化生成器G和判别器D的损失函数中的对抗损失项或者生成器G与判别器D之间的纳什均衡，达到优化生成器G和判别器D的目的。

在一些实施例中，同一时刻一般更新生成器G的参数或判别器D的参数。只更新生成器G和判别器D中的一个。

具体的，训练时，先固定生成器G的参数训练判别器D，循环K次并更新K次判别器D参数之后(K为大于或等于1的正整数)，根据判别器D输出的生成的人像图像集合与真实的人像图像样本集合之间的距离，使用较小的学习率来更新一次生成器G的参数，训练生成器G使其尽可能地能够减小生成的人像图像集合与真实的人像图像样本集合之间的距离，也相当于尽量使得判别器D判别错误；更新完一次生成器G之后，固定生成器G参数训练判别器D。多次更新迭代之后，最终判别器D的得到的上述距离达到一定的预设阈值范围，此时结束训练，导出生成器G。

可以理解的是，上述步骤412-415为一轮训练，通过循环执行上述步骤412-415，来对判别器D和生成器G进行多轮训练，以优化判别器D的参数和生成器G的参数。

可以理解的是，本申请实施例中，生成器G的训练过程一般需要进行多次的循环才能实现。

具体的，在完成步骤S415之后，即更新优化生成器G和判别器D的参数之后，继续步骤S412的操作，将新的第一随机噪声向量z输入至生成器G；接着进行步骤S413的操作，将第一人像图像输入判别器D，判别器D得到新的判别结果；然后进入步骤S414，判别器D判断新的判别结果是否处于预设阈值范围。如此循环，直至判别结果处于预设阈值范围，最终进入步骤S416，导出生成器G。

参图5根据本申请实施例示出的一种生成人像图像的装置50的结构示意图，该装置包括：获取单元501，用于获取多个随机噪声向量。非线性变换单元502，用于对获取单元501获取的多个随机噪声向量进行非线性变换得到多个目标噪声向量，多个随机噪声向量与多个目标噪声向量一一对应。输入单元503，用于根据多个目标噪声向量，得到多组向量序列，其中每组向量序列中包含的目标噪声向量的数量均为n，n为大于或等于2的正整数。生成单元504，用于基于多组向量序列生成多个人像图像，多组向量序列与多个人像图像一一对应。

在一些实施例中，上述获取单元501和非线性变换单元502可以通过上述生成器G中的非线性变换单元211实现。

在一些实施方式中，上述生成人像图像的装置中包括生成器G，其中生成器G包括串联的n层神经网络单元，n层神经网络单元中的前一层神经网络单元的输出作为后一层神经网络单元的输入；生成单元504，具体用于将每组向量序列中的n个目标噪声向量按照排列顺序依次输入至n层神经网络单元中，并将预设向量输入至n层神经网络单元中的第一层神经网络单元，使得n层神经网络单元中的最后一层神经网络单元输出一个人像图像，得到多个人像图像。

在一些实施方式中，上述生成人像图像的装置中，多个随机噪声向量和多个目标噪声向量中向量数量均为n，多组向量序列的组数和多个人像图像的个数为n！，并且每组向量序列中均包含多个目标噪声向量中的所有目标噪声向量。

在一些实施方式中，上述生成人像图像的装置中，多个随机噪声向量中每个随机噪声向量的数据结构均为1×n维。

在一些实施方式中，上述生成人像图像的装置中，生成器G基于反卷积网络实现。

在一些实施方式中，上述生成人像图像的装置中，获取单元501，还用于在生成单元504基于多组向量序列生成多个人像图像之前，将第一随机噪声向量输入至生成器G，并将真实的人像图像输入至判别器D中，其中生成器G和判别器D包含于同一生成对抗网络；非线性变换单元502，还用于通过生成器G对获取单元501获取的第一随机噪声向量进行非线性变换，得到第一目标噪声向量；输入单元503，还用于将非线性单元得到的第一目标噪声向量输入n层神经网络单元中的每层神经网络单元中，并将预设向量输入至第一层神经网络单元中，使得最后一层神经单元输出一个第一人像图像；上述装置还包括：第一输入单元，用于将第一人像图像输入判别器D；判别单元，用于通过判别器D区分真实的人像图像和第一人像图像，得到判别结果；若判别结果指示判别器D能够区分人像图像和真实的人像图像，则更新生成器G的参数和/或判别器D的参数；若判别结果指示判别器D无法区分人像图像和真实的人像图像，则导出生成器G。

在一些实施方式中，上述生成人像图像的装置中的非线性变换单元502基于至少一层全连接网络实现。

可以理解的是，上述生成器G中的功能单元的划分仅为一种示例，包括但不限于此。

图6所示为根据本申请的一个实施例的电子设备的框图，该电子设备可以为上述实视生成人像图像的装置50。图6示意性地示出了根据多个实施例的示例电子设备60。在一个实施例中，电子设备60可以包括一个或多个处理器601，与处理器601中的至少一个连接的系统控制逻辑602，与系统控制逻辑602连接的系统内存603，与系统控制逻辑602连接的非易失性存储器(NVM)604，以及与系统控制逻辑602连接的网络接口606。

在一些实施例中，处理器601可以包括一个或多个单核或多核处理器。在一些实施例中，处理器601可以包括通用处理器和专用处理器(例如，图形处理器，应用处理器，基带处理器等)的任意组合。在电子设备60采用eNB(Evolved Node B，增强型基站)或RAN(RadioAccess Network，无线接入网)控制器的实施例中，处理器601可以被配置为执行各种符合的实施例，例如，如图3所示的多个实施例中的一个或多个。例如，处理601可以用于执行上述生成人像图像的方法。

在一些实施例中，系统控制逻辑602可以包括任意合适的接口控制器，以向处理器601中的至少一个和/或与系统控制逻辑602通信的任意合适的设备或组件提供任意合适的接口。

在一些实施例中，系统控制逻辑602可以包括一个或多个存储器控制器，以提供连接到系统内存603的接口。系统内存603可以用于加载以及存储数据和/或指令。在一些实施例中系统60的内存603可以包括任意合适的易失性存储器，例如合适的动态随机存取存储器(DRAM)。

NVM/存储器604可以包括用于存储数据和/或指令的一个或多个有形的、非暂时性的计算机可读介质。在一些实施例中，NVM/存储器604可以包括闪存等任意合适的非易失性存储器和/或任意合适的非易失性存储设备，例如HDD(Hard Disk Drive，硬盘驱动器)，CD(Compact Disc，光盘)驱动器，DVD(Digital Versatile Disc，数字通用光盘)驱动器中的至少一个。

NVM/存储器604可以包括安装电子设备60的装置上的一部分存储资源，或者它可以由设备访问，但不一定是设备的一部分。例如，可以经由网络接口606通过网络访问NVM/存储604。

特别地，系统内存603和NVM/存储器604可以分别包括：指令605的暂时副本和永久副本。指令605可以包括：由处理器601中的至少一个执行时导致电子设备60实施如图1所示的方法的指令。在一些实施例中，指令605、硬件、固件和/或其软件组件可另外地/替代地置于系统控制逻辑602，网络接口606和/或处理器601中。

网络接口606可以包括收发器，用于为电子设备60提供无线电接口，进而通过一个或多个网络与任意其他合适的设备(如前端模块，天线等)进行通信。在一些实施例中，网络接口606可以集成于电子设备60的其他组件。例如，网络接口606可以集成于处理器601的，系统内存603，NVM/存储器604，和具有指令的固件设备(未示出)中的至少一种，当处理器601中的至少一个执行所述指令时，电子设备60实现如上述方法实施例中示出的方法。

网络接口606可以进一步包括任意合适的硬件和/或固件，以提供多输入多输出无线电接口。例如，网络接口606可以是网络适配器，无线网络适配器，电话调制解调器和/或无线调制解调器。

电子设备60可以进一步包括：输入/输出(I/O)设备607。I/O设备607可以包括用户界面，使得用户能够与电子设备60进行交互；外围组件接口的设计使得外围组件也能够与电子设备60交互。

本申请还提供一种可读介质，该可读介质上存储有指令，该指令在电子设备上执行时使电子设备执行如上所述的生成人像图像的方法。

本申请还提供一种电子设备，电子设备包括存储器，用于存储由电子设备的一个或多个处理器执行的指令，以及处理器，是电子设备的处理器之一，用于执行如上所述的生成人像图像的方法。

在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本申请的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。

类似地，应当理解，为了精简本申请并帮助理解各个发明方面中的一个或多个，在上面对本申请的示例性实施例的描述中，本申请的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本申请要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本申请的单独实施例。

本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的替代特征来代替。

此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本申请的范围之内并且形成不同的实施例。例如，在权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。

Claims (10)

1.一种生成人像图像的方法，其特征在于，所述方法包括：

获取多个随机噪声向量；

对所述多个随机噪声向量进行非线性变换得到多个目标噪声向量，其中所述多个随机噪声向量与所述多个目标噪声向量一一对应；

根据所述多个目标噪声向量，得到多组向量序列，其中每组向量序列中包含的目标噪声向量的数量均为n，且不同向量序列中包含的目标噪声向量不同，n为大于或等于2的正整数；

基于所述多组向量序列生成多个人像图像，所述多组向量序列与所述多个人像图像一一对应。

2.根据权利要求1所述的方法，其特征在于，所述方法基于生成网络实现，其中所述生成网络包括串联的n层神经网络单元，所述n层神经网络单元中的前一层神经网络单元的输出作为后一层神经网络单元的输入；

所述基于所述多组向量序列生成多个人像图像，包括：

将每组向量序列中的n个目标噪声向量按照排列顺序依次输入至所述n层神经网络单元中，并将预设向量输入至所述n层神经网络单元中的第一层神经网络单元，使得所述n层神经网络单元中的最后一层神经网络单元输出一个人像图像，得到所述多个人像图像。

3.根据权利要求2所述的方法，其特征在于，所述多个随机噪声向量和所述多个目标噪声向量中向量数量均为n，所述多组向量序列的组数和所述多个人像图像的个数为n！，并且每组向量序列中均包含所述多个目标噪声向量中的所有目标噪声向量。

4.根据权利要求3所述的方法，所述多个随机噪声向量中每个随机噪声向量的数据结构均为1×n维。

5.根据权利要求4所述的方法，其特征在于，所述生成网络基于反卷积网络实现。

6.根据权利要求2至5中任一项所述的方法，其特征在于，所述基于所述多组向量序列生成多个人像图像之前，所述方法还包括：

将第一随机噪声向量输入至所述生成网络，并将真实的人像图像输入至判别网络中，其中所述生成网络和所述判别网络包含于同一生成对抗网络；

通过所述生成网络对所述第一随机噪声向量进行非线性变换，得到第一目标噪声向量；

将所述第一目标噪声向量输入所述n层神经网络单元中的每层神经网络单元中，并将所述预设向量输入至所述第一层神经网络单元中，使得所述最后一层神经单元输出一个第一人像图像；

将所述第一人像图像输入所述判别网络；

通过所述判别网络区分所述真实的人像图像和所述第一人像图像，得到判别结果；

若所述判别结果指示所述判别网络能够区分所述人像图像和所述真实的人像图像，则更新所述生成网络的参数和/或所述判别网络的参数；

若所述判别结果指示所述判别网络无法区分所述人像图像和所述真实的人像图像，则导出所述生成网络。

7.根据权利要求2至5中任一项所述的方法，其特征在于，所述非线性变换基于至少一层全连接网络实现。

8.一种生成人像图像的装置，其特征在于，所述装置包括：

获取单元，用于获取多个随机噪声向量；

非线性变换单元，用于对所述获取单元获取的所述多个随机噪声向量进行非线性变换得到多个目标噪声向量，其中所述多个随机噪声向量与所述多个目标噪声向量一一对应；

输入单元，用于根据所述非线性单元得到所述多个目标噪声向量，得到多组向量序列，其中每组向量序列中包含的目标噪声向量的数量均为n，n为大于或等于2的正整数；

生成单元，用于基于所述多组向量序列生成多个人像图像，所述多组向量序列与所述多个人像图像一一对应。

9.一种可读介质，其特征在于，所述可读介质上存储有指令，所述指令在电子设备上执行时使所述电子设备执行如权利要求1至7中任一项所述的生成人像图像的方法。

10.一种电子设备，其特征在于，包括：

存储器，用于存储由所述电子设备的一个或多个处理器执行的指令，以及

处理器，是所述电子设备的处理器之一，用于执行如权利要求1至7中任一项所述的生成人像图像的方法。

Images