CN109933677A - 图像生成方法和图像生成系统 - Google Patents

Abstract

本发明提供一种图像生成方法和图像生成系统。该图像生成方法包括：构建包含有多个真实图像的真实图像数据库，根据图像的风格对所述真实图像数据库中的图像进行分类；形成生成式对抗网络模型；将分类好的相同或相似风格的所述真实图像数据库的真实图像输入所述生成式对抗网络模型，训练所述生成式对抗网络模型；将随机向量输入到已经训练好的所述生成式对抗网络模型，生成虚拟图像。根据本发明的方法，其通过利用真实的图像数据训练生成式对抗网络模型，从而能够通过生成网络达到无限生成的目的。

Description

图像生成方法和图像生成系统

技术领域

本发明涉及图像生成领域，特别涉及一种基于生成式对抗网络(GAN,GenerativeAdversarial Networks)模型生成图像的图像生成方法及图像生成系统。

背景技术

深度学习是机器学习中一种基于对数据进行表征学习的方法。观测值可以使用多种方式来表示，如每个像素强度值的向量，或者更抽象地表示成一系列边、特定形状的区域等。深度学习其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本等。其优势在于用非监督式或半监督式的特征学习和分层特征提取高效算法来替代手工获取特征。

现有的技术方案主要为基于传统图像算法的图像处理技术，利用滤波，分割，变换，提取特征等算法技术手段对原始图像进行增强。

传统图像算法存在的缺点：

1.传统图像算法所产生并且使用的特征可以被认为属于浅层特征，而且不能从原始图像中获取更加深入的高语义特征以及其深度特征。

2.为了获得好的效果，传统图像算法必须结合人造特征的帮助，而人为设定的特征在特征提取和识别过程中通常会带来不可期望的人为因素和误差。

3.在没有人为的干预下，传统图像算法往往不能自动地从原始图像中提取有用的识别特征，而且当面对大数据的情况下，传统方法往往展现出自身存在的不足和困难。

相较于传统图像算法，深度学习具有：更好的表现，深度网络已经实现了远远超过传统方法的精确度，包括语音、自然语言、视觉等许多领域。同时与传统算法相比，深度网络使用更多的数据可以更好地扩展。

由于传统图像算法无法提取图像的深层语义特征，因此，无法在更深层次上提取图像(例如LOGO)的模式，并在此基础上生成新的图像(例如，LOGO)素材，进而生成更加个性化的定制图像(例如LOGO)。

发明内容

为了解决上述问题，本发明提供一种图像生成方法，其通过利用真实的图像数据训练生成式对抗网络模型，从而能够通过生成网络达到无限生成的目的。

为了实现上述目的，本申请提供一种图像生成方法，其包括：构建包含有多个真实图像的真实图像数据库，根据图像的风格对所述图像数据库中的真实图像进行分类；形成生成式对抗网络模型；将分类好的相同或相似风格的所述真实图像数据库的真实图像输入所述生成式对抗网络模型，训练所述生成式对抗网络模型；将随机向量输入到已经训练好的所述生成式对抗网络模型，生成虚拟图像。

进一步地，所述真实图像包括LOGO图片。

进一步地，所述生成式对抗网络模型包括生成器和与所述生成器连接的判别器，所述生成器和所述判别器通过卷积神经网络形成。

进一步地，所述向量包括多个预设参数，通过调整所述预设参数改变生成的所述虚拟图像。

进一步地，将分类好的相同或相似风格的所述真实图像数据库输入所述生成式对抗网络模型，训练所述生成式对抗网络模型包括：更新所述生成器的参数，使得D(G(z))接近于1；更新所述判别器的参数，使得D(G(z))接近于0；其中，更新所述生成器的参数包括：固定所述判别器，更新所述生成器，使得当且仅当p_g＝p_data时，目标函数V(D,G)取到全局最小值；更新所述判别器的参数包括：固定所述生成器，更新所述判别器，使得D^*(x)＝p_data(x)/(p_data(x)+p_g(x))最优，其中，x表示训练数据，G表示生成器，D表示判别器，p_data表示真实数据分布，G(z)表示将输入的噪声z映射成图片，D(x)代表x来自于真实数据分布p_data的概率，p_g表示生成器在训练数据x上的概率分布，D^*表示最优的判别器。

根据本发明的另一方面，提供一种图像生成系统，所述图像生成系统包括：真实图像数据库构建部，所述构建部根据图像的风格对所述真实图像数据库中的真实图像进行分类以形成具有不同风格的多个图像数据库组，所述真实图像数据库包含有多个真实图像；生成式对抗网络模型，接收来自所述构建部的相同或相似风格的所述真实图像数据库的真实图像，通过所接收的真实图像训练所述生成式对抗网络模型；向量输入部，与所述生成式对抗网络模型连接，所述生成式对抗网络模型接收来自所述向量输入部的输入；图像显示部，与所述生成式对抗网络模型连接，基于所述向量输入部的输入信息，显示由经过训练的所述生成式对抗网络模型生成的虚拟图像。

进一步地，所述向量输入部包括多个参数可调整的参数模块，所述可调整的参数模块用于调节所述生成式对抗网络模型生成的图像。

进一步地，所述真实图像包括LOGO图片，所述图像生成系统用于生成LOGO图片。

根据本发明的再一方面，提供一种计算机设备，其包括处理器和存储器；所述存储器用于存储计算机指令，所述处理器用于运行所述存储器存储的计算机指令，以实现上述的图像生成方法。

根据本发明的又一方面，提供一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现上述的一种图像生成方法。

通过本发明的图像生成方法，利用海量的真实logo素材库数据素材训练好的神经网络模型，能够通过生成网络达到无限生成的目的。并且，通过特定参数的调整，完成个性化风格化logo的生成。

附图说明

构成本申请的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1示出了根据本发明一优选实施例的图像生成方法的流程图；

图2示出了根据本发明一优选实施例的图像生成系统的结构示意图。

具体实施方式

应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。

在后续的描述中，使用用于表示元件的诸如“模块”、“部件”或“单元”的后缀仅为了有利于本发明的说明，其本身没有特定的意义。因此，“模块”、“部件”或“单元”可以混合地使用。

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。以下对至少一个示例性实施例的描述实际上仅仅是说明性的，决不作为对本发明及其应用或使用的任何限制。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本申请的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，当在本说明书中使用术语“包含”和/或“包括”时，其指明存在特征、步骤、操作、器件、组件和/或它们的组合。

除非另外具体说明，否则在这些实施例中阐述的部件和步骤的相对布置、数字表达式和数值不限制本发明的范围。同时，应当明白，为了便于描述，附图中所示出的各个部分的尺寸并不是按照实际的比例关系绘制的。对于相关领域普通技术人员已知的技术、方法和设备可能不作详细讨论，但在适当情况下，所述技术、方法和设备应当被视为授权说明书的一部分。在这里示出和讨论的所有示例中，任何具体值应被解释为仅仅是示例性的，而不是作为限制。因此，示例性实施例的其它示例可以具有不同的值。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步讨论。

在说明本申请的方案之前，先介绍下术语：卷积神经网络(Convolutional NeuralNetworks，CNN)和生成式对抗网络(GAN，Generative Adversarial Networks)。

卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络(Feedforward Neural Networks)，是深度学习(deep learning)的代表算法之一。卷积神经网络仿造生物的视觉机制构建，可以进行监督学习和非监督学习，其隐含层内的卷积核参数共享和层间连接的稀疏性使得卷积神经网络能够以较小的计算量对图像像素进行学习、发掘其中更深层次的模式属性。

生成式对抗网络(GAN，Generative Adversarial Networks)是一种深度学习模型，是一种复杂分布上无监督学习最具前景的方法之一。模型通过框架中(至少)两个模块：生成模型(Generative Model)G和判别模型(Discriminative Model)D的互相博弈学习产生相当好的输出。

如图1所示，其示出了根据本发明的一优选实施例的图像生成方法。该方法包括：构建真实图像数据库，所述真实图像数据库包含有多个真实图像，根据图像的风格对图像数据库种的真实图像进行分类(S10)；形成生成式对抗网络模型(S20)；将分类好的相同或相似风格的所述真实图像数据库的真实图像输入生成式对抗网络模型，训练生成式对抗网络模型(S30)；将向量输入到已经训练好的生成式对抗网络模型，生成虚拟图像(S40)。

所构建的真实图像数据库可以是搜集的真实的图像，例如真实的LOGO图片等。下面，以生成LOGO图片(即，虚拟图像)来说明根据本发明的图像生成方法。

该方法中，搜集真实的LOGO图片(即，真实图像)，并根据LOGO的不同风格进行分类，将相同或相似风格的LOGO图片归入一个组中，将风格相同或相似的一个LOGO数据库组作为真实训练数据的样本输入到构建好的生成式对抗网络模型。

该生成式对抗网络模型包括生成器G和与生成器连接的判别器D。生成器G捕捉样本数据(真实数据和生成的数据统称样本数据)的分布，用服从某一分布(均匀分布，高斯分布等)的噪声z生成一个类似真实训练数据的样本，追求效果是越像真实样本越好；判别器D估计一个样本来自于训练数据(而非生成数据)的概率，如果样本来自于真实的训练数据，D输出大概率，否则，D输出小概率。

生成式对抗网络模型中生成器G和判别器D的选择没有限制，生成器G和判别器D一般多采用深度卷积神经网络。

生成器G的输入可以为一组随机噪声，通过反卷积得到图片大小尺寸的三通道矩阵，判别器D为分类器，通过卷积层和全连接层最终得到一个二分类的最终结点用来判断输入的图片来自真实图片库还是生成的图片。

生成器G和判别器D通过卷积神经网络算法构建而成。根据本发明的优选实施方式，生成器G可以由4个微步幅卷积层级联构成：第1个微步幅卷积层采用G1个t×t的卷积核进行微步幅卷积操作，其中t取正整数，G1取正整数；第2个微步幅卷积层采用G2个t×t的卷积核进行微步幅卷积操作，其中G2取正整数；第3个微步幅卷积层采用G3个t×t的卷积核进行微步幅卷积操作，其中G3取正整数；第4个微步幅卷积层采用3个t×t的卷积核进行微步幅卷积操作；每一层的卷积步长均为d，取正整数。

判别器D可以由4个卷积层级联构成，第1个卷积层采用D1个t×t的卷积核进行卷积操作，其中D1取正整数；第2个卷积层采用D2个t×t的卷积核进行卷积操作，其中D2取正整数；第3个卷积层采用D3个t×t的卷积核进行卷积操作，其中D3取正整数；第4个卷积层采用D4个t×t的卷积核进行卷积操作，其中D4取正整数；每一层的卷积步长均为d。

更优选地，生成器G可以由4个微步幅卷积层级联构成，第1个微步幅卷积层采用512个5×5的卷积核进行微步幅卷积操作，第2个微步幅卷积层采用256个5×5的卷积核进行微步幅卷积操作，第3个微步幅卷积层采用128个5×5的卷积核进行微步幅卷积操作，第4个微步幅卷积层采用3个5×5的卷积核进行微步幅卷积操作，各层卷积步长均为2。

判别器可以由4个卷积层级联构成的全卷积神经网络，第1个卷积层采用64个5×5的卷积核进行卷积操作，第2个卷积层采用128个5×5的卷积核进行卷积操作，第3个卷积层采用256个5×5的卷积核进行卷积操作，第4个卷积层采用512个5×5的卷积核进行卷积操作，各层卷积步长均为2。

以风格相同或相似的数据库组为样本，将该样本输入到如上所述构建的生成式对抗网络模型中，从而达到对生成式对抗网络模型的训练，更具体地说，对生成式对抗网络模型的生成器G和判别器D的训练。

下面详细说明利用风格相同或相似的数据库组训练生成式对抗网络模型的过程。

该生成式对抗网络模型定义一个噪声p_z(x)(或向量)作为先验，用于学习生成器G在训练数据(在该实施例中为风格相同或相似的LOGO数据库组)x上的概率分布p_g，G(z)表示将输入的噪声z映射成数据(即期望生成的图片)。D(x)代表x来自于真实数据分布(即，该实施例中的风格相同或相似的LOGO数据库组)p_data而不是p_g的概率。据此，优化的目标函数定义如下min max的形式：

在对判别器D的参数进行更新时：对于来自真实分布p_data的样本x而言，希望D(x)的输出越接近于1越好，即logD(x)越大越好；对于通过噪声z生成的数据G(z)而言，希望D(G(z))尽量接近于0(即判别器D能够区分出真假数据)，因此log(1-D(G(z)))也是越大越好，所以需要maxV_D。其中，maxV_D是指固定生成器G时V(D,G)取最大值时的D(x)。

在对生成器G的参数进行更新时：希望G(z)尽可能和真实数据一样，即p_g＝p_data。因此希望D(G(z))尽量接近于1，即log(1-D(G(z)))越小越好，所以需要minV_G。其中，minV_G是指固定判别器D时V(D,G)取最小值时的G(z)。需要说明的是，logD(x)是与G(z)无关的项，在求导时直接为0。

当固定生成器G更新判别器D时，最优解为D^*(x)＝p_data(x)/(p_data(x)+p_g(x))；而在更新生成器G时，当p_g＝p_data时目标函数取到全局最小值。最后两个模型博弈的结果是生成器G可以生成以假乱真的数据G(z)。而判别器D难以判定生成器G生成的数据是否真实，即D(G(z))＝0.5。

从而，当D(G(z))＝0.5，生成式对抗网络模型训练结束。

通过上述方式对生成式对抗网络模型进行训练，从而使得输入一向量后，经由训练后的生成式对抗网络模型生成的图像(例如，LOGO图片)更接近真实的图像，例如生成的图片更接近真实的LOGO。

优选地，上述输入的向量包括随机向量和通过输入的图片获得的向量。

优选地，上述向量包括多个预设参数，通过调整预设参数改变生成的图像，从而实现更加个性化的定制。

图2示出了根据本发明一优选实施例的图像生成系统。如图所示，该图像生成系统包括：真实图像数据库构建部10，该构建部根据图像的风格对真实图像数据库中的真实图像进行分类以形成具有不同风格的多个图像数据库组11，其中，该真实图像数据库包含有多个真实图像；生成式对抗网络模型20，接收来自构建部10的相同或相似风格的真实图像数据库的真实图像，通过所接收的真实图像训练该生成式对抗网络模型20；向量输入部30，与生成式对抗网络模型20连接，生成式对抗网络模型20接收来自向量输入部30的输入；图像显示部40，与生成式对抗网络模型20连接，基于向量输入部30的输入信息，显示由经过训练的生成式对抗网络模型20生成的虚拟图像。

图2所示的生成式对抗网络模型通过具有相同或相似风格的图像数据库组11作为训练样本进行根据图1所描述的样本训练后，获得生成器G和判别器D均被优化的生成式对抗网络模型20。当输入一随机向量后，该图像生成系统生成的图像更接近真实的图像。

举例来说，图2中的图像生成装可以为LOGO生成系统，其中的真实图像数据库为大量真实的LOGO图片，根据LOGO图片的风格，将这些真实的LOGO图片进行分类。将风格相同或相似的LOGO图片所构成的LOGO数据库组作为训练样本输入到生成式对抗网络模型20中对该模型进行训练，以优化生成式对抗网络模型20中的生成器G和判别器D。从向量输入部30输入一随机向量，经过训练的生成式对抗网络模型20能够输出一接近真实LOGO图片的LOGO，生成的该接近真实的LOGO图片经由图像显示部40呈现给用户。

优选地，向量输入部包括多个参数可调整的参数模块，可调整的参数模块用于调节所述生成式对抗网络模型生成的图像。例如，这些可调整的参数模块可以实现为调整按钮，用户可以通过鼠标拖动调整按钮来改变向量的参数，从而实现对所生成图像的调整，达到个性化设置，而且这种参数的调整也给客户提供了优越的体验性。

根据本发明的优选实施方式，提供一种计算机设备，其包括处理器和存储器；该存储器用于存储计算机指令，该处理器用于运行存储器存储的计算机指令，以实现上述的图像生成方法。

根据本发明的优选实施方式，提供一种计算机可读存储介质，该计算机可读存储介质存储有一个或者多个程序，该一个或者多个程序可被一个或者多个处理器执行，以实现上述的图像生成方法。

根据本发明，利用海量LOGO素材库数据素材训练好的神经网络模型，能够通过生成网络达到无限生成的目的。并且，通过特定参数的调整，完成个性化LOGO的生成。

以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (10)

1.一种图像生成方法，其特征在于，所述图像生成方法包括：

构建包含有多个真实图像的真实图像数据库，根据图像的风格对所述真实图像数据库中的真实图像进行分类；

形成生成式对抗网络模型；

将分类好的相同或相似风格的所述真实图像数据库的真实图像输入所述生成式对抗网络模型，训练所述生成式对抗网络模型；

将随机向量输入到已经训练好的所述生成式对抗网络模型，生成虚拟图像。

2.根据权利要求1所述的图像生成方法，其特征在于，所述真实图像包括LOGO图片。

3.根据权利要求1所述的图像生成方法，其特征在于，所述生成式对抗网络模型包括生成器和与所述生成器连接的判别器，所述生成器和所述判别器通过卷积神经网络形成。

4.根据权利要求1所述的图像生成方法，其特征在于，所述向量包括多个预设参数，通过调整所述预设参数改变生成的所述虚拟图像。

5.根据权利要求3所述的图像生成方法，其特征在于，将分类好的相同或相似风格的所述真实图像数据库输入所述生成式对抗网络模型，训练所述生成式对抗网络模型包括：

更新所述生成器的参数，使得D(G(z))接近于1；

更新所述判别器的参数，使得D(G(z))接近于0；

其中，更新所述生成器的参数包括：固定所述判别器，更新所述生成器，使得当且仅当p_g＝p_data时，目标函数V(D,G)取到全局最小值；

更新所述判别器的参数包括：固定所述生成器，更新所述判别器，使得

D^*(x)＝p_data(x)/(p_data(x)+p_g(x))最优，

其中，x表示训练数据，G表示生成器，D表示判别器，p_data表示真实数据分布，G(z)表示将输入的噪声映射成图片，D(x)代表x来自于真实数据分布p_data的概率，p_g表示生成器在训练数据上的概率分布，D^*表示最优的判别器。

6.一种图像生成系统，其特征在于，所述图像生成系统包括：

真实图像数据库构建部，所述构建部根据图像的风格对真实图像数据库中的真实图像进行分类以形成具有不同风格的多个图像数据库组，其中，所述真实图像数据库包含有多个真实图像；

生成式对抗网络模型，接收来自所述构建部的相同或相似风格的所述真实图像数据库的真实图像，通过所接收的真实图像训练所述生成式对抗网络模型；

向量输入部，与所述生成式对抗网络模型连接，所述生成式对抗网络模型接收来自所述向量输入部的输入；

图像显示部，与所述生成式对抗网络模型连接，基于所述向量输入部的输入信息，显示由经过训练的所述生成式对抗网络模型生成的虚拟图像。

7.根据权利要求6所述的图像生成系统，其特征在于，所述真实图像包括LOGO图片。

8.根据权利要求6所述的图像生成系统，其特征在于，所述向量输入部包括多个参数可调整的参数模块，所述可调整的参数模块用于调节所述生成式对抗网络模型生成的虚拟图像。

9.一种计算机设备，其特征在于，所述计算机设备包括处理器和存储器；

所述存储器用于存储计算机指令，所述处理器用于运行所述存储器存储的计算机指令，以实现权利要求1至5中任一项所述的图像生成方法。

10.一种计算机可读存储介质，所述计算机可读存储介质存储有一个或者多个程序，所述一个或者多个程序可被一个或者多个处理器执行，以实现权利要求1至5中任一项所述的图像生成方法。