CN108171266A - 一种多目标深度卷积生成式对抗网络模型的学习方法 - Google Patents

Abstract

本发明公开了一种多目标深度卷积生成式对抗网络模型及其学习方法，主要解决目前深度卷积生成式对抗网络训练难以收敛和训练不稳定问题，其实现方案是：提出了多目标深度卷积生成式对抗网络模型；采用群搜索策略同时训练多组深度卷积生成式对抗网络实现多个个体协同进化保证了模型训练的稳定性；采用Pareto占优机制每次迭代中选择潜在最优的生成网络和对抗网络的组合进行后期的训练保证了模型训练的收敛性；针对深度卷积网络特性设计了交叉算子实现不同网络之间参数信息的交互；结合演化算法的全局搜索能力和梯度下降算法的快速局部搜索能力可以有效地保证新提出的学习框架的准确性和有效性。

Description

一种多目标深度卷积生成式对抗网络模型的学习方法

技术领域

本发明属于深度学习技术领域，具体涉及一种多目标深度卷积生成式对抗网络模型及其学习方法，可用于图片的生成和图片分类任务。

背景技术

生成式对抗网络(Generative Adversarial Networks)是一种生成式深度学习模型，关于生成式对抗网络的研究已经成为深度学习领域的热点。生成式对抗网络的主要思想是学习训练样本的概率分布，并且根据学习到的分布实现数据的表示和扩充。

生成式对抗网络在结构上受博弈论中二人零和博弈的启发，即博弈双方的收益之和为零，双方不存在合作关系，一方收益必然会导致另一方的损失。

生成式对抗网由两个重要部分组成：

一个是生成器(Generator)用于学习数据的分布并根据分布生成新的样本；

另一个是判别器(Discriminator)用于判断输入的样本是真实数据还是生成器生成的数据。

判别器是一个二值分类器，它的目的是准确地判断出输入的样本是真实的还是生成器生成的。生成器的目的是生成尽可能像真实样本的数据，让判别器误认为生成的数据是真实的样本。

生成式对抗网络的学习过程可以看成是判别器和生成器两者间的极小极大博弈，最终达到纳什均衡的状态。

生成式对抗网络模型训练一直以来都是个难点问题，因为训练生成器和训练判别器是两个相互冲突的任务。如果判别器性能太好会把所有的通过生成器生成的数据识别出来，则不利于生成器的学习。如果学习过程中生成器的性能特别好，即生成器可以很好的捕获真实数据的分布，则不利于判别器性能的提升。所以生成式对抗网络训练过程中经常会出现训练过程不稳定和崩溃模式现象。

所以在训练过程中两个网络的性能需要保证平衡，即生成网络生成图像的能力和判别网络识别图像的能力要同步提升。

发明内容

针对上述技术问题，本发明提出一种多目标深度卷积生成式对抗网络模型的学习方法，该方法采用多目标优化技术分别考虑生成器和判别器的损失，同时利用进化算法中群智能搜索的优势，通过种群之间的竞争与合作机制增强算法的搜索性能，可以更加准确地找到纳什均衡点。

为实现上述技术目的，本发明采用如下具体的技术方案：

一种多目标深度卷积生成式对抗网络模型的学习方法，包括以下几个步骤：

(1)种群初始化：

采用随机生成方式初始化n个生成器G和n个判别器D的参数，并且按照顺序组合成n组生成式对抗网络；

(2)局部搜索阶段：

单独训练n组生成式对抗网络，更新n组生成式对抗网络中的生成器和判别器的参数；

(3)种群产生和种群评估：

不同的生成器和判别器通过相互两两组合，可以得到n×n组深度卷积生成式对抗网络模型，可以得到每个生成式对抗网络组合的目标函数的评估值；

(4)基于Pareto占优的选择策略：

采用Pareto占优机制在每次迭代过程中选择潜在最优的生成网络和对抗网络的组合进行后期的模型训练；

(5)全局搜索阶段：

采用交叉算子实现不同网络模型之间参数信息的交互，并且结合演化算法的全局搜索和梯度下降算法的快速局部搜索保证新提出的学习框架的准确性和有效性；

(6)图像生成阶段：

模型参数训练结束，可以通过已训练好的生成器输入随机噪声生成图像。

步骤(1)中所述的种群初始化具体步骤如下：

第一步，设置深度卷积生成式对抗网络中生成器G的结构；

第二步，设置深度卷积生成式对抗网络中判别器D的结构；

第三步，采用随机生成方式初始化n个生成器和n个判别器参数其中，

θ_g表示单个生成器的参数，

θ_d表示单个判别器的参数，

Θ_G表示种群中包含所有生成器的参数，

Θ_D表示种群中包含所有判别器的参数；它们按照顺序组合成n组生成式对抗网络：其中，

<θ_g,θ_d>表示一组生成式判别器，

Θ_GAN表示多组生成式判别网络。

步骤(2)所述的训练多个生成对抗网络的具体步骤如下：

对于每一个生成对抗网络，向生成器G输入100维的服从均匀分布的噪声z，将无标签数据和生成器G生成的数据样本输入判别器D，生成器G和判别器D互相竞争对抗学习训练，更新网络中参数。

步骤(3)所述的种群评估的具体步骤如下：

第一步，种群中包含n个生成器G，和n个判别器D，公式如下所示：

其中，θ_g表示单个生成器的参数，

θ_d表示单个判别器的参数，

Θ_G表示种群中包含所有生成器的参数，

Θ_D表示种群中包含所有判别器的参数；

第二步，不同的生成器G和判别器D通过相互两两组合，可以得到n×n组深度卷积生成式对抗网络对模型，我们定义其为种群为Pop，公式如下所示：

其中，

<θ_g,θ_d>表示一组生成式判别器，

第三步，当每组生成网络参数Θ_G和对抗网络参数Θ_D给定后，可以得到每个生成式对抗网络的目标函数的评估值，公式如下所示：

其中，

MO-DCGAN(θ_g,θ_d):＝(f_d(θ_d:θ_g),f_g(θ_g))

subject to(θ_g,θ_d)∈Ω

Pop_obj表示在目标空间中的种群情况，MO-DCGAN(θ_g,θ_d)为多目标深度卷积生成式对抗网络模型的目标函数，其定义为：

MO-DCGAN(θ_g,θ_d):＝(f_d(θ_d:θ_g),f_g(θ_g))表示多目标深度卷积生成式对抗网络MO-DCGAN(θ_g,θ_d)包含两个目标：

衡量生成器性能的目标：为生成器损失函数f_g(θ_g)等于log(D(G(z)))(即生成器G生成的数据的不能被判别器识别的能力) 的期望，

和衡量判别器性能的目标：

当生成器的参数θ_g给定时，判别器损失函数f_d(θ_d:θ_g)定义为log(D(x))-log(1-D(G(z)))(即判别器 D可以区分真实数据x和生成器G生成的数据G(z)的能力)的期望。

步骤(4)所述Pareto占优机制的具体步骤如下：

第一步，对于给定的两组多目标深度卷积生成式对抗网络的参数 如果同时满足条件 和并且二者不相等，那么支配通常记做

如果种群中没有其它模型参数解可以支配我们称其为Pareto最优解，Pareto最优解的集合称为Pareto集；

第二步，非支配排序，对于给定的一个种群，选择Pareto解集并且给其设置为第一个优先级，从种群中去除第一个优先级中的个体，再次选取出Pareto 解集，将其设置为第二个优先级，以此类推直到种群中所有的个体都设定了优先级；第一个优先级别中的个体的性能比其他优先级别中的个体的性能好；对于同一个优先级别的个体采用拥挤距离衡量个体的重要性，个体的拥挤距离为同一个优先级上与其相邻的两个个体构成矩形的面积的大小，矩形面积越大表示该个体越重要；

第三步，个体选择，根据第二步骤中非支配排序的结果和拥挤距离对每个个体重要性的测量选择n组深度生成式对抗网络的组合：

6.根据权利要求1所述的多目标深度卷积生成式对抗网络模型的学习方法，其特征在于，其中步骤(5)全局搜索的方法如下：

采用二值编码对判别器G和生成器D的网络结构进行编码，其中每个比特位表示每个卷积层中的参数；比如，生成器g₁的编码为(0,0,0,0,0)，生成器g₂的操作为(1,1,1,1,1)，通过交叉操作得到新的编码为(1,0,0,1,1)，对应的生成器为g_new；

对判别器的交叉操作和生成器的交叉操作相似，当生成器或者判别器陷入局部极值点时，通过采用交叉操作可以让它跳出局部极值点。

有益效果：

本发明与现有的技术相比具有以下优点：

1.本发明提出的多目标深度卷积生成式对抗网络模型,通过采用多目标的技术可以更加准确的评估生成器和判别器的性能，同时采用Pareto占优机制可以更好的组织成器和判别器的协同训练。

2.本发明采用的群搜索策略同时训练多组深度卷积生成式对抗网络实现多个个体协同进化保证了模型训练的稳定性。

3.本发明采用的Pareto占优机制每次迭代中选择潜在最优的生成网络和对抗网络的组合进行后期的训练保证了模型训练的收敛性。

4.本发明针对深度卷积网络特性设计了交叉算子实现不同网络之间参数信息的交互。

5.本发明结合演化算法的全局搜索能力和梯度下降算法的快速局部搜索能力可以有效地保证新提出的学习框架的准确性和有效性。

6.本发明针对多目标生成式对抗网络提出了多目标深度卷积生成式对抗网络(MO-DCGAN)学习框架。

附图说明

图1是本发明的实现流程图；

图2是本发明中非支配排序示意图；

图3是本发明生成器网络交叉操作示意图；

图4是本发明实验中Fower102数据集随机选择64幅图像样例；

图5是本发明实验中采用Flower102数据集DCGAN第300代和MO-DCGAN模型第30代生成的图像；其中图5(a)是DCGAN模型迭代300代生成的图像，图 5(b)是采用MO-DCGAN模型和算法中个体1生成的图像，图5(c)是采用MO-DCGAN 模型和算法中个体2生成的图像,图5(d)是采用MO-DCGAN模型和算法中个体3 生成的图像,图5(e)是采用MO-DCGAN模型和算法中个体4生成的图像,图5(f) 是采用MO-DCGAN模型和算法中个体5生成的图像；

图6是本发明实验中采用Flower102数据集DCGAN第300代和MO-DCGAN模型第30代生成的图像放大图；其中图6(a)是DCGAN模型迭代300代生成的图像，图6(b)是采用MO-DCGAN模型和算法中个体1生成的图像，图6(c)是采用 MO-DCGAN模型和算法中个体2生成的图像,图6(d)是采用MO-DCGAN模型和算法中个体3生成的图像,图6(e)是采用MO-DCGAN模型和算法中个体4生成的图像, 图6(f)是采用MO-DCGAN模型和算法中个体5生成的图像；

图7是本发明实验中CelebA数据集随机选择64幅图像样例；

图8是本发明实验中采用CelebA数据集DCGAN第300代和MO-DCGAN模型第 30代生成的图像；其中图8(a)是DCGAN模型迭代300代生成的图像，图8(b) 是采用MO-DCGAN模型和算法中个体3生成的图像，图8(c)是采用MO-DCGAN模型和算法中个体4生成的图像,图8(d)是采用MO-DCGAN模型和算法中个体5生成的图像；

图9是本发明实验中CelebA数据集随机选择64幅图像样例；

图10是本发明实验中采用CelebA数据集DCGAN第300代和MO-DCGAN模型第30代生成的图像；其中，图10(a)是DCGAN模型迭代300代生成的图像；图 10(b)是采用MO-DCGAN模型和算法中个体3生成的图像；图10(c)是采用 MO-DCGAN模型和算法中个体4生成的图像；图10(d)是采用MO-DCGAN模型和算法中个体5生成的图像。

具体实施方式

以下结合附图对本发明的实现步骤和实验效果作进一步详细描述：

参照图1，本发明的具体实现步骤如下：

步骤1，种群初始化。

采用随机生成方式初始化n个生成器和n个判别器参数并且按照顺序组合成n组生成式对抗网络：

进入局部搜索阶段对每一组生成式对抗网络进行学习优化。

设置DCGAN中生成器G的结构：一个由输入层→反卷积层→反卷积层→反卷积层→反卷积层→输出层组成的5层微步幅卷积神经网络，给定各层的特征映射图，并确定各反卷积层的尺寸并随机初始化权值和偏置，每层参数设置如下：

对于第1层输入层，输入为100维噪声向量；

对于第2层反卷积层，设置特征映射图数目为512，设置滤波器尺寸为5；

对于第3层反卷积层，设置特征映射图数目为256，设置滤波器尺寸为5；

对于第4层反卷积层，设置特征映射图数目为128，设置滤波器尺寸为5；

对于第5层反卷积层，设置特征映射图数目为64，设置滤波器尺寸为5；

输出层输出64×64×3大小的伪彩图；

设置DCGAN中判别器D的结构：一个由输入层→卷积层→卷积层→卷积层→卷积层→二分类器组成的5层带步长全卷积神经网络，给定各层的特征映射图，并确定卷积层的尺寸并随机初始化权值和偏置，每层参数设置如下：

对于第1层输入层，设置特征映射图数目为3；

对于第2层卷积层，设置特征映射图数目为64，设置滤波器尺寸为5；

对于第3层卷积层，设置特征映射图数目为128，设置滤波器尺寸为5；

对于第4层卷积层，设置特征映射图数目为256，设置滤波器尺寸为5；

对于第5层卷积层，设置特征映射图数目为512，设置滤波器尺寸为5；

二分类器输出一个标量，表示对样本真实性的评分。

步骤2，局部搜索阶段。

单独训练多对生成对抗网络更新参数Θ_G和Θ_D。

步骤3，种群产生和种群评估。

不同的生成器G和判别器D通过相互两两组合，可以得到n×n组深度卷积生成式对抗网络对模型，我们定义其为种群为Pop，公式如下所示：

当每组生成网络参数Θ_G和对抗网络参数Θ_D给定后，可以得到每个生成式对抗网络组合的目标函数的评估值，公示如下所示：

步骤4，基于Pareto占优的选择策略。

进化计算通过种群之间的竞争与合作达到全局优化的目的。种群间的竞争表现为在每一代中淘汰种群中性能差的解，个体之间的合作行为体现在通过交叉操作产生新个体的行为。在MO-DCGAN模型优化中种群的个数是n×n，我们需要选择n个个体用于下一阶段的训练。在每一代评估种群中个体性能的时候，我们采用经典进化多目标优化算法NSGA-II中快速非支配排序和拥挤距离测度，通过“优胜劣汰”机制选择性能较好的组合用于下一代的训练。

图2给出了非支配排序的示意图。在图中每个点代表一个个体，种群分为两个优先级，其中实心点分布在第一个优先级上，空心点分布在第二个优先级。当一个优先级中的个体的数量多于我们所需要的数量的时候，我们需要根据个体的重要性进行筛选。对于同一个优先级上的个体的重要性采用拥挤距离度量，个体的拥挤距离为同一个优先级上与其相邻的两个个体构成矩形的面积，图二中个体 c的拥挤距离为虚线框的面积。拥挤距离越大个体存活的概率越大。在每一次的迭代中我们选择n个个体存活下来进行新一轮的训练。

步骤5，全局搜索阶段。

和传统的神经网络相比卷积神经网络中至少有一层采用卷积操作代替矩阵相乘。卷积神经网络有三个核心：局部感受野、权值共享和池化。局部感受野体现在滤波器的设计上，卷积核模拟了生物视觉系统中眼睛在看东西的时候只能聚焦在一个很小的局部，卷积核每次只能观测图像中和它相同大小的区域。权值共享策略通过让隐藏层不同的结点设置成相同的滤波器参数，实现训练参数的减少同时使网络具有一定能力的平移不变性，并且提升了网络的泛化性能。池化操作让网络可以在不同的尺度上对图像进行观测、降低了模型的计算复杂度同时提升了模型的鲁棒性。卷积核在卷积神经网络中扮演者重要的角色，卷积核的参数直接决定网络的性能，本章通过交叉算子实现不同网络之间卷积核的交换。

本发明采用二值编码对判别器G和生成器D的网络结构进行编码，其中每个比特位表示每个卷积层中的参数，如图三所示。在图中生成器的编码为 (0,0,0,0,0)，生成器的操作为(1,1,1,1,1)，通过交叉操作得到新的编码为 (1,0,0,1,1)，对应的生成器为。对判别器的交叉操作和生成器的交叉操作相似，这里不再赘述。交叉操作有助于全局寻优能力，当生成器或者判别器陷入局部极值点时，通过采用交叉操作可以让它跳出局部极值点，然后再通过梯度下降的算法寻优。

为了保证算法的稳定性，每一代的进化中只随机选择一个个体进行交叉操作，并且对于选中的个体以50％的概率选择生成网络交叉或者判别网络进行交叉，每一代中只采用交叉操作对一个网络参数变更。

步骤6，图像生成阶段。

模型参数训练结束，可以通过往训练好的生成器输入100维的随机噪声生成图像，通过观察图像的质量验证网络的性能。

本发明的效果可以通过以下仿真实验进一步说明：

1.仿真条件：

硬件平台为：HP Z840。

软件平台为：TensorFlow。

2.仿真内容与结果：

用本发明方法在上述仿真条件下进行实验，本章实验采用三个数据集：Flower102，CUB-200-2011和CelebA，接下来给出每个数据集的实验细节。

Flower102数据集

Flower102数据集包含102类英国盛开花朵的图片，其中每类由40到258 个图片组成，本实验使用所有的图片共8189张图片用于模型的训练。数据集中图片的大小不规则，在实验之前把所有的图片都处理成64×64的大小。从 Flower102数据库中随机选择64幅图像，以8×8的方式组成一幅图片，如图4 所示。

图5给出了DCGAN和MO-DCGAN生成图像的效果图，其中图5(a)是DCGAN 模型迭代300代生成的图像，图5(b)是采用MO-DCGAN模型和算法中个体1生成的图像，图5(c)是采用MO-DCGAN模型和算法中个体2生成的图像,图5(d)是采用MO-DCGAN模型和算法中个体3生成的图像,图5(e)是采用MO-DCGAN模型和算法中个体4生成的图像,图5(f)是采用MO-DCGAN模型和算法中个体5生成的图像。通过对比生成的图像可以发现，两种模型都可以捕捉到Flower102数据集的数据分布情况。MO-DCGAN生成的图像的多样性更好，从图5(a)中可以发现 DC-GAN生成的图像有很多重复的。

为了进一步观察生成图像的细节部分，图6给出了图5中每个图像的左上角局部放大图。其中图6(a)是DCGAN模型迭代300代生成的图像，图6(b)是采用 MO-DCGAN模型和算法中个体1生成的图像，图6(c)是采用MO-DCGAN模型和算法中个体2生成的图像,图6(d)是采用MO-DCGAN模型和算法中个体3生成的图像, 图6(e)是采用MO-DCGAN模型和算法中个体4生成的图像,图6(f)是采用 MO-DCGAN模型和算法中个体5生成的图像。从图中可以看出MO-DCGAN生成的图像不仅多样性更好些，而且可以看到更多的细节信息。

图6(a)中可以看出DCGAN生成的16幅图像中包含两组相似图像，另外花的结构并不明显。另外，对于MO-DCGAN中5个个体，个体1和个体2生成的图像的背景不太平滑，可以明显看出有人为干预的痕迹，但是其生成的图像的结构和纹理信息比较逼真。个体3-5生成的图像中花和背景看起来都比较自然，整体性能较好。

CelebA数据集

CelebA是一个大型人脸数据集，它包含202,599张人脸图像，这些图像包括复杂的背景和多种姿态，实验中随机选择了10％的图像用于模型的训练。预处理阶段只把图像中人脸部分截取出来并且变成的大小。从随机产生的数据集中随机选择64幅图片以8×8的方式显示，如图7所示。可以看出，图中的人脸有各种不同的角度，不同性别，不同肤色同时也存在一些不清楚的人脸(如第一行第六张人脸)。

图8显示了DCGAN训练300代，MO-DCGAN训练30代得到的图像。其中图8(a) 是DCGAN模型迭代300代生成的图像，图8(b)是采用MO-DCGAN模型和算法中个体3生成的图像，图8(c)是采用MO-DCGAN模型和算法中个体4生成的图像,图 8(d)是采用MO-DCGAN模型和算法中个体5生成的图像。通过观察可以发现，DCGAN 和MO-DCGAN生成的图像大部分都很逼真，但都存在少量看起来不自然和判断不出来是人脸的图像。仔细观察会发现，通过MO-DCGAN网络生成图像的细节信息更丰富些，人脸的立体感更强。另外，通过采用MO-DCGAN可以生成更多更丰富的人脸数据。

CUB-200-2011数据集

CUB-200-2011数据集是包含200种北美鸟类图像的数据集，其中每个类别图像的数量从20到40不等，共计6033幅图像。数据集中图片的大小不规则，在实验之前把所有的图片都处理成的大小。从CUB-200-2011数据集中随机选择 64幅图片以的方式显示，如图9所示。可以看出，每个图中的背景不同并且鸟的姿态各异，同时每只鸟在图中占的比例也不一样。

图10给出了DCGAN和MO-DCGAN生成图像的效果图。

其中图10(a)是DCGAN模型迭代300代生成的图像，

图10(b)是采用MO-DCGAN模型和算法中个体3生成的图像，

图10(c)是采用MO-DCGAN模型和算法中个体4生成的图像,

图10(d)是采用MO-DCGAN模型和算法中个体5生成的图像。

通过对比可以发现MO-DCGAN生成的图像具有更好的多样性，因为从生成的图10(b)-(d)中可以看出图像的细节更逼真，场景更合理。

对于MO-DCGAN生成的大多数图像可以轻松辨识出图像中鸟所处的场景，从中可以挖掘出很多语义信息，如在空中的鸟儿的背景是天空，在水面上飞的鸟儿的下方是有波纹的水面，在树林中的鸟儿的背景是植物。

DCGAN网络生成的图像中鸟和背景并不一致，如有的鸟儿立在空中，有的图像中判断不出来鸟儿所处的环境。

因为该数据库较复杂，所以两种方法生成的图像的细节都不太理想，但总体来看，通过MO-DCGAN网络生成的图像包含更为丰富和准确的细节信息。

图6(b)-(d)可以找到若干张鸟结构很清晰的图，但是图10(a)中生成的图像对鸟的细节刻画并不理想，仔细观察也很难辨识出鸟的结构。

CUB-200-2011数据集的实验结果表明本章提出的模型MO-DCGAN生成的数据要优于传统DCGAN模型生成的数据。

Claims (6)

1.一种多目标深度卷积生成式对抗网络模型的学习方法，其特征在于,包括以下几个步骤：

(1)种群初始化：

采用随机生成方式初始化n个生成器G和n个判别器D的参数，并且按照顺序组合成n组生成式对抗网络；

(2)局部搜索阶段：

单独训练n组生成式对抗网络，更新n组生成式对抗网络中的生成器和判别器的参数；

(3)种群产生和种群评估：

不同的生成器和判别器通过相互两两组合，可以得到n×n组深度卷积生成式对抗网络模型，可以得到每个生成式对抗网络组合的目标函数的评估值；

(4)基于Pareto占优的选择策略：

采用Pareto占优机制在每次迭代过程中选择潜在最优的生成网络和对抗网络的组合进行后期的模型训练；

(5)全局搜索阶段：

采用交叉算子实现不同网络模型之间参数信息的交互，并且结合演化算法的全局搜索和梯度下降算法的快速局部搜索保证新提出的学习框架的准确性和有效性；

(6)图像生成阶段：

模型参数训练结束，可以通过已训练好的生成器输入随机噪声生成图像。

2.根据权利要求1所述的多目标深度卷积生成式对抗网络模型的学习方法，其特征在于，步骤(1)中所述的种群初始化具体步骤如下：

第一步，设置深度卷积生成式对抗网络中生成器G的结构；

第二步，设置深度卷积生成式对抗网络中判别器D的结构；

第三步，采用随机生成方式初始化n个生成器和n个判别器参数其中，

θ_g表示单个生成器的参数，

θ_d表示单个判别器的参数，

Θ_G表示种群中包含所有生成器的参数，

Θ_D表示种群中包含所有判别器的参数；它们按照顺序组合成n组生成式对抗网络：其中，

<θ_g,θ_d>表示一组生成式判别器，

Θ_GAN表示多组生成式判别网络。

3.根据权利要求1所述的多目标深度卷积生成式对抗网络模型的学习方法，其特征在于，步骤(2)所述的训练多个生成对抗网络的具体步骤如下：

对于每一个生成对抗网络，向生成器G输入100维的服从均匀分布的噪声z，将无标签数据和生成器G生成的数据样本输入判别器D，生成器G和判别器D互相竞争对抗学习训练，更新网络中参数。

4.根据权利要求1所述的多目标深度卷积生成式对抗网络模型的学习方法，其特征在于，步骤(3)所述的种群评估的具体步骤如下：

第一步，种群中包含n个生成器G，和n个判别器D，公式如下所示：

其中，θ_g表示单个生成器的参数，

θ_d表示单个判别器的参数，

Θ_G表示种群中包含所有生成器的参数，

Θ_D表示种群中包含所有判别器的参数；

第二步，不同的生成器G和判别器D通过相互两两组合，可以得到n×n组深度卷积生成式对抗网络对模型，我们定义其为种群为Pop，公式如下所示：

其中，

<θ_g,θ_d>表示一组生成式判别器，

第三步，当每组生成网络参数Θ_G和对抗网络参数Θ_D给定后，可以得到每个生成式对抗网络的目标函数的评估值，公式如下所示：

其中，

MO-DCGAN(θ_g,θ_d):＝(f_d(θ_d:θ_g),f_g(θ_g))

subject to(θ_g,θ_d)∈Ω

Pop_obj表示在目标空间中的种群情况，MO-DCGAN(θ_g,θ_d)为多目标深度卷积生成式对抗网络模型的目标函数，其定义为：MO-DCGAN(θ_g,θ_d):＝(f_d(θ_d:θ_g),f_g(θ_g))表示多目标深度卷积生成式对抗网络MO-DCGAN(θ_g,θ_d)包含两个目标：

衡量生成器性能的目标：为生成器损失函数f_g(θ_g)等于log(D(G(z)))(即生成器G生成的数据的不能被判别器识别的能力)的期望，

和衡量判别器性能的目标：当生成器的参数θ_g给定时，判别器损失函数f_d(θ_d:θ_g)定义为log(D(x))-log(1-D(G(z)))(即判别器D可以区分真实数据x和生成器G生成的数据G(z)的能力)的期望。

5.根据权利要求1所述的多目标深度卷积生成式对抗网络模型的学习方法，其特征在于，步骤(4)所述Pareto占优机制的具体步骤如下：

第一步，对于给定的两组多目标深度卷积生成式对抗网络的参数 如果同时满足条件 和并且二者不相等，那么支配通常记做

如果种群中没有其它模型参数解可以支配我们称其为Pareto最优解，Pareto最优解的集合称为Pareto集；

第二步，非支配排序，对于给定的一个种群，选择Pareto解集并且给其设置为第一个优先级，从种群中去除第一个优先级中的个体，再次选取出Pareto解集，将其设置为第二个优先级，以此类推直到种群中所有的个体都设定了优先级；第一个优先级别中的个体的性能比其他优先级别中的个体的性能好；对于同一个优先级别的个体采用拥挤距离衡量个体的重要性，个体的拥挤距离为同一个优先级上与其相邻的两个个体构成矩形的面积的大小，矩形面积越大表示该个体越重要；

第三步，个体选择，根据第二步骤中非支配排序的结果和拥挤距离对每个个体重要性的测量选择n组深度生成式对抗网络的组合：

6.根据权利要求1所述的多目标深度卷积生成式对抗网络模型的学习方法，其特征在于，其中步骤(5)全局搜索的方法如下：

采用二值编码对判别器G和生成器D的网络结构进行编码，其中每个比特位表示每个卷积层中的参数；比如，生成器g₁的编码为(0,0,0,0,0)，生成器g₂的操作为(1,1,1,1,1)，通过交叉操作得到新的编码为(1,0,0,1,1)，对应的生成器为g_new；

对判别器的交叉操作和生成器的交叉操作相似，当生成器或者判别器陷入局部极值点时，通过采用交叉操作可以让它跳出局部极值点。