CN109584337A - 一种基于条件胶囊生成对抗网络的图像生成方法 - Google Patents

Abstract

本发明公开了一种基于条件胶囊生成对抗网络的图像生成方法，包括下述步骤：图像数据采集并对图像进行预处理；提取出条件向量；获取随机噪声；设计一个神经网络作为生成器将随机噪声和条件向量映射为生成图片；设计另外一个神经网络作为判别器接收生成图片、真实图片和条件向量得到损失值；在训练对抗网络时，根据损失值最小化目标函数来调节生成器网络权值；训练完成后，生成器网络权值调整到最佳，此时舍弃判别器，保留生成器模型作为生成图像的最佳神经网络。本发明通过利用胶囊神经网络来设计判别器结构，结合现有的WGAN和CGAN的优点，网络能够有效避免梯度消失问题，同时生成的样本质量高，相比于现有技术算法，具有一定优势。

Description

一种基于条件胶囊生成对抗网络的图像生成方法

技术领域

本发明涉及图像处理技术领域，具体涉及一种基于条件胶囊生成对抗网络的图像生成方法。

背景技术

基于可微生成器网络的生成式建模方法，是目前最热门的研究领域，但由于真实样本分布的复杂性，导致GAN生成模型在稳定性、生成效率等方面均存在不少问题。因此，业界亟需能够提供稳定、高质量样本的生成算法。

生成式对抗网络理论基于博弈论场景，其中生成器网络通过与对手竞争来学习变换由某些简单的输入分布(通常是标准多变量正太分布或者均匀分布)到图像空间的分布——即越来越真实的样本；作为对手，判别器网络则试图区分从训练数据抽取的样本和从生成器中生成的样本；整体来说，双方都试图最小化各自的损失。

DCGAN将生成器中的全连接层用反卷积层代替，在图像合成的任务中取得了非常好的表现，并表明其潜在的表示空间能捕获到变化的重要因素。CGAN通过条件向量来引导GAN学习从分布p(x|y)中采样，而不是简单的从边缘分布p(x)中采样，使得GAN能着重关注那些能够阐述样本相关的统计特征，并忽略不太相关的局部特征。

传统的GAN通常使用卷积神经网络来构建对抗结构，该结构通过稀疏权重、参数共享和池化等技术在完成了对图像像素中的重要特征的检测之外还极大的减少了网络的参数规模，但是，CNN的内部数据表示并没有考虑到简单和复杂对象之间的重要空间层级，最近的研究中，一种基于动态路由的胶囊神经网络被应用于学习输入特征之间的空间结构关系。该结构通过使用“胶囊”——封装了多个卷积核能输出包含编码特征之间相对空间关系的网络单元——突破了CNN的“神经元”活动中存在的视角不变性的特点。意味着该结构下的神经活动将随着物体在图像中的“外观流形上的移动”而改变，与此同时使检测概率保持恒定——即让网络具备活动等变性特征。

发明内容

本发明的目的是为了解决现有技术中的上述缺陷，提供一种基于条件胶囊生成对抗网络的图像生成方法。

本发明的目的可以通过采取如下技术方案达到：

一种基于条件胶囊生成对抗网络的图像生成方法，所述的图像生成方法包括：

S1、图像采集步骤，根据生成目标在互联网上获取真实图像或者使用公开数据集；

S2、图像预处理步骤，裁剪采集图像中的关键区域；

S3、条件向量生成步骤，对预处理后的图像进行分类标记并将标记设计为条件向量；

S4、随机噪声生成步骤，生成随机噪声用作生成器的输入；

S5、模型构建步骤，基于条件胶囊生成对抗网络结构来构建图像生成网络，所述的图像生成网络结构分为生成器和判别器，其中，所述的生成器接收随机噪声和条件向量作为输入数据，输出生成图像；然后所述的判别器接收生成图像、真实图像和条件向量作为输入数据，输出生成图像和真实图像之间的相似度；

所述的生成器包括两个全连接层和至少两个反卷积层，从输入端开始各层的连接顺序依次为第一全连接层、第二全连接层、第一反卷积层和第N反卷积层，其中第一全连接层、第二全连接层、第一反卷积层之后均连接一个BN层和ReLU层，第N反卷积层之后连接激活层，值得一提的是在第一反卷积层和第N反卷积层之间根据需要生成图像的大小可适当添加新的反卷积层，新添加的反卷积层后边也紧跟一个BN层和ReLU层；

所述的判别器包括卷积层、PrimaryCaps层、DiscriCaps层和全连接层，从输入端开始各层的连接顺序依次为卷积层、PrimaryCaps层、DiscriCaps层和全连接层，其中卷积层、PrimaryCaps层、DiscriCaps层之后均连接LReLU层，全连接层的后面连接激活层。

S6、模型训练步骤，将步骤S4中生成的随机噪声和步骤S3中生成的条件向量输入到生成器中输出为一张生成图像，将该生成图像和条件向量输入到判别器中得出生成图像在判别器中被判定为真样本的概率；再将步骤S2中截取的真实图像和条件向量一起输入到判别器中得出真实图像在判别器中被判定为真样本的概率；根据上述得出的两个概率分别训练判别器和生成器，同时在判别器内部根据动态路由算法负责更新判别器的DiscriCaps层的参数；最终完成指定训练轮数之后结束训练，舍弃判别器，保留生成器作为图像的生成网络。

进一步地，所述的S1、图像采集步骤中收集的图像是二维矩阵(灰度图片)或者三维矩阵(彩色图片)。

进一步地，所述的S2、图像预处理步骤中对原始图片进行关键区域裁剪，所有图像的裁剪尺寸保持相同，关键区域根据步骤S1中提到的生成目标而确定。

进一步地，所述的S3、条件向量生成步骤中条件向量设置过程如下：

将收集到的经过图像预处理步骤之后的图像分为n类(n种标记)，同时根据类别数将条件向量设置为n维，其中条件向量采用One-Hot编码，同一类的图像有相同的条件向量，该条件向量是一个维数为n的向量。

进一步地，所述的S4、随机噪声生成步骤中随机噪声向量生成方式为：在一个区间为-1到1之间的均匀分布中随机采样100次，随机噪声设置为一个100维数的向量，该随机噪声向量是一个(1,1,100)的向量。

进一步地，所述的生成器从输入层到输出层依次连接为：第一全连接层、BN层、ReLU层、第二全连接层、BN层、ReLU层、第一反卷积层、BN层、ReLU层、第N反卷积层、激活层，在第一反卷积层和第N反卷积层之间根据生成图像的尺寸选择适当添加新的反卷积层，新添加的反卷积层后边也紧跟一个BN层和ReLU层。

进一步地，所述的生成器中的反卷积层中核的大小为5×5，步长为2；

所述的生成器中的ReLU层采用ReLU激活函数，实现数据的非线性变换；

所述的生成器中的BN层使用Batch Normalization实现训练优化；

所述的生成器中的激活层使用Sigmoid或者tanh激活函数；

所述的生成器最终生成的图像尺寸等于步骤S2中裁剪图像的尺寸。

进一步地，所述的生成器中条件向量将拼接到生成器的每一个全连接层的输入矩阵后边，此时将条件向量看作二维矩阵(1,n)，拼接方式为：首先将条件向量的第一维度的维数扩大到和该层的输入矩阵的第一维度的维数相等，同时保持条件向量第二维度的维数和数值不变，然后将扩大后的条件向量拼接到输入矩阵的第二维度后边，通过这种方式组成一个新的输入矩阵；

所述的生成器中条件向量将拼接到生成器的每一个反卷积层的输入矩阵后边，此时将条件向量看作三维矩阵(1,1,n)，拼接方式为：首先将条件向量的第一维度和第二维度的维数扩大到和该层的输入矩阵的第一维度和第二维度的维数相等，同时保持条件向量第三维度的维数和数值不变，然后将扩大后的条件向量拼接到输入矩阵的第三维度后边，通过这种方式组成一个新的输入矩阵。

进一步地，所述的判别器从输入层到输出层依次连接为：卷积层、LReLU层、PrimaryCaps层、LReLU层、DiscriCaps层、LReLU层、全连接层、激活层；

所述的判别器中的卷积层中核的大小为9×9，步长为1；

所述的判别器中的LReLU层使用LeakyReLU激活函数，其中LeakyReLU的斜率设置为0.2；

所述的判别器中的激活层使用Sigmoid激活函数。

进一步地，所述的判别器中卷积层的输入是拼接了条件向量的图像矩阵，此时将条件向量看作三维矩阵(1,1,n)，拼接方式为：首先将条件向量的第一维度和第二维度的维数扩大到和该层的输入矩阵的第一维度和第二维度的维数相等，同时保持条件向量第三维度的维数和数值不变，然后将扩大后的条件向量拼接到输入矩阵的第三维度后边，组成一个新的输入矩阵；

所述的判别器中的PrimaryCaps层的输入是拼接了条件向量的三维矩阵，此时将条件向量看作三维矩阵(1,1,n)，拼接方式为：首先将条件向量的第一维度和第二维度的维数扩大到和该层的输入矩阵的第一维度和第二维度的维数相等，同时保持条件向量第三维度的维数和数值不变，然后将扩大后的条件向量拼接到输入矩阵的第三维度后边，组成一个新的输入矩阵。PrimaryCaps层内部执行x_conv组卷积运算，每组卷积运算由大小为9×9，步长为2的卷积核执行。得出的每一组卷积运算的输出矩阵均拼接上条件向量，此时将条件向量看作三维矩阵(1,1,n)，拼接方式为：将条件向量的第一维度和第二维度的维数扩大到和输出矩阵的第一维度和第二维度的维数相等，同时保持条件向量第三维度的维数和数值不变，然后将扩大后的条件向量拼接到输入矩阵的第三维度后边，因此总共有x_conv组输出矩阵。然后将拼接了条件向量的输出矩阵在第三个维度上根据该维度的维数进行切片，再将每组输出矩阵中来自相同维数的切片矩阵拼接成一个新的矩阵，该矩阵称之为胶囊矩阵，该层胶囊的个数＝卷积运算中核的个数+条件向量的维数；

所述的判别器中的DiscriCaps层首先将输入矩阵通过维度转换操作变换为一个第二维度的维数固定为x_conv、第三维度的维数固定为1的三维矩阵，然后使用(x_conv，c_dim)的权重矩阵将x_conv维输入空间映射到c_dim维输出空间，输出为(1,c_dim)矩阵；

所述的判别器中的全连接层的输入是拼接了条件向量的二维矩阵，此时将条件向量看作二维矩阵(1,n)，拼接方式为：将条件向量的第一维度的维数扩大到和该层的输入矩阵的第一维度的维数相等，同时保持条件向量第二维度的维数和数值不变，然后将扩大后的条件向量拼接到输入矩阵的第二维度后边。

进一步地，所述的S6、模型训练步骤中，

对模型进行训练所用的损失函数为WGAN-GP损失函数，优化器为Adam，其中Adam学习速率是0.0001，Adam一阶矩估计的指数衰减率为0.5，Adam二阶矩估计的指数衰减率为0.9，批量大小batch_size为64，迭代轮数epoch为25；

模型训练中判别器和生成器参数的更新规则如下：固定判别器参数，更新生成器参数2次，然后固定生成器参数，更新判别器参数1次，依次循环；

在对判别器的训练过程中，DiscriCaps层的参数更新使用胶囊神经网络的动态路由算法，其中算法内部迭代次数设置为3次。

本发明相对于现有技术具有如下的优点及效果：

本发明方法构建了一个新的生成式对抗网络模型，模型通过实验证明，在图像样本生成上，能够稳定生成具有良好效果的图片；并通过和业界广泛使用的模型DCGAN进行比较，得出：在可接受训练时间内本发明提出的技术方案能够和模型DCGAN的生成水平相当。

附图说明

图1是本发明公开的基于条件胶囊生成对抗网络的图像生成方法的流程步骤图；

图2是本发明公开的基于条件胶囊生成对抗网络的图像生成方法中生成器的新型网络结构图；

图3是本发明公开的基于条件胶囊生成对抗网络的图像生成方法中判别器的新型网络结构图；

图4是本发明公开的基于条件胶囊生成对抗网络的图像生成方法中条件向量和二维矩阵的拼接方式示意图；

图5是本发明公开的基于条件胶囊生成对抗网络的图像生成方法中条件向量和三维矩阵的拼接方式示意图；

图6是本发明公开的基于条件胶囊生成对抗网络的图像生成方法中判别器的PrimaryCaps层里胶囊的构造过程示意图；

图7是本发明实施例中条件胶囊生成对抗网络的生成器结构的示意图；

图8是本发明实施例中条件胶囊生成对抗网络的判别器结构的示意图；

图9是本发明实施例中在MNIST数据集上d_loss的变化趋势示意图，其中，PrimaryCaps层胶囊个数为24；

图10是本发明实施例中在MNIST数据集上g_loss的变化趋势示意图，其中，PrimaryCaps层胶囊个数为24；

图11是本发明实施例中训练结束后使用生成器产生的生成样本的示意图。

具体实施方式

为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例

如附图1所示，本实施例公开了一种基于条件胶囊生成对抗网络的图像生成方法,本实例将使用MNIST手写数据集作为实验数据，生成目标为：生成手写数字。其中，生成对抗网络包括生成器和判别器。生成器部分：生成器接收随机噪声和条件向量作为输入数据，输出生成出来的图像；然后判别器部分：判别器接收生成图像、真实图像(MINST数据集图像)和条件向量为输入数据，输出生成图像和真实图像之间的相似度；通过对这个模型结构进行训练，最终保留生成器的模型参数，使用生成器的模型参数即可生成手写数字。所述的生成方法包括以下步骤：

实施例的实验环境为：计算机处理器为Intel(R)Xeon(R)CPU E5-2620v4@2.10GHz，8GB运行内存(RAM)，NVIDIA Quadro M1200GPU，TensorFlow框架。

T1、图像采集，根据生成目标——生成手写数字——使用MNIST手写数据集作为实验数据，该数据集是灰度图片集，即二维数据；

T2、图像预处理，MNIST数据集作为公开实验数据集，是已经经过预处理的数据集，可以不需要进行关键区域截取；

T3、条件向量生成，对预处理后的图像进行分类标记并将标记设计为条件向量，根据本实施例选取的MNIST数据集是关于手写数字0-9的手写数字图像的集合，因此在设定条件向量的过程中：首先将数据集按照0-9的具体数字分为10类，同时根据类别数将条件向量设置为10维，其中条件向量采用One-Hot编码，同一类的图像有相同的条件向量，条件向量是一个维数为10的向量；

T4、随机噪声生成，生成随机噪声用作生成器的输入，采用TehsorFlow框架的内置函数np.random.uniform()生成随机噪声向量，生成方式为：在一个区间为-1到1之间的均匀分布中随机采样100次，随机噪声设置为一个100维数的向量，该向量可看成一个(1,1,100)的向量。

T5、整个网络结构分为生成器和判别器两部分，由于MNIST数据集图像比较简单，因此生成器模型构建为：由两个全连接层和两个反卷积层组成，从输入端开始四个层依此连接顺序为第一全连接层、BN层、ReLU层、第二全连接层、BN层、ReLU层、第一反卷积层、BN层、ReLU层、第二反卷积层，激活层，本实施例中，具体的生成器网络构建细节如下：

T51、将100维的随机噪声和10维的条件向量拼接成110维的输入矩阵；

T52、将110维的输入数据经过第一全连接层、BN层、ReLU层得到一个1024维的输出并与10维的条件向量进行拼接得到一个1034维的输出矩阵；

S53、将1034维的输入数据通过第二全连接层、BN层、ReLU层得到一个6272维的输出然后维度转换(reshape)成(7,7,128)的三维矩阵，再与(1,1,10)的条件向量进行拼接得到(7,7,138)的输出矩阵；

T54、将(7,7,138)的输入矩阵通过卷积核大小为5×5、步长为2的第一反卷积层、BN层、ReLU层，得到(14,14,128)的三维矩阵，继续与(1,1,10)的条件向量进行拼接得到(14,14,138)的输出矩阵；

T55、将(14,14,138)的输入矩阵通过卷积核大小为5×5、步长为2的第二反卷积层、激活层，输出(28,28,1)的图像矩阵,即为一个生成样本。

T6、整个网络结构分为生成器和判别器两部分，因此判别器模型构建为：卷积层、LReLU层、PrimaryCaps层、LReLU层、DiscriCaps层、LReLU层、全连接层、激活层，本实例中，具体的判别器网络构建细节如下：

T61、将一张(28,28,1)的图像矩阵和(1,1,10)的条件向量拼接作为判别器的输入；

T62、(28,28,11)的输入矩阵通过卷积核大小为9×9、步长为1的卷积层、LReLU层，输出(20,20,256)的三维矩阵，再与(1,1,10)的条件向量进行拼接得到(20,20,266)的输出矩阵；

T63、在PrimaryCaps层中，以(20,20,266)的三维矩阵作为输入，通过8组卷积运算——每组运算由24个9×9大小、步长为2的卷积核执行，得到(6,6,24)的三维矩阵再与(1,1,10)的条件向量拼接得到(6,6,34)三维矩阵——最终得到(6,6,8,34)的输出矩阵，再经过LReLU层，再维度转换(reshape)为(1224,8,1)作为DiscriCaps层的输入；

T64、在DiscriCaps层，该层接受(1224,8,1)作为输入矩阵，并通过(8,16)权重矩阵将8维输入空间映射到16维输出空间，输出为(1,16)矩阵，再经过LReLU层之后，拼接(1,10)条件向量得到(1,26)的输出矩阵；

T65、将26维的输入矩阵经过全连接层、激活层得到一个数值，即为判别结果。

T7、本实施例中，使用图7和图8的结构作为GAN的生成器和判别器对MNIST数据集进行训练,同时为了保持对抗平衡，设置判别器与生成器的迭代次数为1:2，对模型进行训练所用的损失函数为WGAN-GP损失函数；优化器为Adam：其中Adam学习速率是0.0001、Adam一阶矩估计的指数衰减率为0.5、Adam二阶矩估计的指数衰减率为0.9；批量大小batch_size为64；迭代轮数epoch为25；在判别器的DiscriCaps层中使用胶囊神经网络的动态路由算法更新DiscriCaps层参数。图9和图10展示了模型(PrimaryCaps层胶囊个数为24)在MINST数据集上的训练过程，图11展示使用生成器模型参数生成样本的随机取样。

综上所述，本实施例结合WGAN、CGAN、DCGAN的优点，探索了胶囊神经网络在生成领域的应用，并在MNIST数据集上得到不错的实验结果。通过将胶囊神经网络运用到GAN判别器中，使得在GAN的网络内部同时存在反向传播和动态路由两种优化算法，能更好的应对可能出现的模式崩溃等常见问题。胶囊的个数是作为判别器判别能力的评判标准之一，胶囊个数越多判别器判别标准越严格，胶囊个数越少判别器判别标准越宽松，因此胶囊个数存在最优值——在本实施例中，当胶囊个数设置为24的时候效果最佳。

上述实施例为本发明较佳的实施方式，但本发明的实施方式并不受上述实施例的限制，其他的任何未背离本发明的精神实质与原理下所作的改变、修饰、替代、组合、简化，均应为等效的置换方式，都包含在本发明的保护范围之内。

Claims (10)

1.一种基于条件胶囊生成对抗网络的图像生成方法，其特征在于，所述的图像生成方法包括：

S1、图像采集步骤，根据生成目标在互联网上获取真实图像或者使用公开数据集；

S2、图像预处理步骤，裁剪采集图像中的关键区域；

S3、条件向量生成步骤，对预处理后的图像进行分类标记并将标记设计为条件向量；

S4、随机噪声生成步骤，生成随机噪声用作生成器的输入；

S5、模型构建步骤，基于条件胶囊生成对抗网络结构来构建图像生成网络，所述的图像生成网络结构分为生成器和判别器，其中，所述的生成器接收随机噪声和条件向量作为输入数据，输出生成图像；然后所述的判别器接收生成图像、真实图像和条件向量作为输入数据，输出生成图像和真实图像之间的相似度；

所述的生成器包括两个全连接层和至少两个反卷积层，从输入端开始各层的连接顺序依次为第一全连接层、第二全连接层、第一反卷积层和第N反卷积层，其中第一全连接层、第二全连接层、第一反卷积层之后均连接一个BN层和ReLU层，第N反卷积层之后连接激活层；

所述的判别器包括卷积层、PrimaryCaps层、DiscriCaps层和全连接层，从输入端开始各层的连接顺序依次为卷积层、PrimaryCaps层、DiscriCaps层和全连接层，其中卷积层、PrimaryCaps层、DiscriCaps层之后均连接LReLU层，全连接层的后面连接激活层；

S6、模型训练步骤，将步骤S4中生成的随机噪声和步骤S3中生成的条件向量输入到生成器中输出为一张生成图像，将该生成图像和条件向量输入到判别器中得出生成图像在判别器中被判定为真样本的概率；再将步骤S2中截取的真实图像和条件向量一起输入到判别器中得出真实图像在判别器中被判定为真样本的概率；根据上述得出的两个概率分别训练判别器和生成器，同时在判别器内部根据动态路由算法负责更新判别器的DiscriCaps层的参数；最终完成指定训练轮数之后结束训练，舍弃判别器，保留生成器作为图像的生成网络。

2.根据权利要求1所述的一种基于条件胶囊生成对抗网络的图像生成方法，其特征在于，所述的S1、图像采集步骤中收集的图像是二维矩阵或者三维矩阵；

所述的S2、图像预处理步骤中对原始图片进行关键区域裁剪，所有图像的裁剪尺寸保持相同，关键区域根据所述的生成目标而确定。

3.根据权利要求1所述的一种基于条件胶囊生成对抗网络的图像生成方法，其特征在于，所述的S3、条件向量生成步骤中条件向量设置过程如下：

将收集到的并且经过图像预处理步骤之后的图像分为n类标记，同时根据类别数将条件向量设置为n维，其中条件向量采用One-Hot编码，同一类的图像有相同的条件向量，该条件向量是一个维数为n的向量。

4.根据权利要求1所述的一种基于条件胶囊生成对抗网络的图像生成方法，其特征在于，所述的S4、随机噪声生成步骤中随机噪声向量生成方式为：在一个区间为-1到1之间的均匀分布中随机采样100次，随机噪声设置为一个100维数的向量，该随机噪声向量是一个(1,1,100)的向量。

5.根据权利要求1所述的一种基于条件胶囊生成对抗网络的图像生成方法，其特征在于，所述的生成器从输入层到输出层依次连接为：第一全连接层、BN层、ReLU层、第二全连接层、BN层、ReLU层、第一反卷积层、BN层、ReLU层、第N反卷积层、激活层，在第一反卷积层和第N反卷积层之间根据生成图像的尺寸选择适当添加新的反卷积层，新添加的反卷积层后边也紧跟一个BN层和ReLU层。

6.根据权利要求5所述的一种基于条件胶囊生成对抗网络的图像生成方法，其特征在于，所述的生成器中的反卷积层中核的大小为5×5，步长为2；

所述的生成器中的ReLU层采用ReLU激活函数，实现数据的非线性变换；

所述的生成器中的BN层使用Batch Normalization实现训练优化；

所述的生成器中的激活层使用Sigmoid或者tanh激活函数；

所述的生成器最终生成的图像尺寸等于步骤S2中裁剪图像的尺寸。

7.根据权利要求5所述的一种基于条件胶囊生成对抗网络的图像生成方法，其特征在于，所述的生成器中条件向量将拼接到生成器的每一个全连接层的输入矩阵后边，此时将条件向量看作二维矩阵(1,n)，拼接方式为：首先将条件向量的第一维度的维数扩大到和该层的输入矩阵的第一维度的维数相等，同时保持条件向量第二维度的维数和数值不变，然后将扩大后的条件向量拼接到输入矩阵的第二维度后边，组成一个新的输入矩阵；

所述的生成器中条件向量将拼接到生成器的每一个反卷积层的输入矩阵后边，此时将条件向量看作三维矩阵(1,1,n)，拼接方式为：首先将条件向量的第一维度和第二维度的维数扩大到和该层的输入矩阵的第一维度和第二维度的维数相等，同时保持条件向量第三维度的维数和数值不变，然后将扩大后的条件向量拼接到输入矩阵的第三维度后边，组成一个新的输入矩阵。

8.根据权利要求1所述的一种基于条件胶囊生成对抗网络的图像生成方法，其特征在于，所述的判别器从输入层到输出层依次连接为：卷积层、LReLU层、PrimaryCaps层、LReLU层、DiscriCaps层、LReLU层、全连接层、激活层；

所述的判别器中的卷积层中核的大小为9×9，步长为1；

所述的判别器中的LReLU层使用LeakyReLU激活函数，其中LeakyReLU的斜率设置为0.2；

所述的判别器中的激活层使用Sigmoid激活函数。

9.根据权利要求8所述的一种基于条件胶囊生成对抗网络的图像生成方法，其特征在于，所述的判别器中卷积层的输入是拼接了条件向量的图像矩阵，此时将条件向量看作三维矩阵(1,1,n)，拼接方式为：首先将条件向量的第一维度和第二维度的维数扩大到和该层的输入矩阵的第一维度和第二维度的维数相等，同时保持条件向量第三维度的维数和数值不变，然后将扩大后的条件向量拼接到输入矩阵的第三维度后边，组成一个新的输入矩阵；

所述的判别器中的PrimaryCaps层的输入是拼接了条件向量的三维矩阵，此时将条件向量看作三维矩阵(1,1,n)，拼接方式为：首先将条件向量的第一维度和第二维度的维数扩大到和该层的输入矩阵的第一维度和第二维度的维数相等，同时保持条件向量第三维度的维数和数值不变，然后将扩大后的条件向量拼接到输入矩阵的第三维度后边，组成一个新的输入矩阵。PrimaryCaps层内部执行x_conv组卷积运算，每组卷积运算由大小为9×9，步长为2的卷积核执行。得出的每一组卷积运算的输出矩阵均拼接上条件向量，此时将条件向量看作三维矩阵(1,1,n)，拼接方式为：将条件向量的第一维度和第二维度的维数扩大到和输出矩阵的第一维度和第二维度的维数相等，同时保持条件向量第三维度的维数和数值不变，然后将扩大后的条件向量拼接到输入矩阵的第三维度后边，因此总共有x_conv组输出矩阵。然后将拼接了条件向量的输出矩阵在第三个维度上根据该维度的维数进行切片，再将每组输出矩阵中来自相同维数的切片矩阵拼接成一个新的矩阵，该矩阵称之为胶囊矩阵，该层胶囊的个数＝卷积运算中核的个数+条件向量的维数；

所述的判别器中的DiscriCaps层首先将输入矩阵通过维度转换操作变换为一个第二维度的维数固定为x_conv、第三维度的维数固定为1的三维矩阵，然后使用(x_conv，c_dim)的权重矩阵将x_conv维输入空间映射到c_dim维输出空间，输出为(1,c_dim)矩阵；

所述的判别器中的全连接层的输入是拼接了条件向量的二维矩阵，此时将条件向量看作二维矩阵(1,n)，拼接方式为：将条件向量的第一维度的维数扩大到和该层的输入矩阵的第一维度的维数相等，同时保持条件向量第二维度的维数和数值不变，然后将扩大后的条件向量拼接到输入矩阵的第二维度后边。

10.根据权利要求1所述的一种基于条件胶囊生成对抗网络的图像生成方法，其特征在于，所述的S6、模型训练步骤中，

对模型进行训练所用的损失函数为WGAN-GP损失函数，优化器为Adam，其中Adam学习速率是0.0001，Adam一阶矩估计的指数衰减率为0.5，Adam二阶矩估计的指数衰减率为0.9，批量大小batch_size为64，迭代轮数epoch为25；

模型训练中判别器和生成器参数的更新规则如下：固定判别器参数，更新生成器参数2次，然后固定生成器参数，更新判别器参数1次，依次循环；

在对判别器的训练过程中，DiscriCaps层的参数更新使用胶囊神经网络的动态路由算法，其中算法内部迭代次数设置为3次。