CN109871888A - 一种基于胶囊网络的图像生成方法及系统 - Google Patents

一种基于胶囊网络的图像生成方法及系统 Download PDF

Info

Publication number
CN109871888A
CN109871888A CN201910090399.XA CN201910090399A CN109871888A CN 109871888 A CN109871888 A CN 109871888A CN 201910090399 A CN201910090399 A CN 201910090399A CN 109871888 A CN109871888 A CN 109871888A
Authority
CN
China
Prior art keywords
image
model
generated
training
arbiter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910090399.XA
Other languages
English (en)
Inventor
刘超
程亚凡
董理君
康晓军
李新川
李圣文
梁庆中
郑坤
姚宏
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China University of Geosciences
Original Assignee
China University of Geosciences
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China University of Geosciences filed Critical China University of Geosciences
Priority to CN201910090399.XA priority Critical patent/CN109871888A/zh
Publication of CN109871888A publication Critical patent/CN109871888A/zh
Pending legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

本发明提供了一种基于胶囊网络的图像生成方法及系统:其方法包括:首先根据待生成图像的属性特征构造训练数据;然后构造图像生成模型;进而根据训练数据,采用批训练方法,对构造的图像生成模型进行训练,得到训练后的图像生成模型,并构造一个随机噪声向量;最后将待生成图像的属性向量和随机噪声向量作为训练后的图像生成模型的输入,生成与训练数据中的图像尺寸一样的新图像。本发明的有益效果是:本发明所提出的技术方案将图像生成模型中加入胶囊网络作为编码器网络,有助于模型的训练过程更快收敛;另一方面,相比卷积神经网络的池化过程,胶囊网络的动态路由算法对特征的泛化鲁棒性更强,能生成更多样化并且真实的图像。

Description

一种基于胶囊网络的图像生成方法及系统
技术领域
本发明涉及图像处理领域,尤其涉及一种基于胶囊网络的图像生成方法及系 统。
背景技术
GAN模型通常由两部分组成:(1)一个生成器,它试图将从一个先验分布 中提取的样本转换为从一个多维度的复杂数据分布中提取的样本;(2)一个判别 器,它决定给定的样本是真实的还是来自生成器的分布。这两个部分的训练过程 就像两个选手在进行一场博弈游戏。
深度卷积生成对抗网络DCGAN模型是GAN的一种延伸,将卷积网络引入 到生成式模型当中来做无监督的训练,利用卷积网络(CNN)强大的特征提取 能力来提高生成网络的学习效果。DCGAN能够更为有效、快速地实现生成高质 量图片。
2017年提出的胶囊网络(CapsNets)的胶囊(Capsule)是一组神经元,它 的输出向量表示某一类型实体的实例化参数,这个实体可以是一个对象或者对象 的某一部分。输出向量的长度表示实体存在的概率,向量的方向表示实例化参数。 低层的活性胶囊通过变换矩阵和权重系数对高层的胶囊的实例化参数进行预测。 当多个预测结果一致时,高层的胶囊就会被激活。该模型中的这些权重系数使用 动态路由来确定,并使用squashing函数来计算capsule的输出向量vj,使得vj的 长度不超过1。胶囊网络可以智能地对局部和整体的关系进行建模,用动态路由 算法替代传统CNN的池化过程,减少了信息的损失,在MNIST数字分类和重 叠数字分割方面优于CNN,能对输入做一个优秀的、可解释的特征表达。这表明GAN是可以使用CapsNets(而不是CNN)来生成图像,以提高图像生成网络的 性能。
胶囊(Capsule)是一组神经元,它的输出向量表示某一类型实体的实例化 参数,这个实体可以是一个对象或者对象的某一部分。输出向量的长度表示实体 存在的概率,向量的方向表示实例化参数。实验表明,Capsule模型在识别任务 上表现优秀,能对输入做一个优秀的、可解释的表征。
变分自编码器VAE包含encoder和decoder两部分,采用原始数据输入和输 出,输入经过encoder之后,会提取均值和对数方差,这就是对于不同特征的样 本,生成了不同特征的随机数,之后用随机数经decoder生成原始图像,就不依 赖于特定输入输出。但是VAE生成的图像比较模糊,不清晰真实。
为解决这个问题,本专利提出一种基于胶囊网络的图像生成模型 (CCapsule-GAN)。该模型包含encoder(编码器)、生成器、判别器和分类器四 个部分。在胶囊网络中,其最后一层的输出向量是低层特征的聚合,能对输入样 本的特征做出优秀的表示,这与VAE的编码过程相似。故在CCapsule-GAN模 型中,加入胶囊网络作为encoder网络,有助于模型的训练过程更快收敛。另一 方面,相比CNN的池化过程,胶囊网络的动态路由算法对特征的泛化鲁棒性更 强。因此,CCapsule-GAN模型的分类器也用胶囊网络替换现有的卷积网络。这 有助于生成更多样化并且真实的图像。
发明内容
为了解决传统变分自编码器VAE在生成图像时,图像比较模糊,不清晰, 不真实的问题,本发明提供了一种基于胶囊网络的图像生成方法及系统,一种基 于胶囊网络的图像生成方法,主要包括以下步骤:
S101:根据待生成图像的属性特征构造训练数据;所述训练数据包括:多组 原始图像和多个待生成图像的属性特征向量;每组原始图像包括多张原始图片; 其中,一个待生成图像的属性特征向量代表待生成图像的一个属性特征;训练数 据中的所有原始图片的尺寸均相等;属性特征为待生成图像的种类特征或者待生 成图像的结构特征;
S102:构造图像生成模型;所述图像生成模型包括:编码器、生成器、判别 器和分类器四部分;
S103:根据所述训练数据,采用批训练方法,对构造的图像生成模型进行训 练,以调节图像生成模型中各部分的内部参数,得到训练后的图像生成模型;并 构造一个随机噪声向量;
S104:将一个所述待生成图像的属性向量和随机噪声向量作为训练后的图像 生成模型的输入,生成与训练数据中的图像尺寸一样的新图像,图像生成程序结 束。
进一步地,步骤S102中,编码器为胶囊网络;生成器为逆卷积神经网络; 判别器为卷积神经网络;分类器为胶囊网络;其中,所述胶囊网络包括顺次连接 的卷积层、第一胶囊层和第二胶囊层;其中,第二胶囊层为全连接层;卷积层用 于提取图像底层特征,第一胶囊层用于存储低级别特征的向量,第二胶囊层用于 存储高级别特征的向量。
进一步地,步骤S103中,根据所述训练数据,采用批训练方法,对构造的 图像生成模型进行训练,包括:
根据所述图像生成模型中的损失函数和所述训练数据,采用批训练方法,对 所述编码器、生成器、判别器和分类器进行联合训练;所述编码器用于提取所述 训练数据中与所述属性特征向量有关的图像特征向量;所述生成器用于根据所述 图像特征向量生成新图像;所述判别器用于判别所述训练数据中的原始图像和所 述新图像是否真实;所述分类器用于根据所述属性特征向量对所述训练数据中的 原始图像和所述新图像进行分类;
重复训练所述编码器、生成器、判别器和分类器,在训练次数达到预设阈值 或所述图像生成模型的整体输出结果处于收敛时,将当前的图像生成模型确定为 训练后的图像生成模型。
进一步地,所述图像生成模型中的损失函数包括:
编码器的损失函数:KL散度损失函数和边缘损失函数;其中,KL散度损失 函数用于减少先验分布Pz和原数据分布Pr之间的差距;边缘损失函数用于增加不 同属性向量之间的差异;所述先验分布采用高斯分布;
生成器的损失函数LG如公式(1)所示:
上式中,x为训练数据中的真实图像,即所述原始图像;x′为生成器生成的新图像,fD(x)表示真实图像输入到判别器,判别器最后一个全连接层的输入特征图; fD(x′)表示生成的新图像输入到判别器,判别器最后一个全连接层的输入特征图; fC(x)表示原始图像输入到分类器,分类器最后一个全连接层的输入特征图; fC(x′)表示生成的新图像输入到分类器,分类器最后一个全连接层的输入特征图;
判别器的损失函数LD如公式(2)所示:
上式中,D(x)表示x来源于真实数据而不是生成图像的概率;E指取期望值, x~Pr表示x服从分布Pr;z~Pz表示z服从分布Pz;G(z)表示生成的新图像; D(G(z))表示生成的新图像来源于原始图像的概率;其中,先验分布采用高斯分 布;
分类器的损失函数也采用边缘损失函数;
另外,在联合训练过程中,生成器与判别器会产生博弈现象,而在生成器与 判别器的博弈过程中,使用非对称的损失函数来训练生成器;所述非对称的损失 函数采用平均特征匹配损失函数,具体如公式(3)所示:
上式中,fD(x)表示真实图像输入到判别器,判别器最后一个全连接层的输入特征图,E表示取期望;fD(G(z))表示生成图像输入到判别器,判别器最后一个全 连接层的输入特征图;
在生成器和分类器之间,也采用平均特征匹配损失函数训练生成器,具体公 式如公式(4)所示:
上式中,fC(G(z,c))表示生成的新图像输入到分类器,分类器最后一个全连接层的输入特征图。
进一步地,步骤S103中,随机噪声向量采用random()函数获得,用于增加 生成图像的多样性。
进一步地,一种基于胶囊网络的图像生成系统,其特征在于:包括以下模块:
训练数据构造模块,用于根据待生成图像的属性特征构造训练数据;训练数 据包括:多组原始图像和多个待生成图像的属性特征向量;每组原始图像包括多 张原始图片;其中,一个待生成图像的属性特征向量代表待生成图像的一个属性 特征;训练数据中的所有原始图片的尺寸均相等;属性特征为待生成图像的种类 特征或者待生成图像的结构特征;
模型构造模块,用于构造图像生成模型;所述图像生成模型包括依次连接的 编码器、生成器、判别器和分类器四部分;
模型训练模块,用于根据训练数据,采用批训练方法,对构造的图像生成模 型进行训练,以调节图像生成模型中各部分的内部参数,得到训练后的图像生成 模型;并构造一个随机噪声向量;
图像生成模块,用于将一个所述待生成图像的属性向量和随机噪声向量作为 训练后的图像生成模型的输入,生成与训练数据中的图像尺寸一样的新图像,图 像生成程序结束。
进一步地,模型构造模块中,编码器为胶囊网络;生成器为逆卷积神经网络; 判别器为卷积神经网络;分类器为胶囊网络;其中,所述胶囊网络包括顺次连接 的卷积层、第一胶囊层和第二胶囊层;其中,第二胶囊层为全连接层;卷积层用 于提取图像底层特征,第一胶囊层用于存储低级别特征的向量,第二胶囊层用于 存储高级别特征的向量。
进一步地,模型训练模块中,根据训练数据,采用批训练方法,对构造的图 像生成模型进行训练,包括:
根据所述图像生成模型中的损失函数和所述训练数据,采用批训练方法,对 所述编码器、生成器、判别器和分类器进行联合训练;所述编码器用于提取所述 训练数据中与所述属性特征向量有关的图像特征向量;所述生成器用于根据所述 图像特征向量生成新图像;所述判别器用于判别所述训练数据中的原始图像和所 述新图像是否真实;所述分类器用于根据所述属性特征向量对所述训练数据中的 原始图像和所述新图像进行分类;
重复训练所述编码器、生成器、判别器和分类器,在训练次数达到预设阈值 或所述图像生成模型的整体输出结果处于收敛时,将当前的图像生成模型确定为 训练后的图像生成模型。
本发明提供的技术方案带来的有益效果是:本发明所提出的技术方案将图像 生成模型中加入胶囊网络作为编码器网络,有助于模型的训练过程更快收敛;另 一方面,相比卷积神经网络的池化过程,胶囊网络的动态路由算法对特征的泛化 鲁棒性更强,能生成更多样化并且真实的图像。
附图说明
下面将结合附图及实施例对本发明作进一步说明,附图中:
图1是本发明实施例中一种基于胶囊网络的图像生成方法的流程图;
图2是本发明实施例中图像生成模型的结构示意图;
图3是本发明实施例中一种基于胶囊网络的图像生成系统的模块组成示意 图。
具体实施方式
为了对本发明的技术特征、目的和效果有更加清楚的理解,现对照附图详细 说明本发明的具体实施方式。
本发明的实施例提供了一种基于胶囊网络的图像生成方法及系统。
请参考图1,图1是本发明实施例中一种基于胶囊网络的图像生成方法的流 程图,具体包括如下步骤:
S101:根据待生成图像的属性特征构造训练数据;训练数据包括:多组原始 图像和多个待生成图像的属性特征向量;每组原始图像包括多张原始图片;其中, 一个待生成图像的属性特征向量代表待生成图像的一个属性特征;训练数据中的 所有原始图片的尺寸均相等;属性特征为待生成图像的种类特征或者待生成图像 的结构特征;比如,待生成图像为鸟的图像,则属性特征可以为鹰、麻雀和斑鸠, 也可以为白色的鸟和黑色的鸟;
S102:构造图像生成模型;所述图像生成模型包括:编码器、生成器、判别 器和分类器四部分;
S103:根据所述训练数据,采用批训练方法,对构造的图像生成模型进行训 练,以调节图像生成模型中各部分的内部参数,得到训练后的图像生成模型;并 构造一个随机噪声向量;
S104:将一个所述待生成图像的属性向量和随机噪声向量作为训练后的图像 生成模型的输入,生成与训练数据中的图像尺寸一样的新图像,图像生成程序结 束。
步骤S102中,编码器为胶囊网络;生成器为逆卷积神经网络;判别器为卷 积神经网络;分类器为胶囊网络,图像生成模型的结构示意图如图2所示;
胶囊网络包括顺次连接的卷积层、第一胶囊层和第二胶囊层;其中,第二胶 囊层为全连接层;卷积层用于提取图像底层特征,第一胶囊层用于存储低级别特 征的向量,第二胶囊层用于存储高级别特征的向量。
步骤S103中,根据训练数据,采用批训练方法,对构造的图像生成模型进 行训练,包括:
根据所述图像生成模型中的损失函数、所述训练数据,采用批训练方法,对 所述编码器、生成器、判别器和分类器进行联合训练;所述编码器用于提取所述 训练数据中与所述属性特征向量有关的图像特征向量;所述生成器用于根据所述 图像特征向量生成新图像;所述判别器用于判别所述训练数据中的原始图像和所 述新图像是否真实;所述分类器用于根据所述属性特征向量对所述训练数据中的 原始图像和所述新图像进行分类;
重复训练所述编码器、生成器、判别器和分类器,在训练次数达到预设阈值 或所述图像生成模型的整体输出结果处于收敛时,将当前的图像生成模型确定为 训练后的图像生成模型。
具体训练步骤如下:
S201:将所述训练数据中的多组原始图像输入图像生成网络中的编码器,生 成多组原始图像对应的特征向量;
S202:根据训练数据中的属性特征向量对多组原始图像对应的特征向量进行mask操作,得到多组第一特征向量;所述第一特征向量为剔除与所述属性特征 向量无关的部分后,剩下的与属性特征向量相关的原始图像对应的特征向量;
S203:利用均值公式和方差公式,求取所述多组第一特征向量的均值向量和 方差向量;并根据公式(1)求得随机向量z;
z=μ+exp(σ2)⊙∈,∈~N(0,I) (1)
上式中,σ2为方差向量,∈为生成的随机分布,μ为均值向量,⊙代表元素对应相乘运算;
S204:将所述随机向量和所述属性特征向量进行拼接,并将拼接后的新向量 作为生成器的输入,生成多组新图像;
S205:将所述多组新图像和所述多组原始图像作为判别器的输入,得到判别 概率和第一特征图,并根据判别概率和第一特征图反向调节生成器和判别器的内 部参数;
S206:将所述多组新图像和所述多组原始图像作为分类器的输入,得到分类 概率和第二特征图,并根据分类概率和第二特征图再次反向调节生成器和分类器 的内部参数;
S207:将参数调节后的图像生成模型作为新的图像生成模型;
S208:重复执行步骤S201~S207,直到达到预先设定的最大迭代次数,得到 训练后的图像生成模型。
所述图像生成模型中的损失函数包括:
编码器的损失函数:KL散度损失函数(如公式(2))和边缘损失函数(如 公式(3));其中,KL散度损失函数用于减少先验分布Pz和原数据分布Pr之间的 差距;边缘损失函数用于增加不同属性向量之间的差异;所述先验分布采用高斯 分布:
Lmargin=Tcmax(0,m+-||Vc||)2+λ(1-Tc)max(0,||Vc||-m-)2 (3)
上式中,Tc为属性特征向量,||Vc||表示属性c对应向量的模长,m+、m-和λ均为预先设置的超参数;
生成器的损失函数LG如公式(4)所示:
上式中,x为训练数据中的真实图像,即所述原始图像;x′为生成器生成的新图像,fD(x)表示真实图像输入到判别器,判别器最后一个全连接层的输入特征图; fD(x′)表示生成的新图像输入到判别器,判别器最后一个全连接层的输入特征图; fC(x)表示原始图像输入到分类器,分类器最后一个全连接层的输入特征图; fC(x′)表示生成的新图像输入到分类器,分类器最后一个全连接层的输入特征图;
判别器的损失函数LD如公式(5)所示:
上式中,D(x)表示x来源于真实数据而不是生成图像的概率;E指取期望值, x~Pr表示x服从分布Pr;z~Pz表示z服从分布Pz;G(z)表示生成的新图像; D(G(z))表示生成的新图像来源于原始图像的概率;其中,先验分布采用高斯分 布;
分类器的损失函数也采用边缘损失函数(公式(6))。
LC=Lmargin (6)
另外,在联合训练过程中,生成器与判别器会产生博弈现象,而在生成器与 判别器的博弈过程中,使用非对称的损失函数来训练生成器;所述非对称的损失 函数采用平均特征匹配损失函数,具体如公式(7)所示:
上式中,fD(x)表示真实图像输入到判别器,判别器最后一个全连接层的输入特征图,E表示取期望;fD(G(z))表示生成图像输入到判别器,判别器最后一个全 连接层的输入特征图;
在生成器和分类器之间,也采用平均特征匹配损失函数训练生成器,具体公 式如公式(8)所示:
上式中,fC(G(z,c))表示生成的新图像输入到分类器,分类器最后一个全连接层的输入特征图。
步骤S103中,随机噪声向量采用random()函数获得,用于增加生成图像的 多样性。
请参阅图3,图3为本发明实施例中一种基于胶囊网络的图像生成系统的模 块组成示意图,包括顺次连接的:训练数据构造模块11、模型构造模块12、模 型训练模块13和图像生成模块14;
训练数据构造模块11,用于根据待生成图像的属性特征构造训练数据;训 练数据包括:多组原始图像和多个待生成图像的属性特征向量;每组原始图像包 括多张原始图片;其中,一个待生成图像的属性特征向量代表待生成图像的一个 属性特征;训练数据中的所有原始图片的尺寸均相等;属性特征为待生成图像的 种类特征或者待生成图像的结构特征;
模型构造模块12,用于构造图像生成模型;所述图像生成模型包括依次连 接的编码器、生成器、判别器和分类器四部分;
模型训练模块13,用于根据所述训练数据,采用批训练方法,对构造的图 像生成模型进行训练,以调节图像生成模型中各部分的内部参数,得到训练后的 图像生成模型;并构造一个随机噪声向量;
图像生成模块14,用于将一个所述待生成图像的属性向量和随机噪声向量 作为训练后的图像生成模型的输入,生成与训练数据中的图像尺寸一样的新图像, 图像生成程序结束。
进一步地,模型构造模块12中,编码器为胶囊网络;生成器为逆卷积神经 网络;判别器为卷积神经网络;分类器为胶囊网络;其中,所述胶囊网络包括顺 次连接的卷积层、第一胶囊层和第二胶囊层;其中,第二胶囊层为全连接层;卷 积层用于提取图像底层特征,第一胶囊层用于存储低级别特征的向量,第二胶囊 层用于存储高级别特征的向量。
进一步地,模型训练模块13中,根据训练数据,采用批训练方法,对构造 的图像生成模型进行训练,包括:
根据所述图像生成模型中的损失函数和所述训练数据,采用批训练方法,对 所述编码器、生成器、判别器和分类器进行联合训练;所述编码器用于提取所述 训练数据中与所述属性特征向量有关的图像特征向量;所述生成器用于根据所述 图像特征向量生成新图像;所述判别器用于判别所述训练数据中的原始图像和所 述新图像是否真实;所述分类器用于根据所述属性特征向量对所述训练数据中的 原始图像和所述新图像进行分类;
重复训练所述编码器、生成器、判别器和分类器,在训练次数达到预设阈值 或所述图像生成模型的整体输出结果处于收敛时,将当前的图像生成模型确定为 训练后的图像生成模型。
本发明的有益效果是:本发明所提出的技术方案将图像生成模型中加入胶囊 网络作为编码器网络,有助于模型的训练过程更快收敛;另一方面,相比卷积神 经网络的池化过程,胶囊网络的动态路由算法对特征的泛化鲁棒性更强,能生成 更多样化并且真实的图像。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精 神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护 范围之内。

Claims (8)

1.一种基于胶囊网络的图像生成方法,其特征在于:包括以下步骤:
S101:根据待生成图像的属性特征构造训练数据;所述训练数据包括:多组原始图像和多个待生成图像的属性特征向量;每组原始图像包括多张原始图片;其中,一个待生成图像的属性特征向量代表待生成图像的一个属性特征;训练数据中的所有原始图片的尺寸均相等;属性特征为待生成图像的种类特征或者待生成图像的结构特征;
S102:构造图像生成模型;所述图像生成模型包括:编码器、生成器、判别器和分类器四部分;
S103:根据所述训练数据,采用批训练方法,对构造的图像生成模型进行训练,以调节图像生成模型中各部分的内部参数,得到训练后的图像生成模型;并构造一个随机噪声向量;
S104:将一个或者多个所述待生成图像的属性向量和随机噪声向量作为训练后的图像生成模型的输入,生成与训练数据中的图像尺寸一样的新图像,图像生成程序结束。
2.如权利要求1所述的一种基于胶囊网络的图像生成方法,其特征在于:步骤S102中,编码器为胶囊网络;生成器为逆卷积神经网络;判别器为卷积神经网络;分类器为胶囊网络;其中,所述胶囊网络包括顺次连接的卷积层、第一胶囊层和第二胶囊层;其中,第二胶囊层为全连接层;卷积层用于提取图像底层特征,第一胶囊层用于存储低级别特征的向量,第二胶囊层用于存储高级别特征的向量。
3.如权利要求1所述的一种基于胶囊网络的图像生成方法,其特征在于:步骤S103中,根据所述训练数据,采用批训练方法,对构造的图像生成模型进行训练,包括:
根据所述图像生成模型中的损失函数和所述训练数据,采用批训练方法,对所述编码器、生成器、判别器和分类器进行联合训练;所述编码器用于提取所述训练数据中与所述属性特征向量有关的图像特征向量;所述生成器用于根据所述图像特征向量生成新图像;所述判别器用于判别所述训练数据中的原始图像和所述新图像是否真实;所述分类器用于根据所述属性特征向量对所述训练数据中的原始图像和所述新图像进行分类;
重复训练所述编码器、生成器、判别器和分类器,在训练次数达到预设阈值或所述图像生成模型的整体输出结果处于收敛时,将当前的图像生成模型确定为训练后的图像生成模型。
4.如权利要求3所述的一种基于胶囊网络的图像生成方法,其特征在于:所述图像生成模型中的损失函数包括:
编码器的损失函数:KL散度损失函数和边缘损失函数;其中,KL散度损失函数用于减少先验分布Pz和原数据分布Pr之间的差距;边缘损失函数用于增加不同属性向量之间的差异;所述先验分布采用高斯分布;
生成器的损失函数LG如公式(1)所示:
上式中,x为训练数据中的真实图像,即所述原始图像;x′为生成器生成的新图像,fD(x)表示真实图像输入到判别器,判别器最后一个全连接层的输入特征图;fD(x′)表示生成的新图像输入到判别器,判别器最后一个全连接层的输入特征图;fC(x)表示原始图像输入到分类器,分类器最后一个全连接层的输入特征图;fC(x′)表示生成的新图像输入到分类器,分类器最后一个全连接层的输入特征图;
判别器的损失函数LD如公式(2)所示:
上式中,D(x)表示x来源于真实数据而不是生成图像的概率;E指取期望值,x~Pr表示x服从分布Pr;z~Pz表示z服从分布Pz;G(z)表示生成的新图像;D(G(z))表示生成的新图像来源于原始图像的概率;其中,先验分布采用高斯分布;
分类器的损失函数也采用边缘损失函数;
另外,在联合训练过程中,生成器与判别器会产生博弈现象,而在生成器与判别器的博弈过程中,使用非对称的损失函数来训练生成器;所述非对称的损失函数采用平均特征匹配损失函数,具体如公式(3)所示:
上式中,fD(x)表示真实图像输入到判别器,判别器最后一个全连接层的输入特征图,E表示取期望;fD(G(z))表示生成图像输入到判别器,判别器最后一个全连接层的输入特征图;
在生成器和分类器之间,也采用平均特征匹配损失函数训练生成器,具体公式如公式(4)所示:
上式中,fC(G(z,c))表示生成的新图像输入到分类器,分类器最后一个全连接层的输入特征图。
5.如权利要求1所述的一种基于胶囊网络的图像生成方法,其特征在于:步骤S103中,随机噪声向量采用random()函数获得,用于增加生成图像的多样性。
6.一种基于胶囊网络的图像生成系统,其特征在于:包括以下模块:
训练数据构造模块,用于根据待生成图像的属性特征构造训练数据;训练数据包括:多组原始图像和多个待生成图像的属性特征向量;每组原始图像包括多张原始图片;其中,一个待生成图像的属性特征向量代表待生成图像的一个属性特征;训练数据中的所有原始图片的尺寸均相等;属性特征为待生成图像的种类特征或者待生成图像的结构特征;
模型构造模块,用于构造图像生成模型;所述图像生成模型包括依次连接的编码器、生成器、判别器和分类器四部分;
模型训练模块,用于根据所述训练数据,采用批训练方法,对构造的图像生成模型进行训练,以调节图像生成模型中各部分的内部参数,得到训练后的图像生成模型;并构造一个随机噪声向量;
图像生成模块,用于将一个所述待生成图像的属性向量和随机噪声向量作为训练后的图像生成模型的输入,生成与训练数据中的图像尺寸一样的新图像,图像生成程序结束。
7.如权利要求6所述的一种基于胶囊网络的图像生成系统,其特征在于:模型构造模块中,编码器为胶囊网络;生成器为逆卷积神经网络;判别器为卷积神经网络;分类器为胶囊网络;其中,所述胶囊网络包括顺次连接的卷积层、第一胶囊层和第二胶囊层;其中,第二胶囊层为全连接层;卷积层用于提取图像底层特征,第一胶囊层用于存储低级别特征的向量,第二胶囊层用于存储高级别特征的向量。
8.如权利要求6所述的一种基于胶囊网络的图像生成系统,其特征在于:模型训练模块中,根据训练数据,采用批训练方法,对构造的图像生成模型进行训练,包括:
根据所述图像生成模型中的损失函数和所述训练数据,采用批训练方法,对所述编码器、生成器、判别器和分类器进行联合训练;所述编码器用于提取所述训练数据中与所述属性特征向量有关的图像特征向量;所述生成器用于根据所述图像特征向量生成新图像;所述判别器用于判别所述训练数据中的原始图像和所述新图像是否真实;所述分类器用于根据所述属性特征向量对所述训练数据中的原始图像和所述新图像进行分类;
重复训练所述编码器、生成器、判别器和分类器,在训练次数达到预设阈值或所述图像生成模型的整体输出结果处于收敛时,将当前的图像生成模型确定为训练后的图像生成模型。
CN201910090399.XA 2019-01-30 2019-01-30 一种基于胶囊网络的图像生成方法及系统 Pending CN109871888A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910090399.XA CN109871888A (zh) 2019-01-30 2019-01-30 一种基于胶囊网络的图像生成方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910090399.XA CN109871888A (zh) 2019-01-30 2019-01-30 一种基于胶囊网络的图像生成方法及系统

Publications (1)

Publication Number Publication Date
CN109871888A true CN109871888A (zh) 2019-06-11

Family

ID=66918314

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910090399.XA Pending CN109871888A (zh) 2019-01-30 2019-01-30 一种基于胶囊网络的图像生成方法及系统

Country Status (1)

Country Link
CN (1) CN109871888A (zh)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110458904A (zh) * 2019-08-06 2019-11-15 苏州瑞派宁科技有限公司 胶囊式内窥镜图像的生成方法、装置及计算机存储介质
CN110516577A (zh) * 2019-08-20 2019-11-29 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质
CN110569881A (zh) * 2019-08-12 2019-12-13 北京智芯原动科技有限公司 基于卷积神经网络的数据增广方法及装置
CN110751698A (zh) * 2019-09-27 2020-02-04 太原理工大学 一种基于混和网络模型的文本到图像的生成方法
CN111046975A (zh) * 2019-12-27 2020-04-21 深圳云天励飞技术有限公司 人像生成方法、装置、系统、电子设备及存储介质
CN111080168A (zh) * 2019-12-30 2020-04-28 国网江苏省电力有限公司信息通信分公司 一种基于胶囊网络的电力通信网络设备可靠性评估方法
CN111612071A (zh) * 2020-05-21 2020-09-01 北京华睿盛德科技有限公司 一种从曲面零件阴影图生成深度图的深度学习方法
CN111681182A (zh) * 2020-06-04 2020-09-18 Oppo广东移动通信有限公司 图片修复方法、装置、终端设备以及存储介质
CN111709470A (zh) * 2020-06-08 2020-09-25 北京百度网讯科技有限公司 图像生成方法、装置、设备及介质
CN112541082A (zh) * 2020-12-21 2021-03-23 重庆兆光科技股份有限公司 一种文本情感分类方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107016406A (zh) * 2017-02-24 2017-08-04 中国科学院合肥物质科学研究院 基于生成式对抗网络的病虫害图像生成方法
CN108288072A (zh) * 2018-01-26 2018-07-17 深圳市唯特视科技有限公司 一种基于生成对抗网络的面部表情合成方法
CN108537136A (zh) * 2018-03-19 2018-09-14 复旦大学 基于姿态归一化图像生成的行人重识别方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107016406A (zh) * 2017-02-24 2017-08-04 中国科学院合肥物质科学研究院 基于生成式对抗网络的病虫害图像生成方法
CN108288072A (zh) * 2018-01-26 2018-07-17 深圳市唯特视科技有限公司 一种基于生成对抗网络的面部表情合成方法
CN108537136A (zh) * 2018-03-19 2018-09-14 复旦大学 基于姿态归一化图像生成的行人重识别方法

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
AYUSH JAISWAL等: "CapsuleGAN: Generative Adversarial Capsule Network", 《ARXIV》 *
CZIFAN: "CapsNet胶囊网络(理解)", 《HTTPS://WWW.CNBLOGS.COM/CZIFAN/P/9803067.HTML》 *
JIANMIN BAO等: "CVAE-GAN: Fine-Grained Image Generation through Asymmetric Training", 《2017 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION》 *
SARA SABOUR 等: "Dynamic Routing Between Capsules", 《ARXIV》 *

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110458904A (zh) * 2019-08-06 2019-11-15 苏州瑞派宁科技有限公司 胶囊式内窥镜图像的生成方法、装置及计算机存储介质
CN110458904B (zh) * 2019-08-06 2023-11-10 苏州瑞派宁科技有限公司 胶囊式内窥镜图像的生成方法、装置及计算机存储介质
CN110569881B (zh) * 2019-08-12 2022-03-22 北京智芯原动科技有限公司 基于卷积神经网络的数据增广方法及装置
CN110569881A (zh) * 2019-08-12 2019-12-13 北京智芯原动科技有限公司 基于卷积神经网络的数据增广方法及装置
CN110516577A (zh) * 2019-08-20 2019-11-29 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质
CN110516577B (zh) * 2019-08-20 2022-07-12 Oppo广东移动通信有限公司 图像处理方法、装置、电子设备及存储介质
CN110751698A (zh) * 2019-09-27 2020-02-04 太原理工大学 一种基于混和网络模型的文本到图像的生成方法
CN110751698B (zh) * 2019-09-27 2022-05-17 太原理工大学 一种基于混和网络模型的文本到图像的生成方法
CN111046975A (zh) * 2019-12-27 2020-04-21 深圳云天励飞技术有限公司 人像生成方法、装置、系统、电子设备及存储介质
CN111046975B (zh) * 2019-12-27 2023-05-12 深圳云天励飞技术有限公司 人像生成方法、装置、系统、电子设备及存储介质
CN111080168A (zh) * 2019-12-30 2020-04-28 国网江苏省电力有限公司信息通信分公司 一种基于胶囊网络的电力通信网络设备可靠性评估方法
CN111612071A (zh) * 2020-05-21 2020-09-01 北京华睿盛德科技有限公司 一种从曲面零件阴影图生成深度图的深度学习方法
CN111612071B (zh) * 2020-05-21 2024-02-02 北京华睿盛德科技有限公司 一种从曲面零件阴影图生成深度图的深度学习方法
CN111681182A (zh) * 2020-06-04 2020-09-18 Oppo广东移动通信有限公司 图片修复方法、装置、终端设备以及存储介质
CN111709470A (zh) * 2020-06-08 2020-09-25 北京百度网讯科技有限公司 图像生成方法、装置、设备及介质
CN111709470B (zh) * 2020-06-08 2023-10-03 北京百度网讯科技有限公司 图像生成方法、装置、设备及介质
CN112541082A (zh) * 2020-12-21 2021-03-23 重庆兆光科技股份有限公司 一种文本情感分类方法及系统

Similar Documents

Publication Publication Date Title
CN109871888A (zh) 一种基于胶囊网络的图像生成方法及系统
Qiu et al. FReLU: flexible rectified linear units for improving convolutional neural networks
CN108875807B (zh) 一种基于多注意力多尺度的图像描述方法
Nie et al. Diffusion models for adversarial purification
Chen et al. Noisy softmax: Improving the generalization ability of dcnn via postponing the early softmax saturation
CN106548208B (zh) 一种照片图像快速智能风格化方法
CN109447906B (zh) 一种基于生成对抗网络的图片合成方法
Grcić et al. Densely connected normalizing flows
CN111079795B (zh) 基于cnn的分片多尺度特征融合的图像分类方法
CN109948029A (zh) 基于神经网络自适应的深度哈希图像搜索方法
Heffetz et al. Deepline: Automl tool for pipelines generation using deep reinforcement learning and hierarchical actions filtering
CN107579816B (zh) 基于递归神经网络的密码字典生成方法
CN109903236A (zh) 基于vae-gan与相似块搜索的人脸图像修复方法及装置
CN108985464A (zh) 基于信息最大化生成对抗网络的人脸连续特征生成方法
CN109214298A (zh) 一种基于深度卷积网络的亚洲女性颜值评分模型方法
Horsley et al. Building an automatic sprite generator with deep convolutional generative adversarial networks
CN112686816A (zh) 一种基于内容注意力机制和掩码先验的图像补全方法
CN112434213A (zh) 网络模型的训练方法、信息推送方法及相关装置
CN114004333A (zh) 一种基于多假类生成对抗网络的过采样方法
CN114495957A (zh) 一种基于Transformer改进的语音增强方法、系统、装置
CN110415261B (zh) 一种分区域训练的表情动画转换方法及系统
CN105895104B (zh) 说话人自适应识别方法及系统
Yang et al. Cpcgan: A controllable 3d point cloud generative adversarial network with semantic label generating
Shariff et al. Artificial (or) fake human face generator using generative adversarial network (gan) machine learning model
CN112686817B (zh) 一种基于不确定性估计的图像补全方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190611

RJ01 Rejection of invention patent application after publication