CN110197514A - 一种基于生成式对抗网络的蘑菇表型图像生成方法 - Google Patents

一种基于生成式对抗网络的蘑菇表型图像生成方法 Download PDF

Info

Publication number
CN110197514A
CN110197514A CN201910508685.3A CN201910508685A CN110197514A CN 110197514 A CN110197514 A CN 110197514A CN 201910508685 A CN201910508685 A CN 201910508685A CN 110197514 A CN110197514 A CN 110197514A
Authority
CN
China
Prior art keywords
mushroom
data
layer
convolution kernel
formula
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201910508685.3A
Other languages
English (en)
Inventor
袁培森
吴茂盛
徐焕良
顾兴健
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Agricultural University
Original Assignee
Nanjing Agricultural University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Agricultural University filed Critical Nanjing Agricultural University
Priority to CN201910508685.3A priority Critical patent/CN110197514A/zh
Publication of CN110197514A publication Critical patent/CN110197514A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/002—Image coding using neural networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于生成式对抗网络的蘑菇表型图像生成方法，该方法步骤为：(1)数据预处理，形成真实图像训练样本数据；(2)构建生成式对抗网络模型：该模型包括生成器和判别器，其中生成器负责生成图片，通过接收随机噪声z，并通过这个噪声生成图片G(z)，判别器负责判断图片真假部分，其通过接收一张图片x，输出对这张图片的判别结果D(x)；(3)采用梯度惩罚训练策略对生成式抗网络框架进行优化训练；(4)通过拟合Wasserstein距离，将Wasserstein距离作为相似度衡量指标，获得高质量蘑菇表型图像的生成模型。本发明可以使用少量的蘑菇数据集模拟出该种蘑菇各个生长阶段的图像，不仅与传统图像生成方式相比效率较高，而且在各类生成式模型中效率也较高。

Description

一种基于生成式对抗网络的蘑菇表型图像生成方法
技术领域
本发明属于计算机、人工智能及图像处理领域，具体涉及到一种基于生成式对抗网络的蘑菇表型图像生成方法。
背景技术
生成式对抗网络(Generative Adversarial Network,GAN)目前已经应用于人脸识别、风格迁移等领域，但是目前没有专门可用于蘑菇表型图像生成的产品。
虽然目前市场上存在大量的图像生成框架，但是很难生成蘑菇各个生长阶段的高质量的表型图像。具体主要有以下一些问题需要解决：
(1)如何将大规模图像集转化为统一尺寸的数据集，使用卷积神经网络提取蘑菇图像特征，减少由于角度、光照、变形等问题对识别准确率的影响。
(2)如何基于Wasserstein距离构建生成式网络框架，使用梯度惩罚策略解决生成式对抗网络框架的训练不稳定性。
(3)如何通过拟合Wasserstein距离问题，在全局数据集上使得生成蘑菇表型图像与原始图像之间的相似性最高，获得一个可生成高质量蘑菇图像的模型。
发明内容
本发明的目的在于克服上述现有技术存在的不足，提供一种基于生成式对抗网络的蘑菇表型图像生成方法，该方可以根据数据集训练相应模型并生成蘑菇各个生长阶段高质量的图像。
为实现上述目的，本发明采取的技术方案是：一种基于生成式对抗网络的蘑菇表型图像生成方法，其包括以下步骤：
(1)数据预处理，形成真实图像训练样本数据；
(2)构建生成式对抗网络模型：该模型包括生成器和判别器，所述生成器负责生成图片，通过接收随机噪声z，并通过这个噪声生成图片G(z)，所述判别器负责判断图片真假部分，其通过接收一张图片x，输出对这张图片的判别结果D(x)；
(3)采用梯度惩罚训练策略对生成式抗网络框架进行优化训练；
(4)通过拟合Wasserstein距离，将Wasserstein距离作为相似度衡量指标，获得高质量蘑菇表型图像的生成模型。
进一步的，所述步骤(1)中，训练样本数据集共四种蘑菇图像，每种蘑菇图像在200到300张之间，种类包括口蘑、香菇、柱状田头菇、凤尾菇。
进一步的，所述数据预处理方法包括随机翻转、随机亮度变换、随机对比度变换和图像归一化；数据预处理相关参数如下：
(a)随机上下翻转概率Pf＝0.5；
(b)随机亮度调整因子Pl＝0.1；
(c)随机对比度Pd变化范围[0.9,1.1]。
进一步的，所述生成器包括FC全连接层和DeConv卷积层，其中DeConv卷积层作为反卷积层共设置5个。
更进一步的，所述DeConv卷积层中，第一层输入数据尺寸为4×4×512，反卷积层的卷积核数为256个，卷积核的移动步长为2，卷积核大小为5×5，卷积核初始化为标准差为0.02的截断的正态分布，采用“SAME”填充方式，输入数据经过反卷积后得到的数据为8×8×256，再经过批归一化层及ReLU激活函数后将结果输出到下一层；
第二层输入数据尺寸为8×8×256，反卷积层的卷积核数为128个，卷积核的移动步长为2，卷积核大小为5×5，卷积核初始化为标准差为0.02的截断的正态分布，采用“SAME”填充方式，输入数据经过反卷积后得到的数据为16×16×128，再经过批归一化层及ReLU激活函数后将结果输出到下一层；
第三层输入数据尺寸为16×16×128，反卷积层的卷积核数为64个，卷积核的移动步长为2，卷积核大小为5×5，卷积核初始化为标准差为0.02的截断的正态分布，采用“SAME”填充方式，输入数据经过反卷积后得到的数据为32×32×64，再经过批归一化层及ReLU激活函数后将结果输出到下一层；
第四层输入数据尺寸为32×32×64，反卷积层的卷积核数为32个，卷积核的移动步长为2，卷积核大小为5×5，卷积核初始化为标准差为0.02的截断的正态分布，采用“SAME”填充方式，输入数据经过反卷积后得到的数据为64×64×32，再经过批归一化层及ReLU激活函数后将结果输出到下一层；
第五层输入数据尺寸为64×64×32，反卷积层的卷积核数为3个，卷积核的移动步长为2，卷积核大小为5×5，卷积核初始化为标准差为0.02的截断的正态分布，采用“SAME”填充方式，输入数据经过反卷积后得到的数据为128×128×3，再经过批归一化层及Tanh激活函数后将结果输出到下一层。
更进一步的，所述批归一化的算法公式如下：
步骤一：沿通道计算同一批次内所有图片的均值μB，如公式(1)：
步骤二：沿通道计算同一批次所有图片的方差如公式(2)：
步骤三：对图像做归一化处理xi，如公式(3)：
步骤四：加入缩放变量γ和平移变量β，得出结果，如公式(4)：
其中xi采样于批数据集B＝{x1,x2，…，xm}，缩放变量平移变量β和防止方差为0的参数ν，ν设置为1e-5。
进一步的，所述生成器包括Conv卷积层和FC全连接层，其中Conv卷积层作为卷积层共设置4个。
更进一步的，所述Conv卷积层中，第一层输入数据尺寸为128×128×3，卷积层的卷积核数为64个，卷积核的移动步长为2，卷积核大小为5×5，卷积核初始化为标准差为0.02的截断的正态分布，采用“SAME”填充方式，输入数据经过卷积后得到的数据为64×64×64，再经过归一化层LN及Leaky ReLU激活函数后将结果输出到下一层；
第二层输入数据尺寸为64×64×64，卷积层的卷积核数为128个，卷积核的移动步长为2，卷积核大小为5×5，卷积核初始化为标准差为0.02的截断的正态分布，采用“SAME”填充方式，输入数据经过卷积后得到的数据为32×32×128，再经过归一化层LN及LeakyReLU激活函数后将结果输出到下一层；
第三层输入数据尺寸为32×32×128，卷积层的卷积核数为256个，卷积核的移动步长为2，卷积核大小为5×5，卷积核初始化为标准差为0.02的截断的正态分布，采用“SAME”填充方式，输入数据经过卷积后得到的数据为16×16×256，再经归一化层LN及Leaky ReLU激活函数后将结果输出到下一层；
第四层输入数据尺寸为16×16×256，卷积层的卷积核数为512个，卷积核的移动步长为2，卷积核大小为5×5，卷积核初始化为标准差为0.02的截断的正态分布，采用“SAME”填充方式，输入数据经过卷积后得到的数据为8×8×512，再经过归一化层LN及Leaky ReLU激活函数后将结果输出到下一层。
进一步的，采用梯度惩罚训练策略对生成式抗网络的判别器和生成器进行训练，具体步骤如下：
(1)初始化判别器与生成器网络参数；
(2)初始化随机噪声；
(3)随机获取一个批次大小的训练样本，并在输入队列中进行数据预处理；
(4)将(2)中生成的随机噪声输入到生成器网络，生成虚拟图像数据，将生成的虚拟图像数据输入到判别器中，得到生成图像判别结果；将(3)中获取的训练样本输入到判别器中，得到真实图像判别结果；计算判别器损失；
(5)计算梯度惩罚项，为判别器损失施加惩罚，然后使用Adam优化器反向更新判别器参数；
(6)判断是否达到指定判别器优化次数，若是则进入步骤(7)，若否则重新进入步骤(3)；
(7)将(2)中生成的随机噪声输入到生成器网络，计算生成器损失并使用Adam优化器反向更新判别器参数；
(8)判断是否达到指定迭代次数，即是否遍历完全部样本，若是则进入步骤(9)，若否则重新进入步骤(2)；
(9)判断是否达到指定EPOCH次数，若是则结束，若否则重新进入步骤(2)。
进一步的，所述高质量蘑菇表型图像的生成模型如下：
设定Pr是真实蘑菇数据分布，Pg是生成蘑菇数据分布，fw代表判别器网络，根据Lipschitz连续性条件的要求，判别器网络含参数w，并且参数w不超过某个范围的条件下，Wasserstein距离定义为：
通过判别器近似拟合Wasserstein距离，判别器的损失函数表示为：
通过生成器近似地最小化Wasserstein距离，即最小化公式(6)，因此生成器的损失函数可以表示为公式：
其中真实蘑菇数据分布与生成器无关，因此公式(8)可以变型为公式(9)：
通过梯度惩罚的方式来满足Lipschitz连续性；当生成蘑菇数据分布Pr接近真实蘑菇数据分布Pg时，Lipschitz连续性表示为公式(10)：
||D(Pg)-D(Pr)||≤K||Pg-Pr|| (10)
可变形为公式(11)：
其中Pc表示生成数据蘑菇分布与真实蘑菇数据分布的差值；通过梯度惩罚让公式(11)不超过K，且期望梯度的归一化离K越近越好；
先对真假样本的蘑菇数据分布进行随机差值采样，即产生一对真假样本Xr和Xg，采样公式可表示为：
X＝aXr+(1-a)Xg (12)
其中a是一个[0,1]区间的随机数；
接下来使用随机差值采样计算判别器的梯度▽xD(x)，建立与Lipschitz常数K之间的二范数实现梯度惩罚项，如公式(13)：
其中λ是调节梯度惩罚项大小的参数；设定K为1，则可变形为公式(14)：
判别器损失函数公式(8)加上梯度惩罚项，如公式(15)：
生成器损失函数公式(9)保持不变，如公式(16)：
本发明的有益效果是：本发明可以使用少量的蘑菇数据集模拟出该种蘑菇各个生长阶段的图像，不仅与传统图像生成方式相比效率较高，而且本发明采用的使用Wasserstein距离作为相似度衡量指标的生成式对抗网络在各类生成式模型中效率也较高。
具体的，(1)采用生成式对抗网络生成蘑菇各个生长状态下的表型模拟图像，使用少量的特定的蘑菇图像生成大量蘑菇的虚拟图像，对蘑菇表型分类研究中的数据集不均衡问题，长尾分布等问题提供蘑菇数据集的高质量生成技术，为蘑菇各个阶段的表型研究提供技术支撑。(2)将生成式对抗网络运用于图像生成，提高图像生成的质量和速度，并将其用于农业领域，比对蘑菇图像生成，简化了蘑菇研究人员获取大量所需数据集的过程。
附图说明
图1是数据预处理流程图。
图2是蘑菇表型生成方法的GAN框架图。
图3是生成器网络结构图。
图4是生成器全连接层操作图。
图5是生成器反卷积层操作图。
图6是Tanh激活函数图。
图7是判别器网络结构图。
图8是判别器卷积层操作图。
图9是判别器全连接层操作图。
图10是Leaky ReLU激活函数图。
图11是梯度惩罚训练流程图。
具体实施方式
下面结合附图和具体实施例对本发明进行详细说明。
一、数据预处理
本发明中使用的训练样本数据集共四种蘑菇图像，每种蘑菇图像在200到300张之间，种类包括口蘑、香菇、柱状田头菇、凤尾菇。数据预处理相关参数如下：
(1)随机上下翻转概率Pf＝0.5。
(2)随机亮度调整因子Pl＝0.1。
(3)随机对比度Pd变化范围[0.9,1.1]。
数据预处理过程如图1所示。图像预处理方法有随机翻转、随机亮度变换、随机对比度变换和图像归一化，前面几种预处理方法主要是是为了增加样本数量，而图像归一化是为了抵抗几何变换带来的影响。
二、生成器和判别器网络结构
本发明的蘑菇表型生成方法GAN包括生成器(Generator)和判别器(Discriminator)，如图2所示。生成器的目的是尽可能的去学习真实的数据分布，而判别器的目的是尽可能的正确判别输入数据是来自真实数据还是生成器生成的数据，学习过程就是寻找并达到双方之间的一个纳什均衡。
(1)生成器：负责生成图片的部分，它通过接收随机噪声z，通过这个噪声生成图片G(z)；
(2)判别器：负责判断图片真假的部分，它通过接收一张图片x，输出对这张图片的判别结果D(x)。
1、系统的生成器结构
生成器的卷积神经网络结构的作用是通过输入采样自区间为[-1,1]的均匀分布的随机数据生成分辨率为128×128的彩色图像，生成器的基本架构如图3所示，包括FC全连接层和DeConv卷积层。
(1)FC全连接层设计如图4所示，输入为每张图片100个随机数据，经过全连接层的8192个神经元处理以及形状重塑后变为4×4×512大小的数据，再经过批归一化层及ReLU激活函数后将结果输出到下一层，其中权重W以方差为0.02的截断的正态分布初始化，用常量0初始化网络的偏置值b。
(2)DeConv卷积层设计如图5所示。生成器中共有5个反卷积层，其中：
第一层输入数据尺寸为4×4×512。反卷积层的卷积核数为256个，卷积核的移动步长为2，卷积核大小为5×5，卷积核初始化为标准差为0.02的截断的正态分布，采用“SAME”填充方式。输入数据经过反卷积后得到的数据为8×8×256，再经过批归一化层及ReLU激活函数后将结果输出到下一层。
第二层输入数据尺寸为8×8×256。反卷积层的卷积核数为128个，卷积核的移动步长为2，卷积核大小为5×5，卷积核初始化为标准差为0.02的截断的正态分布，采用“SAME”填充方式。输入数据经过反卷积后得到的数据为16×16×128，再经过批归一化层及ReLU激活函数后将结果输出到下一层。
第三层输入数据尺寸为16×16×128。反卷积层的卷积核数为64个，卷积核的移动步长为2，卷积核大小为5×5，卷积核初始化为标准差为0.02的截断的正态分布，采用“SAME”填充方式。输入数据经过反卷积后得到的数据为32×32×64，再经过批归一化层及ReLU激活函数后将结果输出到下一层。
第四层输入数据尺寸为32×32×64。反卷积层的卷积核数为32个，卷积核的移动步长为2，卷积核大小为5×5，卷积核初始化为标准差为0.02的截断的正态分布，采用“SAME”填充方式。输入数据经过反卷积后得到的数据为64×64×32，再经过批归一化层及ReLU激活函数后将结果输出到下一层。
第五层输入数据尺寸为64×64×32。反卷积层的卷积核数为3个，卷积核的移动步长为2，卷积核大小为5×5，卷积核初始化为标准差为0.02的截断的正态分布，采用“SAME”填充方式。输入数据经过反卷积后得到的数据为128×128×3，再经过批归一化层及Tanh激活函数后将结果输出到下一层。
表1统计了生成器网络参数。
表1生成器网络参数总结
2、生成器模块选取
(1)由于生成器的输出层直接将前一层的值作为输出，并且需要输出的是规范化到[-1,1]区间的图像数据(为了保持和真实图片数据结构一致)，所以在最后一个激活函数的选取上选择Tanh(双曲正切)激活函数。
Tanh激活函数激活函数表达式为f(x)＝tanh(x)。函数表达如图6所示。
相比于ReLU(Rectified Linear Unit)激活函数在反向传播更新权重部分易于训练，Tanh激活函数可以将输出层的输出约束到[-1,1]的区间。
(1)由于批归一化(Local Response Normalization)是同一批次数据按照给定的系数进行规范化处理，从而保证数据分布的一致性，并且批归一化操作能够防止反向传播权重更新时发生“梯度弥散”并加速收敛。其算法公式如下所示。
步骤一：沿通道计算同一批次内所有图片的均值μB，如公式(1)：
步骤二：沿通道计算同一批次所有图片的方差如公式(2)：
步骤三：对图像做归一化处理xi，如公式(3)：
步骤四：加入缩放变量γ和平移变量β，得出结果，如公式(4)：
其中xi采样于批数据集B＝{x1,x2，…，xm}，缩放变量平移变量β和防止方差为0的参数ν，ν设置为1e-5。
3、系统的判别器结构
判别器的卷积神经网络结构的作用是尽量拟合生成数据分布和真实数据分布之间的Wasserstein距离，即判别器的任务是一个回归任务，判别器的基本架构如图7所示，包括Conv卷积层和FC全连接层。
(1)Conv卷积层设计如图8所示。判别器中共有4个卷积层，其中：
第一层输入数据尺寸为128×128×3。卷积层的卷积核数为64个，卷积核的移动步长为2，卷积核大小为5×5，卷积核初始化为标准差为0.02的截断的正态分布，采用“SAME”填充方式。输入数据经过卷积后得到的数据为64×64×64，再经过归一化层LN及LeakyReLU激活函数后将结果输出到下一层。
第二层输入数据尺寸为64×64×64。卷积层的卷积核数为128个，卷积核的移动步长为2，卷积核大小为5×5，卷积核初始化为标准差为0.02的截断的正态分布，采用“SAME”填充方式。输入数据经过卷积后得到的数据为32×32×128，再经过归一化层LN及LeakyReLU激活函数后将结果输出到下一层。
第三层输入数据尺寸为32×32×128。卷积层的卷积核数为256个，卷积核的移动步长为2，卷积核大小为5×5，卷积核初始化为标准差为0.02的截断的正态分布，采用“SAME”填充方式。输入数据经过卷积后得到的数据为16×16×256，再经归一化层LN及Leaky ReLU激活函数后将结果输出到下一层。
第四层输入数据尺寸为16×16×256。卷积层的卷积核数为512个，卷积核的移动步长为2，卷积核大小为5×5，卷积核初始化为标准差为0.02的截断的正态分布，采用“SAME”填充方式。输入数据经过卷积后得到的数据为8×8×512，再经过归一化层LN及Leaky ReLU激活函数后将结果输出到下一层。
(2)FC全连接层设计如图9所示，输入尺寸为8×8×512，经过全连接层的100个神经元处理以及形状重塑后变为尺寸为1的数据，并将结果输出，其中权重W以方差为0.02的截断的正态分布初始化，用常量0初始化网络的偏置值b。
表2统计了判别器网络参数。
表2判别器网络参数总结
4、判别器模块选取
在激活函数的选择上使用Leaky ReLU激活函数，以确保梯度更新可以流过整个图。
Leaky ReLU激活函数表达式为：
其中α∈(1，+∞)，本文中α设定为0.2。
Leaky ReLU激活函数曲线图如图10所示。
三、蘑菇表型生成式对抗网络策略
设定Pr是真实蘑菇数据分布，Pg是生成蘑菇数据分布，fw代表判别器网络，根据Lipschitz连续性条件的要求，该判别器网络含参数w，并且参数w不超过某个范围的条件下，Wasserstein距离可定义为：
判别器的目的是近似拟合Wasserstein距离，因此判别器的损失函数可以表示为：
生成器的目的是近似地最小化Wasserstein距离，即最小化公式(6)，因此生成器的损失函数可以表示为公式：
其中真实蘑菇数据分布与生成器无关，因此公式(8)可以变型为公式(9)：
因为判别器需要满足Lipschitz连续性条件，即Lipschitz限制要求判别器的梯度不能超过Lipschitz常数K，常数K设置为1.0。所以可以通过梯度惩罚的方式来满足Lipschitz连续性。
当生成蘑菇数据分布Pr接近真实蘑菇数据分布Pg时，Lipschitz连续性可表示为公式(10)：
||D(Pg)-D(Pr)||≤K||Pg-Pr|| (10)
可变形为公式(11)：
其中Pc表示生成数据蘑菇分布与真实蘑菇数据分布的差值。
梯度惩罚就是让公式(11)不超过K，所以期望梯度的归一化离K越近越好。
于是先对真假样本的蘑菇数据分布进行随机差值采样，即产生一对真假样本Xr和Xg，采样公式可表示为：
X＝aXr+(1-a)Xg (12)
其中a是一个[0,1]区间的随机数。
接下来使用随机差值采样计算判别器的梯度▽xD(x)，建立与Lipschitz常数K之间的二范数实现梯度惩罚项，如公式(13)：
其中λ是调节梯度惩罚项大小的参数，设定为10。
由于K是一个常量，设定K为1，则可变形为公式(14)：
于是判别器损失函数公式(8)加上梯度惩罚项，如公式(15)：
生成器损失函数公式(9)保持不变，如公式(16)：
生成式对抗网络需要轮流训练判别器和生成器，图11是使用梯度惩罚策略的训练流程图。具体步骤流程如下：
(1)用方差为0.02的截断的正态分布初始化网络中的权重参数W和卷积核，用常量0初始化网络的偏置值b。
(2)用区间为[-1,1]的均匀分布初始化随机噪声。
(3)用数据集中随机获取批次大小的训练样本BATCH_SIZE；64，并在输入队列中进行数据预处理。
(4)将(2)中生成的随机噪声输入到生成器网络，生成虚拟图像数据，将生成的虚拟图像数据输入到判别器中，得到生成图像判别结果；将(3)中获取的训练样本输入到判别器中(使用层归一化操作)，得到真实图像判别结果；计算判别器损失。
(5)计算梯度惩罚项，为判别器损失施加惩罚，然后使用Adam优化器反向更新判别器参数，其中优化器超参数β1＝0.5、β2＝0.9、ε＝1e-8，学习率η＝0.0003。
(6)判断是否达到指定判别器优化次数ncritic＝5，即每优化一次生成器时优化五次判别器，若是则进入步骤(7)，若否则重新进入步骤(3)。
(7)将(2)中生成的随机噪声输入到生成器网络，计算生成器损失并使用Adam优化器反向更新判别器参数，其中优化器超参数β1＝0.5、β2＝0.9、ε＝1e-8，学习率η＝0.0003。
(8)判断是否达到指定迭代次数，即是否遍历完全部样本，若是则进入步骤(9)，若否则重新进入步骤(2)。
(9)判断是否达到指定EPOCH次数，即总共训练的轮次EPOCH＝50000，若是则结束，若否则重新进入步骤(2)。
以上显示和描述了本发明的基本原理、主要特征和优点。本领域的普通技术人员应该了解，上述实施例不以任何形式限制本发明的保护范围，凡采用等同替换等方式所获得的技术方案，均落于本发明的保护范围内。
本发明未涉及部分均与现有技术相同或可采用现有技术加以实现。

Claims (10)

1.一种基于生成式对抗网络的蘑菇表型图像生成方法，其特征在于包括以下步骤：
(1)数据预处理，形成真实图像训练样本数据；
(2)构建生成式对抗网络模型：该模型包括生成器和判别器，所述生成器负责生成图片，通过接收随机噪声z，并通过这个噪声生成图片G(z)，所述判别器负责判断图片真假部分，其通过接收一张图片x，输出对这张图片的判别结果D(x)；
(3)采用梯度惩罚训练策略对生成式抗网络框架进行优化训练；
(4)通过拟合Wasserstein距离，将Wasserstein距离作为相似度衡量指标，获得高质量蘑菇表型图像的生成模型。
2.根据权利要求1所述的一种基于生成式对抗网络的蘑菇表型图像生成方法，其特征在于，所述步骤(1)中，训练样本数据集共四种蘑菇图像，每种蘑菇图像在200到300张之间，种类包括口蘑、香菇、柱状田头菇、凤尾菇。
3.根据权利要求1或2所述的一种基于生成式对抗网络的蘑菇表型图像生成方法，其特征在于，所述数据预处理方法包括随机翻转、随机亮度变换、随机对比度变换和图像归一化；数据预处理相关参数如下：
(a)随机上下翻转概率Pf＝0.5；
(b)随机亮度调整因子Pl＝0.1；
(c)随机对比度Pd变化范围[0.9,1.1]。
4.根据权利要求1所述的一种基于生成式对抗网络的蘑菇表型图像生成方法，其特征在于，所述生成器包括FC全连接层和DeConv卷积层，其中DeConv卷积层作为反卷积层共设置5个。
5.根据权利要求4所述的一种基于生成式对抗网络的蘑菇表型图像生成方法，其特征在于，所述DeConv卷积层中，第一层输入数据尺寸为4×4×512，反卷积层的卷积核数为256个，卷积核的移动步长为2，卷积核大小为5×5，卷积核初始化为标准差为0.02的截断的正态分布，采用“SAME”填充方式，输入数据经过反卷积后得到的数据为8×8×256，再经过批归一化层及ReLU激活函数后将结果输出到下一层；
第二层输入数据尺寸为8×8×256，反卷积层的卷积核数为128个，卷积核的移动步长为2，卷积核大小为5×5，卷积核初始化为标准差为0.02的截断的正态分布，采用“SAME”填充方式，输入数据经过反卷积后得到的数据为16×16×128，再经过批归一化层及ReLU激活函数后将结果输出到下一层；
第三层输入数据尺寸为16×16×128，反卷积层的卷积核数为64个，卷积核的移动步长为2，卷积核大小为5×5，卷积核初始化为标准差为0.02的截断的正态分布，采用“SAME”填充方式，输入数据经过反卷积后得到的数据为32×32×64，再经过批归一化层及ReLU激活函数后将结果输出到下一层；
第四层输入数据尺寸为32×32×64，反卷积层的卷积核数为32个，卷积核的移动步长为2，卷积核大小为5×5，卷积核初始化为标准差为0.02的截断的正态分布，采用“SAME”填充方式，输入数据经过反卷积后得到的数据为64×64×32，再经过批归一化层及ReLU激活函数后将结果输出到下一层；
第五层输入数据尺寸为64×64×32，反卷积层的卷积核数为3个，卷积核的移动步长为2，卷积核大小为5×5，卷积核初始化为标准差为0.02的截断的正态分布，采用“SAME”填充方式，输入数据经过反卷积后得到的数据为128×128×3，再经过批归一化层及Tanh激活函数后将结果输出到下一层。
6.根据权利要求5所述的一种基于生成式对抗网络的蘑菇表型图像生成方法，其特征在于，所述批归一化的算法公式如下：
步骤一：沿通道计算同一批次内所有图片的均值μB，如公式(1)：
步骤二：沿通道计算同一批次所有图片的方差如公式(2)：
步骤三：对图像做归一化处理xi，如公式(3)：
步骤四：加入缩放变量γ和平移变量β，得出结果，如公式(4)：
其中xi采样于批数据集B＝{x1,x2，…，xm}，缩放变量平移变量β和防止方差为0的参数ν，ν设置为1e-5。
7.根据权利要求1所述的一种基于生成式对抗网络的蘑菇表型图像生成方法，其特征在于：所述生成器包括Conv卷积层和FC全连接层，其中Conv卷积层作为卷积层共设置4个。
8.根据权利要求7所述的一种基于生成式对抗网络的蘑菇表型图像生成方法，其特征在于，所述Conv卷积层中，第一层输入数据尺寸为128×128×3，卷积层的卷积核数为64个，卷积核的移动步长为2，卷积核大小为5×5，卷积核初始化为标准差为0.02的截断的正态分布，采用“SAME”填充方式，输入数据经过卷积后得到的数据为64×64×64，再经过归一化层LN及Leaky ReLU激活函数后将结果输出到下一层；
第二层输入数据尺寸为64×64×64，卷积层的卷积核数为128个，卷积核的移动步长为2，卷积核大小为5×5，卷积核初始化为标准差为0.02的截断的正态分布，采用“SAME”填充方式，输入数据经过卷积后得到的数据为32×32×128，再经过归一化层LN及Leaky ReLU激活函数后将结果输出到下一层；
第三层输入数据尺寸为32×32×128，卷积层的卷积核数为256个，卷积核的移动步长为2，卷积核大小为5×5，卷积核初始化为标准差为0.02的截断的正态分布，采用“SAME”填充方式，输入数据经过卷积后得到的数据为16×16×256，再经归一化层LN及Leaky ReLU激活函数后将结果输出到下一层；
第四层输入数据尺寸为16×16×256，卷积层的卷积核数为512个，卷积核的移动步长为2，卷积核大小为5×5，卷积核初始化为标准差为0.02的截断的正态分布，采用“SAME”填充方式，输入数据经过卷积后得到的数据为8×8×512，再经过归一化层LN及Leaky ReLU激活函数后将结果输出到下一层。
9.根据权利要求1所述的一种基于生成式对抗网络的蘑菇表型图像生成方法，其特征在于，采用梯度惩罚训练策略对生成式抗网络的判别器和生成器进行训练，具体步骤如下：
(1)初始化判别器与生成器网络参数；
(2)初始化随机噪声；
(3)随机获取一个批次大小的训练样本，并在输入队列中进行数据预处理；
(4)将(2)中生成的随机噪声输入到生成器网络，生成虚拟图像数据，将生成的虚拟图像数据输入到判别器中，得到生成图像判别结果；将(3)中获取的训练样本输入到判别器中，得到真实图像判别结果；计算判别器损失；
(5)计算梯度惩罚项，为判别器损失施加惩罚，然后使用Adam优化器反向更新判别器参数；
(6)判断是否达到指定判别器优化次数，若是则进入步骤(7)，若否则重新进入步骤(3)；
(7)将(2)中生成的随机噪声输入到生成器网络，计算生成器损失并使用Adam优化器反向更新判别器参数；
(8)判断是否达到指定迭代次数，即是否遍历完全部样本，若是则进入步骤(9)，若否则重新进入步骤(2)；
(9)判断是否达到指定EPOCH次数，若是则结束，若否则重新进入步骤(2)。
10.根据权利要求1所述的一种基于生成式对抗网络的蘑菇表型图像生成方法，其特征在于，所述高质量蘑菇表型图像的生成模型如下：
设定Pr是真实蘑菇数据分布，Pg是生成蘑菇数据分布，fw代表判别器网络，根据Lipschitz连续性条件的要求，判别器网络含参数w，并且参数w不超过某个范围的条件下，Wasserstein距离定义为：
通过判别器近似拟合Wasserstein距离，判别器的损失函数表示为：
通过生成器近似地最小化Wasserstein距离，即最小化公式(6)，因此生成器的损失函数可以表示为公式：
其中真实蘑菇数据分布与生成器无关，因此公式(8)可以变型为公式(9)：
通过梯度惩罚的方式来满足Lipschitz连续性；当生成蘑菇数据分布Pr接近真实蘑菇数据分布Pg时，Lipschitz连续性表示为公式(10)：
||D(Pg)-D(Pr)||≤K||Pg-Pr|| (10)
可变形为公式(11)：
其中Pc表示生成数据蘑菇分布与真实蘑菇数据分布的差值；通过梯度惩罚让公式(11)不超过K，且期望梯度的归一化离K越近越好；
先对真假样本的蘑菇数据分布进行随机差值采样，即产生一对真假样本Xr和Xg，采样公式可表示为：
X＝aXr+(1-a)Xg (12)
其中a是一个[0,1]区间的随机数；
接下来使用随机差值采样计算判别器的梯度建立与Lipschitz常数K之间的二范数实现梯度惩罚项，如公式(13)：
其中λ是调节梯度惩罚项大小的参数；设定K为1，则可变形为公式(14)：
判别器损失函数公式(8)加上梯度惩罚项，如公式(15)：
生成器损失函数公式(9)保持不变，如公式(16)：
CN201910508685.3A 2019-06-13 2019-06-13 一种基于生成式对抗网络的蘑菇表型图像生成方法 Pending CN110197514A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201910508685.3A CN110197514A (zh) 2019-06-13 2019-06-13 一种基于生成式对抗网络的蘑菇表型图像生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201910508685.3A CN110197514A (zh) 2019-06-13 2019-06-13 一种基于生成式对抗网络的蘑菇表型图像生成方法

Publications (1)

Publication Number Publication Date
CN110197514A true CN110197514A (zh) 2019-09-03

Family

ID=67754365

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201910508685.3A Pending CN110197514A (zh) 2019-06-13 2019-06-13 一种基于生成式对抗网络的蘑菇表型图像生成方法

Country Status (1)

Country Link
CN (1) CN110197514A (zh)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110728654A (zh) * 2019-09-06 2020-01-24 台州学院 一种基于深度残差神经网络的管道自动检测和分类方法
CN110897634A (zh) * 2019-12-17 2020-03-24 安徽心之声医疗科技有限公司 一种基于生成对抗网络的心电信号生成方法
CN111291814A (zh) * 2020-02-15 2020-06-16 河北工业大学 基于卷积神经网络与信息熵数据融合策略的裂纹识别算法
CN111353995A (zh) * 2020-03-31 2020-06-30 成都信息工程大学 一种基于生成对抗网络的宫颈单细胞图像数据生成方法
CN111652297A (zh) * 2020-05-25 2020-09-11 哈尔滨市科佳通用机电股份有限公司 用于图像检测模型训练的故障图片生成方法
CN112070209A (zh) * 2020-08-13 2020-12-11 河北大学 基于w距离的稳定可控图像生成模型训练方法
CN112132012A (zh) * 2020-09-22 2020-12-25 中国科学院空天信息创新研究院 基于生成对抗网络的高分辨率sar船舶图像生成方法
CN112784930A (zh) * 2021-03-17 2021-05-11 西安电子科技大学 基于cacgan的hrrp识别数据库样本扩充方法
CN112835709A (zh) * 2020-12-17 2021-05-25 华南理工大学 基于生成对抗网络的云负载时序数据生成方法、系统及介质
CN113160038A (zh) * 2021-04-28 2021-07-23 北京达佳互联信息技术有限公司 一种图像风格迁移方法、装置、电子设备及存储介质
WO2021254499A1 (zh) * 2020-06-19 2021-12-23 北京灵汐科技有限公司 编辑模型生成、人脸图像编辑方法、装置、设备及介质
CN116306543A (zh) * 2023-05-25 2023-06-23 北京泛钛客科技有限公司 一种基于生成式对抗网络的表格数据生成方法及系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107016406A (zh) * 2017-02-24 2017-08-04 中国科学院合肥物质科学研究院 基于生成式对抗网络的病虫害图像生成方法
CN107688597A (zh) * 2017-06-16 2018-02-13 湖北民族学院 一种大型真菌识别方法
CN108197700A (zh) * 2018-01-12 2018-06-22 广州视声智能科技有限公司 一种生成式对抗网络建模方法及装置
CN108763857A (zh) * 2018-05-29 2018-11-06 浙江工业大学 一种基于相似度生成对抗网络的过程软测量建模方法
CN109120652A (zh) * 2018-11-09 2019-01-01 重庆邮电大学 基于差分wgan网络安全态势预测
CN109670558A (zh) * 2017-10-16 2019-04-23 奥多比公司 使用深度学习的数字图像完成

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107016406A (zh) * 2017-02-24 2017-08-04 中国科学院合肥物质科学研究院 基于生成式对抗网络的病虫害图像生成方法
CN107688597A (zh) * 2017-06-16 2018-02-13 湖北民族学院 一种大型真菌识别方法
CN109670558A (zh) * 2017-10-16 2019-04-23 奥多比公司 使用深度学习的数字图像完成
CN108197700A (zh) * 2018-01-12 2018-06-22 广州视声智能科技有限公司 一种生成式对抗网络建模方法及装置
CN108763857A (zh) * 2018-05-29 2018-11-06 浙江工业大学 一种基于相似度生成对抗网络的过程软测量建模方法
CN109120652A (zh) * 2018-11-09 2019-01-01 重庆邮电大学 基于差分wgan网络安全态势预测

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
ALEC RADFORD ET AL: ""Unsupervised Representation Learning with Deep Convolutional Generative Adversarial Networks"", 《HTTPS://ARXIV.ORG/ABS/1511.06434》 *
IOFFE S ET AL: ""Batch normalization: accelerating deep net-work training by reducing internal covariate shift"", 《PROCEED-INGS OF THE 32ND INTERNATIONAL CONFERENCE ON MACHINE LEARNING》 *
L.GULRAJANI ET AL: ""Improved Traning of Wasserstain GANs"", 《HTTPS://ARXIV.ORG/ABS/1701.00028V1》 *
MARTIN ARJOVSKY ET AL: ""Wasserstein GAN"", 《HTTPS://ARXIV.ORG/ABS/1701.07878》 *
曹仰杰 等: ""生成式对抗网络及其计算机视觉应用研究综述"", 《中国图像图形学报》 *

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110728654A (zh) * 2019-09-06 2020-01-24 台州学院 一种基于深度残差神经网络的管道自动检测和分类方法
CN110728654B (zh) * 2019-09-06 2023-01-10 台州学院 一种基于深度残差神经网络的管道自动检测和分类方法
CN110897634A (zh) * 2019-12-17 2020-03-24 安徽心之声医疗科技有限公司 一种基于生成对抗网络的心电信号生成方法
CN111291814A (zh) * 2020-02-15 2020-06-16 河北工业大学 基于卷积神经网络与信息熵数据融合策略的裂纹识别算法
CN111291814B (zh) * 2020-02-15 2023-06-02 河北工业大学 基于卷积神经网络与信息熵数据融合策略的裂纹识别算法
CN111353995A (zh) * 2020-03-31 2020-06-30 成都信息工程大学 一种基于生成对抗网络的宫颈单细胞图像数据生成方法
CN111353995B (zh) * 2020-03-31 2023-03-28 成都信息工程大学 一种基于生成对抗网络的宫颈单细胞图像数据生成方法
CN111652297A (zh) * 2020-05-25 2020-09-11 哈尔滨市科佳通用机电股份有限公司 用于图像检测模型训练的故障图片生成方法
CN111652297B (zh) * 2020-05-25 2021-05-25 哈尔滨市科佳通用机电股份有限公司 用于图像检测模型训练的故障图片生成方法
WO2021254499A1 (zh) * 2020-06-19 2021-12-23 北京灵汐科技有限公司 编辑模型生成、人脸图像编辑方法、装置、设备及介质
CN112070209A (zh) * 2020-08-13 2020-12-11 河北大学 基于w距离的稳定可控图像生成模型训练方法
CN112070209B (zh) * 2020-08-13 2022-07-22 河北大学 基于w距离的稳定可控图像生成模型训练方法
CN112132012B (zh) * 2020-09-22 2022-04-26 中国科学院空天信息创新研究院 基于生成对抗网络的高分辨率sar船舶图像生成方法
CN112132012A (zh) * 2020-09-22 2020-12-25 中国科学院空天信息创新研究院 基于生成对抗网络的高分辨率sar船舶图像生成方法
CN112835709A (zh) * 2020-12-17 2021-05-25 华南理工大学 基于生成对抗网络的云负载时序数据生成方法、系统及介质
CN112835709B (zh) * 2020-12-17 2023-09-22 华南理工大学 基于生成对抗网络的云负载时序数据生成方法、系统和介质
CN112784930B (zh) * 2021-03-17 2022-03-04 西安电子科技大学 基于cacgan的hrrp识别数据库样本扩充方法
CN112784930A (zh) * 2021-03-17 2021-05-11 西安电子科技大学 基于cacgan的hrrp识别数据库样本扩充方法
CN113160038A (zh) * 2021-04-28 2021-07-23 北京达佳互联信息技术有限公司 一种图像风格迁移方法、装置、电子设备及存储介质
CN113160038B (zh) * 2021-04-28 2024-03-26 北京达佳互联信息技术有限公司 一种图像风格迁移方法、装置、电子设备及存储介质
CN116306543A (zh) * 2023-05-25 2023-06-23 北京泛钛客科技有限公司 一种基于生成式对抗网络的表格数据生成方法及系统

Similar Documents

Publication Publication Date Title
CN110197514A (zh) 一种基于生成式对抗网络的蘑菇表型图像生成方法
WO2022160771A1 (zh) 基于自适应多尺度特征提取模型的高光谱图像分类方法
WO2021244079A1 (zh) 智能家居环境中图像目标检测方法
CN111898406B (zh) 基于焦点损失和多任务级联的人脸检测方法
CN114841257B (zh) 一种基于自监督对比约束下的小样本目标检测方法
CN110097609B (zh) 一种基于样本域的精细化绣花纹理迁移方法
CN108665005B (zh) 一种利用dcgan提高基于cnn图像识别性能的方法
CN110458844A (zh) 一种低光照场景的语义分割方法
CN109299716A (zh) 神经网络的训练方法、图像分割方法、装置、设备及介质
WO2021051987A1 (zh) 神经网络模型训练的方法和装置
CN110097178A (zh) 一种基于熵注意的神经网络模型压缩与加速方法
CN111915629B (zh) 基于边界检测的超像素分割方法
CN112950780B (zh) 一种基于遥感影像的网络地图智能生成方法及系统
CN107909008A (zh) 基于多通道卷积神经网络和粒子滤波的视频目标跟踪方法
CN112381030B (zh) 一种基于特征融合的卫星光学遥感图像目标检测方法
Zeng et al. CNN model design of gesture recognition based on tensorflow framework
CN109376787B (zh) 流形学习网络及基于其的计算机视觉图像集分类方法
CN112861982A (zh) 一种基于梯度平均的长尾目标检测方法
CN113569881A (zh) 一种基于链式残差与注意力机制的自适应语义分割方法
CN109711442A (zh) 无监督逐层生成对抗特征表示学习方法
CN116030302A (zh) 基于表征数据增强和损失再平衡的长尾图像识别方法
CN110188621B (zh) 一种基于ssf-il-cnn的三维人脸表情识别方法
CN116229061A (zh) 一种基于图像生成的语义分割方法和系统
Lu et al. Image recognition of rice leaf diseases using atrous convolutional neural network and improved transfer learning algorithm
CN107729992B (zh) 一种基于反向传播的深度学习方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20190903