CN111369498A - 一种基于改进生成对抗网络的种苗生长势评估的数据增强方法 - Google Patents

一种基于改进生成对抗网络的种苗生长势评估的数据增强方法 Download PDF

Info

Publication number
CN111369498A
CN111369498A CN202010102260.5A CN202010102260A CN111369498A CN 111369498 A CN111369498 A CN 111369498A CN 202010102260 A CN202010102260 A CN 202010102260A CN 111369498 A CN111369498 A CN 111369498A
Authority
CN
China
Prior art keywords
model
image
layer
network
convolution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202010102260.5A
Other languages
English (en)
Other versions
CN111369498B (zh
Inventor
朱逢乐
郑增威
何梦竹
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hongfujin Precision Industry Shenzhen Co Ltd
Original Assignee
Hongfujin Precision Industry Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hongfujin Precision Industry Shenzhen Co Ltd filed Critical Hongfujin Precision Industry Shenzhen Co Ltd
Priority to CN202010102260.5A priority Critical patent/CN111369498B/zh
Publication of CN111369498A publication Critical patent/CN111369498A/zh
Application granted granted Critical
Publication of CN111369498B publication Critical patent/CN111369498B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明涉及一种基于改进生成对抗网络的种苗生长势评估的数据增强方法，包括：采集两类蝴蝶兰种苗的RGB图像；基于所有图像训练条件深度卷积生成对抗网络。本发明的有益效果是：本发明针对种苗生长势评估建模中图像样本量不足的问题，对条件深度卷积生成对抗网络框架进行适应性改进，能够自动、快速生成大量较为清晰、视觉效果逼真、具有多种姿态、能体现两类别种苗细微差异的新图像；本发明能有效扩充种苗图像小样本训练集，基于增强后训练集建立的卷积神经网络种苗生长势评估模型的泛化能力有显著提升，有明显的增强效果，达到种苗生长势评估小样本建模的目的；可为农业信息化技术领域的其他图像数据增强问题提供新的思路和技术协助。

Description

一种基于改进生成对抗网络的种苗生长势评估的数据增强 方法
技术领域
本发明属于农业信息化技术领域，具体涉及一种针对蝴蝶兰种苗生长势评估的基于改进生成对抗网络的数据增强方法。
背景技术
蝴蝶兰(phalaenopsis)，兰科蝴蝶兰属，多年生草本。作为一种名贵观赏花卉，蝴蝶兰在世界各国广为栽培，并带来可观的效益回报，受到花卉种植业者的重视。蝴蝶兰的现代化温室栽培一般采用组织培养的方式进行人工繁殖，组培苗脱瓶后的种植过程分为小苗、中苗、大苗和催花4个阶段。整个生长周期较长，需要约两年半的时间，每个生长阶段都是环环相扣，一个环节出现问题，将影响整个生长过程。所以种苗的长势和品质不仅直接决定最终的开花品质，还影响企业下一阶段的进展和规划，种苗的生长势评估是蝴蝶兰种植过程的重要环节。
目前蝴蝶兰种苗的生长势评估基本上以人工观测为主，但因为大型温室面积大、种植密集，人工观测费时费力，而且人眼容易疲劳、主观性强，易造成误判。有一些研究基于RGB图像和机器学习技术，对植物进行生长势分析。现有研究均从RGB图像中提取颜色、几何、纹理等特征，再和因变量建立分类或回归模型，并取得了一定的成果，但这种人工设计和提取特征的模式有一定的局限性，泛化能力也有限。
近几年深度学习的发展给机器学习领域带来了革命性的变化，深度学习善于直接分析海量的原始数据，从中自动、充分地提取特征，同时和因变量建立定性或定量模型，取得较好结果的同时简化了数据预处理和特征提取的步骤。但有监督的深度学习模型依赖于大量打标数据的训练才能取得比较好的效果，这也是作物信息化领域深度学习研究的一大瓶颈问题。
为解决模型训练需要大量打标数据的问题，数据增强的概念应运而生。传统的图像数据增强方法是对图像进行几何变换，例如旋转、翻转、裁剪、放缩、平移等，但这些方法获得的额外信息有限，且不适用于所有的图像数据集。Goodfellow等提出的生成对抗网络(generative adversarial network,GAN)在图像生成方面已经取得了巨大的成功，通过生成模型(generative model)和判别模型(discriminative model)的对抗训练学习训练数据的分布，并挖掘数据中潜在的信息，以生成相似特征的新图像，用于数据增强。但原始GAN存在着训练不稳定，生成图像分辨率不高等缺点。近年来，后人提出了许多改进模型。其中，Radford等提出的深度卷积生成对抗网络(deep convolutional GAN,DCGAN)借鉴了卷积核处理图像的优势，能够生成更清晰的图像。Mirza等提出的条件生成对抗网络(conditionalGAN,cGAN)在输入层加入额外的条件以限定生成模型和判别模型的训练，从而生成带有指定类别标签的图像。
种苗生长势评估属于细粒度图像分类问题，因为两类种苗(健康苗、弱苗)图像的差异比较细微。但不同于一般的细粒度图像分类问题，两类种苗图像的局部细节特征差异很小，主要在于整体植株形状上的细微差异。多项研究证明卷积神经网络能很好地提取图像中物体的形状、轮廓特征，但现有的条件深度卷积生成对抗网络(conditional deepconvolutional generative adversarial network,cDCGAN)不能很好地生成长势差异细微的两类种苗图像。因此，提出一种基于改进生成对抗网络的种苗生长势评估的数据增强方法，就显得尤为重要。
发明内容
本发明的目的在于克服上述不足，提供一种基于改进生成对抗网络的种苗生长势评估的数据增强方法。
这种基于改进生成对抗网络的种苗生长势评估的数据增强方法，包括以下步骤：
S1：采集两类蝴蝶兰种苗的RGB图像，进行图像预处理后，将所有图像划分为训练集、验证集和测试集；所述图像预处理包括图像背景分割；
S2：基于所有图像训练条件深度卷积生成对抗网络，获得改进生成对抗网络：对条件深度卷积生成对抗网络的生成图像进行效果改进、优化网络框架结构和超参数，直至条件深度卷积生成对抗网络生成高质量且带有类别标签y的种苗图像；
S3：将S1中训练集图像输入S2获得的改进生成对抗网络中进行训练，生成新的图像，将新的生成图像与S1中原始的训练集图像混合，得到增强后训练集；
S4：分别基于S1中原始的训练集和S3中增强后训练集，训练深度卷积神经网络种苗生长势评估模型，并用测试集图像进行模型效果验证，测试生成图像的增强效果。
作为优选，S1所述两类蝴蝶兰种苗包括根据种苗生长势情况打标的健康苗和弱苗；
S1所述图像背景分割的方式为：在HSV颜色空间对图像分块，对不同区块采用不同的H通道和S通道的组合阈值将种苗从背景中分割出来；
S1所述图像划分为训练集、验证集和测试集的方式为随机抽取方式；在深度卷积神经网络种苗生长势评估模型中，所述训练集用于模型训练，所述验证集用于模型参数选优；所述测试集用于模型最终评估。
作为优选，S2所述改进生成对抗网络采用反卷积神经网络和卷积神经网络分别作为生成模型和判别模型的主框架；
所述生成模型用于学习真实样本的潜在分布，并生成和真实样本难以区分的假样本；
所述判别模型用于学习辨别真假样本，计算出样本来自于真实训练集的概率；
所述改进生成对抗网络的目标损失函数为：
Figure BDA0002387261220000031
式中G为生成模型，D为判别模型，x为真实数据，
Figure BDA0002387261220000032
为真实数据的数学期望，z为输入生成模型G的噪音，
Figure BDA0002387261220000033
为生成数据的数学期望。
作为优选，所述生成模型由6层反卷积层构成；
第1个反卷积层的输入为100维的随机噪音z与2维独热编码的类别标签y的拼接；
所述独热编码的类别标签y在前5层反卷积输出后均有拼接；
生成模型的主框架上加入稀疏的跳跃反卷积连接，用于将前面层的信息直接跨越拼接到后面层；
所述生成模型输入层的通道数为102；从反卷积层1到反卷积层5，每层拼接后的通道数分别为1024、512、256、128和64；反卷积层6的输出通道数为3；
所述跳跃反卷积在第3层、第4层和第5层均有拼接，通道数分别为64、32和16；
所有的反卷积核大小均设置为4×4；
所述生成模型对前5层的反卷积输出进行批量归一化和LeakyReLU非线性激活，生成模型对最后一层的反卷积输出进行tanh非线性激活，生成128×128×3的RGB图像。
作为优选，所述判别模型由6层卷积层按照与生成模型的相反顺序组成；
第一个卷积层的输入为：128×128×3的RGB图像与128×128×2独热编码的类别标签y的拼接；
所述判别模型的前5层卷积输出后均拼接独热编码的类别标签y；
所述判别模型的主框架上添加有稀疏的跳跃卷积连接；
所述判别模型输入层的通道数为5；从卷积层1到卷积层5，每层拼接后的通道数分别为64、128、256、512和1024；卷积层6的输出通道数为1；
所述跳跃卷积在第3层、第4层和第5层均有拼接，通道数分别为64、128和256；
所有的卷积核大小均设置为4×4；
所述判别模型对前5层的卷积输出进行批量归一化和LeakyReLU非线性激活；判别模型对最后一层的卷积输出进行sigmoid非线性激活，计算输入图像被分类为真实图像的概率；sigmoid函数的表达式如下：
Figure BDA0002387261220000041
上式中，x为判别模型最后一层的卷积输出。
作为优选，S2所述优化后的条件深度卷积生成对抗网络的超参数为：批处理大小为16，损失函数优化器为Adam，学习率为0.0002，Beta1为0.5，迭代次数为10000；所述批处理大小为一次训练所选取的样本数；所述Beta1为一阶矩估计的指数衰减率。
作为优选，S2所述带有类别标签的种苗图像为将随机噪音z和类别标签y输入生成模型，生成相应类别的种苗图像。
作为优选，所述S3和S4中，数据增强和效果对比仅基于训练集，验证集和测试集保持不变。
作为优选，所述S4中深度卷积神经网络种苗生长势评估模型采用ResNet-50深度学习模型框架，采用从头训练的训练机制，随机初始化ResNet-50网络权重，在每一次迭代中持续更新网络所有层的权重；所述随机初始化ResNet-50网络权重的方式为从一个均值为0，标准差为0.02的正态分布中采样。
作为优选，S4所述用测试集图像进行模型效果验证时所用的分类模型评估指标为F1值，将健康苗视为负样本，弱苗视为正样本，对分类结果先计算召回率和精确率，再计算F1值：
Figure BDA0002387261220000042
Figure BDA0002387261220000043
Figure BDA0002387261220000044
本发明的有益效果是:
(1)本发明针对种苗生长势评估建模中图像样本量不足的问题，对条件深度卷积生成对抗网络框架进行适应性改进，能够自动、快速生成大量较为清晰、视觉效果逼真、具有多种姿态、能体现两类别种苗细微差异的新图像。
(2)本发明的改进条件深度卷积生成对抗网络能有效扩充种苗图像小样本训练集，基于增强后训练集建立的卷积神经网络种苗生长势评估模型的泛化能力有显著提升，有明显的增强效果，达到种苗生长势评估小样本建模的目的。
(3)本发明提供的改进条件深度卷积生成对抗网络可为农业信息化技术领域的其他图像数据增强问题提供新的思路和技术协助。
附图说明
图1为基于条件深度卷积生成对抗网络的数据增强方法流程图；
图2为条件深度卷积生成对抗网络基本框架结构图；
图3为条件深度卷积生成对抗网络中的生成模型示意图；
图4为条件深度卷积生成对抗网络中的判别模型示意图；
图5为条件深度卷积生成对抗网络生成的两类种苗图像；
图6为实施例的条件深度卷积生成对抗网络的数据增强效果；
图7为对比例1减少条件深度卷积生成对抗网络层数生成的两类种苗图像；
图8为对比例1增加条件深度卷积生成对抗网络层数生成的两类种苗图像；
图9为对比例2仅在条件深度卷积生成对抗网络输入层拼接类别标签y生成的两类种苗图像；
图10为对比例3去除条件深度卷积生成对抗网络的跳跃连接后的数据增强效果。
具体实施方式
下面结合实施例对本发明做进一步描述。下述实施例的说明只是用于帮助理解本发明。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。
本发明结合深度卷积生成对抗网络和条件生成对抗网络框架，并针对种苗生长势评估需要大量打标图像训练深度学习模型的问题，对条件深度卷积生成对抗网络(conditional deep convolutional generative adversarial network,cDCGAN)进行了适应性改进，提供一种基于条件深度卷积生成对抗网络(cDCGAN)的数据增强方法。通过优化网络框架结构和训练参数，使其能生成在整体植株形状上差异细微但高质量的两类种苗图像。该模型可有效地扩充小样本训练数据集，显著提升种苗生长势评估模型的泛化能力，达到种苗生长势评估小样本建模的目的。
一种基于条件深度卷积生成对抗网络(cDCGAN)的种苗生长势评估的图像数据增强方法，其特征是：先将实际采集的蝴蝶兰种苗图像进行预处理和样本集划分；再基于所有图像样本优化生成对抗网络，直至网络可生成高质量的带有类别标签y(即健康苗和弱苗)的种苗图像；将训练集图像输入改进的生成对抗网络生成新的图像，混合生成图像与原始训练集图像，作为增强后训练集；最后分别基于增强前和增强后训练集搭建深度卷积神经网络分类模型进行种苗生长势评估，测试生成图像的增强效果。
这种基于改进生成对抗网络的种苗生长势评估的数据增强方法，流程图如图1所示，具体包括以下步骤：
S1：采集两类蝴蝶兰种苗的RGB图像，进行图像预处理后，将所有图像划分为训练集、验证集和测试集；所述图像预处理包括：先将图像尺寸按比例调整到604×806，再进行背景分割以去除干扰信息；
图像采集是在实验室可控场景下，用数码相机或工业摄像机等采集蝴蝶兰种苗植株的RGB图像。因蝴蝶兰种苗形态特殊，从顶部拍摄的话叶片之间的相互遮挡比较严重，故从侧上方45°拍摄。共采集400张，图像空间维为3024×4032；
S2：基于所有图像训练条件深度卷积生成对抗网络，获得改进生成对抗网络：对条件深度卷积生成对抗网络的生成图像进行效果改进、优化网络框架结构和超参数，直至条件深度卷积生成对抗网络可生成高质量且带有类别标签的种苗图像；
典型的生成对抗网络由两部分组成：生成模型(generative model,G)和判别模型(discriminative model,D)。生成模型用来学习真实样本的潜在分布，并生成和真实样本难以区分的假样本。判别模型用来学习辨别真假样本，计算出样本来自于真实训练集的概率。二者经过对抗训练和优化使得生成模型生成的假样本越来越逼真；生成对抗网络的目标损失函数如式(1)所示：
Figure BDA0002387261220000061
式中G为生成模型，D为判别模型，x为真实数据，
Figure BDA0002387261220000062
为真实数据的数学期望，z为输入生成模型G的噪音，
Figure BDA0002387261220000063
为生成数据的数学期望。
由于两类种苗图像的主要差异在于整体植株的形状，虽然卷积神经网络能很好地提取图像中物体的形状、轮廓特征，但现有的条件深度卷积生成对抗网络不能很好地生成长势差异细微的两类种苗图像，因此需要对网络框架结构进行适应性改进。图2所示为条件深度卷积生成对抗网络框架结构示意图；
S3：将S1中训练集图像输入S2获得的改进生成对抗网络中进行训练，生成新的图像，将新的生成图像与S1中原始的训练集图像混合，得到增强后训练集。虽然S2中基于所有采集图像进行条件深度卷积生成对抗网络的改进和优化，但用于S3中的数据增强时仅针对训练集，验证集和测试集保持不变。将200张训练集图像输入条件深度卷积生成对抗网络进行训练，用训练后的生成模型生成1800张新图像(每个类别分别有900张)，将生成图像与原始训练集图像混合，得到增强后训练集(2000张图像)。为进一步测试条件深度卷积生成对抗网络在更小的训练集上的增强效果，从训练集的200张图像中随机抽取100张构成新的训练集，并进行数据增强至2000张图像。
S4：分别基于S1中原始的训练集和S3中增强后训练集，训练深度卷积神经网络种苗生长势评估模型，并用测试集图像进行模型效果验证，以测试生成图像的增强效果。
针对200张图像的训练集，先基于原始训练集训练ResNet-50卷积神经网络分类模型，建立图像和种苗生长势类别的映射关系，用验证集优选模型参数，再对测试集图像进行种苗生长势(健康苗或弱苗)的分类，计算得到模型在测试集上的F1值为0.8664；然后基于数据增强后的训练集再次训练ResNet-50模型，验证集和测试集不变，计算得到模型在测试集上的F1值为0.9557，证明新增图像有明显的增强效果。针对100张图像的训练集，进行同样的数据建模分析，数据增强前和数据增强后建立的ResNet-50模型在测试集上的F1值分别为0.7104和0.9447，证明条件深度卷积生成对抗网络生成的图像能有效扩充原始小样本训练集，显著提升种苗生长势评估模型的泛化能力。图6展示了数据增强前、后的种苗生长势评估模型的泛化能力。而且，本发明提出的方法也可为农业信息化技术领域的其他小样本建模问题提供新的思路和技术协助。
ResNet-50是一种适用于图像分析的卷积神经网络框架，基本结构单元包括输入层、卷积层、非线性激活层、池化层、全连接层。ResNet-50经优化后的训练超参数为：批处理大小为16，损失函数优化器为小批次梯度下降法，动量为0.9，初始学习率为0.01，每30轮学习率衰减至原来的1/10，训练轮数为100。在训练过程中，为更好地比较不同训练集的建模效果，采用从头训练(from scratch)的训练机制，即随机初始化ResNet-50网络权重(从一个均值为0，标准差为0.02的正态分布中采样)，并在每一次迭代中持续更新网络所有层的权重。ResNet-50模型的训练、验证和测试过程可以用基于python的pytorch深度学习模块实现。
F1值为对测试集图像计算的分类模型评估指标，将弱苗视为正样本，将健康苗视为负样本，对分类结果先计算召回率(式2)和精确率(式3)，再计算得到F1值(式4)：
Figure BDA0002387261220000081
Figure BDA0002387261220000082
Figure BDA0002387261220000083
S1所述两类蝴蝶兰种苗包括根据种苗生长势情况打标的健康苗和弱苗；打标的主要依据有叶面积、叶片个数、叶片形态、茎粗、株高等特征，两类种苗图像的主要差异在于整体植株的形状、形态；
S1所述图像背景分割的方式为：在HSV颜色空间对图像分块，对不同区块采用不同的H通道和S通道的组合阈值将种苗从背景中分割出来；
图像背景分割指的是将种苗植株和背景区分开，把背景的像素值全部置为0(黑色)，得到去除背景后的种苗图像。分割方法为在HSV颜色空间对图像分块，对不同区块采用不同的H通道、S通道的组合阈值将种苗从背景中分割出来，具体步骤包括：先将RGB图像转到HSV颜色空间，包括H通道(Hue,色调)、S通道(Saturation,饱和度)和V通道(Value,明度)；因为蝴蝶兰种苗植株的叶片不仅有绿色，还有棕色，其HSV图像的色调和饱和度范围都比较广，无法仅用一次阈值分割将背景去除，因此将HSV图像分为中间部分和边缘部分；对中间部分用S通道>60的阈值范围得到二值化掩膜，对边缘部分用30<H通道<90且S通道>25的阈值范围得到二值化掩膜；最后将两部分掩膜合并后乘以原图像，将种苗从背景中分割出来。整个背景分割过程可以用基于python的opencv模块对所有图像循环执行实现；
S1所述图像划分为训练集、验证集和测试集的方式为随机抽取方式；所述随机抽取方式为将所有400张图像按照2:1:1随机划分为训练集(200)、验证集(100)和测试集(100)。在深度卷积神经网络种苗生长势评估模型中，所述训练集和验证集分别用于模型训练和模型参数调优，所述测试集用于最后验证模型的分类效果，测试模型在未知数据集上的泛化能力；
S2所述改进生成对抗网络采用反卷积神经网络和卷积神经网络分别作为生成模型和判别模型的主框架；生成模型的网络框架结构示意图如图3所示。
所述生成模型由6层反卷积层构成；
第1个反卷积层的输入为100维的随机噪音z与2维独热编码(one-hot encoded)的类别标签y的拼接；
所述独热编码的类别标签y在前5层反卷积输出后均有拼接；目的是加强条件生成模态，以更好地生成两种类别的图像；
生成模型的主框架上加入稀疏的跳跃反卷积连接，用于将前面层的信息直接跨越拼接到后面层，以增强网络前后层之间的信息流动和记忆；
生成模型输入层的通道数为102；从反卷积层1到5，每层拼接后的通道数分别为1024、512、256、128和64；反卷积层6的输出通道数为3；
所述跳跃反卷积在第3层、第4层和第5层均有拼接，通道数分别为64、32和16；
所有的反卷积核大小均设置为4×4；
所述生成模型对前5层的反卷积输出进行批量归一化和LeakyReLU非线性激活，生成模型对最后一层的反卷积输出进行tanh非线性激活，生成128×128×3的RGB图像。
所述判别模型由6层卷积层按照与生成模型的相反顺序组成；判别模型的网络框架结构示意图如图4所示；
第一个卷积层的输入为：128×128×3的RGB图像与128×128×2独热编码的类别标签y的拼接；
与生成模型一样，所述判别模型的前5层卷积输出后均拼接独热编码的类别标签y；
所述判别模型的主框架上添加稀疏的跳跃卷积连接，以促进网络前后层之间的信息流动；对于判别模型而言，这种跳跃连接还可让前面卷积层提取的种苗植株的整体形状特征直接跨越到后面卷积层，增加模型学习植株整体形状特征的比重；
判别模型输入层的通道数为5；从卷积层1到卷积层5，每层拼接后的通道数分别为64、128、256、512和1024；卷积层6的输出通道数为1；
所述跳跃卷积在第3层、第4层和第5层均有拼接，通道数分别为64、128和256；
所有的卷积核大小均设置为4×4；
所述判别模型对前5层的卷积输出进行批量归一化和LeakyReLU非线性激活；判别模型对最后一层的卷积输出进行sigmoid非线性激活，计算输入图像被分类为真实图像的概率；sigmoid函数的表达式如下：
Figure BDA0002387261220000091
上式中，x为判别模型最后一层的卷积输出。
完成改进条件深度卷积生成对抗网络模型的构建之后，需要进一步对该模型的超参数进行优化，使其在不同生长势种苗的图像生成上达到最佳效果；S2所述优化后的条件深度卷积生成对抗网络的超参数为：批处理大小为16，损失函数优化器为Adam，学习率为0.0002，Beta1为0.5，迭代次数为10000；所述批处理大小为一次训练所选取的样本数；所述Beta1为一阶矩估计的指数衰减率；条件深度卷积生成对抗网络模型的训练可以用基于python的pytorch深度学习模块实现。
S2所述带有类别标签的种苗图像为将随机噪音z和类别标签y(弱苗、健康苗)输入生成模型，可生成相应类别的种苗图像；图5所示为基于所有采集图像训练改进条件深度卷积生成对抗网络生成的种苗图像，空间分辨率为128×128。图5中由成对的随机噪音生成每对弱苗和健康苗图像，两类种苗图像仅在植株形态上有细微差异，说明改进的条件深度卷积生成对抗网络能很好地学习种苗的生长势差异，而且生成的图像较为清晰、视觉效果逼真、具有多种植株姿态。
所述S3和S4中，数据增强和效果对比仅基于训练集，验证集和测试集保持不变。
所述S4中深度卷积神经网络种苗生长势评估模型采用ResNet-50深度学习模型框架，采用从头训练的训练机制，随机初始化ResNet-50网络权重，在每一次迭代中持续更新网络所有层的权重；所述随机初始化ResNet-50网络权重的方式为从一个均值为0，标准差为0.02的正态分布中采样。
对比例1
将条件深度卷积生成对抗网络的生成模型和判别模型的反卷积和卷积层数均减少至5层，生成空间分辨率为64×64的种苗RGB图像，如图7所示；将反卷积和卷积层数均增加至7层，生成空间分辨率为256×256的种苗RGB图像，如图8所示。图7中的种苗图像空间分辨率低，缺少细节信息，而且有些叶片的形态失真；图8中的种苗植株形态失真，叶片粘连在一起，可能由于网络参数过多导致的过拟合。因此，本发明所采用的6层反卷积和卷积结构为最佳。
对比例2
仅在条件深度卷积生成对抗网络输入层拼接类别标签y生成的两类种苗图像如图9所示。仅在输入层拼接别标签y的网络虽然能学习到两类种苗的植株形状差异，但生成的同一类内图像缺乏多样性，同一类型的种苗植株在视觉上非常接近，无法为原始训练集提供足够的信息扩充和增强。因此，本发明所采用的在生成模型和判别模型的前5层均拼接类别标签y的网络结构更佳。
对比例3
去除条件深度卷积生成对抗网络的跳跃连接后的数据增强效果如图10所示。用去除跳跃连接的生成对抗网络对200张和100张图像训练集分别进行数据增强，再建立ResNet-50分类模型，在测试集的F1值分别为0.9235和0.9077，明显劣于在条件深度卷积生成对抗网络添加跳跃连接的增强结果(图6)。因此，本发明所采用的在生成模型和判别模型均添加跳跃连接的网络结构更佳。

Claims (10)

1.一种基于改进生成对抗网络的种苗生长势评估的数据增强方法，其特征在于，包括以下步骤：
S1：采集两类蝴蝶兰种苗的RGB图像，进行图像预处理后，将所有图像划分为训练集、验证集和测试集；所述图像预处理包括图像背景分割；
S2：基于所有图像训练条件深度卷积生成对抗网络，获得改进生成对抗网络：对条件深度卷积生成对抗网络的生成图像进行效果改进、优化网络框架结构和超参数，直至条件深度卷积生成对抗网络生成高质量且带有类别标签y的种苗图像；
S3：将S1中训练集图像输入S2获得的改进生成对抗网络中进行训练，生成新的图像，将新的生成图像与S1中原始的训练集图像混合，得到增强后训练集；
S4：分别基于S1中原始的训练集和S3中增强后训练集，训练深度卷积神经网络种苗生长势评估模型，并用测试集图像进行模型效果验证，测试生成图像的增强效果。
2.根据权利要求1所述的基于改进生成对抗网络的种苗生长势评估的数据增强方法，其特征在于：S1所述两类蝴蝶兰种苗包括根据种苗生长势情况打标的健康苗和弱苗；
S1所述图像背景分割的方式为：在HSV颜色空间对图像分块，对不同区块采用不同的H通道和S通道的组合阈值将种苗从背景中分割出来；
S1所述图像划分为训练集、验证集和测试集的方式为随机抽取方式；在深度卷积神经网络种苗生长势评估模型中，所述训练集用于模型训练，所述验证集用于模型参数选优；所述测试集用于模型最终评估。
3.根据权利要求1所述的基于改进生成对抗网络的种苗生长势评估的数据增强方法，其特征在于：S2所述改进生成对抗网络采用反卷积神经网络和卷积神经网络分别作为生成模型和判别模型的主框架；
所述生成模型用于学习真实样本的潜在分布，并生成和真实样本难以区分的假样本；
所述判别模型用于学习辨别真假样本，计算出样本来自于真实训练集的概率；
所述改进生成对抗网络的目标损失函数为：
Figure FDA0002387261210000013
式中G为生成模型，D为判别模型，x为真实数据，
Figure FDA0002387261210000011
为真实数据的数学期望，z为输入生成模型G的噪音，
Figure FDA0002387261210000012
为生成数据的数学期望。
4.根据权利要求3所述的基于改进生成对抗网络的种苗生长势评估的数据增强方法，其特征在于：所述生成模型由6层反卷积层构成；
第1个反卷积层的输入为100维的随机噪音z与2维独热编码的类别标签y的拼接；
所述独热编码的类别标签y在前5层反卷积输出后均有拼接；
生成模型的主框架上加入稀疏的跳跃反卷积连接，用于将前面层的信息直接跨越拼接到后面层；
所述生成模型输入层的通道数为102；从反卷积层1到反卷积层5，每层拼接后的通道数分别为1024、512、256、128和64；反卷积层6的输出通道数为3；
所述跳跃反卷积在第3层、第4层和第5层均有拼接，通道数分别为64、32和16；
所有的反卷积核大小均设置为4×4；
所述生成模型对前5层的反卷积输出进行批量归一化和LeakyReLU非线性激活，生成模型对最后一层的反卷积输出进行tanh非线性激活，生成128×128×3的RGB图像。
5.根据权利要求3所述的基于改进生成对抗网络的种苗生长势评估的数据增强方法，其特征在于：所述判别模型由6层卷积层按照与生成模型的相反顺序组成；
第一个卷积层的输入为：128×128×3的RGB图像与128×128×2独热编码的类别标签y的拼接；
所述判别模型的前5层卷积输出后均拼接独热编码的类别标签y；
所述判别模型的主框架上添加有稀疏的跳跃卷积连接；
所述判别模型输入层的通道数为5；从卷积层1到卷积层5，每层拼接后的通道数分别为64、128、256、512和1024；卷积层6的输出通道数为1；
所述跳跃卷积在第3层、第4层和第5层均有拼接，通道数分别为64、128和256；
所有的卷积核大小均设置为4×4；
所述判别模型对前5层的卷积输出进行批量归一化和LeakyReLU非线性激活；判别模型对最后一层的卷积输出进行sigmoid非线性激活，计算输入图像被分类为真实图像的概率；sigmoid函数的表达式如下：
Figure FDA0002387261210000021
上式中，x为判别模型最后一层的卷积输出。
6.根据权利要求1所述的基于改进生成对抗网络的种苗生长势评估的数据增强方法，其特征在于：S2所述优化后的条件深度卷积生成对抗网络的超参数为：批处理大小为16，损失函数优化器为Adam，学习率为0.0002，Beta1为0.5，迭代次数为10000；所述批处理大小为一次训练所选取的样本数；所述Beta1为一阶矩估计的指数衰减率。
7.根据权利要求1所述的基于改进生成对抗网络的种苗生长势评估的数据增强方法，其特征在于：S2所述带有类别标签的种苗图像为将随机噪音z和类别标签y输入生成模型，生成相应类别的种苗图像。
8.根据权利要求1所述的基于改进生成对抗网络的种苗生长势评估的数据增强方法，其特征在于：所述S3和S4中，数据增强和效果对比仅基于训练集，验证集和测试集保持不变。
9.根据权利要求1所述的基于改进生成对抗网络的种苗生长势评估的数据增强方法，其特征在于：所述S4中深度卷积神经网络种苗生长势评估模型采用ResNet-50深度学习模型框架，采用从头训练的训练机制，随机初始化ResNet-50网络权重，在每一次迭代中持续更新网络所有层的权重；所述随机初始化ResNet-50网络权重的方式为从一个均值为0，标准差为0.02的正态分布中采样。
10.根据权利要求1所述的基于改进生成对抗网络的种苗生长势评估的数据增强方法，其特征在于：S4所述用测试集图像进行模型效果验证时所用的分类模型评估指标为F1值，将健康苗视为负样本，弱苗视为正样本，对分类结果先计算召回率和精确率，再计算F1值：
Figure FDA0002387261210000031
Figure FDA0002387261210000032
Figure FDA0002387261210000033
CN202010102260.5A 2020-02-19 2020-02-19 基于改进生成对抗网络的种苗生长势评估的数据增强方法 Active CN111369498B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010102260.5A CN111369498B (zh) 2020-02-19 2020-02-19 基于改进生成对抗网络的种苗生长势评估的数据增强方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010102260.5A CN111369498B (zh) 2020-02-19 2020-02-19 基于改进生成对抗网络的种苗生长势评估的数据增强方法

Publications (2)

Publication Number Publication Date
CN111369498A true CN111369498A (zh) 2020-07-03
CN111369498B CN111369498B (zh) 2022-06-28

Family

ID=71210961

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010102260.5A Active CN111369498B (zh) 2020-02-19 2020-02-19 基于改进生成对抗网络的种苗生长势评估的数据增强方法

Country Status (1)

Country Link
CN (1) CN111369498B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112330682A (zh) * 2020-11-09 2021-02-05 重庆邮电大学 一种基于深度卷积神经网络的工业ct图像分割方法
CN113033696A (zh) * 2021-04-13 2021-06-25 浙江大学 基于对比对抗网络的小样本商品图像分类算法及其系统
CN113112498A (zh) * 2021-05-06 2021-07-13 东北农业大学 一种基于细粒度对抗生成网络的葡萄叶片病斑识别方法
CN113326737A (zh) * 2021-05-06 2021-08-31 西北工业大学 一种水中目标的数据增强方法
CN113780532A (zh) * 2021-09-10 2021-12-10 平安科技（深圳）有限公司 语义分割网络的训练方法、装置、设备及存储介质
CN116453003A (zh) * 2023-06-14 2023-07-18 之江实验室 一种基于无人机监测智能识别水稻生长势的方法和系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109065021A (zh) * 2018-10-18 2018-12-21 江苏师范大学 基于条件深度卷积生成对抗网络的端到端方言辨识方法
CN110263192A (zh) * 2019-06-06 2019-09-20 西安交通大学 一种基于条件生成对抗网络的磨粒形貌数据库创建方法
US10504268B1 (en) * 2017-04-18 2019-12-10 Educational Testing Service Systems and methods for generating facial expressions in a user interface

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10504268B1 (en) * 2017-04-18 2019-12-10 Educational Testing Service Systems and methods for generating facial expressions in a user interface
CN109065021A (zh) * 2018-10-18 2018-12-21 江苏师范大学 基于条件深度卷积生成对抗网络的端到端方言辨识方法
CN110263192A (zh) * 2019-06-06 2019-09-20 西安交通大学 一种基于条件生成对抗网络的磨粒形貌数据库创建方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
HOO-CHANG SHIN 等；: "《Medical Image Synthesis for Data Augmentation and》", 《ARXIV》 *
张澎 等；: "《基于深度卷积生成对抗网络的植物图像识别方法的研究》", 《西南民族大学学报》 *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112330682A (zh) * 2020-11-09 2021-02-05 重庆邮电大学 一种基于深度卷积神经网络的工业ct图像分割方法
CN113033696A (zh) * 2021-04-13 2021-06-25 浙江大学 基于对比对抗网络的小样本商品图像分类算法及其系统
CN113112498A (zh) * 2021-05-06 2021-07-13 东北农业大学 一种基于细粒度对抗生成网络的葡萄叶片病斑识别方法
CN113326737A (zh) * 2021-05-06 2021-08-31 西北工业大学 一种水中目标的数据增强方法
CN113112498B (zh) * 2021-05-06 2024-01-19 东北农业大学 一种基于细粒度对抗生成网络的葡萄叶片病斑识别方法
CN113780532A (zh) * 2021-09-10 2021-12-10 平安科技（深圳）有限公司 语义分割网络的训练方法、装置、设备及存储介质
CN113780532B (zh) * 2021-09-10 2023-10-27 平安科技（深圳）有限公司 语义分割网络的训练方法、装置、设备及存储介质
CN116453003A (zh) * 2023-06-14 2023-07-18 之江实验室 一种基于无人机监测智能识别水稻生长势的方法和系统
CN116453003B (zh) * 2023-06-14 2023-09-01 之江实验室 一种基于无人机监测智能识别水稻生长势的方法和系统

Also Published As

Publication number Publication date
CN111369498B (zh) 2022-06-28

Similar Documents

Publication Publication Date Title
CN111369498B (zh) 基于改进生成对抗网络的种苗生长势评估的数据增强方法
Jasim et al. Plant leaf diseases detection and classification using image processing and deep learning techniques
CN107576618B (zh) 基于深度卷积神经网络的水稻穗瘟检测方法及系统
CN110473154A (zh) 一种基于生成对抗网络的图像去噪方法
CN109344883A (zh) 一种基于空洞卷积的复杂背景下果树病虫害识别方法
CN101398898B (zh) 基于流形学习的植物叶片识别方法
CN106446942A (zh) 基于增量学习的农作物病害识别方法
CN111105393B (zh) 一种基于深度学习的葡萄病虫害识别方法及装置
CN110287882A (zh) 一种基于深度学习的大菊品种图像识别方法
CN112183448B (zh) 一种基于三级分类和多尺度fcn的脱荚大豆图像分割方法
Liu et al. Deep learning based research on quality classification of shiitake mushrooms
CN114693616A (zh) 一种基于改进目标检测模型与卷积神经网络的水稻病害检测方法、设备和介质
CN114022872A (zh) 基于动态神经网络的多种类农作物叶病识别方法
Hu et al. Semantic segmentation of tea geometrid in natural scene images using discriminative pyramid network
CN109166127B (zh) 一种可穿戴式植物表型感知系统
CN116630960B (zh) 基于纹理-颜色多尺度残差收缩网络的玉米病害识别方法
Liu et al. “Is this blueberry ripe?”: a blueberry ripeness detection algorithm for use on picking robots
De Silva et al. Plant disease detection using deep learning on natural environment images
CN110414615A (zh) 基于阶段性深度修复图像及改进Double-DQN技术的玉米草地贪夜蛾检测方法
CN113744166B (zh) 一种用于浑浊水下鱼类图像增强的方法
CN115862003A (zh) 一种基于轻量化YOLOv5的在体苹果目标检测和分级方法
Carneiro et al. Segmentation as a preprocessing tool for automatic grapevine classification
CN112907503B (zh) 基于自适应卷积神经网络的南美白对虾品质检测方法
Cao et al. Plant leaf segmentation and phenotypic analysis based on fully convolutional neural network
Gao et al. Classification Method of Rape Root Swelling Disease Based on Convolution Neural Network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant