CN112488963A - 一种用于农作物病害数据的增强方法 - Google Patents
一种用于农作物病害数据的增强方法 Download PDFInfo
- Publication number
- CN112488963A CN112488963A CN202011505555.3A CN202011505555A CN112488963A CN 112488963 A CN112488963 A CN 112488963A CN 202011505555 A CN202011505555 A CN 202011505555A CN 112488963 A CN112488963 A CN 112488963A
- Authority
- CN
- China
- Prior art keywords
- layer
- output
- image
- discriminator
- generator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 201000010099 disease Diseases 0.000 title claims abstract description 29
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 title claims abstract description 29
- 238000000034 method Methods 0.000 title claims abstract description 29
- 230000002708 enhancing effect Effects 0.000 title claims abstract description 12
- 230000004913 activation Effects 0.000 claims abstract description 33
- 206010039509 Scab Diseases 0.000 claims abstract description 21
- 230000036541 health Effects 0.000 claims abstract description 4
- 230000006870 function Effects 0.000 claims description 43
- 238000012549 training Methods 0.000 claims description 30
- 238000011176 pooling Methods 0.000 claims description 27
- 238000012360 testing method Methods 0.000 claims description 21
- 238000013527 convolutional neural network Methods 0.000 claims description 12
- 125000004122 cyclic group Chemical group 0.000 claims description 8
- 238000010606 normalization Methods 0.000 claims description 6
- 238000012545 processing Methods 0.000 claims description 6
- 230000003042 antagnostic effect Effects 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- 238000012937 correction Methods 0.000 claims description 3
- 230000000694 effects Effects 0.000 description 7
- 238000005070 sampling Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 5
- 238000013135 deep learning Methods 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 239000008186 active pharmaceutical agent Substances 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000007781 pre-processing Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 241000196324 Embryophyta Species 0.000 description 1
- 241000220225 Malus Species 0.000 description 1
- 235000011430 Malus pumila Nutrition 0.000 description 1
- 235000015103 Malus silvestris Nutrition 0.000 description 1
- 235000009754 Vitis X bourquina Nutrition 0.000 description 1
- 235000012333 Vitis X labruscana Nutrition 0.000 description 1
- 240000006365 Vitis vinifera Species 0.000 description 1
- 235000014787 Vitis vinifera Nutrition 0.000 description 1
- 240000008042 Zea mays Species 0.000 description 1
- 235000005824 Zea mays ssp. parviglumis Nutrition 0.000 description 1
- 235000002017 Zea mays subsp mays Nutrition 0.000 description 1
- 238000012271 agricultural production Methods 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 235000005822 corn Nutrition 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000006806 disease prevention Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 238000011478 gradient descent method Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000010827 pathological analysis Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
- G06T9/002—Image coding using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Life Sciences & Earth Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Molecular Biology (AREA)
- Computational Linguistics (AREA)
- Software Systems (AREA)
- Mathematical Physics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本发明公开了一种用于农作物病害数据的增强方法,属于数据增强技术领域,包括:获取待增强的农作物健康叶片图像;将待增强的农作物健康叶片图像输入至训练好的生成对抗网络模型中,生成病斑叶片图像,所述生成对抗网络模型包括生成器和判别器,所述生成器的网络架构和所述判别器的网络架构中均设置有类激活图注意力模块。本发明在构建生成对抗网络模型时,在生成器和判别器中加入了类激活图注意力模块,注意特征图帮助生成器将注意力集中在与目标区域有区别的源图像区域,使得生成对抗网络模型生成的图片形状以及纹理更加写实。
Description
技术领域
本发明涉及数据增强技术领域,特别涉及一种用于农作物病害数据的增强方法。
背景技术
农作物病害是影响农作物增产增收的重要因素,实现对作物病害类型以及病害程度的精准识别和及时预防是保证农业生产和国民经济的前提。传统的病害检测技术主要依靠植保专家的个人经验和专业的病理学分析,存在着实时性差、工作效率低下、耗费人力物力等难题。近年来,借助于人工智能的图像识别技术越来越多的被应用到农业工程领域,对作物早期的病害检测提供了极大的助力。其核心是基于深度学习以及卷积神经网络的图像识别技术,因此,图像识别的准确率将直接影响到农作物病害预防效果的好坏。
在近几年深度学习的发展中,越来越多的神经网络架构被提出,这些神经网络模型往往需要较大的训练集以保证模型的识别准确率。如何扩充一定数量和均衡分布的数据集是图像识别领域中的一个普遍问题。在缺乏可靠数据集的情况下,利用数据增强技术扩大图像识别与分类中的训练集已经成为提高模型性能所不可或缺的手段。农业病害数据集往往不易获得,因此将数据增强技术应用到农业病害识别领域是业界亟待解决的技术问题。
对健康的作物叶片进行病斑化处理可以扩充大量的病害叶片数据集,目前有以下几种深度学习方法来获取与原始健康叶片图像对应的病斑图片。如利用传统的生成对抗网络GAN(Generative Adversarial Networks)进行对健康叶片图像病斑化处理,经验证,该方法无法准确还原精准的细微的病斑图案信息,转化得到的病斑图片细节模糊,图像质量不高。还可以利用成对图像进行训练的有监督的生成对抗网络模型pix2pix(像素到像素)网络,pix2pix网络模型经过训练以后可以生成高保真的目标图像,但pix2pix在训练时需要成对的图像,在农作物病害识别领域中,所谓成对即健康叶片与病斑叶片的形状大小须保持一致或极度相似,只有这样才能形成健康叶片图像与病斑叶片图像一一对应的成对关系。而这种成对的图像数据是很难获得的,导致无法很好地训练pix2pix网络模型。与上述方法不同的是循环生成对抗网络(Cycle Generative Adversarial Networks,CycleGAN),CycleGAN是图像转换领域的代表之一,其最大的特点就是无需成对的图像数据就可以实现效果足够好的图片,它是一种适用于各种图像任务的通用解决方案。
但以上常见的生成对抗网络模型对健康叶片病斑化的效果存在生成病斑发散,图片真实度不够高等问题。因此基于以上网络模型的数据增强技术很难用于农业病害识别领域。
发明内容
本发明的目的在于克服上述背景技术中的不足,提供一种适应于农作物病害叶片图像识别领域的数据增强方法。
为实现以上目的,采用一种用于农作物病害数据的增强方法,包括如下步骤:
获取待增强的农作物健康叶片图像;
将待增强的农作物健康叶片图像输入至训练好的生成对抗网络模型中,生成病斑叶片图像,所述生成对抗网络模型包括生成器和判别器,所述生成器的网络架构和所述判别器的网络架构中均设置有类激活图注意力模块。
进一步地,所述生成器包括依次连接的第一编码器、第一类激活图注意力模块和解码器,所述判别器包括依次连接的第二编码器、第二激活图注意力模块和分类器。
进一步地,所述第一类激活图注意力模块和第二类激活图注意力模块均包括全局平均池化层、全局最大池化层、第一全连接层、第二全连接层、第一拼接层、辅助分类器、第二拼接层和卷积层,全局平均池化层输出连接第一全连接层,全局最大池化层的输出连接第二全连接层,第一全连接层和第二全连接层的输出均连接第一拼接层,第一拼接层的输出连接辅助分类器,辅助分类器的输出与第二拼接层输入连接;
全局平均池化层和全局最大池化层的输出还分别经不同的权重值与编码器特征图相乘并作为所述第二拼接层的输入,编码器特征图为所述生成器或所述判别器中的编码器的输出结果,第二拼接层的输出与卷积层连接。
进一步地,所述第一编码器包括第一下采样层和第一残差网络,第一采样层的输出与第一残差网络的输入连接,第一残差网络的输出与所述类激活图注意力模块输入连接。
进一步地,所述解码器包括上采样层和第二残差网络,第二残差网络的输入与所述类激活图注意力模块的输出连接,第二残差网络的输出与上采样层的输入连接,上采样层的输入为所述生成器生成的图像。
进一步地,所述第二编码器包括第二下采样层,第二下采样层的输出与所述第二类激活图注意力模块的输入连接。
进一步地,所述分类器包括全连接卷积神经网络,其输入与所述第二类激活图注意力模块的输出连接、输出为所述判别器的分类结果。
进一步地,所述生成器的激活函数采用线性整流函数,所述判别器的激活函数采用泄露修正线性单元。
进一步地,所述对抗网络模型的损失函数包括对抗损失函数、循环损失函数、一致性损失函数和CAM损失函数,其中:
对抗损失函数为:
其中,S为健康叶片图像构成的源域,T为病斑叶片图像构成的目标域,x为从源域或者从目标域中采样的一张图像,Gs→t(x)表示将一张来自源域的图片经过生成器G转换为目标域的结果,Ex~T:表示图像x来自于目标域T,Ex~S表示图像x来自于源域S,Dt(x)表示判别器Dt对x的判别结果,Dt表示目标域判别器;
循环损失函数为:
一致性损失函数为:
CAM损失函数为:
Lcam=x~S[log(())]+x~T[log(1-n())]
其中,n是CAM模块结构中的辅助分类器。
进一步地,在所述获取待增强的农作物健康叶片图像之前,还包括:
采集农作物的健康叶片图像以及病斑叶片图像,并对图像执行多角度旋转伸缩变化处理;
将处理后的图像进行尺寸大小归一化预处理,并由归一化预处理后的图像构建样本数据集,其中样本数据集包括由健康叶片图像构成的源域和由病斑叶片图像构成的目标域;
将源域划分为第一训练集和第一测试集,将目标域划分为第二训练集和第二测试集;
利用第一训练集和第二训练集对构建的生成对抗网络模型进行训练;
利用第一测试集和第二测试集,对构建的生成对抗网络模型进行测试,得到所述预先训练好的生成对抗网络模型。
与现有技术相比,本发明存在以下技术效果:本发明在构建生成对抗网络模型时,在生成器和判别器中加入了类激活图注意力模块,注意特征图帮助生成器将注意力集中在与目标区域有区别的源图像区域,使得生成对抗网络模型生成的图片形状以及纹理更加写实,适用于农作物叶片图像的数据增强。
附图说明
下面结合附图,对本发明的具体实施方式进行详细描述:
图1是一种用于农作物病害数据的增强方法的流程图;
图2是类激活图注意力模块的网络结构图;
图3是生成对抗网络模型框架图。
具体实施方式
为了更进一步说明本发明的特征,请参阅以下有关本发明的详细说明与附图。所附图仅供参考与说明之用,并非用来对本发明的保护范围加以限制。
如图1所示,本实施例公开了一种用于农作物病害数据的增强方法,包括如下步骤S1至S2:
S1、获取待增强的农作物健康叶片图像;
S2、将待增强的农作物健康叶片图像输入至训练好的生成对抗网络模型中,生成病斑叶片图像,所述生成对抗网络模型包括生成器和判别器,所述生成器的网络架构和所述判别器的网络架构中均设置有类激活图注意力模块。
需要说明的是,本实施例通过在生成器和判别器中都加入了类激活图注意力模块,使得模型生成的图片形状以及纹理更加写实。
作为进一步优选的技术方案,本实施例在上述步骤S1之前,还包括构建样本集、构建生成对抗网络模型以及模型训练,其中:
(1)构建样本集:
采集一种农作物(如苹果、葡萄和玉米等)的健康叶片图像以及某种特定病害(如炭疽病)的病斑叶片图像,为了更好地训练生成对抗网络模型,对图像样本执行多角度旋转和伸缩变化处理,得到处理后的图像;
将所有处理后的图像均归一化处理为256×256像素大小,在整个256×256像素大小的图像中,叶片的图像区域应该尽量大;
利用归一化预处理后的图像,构建样本集,其中构建好的健康叶片样本集称之为源域S,把病斑叶片样本集称之为目标域T;
源域S分为训练集Strain和测试集Stest,目标域也分为训练集Ttrain和测试集Ttest。
其中,训练集用来完成对生成对抗网络模型的训练与调整,测试集用来测试模型的生成效果,训练集中的每一张图片都会被用来训练模型,以确保泛化能力。
需要说明的是,农作物叶片高清图像一般通过电子设备比如手机的摄像头对作物叶片进行拍照,然后将获取得到的叶片高清图像进行裁剪等预处理,使其保证叶片尽量占整张图像的大半部分。并且使得图像像素调整为256×256格式。因为彩色图像是RGB格式,因此一张图像的像素点个数即特征维度为256×256×3。所述健康叶片数据集和高清病害图像数据集应均含有不少于500张的高清图片,利用样本集训练生成对抗网络模型的最终实现的目的是将一张健康的叶片图像转化为有病斑的叶片图像。
(2)构建生成对抗网络模型,包括生成器网络架构、判别器网络架构以及用于训练模型的目标损失函数;整个生成对抗网络是类似cycleGAN的循环网络结构,源域S到目标域T和目标域T到源域S所使用的生成器G以及判别器D的网络架构是一样的,生成器和判别器中加入了类激活图(CAM,Class Activation Mapping)注意力模块。
其中,生成器包括依次连接的第一编码器、第一类激活图注意力模块和解码器,判别器包括依次连接的第二编码器、第二激活图注意力模块和分类器。
其中,第一类激活图注意力模块和第二类激活图注意力模块均包括全局平均池化层、全局最大池化层、第一全连接层、第二全连接层、第一拼接层、辅助分类器、第二拼接层和卷积层,全局平均池化层输出连接第一全连接层,全局最大池化层的输出连接第二全连接层,第一全连接层和第二全连接层的输出均连接第一拼接层,第一拼接层的输出连接辅助分类器,辅助分类器的输出与第二拼接层输入连接;
全局平均池化层和全局最大池化层的输出还分别经不同的权重值与编码器特征图相乘并作为所述第二拼接层的输入,编码器特征图为所述生成器或所述判别器中的编码器的输出结果,第二拼接层的输出与卷积层连接。
其中,在生成器中:第一编码器包括第一下采样层和第一残差网络,第一采样层的输出与第一残差网络的输入连接,第一残差网络的输出与所述类激活图注意力模块输入连接。解码器包括上采样层和第二残差网络,第二残差网络的输入与所述类激活图注意力模块的输出连接,第二残差网络的输出与上采样层的输入连接,上采样层的输入为所述生成器生成的图像。
其中,在判别器中:第二编码器包括第二下采样层,第二下采样层的输出与所述第二类激活图注意力模块的输入连接;分类器包括全连接卷积神经网络,其输入与所述第二类激活图注意力模块的输出连接、输出为所述判别器的分类结果。
以下对生成器和判别器的网络结构的图像处理过程进行说明:
a)生成器的图像处理过程:
在第一编码器中利用下采样层是对输入端来自源域S的256×256×3的RGB格式图像进行下采样,通过3个卷积神经网络层将256×256×3的原始特征转化为64×64×256的特征。然后将64×64×256的特征经过4个尺寸结构相同的残差模块构成的残差网络继续提取特征,最后输出的特征维度仍然为64×64×256。
在第一类激活图注意力模块中将残差网络输出的64×64×256维度的编码器特征图输入到CAM模块中,类激活图中使用了全局平均池化层以及全局最大池化层。对于64×64×256维度的编码器特征图的每一个通道,赋予一个权重。即共有256个权重,权重决定了该通道对应64×64特征的重要程度。权重和编码器特征图结合即可得到注意力图。这样就实现了编码器特征图下的注意力机制。由于有两个不同的池化层,将平均池化和最大池化层经过全连接层得到的两个1维特征向量拼接成2维向量。然后送入辅助分类器,做源域S和目标域T的分类判断。将全局平均池化以及全局最大池化得到的注意力图做拼接处理,再经过一层卷积层还原为原输入维度相同的64×64×256特征图。
在解码器中将第一类激活图注意力模块输出的64×64×256的特征作为输入,同样经过4个尺寸结构相同的残差模块提取特征,最后输出的特征维度仍然为64×64×256。然后将64×64×256的特征进行上采样,经过3个卷积层将特征还原为256×256×3的特征,即为生成器G生成的图像Gs→t。
解码器和编码器同样采用是残差网络模块,与编码器不同的是,解码器中采用了自适应层实例归一化(AdaLIN,Adaptive Layer-Instance Normalization function)函数,它能够帮助注意力模型更好地控制形状以及纹理的变化量。
b)判别器的图像处理过程:
在第二编码器中,将256×256×3的图像作为第二编码器的输入,首先经过第二下采样层,通过6个卷积神经网络层后输出的特征维度为8×8×2048。
第二编码器输出的8×8×2048特征图作为第二类激活图注意力模块的输入,经过全局平均池化以及全局最大池化层和全连接层等处理后的最终输出特征图维度还是8×8×2048。
第二类激活图注意力模块的输出作为分类器的输入,经过一个全连接卷积神经网络层最终输出维度为8×8×1。
作为进一步优选的技术方案,所述生成器的激活函数采用线性整流函数,所述判别器的激活函数采用泄露修正线性单元。
作为进一步优选的技术方案,所述对抗网络模型的损失函数包括对抗损失函数、循环损失函数、一致性损失函数和CAM损失函数,其中:
(1)对抗损失函数为:
需要说明的是,对抗损失函数的作用使得生成的图像分布接近目标域,是每一个生成对抗网络模型成功生成目标图像的关键;本实施例中对抗损失函数与原始生成对抗网络中所采用的对数损失函数不同的是,此处采用的是最小均方差损失,更有利于模型的稳定训练。
(2)循环损失函数为:
需要说明的是,模式坍塌指的是模型产生样本图像分布单一的情况,即模型趋于生成同一张被判别器分类成目标域T中的图像。将该循环损失函数函数应用到生成器中,能够有效解决生成对抗网络模型中的模式坍塌问题。
(3)一致性损失函数为:
需要说明的是,一致性损失函数保证了模型输入图片和输出图片的颜色分布是相似的。
(4)CAM损失函数为:
Lcam=x~S[log(())]+x~T[log(1-n())]
其中,n是CAM模块结构中的辅助分类器,S为健康叶片图像构成的源域,T为病斑叶片图像构成的目标域,x为从源域或者从目标域中采样的一张图像,Gs→t(x)表示将一张来自源域的图片经过生成器G转换为目标域的结果Ex~T:表示图像x来自于目标域T,Ex~s表示图像x来自于源域S,Dt(x)表示判别器Dt对x的判别结果,Dt表示目标域判别器。
作为进一步优选的技术方案,整个模型的最终优化目标为:
λ1Lgan+2LCycle+3Lidentity+4Lcam
其中,λ1=1,λ2=10,λ3=10,λ4=1000。
(3)模型训练与测试:
按照上述模型的网络结构,如图3所示,分别构建源域S到目标域T的生成器Gs→t和目标域T到源域S的生成器Gt→s,同时分别对应两个判别器DT和DS。DT用来区分图像是生成器Gs→t生成的图像还是真实目标域T中的图像,DS用来区分图像是生成器Gt→s生成的图像还是真实源域S中图像。
采用PyTorch深度学习框架,使用训练集Strain、训练集Ttrain对构建的模型进行训练,用梯度下降法优化卷积神经网络的参数,得到最终的训练好的模型训。使用测试集Stest、测试集Ttest测试网络模型转换的效果,经过实验,可以通过健康叶片图像生成逼真的病斑叶片图像。
以上所述仅为本发明的较佳实施例,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。
Claims (10)
1.一种用于农作物病害数据的增强方法,其特征在于,包括:
获取待增强的农作物健康叶片图像;
将待增强的农作物健康叶片图像输入至训练好的生成对抗网络模型中,生成病斑叶片图像,所述生成对抗网络模型包括生成器和判别器,所述生成器的网络架构和所述判别器的网络架构中均设置有类激活图注意力模块。
2.如权利要求1所述的用于农作物病害数据的增强方法,其特征在于,所述生成器包括依次连接的第一编码器、第一类激活图注意力模块和解码器,所述判别器包括依次连接的第二编码器、第二激活图注意力模块和分类器。
3.如权利要求2所述的用于农作物病害数据的增强方法,其特征在于,所述第一类激活图注意力模块和第二类激活图注意力模块均包括全局平均池化层、全局最大池化层、第一全连接层、第二全连接层、第一拼接层、辅助分类器、第二拼接层和卷积层,全局平均池化层输出连接第一全连接层,全局最大池化层的输出连接第二全连接层,第一全连接层和第二全连接层的输出均连接第一拼接层,第一拼接层的输出连接辅助分类器,辅助分类器的输出与第二拼接层输入连接;
全局平均池化层和全局最大池化层的输出还分别经不同的权重值与编码器特征图相乘并作为所述第二拼接层的输入,编码器特征图为所述生成器或所述判别器中的编码器的输出结果,第二拼接层的输出与卷积层连接。
4.如权利要求2所述的用于农作物病害数据的增强方法,其特征在于,所述第一编码器包括第一下采样层和第一残差网络,第一采样层的输出与第一残差网络的输入连接,第一残差网络的输出与所述类激活图注意力模块输入连接。
5.如权利要求2所述的用于农作物病害数据的增强方法,其特征在于,所述解码器包括上采样层和第二残差网络,第二残差网络的输入与所述类激活图注意力模块的输出连接,第二残差网络的输出与上采样层的输入连接,上采样层的输入为所述生成器生成的图像。
6.如权利要求2所述的用于农作物病害数据的增强方法,其特征在于,所述第二编码器包括第二下采样层,第二下采样层的输出与所述第二类激活图注意力模块的输入连接。
7.如权利要求2所述的用于农作物病害数据的增强方法,其特征在于,所述分类器包括全连接卷积神经网络,其输入与所述第二类激活图注意力模块的输出连接、输出为所述判别器的分类结果。
8.如权利要求2所述的用于农作物病害数据的增强方法,其特征在于,所述生成器的激活函数采用线性整流函数,所述判别器的激活函数采用泄露修正线性单元。
9.如权利要求2所述的用于农作物病害数据的增强方法,其特征在于,所述对抗网络模型的损失函数包括对抗损失函数、循环损失函数、一致性损失函数和CAM损失函数,其中:
对抗损失函数为:
其中,S为健康叶片图像构成的源域,T为病斑叶片图像构成的目标域,x为从源域或者从目标域中采样的一张图像,Gs→t(x)表示将一张来自源域的图片经过生成器G转换为目标域的结果,Ex~T:表示图像x来自于目标域T,Ex~S表示图像x来自于源域S,Dt(x)表示判别器Dt对x的判别结果,Dt表示目标域判别器;
循环损失函数为:
一致性损失函数为:
CAM损失函数为:
Lcam=Ex~S[log(n(x))]+Ex~T[log(1-n(x))]
其中,n是CAM模块结构中的辅助分类器。
10.如权利要求1-9任一项所述的用于农作物病害数据的增强方法,其特征在于,在所述获取待增强的农作物健康叶片图像之前,还包括:
采集农作物的健康叶片图像以及病斑叶片图像,并对图像执行多角度旋转伸缩变化处理;
将处理后的图像进行尺寸大小归一化预处理,并由归一化预处理后的图像构建样本数据集,其中样本数据集包括由健康叶片图像构成的源域和由病斑叶片图像构成的目标域;
将源域划分为第一训练集和第一测试集,将目标域划分为第二训练集和第二测试集;
利用第一训练集和第二训练集对构建的生成对抗网络模型进行训练;
利用第一测试集和第二测试集,对构建的生成对抗网络模型进行测试,得到所述预先训练好的生成对抗网络模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011505555.3A CN112488963A (zh) | 2020-12-18 | 2020-12-18 | 一种用于农作物病害数据的增强方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011505555.3A CN112488963A (zh) | 2020-12-18 | 2020-12-18 | 一种用于农作物病害数据的增强方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN112488963A true CN112488963A (zh) | 2021-03-12 |
Family
ID=74914705
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202011505555.3A Pending CN112488963A (zh) | 2020-12-18 | 2020-12-18 | 一种用于农作物病害数据的增强方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN112488963A (zh) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113112498A (zh) * | 2021-05-06 | 2021-07-13 | 东北农业大学 | 一种基于细粒度对抗生成网络的葡萄叶片病斑识别方法 |
CN114549413A (zh) * | 2022-01-19 | 2022-05-27 | 华东师范大学 | 基于ct图像的多尺度融合全卷积网络淋巴结转移检测方法 |
CN114548265A (zh) * | 2022-02-21 | 2022-05-27 | 安徽农业大学 | 一种作物叶片病害图像生成模型训练方法、作物叶片病害识别方法、电子设备及存储介质 |
CN117522754A (zh) * | 2023-10-25 | 2024-02-06 | 广州极点三维信息科技有限公司 | 一种图像增强的方法、装置、电子设备及存储介质 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020029356A1 (zh) * | 2018-08-08 | 2020-02-13 | 杰创智能科技股份有限公司 | 一种基于生成对抗网络的脸部变化预测方法 |
CN111814622A (zh) * | 2020-06-29 | 2020-10-23 | 华南农业大学 | 农作物病虫害类型识别方法、系统、设备和介质 |
CN112036454A (zh) * | 2020-08-17 | 2020-12-04 | 上海电力大学 | 一种基于多核密集连接网络的图像分类方法 |
-
2020
- 2020-12-18 CN CN202011505555.3A patent/CN112488963A/zh active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2020029356A1 (zh) * | 2018-08-08 | 2020-02-13 | 杰创智能科技股份有限公司 | 一种基于生成对抗网络的脸部变化预测方法 |
CN111814622A (zh) * | 2020-06-29 | 2020-10-23 | 华南农业大学 | 农作物病虫害类型识别方法、系统、设备和介质 |
CN112036454A (zh) * | 2020-08-17 | 2020-12-04 | 上海电力大学 | 一种基于多核密集连接网络的图像分类方法 |
Non-Patent Citations (3)
Title |
---|
JUNHO KIM 等: "U-GAT-IT: Unsupervised Generative Attentional Networks with Adaptive Layer-Instance Normalization for Image-to-Image Translation", 《ARXIV》 * |
林胜等: "基于对抗式生成网络的农作物病虫害图像扩充", 《电子技术与软件工程》 * |
武广: "Github大热论文|U-GAT-IT:基于GAN的新型无监督图像转换", 《HTTPS://WWW.SOHU.COM/A/333947112_500659》 * |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113112498A (zh) * | 2021-05-06 | 2021-07-13 | 东北农业大学 | 一种基于细粒度对抗生成网络的葡萄叶片病斑识别方法 |
CN113112498B (zh) * | 2021-05-06 | 2024-01-19 | 东北农业大学 | 一种基于细粒度对抗生成网络的葡萄叶片病斑识别方法 |
CN114549413A (zh) * | 2022-01-19 | 2022-05-27 | 华东师范大学 | 基于ct图像的多尺度融合全卷积网络淋巴结转移检测方法 |
CN114549413B (zh) * | 2022-01-19 | 2023-02-03 | 华东师范大学 | 基于ct图像的多尺度融合全卷积网络淋巴结转移检测方法 |
CN114548265A (zh) * | 2022-02-21 | 2022-05-27 | 安徽农业大学 | 一种作物叶片病害图像生成模型训练方法、作物叶片病害识别方法、电子设备及存储介质 |
CN117522754A (zh) * | 2023-10-25 | 2024-02-06 | 广州极点三维信息科技有限公司 | 一种图像增强的方法、装置、电子设备及存储介质 |
CN117522754B (zh) * | 2023-10-25 | 2024-06-11 | 广州极点三维信息科技有限公司 | 一种图像增强的方法、装置、电子设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2022160771A1 (zh) | 基于自适应多尺度特征提取模型的高光谱图像分类方法 | |
CN108537742B (zh) | 一种基于生成对抗网络的遥感图像全色锐化方法 | |
CN107977932B (zh) | 一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法 | |
CN111401384B (zh) | 一种变电设备缺陷图像匹配方法 | |
CN112488963A (zh) | 一种用于农作物病害数据的增强方法 | |
CN112287940A (zh) | 一种基于深度学习的注意力机制的语义分割的方法 | |
CN110059586B (zh) | 一种基于空洞残差注意力结构的虹膜定位分割系统 | |
CN111160533A (zh) | 一种基于跨分辨率知识蒸馏的神经网络加速方法 | |
CN112348036A (zh) | 基于轻量化残差学习和反卷积级联的自适应目标检测方法 | |
Jiang et al. | Blind image quality measurement by exploiting high-order statistics with deep dictionary encoding network | |
WO2021051987A1 (zh) | 神经网络模型训练的方法和装置 | |
CN112818969A (zh) | 一种基于知识蒸馏的人脸姿态估计方法及系统 | |
CN110826462A (zh) | 一种非局部双流卷积神经网络模型的人体行为识别方法 | |
CN115272777B (zh) | 面向输电场景的半监督图像解析方法 | |
CN112950780A (zh) | 一种基于遥感影像的网络地图智能生成方法及系统 | |
CN113344045B (zh) | 一种结合hog特征提高sar船只分类精度的方法 | |
CN115019302A (zh) | 一种改进型yolox目标检测模型构建方法及其应用 | |
CN114463759A (zh) | 一种基于无锚框算法的轻量化文字检测方法及装置 | |
CN114581552A (zh) | 一种基于生成对抗网络的灰度图像彩色化方法 | |
CN116740516A (zh) | 基于多尺度融合特征提取的目标检测方法及系统 | |
CN117593666A (zh) | 一种极光图像的地磁台站数据预测方法及系统 | |
Zhou et al. | Multitask deep neural network with knowledge-guided attention for blind image quality assessment | |
CN116563795A (zh) | 一种玩偶的生产管理方法及其系统 | |
Pang et al. | PTRSegNet: A Patch-to-Region Bottom-Up Pyramid Framework for the Semantic Segmentation of Large-Format Remote Sensing Images | |
CN112990336B (zh) | 基于竞争注意力融合的深度三维点云分类网络构建方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
RJ01 | Rejection of invention patent application after publication |
Application publication date: 20210312 |
|
RJ01 | Rejection of invention patent application after publication |