CN113553972A - 一种基于深度学习的苹果病害诊断方法 - Google Patents

Abstract

本发明提供了一种基于深度学习的苹果病害诊断方法，包括以下步骤：步骤1，建立多个类别的苹果病害图像数据集；步骤2，对建立的图像数据集进行扩增；步骤3，在GoogLeNet的inception模块的基础上搭建一种苹果病害识别模型，并优化模型的泛化能力；步骤4，利用步骤2中扩增后获得的图像数据集对优化后的模型进行训练；步骤5，用训练好的模型进行诊断并输出结果。本发明的苹果病害检测范围更广泛。针对小样本下的训练问题上，不同于现有研究在模型训练上进行优化，而是通过模型改进和数据增强两种途径优化诊断模型的泛化能力，从多个维度综合衡量模型性能模型的准确率，在识别精度和模型大小方面均优于现有研究。

Description

一种基于深度学习的苹果病害诊断方法

技术领域

本发明属于植物病害图像识别技术领域，尤其涉及一种基于深度学习的苹果病害诊断方法。

背景技术

伴随着面向对象、神经网络、深度学习等新技术的迅速崛起，学者们将计算机技术、图像处理技术以及网络通信技术相结合运用于农业领域。尤其是深度学习，它可以让神经网络架构学习具有多层次抽象数据的表示，这些方法极大地改进了视觉目标识别等技术。王细萍等提出基于卷积网络和时变冲量学习的苹果病变图像识别方法，正确率为97.45％。张善文等将改进的深度卷积神经网络应用到苹果叶部病害诊断中，降低了模型训练和识别时间。田军委等通过对原残差网络结构及损失函数进行改进来构建苹果病害识别网络；同时针对小样本下的训练问题，在网络训练过程中结合了迁移学习与分层学习率的策略进行模型训练；并对最终得到模型进行压缩，提高识别效率，为农作物病害识别提供了理论指导与技术支撑。

国内的苹果病害识别研究中，研究对象主要集中在苹果叶片区域，还没有形成对苹果叶部、果实、树干病害的系统性研究，并且由于苹果病害数据缺乏，对于在小规模病害数据集基础上建立的诊断模型，其识别精度和泛化能力还有待提高。

本发明研究基于小规模数据集和深度学习的苹果病害特征分析方法，建立高识别率、低网络参数、泛化能力强的苹果病害诊断模型，以解决上述问题。

发明内容

为实现上述目的，本发明采用如下技术方案，具体步骤为：

步骤1，建立多个类别的苹果病害图像数据集；

步骤2，对建立的图像数据集进行扩增；

步骤3，在GoogLeNet的inception模块的基础上搭建一种苹果病害识别模型，并优化模型的泛化能力；

步骤4，利用步骤2中扩增后获得的图像数据集对优化后的模型进行训练；

步骤5，用训练好的模型进行诊断并输出结果。

优选的，所述步骤1中是对11个类别的苹果病害建立图像数据集，包括正常、白粉病、斑点落叶病、腐烂病、黑星病、花腐病、轮纹病、霉心病、日灼病、炭疽病和锈病。

优选的，所述步骤2中对图像数据集进行扩增，是基于几何变换和图像操作的数据增强方法，并使用随机概率和适当组合的策略对数据集进行离线数据增强，同时使用深度卷积生成对抗网络(DCGAN)，通过提升生成器噪声分布的多样性，增强生成图像的丰富度。

优选的，所述使用深度卷积生成对抗网络(DCGAN)进行数据增强，具体为，生成网络G接收一个随机的噪声分布p(z)，其中z表示输入G网络的噪声，并利用深度神经网络可以近似任意复杂函数的能力来构建生成数据分布P(G(z))，其中G(z)表示G生成的数据，而真实的数据分布为

P_data(x)，x表示真实数据，G(z)的分布应该尽可能接近P_data(G(z))，将已知分布的z变量映射到未知分布x变量上，在训练过程中，根据交叉熵损失，可以构造损失函数式：

D(x)表示D网络判断真实数据是否真实的概率，D(G(z))是为了D判断G生成的数据是否真实的概率，训练中对D和G交替做优化，其训练过程为：

S1：从已知的噪声分布p(z)中选出一些样本z(1)至z(m)；

S2：从训练数据中选出同样个数的真实数据x(1)至x(m)；

S3：设判别器D的参数为θ_d，求出损失关于参数的梯度

对θ_d更新时加上该梯度；

S4：设生成器G的参数为θ_g，求出损失关于参数的梯度

对θ_g更新时减去该梯度。

优选的，所述步骤3中在GoogLeNet的inception模块的基础上搭建的一种苹果病害识别模型，GoogLeNet结构有22层，GoogLeNet模型使用金字塔模型来增加宽度，并由一系列易获得的稠密子结构来近似和覆盖卷积网络的局部稀疏结构，GoogLeNet结构中共使用了11个初始模块，3个分类器，每个初始模块包括多个平行卷积层，并且采用最大池化层用于同时捕获不同的特征，将任意n×n的卷积核都分解成两个1×n，n×1的一维卷积核。

优选的，所述步骤3中优化模型的泛化能力，具体为优化了GoogLeNet模型结构，综合衡量模型性能和参数数量构建模型，减少了inception模块上的数量，并在模型前段增加了卷积层和池化层的数量。

优选的，所述模型设置最大迭代步数为100000步，选用Rmsprop优化算法，学习速率选用0.01，以指数形式衰减。

与现有技术相比，本方法的苹果病害检测范围更广泛，可以检测11种苹果病害。针对小样本下的训练问题上，不同于现有研究在模型训练上进行优化，而是通过模型改进和数据增强两种途径优化诊断模型的泛化能力，从多个维度综合衡量模型性能模型的准确率达到98.5％，精准率达到了99.0％，召回率达到98.6％，F1-score达到98.7％，在识别精度和模型大小方面均优于现有研究。

附图说明

图1为数据集图像示例。

图2为数据增强整体过程图。

图3为图像增强示例。

图4为GAN训练过程图。

图5为在GAN训练期间，鼓励生成器生成样本分布P(G(z))以匹配实际数据P_data(x)。

图6为生成训练各损失值曲线以及各阶段的生成图像。

图7为Inception结构图。

图8为优化后的模型结构图。

图9为VGG模型结构。

图10为VGG模型参数图。

图11为在准确度、召回率、精确度和F1-score下比较不同分类模型的比较图。

具体实施方式

下面结合具体实施例对发明进行进一步说明。

如图所示，一种基于深度学习的苹果病害诊断方法，包含以下步骤：

步骤1，建立多个类别的苹果病害图像数据集；

步骤2，对建立的图像数据集进行扩增；

步骤3，在GoogLeNet的inception模块的基础上搭建一种苹果病害识别模型，并优化模型的泛化能力；

步骤4，利用步骤2中扩增后获得的图像数据集对优化后的模型进行训练；

步骤5，用训练好的模型进行诊断并输出结果。

针对国内的苹果病害识别研究对象主要集中在苹果叶片区域，还没有形成对苹果叶部、果实、树干病害的系统性研究的问题，提出建立了11个类别的苹果病害图像数据集。样本采集地点位于中国栖霞市(东经120°45’24”，北纬37°19’20”)，方法对11个类别的苹果病害图像数据集(正常，白粉病，斑点落叶病，腐烂病，黑星病，花腐病，轮纹病，霉心病，日灼病，炭疽病，锈病)的210张图像进行了实验，如图1所示。

基于几何变换和图像操作的数据增强具体过程：

随着训练数据集的扩展，深度卷积神经网络的性能将进一步提高。GoogLeNet采用尺度和长宽比增大变换进行数据增强，在本发明中，为了使小规模数据集满足模型训练的需求，本发明采用了随机概率和组合变换的策略。表1是图像数据增强方法的详细说明，增强效果如图3所示。

表1图像数据增强方法的详细说明

基于DCGAN的数据增强：

GAN是Goodfellow等受到博弈论的启发，巧妙地利用“对抗”思想的生成模型学习方法。生成对抗网络由生成网络(Generator，G)和判别网络(Discriminator，D)两部分组成。对于图像数据，生成网络G可以类比为艺术伪造者，D类比为艺术专家，G不断提高自己的生成能力试图瞒过D的审查。D不断提升甄别的能力，接收伪造的图像和真实的图像，并将它们区分开来。至关重要的是，生成器无法直接获取真实图像，它唯一的学习方式是通过与鉴别器的交互，具体过程如图4所示。生成网络G接收一个随机的噪声分布p(z)，其中z表示输入G网络的噪声，并利用深度神经网络可以近似任意复杂函数的能力来构建生成数据分布P(G(z))，其中

G(z)表示G生成的数据。而真实地数据分布为P_data(x)，x表示真实数据，在理想情况下，G(z)的分布应该尽可能接近P_data(x)，将已知分布的z变量映射到未知分布x变量上，附图5显示了这一过程。

在训练过程中，根据交叉熵损失，可以构造损失函数式1：

D(x)表示D网络判断真实数据是否真实的概率，而D(G(z))是为了D判断G生成的数据是否真实的概率。实际训练中一般对D和G交替做优化，训练详细步骤见表2。

表2生成对抗网络训练步骤

DCGAN的D、G的含义以及损失都和GAN中完全一致，但是它的判别器和生成器都使用了卷积神经网络，以便对图片进行有效建模。同时为了使整个网络可微，使用卷积和去卷积代替池化层。并且DCGAN重新定义了判别器损失函数，它代表判别器在生成器生成样本上的损失和在真实样本的损失之和。

但是当训练样本过少时，一方面，使用DCGAN扩增数据很难使生成网络和判别网络同时收敛，具体体现为G的损失值和D在甄别生成图片时的损失值波动范围大。比如，当G成功的收敛时，同样的梯度更新可能会造成D损失值上升，甚至G和D达到了均衡，但均衡点停在了一个无效得地方。另一方面，G容易发生局部模式崩溃，即对于不同的输入生成相似的样本，在本论文中体现为生成器使不同的图片包含相同的纹理主题。对于高度相似的合成图片，D的判断非常准确，导致D损失值很快收敛到0，从而无法提供可靠的路径使生成器的梯度继续更新，造成生成器梯度消失，致使G生成的数据重复度高，数据多样性不足，难以达成样本数据集增强的目的。

为了使得生成网络生成的新样本既具有多样性又保持与原样本之间特征的相似性，本设计使用增加生成器噪声分布多样性的策略，如前所述，生成数据分布P_data(G(z))的目标就是尽可能地接近真实分布P_data(x)，而生成数据分布又可以转换为式2：

因此本发明通过提升先验分布p(z)的多样性，从而提升G(z)的多样性，达到生成样本多样性的目的。在训练的初期，生成器生成的样本和训练的真实样本差别很大，判别器能够很容易的识别出来，本发明通过改变生成器与判别器的训练次数延缓判别器在生成图像上的损失的迅速下降，让判别器在生成图像上的损失以及生成器自身损失有一段相当长的对抗平衡过程。理想的情况是两者都稳定在某一数值附近波动，从而让生成器能够长时间的得到优化，生成质量高且多样性较高的图像。并且和以往生成对抗训练的区别在于这种对抗是在一个特定的类别数据上进行，而不是整个数据集。这主要是因为各种苹果病害的数据特征比较相似，利用类别之间的信息生成不自然的图像数据反而会模糊分类界限。其增强过程和效果如图6所示。

GoogLeNet结构有22层，由于网络层次数量，神经元数量和训练数据的增加，GoogLeNet模型具有比以前的深度学习结构更多的特征。GoogLeNet模型使用金字塔模型来增加宽度，并提出“初始模块”的概念，“初始模块”的主要思想是指由一系列易获得的稠密子结构来近似和覆盖卷积网络的局部稀疏结构。GoogLeNet结构中共使用了11个初始模块，3个分类器。每个初始模块包括多个平行卷积层，并且采用最大池化层用于同时捕获不同的特征，并且将任意n×n的卷积核都分解成两个1×n，n×1的一维卷积核，如附图7所示。1×1卷积核实现了卷积核跨通道的交互和信息整合，并通过卷积核通道数的降维或升维，使模型网络结构更紧凑，参数数量显著地减少。

由于本发明中使用的数据集图片数量少，图像复杂度高，为了在特征向量映射到不同特征空间时捕获更多的特征信息，本发明尝试使用更宽更浅的病害预测模型。为了使模型更适应样本数据集，本发明综合衡量模型性能和参数数量构建模型，新模型减少了inception模块上的数量，并在模型前段增加了卷积层和池化层的数量。模型结构具体如图8所示。

GoogLeNet模型的参数数量共计为24657507，而新模型的参数数量共计为7392048，约为GoogLeNet模型参数的1/3。表3显示了新模型参数的分布情况。和GoogLeNet模型相比，新模型极大的减少模型的参数数量降低了模型复杂度，减小了模型过拟合的风险。

表3新模型各层的参数分布情况

为了验证本发明中将传统数据增强方法和DCGAN相结合的方法比仅使用传统数据增强方法更有效，并且验证建立的模型的优越性，进行了对照试验，结果表明，本发明提出的方法和模型在小规模数据集上有明显优势。

本实验主要使用的硬件和软件如表4所示。

表4运行环境相关参数

实验首先为了验证传统方法何时失败，研究设置了数据集A和数据集B，二者都是通过使用几何变换和图像操作方法得到的数据集，不同的是，数据集B的图像数量大约是数据集A的1.5倍。表5展示了扩展后的图像数据分布情况。

表5苹果叶病原始图像数据和扩展后的图像数据分布情况

而DCGAN增强后的得到的生成图像数据组成的数据集被称为数据集C。

表6苹果叶病原始图像数据和扩展后的图像数据分布情况

为了验证本发明中将传统数据增强方法和DCGAN相结合的方法比仅使用传统数据增强方法更有效，本发明将数据集A和数据集C组合成数据集D。在数据集A，数据集B，数据集D，将训练集与测试集的比例大致设置为1:8，并将所有图像的大小分别调整为299*299和224*224以适应不同模型训练的需求。数据集划分情况如表7所示。

表7数据集分布情况

新模型设置最大迭代步数为100000步，选用Rmsprop优化算法，学习速率选用0.01，以指数形式衰减。这种设置能够使学习率随着训练轮数的增长逐渐减小，使目标函数在合适的时间内收敛到局部最优值。

为了使模型测试结果更有说服力，本发明使用三者交叉验证方法进行模型测试，并使用四种指标(准确率，精准率，召回率，F1-score)衡量模型的性能。最后为了证明New_model的性能，本发明将新模型的性能和GoogLeNet、VGG、ResNet进行对比实验。以下是各模型的简单介绍。

(1)VGG简介

VGG在AlexNet的基础上又增加了模型的深度，并证明了增加网络的深度能够在一定程度上影响网络性能。常用的VGG16由13个卷积层和3个全连接层组成，如图9所示。模型深度的增加必然导致模型训练参数和训练成本成倍增加，因此VGG相比AlexNet的另一个改进是利用堆积的小卷积核取代大的卷积核，这样做的主要目的是由于卷积核都比较小，即使输入和输出的通道数较大，计算时卷积核参数也不会很大，进而降低卷积核参数、运算复杂度，参数具体如图10所示。

(2)ResNet简介

ResNet是一种残差网络，属于超深网络，它的模型深度是VGG模型的8倍，最高可以达到152层，为了对抗超深网络带来的模型难以训练的问题，ResNet引入残差结构，ResNet结构使用了一种连接方式叫做“Shortcut Connection”(快速连接)，其计算公式为：

X_l+1＝f(h(x)+F(X_l,W_l))

其中h(x)代表直接映射函数，f是激活函数，这里使用ReLU激活函数，F(X_l,W_l)代表着残差，它是h(x)和输入值X_l的差值，W_l表示l层中的参数，它通过使用多个有参层来学习输入输出之间的残差表示。

本发明使用三者交叉验证的方法使新模型在数据集A、B、D上分别训练，并分别测试了模型在测试集A、B、D的准确率，精准率，召回率，F1-score。表8～10显示了模型测试详细结果。

表8数据集A的测试结果(％)

表9数据集B的测试结果(％)

表10数据集D的测试结果(％)

从表8～表10可知，数据集A，B，D的平均准确率为97.7％，97.8％，98.5％。数据集B数据量是数据集A的1.5倍，而二者平均准确率只相差0.1％。这说明仅仅使用传统数据增强方法模型准确率是有上限的，当数据量达到一定值，模型准确率陷入了瓶颈。数据集D的数据量是数据集A的1.35倍，和数据集B的数据量的大致相等，而数据集D上的平均准确率比数据集A高0.8％，这表明生成数据有效地增强了数据集的多样性，有效地提升了模型的性能。表11展示了数据集D详细分类结果。

表11数据集D详细分类结果

如表11所示，在数据集D上11种病种分类的准确度表现良好，其中，锈病的准确率最低，为97.7％。在精准率指标方面，锈病的精准率最低，为89.0％。在召回率指标方面，除了轮纹病、锈病、腐烂病的召回率低于90.0％，分别为87.0％，87.3％，89.8％，其他病害类别的召回率都高于93.0％。在F1-Score指标上，锈病和轮纹病的值较低，分别为88.1％，89.3％，其他病害类别的F1-Score都高于90.0％。实验结果表明，本发明的方法在苹果病害数据集上表现良好。

最后本发明将New_model和现有的主流模型进行了比较。表12显示了分类模型在不同数据集的整体准确率。由表可知，相比于数据集A，分类模型在数据集D的准确率更高，这说明本发明的数据增强方法在模型寻找分类边界中起到了积极作用。

表12分类模型在不同数据集的整体准确率

在数据集A和数据集D上，New_model的整体准确性高于其他模型。本发明还比较了在数据集D上不同评估指标下New_model，GoogLeNet，VGG和ResNet的模型性能。图11显示了不同的评估指标，其中水平轴表示苹果病的简单名称，垂直轴表示评估指标的值。在不同的评估指标下，New_model的性能仍然优于其他模型，这表明本发明的方法适用于小型数据集。

以上所述仅为本申请的优选实施例而已，并不用于限制本申请，对于本领域的技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本申请的保护范围之内。

上述虽然对本发明的具体实施方式进行了描述，但并非对本发明保护范围的限制，所属领域技术人员应该明白，在本发明的技术方案的基础上，本领域技术人员不需要付出创造性劳动即可做出的各种修改或变形仍在本发明的保护范围以内。

Claims (7)

1.一种基于深度学习的苹果病害诊断方法，其特征在于，包括以下步骤：

步骤1，建立多个类别的苹果病害图像数据集；

步骤2，对建立的图像数据集进行扩增；

步骤3，在GoogLeNet的inception模块的基础上搭建一种苹果病害识别模型，并优化模型的泛化能力；

步骤4，利用步骤2中扩增后获得的图像数据集对优化后的模型进行训练；

步骤5，用训练好的模型进行诊断并输出结果。

2.如权利要求1所述的一种基于深度学习的苹果病害诊断方法，其特征在于：所述步骤1中是对11个类别的苹果病害建立图像数据集，包括正常、白粉病、斑点落叶病、腐烂病、黑星病、花腐病、轮纹病、霉心病、日灼病、炭疽病和锈病。

3.如权利要求1中所述的一种基于深度学习的苹果病害诊断方法，其特征在于：所述步骤2中对图像数据集进行扩增，是基于几何变换和图像操作的数据增强方法，并使用随机概率和适当组合的策略对数据集进行离线数据增强，同时使用深度卷积生成对抗网络(DCGAN)进行数据增强，通过提升生成器噪声分布的多样性，增强生成图像的丰富度。

4.如权利要求3所述的一种基于深度学习的苹果病害诊断方法，其特征在于：所述使用深度卷积生成对抗网络(DCGAN)进行数据增强，具体为,生成网络G接收一个随机的噪声分布p(z)，其中z表示输入G网络的噪声，并利用深度神经网络可以近似任意复杂函数的能力来构建生成数据分布P(G(z))，其中G(z)表示G生成的数据，而真实的数据分布为P_data(x)，x表示真实数据，G(z)的分布应该尽可能接近P_data(G(z))，将已知分布的z变量映射到未知分布x变量上，在训练过程中，根据交叉熵损失，可以构造损失函数式：

D(x)表示D网络判断真实数据是否真实的概率，D(G(z))是为了D判断G生成的数据是否真实的概率，训练中对D和G交替做优化，其训练过程为：

S1：从已知的噪声分布p(z)中选出一些样本z(1)至z(m)；

S2：从训练数据中选出同样个数的真实数据x(1)至x(m)；

S3：设判别器D的参数为θ_d，求出损失关于参数的梯度

对θ_d更新时加上该梯度；

S4：设生成器G的参数为θ_g，求出损失关于参数的梯度

对θ_g更新时减去该梯度。

5.如权利要求1所述的一种基于深度学习的苹果病害诊断方法，其特征在于：所述步骤3中在GoogLeNet的inception模块的基础上搭建的一种苹果病害识别模型，GoogLeNet结构有22层，GoogLeNet模型使用金字塔模型来增加宽度，并由一系列易获得的稠密子结构来近似和覆盖卷积网络的局部稀疏结构，GoogLeNet结构中共使用了11个初始模块，3个分类器，每个初始模块包括多个平行卷积层，并且采用最大池化层用于同时捕获不同的特征，将任意n×n的卷积核都分解成两个1×n，n×1的一维卷积核。

6.如权利要求1所述的一种基于深度学习的苹果病害诊断方法，其特征在于：所述步骤3中优化模型的泛化能力，具体为优化了GoogLeNet模型结构,综合衡量模型性能和参数数量构建模型,减少了inception模块上的数量，并在模型前段增加了卷积层和池化层的数量。

7.如权利要求1至6任意一项所述的一种基于深度学习的苹果病害诊断方法，其特征在于：所述模型设置最大迭代步数为100000步，选用Rmsprop优化算法，学习速率选用0.01，以指数形式衰减。

Images