CN114445715A - 一种基于卷积神经网络的农作物病害识别方法 - Google Patents

Abstract

本发明公开了一种基于卷积神经网络的农作物病害识别方法，包括获取训练数据集，对训练数据集进行预处理，得到预处理后的数据集；将预处理后的数据集输入至初始的卷积神经网络模型中进行训练，得到训练好的卷积神经网络模型；使用通道剪枝方法对训练好的卷积神经网络模型进行压缩，得到压缩后的卷积神经网络模型；获取农作物图像，对农作物图像进行预处理后输入至压缩后的卷积神经网络模型中，得到农作物病害识别结果。有效提高了卷积神经网络模型的分类精度，以及在模型精度变化不大的情况下，轻量化卷积神经网络模型，能够很好的应用于农业来识别农作物病害类别，解决了人工识别错误率高的问题从而提高了农作物的产量和质量。

Description

一种基于卷积神经网络的农作物病害识别方法

技术领域

本发明属于植物分类领域，特别是涉及一种基于卷积神经网络的农作物病害识别方法。

背景技术

植物产量的降低受到多种因素的影响，其中，由病虫害造成的植物减产在20-30％之间。为了防止病害的传播和保护产量，传统的方法是通过人工观察来判断植物病害类型然后喷洒相应的农药。但是由于植物病害的多样性，基于人工的观察很有可能出现误诊，从而导致植物产量下降。因此，研究一个能够满足于农业生产需要的植物病害分类的模型是非常有必要的。

因为植物病害的症状通常表现在叶片上，所以人们开始研究如何使用计算机视觉来辅助诊断植物病害类型。传统的图像分类技术依赖于手动设计的特征，如基于颜色特征、基于纹理特征、基于形状特征。由于手动设计的特征依赖于工程经验并且不能适应成像条件的巨大变化，所以其准确率不能满足人们的实际需求。卷积神经网络的出现解决了这一问题，卷积神经网络能够通过直接与图像像素进行卷积来提取图像特征，非常适用于复杂特征的提取。有学者训练了一个深度卷积神经网络来识别14种作物的38类状态,训练后的模型在测试集上达到了99.35的准确率。还有学者通过将卷积层的特征数据进行多尺度融合来对卷积神经网络进行改进，使得模型在测试集上的准确率提高到了91.7。有学者采用了改进的vgg16网络对苹果叶病害进行分类通过采用全局平均池化层代替全连接层以减少参数并加入批处理归一化层以提高收敛速度，在测试集上达到了99.01的准确率。然而，他们模型的高准确率是通过与训练集相似的测试集得来的，而将他们训练好的模型应用于真实环境时准确率则会大大降低。本申请发现真实环境下植物叶片的背景多种多样而实验当中训练模型所采用的数据集的背景相对单一，这就导致实验当中训练好的模型并不具备鲁棒性。有的学者将卷积神经网络用于植物病害分类并在测试集上取得了99.35的准确率。但是当用与训练图像拍摄条件不同的测试集时，模型只有34.4的准确率。另外一个问题是，这些模型的大小和计算量都比较大，部署到实际时要花费巨大的硬件成本。而农业研究旨在以更低的成本和更高的利润提高食品的产量和质量，以满足消费者的需求。因此，研究一个可应用实际农业生产的高准确率并且轻量的卷积神经网络模型用于农作物病害识别是非常有必要的。

发明内容

针对以上技术问题，本发明提供一种基于卷积神经网络的农作物病害识别方法。

本发明解决其技术问题采用的技术方案是：

一种基于卷积神经网络的农作物病害识别方法，方法包括以下步骤：

步骤S100：获取训练数据集，对训练数据集进行预处理，得到预处理后的数据集；

步骤S200：将预处理后的数据集输入至初始的卷积神经网络模型中进行训练，得到训练好的卷积神经网络模型；

步骤S300：使用通道剪枝方法对训练好的卷积神经网络模型进行压缩，得到压缩后的卷积神经网络模型；

步骤S400：获取农作物图像，对农作物图像进行预处理后输入至压缩后的卷积神经网络模型中，得到农作物病害识别结果。

优选地，步骤S100包括：采用GrabCut算法将数据集中图像的前景和背景分割，并将图像的背景处理为黑色。

优选地，卷积神经网络包括依次连接的第一卷积模块、多个Bottleneck模块、第二卷积模块、平均池化模块、第三卷积模块和全连接层，

第一卷积模块用于接收预处理后的图片，并进行3*3的卷积操作提取图片中的特征；

多个Bottleneck模块用于提取进行卷积操作后图片的深层次特征；

第二卷积模块用于使用1*1的卷积操作来将深层次特征进行第一次融合；

平均池化模块用于使用7*7的池化操作缩小第一次融合后的特征的尺寸；

第三卷积模块用于使用1*1的卷积操作来将池化后的特征进行第二次融合；

全连接层用于根据第二次融合后的特征得到分类结果。

优选地，Bottleneck模块包括依次连接的第一特征提取模块、New-CA注意力模块、第二特征提取模块和shortcut连接模块，

第一特征提取模块用于提取进行卷积操作后图片的特征；

New-CA注意力模块用于对第一特征提取模块提取到的特征进行学习；

第二特征提取模块用于再次提取New-CA注意力模块学习后的特征；

shortcut连接模块用于将第二特征提取模块输出的特征图与第一特征提取模块输入的特征图进行shortcut连接，得到深层次特征。

优选地，还包括第四卷积模块，第四卷积模块设置于New-CA注意力模块与第二特征提取模块之间，当stride大于1时，第四卷积模块用于改变New-CA注意力模块学习后的特征图的尺寸；第二特征提取模块用于提取改变了尺寸后的特征图中的特征。

优选地，New-CA注意力模块包括C方向的平均池化模块、H方向的平均池化模块、W方向的平均池化模块、第五卷积模块、拼接卷积模块、第一归一化模块、第二归一化模块、第六卷积模块、第七卷积模块、第八卷积模块、第一sigmoid函数模块、第二sigmoid函数模块、第三sigmoid函数模块和组合模块，C方向的平均池化模块、H方向的平均池化模块和W方向的平均池化模块连接第一特征提取模块，述C方向的平均池化模块、第五卷积模块、第一归一化模块、第六卷积模块和第一sigmoid函数模块依次连接，H方向的平均池化模块和W方向的平均池化模块连接拼接卷积模块，拼接卷积模块连接第二归一化模块，第二归一化模块连接第七卷积模块和第八卷积模块，第七卷积模块连接第二sigmoid函数模块，第八卷积模块连接第三sigmoid函数模块，第一sigmoid函数模块、第二sigmoid函数模块和第三sigmoid函数模块均连接组合模块。

优选地，第一特征提取模块和第二特征提取模块的结构一样，为Vgg16、ResNet50、EfficientNet、ShuffleNetV2、MobileNetV3和GhostNet模型中的一种。

优选地，步骤S300包括：

获取训练好的卷积神经网络模型中所有通道的尺度因子；

将尺度因子小于预设的阈值的所有通道以及与该通道的所有输入和输出连接删除，得到压缩后的卷积神经网络模型。

上述一种基于卷积神经网络的农作物病害识别方法，有效提高了卷积神经网络模型对农作物病害的分类识别精度，以及在模型分类识别精度变化不大的情况下，轻量化卷积神经网络模型，更适合于内存和计算能力较低的平台。本申请所提出的模型能够很好的应用于农业来识别农作物病害类别，解决了人工识别错误率高的问题从而提高了农作物的产量和质量。

附图说明

图1为本发明一实施例中一种基于卷积神经网络的农作物病害识别方法流程图；

图2为本发明一实施例中63类植物病害状态示意图；

图3为本发明一实施例中GrabCut算法分割原理图；

图4为本发明一实施例中不同K值的图像分割效果示意图；

图5为本发明一实施例中图像分割后的数据集；

图6为本发明一实施例中卷积神经网络模型结构示意图；

图7为本发明一实施例中Bottleneck模块的结构示意图；

图8为本发明另一实施例中Bottleneck模块的结构示意图；

图9为本发明一实施例中New-CA注意力模块的结构示意图；

图10为本发明一实施例中压缩后的卷积神经网络模型示意图；

图11为本发明一实施例中CIFAR-10训练期间的误差曲线图；

图12为本发明一实施例中模型大小和计算量的压缩比例图。

具体实施方式

为了使本技术领域的人员更好地理解本发明的技术方案，下面结合附图对本发明作进一步的详细说明。

在一个实施例中，如图1所示，一种基于卷积神经网络的农作物病害识别方法，方法包括以下步骤：

步骤S100：获取训练数据集，对训练数据集进行预处理，得到预处理后的数据集。

具体地，本发明所采用的数据集当中有很多病害类型被分成了一般和严重两个等级。将同一种疾病进行严重等级的划分有利于植物病害的早期检测，这在保护粮食产量上尤为重要，并且可以对农药的用量提供指导。

本发明实验所使用的植物病害数据集有37302张图片，包含了11种植物的63类病害状态。11种植物包括了苹果、樱桃、玉米、葡萄、柑桔、桃、辣椒、马铃薯、草莓、番茄、茶叶。图2中可以看到63类病害状态的例子。其中10种植物来自于公开数据集AI Challenger2018，它包含了59类病害状态。另外，由于茶叶对人体健康有着积极作用，因此茶饮料在全世界都有着巨大的市场。如红茶可以减轻糖尿病患者的并发症、茶叶中的茶多酚可用于减少皮肤中皮脂的产生和治疗寻常痤疮并且具有抗炎的功效、红茶和绿茶可以用来预防和治疗高胆固醇。所以本申请将茶叶也加入了本申请的数据集，茶叶数据集来自于本申请从茶叶基地的拍摄包含了4类病害状态有茶叶健康、茶白星病、茶轮斑病和茶炭疽病。本申请将拍摄的茶叶图片利用Adobe Photoshop(一种图像处理软件)处理为和AI Challenger 2018植物病害数据集相似的图片，然后将整个数据集划分为训练集和验证集分别占80％和20％。

图像的背景是图像的重要组成部分，对图像分类的准确率有很大的影响。实验所使用的数据集是在特定条件下拍摄，因此数据集的背景的种类是有限的。而真实环境下的图片背景是多种多样的并且没有数据集能够将真实环境下的所有背景都包含。所以直接使用实验环境下的数据集训练出来的模型部署到实际时准确率会差很多。为了使得训练好的模型部署到实际时能够取得同样高的准确率，本发明提出将数据集图片的背景通过图像分割技术处理为黑色。训练好的模型用于预测时先将具有多种多样背景的真实图片的背景处理为黑色。这样就保证了训练好的模型部署到实际时能具有和训练时一样高的准确率，使得模型的鲁棒性提高。

图像分割算法主要有基于图论的和基于语义的。语义分割是基于深度学习的，可以看成是像素级的分类。因此，语义分割需要很高的计算成本，而本文的主要目的是研究一个可以应用于农业实际的分类模型。所以本申请采用了传统的图像分割技术基于图论的，在实验中它可以很好的完成分割任务。

在一个实施例中，步骤S100包括：采用GrabCut算法将数据集中图像的前景和背景分割，并将图像的背景处理为黑色。

具体地，GrabCut算法将图像分割问题与图的最小割问题相关联，图3表示用一个无向图G＝<V,E>来表示要分割的图像。V和E分别代表顶点和边。S和T为额外的两个点，图中的其它点对应图像的像素点。图中的边是有权值的用来代表损失。像素点与S点之间虚线的权值表示将该像素归类为背景的损失，与T点之间虚线的权值代表将该像素归类为前景的损失。Grabcut算法为前景和背景分别建立了一个高斯混合模型(GMM)。每个GMM，一个用于背景，一个用于前景，被认为是一个具有K个成分的全方差高斯混合物(K通常取5)。K过小的话也就意味着GMM的样本库模型少，这会使得在划分像素归属的时候的误判概率增大。当然，计算的复杂度会随着K的增大而增加。图4是不同K值的图像分割效果。所以本发明本申请采用5个高斯分量的高斯混合模型。前景高斯混合模型用来计算像素点属于前景的概率，背景高斯混合模型用来计算像素点属于背景的概率。图中实线的权值代表两个像素点的相似性，通过欧氏距离来衡量。两个像素越相似，它们之间的实线权重越大。基于此，图中各边的权值都已经得到，接着运用图的最小割将图分割成前景和背景通过让被剪断的边的权值之和最小。

本发明使用GrabCut算法将图像的前景与背景分割，并将图像的背景处理为黑色。为了使得图像分割的效果更好，将图像的一部分像素设置为背景以帮助GrabCut算法更好的实现分割。本申请发现AI Challenger 2018植物病害数据集以及本申请所拍摄的茶叶数据集的一个特点是，叶子的四周都有较大范围的背景。所以将距离图像四周边缘五个像素以内的像素全部设置为背景。处理后的数据集如图5。

步骤S200：将预处理后的数据集输入至初始的卷积神经网络模型中进行训练，得到训练好的卷积神经网络模型。

在一个实施例中，如图6所示，卷积神经网络包括依次连接的第一卷积模块、多个Bottleneck模块、第二卷积模块、平均池化模块、第三卷积模块和全连接层，

第一卷积模块用于接收预处理后的图片，并进行3*3的卷积操作提取图片中的特征；

多个Bottleneck模块用于提取进行卷积操作后图片的深层次特征；

第二卷积模块用于使用1*1的卷积操作来将深层次特征进行第一次融合；

平均池化模块用于使用7*7的池化操作缩小第一次融合后的特征的尺寸；

第三卷积模块用于使用1*1的卷积操作来将池化后的特征进行第二次融合；

全连接层用于根据第二次融合后的特征得到分类结果。

具体地，在本实施例中，Bottleneck模块的数量为9个，可根据实际情况进行设定。

在一个实施例中，如图7所示，Bottleneck模块包括依次连接的第一特征提取模块、New-CA注意力模块、第二特征提取模块和shortcut连接模块，

第一特征提取模块用于提取进行卷积操作后图片的特征；

New-CA注意力模块用于对第一特征提取模块提取到的特征进行学习；

第二特征提取模块用于再次提取New-CA注意力模块学习后的特征；

shortcut连接模块用于将第二特征提取模块输出的特征图与第一特征提取模块输入的特征图进行shortcut连接，得到深层次特征。

在一个实施例中，如图8所示，还包括第四卷积模块，第四卷积模块设置于New-CA注意力模块与第二特征提取模块之间，当stride大于1时，第四卷积模块用于改变New-CA注意力模块学习后的特征图的尺寸；第二特征提取模块用于提取改变了尺寸后的特征图中的特征。

具体地，先通过第一特征提取模块来提取图像的特征；然后使用本申请提出的New-CA注意力模块来对所获得的特征进行学习，使得特征能够更好的表达图像。如果stride>1,则说明特征图的尺寸发生了变化，因此使用第四卷积模块即DWConv卷积来改变特征图的尺寸，接着再使用第二特征提取模块来提取图像的特征；最后将所得到的特征图与Bottleneck的输入特征图进行shortcut连接，以防止网络太深使得网络表达能力下降。

在一个实施例中，优选地，New-CA注意力模块包括C方向的平均池化模块、H方向的平均池化模块、W方向的平均池化模块、第五卷积模块、拼接卷积模块、第一归一化模块、第二归一化模块、第六卷积模块、第七卷积模块、第八卷积模块、第一sigmoid函数模块、第二sigmoid函数模块、第三sigmoid函数模块和组合模块，C方向的平均池化模块、H方向的平均池化模块和W方向的平均池化模块连接第一特征提取模块，述C方向的平均池化模块、第五卷积模块、第一归一化模块、第六卷积模块和第一sigmoid函数模块依次连接，H方向的平均池化模块和W方向的平均池化模块连接拼接卷积模块，拼接卷积模块连接第二归一化模块，第二归一化模块连接第七卷积模块和第八卷积模块，第七卷积模块连接第二sigmoid函数模块，第八卷积模块连接第三sigmoid函数模块，第一sigmoid函数模块、第二sigmoid函数模块和第三sigmoid函数模块均连接组合模块。

具体地，网络的深度，宽度和分辨率对网络性能有很大的影响。增加网络的深度可以提高分类精度。通过增加网络的宽度，可使得一个16层的网络比更深的网络有更好的性能。另外，在保持其它条件不变的前提下，增加分辨率可以提升分类的准确率。而且，增加分辨率比增加网络深度和宽度更有效。

除了这些可以用来提升准确率的方法外，最近的研究表明注意力机制可以用来提升现有网络的表示能力通过关注重要的特征并且抑制不必要的特征。注意力模块可以看作是一个计算单元，可以方便的插入到现有的网络模型当中用来实现特征的重新校准。注意力机制已经被证明在许多计算机视觉任务中都能起到提升性能的作用，例如图像分类、图像分割和目标检测。SE注意力模块通过显示的建模特征通道间的相互依赖关系来提高网络的表示质量。由于标准卷积很难编码信道间的关系，该注意力模块通过二维全局平均池化来获得全局信息，然后使用全局信息来有选择地强调重要的特征并抑制相对不重要的特征。但是SE只考虑编码特征通道间的关系，而忽略了对于需要捕获目标结构的视觉任务至关重要的位置信息。CBAM注意力模块(Convolutional Block Attention Module)在加入通道注意力的基础上，加入了空间注意力。通道注意力关注在图像中“什么”是有意义的，空间注意力则关注“哪里”是一个信息部分。CBAM通过对输入特征进行平均池化和最大值池化来减少特征的通道数量，然后通过一个7*7的卷积来生成一个告诉本申请应该去关注哪里的空间注意图。然而CBAM通过7*7的卷积来实现空间注意力，这只能捕获局部关系，而获取不到对视觉任务非常重要的长距离依赖关系。Coordinate注意力模块的出现解决了获取不到长距离依赖的问题。为了用准确的位置信息来获得长距离的依赖关系，Coordinate将SE模块中使用的二维全局池化操作分解为两个并行的一维特征编码操作。具体的，给定一个输入X∈R^H×W×C,使用两个不同的一维平均池化操作，分别沿着H方向和W方向，产生了两个具有方向感知的特征图。这两个具有方向感知的特征图随后被编码成两个注意力图，每一个都捕获到输入特征图沿一个空间方向的具有精确位置信息的长程依赖。最后将得到的两个注意力图通过乘法应用到输入特征上来强调感兴趣的特征。

Coordinate注意力模块只获得了两个分别沿着两个空间方向的长程依赖而忽略了输入特征是三维的这一重要信息。因此，沿着通道方向的长程依赖信息对于视觉任务也同样的重要。基于此，本申请提出了新的Coordinate注意力机制(New-CA)，New-CA注意力机制如图9。给定输入X∈R^H×W×C，本申请利用三个不同的一维全局池操作，分别沿着c方向、h方向和w方向将输入特征聚合为三个独立的方向感知特征图包含了大量的位置信息。接着，通过1*1的卷积操作来分别对三个不同的特征图进行空间信息的编码并且使用r来控制块的大小并在后面通过1*1的卷积来恢复空的大小。因此本申请得到了三个注意力图，每个注意图都捕获到输入特征图沿一个空间方向的长程依赖用精准的位置信息。最后将得到的三个注意力图互补的应用到输入特征上。这个编码过程使本申请的New-CA注意力模块能够更准确地定位感兴趣的对象的确切位置，从而提高整个模型的性能通过插入到模型中合适的位置。

在一个实施例中，第一特征提取模块和第二特征提取模块的结构一样，为Vgg16、ResNet50、EfficientNet、ShuffleNetV2、MobileNetV3和GhostNet模型中的一种。

具体地，本申请用了一些最先进的CNN模型在公共数据集上实证了本申请方法的有效性，包括Vgg16、ResNet50、EfficientNet、ShuffleNetV2、MobileNetV3和GhostNet。

步骤S300：使用通道剪枝方法对训练好的卷积神经网络模型进行压缩，得到压缩后的卷积神经网络模型。

在一个实施例中，步骤S300包括：

获取训练好的卷积神经网络模型中所有通道的尺度因子；

将尺度因子小于预设的阈值的所有通道以及与该通道的所有输入和输出连接删除，得到压缩后的卷积神经网络模型。

具体地，随着GPU的不断发展，人们不断探索更深，更宽的网络模型。更大的网络模型一般在视觉任务中表现的更加出色，但是需要非常高的硬件支持。如一个50层的ResNet网络有超过26百万的参数，在推断分辨率为650×650的图像时需要70Giga浮点操作(FLOPs)。将这种较大的网络模型部署到实际农业生产的话需要花费很大的硬件成本，这与农业研究的主旨相违背。所以研究如何将大的网络模型在几乎不改变准确率的前提下进行压缩，从而部署到成本较低的资源有限的平台上对于农业发展是很有必要的。

目前卷积神经网络不能很好的用于资源有限的平台上的主要原因是模型尺寸太大、运行时占用内存过高、计算量过大。模型剪枝算法可以较好的解决上述问题。稀疏性可以在不同的级别上实现，例如，权重级、内核级、通道级或层级。

有学者提出在训练好的神经网络中修剪具有小权重的不重要的连接，然而，这种方法需要专用的稀疏矩阵操作库和硬件才能实现加速。还有学者提出了一个新的方法来进行滤波剪枝。考虑到剪枝的计算开销和易于实现性，本申请选择使用通道剪枝来进行模型压缩。

考虑到剪枝的计算开销和易于实现性，选择使用通道剪枝来进行模型压缩。下面是这个算法的一些实现细节。为了使网络能够快速的收敛并且具有更好的泛化性能，Batchnormalization(批标准化)已经被广泛的应用于现代卷积神经网络。让zin和zout作为BN层的输入和输出，B代表当前的批量数据，BN层的公式如下:

其中，

和

代表批量

数据的均值和方差,γ和β分别是可以训练的缩放和平移参数。现在的大部分卷积神经网络都在卷积层后插入了BN层，BN层具有缩放和移动参数。所以提出直接将BN层中γ参数作为尺度因子来衡量每个通道的重要性。同时，为了让网络中有更多的尺度因子接近0，将尺度因子的L1-norm稀疏正则化加入损失函数当中，联合训练网络权值和这些尺度因子。具体的损失函数公式如下：

其中，(x,y)分别表示输入的图片和对应的真实分类标签，W表示可训练的参数，公式左边是卷积神经网络通常的训练损失，公式右边是新加入的尺度因子的正则化损失，f用来平衡这两个项目。通过L1-norm稀疏正则化，将γ的值推向零，使本申请能够识别不重要的通道，因为每个γ对应一个特定的通道。这有助于在接下来的步骤中进行通道剪枝。附加的正则化项很少会影响网络性能，并且在一定程度上会使得网络的泛化精度提高。

在训练完成后，可以得到一个许多尺度因子接近于零的模型，如图10。通过对训练好的模型设定一个全局的裁剪比例来获得一个阈值。将尺度因子小于此阈值的所有通道剪掉通过删除掉与该通道的所有输入和输出连接，从而得到一个更加紧凑的网络。对训练好的网络进行剪枝后，会使得网络的精度暂时的下降。但是本申请可以通过对剪枝后的网络进行微调过程来补偿。微调后的窄网络有时候比原始未修剪得网络的精度更高，而且具有更少的参数和运行时内存，以及更少的计算操作。这使得本申请的模型可以应用于移动设备、可穿戴设备或物联网设备等资源有限的农业平台上。

步骤S400：获取农作物图像，对农作物图像进行预处理后输入至压缩后的卷积神经网络模型中，得到农作物病害识别结果。

为了证明本申请所提出的新注意力模块的有效性，本申请在公开数据集CIFAR-10上进行了一系列对比实验。CIFAR-10是一个图像分类的基准数据集，包含了50000训练集图片和10000张验证集图片来自于10个类，每个类有6000张图片。本申请在训练集上训练网络模型，用验证集对模型的效果进行评估通过计算top-1和top-5的准确率。

本申请在6个最具有代表性的网络模型上验证了本申请所提出的注意力模块的有效性，包括了Vgg16、ResNet50、EfficientNet、ShuffleNetV2、MobileNetV3和GhostNet，并且所有模型所使用的超参数均保持一致。在数据处理部分，本申请将图像进行随机水平翻转，然后在图像的每侧填充4个像素后将图像随机裁剪成32*32大小的图片。本申请使用了一张Tesla V100 NVlink显卡来对每个模型训练200个历时周期，并且将batch size设置为128。本申请使用权值衰减为0.0001，动量为0.9的SGD优化器来训练模型。本申请将初始的学习率设置为0.1，在训练到100和150历时周期的时候将学习率除以10。

表1在CIFAR-10数据集上的分类结果

表1反映了不同网络模型在验证集上的实验结果。所有插入New-CA模块的网络的分类性能要明显好于插入CA模块的网络，有着更低的top1-err和top5-err。这证明了New-CA模块可以用于提升各种网络模型的分类性能并且意味着本申请所提出的New-CA模块可以比CA模块更好的捕获目标的位置信息。同样重要的是，插入New-CA模块的网络在top1-err上要明显低于插入SE模块的网络，它是ILSVRC2017年分类任务的冠军。

本申请发现插入New-CA模块给原网络所带来的内存和计算量开销都相当的小。ResNet50+New-CA网络的top1-err比ResNet50+CA网络低了0.97，只多花了0.01MB的内存空间和0.03MFLOPs的计算量。MobileNetV3+New-CA网络的top1-err和top5-err比MobileNetV3+CA分别低了1.43和0.2，只多花了0.03MB内存空间和0.01MFLOPs的计算量。图11描述了以ResNet50和MobileNetV3为基线在cifar10验证集上的错误率变化曲线。可以清楚地看到，插入NEW-CA模块的网络在这两个错误率曲线图中都显示出最低的错误率。这表明了与CA模块相比，NEW-CA模块更具有提高基线模型的泛化能力。

被图像分割处理后的植物病害数据集被划分成训练集和验证集，分别占80％和20％。本申请使用训练集在6个没有插入注意力模块的网络模型上进行训练，包括了Vgg16、ResNet50、EfficientNet、ShuffleNetV2、MobileNetV3和GhostNet。本文所使用的植物病害数据集的图片尺寸并不相同，在真实环境下采集的图像大小也并不相同。在训练的过程当中，本申请将图像随机裁剪为650*650的尺寸大小，并且进行了随机翻转、随机旋转、仿射变换来增加样本的多样性。训练好的网络模型部署到实际时，本申请将实时图像的短边缩放为700，长宽比保持不变，然后通过中心裁剪，将实时图像统一处理为650*650的尺寸大小。本申请使用了4张Tesla V100 NVlink显卡来对每个模型并行训练200个历时周期每张卡的batchsize为16(有效批次大小为64)。网络使用了Adam优化器初始学习率为0.0001，并且使用了余弦学习率衰减最终的学习率为0.00001。

表2植物疾病数据集的分类结果

不同网络模型在植物病害验证集上的表现如表2所示。本申请使用了6个网络模型对植物病害进行分类，包括了两个普通卷积神经网络分别是Vgg16、ResNet50和四个轻量级卷积神经网络分别是EfficientNet、ShuffleNetV2、MobileNetV3、GhostNet。本申请可以清楚的看到Vgg16有着最低的top-1err有12.8％。但是，它的模型大小和计算量大小远远超过了其它5个模型。因此，本申请从2个普通网络中选择ResNet50作为本申请的骨干网络，从4个模型大小和计算量都相似的轻量级网络中选择准确率最高的GhostNet作为本申请的骨干网络。为了进一步的提升网络的性能，本申请将注意力模块插入到本申请所选的骨干网络当中。

表3网络嵌入不同注意力模块的表现

插入不同注意力模块的网络在植物病害验证集上的结果如表5-3所示。很清楚的看到相比于插入其它注意力模块网络，插入New-CA模块的网络具有最低的top1-err并且注意力模块所带来的内存开销和计算开销都可以忽略不计。除此之外，这再一次验证了本申请所提出的NEW-CA注意力模块能够比CA注意力模块更好的帮助网络提取特征。

卷积神经网络要想能够应用于农业生产实际，卷积神经网络需要能够在处理器性能有限和内存有限的平台上及时执行。因此，本申请对训练好的插入了NEW-CA注意力模块的网络进行模型压缩。本申请对修剪后的网络进行了训练，并且训练所使用的超参数和植物病害分类实验所使用的一致。

表4修剪后的网络在植物疾病验证集上的结果

表4是本申请将训练好的模型进行不同程度的通道剪枝的结果。本申请可以清楚的看到模型压缩可以大大减少模型的大小的计算量并且准确率几乎不会改变甚至有所提高。如压缩后的表现最好的GhostNet网络比压缩前的top-1err低了0.2％并且模型大小和计算量只有原来的一半左右。

通道剪枝算法可以根据设定的裁剪比例来对模型进行压缩，可以有效精简网络。从图12中本申请可以看到，训练好的ResNet50网络使用通道压缩算法后可以将模型大小和模型计算量分别减少到原来的14.8％和7.9％并且带来的精度损失在可以接受的范围内。通道剪枝极大的压缩了模型，使得大的卷积神经网络也能应用于内存和计算量有限的农业平台上去。

本申请主要尝试探索一个可以适应真实环境下多样的背景并且能够部署到内存和计算有限的农业平台上的农作物病害分类模型。本申请在数据预处理阶段，首先通过GrabCut图像分割算法来保证数据集图片和真实图片背景的一致性，从而使得训练好的网络模型部署到实际时具有良好的鲁棒性。接着本申请提出了一个改进自CA模块的NEW-CA注意力模块来提高分类模型的准确率，并通过实验证明了它可以更好的帮助网络提取特征。最后，在保证准确率几乎不变的前提下，本申请通过模型通道剪枝算法使得网络的大小和计算量大大的减少从而可以应用于移动设备和物联网设备上去。研究表明，本申请的所提出的模型能够很好的应用于农业来识别农作物病害类别，解决了人工识别错误率高的问题从而提高了农作物的产量和质量。

以上对本发明所提供的一种基于卷积神经网络的农作物病害识别方法进行了详细介绍。本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的核心思想。应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以对本发明进行若干改进和修饰，这些改进和修饰也落入本发明权利要求的保护范围内。

Claims (8)

1.一种基于卷积神经网络的农作物病害识别方法，其特征在于，所述方法包括以下步骤：

步骤S100：获取训练数据集，对所述训练数据集进行预处理，得到预处理后的数据集；

步骤S200：将所述预处理后的数据集输入至初始的卷积神经网络模型中进行训练，得到训练好的卷积神经网络模型；

步骤S300：使用通道剪枝方法对所述训练好的卷积神经网络模型进行压缩，得到压缩后的卷积神经网络模型；

步骤S400：获取农作物图像，对所述农作物图像进行预处理后输入至所述压缩后的卷积神经网络模型中，得到农作物病害识别结果。

2.根据权利要求1所述的方法，其特征在于，步骤S100包括：采用GrabCut算法将数据集中图像的前景和背景分割，并将图像的背景处理为黑色。

3.根据权利要求2所述的方法，其特征在于，卷积神经网络包括依次连接的第一卷积模块、多个Bottleneck模块、第二卷积模块、平均池化模块、第三卷积模块和全连接层，

所述第一卷积模块用于接收预处理后的图片，并进行3*3的卷积操作提取图片中的特征；

所述多个Bottleneck模块用于提取进行卷积操作后图片的深层次特征；

所述第二卷积模块用于使用1*1的卷积操作来将深层次特征进行第一次融合；

所述平均池化模块用于使用7*7的池化操作缩小第一次融合后的特征的尺寸；

所述第三卷积模块用于使用1*1的卷积操作来将池化后的特征进行第二次融合；

所述全连接层用于根据第二次融合后的特征得到分类结果。

4.根据权利要求3所述的方法，其特征在于，所述Bottleneck模块包括依次连接的第一特征提取模块、New-CA注意力模块、第二特征提取模块和shortcut连接模块，

所述第一特征提取模块用于提取进行卷积操作后图片的特征；

所述New-CA注意力模块用于对所述第一特征提取模块提取到的特征进行学习；

所述第二特征提取模块用于再次提取所述New-CA注意力模块学习后的特征；

所述shortcut连接模块用于将所述第二特征提取模块输出的特征图与所述第一特征提取模块输入的特征图进行shortcut连接，得到深层次特征。

5.根据权利要求4所述的方法，其特征在于，还包括第四卷积模块，所述第四卷积模块设置于所述New-CA注意力模块与所述第二特征提取模块之间，当stride大于1时，所述第四卷积模块用于改变所述New-CA注意力模块学习后的特征图的尺寸；所述第二特征提取模块用于提取改变了尺寸后的特征图中的特征。

6.根据权利要求5所述的方法，其特征在于，所述New-CA注意力模块包括C方向的平均池化模块、H方向的平均池化模块、W方向的平均池化模块、第五卷积模块、拼接卷积模块、第一归一化模块、第二归一化模块、第六卷积模块、第七卷积模块、第八卷积模块、第一sigmoid函数模块、第二sigmoid函数模块、第三sigmoid函数模块和组合模块，所述C方向的平均池化模块、所述H方向的平均池化模块和所述W方向的平均池化模块连接所述第一特征提取模块，所述C方向的平均池化模块、所述第五卷积模块、所述第一归一化模块、所述第六卷积模块和所述第一sigmoid函数模块依次连接，所述H方向的平均池化模块和所述W方向的平均池化模块连接所述拼接卷积模块，所述拼接卷积模块连接所述第二归一化模块，所述第二归一化模块连接所述第七卷积模块和所述第八卷积模块，所述第七卷积模块连接所述第二sigmoid函数模块，所述第八卷积模块连接所述第三sigmoid函数模块，所述第一sigmoid函数模块、所述第二sigmoid函数模块和所述第三sigmoid函数模块均连接所述组合模块。

7.根据权利要求6所述的方法，其特征在于，所述第一特征提取模块和所述第二特征提取模块的结构一样，为Vgg16、ResNet50、EfficientNet、ShuffleNetV2、MobileNetV3和GhostNet模型中的一种。

8.根据权利要求7所述的方法，其特征在于，步骤S300包括：

获取训练好的卷积神经网络模型中所有通道的尺度因子；

将尺度因子小于预设的阈值的所有通道以及与该通道的所有输入和输出连接删除，得到压缩后的卷积神经网络模型。

Images