CN116012721A - 一种基于深度学习的水稻叶片病斑检测方法 - Google Patents

Abstract

本发明公开了一种基于深度学习的水稻叶片病斑检测方法，通过EFFTAN检测模型完成对水稻病斑的检测，EFFTAN检测模型包括：特征提取模块、特征融合模块以及分类和目标框回归模块。本发明基于深度学习单阶段检测原理，提出增强特征融合方法和目标自适应方法，经过多种方法的优化整合，使模型的收敛速度及检测准确率得到明显提高，同时增强了模型的泛化能力。

Description

一种基于深度学习的水稻叶片病斑检测方法

技术领域

本发明涉及深度学习，尤其涉及一种基于深度学习的水稻叶片病斑检测方法。

背景技术

20世纪90年代中期以来，机器学习得到迅速发展并逐步取代传统专家，成为人工智能的主流核心技术，使得人工智能逐步进入机器学习时代。伴随着近年来智能农业的发展，更多的学者和专家开始从事将计算机视觉与病虫害识别结合起来的研究。机器学习发展中一个重要的分支就是深度学习。深度学习是当前人工智能领域机器学习中最热门的方法。近几年深度学习的发展可谓是日新月异，各种卷积神经网络呈现百花齐放，在不同领域发挥着重要引领作用。水稻病虫害的预测与防治一直是农业领域研究的热点。

水稻病斑检测的目的是检测给定图像中是否存在病斑以及确定这些目标对象所属类型。传统上依赖于人类专家进行病虫害诊断的方法价格昂贵、费时且不适合某些实际应用场景。后期随着目标检测方法的发展，目标检测大致可以分为基于传统检测和深度学习方法两类：

传统检测方法。该方法主要分为三个步骤，首先是寻找候选区域，其次提取候选区域相关的视觉特征(如HOG、SIFT)，最后利用分类器进行分类。

深度学习检测方法。深度学习检测方法又可以分为以下两种类型：

双阶段检测方法，该方法包含一个预处理阶段，负责生成候选区域并提取对应的网络特征，然后进行第二阶段的目标分类和位置修正。经典的双阶段检测方法有RCNN、FastRCNN、Faster RCNN等；单阶段检测方法，该方法在双阶段方法上做进一步简化，不需要事先提取候选区域，而是直接输入图片特征，进行目标分类和位置回归，因此被称为RegionProposal Free方法。经典的单阶段检测方法有YOLO系列算法、SSD以及RetinaNet等。

近年来，伴随人工智能化的水稻病害识别方法得到了快速发展，从国内外研究现状来看，Burhan等人在2020年，利用五种不同的深度学习模型在从Kaggle中获取的人工数据集和巴基斯坦Gujranwala稻田图像上的表现进行了比较，最终在人工数据集上ResNet50表现最好，准确率为75%，在真实数据集上，Resnet101V2模型表现最好，准确率为86.799%；Sethy等人在2020年，使用从印度奥里萨邦地区获得的5932张水稻叶片图像，利用11种CNN模型在迁移学习和深度特征加支持向量机(SVM)下进行了4种水稻叶片病斑的分类研究，最终在ResNet50+SVM下得到98.38%的分类准确率；Rahman等人在2020年，提出了两级小型CNN体系结构，并与最先进的内存效率CNN体系结构如MobileNet、NasNetMobile和SqueezeNet进行比较，结果表明，在模型尺寸显著减小的情况下，可达到93.3%的精度；Yibin Wang等人在2021年，针对水稻病害问题，在6种已有的深度学习模型上进行分类比较，并提出基于MobileNet结构和增强注意机制的ADSNN-OB模型，经实验论证其在各种场景下都优于其他深度学习模型，测试准确率达到94.65%；Saleem等人在2022年，提出一种基于突变粒子群优化算法(MUT-PSO)来寻找最优CNN结构，通过对Kaggle中公开的水稻叶病数据集和水稻叶片图像数据集进行分类研究，实验结果显示MUTPSO-CNN为水稻叶片分类找到了最佳的CNN架构，最终在两种数据集上的分类准确率分别为97.35%和93.35%。

目前，深度学习方法在水稻病害检测领域主要存在以下问题：一方面，在现有的水稻病害公开数据集中，研究内容主要集中在病害分类方向，缺少病害的检测识别；另一方面，为了提高检测精度，深度学习模型普遍存在普适性差，模型计算量大、计算速度慢等问题，在保证检测速度的同时，针对实际应用场景的水稻病害检测精度还可以进一步提高。

发明内容

本发明的目的在于，解决现有水稻病害研究中只针对目标分类进行研究，缺少水稻病害目标检测的研究内容，以及模型算法计算量大、计算速度慢等问题，在保证检测速度的基础上提高目标检测的精度以及增强模型的普适性，提出一种基于深度学习的水稻叶片病斑检测方法。

为解决上述问题，本发明的技术解决方案如下：

一种基于深度学习的水稻叶片病斑检测方法，其特征在于主要包括以下步骤：

（1）收集水稻叶片病斑图像样本数据集并进行图像预处理，得到水稻叶片病斑分类图像样本数据集；

（2）实际利用多种不同的卷积神经网络对水稻叶片病斑分类图像样本数据集不同的水稻叶片病斑进行分类识别，不同的病斑为不同病害的图像表现；

（3）针对卷积神经网络的准确率、精确率、特异性、召回率、综合评价指标性能参数进行比较解析，挑选出最合适的卷积神经网络作为水稻叶片病斑图像样本检测模型中的特征提取网络；

（4）筛选水稻叶片病斑分类图像样本，得到用于病害检测的水稻叶片病斑检测图像初始样本数据集；

（5）利用图像标注软件对水稻叶片病斑检测初始样本图像中的水稻病斑进行矩形框标注，得到.xml标注文件；

（6）对水稻叶片病斑检测图像样本数据集进行数据样本增强，增强措施包括：添加随机像素、水平翻转、垂直翻转以及添加随机亮度；

（7）对水稻叶片病斑检测图像样本数据集进行图像自身的深层次处理，转换HSV色彩空间后进行V通道的直方图均衡化处理，最后转换到RGB色彩空间进行显示；

（8）针对增强处理后的水稻叶片病斑检测图像样本进行目标检测，选用初始单阶段目标检测RetinaNet框架模型，增加空间及通道注意力机制、增强特征金字塔结构、过采样处理以及目标自适应方法，得到最终的EFFTAN检测模型；

（9）利用步骤（8）得到的最终的EFFTAN检测模型检测待检测的水稻叶片图像，获得水稻叶片的检测结果。

进一步的，所述水稻病害分类识别中，将水稻叶片病斑分类图像样本数据集分为训练、验证及测试数据集，利用VGG16网络、VGG19网络、ResNet18网络、ResNet50网络、InceptionNetV1网络以及InceptionNetV2网络模型进行训练，根据网络模型的不同设置其最佳的学习率，选择合适的损失函数及优化器；不同网络采用相同量级的学习率初始值，作为优选，初始值设置为e-3量级,并采用StepLR策略进行学习率的调整；网络训练的损失函数采用交叉熵损失函数，损失函数表示为：，其中y代表真实数据标签，代表网络预测标签，总的交叉熵损失函数为每一类的交叉熵损失函数之和；优化器采用Adam优化器，通过计算梯度的一阶矩估计和二阶矩估计而为不同的参数设计独立的自适应学习率；数据处理归一化过程中采用来自ImageNet的模型预训练参数加入到网络的训练中去；分类网络使用Softmax分类器进行目标类别的输出，输出层节点设置为预定检测的水稻病害类别数量。

进一步的，所述对卷积神经网络模型的性能参数比较分析中，将VGG16网络、VGG19网络、ResNet18网络、ResNet50网络、InceptionNetV1网络以及InceptionNetV2网络对水稻叶片病斑检测图像样本的可视化分析结果通过混淆矩阵进行展示，并利用混淆矩阵反映的信息计算得出准确率、精确率、特异性、召回率以及综合评价指标，根据网络模型、性能参数和水稻病害类别画出有关三者的折线统计图，根据折线统计图所反映出的综合评价信息来挑选最优网络，作为优选，选择ResNet50网络作为特征提取网络。

进一步的，所述水稻叶片病斑分类样本中，将水稻叶片分类样本总共分为稻瘟病、白叶枯病、胡麻斑病以及东格鲁病，对所有水稻叶片分类样本进行基于相似性的筛选，挑选出相同、像素质量极低以及图像背景极其复杂的样本并进行摘除，保留下来的样本作为待标注的水稻检测数据样本图像，之后利用Labelimg软件对水稻病斑进行基于矩形框的标注。

进一步的，所述水稻叶片病斑检测图像样本数据集增强的具体方法中，所述添加随机像素，即在原有的图像像素点之间添加新的像素点，使图像的像素点变多，得到亚像素图像，新的像素点并非是从外界获取，而是通过原有图像内部像素点拟合得到；

所述水平翻转和垂直翻转，即将图像按照指定方向增加180°的旋转，实现水平翻转和垂直翻转；

所述添加随机亮度显示，即在给图像的像素点基础之上乘以或加上一个常数，公式如下：

，其中，参数α>0和β称为增益和偏置参数；分别用来控制对比度和亮度，是输入图像的像素值，是输出图像的像素值，更常见的公式如下：

，其中，i和j分别表示像素点位于图像像素阵列的第i行，第j列；图像添加随机亮度显示使得一些局部边缘特征得到更好地显示，增加了图像本身的信息输出。

进一步的，所述水稻叶片病斑检测图像样本深层次图像增强处理的具体措施中：

1）首先对水稻叶片病斑检测图像样本数据集中所有图像数据进行RGB显示通道到HSV显示通道的转换；

2）然后对HSV颜色空间进行通道分离，单独提取V通道；

3）针对V通道进行直方图均衡化处理；

4）最后将转化得到的图像数据样本再转换到RGB色彩空间进行最终展现。

进一步的，所述获得EFFTAN检测模型的具体步骤中：

1）选取检测网络架构，作为优选，选择基于单阶段目标检测框架RetinaNet检测模型架构；

2）针对分类网络的评价结果，选取ResNet50作为主干特征提取网络，并在卷积层之后增加BN层结构，通过激活层以及在最后的全连接层之前两个位置分别增加通道注意力机制和空间注意力机制双层模块，且模块中先后顺序为先增加通道注意力机制后增加空间注意力机制；

3）针对特征金字塔网络中的下采样过程，在特征提取网络层级的初始位置增加提取C2特征层，相对应的在特征金字塔网络增加卷积层P2的输出；

4）运用提出的目标自适应策略，根据水稻病害图像样本的标注文件，提取其中的矩形框标注信息，得到标注框长宽比例统计图和矩形框像素面积统计图，根据统计图中的概率分布规律，从目标框能最大化覆盖数据病害区域的角度出发，实现对检测网络中先验框规格参数的设置，获得EFFTAN检测模型；依据水稻叶片病斑检测图像样本数据集，EFFTAN模型中先验框的长宽比例集中在1倍和2倍之间取值，作为优选，选取先验框规格参数为0.05、0.525和1。

进一步的，所述对标记处理后的水稻叶片病斑检测图像样本数据集以及待检测的水稻叶片图像进行目标病害检测识别，检测结果的好坏由平均检测准确率均值mAP评定，mAP是由检测的各类水稻病害的AP值取平均得到，AP值是精确率和召回率曲线下面积的近似，计算公式即，其中N代表水稻病害的类别数量；上述对水稻病害进行检测识别的模型作为最终得到的EFFTAN检测模型。

进一步的，所述分类网络的评价指标中将混淆矩阵横坐标设置为真实标签值，即各类水稻病害数据样本标注的真实标签，纵坐标为网络预测的目标病斑标签，整体呈现一个n×n的矩阵,n为所述预定检测的水稻病害类别数量；根据混淆矩阵的统计信息，计算得出以下性能参数：准确率、精确率、特异性、召回率、综合评价指标，利用水稻类别、各性能参数以及各模型类别三组参数建立点线可视化统计图，整体以n个独立的点线统计图给出，n代表水稻病害类别数量，统计图横坐标设置为各性能参数，纵坐标为具体性能参数对应的数值，范围从0到1。

进一步的，所述的检测网络架构选择的方法步骤中以水稻叶片病斑检测图像样本数据集为原始数据样本，对双阶段检测模型和单阶段检测模型分别进行检测实验，根据检测精度和时间的综合考虑，选择基于单阶段检测的方法，而后针对水稻病害目标特征之间的形状、像素面积大小及样本间数量差等角度出发进行选择，作为优选，最终选择基于单阶段检测的RetiNaNet模型框架，对选择好的检测模型框架进行损失函数的确定，损失函数选择RetinaNet模型中的Focal Loss函数，并在其基础上增加γ因子，当γ因子大于零时可以减少易分类样本的损失，更关注于困难的、错分的样本；其次加入平衡因子α，用来平衡正负样本的重要性。

本发明提供的基于深度学习的水稻叶片病斑检测方法，首先利用多类型卷积神经网络筛选出分类效果最佳的网络作为检测模型的特征提取网络。针对水稻病害检测，对水稻数据样本进行通道增强等，极大改善了样本质量。提出的EFFTAN检测模型能够从图像数据中学习到更丰富的特征信息，可以针对不同数据集进行目标自适应，并在待检测的水稻叶片图像上进行了实验论证，得到了良好的检测效果，从一定程度上扩大了模型检测不同水稻样本的兼容性与鲁棒性，提高了检测方法的普适性和准确率。

附图说明

图1是本发明的水稻病斑检测方法整体流程图；

图2是本发明中水稻病斑分类识别网络结构图；

图3是本发明VGG16网络对水稻病斑分类结果的可视化混淆矩阵图；

图4是本发明VGG19网络对水稻病斑分类结果的可视化混淆矩阵图；

图5是本发明ResNet18网络对水稻病斑分类结果的可视化混淆矩阵图；

图6是本发明ResNet50网络对水稻病斑分类结果的可视化混淆矩阵图；

图7是本发明InceptionV1网络对水稻病斑分类结果的可视化混淆矩阵图；

图8是本发明InceptionV2网络对水稻病斑分类结果的可视化混淆矩阵图；

图9是本发明白叶枯病水稻病斑分类评估指标图；

图10是本发明稻瘟病水稻病斑分类评估指标图；

图11是本发明胡麻斑病水稻病斑分类评估指标图；

图12是本发明东格鲁病水稻病斑分类评估指标图；

图13是本发明水稻病斑EFFTAN检测模型结构图；

图14是本发明水稻病斑图像深层次处理增强可视化效果图；

图15是本发明水稻病斑标注框长宽比例统计图；

图16是本发明水稻病斑标注框像素面积统计图。

具体实施方式

为使得本发明的目的、技术方案、优点等叙述更加清晰准确，下面结合实施例和附图对本发明做进一步描述。在此特别说明，本发明的示意性实施方式及其说明仅用于解释本发明，但本发明的实施方式并不局限于此：

本发明所提供的基于深度学习的水稻叶片病斑检测方法，构建一种基于单阶段的水稻病斑检测模型，针对Kaggle网站公开的水稻叶片病斑分类图像样本数据集结合农田实际场景拍摄的水稻病斑图像样本数据集进行了相关水稻病害的分类，经过模型不断改良，得到EFFTAN检测模型。

在本实施例中，参照附图1，实现对不同数据集中的水稻病斑进行分类与检测，其具体实施过程如下：首先，收集网络公开水稻叶片病斑图像样本数据集和采集实地农田场景数据集并进行预处理，将预处理的数据进行水稻病斑目标分类，从分类结果中挑选出特征提取网络进行目标检测；然后，针对预处理的数据进行图像数据增强，形成测试数据集用于目标检测。针对目标检测模型进行增加注意力机制、增强特征金字塔结构以及目标自适应方法的改进，最终得到EFFTAN检测模型；最后利用EFFTAN检测模型进行四种水稻病害的检测，检测结果的好坏由平均检测准确率均值mAP评定。mAP是由检测的各类水稻病害的AP值取平均得到，AP值是精确率和召回率曲线下面积的近似，计算公式即，其中N代表水稻病害的类别数量。数据集预处理具体为：利用opencv图像处理将图像尺寸进行剪裁处理，将图像尺寸统一整理成300×300像素大小，对于原始图像不足的地方进行图像像素的填充，多余的部分直接进行剪切，最终得到包含白叶枯病(1554张)、稻瘟病(1440张)、胡麻斑病(1600张)以及东格鲁病(1308张)共5932张的水稻叶片病斑分类图像样本数据集，筛选水稻叶片病斑分类图像样本，将相似性较大、像素质量极低以及图像背景复杂的样本进行摘除，得到用于病害检测的水稻叶片病斑检测图像初始样本数据集，利用图像标注软件Labelimg对水稻叶片病斑初始样本图像中的水稻病斑进行矩形框标注，得到.xml的标注文件，作为水稻病斑检测模型中数据集的标注数据。

在本实施例中，参照附图2，水稻病斑分类识别中参与分类的网络包括VGG16、VGG19、ResNet18、ResNet50、InceptionV1以及InceptionV2，各种不同的网络均包含多个卷积层及池化层的重复组合连接，最后是全连接层和Softmax输出层，输出层节点设置为4，即特征变量个数为4。不同网络采用相同量级的学习率初始值，初始值设置为e-3量级,并采用StepLR策略进行学习率的调整；网络训练的损失函数采用交叉熵损失函数，损失函数表示为：，其中y代表真实数据标签，代表网络预测标签，总的交叉熵损失函数为每一类的交叉熵损失函数之和；优化器采用Adam优化器，通过计算梯度的一阶矩估计和二阶矩估计而为不同的参数设计独立的自适应学习率；数据处理归一化过程中采用来自ImageNet的模型预训练参数加入到网络的训练中去；分类网络使用Softmax分类器进行目标类别的输出，输出层节点设置为预定检测的水稻病害类别数量水稻病害分类类别包括：稻瘟病、白叶枯病、胡麻斑病以及东格鲁病，利用目标分类结果的准确率、精确率、特异性、召回率以及综合评价指标对上述分类网络模型进行挑选，选择最优的ResNet50网络作为检测模型的特征提取网络。

在本实施例中，参照附图3至附图12所示，分类结果参考的性能指标包含准确率(Accuracy)、精确率(Precision)、特异性(Specificity)、召回率(Recall)、综合评价指标(F1Score)；如图3至图8所示，给出了VGG16等六个分类网络模型针对四种水稻病害分类正确与否的可视化混淆矩阵结果图，根据横坐标的真实标签和纵坐标的预测标签，可直观看出该种类别水稻病害分类的正确与否，从样本数量上给出了形象直观的判断，通过混淆矩阵可以引申计算得出所述的几种性能参数的大小，准确率、精确率、特异性、召回率、综合评价指标；如图9至图12所示，为利用水稻类别、各性能参数以及各模型类别三组参数建立的点线可视化统计图，整体以4个独立的点线统计图给出，4代表水稻病害类别数量，统计图横坐标设置为各性能参数，纵坐标为具体性能参数对应的数值，范围从0到1，统计图中不同形状对应的点线分别对应不同的分类网络模型，最终从性能分布的可视化结果中选取最优的ResNet50网络，作为最终EFFTAN检测网络模型中所需的特征提取网络。

本实施例中，参照附图13，EFFTAN检测识别网络包括了特征提取模块、特征融合模块以及分类和目标框回归模块三部分；所述的EFFTAN检测模型基于RetinaNet检测模型，以ResNet50网络和特征金字塔作为主干结构，并在卷积层之后增加BN层结构，通过激活层以及在最后的全连接层之前两个位置分别增加通道注意力机制和空间注意力机制双层模块，且模块中先后顺序为先增加通道注意力机制后增加空间注意力机制，针对特征金字塔网络中的下采样过程，在特征提取网络层级的初始位置增加提取C2特征层，相对应的在特征金字塔网络增加卷积层P2的输出，运用提出的目标自适应策略，根据水稻病害图像样本的标注文件，提取其中的矩形框标注信息，得到标注框长宽比例统计图和矩形框像素面积统计图，根据统计图中的概率分布规律，从目标框能最大化覆盖数据病害区域的角度出发，实现对检测网络中先验框规格参数的设置，获得EFFTAN检测模型；依据水稻叶片病斑检测图像样本数据集，EFFTAN模型中先验框的长宽比例集中在1倍和2倍之间取值。其中，EFFTAN检测模型使用Focal Loss损失函数，在原有损失函数的基础上增加γ因子，当γ>0时可以减少易分类样本的损失，更关注于困难的、错分的样本；其次是加入平衡因子α，用来平衡正负样本的重要性，公式,一定程度上解决了单阶段目标检测模型中正负样本极度不均衡问题。

本实施例中，基于测试数据集的图像处理增强包括：过采样处理，使样本之间的量差控制在3:1左右，同时为了训练出来的模型具有高泛化性、高鲁棒性特点，然后对数据图像样本进行添加随机像素、水平翻转、垂直翻转以及添加随机亮度操作，使得增强处理后的样本数量为初期样本数量的5倍；所述的添加随机像素指的是在原有的图像像素点之间添加新的像素点，使得图像的像素点变多，得到的图像就被称为亚像素图像。新的像素点并非是外界获取，而是通过原有图像内部像素点拟合进行得到，目的是增加图像的分辨率，在一定程度上提高精度；所述的水平翻转和垂直翻转即将图像按照指定方向增加180°的翻转；所述的添加随机亮度显示。通常针对图像的像素点的处理方法包括乘以或加上一个常数：

，其中，参数α>0和β称为增益和偏置参数；分别用来控制对比度和亮度，是输入图像的像素值，是输出图像的像素值，更常见的公式如下：

，其中，i和j分别表示像素点位于图像像素阵列的第i行，第j列；图像添加随机亮度显示可以使一些局部边缘等特征得到更好地显示，增加图像本身的信息输出；

本实施例中，如图14所示，鉴于水稻叶片病斑检测图像样本是从原始拍摄图像中提取局部病斑位置得到，图像分辨率较低，病斑区域边缘信息虚化、个类目标特征信息显示不完全等，使得神经网络在学习过程中提取得到的边缘信息较弱、细节特征不明显。因此，在保证原图像的颜色信息及其他特征不失真的基础上，对图像进行一系列深层次处理。首先，将图像从RGB色彩空间转换到HSV色彩空间，然后对HSV色彩空间进行通道分离，单独提取V通道进行自适应直方图均衡化处理，最后再将处理后的水稻图像从HSV色彩空间转换到RGB色彩空间进行显示。增强处理后的水稻图像在视觉显示效果上得到明显改善，图像的清晰度提高，锐化了病斑区域的边缘特征，使神经网络初期可以学习到更多的图像边缘细节特征。

本实施例中，参考附图15和附图16，分别为图像标注软件对水稻叶片病斑检测图像样本中病斑标注的目标框的长宽比例统计图和像素面积统计图，根据统计图分布结果可以观察到，长宽比例集中分布在1和2之间，像素面积集中在10000像素之内，即占原水稻图像的1/9左右。

本实施例中，水稻病斑检测模型的改进从初始RetinaNet框架模型开始，而后增加注意力机制、数据过采样处理以及目标自适应等策略，检测的平均精度以mAP指标给出，表1列出了改进过程中不同模型对应的检测结果，最终EFFTAN检测模型的mAP值为95.32%。

表1，采用本发明方法的水稻病斑检测结果统计表：

在表1中，模型一列给出了实验过程中改进的不同模型名称。整体模型改进的实验流程包含：

从RetinaNet整体检测模型架构出发，依据图2所示的卷积神经网络目标分类过程，最后选取ResNet50作为检测模型的特征提取网络，对如图14所示数据增强后的水稻病害检测数据集进行检测识别，平均检测准确率为87.96%。

针对ResNet50特征提取网络，在其网络的初始和结束位置增加通道和空间注意力机制，也即RetinaNet+Attention模型，实验结果显示，增加注意力机制后个别病害的识别率有所提高，说明注意力机制的加入提高了网络的性能。

经过对数据样本的分析，发现不同目标特征数量之间差异较大，对于模型学习的侧重有所偏移，因此针对检测数据样本进行过采样处理，得到整体改进之后的RetinaNet+Attention+Oversampling模型，通过实验结果证明，平衡数据样本之间的差异之后，检测的平均正确率有所提升。

针对子网络的分类和回归模块增加目标自适应方法，形成RetinaNet+Attention+Oversampling+Anchor Adapt模型，网络可以针对数据样本的本质目标特征进行针对性的学习，检测结果较上一模型改进有所改善，平均检测准确率增加2.64%。

最后，从数据样本的特征出发，增加特征提取网络层级，组成如图13所示的EFFTAN检测模型，目的是增加特征之间的融合，更好的对多尺度特征作出检测，检测结果对比同类型数据样本检测有较大提升，一定程度上证明了本发明研究算法的有效性。

以上所述，仅为本发明的进一步的实施例，但本发明的保护范围并不局限于此，任何同属或熟悉本技术领域的技术人员在本发明公开的技术范围内，按照本发明的技术流程和方法步骤加以构思上的等同替换或局部修改，其所产生的功能和作用仍未超出说明书及附图所涵盖的信息时，均属于本发明的保护范围。

Claims (10)

1.一种基于深度学习的水稻叶片病斑检测方法，其特征在于，包括如下步骤：

（1）收集水稻叶片病斑图像样本数据集并进行图像预处理，得到水稻叶片病斑分类图像样本数据集；

（2）实际利用多种不同的卷积神经网络对水稻叶片病斑分类图像样本数据集不同的水稻叶片病斑进行分类识别，不同的病斑为不同病害的图像表现；

（3）针对卷积神经网络的准确率、精确率、特异性、召回率、综合评价指标性能参数进行比较解析，挑选出最合适的卷积神经网络作为水稻叶片病斑图像样本检测模型中的特征提取网络；

（4）筛选水稻叶片病斑分类图像样本，得到用于病害检测的水稻叶片病斑检测图像初始样本数据集；

（5）利用图像标注软件对水稻叶片病斑检测初始样本图像中的水稻病斑进行矩形框标注，得到.xml标注文件；

（6）对水稻叶片病斑检测图像样本数据集进行数据样本增强，增强措施包括：添加随机像素、水平翻转、垂直翻转以及添加随机亮度；

（7）对水稻叶片病斑检测图像样本数据集进行图像自身的深层次处理，转换HSV色彩空间后进行V通道的直方图均衡化处理，最后转换到RGB色彩空间进行显示；

（8）针对增强处理后的水稻叶片病斑检测图像样本进行目标检测，选用初始单阶段目标检测RetinaNet框架模型，增加空间及通道注意力机制、增强特征金字塔结构、过采样处理以及目标自适应方法，得到最终的EFFTAN检测模型；

（9）利用步骤（8）得到的最终的EFFTAN检测模型检测待检测的水稻叶片图像，获得水稻叶片的检测结果。

2.根据权利要求1所述的一种基于深度学习的水稻叶片病斑检测方法，其特征在于，所述步骤（2）水稻病害分类识别中：

将水稻叶片病斑分类图像样本数据集分为训练、验证及测试数据集，利用VGG16网络、VGG19网络、ResNet18网络、ResNet50网络、InceptionNetV1网络以及InceptionNetV2网络模型进行训练，根据网络模型的不同设置其最佳的学习率，选择合适的损失函数及优化器；不同网络采用相同量级的学习率初始值，并采用StepLR策略进行学习率的调整；网络训练的损失函数采用交叉熵损失函数，损失函数表示为：，其中y代表真实数据标签，代表网络预测标签，总的交叉熵损失函数为每一类的交叉熵损失函数之和；优化器采用Adam优化器，通过计算梯度的一阶矩估计和二阶矩估计而为不同的参数设计独立的自适应学习率；数据处理归一化过程中采用来自ImageNet的模型预训练参数加入到网络的训练中去；分类网络使用Softmax分类器进行目标类别的输出，输出层节点设置为预定检测的水稻病害类别数量。

3.根据权利要求1所述的一种基于深度学习的水稻叶片病斑检测方法，其特征在于，所述步骤（3）中，对卷积神经网络模型的性能参数比较分析中：

将VGG16网络、VGG19网络、ResNet18网络、ResNet50网络、InceptionNetV1网络以及InceptionNetV2网络对水稻叶片病斑检测图像样本的可视化分析结果通过混淆矩阵进行展示，并利用混淆矩阵反映的信息计算得出准确率、精确率、特异性、召回率以及综合评价指标，根据网络模型、性能参数和水稻病害类别画出有关三者的折线统计图，根据折线统计图所反映出的综合评价信息来挑选最优的特征提取网络。

4.根据权利要求1所述的一种基于深度学习的水稻叶片病斑检测方法，其特征在于，所述步骤（4）的水稻叶片病斑分类样本中：

水稻叶片分类样本总共分为稻瘟病、白叶枯病、胡麻斑病以及东格鲁病，对所有水稻叶片分类样本进行基于相似性的筛选，挑选出相同、像素质量极低以及图像背景极其复杂的样本并进行摘除，保留下来的样本作为待标注的水稻检测数据样本图像，之后利用Labelimg软件对水稻病斑进行基于矩形框的标注。

5.根据权利要求1所述的一种基于深度学习的水稻叶片病斑检测方法，其特征在于，所述步骤（6）水稻叶片病斑检测图像样本数据集增强的具体方法中：

所述添加随机像素，即在原有的图像像素点之间添加新的像素点，使图像的像素点变多，得到亚像素图像，新的像素点并非是从外界获取，而是通过原有图像内部像素点拟合得到；

所述水平翻转和垂直翻转，即将图像按照指定方向增加180°的旋转，实现水平翻转和垂直翻转；

所述添加随机亮度显示，即在给图像的像素点基础之上乘以或加上一个常数，公式如下：

，其中，参数α>0和β称为增益和偏置参数；分别用来控制对比度和亮度，是输入图像的像素值，是输出图像的像素值，更常见的公式如下：

，其中，i和j分别表示像素点位于图像像素阵列的第i行，第j列；图像添加随机亮度显示使得一些局部边缘特征得到更好地显示，增加了图像本身的信息输出。

6.根据权利要求1所述的一种基于深度学习的水稻叶片病斑检测方法，其特征在于，所述步骤（7）水稻叶片病斑检测图像样本深层次图像增强处理的具体步骤如下：

1）首先对水稻叶片病斑检测图像样本数据集中所有图像数据进行RGB显示通道到HSV显示通道的转换；

2）然后对HSV颜色空间进行通道分离，单独提取V通道；

3）针对V通道进行直方图均衡化处理；

4）最后将转化得到的图像数据样本再转换到RGB色彩空间进行最终展现。

7.根据权利要求1所述的一种基于深度学习的水稻叶片病斑检测方法，其特征在于，所述步骤（8）获得EFFTAN检测模型的具体步骤如下：

1）选取检测网络架构，选择基于单阶段目标检测框架RetinaNet检测模型架构；

2）针对分类网络的评价结果，选取ResNet50作为主干特征提取网络，并在卷积层之后增加BN层结构，通过激活层以及在最后的全连接层之前两个位置分别增加通道注意力机制和空间注意力机制双层模块，且模块中先后顺序为先增加通道注意力机制后增加空间注意力机制；

3）针对特征金字塔网络中的下采样过程，在特征提取网络层级的初始位置增加提取C2特征层，相对应的在特征金字塔网络增加卷积层P2的输出；

4）运用提出的目标自适应策略，根据水稻病害图像样本的标注文件，提取其中的矩形框标注信息，得到标注框长宽比例统计图和矩形框像素面积统计图，根据统计图中的概率分布规律，从目标框能最大化覆盖数据病害区域的角度出发，实现对检测网络中先验框规格参数的设置，获得EFFTAN检测模型；依据水稻叶片病斑检测图像样本数据集，EFFTAN模型中先验框的长宽比例集中在1倍和2倍之间取值。

8.根据权利要求1所述的一种基于深度学习的水稻叶片病斑检测方法，其特征在于，利用所述步骤(8)对步骤(5)处理后的水稻叶片病斑检测图像样本数据集以及待检测的水稻叶片图像进行目标病害检测识别，检测结果的好坏由平均检测准确率均值mAP评定，mAP是由检测的各类水稻病害的AP值取平均得到，AP值是精确率和召回率曲线下面积的近似，计算公式即，其中N代表水稻病害的类别数量；上述对水稻病害进行检测识别的模型作为最终得到的EFFTAN检测模型。

9.根据权利要求3所述的一种基于深度学习的水稻叶片病斑检测方法，其特征在于，分类网络评价指标具体如下：

混淆矩阵横坐标设置为真实标签值，即各类水稻病害数据样本标注的真实标签，纵坐标为网络预测的目标病斑标签，整体呈现一个n×n的矩阵,n为所述预定检测的水稻病害类别数量，根据混淆矩阵的统计信息，计算得出以下性能参数：准确率、精确率、特异性、召回率、综合评价指标，利用水稻类别、各性能参数以及各模型类别三组参数建立点线可视化统计图，整体以n个独立的点线统计图给出，n代表水稻病害类别数量，统计图横坐标设置为各性能参数，纵坐标为具体性能参数对应的数值，范围从0到1。

10.根据权利要求7所述的一种基于深度学习的水稻叶片病斑检测方法，其特征在于，所述步骤（1）中检测网络架构选择步骤如下：

以水稻叶片病斑检测图像样本数据集为原始数据样本，对双阶段检测模型和单阶段检测模型分别进行检测实验，根据检测精度和时间的综合考虑，选择基于单阶段检测的方法，而后针对水稻病害目标特征之间的形状、像素面积大小及样本间数量差等角度出发进行选择；

对选择好的检测模型框架进行损失函数的确定，损失函数选择RetinaNet模型中的Focal Loss函数，并在其基础上增加γ因子，当γ因子大于零时可以减少易分类样本的损失，更关注于困难的、错分的样本；其次加入平衡因子α，用来平衡正负样本的重要性。

Images