CN115249329A - 一种基于深度学习的苹果叶片病害检测方法 - Google Patents
一种基于深度学习的苹果叶片病害检测方法 Download PDFInfo
- Publication number
- CN115249329A CN115249329A CN202210835044.0A CN202210835044A CN115249329A CN 115249329 A CN115249329 A CN 115249329A CN 202210835044 A CN202210835044 A CN 202210835044A CN 115249329 A CN115249329 A CN 115249329A
- Authority
- CN
- China
- Prior art keywords
- apple leaf
- channel
- network
- deep learning
- method based
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/188—Vegetation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
- G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Computing Systems (AREA)
- Artificial Intelligence (AREA)
- Medical Informatics (AREA)
- Databases & Information Systems (AREA)
- Life Sciences & Earth Sciences (AREA)
- Probability & Statistics with Applications (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Molecular Biology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Analysis (AREA)
Abstract
本发明公开了一种基于深度学习的苹果叶片病害识别方法。首先采集苹果叶片病害图像构建数据集,并通过Mosaic数据增强方法对图像预处理,同时使用K‑means算法重新聚类锚框,然后将训练集图像送入主干网络提取特征,并引入注意力机制提高重要特征权重。接着在PANet网络中新增一个小目标检测层,最后将四种尺度特征图送入Head层对病害种类及位置进行预测。本发明针对复杂背景下小目标苹果叶片病害识别准确率不高的问题,提供了一种基于深度学习的苹果叶片病害识别方法,检测精度达到98.7%,在保证实时性检测的前提下,提高了病害图像识别准确率。
Description
技术领域
本发明涉及苹果叶片病害识别方法领域,具体涉及一种基于深度学习的苹果叶片病害检测方法。
背景技术
苹果是我国重要的经济水果之一,其产业规模逐年扩大,为我国经济带来了巨大的收益。而苹果病害是影响苹果品质和产量的重要因素之一。这些病害常常发生于果实、枝干和叶面,其中叶面区域发病率较高且特点明显,是鉴定苹果病害种类的重要方法之一。因此能否及时准确地检测出这些病害,为后续病害的监测与防治奠定基础,也成为一项具有重要现实意义的研究。
传统的病害识别方法,主要通过专家和农民对病害进行主观诊断,但这种方法速度慢、误判率高、实时性差,已逐渐不能满足快速精准识别病害的要求。因此需要更加高效准确的检测手段对苹果病害进行诊断。随着卷积神经网络的发展,基于深度学习的植物病害检测得到了广泛应用,实现了对病害图像的自动检测,逐渐替代传统方法。YOLO单阶段目标检测算法在保证精度的同时,可以实时性地检测苹果叶病害。但对于复杂自然环境下苹果叶部病害面积小以及类间差异小导致检测精度不高的问题仍未解决,
发明内容
本发明的目的在于提供一种基于深度学习的苹果叶片病害检测方法,以解决上述背景技术中存在的问题。
为了实现以上发明目的,本发明采取的技术方案如下:
一种基于深度学习的苹果叶片病害识别方法,包括以下步骤:
步骤一:采集苹果叶片病害图像,建立病害数据集。利用Mosaic方法对输入图像进行数据增强,并使用K-means算法对锚框重新聚类。
步骤二:将经过预处理的苹果叶片病害图像送入主干网络进行细粒度特征提取,并在主干网络最后一层引入ECA注意力模块。
步骤三:在PANet网络中新增一个小尺度检测层,对主干网络提取的多尺度特征图进行融合。
步骤四:将PANet网络中融合的四种尺度特征图送入Head端进行预测,并将损失函数改进为CIOU,使得回归框的精度更加准确,最后输出病害的位置和类别。
步骤五:训练结束后得到模型的预训练权重,利用预训练权重对测试集进行验证,检验模型实际效果。
进一步地,步骤一所述的Mosaic数据增广方法具体操作为:每次读取四张图片,分别对四张图片进行翻转、缩放、色域变化等,并且按照四个方向位置摆好,进行图片的组合和框的组合。
进一步地,步骤一所述的K-means算法聚类具体运算流程为:
首先读取病害数据集全部的标注框,并随机选取12个样本作为数据集初始聚类的中心点。然后计算所有标注框与12个聚类中心的欧式距离:式中,y是样本数,mi是第i个聚类中心,n是样本对象维度,yi,mij是y和mi的第j个属性值,接着分配其余样本到距离最近的聚类中心,对分类后的样本重新计算新的聚类中心,并继续进行样本的分类,直到聚类中心点的值不再发生改变。经过重新计算得到十二个锚框,分配给160×160、80×80、40×40、20×20四个预测尺度,每个尺度分配三个锚框。
进一步地,步骤二所述的注意力机制具体操作过程为:
首先将输入的特征逐通道经过全局平均池化(Global Average Pooling)获得聚合特征[1,1,C],再通过卷积核大小为k的一维卷积来生成通道权重,其中k通过通道维度C的映射自适应地确定。然后经过Sigmoid函数得到了C个通道的权重[1,1,C],最后将得到的权重逐通道地乘以输入的特征Z[H,W,C],获得通道注意力特征图。当权重大时,该通道特征图的数值相应的增大,对最终输出的影响也会变大,这样就了实现对各通道注意力的调整。ECA注意力模块通过考虑每个通道及其k个近邻来捕获局部跨通道信息交互,提高网络对小目标病斑的注意力。
进一步地,步骤三所述的小目标检测层具体操作为:
为了让网络获得更多的小目标信息,需要融合大尺度的浅层特征图,所以将PANet层中80×80大小的特征图上采样放大到160×160大小,并与主干网络中的160×160特征图堆叠进行融合,然后将融合后的特征图进行输出预测。这样将原YOLOv5网络三种尺度的输出扩展到四种尺度的输出,在160×160、80×80、40×40、20×20这四种尺度上进行预测,对这四种尺度特征图进行融合处理,可以在保留深层特征图语义信息的同时获得更多浅层特征图的位置信息,能够更好地适用于小尺寸苹果叶片病害的检测与识别。
进一步地,步骤四所述的CIOU损失函数具体为:
CIOU损失函数计算公式为:式中,IOU为交并比,b,bgt分别为预测框和真实框的中心点,ρ为两个中心点的欧式距离,c为包含A和B最小外接方框的对角线距离,α为权重系数,υ用来度量纵横比的一致性。由于CIOU综合考虑了相交面积,中心点距离和纵横比三大因素,预测框更加符合真实框,因此提高了回归的精度。
进一步地,所述步骤五中,网络训练的硬件环境:Intel(R)Core(TM)i9-10900FCPU,2.80GHZ主频,16GB内存,GeForce RTX 2080S显卡,GPU加速库为CUDA10.2、CUDANN7.6;网络训练的软件环境:操作系统使用Win10,基于Pytorch1.9.0完成YOLOv5模型的搭建;网络训练的参数:Batch_Size设置为16,学习率为0.001,权重衰减系数为0.0005,动量因子为0.937,模型迭代次数设置为200次。当模型损失函数与平均精度均值趋于稳定时,得到最终的训练权重YOLOV5s.pt,并用训练权重检验测试集。
与现有技术相比,本发明的有益效果为:本发明通过改进YOLOV5算法,解决了苹果叶片病害图像中存在背景干扰和病害尺寸小的问题,进一步提高了病害的识别准确率并降低了背景噪声的干扰,能够准确快速地对复杂背景下的苹果叶片病害进行识别。本发明与不同目标检测算法相比检测精度有明显提高,同时模型轻量化,可部署于移动端设备,该识别方法可为苹果病害的早期防治提供指导。
附图说明
图1为本发明的部分数据集。
图2为本发明的苹果叶片病害识别模型框架图。
图3为本发明的方法流程图。
图4为本发明的注意力机制流程图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行具体的描述。
本实施方式所述的一种基于深度学习的苹果叶片病害检测方法包括以下步骤:
请参阅图1,本发明提供的一种实施例:
苹果叶病害数据集分别采集于西北农林科技大学白水苹果试验站、庆城苹果试验站和洛川苹果试验站,来源于西北农林科技大学的开源数据集。数据集图像使用安卓手机进行采集,主要在晴天光照充足的条件下获取,部分图像在阴雨天获取,不同的采集环境提高了数据集的多样性,本研究将斑点落叶病、灰斑病、锈病三种苹果叶病害作为研究对象,共有图片2141幅,其中斑点落叶病695幅,灰斑病692幅,锈病754幅。利用LabelImg工具对三类苹果叶病害进行标注,将斑点落叶病、灰斑病和锈病分别标注为Boltch、Grey、Rust,最后输出包含病害标注信息的xml文件,形成coco格式的数据集。
请参阅图2-4,本发明提供的一种实施例:一种基于深度学习的苹果叶片病害检测方法,其特征在于,包括以下步骤:
步骤一:将苹果叶片病害数据集按8:1:1的比例划分为训练集、验证集和测试集。同时利用Mosaic方法对输入图像进行数据增强,并使用K-means算法将锚框重新聚类。
步骤二:将经过预处理的苹果叶片图像送入主干网络进行细粒度特征提取,并在主干网络最后一层引入ECA注意力模块,用于区分不同通道的重要程度。
步骤三:在PANet网络中新增一个小尺度检测层,并对主干网络提取的多尺度特征图进行融合,这样对于尺寸较小的苹果叶片病害检测与定位效果较好。
步骤四:将PANet网络中融合获得的四种尺度特征图送入Head端进行预测,并将损失函数改进为CIOU,使得回归框的精度更加准确,最后输出病害的位置和类别。
步骤五:训练结束后得到模型的预训练权重,利用预训练权重对测试集进行验证,检验模型实际效果。
进一步地,步骤一所述的Mosaic数据增广方法具体操作为:每次读取四张图片,分别对四张图片进行翻转、缩放、色域变化等,并且按照四个方向位置摆好,进行图片的组合和框的组合,这样有助于提高小目标的检测效果。
进一步地,步骤一所述的K-means算法聚类具体运算流程为:
首先读取病害数据集全部的标注框,并随机选取12个样本作为数据集初始聚类的中心点。然后计算所有标注框与12个聚类中心的欧式距离:式中,y是样本数,mi是第i个聚类中心,n是样本对象维度,yi,mij是y和mi的第j个属性值。接着分配其余样本到距离最近的聚类中心,对分类后的样本重新计算新的聚类中心,并继续进行样本的分类,直到聚类中心点的值不再发生改变。经过重新计算得到十二个锚框,分配给160×160、80×80、40×40、20×20四个预测尺度,每个尺度分配三个锚框,使得生成的锚框适合苹果叶片病害的大小,最终生成的十二个锚框分别为(54,72),(55,41),(21,31),(83,63),(36,56),(30,21),(93,96),(34,35),(14,18),(62,45),(86,64),(67,59)。
进一步地,步骤二所述的注意力机制具体操作过程为:
首先将输入的特征逐通道经过全局平均池化(Global Average Pooling)获得聚合特征[1,1,C],再通过卷积核大小为k的一维卷积来生成通道权重,其中k通过通道维度C的映射自适应地确定。然后经过Sigmoid函数得到了C个通道的权重[1,1,C],最后将得到的权重逐通道地乘以输入的特征Z[H,W,C],获得通道注意力特征图。当权重大时,该通道特征图的数值相应的增大,对最终输出的影响也会变大,这样就了实现对各通道注意力的调整。ECA注意力模块通过考虑每个通道及其k个近邻来捕获局部跨通道信息交互,提高网络对小目标病斑的注意力。
进一步地,步骤三所述的小目标检测层具体操作为:
为了让网络能获得更多的小目标信息,需要融合大尺度的浅层特征图,将head层中80×80大小的特征图上采样放大到160×160尺度,与特征提取网络下采样中的160×160特征图堆叠进行特征融合,然后将融合后的特征图进行输出预测。这样将原YOLOv5网络三种尺度的输出扩展到四种尺度的输出,在160×160、80×80、40×40、20×20这四种尺度上进行输出预测,对这四种尺度特征图进行融合处理,可以在保留深层特征图语义信息的同时获得更多浅层特征图的位置信息,能够更好地适用于小目标病害的检测与识别。
进一步地,步骤四所述的CIOU损失函数具体为:
CIOU损失函数计算公式为:式中,IOU为交并比,b,bgt分别为预测框和真实框的中心点,ρ为两个中心点的欧式距离,c为包含A和B最小外接方框的对角线距离,α为权重系数,υ用来度量纵横比的一致性。由于CIOU综合考虑了相交面积,中心点距离和纵横比三大因素,预测框更加符合真实框,因此提高了回归的精度。
进一步地,所述步骤五中,网络训练的硬件环境:Intel(R)Core(TM)i9-10900FCPU,2.80GHZ主频,16GB内存,GeForce RTX 2080S显卡,GPU加速库为CUDA10.2、CUDANN7.6;网络训练的软件环境:操作系统使用Win10,基于Pytorch1.9.0完成YOLOv5模型的搭建;网络训练的参数:Batch_Size设置为16,学习率为0.001,权重衰减系数为0.0005,动量因子为0.937,模型迭代次数设置为200次。当模型损失函数与平均精度均值趋于稳定时,得到最终的训练权重YOLOV5s.pt,并用训练权重检验测试集。
进一步地,步骤五中,为了检验模型的实际效果,本发明选取平均精度均值(meanaverage precision,mAP),权重文件大小和单张图像测试时间作为对比实验的评价指标。具体计算公式为,其中,N为检测类别个数,AP为P-R曲线所围面积。
为了验证本发明提出的改进YOLOv5模型对苹果叶片病害识别性能的优越性,选取了不同目标检测模型进行比较,其中包括SSD、YOLOv3、YOLOv4和YOLOX。试验时所有待比较的模型使用相同的训练集、验证集以及测试集并且实验参数保持一致。不同模型的对比效果如表1所示:
表1不同目标检测算法性能对比
从表1的结果可以看出,本发明的平均精度均值均高于其他对比算法,并且权重文件较小方便部署移动端,同时实时性也较好。在苹果叶病害检测任务中对精度和速度的要求较高,综合比较平均精度、权重文件大小和测试时间,本发明算法具有更好的检测性能。
以上所述仅为本发明的实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等同变换,或直接或间接运用在相关的技术领域,均同理包括在本发明的专利保护范围内。
Claims (7)
1.一种基于深度学习的苹果叶片病害检测方法,其特征在于,包括以下步骤:
步骤一:采集苹果叶片病害图像,建立病害数据集,利用Mosaic方法对输入图像进行数据增强,并使用K-means算法对锚框重新聚类;
步骤二:将经过预处理的苹果叶片病害图像送入主干网络进行细粒度特征提取,并在主干网络最后一层引入ECA注意力模块;
步骤三:在PANet网络中新增一个小尺度检测层,并对主干网络提取的多尺度特征图进行融合;
步骤四:将PANet网络中融合的四种尺度特征图送入Head端进行预测,并将损失函数改进为CIOU,使得回归框的精度更加准确,最后输出病害的位置和类别;
步骤五:训练结束后得到模型的预训练权重,利用预训练权重对测试集进行验证,检验模型实际效果。
2.根据权利要求1所述的一种基于深度学习的苹果叶片病害检测方法,其特征在于,步骤一所述的Mosaic方法具体为:Mosaic数据增广方法每次读取四张图片,分别对四张图片进行翻转、缩放、色域变化,并且按照四个方向位置摆好,进行图片的组合和框的组合。
4.根据权利要求1所述的一种基于深度学习的苹果叶片病害检测方法,其特征在于,步骤二所述的注意力机制具体操作过程为:
7.根据权利要求1所述的一种基于深度学习的苹果叶片病害检测方法,其特征在于,所述步骤五中,网络训练的参数:Batch_Size设置为16,学习率为0.001,权重衰减系数为0.0005,动量因子为0.937,模型迭代次数设置为200次,
当模型损失函数与平均精度均值趋于稳定时,得到最终的训练权重YOLOV5s.pt,并用训练权重检验测试集。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210835044.0A CN115249329A (zh) | 2022-07-16 | 2022-07-16 | 一种基于深度学习的苹果叶片病害检测方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202210835044.0A CN115249329A (zh) | 2022-07-16 | 2022-07-16 | 一种基于深度学习的苹果叶片病害检测方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN115249329A true CN115249329A (zh) | 2022-10-28 |
Family
ID=83699887
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202210835044.0A Pending CN115249329A (zh) | 2022-07-16 | 2022-07-16 | 一种基于深度学习的苹果叶片病害检测方法 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN115249329A (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116883364A (zh) * | 2023-07-17 | 2023-10-13 | 安徽大学 | 一种基于CNN和Transformer的苹果叶片病害识别方法 |
-
2022
- 2022-07-16 CN CN202210835044.0A patent/CN115249329A/zh active Pending
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116883364A (zh) * | 2023-07-17 | 2023-10-13 | 安徽大学 | 一种基于CNN和Transformer的苹果叶片病害识别方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113705478B (zh) | 一种基于改进YOLOv5的红树林单木目标检测方法 | |
CN109086799A (zh) | 一种基于改进卷积神经网络模型AlexNet的作物叶片病害识别方法 | |
CN109523520A (zh) | 一种基于深度学习的染色体自动计数方法 | |
CN110222780B (zh) | 物体检测方法、装置、设备和存储介质 | |
CN108681746A (zh) | 一种图像识别方法、装置、电子设备和计算机可读介质 | |
CN109086679A (zh) | 一种毫米波雷达安检仪异物检测方法 | |
CN109858547A (zh) | 一种基于bssd的目标检测方法与装置 | |
CN111079640A (zh) | 一种基于自动扩增样本的车型识别方法及系统 | |
CN111639697B (zh) | 基于非重复采样与原型网络的高光谱图像分类方法 | |
CN117152484B (zh) | 基于改进的YOLOv5s的小目标布匹瑕疵检测方法 | |
CN108805061A (zh) | 基于局部自适应判别分析的高光谱图像分类方法 | |
CN110503140A (zh) | 基于深度迁移学习与邻域降噪的分类方法 | |
CN111539910B (zh) | 锈蚀区域检测方法及终端设备 | |
Zhao et al. | Deep‐learning‐based automatic evaluation of rice seed germination rate | |
CN115249329A (zh) | 一种基于深度学习的苹果叶片病害检测方法 | |
CN116416884A (zh) | 一种显示器模组的测试装置及其测试方法 | |
Li et al. | An automatic plant leaf stoma detection method based on YOLOv5 | |
CN110059573A (zh) | 基于图像识别的野山参分级检定方法 | |
CN113496260A (zh) | 基于改进YOLOv3算法的粮库人员不规范作业检测法 | |
CN117523394A (zh) | 一种基于聚合特征增强网络的sar船舰检测方法 | |
CN112149518A (zh) | 基于began和yolov3模型的松果检测方法 | |
CN112132137A (zh) | 一种基于FCN-SPP-Focal Net的抽象画图像正确方向的识别方法 | |
CN116563205A (zh) | 基于小目标检测和改进YOLOv5的麦穗计数检测方法 | |
CN115240188A (zh) | 一种基于深度学习的橙子采摘机器人目标实时检测方法 | |
CN115424000A (zh) | 一种指针式仪表识别方法、系统、设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |