CN117456358A - 一种基于YOLOv5神经网络的植物病虫害检测方法 - Google Patents
一种基于YOLOv5神经网络的植物病虫害检测方法 Download PDFInfo
- Publication number
- CN117456358A CN117456358A CN202311394414.2A CN202311394414A CN117456358A CN 117456358 A CN117456358 A CN 117456358A CN 202311394414 A CN202311394414 A CN 202311394414A CN 117456358 A CN117456358 A CN 117456358A
- Authority
- CN
- China
- Prior art keywords
- image
- insect pests
- neural network
- plant diseases
- feature map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 241000607479 Yersinia pestis Species 0.000 title claims abstract description 86
- 201000010099 disease Diseases 0.000 title claims abstract description 81
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 title claims abstract description 81
- 241000238631 Hexapoda Species 0.000 title claims abstract description 65
- 238000013528 artificial neural network Methods 0.000 title claims abstract description 41
- 238000000034 method Methods 0.000 title claims description 32
- 238000001514 detection method Methods 0.000 claims abstract description 39
- 230000007246 mechanism Effects 0.000 claims abstract description 11
- 230000004927 fusion Effects 0.000 claims abstract description 7
- 230000001629 suppression Effects 0.000 claims abstract description 6
- 239000003086 colorant Substances 0.000 claims abstract description 5
- 241000196324 Embryophyta Species 0.000 claims description 81
- 238000012549 training Methods 0.000 claims description 19
- 239000011159 matrix material Substances 0.000 claims description 10
- 230000008569 process Effects 0.000 claims description 9
- 238000002372 labelling Methods 0.000 claims description 8
- 230000000877 morphologic effect Effects 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000005070 sampling Methods 0.000 claims description 5
- 238000012360 testing method Methods 0.000 claims description 4
- 230000008859 change Effects 0.000 claims description 3
- 238000011176 pooling Methods 0.000 claims description 3
- 238000012545 processing Methods 0.000 claims description 3
- 230000011218 segmentation Effects 0.000 claims description 3
- 230000003213 activating effect Effects 0.000 claims description 2
- 239000012634 fragment Substances 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims description 2
- 238000006243 chemical reaction Methods 0.000 abstract 1
- 230000006870 function Effects 0.000 description 17
- RZVHIXYEVGDQDX-UHFFFAOYSA-N 9,10-anthraquinone Chemical compound C1=CC=C2C(=O)C3=CC=CC=C3C(=O)C2=C1 RZVHIXYEVGDQDX-UHFFFAOYSA-N 0.000 description 10
- 230000005540 biological transmission Effects 0.000 description 6
- 238000007689 inspection Methods 0.000 description 5
- 238000005516 engineering process Methods 0.000 description 4
- 238000012271 agricultural production Methods 0.000 description 3
- 239000002131 composite material Substances 0.000 description 3
- 230000004913 activation Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 230000002195 synergetic effect Effects 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000003912 environmental pollution Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000003862 health status Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000007786 learning performance Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- -1 re Species 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/188—Vegetation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
- G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
- G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
- G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/54—Extraction of image or video features relating to texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/56—Extraction of image or video features relating to colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/10—Terrestrial scenes
- G06V20/17—Terrestrial scenes taken from planes or by drones
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Evolutionary Computation (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Biomedical Technology (AREA)
- Databases & Information Systems (AREA)
- Biodiversity & Conservation Biology (AREA)
- Remote Sensing (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Image Processing (AREA)
Abstract
本发明一种基于YOLOv5神经网络的植物病虫害检测方法，将农田区域的图像进行标注，之后转换格式后送入YOLOv5s神经网络的输入端，依次进行Focus和Ghost操作，再引入坐标注意力机制，对颜色、纹理、形态进行特征值捕获，最后进行特征融合，输出3种不同尺寸的特征预测图；将3种不同尺寸的特征预测图进行加权非极大值抑制，输出与真实框概率最接近的预测框，当得到的特征值与健康植物参考库中的特征值相似度低于75％，则判断发生病虫害，否则判断为正常生长；无人机在目标农田区域中工作，用训练好的神经网络对采集的实时图片进行检测，若结果为发生病虫害则进行标记，之后传输至地面站，若为正常生长，则继续检测。
Description
技术领域
本发明涉及无人机植物病虫害检测领域，具体为一种基于YOLOv5神经网络的植物病虫害检测方法。
背景技术
在农作物生长过程中，病虫害问题是一个普遍存在的难题。传统的农田巡视方法需要农民每天花费大量时间进行巡查，而往往只能发现一些表面的病虫害问题，对于那些隐蔽性较强的病虫害问题难以发现。同时，传统的农田巡视无法对于较大范围的农田进行全面巡视，导致漏检的情况时有发生。而一旦农作物遭受病虫害侵袭，不仅会直接影响农业生产的产量和质量，还会造成财产损失和环境污染等问题。
在现代农业生产中，无人机已经成为了一种重要的辅助工具，能够在农作物病虫害防治和监测等方面发挥重要作用。传统的病虫害检测方法需要大量人力和时间，效率低下，而基于无人机进行病虫害检测，可以快速便捷地获取大量农田数据，并通过计算机视觉技术进行自动化分析和处理，提高农业生产的效率和质量。
目前，在目标检测方面，计算机视觉技术已经取得了突飞猛进的进展，其中YOLO算法更是被广泛用于很多领域。现如今，YOLOv5神经网络的出现，使得目标检测的速度和精度都有了很大的提升,但对于一些小目标的植物图像和视频数据特征提取却非常容易出现漏检、误检问题，很难准确定位无人机航拍图像上的目标，导致其无法在无人机植物病虫害检测方面进行应用。
发明内容
针对现有技术中存在的问题，本发明提供了一种基于YOLOv5神经网络的植物病虫害检测方法，使用无人机来替代传统的人为进行植物病虫害检测，有效节省了人力和时间；利用改进的YOLOv5神经网络进行植物病虫害检测，增加对植物病虫害的检测精度，并提高了YOLOv5神经网络模型的泛化性。
为了实现以上目的，本发明所采用的技术方案是：
一种基于YOLOv5神经网络的植物病虫害检测方法，包括如下步骤：
S1，将目标农田区域的图像进行标注，区分为正常生长图像与发生病虫害图像，之后转换格式后送入YOLOv5s神经网络的输入端，依次进行Focus操作和Ghost操作，再引入坐标注意力机制，对植物叶片的颜色、纹理、形态进行特征值捕获，最后进行特征融合，输出3种不同尺寸的特征预测图；
S2，将3种不同尺寸的特征预测图进行加权非极大值抑制，输出与真实框概率最接近的预测框，当得到的特征值与健康植物参考库中的特征值相似度低于75％，则判断发生病虫害，否则判断为正常生长，得到训练好的神经网络；
S3，无人机按照设定的飞行路径在S1所述的目标农田区域中工作，之后用训练好的神经网络对采集的实时图片进行检测，若结果为发生病虫害则进行标记，之后传输至地面站，若为正常生长，则继续检测，直至无人机完成目标农田区域的检测。
优选的，S1中，先将目标农田区域的图像按照1：4的数量划分为测试集和训练集，总数量不低于1500张，之后利用LabelImg对所有图像进行标注，区分为正常生长图像与发生病虫害图像，最后将发生病虫害图像保存为xml格式的文件，再送入到YOLOv5s神经网络的输入端。
进一步，S1将xml格式的文件送入到YOLOv5s神经网络的输入端之前，随机选择4张图像，利用Mosaic数据增强模型对每张图像进行随机缩放、裁剪、分布，之后拼接成一张新图像，通过自适应锚框计算，再将所有txt格式的标注图片文件进行格式调整，统一成640*640*3的标准尺寸，最后送入YOLOv5s神经网络的输入端。
优选的，S1中，通过Slice操作对输入的图像进行裁剪，再经过Slice操作和Concat操作，将裁剪后的图像片段合并为一个尺寸为320*320*12的特征映射，接着利用卷积操作特征图获得尺寸为304*304*32的特征图，再进行Ghost操作。
进一步，Ghost操作具体为使用卷积法得到尺寸为304*304*32的特征图的特征映射，然后对每个通道的特征映射进行Φ运算生成Ghost特征图，最后将得到的特征映射和Ghost特征图连接起来，输入到坐标注意力机制中。
优选的，S1中，坐标注意力机制对经过Ghost操作处理的图像给定输入X，使用尺寸为(H,1)或(1,W)的池化核分别沿着水平坐标和垂直坐标对每个通道进行编码，高度为h的第c通道的输出表示为下式，其中W表示经过Ghost操作处理的图像尺寸的宽，xc是指第c通道的输入：
宽度为w的第c通道的输出表示为下式，其中H表示经过Ghost操作处理的图像尺寸的高，xc是指第c通道的输入：
然后将和/>进行拼接后，利用1*1卷积核进行降维和激活操作，生成特征图f，之后沿着空间维度，将f分成两个独立的张量fh和fw，分别利用1*1卷积进行升维度操作，再结合sigmoid激活函数得到注意力权重向量/>和/>坐标注意力机制的输出为下式，其中yc(i,j)代表第c通道输出，xc(i,j)代表第c通道输入：
优选的，S1中，依次按如下过程对植物叶片的颜色、纹理、形态进行特征值捕获：
比较发生病虫害图像颜色与正常生长图像颜色之间的差异，利用OpenCV库中的cvtColor函数，将RGB图像转换为HSV颜色空间，然后将HSV颜色空间划分为离散的区域，形成一个颜色空间网格，使用cv2.calcHist函数计算HSV颜色空间的直方图，使用cv2.normalize函数将直方图归一化，使用.flatten()将归一化的直方图转换为一维数组形式；
比较发生病虫害图像颜色与正常生长图像颜色之间的差异，利用OpenCV库中的cvtColor函数将图像转换为灰度图像，定义灰度共生矩阵的参数，然后使用skimage库中的greycomatrix计算灰度共生矩阵，根据灰度共生矩阵的频次对灰度共生矩阵进行归一化，最后利用归一化得到的数据使用greycoprops计算，得到纹理特征；
将图像转换为灰度图像，然后使用阈值分割法将图像二值化，使病虫害成为图像中的前景区域，背景区域为0，前景区域为1，得到二值图像，使用形态学操作对二值图像进行处理，以改变病虫害的形状和结构，得到调整后的病虫害特征，然后使用cv2.findContours函数找到病虫害的轮廓，计算病虫害的面积、周长、形状因子和圆度。
优选的，S1中所述的特征融合通过Neck层中的FPN结构和PAN结构完成，具体过程如下：
FPN结构对上层特征图进行自上而下的上采样，将高层特征传递到底层特征，PAN结构自底向上进行下采样，使底层信息传递到高层，最后融合，输出3种不同尺寸的特征预测图。
优选的，S2中，采用CIoU作为边界框的损失函数，利用Head输出层进行加权非极大值抑制，CioU的表达式如下：
式中：IoU为预测的物体框和真实的物体框的交集的面积与并集的面积之比，b和bgt分别代表预测的物体框和真实的物体框的中心点坐标，ρ2(b,bgt)代表这两个中心点的欧式距离，c为同时包含预测的物体框和真实的物体框的最小闭包区域的对角线距离，α是权重函数，υ为影响因子，w为宽，h为高，gt为真实的物体框，p为预测的物体框；
Head输出层基于CIOU对3种不同尺寸的特征预测图进行迭代训练，剔除掉预测概率小于80％的预测框，直至留下预测概率最大的预测框，使LCIOU的值最小。
进一步，S2训练好的神经网络进行精确率和召回率的评估，如果精确率和召回率有一项＜82％，继续迭代训练，直到精确率和召回率均≥82％，得到训练好的神经网络。
与现有技术相比，本发明具有以下有益的技术效果：
本发明一种基于YOLOv5神经网络的植物病虫害检测方法，用Ghost模块替换Backbone网络部分的CSPDarkNet53结构进行操作，引入具有协同作用的坐标注意力机制，可以让模型集中在需要关注的区域，有效提升对小目标检测的精度，使改进后的YOLOv5算法在保持准确性的同时，通过优化网络结构和训练参数，实现了更快的检测速度，适应了无人机采集目标农田区域图像的实时需求，对植物叶片的颜色、纹理、形态进行特征值捕获，最后进行特征融合，可输出3种不同尺寸的特征预测图。无人机采集目标农田区域植物图像后，通过自动识别和定位植物病虫害，省去了传统人工巡查的繁琐过程，提高了检测效率。无人机搭载的设备可以实时传输图像数据和检测结果，使得病虫害的发现和处理可以更加及时，减少损失。通过地面站的显示终端可进一步利用检测结果产生检测报告，农民和农作物管理人员可以方便地查看和分析检测结果，并采取相应的管理措施，提高农作物的产量和质量。本发明通过无人机航拍技术获取高分辨率的植物图像，对植物病虫害进行标注，利用深度学习框架对改进型YOLOv5算法进行训练，以适应无人机植物病虫害检测任务，并提高检测精度和速度，具有高精度、实时性、适应性、大规模检测和系统集成的优点，能够帮助农民及时发现和预防植物病虫害，提高生产效率和农作物质量。
附图说明
图1是本发明所述植物病虫害检测所使用的无人机结构示意图。
图2是本发明所述的无人机植物病虫害检测原理图。
图3是本发明所述的无人机植物病虫害检测流程图。
图中：摄像头模块1、机体2、直流无刷电机3、桨叶4、无人机机架5。
具体实施方式
下面结合具体的实施例对本发明做进一步的详细说明，所述是对本发明的解释而不是限定。
本发明一种基于YOLOv5神经网络的四旋翼无人机植物病虫害检测方法，如图1所示，所使用的无人机包括机架5，机架5上端的中心为横截面为不规则多边形的机体2，机体2和机架5由轻质材料制成，机体2内部安装有数据图形传输模块、GPS定位模块、机载电脑、飞控板和航模电池，机架5上安装有摄像头模块1，摄像头模块1位于机体2的下方，机架5的四个旋翼处安装有直流无刷电机3，直流无刷电机3通过杜邦线与飞控板的输出端连接，直流无刷电机3的上端安装有桨叶4。摄像头模块1具体为RunCam Split Mini，数据图形传输模块型号具体为HM30，飞控板的型号为Pixhawk。机载电脑和飞控板的供电端通过5V2A BEC供电型电流计，均与航模电池通过USB数据线连接，因此航模电池可为机载电脑和飞控板供电。
如图2所示，机载电脑的输入端采用杜邦线与摄像头模块1连接，并且飞控板的输入端采用杜邦线与机载电脑连接，数据图形传输模块采用杜邦线与飞控板连接。无人机通过摄像机模块1对目标区域的植物图片进行采集，然后将采集到的图片传输至机载电脑。飞控板的输入端通过杜邦线连接有GPS定位模块，GPS定位模块可实时采集无人机的位置信息，并通过数据图形传输模块传输至飞控板的地面站软件上。
如图3所示，首先由地面站设定待检测区域，然后利用路径规划技术给出无人机飞行路径，然后这些信息通过数据图形传输模块传输至飞控板，无人机开始按照设定的飞行路径工作，对目标区域进行植物病虫害检测，机载电脑内部安装有YOLOv5算法的运行环境以及操作系统，对于摄像头模块1所拍摄到的图像，运行下面所描述改进后的YOLOv5算法对所拍摄到的图像进行实时检测，判断其是否发生病虫害，若发生病虫害则进行标记，并通过数据图形传输模块传输至地面站，若没有发生病虫害，则继续检测，直至无人机完成目标区域检测。
具体地，本发明一种基于YOLOv5神经网络的无人机植物病虫害检测方法，包括如下步骤：
步骤1：首先利用摄像头模块1对目标农田区域进行图像采集，得到大量正常生长以及发生病虫害的植物叶片图像，将这些图片按照1：4的数量划分为测试集以及训练集，总数量不低于1500张，利用标注工具LabelImg对所有图像进行标注，区分为正常生长与发生虫害，并将之保存为xml格式的文件，然后再转换成符合YOLOV5算法训练格式的txt文件。
步骤2：构建改进型YOLOv5神经网络，YOLOv5作为一种单阶段目标检测算法，如今共有：YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5x四个版本，选择YOLOv5s作为本发明的网络模型，相比于YOLOv5x、YOLOv5l、YOLOv5m三种检测网络，YOLOv5s的网络结构最简洁，模型深度与宽度最浅，运行速度最快，计算资源消耗最少。
为了进一步增强模型训练速度以及网络精度，在YOLOv5s输入端采用Mosaic数据增强模型来增加训练数据的丰富性和多样性，具体是先随机从训练集中选择4张图片，然后按照一定的排列方式将它们组合成一张合成图像，具体对每张图片进行随机缩放、裁剪、分布，之后再进行拼接，可确保合成图像的连续性，以此丰富训练集，增强模型的泛化性。Mosaic数据增强通过将多个图像拼接在一起，创建了更复杂的输入示例，有助于模型更好地学习目标的上下文信息、背景干扰和尺度变化，这样可以让模型从有限数量的样本中学到更多的知识，起到丰富数据集的作用。
拼接后的合成图像将包含4个子图像，这些子图像可能部分重叠，因此需要相应地调整标注框，即通过自适应锚框计算，将所有txt格式的标注图片文件进行格式调整，统一成640*640*3的标准尺寸，并送入YOLOv5s的输入端。
YOLOv5s网络模型主要包括输入端、Backbone网络、Neck层、Head输出层，而Backbone网络采用Focus结构和CSPDarkNet53结构，其中Focus结构通过Slice操作对输入图像进行裁剪，再经过Slice操作和Concat操作，将裁剪后的图像片段合并为一个更大的特征映射，其尺寸为320*320*12。接着利用卷积操作特征图获得尺寸为304*304*32的特征图。CSP DarkNet53结构的主要目的是增强卷积神经网络的学习能力，并解决大量推理计算和内存成本的问题。
对YOLOv5神经网络进行改进，主要包括：(1)将原有YOLOv5s网络模型的Backbone网络部分的CSPDarkNet53结构替换为Ghost模块，Ghost模块的改进主要体现在增加了网络的特征学习能力和泛化能力，从而提高了模型在图像处理任务中的性能。Ghost模块使用少量的附加参数来增加模型的容量，并且在扩展特征图时使用的参数数量相对较少，它能够在保持模型高效的同时提高目标检测的准确性和性能。Ghost模块首先使用现有的卷积法得到特征映射，然后对每个通道的特征映射进行Φ运算生成Ghost特征图，这些特征图包含了通过Φ运算引入的冗余信息。这些冗余信息可以帮助模型更好地捕获图像中的细节和特征，即图片中的一些细节特征更容易被捕获。最后将第一步得到的特征映射和第二步得到的Ghost特征图连接起来，得到最终的结果输出。(2)添加协同作用的坐标注意力机制(Coordinate attention，CA)，在无人机病虫害检测过程中，往往由于叶子过小，检测过程中容易丢失特征信息，导致检测效果不佳。因此在Backbone网络加入CA，可以让模型集中在需要关注的区域，有效提升对小目标检测的精度。
CA分为坐标信息嵌入和协同注意生成两步。首先对经过Ghost模块处理后的图片给定输入X，使用尺寸为(H,1)或(1,W)的池化核分别沿着水平坐标和垂直坐标对每个通道进行编码。因此，高度为h的第c通道的输出可以表示为下式，其中W表示输入特征图尺寸的宽，xc是指第c通道的输入：
同样，宽度为w的第c通道的输出可以写成下式，其中H表示输入特征图尺寸的高，xc是指第c通道的输入，
然后将和/>进行拼接后，进行F1操作(即利用1*1卷积核进行降维)和激活操作，生成特征图f，之后沿着空间维度，再将f分成两个独立的张量fh和fw，然后分别利用1*1卷积进行升维度操作，再结合sigmoid激活函数得到最后的注意力权重向量/>和最终，CA的输出可写为下式，其中yc(i,j)代表第c通道输出，xc(i,j)代表上面定义的第c通道输入：
因此，输入到上述的改进型YOLOv5s网络模型中的图片，Backbone网络对其进行Focus操作以及Ghost操作，然后通过CA，之后进入步骤3。
具体的，Ghost操作以及CA对叶片的颜色、形态、纹理进行捕获，其步骤包括：
(1)颜色特征：通过比较受病虫害影响的叶片颜色与正常叶片颜色之间的差异，利用OpenCV库中的cvtColor函数，将RGB图像转换为HSV(色调、饱和度、亮度值)颜色空间，然后将HSV颜色空间划分为一些离散的区域，形成一个颜色空间网格，使用cv2.calcHist函数计算HSV颜色空间的直方图，最后，使用cv2.normalize函数将直方图归一化，并使用.flatten()将其转换为一维数组形式。
(2)纹理特征：通过比较受病虫害影响的叶片形态与正常叶片形态之间的差异，纹理特征用于描述图像中的纹理结构，可以提供关于图像局部细节和纹理组织的信息，使用灰度共生矩阵(GLCM)来计算纹理特征。首先利用OpenCV库中的cvtColor函数将彩色图像转换为灰度图像，定义GLCM的参数。然后使用skimage库中的greycomatrix来计算GLCM，之后根据GLCM的频次统计，对灰度共生矩阵进行归一化，最后使用greycoprops计算一系列纹理特征。
(3)形态特征：首先将原始图像转换为灰度图像，然后使用阈值分割方法将图像二值化，得到二值图像，使目标物体成为图像中的前景区域，背景区域为0，前景区域为1。接下来，使用形态学操作对二值图像进行处理，以改变目标物体的形状和结构，得到增强或调整后的目标物体特征。然后使用cv2.findContours函数找到轮廓，并计算形态特征，即面积和周长、形状因子、圆度。
步骤3：将CA处理后的图片输入到Neck层进行特征融合，Neck层使用的是FPN结构和PAN结构，FPN结构对上层特征图进行自上而下的上采样，将高层特征传递到底层特征。PAN结构自底向上进行下采样，使底层信息更加容易传递到高层，最后融合两个特征，输出3种不同尺寸的特征预测图。
步骤4：对于Neck层得到的三种不同尺寸的特征预测图，Head输出层(即预测层)需要进行加权非极大值抑制，筛选与真实框概率最接近的预测框作为输出，判断是否发生病虫害。步骤2可以得到样本中的颜色特征、纹理特征和形态特征，通过构建一个健康植物参考库(通过收集各种健康植物图像，并提取它们的颜色直方图、纹理和形态特征，这些特征与相应的植物类型和健康状态标签一起构成参考库。对各种健康植物图像提取颜色直方图、纹理和形态特征的步骤与上述方法相同)，其中包含各种健康植物的颜色直方图、纹理特征和形态特征。将无人机采集到的植物样本的特征值与健康植物参考库中的特征进行比较。如果相似度低于75％，则可以判断为病虫害。
因此，采用CIoU作为边界框的损失函数，其为L的一种类型，其表达式如下：
式中：IoU为预测的物体框和真实的物体框的交集的面积与并集的面积之比，b和bgt分别代表预测的物体框和真实的物体框的中心点坐标，ρ2(b,bgt)代表的是这两个中心点的欧式距离，c为同时包含预测的物体框和真实的物体框的最小闭包区域的对角线距离，α是权重函数，υ为影响因子，用来度量长宽比的一致性，目的是确保模型学习到的边界框在长宽比方面与真实目标边界框保持一致性，从而提高模型在不同长宽比上的目标学习性能，w为宽，h为高，gt为真实的物体框，p为预测的物体框。
通过以上过程，Head输出层基于损失函数CIOU对Neck层得到的三种不同尺寸的特征预测图进行迭代训练，设定迭代训练300次，在训练中不断调整内部权重参数，剔除掉预测概率小(小于80％)的预测框，留下预测概率大(≥80％)的预测框，一步一步重复，直至留下预测概率最大的预测框，即可使得损失函数LCIOU的值最小。至此，训练过程结束。
步骤5：在实际测试中，将拍摄到的图片送入所训练好的改进型YOLOv5s网络模型中，按照上述步骤判断出该图片的类型，使用精确率和召回率作为模型的评价指标，其中精确率定义为：
召回率的定义为:
精确率表示所有样本中预测正确样本所占的比例，召回率表示预测正确样本占所有正样本(正确识别，即算法检测出病虫害，真实情况也是病虫害)的比例。XTP表示被正确检测出病虫害的数量，XFP表示被错误检测出病虫害的数量，XFN表示被漏检的病虫害样本数量。若此两项中任意一项低于82％，则视为不理想，因此需要继续在第4步中进行迭代训练，直到精确率和召回率均≥82％。直至符合要求。
Claims (10)
1.一种基于YOLOv5神经网络的植物病虫害检测方法，其特征在于，包括如下步骤：
S1，将目标农田区域的图像进行标注，区分为正常生长图像与发生病虫害图像，之后转换格式后送入YOLOv5s神经网络的输入端，依次进行Focus操作和Ghost操作，再引入坐标注意力机制，对植物叶片的颜色、纹理、形态进行特征值捕获，最后进行特征融合，输出3种不同尺寸的特征预测图；
S2，将3种不同尺寸的特征预测图进行加权非极大值抑制，输出与真实框概率最接近的预测框，当得到的特征值与健康植物参考库中的特征值相似度低于75％，则判断发生病虫害，否则判断为正常生长，得到训练好的神经网络；
S3，无人机按照设定的飞行路径在S1所述的目标农田区域中工作，之后用训练好的神经网络对采集的实时图片进行检测，若结果为发生病虫害则进行标记，之后传输至地面站，若为正常生长，则继续检测，直至无人机完成目标农田区域的检测。
2.根据权利要求1所述的基于YOLOv5神经网络的植物病虫害检测方法，其特征在于，S1中，先将目标农田区域的图像按照1：4的数量划分为测试集和训练集，总数量不低于1500张，之后利用LabelImg对所有图像进行标注，区分为正常生长图像与发生病虫害图像，最后将发生病虫害图像保存为xml格式的文件，再送入到YOLOv5s神经网络的输入端。
3.根据权利要求2所述的基于YOLOv5神经网络的植物病虫害检测方法，其特征在于，S1将xml格式的文件送入到YOLOv5s神经网络的输入端之前，随机选择4张图像，利用Mosaic数据增强模型对每张图像进行随机缩放、裁剪、分布，之后拼接成一张新图像，通过自适应锚框计算，再将所有txt格式的标注图片文件进行格式调整，统一成640*640*3的标准尺寸，最后送入YOLOv5s神经网络的输入端。
4.根据权利要求1所述的基于YOLOv5神经网络的植物病虫害检测方法，其特征在于，S1中，通过Slice操作对输入的图像进行裁剪，再经过Slice操作和Concat操作，将裁剪后的图像片段合并为一个尺寸为320*320*12的特征映射，接着利用卷积操作特征图获得尺寸为304*304*32的特征图，再进行Ghost操作。
5.根据权利要求4所述的基于YOLOv5神经网络的植物病虫害检测方法，其特征在于，Ghost操作具体为使用卷积法得到尺寸为304*304*32的特征图的特征映射，然后对每个通道的特征映射进行Φ运算生成Ghost特征图，最后将得到的特征映射和Ghost特征图连接起来，输入到坐标注意力机制中。
6.根据权利要求1所述的基于YOLOv5神经网络的植物病虫害检测方法，其特征在于，S1中，坐标注意力机制对经过Ghost操作处理的图像给定输入X，使用尺寸为(H,1)或(1,W)的池化核分别沿着水平坐标和垂直坐标对每个通道进行编码，高度为h的第c通道的输出表示为下式，其中W表示经过Ghost操作处理的图像尺寸的宽，xc是指第c通道的输入：
宽度为w的第c通道的输出表示为下式，其中H表示经过Ghost操作处理的图像尺寸的高，xc是指第c通道的输入：
然后将和/>进行拼接后，利用1*1卷积核进行降维和激活操作，生成特征图f，之后沿着空间维度，将f分成两个独立的张量fh和fw，分别利用1*1卷积进行升维度操作，再结合sigmoid激活函数得到注意力权重向量/>和/>坐标注意力机制的输出为下式，其中yc(i,j)代表第c通道输出，xc(i,j)代表第c通道输入：
7.根据权利要求1所述的基于YOLOv5神经网络的植物病虫害检测方法，其特征在于，S1中，依次按如下过程对植物叶片的颜色、纹理、形态进行特征值捕获：
比较发生病虫害图像颜色与正常生长图像颜色之间的差异，利用OpenCV库中的cvtColor函数，将RGB图像转换为HSV颜色空间，然后将HSV颜色空间划分为离散的区域，形成一个颜色空间网格，使用cv2.calcHist函数计算HSV颜色空间的直方图，使用cv2.normalize函数将直方图归一化，使用.flatten()将归一化的直方图转换为一维数组形式；
比较发生病虫害图像颜色与正常生长图像颜色之间的差异，利用OpenCV库中的cvtColor函数将图像转换为灰度图像，定义灰度共生矩阵的参数，然后使用skimage库中的greycomatrix计算灰度共生矩阵，根据灰度共生矩阵的频次对灰度共生矩阵进行归一化，最后利用归一化得到的数据使用greycoprops计算，得到纹理特征；
将图像转换为灰度图像，然后使用阈值分割法将图像二值化，使病虫害成为图像中的前景区域，背景区域为0，前景区域为1，得到二值图像，使用形态学操作对二值图像进行处理，以改变病虫害的形状和结构，得到调整后的病虫害特征，然后使用cv2.findContours函数找到病虫害的轮廓，计算病虫害的面积、周长、形状因子和圆度。
8.根据权利要求1所述的基于YOLOv5神经网络的植物病虫害检测方法，其特征在于，S1中所述的特征融合通过Neck层中的FPN结构和PAN结构完成，具体过程如下：
FPN结构对上层特征图进行自上而下的上采样，将高层特征传递到底层特征，PAN结构自底向上进行下采样，使底层信息传递到高层，最后融合，输出3种不同尺寸的特征预测图。
9.根据权利要求1所述的基于YOLOv5神经网络的植物病虫害检测方法，其特征在于，S2中，采用CIoU作为边界框的损失函数，利用Head输出层进行加权非极大值抑制，CioU的表达式如下：
式中：IoU为预测的物体框和真实的物体框的交集的面积与并集的面积之比，b和bgt分别代表预测的物体框和真实的物体框的中心点坐标，ρ2(b,bgt)代表这两个中心点的欧式距离，c为同时包含预测的物体框和真实的物体框的最小闭包区域的对角线距离，α是权重函数，v为影响因子，w为宽，h为高，gt为真实的物体框，p为预测的物体框；
Head输出层基于CIOU对3种不同尺寸的特征预测图进行迭代训练，剔除掉预测概率小于80％的预测框，直至留下预测概率最大的预测框，使LCIOU的值最小。
10.根据权利要求9所述的基于YOLOv5神经网络的植物病虫害检测方法，其特征在于，S2训练好的神经网络进行精确率和召回率的评估，如果精确率和召回率有一项＜82％，继续迭代训练，直到精确率和召回率均≥82％，得到训练好的神经网络。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311394414.2A CN117456358A (zh) | 2023-10-25 | 2023-10-25 | 一种基于YOLOv5神经网络的植物病虫害检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311394414.2A CN117456358A (zh) | 2023-10-25 | 2023-10-25 | 一种基于YOLOv5神经网络的植物病虫害检测方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117456358A true CN117456358A (zh) | 2024-01-26 |
Family
ID=89582918
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311394414.2A Pending CN117456358A (zh) | 2023-10-25 | 2023-10-25 | 一种基于YOLOv5神经网络的植物病虫害检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117456358A (zh) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117649610A (zh) * | 2024-01-30 | 2024-03-05 | 江西农业大学 | 一种基于YOLOv5的害虫检测方法及系统 |
| CN117649610B (zh) * | 2024-01-30 | 2024-05-28 | 江西农业大学 | 一种基于YOLOv5的害虫检测方法及系统 |
-
2023
- 2023-10-25 CN CN202311394414.2A patent/CN117456358A/zh active Pending
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117649610A (zh) * | 2024-01-30 | 2024-03-05 | 江西农业大学 | 一种基于YOLOv5的害虫检测方法及系统 |
| CN117649610B (zh) * | 2024-01-30 | 2024-05-28 | 江西农业大学 | 一种基于YOLOv5的害虫检测方法及系统 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN110059694B (zh) | 电力行业复杂场景下的文字数据的智能识别方法 | |
| CN108961235B (zh) | 一种基于YOLOv3网络和粒子滤波算法的缺陷绝缘子识别方法 | |
| CN105718945B (zh) | 基于分水岭和神经网络的苹果采摘机器人夜间图像识别方法 | |
| CN109145872B (zh) | 一种基于CFAR与Fast-RCNN融合的SAR图像舰船目标检测方法 | |
| Wang et al. | YOLOv3-Litchi detection method of densely distributed litchi in large vision scenes | |
| Mao et al. | Development of power transmission line defects diagnosis system for UAV inspection based on binocular depth imaging technology | |
| CN110070571B (zh) | 一种基于深度相机的毛竹形态参数检测方法 | |
| CN111178177A (zh) | 一种基于卷积神经网络的黄瓜病害识别方法 | |
| CN116052222A (zh) | 自然采集牛脸图像的牛脸识别方法 | |
| CN111539293A (zh) | 一种果树病害诊断方法及系统 | |
| Zhong et al. | Identification and depth localization of clustered pod pepper based on improved Faster R-CNN | |
| CN109657540A (zh) | 枯死树定位方法及系统 | |
| CN117079125A (zh) | 一种基于改进型YOLOv5的猕猴桃授粉花朵识别方法 | |
| CN111597939A (zh) | 一种基于深度学习的高铁线路鸟窝缺陷检测方法 | |
| CN116740337A (zh) | 一种红花采摘点识别定位方法及采摘系统 | |
| CN114700941B (zh) | 一种基于双目视觉的草莓采摘方法、机器人系统 | |
| CN117456358A (zh) | 一种基于YOLOv5神经网络的植物病虫害检测方法 | |
| CN116524344A (zh) | 一种基于rgb-d信息融合的番茄串采摘点检测方法 | |
| CN115311520A (zh) | 一种基于视觉识别的百香果成熟度检测及定位方法 | |
| CN115187878A (zh) | 基于无人机图像分析的风力发电装置叶片缺陷检测方法 | |
| CN115115954A (zh) | 基于无人机遥感的松材线虫病疫区变色立木智能识别方法 | |
| Chen et al. | Instance Segmentation of Grape Berry Images Based on Improved Mask R-Cnn | |
| CN112418112A (zh) | 一种果园病虫害监测预警方法及系统 | |
| CN116977615B (zh) | 荔枝果梗识别定位方法及装置 | |
| TWI709111B (zh) | 快速農作物定位方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |