CN114140428A - 基于YOLOv5的落叶松毛虫虫害检测识别方法及系统 - Google Patents
基于YOLOv5的落叶松毛虫虫害检测识别方法及系统 Download PDFInfo
- Publication number
- CN114140428A CN114140428A CN202111444616.4A CN202111444616A CN114140428A CN 114140428 A CN114140428 A CN 114140428A CN 202111444616 A CN202111444616 A CN 202111444616A CN 114140428 A CN114140428 A CN 114140428A
- Authority
- CN
- China
- Prior art keywords
- larch
- remote sensing
- data set
- yolov5
- training data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 241001309417 Dendrolimus sibiricus Species 0.000 title claims abstract description 77
- 238000000034 method Methods 0.000 title claims abstract description 60
- 238000012549 training Methods 0.000 claims abstract description 146
- 241000218652 Larix Species 0.000 claims abstract description 59
- 235000005590 Larix decidua Nutrition 0.000 claims abstract description 59
- 241000607479 Yersinia pestis Species 0.000 claims description 46
- 238000001514 detection method Methods 0.000 claims description 25
- 241000238631 Hexapoda Species 0.000 claims description 17
- 238000004422 calculation algorithm Methods 0.000 claims description 12
- 230000003321 amplification Effects 0.000 claims description 10
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 10
- 241000121219 Tricholoma Species 0.000 claims description 7
- 230000008859 change Effects 0.000 claims description 7
- 230000007306 turnover Effects 0.000 claims description 6
- 241000544657 Larix gmelinii Species 0.000 claims description 5
- 238000010276 construction Methods 0.000 claims description 2
- 238000005457 optimization Methods 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 7
- 238000013135 deep learning Methods 0.000 abstract description 6
- 238000003909 pattern recognition Methods 0.000 abstract description 4
- 230000003190 augmentative effect Effects 0.000 abstract 1
- 230000006870 function Effects 0.000 description 18
- 230000008569 process Effects 0.000 description 16
- 238000012360 testing method Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 8
- 238000012937 correction Methods 0.000 description 4
- 230000005764 inhibitory process Effects 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 230000003044 adaptive effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 241000243771 Bursaphelenchus xylophilus Species 0.000 description 2
- 235000008331 Pinus X rigitaeda Nutrition 0.000 description 2
- 235000011613 Pinus brutia Nutrition 0.000 description 2
- 241000018646 Pinus brutia Species 0.000 description 2
- BQCADISMDOOEFD-UHFFFAOYSA-N Silver Chemical compound [Ag] BQCADISMDOOEFD-UHFFFAOYSA-N 0.000 description 2
- 241000121220 Tricholoma matsutake Species 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 238000005520 cutting process Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 235000019580 granularity Nutrition 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 229910052709 silver Inorganic materials 0.000 description 2
- 239000004332 silver Substances 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 230000007786 learning performance Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/02—Agriculture; Fishing; Forestry; Mining
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Biophysics (AREA)
- Mathematical Physics (AREA)
- Biomedical Technology (AREA)
- Artificial Intelligence (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Business, Economics & Management (AREA)
- Marine Sciences & Fisheries (AREA)
- Mining & Mineral Resources (AREA)
- Animal Husbandry (AREA)
- Economics (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Quality & Reliability (AREA)
- Agronomy & Crop Science (AREA)
- Image Analysis (AREA)
Abstract
本发明公开一种基于YOLOv5的落叶松毛虫虫害检测识别方法及系统,涉及图像处理、深度学习、模式识别技术领域,方法包括:获取多张包括落叶松毛虫虫害树木的落叶松遥感图像;对图像中的落叶松毛虫虫害树木进行标定,标定后的遥感图像包括落叶松毛虫虫害树木的边界框;利用标定后的遥感图像构建训练数据集;对训练数据集进行扩增;利用扩增后的训练数据集对YOLOv5模型进行训练和优化,得到优化后的YOLOv5模型;将待识别遥感图像输入优化后的YOLOv5模型中,识别出待识别遥感图像中落叶松毛虫虫害树木的边界框。本发明能够快速精确地识别出落叶松毛虫虫害树木。
Description
技术领域
本发明涉及图像处理、深度学习、模式识别技术领域,特别是涉及一种基于YOLOv5的落叶松毛虫虫害检测识别方法及系统。
背景技术
在遥感图像处理、深度学习、模式识别等领域,深度神经网络经过良好的训练能够在复杂场景中完成分类和检测工作,能分辨出具有相同特征的物体,并展现出了极好的性能,为防止过拟合的现象发生,深度神经网络训练需要大量的数据集,依靠强大的计算能力,然而目前针对于遥感影像分类检测工作的研究多注重算法的改进,实际上训练样本提取的特征准确度及有效性对识别精度及效率也有着非常重要的影响。
理论上,一个理想的YOLOv5识别模型应当具备以下三个标准:
(1)当新类别图像在不同时间出现,识别模型均可训练。
(2)任何时间在已经学习过的图像类别中有很好的识别结果。
(3)计算能力与内存应该随着类别数的增加固定或缓慢增长。
李凤迪在基于深度学习和无人机遥感的松材线虫病树监测系统研究中提出了一种使用YOLOv3深度学习网络进行监测的方法,具体参见李凤迪,申卫星,吴杰芳,孙丰刚,徐力,刘振宇,兰鹏.基于YOLOv3-CIoU的松材线虫病树检测方法研究[J].山东农业大学学报(自然科学版),2021,52(02):224-233.,该方法包括建立数据集与训练模型两个阶段,在建立数据集阶段,将拍摄的836张图片作为松材线虫病树检测的样本集,并根据训练样本与测试样本9:1的比例划分,人工标定836张图片的方式创建数据集。在训练模型阶段,使用GIOU损失函数,解决了IOU损失值降为零导致的识别框标定问题,将人工标定的数据集导入模型训练。然而上述方法中对于数据集建立的方式上需要人工标定836张遥感图像,在获得了较高准确度的同时,图像标定方法费时费力,且在标定过程中错标漏标均会影响模型识别的准确率。其次对于改用GIOU损失函数,其设置初始Anchor的大小都是通过单独的程序使用K-means算法得到,需要较高的计算机的硬件要求,增加了训练时间。
综上,目前现有的虫害检测识别方法无法快速精确地识别出虫害树木。
发明内容
本发明的目的是提供一种基于YOLOv5的落叶松毛虫虫害检测识别方法及系统,能够快速精确地识别出落叶松毛虫虫害树木。
为实现上述目的,本发明提供了如下方案:
一种基于YOLOv5的落叶松毛虫虫害检测识别方法,所述方法包括:
获取多张落叶松遥感图像;每张所述落叶松遥感图像中均包括多棵落叶松树木,且每张所述落叶松遥感图像中均包括落叶松毛虫虫害树木;
对所述落叶松遥感图像中的落叶松毛虫虫害树木进行标定,得到标定后的遥感图像;所述标定后的遥感图像包括落叶松毛虫虫害树木的边界框;
利用所述标定后的遥感图像构建训练数据集;所述训练数据集包括各所述标定后的遥感图像;
对所述训练数据集进行扩增,得到扩增后的训练数据集;
利用所述扩增后的训练数据集对YOLOv5模型进行训练和优化,得到优化后的YOLOv5模型;
将待识别遥感图像输入所述优化后的YOLOv5模型中,识别出所述待识别遥感图像中落叶松毛虫虫害树木的边界框。
可选地,所述获取多张落叶松遥感图像,具体包括:
利用无人机搭载DJIFC200相机获取多张分辨率为4000×3000的落叶松遥感图像。
可选地,所述对所述训练数据集进行扩增,得到扩增后的训练数据集,具体包括:
利用Imgaug算法对所述训练数据集进行随机水平翻转、改变对比度和增加噪点,得到扩增后的训练数据集。
可选地,所述利用所述扩增后的训练数据集对YOLOv5模型进行训练和优化,得到优化后的YOLOv5模型,具体包括:
将所述扩增后的训练数据集输入YOLOv5模型,对所述YOLOv5模型进行训练,并利用GIoU Loss损失函数对所述YOLOv5模型进行优化,得到优化后的YOLOv5模型。
本发明还提供了如下方案:
一种基于YOLOv5的落叶松毛虫虫害检测识别系统,所述系统包括:
落叶松遥感图像获取模块,用于获取多张落叶松遥感图像;每张所述落叶松遥感图像中均包括多棵落叶松树木,且每张所述落叶松遥感图像中均包括落叶松毛虫虫害树木;
落叶松遥感图像标定模块,用于对所述落叶松遥感图像中的落叶松毛虫虫害树木进行标定,得到标定后的遥感图像;所述标定后的遥感图像包括落叶松毛虫虫害树木的边界框;
训练数据集构建模块,用于利用所述标定后的遥感图像构建训练数据集;所述训练数据集包括各所述标定后的遥感图像;
训练数据集扩增模块,用于对所述训练数据集进行扩增,得到扩增后的训练数据集;
YOLOv5模型训练和优化模块,用于利用所述扩增后的训练数据集对YOLOv5模型进行训练和优化,得到优化后的YOLOv5模型;
虫害树木识别模块,用于将待识别遥感图像输入所述优化后的YOLOv5模型中,识别出所述待识别遥感图像中落叶松毛虫虫害树木的边界框。
可选地,所述落叶松遥感图像获取模块具体包括:
落叶松遥感图像获取单元,用于利用无人机搭载DJIFC200相机获取多张分辨率为4000×3000的落叶松遥感图像。
可选地,所述训练数据集扩增模块具体包括:
训练数据集扩增单元,用于利用Imgaug算法对所述训练数据集进行随机水平翻转、改变对比度和增加噪点,得到扩增后的训练数据集。
可选地,所述YOLOv5模型训练和优化模块具体包括:
YOLOv5模型训练和优化单元,用于将所述扩增后的训练数据集输入YOLOv5模型,对所述YOLOv5模型进行训练,并利用GIoU Loss损失函数对所述YOLOv5模型进行优化,得到优化后的YOLOv5模型。
根据本发明提供的具体实施例,本发明公开了以下技术效果:
本发明公开的基于YOLOv5的落叶松毛虫虫害检测识别方法及系统,通过对标定后的遥感图像进行扩增,来处理训练过程中所需要的大量数据样本问题,避免了采用图像标定方法一一标定造成的费时费力,以及在标定过程中错标漏标均会影响模型识别的准确率,保证了落叶松毛虫虫害树木识别的准确率;利用YOLOv5模型对落叶松毛虫虫害树木进行识别,由于YOLOv5模型引入了自适应Anchor及GIOU损失函数,简化了损失函数的求解过程并解决了IOU损失值降为零导致的识别框标定问题,使模型训练效率更高、精度更高,从而能够快速精确地识别出落叶松毛虫虫害树木。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
图1为本发明基于YOLOv5的落叶松毛虫虫害检测识别方法实施例的流程图;
图2为本发明提供的YOLOv5模型的各指标与迭代次数关系示意图;
图3为本发明YOLOv5的模型结构示意图;
图4为本发明利用YOLOv5实现对落叶松毛虫虫害检测的研究方法各步骤示意图;
图5为本发明利用YOLOv5模型训练后实现的对图片内落叶松毛虫虫害的检测结果示意图;
图6为本发明基于YOLOv5的落叶松毛虫虫害检测识别系统实施例的结构图。
具体实施方式
下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
本发明的目的是提供一种基于YOLOv5的落叶松毛虫虫害检测识别方法及系统,能够快速精确地识别出落叶松毛虫虫害树木。
为使本发明的上述目的、特征和优点能够更加明显易懂,下面结合附图和具体实施方式对本发明作进一步详细的说明。
图1为本发明基于YOLOv5的落叶松毛虫虫害检测识别方法实施例的流程图。参见图1,该基于YOLOv5的落叶松毛虫虫害检测识别方法包括:
步骤101:获取多张落叶松遥感图像;每张落叶松遥感图像中均包括多棵落叶松树木,且每张落叶松遥感图像中均包括落叶松毛虫虫害树木。
该步骤101具体包括:
利用无人机搭载DJIFC200相机获取多张分辨率为4000×3000的落叶松遥感图像。
该步骤101为模型训练过程的步骤1,模型训练过程步骤如下:准备包含落叶松毛虫虫害树木的照片数据;标注照片数据中的落叶松毛虫虫害树木区域的类别,采用边框框出落叶松毛虫虫害树木区域,定义此边框为真实的边框;将标注好的照片数据输入YOLOv5网络模型进行训练,得到训练结果并获得模型权重文件。其中,步骤1包括:
采用专门仪器获取遥感图像:选用大疆“御”PRO无人机搭载DJIFC200相机获取分辨率为4000×3000的包含落叶松毛虫虫害树木的JPEG图片103张,在呼玛县白银纳村所拍摄样地选取共92张样片用作训练样本集,在新林区森林公园拍摄样地选取共11张样片作为测试样本集。
步骤102:对落叶松遥感图像中的落叶松毛虫虫害树木进行标定,得到标定后的遥感图像;标定后的遥感图像包括落叶松毛虫虫害树木的边界框。
步骤103:利用标定后的遥感图像构建训练数据集;训练数据集包括各标定后的遥感图像。
步骤104:对训练数据集进行扩增,得到扩增后的训练数据集。
该步骤104具体包括:
利用Imgaug算法对训练数据集进行随机水平翻转、改变对比度和增加噪点,得到扩增后的训练数据集。
该步骤102-步骤104构成模型训练过程的步骤2,步骤2包括:
利用遥感图像构建相关数据集:对遥感图像进行裁剪分割后选取含有监测目标的图像进行标注,分割为1333×1000像素大小的图片总计927张,后选取分割后的呼玛县白银纳村所拍摄样地样片99张用作训练样本集,分割后新林区森林公园拍摄样地样片13张作为测试样,数据集含有落叶松毛虫虫害树木目标的图像共计123张进行标注,然后图像数据集及经过标记工作生成的标签文件使用随机水平翻转算法、改变对比度及增加噪点等操作进行数据集扩增,每张图片可生成19张全新数据,最后将样片大小转换成512×512像素格式,并划分训练集和测试集,训练集与测试集划分比例为9:1,扩增后训练集共2200张图片,测试集共260张图片,用于后续的网络训练及测试。
步骤105:利用扩增后的训练数据集对YOLOv5模型进行训练和优化,得到优化后的YOLOv5模型。
该步骤105具体包括:
将扩增后的训练数据集输入YOLOv5模型,对YOLOv5模型进行训练,并利用GIoULoss损失函数对YOLOv5模型进行优化,得到优化后的YOLOv5模型。
该步骤105为模型训练过程的步骤3,步骤3包括:
将处理完成的遥感图片按照训练集与测试集划分文件夹,输入YOLOv5网络模型,即将扩增后的照片数据输入YOLOv5网络模型进行训练,得到训练结果并获得模型权重文件,具体为:选择yolov5x权重文件,迭代次数设置为300次,初始学习率设为0.001,每次迭代训练图像的数量为16,学习率的衰减系数和动量项分别为0.1和0.9,非极大值抑制的阈值为0.7,置信度阈值设置为0.7,然后训练,训练结束得到落叶松毛虫虫害树木检测精度在测试集上有91.8%正确率,最后生成model.pb文件用于预测。本发明提供的YOLOv5模型的各指标与迭代次数关系示意图如图2所示。
步骤106:将待识别遥感图像输入优化后的YOLOv5模型中,识别出待识别遥感图像中落叶松毛虫虫害树木的边界框。
该步骤106为模型应用过程步骤,模型应用过程步骤如下:
使用大疆“御”PRO无人机设备采集林区内含有落叶松毛虫虫害树木的清晰、采光良好的照片;加载训练好的YOLOv5网络模型,将遥感图像输入训练好的YOLOv5网络模型进行预测,得到落叶松毛虫虫害区域及类别和数量信息,为之后确定虫害位置等后序操作做准备。
1、选择一片含有落叶松毛虫虫害树木目标的样地,使用无人机搭载拍照设备采集遥感图像。
2、加载训练好的YOLOv5网络模型,将遥感影像输入训练好的YOLOv5网络模型进行预测。
3、得到落叶松毛虫虫害树木目标的位置与数量信息,为后续采伐治理等操作做准备。
进一步的,在本发明中,YOLOv5网络模型包括输入端、Backbone、Neck和Head,YOLOv5的模型结构参见图3,输入端、Backbone、Neck和Head的作用如下:
输入端:经输入端输入的测试集图像数据集中每一输入图像的大小为512×512,通道为3;并对每一输入图像进行马赛克(Mosaic)数据增强、自适应图片缩放以及自适应锚框计算处理后输入给骨干网络(Backbone)。
Backbone:用于特征提取的网络,输入含有落叶松毛虫虫害树木特征的数据集,经过网络特征提取后生成feature map特征图,同图像细粒度上聚合并形成图像特征的卷积神经网络,供后面的网络使用。
Neck:一系列混合和组合图像特征的网络层,并将图像特征传递到预测层。
Head:输出对图像特征进行预测,YOLOv5网络模型的输出为(x,y,w,h,c),分别表示预测框在图像坐标系上的x、y坐标,矩形宽高width、height,以及置信度confidence,生成边界框并预测类别并定义此边界框为预测的边框。
Backbone和Neck用于提取图像特征,图像特征即为输入图片预测框中落叶松毛虫虫害的特征,Head用于特征检测和预测类别。
进一步的,训练过程中,YOLOv5网络模型的输出,即多个目标(落叶松毛虫虫害树木目标),并对多个目标进行误差校正,误差校正采用聚类法和非极大值抑制法结合的方式,聚类使得预测结果聚成不同的类,选择confidence较大的结果作为最终结果,使用非极大值抑制的方法筛选掉重合度较高的预测结果框。
进一步的,训练过程中,通过损失函数计算调节权重参数,YOLOv5网络的损失函数为GIOU_loss,使用相交尺度衡量的方式计算损失。GIOU_loss的计算公式为:
式中,IOU即交并比,计算的是预测的边框和真实的边框的交集和并集的比值,C表示标签给定的真实的边框与模型给出的预测的边框两者的最小外接矩形,A表示真实框,B表示预测框,在进行预测时,加载训练得到的权重文件,YOLOv5网络即可对输入的图片给出输出结果(x,y,w,h,c),将相应的矩形坐标在原图片上表示,即可得到可视化的预测结果。
图4为本发明利用YOLOv5实现对落叶松毛虫虫害检测的研究方法各步骤示意图。参见图4,本发明提供了一种基于YOLOv5的落叶松毛虫虫害检测与识别方法,具体为一种基于YOLOv5的落叶松毛虫虫害图像检测与识别方法,涉及遥感图像处理、深度学习、模式识别等领域,该方法分为两个具体实施过程,包括模型训练过程(训练阶段)和模型应用过程(测设阶段)。
其中,模型训练过程包括:
准备大量包含落叶松毛虫虫害的照片数据。
人工对数据进行落叶松毛虫虫害区域及类别标注,并对遥感图像进行裁剪分割后选取含有监测目标的图像进行标注,图像数据集及经过标记工作生成的标签文件使用随机水平翻转算法进行数据集扩增,并划分训练集和测试集。
准备YOLOv5网络模型,投入数据进行训练,得到训练结果。
模型应用过程包括:
选用大疆“御”PRO无人机搭载DJIFC200相机获取分辨率为4000*3000的包含落叶松毛虫虫害树木的JPEG图片。
加载训练得到的目标检测模型,对含有落叶松毛虫虫害树木的图片进行识别。
得到落叶松毛虫虫害树木区域及类别、数量等信息,为之后确定落叶松毛虫虫害树木位置等后序操作做准备。
关于模型训练过程是本实施例的关键,下面对本发明中用到的目标检测用的YOLOv5网络模型进行具体说明:
YOLOv5网络模型主要由三个主要组件组成:
Backbone:在不同图像细粒度上聚合并形成图像特征的卷积神经网络。
Neck:一系列混合和组合图像特征的网络层,并将图像特征传递到预测层。
Head:对图像特征进行预测,生成边界框并预测类别。
Backbone和Neck主要用于提取图像特征,图像特征即为输入图片预测框中落叶松毛虫虫害的特征。Head用于特征检测和预测类别。
输入YOLOv5网络模型的是图片,可以看成一个矩阵,输出是(x,y,w,h,c),分别表示预测框在图像坐标系上的x、y坐标,矩形宽高width、height,以及置信度confidence。本质上是一个矩阵,通过上面Backbone、Neck、Head三个组件组成的网络,得到了另一个输出矩阵。为了保证目标都被检测到,还会尽可能输出多个目标,再靠后期的误差校正来去除错误的预测结果。
误差校正的方法主要有聚类和非极大值抑制(NMS)。聚类即将预测结果聚成不同的类,选择confidence较大的结果作为最终结果。但是聚类也存在几个问题:相近的目标容易聚成一个类,并且目标总数类别未知,不知道应该聚成几个类。所以需要加入非极大值抑制的方法,筛选掉重合度较高的预测结果框。
组织YOLOv5网络模型的训练,需要找尽可能多的训练样本图片,并做好标注,标注数据叫做label,格式仍然可表示为(x,y,w,h,1),其中x,y,w,h均为真值,将confidence设置为1。将训练图片和标签投入YOLOv5网络模型进行训练,得到权重文件。接受训练后的神经网络会赋予它认为重要的输入信息更高的权重值,而那些不重要的输入信息权重值则会相对较小。这些权重信息就组成了我们所需要的落叶松毛虫虫害树木识别的权重文件。
权重参数是通过损失函数来决定的,损失函数是关于模型输出和样本标签值之差的函数,可以通过对误差函数求导来调节权重参数。YOLOv5网络模型的损失函数为GIOU_loss。使用相交尺度衡量的方式计算损失。GIOU_loss的计算公式为:
IOU,即交并比(Intersection over Union),计算的是预测的边框和真实的边框的交集和并集的比值,C表示标签给定的真实的边框与模型给出的预测的边框两者的最小外接矩形。并集A并集与并集B的并集即真实框与预测框的并集。
在进行预测时,加载训练得到的权重文件,YOLOv5网络模型即可对输入的图片给出输出结果(x,y,w,h,c),将相应的矩形坐标在原图片上表示,即可得到可视化的预测结果,如图5所示。
YOLOv5网络模型有如下特点:
1、增加了正样本:方法是邻域的正样本anchor(anchor表示目标检测中固定的参考框)匹配策略。
2、通过灵活的配置参数,可以得到不同复杂度的模型。
3、通过一些内置的超参数优化策略,提升整体性能。超参数是在开始学习过程之前设置值的参数,而不是通过训练得到的参数数据。通常情况下,需要对超参数进行优化,给学习机选择一组最优超参数,以提高学习的性能和效果。
4、使用了mosaic增强,提升小物体检测性能。mosaic增强,即每次读取四张图片,分别对四张图片进行翻转、缩放、色域变化等,并且按照四个方向位置摆好,最后进行图片和框的组合。
YOLOv5网络模型在训练可以采用以下方式,YOLOv5网络模型训练目标总数有5640个。图片像素尺寸设置为512×512。将训练数据按9:1划分为训练集和验证集,载入YOLOv5网络,进行训练。加载训练得到的YOLOv5网络模型,可以对无人机航拍的实时影像给出预测结果。本实施例具备较高的准确率和实时性,为落叶松毛虫虫害树木识别与定位提供了高效的管理方法,提高了发现虫害数目位置信息的效率,减少了资源的消耗。
与现有技术相比,本发明具有如下优点:
1、本发明针对较少数据集提出了使用Imaug算法扩增的方式,在提供了有足量的训练样本的前提下保证了训练精度,并且使用YOLOv5模型解决了由于损失函数降为零导致的边框定位不准的问题,与自适应Anchor简化了训练过程降低了训练对机器的要求,并且能够自动检测识别落叶松毛虫虫害树木,提高了林区对落叶松毛虫虫害检测的工作效率,达到对落叶松毛虫虫害树木的及时发现处理的效果,方便林区管理。
2、本发明同时具备较高的准确率和实时性,为确定虫害位置提供了实时依据。本发明能够自动检测识别落叶松毛虫虫害树木,可以识别一片林区内的落叶松毛虫虫害树木,为加强林区管理及时确定发现落叶松毛虫虫害树木位置并为后续的防控提供了先验方法。
3、本发明提供了一种简便的创建数据集的方法,来处理训练过程中所需要的大量数据样本问题,并且需要一种每次训练之前,都会自动计算该数据集最合适的Anchor尺寸来保证推理速度和准确率,减小模型尺寸。本发明在数据方面选用了Imaug扩增,模型尺寸改进上Yolov5可自动计算。本发明提供了Imgaug算法通过对小样本图像数据进行翻转、增加噪点及对比度的操作来扩增数据集,在保证训练精度维持在91.8%的基础上极大的简化了数据集的创建,节省了人工。本发明提出了使用YOLOv5作为训练的网络模型,YOLOv5对比YOLOv3模型引入了四种权重文件,可以针对各种训练目标,更加灵活选择,针对落叶松毛虫虫害树木目标检测,本发明使用YOLOv5x.ymal权重文件在训练集上获得了91.8%的检测精度,并且相较于YOLOv3模型,YOLOv5模型引入了自适应Anchor及GIOU损失函数,简化了损失函数的求解过程并解决了IOU损失值降为零导致的识别框标定问题,使模型训练效率更高、精度更高。
图6为本发明基于YOLOv5的落叶松毛虫虫害检测识别系统实施例的结构图。参见图6,该基于YOLOv5的落叶松毛虫虫害检测识别系统包括:
落叶松遥感图像获取模块601,用于获取多张落叶松遥感图像;每张落叶松遥感图像中均包括多棵落叶松树木,且每张落叶松遥感图像中均包括落叶松毛虫虫害树木。
该落叶松遥感图像获取模块601具体包括:
落叶松遥感图像获取单元,用于利用无人机搭载DJIFC200相机获取多张分辨率为4000×3000的落叶松遥感图像。
落叶松遥感图像标定模块602,用于对落叶松遥感图像中的落叶松毛虫虫害树木进行标定,得到标定后的遥感图像;标定后的遥感图像包括落叶松毛虫虫害树木的边界框。
训练数据集构建模块603,用于利用标定后的遥感图像构建训练数据集;训练数据集包括各标定后的遥感图像。
训练数据集扩增模块604,用于对训练数据集进行扩增,得到扩增后的训练数据集。
该训练数据集扩增模块604具体包括:
训练数据集扩增单元,用于利用Imgaug算法对训练数据集进行随机水平翻转、改变对比度和增加噪点,得到扩增后的训练数据集。
YOLOv5模型训练和优化模块605,用于利用扩增后的训练数据集对YOLOv5模型进行训练和优化,得到优化后的YOLOv5模型。
该YOLOv5模型训练和优化模块605具体包括:
YOLOv5模型训练和优化单元,用于将扩增后的训练数据集输入YOLOv5模型,对YOLOv5模型进行训练,并利用GIoU Loss损失函数对YOLOv5模型进行优化,得到优化后的YOLOv5模型。
虫害树木识别模块606,用于将待识别遥感图像输入优化后的YOLOv5模型中,识别出待识别遥感图像中落叶松毛虫虫害树木的边界框。
本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间相同相似部分互相参见即可。对于实施例公开的系统而言,由于其与实施例公开的方法相对应,所以描述的比较简单,相关之处参见方法部分说明即可。
本文中应用了具体个例对本发明的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本发明的方法及其核心思想;同时,对于本领域的一般技术人员,依据本发明的思想,在具体实施方式及应用范围上均会有改变之处。综上所述,本说明书内容不应理解为对本发明的限制。
Claims (8)
1.一种基于YOLOv5的落叶松毛虫虫害检测识别方法,其特征在于,所述方法包括:
获取多张落叶松遥感图像;每张所述落叶松遥感图像中均包括多棵落叶松树木,且每张所述落叶松遥感图像中均包括落叶松毛虫虫害树木;
对所述落叶松遥感图像中的落叶松毛虫虫害树木进行标定,得到标定后的遥感图像;所述标定后的遥感图像包括落叶松毛虫虫害树木的边界框;
利用所述标定后的遥感图像构建训练数据集;所述训练数据集包括各所述标定后的遥感图像;
对所述训练数据集进行扩增,得到扩增后的训练数据集;
利用所述扩增后的训练数据集对YOLOv5模型进行训练和优化,得到优化后的YOLOv5模型;
将待识别遥感图像输入所述优化后的YOLOv5模型中,识别出所述待识别遥感图像中落叶松毛虫虫害树木的边界框。
2.根据权利要求1所述的基于YOLOv5的落叶松毛虫虫害检测识别方法,其特征在于,所述获取多张落叶松遥感图像,具体包括:
利用无人机搭载DJIFC200相机获取多张分辨率为4000×3000的落叶松遥感图像。
3.根据权利要求1所述的基于YOLOv5的落叶松毛虫虫害检测识别方法,其特征在于,所述对所述训练数据集进行扩增,得到扩增后的训练数据集,具体包括:
利用Imgaug算法对所述训练数据集进行随机水平翻转、改变对比度和增加噪点,得到扩增后的训练数据集。
4.根据权利要求1所述的基于YOLOv5的落叶松毛虫虫害检测识别方法,其特征在于,所述利用所述扩增后的训练数据集对YOLOv5模型进行训练和优化,得到优化后的YOLOv5模型,具体包括:
将所述扩增后的训练数据集输入YOLOv5模型,对所述YOLOv5模型进行训练,并利用GIoU Loss损失函数对所述YOLOv5模型进行优化,得到优化后的YOLOv5模型。
5.一种基于YOLOv5的落叶松毛虫虫害检测识别系统,其特征在于,所述系统包括:
落叶松遥感图像获取模块,用于获取多张落叶松遥感图像;每张所述落叶松遥感图像中均包括多棵落叶松树木,且每张所述落叶松遥感图像中均包括落叶松毛虫虫害树木;
落叶松遥感图像标定模块,用于对所述落叶松遥感图像中的落叶松毛虫虫害树木进行标定,得到标定后的遥感图像;所述标定后的遥感图像包括落叶松毛虫虫害树木的边界框;
训练数据集构建模块,用于利用所述标定后的遥感图像构建训练数据集;所述训练数据集包括各所述标定后的遥感图像;
训练数据集扩增模块,用于对所述训练数据集进行扩增,得到扩增后的训练数据集;
YOLOv5模型训练和优化模块,用于利用所述扩增后的训练数据集对YOLOv5模型进行训练和优化,得到优化后的YOLOv5模型;
虫害树木识别模块,用于将待识别遥感图像输入所述优化后的YOLOv5模型中,识别出所述待识别遥感图像中落叶松毛虫虫害树木的边界框。
6.根据模块权利要求5所述的基于YOLOv5的落叶松毛虫虫害检测识别系统,其特征在于,所述落叶松遥感图像获取模块具体包括:
落叶松遥感图像获取单元,用于利用无人机搭载DJIFC200相机获取多张分辨率为4000×3000的落叶松遥感图像。
7.根据模块权利要求5所述的基于YOLOv5的落叶松毛虫虫害检测识别系统,其特征在于,所述训练数据集扩增模块具体包括:
训练数据集扩增单元,用于利用Imgaug算法对所述训练数据集进行随机水平翻转、改变对比度和增加噪点,得到扩增后的训练数据集。
8.根据模块权利要求5所述的基于YOLOv5的落叶松毛虫虫害检测识别系统,其特征在于,所述YOLOv5模型训练和优化模块具体包括:
YOLOv5模型训练和优化单元,用于将所述扩增后的训练数据集输入YOLOv5模型,对所述YOLOv5模型进行训练,并利用GIoU Loss损失函数对所述YOLOv5模型进行优化,得到优化后的YOLOv5模型。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111444616.4A CN114140428A (zh) | 2021-11-30 | 2021-11-30 | 基于YOLOv5的落叶松毛虫虫害检测识别方法及系统 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202111444616.4A CN114140428A (zh) | 2021-11-30 | 2021-11-30 | 基于YOLOv5的落叶松毛虫虫害检测识别方法及系统 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN114140428A true CN114140428A (zh) | 2022-03-04 |
Family
ID=80390134
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202111444616.4A Pending CN114140428A (zh) | 2021-11-30 | 2021-11-30 | 基于YOLOv5的落叶松毛虫虫害检测识别方法及系统 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN114140428A (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117975312A (zh) * | 2024-03-28 | 2024-05-03 | 安徽大学 | 用于松材线虫病识别的无人机拍摄图像处理系统 |
CN117975312B (zh) * | 2024-03-28 | 2024-06-07 | 安徽大学 | 用于松材线虫病识别的无人机拍摄图像处理系统 |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2020103613A4 (en) * | 2020-11-23 | 2021-02-04 | Agricultural Information and Rural Economic Research Institute of Sichuan Academy of Agricultural Sciences | Cnn and transfer learning based disease intelligent identification method and system |
CN112329703A (zh) * | 2020-11-20 | 2021-02-05 | 北京林业大学 | 一种适宜识别松材线虫病遥感影像的深度卷积神经网络的构建方法 |
CN112580439A (zh) * | 2020-12-01 | 2021-03-30 | 中国船舶重工集团公司第七0九研究所 | 小样本条件下的大幅面遥感图像舰船目标检测方法及系统 |
CN113449806A (zh) * | 2021-07-12 | 2021-09-28 | 苏州大学 | 基于层次结构的二阶段林业害虫识别与检测系统及方法 |
WO2021203505A1 (zh) * | 2020-04-09 | 2021-10-14 | 丰疆智能软件科技(南京)有限公司 | 害虫检测模型构建方法 |
CN113538390A (zh) * | 2021-07-23 | 2021-10-22 | 仲恺农业工程学院 | 一种柚子病虫害的快速识别方法 |
-
2021
- 2021-11-30 CN CN202111444616.4A patent/CN114140428A/zh active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021203505A1 (zh) * | 2020-04-09 | 2021-10-14 | 丰疆智能软件科技(南京)有限公司 | 害虫检测模型构建方法 |
CN112329703A (zh) * | 2020-11-20 | 2021-02-05 | 北京林业大学 | 一种适宜识别松材线虫病遥感影像的深度卷积神经网络的构建方法 |
AU2020103613A4 (en) * | 2020-11-23 | 2021-02-04 | Agricultural Information and Rural Economic Research Institute of Sichuan Academy of Agricultural Sciences | Cnn and transfer learning based disease intelligent identification method and system |
CN112580439A (zh) * | 2020-12-01 | 2021-03-30 | 中国船舶重工集团公司第七0九研究所 | 小样本条件下的大幅面遥感图像舰船目标检测方法及系统 |
CN113449806A (zh) * | 2021-07-12 | 2021-09-28 | 苏州大学 | 基于层次结构的二阶段林业害虫识别与检测系统及方法 |
CN113538390A (zh) * | 2021-07-23 | 2021-10-22 | 仲恺农业工程学院 | 一种柚子病虫害的快速识别方法 |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN117975312A (zh) * | 2024-03-28 | 2024-05-03 | 安徽大学 | 用于松材线虫病识别的无人机拍摄图像处理系统 |
CN117975312B (zh) * | 2024-03-28 | 2024-06-07 | 安徽大学 | 用于松材线虫病识别的无人机拍摄图像处理系统 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN113065558B (zh) | 一种结合注意力机制的轻量级小目标检测方法 | |
Jia et al. | Detection and segmentation of overlapped fruits based on optimized mask R-CNN application in apple harvesting robot | |
CN108921057B (zh) | 基于卷积神经网络的对虾形态测量方法、介质、终端设备及装置 | |
CN110796048B (zh) | 一种基于深度神经网络的船舰目标实时检测方法 | |
CN112598713A (zh) | 一种基于深度学习的近岸海底鱼类检测、跟踪统计方法 | |
CN113160062B (zh) | 一种红外图像目标检测方法、装置、设备及存储介质 | |
CN111832414B (zh) | 一种基于图正则光流注意力网络的动物计数方法 | |
CN109492665A (zh) | 水稻生育期的检测方法、装置及电子设备 | |
CN114724022B (zh) | 融合SKNet与YOLOv5的养殖鱼群检测方法、系统和介质 | |
Rong et al. | Pest Identification and Counting of Yellow Plate in Field Based on Improved Mask R‐CNN | |
CN109635634A (zh) | 一种基于随机线性插值的行人再识别数据增强方法 | |
CN110827312A (zh) | 一种基于协同视觉注意力神经网络的学习方法 | |
CN115272828A (zh) | 一种基于注意力机制的密集目标检测模型训练方法 | |
CN114140665A (zh) | 一种基于改进YOLOv5的密集小目标检测方法 | |
CN116740758A (zh) | 一种防止误判的鸟类图像识别方法及系统 | |
CN115546187A (zh) | 基于YOLO v5的农业病虫害检测方法及装置 | |
CN113312999B (zh) | 一种自然果园场景下的柑橘木虱高精度检测方法及装置 | |
CN112699836A (zh) | 低空水田图像的分割方法、装置和电子设备 | |
CN115862119B (zh) | 基于注意力机制的人脸年龄估计方法及装置 | |
CN116721344A (zh) | 基于航拍设备的植被检测方法、装置和设备 | |
CN114037737B (zh) | 一种基于神经网络的近岸海底鱼类检测及跟踪统计方法 | |
CN114782875B (zh) | 一种基于鱼道构建的鱼类细粒度信息获取方法 | |
CN110705698A (zh) | 尺度自适应感知的目标计数深度网络设计方法 | |
CN116205879A (zh) | 一种基于无人机图像及深度学习的小麦倒伏面积估算方法 | |
CN116385717A (zh) | 叶面病害识别方法、装置、电子设备、存储介质及产品 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |