CN117496325A - 一种基于改进YOLOv5s模型的水稻害虫检测方法及装置 - Google Patents

一种基于改进YOLOv5s模型的水稻害虫检测方法及装置 Download PDF

Info

Publication number
CN117496325A
CN117496325A CN202311333547.9A CN202311333547A CN117496325A CN 117496325 A CN117496325 A CN 117496325A CN 202311333547 A CN202311333547 A CN 202311333547A CN 117496325 A CN117496325 A CN 117496325A
Authority
CN
China
Prior art keywords
model
module
improved
rice
yolov5s
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202311333547.9A
Other languages
English (en)
Inventor
左世余
刘勇
吕丰顺
李学琨
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nantong Xikerui Intelligent Technology Co ltd
Heilongjiang University
Original Assignee
Nantong Xikerui Intelligent Technology Co ltd
Heilongjiang University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nantong Xikerui Intelligent Technology Co ltd, Heilongjiang University filed Critical Nantong Xikerui Intelligent Technology Co ltd
Priority to CN202311333547.9A priority Critical patent/CN117496325A/zh
Publication of CN117496325A publication Critical patent/CN117496325A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)

Abstract

本发明涉及一种基于改进YOLOv5s模型的水稻害虫检测方法及装置，水稻害虫检测方法，包括以下步骤：S1、采集水稻害虫图像构成原始数据集，将原始数据集进行数据增强，得到水稻害虫数据集；S2、基于Y0L0v5s模型构建改进Y0L0v5s模型；S3、将水稻害虫数据集输入改进Y0L0v5模型进行训练；S4、拍摄水稻图片，将图片上传至已部署改进Y0L0v5模型的处理器中，获得识别结果；水稻害虫检测装置，包括：采集模块，通信系统，识别模块，处置模块，根据害虫识别结果对水稻进行处置。本发明在Y0L0v5s的模型结构上，替换C3结构为C2f，并添加SimAM注意力机制，采用BiFPN结构和CARAFE算子，相较于原Y0L0v5s算法精确度、召回率、平均精度均得到了提升，有效的提高了工作效率，降低误检率，提升了监测效率。

Description

一种基于改进YOLOv5s模型的水稻害虫检测方法及装置
技术领域
本发明涉及作物防治技术领域，具体为一种基于改进YOLOv5s模型的水稻害虫检测方法及装置。
背景技术
我国作为农业大国，农业在国民经济体系中占有主导地位，因此保证农业稳步发展对国民来说意义重大，而农业作物中与国民关系最大的就是粮食作物。水稻，作为我国重要的粮食作物之一，其产量对居民生活与社会稳定有着重要的影响，随着国家和社会现代化水平的提高，中国的农业水平毋庸置疑地得到了加强，农作物的产量经过代代先辈的研究逐年递增，但影响作物产量的因素一直存在。虫害问题很大程度影响了农作物的产量，而对田间害虫进行实时准确监测和精准有效防治，可以很好减少其带来的损失。害虫检测旨在检测田间的害虫数目和害虫种类，为害虫精准防治提供重要依据，为农民精确喷洒农药提供重要参考。此方法一方面可降低农民的生产消耗，另一方面减少作物上的农药残留及降低农药喷洒对环境的破坏。以水稻为例，水稻害虫会在水稻的生长的不同阶段对稻苗的根、茎、叶等不同部位进行啃食，影响其自身生长，为了消灭害虫，人们常常会使用农药杀虫，这样会大大降低产量，但若能及早的发现，就能提前对害虫进行处理，精准防治，避免水稻大量减产。
在深度学习出现之前，传统的害虫测报方式主要为人工识别，这种方法费时费力且技术效率低。但随着互联网的出现，深度学习的不断被前人推陈出新，计算机视觉技术取得了许多有效的成果，在目标检测领域，诞生了众多经典算法，如SSD，VGG，RCNN等。在交通、医学以及安全等多个领域得到广泛应用，其中，Y0L0系列算法是一种单阶段目标检测算法，将输入图片划分为不同区域，使用网格进行表示，对每个网格的内容进行预测。相比于两阶段检测，简化了运算流程，具有较快的检测速度和实时精度，在目标检测领域应用较广，是一个十分适合实际应用的检测框架。
Y0L0v5算法较之前系列的算法虽然检测速度与精度都得到了提升，但是应用于田间害虫图像的检测，由于对害虫图像特征细节信息提取的不全面，仍存在误检与漏检现象。因此，为解决上述问题，现提出一种基于改进YOLOv5s模型的水稻害虫检测方法及装置。
发明内容
本发明目的是提供一种基于改进YOLOv5s模型的水稻害虫检测方法及装置，以解决现有技术中通用YOLOv5s算法对水稻害虫检测相关参数较低，检测速度和目标检测精度不理想的问题。
为实现上述目的，本发明提供如下技术方案：一种基于改进YOLOv5s模型的水稻害虫检测方法，包括以下步骤：
S1、采集水稻害虫图像构成原始数据集，将原始数据集进行数据增强，得到水稻害虫数据集，根据所选数据集的形状特征及纹理特征，将水稻害虫数据集按以8:1:1的比例分为训练集、验证集和测试集；
S2、基于Y0L0v5s模型构建改进Y0L0v5s模型，待测图片进行特征提取前，对数据集进行数据处理，并且在模型训练前设置训练参数；
S3、将水稻害虫数据集输入改进Y0L0v5模型进行训练，将训练后最佳的权重参数加载至改进Y0L0v5模型，得到优化的检测模型；
S4、拍摄水稻图片，将图片上传至已部署改进Y0L0v5模型的处理器中，在部署的处理器中通过定义的锚框对待测图片不同的特征部位进行框选，通过不同位置的框选得出类别概率最高的作为结果，将框选结果中类别概率低的分类存储在改进Y0L0v5模型中，当下一张待测图片进行检测时除了进行正常框选还与其进行对比，通过不断学习调整网络中的权重，获得识别结果；
优选的，还包括：S5、根据识别结果进行显示，并对水稻进行喷药处置。
优选的，步骤S2中，所述改进Y0L0v5s模型包括骨干网络、颈部网络、检测头，所述骨干网络包括CBS模块、CSP模块、C2f模块、SimAM模块、SPPF模块，所述颈部网络包括CBS模块、BiFPN模块、C2f模块、CARAFE模块，所述检测头模块包括Conv模块，所述CSP模块由CBS模块、C2f模块构成。
优选的，步骤S2中，所述改进YOLOv5s模型的运行步骤如下：
A1、输入的图片经过图像预处理变为样本图片，样本图片经过 CBS模块输出特征图；
A2、将输出的特征图依次通过CSP模块获得丰富的梯度信息，到达骨干网络末尾的SimAM模块，关注目标的深层特征；
A3、通过SPPF模块空间池化进入颈部网络进行进一步的特征提取；
A4、通过上采样算子CARAFE模块进行两次重复采样，保留了待测特征图的更多细节特征和重要信息；
A5、将采样后的特征图输入BiFPN模块，将不同尺度的特征信息进行融合，加强网络特征融合能力；
A6、在检测头的Conv模块基于特征融合输出的三个尺度的融合特征进行分类检测，输出最终的目标检测结果。
优选的，步骤S3中，所述改进YOLOv5s模型训练方法如下步骤：
B1、将训练集输入改进的YOLOv5s模型，首先经过卷积获得特征图，然后进入改进的CSP结构；
B2、特征图进入骨干网络末尾的SimAM模块，关注目标的深层特征，进入空间池化模块SPPF进行进一步的特征提取；
B3、接下来进入颈部网络，通过上采样算子CARAFE模块，增大感受野，保留更多细节特征，增强小目标的特征表达能力；
B4、然后在特征融合阶段使用加权双向特征金字塔网络BiFPN结构，对不同尺度的特征信息进行融合，加强网络特征融合能力；
B5、最后在Conv模块进行分类；
B6、训练完成将识别结果与标注结果进行对比，正确的进行显示，错误的储存在处理器的网络模型中，再有类似错误情况出现时直接进行处理。
一种改进YOLOv5s模型的水稻害虫检测装置，包括：
采集模块，用于采集水稻害虫图片；
通信系统，用于将采集的图片上传和指令的传输；
识别模块，用于搭载改进YOLOv5s模型对采集的图片进行水稻害虫识别；
处置模块，根据害虫识别结果对水稻进行处置。
一种计算机设备，包括控制器、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行计算机程序时实现如所述的一种基于改进YOLOv5s模型的水稻害虫检测方法，所述控制器对处理器发出指令，控制处理器的运行，完成识别结果的显示以及喷药模块的开启和关闭。
一种计算机可读存储介质，其上存储有计算机程序，所述计算机可读存储介质为存储器，存储有训练完成的改进YOLOv5s模型，所述存储器还存储有采集模块所传输的样本信息与处理器识别完成后的类别信息。
本发明至少具备以下有益效果：
1、本发明在Y0L0v5s的模型结构上，替换了C3结构（CSP）为C2f，不仅进一步优化了特征提取，使网络更深，参数更多，还获得丰富的梯度流信息与合理的延迟，增强了对目标的表达能力，并添加SimAM注意力机制，无需额外引入参数，增加了运算速度，减少特征冗余，可以获得高维语义信息(即更加关注目标的深层特征)，使特征更具有全局性，方便对目标进行识别，模型的参数量变化较小，同时采用BiFPN结构，从自顶向下和自底向上两条路径进行特征融合，同时BiFPN删除冗余节点，并且利用对输入增加权重的方法加强了网络特征的融合能力，提升目标检测精度，提高模型鲁棒性，并采用CARAFE算子，利用上采样核预测及特征重组，使网络上采样时有更大的感受野，同时保留了更多重要信息和细节特征，滤除与小目标无关的背景噪声，增强对害虫目标特征的表示能力，相较于原Y0L0v5s算法精确度、召回率、平均精度均得到了提升，有效的提高了工作效率，降低误检率，提升了监测效率。
2、本发明通过对改进YOLOv5s模型进行训练，将训练后的最佳的权重参数加载至改进Y0L0v5模型，获得优化的检测模型，同时在检测过程中，根据实地拍摄水稻图片，将图片上传至已部署改进Y0L0v5模型的处理器中，在部署的处理器中通过定义的锚框对待测图片不同的特征部位进行框选，通过不同位置的框选得出类别概率最高的作为结果，将框选结果中类别概率低的分类存储在改进Y0L0v5模型中，当下一张待测图片进行检测时除了进行正常框选还与其进行对比，通过不断学习调整网络中的权重，获得更加精准的识别结果。
附图说明
图1为本发明中一种基于改进YOLOv5s模型的水稻害虫检测方法流程图；
图2为本发明中一种基于改进YOLOv5s模型的水稻害虫检测装置原理图；
图3为本发明中改进Y0L0v5s神经网络的结构示意图；
图4为本发明中改进的Y0L0v5s神经网络的C2f结构示意图；
图5为本发明与其他改进算法的平均精度均值对比图。
具体实施方式
下面对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
实施例一
参阅图1-4，本发明提供一种基于改进YOLOv5s模型的水稻害虫检测方法，包括以下步骤：
S1、构建害虫数据集，采集水稻害虫图像构成原始数据集，水稻害虫原始数据集是由常见水稻害虫成虫图像构成，再通过旋转、翻转、灰度变化的图像预处理方式，将水稻害虫图像的的原始数据集进行数据增强，得到新的水稻害虫数据集，使用精灵标注助手对水稻害虫数据集进行标注形成样本标签，根据所选数据集的形状特征及纹理特征，将数据集按以8:1:1的比例分为训练集、验证集和测试集，并将数据集中的图片统一缩放为640×640，图像标注信息保存为HTTP文件（.xml）形式，使用代码将其转化为文本（.txt）形式。
例如，黑龙江地区的4种常见水稻害虫，包括稻蓟马、二化螟、中华稻蝗和稻纵卷叶螟四种，采集图像共计335幅，剔除掉特征不清晰的图像后，共计208幅，进行图像预处理后，获得的水稻害虫数据集容量增加到1300左右，其中稻蓟马图像305幅，二化螟图像392幅，中华稻蝗图像317幅，稻纵卷叶螟图像308幅，样本标签共四类Oxya chinensis、Chilosuppressalis、Guenee、rice thrips。
S2、构建改进Y0L0v5s模型，基于Y0L0v5s模型构建改进的Y0L0v5s算法，进行特征提取前，对水稻害虫数据集使用Mosaic进行数据处理，即使用Mosaic将四张图片通过随机缩放、随机裁剪、随机排布的方式拼接在一起，并且在模型训练前设置训练参数，训练参数包括学习率、学习率动量、批次大小、训练总轮数；
具体的，Mosaic将四张图片通过翻转、缩放、色域变化、混合四个不同的上下文信息拼接为一张图片，相当于增大了模型训练的批次图片数量，增强模型的鲁棒性；
其中，如图3所示，改进Y0L0v5s模型包括骨干网络(Backbone)、颈部网络(Neck)、检测头(Head)；
所述骨干网络包括CBS模块、C2f模块、CSP模块、SimAM模块、SPPF模块；
所述颈部网络包括CBS模块、BiFPN模块、C2f模块、CARAFE模块、CSP模块；
所述检测头包括Conv模块；
所述CSP模块由CBS模块、C2f模块构成。
改进Y0L0v5s模型的运行步骤如下：
A1、输入的图片经过Mosaic图像预处理变为640×640×3的样本图片，首先经过CBS模块，得到320×320×64的特征图；
A2、将输出的特征图依次通过CSP模块（CBS模块、C2f模块构成）获得丰富的梯度信息，到达骨干网络末尾的SimAM模块，关注目标的深层特征；
A3、通过SPPF模块空间池化进入颈部网络（Neck）进行进一步的特征提取；
A4、通过上采样算子CARAFE模块进行两次重复采样，保留了待测图的更多细节特征和重要信息；
A5、将采样后的特征图输入BiFPN模块，将不同尺度的特征信息进行融合，加强网络特征融合能力；
A6、在检测头(Head)的Conv模块基于特征融合输出的三个尺度的融合特征进行分类检测，输出最终的目标检测结果。
上述基于Y0L0v5s模型构建改进Y0L0v5s模型的方法如下：
1、改进Y0L0v5s模型的C2f模块以C3及ELAN结构作为参考，具体是指将最后一个卷积层后接一个全连接层，将卷积输出特征图展平后再进行分类或回归操作，相比于原CSP结构对卷积得到的特征图沿通道轴方向分割成两部分，每部分进行不同尺度的卷积与跨层链接的方法，不仅进一步优化了特征提取，使网络更深，参数更多，还获得丰富的梯度流信息，增强了对目标的表达能力；
2、在骨干网络中的末尾及空间池化模块SPPF之前加入无参注意力机制SimAM，增加运算速度，减少特征冗余，更加关注目标的深层特征，方便对目标进行识别；
3、在采样阶段采取CARAFE采样方法代替最近邻插值法，通过CARAFE模块保留了更多重要信息和细节特征，不会造成采样特征图的模糊，提升模了型的检测精度，让模型鲁棒性变得更好；
4、在特征融合阶段使用加权双向特征金字塔网络BiFPN代替原有PANet结构，对不同尺度的特征信息进行融合，加强网络特征融合能力；
改进YOLOv5s模型与原YOLOv5s模型相比提升了对待测图片的检测能力，降低漏掉率，检测更多图像特征，如形状特征、颜色特征、纹理特征等，提升算法通用性、提升模型的检测精度、加速训练过程和提高模型的鲁棒性。
具体的，上述构建改进Y0L0v5s模型的方法中，涉及到的改进模块及其改进如下：
1、C2f 模块
原有C3网络结构包含了3个卷积模块和n个Bottleneck模块，卷积模块分别为cv1，cv2，cv3组成，cv1与cv2的通道数是相同的，cv3由包括n个Bottleneck模块的主梯度流分支及包含卷积模块的依旧梯度流分支拼接得到的；
如图4，C2f模块为2个CBS模块及n个BottleNeck模块，通过设计并行更多的梯度流分支，可以获得更丰富的梯度信息同时保证模型的轻量化，进而得到更高的精度和更合理的延迟，C2f模块中的BottleNeck模块由2个3X3的卷积层组成，避免了使用原来的卷积层带来的维度不足的情况；
C2f模块具体操作为：在网络结构的主梯度流分支串联了n个Bottleneck模块，模块的输出进行n重并行，并且每个BottleNeck模块的输出都进行concat拼接；
C2f模块对特征图的具体操作如下：
输入图像送入一个标准卷积网络，得到特征提取后的特征图，再对特征图进行Split切片操作，将特征图送入两个子卷积网络进行处理；
其中一个网络使用交叉卷积层来学习更深层次的特征，另一个网络使用标准卷积层来学习更浅层次的特征；
再将上述两个子卷积网络的输出特征图通进行特征融合，得到一个梯度信息更加丰富的特征向量；
将融合后的特征向量再送入C2f结构的下一个卷积层进行处理，继续提取更深层次的特征；
通过n个并行Bottleneck模块进行多次重复卷积，直到得到最终的特征图。
2、SimAM模块
SimAM模块结合通道维度和空间维度，定义统一通道维度和空间维度的三维注意力权重，寻找目标神经元和其他神经元的线性可分性，通过 3D 权重，对特征中的每个点都赋上单独的标量，通过这种统一权重，使得特征更具有全局性，具体是基于神经科学理论设计一种能量函数，通过能量函数的解析计算提高了注意力权值的计算速度；
能量函数：
式中：、/>分别为输入特征X的目标神经元和其他神经元，/>为空间维度上的索引号，/>为某个通道上所有神经元的个数，/>为标签值，表示是否为重要神经元，/>、/>分别为加权与偏置；
最小能量：
式中，表示神经元，/>表示神经元/>的相邻神经元，/>表示超参数；
SimAM模块无需向网络中引入额外模型参数，通过发掘每个神经元的重要性来计算注意力权重，通过对特征图进行加权计算获得包含更精准细节信息的特征图。
3、CARAFE模块
CARAFE采样主要分为2个部分：上采样核预测及特征重组，即首先利用骨干网络的输入特征图来预测上采样核，每个位置的上采样核是不同的，然后基于预测的上采样核来进行特征重组；
在上采样核预测部分中，首先将输入的特征图的通道数进行压缩，通过卷积操作将上述压缩的通道数实现内容编码生成重组核，而后对得到的上采样核进行 softmax 归一化，使卷积核的权重和为1；
在特征重组部分，将输出特征图中的每个位置映射回输入特征图中，取以其为中心的的原特征图区域和该点的预测上采样核作点积得到，相同位置的不同通道共享同一个上采样核，最终得到的新特征图。
4、BiFPN模块
采用BiFPN对PANet进行改进，加权双向特征金字塔(BiFPN)运用双向融合思想，重新构造了自顶向下和自底向上的路线，对不同尺度的特征信息进行融合，增强了网络的信息提取能力，通过上采样和下采样统一特征分辨率尺度，并且在同一尺度的特征图之间建立了双向连接，使其低层次的位置信息能够和高层次对的语义信息更好的结合，在一定程度上解决了特征信息遗失的问题，能够更好地融合不同尺寸特征图的特征信息；还引入了跳跃连接，即在相同尺度的输入节点到输出节点中间再增加1个跳跃连接，因为运算处于相同层，该方法可在参数较少的同时结合更多特征．BIFPN将每一条双向路径视作1个特征网络层，并对同一层参数进行多次计算，以实现更多的特征融合；删除冗余节点，并且利用对输入增加权重的方法，区分特征融合过程中不同特征的重要程度，提高多尺度目标特征的融合度；
以P2层为例，特征融合计算公式为；
BiFPN快速归一化公式：
式中：表示输入特征，/>、/>表示权重，/>表示数值极小的值，/>表示加权融合的结果。
S3、优化检测模型，将水稻害虫数据集输入改进Y0L0v5模型进行训练，将训练后最佳的权重参数加载至改进Y0L0v5模型，得到优化的检测模型；
改进Y0L0v5模型训练过程如下：
B1、将训练集输入改进Y0L0v5模型，首先经过卷积获得特征图，然后进入改进的CSP模块；
B2、特征图之后进入骨干网络末尾的SimAM模块，关注目标的深层特征，进入空间池化模块SPPF进行进一步的特征提取；
B3、接下来进入颈部网络，通过CARAFE模块增大感受野，保留更多细节特征，增强小目标的特征表达能力；
B4、特征融合阶段，通过BiFPN模块对不同尺度的特征信息进行融合，加强网络特征融合能力；
B5、最后在Conv模块进行分类；
B6、训练完成将识别结果与标注结果进行对比，正确的进行显示，错误的储存在处理器的网络模型中，再有类似错误情况出现时直接进行处理减少计算量，从而通过不断利用装置中搭载的改进模型进行训练学习，降低错误率，得到精准的害虫识别结果。
S4、水稻害虫检测，拍摄水稻图片并将图片上传至已部署改进YOLOv5s模型的处理器中，在部署的处理器中通过定义的锚框对待测图片不同的特征部位进行框选，通过不同位置的框选得出类别概率最高的作为结果，将框选结果中类别概率低的分类存储在网络模型中，当下一张待测图片进行检测时除了进行正常框选还与其进行对比，通过不断学习调整网络中的权重，获得更快更精准的识别结果。
S5、水稻处置，根据识别结果进行显示，根据显示出的信息，判断是否执行对水稻进行喷药处置。
实例二
如图2所示，本发明还提供一种改进YOLOv5s模型的水稻害虫检测装置，包括：
采集模块，采集模块在图2中表示为摄像头，使用该装置上搭载的摄像头对水稻进行拍摄，采集水稻害虫图片，采集的水稻害虫图片上传至控制器；
通信系统，通信系统用于控制器与处理器之间的数据传输，控制器将采集到的图片和指令通过通信系统上传入处理器以进行水稻害虫识别；
识别模块，从存储器中将程序导入处理器，搭载目标检测模型，目标检测模型为改进YOLOv5s模型，改进YOLOv5s模型训练完成后，对采集到的害虫图片进行识别，将识别结果与标注结果进行对比，正确的进行显示，错误的储存在处理器的网络模型中，在有类似错误情况出现时直接进行处理减少计算量，通过不断利用装置中搭载的改进YOLOv5s模型进行训练学习，降低错误率，得到精准的害虫识别结果；
显示模块，显示模块可以是显示器，显示模块根据识别结果进行害虫具体信息的显示；
处置模块，处置模块在图2中表示为喷药模块，根据显示出的害虫信息，通过喷药模块对水稻进行喷药处置。
进一步的，改进算法在步骤3的模型训练的过程中，使用Ubuntu系统，配置CPU为14vCPU Intel(R) Xeon(R) Gold 6330 CPU @ 2.00GHz，软件环境为Python 3.8，使用RTX3090(24GB)GPU进行计算，深度学习框架为PyTorch 1.11.0，Cuda 11.3；
其中，新模型使用随机优化算法Adam，训练轮数为100，批次大小为32，动量参数为0.9，初始学习率为0.01。
实施例三
如图2所示，本发明还提供了一种计算机设备，包括控制器、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行计算机程序时实现如实施例一中的一种基于改进YOLOv5s模型的水稻害虫检测方法，所述控制器数据连接采集单元（采集单元为摄像头）、电源装置、处置模块（处置模块为喷药模块），所述控制器通过通信系统与处理器进行数据传输，所述处理器数据连接存储器和显示模块，所述存储器与识别模块数据连接，通过控制器对处理器发出指令，控制器控制处理器的运行，即进行原始数据集的采集、改进YOLOv5s模型的训练、改进YOLOv5s模型对拍摄的害虫图片进行识别、识别结果的显示以及喷药模块的开启和关闭。
实施例四
参见图2，本发明还提供了一种计算机可读存储介质，在图2中表示为存储器，其上存储有训练完成的改进Y0L0v5s模型，该程序被执行时实现如实施例一中的一种基于改进YOLOv5s模型的水稻害虫检测方法，此外，存储器还存储着采集模块（摄像头）所传输的样本信息与处理器识别完成后的类别信息。
在上述实施例的基础上，针对本发明提出的改进YOLOv5s模型进行消融实验，具体参阅表一和图5；
表一：消融实验模型比较
网络模型 精确度 召回率 平均精度均值 模型大小
模型1(YOLOv5s1) 85.2% 81.6% 87.4% 14.5M
模型2(YOLOv5s2) 94.4% 82.4% 88.5% 14.9M
模型3(YOLOv5s3) 86.5% 86.0% 88.3% 15.4M
模型4(YOLOv5s4) 87.6% 85.2% 87.4% 16.7M
模型5(YOLOv5s5) 88.3% 85.3% 89.2% 21.8M
模型6(YOLOv5s6) 87.4% 85.2% 89.8% 19.6M
表一所示水稻害虫数据集共有四类害虫：Oxya chinensis、Chilo suppressalis、Guenee 、rice thrips，共1300张左右。
模型1是原YOLOv5s网络；
模型2是在原网络中采取CARAFE采样；
模型3是将原网络的颈部网络替换为BiFPN；
模型4在原模型的基础上将空间金字塔池化方式改为分组SPPCSPC；
模型5是在模型4的基础上采用模型2的采样方式，同时将C3结构变为C2f，再将颈部网络更改为模型3的方式；
模型6则将C3结构替换为C2f结构，选择CARAFE算子采样，在骨干网络末尾添加SimAM无参注意力模块，设置特征融合网络为BiFPN，得到本发明最终的改进YOLOv5s模型，模型训练轮数为100，批次数为32。
由表1可知，相比模型1(YOLOv5s1)，模型2-6的表现具体如下：
模型2的精准度提高了9.2%，召回率提高了0.8%、平均精度均值提高了1.1%，以上数值的变化说明CARAFE采样相比于最邻近插值值采样，能保留特征图更多重要信息与细节特征，对检测的精确度的提升有很大帮助，在召回率与平均精度均值上增强效果不明显；
模型3在模型1的颈部网络中将特征融合网络更改为BiFPN网络，增强了网络的信息提取能力，获得了更多不同尺寸的特征信息，精确度提高了1.3%，召回率提升了4.4%，平均精度均值提升了0.9%；
模型4在模型1的基础上只更改了空间金字塔的池化方式，分组SPPCSPC结构通过大小5，9，13，1的卷积核进行空间池化，精确度与召回率得到了较大提升，分别是2.4%与3.6%，以上数据说明分组SPPCSPC结构将SPP与CSP结构进行集成可以融合更多的特征，但相应的模型复杂度的增加，其体积也较为增加；
模型5在模型1的基础上采用C2f结构，分组SPPCSPC结构，BiFPN网络与CARAFE采样方式，精确度，召回率，平均精度与模型参数量均有很大增加，精确度提升了3.1%，召回率提升了2.7%，平均精度均值提升了1.8%；
模型6与模型5结构类似，空间池化方式为SPPF，同时在骨干网络的末尾添加SimAM注意力机制，精确度提升了1.8%，召回率提升了3.6%，平均精度均值增加了2.4%，以上数据说明在将空间池化方式的改进替换为增加SimAM注意力机制后，模型对细节信息的检测与提取能力得到加强，由以上指标可以得出，改进后的模型能更加准确地识别多尺度的害虫目标，减小误检漏检率，并且在不断的训练学习过程中，能够实现更加精确的识别。
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程程产品的形式。
以上显示和描述了本发明的基本原理和主要特征和本发明的优点，对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本发明内。
尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

Claims (8)

1.一种基于改进YOLOv5s模型的水稻害虫检测方法，其特征在于，包括以下步骤：
S1、采集水稻害虫图像构成原始数据集，将原始数据集进行数据增强，得到水稻害虫数据集，根据所选数据集的形状特征及纹理特征，将水稻害虫数据集按以8:1:1的比例分为训练集、验证集和测试集；
S2、基于Y0L0v5s模型构建改进Y0L0v5s模型，待测图片进行特征提取前，对数据集进行数据处理，并且在模型训练前设置训练参数；
S3、将水稻害虫数据集输入改进Y0L0v5模型进行训练，将训练后最佳的权重参数加载至改进Y0L0v5模型，得到优化的检测模型；
S4、拍摄水稻图片，将图片上传至已部署改进Y0L0v5模型的处理器中，在部署的处理器中通过定义的锚框对待测图片不同的特征部位进行框选，通过不同位置的框选得出类别概率最高的作为结果，将框选结果中类别概率低的分类存储在改进Y0L0v5模型中，当下一张待测图片进行检测时除了进行正常框选还与其进行对比，通过不断学习调整网络中的权重，获得识别结果。
2.如权利要求1所述的一种基于改进YOLOv5s模型的水稻害虫检测方法，其特征在于，还包括：S5、根据识别结果进行显示，并对水稻进行喷药处置。
3.如权利要求1所述的一种基于改进YOLOv5s模型的水稻害虫检测方法，其特征在于：步骤S2中，所述改进Y0L0v5s模型包括骨干网络、颈部网络、检测头，所述骨干网络包括CBS模块、CSP模块、C2f模块、SimAM模块、SPPF模块，所述颈部网络包括CBS模块、BiFPN模块、C2f模块、CARAFE模块，所述检测头模块包括Conv模块，所述CSP模块由CBS模块、C2f模块构成。
4.如权利要求3所述的一种基于改进YOLOv5s模型的水稻害虫检测方法，其特征在于，步骤S2中，所述改进YOLOv5s模型的运行步骤如下：
A1、输入的图片经过图像预处理变为样本图片，样本图片经过 CBS模块输出特征图；
A2、将输出的特征图依次通过CSP模块获得丰富的梯度信息，到达骨干网络末尾的SimAM模块，关注目标的深层特征；
A3、通过SPPF模块空间池化进入颈部网络进行进一步的特征提取；
A4、通过上采样算子CARAFE模块进行两次重复采样，保留了待测特征图的更多细节特征和重要信息；
A5、将采样后的特征图输入BiFPN模块，将不同尺度的特征信息进行融合，加强网络特征融合能力；
A6、在检测头的Conv模块基于特征融合输出的三个尺度的融合特征进行分类检测，输出最终的目标检测结果。
5.如权利要求4所述的一种基于改进YOLOv5s模型的水稻害虫检测方法，其特征在于：步骤S3中，所述改进YOLOv5s模型训练方法如下步骤：
B1、将训练集输入改进的YOLOv5s模型，首先经过卷积获得特征图，然后进入改进的CSP结构；
B2、特征图进入骨干网络末尾的SimAM模块，关注目标的深层特征，进入空间池化模块SPPF进行进一步的特征提取；
B3、接下来进入颈部网络，通过上采样算子CARAFE模块，增大感受野，保留更多细节特征，增强小目标的特征表达能力；
B4、然后在特征融合阶段使用加权双向特征金字塔网络BiFPN结构，对不同尺度的特征信息进行融合，加强网络特征融合能力；
B5、最后在Conv模块进行分类；
B6、训练完成将识别结果与标注结果进行对比，正确的进行显示，错误的储存在处理器的网络模型中，再有类似错误情况出现时直接进行处理。
6.一种改进YOLOv5s模型的水稻害虫检测装置，其特征在于，包括：
采集模块，用于采集水稻害虫图片；
通信系统，用于将采集的图片上传和指令的传输；
识别模块，用于搭载改进YOLOv5s模型对采集的图片进行水稻害虫识别；
处置模块，根据害虫识别结果对水稻进行处置。
7.一种计算机设备，其特征在于：包括控制器、存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行计算机程序时实现如权利要求1至5中任一项所述的一种基于改进YOLOv5s模型的水稻害虫检测方法，所述控制器对处理器发出指令，控制处理器的运行，完成识别结果的显示以及喷药模块的开启和关闭。
8.一种计算机可读存储介质，其上存储有计算机程序，其特征在于：所述计算机可读存储介质为存储器，存储有训练完成的改进YOLOv5s模型，所述存储器还存储有采集模块所传输的样本信息与处理器识别完成后的类别信息。
CN202311333547.9A 2023-10-16 2023-10-16 一种基于改进YOLOv5s模型的水稻害虫检测方法及装置 Pending CN117496325A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311333547.9A CN117496325A (zh) 2023-10-16 2023-10-16 一种基于改进YOLOv5s模型的水稻害虫检测方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311333547.9A CN117496325A (zh) 2023-10-16 2023-10-16 一种基于改进YOLOv5s模型的水稻害虫检测方法及装置

Publications (1)

Publication Number Publication Date
CN117496325A true CN117496325A (zh) 2024-02-02

Family

ID=89675345

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311333547.9A Pending CN117496325A (zh) 2023-10-16 2023-10-16 一种基于改进YOLOv5s模型的水稻害虫检测方法及装置

Country Status (1)

Country Link
CN (1) CN117496325A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118015432A (zh) * 2024-04-09 2024-05-10 西北农林科技大学深圳研究院 一种害虫识别方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118015432A (zh) * 2024-04-09 2024-05-10 西北农林科技大学深圳研究院 一种害虫识别方法及系统

Similar Documents

Publication Publication Date Title
Parvathi et al. Detection of maturity stages of coconuts in complex background using Faster R-CNN model
Wang et al. Plant disease detection and classification method based on the optimized lightweight YOLOv5 model
CN112270347A (zh) 一种基于改进ssd的医疗废弃物分类检测方法
Hao et al. Growing period classification of Gynura bicolor DC using GL-CNN
Silver et al. In vino veritas: Estimating vineyard grape yield from images using deep learning
CN117496325A (zh) 一种基于改进YOLOv5s模型的水稻害虫检测方法及装置
CN115115830A (zh) 一种基于改进Transformer的家畜图像实例分割方法
CN114972208A (zh) 一种基于YOLOv4的轻量化小麦赤霉病检测方法
Zhang et al. Deep learning based rapid diagnosis system for identifying tomato nutrition disorders
Naeem et al. Deep Learning Models for Cotton Leaf Disease Detection with VGG-16
Omer et al. Plant disease diagnosing based on deep learning techniques
Samala et al. Disease Identification in Tomato Leaves Using Inception V3 Convolutional Neural Networks
Agarwal et al. Plant leaf disease classification using deep learning: A survey
CN116977862A (zh) 一种植物生长阶段视频检测方法
Wang et al. Rapid detection of Yunnan Xiaomila based on lightweight YOLOv7 algorithm
Alshehhi et al. Date palm leaves discoloration detection system using deep transfer learning
DOUTOUM et al. Classification of Guava Leaf Disease using Deep Learning
Gao et al. Classification Method of Rape Root Swelling Disease Based on Convolution Neural Network
Lawal Real-time cucurbit fruit detection in greenhouse using improved YOLO series algorithm
Sen et al. Transfer learning for robust paddy and weed classification in precision agriculture: A reverse approach
Yu Research progress of crop disease image recognition based on wireless network communication and deep learning
Jin et al. Hydroponic lettuce defective leaves identification based on improved YOLOv5s
Chaitanya et al. Tomato Leaf Disease Detection using Neural Networks
Zheng et al. Study on tomato disease classification based on leaf image recognition based on deep learning technology
Gurumurthi et al. Recognition of plant leaf diseases using CNN

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination