CN117630012B - 面向复杂农业场景的高效轻量级荔枝果实炭疽病检测方法 - Google Patents

面向复杂农业场景的高效轻量级荔枝果实炭疽病检测方法 Download PDF

Info

Publication number
CN117630012B
CN117630012B CN202311609399.9A CN202311609399A CN117630012B CN 117630012 B CN117630012 B CN 117630012B CN 202311609399 A CN202311609399 A CN 202311609399A CN 117630012 B CN117630012 B CN 117630012B
Authority
CN
China
Prior art keywords
anthracnose
litchi
convolution
lightweight
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202311609399.9A
Other languages
English (en)
Other versions
CN117630012A (zh
Inventor
刘美
陈嘉升
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guangdong University of Petrochemical Technology
Original Assignee
Guangdong University of Petrochemical Technology
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guangdong University of Petrochemical Technology filed Critical Guangdong University of Petrochemical Technology
Priority to CN202311609399.9A priority Critical patent/CN117630012B/zh
Publication of CN117630012A publication Critical patent/CN117630012A/zh
Application granted granted Critical
Publication of CN117630012B publication Critical patent/CN117630012B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/95—Investigating the presence of flaws or contamination characterised by the material or shape of the object to be examined
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G06V10/765—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects using rules for classification or partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8883—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges involving the calculation of gauges, generating models
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N21/88—Investigating the presence of flaws or contamination
    • G01N21/8851—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges
    • G01N2021/8887—Scan or image signal processing specially adapted therefor, e.g. for scan signal adjustment, for detecting different kinds of defects, for compensating for structures, markings, edges based on image processing techniques

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Signal Processing (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种面向复杂农业场景的高效轻量级荔枝果实炭疽病检测方法，属于农业病害检测领域，包括以下步骤：采集荔枝果实图像数据，构建荔枝果实图像数据集，并将所述荔枝果实图像数据集进行划分，得到训练集和验证集；对所述训练集中的图像进行数据增强处理，获得优化训练集；基于YOLOv8算法构建初始炭疽病检测模型，通过所述训练集和验证集对初始炭疽病检测模型进行训练和验证，得到炭疽病检测模型；通过炭疽病检测模型对荔枝果实进行检测，判断荔枝果实是否患有炭疽病。本发明能够在复杂农业场景下对患有炭疽病的荔枝果实进行有效的检测，有效推动了深度学习技术在荔枝果实炭疽病防控领域的应用。

Description

面向复杂农业场景的高效轻量级荔枝果实炭疽病检测方法
技术领域
本发明属于农业病害检测领域，尤其涉及一种面向复杂农业场景的高效轻量级荔枝果实炭疽病检测方法。
背景技术
荔枝果实炭疽病是由真菌侵染所引起的一种可传播性农业病害，是荔枝生产的主要威胁。与其他病害不同，荔枝炭疽病可能在幼果期侵染果实但直到成熟期才会展现症状。被感染的荔枝果实会出现褐色不规则病斑，随着时间的推移，会出现果实开裂，果肉腐烂等现象。如果不及时控制病情，会导致真菌在果实之间互相传播，造成荔枝产量严重下降。目前防控荔枝果实炭疽病的主要手段仍然依靠人工定期清查患病果实，这种管理方式效率低，及时性差。在病害高发期，果农需要了解果园中树木的患病情况并采取相应对策，这不仅增加了果农的劳动量，也提高了人力成本。
发明内容
为解决上述技术问题，本发明提出了一种面向复杂农业场景的高效轻量级荔枝果实炭疽病检测方法，以解决现有技术中存在的问题。
为实现上述目的，本发明提供了一种面向复杂农业场景的高效轻量级荔枝果实炭疽病检测方法，包括以下步骤：
采集荔枝果实图像数据，构建荔枝果实图像数据集，并将所述荔枝果实图像数据集进行划分，得到训练集和验证集；
对所述训练集中的图像进行数据增强处理，获得优化训练集；
基于YOLOv8算法构建初始炭疽病检测模型，通过所述训练集和验证集对初始炭疽病检测模型进行训练和验证，得到炭疽病检测模型；
通过炭疽病检测模型对荔枝果实进行检测，判断荔枝果实是否患有炭疽病。
可选的，所述构建荔枝果实图像数据集的方法包括：
通过专家对荔枝果实图像数据进行分类，得到正常样本集和患病样本集，并将正常样本集和患病样本集以Pascal VOC数据格式保存；
通过荔枝基地农户进行集样本检查，当检查合格时，获得荔枝果实图像数据集。
可选的，所述进行数据增强处理的方法包括：
对训练集中的图像进行明亮度改变、随机旋转、图像翻转和添加运动噪声处理，所述运动噪声为高斯噪声。
可选的，基于YOLOv8算法构建初始炭疽病检测模型的方法包括：
设计基于深度可分离卷积的轻量级主干网络取代YOLOv8算法的主干网络；
设计通道分组多尺度融合卷积嵌入到C2f模块中；
对协调注意力机制进行优化，并将优化后的协调注意力机制嵌入到基于深度可分离卷积的轻量级主干网络中；
设计信息共享解耦头获得初始炭疽病检测模型。
可选的，所述基于深度可分离卷积的轻量级主干网络包括4个精简块，在特征输入和精简块之间设置过渡层进行特征图下采样与通道数扩展；
所述精简块包括1个3×3大小的深度可分离卷积层、2个逐点卷积和逐点卷积之间的中间层。
可选的，所述通道分组多尺度融合卷积通过引入不同核尺寸的基本卷积获取多种尺度的空间特征，并通过逐点卷积对所述空间特征进行特征融合。
可选的，所述特征融合的方法包括：
将输入特征沿通道方向划分为两组，其中一组通过1×1和3×3基本卷积获取多尺度的特征信息，将所述多尺度的特征信息与另一组的特征进行拼接，得到融合特征。
可选的，所述对协调注意力机制进行优化的方法包括：
在协调注意力机制的基础上通过全局最大池化获取包含显著信息的新路径；
通过卷积与sigmoid操作获取原始路径上的强化信息；
将原始路径上的强化信息的均值添加到新路径的显著信息中，获得联合信息；
将原始路径上的强化信息与所述联合信息进行融合，得到全部强化信息。
可选的，所述设计信息共享解耦头的方法包括：
通过通道分组多尺度融合卷积替代信息共享解耦头中的两个分支全部的3×3卷积，进行特征提取与融合共享，获得输出，再将输出送入不同分支进行预测。
与现有技术相比，本发明具有如下优点和技术效果：
本发明所述的面向复杂农业场景的高效轻量级荔枝果实炭疽病检测方法，通过对荔枝种植基地的实地考察收集了一个数据集，用于训练深度学习模型。针对由于复杂农业环境导致的荔枝果实漏检和误检问题，提出了一种轻量级的目标检测方法LFA-YOLO。能够在复杂农业场景下对患有炭疽病的荔枝果实进行有效的检测，有效推动了深度学习技术在荔枝果实炭疽病防控领域的应用，并且极大的降低了人工成本。
附图说明
构成本申请的一部分的附图用来提供对本申请的进一步理解，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1为本发明实施例的荔枝果实炭疽病检测方法流程图；
图2为本发明实施例的LFA-YOLO的架构图；
图3为本发明实施例的LeanNet骨干网络的结构图；
图4为本发明实施例的通道分组多尺度融合卷积示意图；
图5为本发明实施例的C2f-CGMF结构图；
图6为本发明实施例的MCA的结构图；
图7为本发明实施例的信息共享解耦头的基本结构图；
图8为本发明实施例的模型评价的整体流程图；
图9为本发明实施例的LFA-YOLO与YOLOv8s在验证集边界框损失的对比曲线图。
具体实施方式
需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
需要说明的是，在附图的流程图示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
如图1所示，本发明提出了一种面向复杂农业场景的高效轻量级荔枝果实炭疽病检测方法，包括以下步骤：
采集荔枝果实图像数据，构建荔枝果实图像数据集，并将所述荔枝果实图像数据集进行划分，得到训练集和验证集；
对所述训练集中的图像进行数据增强处理，获得优化训练集；
基于YOLOv8算法构建初始炭疽病检测模型，通过所述训练集和验证集对初始炭疽病检测模型进行训练和验证，得到炭疽病检测模型；
通过炭疽病检测模型对荔枝果实进行检测，判断荔枝果实是否患有炭疽病。
具体实施方法如下：
采集510张荔枝原始图像，包括不同品种、患病情况、背景、密度和遮挡的荔枝果实样本，并通过图像格式转换算法将采集的图片统一调整为JPG格式。
在数据处理阶段，获取的图像由研究荔枝果实炭疽病领域的专家使用LabelImg对数据集中所有荔枝果实样本的边界框损失和类别进行手工标注，标注时将所有样本分为两类，即“正常”样本与“患病”样本。生成的标注文件以Pascal VOC数据格式保存，并由荔枝基地农户进行双重检查以确保注释质量。得到标签文件后对数据集按照7：3的比例划分为训练集和验证集。
本实施例通过4种数据增强手段扩充了训练集的数量。所用到的数据增强的方法包括：图像明亮度改变：在[0.7:1.3]范围内随机选取15％的图片改变图像的明亮度并生成新的图像。图像随机旋转：将包含患病荔枝样本的原图像随机旋转[-15°:+15°]并生成新的图像。图像翻转：随机选取15％的图片按照水平方向翻转一次并生成新的图像。添加运动噪声：在原始图像中随机选取10％的图片添加高斯噪声。在数据扩充后选取图像特征突出的图像加入训练集中。最终我们的到了包含三个品种的荔枝果实在炭疽病不同发病阶段的图像数据。数据集共包含1723张荔枝果实炭疽病图像和24350条标注。
基于YOLOv8算法设计了LFA-YOLO，在LFA-YOLO中，设计了一款基于深度可分离卷积的轻量级主干网络LeanNet并将其用于特征提取。同时设计了一种更高效的通道分组多尺度融合卷积(Channel grouping multi-scale fusion convolution，CGMFConv)，并将该模块嵌入到计算量较大的C2f中，用以在保留C2f模块特征提取能力的同时降低模型计算量。随后，我们改进了协调注意力(Coordinate Attention，CA)机制，并命名为MCA。新的注意力机制用以解决目标间出现的遮挡问题。还将CGMFConv应用在解耦头检测头中，进而设计了一种新的信息共享解耦头，新的结构解决了YOLOv8头部体量过大的问题。LFA-YOLO的架构如图2所示。
为了使LFA-YOLO的主干网络在轻量的同时更加高效，设计了基于深度可分离卷积的新主干，并命名为LeanNet。深度可分离卷积通过深度卷积(depthwise convolution)和逐点卷积(pointwise convolution)提取特征信息。目前深度可分离卷积已经被广泛地应用在图像分类、目标检测等计算机视觉任务中。相比于传统卷积，深度可分离卷积具有更少的参数和计算量，而且能够取得与传统卷积相当的性能。
LFA-YOLO采用的LeanNet骨干网络共有4个Lean block构成。在特征输入或Leanblock之间设置了一个过渡层进行特征图下采样与通道数扩展。每个Lean block都由一个3×3大小的深度可分离卷积层、2个逐点卷积和逐点卷积之间的中间层构成。为了提高网络效率，设置快速链接实现特征重用。在中间层中通过批归一化(Batch Normalization，BN)和GeLU激活函数解决传播过程中的梯度消失问题。最后，保留YOLOv8主干网络中原有的快速空间金字塔池化(Spatial Pyramid Pooling with Filter,SPPF)以便网络能够更好的适应各种尺度的输入。图3展示了LeanNet骨干网络的结构。
为了解决使网络更加轻量，设计了全新的通道分组多尺度融合卷积(Channelgrouping multi-scale fusion convolution，CGMFConv)，如图4所示。CGMFConv通过引入不同核尺寸的基本卷积来获取多种尺度的空间特征，并采用逐点卷积(1×1卷积)进行特征融合。CGMFConv首先将输入沿通道方向将特征信息划分为G＝[G1，G2]，2个分组，其中一组通过1×1和3×3基本卷积以获取多尺度的特征信息X1，X2。同时，为了使通道信息更加丰富，我们将另外一组特征与X1，X2拼接在一起。最后将聚合信息通过一个逐点卷积完成特征融合。其中Cn×n表示对输入特征进行卷积核大小为n×n的卷积操作。
X1＝C1×1(G1)
X2＝C3×3(G1)
XOUT＝C1×1(X)
对YOLOv8算法中的C2f模块进行改进，改进的C2f模块如图5所示。
图6中展示了MCA的结构。MCA保留了CA中分别沿X和Y方向进行平均池化的原始路径，并通过全局最大池化获取包含显著信息W的新路径。为了使X，Y方向的聚合信息更加细致，我们通过卷积与sigmoid操作获取了X，Y方向上的强化信息Z，并将Z划分为Xweight，Yweight两部分用以附加在X，Y上。同时，为了使新路径中的显著信息不被孤立，我们将强化信息Z的均值Z*补充在显著信息上。最终，在融合了全部的特征信息后我们得到了MCA的输出。
在新的解耦检测头中两个分支的全部的3×3卷积被CGMFConv替代。CGMFConv完成特征提取与融合共享，再将输出送入不同分支进行预测。图7展示了构成信息共享解耦头(SIDH)的基本结构。
对上述模型进行如下实验：
表1展示了本次实验所使用的环境配置。所有模型的训练和测试过程均在服务站上进行，该服务站采用13th Gen Intel(R)Core(TM)i9-13900K@3.00GHz 128GB内存处理器和2个NVIDIA Geforce RTX 4090 24GB GPU，全部模型均在PyTorch 1.12.1版本框架下运行，编程语言为Python 3.8.16。
表1
为了对模型进行更全面的评估，我们采用precision，recall和mean AveragePrecision(mAP50)衡量模型的检测精度，并使用Frames Per second(FPS)来评估模型的实时检测性能。公式(1)-(4)是对应评价指标的计算公式，其中TP表示模型将一个样本正确的预测为正样本的次数，FP表示将一个样本错误的预测为正样本的次数，FN表示模型将一个样本错误的预测为负样本的次数。Sezer等人发现具有大量参数的模型通常复杂度更高，需要更多的内存来部署，这对边缘计算设备并不友好。为了衡量模型是否有足够轻的体量，本文使用Parameters和FLOPs指标来衡量模型的轻量化程度，更轻量的模型有利于部署在资源受限的环境中。为了更加准确的计算不同模型的Parameters和FLOPs，我们利用pytorch-thop库直接获得模型的Parameters和FLOPs。
图8展示了模型评价的整体流程。在将训练集数据通过4种数据增强手段后，得到了可用于开展训练的实验数据集，使用标签文件转换工具实现Pascal VOC数据格式与YOLO数据格式的相互转换，并按照模型要求的数据格式输入到初始网络中进行训练。最终通过一系列的绩效评估指标，对最终训练完成的模型开展评价分析。
为了验证应用在LFA-YOLO中的改进都是有益的，表2展示了一系列消融实验结果。实验在Table 1所示实验环境进行，训练时设置batch size为32，训练epoch为300，超参数采用默认设置。用LeanNet，C2f-CGMF与SIDH改进网络结构后，模型的mAP50提升7.03，这证明了改进后的模型在更加轻量的同时也更高效了。同时轻量化的结构设计思路也使LFA-YOLO的Parameters和FlOPs下降到基线网络的61.26％和46.83％，使FPS提升至94.3，这对后续部署创造了更好的条件。MCA通过加强注意力分配使模型获得更好的检测性能。引入MCA后，在模型Parameters和FlOPs分别提升0.5和0.1的前提下，mAP50由使用前的90.07提高到93.60，这证明我们提出的MCA通过补充显著信息有效改善了轻量级网络的检测能力，尤其当网络面对物体遮挡时。图9展示了LFA-YOLO与YOLOv8s在验证集边界框损失(box-loss)的对比曲线，改进后模型的损失收敛在更低的水平。从消融实验可以看出全部的改进方法在LFA-YOLO上均产生了积极的影响。
表2
为了更好的验证LFA-YOLO的优越性能，我们在lychee fruit anthracnose数据集上，将LFA-YOLO与其他主流算法(FasterRcnn，SSD系列，CenterNet，RetinaNet，YOLOv3系列，YOLOv4，YOLOv5系列，YOLOv6系列，YOLOv7系列，YOLOv8系列)进行比较。
对比结果如表3所示。从中可以看出，由于FasterNnet算法是基于两阶段的目标检测算法，其实时检测性能明显落后其他单阶段算法。SSD-vgg是所有算法中实时检测性能最好的，其FPS达到了137.2，但SSD-vgg的没有获得令人满意的mAP50。Centernet取得了不错的精度和FPS，但其结构轻量化程度不够。Retinanet检测精度达到了惊人的97.83，但该算法的mAP50并不突出。在YOLOv3系列中，YOLOv3-tiny拥有的较低的Parameters与FlOPs和优秀的FPS，但在模型精度上仍然存在不足。YOLOv4性能比较平均，并没有特别突出的优势。在YOLOv5系列中，YOLOv5n引起了我们的注意。YOLOv5n拥有全部算法中最小的模型体量，其Parameters与FlOPs分别为1.7和4.1，这个成绩是令人惊讶的，但我们也发现YOLOv5n在追求极致轻量的同时不得不舍弃一定的精度和mAP50，这是YOLOv5n仍然需要改进的。YOLOv6系列是面向工业领域而研发的目标检测算法，YOLOv6系列算法系列拥有的较低的Parameters与FlOPs，同时也取得了不错的精度与mAP50，但算法实时性能不满足需求。YOLOv7-tiny是YOLOv7系列中实时检测性能最好的模型，但这与其他轻量级的算法还有一定差距。YOLOv8系列作为目前最尖端的算法之一，其显示了速度和精度之间的良好权衡。YOLOv8n是全部算法中第二轻量的，其87.85的检测精度，77.23的recall，82.96的mAP50都远超同等级的YOLOv5n。同时，YOLOv8x 87.22的recall和92.75的mAP50是全部算法中表现最好的，这也体现YOLOv8具有更优秀的改进潜力。但我们发现，YOLOv8系列算法的实时检测性能并不出色。
LFA-YOLO系列算法的仅用6.8M的参数量与13.3的FLOPs就实现了93.60的mAP50，是全部算法中最优秀的。在实时检测性能方面，LFA-YOLO也超过了绝大多数的主流算法，FPS达到了94.3。在检测精度方面，LFA-YOLO仅落后Retinanet位居第二名。但LFA-YOLO却拥有88.77的recall，这个成绩是令人满意的。这些实验结果证明，LFA-YOLO算法沿用了高效轻量的设计思想，有效降低了模型的参数量和FLOPs。MCA通过补充整体显著信息，使算法更加准确的定位对象，有利于荔枝果实霜霉病检测。
表3
为了保证LFA-YOLO可以更加精确的统计出荔枝果园中果实的患病情况，同时也为后续LFA-YOLO可以适应更多的应用场景。我们将提出的LFA-YOLO与ByteTrack相结合，将该算法作为跟踪算法的检测器。
为了验证本方法可以在复杂农业场景中有效识别出患病荔枝果实，建立了基于无人机的检测方案。方案中使用的边缘计算设备为NVIDIA Jetson nano。我们将LFA-YOLO部署在Jetson nano中，便携式电源模块可以保证边缘设备可以维持在额定下正常工作。整个系统制作了一个保护外壳，随后将其牢固的固定在无人机上方并确保无人机和内部的边缘设备都能够正常工作。
Jetson nano随无人机在距离果树上方2-4m内移动，通过连接在Jetson nano上的外部摄像头采集实时视频数据，将采集到的视频流传输给LFA-YOLO检测患病果实并通过ByteTrack完成跟踪。
以上，仅为本申请较佳的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本申请的保护范围之内。因此，本申请的保护范围应该以权利要求的保护范围为准。

Claims (6)

1.一种面向复杂农业场景的高效轻量级荔枝果实炭疽病检测方法，其特征在于，包括以下步骤：
采集荔枝果实图像数据，构建荔枝果实图像数据集，并将所述荔枝果实图像数据集进行划分，得到训练集和验证集；
对所述训练集中的图像进行数据增强处理，获得优化训练集；
基于YOLOv8算法构建初始炭疽病检测模型，通过所述训练集和验证集对初始炭疽病检测模型进行训练和验证，得到炭疽病检测模型；
基于YOLOv8算法构建初始炭疽病检测模型的方法包括：
设计基于深度可分离卷积的轻量级主干网络取代YOLOv8算法的主干网络；
设计通道分组多尺度融合卷积嵌入到C2f模块中；
对协调注意力机制进行优化，并将优化后的协调注意力机制嵌入到基于深度可分离卷积的轻量级主干网络中；
设计信息共享解耦头获得初始炭疽病检测模型；
所述通道分组多尺度融合卷积通过引入不同核尺寸的基本卷积获取多种尺度的空间特征，并通过逐点卷积对所述空间特征进行特征融合；
所述特征融合的方法包括：
将输入特征沿通道方向划分为两组，其中一组通过1×1和3×3基本卷积获取多尺度的特征信息，将所述多尺度的特征信息与另一组的特征进行拼接，得到融合特征；
通过炭疽病检测模型对荔枝果实进行检测，判断荔枝果实是否患有炭疽病。
2.根据权利要求1所述的面向复杂农业场景的高效轻量级荔枝果实炭疽病检测方法，其特征在于，
所述构建荔枝果实图像数据集的方法包括：
通过专家对荔枝果实图像数据进行分类，得到正常样本集和患病样本集，并将正常样本集和患病样本集以Pascal VOC数据格式保存；
通过荔枝基地农户进行集样本检查，当检查合格时，获得荔枝果实图像数据集。
3.根据权利要求1所述的面向复杂农业场景的高效轻量级荔枝果实炭疽病检测方法，其特征在于，
所述进行数据增强处理的方法包括：
对训练集中的图像进行明亮度改变、随机旋转、图像翻转和添加运动噪声处理，所述运动噪声为高斯噪声。
4.根据权利要求1所述的面向复杂农业场景的高效轻量级荔枝果实炭疽病检测方法，其特征在于，
所述基于深度可分离卷积的轻量级主干网络包括4个精简块，在特征输入和精简块之间设置过渡层进行特征图下采样与通道数扩展；
所述精简块包括1个3×3大小的深度可分离卷积层、2个逐点卷积和逐点卷积之间的中间层。
5.根据权利要求1所述的面向复杂农业场景的高效轻量级荔枝果实炭疽病检测方法，其特征在于，
所述对协调注意力机制进行优化的方法包括：
在协调注意力机制的基础上通过全局最大池化获取包含显著信息的新路径；
通过卷积与sigmoid操作获取原始路径上的强化信息；
将原始路径上的强化信息的均值添加到新路径的显著信息中，获得联合信息；
将原始路径上的强化信息与所述联合信息进行融合，得到全部强化信息。
6.根据权利要求1所述的面向复杂农业场景的高效轻量级荔枝果实炭疽病检测方法，其特征在于，
所述设计信息共享解耦头的方法包括：
通过通道分组多尺度融合卷积替代信息共享解耦头中的两个分支全部的3×3卷积，进行特征提取与融合共享，获得输出，再将输出送入不同分支进行预测。
CN202311609399.9A 2023-11-29 2023-11-29 面向复杂农业场景的高效轻量级荔枝果实炭疽病检测方法 Active CN117630012B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311609399.9A CN117630012B (zh) 2023-11-29 2023-11-29 面向复杂农业场景的高效轻量级荔枝果实炭疽病检测方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202311609399.9A CN117630012B (zh) 2023-11-29 2023-11-29 面向复杂农业场景的高效轻量级荔枝果实炭疽病检测方法

Publications (2)

Publication Number Publication Date
CN117630012A CN117630012A (zh) 2024-03-01
CN117630012B true CN117630012B (zh) 2024-05-17

Family

ID=90026473

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202311609399.9A Active CN117630012B (zh) 2023-11-29 2023-11-29 面向复杂农业场景的高效轻量级荔枝果实炭疽病检测方法

Country Status (1)

Country Link
CN (1) CN117630012B (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020168820A1 (zh) * 2019-02-22 2020-08-27 中国石油大学(华东) 一种基于yolo卷积神经网络的胆石病ct医疗图像数据增强方法
CN114782455A (zh) * 2022-06-27 2022-07-22 中国科学院合肥物质科学研究院 一种用于农机嵌入式设备的棉花行中心线图像提取方法
CN115903856A (zh) * 2023-02-15 2023-04-04 大连理工大学 针对智能体路径规划的具有通道空间注意力机制的反馈生成对抗网络
US11631238B1 (en) * 2022-04-13 2023-04-18 Iangxi Electric Power Research Institute Of State Grid Method for recognizing distribution network equipment based on raspberry pi multi-scale feature fusion
CN116704335A (zh) * 2023-05-23 2023-09-05 重庆工业职业技术学院 一种猕猴桃溃疡监测方法、系统、设备及介质
CN117058669A (zh) * 2023-08-23 2023-11-14 华南农业大学 一种基于深度学习的荔枝果实识别方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020168820A1 (zh) * 2019-02-22 2020-08-27 中国石油大学(华东) 一种基于yolo卷积神经网络的胆石病ct医疗图像数据增强方法
US11631238B1 (en) * 2022-04-13 2023-04-18 Iangxi Electric Power Research Institute Of State Grid Method for recognizing distribution network equipment based on raspberry pi multi-scale feature fusion
CN114782455A (zh) * 2022-06-27 2022-07-22 中国科学院合肥物质科学研究院 一种用于农机嵌入式设备的棉花行中心线图像提取方法
CN115903856A (zh) * 2023-02-15 2023-04-04 大连理工大学 针对智能体路径规划的具有通道空间注意力机制的反馈生成对抗网络
CN116704335A (zh) * 2023-05-23 2023-09-05 重庆工业职业技术学院 一种猕猴桃溃疡监测方法、系统、设备及介质
CN117058669A (zh) * 2023-08-23 2023-11-14 华南农业大学 一种基于深度学习的荔枝果实识别方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
计算机视觉下的农作物病虫害图像识别研究;钟林忆等;《现代农业装备》;20210228;第42卷(第1期);全文 *

Also Published As

Publication number Publication date
CN117630012A (zh) 2024-03-01

Similar Documents

Publication Publication Date Title
CN114897779B (zh) 基于融合注意力的宫颈细胞学图像异常区域定位方法及装置
CN113160062B (zh) 一种红外图像目标检测方法、装置、设备及存储介质
CN110322453A (zh) 基于位置注意力和辅助网络的3d点云语义分割方法
CN113408423A (zh) 适用于tx2嵌入式平台的水产品目标实时检测方法
CN111062278A (zh) 基于改进残差网络的异常行为识别方法
CN116597224A (zh) 基于改进yolo v8网络模型的马铃薯缺陷检测方法
CN113361466B (zh) 一种基于多模态交叉指导学习的多光谱目标检测方法
Qian et al. Automatic polyp detection by combining conditional generative adversarial network and modified you-only-look-once
CN112308825A (zh) 一种基于SqueezeNet的农作物叶片病害识别方法
CN116051957A (zh) 基于注意力机制和多尺度融合的个人防护物品检测网络
CN115984543A (zh) 一种基于红外与可见光图像的目标检测算法
CN116543433A (zh) 一种基于改进YOLOv7模型的口罩佩戴检测方法和装置
CN117630012B (zh) 面向复杂农业场景的高效轻量级荔枝果实炭疽病检测方法
CN117392668A (zh) 一种麦田小麦赤霉病状态评估方法、系统及电子设备
CN117132910A (zh) 一种用于无人机的车辆检测方法、装置及存储介质
CN111881803A (zh) 一种基于改进YOLOv3的畜脸识别方法
CN117132802A (zh) 一种田间小麦病虫害识别方法、装置及存储介质
Liu et al. Real-time object detection in UAV vision based on neural processing units
CN111368625A (zh) 一种基于级联优化的行人目标检测方法
CN113343964B (zh) 一种平衡的水下声学图像目标检测方法
Zhou et al. Remote Sensing Image Object Detection Based on Improved YOLOv5
CN111161397B (zh) 人脸三维重建方法、装置、电子设备及可读存储介质
CN112613521A (zh) 基于数据转换的多层次数据分析系统及方法
Hou et al. Detection and localization of citrus picking points based on binocular vision
Chen et al. Research on an efficient single-stage multi-object detection algorithm

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant