CN115631462A - 基于am-yolox的草莓病虫害检测方法及系统 - Google Patents

基于am-yolox的草莓病虫害检测方法及系统 Download PDF

Info

Publication number
CN115631462A
CN115631462A CN202211397092.2A CN202211397092A CN115631462A CN 115631462 A CN115631462 A CN 115631462A CN 202211397092 A CN202211397092 A CN 202211397092A CN 115631462 A CN115631462 A CN 115631462A
Authority
CN
China
Prior art keywords
strawberry
image
pest
module
disease
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202211397092.2A
Other languages
English (en)
Inventor
黄炳强
王科宇
孙月兰
项新建
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Zhejiang Lover Health Science and Technology Development Co Ltd
Original Assignee
Zhejiang Lover Health Science and Technology Development Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Zhejiang Lover Health Science and Technology Development Co Ltd filed Critical Zhejiang Lover Health Science and Technology Development Co Ltd
Priority to CN202211397092.2A priority Critical patent/CN115631462A/zh
Publication of CN115631462A publication Critical patent/CN115631462A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Molecular Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Image Processing (AREA)

Abstract

本发明提供一种基于改进AM‑YOLOX的草莓病虫害检测方法及系统，方法包括对采集到的草莓种植区域图像进行图像特征提取；进行多尺度特征融合；进行图片的识别和定位；采用Mosaic算法和Mixup算法对识别和定位得到的草莓病虫害图像进行数据增强；计算识别定位损失值，判断数据经过数据增强的识别和定位得到的草莓种植区域图像用于评价发生草莓病虫害的准确度；若计算得到的识别定位损失值小于损失阈值0.86，则进行下一步，否则重复上述步骤，计算用于评价草莓病虫害检测的评价指标，最终输出草莓病虫害检测结果图像。本发明提供的方法构建的AM‑YOLOX模型能够能有效的避免病虫害的误检和漏检。

Description

基于AM-YOLOX的草莓病虫害检测方法及系统
技术领域
本发明属于草莓病虫害检测技术领域，具体涉及基于AM-YOLOX的草莓病虫害检测方法及系统。
背景技术
草莓属蔷薇科、草莓属多年生草本植物，原产于南美，不仅鲜美多汁、营养丰富，而且还具有很高的经济价值。其果肉甜美多汁，味道独特，且富含维生素、矿物质、茶多酚、花青素等营养物质，还因其生长周期短、管理方便，已成为我国广泛栽培的重要经济作物之一。
草莓是一种极易受病虫危害的作物。草莓植株矮小，茎、叶、果实接近地面，易受各种病虫害影响。常见的病虫害有草莓角斑病、草莓炭疽病、花枯病、叶斑病、白粉病、灰霉病等，各种病虫害都会对草莓生长造成影响，如灰霉病是世界范围内最具毁灭性的病害之一，在温室和露地栽培中均普遍发生；灰霉病还引起采后草莓果实腐烂，造成很大经济损失。草莓病虫害种类繁多，造成的经济损失大。因此，对草莓生长过程中可能发生的病虫害进行精准的识别与预防，对草莓生产具有十分重要的意义。
目前图像识别与机器学习方法在病虫害识别领域中广泛应用，能够在一定程度上代替传统的肉眼识别，可以提高病虫害检测的效率。随着深度学习的快速发展，其成为图像识别领域的又一新的技术手段，具有识别速度快、准确率高等优势，基于深度学习的植物病害目标检测算法主要以YOLO(You only look once)系列为核心的单阶段算法以及以RCNN(Region-CNN)为核心的双阶段算法为主。
现有技术中，如申请号为201911153437.8的中国专利申请文件公开了一种草莓病虫害快速分类方法，其技术方案为从多个平台上持续获取草莓病虫害图像数据，形成草莓病虫害数据库；针对草莓病虫害图像数据进行统一标定；从标定好的草莓病虫害数据库中选取样本集；建立深度卷积神经网络模型，所述模型的输入为草莓病虫害原始图像，输出为草莓病虫害分类向量；将样本集放入深度卷积神经网络模型中进行训练，利用S折交叉验证来选择模型；将待分类的草莓病虫害图像输入到选择的模型中进行计算，得到所述待分类的草莓病虫害的分类结果。
但是其公开的技术方案仅仅是采用深度卷积神经网络对草莓病虫害原始图像进行分类，进而输出不同种类的草莓病虫害结果，然而，在实际操作过程中草莓病虫害的发生面积较小或者较为分散时，仅深度卷积神经网络进行分类的性能较差，分类结果不准确或者草莓病虫害定位不准确，同时草莓病虫害的自然背景相对复杂，仅采用现有技术的深度卷积神经网络对其分类会使鲁棒性较差。因此，急需一种检测准确度高，数据学习和融合图像特征性能较高的草莓病虫害定位识别方法。
发明内容
本发明针对上述缺陷，提供一种基于改进AM-YOLOX的草莓病虫害检测方法及系统。本发明针对草莓生长过程中，病虫害种类多，并且自然背景下难以进行准确识别的问题，以YOLOX-s模型作为基础网络，在网络的不同位置，根据不同注意力机制的作用，融合多种不同的注意力机制，使网络模型能更加高效的学习和融合图像的特征；其次引入CIoU目标回归损失函数，提高网络对草莓病虫害的定位精度，从而使得整个模型对图像特征的学习能力和目标检测精度显著提升；最后在训练阶段，使用Mosaic算法和Mixup算法进行数据增强，使得网络面对复杂环境下有更好的鲁棒性。
本发明提供如下技术方案：基于AM-YOLOX的草莓病虫害检测方法，所述方法包括采集草莓种植区域图像；所述方法还包括以下步骤：
S1、对采集到的草莓种植区域图像进行图像特征提取；
S2、采用PAFPN结构层对图像特征提取后的图像进行多尺度特征融合；
S3、对多尺度特征融合后的图像进行图片的识别和定位；
S4、采用Mosaic算法和Mixup算法对所述S3步骤识别和定位得到的草莓病虫害图像进行数据增强；
S5、构建损失函数，计算识别定位损失值，判断经过所述S4步骤数据增强后的识别和定位得到的草莓种植区域图像用于评价发生草莓病虫害的准确度；若计算得到的识别定位损失值小于损失阈值0.86，则进行S6步骤，否则重复所述S1-S4步骤；
S6、计算用于评价草莓病虫害检测的评价指标：召回率、准确率、平均准确率、平均精度均值和F1分数，最终输出均符合大于各评价指标阈值的草莓病虫害图像作为草莓病虫害检测结果图像。
进一步地，所述S1步骤中采用CSPDarknet网络，包括Focus结构层、CBS结构层、CSP结构层、SPP结构层；
所述Focus结构层，用于对采集到的草莓种植区域图像中每隔一个像素取到一个值，获得四个独立的特征层，然后对所述四个独立的特征层进行堆叠；
所述CBS结构层，用于；所述CBS结构层由Conv+BN+SiLU三部分组成；
所述CSP结构层，用于使得网络深度增加，增强特征提取能力；
所述SPP结构层，用于通过对所述CSP结构层处理后的图像数据进行池化，将不同尺度的特征融合到一起，实现数据的多尺度输入。
进一步地，所述CSP结构层包括卷积层和X个残差组件拼接组成。
进一步地，在所述Focus结构层之后、CBS结构层之前设置坐标注意力机制改进模块，对所述Focus结构层处理后的数据进行坐标注意力机制改进，所述坐标注意力机制改进模块对所述Focus结构层的改进包括以下步骤：
M1、对所述Focus结构层处理后的数据通过所述坐标注意力机制改进模块将输出通道为C、高为H和宽为W的特征图分别输入至X_Avg平均池化层和Y_Avg平均池化层进行处理，得到C*1*W的特征图；
M2、再进入concat+Conv2d结构层，得到(C/r)*1*(H+W)的特征图，其中，r为缩放率；
M3、然后进入BatchNorm+Non-linear层，进行非线性化处理，
M4、由所述M3步骤处理得到的(C/r)*1*(H+W)的特征图分别进入两个Conv2D层，其中，r为缩放率，得到C*1*W的特征图；
M5、再由两个所述Conv2D层分别进入两个Sigmoid层，进行激活，得到C*1*W的特征图；
M6、最终汇总进行重新赋予权重并输出结果。
进一步地，在所述SPP结构层之后设置通道注意力机制改进模块，对所述SPP结构层进行通道注意力机制改进，所述通道注意力机制改进包括以下步骤：
B1、对所述SPP结构层处理后的数据通过所述通道注意力机制改进模块将输出通道为C、高为H和宽为W的特征图输入至全局平均池化层进行处理，得到C*1*1的特征图；
B2、再进入第一全连接层，得到(C/r)*1*(H+W)的特征图，其中，r为缩放率；
B3、再进入非线性处理层，得到(C/r)*1*(H+W)的特征图，其中，r为缩放率；
B4、再进入第二全连接层，得到C*1*1的特征图；
B5、最后进入Sigmoid层，进行激活；
B6、汇总进行重新赋予权重并输出结果。
进一步地，所述S2步骤中对图像特征提取后的图像进行多尺度特征融合是采用PAFPN结构进行融合，先通过上采样的方式进行传递融合，再通过下采样融合方式得到预测的特征图，最终输出3个特征层组成的元组结果。
进一步地，采用卷积块注意力机制改进模块对所述PAFPN结构层进行改进，所述卷积块注意力机制改进模块包括通道注意力模块和空间注意力模块，所述卷积块注意力机制改进模块对所述PAFPN结构的改进包括以下步骤：
C1、对所述S1步骤处理后的的数据通过所述卷积块注意力机制改进模块将具有输出通道为C、高为H和宽为W的中间特征图F输入至所述通道注意力模块，同时进行全局最大池化和均值池化；
C2、将池化后的两个一维向量送入共享全连接层进行运算后相加，生成MC(C*1*1)的一维通道注意力特征图；
C3、将所述C2步骤得到的一维通道注意力特征图所述C1步骤输入进来的所述中间特征图F相乘，获得通道注意力调整后的特征图F’，所述通道注意力模块完成改进；
C4、将所述C3步骤得到的所述特征图F’输入至所述空间注意力模块，按空间一次进行全局最大池化和均值池化；
C5、将所述C4步骤池化生成的两个二维向量拼接后进行卷积操作，最终生成二维空间注意力特征图，再进行Sigmoid运算后，生成空间注意力Ms特征图；
C6、将所述C5步骤生成的所述空间注意力Ms特征图与所述C4步骤输入至所述空间注意力模块的所述特征图F’再进行相乘，得到所述卷积块注意力机制改进模块改进完成的输出特征图。
进一步地，所述S4步骤构建的用于识别定位损失值Loss的损失函数如下：
Loss＝LossReg+LossObj+LossCls；
其中，LossReg为被监测草莓种植区图像病虫害图像的预测框和真实框的重叠程度损失值，LossObj为根据正负样本和特征点的是否包含被监测草莓种植区图像病虫害的预测结果计算交叉熵损失值，LossCls为被监测草莓种植区图像病虫害图像的真实框的种类和特征点的种类预测结果计算交叉熵损失值；
Figure BDA0003933634330000041
其中IOU为预测框和真实框交并比；b为预测框的中心点，bgt为真实框的中心点，ρ为预测框的中心点与真实框的中心点之间的欧氏距离，c为能够同时包含预测框与真实框最小矩形封闭区域对角线距离；α为协调比例参数，v为衡量预测框与真实框长宽比的一致性的参数，αv作为横纵比影响因子；
Figure BDA0003933634330000051
A代表预测框，B代表真实框，A∩B代表A与B的交集面积的值，|A∪B|代表A与B的并集面积的值；
Figure BDA0003933634330000052
Figure BDA0003933634330000053
其中，wgt和hgt分别为目标框的宽和高，w和h分别为预测框的宽和高。
进一步地，所述S5步骤中的采用Mosaic算法是对所述S4步骤识别定位得到的四张相关的具有草莓病虫害图像进行随机裁剪，再拼接到一张图上作为训练数据；
所述S5步骤中采用Mixup算法数据对所述S4步骤识别定位得到的具有草莓病虫害图像进行数据增强，包括以下步骤：
D1、将所述SS4步骤识别定位得到的具有草莓病虫害图像提取第一个batch样本batchx1和第二个batch样本batchx2；
D2、标记所述D1步骤中提取的所述第一个batch样本batchx1对应的第一标签batchy1和所述第二个batch样本batchx2对应的第二标签batchy2，计算由第一贝塔参数β和第二贝塔参数γ决定的贝塔分布混合系数λ：
λ＝Bata(β，γ)；
其中，Bata(·)为计算贝塔分布；
D3、计算由所述第一个batch样本batchx1和所述第二个batch样本batchx2混合后的混合样本
Figure BDA0003933634330000054
并由所述第一标签batchy1和所述第二标签batchy2混合后的混合标签
Figure BDA0003933634330000055
Figure BDA0003933634330000056
Figure BDA0003933634330000057
所述S6步骤中用于评价草莓病虫害检测的召回率、准确率、平均准确率的评价指标，平均精度均值和F1分数的计算公式分别如下：
Figure BDA0003933634330000061
Figure BDA0003933634330000062
Figure BDA0003933634330000063
Figure BDA0003933634330000064
Figure BDA0003933634330000065
其中，Recall为召回率，Precision为准确率，AP为平均准确率，mAP为平均精度均值，F1为F1分数；TP为正确检测出的样本数量、FP为误检的样本数量，FN为漏检的样本数量，AP(i)表示第i类草莓病虫害的AP值，NC为草莓病虫害类别数量；
所述S6步骤中的各评价指标阈值如下：召回率阈值为80％，准确率阈值为96.5％，平均准确率阈值为90％，平均精度均值阈值为97％，F1分数阈值为88。
本发明还提供一种基于AM-YOLOX的草莓病虫害检测系统，包括摄像机，所述摄像机用于采集草莓种植区域图像，所述系统还包括主干特征提取网络模块、Neck模块、Head模块、定位效果评定模块、图像数据增强模块和病虫害检测评价及输出模块；
所述主干特征提取网络模块，用于对所述摄像头采集到的草莓种植区域图像进行图像特征提取；
所述Neck模块，用于对图像特征提取后的图像进行多尺度特征融合；
所述Head模块，用于对多尺度特征融合后的图像进行图片的识别和定位；
所述图像数据增强模块，用于采用Mosaic算法和Mixup算法对所述识别和定位得到的草莓病虫害图像进行数据增强；
所述定位效果评定模块，用于构建损失函数，判断经过数据增强的识别和定位得到的草莓种植区域发生草莓病虫害的准确度；
所述病虫害检测评价及输出模块，用于计算用于评价草莓病虫害检测的评价指标：召回率、准确率、平均准确率、平均精度均值和F1分数，最终输出符合各评价指标阈值的草莓病虫害图像作为草莓病虫害检测结果图像。
本发明的有益效果为：
1、本发明提供的基于AM-YOLOX的草莓病虫害检测方法及系统，以YOLOX-s模型作为基础网络，在网络的不同位置，根据不同注意力机制(Attention Mechanism)的作用，融合多种不同的注意力机制，使网络模型能更加高效的学习和融合图像的特征。
2、本发明提供的基于AM-YOLOX的草莓病虫害检测方法及系统，在S4步骤中引入基于边框回归损失的损失函数模型，提高网络对草莓病虫害的定位精度，从而使得整个模型对图像特征的学习能力和目标检测精度显著提升。
3、本发明提供的基于AM-YOLOX的草莓病虫害检测方法及系统，在训练阶段，使用Mosaic算法和Mixup算法进行数据增强，使得网络面对复杂环境下有更好的鲁棒性。
4、实验结果表明，本发明提供的基于AM-YOLOX的草莓病虫害检测方法及系统对七种草莓病虫害的检测有着更好的综合表现，F1分数为88.1，平均精度均值为97.17％，与基础网络YOLOX-s相比，提升了2.54个百分点。对比主流深度学习算法SSD、Faster-RCNN、YOLOv3、YOLOv5-s均展现出较大的优势。
5、本发明提供的基于AM-YOLOX的草莓病虫害检测方法及系统，构建的AM-YOLOX模型能够能有效的避免病虫害的误检和漏检，证明了新算法的有效性。
附图说明
在下文中将基于实施例并参考附图来对本发明进行更详细的描述。其中：
图1为本发明提供的基于AM-YOLOX的草莓病虫害检测方法流程示意图；
图2为本发明提供的方法采用的CSPDarknet网络结构示意图；
图3为本发明提供的方法采用的CSPDarknet网络中的Focus结构层示意图；
图4为本发明提供的方法采用的CSPDarknet网络中的SPP结构层结构示意图；
图5为本发明提供的方法中坐标注意力机制改进模块在CSPDarknet网络中的添加位置示意图；
图6为本发明提供的方法中坐标注意力机制改进模块结构示意图；
图7为本发明提供的方法中通道注意力机制改进模块在CSPDarknet网络中的添加位置示意图；
图8为本发明提供的方法中通道注意力机制改进模块结构示意图；
图9为本发明提供的方法中卷积块注意力机制改进模块的整体结构示意图；
图10为本发明的卷积块注意力机制改进模块中的通道注意力模块的改进流程示意图；
图11为本发明的卷积块注意力机制改进模块中的空间注意力模块的改进流程示意图；
图12为本发明提供的卷积块注意力机制改进模块改进流程示意图；
图13为本发明构建的损失函数计算预测框的中心点与真实框的中心点之间欧式距离示意图；
图14为本发明提供的方法S1步骤处理的原始草莓病虫害图像数据集分类示意图。
图15为本发明采用Mosaic算法对识别定位得到的具有草莓病虫害的图像的效果图；
图16为本发明采用Mixup算法对识别定位得到的具有草莓病虫害的图像的效果图；
图17为本发明构建的损失函数在数据训练阶段的线形图；
图18为本发明进行消融实验对比采用和未采用本发明提供的改进AM-YOLOX的草莓病虫害检测方法的对比图；
图19为本发明提供的基于AM-YOLOX的草莓病虫害检测系统部分结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明提供一种基于AM-YOLOX的草莓病虫害检测方法，所述方法包括采集草莓种植区域图像；采用YOLOX-s模型对采集到的草莓种植区域图像进行学习训练，进而识别草莓种植区域内发生草莓病虫害的区域，YOLO系列网络是单阶段算法中最为常见的一种目标检测模型，YOLOX-s是其优秀代表，具有检测精度高、推理速度快等特点。自然环境下拍摄的草莓病虫害图像背景复杂，病虫害种类多，且相互之间差异性较小，易造成病虫害目标的误检与漏检。为提高草莓病虫害的识别准确率，本发明提出的提出基于AM-YOLOX的草莓病虫害检测方法，以YOLOX-s算法作为基础的网络模型，进行相关研究改进。
如图1所示，基于AM-YOLOX的草莓病虫害检测方法还包括以下步骤：
S1、对采集到的草莓种植区域图像进行图像特征提取；
S2、采用PAFPN结构层对图像特征提取后的图像进行多尺度特征融合；
S3、对多尺度特征融合后的图像进行图片的识别和定位；
S4、采用Mosaic算法和Mixup算法对所述S3步骤识别和定位得到的草莓病虫害图像进行数据增强；
S5、构建损失函数，计算识别定位损失值，判断经过所述S4步骤数据增强后的识别和定位得到的草莓种植区域图像用于评价发生草莓病虫害的准确度；若计算得到的识别定位损失值小于损失阈值0.86，则进行S6步骤，否则重复所述S1-S4步骤；
S6、计算用于评价草莓病虫害检测的评价指标：召回率(Recall)、准确率(Precision)、平均准确率(Average precision，AP)、平均精度均值(Mean of averageprecision，mAP)和F1分数，最终输出均符合大于各评价指标阈值的草莓病虫害图像作为草莓病虫害检测结果图像。
本发明提供的S3步骤中多尺度特征融合后的图像进行图片的识别和定位，采用了分类和回归分别实现，最后预测的时候再整合的方式。结构不仅能够提高检测性能，还可以提升收敛速度。此外还采用了anchor free、Multi positives、SimOTA等方式，其都提升了模型的速度，性能和识别精度。
草莓病虫害的自然背景相对复杂，在训练阶段，因此，本发明提供的方法在S4步骤之后使用Mosaic算法和Mixup算法进行数据增强，丰富了检测物体的背景，使得网络面对复杂环境下有更好的鲁棒性。
作为本发明的一个优选实施例，如图2所示，S1步骤中采用CSPDarknet网络，包括如图3所示的Focus结构层、CBS结构层、CSP结构层(即图2中的Csplayer层)、SPP结构层；
Focus结构层，用于对采集到的草莓种植区域图像中每隔一个像素取到一个值，获得四个独立的特征层，然后对四个独立的特征层进行堆叠，进而采集到的草莓种植区域图像中的宽W、高H信息就集中到通道信息，输入通道扩充至原来的四倍；
所述CBS结构层，用于；所述CBS结构层由Conv+BN+SiLU三部分组成；
Conv+BN+SiLU是一种常见的模型结构，Conv表示深度卷积运算，BN(BatchNormalization)表示批归一化操作，SiLU是激活函数，每一次卷积的时候进行归一化，完成后再进行激活，有利于图像的特征提取。
所述CSP结构层，用于使得网络深度增加，增强特征提取能力；
YOLOX-S设计了两种CSP网络，分别是CSP1_X结构和CSP2_X结构。CSP1_X结构应用在主干网络中，由两个分支组成，一个分支经由X个Bottleneck模块堆叠，另一个分支只进行卷积层处理后。两分支再相连经过一个卷积层，使得网络深度增加，增强特征提取能力。
SPP结构层，用于通过对CSP结构层处理后的图像数据进行池化，将不同尺度的特征融合到一起，实现数据的多尺度输入。
如图4所示，为本发明提供的SPP结构层的示意图。
作为本发明的另一个优选实施例，CSP结构层包括卷积层和X个残差组件拼接组成。
为了使网络模型能更加高效的学习和融合图像的特征。通过多注意力机制的引入来提升网络的性能。结合不同的注意力机制模块的不同的特点，对网络的不同地方进行改进，使其到达模型性能的最大化。因此，作为本发明的另一个优选实施例，如图5所示，在Focus结构层之后、CBS结构层之前设置坐标注意力机制改进模块(即CA注意力机制改进模块)，对Focus结构层处理后的数据进行坐标注意力机制改进，如图6所示，坐标注意力机制改进模块对Focus结构层的改进包括以下步骤：
M1、对Focus结构层处理后的数据通过坐标注意力机制改进模块将输出通道为C、高为H和宽为W的特征图分别输入至X_Avg平均池化层和Y_Avg平均池化层进行处理，得到C*1*W的特征图；
M2、再进入concat+Conv2d结构层，得到(C/r)*1*(H+W)的特征图，其中，r为缩放率；
M3、然后进入BatchNorm+Non-linear层，进行非线性化处理，
M4、由M3步骤处理得到的(C/r)*1*(H+W)的特征图分别进入两个Conv2D层，其中，r为缩放率，得到C*1*W的特征图；
M5、再由两个Conv2D层分别进入两个Sigmoid层，进行激活，得到C*1*W的特征图；
M6、最终汇总进行重新赋予权重并输出结果。
作为本发明的另一个优选实施例，如图7所示，在SPP结构层之后设置通道注意力机制改进模块(即SE注意力机制改进模块)，对SPP结构层进行通道注意力机制改进，如图8所示，通道注意力机制改进包括以下步骤：
B1、对SPP结构层处理后的数据通过通道注意力机制改进模块将输出通道为C、高为H和宽为W的特征图输入至全局平均池化层(即Global Avg Pool层)进行处理，得到C*1*1的特征图；
B2、再进入第一全连接层(即Fully Connected层)，得到(C/r)*1*(H+W)的特征图，其中，r为缩放率；
B3、再进入非线性处理层(即Non-linear层)，得到(C/r)*1*(H+W)的特征图，其中，r为缩放率；
B4、再进入第二全连接层(即Non-linear层之后的Fully Connected层)，得到C*1*1的特征图；
B5、最后进入Sigmoid层，进行激活；
B6、汇总进行重新赋予权重并输出结果。
通道注意力机制改进模块包括了1个全局平均池化层，2个全连接层和1个激活函数，原理是输入一张C*H*W(通道、高、宽)的特征图，首先经过一次的全局平均池化层，得到C*1*1的特征图，然后再经过用2个全连接层和1个激活函数进行非线性处理得到C*1*1的特征图，最后就是将原始C*H*W的特征图和C*1*1的特征图进行全乘的操作，以得到不同通道重要性不一样的特征图。
SE注意力机制能将全局信息压缩为通道权重，可以很好地确定不同通道间的重要性，SPP通过不同池化核大小的最大池化进行特征提取，提高网络的感受野，结合SE注意力机制的特点和SPP模块的作用，决定在SPP模块后添加SE注意力机制，如图7所示，拼接后的通道将重新分配通道权重，确定通道重要性，能带来更多有利于识别任务的特征通道的权重得以增加，其它特征通道的权重得以抑制，使得网络模型更加关注于目标的特征信息，提高网络模型的识别性能。
作为本发明的另一个优选实施例，S2步骤中对图像特征提取后的图像进行多尺度特征融合是采用PAFPN结构进行融合，先通过上采样的方式进行传递融合，再通过下采样融合方式得到预测的特征图，最终输出3个特征层组成的元组结果。
作为本发明的另一个优选实施例，采用卷积块注意力机制改进模块(即CBAM注意力机制改进模块)对PAFPN结构层进行改进，如图9所示，为卷积块注意力机制改进模块整体结构示意图，卷积块注意力机制改进模块包括通道注意力模块和空间注意力模块，如图10所示，为通道注意力模块的改进流程示意图，如图11所示，为空间注意力模块的改进流程示意图，卷积块注意力机制改进模块对PAFPN结构的改进包括以下步骤：
C1、对S1步骤处理后的的数据通过卷积块注意力机制改进模块将具有输出通道为C、高为H和宽为W的中间特征图F输入至通道注意力模块，同时进行全局最大池化和均值池化；
C2、将池化后的两个一维向量送入共享全连接层进行运算后相加，生成MC(C*1*1)的一维通道注意力特征图；
C3、将C2步骤得到的一维通道注意力特征图C1步骤输入进来的中间特征图F相乘，获得通道注意力调整后的特征图F’，通道注意力模块完成改进；
C4、将C3步骤得到的特征图F’输入至空间注意力模块，按空间一次进行全局最大池化和均值池化；
C5、将C4步骤池化生成的两个二维向量拼接后进行卷积操作，最终生成二维空间注意力特征图，再进行Sigmoid运算后，生成空间注意力Ms特征图；
C6、如图9所示，将C5步骤生成的空间注意力Ms特征图与C4步骤输入至空间注意力模块的特征图F’再进行相乘，得到卷积块注意力机制改进模块改进完成的输出特征图。
如图9所示的本发明提供的卷积块注意力机制改进模块不同于传统单模块的注意力机制，传统的单模块的注意力机制仅使用通道注意力机制或者是仅使用空间注意力机制，本发明提供的卷积块注意力机制改进模块既包括通道注意力模块也包括空间注意力模块，可以在通道和空间维度上进行作用。
卷积块注意力机制改进模块(即CBAM注意力机制改进模块)沿着两个独立的维度完成了通道信息和空间信息的融合，能完成自适应的特征优化，PAFPN的作用可以将深层特征层具有的更强的语义信息传递到浅层特征层，还可以将浅层特征层具有的更强的定位信息传递到深层特征层，效加强了网络的特征融合能力，结合CBAM注意力机制的特点和PAFPN结构的作用，因此将CBAM注意力机制改进模块加入PAFPN结构网络之中，如图12所示，提升目标特征的权重，可以让网络更加关注待检测目标，提高检测效果，解决复杂环境背景下容易错漏检的情况。
由于部分病虫害较小，会导致部分病虫害的定位不准确，从而引入损失函数作为边界框回归损失，不仅能够提高目标框回归的稳定性，还能使得损失函数收敛速度更快，作为本发明的另一个优选实施例，S4步骤构建的用于识别定位损失值Loss的损失函数如下：
Loss＝LossReg+LossObj+LossCls；
其中，LossReg为被监测草莓种植区图像病虫害图像的预测框和真实框的重叠程度损失值，lossObj为根据正负样本和特征点的是否包含被监测草莓种植区图像病虫害的预测结果计算交叉熵损失值，LossCls为被监测草莓种植区图像病虫害图像的真实框的种类和特征点的种类预测结果计算交叉熵损失值；
Figure BDA0003933634330000121
其中IOU为预测框和真实框交并比；b为预测框的中心点，bgt为真实框的中心点，ρ为如图4所示的预测框的中心点与真实框的中心点之间的欧氏距离d，c为如图13所示的能够同时包含预测框与真实框最小矩形封闭区域对角线距离；α为协调比例参数，v为衡量预测框与真实框长宽比的一致性的参数，αv作为横纵比影响因子；
Figure BDA0003933634330000131
A代表预测框，B代表真实框，A∩B代表A与B的交集面积的值，|A∪B|代表A与B的并集面积的值；当IOU值越小，则代表预测框和真实框的重叠程度高。反之，则重叠程度低。但是在草莓病虫害的预测中，因为部分病虫害较小，导致可能会遇到预测框与真实框完全不重叠的状态，会导致部分病虫害的定位不准确。针对IoU无法对预测框和真实框不重合的状态进行优化这一不足，以及IoU值无法反映预测框与真实框之间的距离问题，因此，本发明采用
Figure BDA0003933634330000132
附加进来，进而改进预测框和真实框的重叠损失值的计算，考虑了目标框回归三要素(重叠面积、中心点距离和长宽比)，不仅能够提高目标框回归的稳定性，还能使得损失函数收敛速度更快，在优化网络误差方面也显得更加合理灵活提高了准确度。
Figure BDA0003933634330000133
Figure BDA0003933634330000134
其中，wgt和hgt分别为目标框的宽和高，w和h分别为预测框的宽和高。
如图14所示，本发明提供的基于改进AM-YOLOX的草莓病虫害检测方法中的S1步骤中进行图像特征提取的原始草莓病虫害图像数据集，使用的是由JBNU计算机科学与工程系AI实验室的成员收集，该数据集包含了2500张草莓疾病的图像，包含7种不同类型的病虫害，病虫害类别包括草莓角斑病、草莓炭疽病、花枯病、叶斑病、草莓白粉病、白粉病叶和灰霉病。数据从不同地方的自然光照条件下的温室中采集，以确保环境的多样性，并且由该领域的专家验证了这些草莓病虫害。本发明提供的方法从中选筛选部分图像，并对小部分进行重新标注。由于数据集中各类病虫害数量不均衡，为保证各种病虫害的数量均衡，通过水平翻转，等比例缩放，随机裁剪与填充，随机亮度，垂直翻转等进行数据扩充。进预处理后的数据集共3806张，具体分类如表1所示，符合网络训练需求。为保证数据集的独立性，对数据集按照8:1:1的比例切分为训练集、验证集、测试集。
作为本发明的另一个优选实施例，S5步骤中的采用Mosaic算法是对S4步骤识别定位得到的四张相关的具有草莓病虫害图像进行随机裁剪，再拼接到一张图上作为训练数据；如图15所示，采用Mosaic算法对S4步骤识别定位得到的具有草莓病虫害的图像进一步进行数据增强的优点是极大丰富了检测物体的背景，草莓病虫害的自然背景相对复杂，这样子能够较大程度提升模型的鲁棒性。
S5步骤中采用Mixup算法数据对S4步骤识别定位得到的具有草莓病虫害图像进行数据增强，包括以下步骤：
D1、将SS4步骤识别定位得到的具有草莓病虫害图像提取第一个batch样本batchx1和第二个batch样本batchx2；
D2、标记D1步骤中提取的第一个batch样本batchx1对应的第一标签batchy1和第二个batch样本batchx2对应的第二标签batchy2，计算由第一贝塔参数β和第二贝塔参数γ决定的贝塔分布混合系数λ：
λ＝Beta(β，γ)；
其中，Beta(·)为计算贝塔分布；
D3、计算由第一个batch样本batchx1和第二个batch样本batchx2混合后的混合样本
Figure BDA0003933634330000141
并由第一标签batchy1和第二标签batchy2混合后的混合标签
Figure BDA0003933634330000142
Figure BDA0003933634330000143
Figure BDA0003933634330000144
Mixup是一种混类增强的算法，采用如上D1-D3的步骤对对S4步骤识别定位得到的具有草莓病虫害图像进行数据增强的效果如图16所示，可以将不同类之间的图像进行混合，从而扩充训练数据集。
S6步骤中用于评价草莓病虫害检测的召回率(Recall)、准确率(Precision)、平均准确率(Average precision，AP)的评价指标，平均精度均值(Mean of averageprecision，mAP)和F1分数的计算公式分别如下：
Figure BDA0003933634330000145
Figure BDA0003933634330000146
Figure BDA0003933634330000147
Figure BDA0003933634330000151
Figure BDA0003933634330000152
其中，Recall为召回率，Precision为准确率，AP为平均准确率，mAP为平均精度均值，F1为F1分数；TP为正确检测出的样本数量、FP为误检的样本数量，FN为漏检的样本数量，AP(i)表示第i类草莓病虫害的AP值，NC为草莓病虫害类别数量；
S6步骤中的各评价指标阈值如下：召回率阈值为80％，准确率阈值为96.5％，平均准确率阈值为90％，平均精度均值阈值为97％，F1分数阈值为大于88。
本发明在进行模型训练时，使用COCO进行预训练数据集进行迁移学习训练，以此来解决草莓病虫害数据量不够，而导致的训练好后的模型泛化性能不强的问题。在模型时输入的图片大小为640×640，采用sgd优化器，学习率调整方式为余弦退火衰减，迭代次数共100代，训练批次大小为32，学习率为0.001，采取冻结训练方法，以提高训练效率，加速收敛，前50轮为冻结训练，后50轮为解冻训练，其中训练的前50％采用Mosaic算法进行数据增强和采用Mixup算法进行数据增强，后50％不使用采用Mosaic算法进行数据增强和采用Mixup算法进行数据增强。这样训练策略下，不仅数据增强合成的图像能增强模型对局部特征的学习能力，从而提高整个模型的泛化能力，而且数据集也能更专注于原始图片，使得模型能很好地学习到目标的总体特征。
本发明进行的模型训练是在Linux操作系统下，进行模型训练的实验平台是基于GPU、Pytorch和CUDA框架完成的，其具体参数配置如表1所示。
表1实验训练环境配置
Figure BDA0003933634330000153
Figure BDA0003933634330000161
训练过程的loss曲线如图17所示，横纵坐标分别为epoch和loss值。算法在起始阶段损失函数下降较快；在35个epoch后，损失函数趋于平缓；在第50个epoch，损失函数呈断崖式下跌，一方面是因为后50轮为解冻训练，模型的主干不被冻结，特征提取网络也得到训练；另一方面是因为关闭了采用Mosaic算法进行数据增强和采用Mixup算法进行数据增强引入真实的样本，防止了造成过度数据增强，使其网络得到良好的训练。
为了更好的理解本发明提供的方法中的各种改进对草莓病虫害的检测效果，本研究进行了一系列消融试验。在训练参数相同情况下，采用YOLOX-s作为基础对比网络，“√”表示引入该方法，消融实验结果如表2所示。其中实验A为基础的YOLOX-s网络结构，实验E为在YOLOX-s基础上融合三种注意力机制，实验B、C、D相比较实验E分别减少一种注意力机制。实验结果表明实验B、C、D均不如实验E，因此当所有注意力模块全都加入时，效果最好，相比于原始YOLOX-s算法，mAP提升1.97个百分点，Precision提升2.3个百分点，Recall提升0.7个百分点，说明根据不同注意力机制的作用，在网络的不同位置，加入多种不同的注意力机制，能够使网络模型更加高效的学习特征图的特征。AM-YOLOX在实验E的基础上采用CloU损失函数作为边界回归损失，相比于实验E中使用IOU作为边界框回归损失，mAP提升了0.57个百分点，Precision提升0.7个百分点，Recall提升0.8个百分点，说明采用CIoU损失函数作为边界框回归损失，能够提高目标框回归的稳定性。
通过消融实验，再次证明了每个改进策略均能提高网络模型的性能。本发明提供的方法中所提出的AM-YOLO网络模型相比于原始的YOLOX-s网络模型，具有更好的识别性能，mAP提高了2.54个百分点，F1分数提高了2.2，Precision提升3个百分点。改进前后的方法对各类草莓病虫害的具体AP值提升具体值如图18。
表2消融试验结果
Figure BDA0003933634330000162
Figure BDA0003933634330000171
实验结果表明，本发明提供的方法对七种草莓病虫害的检测有着更好的综合表现，F1分数提高了2.2，平均精度均值为97.17％，与基础网络YOLOX-s相比，提升了2.54个百分点。对比主流深度学习算法SSD、Faster-RCNN、YOLOv3、YOLOv5-s均展现出较大的优势。
为了进一步证明本发明提供的基于改进AM-YOLOX的草莓病虫害检测方法的有效性以及优越性，在实验环境和模型参数设置不变的情况下，选择目前目标检测领域主流方法SSD、Faster-RCNN、YOLOv3、YOLOv5-s与本发明提供的方法进行比较，以Precision、Recall、mAP、F1作为评价指标，结果如表3所示。
表3对比试验结果
Figure BDA0003933634330000172
从表3中数据可知，本发明提供的方法的Precision、Recall、mAP、F1分数为表中其他测试算法中最高。在检测精度方面，AM-YOLOX与同为单阶段算法的SSD、YOLOV3、YOLOV5-s算法相比，Precision分别提升了4.8个百分点、17个百分点、14.9个百分点，mAP分别提升了4.36个百分点、16.73个百分点、14.74个百分点，F1分数分别提升了8.1,、18.3和11.5，而且与经典两阶段目标检测算法Faster R-CNN相比较，Precision提升了5.1个百分点，mAP提升了4.41个百分点，F1分数提升了6.8，算法性能展现出了较大的优势。自然环境下的草莓病虫害，图像背景复杂，病斑的体积较小，易产生漏检。而AM-YOLOX在召回率上，相比较于SSD、Faster-RCNN、YOLOv3、YOLOv5-s，分别提升了10％、7.8％、18.7％、9.3％，因此本发明提供的网络模型模型综合性能更优，更适合完成在自然环境下对草莓病虫害的识别任务。
本发明还提供一种基于AM-YOLOX的草莓病虫害检测系统，包括摄像机，摄像机用于采集草莓种植区域图像，如图19所示，本发明提供的系统还包括主干特征提取网络模块(Backbone模块)、Neck模块、Head模块、定位效果评定模块、图像数据增强模块和病虫害检测评价及输出模块；
主干特征提取网络模块，用于对摄像头采集到的草莓种植区域图像进行图像特征提取；
Neck模块，用于对图像特征提取后的图像进行多尺度特征融合；
Head模块，用于对多尺度特征融合后的图像进行图片的识别和定位；
图像数据增强模块，用于采用Mosaic算法和Mixup算法对识别和定位得到的草莓病虫害图像进行数据增强；
定位效果评定模块，用于构建损失函数，判断经过图像数据增强模块数据增强后的识别和定位得到的草莓种植区域发生草莓病虫害的准确度；
病虫害检测评价及输出模块，用于计算用于评价草莓病虫害检测的评价指标：召回率(Recall)、准确率(Precision)、平均准确率(Average precision，AP)、平均精度均值(Mean of average precision，mAP)和F1分数，最终输出符合各评价指标阈值的草莓病虫害图像作为草莓病虫害检测结果图像。
本发明为实现草莓病虫害的精准定位和识别，使用YOLOX-s网络模型作为基础网络，首先根据不同注意力机制的作用，在网络的不同位置，加入多种不同的注意力机制，使网络模型更加高效的学习特征图的特征；其次引入基于边框回归损失的损失函数模型，使得整个模型对图像特征的学习能力和目标检测精度显著提升，提高网络对草莓病虫害的定位精度；在训练阶段，使用Mosaic算法和Mixup算法进行数据增强，使得网络面对复杂环境下有更好的鲁棒性。
实验结果表明，本发明提供的方法中改进AM-YOLOX模型相较于原模型以及其他主流算法，有着更高的分类置信度，更好的准确率、召回率，因此该模型的检测精度及定位精度均较好，能够降低草莓病虫害的误检和漏检的概率，因此能够满足草莓病虫害检测的需求。
需要说明的是，上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。并且本文中的术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、装置、物品或者方法不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、装置、物品或者方法所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、装置、物品或者方法中还存在另外的相同要素。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在如上所述的一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

Claims (10)

1.基于AM-YOLOX的草莓病虫害检测方法，所述方法包括采集草莓种植区域图像；其特征在于，所述方法还包括以下步骤：
S1、对采集到的草莓种植区域图像进行图像特征提取；
S2、采用PAFPN结构层对图像特征提取后的图像进行多尺度特征融合；
S3、对多尺度特征融合后的图像进行图片的识别和定位；
S4、采用Mosaic算法和Mixup算法对所述S3步骤识别和定位得到的草莓病虫害图像进行数据增强；
S5、构建损失函数，计算识别定位损失值，判断经过所述S4步骤数据增强后的识别和定位得到的草莓种植区域图像用于评价发生草莓病虫害的准确度；若计算得到的识别定位损失值小于损失阈值0.86，则进行S6步骤，否则重复所述S1-S4步骤；
S6、计算用于评价草莓病虫害检测的评价指标：召回率、准确率、平均准确率、平均精度均值和F1分数，最终输出均符合大于各评价指标阈值的草莓病虫害图像作为草莓病虫害检测结果图像。
2.根据权利要求1所述的基于AM-YOLOX的草莓病虫害检测方法，其特征在于，所述S1步骤中采用CSPDarknet网络，包括Focus结构层、CBS结构层、CSP结构层、SPP结构层；
所述Focus结构层，用于对采集到的草莓种植区域图像中每隔一个像素取到一个值，获得四个独立的特征层，然后对所述四个独立的特征层进行堆叠；
所述CBS结构层，用于；所述CBS结构层由Conv+BN+SiLU三部分组成；
所述CSP结构层，用于使得网络深度增加，增强特征提取能力；
所述SPP结构层，用于通过对所述CSP结构层处理后的图像数据进行池化，将不同尺度的特征融合到一起，实现数据的多尺度输入。
3.根据权利要求2所述的基于AM-YOLOX的草莓病虫害检测方法，其特征在于，所述CSP结构层包括卷积层和X个残差组件拼接组成。
4.根据权利要求2所述的基于AM-YOLOX的草莓病虫害检测方法，其特征在于，在所述Focus结构层之后、CBS结构层之前设置坐标注意力机制改进模块，对所述Focus结构层处理后的数据进行坐标注意力机制改进，所述坐标注意力机制改进模块对所述Focus结构层的改进包括以下步骤：
M1、对所述Focus结构层处理后的数据通过所述坐标注意力机制改进模块将输出通道为C、高为H和宽为W的特征图分别输入至X_Avg平均池化层和Y_Avg平均池化层进行处理，得到C*1*W的特征图；
M2、再进入concat+Conv2d结构层，得到(C/r)*1*(H+W)的特征图，其中r为缩放率；
M3、然后进入BatchNorm+Non-linear层，进行非线性化处理，
M4、由所述M3步骤处理得到的(C/r)*1*(H+W)的特征图分别进入两个Conv2D层，其中，r为缩放率，得到C*1*W的特征图；
M5、再由两个所述Conv2D层分别进入两个Sigmoid层，进行激活，得到C*1*W的特征图；
M6、最终汇总进行重新赋予权重并输出结果。
5.根据权利要求2所述的基于AM-YOLOX的草莓病虫害检测方法，其特征在于，在所述SPP结构层之后设置通道注意力机制改进模块，对所述SPP结构层进行通道注意力机制改进，所述通道注意力机制改进包括以下步骤：
B1、对所述SPP结构层处理后的数据通过所述通道注意力机制改进模块将输出通道为C、高为H和宽为W的特征图输入至全局平均池化层进行处理，得到C*1*1的特征图；
B2、再进入第一全连接层，得到(C/r)*1*(H+W)的特征图，其中，r为缩放率；
B3、再进入非线性处理层，得到(C/r)*1*(H+W)的特征图，其中，r为缩放率；
B4、再进入第二全连接层，得到C*1*1的特征图；
B5、最后进入Sigmoid层，进行激活；
B6、汇总进行重新赋予权重并输出结果。
6.根据权利要求1所述的基于AM-YOLOX的草莓病虫害检测方法，其特征在于，所述S2步骤中对图像特征提取后的图像进行多尺度特征融合是采用PAFPN结构进行融合，先通过上采样的方式进行传递融合，再通过下采样融合方式得到预测的特征图，最终输出3个特征层组成的元组结果。
7.根据权利要求6所述的基于AM-YOLOX的草莓病虫害检测方法，其特征在于，采用卷积块注意力机制改进模块对所述PAFPN结构层进行改进，所述卷积块注意力机制改进模块包括通道注意力模块和空间注意力模块，所述卷积块注意力机制改进模块对所述PAFPN结构的改进包括以下步骤：
C1、对所述S1步骤处理后的的数据通过所述卷积块注意力机制改进模块将具有输出通道为C、高为H和宽为W的中间特征图F输入至所述通道注意力模块，同时进行全局最大池化和均值池化；
C2、将池化后的两个一维向量送入共享全连接层进行运算后相加，生成MC(C*1*1)的一维通道注意力特征图；
C3、将所述C2步骤得到的一维通道注意力特征图所述C1步骤输入进来的所述中间特征图F相乘，获得通道注意力调整后的特征图F’，所述通道注意力模块完成改进；
C4、将所述C3步骤得到的所述特征图F’输入至所述空间注意力模块，按空间一次进行全局最大池化和均值池化；
C5、将所述C4步骤池化生成的两个二维向量拼接后进行卷积操作，最终生成二维空间注意力特征图，再进行Sigmoid运算后，生成空间注意力Ms特征图；
C6、将所述C5步骤生成的所述空间注意力Ms特征图与所述C4步骤输入至所述空间注意力模块的所述特征图F’再进行相乘，得到所述卷积块注意力机制改进模块改进完成的输出特征图。
8.根据权利要求1所述的基于AM-YOLOX的草莓病虫害检测方法，其特征在于，所述S4步骤构建的用于识别定位损失值Loss的损失函数如下：
Loss＝LossReg+LossObj+LossCls；
其中，LossReg为被监测草莓种植区图像病虫害图像的预测框和真实框的重叠程度损失值，LossObj为根据正负样本和特征点的是否包含被监测草莓种植区图像病虫害的预测结果计算交叉熵损失值，LossCls为被监测草莓种植区图像病虫害图像的真实框的种类和特征点的种类预测结果计算交叉熵损失值；
Figure FDA0003933634320000031
其中IOU为预测框和真实框交并比；b为预测框的中心点，bgt为真实框的中心点，ρ为预测框的中心点与真实框的中心点之间的欧氏距离，c为能够同时包含预测框与真实框最小矩形封闭区域对角线距离；α为协调比例参数，v为衡量预测框与真实框长宽比的一致性的参数，αv作为横纵比影响因子；
Figure FDA0003933634320000032
A代表预测框，B代表真实框，A∩B代表A与B的交集面积的值，|A∪B|代表A与B的并集面积的值；
Figure FDA0003933634320000033
Figure FDA0003933634320000041
其中，wgt和hgt分别为目标框的宽和高，w和h分别为预测框的宽和高。
9.根据权利要求1所述的基于AM-YOLOX的草莓病虫害检测方法，其特征在于，所述S5步骤中的采用Mosaic算法是对所述S4步骤识别定位得到的四张相关的具有草莓病虫害图像进行随机裁剪，再拼接到一张图上作为训练数据；
所述S5步骤中采用Mixup算法数据对所述S4步骤识别定位得到的具有草莓病虫害图像进行数据增强，包括以下步骤：
D1、将所述SS4步骤识别定位得到的具有草莓病虫害图像提取第一个batch样本batchx1和第二个batch样本batchx2；
D2、标记所述D1步骤中提取的所述第一个batch样本batchx1对应的第一标签batchy1和所述第二个batch样本batchx2对应的第二标签batchy2，计算由第一贝塔参数β和第二贝塔参数γ决定的贝塔分布混合系数λ：
λ＝Beta(β，γ)；
其中，Beta(·)为计算贝塔分布；
D3、计算由所述第一个batch样本batchx1和所述第二个batch样本batchx2混合后的混合样本
Figure FDA0003933634320000042
并由所述第一标签batchy1和所述第二标签batchy2混合后的混合标签
Figure FDA0003933634320000043
Figure FDA0003933634320000044
Figure FDA0003933634320000045
所述S6步骤中用于评价草莓病虫害检测的召回率、准确率、平均准确率的评价指标，平均精度均值和F1分数的计算公式分别如下：
Figure FDA0003933634320000046
Figure FDA0003933634320000047
Figure FDA0003933634320000048
Figure FDA0003933634320000051
Figure FDA0003933634320000052
其中，Recall为召回率，Precision为准确率，AP为平均准确率，mAP为平均精度均值，F1为F1分数；TP为正确检测出的样本数量、FP为误检的样本数量，FN为漏检的样本数量，AP(i)表示第i类草莓病虫害的AP值，NC为草莓病虫害类别数量；
所述S6步骤中的各评价指标阈值如下：召回率阈值为80％，准确率阈值为96.5％，平均准确率阈值为90％，平均精度均值阈值为97％，F1分数阈值为88。
10.基于AM-YOLOX的草莓病虫害检测系统，包括摄像机，所述摄像机用于采集草莓种植区域图像，其特征在于，所述系统还包括主干特征提取网络模块、Neck模块、Head模块、定位效果评定模块、图像数据增强模块和病虫害检测评价及输出模块；
所述主干特征提取网络模块，用于对所述摄像头采集到的草莓种植区域图像进行图像特征提取；
所述Neck模块，用于对图像特征提取后的图像进行多尺度特征融合；
所述Head模块，用于对多尺度特征融合后的图像进行图片的识别和定位；
所述图像数据增强模块，用于采用Mosaic算法和Mixup算法对所述识别和定位得到的草莓病虫害图像进行数据增强；
所述定位效果评定模块，用于构建损失函数，判断经过所述图像数据增强模块数据增强后的识别和定位得到的草莓种植区域发生草莓病虫害的准确度；
所述病虫害检测评价及输出模块，用于计算用于评价草莓病虫害检测的评价指标：召回率、准确率、平均准确率、平均精度均值和F1分数，最终输出符合各评价指标阈值的草莓病虫害图像作为草莓病虫害检测结果图像。
CN202211397092.2A 2022-11-09 2022-11-09 基于am-yolox的草莓病虫害检测方法及系统 Pending CN115631462A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202211397092.2A CN115631462A (zh) 2022-11-09 2022-11-09 基于am-yolox的草莓病虫害检测方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202211397092.2A CN115631462A (zh) 2022-11-09 2022-11-09 基于am-yolox的草莓病虫害检测方法及系统

Publications (1)

Publication Number Publication Date
CN115631462A true CN115631462A (zh) 2023-01-20

Family

ID=84908130

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202211397092.2A Pending CN115631462A (zh) 2022-11-09 2022-11-09 基于am-yolox的草莓病虫害检测方法及系统

Country Status (1)

Country Link
CN (1) CN115631462A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117649610A (zh) * 2024-01-30 2024-03-05 江西农业大学 一种基于YOLOv5的害虫检测方法及系统

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117649610A (zh) * 2024-01-30 2024-03-05 江西农业大学 一种基于YOLOv5的害虫检测方法及系统

Similar Documents

Publication Publication Date Title
Kong et al. Multi-stream hybrid architecture based on cross-level fusion strategy for fine-grained crop species recognition in precision agriculture
Chen et al. Weed detection in sesame fields using a YOLO model with an enhanced attention mechanism and feature fusion
Zhou et al. A novel greenhouse-based system for the detection and plumpness assessment of strawberry using an improved deep learning technique
CN113538390B (zh) 一种柚子病虫害的快速识别方法
CN105631415A (zh) 一种基于卷积神经网络的视频行人识别方法
Zheng et al. Research on tomato detection in natural environment based on RC-YOLOv4
CN111507319A (zh) 一种基于深度融合卷积网络模型的农作物病害识别方法
Wang et al. Precision detection of dense plums in orchards using the improved YOLOv4 model
Hao et al. Growing period classification of Gynura bicolor DC using GL-CNN
CN115272828A (zh) 一种基于注意力机制的密集目标检测模型训练方法
Carrijo et al. Automatic detection of fruits in coffee crops from aerial images
CN114898359B (zh) 一种基于改进EfficientDet的荔枝病虫害检测方法
CN114693616A (zh) 一种基于改进目标检测模型与卷积神经网络的水稻病害检测方法、设备和介质
CN114972208A (zh) 一种基于YOLOv4的轻量化小麦赤霉病检测方法
CN113435254A (zh) 一种基于哨兵二号影像的耕地深度学习提取方法
CN115631462A (zh) 基于am-yolox的草莓病虫害检测方法及系统
Miao et al. Crop weed identification system based on convolutional neural network
CN113902901A (zh) 一种基于轻量化检测的物体分离方法与系统
Ma et al. Using an improved lightweight YOLOv8 model for real-time detection of multi-stage apple fruit in complex orchard environments
Deng et al. Kiwifruit vine extraction based on low altitude UAV remote sensing and deep semantic segmentation
Brar et al. A smart approach to coconut leaf spot disease classification using computer vision and deep learning technique
Liu et al. “Is this blueberry ripe?”: a blueberry ripeness detection algorithm for use on picking robots
CN113657294B (zh) 一种基于计算机视觉的作物病虫害检测方法及系统
CN115439842A (zh) 一种基于深度学习的桑葚菌核病严重度的检测方法
CN115330759A (zh) 一种基于豪斯多夫距离计算距离损失的方法及装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination