CN116385432A - 一种轻量化解耦小麦赤霉病孢子检测方法 - Google Patents
一种轻量化解耦小麦赤霉病孢子检测方法 Download PDFInfo
- Publication number
- CN116385432A CN116385432A CN202310637503.9A CN202310637503A CN116385432A CN 116385432 A CN116385432 A CN 116385432A CN 202310637503 A CN202310637503 A CN 202310637503A CN 116385432 A CN116385432 A CN 116385432A
- Authority
- CN
- China
- Prior art keywords
- spore
- module
- wheat scab
- yolo
- light
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 95
- 241000209140 Triticum Species 0.000 title claims abstract description 89
- 235000021307 Triticum Nutrition 0.000 title claims abstract description 89
- 206010039509 Scab Diseases 0.000 title claims abstract description 85
- 230000001717 pathogenic effect Effects 0.000 claims abstract description 36
- 238000012549 training Methods 0.000 claims abstract description 33
- 238000007781 pre-processing Methods 0.000 claims abstract description 8
- 230000004927 fusion Effects 0.000 claims description 28
- 238000010276 construction Methods 0.000 claims description 22
- 238000000605 extraction Methods 0.000 claims description 14
- 238000000034 method Methods 0.000 claims description 12
- 230000008859 change Effects 0.000 claims description 9
- 238000011282 treatment Methods 0.000 claims description 8
- 238000005457 optimization Methods 0.000 claims description 7
- 238000011176 pooling Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 238000012360 testing method Methods 0.000 claims description 5
- 241000223218 Fusarium Species 0.000 claims description 4
- 238000012545 processing Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 4
- 230000009466 transformation Effects 0.000 claims description 4
- 238000000137 annealing Methods 0.000 claims description 3
- 238000013434 data augmentation Methods 0.000 claims description 3
- 238000002372 labelling Methods 0.000 claims description 3
- 238000000926 separation method Methods 0.000 claims description 3
- 238000010008 shearing Methods 0.000 claims description 3
- 239000013598 vector Substances 0.000 claims description 3
- 241000223195 Fusarium graminearum Species 0.000 abstract description 5
- 230000007547 defect Effects 0.000 abstract description 4
- 241000784413 Fusarium asiaticum Species 0.000 abstract description 2
- 230000004069 differentiation Effects 0.000 abstract 1
- 201000010099 disease Diseases 0.000 description 6
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000002474 experimental method Methods 0.000 description 5
- 241000233866 Fungi Species 0.000 description 3
- UHPMCKVQTMMPCG-UHFFFAOYSA-N 5,8-dihydroxy-2-methoxy-6-methyl-7-(2-oxopropyl)naphthalene-1,4-dione Chemical compound CC1=C(CC(C)=O)C(O)=C2C(=O)C(OC)=CC(=O)C2=C1O UHPMCKVQTMMPCG-UHFFFAOYSA-N 0.000 description 2
- 238000002679 ablation Methods 0.000 description 2
- 230000001580 bacterial effect Effects 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000008878 coupling Effects 0.000 description 2
- 238000010168 coupling process Methods 0.000 description 2
- 238000005859 coupling reaction Methods 0.000 description 2
- 238000013135 deep learning Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- JEIPFZHSYJVQDO-UHFFFAOYSA-N iron(III) oxide Inorganic materials O=[Fe]O[Fe]=O JEIPFZHSYJVQDO-UHFFFAOYSA-N 0.000 description 2
- 241000894007 species Species 0.000 description 2
- 241000894006 Bacteria Species 0.000 description 1
- 241000196324 Embryophyta Species 0.000 description 1
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 241000209504 Poaceae Species 0.000 description 1
- 239000000654 additive Substances 0.000 description 1
- 230000000996 additive effect Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000002950 deficient Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 238000007667 floating Methods 0.000 description 1
- 230000002538 fungal effect Effects 0.000 description 1
- 244000053095 fungal pathogen Species 0.000 description 1
- 239000012535 impurity Substances 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000877 morphologic effect Effects 0.000 description 1
- 238000011056 performance test Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/0464—Convolutional networks [CNN, ConvNet]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20092—Interactive image processing based on input by user
- G06T2207/20104—Interactive definition of region of interest [ROI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30181—Earth observation
- G06T2207/30188—Vegetation; Agriculture
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A90/00—Technologies having an indirect contribution to adaptation to climate change
- Y02A90/10—Information and communication technologies [ICT] supporting adaptation to climate change, e.g. for weather forecasting or climate simulation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Computation (AREA)
- Multimedia (AREA)
- Health & Medical Sciences (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Computing Systems (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Computational Linguistics (AREA)
- Biophysics (AREA)
- Molecular Biology (AREA)
- Biomedical Technology (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Medical Informatics (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Catching Or Destruction (AREA)
Abstract
本发明涉及一种轻量化解耦小麦赤霉病孢子检测方法，与现有技术相比解决了从未关注的亚洲镰孢和禾谷镰孢因类内与类间差异小、无法有效对小麦赤霉病两种主要致病孢子做出检测区分的缺陷。本发明包括以下步骤：小麦赤霉病致病孢子显微图像获取及预处理；轻量化解耦小麦赤霉病孢子检测模型的构建；轻量化解耦小麦赤霉病孢子检测模型的训练；获取待检测的小麦赤霉病致病孢子显微图像并进行预处理；小麦赤霉病孢子检测结果的获得。本发明考虑了现有农田检测设备有存储空间和功耗的限制，能精准快速对小麦赤霉病主要致病孢子显微图像进行检测。
Description
技术领域
本发明涉及作物病害快速检测技术领域，具体来说是一种轻量化解耦小麦赤霉病孢子检测方法。
背景技术
随着机器视觉技术在农业领域的深度应用，国内外学者针对病菌孢子领域的目标检测也有了一定进展。在传统机器学习方面，齐龙等基于椭圆度、复杂度等形态学特征，利用距离变换和改进的分水岭算法对粘连孢子进行检测，准确度达到了98.5%，但特征提取过程较为复杂；王震等通过提取孢子图像的 HOG 特征，提出一种加性交叉核支持向量机（IKSVM）的稻瘟病孢子检测方法，达到了 98.2%的检测率，不足之处在于检测耗时太久；而在深度学习中，Dai等基于图像处理和Deeplabv3+模型，对小麦赤霉病RGB图像进行检测，得到了0.969的平均精度；Bao等基于多路卷积神经网络，对大田赤霉病病变麦穗图像进行识别，其对单株麦穗赤霉病识别精度达到了100%；Zhang等基于FSNet提出一种多层融合结构网络，通过锚点优化和区域采样策略提高等措施，在真菌数据集中达到了 91.6% 的平均检测精度；雷雨等针对小麦条锈病真菌夏孢子自动检测存在严重的误检和漏检问题，提出一种基于改进 CenterNet 的小麦条锈病菌夏孢子自动检测方法，其识别精度达到了98.77%。
综上来看，机器视觉方法必须对图像预先提取特征才能进行检测，但过程效率不高且费时费力；而在深度学习中大多是基于外表宏观病害检测，而针对内部微观病菌孢子的检测研究较少。同时，在实际应用中发现，小麦赤霉病孢子，特别是亚洲镰孢（fa）、禾谷镰孢（fg）因类内与类间差异小难以区分，且小麦赤霉病孢子具有微小、多态等特点，导致检测难度大大增高，此外，实际田间检测设备还存在存储空间和功耗的限制。
因此，针对近十年危害最严重，且孢子形状特殊的小麦赤霉病致病孢子的轻量化精准检测已经成为急需解决的技术问题。
发明内容
本发明的目的是为了解决现有技术中从未关注的亚洲镰孢和禾谷镰孢因类内与类间差异小、无法有效对小麦赤霉病两种主要致病孢子做出检测区分的缺陷，针对性提出一种轻量化解耦小麦赤霉病孢子检测方法来解决上述问题。
为了实现上述目的，本发明的技术方案如下：
一种轻量化解耦小麦赤霉病孢子检测方法，包括以下步骤：
11）小麦赤霉病致病孢子显微图像获取及预处理：采集小麦赤霉病致病孢子显微图像，并利用spore-copy进行数据增广处理；
12）轻量化解耦小麦赤霉病孢子检测模型的构建：基于yolov7-tiny并嵌入Gsconv模块及Decoupled head模块构建出轻量化解耦小麦赤霉病孢子检测模型；
13）轻量化解耦小麦赤霉病孢子检测模型的训练：将预处理后的小麦赤霉病致病孢子显微图像输入轻量化解耦小麦赤霉病孢子检测模型进行训练；
14）获取待检测的小麦赤霉病致病孢子显微图像并进行预处理；
15）小麦赤霉病孢子检测结果的获得：将预处理后的待检测的小麦赤霉病致病孢子显微图像输入训练后的轻量化解耦小麦赤霉病孢子检测模型，获得小麦赤霉病孢子图像的检测结果。
所述轻量化解耦小麦赤霉病孢子检测模型的构建包括以下步骤：
21）设定轻量化解耦小麦赤霉病孢子检测模型分为三部分，第一部分为GSD-YOLO特征提取Backbone模块、第二部分为GSD-YOLO特征融合neck模块、第三部分为GSD-YOLO特征融合head模块；其中，在GSD-YOLO特征提取Backbone模块后堆叠GSD-YOLO特征融合neck模块、在GSD-YOLO特征融合neck模块后堆叠Decoupled解耦结构模块；
22）基于yolov7-tiny主干模块，构建GSD-YOLO特征提取Backbone模块：
221）堆叠两层3×3初始卷积层模块；
222）构建ELAN模块：第一条分支构建1×1卷积层改变通道维度，第二条分支先经过一个1×1的卷积层，再通过两个3×3的卷积模块进行特征提取，最后把两条分支得到的特征进行Concat链接；
223）构建MP模块：第一条分支经过Maxpool最大池化进行下采样，再通过1x1的卷积进行通道数的改变；第二条分支构建1x1卷积，经过一个3x3卷积核、步长为2的卷积块完成下采样，最后把两条分支结果Concat链接，得到超级下采样结果；
224）在两层3×3初始卷积层模块上堆叠ELAN模块；
225）在ELAN模块上依次堆叠MP模块、ELAN模块；
226）重复225）操作三次，即再交叉堆叠三个MP模块和三个ELAN模块；
227）完成GSD-YOLO网络主干特征提取Backbone模块的构造；
23）构建GSD-YOLO特征融合neck模块：
231）构建SPP模块：先构建1×1的卷积层，再通过三个不同Maxpool最大池化器得到三个尺度的感受野，三个不同Maxpool分别为5、9、13，之后将原有尺度感受野和经Maxpool得到的三尺度感受野Concat链接，再接入1×1卷积层改变通道维度；
232）使用231）SPP模块构建SPPCSPC模块：一部分接入1×1卷积层进行常规处理，另一部分接入SPP模块，最后把两个部分合并在一起；
233）构建GSConv模块：第一条分支构建1×1卷积层，第二条分支构建DSC分离卷积层；将两个分支Concat链接后的特征图与标准卷积SC得到的特征图用shuffle的方式进行融合，最后输出GSConv模块特征图；
234）堆叠SPPCSPC模块，再堆叠GSCconv模块；
235）依次顺序堆叠UPsample上采样模块、ELAN模块、GSConv模块；
236）重复235）操作两次；
237）依次顺序堆叠ELAN模块、GSConv模块、ELAN模块；
238）完成GSD-YOLO网络特征融合Neck模块的构造；
24）构建GSD-YOLO特征融合head模块：
241）构建Decoupled解耦结构：首先构建1×1卷积层进行通道变化，再将特征分支一分为二，分别通过两个3×3卷积层；其次将第一分支继续通过1×1卷积层得到类别预测参数Cls，第二分支再一分为二，分别通过1×1卷积层，得到目标框参数Reg、前景/背景参数Obj；最后将三个分支的结果通过Concat拼接，再reshape将特征图展平成向量；
242）完成GSD-YOLO特征融合head模块的构造。
所述轻量化解耦小麦赤霉病孢子检测模型的训练包括以下步骤：
31）对原始小麦赤霉孢子图像数据完成spore-copy增强处理：
311）准备待增强与待分割孢子数据集和yolo格式标签, 依照标签裁剪目标孢子ROI图像，记录孢子种类类别并保存图像；
312）随机打乱311）步所得ROI孢子图像，并设定待增强数据集孢子增加阈值；
313）对所有ROI孢子图像进行高斯模糊、图像缩放、随机遮挡剪切，以拟合真实田间小麦赤霉病孢子群状态，然后坐标转换使用泊松融合，把ROI孢子图像随机嵌入待增强孢子图像中；其中嵌入过程使用两种策略：（1）选择某个孢子图像并且复制多次，放置至随机位置；（2）选择多个孢子复制每个一次至任意位置；
32）对spore-copy增强后的孢子数据集按照1：8：1将数据划分为 val、train、test；
33）为网络模型设置训练超参数，并传入预设的训练权重文件；同时选用优化器，设置weights的优化方式；然后设置余弦退火的学习率衰减方式；最后确定训练批次为16；训练迭代周期为300、目标置信度阈值为0.5、初始学习率为0.01、权重衰减系数设置为0.0005；
34）启动训练，并计算训练结果与对应的标注文件中的交叉熵损失，根据交叉熵损失的模型预测权重，不断进行迭代优化；
35）完成训练，得到轻量化解耦小麦赤霉病孢子检测模型。
有益效果
本发明的一种轻量化解耦小麦赤霉病孢子检测方法，与现有技术相比在yolov7-tiny的框架下，针对性设计Decoupled解耦头，有效提升了检测精度；再创新嵌入GSConv轻量级模块，大大减小了网络参数并实现算法准确性和速度的平衡；最后，考虑了现有农田检测设备有存储空间和功耗的限制，能精准快速对小麦赤霉病主要致病孢子显微图像进行检测。
附图说明
图1为本发明的方法顺序图；
图2为本发明所涉及的小麦赤霉病孢子检测网络模型结构图；
图3为本发明所涉及的解耦头decoupled-head 模型结构图；
图4为本发明所涉及的轻量化模块GSConv结构图；
图5a为基于yolov7-tiny的小麦赤霉病主要致病孢子检测图；
图5b为基于GSD-yolo 的小麦赤霉病致病孢子检测图。
具体实施方式
为使对本发明的结构特征及所达成的功效有更进一步的了解与认识，用以较佳的实施例及附图配合详细的说明，说明如下：
如图1所示，本发明所述的一种轻量化解耦小麦赤霉病孢子检测方法，包括以下步骤：
第一步，小麦赤霉病致病孢子显微图像获取及预处理：采集小麦赤霉病致病孢子显微图像，并利用spore-copy进行数据增广处理。通过spore-copy数据增广策略，提高算法检测性能以及泛化能力。
第二步，轻量化解耦小麦赤霉病孢子检测模型的构建：基于yolov7-tiny并嵌入Gsconv模块及Decoupled head模块构建出轻量化解耦小麦赤霉病孢子检测模型。
如图2所示，轻量化解耦小麦赤霉病孢子检测模型（GSD-YOLO网络），其结构主要由Backbone、Neck、Head三个模块组成。Backbone模块沿用了Baseline网络yolov7-tiny的特征提取层，主要由Conv层、E-ELAN层以及MPConv层构成，其中E-ELAN是一种高效的网络设计方法，解决了模型参数利用率低下的问题，Neck模块主要使用FPN+PAN结构，使得高维度与低维度的信息能够互相传递，其中在通道信息维度最大，空间信息维度最小处嵌入轻量化GSConv模块，以减少模型参数量，同时实现模型准确性和速度之间的平衡；最后在Head模块中，加入解耦头用于提升检测性能加快网络收敛速度。
轻量化解耦小麦赤霉病孢子检测模型的构建包括以下步骤：
（1）设定轻量化解耦小麦赤霉病孢子检测模型分为三部分，第一部分为GSD-YOLO特征提取Backbone模块、第二部分为GSD-YOLO特征融合neck模块、第三部分为GSD-YOLO特征融合head模块；其中，在GSD-YOLO特征提取Backbone模块后堆叠GSD-YOLO特征融合neck模块、在GSD-YOLO特征融合neck模块后堆叠Decoupled解耦结构模块。
Yolo head是典型的耦合头，其检测模块会将卷积层输出的特征图直接送入几个全连接层或卷积层中，以生成所需的目标位置和类别。但因定位和分类所聚焦的区域不同，如果两个任务使用同一特征图，会导致spatial misalignment问题，同时这种耦合检测思想需要大量的参数和计算资源，并且易出现过拟合。所以基于此，本发明采用一种解耦头结构（decoupled head）,把定位和分类任务所需要的的信息分离出来，最后再进行融合，这样可以提升检测精度，同时加快网络收敛速度。解耦头具体结构如图3所示，从图中可以看出，解耦头的结构对特征图用不同的分支分开处理后，分类任务能更好比较所提取到的特征，而定位回归任务能更关注边界框参数。
在真实农田小麦赤霉病孢子的检测领域中，部署设备有存储空间和功耗的限制，所以需要对网络模型进行轻量化处理。传统普通的轻量化模型虽然能够提高检测器的速度，但是在检测精度上有所欠缺，因此本发明采用一种新型轻量级模块GSConv来优化模型,以此实现模型准确性和速度之间的平衡。
GSConv模块具体结构如图4所示，从图中可以看到，GSConv采用标准卷积（SC）、深度可分离卷积（DSC）和shuffle混合卷积的方式进行组合，以此构建新的卷积层，达到兼顾精度和速度的需求。另外，嵌入GSConv会带来加深网络的深度，降低模型推理速度的弊端，所以仅在网络模型Neck层的关键处使用轻量化模块GSConv。
（2）基于yolov7-tiny主干模块，构建GSD-YOLO特征提取Backbone模块：
A1）堆叠两层3×3初始卷积层模块；
A2）构建ELAN模块：第一条分支构建1×1卷积层改变通道维度，第二条分支先经过一个1×1的卷积层，再通过两个3×3的卷积模块进行特征提取，最后把两条分支得到的特征进行Concat链接；
A3）构建MP模块：第一条分支经过Maxpool最大池化进行下采样，再通过1x1的卷积进行通道数的改变；第二条分支构建1x1卷积，经过一个3x3卷积核、步长为2的卷积块完成下采样，最后把两条分支结果Concat链接，得到超级下采样结果；
A4）在两层3×3初始卷积层模块上堆叠ELAN模块；
A5）在ELAN模块上依次堆叠MP模块、ELAN模块；
A6）重复A5）操作三次，即再交叉堆叠三个MP模块和三个ELAN模块；
A7）完成GSD-YOLO网络主干特征提取Backbone模块的构造。
（3）构建GSD-YOLO特征融合neck模块：
B1）构建SPP模块：先构建1×1的卷积层，再通过三个不同Maxpool最大池化器（分别为5，9，13）得到三个尺度的感受野，三个不同Maxpool分别为5、9、13，之后将原有尺度感受野和经Maxpool得到的三尺度感受野Concat链接，再接入1×1卷积层改变通道维度；
B2）使用B1）SPP模块构建SPPCSPC模块：一部分接入1×1卷积层进行常规处理，另一部分接入SPP模块，最后把两个部分合并在一起；
B3）构建GSConv模块：第一条分支构建1×1卷积层，第二条分支构建DSC分离卷积层；将两个分支Concat链接后的特征图与标准卷积SC得到的特征图用shuffle的方式进行融合，最后输出GSConv模块特征图；
B4）堆叠SPPCSPC模块，将SPPCSPC模块作为第一个堆叠模块，在此基础上堆叠GSCconv模块；
B5）依次顺序堆叠UPsample上采样模块、ELAN模块、GSConv模块；
B6）重复B5）操作两次，即堆叠两个上采样模块、两个ELAN模块和两个GSConv模块；
B7）依次顺序堆叠ELAN模块、GSConv模块、ELAN模块；
B8）完成GSD-YOLO网络特征融合Neck模块的构造。
（4）构建GSD-YOLO特征融合head模块：
C1）构建Decoupled解耦结构：首先构建1×1卷积层进行通道变化，再将特征分支一分为二，分别通过两个3×3卷积层；其次将第一分支继续通过1×1卷积层得到类别预测参数Cls，第二分支再一分为二，分别通过1×1卷积层，得到目标框参数Reg、前景/背景参数Obj；最后将三个分支的结果通过Concat拼接，再reshape将特征图展平成向量；
C2）完成GSD-YOLO特征融合head模块的构造。
第三步，轻量化解耦小麦赤霉病孢子检测模型的训练：将预处理后的小麦赤霉病致病孢子显微图像输入轻量化解耦小麦赤霉病孢子检测模型进行训练。
（1）对原始小麦赤霉孢子图像数据完成spore-copy增强处理：
D1）准备待增强与待分割孢子数据集和yolo格式标签, 依照标签裁剪目标孢子ROI图像，记录孢子种类类别并保存图像；
D2）随机打乱D1）步所得ROI孢子图像，并设定待增强数据集孢子增加阈值；
D3）对所有ROI孢子图像进行高斯模糊、图像缩放、随机遮挡剪切，以拟合实际农田孢子群状态，然后坐标转换使用泊松融合，把ROI孢子图像随机嵌入待增强孢子图像中；其中嵌入过程使用两种策略：a、选择某个孢子图像并且复制多次，放置至随机位置；b、选择多个孢子复制每个一次至任意位置。
（2）对spore-copy增强后的孢子数据集按照1：8：1将数据划分为 val、train、test。
（3）为网络模型设置训练超参数，并传入预设的训练权重文件；同时选用优化器，设置weights的优化方式；然后设置余弦退火的学习率衰减方式；最后确定训练批次为16；训练迭代周期为300、目标置信度阈值为0.5、初始学习率为0.01、权重衰减系数设置为0.0005。
（4）启动训练，并计算训练结果与对应的标注文件中的交叉熵损失，根据交叉熵损失的模型预测权重，不断进行迭代优化。
（5）完成训练，得到轻量化解耦小麦赤霉病孢子检测模型。
第四步，获取待检测的小麦赤霉病主要致病孢子显微图像并进行预处理。
第五步，小麦赤霉病孢子检测结果的获得：将预处理后的待检测的小麦赤霉病主要致病孢子显微图像输入训练后的轻量化解耦小麦赤霉病孢子检测模型，获得小麦赤霉病孢子检测结果。
另外本发明实验在PyTorch框架下进行，所用设备为NVIDIA GeForce RTX 3070，针对小麦赤霉病致病孢子的特点，设定如下训练参数：训练批次为16；训练迭代周期为300；目标置信度阈值为0.5；初始学习率为0.01；权重衰减系数设置为0.0005。
为了验证本发明所提出的GSD-YOLO (CNN核心、One-stage)网络性能，将从几个不同的角度选用对比网络，分别为基线网络yolov7-tiny、One-stage检测传统算法SSD、two-stage经典检测网络Faster-RCNN、以及Transformer为核心的Detr网络。此外，选用 mAP50（平均检测精度）、percision (准确率)、recall（召回率） F1（F1指数）、FPS（帧率）、weight（模型占用内存）等参数作为模型评估指标。
本发明提出的GSD-YOLO模型与上述所提及的网络模型检测对比表如表1所示，检测效果图如图5a、图5b所示。从表1中可以看出，GSD-YOLO较原来的基线网络yolov7-tiny在mAP 上有3.9%的提升，精确率与回归率均有较大的提高，虽然嵌入了解耦头Decoupled与轻量化模块GSConv后，网络计算推理时间与网络参数都受到了一定影响，但相比其他网络模型的对应参数来看，GSD-YOLO还是占有优势，基本上符合硬件部署与实时检测的应用需求；而从对比检测图，即图5a、图5b上来看，GSD-YOLO相较于基线网络yolov7-tiny，对两种致病孢子fa、fg的特征提取更加细致，解决了两种孢子难以区分的问题，同时对于基线网络存在的漏检、错检问题，GSD-YOLO也能够修正解决，从网络模型构建角度来看，GSD-YOLO中的decoupled解耦头将分类与定位任务采用了不同的分支处理，网络所聚焦的分类特征信息和定位特征信息更加具体，因此网络正确检测致病孢子和正确定位孢子能力有所优化增强。
表1 网络检测对比表
此外，为了探究GSD-YOLO网络各层部件的作用，同时进行了消融实验，实验结果如表2所示。从表中结果可以看出，Decoupled 解耦头的作用在于提高检测精度，以及提高浮点运算次数，但因为网络变深，网络参数量与检测速度都受到了影响；而GSConv模块主要的作用就是在维持检测精度和速度基本不变的情况下，降低网络参数量。
表2 消融实验对比表
在真实大田检测赤霉病病原真菌孢子的场景中，由于风雨大气等各种环境因子的影响，获取到的赤霉病孢子显微图像通常背景复杂、杂质多，同时如果有其他小麦病害同时爆发，那么图像中也有其他病害孢子会混杂其中，而这些因素在小麦赤霉病孢子检测时，会产生一定的影响，因此，再对本发明提出的网络模型GSD-YOLO，进行泛化性能测试首先，获取一批全新的孢子数据集，同时添加花粉、灰尘、以及其他病害杂菌等干扰检测的因素，然后利用spore-copy对数据集进行田间实际数据拟合处理，最后设置两个实验。试验一针对致病孢子群种类，将孢子数据集分为三种：单fa致病孢子、单fg致病孢子、混合fa+fg致病孢子;实验二针对致病孢子群密度，把孢子数据集按孢子数量分为四个梯度。（每组实验图像规模均为2000张）实验结果如表3、4所示。
从表3中结果可以看出，在面对比较拟合实际的新数据时，GSD-YOLO检测精度有所下降，此外，比较小麦赤霉病的两种致病孢子禾谷镰孢fg与亚洲镰孢fa来看，禾谷镰孢的特征要比亚洲镰孢的特征明显一些，在多态真菌环境中，更加容易被网络所定位识别；而从表4结果来看，赤霉病菌孢子群的密度对GSD-YOLO网络检测精度有一定影响，而且密度越大，影响越大。探究其原因，这是为当菌源密度增加的时候，两种赤霉病主要致病孢子因为多态性、以及生长周期性导致模型网络出现误检情况；同时菌源密度增加还会导致目标孢子出现强粘连、强覆盖等情况，这些因素会使得神经网络在出现漏检的情况，进而总体上，导致网络模型检测精度出现一定程度下降。
表3 致病孢子群种类检测结果表
表4 致病孢子群密度检测结果表
以上显示和描述了本发明的基本原理、主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是本发明的原理，在不脱离本发明精神和范围的前提下本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明的范围内。本发明要求的保护范围由所附的权利要求书及其等同物界定。
Claims (3)
1.一种轻量化解耦小麦赤霉病孢子检测方法，其特征在于，包括以下步骤：
11）小麦赤霉病致病孢子显微图像获取及预处理：采集小麦赤霉病致病孢子显微图像，并利用spore-copy进行数据增广处理；
12）轻量化解耦小麦赤霉病孢子检测模型的构建：基于yolov7-tiny并嵌入Gsconv模块及Decoupled head模块构建出轻量化解耦小麦赤霉病孢子检测模型；
13）轻量化解耦小麦赤霉病孢子检测模型的训练：将预处理后的小麦赤霉病致病孢子显微图像输入轻量化解耦小麦赤霉病孢子检测模型进行训练；
14）获取待检测的小麦赤霉病致病孢子显微图像并进行预处理；
15）小麦赤霉病孢子检测结果的获得：将预处理后的待检测的小麦赤霉病致病孢子显微图像输入训练后的轻量化解耦小麦赤霉病孢子检测模型，获得小麦赤霉病孢子图像的检测结果。
2.根据权利要求1所述的一种轻量化解耦小麦赤霉病孢子检测方法，其特征在于，所述轻量化解耦小麦赤霉病孢子检测模型的构建包括以下步骤：
21）设定轻量化解耦小麦赤霉病孢子检测模型分为三部分，第一部分为GSD-YOLO特征提取Backbone模块、第二部分为GSD-YOLO特征融合neck模块、第三部分为GSD-YOLO特征融合head模块；其中，在GSD-YOLO特征提取Backbone模块后堆叠GSD-YOLO特征融合neck模块、在GSD-YOLO特征融合neck模块后堆叠Decoupled解耦结构模块；
22）基于yolov7-tiny主干模块，构建GSD-YOLO特征提取Backbone模块：
221）堆叠两层3×3初始卷积层模块；
222）构建ELAN模块：第一条分支构建1×1卷积层改变通道维度，第二条分支先经过一个1×1的卷积层，再通过两个3×3的卷积模块进行特征提取，最后把两条分支得到的特征进行Concat链接；
223）构建MP模块：第一条分支经过Maxpool最大池化进行下采样，再通过1x1的卷积进行通道数的改变；第二条分支构建1x1卷积，经过一个3x3卷积核、步长为2的卷积块完成下采样，最后把两条分支结果Concat链接，得到超级下采样结果；
224）在两层3×3初始卷积层模块上堆叠ELAN模块；
225）在ELAN模块上依次堆叠MP模块、ELAN模块；
226）重复225）操作三次；
227）完成GSD-YOLO网络主干特征提取Backbone模块的构造；
23）构建GSD-YOLO特征融合neck模块：
231）构建SPP模块：先构建1×1的卷积层，再通过三个不同Maxpool最大池化器得到三个尺度的感受野，三个不同Maxpool分别为5、9、13，之后将原有尺度感受野和经Maxpool得到的三尺度感受野Concat链接，再接入1×1卷积层改变通道维度；
232）使用231）SPP模块构建SPPCSPC模块：一部分接入1×1卷积层进行常规处理，另一部分接入SPP模块，最后把两个部分合并在一起；
233）构建GSConv模块：第一条分支构建1×1卷积层，第二条分支构建DSC分离卷积层；将两个分支Concat链接后的特征图与标准卷积SC得到的特征图用shuffle的方式进行融合，最后输出GSConv模块特征图；
234）堆叠SPPCSPC模块，再堆叠GSCconv模块；
235）依次顺序堆叠UPsample上采样模块、ELAN模块、GSConv模块；
236）重复235）操作两次；
237）依次顺序堆叠ELAN模块、GSConv模块、ELAN模块；
238）完成GSD-YOLO网络特征融合Neck模块的构造；
24）构建GSD-YOLO特征融合head模块：
241）构建Decoupled解耦结构：首先构建1×1卷积层进行通道变化，再将特征分支一分为二，分别通过两个3×3卷积层；其次将第一分支继续通过1×1卷积层得到类别预测参数Cls，第二分支再一分为二，分别通过1×1卷积层，得到目标框参数Reg、前景/背景参数Obj；最后将三个分支的结果通过Concat拼接，再reshape将特征图展平成向量；
242）完成GSD-YOLO特征融合head模块的构造。
3.根据权利要求1所述的一种轻量化解耦小麦赤霉病孢子检测方法，其特征在于，所述轻量化解耦小麦赤霉病孢子检测模型的训练包括以下步骤：
31）对原始小麦赤霉孢子图像数据完成spore-copy增强处理：
311）准备待增强与待分割孢子数据集和yolo格式标签, 依照标签裁剪目标孢子ROI图像，记录孢子种类类别并保存图像；
312）随机打乱311）步所得ROI孢子图像，并设定待增强数据集孢子增加阈值；
313）对所有ROI孢子图像进行高斯模糊、图像缩放、随机遮挡剪切，以拟合真实田间小麦赤霉病孢子群状态，然后坐标转换使用泊松融合，把ROI孢子图像随机嵌入待增强孢子图像中；其中嵌入过程使用两种策略：（1）选择某个孢子图像并且复制多次，放置至随机位置；（2）选择多个孢子复制每个一次至任意位置；
32）对spore-copy增强后的孢子数据集按照1：8：1将数据划分为 val、train、test；
33）为网络模型设置训练超参数，并传入预设的训练权重文件；同时选用优化器，设置weights的优化方式；然后设置余弦退火的学习率衰减方式；最后确定训练批次为16；训练迭代周期为300、目标置信度阈值为0.5、初始学习率为0.01、权重衰减系数设置为0.0005；
34）启动训练，并计算训练结果与对应的标注文件中的交叉熵损失，根据交叉熵损失的模型预测权重，不断进行迭代优化；
35）完成训练，得到轻量化解耦小麦赤霉病孢子检测模型。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310637503.9A CN116385432B (zh) | 2023-06-01 | 2023-06-01 | 一种轻量化解耦小麦赤霉病孢子检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310637503.9A CN116385432B (zh) | 2023-06-01 | 2023-06-01 | 一种轻量化解耦小麦赤霉病孢子检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116385432A true CN116385432A (zh) | 2023-07-04 |
| CN116385432B CN116385432B (zh) | 2023-08-15 |
Family
ID=86979080
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310637503.9A Active CN116385432B (zh) | 2023-06-01 | 2023-06-01 | 一种轻量化解耦小麦赤霉病孢子检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116385432B (zh) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117456368A (zh) * | 2023-12-22 | 2024-01-26 | 安徽大学 | 一种果蔬识别采摘方法、系统及装置 |
Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180322634A1 (en) * | 2017-05-02 | 2018-11-08 | Techcyte, Inc. | Training and machine learning classification of mold in digital microscopy images |
| CN113869246A (zh) * | 2021-09-30 | 2021-12-31 | 安徽大学 | 基于改进CenterNet技术的小麦条锈病菌夏孢子显微图像检测方法 |
| CN114972208A (zh) * | 2022-05-05 | 2022-08-30 | 扬州大学 | 一种基于YOLOv4的轻量化小麦赤霉病检测方法 |
| US20220335736A1 (en) * | 2021-04-16 | 2022-10-20 | Hamid Reza TIZHOOSH | Systems and methods for automatically classifying cell types in medical images |
| CN115797928A (zh) * | 2022-12-08 | 2023-03-14 | 安徽大学 | 基于可旋转椭圆框的小麦条锈病菌夏孢子显微图像检测方法 |
| CN115797357A (zh) * | 2023-02-10 | 2023-03-14 | 智洋创新科技股份有限公司 | 一种基于改进YOLOv7的输电通道隐患检测方法 |
| CN115984847A (zh) * | 2022-11-22 | 2023-04-18 | 浙江寿仙谷植物药研究院有限公司 | 基于计算机视觉的灵芝孢子粉显微图像识别方法及装置 |
-
2023
- 2023-06-01 CN CN202310637503.9A patent/CN116385432B/zh active Active
Patent Citations (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20180322634A1 (en) * | 2017-05-02 | 2018-11-08 | Techcyte, Inc. | Training and machine learning classification of mold in digital microscopy images |
| US20220335736A1 (en) * | 2021-04-16 | 2022-10-20 | Hamid Reza TIZHOOSH | Systems and methods for automatically classifying cell types in medical images |
| CN113869246A (zh) * | 2021-09-30 | 2021-12-31 | 安徽大学 | 基于改进CenterNet技术的小麦条锈病菌夏孢子显微图像检测方法 |
| CN114972208A (zh) * | 2022-05-05 | 2022-08-30 | 扬州大学 | 一种基于YOLOv4的轻量化小麦赤霉病检测方法 |
| CN115984847A (zh) * | 2022-11-22 | 2023-04-18 | 浙江寿仙谷植物药研究院有限公司 | 基于计算机视觉的灵芝孢子粉显微图像识别方法及装置 |
| CN115797928A (zh) * | 2022-12-08 | 2023-03-14 | 安徽大学 | 基于可旋转椭圆框的小麦条锈病菌夏孢子显微图像检测方法 |
| CN115797357A (zh) * | 2023-02-10 | 2023-03-14 | 智洋创新科技股份有限公司 | 一种基于改进YOLOv7的输电通道隐患检测方法 |
Non-Patent Citations (4)
| Title |
|---|
| KAIYU LI ET AL.: "The Gray Mold Spore Detection of Cucumber Based on Microscopic Image and Deep Learning", 《PLANT PHENOMICS》, pages 1 - 13 * |
| PENGFEI LIU ET AL.: "A Lightweight Object Detection Algorithm for Remote Sensing Images Based on Attention Mechanism and YOLOv5s", 《REMOTE SENSING》, pages 1 - 29 * |
| 宋怀波 等: "基于YOLOv7-ECA 模型的苹果幼果检测", 《农业机械学报》, pages 1 - 10 * |
| 张东彦 等: "基于堆栈稀疏自编码器的小麦赤霉病高光谱遥感检测", 《作物学报》, pages 1 - 17 * |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117456368A (zh) * | 2023-12-22 | 2024-01-26 | 安徽大学 | 一种果蔬识别采摘方法、系统及装置 |
| CN117456368B (zh) * | 2023-12-22 | 2024-03-08 | 安徽大学 | 一种果蔬识别采摘方法、系统及装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116385432B (zh) | 2023-08-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN107564025B (zh) | 一种基于深度神经网络的电力设备红外图像语义分割方法 | |
| Chen et al. | Detecting citrus in orchard environment by using improved YOLOv4 | |
| Wu et al. | Detection and counting of banana bunches by integrating deep learning and classic image-processing algorithms | |
| CN109559320A (zh) | 基于空洞卷积深度神经网络实现视觉slam语义建图功能的方法及系统 | |
| CN111583263A (zh) | 一种基于联合动态图卷积的点云分割方法 | |
| CN116385432B (zh) | 一种轻量化解耦小麦赤霉病孢子检测方法 | |
| CN111898432B (zh) | 一种基于改进YOLOv3算法的行人检测系统及方法 | |
| CN110675421B (zh) | 基于少量标注框的深度图像协同分割方法 | |
| CN111950525B (zh) | 一种基于破坏重建学习与GoogLeNet的细粒度图像分类方法 | |
| CN109241814A (zh) | 基于yolo神经网络的行人检测方法 | |
| CN116091951A (zh) | 一种农田与机耕道边界线提取方法及系统 | |
| CN110969182A (zh) | 基于农田图像的卷积神经网络构建方法及其系统 | |
| CN114529581A (zh) | 基于深度学习及多任务联合训练的多目标跟踪方法 | |
| Liu et al. | Development of a machine vision algorithm for recognition of peach fruit in a natural scene | |
| CN110349176B (zh) | 基于三重卷积网络和感知干扰学习的目标跟踪方法和系统 | |
| CN111783751A (zh) | 基于枪球联动与bim的养殖舍仔猪异常预警方法 | |
| CN116110042A (zh) | 一种基于YOLOv7的CBAM注意力机制番茄检测方法 | |
| CN114841961A (zh) | 基于图像增强和改进YOLOv5的小麦赤霉病检测方法 | |
| Wang et al. | Apple rapid recognition and processing method based on an improved version of YOLOv5 | |
| CN111881803B (zh) | 一种基于改进YOLOv3的畜脸识别方法 | |
| Zhang et al. | Recognition and detection of wolfberry in the natural background based on improved YOLOv5 network | |
| Rong et al. | Picking point recognition for ripe tomatoes using semantic segmentation and morphological processing | |
| CN117132802A (zh) | 一种田间小麦病虫害识别方法、装置及存储介质 | |
| CN111950586B (zh) | 一种引入双向注意力的目标检测方法 | |
| CN114898100A (zh) | 点云数据提取方法、装置、系统、设备及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |