CN114972208A - 一种基于YOLOv4的轻量化小麦赤霉病检测方法 - Google Patents
一种基于YOLOv4的轻量化小麦赤霉病检测方法 Download PDFInfo
- Publication number
- CN114972208A CN114972208A CN202210481291.5A CN202210481291A CN114972208A CN 114972208 A CN114972208 A CN 114972208A CN 202210481291 A CN202210481291 A CN 202210481291A CN 114972208 A CN114972208 A CN 114972208A
- Authority
- CN
- China
- Prior art keywords
- layer
- feature
- network
- convolution
- wheat
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 241000209140 Triticum Species 0.000 title claims abstract description 80
- 235000021307 Triticum Nutrition 0.000 title claims abstract description 80
- 238000001514 detection method Methods 0.000 title claims abstract description 54
- 206010039509 Scab Diseases 0.000 title claims abstract description 53
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 claims abstract description 72
- 201000010099 disease Diseases 0.000 claims abstract description 42
- 238000000605 extraction Methods 0.000 claims abstract description 41
- 238000000034 method Methods 0.000 claims abstract description 27
- 238000012549 training Methods 0.000 claims abstract description 24
- 230000007246 mechanism Effects 0.000 claims abstract description 15
- 238000002372 labelling Methods 0.000 claims abstract description 10
- 230000004927 fusion Effects 0.000 claims description 29
- 238000005070 sampling Methods 0.000 claims description 26
- 238000012360 testing method Methods 0.000 claims description 17
- 238000011176 pooling Methods 0.000 claims description 16
- 238000012795 verification Methods 0.000 claims description 10
- 238000010586 diagram Methods 0.000 claims description 8
- 230000008569 process Effects 0.000 claims description 8
- 230000006870 function Effects 0.000 claims description 6
- 230000004913 activation Effects 0.000 claims description 5
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 claims description 5
- 238000005457 optimization Methods 0.000 claims description 3
- 238000007781 pre-processing Methods 0.000 claims description 3
- CLSIFQGHPQDTHQ-DTWKUNHWSA-N (2s,3r)-2-[(4-carboxyphenyl)methyl]-3-hydroxybutanedioic acid Chemical compound OC(=O)[C@H](O)[C@@H](C(O)=O)CC1=CC=C(C(O)=O)C=C1 CLSIFQGHPQDTHQ-DTWKUNHWSA-N 0.000 claims description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 2
- 230000003044 adaptive effect Effects 0.000 claims description 2
- 230000009901 attention process Effects 0.000 claims description 2
- 230000008859 change Effects 0.000 claims description 2
- 238000005520 cutting process Methods 0.000 claims description 2
- 238000010606 normalization Methods 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 claims 1
- 230000002787 reinforcement Effects 0.000 claims 1
- 238000004422 calculation algorithm Methods 0.000 abstract description 12
- 241000196324 Embryophyta Species 0.000 abstract 1
- 241000607479 Yersinia pestis Species 0.000 description 6
- 230000000694 effects Effects 0.000 description 6
- 238000010801 machine learning Methods 0.000 description 6
- 241000238631 Hexapoda Species 0.000 description 4
- 238000003909 pattern recognition Methods 0.000 description 4
- 240000007594 Oryza sativa Species 0.000 description 3
- 235000007164 Oryza sativa Nutrition 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 239000000575 pesticide Substances 0.000 description 3
- 238000011160 research Methods 0.000 description 3
- 235000009566 rice Nutrition 0.000 description 3
- 241000219998 Philenoptera violacea Species 0.000 description 2
- 235000009754 Vitis X bourquina Nutrition 0.000 description 2
- 235000012333 Vitis X labruscana Nutrition 0.000 description 2
- 240000006365 Vitis vinifera Species 0.000 description 2
- 235000014787 Vitis vinifera Nutrition 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 2
- 238000004220 aggregation Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 235000013305 food Nutrition 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 241000233622 Phytophthora infestans Species 0.000 description 1
- 238000012271 agricultural production Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 210000002969 egg yolk Anatomy 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000036541 health Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 230000003902 lesion Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000011897 real-time detection Methods 0.000 description 1
- 230000000306 recurrent effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 238000005549 size reduction Methods 0.000 description 1
- 238000005507 spraying Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/766—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using regression, e.g. by projecting features on hyperplanes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/776—Validation; Performance evaluation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
- G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/07—Target detection
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
- Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
- Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture
Abstract
本发明提供了一种基于YOLOv4的轻量化小麦赤霉病检测方法，属于图像识别与植物保护领域。该技术方案的主要要点包括：采集小麦病害图像，统一大小为750*750像素，并利用标注工具进行标注；然后输入到本发明设计的基于YOLOv4的轻量化架构进行训练，训练完毕后可以根据输入的小麦病害图像进行检测。所述目标检测模型通过对YOLOv4算法中的CSPDarknet53主干特征提取网络替换为Mobilenet网络，并在特征加强提取网络中加入注意力机制，更加专注于图像中的小麦病害，提高检测的准确率。本发明中小麦赤霉病检测的参数量得到大大简化，能够满足移动端和实时性的要求，拥有更快的检测速度。
Description
所属技术领域
本发明涉及图像识别技术和深度学习领域，具体来说是一种基于轻量化模型的小麦病害图像检测方法。
背景技术
农作物病虫害是限制我国农业生产的主要原因，是造成农作物产量减少的主要因素，是制约中国农业优质、高效持续发展的主导因素。小麦作为我国的主要粮食产物之一，赤霉病已成为我国小麦安全生产的最重要病害之一，不仅会造成小麦的大面积减产，还会严重威胁食品安全和人体健康。目前，人们通过野外采样和调查获得农作物病虫害的发生情况，这种传统方法主要基于技术人员的经验，不仅耗费大量的人力和物力，而且受到人为主观因素的影响，具有很大的不确定性，难以满足当前大规模种植区病虫害快速准确检测和实时监测的需要。此外，一般通过喷洒农药对农作物病虫害进行防治，然而很多地区对农药的使用存在不科学和不规范的问题，从而导致生态环境遭到破坏等农业环境问题的发生。为了正确使用农药，有效防治小麦病害，必须准确、实时地识别病害严重程度。
近年来，计算机视觉、模式识别等技术被广泛应用于农作物病虫害识别领域，并取得了显著效果。大多数经典的农作物病害识别方法专注于从病变图像中提取特征，郑建华等以葡萄黑腐病、轮斑病和褐斑病为研究对象，通过提取RGB颜色矩、HSV颜色直方图特征、GLCM纹理特征和HOG特征，采用级联融合方式获得多维葡萄病害特征，并利用支持向量机算法进行识别训练和测试，平均识别准确率达93.41％。NETTLETON等以水稻为研究对象，提出了两种基于机器学习的稻瘟病识别方法：M5Rules和递归神经网络，分别与基于过程的预测模型 (Yoshino和水文模型)进行对比，在数据样本充足的情况下，基于机器学习的稻瘟病识别方法具有更高的识别准确率和更好的泛化能力。 DUARTE-CARVAJALINO等以识别马铃薯晚疫病为研究目标，通过无人机搭载的相机拍摄高光谱图像构建数据集，收集到的数据作为输入，用于多层感知器、卷积神经网络、支持向量机、随机森林等机器学习算法的训练，试验结果表明，可以精准预测晚疫病对马铃薯的影响程度，其中，卷积神经网络的性能稍优于多层感知器、支持向量机和随机森林算法。上述是基于模式识别和机器学习的识别方法来识别农作物的某些特定图像特征，进而判断农作物的受害情况。但是，模式识别和机器学习在农业领域的应用仍然面临一些困难，受光照条件、图像拍摄角度、田间复杂背景等因素的影响，经典图像处理方法很难准确预测出图像特征；其次，模式识别和机器学习都需要大量的图像数据，在此前提下训练的模型才能取得更高的识别准确率和更好的分类效果，若训练样本数量太少，可能会导致模型出现过拟合现象。
随着深度学习已经成为图像处理、自然语言处理等各领域的热门技术,卷积神经网络在图像识别和分类中的应用日益广泛。基于深度学习的农作物病虫害识别方法在识别效率、识别准确率和应用场景等方面都展现了其独特的优势。Liu 等提出了一种基于DCNN的苹果叶病的准确识别方法，对4种常见苹果叶病数据集的试验结果表明，DCNN可以为农作物病害识别提供更好地解决方案，具有较高的准确度和较快的收敛速度。孙俊等通过使用Batch Normalization、Global Average Pooling、缩小卷积核尺寸等方法改进AlexNet网络模型，提升了准确率，减少了模型所需参数，对简单背景下14种作物的26种病害识别平均准确率达到 99.56％。同时，目标检测领域出现了很多优秀的算法，像SSD(SingleShotMultiBox Detector)、YOLOv4等被相继提出，提升了目标检测的速度。然而，在小麦病害检测的实际应用中，由于YOLOv4的参数量较大，不便于在移动端等嵌入式设备上应用。
针对上述问题，同时为满足小麦病害实时检测的需求，能够实现尽可能不降低小麦病害检测的识别准确率同时降低YOLOv4模型的参数量，保证更快的检测速度。
发明内容
针对现有技术中的缺点，本发明的目的在于提出一种基于YOLOv4的轻量化小麦赤霉病病害检测方法。本发明在现有的YOLOv4算法的基础上，有效降低参数量，保证更快的检测速度和更便捷的应用。此外，为了确保检测的精确度，在模型中添加注意力机制。
为实现上述发明目的，本发明的具体技术方案如下：
步骤1，采集小麦赤霉病病害图像数据，统一像素大小，并使用Labelimg 软件对所述小麦赤霉病病害图像中的赤霉病进行标注；步骤2，基于步骤1中标注后的图像进行数据增强以扩充数据集，按比例进行划分为训练集、验证集以及测试集；步骤3，构建基于YOLOv4的轻量化小麦赤霉病病害检测模型，包括依次连接的用于特征提取的Backbone网络、用于特征加强提取的Neck网络和用于预测的Output网络；其中，所述Backbone网络的主干特征提取网络为Mobilenet， Neck网络为加强特征提取网络PANet与特征金字塔FPN相结合的网络结构，主干特征提取网络提取有效特征层输入加强特征提取网络PANet进行进一步的特征提取，并在特征加强提取网络中添加注意力机制，使模型更加注重于小麦病害图像中的赤霉病，金字塔FPN结构融合低分辨率语义信息较强的特征和高分辨率语义信息较弱但空间信息丰富的特征，使得特征得到深度融合，最后通过Output 网络输出预测结果；步骤4，将训练集和验证集输入步骤3的检测模型中进行训练，待模型停止收敛时保存训练好的模型，即生成小麦赤霉病病害检测模型；步骤5，将测试集输入到步骤5中训练好的模型进行测试，验证模型是否拟合，符合要求则进入步骤6，否则返回步骤1；步骤6，获取待识别的小麦病害图像，预处理后输入到验证后的小麦赤霉病病害检测模型，预测小麦赤霉病病害检测的准确度。
与现有技术相比，本发明具有如下的有益效果：
(1)本发明中的目标检测模型采用基于YOLOv4算法构建，延用YOLOv4算法中的PAnet(Path Aggregation Network)结构进行特征提取，使其在小麦赤霉病病害的检测准确度上能基本达到原来YOLOv4的效果，在原来YOLOv4的目标检测算法中，小麦赤霉病病害的Precision值为90.72％。在改进而没有添加在注意力机制后，小麦赤霉病病害的Precision值为93.69％；
(2)本发明中小麦赤霉病病害检测模型的参数量得到大大简化，训练后的模型由原来的244MB缩小到现在的55MB，能够满足嵌入式设备的要求，拥有更快的识别速度。
(3)本发明延用了原来YOLOv4算法多尺度检测的优点，Yolo Head模块将提取到的不同大小的特征层的赤霉病病害进行预测，实现了小麦赤霉病的多尺度检测。
附图说明
图1为本发明实施例中基于YOLOv4的轻量化小麦赤霉病病害检测的步骤流程图；
图2为本发明实施例中改进后的YOLOv4的特征结构图；
图3为本发明实施例中采用的注意力机制CBAM；
图4为现有技术中YOLOv4算法中小麦赤霉病图像的PR曲线图；
图5为本发明实施例中小麦赤霉病病害检测模型中赤霉病图像的PR曲线图；
图6为现有技术中YOLOv4算法对小麦赤霉病病害的识别效果图；
图7为本发明实施例中小麦赤霉病病害检测模型对小麦赤霉病病害的识别效果图；
具体实施方式
图1为本发明实施例中小麦赤霉病病害检测方法的步骤流程图，如图1所示，本发明提供的小麦赤霉病病害检测方法，包括如下步骤：
步骤1：通过图像采集设备(包括但不限于手机、相机等)在小麦田间环境下采集的小麦病害图像数据，将采集到的图像统一为608*608像素，并使用标注工具Labelimg对小麦赤霉病进行标注，标注过程是由小麦病害专家对每幅小麦赤霉病病害进行标注。
步骤2：基于步骤1中标注后的图像进行数据增强以扩充数据集，按比例进行划分为训练集、验证集以及测试集。
步骤2.1，将标注好的图像进行数据增强，以扩充数据集，数据增强方法是为了扩充数据集以避免过拟合现象，本发明所用数据增强方法包括裁剪、水平翻转、仿射变换、添加噪声以及改变亮度对比度等操作，本发明在训练过程中将数据集和验证集利用该数据增强技术扩充到原来数据量的4倍。
步骤2.2，按照VOC2007数据集格式，建立文件夹存放标注后的小麦病害图像。在本发明实施例中，使用目标检测常用的标注工具Labelimg对小麦赤霉病进行数据标注，标注过程是用矩形框出他们的位置并注明种类名称。 Annotations文件中存放的标签文件是xml文件，可以看到物体的种类和位置。利用代码将VOC格式的数据集转换为YOLO格式，生成对应的txt名称文件。
步骤2.3，对标注的小麦病害图像进行训练集、验证集和测试集划分。本实施例中一共有1616张小麦病害图像，按照比例划分为三部分：1291张图像作为训练集，161张图像作为验证集，164张图像作为测试集，对训练完成的模型进行测试。
步骤,3：构建基于YOLOv4的轻量化小麦赤霉病病害检测模型。这是本发明的核心内容，改进模型的详细结构图如图2所示。
检测模型网络包括依次连接的用于特征提取的Backbone网络、用于特征加强提取的Neck网络和用于预测的Output网络，其中，将Mobilenet系列网络作为Backbone网络的主干特征提取网络，获得有效特征层。将图片输入Backbone 网络依次进行预处理和深度可分离卷积，以获得三个不同形状大小的特征层，分别为第一、第二、第三特征层，将提取到的最后一层特征层即第三特征层输入 SPP模块，通过不同大小的最大池化盒进行最大池化，堆叠之后再进行三次卷积，得到Backbone网络最后输出的有效特征层，将该有效特征层及深度可分离卷积后得到的第一、第二特征层输入Neck网络的主干特征网络进行初步特征提取和特征融合，使得浅层特征与深层特征相加。最后通过Output网络中的Yolo Head 进行回归和分类。其中，CSPDarknet53和Mobilenet结合作为Backbone网络的主干特征网络，Neck网络的网络结构为PANet和特征金字塔(FPN)相结合的结构。
本发明将原有YOLOv4的主干特征提取网络CSPDarknet53替换为Mobilenet，原来的CSPDarknet53是将CSPNet运用到了Darknet53模块上，53代表53个卷积层，虽然提升了网络的学习能力，但是参数量大大增加。所以本发明利用轻量级网络Mobilenet替换CSPDarknet53，主要思想还是获得有效特征层。
具体的，根据模型的结构，在Backbone网络中，将每幅输入图像经过处理统一大小为608*608像素，然后经过CBM模块(Conv+Bn+Mish)(卷积 +Batachnorm归一化+Mish激活函数)将通道数扩张为32，输出416*416*3的图片。将预处理后的图像数据输入到CSPDarknet53和Mobilenet结合的主干特征提取网络中进行初步特征提取，其中，在Mobilenet网络中，输入端输入416*416*3 的图片，进行普通卷积、深度可分离卷积等，获得52*52*256，26*26*512和 13*13*1024三个不同形状大小的特征层，后面的加强特征提取网络只用到最后三个有效层。在获得最后的13*13*1024特征层之后，对其进行三次有效卷积。将第三特征层进行SPP(Spatial Pyramid Pooling)最大池化，进行多尺度融合，利用不同大小的最大池化盒对输入进来的特征进行最大池化，堆叠之后再进行三次卷积，然后输入到加强特征提取网络PANet(Path Aggregation Network)中进行进一步特征提取，每一层的卷积层的输出都加入到后面的卷积层的输入，使得特征得以相加，最后利用Output网络中的Yolo Head进行回归和分类。
Neck网络的网络结构为加强特征提取网络PANet结合特征金字塔FPN，具体的，包括三个上采样模块、两个下采样模块以及一个卷积融合模块。输入图像通过卷积神经网络提取特征后，输出的尺寸会变小，所以需要利用上采样方法将图像恢复到原来的尺寸便于进一步的计算。上采样模块包括依次连接的卷积层、上采样层、融合层和注意力机制层CBAM。为了减少计算量，防止过拟合以及增大感受野，使得后面的卷积核能够学到更加全局的信息，采用下采样模块。下采样模块包括依次连接的卷积层、下采样层、融合层以及注意力机制层CBAM；卷积融合模块包括依次连接的卷积层和融合层；三个上采样模块、两个下采样模块以及卷积融合模块依次连接，实现特征加强提取。其中，Backbone网络中最后输出的第三特征层以及深度可分离卷积后得到的第一、第二特征层分别输入至上采样模块的融合层；每一层的卷积层的输出都加入到后面的卷积层的输入，即上采样模块中的卷积层的输出端分别连接下采样模块中的融合层以及卷积融合模块中的融合层的输入端，使得特征得以融合。下采样模块中的卷积层的输出端连接 Output网络的输入端，卷积融合层的融合层Concat的输出端经过一个卷积层连接Output网络的输入端，以输出预测的结果。
具体的，提高图像的分辨率PANet模块中，将池化后再进行三次卷积的特征层进行2倍上采样，这样上采样后特征层变成26*26大小，之后经过注意力机制模块，然后与主干特征提取网络的26*26*512的特征层进行堆叠，实现了特征的融合；然后经过5次卷积继续进行2倍上采样以及注意力机制CBAM，与52*52 的特征层进行融合。之后为了进一步提取特征，再一次往下进行下采样以及注意力机制操作，最后与一开始输入进来的13*13的特征层进行堆叠，经过这样特征金字塔(FPN)的结构能有效提取到特征。
CBAM用于前馈卷积神经网络，将融合后的中间特征层输入CBAM层，CBMA 层沿着两个独立的维度即通道和空间依次推断注意力图，即依次推断图上有重要作用的信息，需要重点学习该部分的特征，将得到的注意力图与输入特征图相乘以进行自适应特征优化。
如图3所示，为注意力机制CBAM示意图。CBAM注意力机制将注意力过程分为两个独立的部分，通道注意力模块和空间注意力模块。
将卷积层输出的结果先通过一个通道注意力模块，得到加权结果之后，会再经过一个空间注意力模块，最终进行加权得到结果。通道注意力模块将输入的特征图，分别经过基于宽度和高度的最大值池化和平均值池化，然后分别经过多层感知器(MLP)。将MLP输出的特征进行加和操作，再经过sigmoid激活操作，生成最终的通道注意力特征图。将该通道注意力特征图和输入特征图做乘法操作，生成空间注意力模块需要的输入特征。
空间注意力模块将通道注意力模块输出的特征图作为本模块的输入特征图。首先做一个基于通道的最大值池化和平均值池化，然后将这2个结果基于通道做concat操作。然后经过一个卷积操作，降维为1个通道。再经过sigmoid生成空间注意力特征图。最后将该特征和该模块的输入特征做乘法，得到最终生成的特征。
步骤4：将训练集和验证集输入到设计好的小麦赤霉病病害检测模型中进行训练，本实例模型训练的具体参数请参考下表1。
步骤5：将测试集输入到步骤4训练好的模型进行测试，验证模型是否拟合，是否有较好的泛化能力。
在模型训练过程中，训练误差会逐渐降低，但是测试误差的走势不一定。训练过程中，模型只能利用训练集来进行训练，并不能接触到测试集上的样本，故需要构建测试数据集来对模型进行验证。为了验证模型的效果，本实例选取3 个目前较为流行的模型作为比较，所有模型的训练集和测试集采用同一组数据，具体数值请参考表2。
本实例选取以下三种评价指标，包括精确度(Precision)、召回率(Recall) 和F1-sore，这三种指标的计算方式如下
其中TP、TN、FP、FN分别代表预测正确的正例样本数、预测正确反例样本数、预测错误正例样本数和预测错误反例样本数。
步骤6：将待检测的小麦病害图像输入到步骤5训练完成的小麦病害检测模型，检测小麦赤霉病。
基于本发明公开的检测模型设置以下参数：
表1
表2
其运行仿真的结果如图4至图7所示，其中图4、图5的横坐标为召回率，纵坐标为精确度，图中0AP中0代指的是类的名称即赤霉病的代称，从图上可知现有技术中YOLOv4算法中指标AP(Average Precision)的值为81.28％，本实施例中小麦赤霉病病害检测模型中赤霉病图像的指标AP的值为80.17％，本发明在保证检测准确度的同时大大减少了模型的参数量。
本发明提供了一种基于YOLOv4的轻量化小麦赤霉病病害检测模型，将主干特征提取网络替换为Mobilenet，为了进一步减少参数量，将加强特征提取网络中的一些普通卷积层替换为深度可分离卷积；其次，为了确保检测准确度，在模型的加强特征提取部分添加注意力机制，虽然也增加了一些参数，但是相对于原本YOLOv4模型的参数量，改进后的模型参数量也是大大减少的。
最后应说明的是：以上所述仅为本发明的优选实施例而已，并不用于限制本发明，尽管参照前述实施例对本发明进行了详细的说明，对于本领域的技术人员来说，其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
Claims (9)
1.一种基于YOLOv4的轻量化小麦赤霉病检测方法，其特征在于，包括以下步骤：
步骤1，采集小麦赤霉病病害图像数据，统一像素大小，并使用Labelimg软件对所述小麦赤霉病病害图像中的赤霉病进行标注；
步骤2，基于步骤1中标注后的图像进行数据增强以扩充数据集，按比例进行划分为训练集、验证集以及测试集；
步骤3，构建基于YOLOv4的轻量化小麦赤霉病病害检测模型，包括依次连接的用于特征提取的Backbone网络、用于特征加强提取的Neck网络和用于预测的Output网络；其中，所述Backbone网络的主干特征提取网络为Mobilenet，Neck网络为加强特征提取网络PANet与特征金字塔FPN相结合的网络结构，主干特征提取网络提取有效特征层输入加强特征提取网络PANet进行进一步的特征提取，并在特征加强提取网络中添加注意力机制，使模型更加注重于小麦病害图像中的赤霉病，金字塔FPN结构使得特征得到深度融合，最后通过Output网络输出预测结果；
步骤4，将训练集和验证集输入步骤3的检测模型中进行训练，待模型停止收敛时保存训练好的模型，即生成小麦赤霉病病害检测模型；
步骤5，将测试集输入到步骤4中训练好的模型进行测试，验证模型是否拟合，符合要求则进入步骤6，否则返回步骤1；
步骤6，获取待识别的小麦病害图像，预处理后输入到验证后的小麦赤霉病病害检测模型，预测小麦赤霉病病害检测的准确度。
2.根据权利要求1所述的一种基于YOLOv4的轻量化小麦赤霉病检测方法，其特征在于，步骤3中，图片数据经过预处理及深度可分离卷积后，获得不同形状大小的特征层，并将特征层输入SPP模块，通过不同大小的最大池化盒进行最大池化，堆叠之后再进行三次卷积，得到Backbone网络最后输出的有效特征层，将有效特征层及深度可分离卷积后得到的特征层输入Neck网络进行特征融合及加强，并由Output网络输出结果。
3.根据权利要求2所述的一种基于YOLOv4的轻量化小麦赤霉病检测方法，其特征在于，步骤3具体为：
步骤3.1，将图片数据输入Backbone网络依次进行预处理和深度可分离卷积，以提取得到三个不同形状大小的特征层，分别为第一、第二、第三特征层；
步骤3.2，将提取到的第一、第二特征层输入至Neck网络中的主干特征提取网络中进行初步特征提取，将提取到的第三特征层输入至SPP模块最大池化，进行多尺度融合，得到有效特征层；
步骤3.3，将有效特征层结合第一、第二特征层输入到Neck网络中的加强特征提取网络PANet进行进一步特征提取，并利用Output网络中的Yolo Head进行回归和分类。
4.根据权利要求3所述的一种基于YOLOv4的轻量化小麦赤霉病检测方法，其特征在于，步骤3.1中，使用CBM模块进行所述预处理，即将图片数据依次输入卷积Conv、归一化Batachnorm、激活函数Mish模块，以扩张通道数。
5.根据权利要求4所述的一种基于YOLOv4的轻量化小麦赤霉病检测方法，其特征在于，所述Neck网络包括三个上采样模块、两个下采样模块以及一个卷积融合模块，其中，上采样模块包括依次连接的卷积层、上采样层、融合层和注意力机制层CBAM；下采样模块包括依次连接的卷积层、下采样层、融合层以及注意力机制层CBAM；卷积融合模块包括依次连接的卷积层和融合层；三个上采样模块、两个下采样模块以及卷积融合模块依次连接，实现特征加强；
Backbone网络中最后输出的有效特征层以及深度可分离卷积后得到的第一、第二特征层分别输入至上采样模块的融合层；Neck网络中每一层的卷积层的输出都加入到后面的卷积层的输入，即上采样模块中的卷积层的输出端分别连接下采样模块中的融合层以及卷积融合模块中的融合层的输入端，使得特征得以相加。
6.根据权利要求1至5任意一项所述的一种基于YOLOv4的轻量化小麦赤霉病检测方法，其特征在于，CBAM用于前馈卷积神经网络，将融合后的中间特征层输入CBAM层，CBMA层沿着两个独立的维度即通道和空间依次推断注意力图，将得到的注意力图与输入特征图相乘以进行自适应特征优化。
7.根据权利要求6所述的一种基于YOLOv4的轻量化小麦赤霉病检测方法，C其BA特M征注在意于力，机制将注意力过程分为两个独立的部分，通道注意力模块和空间注意力模块，将卷积层输出的特征图先通过通道注意力模块，得到加权结果，再通过空间注意力模块，进行加权得到结果；所述通道注意力模块将输入的特征图分别经过基于宽度和高度的最大值池化和平均值池化，将池化后的输出结果输入若干层感知器MLP，将MLP输出的特征进行加和操作，再经过sigmoid激活操作，生成最终的通道注意力特征图；
将所述通道注意力特征图和输入特征图做乘法操作，生成空间输入特征图；
所述空间注意力模块基于所述空间输入特征图进行通道的最大值池化和平均值池化，然后将池化后的2个结果基于通道做融合concat操作，经过卷积降维为1个通道，最后经过sigmoid生成空间注意力特征图；
将该空间注意力特征图和该空间注意力模块的输入特征即空间输入特征图做乘法，得到CBAM最终生成的特征。
8.根据权利要求7所述的一种基于YOLOv4的轻量化小麦赤霉病检测方法，其特征在于，在数据增强过程中，本发明所用数据增强方法包括裁剪、水平翻转、仿射变换、添加噪声以及改变亮度对比度，本发明在训练过程中将数据集和验证集利用该数据增强技术扩充到原来数据量的4倍。
9.根据权利要求8所述的一种基于YOLOv4的轻量化小麦赤霉病检测方法，其特征在于，所述检测模型采用的优化函数是Adam，损失函数采用的是CIOU，并引入了Focal loss，激活函数采用的是H-swish。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210481291.5A CN114972208B (zh) | 2022-05-05 | 2022-05-05 | 一种基于YOLOv4的轻量化小麦赤霉病检测方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202210481291.5A CN114972208B (zh) | 2022-05-05 | 2022-05-05 | 一种基于YOLOv4的轻量化小麦赤霉病检测方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN114972208A true CN114972208A (zh) | 2022-08-30 |
| CN114972208B CN114972208B (zh) | 2024-04-09 |
Family
ID=82981295
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202210481291.5A Active CN114972208B (zh) | 2022-05-05 | 2022-05-05 | 一种基于YOLOv4的轻量化小麦赤霉病检测方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN114972208B (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116256586A (zh) * | 2023-05-10 | 2023-06-13 | 广东电网有限责任公司湛江供电局 | 电力设备过热检测方法、装置、电子设备与存储介质 |
| CN116385432A (zh) * | 2023-06-01 | 2023-07-04 | 安徽大学 | 一种轻量化解耦小麦赤霉病孢子检测方法 |
| CN116630971A (zh) * | 2023-07-24 | 2023-08-22 | 安徽大学 | 基于CRF_ResUnet++网络的小麦赤霉病孢子分割方法 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN113222991A (zh) * | 2021-06-16 | 2021-08-06 | 南京农业大学 | 基于深度学习网络的田间麦穗计数以及小麦产量预测 |
| WO2021203505A1 (zh) * | 2020-04-09 | 2021-10-14 | 丰疆智能软件科技(南京)有限公司 | 害虫检测模型构建方法 |
| WO2021244079A1 (zh) * | 2020-06-02 | 2021-12-09 | 苏州科技大学 | 智能家居环境中图像目标检测方法 |
| CN114120019A (zh) * | 2021-11-08 | 2022-03-01 | 贵州大学 | 一种轻量化的目标检测方法 |
| CN114220035A (zh) * | 2021-12-23 | 2022-03-22 | 中科合肥智慧农业协同创新研究院 | 一种基于改进yolo v4的快速害虫检测方法 |
| CN114359727A (zh) * | 2021-12-31 | 2022-04-15 | 华南农业大学 | 基于轻量级优化Yolo v4的茶叶病害识别方法及系统 |
-
2022
- 2022-05-05 CN CN202210481291.5A patent/CN114972208B/zh active Active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2021203505A1 (zh) * | 2020-04-09 | 2021-10-14 | 丰疆智能软件科技(南京)有限公司 | 害虫检测模型构建方法 |
| WO2021244079A1 (zh) * | 2020-06-02 | 2021-12-09 | 苏州科技大学 | 智能家居环境中图像目标检测方法 |
| CN113222991A (zh) * | 2021-06-16 | 2021-08-06 | 南京农业大学 | 基于深度学习网络的田间麦穗计数以及小麦产量预测 |
| CN114120019A (zh) * | 2021-11-08 | 2022-03-01 | 贵州大学 | 一种轻量化的目标检测方法 |
| CN114220035A (zh) * | 2021-12-23 | 2022-03-22 | 中科合肥智慧农业协同创新研究院 | 一种基于改进yolo v4的快速害虫检测方法 |
| CN114359727A (zh) * | 2021-12-31 | 2022-04-15 | 华南农业大学 | 基于轻量级优化Yolo v4的茶叶病害识别方法及系统 |
Non-Patent Citations (1)
| Title |
|---|
| 鲍文霞;孙庆;胡根生;黄林生;梁栋;赵健;: "基于多路卷积神经网络的大田小麦赤霉病图像识别", 农业工程学报, no. 11, 8 June 2020 (2020-06-08) * |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116256586A (zh) * | 2023-05-10 | 2023-06-13 | 广东电网有限责任公司湛江供电局 | 电力设备过热检测方法、装置、电子设备与存储介质 |
| CN116385432A (zh) * | 2023-06-01 | 2023-07-04 | 安徽大学 | 一种轻量化解耦小麦赤霉病孢子检测方法 |
| CN116385432B (zh) * | 2023-06-01 | 2023-08-15 | 安徽大学 | 一种轻量化解耦小麦赤霉病孢子检测方法 |
| CN116630971A (zh) * | 2023-07-24 | 2023-08-22 | 安徽大学 | 基于CRF_ResUnet++网络的小麦赤霉病孢子分割方法 |
| CN116630971B (zh) * | 2023-07-24 | 2023-09-29 | 安徽大学 | 基于CRF_ResUnet++网络的小麦赤霉病孢子分割方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN114972208B (zh) | 2024-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN113065558B (zh) | 一种结合注意力机制的轻量级小目标检测方法 | |
| Amara et al. | A deep learning-based approach for banana leaf diseases classification | |
| CN114972208B (zh) | 一种基于YOLOv4的轻量化小麦赤霉病检测方法 | |
| Chen et al. | Weed detection in sesame fields using a YOLO model with an enhanced attention mechanism and feature fusion | |
| CN110717903A (zh) | 一种利用计算机视觉技术进行农作物病害检测的方法 | |
| CN108090447A (zh) | 双分支深层结构下的高光谱图像分类方法及装置 | |
| CN111178177A (zh) | 一种基于卷积神经网络的黄瓜病害识别方法 | |
| Ilyas et al. | Multi-scale context aggregation for strawberry fruit recognition and disease phenotyping | |
| CN111400536A (zh) | 一种基于轻量化深度神经网络的低成本番茄叶片病害识别方法 | |
| CN110222592A (zh) | 一种基于互补时序行为提案生成的时序行为检测网络模型的构建方法 | |
| CN113657294A (zh) | 一种基于计算机视觉的作物病虫害检测方法及系统 | |
| CN114841961A (zh) | 基于图像增强和改进YOLOv5的小麦赤霉病检测方法 | |
| CN117152105A (zh) | 果园荔枝估产方法、装置、设备及介质 | |
| CN116758609A (zh) | 一种基于特征模型改进的轻量化人脸识别方法 | |
| CN116843952A (zh) | 一种面向果蔬病害识别的小样本学习分类方法 | |
| CN113902904B (zh) | 一种轻量化网络架构系统 | |
| CN115631462A (zh) | 基于am-yolox的草莓病虫害检测方法及系统 | |
| CN113344009B (zh) | 一种轻小型网络自适应番茄病害特征提取方法 | |
| CN114972264A (zh) | 一种基于MS-PLNet模型绿豆叶斑病识别方法及装置 | |
| CN115272865A (zh) | 一种基于自适应激活函数和注意力机制的目标检测方法 | |
| Brar et al. | A smart approach to coconut leaf spot disease classification using computer vision and deep learning technique | |
| Li et al. | Production evaluation of citrus fruits based on the yolov5 compressed by knowledge distillation | |
| CN114898359B (zh) | 一种基于改进EfficientDet的荔枝病虫害检测方法 | |
| CN116012718B (zh) | 田间害虫检测方法、系统、电子设备及计算机存储介质 | |
| CN117372881B (zh) | 一种烟叶病虫害智能识别方法、介质及系统 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |