CN111400536B - 一种基于轻量化深度神经网络的低成本番茄叶片病害识别方法 - Google Patents

一种基于轻量化深度神经网络的低成本番茄叶片病害识别方法 Download PDF

Info

Publication number
CN111400536B
CN111400536B CN202010165554.2A CN202010165554A CN111400536B CN 111400536 B CN111400536 B CN 111400536B CN 202010165554 A CN202010165554 A CN 202010165554A CN 111400536 B CN111400536 B CN 111400536B
Authority
CN
China
Prior art keywords
neural network
tomato leaf
cost
model
low
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202010165554.2A
Other languages
English (en)
Other versions
CN111400536A (zh
Inventor
吴阳
李文霞
刘洁
张亚勤
吴景春
于莲双
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Wuxi Taihu University
Original Assignee
Wuxi Taihu University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Wuxi Taihu University filed Critical Wuxi Taihu University
Priority to CN202010165554.2A priority Critical patent/CN111400536B/zh
Publication of CN111400536A publication Critical patent/CN111400536A/zh
Application granted granted Critical
Publication of CN111400536B publication Critical patent/CN111400536B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5854—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using shape and object relationship
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5862—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/136—Segmentation; Edge detection involving thresholding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G06V10/464—Salient features, e.g. scale invariant feature transforms [SIFT] using a plurality of salient features, e.g. bag-of-words [BoW] representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本发明公开了一种基于轻量化深度神经网络的低成本番茄叶片病害识别方法，包括以下步骤：进行番茄叶片图像数据集的收集，将收集的番茄叶片图像数据集采用数据集扩充方法进行扩充得到扩充图像数据库，进行图像数据集的预处理；构建改进的残差神经网络识别模型,将经过预处理的图像数据集，输入到所述改进的残差神经网络识别模型完成模型的训练；将完成训练的模型对待实际待检测图片进行识别。本申请采用改进的残差神经网络识别模型,利用可分离多尺度卷积module1、module2的配合对番茄叶片实现病害识别，拓展了网络宽度，准确率达到较高水平，占用内存较少，可以实现低性能终端上对番茄病害的实时识别，并可以推广到其他类似应用场景的农作物病害识别。

Description

一种基于轻量化深度神经网络的低成本番茄叶片病害识别 方法
技术领域
本发明涉及计算机图像处理技术技术领域，尤其涉及一种基于轻量化深度神经网络的低成本番茄叶片病害识别方法。
背景技术
我国是一个农业大国，农业的生产水平对国家经济建设与发展至关重要。然而，病害是限制农作物栽培的主要因素之一。农作物受到病害侵袭，严重时会导致农产品产量大幅降低，从而给农业经济带来巨大损失。因此，病害的早期识别对选择正确的治疗方法极其关键，也成为降低农作物损失以及减少农药使用的重要前提。番茄是一种病害较多的蔬菜，目前生产上引起减产或绝产的病害多达20余种。一方面病害影响了产量和品质，另一方面，过量化学防治造成药物残留带来公害。随着人民生活水平提高，对番茄品质要求更加迫切。因此及早诊断及早治疗是一个必须解决的问题。但是深度神经网络一方面需要大数据量训练集且要求精准标注，这给实际应用带来了较大困难，另一方面对计算机内存占用大，消耗大量计算资源，难以应用于低成本终端设备。
针对番茄这个特定对象的研究，本申请提出一种基于轻量化深度神经网络的低成本番茄叶片病害识别方法。
发明内容
本发明针对上述现有的问题的一个或多个，提出一种基于轻量化深度神经网络的低成本番茄叶片病害识别方法。
根据本发明的一个方面，提供一种基于轻量化深度神经网络的低成本番茄叶片病害识别方法，包括：
进行番茄叶片图像数据集的收集，将收集的番茄叶片图像数据集进行扩充得到扩充图像数据库；
构建改进的残差神经网络识别模型，将经过预处理的图像数据集，输入到所述改进的残差神经网络识别模型完成模型的训练；
将完成训练的模型对待实际待检测图片进行识别，得到测试结果；
其中，所述改进的残差神经网络识别模型包括4个Stage模块、3个Reduction模块、最大池化Max－pooling、平均池化Average－pooling、Dropout层、全连接层FC和Softmax分类器；
所述改进的残差神经网络识别模型的识别步骤包括：
1)输入图像经过第一个Stage模块以及一个最大池化Max Pooling；
2)然后依次交替经过Stage和Reduction模块，通过Reduction模块特征图的尺寸降为一半，并逐渐扩充通道数；
3)最后通过平均池化Average－pooling、Dropout层、全连接层FC最后输出到Softmax分类器进行分类得到识别结果。
在某些实施方式中，4个Stage模块分别依次为Stage1、Stage2、Stage3、Stage4，所述Stage1是由3个3＊3的卷积串联而成，其中第一个卷积的stride为2；stage2和stage3分别由两个module1模块串联构成；stage4由两个module2模块串联构成。
在某些实施方式中，3个Reduction模块(ReductionX(X＝1，2，3))均为相同的Reduction模块，Reduction模块使用了深度可分离卷积和channel shuffle代替标准卷积的操作。
在某些实施方式中，Dropout层的操作是在训练过程中以一定概率随机剔除部分神经元，使得反向传播时不更新其对应的参数，参数为0.8。
在某些实施方式中，在将完成训练的模型对待实际待检测图片进行识别之前，还包括对待实际待检测图片进行远景图片和近景图片的分类。
在某些实施方式中，对远景图片和近景图片的分类具体包括：
通过果实、叶片、背景三者所占图片大小的比例来判断距离的远近；
使用RGB空间下的颜色特征来估计图像；
通过RGB颜色算子，将原始的三维问题转化为一维问题，采用简单的颜色特征分析对图像进行初始粗分类。
在某些实施方式中，为了量化对远景图片和近景图片的判定，该判定准则，定义一个距离确定公式(Distance Determination，DD)]：
Pl、Pf、Pb代表叶片、果实和背景的比例，α、β、γ是针对每个类别的权重参数。选择0.5作为远近景判断的临界阈值，为了实现对较大目标和较小目标都能实现较好的检测分割。
在某些实施方式中，对于远景图片，由于目标较小以及所占像素较少，采用裁剪的方法把一副图像裁剪成多幅小图像分别进行分割，再采用完成训练的模型对多幅小图像进行病害识别，最后将识别结果拼成一张完整图像。
在某些实施方式中，对于近景图像，由于目标所占像素较多，采用压缩的方式减少分辨率，再采用完成训练的模型对图片实现病害识别。
本发明的有益效果是：与传统的卷积神经网络模型相比较本申请提出的网络模型比对比模型的准确率更高，采用构建改进的残差神经网络识别模型，利用深度可分离多尺度卷积module1、module2的配合，对番茄叶片实现病害识别，拓展了网络宽度，使得提取的特征更加丰富，并采用深度可分离卷积减少模型参数，实验结果表明方法识别准确率能达到较高水平，而且模型与其他方法对比占用内存较少，可以实现低性能终端上对番茄病害的实时识别，并可以推广到其他类似应用场景的农作物病害识别。
附图说明
图1为一种基于轻量化深度神经网络的低成本番茄叶片病害识别方法的流程示意图；
图2为一种基于轻量化深度神经网络的低成本番茄叶片病害识别方法的结构示意图；
图3为一种基于轻量化深度神经网络的低成本番茄叶片病害识别方法的另一实施例的结构示意图；
图4为一种基于轻量化深度神经网络的低成本番茄叶片病害识别方法的module1模块结构示意图；
图5为一种基于轻量化深度神经网络的低成本番茄叶片病害识别方法的module2模块结构示意图；
图6为一种基于轻量化深度神经网络的低成本番茄叶片病害识别方法的Reduction缩减模块结构示意图。
具体实施方式
下面结合附图1－6对本技术方案进行详细的阐述。
本发明提供一种基于轻量化深度神经网络的低成本番茄叶片病害识别方法，包括：
进行番茄叶片图像数据集的收集，将收集的番茄叶片图像数据集采用数据集扩充方法进行扩充得到扩充图像数据库；
构建改进的残差神经网络识别模型，将经过预处理的图像数据集，输入到所述改进的残差神经网络识别模型完成模型的训练；
将完成训练的模型对待实际待检测图片进行识别，得到测试结果。
在某些实施方式中，所述改进的残差神经网络识别模型包括4个Stage模块、3个Reduction模块、最大池化Max－pooling、平均池化Average－pooling、Dropout层、全连接层FC和Softmax分类器；
所述改进的残差神经网络识别模型的识别步骤包括：
1)输入图像经过第一个Stage模块以及一个最大池化Max Pooling；
2)然后依次交替经过Stage和Reduction模块，通过Reduction模块特征图的尺寸降为一半，并逐渐扩充通道数；
3)最后通过平均池化Average－pooling、Dropout层、全连接层FC最后输出到Softmax分类器进行分类得到识别结果。
在某些实施方式中，4个Stage模块分别依次为Stage1、Stage2、Stage3、Stage4，所述Stage1是由3个3＊3的卷积串联而成，其中第一个卷积的stride为2；stage2和stage3分别由两个module1模块串联构成；stage4由两个module2模块串联构成。Stage是从浅到深逐层提取特征，reduction特征图的尺寸降为一半，扩充通道数。
在某些实施方式中，3个Reduction模块(ReductionX(X＝1，2，3))均为相同的Reduction模块，Reduction模块使用了深度可分离卷积和channel shuffle代替标准卷积的操作。
在某些实施方式中，Dropout层的操作是在训练过程中以一定概率随机剔除部分神经元，使得反向传播时不更新其对应的参数，参数为0.8。
在某些实施方式中，在将完成训练的模型对待实际待检测图片进行识别之前，还包括对待实际待检测图片进行远景图片和近景图片的分类。
在某些实施方式中，对远景图片和近景图片的分类具体包括：
通过果实、叶片、背景三者所占图片大小的比例来判断距离的远近；
使用RGB空间下的颜色特征来估计图像；
通过RGB颜色算子，将原始的三维问题转化为一维问题，采用简单的颜色特征分析对图像进行初始粗分类。
在某些实施方式中，为了量化对远景图片和近景图片的判定，该判定准则，定义一个距离确定公式(Distance Determination，DD)]：
Pl、Pf、Pb代表叶片、果实和背景的比例，α、β、γ是针对每个类别的权重参数。选择DD为0.5作为远近景判断的临界阈值，为了实现对较大目标和较小目标都能实现较好的检测分割，高于0.5为近景，低于0.5为远景。
在某些实施方式中，对于远景图片，由于目标较小以及所占像素较少，采用裁剪的方法把一副图像裁剪成多幅小图像分别进行分割，再采用完成训练的模型对多幅小图像进行病害识别，最后将识别结果拼成一张完整图像。
在某些实施方式中，对于近景图像，由于目标所占像素较多，采用压缩的方式减少分辨率，再采用完成训练的模型对图片实现病害识别。
在本实施例中，具体地采用数据集扩充方法，因为PlantVillage番茄病害叶片数据集中各个类别样本的数目不均衡且差距较大，存在某一类样本过多或过少的现象。为了防止过拟合，增强模型的鲁棒性和可靠性，提升分类模型的通用性，采用数据扩充策略对原始数据集进行扩充，平衡各类别样本间的数量，采用了7种常见类型的数据扩充方法，包括图像水平镜像、垂直镜像、对角镜像、水平－垂直镜像、对角－水平镜像、对角－垂直镜像、对角－水平－垂直镜像，根据原类别样本数量，选择不同的扩充方式。如Tomato Healthy类原有1591张图片，采用水平镜像扩充后得到3182张图片；Tomato Mosaic Virus类原有373张图片，采用上述7种扩充方法得到2984张图片。
扩充后的图片共计37509张，作为最终的番茄病害样本数据集。随机选取各个类别的80％的图片作为训练集，10％的图片作为验证集，10％的图片作为测试集。
在本实施方式中，采用远近景图片分类方法，对温室环境的复杂性及摄像头拍摄图片的客观质量缺陷进行分析，研究图片颜色特征并拟合出距离判断公式，将图片自动分为远景图片与近景图片，数据的多样性很大程度是由于不同焦距的摄像结果。每幅图像中感兴趣区域的位置差异很大，不同颜色、大小的果实和形态特征各异的叶片在图片下的呈现程度也不尽相同。当焦距比较远时，果实和叶片通常较小，背景相对于植株占据了图像的大部分，植株的整体特征突出；当焦距逐渐缩短，植株占比越来越大，自身的纹理特征也更加明显。据此，可以将获得的图片分为远景和近景两大类，先依据人类感官识别标准，选取小样本人为定义远景图片与近景图片，对图片结构特征进行挖掘，总结出两类图片呈现的普遍规律，进一步运用于一般图片的判定，由上分析可知，判断距离远近的关键在于果实、叶片、背景三者所占图片大小的比例。由于我们在这一步并不需要对三个部分进行精确的分割，因此我们使用RGB空间下的颜色特征来粗略地估计图像，针对叶片部分，超绿特征是公认的比较高效的判别手段，通过颜色算子，将原始的三维问题转化为一维问题，采用简单的颜色特征分析对图像进行初始粗分类。
统计发现，远景图像中果实、叶片和背景的平均比例分别为8.54％、41.69％、44.17％，而近景图像中果实、叶片和背景的平均比例分别为23.04％、66.38％、13.75％。果实和背景的比例变化十分显著，也就是说，如果果实和叶片在图像中比例占据图像的大部分，背景比例较小，我们更倾向定义它为近景。
在本实施方式中，如图2－3所示，本文改进的残差神经网络包括4个Stage模块、3个Reduction模块、最大池化Max－pooling、平均池化Average－pooling、Dropout层、FC和Softmax分类器，首先，输入图像经过三个3＊3的标准卷积核以及一个最大池化MaxPooling，然后依次交替经过Stage和Reduction模块，通过Reduction模块特征图的尺寸降为一半，这里的降采样并未采取池化操作，而是由Reduction模块代替，在该残差模块中使用了深度可分离卷积和channel shuffle代替标准卷积的操作，最后通过平均池化、Dropout层，全连接层FC、最后输出到Softmax分类器进行分类得到10类识别结果，图2－3中FC－10是得到10类标识结果，的改进后模型的整体框架如图2所示。
如图2－3所述，stage1由3个3＊3的卷积串联而成，其中第一个卷积的stride为2；stage2和stage3分别由两个module1模块串联构成；stage4由两个module2模块串联构成，3个Reduction均为相同的reduction模块，用以代替常用的池化操作，实现图片尺寸缩减及通道扩充，Dropout操作是在训练过程中以一定概率随机剔除部分神经元，使得反向传播时不更新其对应的参数，参数为0.8，其中，图2－3中的Dropout－0.8是选择的参数为0.8，添加Dropout层是为了在一定程度上抑制过拟合现象的发生，并提升网络的泛化能力。上述网络结构还采用了快速降采样的设计，即卷积stage1将网络的stride迅速降为原来的1/8。之所以采用这一设计，是因为虽然图像的分辨率对于提升网络的精度十分关键，但在需要网络快速运算的场景下，高分辨率会引入很大的内存读写开销。因此，快速降低图像分辨率就成为了缩短网络运行时间的重要一环。表1展示了网络中各模块的输出尺寸。
表1网络各模块输出尺寸
在本实施方式中，如图4所示，采用深度可分离多尺度卷积module1模块，在PlantVillage数据集中，叶片占据图像的区域存在明显的差异，采用单一尺寸的卷积核对病害叶片的特征表达不够精准。在实际使用过程中，两个3＊3的卷积核，这样不仅让卷积层以不同的感受提取到了不同层次的特征，使网络对图像中目标的尺度更具适应性，而且拓展了网络的宽度，可以有效地避免因网络过深带来的过拟合现象的发生，如图2所示。其中，conv表示标准卷积，conv/dw和conv/pw分别表示逐深度卷积和逐点卷积。
在本实施方式中，如图5所示，采用深度可分离多尺度卷积module2模块，卷积分解(Factorizing Convolutions)将k＊k的卷积分解成1＊k和k＊1两个卷积，降低计算的复杂度，通过这种方式可以在感受相同的时候大量减少计算量，同时也减少了参数量，在某种程度上可以看成是使用2k个参数模拟k＊k个参数的卷积效果，从而减少网络的容量，在精度损失较少的前提下，达到网络加速的效果，如图3所示。
在本实施方式中，如图6所示，采用Reduction缩减模块，因为depthwiseconvolution有信息流通不畅问题，输出的feature map仅包含输入的feature map的一部分，因此采用图6所示的Reduction缩减模块代替CNN中常用的pooling操作，实现图片大小缩减及通道扩充作用。其中，conv/g表示分组卷积，分为4组，卷积核大小为1＊1。
将改进后的卷积神经网络与目前几个较为先进的卷积神经网络进行对比，其中包括ResNet－34/50/152，Inception V4，用这些网络分别对番茄病害叶片进行诊断识别。表2列出了在不同神经网络模型下，番茄病害叶片的分类准确率以及训练后的模型大小。
表2不同深度模型识别指标对比
由表2可以看出，在番茄病害叶片数据集上，使用本申请改进后的残差神经网络模型进行识别可以达到98.61％的准确率。与传统的卷积神经网络模型相比较本申请提出的网络模型比对比模型的准确率更高，体现出在残差模块中使用多尺度卷积对提升网络性能的有效性，而且本文模型的参数数量显著降低，训练后的模型的FLOPS仅占2.80G，大大降低了计算量内存占用空间。在农作物病害识别过程中，除了准确率以外，速度也是评估模型的一个重要指标，表2中所列fps是根据对3766张测试图片进行识别算出的每秒检测的图片数。测试结果可知，检测速度也处于前列。
同时，本申请的识别方法可以在如下配置电脑上运行：Ubuntu16.04LST 64位系统，处理器Intel Core i5－8400(2.80GHz，内存为8GB，显卡为GeForce GTX1060(6G)，采用Tensorflow－GPU1.4深度学习框架，使用Python编程语言，无需用高端配置服务器，可采用属于低成本可接受的电脑配置。
以上所述的仅是本发明的一些实施方式。对于本领域的普通技术人员来说，在不脱离本发明创造构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。

Claims (9)

1.一种基于轻量化深度神经网络的低成本番茄叶片病害识别方法，其特征在于，包括以下步骤：
进行番茄叶片图像数据集的收集，将收集的番茄叶片图像数据集采用进行扩充得到扩充图像数据库；
构建改进的残差神经网络识别模型，将经过预处理的图像数据集，输入到所述改进的残差神经网络识别模型完成模型的训练；
将完成训练的模型对待实际待检测图片进行识别，得到测试结果；
其中，所述改进的残差神经网络识别模型包括4个Stage模块、3个Reduction模块、最大池化Max－pooling、平均池化Average－pooling、Dropout层、全连接层FC和Softmax分类器；
所述改进的残差神经网络识别模型的识别步骤包括：
1)输入图像经过第一个Stage模块以及一个最大池化Max Pooling；
2)然后依次交替经过Stage和Reduction模块，通过Reduction模块特征图的尺寸降为一半，并逐渐扩充通道数；
3)最后通过平均池化Average－pooling、Dropout层、全连接层FC最后输出到Softmax分类器进行分类得到识别结果。
2.根据权利要求1所述的一种基于轻量化深度神经网络的低成本番茄叶片病害识别方法，其特征在于，4个Stage模块分别依次为Stage1、Stage2、Stage3、Stage4，所述Stage1是由3个3＊3的卷积串联而成，其中第一个卷积的stride为2；stage2和stage3分别由两个module1模块串联构成；stage4由两个module2模块串联构成。
3.根据权利要求2所述的一种基于轻量化深度神经网络的低成本番茄叶片病害识别方法，其特征在于，3个Reduction模块均为相同的Reduction模块，Reduction模块使用了深度可分离卷积和channel shuffle代替标准卷积的操作。
4.根据权利要求3所述的一种基于轻量化深度神经网络的低成本番茄叶片病害识别方法，其特征在于，Dropout层的操作是在训练过程中以一定概率随机剔除部分神经元，使得反向传播时不更新其对应的参数，参数为0.8。
5.根据权利要求1所述的一种基于轻量化深度神经网络的低成本番茄叶片病害识别方法，其特征在于，在将完成训练的模型对待实际待检测图片进行识别之前，还包括对待实际待检测图片进行远景图片和近景图片的分类。
6.根据权利要求5所述的一种基于轻量化深度神经网络的低成本番茄叶片病害识别方法，其特征在于，对远景图片和近景图片的分类具体包括：
通过果实、叶片、背景三者所占图片大小的比例来判断距离的远近；
使用RGB空间下的颜色特征来估计图像；
通过RGB颜色算子，将原始的三维问题转化为一维问题，采用简单的颜色特征分析对图像进行初始粗分类。
7.根据权利要求6所述的一种基于轻量化深度神经网络的低成本番茄叶片病害识别方法，其特征在于，为了量化对远景图片和近景图片的判定，定义一个距离确定公式：
Pl、Pf、Pb代表叶片、果实和背景的比例，α、β、γ是针对每个类别的权重参数，选择DD为0.5作为远近景判断的DD临界阈值，为了实现对较大目标和较小目标都能实现较好的检测分割。
8.根据权利要求7所述的一种基于轻量化深度神经网络的低成本番茄叶片病害识别方法，其特征在于，对于远景图片，由于目标较小以及所占像素较少，采用裁剪的方法把一副图像裁剪成多幅小图像分别进行分割，再采用完成训练的模型对多幅小图像进行病害识别，最后将识别结果拼成一张完整图像。
9.根据权利要求7所述的一种基于轻量化深度神经网络的低成本番茄叶片病害识别方法，其特征在于，对于近景图像，采用压缩的方式减少分辨率，再采用完成训练的模型对图片实现病害识别。
CN202010165554.2A 2020-03-11 2020-03-11 一种基于轻量化深度神经网络的低成本番茄叶片病害识别方法 Active CN111400536B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202010165554.2A CN111400536B (zh) 2020-03-11 2020-03-11 一种基于轻量化深度神经网络的低成本番茄叶片病害识别方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202010165554.2A CN111400536B (zh) 2020-03-11 2020-03-11 一种基于轻量化深度神经网络的低成本番茄叶片病害识别方法

Publications (2)

Publication Number Publication Date
CN111400536A CN111400536A (zh) 2020-07-10
CN111400536B true CN111400536B (zh) 2023-09-22

Family

ID=71434168

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202010165554.2A Active CN111400536B (zh) 2020-03-11 2020-03-11 一种基于轻量化深度神经网络的低成本番茄叶片病害识别方法

Country Status (1)

Country Link
CN (1) CN111400536B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111784685B (zh) * 2020-07-17 2023-08-18 国网湖南省电力有限公司 一种基于云边协同检测的输电线路缺陷图像识别方法
CN112288265A (zh) * 2020-10-28 2021-01-29 吉林大学 一种基于深度可分离卷积的去皮土豆的质量识别方法
CN112598031A (zh) * 2020-12-08 2021-04-02 北京农业信息技术研究中心 一种蔬菜病害检测方法及系统
CN112884025B (zh) * 2021-02-01 2022-11-04 安徽大学 一种基于多特征分段式训练的茶叶病害分类系统
CN114550164B (zh) * 2021-12-28 2024-05-31 吉林农业大学 一种基于深度学习的番茄叶片病害识别研究方法
CN115116054B (zh) * 2022-07-13 2024-05-24 江苏科技大学 一种基于多尺度轻量级网络的病虫害识别方法
CN116630960B (zh) * 2023-04-26 2024-02-20 华中农业大学 基于纹理-颜色多尺度残差收缩网络的玉米病害识别方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110033015A (zh) * 2019-02-20 2019-07-19 天津科技大学 一种基于残差网络的植物病害检测方法
CN110070086A (zh) * 2019-05-06 2019-07-30 重庆文理学院 一种基于图像识别的猕猴桃叶片病害识别方法
CN110458109A (zh) * 2019-08-13 2019-11-15 西南林业大学 一种基于图像识别技术的茶叶病害识别系统及工作方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110033015A (zh) * 2019-02-20 2019-07-19 天津科技大学 一种基于残差网络的植物病害检测方法
CN110070086A (zh) * 2019-05-06 2019-07-30 重庆文理学院 一种基于图像识别的猕猴桃叶片病害识别方法
CN110458109A (zh) * 2019-08-13 2019-11-15 西南林业大学 一种基于图像识别技术的茶叶病害识别系统及工作方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
吴华瑞.《基于深度残差网络的番茄叶片病害识别方法》.《智慧农业》.第第1卷卷(第第1卷期),正文第2.1节，附图2. *

Also Published As

Publication number Publication date
CN111400536A (zh) 2020-07-10

Similar Documents

Publication Publication Date Title
CN111400536B (zh) 一种基于轻量化深度神经网络的低成本番茄叶片病害识别方法
CN107016405B (zh) 一种基于分级预测卷积神经网络的害虫图像分类方法
Wu et al. Detection and counting of banana bunches by integrating deep learning and classic image-processing algorithms
CN111161311A (zh) 一种基于深度学习的视觉多目标跟踪方法及装置
CN110348357B (zh) 一种基于深度卷积神经网络的快速目标检测方法
CN108509976A (zh) 动物的识别装置和方法
CN113470076B (zh) 一种平养鸡舍黄羽鸡多目标跟踪方法
CN113298023B (zh) 一种基于深度学习及图像技术的昆虫动态行为识别方法
CN111340019A (zh) 基于Faster R-CNN的粮仓害虫检测方法
Banerjee et al. Cnn-svm model for accurate detection of bacterial diseases in cucumber leaves
CN111666897A (zh) 基于卷积神经网络的斑石鲷个体识别方法
Hao et al. Growing period classification of Gynura bicolor DC using GL-CNN
CN112633257A (zh) 基于改良卷积神经网络的马铃薯病害识别方法
Singh et al. Comparison of RSNET model with existing models for potato leaf disease detection
CN116563205A (zh) 基于小目标检测和改进YOLOv5的麦穗计数检测方法
CN116612386A (zh) 基于分级检测双任务模型的辣椒病虫害识别方法及系统
CN115761888A (zh) 基于nl-c3d模型的塔吊操作人员异常行为检测方法
CN115761356A (zh) 图像识别方法、装置、电子设备和存储介质
CN115330833A (zh) 一种改进多目标跟踪的果实产量估算方法
CN111104855A (zh) 一种基于时序行为检测的工作流识别方法
CN117557948A (zh) 基于残差型选择性核注意力机制的玉米幼苗识别方法
CN111950586B (zh) 一种引入双向注意力的目标检测方法
Jin et al. Online diagnosis platform for tomato seedling diseases in greenhouse production
CN115187629A (zh) 一种使用图注意力网络融合目标跟踪特征的方法
Wang et al. Dba_ssd: a novel end-to-end object detection using deep attention module for helping smart device with vegetable and fruit leaf plant disease detection

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant