CN110929610A - 基于cnn模型和迁移学习的植物病害识别方法及系统 - Google Patents

基于cnn模型和迁移学习的植物病害识别方法及系统 Download PDF

Info

Publication number
CN110929610A
CN110929610A CN201911101895.7A CN201911101895A CN110929610A CN 110929610 A CN110929610 A CN 110929610A CN 201911101895 A CN201911101895 A CN 201911101895A CN 110929610 A CN110929610 A CN 110929610A
Authority
CN
China
Prior art keywords
plant disease
model
training
identification
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201911101895.7A
Other languages
English (en)
Other versions
CN110929610B (zh
Inventor
王敬贤
卢强
储昭兵
陈岳军
徐源
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SHANGHAI WULING SHENGTONG INFORMATION TECHNOLOGY Co Ltd
Original Assignee
SHANGHAI WULING SHENGTONG INFORMATION TECHNOLOGY Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SHANGHAI WULING SHENGTONG INFORMATION TECHNOLOGY Co Ltd filed Critical SHANGHAI WULING SHENGTONG INFORMATION TECHNOLOGY Co Ltd
Priority to CN201911101895.7A priority Critical patent/CN110929610B/zh
Publication of CN110929610A publication Critical patent/CN110929610A/zh
Application granted granted Critical
Publication of CN110929610B publication Critical patent/CN110929610B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/188Vegetation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)

Abstract

本发明提供了一种基于CNN模型和迁移学习的植物病害识别方法,包括:构建原始图像数据集,原始图像数据集包括各种植物病害图像;对原始数据集进行数据增强,得到新的训练数据集;构建模型;在模型中获取预训练模型参数并设置瓶颈层的参数;对瓶颈层的参数进行提取和保存,得到植物病害识别模型;根据植物病害识别模型识别植物病害图像,得到植物病害的识别结果并展示。本发明将图像直接输入网络,避免了植物叶片的病斑分割和复杂背景分割过程,也减少了识别过程中数据建模的复杂度。不仅适用于病斑类病害,也适用于叶部粉状物病害和粒状物病害,对复杂的自然环境和对象周围的物体也具有的识别能力。

Description

基于CNN模型和迁移学习的植物病害识别方法及系统
技术领域
本发明涉及病害识别领域,具体地,涉及一种基于CNN模型和迁移学习的植物病害识别方法及系统。尤其地,涉及一种轻量级CNN模型和基于瓶颈层特征提取的迁移学习策略相结合的植物病害图像识别方法。
背景技术
本发明以卷积神经网络算法为基础,针对植物病害识别领域海量样本难以获取并标注的问题,引入迁移学习的策略来缓解过拟合现象。主要研究内容和创新点有:
以往研究大多基于浅层卷积神经网络从头开始训练和深度CNN模型结合参数微调的策略。浅层卷积神经网络从头开始训练的方法由于特征提取能力较弱很难保证准确率,深度CNN模型和基于参数微调的迁移学习策略识别速度较慢,不利于实际应用的问题。
在实际应用问题中,不仅要考虑植物病害识别准确率的问题,还要考虑到实时性问题以及当训练数据集发生变化时识别模型是否容易移植和替换。本发明的目的就是选用合适的网络和特定的算法,使其能够为以后的实际应用系统打下基础。为了缩短图片识别的时间,降低系统所需的内存空间以及保证能耗要求,本章使用轻量级网络来进行农作物病害和玉米杂草的识别。与参数微调的迁移学习策略不同,本章使用基于特征提取的迁移学习方法,此方法将深度CNN模型当作底层特征提取器来使用,将植物病害数据集的特征向量提取出来并保存到txt文档中,后续只需一个分类器即可将这些特征向量进行分类。这种迁移学习方法只需很小的内存,在较短的训练时间内就可以达到较好的迁移效果,在CPU上即可顺利运行。并且,在此理论基础上,开发了自然环境下的的植物叶片病害识别系统对该理论方法进行验证。
快速且准确的进行自然环境下的植物病害识别并采取相应的措施,对于植物病情的控制和治疗意义重大。植物病害识别领域受自然条件和环境因素的影响比较大,是个非常特殊的领域,如:自然环境下白天和夜晚光照不同,会遇到照片曝光问题和光线过暗的问题;每天的天气不同,在大风天气时叶片相互折叠;植物病害的症状和表现形式不同,大多是病斑形式,也有粉状物病害和粒状物病害;每个植株的背景也不尽相同,有的照片背景简单,有的背景复杂。这些情况下拍摄的样本图片识别难度会大大增加。自然背景下植物病害的识别目前主要从两种方法开展研究。
利用传统的数字图像处理技术进行植物病害识别的研究较多,该方法主要分为图像处理和分类识别两大步骤,如图8所示。图像获取是识别的第一步,图像预处理和图像分割步骤是在原图像基础上进行操作,使后续需要用到的感兴趣部分更加突出。特征提取是正确识别植物病害种类的前提,对于整个植物病害识别过程至关重要。分类算法是识别的最后一步,分类算法需结合具体问题进行选择。如魏丽冉等首先增强了病斑与健康叶部的对比度,然后进行叶片分割和特征提取,最后利用带核函数的SVM识别4种病害。
最近深度学习算法在很多领域都取得了显著成功。深度学习算法可以逐层的提取图像高级抽象的特征属性。CNN模型属于深度学习算法的一种模型,将CNN模型应用于植物病害的识别问题中,可以实现病害特征的自动提取。如:Lucas等使用AlexNet模型对来自2539张图片的6种苹果已知病害进行识别,结果表明使用CNN方法可达到97.3%的准确率。张善文等研究了基于CNN的病害识别,在155000多幅图像含有6种不同黄瓜病害的数据库上进行训练。利用CNN自动学习黄瓜叶片病害的各种特征,最后利用Softmax进行分类。张航等首先利用预处理技术得到小麦病害样本库,然后利用CNN构建了一个五层的模型来训练样本。
使用CNN模型对植物病害数据集进行训练测试的方法,可以获取较高的识别率,但需要强大的数据集支持。当我们需要解决某一特定植物的病害识别问题时,很多情况下很难获取并标注一个大规模的可利用数据集。而且随着模型越来越复杂,机器学习模型所需的参数个数和训练数据量也会很多,从头训练一个深度CNN模型会耗费很多时间和资源。在植物病害识别等需要实时性和低资源的领域,会存在很大的困难。在迁移学习策略的帮助下,从其他的大数据集(如:ImageNet)学习得到的先验知识,可以在相关的领域得到复用,能很大程度上缓解数据量不足引起的过拟合问题。因此本发明使用CNN模型与迁移学习策略相结合的方法进行植物病害的识别。
使用数字图像处理技术用于植物病害识别存在一些问题:(1)在大自然环境中,光线变化或背景复杂时会影响背景分割的效果,进而影响后续的识别效果。(2)植物的病害叶片不一定出现病斑(如粉状物病害),病斑分割出现问题会影响特征提取效果。(3)这种方法需要大量特征的提取,计算复杂度过高增加计算量和建模复杂度,降低识别效率。(4)人工选取的可视化特征并不能完全描述作物的各种病害特征,导致语义鸿沟问题。
针对这些问题,本发明将卷积神经网络(CNN)算法用于植物病害的自动识别研究中。但是,实际问题中无法获取并标注一个大型数据集进行神经网络的训练,因此引入迁移学习策略。两者的结合既能解决农业领域特定作物病害和杂草的小样本问题,充分利用已有的大数据在深度卷积网络中预训练的参数,也能实现农作物病害和杂草特征的自动提取,并且可以保证准确率。本发明的研究目标如下:
(1)解决在实际问题中,特定植物病害数据集过小引起的过拟合问题,使用迁移学习算法,充分利用已有的大数据在网络中训练的先验知识进行病害特征的自动提取,并且提高准确率。
(2)解决病害叶片表面反光和阴影等引起的背景分割和植物粉状物病害无法进行病斑分割的问题,实现植物病害图像的自动识别。通过使用轻量级网络和基于瓶颈层特征提取的迁移学习策略,为识别模型后续能够在识别时间、存储空间要求较高的实际智能应用中提供理论支持。
CNN(卷积神经网络):卷积神经网络(Convolutional Neural Networks,CNN)是一类包含卷积计算且具有深度结构的前馈神经网络,是深度学习的代表算法之一。卷积神经网络具有表征学习能力,能够按其阶层结构对输入信息进行平移不变分类,因此也被称为“平移不变人工神经网络”。
卷积神经网络仿造生物的视知觉机制构建,可以进行监督学习和非监督学习,采用局部连接和参数共享的策略。其隐含层内的卷积核参数共享和层间连接的稀疏性使得卷积神经网络能够以较小的计算量对格点化特征,例如像素和音频进行学习,有稳定的效果且对数据没有额外的特征工程要求。
迁移学习:迁移学习的目的是将从一个问题中学到的知识迁移到另一个相关的不同问题中,即将从其他任务中获得的知识应用到新的分类任务中。对某个问题的学习过程有利于更快更好的学习相关的问题,这种积极的效应即为迁移学习。比如:一个精通羽毛球的人会比球类运动不会的人更快地学会网球,一个认识黄瓜白粉病的人更容易判别葡萄白粉病。这种效应在人类的智能中是存在的,对机器学习领域也如此。
专利文献CN110188824A(申请号:201910466618.X)公开了一种小样本植物病害识别方法及系统。该方法包括:随机选取多个包含病害的原始图片作为第一样本集;通过数据增强技术对第一样本集进行扩充获得第二样本集,第二样本集即为新的训练数据集。对第二样本集进行验证并将验证通过的全部或部分第二样本集与不包含病害的原始图片一起构建训练集;基于训练集对卷积神经网络进行训练获得分类模型;将待识别的病害图像输入分类模型获得病害识别结果。
发明内容
针对现有技术中的缺陷,本发明的目的是提供一种基于CNN模型和迁移学习的植物病害识别方法及系统。
根据本发明提供的基于CNN模型和迁移学习的植物病害识别方法,包括:
数据集构建步骤:构建原始图像数据集,原始图像数据集包括各种植物病害图像;
数据增强步骤:对原始数据集进行数据增强,得到新的训练数据集,新的训练数据集是在原数据集基础上,自身经过数据增强技术后的扩充数据集,如:旋转变换、平移变换、光线变换等;
建模步骤:构建模型;
参数设置步骤:获取预训练模型参数并设置瓶颈层的参数;
特征向量处理步骤:对瓶颈层的参数进行提取和保存,得到植物病害识别模型;利用得到的植物病害识别模型对数据增强后的新的训练数据集进行特征向量的提取;
识别步骤:识别植物病害图像,得到植物病害的识别结果并展示。
优选地,所述数据增强步骤,包括:
翻转步骤:将植物病害图像进行水平翻转变换;
裁剪步骤:使用整数百分比设置裁剪框,对植物病害图像进行剪裁;
调节比例步骤:以整数百分比改变植物病害图像的比例;
调节亮度步骤:乘以植物病害图像像素值,改变图像亮度;
所述模型包括:
Inception-v3模型:将一个二维卷积分成两个一维卷积,在分支结构中再次使用分支结构,设计两个通道,将卷积层通道和池化层通道生成的特征图进行合并;
MobileNet模型:对卷积核进行分解,减少网络参数。
优选地,所述参数设置步骤包括:
获取参数步骤:在数据集ImageNet上进行训练,得到预训练模型参数;
定义步骤:将最后一个全连接层之前的网络层定义为瓶颈层;
在Inception-v3模型中,瓶颈层的张量为pool_3,瓶颈层的节点个数为2048;
设置步骤:将预训练模型参数导入Inception-v3模型和MobileNet模型中,作为瓶颈层的参数。
优选地,所述特征向量处理步骤包括:
构建特征向量提取器步骤:对瓶颈层的参数进行锁定,构建特征向量提取器;
提取特征向量步骤:通过特征向量提取器,提取并保存瓶颈层的特征向量;
生成步骤:对提取的特征向量进行训练,达到设置的训练步骤后对训练模型进行保存,保存的训练模型即为植物病害识别模型。所述的训练模型是神经网络经过训练后将权重参数进行了调整(信号正向传播,误差反向传播从而进行权值修改),得到的适用于植物病害数据集的模型文件。
评估步骤:对训练完成的植物病害识别模型进行评估;
所述训练包括:向植物病害图像中添加保持权重的变量,设置向后传递的渐变;
优选地,所述识别步骤包括:
将待识别的植物病害图像导入植物病害识别模型中,训练植物病害识别模型,对待识别的植物病害图像进行读取暂存,得到植物病害的识别结果并对识别结果进行展示。
根据本发明提供的基于CNN模型和迁移学习的植物病害识别系统,包括:
数据集构建模块:构建原始图像数据集,原始图像数据集包括各种植物病害图像;
数据增强模块:对原始数据集进行数据增强,得到新的训练数据集;
建模模块:构建模型;
参数设置模块:获取预训练模型参数并设置瓶颈层的参数;
特征向量处理模块:对瓶颈层进行提取和保存,得到植物病害识别模型;利用得到的植物病害识别模型对数据增强后的新的训练数据集进行特征向量的提取;
识别模块:识别植物病害图像,得到植物病害的识别结果并展示。
优选地,所述数据增强模块,包括:
翻转模块:将植物病害图像进行水平翻转变换;
裁剪模块:使用整数百分比设置裁剪框,对植物病害图像进行剪裁;
调节比例模块:以整数百分比改变植物病害图像的比例;
调节亮度模块:乘以植物病害图像像素值,改变图像亮度;
所述模型包括:
Inception-v3模型:将一个二维卷积分成两个一维卷积,在分支结构中再次使用分支结构,设计两个通道,将卷积层通道和池化层通道生成的特征图进行合并;
MobileNet模型:对卷积核进行分解,减少网络参数。
优选地,所述参数设置模块包括:
获取参数模块:在数据集ImageNet上进行训练,得到预训练模型参数;
定义模块:将最后一个全连接层之前的网络层定义为瓶颈层;
在Inception-v3模型中,瓶颈层的张量为pool_3,瓶颈层的节点个数为2048;
设置模块:将预训练模型参数导入Inception-v3模型和MobileNet模型中,作为瓶颈层的参数。
优选地,所述特征向量处理模块包括:
构建特征向量提取器模块:对瓶颈层的参数进行锁定,构建特征向量提取器;
提取特征向量模块:通过特征向量提取器,提取并保存瓶颈层的特征向量;
生成模块:对提取的特征向量进行训练,达到设置的训练模块后对训练模型进行保存,保存的训练模型即为植物病害识别模型。
评估模块:对训练完成的植物病害识别模型进行评估;
所述训练包括:向植物病害图像中添加保持权重的变量,设置向后传递的渐变;
优选地,所述识别模块包括:
将待识别的植物病害图像导入植物病害识别模型中,训练植物病害识别模型,对待识别的植物病害图像进行读取暂存,得到植物病害的识别结果并对识别结果进行展示。
与现有技术相比,本发明具有如下的有益效果:
1、图像直接输入网络,避免了植物叶片的病斑分割和复杂背景分割过程,也减少了识别过程中数据建模的复杂度。不仅适用于病斑类病害,也适用于叶部粉状物病害和粒状物病害,对复杂的自然环境和对象周围的物体也具有的识别能力。
2、无需人工设计和提取叶片病害图片的各类特征,只要训练好CNN模型的参数,就能得到对应的特征。
3、解决了语义鸿沟问题,通过将低级特征进行组合表示成抽象的高层视觉特征,能够很好的发现植物病害图片数据的分布特征。
4、解决在实际问题中,通过迁移学习策略缓解特定植物病害数据集过小引起的过拟合问题,充分利用已有的大数据在网络中训练的先验知识进行病害特征的自动提取,并且提高准确率。
5、本发明将深度CNN的预训练模型作为瓶颈层特征提取器来使用,只需要一个网络分类层就可以将特征向量进行分类,无需多轮训练的调参过程。
6、为识别模型后续能够在识别时间、存储空间要求较高的智能应用中提供理论支持。
7、本发明基于自然环境,CNN模型和瓶颈层特征提取的迁移学习策略相结合的植物病害识别系统,既能提高模型的特征提取能力,保证准确率,又能加快识别速度。最重要的是,轻量级CNN模型Mobilenet和瓶颈层特征提取相结合的方法实时性较好,所需存储空间小,能够在硬件和实效条件有要求的终端应用中良好运行,且当训练数据集发生变化时轻量级模型更易移植和替换。
附图说明
通过阅读参照以下附图对非限制性实施例所作的详细描述,本发明的其它特征、目的和优点将会变得更明显:
图1为本发明总体流程图。
图2为卷积层通道和池化层通道生成的特征图进行合并示意图。
图3为网络瓶颈层示意图。
图4为利用迁移学习策略进行瓶颈层特征向量提取和保存示意图。
图5为植物病害识别系统的整体框架图。
图6为迁移学习过程示意图。
图7为网络模型的训练参数和网络模型对特征向量的训练过程示意图。
图8为传统的数字图像处理技术示意图。
具体实施方式
下面结合具体实施例对本发明进行详细说明。以下实施例将有助于本领域的技术人员进一步理解本发明,但不以任何形式限制本发明。应当指出的是,对本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变化和改进。这些都属于本发明的保护范围。
根据本发明提供的基于CNN模型和迁移学习的植物病害识别方法,包括:
步骤1:原始图像数据集的构建,植物病害图像的获取是识别过程的第一步,尤其是对于自然环境下植物病害图像的识别,图像数据的全面收集至关重要。为了能够识别不同角度、光照、病害不同发展期的图像,需要在原始数据集构建时将这些图像包含进去。
步骤2:数据增强技术及新数据集的获取,实际问题中我们需要识别具有不用场景和视角的图片,因此可对植物病害数据进行微小调整以获得更多数据来训练CNN模型。通过对训练数据进行增强使得网络的泛化能力更强,缓解了网络的过拟合问题,更好的应用到各种实际场景中。使用以下数据增强形式来获取新的训练数据集:
翻转flip_left_right:将植物病害图像进行水平随机翻转变换。
剪裁random_crop:使用整数百分比设置裁剪框,对植物病害图像进行剪裁。
调比random_scale:以整数百分比改变植物病害图像的比例。
调光random_brightness:整数范围,用于随机乘以植物病害图像像素值,改变图像亮度。
步骤3:构建Inception-v3模型和具有不同参数的MobileNet模型。
Inception-v3模型是在Inception架构基础上进行改进的,通过高计算效率和低参数进行扩展。MobileNet是针对小型设备提出的轻量级CNN模型,模型对卷积核做了巧妙分解,减少了网络参数。
Inception-v3模型将一个二维卷积分成两个一维卷积,省去了大量参数,加速了操作过程并减少了网络的过拟合。
Inception-v3模型优化了初始模块的结构,在分支结构中又使用了分支结构,相当于嵌套的网络结构。
Inception-v3模型改变了降低特征图尺寸,避免表达瓶颈。传统CNN模型的做法是当有池化层时,由于池化操作会有一些信息损失,因此会通过滤波器的个数增加来挽回损失的信息,但是这样会牺牲计算量。Inception-v3模型的改进方式是设计两个通道,将卷积层通道和池化层通道生成的特征图进行合并,如图2所示。
MobileNet模型在不重新设计模型的情况下获得更小更快的CNN模型,在对识别速度,存储空间和能耗有严格要求的智能应用中发挥显著作用。
宽度乘数α与分辨率乘数β是解决实际问题中各种硬性要求的配置参数。宽度系数α表示新模型中每个模块包含的卷积核数与标准MobileNet模型的比率。对于1*1的卷积内核,计算量为:
DK×DK×αM×DF×DF+αN×αM×DF×DF
其中,DK是卷积核,DF是特征图,M是输入通道数,N是输出通道数。α可设定为1,0.75,0.5,0.25;当α=1时,标准的MobileNet模型可获取较高的识别精度,但会减慢识别速度且需要较大的存储空间。当α取较小值时,识别准确率会下降,从而提高植物病害图像的识别速度。
分辨率因子β在(0,1)范围内取值,这表示每个模块的输入大小的缩减因子。1*1卷积核与宽度因子α的组合计算如下:
DK×DK×αM×βDK×βDF+αN×αM×βDF×βDF
其中,DK是卷积核,DF是特征图,M是输入通道数,N是输出通道数。当分辨率取值较大时,模型识别精度较高,但模型所需的存储空间会增加并降低植物病害的识别速度。
步骤4:获取CNN模型的预训练参数并定义网络瓶颈层;
获取在大规模数据集ImageNet上进行训练得到的预训练模型,并在植物病害识别问题中进行复用。
在Inception-v3和Mobilenet网络中,将网络中最后一个全连接层之前的所有网络层定义为瓶颈层。在Inception-v3网络中,瓶颈层的张量为pool_3,瓶颈层的节点个数为2048,如图3所示。
将在ImageNet大规模数据集上获取的预训练模型参数导入两个网络中,作为网络所有瓶颈层的参数(瓶颈层参数固定,在后续训练过程中保持不变)。
步骤5:利用迁移学习策略进行瓶颈层特征向量提取和保存;
将所有瓶颈层参数已经固定的网络模型作为植物病害数据集的特征提取器。
将所有植物病害数据集中的打标签图片作为输入计算每张图片新的瓶颈层特征向量。
将病害和杂草数据通过Inception-v3和不同参数的Mobilenet模型得到的瓶颈层特征向量分别保存在一个txt文件中,避免后续反复的计算过程。如果我们在预处理期间为每个图像计算一次瓶颈层特征向量,那么它可以加快速度,然后只读取那些缓存的值在训练期间反复利用,该过程如图4所示。
步骤6:定义分类层对提取的特征训练和保存模型,并对模型进行验证和测试
添加一个新的softmax和全连接层用于训练和评估,我们需要重新训练顶层以识别我们的新分类问题,因此使用一个函数向图中添加正确的操作,以及一些用于保持权重的变量,然后设置向后传递的渐变。
将步骤5中提取的瓶颈层特征向量用新的分类网络进行训练,到达设置的训练步骤后,将训练完成的模型保存下来。
在验证集和测试集上对训练完成的植物病害识别模型进行评估。
步骤7:算法应用于植物病害识别系统中,进行前端和后台的交互。
基于算法的植物病害识别系统基于Windows平台、python语言、tensorflow环境和flask框架。植物病害识别系统的整体框架如图所示,总体可以分为前端界面模块、后台训练模块和主函数模块三部分。
前端网页的设计用于系统的静态界面展示和算法计算结果的界面展示。
后端主要是植物病害识别模型的训练和单张植物病害图片的测试模块,该模块可单独将植物病害识别模型的权重参数文件得到,并将其导入单张图片的测试模块用于当前用户上传图片的测试。
最后,需要运用一个主函数进行后台算法模型的训练和前端界面的交互过程。系统先将用户所需识别的病害图片进行读取并将其暂存,然后将其回传到后端识别算法模型的中植物病害的识别结果,最后将识别结果返回并展示于前端界面。结果如图5所示。
根据本发明提供的轻量级CNN模型和基于瓶颈层特征提取的迁移学习策略相结合的植物病害图像识别方法,其网络模型Inception-v3和具有不同参数的MobileNet构建和瓶颈层定义如下:
1、一方面,Inception-v3模型将一个二维卷积分成两个一维卷积,省去了大量参数,加速了操作过程并一定程度上减少了网络的过拟合。
2、另一方面,Inception-v3模型优化了初始模块的结构,它在分支结构中又使用了分支结构,相当于嵌套的网络结构。
3、Inception-v3模型改变了降低特征图尺寸的方式,这种方式避免了表达瓶颈。传统CNN模型的做法是当有池化层时,由于池化操作会有一些信息损失,因此会通过滤波器的个数增加来挽回损失的信息,但是这样会牺牲计算量。Inception-v3模型的改进方式是设计两个通道,将卷积层通道和池化层通道生成的特征图进行合并,如图6所示。
4、将网络中最后一个全连接层之前的所有网络层定义为瓶颈层。在Inception-v3网络中,瓶颈层的张量为pool_3,瓶颈层的节点个数为2048,如图所示。
根据本发明提供的轻量级CNN模型和基于瓶颈层特征提取的迁移学习策略相结合的植物病害图像识别方法,其迁移学习过程如下:
1、获取ImageNet大规模数据集在Inception-v3网络和具有不同参数的MobileNet网络中的预训练模型。
2、将预训练模型的参数导入网络对应的瓶颈层中。
3、将瓶颈层的参数进行锁定,构建特征向量提取器。
4、提取瓶颈层特征向量并保存在对应的txt文档中,便于后续调取。
5、重新定义一个网络分类层,对保存的特征向量进行训练和分类,保存训练模型即为植物病害识别模型。
根据本发明提供的轻量级CNN模型和基于瓶颈层特征提取的迁移学习策略相结合的植物病害图像识别方法,其网络模型的训练参数和网络模型对特征向量的训练过程如下:
1、标准化超参数,使用SGD优化算法。SGD优化算法在CNN模型训练过程中,采用固定的学习率:
Figure BDA0002270120300000111
△θt=-η*gt
其中,θ是待学习的参数,f()是激活函数,η是学习率,gt是梯度。SGD算法完全取决于当前批样本数据的梯度。
2、学习率设置,它是向成本函数的最小值递减的速率。将学习率设置为0.01,它决定了权重参数更新的速度。
3、SGD优化算法每次在病害和杂草数据集中随机选取一批图像进行训练,我们将批样本大小设置为100。
4、设置所有植物病害数据集用于训练、验证和测试的百分比,将80%的病害图片用于训练,10%病害图片用于验证,剩下的10%病害图片用于测试。
5、使用Tensorflow框架执行实验时,网络的训练过程如图7。
本领域技术人员知道,除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外,完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以,本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件,而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构;也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
以上对本发明的具体实施例进行了描述。需要理解的是,本发明并不局限于上述特定实施方式,本领域技术人员可以在权利要求的范围内做出各种变化或修改,这并不影响本发明的实质内容。在不冲突的情况下,本申请的实施例和实施例中的特征可以任意相互组合。

Claims (10)

1.一种基于CNN模型和迁移学习的植物病害识别方法,其特征在于,包括:
数据集构建步骤:构建原始图像数据集,原始图像数据集包括各种植物病害图像;
数据增强步骤:对原始数据集进行数据增强,得到新的训练数据集;
建模步骤:构建模型;
参数设置步骤:在模型中获取预训练模型参数并设置瓶颈层的参数;
特征向量处理步骤:对瓶颈层的参数进行提取和保存,得到植物病害识别模型,利用得到的植物病害识别模型对数据增强后的新的训练数据集进行特征向量的提取;
识别步骤:根据植物病害识别模型识别植物病害图像,得到植物病害的识别结果并展示。
2.根据权利要求1所述的基于CNN模型和迁移学习的植物病害识别方法,其特征在于,所述数据增强步骤,包括:
翻转步骤:将植物病害图像进行水平翻转变换;
裁剪步骤:使用整数百分比设置裁剪框,对植物病害图像进行剪裁;
调节比例步骤:以整数百分比改变植物病害图像的比例;
调节亮度步骤:乘以植物病害图像像素值,改变图像亮度;
所述模型包括:
Inception-v3模型:将一个二维卷积分成两个一维卷积,在分支结构中再次使用分支结构,设计两个通道,将卷积层通道和池化层通道生成的特征图进行合并;
MobileNet模型:对卷积核进行分解,减少网络参数。
3.根据权利要求2所述的基于CNN模型和迁移学习的植物病害识别方法,其特征在于,所述参数设置步骤包括:
获取参数步骤:在数据集ImageNet上进行训练,得到预训练模型参数;
定义步骤:将最后一个全连接层之前的网络层定义为瓶颈层;
设置步骤:将预训练模型参数导入Inception-v3模型和MobileNet模型中,作为瓶颈层的参数。
4.根据权利要求1所述的基于CNN模型和迁移学习的植物病害识别方法,其特征在于,所述特征向量处理步骤包括:
构建特征向量提取器步骤:对瓶颈层的参数进行锁定,锁定完后构建特征向量提取器;
提取特征向量步骤:通过特征向量提取器,提取并保存瓶颈层的特征向量;
生成步骤:对提取的特征向量进行训练,达到设置的训练步骤后对训练模型进行保存,保存的训练模型即为植物病害识别模型;
评估步骤:对训练完成的植物病害识别模型进行评估;
所述训练包括:向植物病害图像中添加保持权重的变量,设置向后传递的渐变。
5.根据权利要求1所述的基于CNN模型和迁移学习的植物病害识别方法,其特征在于,所述识别步骤包括:
将待识别的植物病害图像导入植物病害识别模型中,训练植物病害识别模型,对待识别的植物病害图像进行读取暂存,得到植物病害的识别结果并对识别结果进行展示。
6.一种基于CNN模型和迁移学习的植物病害识别系统,其特征在于,包括:
数据集构建模块:构建原始图像数据集,原始图像数据集包括各种植物病害图像;
数据增强模块:对原始数据集进行数据增强,得到新的训练数据集;
建模模块:构建模型;
参数设置模块:获取预训练模型参数并设置瓶颈层的参数;
特征向量处理模块:对瓶颈层进行提取和保存,得到植物病害识别模型;
识别模块:识别植物病害图像,得到植物病害的识别结果并展示。
7.根据权利要求6所述的基于CNN模型和迁移学习的植物病害识别系统,其特征在于,所述数据增强模块,包括:
翻转模块:将植物病害图像进行水平翻转变换;
裁剪模块:使用整数百分比设置裁剪框,对植物病害图像进行剪裁;
调节比例模块:以整数百分比改变植物病害图像的比例;
调节亮度模块:乘以植物病害图像像素值,改变图像亮度;
所述模型包括:
Inception-v3模型:将一个二维卷积分成两个一维卷积,在分支结构中再次使用分支结构,设计两个通道,将卷积层通道和池化层通道生成的特征图进行合并;
MobileNet模型:对卷积核进行分解,减少网络参数。
8.根据权利要求7所述的基于CNN模型和迁移学习的植物病害识别系统,其特征在于,所述参数设置模块包括:
获取参数模块:在数据集ImageNet上进行训练,得到预训练模型参数;
定义模块:将最后一个全连接层之前的网络层定义为瓶颈层;
设置模块:将预训练模型参数导入Inception-v3模型和MobileNet模型中,作为瓶颈层的参数。
9.根据权利要求6所述的基于CNN模型和迁移学习的植物病害识别系统,其特征在于,所述特征向量处理模块包括:
构建特征向量提取器模块:对瓶颈层的参数进行锁定,构建特征向量提取器;
提取特征向量模块:通过特征向量提取器,提取并保存瓶颈层的特征向量;
生成模块:对提取的特征向量进行训练,达到设置的训练模块后对训练模型进行保存,保存的训练模型即为植物病害识别模型;
评估模块:对训练完成的植物病害识别模型进行评估;
所述训练包括:向植物病害图像中添加保持权重的变量,设置向后传递的渐变。
10.根据权利要求6所述的基于CNN模型和迁移学习的植物病害识别系统,其特征在于,所述识别模块包括:
将待识别的植物病害图像导入植物病害识别模型中,训练植物病害识别模型,对待识别的植物病害图像进行读取暂存,得到植物病害的识别结果并对识别结果进行展示。
CN201911101895.7A 2019-11-12 2019-11-12 基于cnn模型和迁移学习的植物病害识别方法及系统 Active CN110929610B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201911101895.7A CN110929610B (zh) 2019-11-12 2019-11-12 基于cnn模型和迁移学习的植物病害识别方法及系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201911101895.7A CN110929610B (zh) 2019-11-12 2019-11-12 基于cnn模型和迁移学习的植物病害识别方法及系统

Publications (2)

Publication Number Publication Date
CN110929610A true CN110929610A (zh) 2020-03-27
CN110929610B CN110929610B (zh) 2023-05-23

Family

ID=69852667

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201911101895.7A Active CN110929610B (zh) 2019-11-12 2019-11-12 基于cnn模型和迁移学习的植物病害识别方法及系统

Country Status (1)

Country Link
CN (1) CN110929610B (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111563886A (zh) * 2020-04-29 2020-08-21 安徽国钜工程机械科技有限公司 基于非监督特征学习的隧道钢轨表面病害检测方法及装置
CN111754529A (zh) * 2020-06-28 2020-10-09 南京医科大学眼科医院 一种利用符号压力函数改进的格子玻尔兹曼图像分割方法
CN112052904A (zh) * 2020-09-09 2020-12-08 陕西理工大学 一种基于迁移学习和卷积神经网络病虫害的识别方法
CN112597907A (zh) * 2020-12-25 2021-04-02 四川工商学院 基于深度学习的柑橘红蜘蛛虫害的识别方法
CN112749675A (zh) * 2021-01-20 2021-05-04 云南农业大学 一种基于卷积神经网络的马铃薯病害识别方法
CN113076873A (zh) * 2021-04-01 2021-07-06 重庆邮电大学 一种基于多阶段训练的农作物病害长尾图像识别方法
CN113361589A (zh) * 2021-06-01 2021-09-07 杨晶晶 基于迁移学习与知识蒸馏的珍稀濒危植物叶片识别方法
CN113780357A (zh) * 2021-08-13 2021-12-10 华中农业大学 一种基于迁移学习+MobileNet的玉米叶片病虫害移动端识别方法
CN113936165A (zh) * 2021-09-07 2022-01-14 上海商涌科技有限公司 Ct图像的处理方法、终端及计算机存储介质
CN114220033A (zh) * 2020-09-03 2022-03-22 四川大学 一种结合图像增强和cnn的小麦不完善粒识别方法
CN116311230A (zh) * 2023-05-17 2023-06-23 安徽大学 一种面向真实场景下的玉米叶片病害识别方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170206892A1 (en) * 2016-01-18 2017-07-20 Kabushiki Kaisha Toshiba Speaker-adaptive speech recognition
CN110148120A (zh) * 2019-05-09 2019-08-20 四川省农业科学院农业信息与农村经济研究所 一种基于cnn与迁移学习的病害智能识别方法及系统
WO2019169816A1 (zh) * 2018-03-09 2019-09-12 中山大学 一种用于精细化识别车辆属性的深度神经网络及训练方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170206892A1 (en) * 2016-01-18 2017-07-20 Kabushiki Kaisha Toshiba Speaker-adaptive speech recognition
WO2019169816A1 (zh) * 2018-03-09 2019-09-12 中山大学 一种用于精细化识别车辆属性的深度神经网络及训练方法
CN110148120A (zh) * 2019-05-09 2019-08-20 四川省农业科学院农业信息与农村经济研究所 一种基于cnn与迁移学习的病害智能识别方法及系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
龙满生;欧阳春娟;刘欢;付青;: "基于卷积神经网络与迁移学习的油茶病害图像识别" *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111563886A (zh) * 2020-04-29 2020-08-21 安徽国钜工程机械科技有限公司 基于非监督特征学习的隧道钢轨表面病害检测方法及装置
CN111563886B (zh) * 2020-04-29 2023-04-07 安徽国钜工程机械科技有限公司 基于非监督特征学习的隧道钢轨表面病害检测方法及装置
CN111754529A (zh) * 2020-06-28 2020-10-09 南京医科大学眼科医院 一种利用符号压力函数改进的格子玻尔兹曼图像分割方法
CN114220033A (zh) * 2020-09-03 2022-03-22 四川大学 一种结合图像增强和cnn的小麦不完善粒识别方法
CN114220033B (zh) * 2020-09-03 2023-07-18 四川大学 一种结合图像增强和cnn的小麦不完善粒识别方法
CN112052904A (zh) * 2020-09-09 2020-12-08 陕西理工大学 一种基于迁移学习和卷积神经网络病虫害的识别方法
CN112597907A (zh) * 2020-12-25 2021-04-02 四川工商学院 基于深度学习的柑橘红蜘蛛虫害的识别方法
CN112749675A (zh) * 2021-01-20 2021-05-04 云南农业大学 一种基于卷积神经网络的马铃薯病害识别方法
CN113076873A (zh) * 2021-04-01 2021-07-06 重庆邮电大学 一种基于多阶段训练的农作物病害长尾图像识别方法
CN113361589A (zh) * 2021-06-01 2021-09-07 杨晶晶 基于迁移学习与知识蒸馏的珍稀濒危植物叶片识别方法
CN113780357A (zh) * 2021-08-13 2021-12-10 华中农业大学 一种基于迁移学习+MobileNet的玉米叶片病虫害移动端识别方法
CN113780357B (zh) * 2021-08-13 2024-02-02 华中农业大学 一种基于迁移学习+MobileNet的玉米叶片病虫害移动端识别方法
CN113936165A (zh) * 2021-09-07 2022-01-14 上海商涌科技有限公司 Ct图像的处理方法、终端及计算机存储介质
CN113936165B (zh) * 2021-09-07 2024-06-07 上海商涌科技有限公司 Ct图像的处理方法、终端及计算机存储介质
CN116311230A (zh) * 2023-05-17 2023-06-23 安徽大学 一种面向真实场景下的玉米叶片病害识别方法及装置
CN116311230B (zh) * 2023-05-17 2023-08-18 安徽大学 一种面向真实场景下的玉米叶片病害识别方法及装置

Also Published As

Publication number Publication date
CN110929610B (zh) 2023-05-23

Similar Documents

Publication Publication Date Title
CN110929610B (zh) 基于cnn模型和迁移学习的植物病害识别方法及系统
US20210042580A1 (en) Model training method and apparatus for image recognition, network device, and storage medium
Golts et al. Unsupervised single image dehazing using dark channel prior loss
CN110689086B (zh) 基于生成式对抗网络的半监督高分遥感图像场景分类方法
CN110458844B (zh) 一种低光照场景的语义分割方法
US10318889B2 (en) Targeted data augmentation using neural style transfer
WO2021057056A1 (zh) 神经网络架构搜索方法、图像处理方法、装置和存储介质
CN111489412A (zh) 用于使用神经网络生成基本逼真图像的语义图像合成
CN109299716A (zh) 神经网络的训练方法、图像分割方法、装置、设备及介质
CN111046821B (zh) 一种视频行为识别方法、系统及电子设备
Tan et al. Photograph aesthetical evaluation and classification with deep convolutional neural networks
WO2021051987A1 (zh) 神经网络模型训练的方法和装置
CN110222717A (zh) 图像处理方法和装置
CN110956126A (zh) 一种联合超分辨率重建的小目标检测方法
CN106296734B (zh) 基于极限学习机和boosting多核学习的目标跟踪方法
CN111695640B (zh) 地基云图识别模型训练方法及地基云图识别方法
CN109190666B (zh) 基于改进的深度神经网络的花卉图像分类方法
CN113159067A (zh) 一种基于多粒度局部特征软关联聚合的细粒度图像辨识方法及装置
CN114898359B (zh) 一种基于改进EfficientDet的荔枝病虫害检测方法
CN113420794A (zh) 一种基于深度学习的二值化Faster R-CNN柑橘病虫害识别方法
CN113205103A (zh) 一种轻量级的文身检测方法
CN116740362B (zh) 一种基于注意力的轻量化非对称场景语义分割方法及系统
Zhang Research on Image Recognition Based on Neural Network
Shi et al. W-net: The convolutional network for multi-temporal high-resolution remote sensing image arable land semantic segmentation
Zheng et al. Deep semantic segmentation of unmanned aerial vehicle remote sensing images based on fully convolutional neural network

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant