CN112883873A - 叶部病害的识别方法、装置、电子装置和存储介质 - Google Patents

叶部病害的识别方法、装置、电子装置和存储介质 Download PDF

Info

Publication number
CN112883873A
CN112883873A CN202110197703.8A CN202110197703A CN112883873A CN 112883873 A CN112883873 A CN 112883873A CN 202110197703 A CN202110197703 A CN 202110197703A CN 112883873 A CN112883873 A CN 112883873A
Authority
CN
China
Prior art keywords
leaf
disease
image
blade
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110197703.8A
Other languages
English (en)
Other versions
CN112883873B (zh
Inventor
郭洪飞
李嘉明
张锐
何智慧
朝宝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Jinan University
Original Assignee
Jinan University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Jinan University filed Critical Jinan University
Priority to CN202110197703.8A priority Critical patent/CN112883873B/zh
Publication of CN112883873A publication Critical patent/CN112883873A/zh
Application granted granted Critical
Publication of CN112883873B publication Critical patent/CN112883873B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02A—TECHNOLOGIES FOR ADAPTATION TO CLIMATE CHANGE
    • Y02A40/00—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production
    • Y02A40/10—Adaptation technologies in agriculture, forestry, livestock or agroalimentary production in agriculture

Abstract

本申请涉及一种叶部病害的识别方法、装置、电子装置和存储介质，其中，该叶部病害的识别方法包括：通过获取待识别的植物叶片图像；对所述植物叶片图像进行预处理，得到多幅第一叶片图像；利用注意力机制模型处理多幅所述第一叶片图像，获得多幅所述第一叶片图像对应的第一分类标签，其中，所述注意力机制模型被训练为用于根据叶片图像得到与该叶片图像对应的分类标签，所述分类标签包括该叶片图像对应各种叶部病害类别的病害概率；根据所述第一分类标签确定所述植物叶片图像的识别结果。通过本申请，解决了相关技术中叶部病害识别费时费力、时效性低的问题，实现了叶部病害的实时检测识别。

Description

叶部病害的识别方法、装置、电子装置和存储介质
技术领域
本申请涉及叶部病害检测技术领域，特别是涉及叶部病害的识别方法、装置、电子装置和存储介质。
背景技术
植物病害的种类很多，根据病原的种类可分为两大类：一是非侵染性病害包括由非生物引起，例如营养元素的缺乏，水分的不足或过量，低温的冻害和高温的灼病，肥料、农药使用不合理，或废水、废气造成的药害、毒害等；另一类是侵染性病害，包括由生物引起，有传染性，病原体多种，如真菌、细菌、病毒、线虫或寄生性种子植物等。侵染性病害的症状有锈病、褐斑病、白粉病、炭疽病、黑斑病、叶斑病、枯梢病、角斑病、穿孔病、枯枝病等，这些病害都会影响植株的正常生长，应该立刻采取措施，这样才能防止植物不被病害所影响，并且由于侵染性病害具有传染性，如果不能在传播初期及时进行检测识别，将导致大量健康的植株被传染，甚至出现不可控的传播。
由于许多早疫病的症状主要表现在叶子上，因此叶部病害的检测非常关键。目前针对叶部病害的检测主要以人工目测的方式进行判断，这种方法需要耗费大量的时间以及人力，重要的是不能在传播初期及时的对叶部病害进行检测识别，可能出现不可控的病害传播，大大影响了植物的生长与种植业的生产。
目前针对相关技术中对叶部病害的识别费时费力、时效性低的问题，尚未提出有效的解决方案。
发明内容
本申请实施例提供了一种叶部病害的识别方法、装置、电子装置和存储介质，以至少解决相关技术中叶部病害识别费时费力、时效性低的问题。
第一方面，本申请实施例提供了一种叶部病害的识别方法，包括：获取待识别的植物叶片图像；对所述植物叶片图像进行预处理，得到多幅第一叶片图像，其中，所述预处理包括：图像缩放、图像归一化及图像数据增强；利用注意力机制模型处理多幅所述第一叶片图像，获得多幅所述第一叶片图像对应的第一分类标签，其中，所述注意力机制模型被训练为用于根据叶片图像得到与该叶片图像对应的分类标签，所述分类标签包括该叶片图像对应各种叶部病害类别的病害概率；根据所述第一分类标签确定所述植物叶片图像的识别结果。
在其中一些实施例中，所述第一分类标签包括第一叶部病害类别和第一病害概率，根据所述第一分类标签确定所述植物叶片图像的识别结果包括：在所述第一分类标签中检测每一幅所述第一叶片图像对应的所述第一叶部病害类别和所述第一病害概率；按所述第一叶部病害类别分别统计对应的所述第一病害概率，得到多个第二病害概率；从多个所述第二病害概率选取目标病害概率，并将所述目标病害概率对应的所述第一叶部病害类别作为所述植物叶片图像的识别结果。
在其中一些实施例中，从多个所述第二病害概率中选取目标病害概率包括：检测多个所述第二病害概率的概率值，并将所述概率值最大的所述第二病害概率作为所述目标概率。
在其中一些实施例中，利用注意力机制模型处理多幅所述第一叶片图像，获得多幅所述第一叶片图像对应的第一分类标签包括：利用所述注意力机制模型从所述第一叶片图像中提取第一特征图，并从所述第一特征图中提取通道特征图；根据所述第一特征图和所述通道特征图生成加强特征图；分别对所述通道特征图和所述加强特征图进行池化处理，生成第一池化结果和第二池化结果，并将所述第一池化结果和第二池化结果进行堆叠处理，得到堆叠输出，其中，所述池化处理包括：广义均值池化；将所述第一特征图进行卷积，获取第一卷积结果，并将所述第一卷积结果与所述堆叠输出进行加权处理，得到所述第一分类标签。
在其中一些实施例中，将所述第一特征图进行卷积，获取第一卷积结果，并将所述第一卷积结果与所述堆叠输出进行加权处理，得到所述第一分类标签包括：将所述第一卷积结果与所述堆叠输出进行平均，并通过预设逻辑回归模型进行分类，得到所述植物叶片图像对应各种叶部病害类别的病害概率，其中，所述预设逻辑回归模型包括Softmax逻辑回归模型；将所述植物叶片图像对应各种叶部病害类别的病害概率作为所述第一叶片图像对应的第一分类标签。
在其中一些实施例中，对所述植物叶片图像进行预处理，得到多幅第一叶片图像包括：将所述植物叶片图像进行缩放处理，生成预设图像分辨率的第二叶片图像；对所述第二叶片图像进行归一化处理，生成第三叶片图像；对所述第三叶片图像进行图像数据增强处理，得到多幅所述第一叶片图像，其中，每一幅所述第三叶片图像对应至少一幅所述第一叶片图像。
在其中一些实施例中，所述图像数据增强处理包括按预设随机概率对所述第三叶片图像进行以下其中至少一种的处理：随机转置、随机垂直翻转、随机水平翻转、随机平移变换、随机尺度变换、随机旋转变换、色相值随机变换、饱和度值随机变换、亮度随机更改、对比度随机更改及随机擦除像素区域。
第二方面，本申请实施例提供了一种叶部病害的识别装置，包括：
获取模块，用于获取待识别的植物叶片图像；
预处理模块，用于对所述植物叶片图像进行预处理，得到多幅第一叶片图像，其中，所述预处理包括：图像缩放、图像归一化及图像数据增强；
特征提取模块，用于利用注意力机制模型处理多幅所述第一叶片图像，获得多幅所述第一叶片图像对应的第一分类标签，其中，所述注意力机制模型被训练为用于根据叶片图像得到与该叶片图像对应的分类标签，所述分类标签包括该叶片图像对应各种叶部病害类别的病害概率；
分类模块，用于根据所述第一分类标签确定所述植物叶片图像的识别结果。
第三方面，本申请实施例提供了一种电子装置，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的叶部病害的识别方法。
第四方面，本申请实施例提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的叶部病害的识别方法。
相比于相关技术，本申请实施例提供的叶部病害的识别方法、装置、电子装置以及存储介质，通过获取待识别的植物叶片图像；对所述植物叶片图像进行预处理，得到多幅第一叶片图像，其中，所述预处理包括：图像缩放、图像归一化及图像数据增强；利用注意力机制模型处理多幅所述第一叶片图像，获得多幅所述第一叶片图像对应的第一分类标签，其中，所述注意力机制模型被训练为用于根据叶片图像得到与该叶片图像对应的分类标签，所述分类标签包括该叶片图像对应各种叶部病害类别的病害概率；根据所述第一分类标签确定所述植物叶片图像的识别结果，解决了相关技术中叶部病害识别费时费力、时效性低的问题，实现了叶部病害的实时检测识别。
本申请的一个或多个实施例的细节在以下附图和描述中提出，以使本申请的其他特征、目的和优点更加简明易懂。
附图说明
此处所说明的附图用来提供对本申请的进一步理解，构成本申请的一部分，本申请的示意性实施例及其说明用于解释本申请，并不构成对本申请的不当限定。在附图中：
图1是根据本申请实施例的叶部病害的识别方法的终端的硬件结构框图；
图2是根据本申请实施例的叶部病害的识别方法的流程图；
图3是根据本申请实施例的注意力机制模型的构建流程图；
图4是根据本申请优选实施例的叶部病害的识别方法的流程图；
图5是根据本申请实施例的叶部病害的识别装置的结构框图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本申请进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本申请，并不用于限定本申请。基于本申请提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本申请公开的内容相关的本领域的普通技术人员而言，在本申请揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本申请公开的内容不充分。
在本申请中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本申请所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
除非另作定义，本申请所涉及的技术术语或者科学术语应当为本申请所属技术领域内具有一般技能的人士所理解的通常意义。本申请所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本申请所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本申请所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本申请所涉及的“多个”是指大于或者等于两个。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“A和/或B”可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。本申请所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对象，不代表针对对象的特定排序。
本实施例提供的方法实施例可以在终端、计算机或者类似的运算装置中执行。以运行在终端上为例，图1是本申请实施例的叶部病害的识别方法的终端的硬件结构框图。如图1所示，终端10可以包括一个或多个(图1中仅示出一个)处理器102(处理器102可以包括但不限于微处理器MCU或可编程逻辑器件FPGA等的处理装置)和用于存储数据的存储器104，可选地，上述终端还可以包括用于通信功能的传输设备106以及输入输出设备108。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对上述终端的结构造成限定。例如，终端10还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
存储器104可用于存储计算机程序，例如，应用软件的软件程序以及模块，如本发明实施例中的叶部病害识别方法对应的计算机程序，处理器102通过运行存储在存储器104内的计算机程序，从而执行各种功能应用以及数据处理，即实现上述的方法。存储器104可包括高速随机存储器，还可包括非易失性存储器，如一个或者多个磁性存储装置、闪存、或者其他非易失性固态存储器。在一些实例中，存储器104可进一步包括相对于处理器102远程设置的存储器，这些远程存储器可以通过网络连接至终端10。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
传输设备106用于经由一个网络接收或者发送数据。上述的网络具体实例可包括终端10的通信供应商提供的无线网络。在一个实例中，传输设备106包括一个网络适配器(Network Interface Controller，简称为NIC)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备106可以为射频(Radio Frequency，简称为RF)模块，其用于通过无线方式与互联网进行通讯。
本实施例提供了一种运行于上述终端的叶部病害的识别方法，图2是根据本申请实施例的叶部病害的识别方法的流程图，如图2所示，该流程包括如下步骤：
步骤S201，获取待识别的植物叶片图像。
在本实施例中，通过实时获取植物叶片图像，监测其状态，提高了本申请方法的时效性。因叶部病害传播速度快，一旦监测到有犯病叶片，立即对犯病植株进行治疗，防止了其大范围传播。具体可利用摄像头、无人机等对植物叶片图像进行采集，采集的图像传输至注意力机制模型进行识别分类。
步骤S202，对植物叶片图像进行预处理，得到多幅第一叶片图像，其中，预处理包括：图像缩放、图像归一化及图像数据增强。
在本实施例中，通过对植物叶片图像进行图像缩放、图像归一化及图像数据增强，得到若干第一叶片图像，后续每一幅第一叶片图像进行处理，相当于扩充了输入的样本，从而提高了神经网络模型(注意力机制模型)的泛化能力，从而使得识别分类的准确率更高。
步骤S203，利用注意力机制模型处理多幅第一叶片图像，获得每幅第一叶片图像对应的第一分类标签，其中，注意力机制模型被训练为用于根据叶片图像得到与该叶片图像对应的分类标签，分类标签包括该叶片图像对应各种叶部病害类别的病害概率。
在本实施例中，利用注意力机制模型处理多幅第一叶片图像，获得多幅第一叶片图像对应的第一分类标签，实现了图像的自动标记，并得到了该叶片图像对应各种叶部病害类别的病害概率。
步骤S204，根据第一分类标签确定植物叶片图像的识别结果。
通过上述步骤S201至步骤S204，通过获取待识别的植物叶片图像；对植物叶片图像进行预处理，得到多幅第一叶片图像，其中，预处理包括：图像缩放、图像归一化及图像数据增强；利用注意力机制模型处理多幅第一叶片图像，获得多幅第一叶片图像对应的第一分类标签，其中，注意力机制模型被训练为用于根据叶片图像得到与该叶片图像对应的分类标签，分类标签包括该叶片图像对应各种叶部病害类别的病害概率；根据第一分类标签确定植物叶片图像的识别结果，解决了相关技术中叶部病害识别费时费力、时效性低的问题，实现了叶部病害的实时检测识别。
需要说明的是，在本实施例中，对拍摄设备采集的植物叶片图像首先进行预处理，从而使得通过注意力机制模型的识别分类更具有准确率，采用多种数据增强处理增加了输入的样本，提高了神经网络模型(注意力机制模型)的泛化能力；且本申请实施例中的神经网络模型为轻量级模型，轻便速度快，容易嵌入移动设备；本申请实施例中对图像进行多层的特征提取，将特征层通过注意力机制加强对关键特征的提取，将加强后的特征与原特征进行结合；提高了识别分类的准确率。相对于传统的人工识别分类方法，本申请节省了大量的时间和人力，时效性更高，可以在传播初期及时识别分类出叶部病害，从而减少了对植物生长、种植业产量与品质的影响，避免了巨大的经济损失。
在其中一些实施例中，第一分类标签包括第一叶部病害类别和第一病害概率，根据第一分类标签确定植物叶片图像的识别结果，包括如下步骤：
步骤1、在第一分类标签中检测每一幅第一叶片图像对应的第一叶部病害类别和第一病害概率。
步骤2、按第一叶部病害类别分别统计对应的第一病害概率，得到多个第二病害概率。
步骤3、从多个第二病害概率选取目标病害概率，并将目标病害概率对应的第一叶部病害类别作为植物叶片图像的识别结果。
通过上述步骤中的在第一分类标签中检测每一幅第一叶片图像对应的第一叶部病害类别和第一病害概率；按第一叶部病害类别分别统计对应的第一病害概率，得到多个第二病害概率；从多个第二病害概率选取目标病害概率，并将目标病害概率对应的第一叶部病害类别作为植物叶片图像的识别结果，实现了对增加扩充样本的结果融合，提高了识别分类的准确率。
在其中一些实施例中，从多个第二病害概率中选取目标病害概率包括：检测多个第二病害概率的概率值，并将概率值最大的第二病害概率作为目标概率。
通过上述步骤中的检测多个第二病害概率的概率值，并将概率值最大的第二病害概率作为目标概率，实现了对增加扩充样本的结果融合，提高了识别分类的准确率。
在其中一些实施例中，利用注意力机制模型处理多幅第一叶片图像，获得多幅第一叶片图像对应的第一分类标签，包括如下步骤：
步骤1、利用注意力机制模型从第一叶片图像中提取第一特征图，并从第一特征图中提取通道特征图。
步骤2、根据第一特征图和通道特征图生成加强特征图。
步骤3、分别对通道特征图和加强特征图进行池化处理，生成第一池化结果和第二池化结果，并将第一池化结果和第二池化结果进行堆叠处理，得到堆叠输出；其中，池化处理包括：广义均值池化。
步骤4、将第一特征图进行卷积，获取第一卷积结果，并将第一卷积结果与堆叠输出进行加权处理，到第一分类标签。
通过上述步骤中的利用注意力机制模型从第一叶片图像中提取第一特征图，并从第一特征图中提取通道特征图；根据第一特征图和通道特征图生成加强特征图；分别对通道特征图和加强特征图进行池化处理，生成第一池化结果和第二池化结果，并将第一池化结果和第二池化结果进行堆叠处理，得到堆叠输出；其中，池化处理包括：广义均值池化；将第一特征图进行卷积，获取第一卷积结果，并将第一卷积结果与堆叠输出进行加权处理，到第一分类标签，实现了图像的多层的特征提取，并通过注意力机制加强关键特征，再将加强后的特征与原特征进行结合，大大提高了识别分类的准确率。
在其中一些实施例中，将第一特征图进行卷积，获取第一卷积结果，并将第一卷积结果与堆叠输出进行加权处理，到第一分类标签包括如下步骤：
步骤1、将第一卷积结果与堆叠输出进行平均，并通过预设逻辑回归模型进行分类，得到植物叶片图像对应各种叶部病害类别的病害概率，其中，预设逻辑回归模型包括Softmax逻辑回归模型。
步骤2、将植物叶片图像对应各种叶部病害类别的病害概率作为第一叶片图像对应的第一分类标签。
通过上述步骤中的将第一卷积结果与堆叠输出进行平均，并通过预设逻辑回归模型进行分类，得到植物叶片图像对应各种叶部病害类别的病害概率，其中，预设逻辑回归模型包括Softmax逻辑回归模型；将植物叶片图像对应各种叶部病害类别的病害概率作为第一叶片图像对应的第一分类标签，由于Softmax计算简单，效果显著，因此非常简便而准确的实现了叶部病害的标签分类，同时也提高了响应速度。
在其中一些实施例中，对植物叶片图像进行预处理，得到多幅第一叶片图像包括如下步骤：
步骤1、将植物叶片图像进行缩放处理，生成预设图像分辨率的第二叶片图像；
步骤2、对第二叶片图像进行归一化处理，生成第三叶片图像；
步骤3、对第三叶片图像进行图像数据增强处理，得到多幅第一叶片图像，其中，每一幅第三叶片图像对应至少一幅第一叶片图像。
通过上述步骤中的将植物叶片图像进行缩放处理，生成预设图像分辨率的第二叶片图像；对第二叶片图像进行归一化处理，生成第三叶片图像；对第三叶片图像进行图像数据增强处理，得到多幅第一叶片图像，其中，每一幅第二叶片图像对应至少一幅第一叶片图像，实现了输入样本的增加扩充，从而使得识别分类的准确率更高，提高了叶部病害识别的准确率。
在其中一些实施例中，图像数据增强处理包括按预设随机概率对第三叶片图像进行以下其中至少一种的处理：随机转置、随机垂直翻转、随机水平翻转、随机平移变换、随机尺度变换、随机旋转变换、色相值随机变换、饱和度值随机变换、亮度随机更改、对比度随机更改及随机擦除像素区域。
通过上述步骤中的随机转置、随机垂直翻转、随机水平翻转、随机平移变换、随机尺度变换、随机旋转变换、色相值随机变换、饱和度值随机变换、亮度随机更改、对比度随机更改及随机擦除像素区域，实现了输入样本的增加扩充与图像特征的增强，使得识别分类的准确率更高。
以下将介绍神经网络模型(注意力机制模型)的构建与训练方法，图3是根据本申请实施例的注意力机制模型的构建流程图，如图3所示，包括以下步骤：
步骤S301，获取若干带标签的植物叶片图像，包括含正常叶片、焦叶病、花叶病、炭疽病、黑斑病、白粉病、霜霉病、锈病、煤污病、叶斑病等的图像，构建叶部病害数据集；并将该数据集做随机置乱处理，然后按比例划分为训练集和验证集。
步骤S302，对训练集和验证集中的图像进行预处理。
在本实施例中，缩放处理包括统一图像尺寸、归一化；图像数据增强包括：对数据集中的每一个样本均以相同的概率随机进行转置，以相同的概率随机进行垂直翻转，以相同的概率随机进行水平翻转，以相同的随机概率进行平移、尺度和旋转变换，以相同的概率随机更改色相和饱和度值，以相同的概率随机更改亮度和对比度，以相同的概率随机擦除像素区域，以此增强神经网络模型的判别能力。
步骤S303，构建注意力机制模型。
在本实施例中，对注意力机制模型采用轻量级模型作为特征提取网络,输出7×7×1280的特征图；通过注意力机制加强特征图，将特征图输入注意力机制的网络学习重要特征通道，得到通道特征图，将通道特征图与原特征图相乘后得到加强后的特征图，分别对加强后的特征图与通道特征图进行广义均值池化并进行堆叠，得到堆叠输出。将原特征图经过单层卷积产生的结果与堆叠输出进行平均后输入Softmax分类层，输出各种不同叶部病害的概率结果。
在本实施例中，轻量级模型包括两个模块，第一模块为输入模块，包括一个卷积层，提取特征；第二模块为特征图生成模块，包括若干个bottleneck(瓶颈层)和卷积层。根据其输入特征图的大小分为不同的阶段，除了每个阶段的最后一个bottleneck是stride(步进)＝2，其他所有bottleneck都以stride＝1进行应用。
本实施例中的bottleneck主要由两个堆叠的卷积层组成。第一个卷积层用作扩展层，增加了通道数。第二个卷积层减少通道数，以与shortcut路径匹配。然后，使用shortcut连接这两个卷积层的输入和输出。上述bottleneck适用于stride＝1，对于stride＝2的情况，shortcut路径由下采样层和stride＝2的深度卷积(Depthwise Convolution)来实现。
注意力机制网络可表示为C128-C64-C1-C128，Ck表示该卷积层中有k个卷积核，每个卷积核的大小为1×1；四个卷积层的步长均为1；每个卷积层后使用ELU作为激活函数；输出结果与加强后特征图采用的池化方式均为广义均值池化。
步骤S304，将步骤S302中预处理后的训练集分批次输入到构建的注意力机制模型中，采用数据迭代器训练方法进行多轮训练，直到模型的损失函数收敛，即损失函数降到最低值后，获得训练好的注意力机制模型。在训练过程中引入对Label Smoothing(标签平滑)操作，防止神经网络模型在训练时过于自信地预测标签，改善泛化能力差的问题；采用改进的CrossEntropyLoss(交叉熵)损失函数，根据各叶部病害的样本数据分别对该损失函数进行权重的调节，训练样本越多的叶部病害类别赋予更小的权重，降低该叶部病害的损失值对模型的影响。
下面通过优选实施例对本申请实施例进行描述和说明。
图4是根据本申请优选实施例的叶部病害的识别方法的流程图。如图4所示，该叶部病害的识别方法包括如下步骤：
步骤S401，从Makerere University AI Lab(马凯雷雷大学人工智能实验室)获取数据集；标签如下：焦叶病、花叶病、炭疽病、黑斑病、白粉病、霜霉病、锈病、煤污病、叶斑病、正常叶片。将该数据集做随机置乱处理，然后按9:1的比例划分为训练集和验证集。在实施例中，数据集的来源包括但不限于Makerere University AI Lab。
步骤S402，对训练集和验证集中的图像进行预处理。图像尺寸统一缩放到448×448；以0.5的概率进行图像数据增强。
步骤S403，构建注意力机制模型，将经过步骤S402处理的训练集和验证集数据输入该构建的模型，采用数据迭代器训练方法进行多轮训练。
步骤S404，获取待识别的植物叶片图像。
步骤S405，对待识别的植物叶片图像进行预处理。具体地，将植物叶片图像统一缩放至448×448的尺寸大小，并进行归一化处理，得到第三叶片图像；对第三叶片图像分别进行三种形式的图像数据增强：以0.5的概率随机进行转置，以0.5的概率随机进行垂直翻转，以0.5的概率随机进行水平翻转，从而得到三幅第一叶片图像。
步骤S406，利用注意力机制模型对第三叶片图像和三幅第一叶片图像分别进行以下操作：进行特征提取，生成第一特征图；对第一特征图进行基于注意力机制的特征提取，得到通道特征图；将第一特征图和通道特征图相乘，得到加强后的特征图；分别对加强后的特征图与通道特征图进行广义均值池化，并将池化得到的结果进行堆叠，得到堆叠输出；将第一特征图经过单层卷积核为7×7的卷积结果与堆叠输出进行平均，通过Softmax逻辑回归进行分类，得到第一叶片图像对应的第一分类标签，即：该第一叶片图像对应各种叶部病害类别的病害概率。
步骤S407，将上述4幅图像(第三叶片图像和三幅第一叶片图像)的第一分类标签中的所有概率按照叶部病害的病害类别进行相加，将相加结果中，选取概率最大值对应的病害类别作为最终的植物叶片图像的识别结果。
需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。例如，步骤S401与步骤S404、步骤S402与步骤S404、步骤S403与步骤S404。
本实施例还提供了一种叶部病害的识别装置，该装置用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的装置较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
图5是根据本申请实施例的叶部病害的识别装置的结构框图，如图5所示，该装置包括：获取模块51、预处理模块52、特征提取模块53、分类模块54。
获取模块51，用于获取待识别的植物叶片图像。
预处理模块52，与获取模块51耦合连接，用于对植物叶片图像进行预处理，得到多幅第一叶片图像，其中，预处理包括：图像缩放、图像归一化及图像数据增强。
特征提取模块53，与预处理模块52耦合连接，用于利用注意力机制模型处理多幅第一叶片图像，获得多幅第一叶片图像对应的第一分类标签，其中，注意力机制模型被训练为用于根据叶片图像得到与该叶片图像对应的分类标签，分类标签包括该叶片图像对应各种叶部病害类别的病害概率。
分类模块54，与特征提取模块53耦合连接，用于根据第一分类标签确定植物叶片图像的识别结果。
在其中一些实施例中，分类模块54用于在第一分类标签中检测每一幅第一叶片图像对应的第一叶部病害类别和第一病害概率；按第一叶部病害类别分别统计对应的第一病害概率，得到多个第二病害概率；从多个第二病害概率选取目标病害概率，并将目标病害概率对应的第一叶部病害类别作为植物叶片图像的识别结果。
在其中一些实施例中，分类模块54用于检测多个第二病害概率的概率值，并将概率值最大的第二病害概率作为目标概率。
在其中一些实施例中，特征提取模块53用于利用注意力机制模型从第一叶片图像中提取第一特征图，并从第一特征图中提取通道特征图；根据第一特征图和通道特征图生成加强特征图；分别对通道特征图和加强特征图进行池化处理，生成第一池化结果和第二池化结果，并将第一池化结果和第二池化结果进行堆叠处理，得到堆叠输出；其中，池化处理包括：广义均值池化；将第一特征图进行卷积，获取第一卷积结果，并将第一卷积结果与堆叠输出进行加权处理，到第一分类标签。
在其中一些实施例中，特征提取模块53用于将第一卷积结果与堆叠输出进行平均，并通过预设逻辑回归模型进行分类，得到植物叶片图像对应各种叶部病害类别的病害概率，其中，预设逻辑回归模型包括Softmax逻辑回归模型；将植物叶片图像对应各种叶部病害类别的病害概率作为第一叶片图像对应的第一分类标签。
在其中一些实施例中，预处理模块52用于将植物叶片图像进行缩放处理，生成预设图像分辨率的第二叶片图像；对第二叶片图像进行归一化处理，生成第三叶片图像；对第三叶片图像进行图像数据增强处理，得到多幅第一叶片图像，其中，每一幅第二叶片图像对应至少一幅第一叶片图像。
在其中一些实施例中，预处理模块52用于随机转置、随机垂直翻转、随机水平翻转、随机平移变换、随机尺度变换、随机旋转变换、色相值随机变换、饱和度值随机变换、亮度随机更改、对比度随机更改及随机擦除像素区域。
需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
本实施例还提供了一种电子装置，包括存储器和处理器，该存储器中存储有计算机程序，该处理器被设置为运行计算机程序以执行上述任一项方法实施例中的步骤。
可选地，上述电子装置还可以包括传输设备以及输入输出设备，其中，该传输设备和上述处理器连接，该输入输出设备和上述处理器连接。
可选地，在本实施例中，上述处理器可以被设置为通过计算机程序执行以下步骤：
S1，获取待识别的植物叶片图像。
S2，对植物叶片图像进行预处理，得到多幅第一叶片图像，其中，预处理包括：图像缩放、图像归一化及图像数据增强。
S3，利用注意力机制模型处理多幅第一叶片图像，获得多幅第一叶片图像对应的第一分类标签，其中，注意力机制模型被训练为用于根据叶片图像得到与该叶片图像对应的分类标签，分类标签包括该叶片图像对应各种叶部病害类别的病害概率。
S4，根据第一分类标签确定植物叶片图像的识别结果。
需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
另外，结合上述实施例中的叶部病害的识别方法，本申请实施例可提供一种存储介质来实现。该存储介质上存储有计算机程序；该计算机程序被处理器执行时实现上述实施例中的任意一种叶部病害的识别方法。
本领域的技术人员应该明白，以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种叶部病害的识别方法，其特征在于，所述识别方法包括：
获取待识别的植物叶片图像；
对所述植物叶片图像进行预处理，得到多幅第一叶片图像，其中，所述预处理包括：图像缩放、图像归一化及图像数据增强；
利用注意力机制模型处理多幅所述第一叶片图像，获得多幅所述第一叶片图像对应的第一分类标签，其中，所述注意力机制模型被训练为用于根据叶片图像得到与该叶片图像对应的分类标签，所述分类标签包括该叶片图像对应各种叶部病害类别的病害概率；
根据所述第一分类标签确定所述植物叶片图像的识别结果。
2.根据权利要求1所述的叶部病害的识别方法，其特征在于，所述第一分类标签包括第一叶部病害类别和第一病害概率，根据所述第一分类标签确定所述植物叶片图像的识别结果包括：
在所述第一分类标签中检测每一幅所述第一叶片图像对应的所述第一叶部病害类别和所述第一病害概率；
按所述第一叶部病害类别分别统计对应的所述第一病害概率，得到多个第二病害概率；
从多个所述第二病害概率选取目标病害概率，并将所述目标病害概率对应的所述第一叶部病害类别作为所述植物叶片图像的识别结果。
3.根据权利要求2所述的叶部病害的识别方法，其特征在于，从多个所述第二病害概率中选取目标病害概率包括：
检测多个所述第二病害概率的概率值，并将所述概率值最大的所述第二病害概率作为所述目标概率。
4.根据权利要求1所述的叶部病害的识别方法，其特征在于，利用注意力机制模型处理多幅所述第一叶片图像，获得多幅所述第一叶片图像对应的第一分类标签包括：
利用所述注意力机制模型从所述第一叶片图像中提取第一特征图，并从所述第一特征图中提取通道特征图；
根据所述第一特征图和所述通道特征图生成加强特征图；
分别对所述通道特征图和所述加强特征图进行池化处理，生成第一池化结果和第二池化结果，并将所述第一池化结果和第二池化结果进行堆叠处理，得到堆叠输出，其中，所述池化处理包括广义均值池化；
将所述第一特征图进行卷积，获取第一卷积结果，并将所述第一卷积结果与所述堆叠输出进行加权处理，得到所述第一分类标签。
5.根据权利要求4所述的叶部病害的识别方法，其特征在于，将所述第一特征图进行卷积，获取第一卷积结果，并将所述第一卷积结果与所述堆叠输出进行加权处理，到所述第一分类标签包括：
将所述第一卷积结果与所述堆叠输出进行平均，并通过预设逻辑回归模型进行分类，得到所述植物叶片图像对应各种叶部病害类别的病害概率，其中，所述预设逻辑回归模型包括Softmax逻辑回归模型；
将所述植物叶片图像对应各种叶部病害类别的病害概率作为所述第一叶片图像对应的第一分类标签。
6.根据权利要求1所述的叶部病害的识别方法，其特征在于，对所述植物叶片图像进行预处理，得到多幅第一叶片图像包括：
将所述植物叶片图像进行缩放处理，生成预设图像分辨率的第二叶片图像；
对所述第二叶片图像进行归一化处理，生成第三叶片图像；
对所述第三叶片图像进行图像数据增强处理，得到多幅所述第一叶片图像，其中，每一幅所述第三叶片图像对应至少一幅所述第一叶片图像。
7.根据权利要求6所述的叶部病害的识别方法，其特征在于，所述图像数据增强处理包括按预设随机概率对所述第三叶片图像进行以下其中至少一种的处理：随机转置、随机垂直翻转、随机水平翻转、随机平移变换、随机尺度变换、随机旋转变换、色相值随机变换、饱和度值随机变换、亮度随机更改、对比度随机更改及随机擦除像素区域。
8.一种叶部病害的识别装置，其特征在于，包括：
获取模块，用于获取待识别的植物叶片图像；
预处理模块，用于对所述植物叶片图像进行预处理，得到多幅第一叶片图像，其中，所述预处理包括：图像缩放、图像归一化及图像数据增强；
特征提取模块，用于利用注意力机制模型处理多幅所述第一叶片图像，获得多幅所述第一叶片图像对应的第一分类标签，其中，所述注意力机制模型被训练为用于根据叶片图像得到与该叶片图像对应的分类标签，所述分类标签包括该叶片图像对应各种叶部病害类别的病害概率；
分类模块，用于根据所述第一分类标签确定所述植物叶片图像的识别结果。
9.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1至7中任一项所述的叶部病害的识别方法。
10.一种存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至7中任一项所述的叶部病害的识别方法。
CN202110197703.8A 2021-02-22 2021-02-22 叶部病害的识别方法、装置、电子装置和存储介质 Active CN112883873B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110197703.8A CN112883873B (zh) 2021-02-22 2021-02-22 叶部病害的识别方法、装置、电子装置和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110197703.8A CN112883873B (zh) 2021-02-22 2021-02-22 叶部病害的识别方法、装置、电子装置和存储介质

Publications (2)

Publication Number Publication Date
CN112883873A true CN112883873A (zh) 2021-06-01
CN112883873B CN112883873B (zh) 2023-08-01

Family

ID=76056776

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110197703.8A Active CN112883873B (zh) 2021-02-22 2021-02-22 叶部病害的识别方法、装置、电子装置和存储介质

Country Status (1)

Country Link
CN (1) CN112883873B (zh)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107798356A (zh) * 2017-11-24 2018-03-13 郑州大学西亚斯国际学院 基于深度卷积神经网络的作物叶片病害识别方法
CN108304812A (zh) * 2018-02-07 2018-07-20 郑州大学西亚斯国际学院 一种基于卷积神经网络和多视频图像的作物病害识别方法
CN110070086A (zh) * 2019-05-06 2019-07-30 重庆文理学院 一种基于图像识别的猕猴桃叶片病害识别方法
CN110210434A (zh) * 2019-06-10 2019-09-06 四川大学 病虫害识别方法及装置
CN110490083A (zh) * 2019-07-23 2019-11-22 苏州国科视清医疗科技有限公司 一种基于快速人眼语义分割网络的瞳孔精确检测方法
CN111078913A (zh) * 2019-12-16 2020-04-28 天津运泰科技有限公司 基于多视图卷积神经网络的三维模型检索方法
CN111563431A (zh) * 2020-04-24 2020-08-21 空间信息产业发展股份有限公司 一种基于改进卷积神经网络的植物叶片病虫害识别方法
CN111709481A (zh) * 2020-06-17 2020-09-25 云南省烟草农业科学研究院 一种烟草病害识别方法、系统、平台及存储介质
CN112183635A (zh) * 2020-09-29 2021-01-05 南京农业大学 一种多尺度反卷积网络实现植物叶部病斑分割与识别方法

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107798356A (zh) * 2017-11-24 2018-03-13 郑州大学西亚斯国际学院 基于深度卷积神经网络的作物叶片病害识别方法
CN108304812A (zh) * 2018-02-07 2018-07-20 郑州大学西亚斯国际学院 一种基于卷积神经网络和多视频图像的作物病害识别方法
CN110070086A (zh) * 2019-05-06 2019-07-30 重庆文理学院 一种基于图像识别的猕猴桃叶片病害识别方法
CN110210434A (zh) * 2019-06-10 2019-09-06 四川大学 病虫害识别方法及装置
CN110490083A (zh) * 2019-07-23 2019-11-22 苏州国科视清医疗科技有限公司 一种基于快速人眼语义分割网络的瞳孔精确检测方法
CN111078913A (zh) * 2019-12-16 2020-04-28 天津运泰科技有限公司 基于多视图卷积神经网络的三维模型检索方法
CN111563431A (zh) * 2020-04-24 2020-08-21 空间信息产业发展股份有限公司 一种基于改进卷积神经网络的植物叶片病虫害识别方法
CN111709481A (zh) * 2020-06-17 2020-09-25 云南省烟草农业科学研究院 一种烟草病害识别方法、系统、平台及存储介质
CN112183635A (zh) * 2020-09-29 2021-01-05 南京农业大学 一种多尺度反卷积网络实现植物叶部病斑分割与识别方法

Also Published As

Publication number Publication date
CN112883873B (zh) 2023-08-01

Similar Documents

Publication Publication Date Title
Joshi et al. VirLeafNet: Automatic analysis and viral disease diagnosis using deep-learning in Vigna mungo plant
Ngugi et al. Recent advances in image processing techniques for automated leaf pest and disease recognition–A review
Shin et al. A deep learning approach for RGB image-based powdery mildew disease detection on strawberry leaves
CN107451614A (zh) 基于空间坐标与空谱特征融合的高光谱分类方法
Zhao et al. SEV‐Net: Residual network embedded with attention mechanism for plant disease severity detection
Bruno et al. Improving plant disease classification by adaptive minimal ensembling
Endait et al. Hybrid model to predict leaf disease prediction using ensembling machine learning approach
Alosaimi et al. PeachNet: Peach Diseases Detection for Automatic Harvesting.
Sunil et al. Binary class and multi-class plant disease detection using ensemble deep learning-based approach
Gómez-Flores et al. A Huanglongbing detection method for orange trees based on deep neural networks and transfer learning
Mitra et al. aGROdet: a novel framework for plant disease detection and leaf damage estimation
Sachan et al. Paddy leaf disease detection using thermal images and convolutional neural networks
Hazarika et al. Approximating CNN computation for plant disease detection
Pillay et al. Quantifying the severity of common rust in maize using mask r-cnn
Rehman et al. A framework of deep optimal features selection for apple leaf diseases recognition
Jadhav et al. Comprehensive review on machine learning for plant disease identification and classification with image processing
Sowmya et al. Utility system for premature plant disease detection using machine learning
CN112883873A (zh) 叶部病害的识别方法、装置、电子装置和存储介质
Shantkumari et al. Machine learning techniques implementation for detection of grape leaf disease
Nath et al. A novel residual learning-based deep learning model integrated with attention mechanism and SVM for identifying tea plant diseases
Karthika et al. Deep Learning Approach to Automated Tomato Plant Leaf Disease Diagnosis
Silva et al. Wild boar recognition using convolutional neural networks
Fida et al. Leaf image recognition based identification of plants: Supportive framework for plant systematics
Kejriwal et al. Apple Leaves Diseases Detection Using Deep Convolutional Neural Networks and Transfer Learning
Hassan et al. Pest Identification based on fusion of Self-Attention with ResNet

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant