CN113902735A - 作物病害识别方法、装置、电子设备及存储介质 - Google Patents

作物病害识别方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113902735A
CN113902735A CN202111370957.1A CN202111370957A CN113902735A CN 113902735 A CN113902735 A CN 113902735A CN 202111370957 A CN202111370957 A CN 202111370957A CN 113902735 A CN113902735 A CN 113902735A
Authority
CN
China
Prior art keywords
image
deep learning
learning model
disease
inputting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202111370957.1A
Other languages
English (en)
Inventor
宋敏
丁智欢
李明
孙雨佳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Guizhou Chunxin Technology Co ltd
Yunnan Chunxin Technology Co ltd
Original Assignee
Guizhou Chunxin Technology Co ltd
Yunnan Chunxin Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Guizhou Chunxin Technology Co ltd, Yunnan Chunxin Technology Co ltd filed Critical Guizhou Chunxin Technology Co ltd
Publication of CN113902735A publication Critical patent/CN113902735A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本申请公开了一种作物病害识别方法、装置、电子设备及存储介质，属于农业种植技术领域，其中，作物病害识别方法包括：获取待检测图像，待检测图像中包括作物；将待检测图像输入到训练好的深度学习模型中，得到带有病害标记的图像，训练好的深度学习模型为融合自注意力机制的模型。该方法利用训练好的深度学习模型代替了人工的主观判断，节省了人力，并且识别速度快，通过不断的优化调整准确率可以超过人为主观判断。

Description

作物病害识别方法、装置、电子设备及存储介质
技术领域
本申请属于农业种植技术领域，具体涉及一种作物病害识别方法、装置、电子设备及存储介质。
背景技术
作物，农作物的简称。人类大面积栽种或大面积收获其果实、种子、叶、变态根、茎以及花，供盈利或口粮用的植物的总称。
目前，作物病害识别依靠人工采样调查，根据专家经验进行识别判断，没有将成熟方法推广应用于作物病害预测的技术。并且该识别判断方法劳动强度大、耗时长。
发明内容
本申请的目的是提供一种作物病害识别方法、装置、电子设备及存储介质以解决现有技术识别作物病害劳动强度大、耗时长的问题。
根据本申请实施例的第一方面，提供一种作物病害识别方法，该方法可以包括：
获取待检测图像，待检测图像中包括作物；
将待检测图像输入到训练好的深度学习模型中，得到带有病害标记的图像，训练好的深度学习模型为融合自注意力机制的模型。
进一步地，训练好的深度学习模型包括特征提取网络；
将待检测图像输入到训练好的深度学习模型中，得到带有病害标记的图像，包括：
将待检测图像输入到特征提取网络，得到病害坐标、病害分类及置信度；
根据病害坐标、病害分类及置信度标记待检测图像，得到带有病害标记的图像。
进一步地，训练好的深度学习模型是通过下述方法训练得到的：
获取多个作物病害图像；
对多个作物病害图像进行增广处理，得到训练图像集；
对训练图像集中每个图像进行病害标记，得到标记图像集；
利用标记图像集对深度学习模型进行训练，得到训练好的深度学习模型。
进一步地，对多个作物病害图像进行增广处理，得到训练图像集，包括：
对多个作物病害图像中每个作物病害图像进行平移处理、裁剪处理及旋转处理，得到多个增广图片；
将多个增广图片与多个作物病害图像组成训练图像集。
进一步地，深度学习模型包括：特征提取网络和损失函数；
利用标记图像集对深度学习模型进行训练，得到训练好的深度学习模型，包括：
将标记图像集中标记图像输入特征提取网络，得到预测特征图；
利用预测特征图和标记图像训练损失函数，得到训练好的深度学习模型。
进一步地，特征提取网络包括：多个卷积层和残差模块；
将标记图像集中标记图像输入特征提取网络，得到预测特征图，包括：
将标记图像集中标记图像输入到多个卷积层，得到低维特征；
将低维特征输入到残差模块，得到高维特征；
基于低维特征和高维特征，得到预测特征图。
进一步地，残差模块包括卷积层和自注意力模块；
将低维特征输入到残差模块，得到高维特征，包括：
将低维特征输入到卷积层，得到第一残差提取特征；
将第一残差提取特征输入到自注意力模块，得到第二残差提取特征；
将第一残差提取特征与第二残差提取特征相加后连接一个卷积，并进行信息富集，得到第三残差提取特征；
将第一残差提取特征与第三残差提取特征相加，得到高维特征。
根据本申请实施例的第二方面，提供一种作物病害识别装置，该装置可以包括：
获取模块，用于获取待检测图像，待检测图像中包括作物；
识别模块，用于将待检测图像输入到训练好的深度学习模型中，得到带有病害标记的图像，训练好的深度学习模型为融合自注意力机制的模型。
进一步地，训练好的深度学习模型包括特征提取网络；
识别模块，包括：
特征提取单元，用于将待检测图像输入到特征提取网络，得到病害坐标、病害分类及置信度；
标记单元，用于根据病害坐标、病害分类及置信度标记待检测图像，得到带有病害标记的图像。
进一步地，训练好的深度学习模型是通过下述方法训练得到的：
获取多个作物病害图像；
对多个作物病害图像进行增广处理，得到训练图像集；
对训练图像集中每个图像进行病害标记，得到标记图像集；
利用标记图像集对深度学习模型进行训练，得到训练好的深度学习模型。
进一步地，对多个作物病害图像进行增广处理，得到训练图像集，包括：
对多个作物病害图像中每个作物病害图像进行平移处理、裁剪处理及旋转处理，得到多个增广图片；
将多个增广图片与多个作物病害图像组成训练图像集。
进一步地，深度学习模型包括：特征提取网络和损失函数；
利用标记图像集对深度学习模型进行训练，得到训练好的深度学习模型，包括：
将标记图像集中标记图像输入特征提取网络，得到预测特征图；
利用预测特征图和标记图像训练损失函数，得到训练好的深度学习模型。
进一步地，特征提取网络包括：多个卷积层和残差模块；
将标记图像集中标记图像输入特征提取网络，得到预测特征图，包括：
将标记图像集中标记图像输入到多个卷积层，得到低维特征；
将低维特征输入到残差模块，得到高维特征；
基于低维特征和高维特征，得到预测特征图。
进一步地，残差模块包括卷积层和自注意力模块；
将低维特征输入到残差模块，得到高维特征，包括：
将低维特征输入到卷积层，得到第一残差提取特征；
将第一残差提取特征输入到自注意力模块，得到第二残差提取特征；
将第一残差提取特征与第二残差提取特征相加后连接一个卷积，并进行信息富集，得到第三残差提取特征；
将第一残差提取特征与第三残差提取特征相加，得到高维特征。
根据本申请实施例的第三方面，提供一种电子设备，该电子设备可以包括：
处理器；
用于存储处理器可执行指令的存储器；
其中，处理器被配置为执行指令，以实现如第一方面的任一项实施例中所示的飞行器飞行包线计算方法。
根据本申请实施例的第四方面，提供一种存储介质，当存储介质中的指令由信息处理装置或者服务器的处理器执行时，以使信息处理装置或者服务器实现以实现如第一方面的任一项实施例中所示的飞行器飞行包线计算方法。
本申请的上述技术方案具有如下有益的技术效果：
本申请实施例方法通过获取待检测图像，待检测图像中包括作物，并将待检测图像输入到训练好的深度学习模型中，得到带有病害标记的图像。利用训练好的深度学习模型代替了人工的主观判断，节省了人力，并且识别速度快，通过不断的优化调整准确率可以超过人为主观判断。
附图说明
图1是本申请一示例性实施例的作物病害识别方法流程图；
图2是本申请一具体实施例的作物病害识别方法流程图；
图3是本申请一示例性实施例的作物病害识别网络结构示意图；
图4是本申请一示例性实施例的卷积层结构示意图；
图5是本申请一示例性实施例的残差网络块结构示意图；
图6是本申请一示例性实施例的卷积集结构示意图；
图7是本申请一示例性实施例的电子设备结构示意图；
图8是本申请一示例性实施例的电子设备的硬件结构示意图；
图9是本申请实施例的注意力机制反向传播示意图；
图10是本申请实施例的注意力机制图像表达示意图。
具体实施方式
为使本申请的目的、技术方案和优点更加清楚明了，下面结合具体实施方式并参照附图，对本申请进一步详细说明。应该理解，这些描述只是示例性的，而并非要限制本申请的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本申请的概念。
在附图中示出了根据本申请实施例的层结构示意图。这些图并非是按比例绘制的，其中为了清楚的目的，放大了某些细节，并且可能省略了某些细节。图中所示出的各种区域、层的形状以及它们之间的相对大小、位置关系仅是示例性的，实际中可能由于制造公差或技术限制而有所偏差，并且本领域技术人员根据实际所需可以另外设计具有不同形状、大小、相对位置的区域/层。
显然，所描述的实施例是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
在本申请的描述中，需要说明的是，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
此外，下面所描述的本申请不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
目前，国内大多数农民对农作物病虫害的判别方法停留在传统的实地目测上，通过农作物的外观表面形态等进行判断，多依赖于个人经验。专家对于病虫害识别具有丰富经验，但往往不能及时赶往现场，或者因有限的人力资源不能进行大型区域识别，容易导致误判和漏判。病害的识别由于病害种类的繁多和病害特征小等问题，使得传统的识别方法识别率不高、稳定性差。对此，本申请提供一种作物病害预测方法。
下面结合附图，通过具体的实施例及其应用场景对本申请实施例提供的作物病害预测方法进行详细地说明。
如图1所示，在本申请实施例的第一方面，提供一种作物病害识别方法，该方法可以包括：
S110：获取待检测图像，待检测图像中包括作物；
S120：将待检测图像输入到训练好的深度学习模型中，得到带有病害标记的图像，训练好的深度学习模型为融合自注意力机制的模型，将注意力机制模块用于图像处理，具体为在特征提取网络中加入该模块。
本实施例方法通过获取待检测图像，待检测图像中包括作物，并将待检测图像输入到训练好的深度学习模型中，得到带有病害标记的图像。利用训练好的深度学习模型代替了人工的主观判断，节省了人力，并且识别速度快，通过不断的优化调整准确率可以超过人为主观判断。由于，在残差网络中加入自注意力模块机制，增强特征提取中重要信息的提取，经研究发现自注意力模块在图像处理中对小目标的检测有较好效果，又因为植物病害多为小目标检测，所以在此融合。。
下面对于作物病害预测方法的步骤分别进行说明：
首先是步骤S110，获取待检测图像，待检测图像中包括作物。
本步骤中，待检测图像的尺寸可以是416x416大小，也可以是其他适合尺寸，在此不做限定。
接下来是步骤S120，将待检测图像输入到训练好的深度学习模型中，得到带有病害标记的图像，训练好的深度学习模型为融合自注意力机制的模型。
本步骤中，将待检测图像输入到训练好的深度学习模型中是为了确定作物病害在图片中具体位置，待检测图像输入到训练完成后的病害识别网络中，定位并标记出作物病害的具体位置及种类，位置、种类和置信度都是经过卷积网络后一起输出的，具体的表现都是数字，一个病害的位置用4个数字(中心点坐标+宽高)即刻表示。种类即为n个预测数值中得分最高的一个，最后在用置信度(超过设置的值就人为该区域是病害)输出。本步骤中的训练好的深度学习模型包括特征提取网络，特征提取网络即为图3中的5个框，它由一系列卷积网络构成。模型、网络都由图表示。然后，将待检测图像输入到特征提取网络后会产生三个不同特征图大小的输出，3个输出主要用于对应目标检测中不同大小的物体，所以设置为大、中、小三种尺度，具体为13x13、26x26、52x52大小，这三个输出再经过一系列卷积网络和拼接网络后，产生三个不同特征图尺度输出。输出的内容为{x,y,w,h}，confidence，以及n个类别的分数。其中{x,y,w,h}为标记的中心点坐标和高宽，confidence为置信度分数，置信度分数和位置坐标、类别一起输出。通过{x,y,w,h}即可对病害图片进行标记，再根据n个类别的分数，选取其中分数最高的，即为该病害的病害类别。
本步骤中训练好的深度学习模型是通过下述方法训练得到的：
1.收集各类主要的作物病害图像若干，再通过数据预处理等方式进行数据集的扩充，再将扩充的数据集划分为训练集和验证集。预处理即为旋转、缩放、剪切等图片操作，每张图片最后对于计算机来说都是不同数字矩阵，所以用此类方法既可将现有的图片数据集扩充为原来的几倍。具体扩充视实际训练结果而定。
2.通过标记软件对训练集中的图片进行标记，标记出病害的具体位置。
3.搭建基于yolo算法的卷积神经网络，并在其中加入自注意机制模块，构建作物病害识别模型，随后对模型进行训练。
构造作物病害识别模型包括以下步骤：
1.采用基于darknet53的网络结构作为该模型的特征提取网络。
2.将特征提取网络的最后三层分别作为输出，输出到拼接网络中，与另一个输出进行拼接，拼接操作即为将某个维度相同的矩阵合并，例如3x2，4x2两个矩阵拼接即为7x2，深度学习中卷积操作即为浓缩信息的一个过程，随着网络深度增加，信息虽浓缩但肯定会有遗失。拼接操作即可一定程度上解决该问题。
3.第2步骤中的三个拼接的输出分别经过一个卷积集、一个3x3卷积层和一个2x2卷积进行信息提取，最后再连接一个全连接层，分别输出三个不同特征数量(13x13、26x26、52x52，即最后输出的矩阵的大小)的结果输出。
特征提取网络具体结构如下：
1.第一部分为卷积核大小都为3x3，数量分别为32和64的两个卷积层。
2.第二部分为一个卷积核大小为1x1、数量为32的卷积层和一个卷积核大小为3x3、数量为64的卷积层，最后连接一个加入了自注意力机制的残差模块。该部分重复1次。最后连接一个卷积核大小3x3、步距2、数量为128的卷积层。
3.第三部分为一个卷积核大小为1x1、数量为64的卷积层和一个卷积核大小为3x3、数量为128的卷积层，最后连接一个加入了自注意力机制的残差模块。该部分重复2次。最后连接一个卷积核大小3x3、步距2、数量为256的卷积层。
4.第四部分为一个卷积核大小为1x1、数量为128的卷积层和一个卷积核大小为3x3、数量为256的卷积层，最后连接一个加入了自注意力机制的残差模块。该部分重复8次。最后连接一个卷积核大小3x3、步距2、数量为512的卷积层。
5.第五部分为一个卷积核大小为1x1、数量为256的卷积层和一个卷积核大小为3x3、数量为512的卷积层，最后连接一个加入了自注意力机制的残差模块。该部分重复8次。最后连接一个卷积核大小3x3、步距2、数量为1024的卷积层。
6.第二部分为一个卷积核大小为1x1、数量为512的卷积层和一个卷积核大小为3x3、数量为1024的卷积层，最后连接一个加入了自注意力机制的残差模块。该部分重复4次。
残差模块结构如下：
1.残差模块的输入先输入到1x1大小的卷积层、3x3大小的卷积层。
2.将1步骤的输出作为输入，输入到自注意力模块中。
3.将1，2步骤的输出相加后连接一个1x1卷积进行信息富集。
4.将1的输入和3的输出相加，作为整个残差网络的输出。
本算法训练的损失函数如下：
1.目标置信度损失，网络的输出(目标框坐标、种类、置信度)和真实值会有偏差，定义了损失函数后，网络才能更具这些差值进行反向传播，即训练，目标置信度可以理解为目标矩形框内存在目标的概率，目标置信度损失Lconf(o，c)采用的是二值交叉熵损失，其中oi∈{0，1}，表示预测目标边界框i中是否存在真实目标，0表示不存在，1表示存在。Ci表示预测目标矩形框i内是否存在目标的Sigmod概率。公式如下：
Lconf(o，c)＝-∑(oiln(ci)+(1-oi)ln(1-ci))：
ci＝Sigmod(ci)；
2.目标类别损失Lcla(o，c)同样采用的是二值交叉熵损失，其中oi，j∈{0，1}，表示预测目标边界框i中是否真实存在第j类目标，0表示不存在，1表示存在，cij表示网络预测目标边界框i内存在第j类目标的Sigmoid概率。公式如下：
Figure BDA0003362102190000101
cij＝Sigmod(cij)；
3.目标定位损失Lloc(l，g)，采用的是真实偏差值与预测偏差值差的平方和，其中l表示预测矩形框坐标偏移量，g表示与之匹配的GTbox与默认框之间的坐标偏移量，{bx，by，bw，bh}为预测的目标矩形框参数，{cx，cy，pw，ph}为默认矩形框参数，{gx，gy，gw，gh}为与之匹配的真实目标矩形框参数，这些参数都是映射在预测特征图上的。公式如下：
Figure BDA0003362102190000102
Figure BDA0003362102190000103
Figure BDA0003362102190000104
Figure BDA0003362102190000105
Figure BDA0003362102190000106
在本申请的一些可选实施例中，训练好的深度学习模型包括特征提取网络；
将待检测图像输入到训练好的深度学习模型中，得到带有病害标记的图像，包括：
将待检测图像输入到特征提取网络，得到病害坐标、病害分类及置信度；
根据病害坐标、病害分类及置信度标记待检测图像，得到带有病害标记的图像。
在本申请的一些可选实施例中，训练好的深度学习模型是通过下述方法训练得到的：
获取多个作物病害图像；
对多个作物病害图像进行增广处理，得到训练图像集；
对训练图像集中每个图像进行病害标记，得到标记图像集；
利用标记图像集对深度学习模型进行训练，得到训练好的深度学习模型。
在本申请的一些可选实施例中，对多个作物病害图像进行增广处理，得到训练图像集，包括：
对多个作物病害图像中每个作物病害图像进行平移处理、裁剪处理及旋转处理，得到多个增广图片；
将多个增广图片与多个作物病害图像组成训练图像集。
在本申请的一些可选实施例中，深度学习模型包括：特征提取网络和损失函数；
利用标记图像集对深度学习模型进行训练，得到训练好的深度学习模型，包括：
将标记图像集中标记图像输入特征提取网络，得到预测特征图；
利用预测特征图和标记图像训练损失函数，根据损失函数，就可以在标记图像和预测之间产生损失，对此进行反向传播，更新网络中的参数。一次次重复次步骤(迭代)，直到损失值趋于稳定，得到训练好的深度学习模型。
在本申请的一些可选实施例中，特征提取网络包括：多个卷积层和残差模块；
将标记图像集中标记图像输入特征提取网络，得到预测特征图，包括：
将标记图像集中标记图像输入到多个卷积层，得到低维特征；
将低维特征输入到残差模块，得到高维特征，高维为浓缩度高的特征，但信息不全，低维与之相反；
基于低维特征和高维特征，得到预测特征图。
在本申请的一些可选实施例中，残差模块包括卷积层和自注意力模块，自注意力机制在小目标的检测中效果出色；
将低维特征输入到残差模块，得到高维特征，包括：
将低维特征输入到卷积层，得到第一残差提取特征，对应上文所述的大中小三个大小的目标检测；
将第一残差提取特征输入到自注意力模块，得到第二残差提取特征；
将第一残差提取特征与第二残差提取特征相加后连接一个卷积，并进行信息富集，得到第三残差提取特征；
将第一残差提取特征与第三残差提取特征相加，得到高维特征。
如图2所示，在本申请一具体实施例中，提供一种融合自注意力机制的作物病害识别方法，以辣椒为例，包括以下步骤：
1.训练图像的收集与预处理。收集若干病害类别的图像作为训练数据，为满足实际病害识别的需要，所有的训练图像样本均在田间收集。收集图像的焦点集中在病害症状上。再通过平移、裁剪、旋转等数据预处理手段，得到新的图片若干。
2.使用软件对图像中病害位置进行标记。
3.构建融合自注意力机制的辣椒病害识别网络，网络结构如图3所示。网络的Convolutional卷积层如图4所示，并不是单一的卷积，还包括批量归一化层(BN)和LeakyRelu激活函数层。残差网络块的结构如图5所示，使用了自注意力机制作为残差模块的一部分输入。卷积集(ConvolutionalSet)的结构如图6所示。网络具体工作流程如下：
3.1网络将整张416x416的图片作为输入，在经过第一部分的两个卷积层后，得到的特征图大小为64x208x208。
3.2经过第二部分的卷积和残差网络后，特征图大小为128x104x104。其中的残差网络中加入了自注意力模块，能够有效提升所提取的信息中重要模块所占的比重。
3.3经过第三部分的卷积和残差网络后，特征图大小为256x52x52。这一块的输出不仅是第四部分的卷积的输入，还是后续网络第二个拼接层的输入。
3.4经过第四部分的卷积和残差网络后，特征图大小为512x26x26。这一块的输出不仅是第五部分的卷积的输入，还是后续网络第一个拼接层的输入。
3.5经过最后一部分卷积和残差网络后，输出的特征图大小为1024x13x13。
3.6将3.5步骤的输出输入卷积集进一步提取特征。这是有两条分支，一条在经过一个3x3卷积层和一个1x1卷积后，即连接一个全连接层，进行13x13尺度的预测；另一层则是经过一个1x1卷积层和上采样层后，变成26x26的特征图与3.4步骤的输出进行深度方向上的拼接。
3.7该步骤的流程与3.6类似，一部分做26x26尺度的预测，另一部分与3.3的输出做拼接。
3.8最后一层在经过一个卷积集和3x3卷积层、1x1卷积后，连接全连接层，进行52x52尺度的预测。
3.9根据所设定的损失函数来对网络进行训练。
4.待检测图像的收集。
5.将待测图片输入训练完成的网络，根据特征网络所返回的{x,y,w,h}坐标和n个类别的预测值，在图片上标记处病害的位置和名称。
上述实施例方法通过获取待检测图像，待检测图像中包括辣椒，并将待检测图像输入到训练好的深度学习模型中，得到带有病害标记的图像。利用训练好的深度学习模型代替了人工的主观判断，节省了人力，并且识别速度快，通过不断的优化调整准确率可以超过人为主观判断。由于，在残差网络中加入自注意力模块机制，增强特征提取中重要信息的提取。
需要说明的是，本申请实施例提供的作物病害识别方法，执行主体可以为作物病害识别装置，或者该作物病害识别装置中的用于执行作物病害识别的方法的控制模块。本申请实施例中以作物病害识别装置执行作物病害识别的方法为例，说明本申请实施例提供的作物病害识别的装置。
在本申请实施例的第二方面，提供一种作物病害识别装置，该装置可以包括：
获取模块，用于获取待检测图像，待检测图像中包括作物；
识别模块，用于将待检测图像输入到训练好的深度学习模型中，得到带有病害标记的图像。
上述实施例装置通过获取待检测图像，待检测图像中包括作物，并将待检测图像输入到训练好的深度学习模型中，得到带有病害标记的图像。利用训练好的深度学习模型代替了人工的主观判断，节省了人力，并且识别速度快，通过不断的优化调整准确率可以超过人为主观判断。由于，在残差网络中加入自注意力模块机制，增强特征提取中重要信息的提取。
本申请实施例中的作物病害识别装置可以是装置，也可以是终端中的部件、集成电路、或芯片。该装置可以是移动电子设备，也可以为非移动电子设备。示例性的，移动电子设备可以为手机、平板电脑、笔记本电脑、掌上电脑、车载电子设备、可穿戴设备、超级移动个人计算机(ultra-mobile personal computer，UMPC)、上网本或者个人数字助理(personal digital assistant，PDA)等，非移动电子设备可以为服务器、网络附属存储器(Network Attached Storage，NAS)、个人计算机(personal computer，PC)、电视机(television，TV)、柜员机或者自助机等，本申请实施例不作具体限定。
本申请实施例中的作物病害识别装置可以为具有操作系统的装置。该操作系统可以为安卓(Android)操作系统，可以为ios操作系统，还可以为其他可能的操作系统，本申请实施例不作具体限定。
本申请实施例提供的作物病害识别装置能够实现图1-5的方法实施例实现的各个过程，为避免重复，这里不再赘述。
可选地，如图7所示，本申请实施例还提供一种电子设备700，包括处理器701，存储器702，存储在存储器702上并可在所述处理器701上运行的程序或指令，该程序或指令被处理器701执行时实现上述作物病害识别方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
需要说明的是，本申请实施例中的电子设备包括上述所述的移动电子设备和非移动电子设备。
图8为实现本申请实施例的一种电子设备的硬件结构示意图。
该电子设备800包括但不限于：射频单元801、网络模块802、音频输出单元803、输入单元804、传感器805、显示单元806、用户输入单元807、接口单元808、存储器809、以及处理器810等部件。
本领域技术人员可以理解，电子设备800还可以包括给各个部件供电的电源(比如电池)，电源可以通过电源管理系统与处理器810逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。图8中示出的电子设备结构并不构成对电子设备的限定，电子设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置，在此不再赘述。
应理解的是，本申请实施例中，输入单元804可以包括图形处理器(GraphicsProcessing Unit，GPU)8041和麦克风8042，图形处理器8041对在视频捕获模式或图像捕获模式中由图像捕获装置(如摄像头)获得的静态图片或视频的图像数据进行处理。显示单元806可包括显示面板8061，可以采用液晶显示器、有机发光二极管等形式来配置显示面板8061。用户输入单元807包括触控面板8071以及其他输入设备8072。触控面板8071，也称为触摸屏。触控面板8071可包括触摸检测装置和触摸控制器两个部分。其他输入设备8072可以包括但不限于物理键盘、功能键(比如音量控制按键、开关按键等)、轨迹球、鼠标、操作杆，在此不再赘述。存储器809可用于存储软件程序以及各种数据，包括但不限于应用程序和操作系统。处理器810可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器810中。
本申请实施例还提供一种可读存储介质，所述可读存储介质上存储有程序或指令，该程序或指令被处理器执行时实现上述作物病害识别方法实施例的各个过程，且能达到相同的技术效果，为避免重复，这里不再赘述。
其中，所述处理器为上述实施例中所述的电子设备中的处理器。所述可读存储介质，包括计算机可读存储介质，如计算机只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、磁碟或者光盘等。
应理解，本申请实施例提到的芯片还可以称为系统级芯片、系统芯片、芯片系统或片上系统芯片等。
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。此外，需要指出的是，本申请实施方式中的方法和装置的范围不限按示出或讨论的顺序来执行功能，还可包括根据所涉及的功能按基本同时的方式或按相反的顺序来执行功能，例如，可以按不同于所描述的次序来执行所描述的方法，并且还可以添加、省去、或组合各种步骤。另外，参照某些示例所描述的特征可在其他示例中被组合。
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以计算机软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中，包括若干指令用以使得一台终端(可以是手机，计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。
上述实施例中自注意力机制公式表达为：
Figure BDA0003362102190000161
其中，Q，K，V都通过输入x获得，具体为将输入x乘以转置矩阵WQ，WK，WV(这三个举证都通过反向传播获得到)如图9所示，Attention图像表达如图10所示。
上面结合附图对本申请的实施例进行了描述，但是本申请并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本申请的启示下，在不脱离本申请宗旨和权利要求所保护的范围情况下，还可做出很多形式，均属于本申请的保护之内。

Claims (10)

1.一种作物病害识别方法，其特征在于，包括：
获取待检测图像，所述待检测图像中包括作物；
将所述待检测图像输入到训练好的深度学习模型中，得到带有病害标记的图像，所述训练好的深度学习模型为融合自注意力机制的模型。
2.根据权利要求1所述的作物病害识别方法，其特征在于，所述训练好的深度学习模型包括特征提取网络；
所述将所述待检测图像输入到训练好的深度学习模型中，得到带有病害标记的图像，包括：
将所述待检测图像输入到所述特征提取网络，得到病害坐标、病害分类及置信度；
根据所述病害坐标、所述病害分类及所述置信度标记所述待检测图像，得到所述带有病害标记的图像。
3.根据权利要求1所述的作物病害识别方法，其特征在于，所述训练好的深度学习模型是通过下述方法训练得到的：
获取多个作物病害图像；
对所述多个作物病害图像进行增广处理，得到训练图像集；
对所述训练图像集中每个图像进行病害标记，得到标记图像集；
利用所述标记图像集对深度学习模型进行训练，得到所述训练好的深度学习模型。
4.根据权利要求3所述的作物病害识别方法，其特征在于，所述对所述多个作物病害图像进行增广处理，得到训练图像集，包括：
对所述多个作物病害图像中每个作物病害图像进行平移处理、裁剪处理及旋转处理，得到多个增广图片；
将所述多个增广图片与所述多个作物病害图像组成所述训练图像集。
5.根据权利要求1所述的作物病害识别方法，其特征在于，所述深度学习模型包括：特征提取网络和损失函数；
所述利用所述标记图像集对深度学习模型进行训练，得到所述训练好的深度学习模型，包括：
将所述标记图像集中标记图像输入特征提取网络，得到预测特征图；
利用所述预测特征图和所述标记图像训练所述损失函数，得到所述训练好的深度学习模型。
6.根据权利要求5所述的作物病害识别方法，其特征在于，所述特征提取网络包括：多个卷积层和残差模块；
所述将所述标记图像集中标记图像输入特征提取网络，得到预测特征图，包括：
将所述标记图像集中标记图像输入到所述多个卷积层，得到低维特征；
将所述低维特征输入到所述残差模块，得到高维特征；
基于所述低维特征和所述高维特征，得到预测特征图。
7.根据权利要求6所述的作物病害识别方法，其特征在于，所述残差模块包括卷积层和自注意力模块；
所述将所述低维特征输入到所述残差模块，得到高维特征，包括：
将所述低维特征输入到卷积层，得到第一残差提取特征；
将所述第一残差提取特征输入到自注意力模块，得到第二残差提取特征；
将所述第一残差提取特征与所述第二残差提取特征相加后连接一个卷积，并进行信息富集，得到第三残差提取特征；
将所述第一残差提取特征与所述第三残差提取特征相加，得到所述高维特征。
8.一种作物病害识别装置，其特征在于，包括：
获取模块，用于获取待检测图像，所述待检测图像中包括作物；
识别模块，用于将所述待检测图像输入到训练好的深度学习模型中，得到带有病害标记的图像，所述训练好的深度学习模型为融合自注意力机制的模型。
9.一种电子设备，其特征在于，包括：处理器，存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1-7任一项所述的作物病害识别方法的步骤。
10.一种可读存储介质，其特征在于，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如权利要求1-7任一项所述的作物病害识别方法的步骤。
CN202111370957.1A 2021-09-13 2021-11-18 作物病害识别方法、装置、电子设备及存储介质 Pending CN113902735A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202111070315.XA CN113744258A (zh) 2021-09-13 2021-09-13 辣椒病害识别方法、装置、电子设备及存储介质
CN202111070315X 2021-09-13

Publications (1)

Publication Number Publication Date
CN113902735A true CN113902735A (zh) 2022-01-07

Family

ID=78738519

Family Applications (2)

Application Number Title Priority Date Filing Date
CN202111070315.XA Pending CN113744258A (zh) 2021-09-13 2021-09-13 辣椒病害识别方法、装置、电子设备及存储介质
CN202111370957.1A Pending CN113902735A (zh) 2021-09-13 2021-11-18 作物病害识别方法、装置、电子设备及存储介质

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN202111070315.XA Pending CN113744258A (zh) 2021-09-13 2021-09-13 辣椒病害识别方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (2) CN113744258A (zh)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110502987A (zh) * 2019-07-12 2019-11-26 山东农业大学 一种基于深度学习的植物病虫害识别方法及系统
CN111080620A (zh) * 2019-12-13 2020-04-28 中远海运科技股份有限公司 一种基于深度学习的道路病害检测方法
CN111274954A (zh) * 2020-01-20 2020-06-12 河北工业大学 基于改进姿态估计算法的嵌入式平台实时跌倒检测方法
CN111914914A (zh) * 2020-07-21 2020-11-10 上海理想信息产业（集团）有限公司 一种病虫害的识别方法、装置、设备和存储介质
CN112508014A (zh) * 2020-12-04 2021-03-16 东南大学 一种基于注意力机制的改进YOLOv3目标检测方法
CN112699941A (zh) * 2020-12-31 2021-04-23 浙江科技学院 植物病害严重程度图像分类方法、装置、计算机设备和存储介质

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110502987A (zh) * 2019-07-12 2019-11-26 山东农业大学 一种基于深度学习的植物病虫害识别方法及系统
CN111080620A (zh) * 2019-12-13 2020-04-28 中远海运科技股份有限公司 一种基于深度学习的道路病害检测方法
CN111274954A (zh) * 2020-01-20 2020-06-12 河北工业大学 基于改进姿态估计算法的嵌入式平台实时跌倒检测方法
CN111914914A (zh) * 2020-07-21 2020-11-10 上海理想信息产业（集团）有限公司 一种病虫害的识别方法、装置、设备和存储介质
CN112508014A (zh) * 2020-12-04 2021-03-16 东南大学 一种基于注意力机制的改进YOLOv3目标检测方法
CN112699941A (zh) * 2020-12-31 2021-04-23 浙江科技学院 植物病害严重程度图像分类方法、装置、计算机设备和存储介质

Also Published As

Publication number Publication date
CN113744258A (zh) 2021-12-03

Similar Documents

Publication Publication Date Title
Liu et al. Tomato diseases and pests detection based on improved Yolo V3 convolutional neural network
WO2021147300A1 (zh) 一种多源异构农田大数据产量预测方法、系统与装置
Peng et al. Weed detection in paddy field using an improved RetinaNet network
Alibabaei et al. A review of the challenges of using deep learning algorithms to support decision-making in agricultural activities
CN112084977B (zh) 一种融合图像和时间特征的苹果物候期自动识别方法
Zhang et al. Rapeseed stand count estimation at leaf development stages with UAV imagery and convolutional neural networks
US20220076068A1 (en) Method for constructing a convolution neural network based on farmland images, electronic device using the same
Ma et al. YOLOv5-lotus an efficient object detection method for lotus seedpod in a natural environment
Kumar et al. An identification of crop disease using image segmentation
CN114898359B (zh) 一种基于改进EfficientDet的荔枝病虫害检测方法
Haichen et al. Weeds and crops classification using deep convolutional neural network
Lu et al. Citrus green fruit detection via improved feature network extraction
CN114596274A (zh) 基于改进Cascade RCNN网络的自然背景柑橘黄龙病检测方法
Jia et al. Dough‐Stage Maize (Zea mays L.) Ear Recognition Based on Multiscale Hierarchical Features and Multifeature Fusion
CN110555343B (zh) 典型资源要素中林、灌、草三要素提取方法和系统
Zhou et al. Detection of Residual Film on the Field Surface Based on Faster R-CNN Multiscale Feature Fusion
CN113902735A (zh) 作物病害识别方法、装置、电子设备及存储介质
Jin et al. An improved mask r-cnn method for weed segmentation
CN115631462A (zh) 基于am-yolox的草莓病虫害检测方法及系统
CN114972264A (zh) 一种基于MS-PLNet模型绿豆叶斑病识别方法及装置
CN115294467A (zh) 茶叶病害的检测方法及相关装置
Wei et al. Small sample and efficient crop pest recognition method based on transfer learning and data transformation
CN116342919A (zh) 基于注意力和门控机制的水稻病害识别方法
Yu et al. An image-based automatic recognition method for the flowering stage of maize
Huang et al. Recognition and counting of pitaya trees in karst mountain environment based on unmanned aerial vehicle RGB images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication
RJ01 Rejection of invention patent application after publication

Application publication date: 20220107