CN109002853B - 农作物种类与病虫害类型的联合识别方法及装置 - Google Patents

农作物种类与病虫害类型的联合识别方法及装置 Download PDF

Info

Publication number
CN109002853B
CN109002853B CN201810788917.0A CN201810788917A CN109002853B CN 109002853 B CN109002853 B CN 109002853B CN 201810788917 A CN201810788917 A CN 201810788917A CN 109002853 B CN109002853 B CN 109002853B
Authority
CN
China
Prior art keywords
crop
pest
evaluation value
type
pest type
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201810788917.0A
Other languages
English (en)
Other versions
CN109002853A (zh
Inventor
张长水
李易阳
陆江
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ningxia Zhiqi Lianshan Technology Co ltd
Original Assignee
Ningxia Zhiqi Lianshan Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ningxia Zhiqi Lianshan Technology Co ltd filed Critical Ningxia Zhiqi Lianshan Technology Co ltd
Priority to CN201810788917.0A priority Critical patent/CN109002853B/zh
Publication of CN109002853A publication Critical patent/CN109002853A/zh
Application granted granted Critical
Publication of CN109002853B publication Critical patent/CN109002853B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2415—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on parametric or probabilistic models, e.g. based on likelihood ratio or false acceptance rate versus a false rejection rate
    • G06F18/24155—Bayesian classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Biophysics (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Catching Or Destruction (AREA)

Abstract

本发明提供了一种农作物种类与病虫害类型的联合识别方法及装置，所述方法将病虫害类型特征图通过预设的多示例学习融合模型进行运算来获第一病虫害类型评估值，根据预设的训练集和第一病虫害类型评估值获得农作物种类贝叶斯概率值。之后将农作物种类特征图通过预设的全连接神经网络模型来获得第一农作物种类评估值，根据预先存储的训练集和第一农作物种类评估值获得病虫害类型贝叶斯概率值。根据第一病虫害类型评估值和病虫害类型贝叶斯概率值获得第二病虫害类型评估值，再根据第一农作物种类评估值和农作物种类贝叶斯概率值获得第二农作物种类评估值。在实现了对农作物种类以及病虫害类型的高准确率识别的同时大大减少了对训练数据的需求。

Description

农作物种类与病虫害类型的联合识别方法及装置
技术领域
本发明涉及病虫害防治技术领域，具体而言，涉及一种农作物种类与病虫害类型的联合识别方法及装置。
背景技术
农作物病虫害作为主要的农业灾害之一，严重影响了农业生产活动有效进行。对农作物的病虫害进行识别是对农作物病虫害的防治有着重要的意义。目前，有不少工作者通过图像识别的技术区队农作物病虫害进行自动识别，但这些技术往往受到了田间的如光照、角度、叶片数量以及背景等多种多样的因素的限制。同时，近年来深度学习的发展使计算机图像识别技术得到了提升，但是收集海量训练数据的过程费时费力而且数据标注过程需要大量的人为操作参与。
发明内容
有鉴于此，本发明实施例提供了一种农作物种类与病虫害类型的联合识别方法及装置。
为了实现上述目的，本发明采用的技术方案如下：
第一方面，本发明实施例提供了一种农作物种类与病虫害类型的联合识别方法，所述方法包括：采用预设的深度全卷积神经网络对待检测的农作物图像进行农作物种类特征提取得到农作物种类特征图和进行病虫害类型特征提取得到病虫害类型特征图；将所述病虫害类型特征图通过预设的多示例学习融合模型进行运算来获第一病虫害类型评估值，根据预设的训练集和所述第一病虫害类型评估值获得农作物种类贝叶斯概率值；将所述农作物种类特征图通过预设的全连接神经网络模型来获得第一农作物种类评估值，根据预先存储的训练集和所述第一农作物种类评估值获得病虫害类型贝叶斯概率值；根据所述第一病虫害类型评估值和所述病虫害类型贝叶斯概率值获得第二病虫害类型评估值，再根据所述第一农作物种类评估值和所述农作物种类贝叶斯概率值获得第二农作物种类评估值。
进一步的，所述采用预设的深度卷积神经网络对待检测的农作物图像进行农作物种类特征提取得到农作物种类特征图和进行病虫害类型特征提取得到病虫害类型特征图，包括：对所述农作物图像进行卷积运算获得农作物特征图；对所述农作物特征图进行大面积池化运算获得所述农作物种类特征图和进行小面积池化运算获得所述病虫害类型特征图。
进一步的，所述根据所述第一病虫害类型评估值和所述病虫害类型贝叶斯概率值获得第二病虫害类型评估值，包括：计算所述第一病虫害类型评估值与所述病虫害类型贝叶斯概率的均值为所述第二病虫害类型评估值。
进一步的，所述再根据所述第一农作物种类评估值和所述农作物种类贝叶斯概率值获得所述第二农作物种类评估值，包括：计算所述第一农作物种类评估值和所述农作物种类贝叶斯概率值的均值为所述第二农作物种类概率。
进一步的，所述预设的深度全卷积神经网络为权值共享的深度全卷积神经网络，所述农作物种类特征提取与所述病虫害类型特征提取权值共享。
第二方面，本发明实施例提供了一种农作物种类与病虫害类型的联合识别装置，所述装置包括：图像特征提取模块、第一运算模块、第二运算模块、第三运算模块；所述图像特征提取模块用于采用预设的深度全卷积神经网络对待检测的农作物图像进行农作物种类特征提取得到农作物种类特征图和进行病虫害类型特征提取得到病虫害类型特征图；所述第一运算模块用于将所述病虫害类型特征图通过预设的多示例学习融合模型进行运算来获第一病虫害类型评估值，并根据预设的训练集和所述第一病虫害类型评估值获得农作物种类贝叶斯概率值；所述第二运算模块，用于将所述农作物种类特征图通过预设的全连接神经网络模型来获得第一农作物种类评估值，并根据预先存储的训练集和所述第一农作物种类评估值获得病虫害类型贝叶斯概率值；所述第三运算模块，用于根据所述第一病虫害类型评估值和所述病虫害类型贝叶斯概率值获得第二病虫害类型评估值，并根据所述第一农作物种类评估值和所述农作物种类贝叶斯概率值获得第二农作物种类评估值。
进一步的，图像特征提取模块包括：卷积单元、第一池化单元和第二池化单元；所述卷积单元，用于对所述农作物图像进行卷积运算获得农作物特征图；所述第一池化单元，用于对所述农作物特征图进行大面积池化运算获得所述农作物种类特征图；所述第二池化单元，用于对所述农作物特征图进行小面积池化运算获得所述病虫害类型特征图。
进一步的，所述第一运算模块，包括：第一计算单元和第一贝叶斯推断单元；所述第一计算单元，用于将所述病虫害类型特征图通过预设的多示例学习融合模型进行运算来获第一病虫害类型评估值；所述第一贝叶斯推断单元，用于根据预设的训练集和所述第一病虫害类型评估值获得农作物种类贝叶斯概率值。
进一步的，所述第二运算模块，包括：第二计算单元和第二贝叶斯推断单元；所述第二计算单元，用于将所述农作物种类特征图通过预设的全连接神经网络模型来获得第一农作物种类评估值；所述第一贝叶斯推断单元，用于根据预先存储的训练集和所述第一农作物种类评估值获得病虫害类型贝叶斯概率值。
进一步的，所述第三运算模块，包括：第一均值运算单元和第二均值运算单元；所述第一均值运算单元，用于根据所述第一病虫害类型评估值和所述病虫害类型贝叶斯概率值获得第二病虫害类型评估值，所述第二病虫害类型评估值为所述第一病虫害类型评估值与所述病虫害类型贝叶斯概率的均值；所述第二均值运算单元，用于根据所述第一农作物种类评估值和所述农作物种类贝叶斯概率值获得所述第二农作物种类评估值，所述第二农作物种类评估值为所述第一农作物种类评估值和所述农作物种类贝叶斯概率值的均值。
本发明实施例的有益效果是：
本发明实施例提供了一种农作物种类与病虫害类型的联合识别方法及装置，所述方法将所述病虫害类型特征图通过预设的多示例学习融合模型进行运算来获第一病虫害类型评估值，根据预设的训练集和所述第一病虫害类型评估值获得农作物种类贝叶斯概率值。之后将所述农作物种类特征图通过预设的全连接神经网络模型来获得第一农作物种类评估值，根据预先存储的训练集和所述第一农作物种类评估值获得病虫害类型贝叶斯概率值。根据所述第一病虫害类型评估值和所述病虫害类型贝叶斯概率值获得第二病虫害类型评估值，再根据所述第一农作物种类评估值和所述农作物种类贝叶斯概率值获得第二农作物种类评估值。
通过由所述全连接神经网络模型得到所述第一病虫害评估值与由贝叶斯推断得到的所述病虫害类型贝叶斯概率值的均值计算得到所述第二病虫害类型评估值，以及通过由所述多示例学习融合模型得到的所述第一农作物种类评估值与由贝叶斯推断得到的所述农作物种类贝叶斯概率值的均值计算得到所述第二农作物种类评估值，在实现了对农作物种类以及病虫害类型的高准确率识别的同时大大减少了对训练数据的需求。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1示出了本发明实施例提供的一种识别系统的方框示意图；
图2示出了本发明实施例提供的一种农作物种类与病虫害类型的联合识别方法的流程图；
图3示出了本发明实施例提供的一种农作物种类与病虫害类型的联合识别装置的方框示意图；
图4示出了本发明实施例提供的一种农作物种类与病虫害类型的联合识别装置的图像特征提取模块的方框示意图；
图5示出了本发明实施例提供的一种农作物种类与病虫害类型的联合识别装置的第一运算模块的方框示意图；
图6示出了本发明实施例提供的一种农作物种类与病虫害类型的联合识别装置的第二运算模块的方框示意图；
图7示出了本发明实施例提供的一种农作物种类与病虫害类型的联合识别装置的第三运算模块的方框示意图。
具体实施方式
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。同时，在本发明的描述中，术语“第一”、“第二”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
第一实施例
请参阅图1，本发明第一实施例示出了一种识别系统10。所述识别系统10包括：联合识别装置100、待识别农作物图像11和供电设备12。
所述联合识别装置100与所述供电设备12连接，所述供电设备12为所述联合识别装置100提供正常工作时所需的电能。所述待识别农作物图像11输入所述联合识别装置100，所述联合识别装置100根据所述待识别农作图像11获得对应的农作物种类和病虫害类型的概率评估值。
第二实施例
请参阅图2，本发明实施例提供了一种农作物种类与病虫害类型的联合识别方法。所述方法步骤包括：步骤S100、步骤S200、步骤S300和步骤S400。
步骤S100：采用预设的深度全卷积神经网络对待检测的农作物图像进行农作物种类特征提取得到农作物种类特征图和进行病虫害类型特征提取得到病虫害类型特征图。
其中，所述步骤S100包括：
1.对所述农作物图像进行卷积运算获得农作物特征图；
2.对所述农作物特征图进行大面积池化运算获得所述农作物种类特征图和进行小面积池化运算获得所述病虫害类型特征图。
所述深度全卷积神经网络作为图像特征提取器，深度卷积神经网络一般由卷积层、池化层、全连接层构成，它的输入是一幅图片，输出是这张图片在类别上的概率评估向量。而深度全卷积网络则对全连接层参数进行了卷积形式的变形，将输出一组具有空间二维形式的概率评估，每一个空间位置向量对应的是原图中某一个区域在类别上的概率评估。这样并没有增加网络模型的参数量，但却对图像有了更细粒度的评估，能够评估到图像中某一个子区域的特征，这有利于病虫害特征的提取。对于农作物整体特征而言，这种方法也并没有损失任何整体信息，经过后续大面积池化能过滤掉冗余的细节信息。
对于所述病虫害类型特征提取，对所述农作物特征图小面积池化运算，小面积降采样操作。可选的，本方案可采用2*2的均值池化来实现小面积的降采样，从而生成病虫害类型特征图。同时利用均值池化以可能多地保持空间中的子区域病害相关信息。对于农作物种类识别，对所述农作物特征图进行大面积池化运算，即大面积降采样操作。可选的，方案采用5*5的最大值池化来实现大面积的降采样，从而生成所述农作物种类特征图。同时，利用最大值池化以尽可能地将农作物突出的整体特征筛选出来，如叶片典型颜色、纹理等，为农作物分类提供更有区分度的特征。
其中，所述预设的深度全卷积神经网络为权值共享的深度全卷积神经网络，所述农作物种类特征提取与所述病虫害类型特征提取权值共享。
步骤S200：将所述病虫害类型特征图通过预设的多示例学习融合模型进行运算来获第一病虫害类型评估值，根据预设的训练集和所述第一病虫害类型评估值获得农作物种类贝叶斯概率值；
步骤S300：将所述农作物种类特征图通过预设的全连接神经网络模型来获得第一农作物种类评估值，根据预先存储的训练集和所述第一农作物种类评估值获得病虫害类型贝叶斯概率值；
步骤S400：根据所述第一病虫害类型评估值和所述病虫害类型贝叶斯概率值获得第二病虫害类型评估值，再根据所述第一农作物种类评估值和所述农作物种类贝叶斯概率值获得第二农作物种类评估值。
其中，所述步骤S200与步骤S300可交换执行顺序，本实施例不做具体限制。
在步骤S200的所述通过预设的多示例学习融合模型进行运算来获第一病虫害类型评估值中，所述深度全卷积神经网络的最后一层非线性激活函数采用sigmoid函数。
具体运算过程的解释如下：
假设共有C种不同的病虫害，对于一幅农作物图像Bk，令其病虫害类型特征图的高和宽分别是hk和wk，特征图第c个通道上的空间点(i,j)的sigmoid输出值为
Figure BDA0001734348360000091
即原图局部区域Bk-ij含有病虫害c的概率，其中i＝{1,…,hk},j＝{1,…,wk},c∈{1,…,C}。
在多示例学习框架下，可有以下几种融合方式来获得农作物图像Bk具有病虫害c的概率评估
Figure BDA0001734348360000092
即第一病虫害类型评估值：
最大值融合Fm：
Figure BDA0001734348360000093
softmax融合Fs：
Figure BDA0001734348360000094
平均值融合Fa：
Figure BDA0001734348360000095
其中α是一个常数，它控制着softmax融合与最大值融合的相似程度。所述由上述公式可知，最大值融合是以所有示例中最大的概率评估值作为对整个包的概率评估，平均值融合是利用所有示例的平均概率评估值作为整个对包的概率评估，而softmax融合实际上是综合考虑了所有示例的概率评估值，并最终以加权归一的方式形成对整个包的评价。值得一提的是，每一个图像可以划分出很多的示例，但是对于模型的训练而言仅需要整体图像的标注信息便可以完成。由于复杂背景在大部分图像中均存在，对多示例学习融合得到的概率评估进行监督训练，可以让网络对无关背景的示例的响应接近于0，这使得很多无关背景的示例在这个多示例学习融合框架内被划分成了负样本，这无形之中等价于给所述模型增加了很多的训练数据。因此在多示例学习框架的作用下，本方案对训练数据的需求量可以大大降低。同时，因为那些覆盖了很多复杂无关的拍摄背景的示例被作为负样本而被多示例学习框架过滤掉，这使本方案能够适用于复杂多变的实地田间环境。
在步骤S200的所述根据预设的训练集和所述第一病虫害类型评估值获得农作物种类贝叶斯概率值和步骤S300的所述根据预先存储的训练集和所述第一农作物种类评估值获得病虫害类型贝叶斯概率值中，所述训练集包含了农作物种类与病虫害类型之间的联系，该联系代表着某种农作物患有某种病虫害的几率，或者是某种病虫害在某种农作物上发生的几率。该联系可以从农业病虫害专家那里总结获得，也可以从训练数据中通过计算频次而获得。
具体数学运算可以通过以下方式解释：
假设c∈{1,…,C}表示农作物种类，d∈{1,…,D}表示病虫害种类，p(d|c)表示农作物c患病虫害d的条件概率，p(c|d)表示病虫害d的载体农作物是c的条件概率，p(c|d)和p(d|c)可以通过专家知识或训练数据的频次统计得到。令pn(d)为网络中多实例学习融合框架对病虫害d的概率估计，pn(c)为网络中全连接神经网络对农作物c的概率估计，进而根据贝叶斯定理得到病虫害d的贝叶斯概率估计pb(d)：
Figure BDA0001734348360000101
同理，可得到农作物c的贝叶斯概率估计pb(c)：
Figure BDA0001734348360000102
因此，pb(c)和pb=(d)将做为辅助决策概率参与到最终农作物和病虫害的识别决策过程中。确切地说，判断一幅图片的病虫害类别，系统将综合考虑多示例学习框架输出的pn(d)和贝叶斯推理得到的pb(d)，而得到最终的病虫害类别概率估计，即第二病虫害类型评估值：
Figure BDA0001734348360000111
同理，综合考虑全连接神经网络输出的pn(c)和贝叶斯推理得到的pb(c)，而得到最终的农作物类别概率估计，即第二农作物种类评估值：
Figure BDA0001734348360000112
由此，我们便可根据最大的概率估计值来判断图片的病虫害种类和农作物种类。
总而言之，本方案中，首先利用深度全卷积神经网络对实地田间图像进行特征提取，然后通过不同尺度的降采样操作获得病虫害特征图和农作物特征图。在病虫害特征图上进行多示例学习融合，从而得到病虫害类别的概率估计，在农作物特征图上利用全连接神经网络进行分类，从而得到农作物的概率估计。最后结合农作物和病虫害相互联系的先验知识，加以贝叶斯概率推断，对最终的农作物类别和病虫害类别判断进行辅助决策。此方案的多示例学习框架有效地克服复杂背景带来的干扰和影响，并减少了模型对于训练样本数据量的需求，同时，多作物多病害的双标签训练样本组合形式，在一定程度少也减少了模型在实现农作物单识别任务或病虫害单识别任务时的样本量需求。
第三实施例
本发明第二实施例提供了一种农作物种类与病虫害类型的联合识别装置，请参见图3、图4、图5、图6和图7，所述联合识别装置100包括：图像特征提取模块110、第一运算模块120、第二运算模块130和第三运算模块140。所述图像特征提取模块110用于采用预设的深度全卷积神经网络对待检测的农作物图像进行农作物种类特征提取得到农作物种类特征图和进行病虫害类型特征提取得到病虫害类型特征图；所述第一运算模块120用于将所述病虫害类型特征图通过预设的多示例学习融合模型进行运算来获第一病虫害类型评估值，并根据预设的训练集和所述第一病虫害类型评估值获得农作物种类贝叶斯概率值；所述第二运算模块130，用于将所述农作物种类特征图通过预设的全连接神经网络模型来获得第一农作物种类评估值，并根据预先存储的训练集和所述第一农作物种类评估值获得病虫害类型贝叶斯概率值；所述第三运算模块140，用于根据所述第一病虫害类型评估值和所述病虫害类型贝叶斯概率值获得第二病虫害类型评估值，并根据所述第一农作物种类评估值和所述农作物种类贝叶斯概率值获得第二农作物种类评估值。
图像特征提取模块110包括：卷积单元111、第一池化单元112和第二池化单元113；所述卷积单元111，用于对所述农作物图像进行卷积运算获得农作物特征图；所述第一池化单元112，用于对所述农作物特征图进行大面积池化运算获得所述农作物种类特征图；所述第二池化单元113，用于对所述农作物特征图进行小面积池化运算获得所述病虫害类型特征图。
所述第一运算模块120，包括：第一计算单元121和第一贝叶斯推断单元122；所述第一计算单元121，用于将所述病虫害类型特征图通过预设的多示例学习融合模型进行运算来获第一病虫害类型评估值；所述第一贝叶斯推断单元122，用于根据预设的训练集和所述第一病虫害类型评估值获得农作物种类贝叶斯概率值。
所述第二运算模块130，包括：第二计算单元131和第二贝叶斯推断单元132；所述第二计算单元131，用于将所述农作物种类特征图通过预设的全连接神经网络模型来获得第一农作物种类评估值；所述第一贝叶斯推断单元132，用于根据预先存储的训练集和所述第一农作物种类评估值获得病虫害类型贝叶斯概率值。
所述第三运算模块140，包括：第一均值运算单元141和第二均值运算单元142；所述第一均值运算单元141，用于根据所述第一病虫害类型评估值和所述病虫害类型贝叶斯概率值获得第二病虫害类型评估值，所述第二病虫害类型评估值为所述第一病虫害类型评估值与所述病虫害类型贝叶斯概率的均值；所述第二均值运算单元142，用于根据所述第一农作物种类评估值和所述农作物种类贝叶斯概率值获得所述第二农作物种类评估值，所述第二农作物种类评估值为所述第一农作物种类评估值和所述农作物种类贝叶斯概率值的均值。
需要说明的是，本发明第三实施例提供的所述联合识别装置100为本发明第二实施例提供的所述联合识别方法对应的装置，其他具体内容可以参见本发明第一实施例提供的病虫害类型识别方法，在此不再一一赘述。
综上所述：本发明实施例提供了一种农作物种类与病虫害类型的联合识别方法及装置，所述方法将所述病虫害类型特征图通过预设的多示例学习融合模型进行运算来获第一病虫害类型评估值，根据预设的训练集和所述第一病虫害类型评估值获得农作物种类贝叶斯概率值。之后将所述农作物种类特征图通过预设的全连接神经网络模型来获得第一农作物种类评估值，根据预先存储的训练集和所述第一农作物种类评估值获得病虫害类型贝叶斯概率值。根据所述第一病虫害类型评估值和所述病虫害类型贝叶斯概率值获得第二病虫害类型评估值，再根据所述第一农作物种类评估值和所述农作物种类贝叶斯概率值获得第二农作物种类评估值。
通过由所述全连接神经网络模型得到所述第一病虫害评估值与由贝叶斯推断得到的所述病虫害类型贝叶斯概率值的均值计算得到所述第二病虫害类型评估值，以及通过由所述多示例学习融合模型得到的所述第一农作物种类评估值与由贝叶斯推断得到的所述农作物种类贝叶斯概率值的均值计算得到所述第二农作物种类评估值，在实现了对农作物种类以及病虫害类型的高准确率识别的同时大大减少了对训练数据的需求。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于装置类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本发明各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。

Claims (10)

1.一种农作物种类与病虫害类型的联合识别方法，其特征在于，所述方法包括：
采用预设的深度全卷积神经网络对待检测的农作物图像进行农作物种类特征提取得到农作物种类特征图和进行病虫害类型特征提取得到病虫害类型特征图；
将所述病虫害类型特征图通过预设的多示例学习融合模型进行运算来获第一病虫害类型评估值，根据预设的训练集和所述第一病虫害类型评估值获得农作物种类贝叶斯概率值；
将所述农作物种类特征图通过预设的全连接神经网络模型来获得第一农作物种类评估值，根据预先存储的训练集和所述第一农作物种类评估值获得病虫害类型贝叶斯概率值；
根据所述第一病虫害类型评估值和所述病虫害类型贝叶斯概率值获得第二病虫害类型评估值，再根据所述第一农作物种类评估值和所述农作物种类贝叶斯概率值获得第二农作物种类评估值。
2.根据权利要求1所述的一种农作物种类与病虫害类型的联合识别方法，其特征在于，所述采用预设的深度卷积神经网络对待检测的农作物图像进行农作物种类特征提取得到农作物种类特征图和进行病虫害类型特征提取得到病虫害类型特征图，包括：
对所述农作物图像进行卷积运算获得农作物特征图；
对所述农作物特征图进行最大池化运算获得所述农作物种类特征图和进行均值池化运算获得所述病虫害类型特征图。
3.根据权利要求2所述的一种农作物种类与病虫害类型的联合识别方法，其特征在于，所述根据所述第一病虫害类型评估值和所述病虫害类型贝叶斯概率值获得第二病虫害类型评估值，包括：
计算所述第一病虫害类型评估值与所述病虫害类型贝叶斯概率的均值为所述第二病虫害类型评估值。
4.根据权利要求3所述的一种农作物种类与病虫害类型的联合识别方法，其特征在于，所述再根据所述第一农作物种类评估值和所述农作物种类贝叶斯概率值获得所述第二农作物种类评估值，包括：
计算所述第一农作物种类评估值和所述农作物种类贝叶斯概率值的均值为所述第二农作物种类概率。
5.根据权利要求4所述的一种农作物种类与病虫害类型的联合识别方法，其特征在于，所述预设的深度全卷积神经网络为权值共享的深度全卷积神经网络，所述农作物种类特征提取与所述病虫害类型特征提取权值共享。
6.一种农作物种类与病虫害类型的联合识别装置，其特征在于，所述装置包括：图像特征提取模块、第一运算模块、第二运算模块、第三运算模块；
所述图像特征提取模块用于采用预设的深度全卷积神经网络对待检测的农作物图像进行农作物种类特征提取得到农作物种类特征图和进行病虫害类型特征提取得到病虫害类型特征图；
所述第一运算模块用于将所述病虫害类型特征图通过预设的多示例学习融合模型进行运算来获第一病虫害类型评估值，并根据预设的训练集和所述第一病虫害类型评估值获得农作物种类贝叶斯概率值；
所述第二运算模块，用于将所述农作物种类特征图通过预设的全连接神经网络模型来获得第一农作物种类评估值，并根据预先存储的训练集和所述第一农作物种类评估值获得病虫害类型贝叶斯概率值；
所述第三运算模块，用于根据所述第一病虫害类型评估值和所述病虫害类型贝叶斯概率值获得第二病虫害类型评估值，并根据所述第一农作物种类评估值和所述农作物种类贝叶斯概率值获得第二农作物种类评估值。
7.根据权利要求6所述的一种农作物种类与病虫害类型的联合识别装置，其特征在于，图像特征提取模块包括：卷积单元、第一池化单元和第二池化单元；
所述卷积单元，用于对所述农作物图像进行卷积运算获得农作物特征图；
所述第一池化单元，用于对所述农作物特征图进行最大池化运算获得所述农作物种类特征图；
所述第二池化单元，用于对所述农作物特征图进行均值池化运算获得所述病虫害类型特征图。
8.根据权利要求7所述的一种农作物种类与病虫害类型的联合识别装置，其特征在于，所述第一运算模块，包括：第一计算单元和第一贝叶斯推断单元；
所述第一计算单元，用于将所述病虫害类型特征图通过预设的多示例学习融合模型进行运算来获第一病虫害类型评估值；
所述第一贝叶斯推断单元，用于根据预设的训练集和所述第一病虫害类型评估值获得农作物种类贝叶斯概率值。
9.根据权利要求8所述的一种农作物种类与病虫害类型的联合识别装置，其特征在于，所述第二运算模块，包括：第二计算单元和第二贝叶斯推断单元；
所述第二计算单元，用于将所述农作物种类特征图通过预设的全连接神经网络模型来获得第一农作物种类评估值；
所述第一贝叶斯推断单元，用于根据预先存储的训练集和所述第一农作物种类评估值获得病虫害类型贝叶斯概率值。
10.根据权利要求9所述的一种农作物种类与病虫害类型的联合识别装置，其特征在于，所述第三运算模块，包括：第一均值运算单元和第二均值运算单元；
所述第一均值运算单元，用于根据所述第一病虫害类型评估值和所述病虫害类型贝叶斯概率值获得第二病虫害类型评估值，所述第二病虫害类型评估值为所述第一病虫害类型评估值与所述病虫害类型贝叶斯概率的均值；
所述第二均值运算单元，用于根据所述第一农作物种类评估值和所述农作物种类贝叶斯概率值获得所述第二农作物种类评估值，所述第二农作物种类评估值为所述第一农作物种类评估值和所述农作物种类贝叶斯概率值的均值。
CN201810788917.0A 2018-07-18 2018-07-18 农作物种类与病虫害类型的联合识别方法及装置 Active CN109002853B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201810788917.0A CN109002853B (zh) 2018-07-18 2018-07-18 农作物种类与病虫害类型的联合识别方法及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201810788917.0A CN109002853B (zh) 2018-07-18 2018-07-18 农作物种类与病虫害类型的联合识别方法及装置

Publications (2)

Publication Number Publication Date
CN109002853A CN109002853A (zh) 2018-12-14
CN109002853B true CN109002853B (zh) 2021-10-01

Family

ID=64599565

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201810788917.0A Active CN109002853B (zh) 2018-07-18 2018-07-18 农作物种类与病虫害类型的联合识别方法及装置

Country Status (1)

Country Link
CN (1) CN109002853B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109726700B (zh) * 2019-01-07 2021-06-11 武汉爱农云联科技有限公司 一种基于多特征的虫害识别预警方法和装置
CN110139067B (zh) * 2019-03-28 2020-12-25 北京林业大学 一种野生动物监测数据管理信息系统
JP2021112136A (ja) * 2020-01-16 2021-08-05 横河電機株式会社 支援システム、及び支援方法

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105787446A (zh) * 2016-02-24 2016-07-20 上海劲牛信息技术有限公司 一种智慧农业病虫害远程自动诊断系统
CN106956778A (zh) * 2017-05-23 2017-07-18 广东容祺智能科技有限公司 一种无人机农药喷洒方法及系统
CN107067043A (zh) * 2017-05-25 2017-08-18 哈尔滨工业大学 一种农作物病虫害检测方法
CN107346434A (zh) * 2017-05-03 2017-11-14 上海大学 一种基于多特征及支持向量机的植物病虫害检测方法
CN107392091A (zh) * 2017-06-09 2017-11-24 河北威远生物化工有限公司 一种农业人工智能作物检测方法、移动终端和计算机可读介质
CN107798356A (zh) * 2017-11-24 2018-03-13 郑州大学西亚斯国际学院 基于深度卷积神经网络的作物叶片病害识别方法
WO2018048741A1 (en) * 2016-09-08 2018-03-15 Wal-Mart Stores, Inc. Systems and methods for identifying pests in crop-containing areas via unmanned vehicles based on crop damage detection
CN107992828A (zh) * 2017-12-05 2018-05-04 深圳春沐源控股有限公司 病害防治方法及装置、电子设备和计算机可读存储介质
CN107992880A (zh) * 2017-11-13 2018-05-04 山东斯博科特电气技术有限公司 一种电力变压器最优集总分类故障诊断方法
CN108229413A (zh) * 2018-01-16 2018-06-29 宁夏智启连山科技有限公司 病虫害类型识别方法及装置
CN108256568A (zh) * 2018-01-12 2018-07-06 宁夏智启连山科技有限公司 一种植物种类识别方法以及装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10068354B2 (en) * 2014-01-02 2018-09-04 Deere & Company Obtaining and displaying agricultural data

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105787446A (zh) * 2016-02-24 2016-07-20 上海劲牛信息技术有限公司 一种智慧农业病虫害远程自动诊断系统
WO2018048741A1 (en) * 2016-09-08 2018-03-15 Wal-Mart Stores, Inc. Systems and methods for identifying pests in crop-containing areas via unmanned vehicles based on crop damage detection
CN107346434A (zh) * 2017-05-03 2017-11-14 上海大学 一种基于多特征及支持向量机的植物病虫害检测方法
CN106956778A (zh) * 2017-05-23 2017-07-18 广东容祺智能科技有限公司 一种无人机农药喷洒方法及系统
CN107067043A (zh) * 2017-05-25 2017-08-18 哈尔滨工业大学 一种农作物病虫害检测方法
CN107392091A (zh) * 2017-06-09 2017-11-24 河北威远生物化工有限公司 一种农业人工智能作物检测方法、移动终端和计算机可读介质
CN107992880A (zh) * 2017-11-13 2018-05-04 山东斯博科特电气技术有限公司 一种电力变压器最优集总分类故障诊断方法
CN107798356A (zh) * 2017-11-24 2018-03-13 郑州大学西亚斯国际学院 基于深度卷积神经网络的作物叶片病害识别方法
CN107992828A (zh) * 2017-12-05 2018-05-04 深圳春沐源控股有限公司 病害防治方法及装置、电子设备和计算机可读存储介质
CN108256568A (zh) * 2018-01-12 2018-07-06 宁夏智启连山科技有限公司 一种植物种类识别方法以及装置
CN108229413A (zh) * 2018-01-16 2018-06-29 宁夏智启连山科技有限公司 病虫害类型识别方法及装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Vision-based pest detection based on SVM classification method;M.A.Ebrahimi等;《Computers and Electronics in Agriculture》;20170402;第52-58页 *
基于多分类器选择集成的农作物叶部病害识别研究;陈红波;《中国优秀硕士学位论文全文数据库信息科技辑》;20160615;第I138-1239页 *
基于机器学习的作物病害图像处理及病变识别方法研究;谭文学;《中国博士学位论文全文数据库信息科技辑》;20170215;第I138-173页 *

Also Published As

Publication number Publication date
CN109002853A (zh) 2018-12-14

Similar Documents

Publication Publication Date Title
Dhillon et al. Convolutional neural network: a review of models, methodologies and applications to object detection
Ip et al. Big data and machine learning for crop protection
US11003949B2 (en) Neural network-based action detection
JP6853379B2 (ja) 対象人物の検索方法および装置、機器、プログラム製品ならびに媒体
Suresh et al. A sequential multi-category classifier using radial basis function networks
US9977968B2 (en) System and method for relevance estimation in summarization of videos of multi-step activities
Khan et al. Situation recognition using image moments and recurrent neural networks
CN109002853B (zh) 农作物种类与病虫害类型的联合识别方法及装置
CN111079639A (zh) 垃圾图像分类模型构建的方法、装置、设备及存储介质
CN110914836A (zh) 在跨联网计算边缘连续运行应用程序的人工智能和深度学习中实现连续的存储器有界学习的系统和方法
Abdurrazaq et al. Image-based classification of snake species using convolutional neural network
US20130177235A1 (en) Evaluation of Three-Dimensional Scenes Using Two-Dimensional Representations
Herdiyeni et al. Mobile application for Indonesian medicinal plants identification using fuzzy local binary pattern and fuzzy color histogram
Yadav et al. Plant leaf disease detection and classification using particle swarm optimization
WO2022113439A1 (ja) データ解析装置、データ解析方法
Rezk et al. An efficient plant disease recognition system using hybrid convolutional neural networks (cnns) and conditional random fields (crfs) for smart iot applications in agriculture
Chaaraoui et al. Optimizing human action recognition based on a cooperative coevolutionary algorithm
Ramirez-Alonso et al. Temporal weighted learning model for background estimation with an automatic re-initialization stage and adaptive parameters update
JP2010157118A (ja) パターン識別装置及びパターン識別装置の学習方法ならびにコンピュータプログラム
Fung et al. Using deep learning to find victims in unknown cluttered urban search and rescue environments
Dou et al. Background subtraction based on circulant matrix
Tian et al. Genetic algorithm based deep learning model selection for visual data classification
Chikkamath et al. Benchmarking of novel convolutional neural network models for automatic butterfly identification
Zhou et al. Illumination correction of dyed fabrics approach using Bagging-based ensemble particle swarm optimization–extreme learning machine
Ashiquzzaman et al. Context-aware deep convolutional neural network application for fire and smoke detection in virtual environment for surveillance video analysis

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant