CN112465038A - 一种识别果树病虫害种类的方法及系统 - Google Patents
一种识别果树病虫害种类的方法及系统 Download PDFInfo
- Publication number
- CN112465038A CN112465038A CN202011376730.3A CN202011376730A CN112465038A CN 112465038 A CN112465038 A CN 112465038A CN 202011376730 A CN202011376730 A CN 202011376730A CN 112465038 A CN112465038 A CN 112465038A
- Authority
- CN
- China
- Prior art keywords
- image
- recognized
- classification
- images
- determining
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 241000607479 Yersinia pestis Species 0.000 title claims abstract description 125
- 235000013399 edible fruits Nutrition 0.000 title claims abstract description 108
- 201000010099 disease Diseases 0.000 title claims abstract description 87
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 title claims abstract description 87
- 238000000034 method Methods 0.000 title claims abstract description 66
- 241000238631 Hexapoda Species 0.000 title claims abstract description 36
- 238000012545 processing Methods 0.000 claims abstract description 15
- 238000013145 classification model Methods 0.000 claims description 41
- 238000004590 computer program Methods 0.000 claims description 20
- 230000002265 prevention Effects 0.000 claims description 14
- 238000001514 detection method Methods 0.000 claims description 10
- 239000000284 extract Substances 0.000 claims description 4
- 238000003745 diagnosis Methods 0.000 abstract description 8
- 230000006870 function Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 11
- 230000008569 process Effects 0.000 description 11
- 238000011217 control strategy Methods 0.000 description 6
- 238000013527 convolutional neural network Methods 0.000 description 6
- 238000013135 deep learning Methods 0.000 description 5
- 238000012549 training Methods 0.000 description 5
- 238000013528 artificial neural network Methods 0.000 description 4
- 238000004891 communication Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 230000007547 defect Effects 0.000 description 2
- 239000002420 orchard Substances 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 239000003905 agrochemical Substances 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000009395 breeding Methods 0.000 description 1
- 230000001488 breeding effect Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000007635 classification algorithm Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 208000015181 infectious disease Diseases 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000004060 metabolic process Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 231100000915 pathological change Toxicity 0.000 description 1
- 230000036285 pathological change Effects 0.000 description 1
- 230000035790 physiological processes and functions Effects 0.000 description 1
- 239000000843 powder Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000010200 validation analysis Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 238000007794 visualization technique Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/68—Food, e.g. fruit or vegetables
Abstract
本申请适用于图像处理技术领域，提供了一种识别果树病虫害种类的方法及系统，通过获取待识别图像，将所述待识别图像输入至预设的分类模型中提取所述待识别图像的关键位置的多个尺寸的子图像，并确定各个尺寸的子图像对应的预分类结果，根据各个尺寸的子图像的预分类结果确定所述待识别图像对应的果树病虫害种类。通过提取关键位置的多个尺寸的子图像，然后融合各个子图像对应的预分类结果，最大程度排除图像噪声干扰，聚焦主要识别部位(即关键位置)，实现相似病虫害的精确诊断，提高分类结果的准确性。
Description
技术领域
本申请属于图像处理技术领域，尤其涉及一种识别果树病虫害种类的方法 及系统。
背景技术
果树病虫害是果树病害和果树虫害的并称。果树病害是指果树在栽培过程 中，受到有害生物的侵染或不良环境条件的影响，正常新陈代谢受到干扰，从 生理机能到组织结构上发生一系列的变化和破坏，以至在外部形态上呈现反常 的病变现象，常见的病害有枯萎、腐烂、斑点、霉粉、花叶等。果树虫害是指 取食果树，造成果树的枝叶、根部、果实被损坏的现象，根据害虫为害寄主部 位不同，可以将害虫划分为叶部害虫、蛀果害虫、枝干害虫和根部害虫等四类 害虫。由于果树病虫害的种类繁多，在果树遭受到病虫危害时，如何准确且快 速的识别出果树病虫害种类对防治果树的病虫害问题有着及其重要的意义。
然而，传统的通过农业技术人员进行诊断识别的方法存在识别效率低、成 本高且容易受人为因素的影响导致识别准确率低等问题。基于深度学习的病虫 害识别系统能够有效提高果树病虫害种类的识别效率，降低识别成本。然而， 现有的基于深度学习的病虫害种类识别系统大多存在无法准确地识别出果树的 病虫害种类的问题。
发明内容
有鉴于此，本申请实施例提供了一种识别果树病虫害种类的方法及系统， 以解决目前基于深度学习的病虫害种类识别系统无法全面且准确地识别出果树 的病虫害种类的问题。
第一方面，本申请实施例提供一种识别果树病虫害种类的方法，包括：
获取待识别图像；
将所述待识别图像输入至预设的分类模型中提取所述待识别图像的关键位 置的多个尺寸的子图像，并确定各个尺寸的子图像对应的预分类结果，根据各 个尺寸的子图像的预分类结果确定所述待识别图像对应的果树病虫害种类。
可选的，所述分类模型包括聚焦网络和分类网络，所述将所述待识别图像 输入至预设的分类模型中提取所述待识别图像的关键位置的多个尺寸的子图 像，并确定各个尺寸的子图像对应的预分类结果，根据各个尺寸的子图像的预 分类结果确定所述待识别图像对应的果树病虫害种类，包括：
通过聚焦网络聚焦该待识别图像中的关键位置；
通过分类网络根据被聚焦的关键位置的关键特征识别出关键位置图像对应 的分类结果。
可选的，在将所述待识别图像输入至预设的分类模型中提取所述待识别图 像的关键位置的多个尺寸的子图像，并确定各个尺寸的子图像对应的预分类结 果，根据各个尺寸的子图像的预分类结果确定所述待识别图像对应的果树病虫 害种类之前，还包括：
基于所述待识别图像确定关键区域图像。
可选的，所述基于所述待识别图像确定关键区域图像，包括：
将所述待识别图像输入至目标检测模型中进行处理，确定关键区域；
裁剪出所述关键区域的图像。
可选的，所述方法还包括：根据分类结果确定防治策略。
可选的，所述方法还包括：向用户发送防治策略。
可选的，所述方法还包括：获取待识别图像的图像信息；根据所述待识别 图像的图像信息和分类结果生成区域病虫害报告。
第二方面，本申请实施例提供一种果树病虫害种类识别系统，包括：
图像获取单元，用于获取待识别图像；
分类单元，用于将所述待识别图像输入至预设的分类模型中提取所述待识 别图像的关键位置的多个尺寸的子图像，并确定各个尺寸的子图像对应的预分 类结果，根据各个尺寸的子图像的预分类结果确定所述待识别图像对应的果树 病虫害种类。
第三方面，本申请实施例提供一种终端设备，所述终端设备包括处理器、 存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述 处理器执行所述计算机程序时实现如第一方面或第一方面的任意可选方式所述 的方法。
第四方面，本申请实施例提供一种计算机可读存储介质，所述计算机可读 存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面 或第一方面的任意可选方式所述的方法。
第五方面，本申请实施例提供一种计算机程序产品，当计算机程序产品在 终端设备上运行时，使得终端设备执行上述第一方面或第一方面的任意可选方 式所述的方法。
实施本申请实施例提供的一种识别果树病虫害种类的方法及系统、终端设 备、计算机可读存储介质及计算机程序产品具有以下有益效果：
本申请实施例提供的一种识别果树病虫害种类的方法，通过获取待识别图 像，将所述待识别图像输入至预设的分类模型中提取所述待识别图像的关键位 置的多个尺寸的子图像，并确定各个尺寸的子图像对应的预分类结果，根据各 个尺寸的子图像的预分类结果确定所述待识别图像对应的果树病虫害种类。通 过提取关键位置的多个尺寸的子图像，然后融合各个子图像对应的预分类结果， 最大程度排除图像噪声干扰，聚焦主要识别部位(即关键位置)，实现相似病 虫害的精确诊断，提高分类结果的准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技 术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅 仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳 动性的前提下，还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种果树病虫害种类识别系统的架构示意图；
图2是本申请实施例提供的一种识别果树病虫害种类的方法的示意性流程 图；
图3是本申请实施例提供的一种分类模型的结构示意图；
图4是本申请另一实施例提供的一种识别果树病虫害种类的方法的示意性 流程图；
图5是本申请实施例提供的一种识别果树病虫害种类的方法的应用场景示 意图；
图6是本申请实施例提供一种果树病虫害种类识别系统的结构示意图；
图7是本申请另一实施例提供的一种终端设备的结构示意图；
图8是本申请实施例提供的一种计算机可读存储介质的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术 之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当 清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中， 省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节 妨碍本申请的描述。
应当理解，在本申请说明书和所附权利要求书中使用的术语“和/或”是指 相关联列出的项中的一个或多个的任何组合以及所有可能组合，并且包括这些 组合。另外，在本申请说明书和所附权利要求书的描述中，术语“第一”、“第 二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
还应当理解，在本申请说明书中描述的参考“一个实施例”或“一些实施 例”等意味着在本申请的一个或多个实施例中包括结合该实施例描述的特定特 征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例 中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例 中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的 实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具 有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强 调。
在果树种植过程中，果树的枝干、果实、叶片均会收到各种病虫害的影响， 病害和虫害的滋生会给果树种植带来极大的损失。目前基于深度学习的果树病 虫害诊断系统已经取得了许多研究成果。果树病虫害诊断系统大多通过无人机 拍摄果园的果树图片，然后在对拍摄到的果树图片进行分析和分类，以此确定 出果树所存在的病虫害种类，再结合专家的意见给出防治的方法。然而，由于 果树病虫害的种类繁多，且有些病虫害表征相似，场景复杂，现有的端到端图 像分类算法通常仅能识别出少数几种常见病虫害，且无法细化分类精度，容易 导致分类错误，也就是说，现有的基于深度学习的果树病虫害诊断系统存在无 法准确地识别出果树的病虫害种类的问题。
为了解决上述缺陷，本申请实施例通过将待识别图像输入到预设的分类模 型中进行处理，进而得到该待识别图像对应的果树病虫害种类，其中，预设的 分类模型可以提取出该待识别图像的关键位置多个尺寸的子图像，确定各个尺 寸的子图像对应的预分类结果，根据各个尺寸的子图像的预分类结果确定所述 待识别图像对应的果树病虫害种类。以下将对本申请实施例提供的识别果树病 虫害的方法进行详细的说明：
请参阅图1，图1是本申请实施例提供的一种识别果树病虫害种类的所适 用的果树病虫害识别系统的架构示意图。如图1所示，上述果树病虫害种类识 别系统10包括图像拍摄终端11和识别终端12。
在本申请实施例中，上述图像拍摄终端11用于拍摄存在病虫害现象的果树 的图像，即待识别图像。在实际应用中，上述图像拍摄终端11可以是具有摄像 功能的手持移动终端，果农在发现果树出现病虫害现象的情况下，可以使用上 述手持移动终端进行拍摄，采集到待识别图像。
具体地，上述具有摄像功能的手持移动终端可以是手机、手持摄影机等设 备。本申请以上述图像拍摄终端11是手机为例进行说明。果农使用手机拍摄果 树的图像，克服了图像采集设备价格昂贵、操作流程复杂从而难以对所有的果 树种植户进行普及的缺点。
在本申请实施例中，上述识别终端12可以是具有图像处理和分析能力的终 端设备，例如可以是手机、平板电脑、笔记本电脑、台式电脑、超级移动个人 计算机(ultra-mobile personal computer，UMPC)、上网本、个人数字助理(personal digitalassistant，PDA)等终端设备。需要说明的是，上述识别终端12还可以是 云计算机、云服务器等虚拟设备。
在本申请实施例中，上述识别终端12与图像拍摄终端11可以通过无线通 信网络实现通信连接，图像拍摄终端11可以通过该无线通信网络将拍摄到的待 识别图像发送给识别终端12，识别终端12可以通过预设的分类模型对待识别 图像进行处理和分类，进而确定出该待识别图像对应的果树病虫害种类。识别 终端12在确定出该待识别图像对应的果树病虫害种类后，可以将该分类结果发 送给图像拍摄终端11，并同时反馈与该分类结果对应的防治策略。
需要说明的是，上述实施例仅为示例而非限定，在本申请其他实施例中， 上述图像拍摄终端11与识别终端12可以是同一台电子设备，即该电子设备即 具备图像拍摄功能，又具备图像处理和识别、分类等功能。当然，在本申请其 他实施例中，上述识别终端12在确定出待识别图像对应的果树病虫害种类后， 还可以向果农(即用户)的其他用户终端反馈分类结果和对应的防治策略。
以下基于上述果树病虫害种类识别系统对本申请实施例提供的一种识别果 树病虫害种类的方法进行详细说明：
请参阅图2，图2是本申请实施例提供的一种识别果树病虫害种类的方法 的示意性流程图。以本申请实施例提供的识别果树病虫害种类的方法的执行主 体为上述识别终端为例进行说明。
如图2所示的识别果树病虫害种类的方法可以包括S11～S12，详述如下：
S11：获取待识别图像。
本申请实施例中，上述待识别图像即用户通过手机拍摄得到的果树图像。
根据上述系统实施例的描述可知，上述识别终端可以接收手机发送过来的 待识别图像从而获取到待识别图像。
可以理解的是，手机在拍摄到需要识别病虫害种类的待识别图像后，可以 自动上传该待识别图像给到识别终端。同样的，识别终端也可以向手机发送获 取待识别图像的指令，手机在接收到获取待识别图像的指令后，再将待识别图 像发送给识别终端。
在本申请实施例中，上述待识别图像可以是一张图像也可以是多张图像， 在此不加以限制。
S12：将所述待识别图像输入至预设的分类模型中提取出所述待识别图像 的关键位置图像和所述关键位置图像的关键特征，根据关键位置图像的关键特 征确定所述待识别图像对应的果树病虫害种类。
上述分类模型用于根据待识别图像确定出所述待识别图像对应的果树病虫 害种类，即分类模型的输入为待识别图像，输出为所述待识别图像对应的果树 病虫害种类。
在本申请实施例中，请参阅图3，图3是本申请实施例提供的一种分类模 型的结构示意图。如图3所示，在本申请的一个实施例中，分类模型30可以包 括聚焦网络和分类网络。
聚焦网络用于聚焦该待识别图像中的关键位置；
分类网络用于根据被聚焦的关键位置的关键特征识别出关键位置图像对应 的分类结果。
在本申请实施例中，上述聚焦网络可以采用具有多尺度特征融合的注意力 机制神经网络(RA-CNN)，上述分类网络可以采用ResNet 50神经网络。在分 类网络(ResNet 50)的最后一层卷积层之后增加一个RA-CNN网络，不改变 ResNet 50用于图像分类的全连接层。这样一来，在输入待识别图像后，待识别 图像经过上述两个网络后会有两个输出，分别是RA-CNN网络输出的待识别图 像中被聚焦的关键位置以及ResNet 50网络输出的待识别图像的预分类结果， 然后根据被聚焦的关键位置裁剪出关键位置图像，再重复上述聚焦和分类的流 程，经过不断迭代放大图像，从而不停地聚焦在待识别图像中的某些关键位置，不同尺寸的图片都能够输出不同的分类概率，再将其分类概率进行必要的融合， 最终得到对整幅图片的识别概率，得到该待识别图像的分类结果。通过将聚焦 网络和分类网络进行融合，可以最大程度排除图像噪声干扰，聚焦主要识别部 位，实现相似病虫害的精确诊断，提高分类结果的准确性。
需要说明的是，上述提到的RA-CNN网络和ResNet 50网络仅为示例而非 限定，根据实际需求可以使用其他能够实现聚焦和分类的其他神经网络来实现。 例如使用特征可视化技术Grad-CAM嵌入原始ResNet 50分类模型中来实现。 此外，由于RA-CNN网络和ResNet 50网络是常见的神经网络，本申请对 RA-CNN网络和ResNet 50网络的网络架构和参数不再进行赘述。
在实际应用中，本申请实施例中的分类模型可以是基于预设的样本数据集， 采用深度学习的方式对预先构建的分类模型进行训练得到的。
在构建了分类模型后，可以通过收集大量果树病虫害的照片和专业人士对 果树病虫害的照片进行鉴定的分类结果作为样本数据集。为了使得分类模型能 够识别出大多数果树病虫害的种类，在选择样本数据的时候可以采集各个不同 种类的果树病虫害的照片，经过严格的鉴别和分类，去除重复、模糊、误分类 的情况，保证样本数据的质量。使用种类丰富的样本数据来对分类模型进行训 练，提高分类模型的分类能力和分类准确度。
本申请实施例中，以果树病虫害的照片和经专业人士进行分类的分类结果 作为一组样本数据，通过获取多组样本数据得到样本数据集。
在具体应用中，可以将样本数据集划分为训练集、验证集和测试集。
在获取到样本数据后，通过训练集对该分类模型进行训练，并使用验证集 进行快速调参，再使用测试集对分类模型进行测试，测试通过，则得到训练完 成的图像分割模型。
将训练完成的分类模型确定为预设的分类模型，也即S12中所述的预设的 分类模型。
以上可以看出，本申请实施例提供的识别果树病虫害种类的方法，通过获 取待识别图像，将所述待识别图像输入至预设的分类模型中提取所述待识别图 像的关键位置的多个尺寸的子图像，并确定各个尺寸的子图像对应的预分类结 果，根据各个尺寸的子图像的预分类结果确定所述待识别图像对应的果树病虫 害种类。通过提取关键位置的多个尺寸的子图像，然后融合各个子图像对应的 预分类结果，最大程度排除图像噪声干扰，聚焦主要识别部位(即关键位置)， 实现相似病虫害的精确诊断，提高分类结果的准确性。
请参阅图4，图4示出了本申请另一实施例提供的果树病虫害识别种类方 法的实现流程示意图。如图4所示，区别于上一实施例，本申请实施例提供的 果树病虫害种类识别方法包括以下步骤：
S41：获取待识别图像。
S41的内容请参见S11，在此不加以赘述。
S42：基于所述待识别图像确定关键区域图像。
在本申请实施例中，为了降低原始图像(即待识别图像)的外在干扰，如 背景纹理、物体干扰等，可以先将待识别图像中存在病虫害现象的关键区域的 图像裁剪出来，得到关键区域图像。
在本申请实施例，上述S42可以包括以下步骤：
将所述待识别图像输入至目标检测模型中进行处理，确定关键区域；
裁剪出所述关键区域的图像。
在本申请实施例中，上述目标检测模型可以采用YOLO v3目标检测模型， 模拟达到人眼聚焦识别物体关键部位的重要过程，因目标检测模型的输入数据 是待识别图像，输出数据是关键区域在原始图像上的位置(以矩形框表示)， 将矩形框所包围的图像裁剪出来就能够得到关键区域图像。通过先提取出关键 部位的关键区域图像，再基于关键区域图像进行分类，降低了原始图像上的外 在干扰因素(如其它物体干扰、背景纹理等)，进一步提高识别的准确率。
需要说明的是，待识别图像可以包括一个关键区域，也可以包括多个关键 区域，若待识别图像包括多个关键区域，则需要将所有关键区域的图像都裁剪 出来，再输入到分类模型中进行分类处理。也就是说，一张待识别图像可以对 应多个分类结果，即叶子的图像(存在病虫害现象的关键区域是叶子)可以是 一种分类结果，枝干上的图像(存在病虫害现象的关键区域是枝干)，果实的 图像(存在病虫害现象的关键区域是果实)。
S43：将所述关键区域图像输入至预设的分类模型中提取所述关键区域图 像的关键位置的多个尺寸的子图像，并确定各个尺寸的子图像对应的预分类结 果，根据各个尺寸的子图像的预分类结果确定所述关键区域图像对应的果树病 虫害种类。
在得到关键区域图像后，将关键区域图像输入到预设分类模型中进行处理， 就能够确定出关键区域图像对应的果树病虫害种类。需要说明的是，预设分类 模型对关键区域图像的处理过程可以参见S12的说明，在此不加以赘述。
为了更直观地说明本申请实施例提供的识别果树病虫害种类的方法，图5 示出了本申请实施例提供的识别果树病虫害种类的方法的应用场景示意图。如 图5所示，将待识别图像输入到目标检测网络中进行处理后就能够确定出第一 关键区域A和第二关键区域B；将关键区域A的关键区域图像输入到分类模型 中进行处理就可以确定出关键区域A的关键区域图像对应的病虫害种类，将关 键区域B的关键区域图像输入到分类模型中进行处理就可以确定出关键区域B 的关键区域图像对应的病虫害种类。
在本申请另一实施例中，上述识别果树病虫害种类的方法还可以包括以下 步骤：
根据分类结果确定防治策略。
在本申请实施例中，在确定出果树存在的病虫害后，识别终端还可以将与 该病虫害种类关联的防治策略反馈给用户(即向用户发送防治策略)，使得用 户能够及时采取相应的手段来除虫和治疗。
在本申请实施例中，上述防治策略可以根据专业的书籍，网络的方法以及 专家的策略得到，在得到各个病虫害种类对应的防治策略后，可以将防治策略 和病虫害种类进行关联存储，这样在分类模型确定出分类结果后，就可以查找 到相应的防治策略了。需要说明的是，可以通过数据库的方式将病虫害种类和 防治策略进行关联存储，同时还可以根据新的防治方法更新数据库。
在本申请另一实施例中，上述识别果树病虫害种类的方法还可以包括以下 步骤：
获取待识别图像的图像信息；
根据所述待识别图像的图像信息和分类结果生成区域病虫害报告。
具体地，上述图像信息包括拍摄时间和地理位置。用户在上传待识别图像 的同时，可以将图像的拍摄时间和果园的地理位置同时上传给识别终端，识别 终端在识别病虫害种类的同时还可以结合拍摄时间和地理位置统计出某一区域 在特定时间段内的病虫害的发生情况，同时形成区域病虫害报告，为植保站以 及农化企业提供所需信息，同时可以为该区域来年病虫害的发生提供预警。
应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后， 各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施 过程构成任何限定。
基于上述实施例所提供的识别果树病虫害种类的方法，本发明实施例进一 步给出实现上述方法实施例的系统的实施例。
请参阅图6，图6是本申请实施例提供的一种果树病虫害种类识别系统的 结构示意图。本申请实施例中，果树病虫害种类识别系统包括的各单元用于执 行图1至图5对应的实施例中的各步骤。具体请参阅图1至图5以及图1至图 5对应的实施例中的相关描述。为了便于说明，仅示出了与本实施例相关的部 分。如图6所示，果树病虫害种类识别系统60包括：图像获取单元61和分类 单元62。其中：
图像获取单元61用于获取待识别图像。
分类单元62用于将所述待识别图像输入至预设的分类模型中提取所述待 识别图像的关键位置的多个尺寸的子图像，并确定各个尺寸的子图像对应的预 分类结果，根据各个尺寸的子图像的预分类结果确定所述待识别图像对应的果 树病虫害种类。
可选的，第一处理单元122还可以包括：关键区域确定单元。
关键区域确定单元用于基于所述待识别图像确定关键区域图像。
可选的，关键区域单元具体包括：目标检测单元和裁剪单元。其中：
目标检测单元用于将所述待识别图像输入至目标检测模型中进行处理，确 定关键区域；
裁剪单元用于裁剪出所述关键区域的图像。
可选的，果树病虫害种类识别系统还包括防治策略确定单元。
防治策略确定单元用于根据分类结果确定防治策略。
可选的，果树病虫害种类识别系统还包括发送单元。
发送单元用于向用户发送防治策略。
可选地，果树病虫害识种类识别系统还包括图像信息获取单元和报告生成 单元。
图像信息获取单元用于获取待识别图像的图像信息；
报告生成单元用于根据待识别图像的图像信息和分类结果生成区域病虫害 报告。
需要说明的是，上述模块/单元之间的信息交互、执行过程等内容，由于与 本申请方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参照 方法实施例部分，此处不再赘述。
图7是本申请另一实施例提供的一种终端设备的结构示意图。如图7所示， 该实施例提供的终端设备7包括：处理器70、存储器71以及存储在所述存储 器71中并可在所述处理器70上运行的计算机程序72，例如识别果树病虫害种 类的程序。处理器70执行所述计算机程序72时实现上述各个识别果树病虫害 种类的方法实施例中的步骤，例如图1所示的S11～S12。或者，所述处理器70 执行所述计算机程序72时实现上述各终端设备实施例中各模块/单元的功能， 例如图6所示单元61～62的功能。
示例性的，所述计算机程序72可以被分割成一个或多个模块/单元，所述 一个或者多个模块/单元被存储在所述存储器71中，并由处理器70执行，以完 成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机 程序指令段，该指令段用于描述所述计算机程序72在所述终端设备7中的执行 过程。例如，所述计算机程序72可以被分割成第一获取单元和第一处理单元， 各单元具体功能请参阅图1对应地实施例中的相关描述，此处不赘述。
所述终端设备可包括但不仅限于，处理器70、存储器71。本领域技术人员 可以理解，图7仅仅是终端设备7的示例，并不构成对终端设备7的限定，可 以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如 所述终端设备还可以包括输入输出设备、网络接入设备、总线等。
所称处理器70可以是中央处理单元(Central Processing Unit，CPU)，还可 以是其他通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用 集成电路(Application Specific Integrated Circuit，ASIC)、现成可编程门阵列 (Field-Programmable Gate Array，FPGA)或者其他可编程逻辑器件、分立门或 者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理 器也可以是任何常规的处理器等。
所述存储器71可以是所述终端设备7的内部存储单元，例如终端设备7 的硬盘或内存。所述存储器71也可以是所述终端设备7的外部存储设备，例如 所述终端设备7上配备的插接式硬盘，智能存储卡(Smart Media Card,SMC)， 安全数字(Secure Digital,SD)卡，闪存卡(Flash Card)等。进一步地，所述 存储器71还可以既包括所述终端设备7的内部存储单元也包括外部存储设备。 所述存储器71用于存储所述计算机程序以及所述终端设备所需的其他程序和 数据。所述存储器71还可以用于暂时地存储已经输出或者将要输出的数据。
本申请实施例还提供了一种计算机可读存储介质。请参阅图8，图8是本 申请实施例提供的一种计算机可读存储介质的结构示意图，如图8所示，计算 机可读存储介质8中存储有计算机程序81，计算机程序81被处理器执行时可 实现上述识别果树病虫害种类的方法。
本申请实施例提供了一种计算机程序产品，当计算机程序产品在终端设备 上运行时，使得终端设备执行时实现可实现上述识别果树病虫害种类的方法。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上 述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上 述功能分配由不同的功能单元、模块完成，即将所述终端设备的内部结构划分 成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的 各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存 在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采 用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、 模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。 上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过 程，在此不再赘述。
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详 述或记载的部分，可以参照其它实施例的相关描述。
本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示 例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来 实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用 和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现 所描述的功能，但是这种实现不应认为超出本申请的范围。
以上所述实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照 前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其 依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特 征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申 请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。
Claims (10)
1.一种识别果树病虫害种类的方法，其特征在于，包括：
获取待识别图像；
将所述待识别图像输入至预设的分类模型中提取所述待识别图像的关键位置的多个尺寸的子图像，并确定各个尺寸的子图像对应的预分类结果，根据各个尺寸的子图像的预分类结果确定所述待识别图像对应的果树病虫害种类。
2.根据权利要求1所述的方法，其特征在于，所述分类模型包括聚焦网络和分类网络，所述将所述待识别图像输入至预设的分类模型中提取所述待识别图像的关键位置的多个尺寸的子图像，并确定各个尺寸的子图像对应的预分类结果，根据各个尺寸的子图像的预分类结果确定所述待识别图像对应的果树病虫害种类，包括：
通过聚焦网络聚焦该待识别图像中的关键位置；
通过分类网络根据被聚焦的关键位置的关键特征识别出关键位置图像对应的分类结果。
3.根据权利要求1所述的方法，其特征在于，在将所述待识别图像输入至预设的分类模型中提取所述待识别图像的关键位置的多个尺寸的子图像，并确定各个尺寸的子图像对应的预分类结果，根据各个尺寸的子图像的预分类结果确定所述待识别图像对应的果树病虫害种类之前，还包括：
基于所述待识别图像确定关键区域图像。
4.根据权利要求3所述的方法，其特征在于，所述基于所述待识别图像确定关键区域图像，包括：
将所述待识别图像输入至目标检测模型中进行处理，确定关键区域；
裁剪出所述关键区域的图像。
5.根据权利要求1至4任一项所述的方法，其特征在于，还包括：
根据分类结果确定防治策略。
6.根据权利要求1至4任一项所述的方法，其特征在于，还包括：
获取待识别图像的图像信息；
根据所述待识别图像的图像信息和分类结果生成区域病虫害报告。
7.根据权利要求5所述的方法，其特征在于，还包括：
向用户发送防治策略。
8.一种果树病虫害种类识别系统，其特征在于，包括：
图像获取单元，用于获取待识别图像；
分类单元，用于将所述待识别图像输入至预设的分类模型中提取所述待识别图像的关键位置的多个尺寸的子图像，并确定各个尺寸的子图像对应的预分类结果，根据各个尺寸的子图像的预分类结果确定所述待识别图像对应的果树病虫害种类。
9.一种终端设备，其特征在于，所述终端设备包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述的方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011376730.3A CN112465038A (zh) | 2020-11-30 | 2020-11-30 | 一种识别果树病虫害种类的方法及系统 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202011376730.3A CN112465038A (zh) | 2020-11-30 | 2020-11-30 | 一种识别果树病虫害种类的方法及系统 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN112465038A true CN112465038A (zh) | 2021-03-09 |
Family
ID=74805674
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202011376730.3A Pending CN112465038A (zh) | 2020-11-30 | 2020-11-30 | 一种识别果树病虫害种类的方法及系统 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN112465038A (zh) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114677606A (zh) * | 2022-04-28 | 2022-06-28 | 电子科技大学 | 基于注意力机制和双分支网络的柑橘细粒度病害识别方法 |
| CN117151353A (zh) * | 2023-11-01 | 2023-12-01 | 广东省农业科学院植物保护研究所 | 一种荔枝虫害智能识别与生态调控方法、系统及介质 |
| CN117151353B (zh) * | 2023-11-01 | 2024-04-26 | 广东省农业科学院植物保护研究所 | 一种荔枝虫害智能识别与生态调控方法、系统及介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106650822A (zh) * | 2016-12-30 | 2017-05-10 | 深圳前海弘稼科技有限公司 | 病虫害识别方法及装置 |
| CN107742290A (zh) * | 2017-10-18 | 2018-02-27 | 成都东谷利农农业科技有限公司 | 植物病害识别预警方法及装置 |
| CN110188635A (zh) * | 2019-05-16 | 2019-08-30 | 南开大学 | 一种基于注意力机制和多层次卷积特征的植物病虫害识别方法 |
| CN110210434A (zh) * | 2019-06-10 | 2019-09-06 | 四川大学 | 病虫害识别方法及装置 |
| CN111797835A (zh) * | 2020-06-01 | 2020-10-20 | 深圳市识农智能科技有限公司 | 一种病症识别方法、病症识别装置及终端设备 |
| CN111814622A (zh) * | 2020-06-29 | 2020-10-23 | 华南农业大学 | 农作物病虫害类型识别方法、系统、设备和介质 |
-
2020
- 2020-11-30 CN CN202011376730.3A patent/CN112465038A/zh active Pending
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN106650822A (zh) * | 2016-12-30 | 2017-05-10 | 深圳前海弘稼科技有限公司 | 病虫害识别方法及装置 |
| CN107742290A (zh) * | 2017-10-18 | 2018-02-27 | 成都东谷利农农业科技有限公司 | 植物病害识别预警方法及装置 |
| CN110188635A (zh) * | 2019-05-16 | 2019-08-30 | 南开大学 | 一种基于注意力机制和多层次卷积特征的植物病虫害识别方法 |
| CN110210434A (zh) * | 2019-06-10 | 2019-09-06 | 四川大学 | 病虫害识别方法及装置 |
| CN111797835A (zh) * | 2020-06-01 | 2020-10-20 | 深圳市识农智能科技有限公司 | 一种病症识别方法、病症识别装置及终端设备 |
| CN111814622A (zh) * | 2020-06-29 | 2020-10-23 | 华南农业大学 | 农作物病虫害类型识别方法、系统、设备和介质 |
Non-Patent Citations (3)
| Title |
|---|
| JIANLONG FU等: "Look Closer to See Better：Recurrent Attention Convolutional Neural Network for Fine-grained Image Recognition", 2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION, pages 4438 - 4446 * |
| MENGJI YANG等: "The Research on Detection of Crop Diseases Ranking Based on Transfer Learning", 2019 6TH INTERNATIONAL CONFERENCE ON INFORMATION SCIENCE AND CONTROL ENGINEERING, pages 620 - 624 * |
| 冯广等: "基于Inception与Residual组合网络的农作物病虫害识别", 《广东工业大学学报》, vol. 37, no. 3, pages 17 - 22 * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN114677606A (zh) * | 2022-04-28 | 2022-06-28 | 电子科技大学 | 基于注意力机制和双分支网络的柑橘细粒度病害识别方法 |
| CN114677606B (zh) * | 2022-04-28 | 2023-04-18 | 电子科技大学 | 基于注意力机制和双分支网络的柑橘细粒度病害识别方法 |
| CN117151353A (zh) * | 2023-11-01 | 2023-12-01 | 广东省农业科学院植物保护研究所 | 一种荔枝虫害智能识别与生态调控方法、系统及介质 |
| CN117151353B (zh) * | 2023-11-01 | 2024-04-26 | 广东省农业科学院植物保护研究所 | 一种荔枝虫害智能识别与生态调控方法、系统及介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Kamilaris et al. | Deep learning in agriculture: A survey | |
| US10949974B2 (en) | Automated plant disease detection | |
| Zhang et al. | Computer vision‐based tree trunk and branch identification and shaking points detection in Dense‐Foliage canopy for automated harvesting of apples | |
| Nielsen et al. | Vision-based 3D peach tree reconstruction for automated blossom thinning | |
| CN109344738A (zh) | 农作物病虫草害识别方法及装置 | |
| CN114766041A (zh) | 用于确定作物损害的系统和方法 | |
| Sarkate et al. | Application of computer vision and color image segmentation for yield prediction precision | |
| Sullca et al. | Diseases detection in blueberry leaves using computer vision and machine learning techniques | |
| CN114550108A (zh) | 一种草地贪夜蛾的识别预警方法及系统 | |
| CN111832448A (zh) | 一种用于葡萄果园的病害识别方法及系统 | |
| CN114596468A (zh) | 病虫害识别及模型训练方法、装置、电子设备及存储介质 | |
| CN112989969A (zh) | 一种作物病虫害识别方法及装置 | |
| CN112465038A (zh) | 一种识别果树病虫害种类的方法及系统 | |
| CN111122453A (zh) | 信息处理方法、装置和系统 | |
| CN113252584A (zh) | 基于5g传输的作物生长检测方法及系统 | |
| CN111539350A (zh) | 一种农作物病虫害智能识别的方法 | |
| CN113723833B (zh) | 造林实绩质量评价方法、系统、终端设备及存储介质 | |
| CN115294472A (zh) | 果实产量估计方法、模型训练方法、设备及存储介质 | |
| CN114663652A (zh) | 图像处理方法、装置、管理系统、电子设备和存储介质 | |
| Amemiya et al. | Appropriate grape color estimation based on metric learning for judging harvest timing | |
| Cuong et al. | Pest Early Detection in Greenhouse Using Machine Learning. | |
| Schmidtke | Developing a phone-based imaging tool to inform on fruit volume and potential optimal harvest time | |
| de Andrade Porto et al. | Automatic counting of cattle with Faster R-CNN on UAV images | |
| CN112164041A (zh) | 基于多尺度深度神经网络的黄龙病自动诊疗系统及方法 | |
| Kalmukov et al. | Methods for Automated Remote Sensing and Counting of Animals |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |