CN113228047A - 利用多阶段、多尺度深度学习的植物病害检测 - Google Patents

利用多阶段、多尺度深度学习的植物病害检测 Download PDF

Info

Publication number
CN113228047A
CN113228047A CN201980085791.3A CN201980085791A CN113228047A CN 113228047 A CN113228047 A CN 113228047A CN 201980085791 A CN201980085791 A CN 201980085791A CN 113228047 A CN113228047 A CN 113228047A
Authority
CN
China
Prior art keywords
photograph
image
data
regions
digital model
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201980085791.3A
Other languages
English (en)
Inventor
桂壹川
关伟
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Climate LLC
Original Assignee
Climate Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Climate Corp filed Critical Climate Corp
Publication of CN113228047A publication Critical patent/CN113228047A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01B—SOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
    • A01B79/00—Methods for working soil
    • A01B79/005—Precision agriculture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24317—Piecewise classification, i.e. whereby each classification requires several discriminant rules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/24323—Tree-organised classifiers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/254—Fusion techniques of classification results, e.g. of results related to same input data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/68—Food, e.g. fruit or vegetables
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01G—HORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
    • A01G7/00—Botany in general
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20016—Hierarchical, coarse-to-fine, multiscale or multiresolution image processing; Pyramid transform
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Databases & Information Systems (AREA)
  • Computational Linguistics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Mechanical Engineering (AREA)
  • Soil Sciences (AREA)
  • Environmental Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Image Analysis (AREA)

Abstract

在一些实施例中，系统被编程为从多个训练集构建多个数字模型，每个数字模型用于识别具有相似尺寸症状的植物病害。每个数字模型可以使用深度学习架构来实现，该深度学习架构将图像分类为若干类别之一。因此，对于每个训练集，系统被编程为收集示出具有相似尺寸的一个或多个植物病害的症状的图像。然后，这些图像被分配到多个病害类别。对于用于构建第一数字模型的训练集中的第一训练集，系统被编程为还包括与健康状况相对应的图像和具有其他尺寸的症状的图像。然后，这些图像被分配到无病害类别和综合类别。给定来自用户设备的新图像，该系统被编程为随后首先应用第一数字模型。对于被分类为综合类别的新图像的部分，系统被编程为应用另一数字模型。该系统被编程为最终向用户设备传输分类数据，该分类数据指示新图像的每个部分如何被分类为与植物病害或没有植物病害相对应的类别。

Description

利用多阶段、多尺度深度学习的植物病害检测
相关申请的交叉引用
该专利文件的公开内容的一部分包含受版权保护的材料。版权所有者不反对任何人以专利和商标局专利文件或记录中的形式复制专利文件或专利公开的内容，但保留所有版权或权利。
Figure BDA0003129823600000011
2015-2019克莱米特公司(Climate Corporation)。
技术领域
本公开涉及植物病害检测和机器学习技术领域。本公开还涉及以不同尺度处理图像以识别具有不同尺寸的症状的病害技术领域。
背景技术
本部分中描述的方法是可以采用的方法，但不一定是先前已经设想或采用的方法。因此，除非另有说明，否则不应当仅由于本部分中所述的任何方法被包括在本部分中而认为本部分中所述的任何方法有资格作为现有技术。
植物病害检测在农业中很重要。如今，自动化方法通常涉及通过从样本照片中学习来对植物照片进行分类。每个照片可以示出具有病害症状的叶子。有时，这些症状是由多个病害引起的。有时，这些症状具有不同尺寸或彼此重叠。将有帮助的是，具有一种有效且准确的方法可以从这种照片中识别出感染叶片的植物病害，而无需示出这些植物病害的各种症状的大量照片作为样本。
发明内容
所附权利要求可以用作本公开的概述。
附图说明
在附图中：
图1示出了被配置为执行本文中描述的功能的示例计算机系统，该示例计算机系统在田地环境中与该系统可以与之交互的其他装置一起示出。
图2示出了当示例移动应用被加载以供执行时主存储器中的指令集的示例逻辑组织的两个视图。
图3示出了编程过程，通过该过程，农业智能计算机系统使用由一个或多个数据源提供的农艺数据来生成一个或多个预先配置的农艺模型。
图4是示出可以在其上实现本发明的实施例的计算机系统的框图。
图5描绘了用于数据输入的时间线视图的示例实施例。
图6描绘了用于数据输入的电子表格视图的示例实施例。
图7A示出了从照片中提取样本图像的示例方法，该照片示出了相对较小的植物病害的症状。
图7B示出了从照片中提取样本图像的示例方法，该照片示出了相对较大的植物病害的症状。
图8示出了使用多个数字模型从植物图像识别具有多尺寸症状的植物病害的示例过程。
图9A示出了示例预测图，该示例预测图示出了将第一数字模型应用于植物图像以识别具有相对较小症状的植物病害的结果。
图9B示出了示例预测图，该示例预测图示出了将第二数字模型应用于植物图像以识别具有相对较大症状的植物病害的结果。
图10示出了由被编程用于从植物图像中识别具有多尺寸症状的植物病害的服务器计算机执行的示例方法。
具体实施方式
在下面的描述中，出于解释的目的，阐述了很多具体细节以便提供对本公开的透彻理解。然而，将很清楚的是，可以在没有这些具体细节的情况下实践实施例。在其他实例中，以框图形式示出了公知的结构和设备，以避免不必要地使本公开变得晦涩。根据以下概述，在各部分中公开了实施例：
1.概述
2.示例农业智能计算机系统
2.1.结构概述
2.2.应用程序概述
2.3.计算机系统的数据摄取
2.4.过程概述——农业模型训练
2.5.实现示例——硬件概述
3.功能描述
3.3训练集和数字模型构造
3.4数字模型执行
3.5示例过程
4.扩展和替代方案
1.总体概述
公开了一种用于从植物照片中识别产生多尺寸症状的植物病害的系统。在一些实施例中，该系统被编程为从多个训练集中构建多个数字模型，每个数字模型用于识别具有相似尺寸的症状的植物病害。每个数字模型可以使用深度学习架构(诸如卷积神经网络(CNN))来实现，该深度学习架构将图像分类为若干类别之一。因此，对于每个训练集，该系统被编程为收集示出具有相似尺寸的一个或多个植物病害的症状的图像。然后，这些图像被分配给多个病害类别。对于用于构建第一数字模型的训练集中的第一训练集，该系统被编程为还包括与健康状况相对应的图像和具有其他尺寸的症状的图像。然后，这些图像被分配给无病害类别和综合(catch-all)类别。给定来自用户设备的新图像，该系统被编程为随后首先应用第一数字模型。对于由第一数字模型分类为综合类别的新图像的至少部分，该系统被编程为随后应用另一数字模型。该系统被编程为最终向用户设备传输分类数据，该分类数据指示新图像的每个部分如何被分类为与植物病害或根本没有植物病害相对应的类别。
在一些实施例中，植物是玉米。每个图像可以是数字图像，并且通常是示出被一个或多个病害感染的玉米叶子的照片。该系统可以被编程为构建两个数字模型，第一数字模型用于识别产生相对较小症状的玉米病害，而第二数字模型用于识别产生较大症状的玉米病害。
在一些实施例中，对于用于构建第一数字模型的第一训练集，该系统可以被配置为包括照片，该照片主要示出症状相对较小的这些病害的症状。这些照片因此将具有相对较小的尺寸。替代地，该系统可以被配置为包括这些照片的缩放版本，该缩放版本对应于与原始照片相似的视场但具有固定尺寸。该系统可以被配置为还包括与相似视场相对应、但未示出症状或示出症状相对较大的这些病害的症状的照片。因此，第一数字模型被设计为将玉米图像分类为与症状相对较小或健康状况的这些玉米病害中的一个病害相对应的类别、或与症状相对较大的这些玉米病害的组合相对应的综合类别。
在一些实施例中，对于用于构建第二数字模型的第二训练集，该系统可以被配置为包括照片，该照片主要示出具有相对较大症状的这些病害的症状。这些照片因此将具有相对较大的尺寸。替代地，该系统可以被配置为包括这些照片的缩放版本，该缩放版本对应于与原始照片相似的视场但具有固定尺寸。因此，第二数字模型被设计为将玉米图像分类为与症状相对较大的这些玉米病害中的一个病害相对应的类别。该系统可以被编程为分别从第一训练集和第二训练集构建作为CNN的第一数字模型和第二数字模型。
在一些实施例中，该系统被编程为从用户设备接收新图像，诸如被感染的玉米叶子的新照片，并且将数字模型应用于新图像。具体地，该系统被编程为首先将第一数字模型应用于新图像，以将新图像内的每个第一区域分类为与症状相对较小的玉米病害、健康状况、或症状相对较大的玉米病害的组合相对应的类别之一。该系统被编程为接下来将第二数字模型应用于已经被分类为综合类别的第一区域的组合内的每个第二区域，以分类为与症状相对较大的玉米病害相对应的类别之一。第二区域通常大于第一区域，第一区域对应于较大症状或较大视场。该系统可以被编程为随后向用户设备发送分类数据，该分类数据与如何将每个第一区域或第二区域分类为与玉米病害或健康状况相对应的类别之一有关。
该系统产生各种技术益处。该系统允许从一个植物图像中检测许多种植物病害。该系统还允许检测症状相对较小的一个植物病害，即使这种症状与另一植物病害的相对较大症状重叠。另外，该系统还允许从一个植物图像中检测具有多尺寸症状的植物病害。更具体地，即使病害症状具有不同尺寸，该系统使得能够将植物内的多个区域中的每个区域与多个植物病害之一或健康类别相关联。此外，与同时检测不同组症状的一阶段方法相比，多阶段方法可以实现准确度，同时所需要的样本图像相对较少，在该多阶段方法中，顺序地应用被设计为标识不同组症状的不同数字模型。特别地，多阶段方法可以利用从用于训练单阶段方法的图像中提取的多个图像，其中该图像示出了多组症状，并且每个提取图像仅示出一组症状。
根据从本公开的其他部分，实施例的其他方面和特征将变得很清楚。
2.示例农业智能计算机系统
2.1.结构概述
图1示出了被配置为执行本文描述的功能的示例计算机系统，该示例计算机系统在田地环境中与该系统可以与之进行互操作的其他装置一起示出。在一个实施例中，用户102拥有、操作或占有田地位置中的或与田地位置(诸如用于农业活动的田地或用于一个或多个农田的管理位置)相关联的田地管理器计算设备104。田地管理器计算机设备104被编程或配置为经由一个或多个网络109向农业智能计算机系统130提供田地数据106。
田地数据106的示例包括：(a)标识数据(例如，面积，田地名称，田地标识符，地理标识符，边界标识符，作物标识符，以及可用于标识农田的任何其他合适数据，诸如公共土地单位(CLU)、地块和街段编号、宗地编号、地理坐标和边界、农场序列号(FSN)、农场编号、地带编号、田地编号、地区、镇区和/或范围)；(b)收获数据(例如，作物类型，作物品种，作物轮换，是否以有机方式种植作物，收获日期，实际生产历史(APH)，预期产量，产量，作物价格，作物收入，谷物水分，耕作实践，以及先前的生长季节信息)；(c)土壤数据(例如，类型，组成，pH，有机质(OM)，阳离子交换能力(CEC))；(d)种植数据(例如，种植日期，一个或多个种子的类型，所种植的一个或多个种子的相对成熟度(RM)，种子种群)；(e)肥料数据(例如，营养物类型(氮，磷，钾)，施用类型，施用日期，数量，来源，方法)；(f)化学施用数据(例如，农药，除草剂，杀真菌剂，旨在用作植物调节剂、脱叶剂或干燥剂的其他物质或物质混合物，施用日期，数量，来源，方法)；(g)灌溉数据(例如，施用日期，数量，来源，方法)；(h)天气数据(例如，降水量，降雨率，预测的降雨，水径流率区域，温度，风，预测，压力，能见度，云，热指数，露点，湿度，雪深，空气质量，日出，日落)；(i)图像数据(例如，来自农业装置传感器、相机、计算机、智能电话、平板、无人驾驶飞行器、飞机或卫星的图像和光谱信息)；(j)侦察观察(照片，视频，自由形式的笔记，语音记录，语音转录，天气情况(温度，降水(当前和随着时间推移)，土壤湿度，作物生长阶段，风速，相对湿度，露点，黑层))；以及(k)土壤，种子，作物物候，病虫害报告，以及预测来源和数据库。
数据服务器计算机108通信地耦合到农业智能计算机系统130，并且被编程或配置为经由一个或多个网络109将外部数据110发送到农业智能计算机系统130。外部数据服务器计算机108可以由与农业智能计算机系统130相同的法人或实体拥有或操作，或者由不同的人或实体(诸如政府机构、非政府组织(NGO)和/或私人数据服务提供商)拥有或操作。外部数据的示例包括天气数据、图像数据、土壤数据或与作物产量有关的统计数据等。外部数据110可由与田地数据106相同类型的信息组成。在一些实施例中，外部数据110由拥有和/或操作农业智能计算机系统130的同一实体所拥有的外部数据服务器108提供。例如，农业智能计算机系统130可包括专门专注于否则可能从第三方来源获得的一类数据(诸如天气数据)的数据服务器。在一些实施例中，外部数据服务器108实际上可被并入系统130内。
农业装置111可具有固定在其上的一个或多个远程传感器112，这些传感器经由农业装置111直接或间接地通信耦合到农业智能计算机系统130并被编程或配置为将传感器数据发送到农业智能计算机系统130。农业装置111的示例包括：拖拉机，联合收割机，收割机，播种机，卡车，化肥设备，包括无人驾驶飞行器的飞行器，以及任何其他物理机械或硬件项目，其通常为移动机械，并且可用于与农业相关联的任务。在一些实施例中，装置111的单个单元可包括在该装置上的网络中本地耦合的多个传感器112；控制器区域网络(CAN)是可以安装在联合收割机、收割机、喷雾器和中耕机中的这种网络的示例。应用控制器114经由一个或多个网络109通信地耦合到农业智能计算机系统130，并且被编程或配置为从农业智能计算机系统130接收用于控制农业车辆的操作参数或实施的一个或多个脚本。例如，控制器区域网络(CAN)总线接口可用于实现从农业智能计算机系统130到农业装置111的通信，例如可从加利福尼亚州旧金山市的气候公司获得的CLIMATE FIELDVIEW DRIVE如何被使用。传感器数据可以由与田地数据106相同类型的信息组成。在一些实施例中，远程传感器112可能不被固定到农业装置111，而是可以远程位于田地中并且可以与网络109通信。
装置111可包括用驾驶室应用编程的驾驶室计算机115，该驾驶室应用可包括用于在本文的其他部分中进一步描述的设备104的移动应用的版本或变体。在一个实施例中，驾驶室计算机115包括紧凑型计算机，通常是平板尺寸的计算机或智能电话，其具有安装在装置111的操作者的驾驶室内的图形屏幕显示，诸如彩色显示器。驾驶室计算机115可实现本文中针对移动计算机设备104进一步描述的一些或全部的操作和功能。
一个或多个网络109广义地表示使用有线或无线链路(包括陆地或卫星链路)中的任何链路的包括局域网、广域网、互联网或因特网在内的一个或多个数据通信网络的任何组合。这一个或多个网络可以由提供图1的各种元件之间的数据交换的任何介质或机制来实现。图1的各种元件还可具有直接(有线或无线)通信链路。传感器112、控制器114、外部数据服务器计算机108和系统的其他元件各自包括与一个或多个网络109兼容的接口，并且被编程或配置为使用用于跨网络的通信的标准化协议，诸如TCP/IP、蓝牙、CAN协议以及更高层协议(诸如HTTP、TLS等)。
农业智能计算机系统130被编程或配置为从田地管理器计算设备104接收田地数据106，从外部数据服务器计算机108接收外部数据110，并从远程传感器112接收传感器数据。农业智能计算机系统130可被进一步配置为托管、使用或执行一个或多个计算机程序、其他软件元素、数字编程的逻辑(诸如FPGA或ASIC)或其任意组合，以便以在本公开的其他部分中进一步描述的方式执行数据值的转换和存储、一个或多个田地上的一个或多个作物的数字模型的构造、推荐和通知的生成以及生成脚本并将其发送到应用控制器114。
在一个实施例中，农业智能计算机系统130被编程有通信层132、表示层134、数据管理层140、硬件/虚拟化层150以及模型和田地数据存储库160，或者包括通信层132、表示层134、数据管理层140、硬件/虚拟化层150、以及模型和田地数据存储库160。该上下文中的“层”指的是电子数字接口电路、微控制器、固件(诸如驱动程序)和/或计算机程序或其他软件元素的任何组合。
通信层132可被编程或配置为执行输入/输出接口功能，包括分别向田地管理器计算设备104、外部数据服务器计算机108和远程传感器112发送对田地数据、外部数据和传感器数据的请求。通信层132可被编程或配置为将接收到的数据发送到模型和田地数据存储库160以存储为田地数据106。
表示层134可被编程或配置为生成要在田地管理器计算设备104、驾驶室计算机115或通过网络109耦合到系统130的其他计算机上显示的图形用户界面(GUI)。该GUI可包括用于输入要发送到农业智能计算机系统130的数据、生成对模型和/或推荐的请求和/或显示推荐、通知、模型和其他田地数据的控件。
数据管理层140可被编程或配置为管理涉及存储库160和系统的其他功能元素的读取操作和写入操作，包括在系统的功能元素与存储库之间传送的查询和结果集。数据管理层140的示例包括JDBC、SQL服务器接口代码和/或HADOOP接口代码等。存储库160可包括数据库。如本文所使用的，术语“数据库”可以指数据的主体、关系数据库管理系统(RDBMS)或指两者。如本文所使用的，数据库可包括数据的任何集合(包括分层数据库、关系数据库、平面文件数据库、对象关系数据库、面向对象的数据库、分布式数据库)，以及在计算机系统中存储的记录或数据的任何其他结构化的集合。RDBMS的示例包括但不限于
Figure BDA0003129823600000091
MYSQL、
Figure BDA0003129823600000092
DB2、
Figure BDA0003129823600000093
SQL SERVER、
Figure BDA0003129823600000094
和POSTGRESQL数据库。然而，可以使用实现本文描述的系统和方法的任何数据库。
当未经由与农业智能计算机系统交互的一个或多个农业机械或农业机械设备直接向农业智能计算机系统提供田地数据106时，可以经由(农业智能计算机系统所服务的)用户设备上的一个或多个用户界面提示用户输入这样的信息。在示例实施例中，用户可以通过访问(农业智能计算机系统所服务的)用户设备上的地图并选择已经在该地图上以图形方式示出的特定CLU来指定标识数据。在替代实施例中，用户102可以通过访问(农业智能计算机系统130所服务的)用户设备上的地图并在该地图上绘制田地的边界来指定标识数据。这样的CLU选择或地图绘制表示地理标识符。在替代实施例中，用户可以通过经由用户设备访问来自美国农业部农场服务局或其他来源的(作为形状文件或以类似格式提供的)田地标识数据并将这样的田地标识数据提供给农业智能计算机系统来指定标识数据。
在示例实施例中，农业智能计算机系统130被编程为生成包括用于数据输入的数据管理器的图形用户界面并使得显示该图形用户界面。在已经使用上述方法识别出一个或多个田地之后，数据管理器可提供一个或多个图形用户界面窗口小部件，其当被选择时可以标识田地、土壤、作物、耕作或养分实践的变化。数据管理器可包括时间线视图、电子表格视图和/或一个或多个可编辑的程序。
图5描绘了数据输入的时间线视图的示例实施例。使用在图5中描述的显示，用户计算机可以输入对特定田地和特定日期的选择以添加事件。在时间线顶部描述的事件可包括氮、种植、实践和土壤。为了添加氮施用事件，用户计算机可提供输入以选择氮标签。用户计算机然后可以为特定田地选择时间线上的位置，以指示氮在所选择的田地上的施用。响应于接收到对特定田地在时间线上的位置的选择，数据管理器可以显示数据输入覆盖图，从而允许用户计算机输入与氮施用、种植过程、土壤施用、耕作过程、灌溉实践有关的数据，或与特定田地有关的其他信息。例如，如果用户计算机选择时间线的一部分并指示氮的施用，则数据输入覆盖图可包括用于输入所施用的氮的数量、施用日期、所使用的肥料的类型以及与氮的施用有关的任何其他信息的字段。
在一个实施例中，数据管理器提供用于创建一个或多个程序的界面。该上下文中的“程序”指的是与氮施用、种植过程、土壤施用、耕作过程、灌溉实践有关的一组数据，或者可能与一个或多个田地相关并可以存储在数字数据存储中以供在其他操作中作为一组重复使用的其他信息。在已经创建程序之后，可以在概念上将其应用于一个或多个田地，并且可以将对该程序的引用与标识这些田地的数据相关联地存储在数字存储中。因此，代替针对多个不同田地手动输入与相同氮施用有关的相同数据，用户计算机可以创建指示氮的特定施用的程序，然后将该程序应用于多个不同田地。例如，在图5的时间线视图中，前两条时间线选择了“春季施用”程序，其中包括在4月初施用150lbs N/ac。数据管理器可提供用于编辑程序的界面。在一个实施例中，当特定程序被编辑时，已经选择该特定程序的每个田地都被编辑。例如，在图5中，如果编辑了“春季施用”程序以将氮的施用减少到130lbs N/ac，则可以基于编辑后的程序用减少的氮施用来更新前两个田地。
在一个实施例中，响应于接收到对选择了程序的田地的编辑，数据管理器去除该田地与所选择的程序的对应关系。例如，如果氮施加被添加到图5中的顶部田地，则界面可以更新以指示“春季施用”程序不再被应用于顶部田地。尽管4月初的氮施用可能保留，但是对“春季施用”程序的更新将不会改变氮的4月施用。
图6描绘了用于数据输入的电子表格视图的示例实施例。使用在图6中描绘的显示，用户可以创建和编辑一个或多个田地的信息。数据管理器可包括如在图6中描绘的电子表格，该电子表格用于输入关于氮、种植、实践和土壤的信息。为了编辑特定条目，用户计算机可以选择电子表格中的特定条目并更新值。例如，图6描绘了对第二田地的目标产量值的正在进行的更新。此外，用户计算机可以选择一个或多个田地以便应用一个或多个程序。响应于接收到针对特定田地的程序选择，数据管理器可以基于所选择的程序来自动完成特定田地的条目。与时间线视图一样，数据管理器可以响应于接收到对特定程序的更新而更新与该程序相关联的每个田地的条目。此外，数据管理器可以响应于接收到对田地的条目之一的编辑而删除所选择的程序与该田地的对应关系。
在一个实施例中，模型和田地数据存储在模型和田地数据存储库160中。模型数据包括为一个或多个田地创建的数据模型。例如，作物模型可包括一个或多个田地上的作物的发育的数字构建模型。该上下文中的“模型”指的是彼此相关联的可执行指令和数据值的电子数字存储集合，它们能够接收程序化或其他数字调用、调用或解析请求并基于指定的输入值来响应该程序化或其他数字调用、调用或解析请求，以产生一个或多个存储或计算出的输出值，这些输出值可以用作计算机实现的建议、输出数据显示或机器控制等的基础。本领域技术人员发现使用数学方程式来表达模型是方便的，但是该表达形式不将本文公开的模型局限于抽象概念；相反，本文中的每个模型都以存储的可执行指令和数据的形式在计算机中具有实际应用，存储的可执行指令和数据使用计算机来实现该模型。该模型可包括一个或多个田地上的过去事件的模型、一个或多个田地的当前状态的模型和/或一个或多个田地上的预测事件的模型。模型和田地数据可以存储在存储器中的数据结构中、数据库表中的行中、平面文件或电子表格中或其他形式的存储数字数据中。
在一个实施例中，农业智能计算机系统130被编程为包括分类模型管理服务器计算机(服务器)170。服务器170还被配置为包括模型构建指令174、模型执行指令176和用户界面指令178。
在一些实施例中，模型构建指令174提供用于组装训练集并且从训练集中构建数字模型以从植物图像中识别具有多尺寸症状的植物病害的计算机可执行指令。每个数字模型被设计为识别具有相似尺寸的症状的植物病害。因此，每个训练集包括与植物叶子内的不同视场或不同尺寸的区域相对应的图像。模型配置指令172提供用于利用滑动窗口将给定图像具体地分割为用于训练集的个体区域的计算机可执行指令。每个数字模型可以用深度学习架构实现，该深度学习架构将新图像分类为多个类别中的一个类别，每个类别对应于植物病害、健康状况、或多个植物病害的综合组合。
在一些实施例中，模型执行指令176提供用于将数字模型应用于新图像以进行分类的计算机可执行指令。每个新图像可以是新的植物照片，其示出一个或多个植物病害的多尺寸症状。用于识别尺寸在第一不同范围内的症状的第一组病害的第一数字模型被应用于新图像。更具体地，可以根据需要来缩放新图像，并且可以使用第一数字模型将新图像的不同第一区域分类为与第一组植物病害中的一个植物病害、健康状况、或所有其他植物病害的综合类别相对应的类别。每个第一区域的尺寸将与第一不同范围内的尺寸相关。接下来，用于识别症状尺寸在第二不同范围内的第二组病害的第二数字模型被应用于被分类为综合类别的第一区域的组合。可以类似地用第二数字模型或附加数字模型执行与第一数字模型有关的其余过程，直到新图像的每个区域被分类为与植物病害之一相对应的至少一个类别。
在一些实施例中，用户界面指令178提供用于管理与其他设备的通信的计算机可执行指令。通信可以包括：从图像源接收用于训练目的的初始图像数据；从用户设备接收用于分类的新照片；将新照片的分类结果发送给用户设备；或者将数字模型发送给另一用户设备。
服务器170的每个组件包括由农业智能计算机系统130中的主存储器(诸如RAM)的一个或多个页面构成的页面集合，可执行指令已经被加载到其中并且在被执行时引起农业智能计算系统执行本文中参考这些模块描述的功能或操作。例如，模型构建模块174可以包括RAM中的页面集合，页面集合包含指令，该指令在被执行时引起执行本文中描述的位置选择功能。该指令可以在CPU的指令集中的机器可执行代码中，并且可能已经单独地或者与JAVASCRIPT、其他脚本语言和其他编程源文本的脚本相结合地基于以JAVA、C、C++、OBJECTIVE-C或任何其他人类可读编程语言或环境编写的源代码而被编译。术语“页面”旨在广义地指代主存储器内的任何区域，并且在系统中使用的具体术语可以根据存储器架构或处理器架构而变化。在另一实施例中，服务器170的每个组件还可以表示以数字方式存储在农业智能计算机系统130或单独的存储库系统中的、诸如非易失性RAM或磁盘存储等大容量存储设备中的一个或多个源代码文件或项目，其在被编译或解释时引起生成可执行指令，该可执行指令在被执行时使农业智能计算系统执行本文中参考这些模块描述的功能或操作。换言之，附图可以表示程序员或软件开发者组织和布置源代码、以便以后编译为可执行文件或解释为字节码或等效物以供农业智能计算机系统130执行的方式。
硬件/虚拟化层150包括一个或多个中央处理单元(CPU)、存储器控制器以及计算机系统的其他设备、组件或元件，诸如易失性或非易失性的存储器、非易失性存储(诸如磁盘)以及例如结合图4说明和描述的I/O设备或接口。层150还可包括被配置为支持虚拟化、容器化或其他技术的编程指令。
出于说明清楚示例的目的，图1示出了某些功能元件的有限数量的实例。然而，在其他实施例中，可以存在任何数量的这样的元件。例如，实施例可以使用与不同用户相关联的数千或数百万个不同移动计算设备104。另外，系统130和/或外部数据服务器计算机108可以使用被配置在离散位置或与数据中心、共享计算设施或云计算设施中的其他元件位于同一位置的两个或更多个处理器、核心、群集或者物理机或虚拟机的实例来实现。
2.2.应用程序概述
在一个实施例中，使用被加载到一个或多个通用计算机中并使用一个或多个通用计算机执行的一个或多个计算机程序或其他软件元件来实现本文描述的功能将使这些通用计算机被配置为特定机器或配置为专门用于执行本文描述的功能的计算机。另外，本文进一步描述的每个流程图可以单独用作可用于将计算机或逻辑编程为实现所描述的功能的算法、计划或指导，或与本文中的散文形式的过程和功能的描述结合用作这些算法、计划或指导。换句话说，本文中的所有散文和所有附图一起旨在提供如下算法、计划或指导的公开，这些算法、计划或指导足以允许技术人员考虑到适用于该类型的发明和公开的技能水平结合此类人员的技能和知识将计算机编程为执行本文描述的功能。
在一个实施例中，用户102使用配置有操作系统和一个或多个应用程序或应用的田地管理器计算设备104与农业智能计算机系统130交互；田地管理器计算设备104还可以在程序控制或逻辑控制下独立且自动地与农业智能计算机系统进行互操作，并且直接的用户交互不是总被要求。田地管理器计算设备104广义地表示以下各项中的一个或多个：智能电话，PDA，平板计算设备，膝上型计算机，台式计算机，工作站，或者能够发送和接收信息以及执行本文描述的功能的任何其他计算设备。田地管理器计算设备104可以使用在田地管理器计算设备104上存储的移动应用程序经由网络进行通信，并且在一些实施例中，可以使用电缆113或连接器将该设备耦合到传感器112和/或控制器114。特定用户102可以一次拥有、操作或拥有和结合系统130使用多于一个田地管理器计算设备104。
移动应用程序可以经由网络向一个或多个移动计算设备提供客户端侧功能。在示例实施例中，田地管理器计算设备104可以经由网络浏览器或本地客户端应用程序或应用来访问移动应用程序。田地管理器计算设备104可以使用基于网络的协议或格式(诸如HTTP、XML和/或JSON)或应用专用协议向一个或多个前端服务器发送数据和从一个或多个前端服务器接收数据。在示例实施例中，数据可以采用到移动计算设备中的请求和用户信息输入(诸如田地数据)的形式。在一些实施例中，移动应用程序与田地管理器计算设备104上的位置跟踪硬件和软件进行交互，该位置跟踪硬件和软件使用标准的跟踪技术(诸如无线电信号的多点定位，全球定位系统(GPS)，WiFi定位系统，或其他移动定位方法)来确定田地管理器计算设备104的位置。在一些情况下，可以通过对设备的操作系统的查询或通过请求设备上的应用从该操作系统获得数据来获得与设备104、用户102和/或一个或多个用户账户相关联的位置数据或其他数据。
在一个实施例中，田地管理器计算设备104将田地数据106发送到农业智能计算机系统130，田地数据106包含或包括但不限于表示以下各项中的一个或多个的数据值：一个或多个田地的地理位置，一个或多个田地的耕作信息，在一个或多个田地中种植的作物，以及从一个或多个田地中提取的土壤数据。田地管理器计算设备104可以响应于来自用户102的指定一个或多个田地的数据值的用户输入而发送田地数据106。此外，当数据值中的一个或多个变得对田地管理器计算设备104可用时，田地管理器计算设备104可以自动发送田地数据106。例如，田地管理器计算设备104可以通信地耦合到远程传感器112和/或应用控制器114，远程传感器112和/或应用控制器114包括灌溉传感器和/或灌溉控制器。响应于接收到表明应用控制器114曾将水释放到一个或多个田地上的数据，田地管理器计算设备104可以将田地数据106发送到农业智能计算机系统130，从而表明水在一个或多个田地上曾被释放。可以使用电子数字数据来输入和传送在本公开中标识的田地数据106，该电子数字数据是使用通过HTTP的参数化URL或另一合适的通信或消息收发协议在计算设备之间传送的。
移动应用程序的商业示例是可从加利福尼亚州旧金山市的克莱米特公司购买的CLIMATE FIELDVIEW。CLIMATE FIELDVIEW应用程序或其他应用程序可被修改、扩展或调整，以包括在本公开的申请日之前尚未被公开的特征、功能和编程。在一个实施例中，移动应用程序包括集成的软件平台，该软件平台允许种植者为他们的操作做出基于事实的决定，因为它将与种植者的田地有关的历史数据与种植者希望比较的任何其他数据结合。结合和比较可以实时进行，并且基于科学模型，这些科学模型提供了可能的情景，以允许种植者做出更好、更明智的决定。
图2示出了当示例移动应用程序被加载以供执行时主存储器中的指令集的示例逻辑组织的两个视图。在图2中，每个命名的元素表示RAM或其他主存储器的一个或多个页面的区域，或者磁盘存储或其他非易失性存储的一个或多个块的区域，以及那些区域内的编程指令。在一个实施例中，在视图(a)中，移动计算机应用程序200包括账户—田地—数据摄取—共享指令202，概述和警报指令204，数字地图手册指令206，种子和种植指令208，氮指令210，天气指令212，田地健康指令214，以及执行指令216。
在一个实施例中，移动计算机应用程序200包括账户、田地、数据摄取、共享指令202，其被编程为经由手动上传或API从第三方系统接收、转换和摄取田地数据。数据类型可包括田地边界，产量图，种植图，土壤测试结果，施用图，和/或管理区等。数据格式可包括形状文件，第三方的原生数据格式，和/或农场管理信息系统(FMIS)导出等。接收数据可以经由以下方式发生：手动上传，带有附件的电子邮件，将数据推送到移动应用程序的外部API，或者调用外部系统的API来将数据拉取到移动应用程序中的指令。在一个实施例中，移动计算机应用程序200包括数据收件箱。响应于接收到对数据收件箱的选择，移动计算机应用程序200可以显示用于手动上传数据文件和将上传的文件导入到数据管理器的图形用户界面。
在一个实施例中，数字地图簿指令206包括在设备存储器中存储的田地地图数据层，并被编程有数据可视化工具和地理空间田地注释。这为种植者提供了近在咫尺的方便信息，以供参考、记录和对田地表现的视觉洞察力。在一个实施例中，概述和警报指令204被编程为提供对种植者重要之物的操作范围视图，以及采取行动或专注于特定问题的及时建议。这允许种植者将时间集中在需要关注什么，以节省时间并在整个季节保持产量。在一个实施例中，种子和种植指令208被编程为基于科学模型和经验数据来提供用于种子选择、混合放置和脚本创建(包括可变速率(VR)脚本创建)的工具。这使种植者能够通过优化的种子购买、放置和种群来使产量或投资回报最大化。
在一个实施例中，脚本生成指令205被编程为提供用于生成脚本(包括可变速率(VR)肥力脚本)的界面。该界面使种植者能够为田地器具(诸如养分施用、种植和灌溉)创建脚本。例如，种植脚本界面可包括用于识别用于种植的种子的类型的工具。在接收到对种子类型的选择之后，移动计算机应用程序200可以显示被划分为管理区域的一个或多个田地，诸如作为数字地图簿指令206的一部分而被创建的田地地图数据层。在一个实施例中，管理区域包括土壤区域以及面板，该面板标识每个土壤区域以及每个区域的土壤名称、质地、排水或其他田地数据。移动计算机应用程序200还可在一个或多个田地的地图上显示用于编辑或创建此类的工具，诸如用于绘制管理区域(诸如土壤区域)的图形工具。种植过程可以应用于所有管理区域，或者不同的种植过程可以应用于管理区域的不同子集。当脚本被创建时，移动计算机应用程序200可以使该脚本可用于以应用控制器可读的格式(诸如存档或压缩的格式)下载。此外，和/或可替代地，脚本可以被从移动计算机应用程序200直接发送到驾驶室计算机115和/或被上传到一个或多个数据服务器并被存储以供进一步使用。
在一个实施例中，氮指令210被编程为提供通过使氮对作物的可用性可视化来告知氮决策的工具。这使种植者能够通过季节期间的优化的氮施用来使产量或投资回报最大化。示例编程功能包括：显示图像(诸如SSURGO图像)以使得能够以高空间分辨率(取决于传感器的接近度和分辨率，精细到毫米或更小)绘制肥料施用区域和/或根据子田地土壤数据(诸如从传感器获得的数据)生成的图像；上传现有的种植者定义的区域；提供植物养分可用性的图和/或使得能够调节跨多个区域的一次或多次氮施用的地图；输出脚本以驱动机械；用于大量数据输入和调整的工具；和/或用于数据可视化的地图等。该上下文中的“大量数据输入”可能表示输入数据一次然后将相同的数据应用于已经在系统中定义的多个田地和/或区域；示例数据可包括对于相同种植者的许多田地和/或区域都相同的氮施用数据，但是这样的大量数据输入适用于将任何类型的田地数据输入到移动计算机应用程序200中。例如，氮指令210可被编程为接受氮施用和实践程序的定义以及接受指定跨多个田地应用那些程序的用户输入。该上下文中的“氮施用程序”指的是与以下各项相关联的所存储的命名的数据集：名称，颜色代码或其他标识符，一个或多个施用日期，每个日期的材料或产品类型以及数量，施用或掺入的方法(诸如注入或播撒)，和/或每个日期的施用量或施用速率，作为施用对象的作物或杂种，等等。该上下文中的“氮实践程序”指的是与以下各项相关联的所存储的命名的数据集：实践名称；先前的作物；耕作系统；主要耕作的日期；曾使用的一个或多个先前的耕作系统；曾使用的施用类型(诸如施肥)的一个或多个指示符。氮指令210也可被编程为生成并导致显示氮图，该氮图指示对指定氮的植物使用的预测以及是预测到盈余还是预测到不足；在一些实施例中，不同的颜色指示符可以表示盈余的幅度或不足的幅度。在一个实施例中，氮图包括：计算机显示设备中的包括多行的图形显示，每一行与田地相关联并标识该田地；指定在田地中种植什么作物、田地大小、田地位置和田地周界的图形表示的数据；在每一行中，具有图形指示符的按月的时间线指定与月份名称相关的点处的每次氮施用和数量；以及数字和/或有颜色的盈余指示符或不足指示符，其中颜色指示幅度。
在一个实施例中，氮图可包括诸如刻度盘或滑动条之类的用于动态地改变氮种植和实践程序的一个或多个用户输入特征，使得用户可以优化其氮图。用户然后可以使用其优化的氮图以及相关的氮种植和实践程序来实现一个或多个脚本，包括可变速率(VR)肥力脚本。氮指令210也可被编程为生成并导致显示氮地图，该氮地图指示对指定氮的植物使用的预测以及是预测到盈余还是预测到不足；在一些实施例中，不同的颜色指示符可以表示盈余的幅度或不足的幅度。氮地图可以使用数字和/或有颜色的盈余指示符或不足指示符来显示对指定氮的植物使用的预测以及针对过去和未来的不同时间(诸如每天、每周、每月或每年)是预测到盈余还是预测到不足，其中颜色指示幅度。在一个实施例中，氮地图可包括诸如刻度盘或滑动条之类的用于动态地改变氮种植和实践程序的一个或多个用户输入特征，使得用户可以优化其氮地图，例如以获得优选量的盈余到不足。用户然后可以使用其优化的氮地图以及相关的氮种植和实践程序来实现一个或多个脚本，包括可变速率(VR)肥力脚本。在其他实施例中，与氮指令210类似的指令可以用于其他养分(诸如磷和钾)的施用、农药的施用以及灌溉程序。
在一个实施例中，天气指令212被编程为提供田地专用的最近天气数据和预报天气信息。这使得种植者能够节省时间以及具有关于日常操作决策的高效集成显示。
在一个实施例中，田地健康指令214被编程为提供及时的遥感图像，这些遥感图像突出显示应季作物变化和潜在担忧。示例编程功能包括：云检查，以识别可能的云或云阴影；基于田地图像确定氮指数；对例如包括与田地健康有关的那些的侦察层的图形可视化，以及对侦察笔记的查看和/或共享；和/或从多个来源下载卫星图像，并优先考虑种植者的图像，等等。
在一个实施例中，表现指令216被编程为提供报告、分析和洞察力工具，这些工具使用农场数据进行评估、洞察力和决策。这使种植者能够通过关于为何投资回报处于先前水平的基于事实的结论以及对产量限制因素的洞察力来寻求下一年的改进结果。表现指令216可被编程为经由一个或多个网络109向在农业智能计算机系统130和/或外部数据服务器计算机108处执行的后端分析程序传送，并且被配置为分析诸如产量、产量差异、杂种、种群、SSURGO区域、土壤测试属性或海拔等的度量。编程的报告和分析可包括：产量可变性分析，治疗效果估计，基于从许多种植者收集的匿名数据或种子和种植的数据对照其他种植者的产量和其他度量的基准测试，等等。
具有以这种方式配置的指令的应用程序可以针对不同的计算设备平台来实现，同时保持相同的一般用户界面外观。例如，移动应用程序可被编程以便在使用客户端计算机处的浏览器访问的平板、智能电话或服务器计算机上执行。另外，针对平板计算机或智能电话配置的移动应用程序可以提供适合于驾驶室计算机115的显示和处理能力的完整的应用程序体验或驾驶室应用程序体验。例如，现在参考图2的视图(b)，在一个实施例中，驾驶室计算机应用程序220可包括地图—驾驶室指令222、远程视图指令224、数据收集和传送指令226、机器警报指令228、脚本传送指令230和侦察—驾驶室指令232。视图(b)的指令的代码基可以与视图(a)的相同，并且实现该代码的可执行文件可被编程为检测它们所执行于的平台的类型，并被编程为通过图形用户界面仅暴露适用于驾驶室平台或完整平台的那些功能。该方法使系统能够识别出适用于驾驶室内环境和驾驶室的不同技术环境的截然不同的用户体验。地图—驾驶室指令222可被编程为提供田地、农场或区域的地图视图，这些地图视图在指导机器操作时有用。远程视图指令224可被编程为打开、管理实时的或近乎实时的机器活动的视图并将其经由无线网络、有线连接器或适配器等提供给连接到系统130的其他计算设备。数据收集和传送指令226可被编程为打开、管理在传感器和控制器处收集的数据，并提供将其经由无线网络、有线连接器或适配器等传送到系统130。机器警报指令228可被编程为检测与驾驶室相关联的机器或工具的操作问题并生成操作者警报。脚本传送指令230可被配置为以指令脚本的方式传送，这些指令脚本被配置为指导机器操作或数据的收集。侦查—驾驶室指令232可被编程为基于田地管理器计算设备104、农业装置111或传感器112在田地中的位置来显示从系统130接收到的基于位置的警报和信息，并且摄取、管理基于位置的侦察观察结果并提供基于农业装置111或传感器112在田地中的位置将基于位置的侦察观察结果传送到系统130。
2.3.计算机系统的数据摄取
在一个实施例中，外部数据服务器计算机108存储外部数据110，其包括表示一个或多个田地的土壤组成的土壤数据以及表示一个或多个田地上的温度和降水的天气数据。天气数据可包括过去和当前的天气数据以及对未来天气数据的预测。在一个实施例中，外部数据服务器计算机108包括由不同实体托管的多个服务器。例如，第一服务器可包含土壤组成数据，而第二服务器可包括天气数据。此外，土壤组成数据可存储在多个服务器中。例如，一个服务器可存储表示土壤中的沙子、淤泥和粘土的百分比的数据，而第二服务器可存储表示土壤中的有机物(OM)的百分比的数据。
在一个实施例中，远程传感器112包括一个或多个传感器，这一个或多个传感器被编程或配置为生成一个或多个观察结果。远程传感器112可以是空中传感器(诸如卫星)，车辆传感器，种植设备传感器，耕作传感器，肥料或杀虫剂施用传感器，收割机传感器，以及能够从一个或多个田地接收数据的任何其他器具。在一个实施例中，应用控制器114被编程或配置为从农业智能计算机系统130接收指令。应用控制器114还可被编程或配置为控制农业车辆或用具的操作参数。例如，应用控制器可被编程或配置为控制车辆(诸如拖拉机)、种植设备、耕作设备、肥料或杀虫剂设备、收割机设备或其他农场用具(诸如水阀)的操作参数。其他实施例可使用传感器和控制器的任何组合，其中以下仅仅是选中的示例。
系统130可以在用户102的控制下大规模地从已经将数据贡献给共享数据库系统的大量种植者获得或摄取数据。当请求或触发一个或多个用户控制的计算机操作以获得供系统130使用的数据时，该形式的获取数据可以称为“手动数据摄取”。例如，可以操作可从加利福尼亚州旧金山市的克莱米特公司购买的CLIMATE FIELDVIEW应用程序以将数据导出到系统130，以存储在存储库160中。
例如，种子监视器系统既可以控制播种机装置组件，也可以获得种植数据，包括经由信号线束来自种子传感器的信号，该信号线束包括CAN主干网以及用于注册和/或诊断的点对点连接。种子监视器系统可被编程或配置为经由驾驶室计算机115或系统130内的其他设备向用户显示播种间距、种群和其他信息。在美国专利第8,738,243号和美国专利公开20150094916中公开了示例，并且本公开假定那些其他专利公开的知识。
同样，产量监视器系统可包含用于收割机装置的产量传感器，其将产量测量数据发送至驾驶室计算机115或系统130内的其他设备。产量监视器系统可利用一个或多个远程传感器112来获得联合收割机或其他收割机中的谷物水分测量结果，并经由驾驶室计算机115或系统130内的其他设备将这些测量结果发送到用户。
在一个实施例中，可以与在本文中其他地方描述的类型的任何移动车辆或装置一起使用的传感器112的示例包括运动学传感器和位置传感器。运动学传感器可包括任何速度传感器，诸如雷达或车轮速度传感器、加速计或陀螺仪。位置传感器可包括GPS接收器或收发器，或者基于WiFi的位置或地图应用程序等，这些应用程序被编程为基于附近的WiFi热点来确定位置。
在一个实施例中，可以与拖拉机或其他移动车辆一起使用的传感器112的示例包括：发动机转速传感器，燃料消耗传感器，与GPS或雷达信号交互的面积计数器或距离计数器，PTO(动力输出装置)速度传感器，被配置为检测液压参数(诸如压力或流量)和/或液压泵速度的拖拉机液压传感器，轮速传感器或轮滑传感器。在一个实施例中，可以与拖拉机一起使用的控制器114的示例包括：液压方向控制器，压力控制器，和/或流量控制器；液压泵速度控制器；速度控制器或调速器；悬挂装置位置控制器；或者车轮位置控制器提供自动转向。
在一个实施例中，可以与诸如种植机、条播机或空气播种机之类的种子种植设备一起使用的传感器112的示例包括：种子传感器，其可以是光学、电磁或碰撞传感器；下压力传感器，诸如称重销、称重传感器、压力传感器；土壤性质传感器，诸如反射率传感器、湿度传感器、电导率传感器、光学残留传感器或温度传感器；组件操作标准传感器，诸如种植深度传感器、下压力缸压力传感器、种子盘速度传感器、种子驱动电机编码器、种子输送机系统速度传感器或者真空度传感器；或者杀虫剂施加传感器，诸如光学或其他电磁传感器或碰撞传感器。在一个实施例中，可以与这样的种子种植设备一起使用的控制器114的示例包括：工具栏折叠控制器，诸如用于与液压缸相关联的阀的控制器；下压力控制器，诸如用于与气压缸、安全气囊或液压缸相关联的阀的控制器，并被编程用于将下压力施加到单个行单元或整个种植机框架上；种植深度控制器，诸如线性致动器；计量控制器，诸如电动排种器驱动马达、液压排种器驱动马达或刈幅控制离合器；混合选择控制器，诸如排种器驱动马达，或者被编程用于选择性地允许或阻止种子或空气种子混合物将种子递送到排种器或中央散装料斗中或从排种器或中央散装料斗中递送种子的其他致动器；计量控制器，诸如电动排种器驱动马达或液压排种器驱动马达；种子输送机系统控制器，诸如用于带式种子递送输送机马达的控制器；标记控制器，诸如用于气动或液压致动器的控制器；或者杀虫剂施用速率控制器，诸如计量驱动控制器、孔口尺寸或位置控制器。
在一个实施例中，可以与耕作设备一起使用的传感器112的示例包括：用于诸如柄或盘之类的工具的位置传感器；用于被配置为检测深度、同轴角或侧向间距的此类工具的工具位置传感器；下压力传感器；或牵伸力传感器。在一个实施例中，可以与耕作设备一起使用的控制器114的示例包括下压力控制器或工具位置控制器，诸如被配置为控制工具深度、同轴角或侧向间距的控制器。
在一个实施例中，可以联系用于施用肥料、杀虫剂、杀真菌剂等的装置(诸如播种机上的起动肥料系统、底土肥料施用器或肥料喷雾器)使用的传感器112的示例包括：流体系统标准传感器，例如流量传感器或压力传感器；指示哪些喷头阀或流体管线阀为打开的传感器；与罐相关联的传感器，诸如液位传感器；分段或全系统的供应线传感器，或者行专用的供应线传感器；或者运动学传感器，诸如布置在喷雾器喷杆上的加速度计。在一个实施例中，可以与这样的装置一起使用的控制器114的示例包括：泵速度控制器；阀控制器，其被编程为控制压力、流量、方向、PWM等；或者诸如用于喷杆高度、深耕铲深度或喷杆位置的位置致动器。
在一个实施例中，可以与收割机一起使用的传感器112的示例包括：产量监视器，诸如冲击板应变仪或位置传感器、电容式流量传感器、负载传感器、重量传感器或者与升降机或绞龙相关联的扭矩传感器，或者光学或其他的电磁谷物高度传感器；谷物水分传感器，诸如电容传感器；谷物损失传感器，包括碰撞传感器、光学传感器或电容传感器；割台操作标准传感器，诸如割台高度传感器、割台类型传感器、甲板间隙传感器、送料机速度传感器和拨禾轮速度传感器；分离器操作标准传感器，诸如凹板间隙、转子速度、闸瓦间隙或筛间隙传感器；用于位置、操作或速度的绞龙传感器；或者发动机转速传感器。在一个实施例中，可以与收割机一起使用的控制器114的示例包括：用于诸如割台高度、割台类型、甲板间隙、送料机速度或拨禾轮速度之类的元素的割台操作标准控制器；用于诸如凹板间隙、转子速度、闸瓦间隙或筛间隙之类的特征的分离器操作标准控制器；或者用于绞龙位置、操作或速度的控制器。
在一个实施例中，可以与谷物拖车一起使用的传感器112的示例包括重量传感器或者用于绞龙位置、操作或速度的传感器。在一个实施例中，可以与谷物拖车一起使用的控制器114的示例包括用于绞龙位置、操作或速度的控制器。
在一个实施例中，传感器112和控制器114的示例可以安装在无人驾驶飞行器(UAV)装置或“无人机”中。这样的传感器可包括具有对包括可见光、红外、紫外线、近红外(NIR)等在内的电磁频谱的任何范围都有效的检测器的相机；加速度计；高度计；温度传感器；湿度传感器；皮托管传感器或其他空速或风速传感器；电池寿命传感器；或雷达发射器和反射雷达能量探测装置；其他电磁辐射发射器和反射电磁辐射检测装置。这样的控制器可包括：引导或马达控制设备，控制面控制器，相机控制器，或者被编程为打开任何前述传感器、操作任何前述传感器、从任何前述传感器获得数据、管理和配置任何前述传感器的控制器。在美国专利申请第14/831,165号中公开了示例，并且本公开假定该其他专利公开的知识。
在一个实施例中，传感器112和控制器114可以固定到土壤采样和测量装置，该装置被配置或编程为对土壤进行采样以及执行土壤化学测试、土壤湿度测试和其他与土壤有关的测试。例如，在美国专利第8,767,194号和美国专利第8,712,148号中公开的装置可被使用，并且本公开假定那些专利公开的知识。
在一个实施例中，传感器112和控制器114可以包括用于监测田地的天气状况的天气设备。例如，可以使用于2017年8月16日提交的美国专利申请No.15/551,582中公开的装置，并且本公开假定这些专利公开的知识。
2.4.过程概述——农业模型训练
在一个实施例中，农业智能计算机系统130被编程或配置为创建农艺模型。在该上下文中，农艺模型是农业智能计算机系统130的存储器中的数据结构，其包括田地数据106，诸如一个或多个田地的标识数据和收获数据。农艺模型还可包括计算出的农艺特性，其描述了可能影响田地上的一个或多个作物的生长的条件或一个或多个农作物的特性或两者。此外，农艺模型可包括基于农艺因素的建议，诸如作物建议、灌溉建议、种植建议、肥料建议、杀真菌剂建议、杀虫剂建议、收割建议和其他作物管理建议。农艺因素也可用于估计一个或多个作物相关结果，诸如农艺产量。作物的农艺产量是对所生产的作物的数量的估计，或者在一些示例中是从所生产的作物获得的收入或利润。
在一个实施例中，农业智能计算机系统130可使用预先配置的农艺模型来计算与当前接收到的一个或多个田地的位置和作物信息有关的农艺特性。预先配置的农艺模型基于先前处理的田地数据，其包括但不限于标识数据、收获数据、肥料数据和天气数据。预先配置的农艺模型可能已被交叉验证，以确保模型的准确性。交叉验证可包括与地面实况的比较，其将预测结果与田地上的实际结果进行比较，诸如将降雨估计与提供相同或附近位置的天气数据的雨量计或传感器进行比较，或将氮含量的估计与土壤样品测量结果进行比较。
图3示出了编程的处理，通过该处理，农业智能计算机系统使用由一个或多个数据源提供的田地数据来生成一个或多个预先配置的农艺模型。图3可以用作用于将农业智能计算机系统130的功能元件编程为执行现在描述的操作的算法或指令。
在框305处，农业智能计算机系统130被配置或编程为实现对从一个或多个数据源接收的田地数据的农艺数据预处理。可以出于去除噪声、失真影响以及农艺数据内的混杂因素的目的而对从一个或多个数据源接收的田地数据进行预处理，这些混杂因素包括可能对接收到的田地数据值产生不利影响的测量异常值。农艺数据预处理的实施例可包括但不限于：去除通常与异常数据值相关联的数据值、已知不必要地使其他数据值倾斜的特定测量数据点，数据平滑、聚合，或者用于去除或减少来自噪声的加性或乘性影响的采样技术，以及用于提供正数据输入和负数据输入之间的明显区别的其他滤波或数据推导技术。
在框310处，农业智能计算机系统130被配置或编程为使用预处理后的田地数据来执行数据子集选择，以识别对初始农艺模型生成有用的数据集。农业智能计算机系统130可实现数据子集选择技术，其包括但不限于遗传算法方法、所有子集模型方法、顺序搜索方法、逐步回归方法、粒子群优化方法和蚁群优化方法。例如，遗传算法选择技术基于自然选择和遗传学的进化原理使用自适应启发式搜索算法来确定和评估预处理农艺数据内的数据集。
在框315处，农业智能计算机系统130被配置或编程为实现田地数据集评估。在一个实施例中，通过创建农艺模型并对所创建的农艺模型使用特定质量阈值来评估特定田地数据集。可以使用一种或多种比较技术(诸如但不限于留一交叉验证均方根误差(RMSECV)、平均绝对误差和平均百分比误差)来比较和/或验证农艺模型。例如，RMSECV可以通过将由农艺模型创建的预测农艺属性值与所收集和分析的历史农艺属性值进行比较来交叉验证农艺模型。在一个实施例中，将农艺数据集评估逻辑用作反馈回路，其中在未来的数据子集选择步骤期间使用不满足已配置质量阈值的农艺数据集(框310)。
在框320处，农业智能计算机系统130被配置或编程为基于经交叉验证的农艺数据集来实现农艺模型创建。在一个实施例中，农艺模型创建可实施多变量回归技术以创建预先配置的农艺数据模型。
在框325处，农业智能计算机系统130被配置或编程为存储预先配置的农艺数据模型以用于未来的田地数据评估。
2.5.实现示例——硬件概述
根据一个实施例，本文描述的技术由一个或多个专用计算设备实现。专用计算设备可被硬连线以执行这些技术，或者可包括诸如一个或多个专用集成电路(ASIC)或现场可编程门阵列(FPGA)之类的被永久编程为执行这些技术的数字电子设备，或者可包括被编程为根据固件、存储器、其他存储或组合中的程序指令来执行这些技术的一个或多个通用硬件处理器。这样的专用计算设备还可以将定制的硬连线逻辑、ASIC或FPGA与定制的编程相结合，以实现这些技术。专用计算设备可以是台式计算机系统，便携式计算机系统，手持式设备，联网设备，或是包含用来实现这些技术的硬连线和/或程序逻辑的任何其他设备。
例如，图4是示出了可以在其上实现本发明的实施例的计算机系统400的框图。计算机系统400包括总线402或用于传送信息的其他通信机制，以及与总线402耦合的用于处理信息的硬件处理器404。硬件处理器404可以例如是通用微处理器。
计算机系统400还包括耦合到总线402的用于存储信息和要由处理器404执行的指令的主存储器406，诸如随机存取存储器(RAM)或其他动态存储设备。主存储器406也可用于在要由处理器404执行的指令的执行期间存储临时变量或其他中间信息。这样的指令当存储在处理器404可访问的非暂时性存储介质中时使计算机系统400成为专用于执行在这些指令中指定的操作的专用机器。
计算机系统400还包括耦合到总线402的用于存储静态信息和处理器404的指令的只读存储器(ROM)408或其他静态存储设备。诸如磁盘、光盘或固态驱动器之类的存储设备410被提供并耦合到总线402以存储信息和指令。
计算机系统400可以经由总线402耦合到诸如阴极射线管(CRT)之类的用于向计算机用户显示信息的显示器412。包括字母数字键和其他键的输入设备414耦合到总线402，以向处理器404传送信息和命令选择。另一种类型的用户输入设备是用于向处理器404传送方向信息和命令选择并用于控制显示器412上的光标移动的光标控制416，诸如鼠标、跟踪球或光标方向键。该输入设备通常在两个轴(第一轴(例如，x)和第二轴(例如，y))上具有两个自由度，这允许设备指定平面中的位置。
计算机系统400可以使用定制的硬连线逻辑、一个或多个ASIC或FPGA、固件和/或程序逻辑来实现本文描述的技术，该程序逻辑与计算机系统结合使计算机系统400成为专用机器或将计算机系统400编程为专用机器。根据一个实施例，由计算机系统400响应于处理器404执行在主存储器406中包含的一个或多个指令的一个或多个序列而执行本文中的技术。可以从诸如存储设备410之类的另一存储介质将这样的指令读取到主存储器406中。执行在主存储器406中包含的指令序列使处理器404执行本文描述的处理步骤。在替代实施例中，可以使用硬连线电路来代替软件指令或者与软件指令结合使用硬连线电路。
本文所使用的术语“存储介质”指的是存储数据和/或使机器以特定方式运行的指令的任何非暂时性介质。这样的存储介质可以包括非易失性介质和/或易失性介质。非易失性介质包括例如光盘、磁盘或固态驱动器，诸如存储设备410。易失性介质包括动态存储器，诸如主存储器406。存储介质的常见形式例如包括：软盘，柔性盘，硬盘，固态驱动器，磁带或任何其他磁性数据存储介质，CD-ROM，任何其他光学数据存储介质，具有孔图案的任何物理介质，RAM，PROM，和EPROM，FLASH-EPROM，NVRAM，任何其他存储器芯片或盒式磁带。
存储介质不同于传输介质，但是可以与传输介质结合使用。传输介质参与在存储介质之间传送信息。例如，传输介质包括同轴电缆、铜线和光纤，包括构成总线402的电线。传输介质还可以采用声波或光波的形式，诸如在无线电波和红外数据通信期间生成的那些。
各种形式的介质可参与将一个或多个指令的一个或多个序列运送到处理器404以供执行。例如，指令最初可被携带在远程计算机的磁盘或固态驱动器上。远程计算机可以将指令加载到其动态存储器中，并使用调制解调器通过电话线来发送指令。在计算机系统400本地的调制解调器可以接收电话线上的数据，并使用红外发射器将数据转换为红外信号。红外检测器可以接收红外信号中携带的数据，并且适当的电路可以将数据放置在总线402上。总线402将数据运送到主存储器406，处理器404从主存储器406中检索并执行指令。由主存储器406接收的指令可以可选地在处理器404执行之前或之后存储在存储设备410上。
计算机系统400还包括耦合到总线402的通信接口418。通信接口418向连接到本地网络422的网络链路420提供双向数据通信耦合。例如，通信接口418可以是集成服务数字网络(ISDN)卡、电缆调制解调器、卫星调制解调器，或者用于向对应类型的电话线提供数据通信连接的调制解调器。作为另一个示例，通信接口418可以是用于向兼容的LAN提供数据通信连接的局域网(LAN)卡。无线链路也可被实现。在任何这样的实现中，通信接口418发送和接收电信号、电磁信号或光信号，这些电信号、电磁信号或光信号携带表示各种类型的信息的数字数据流。
网络链路420通常向其他数据设备提供通过一个或多个网络的数据通信。例如，网络链路420可以向主机计算机424或向由因特网服务提供商(ISP)426操作的数据设备提供通过本地网络422的连接。ISP 426继而通过现在通常称为“因特网”428的全球分组数据通信网络来提供数据通信服务。本地网络422和因特网428都使用携带数字数据流的电信号、电磁信号或光信号。通过各种网络的信号和在网络链路420上并通过通信接口418的信号是传输介质的示例形式，这些信号向和从计算机系统400传送数字数据。
计算机系统400可以通过一个或多个网络、网络链路420和通信接口418发送消息和接收包括程序代码在内的数据。在因特网示例中，服务器430可以通过因特网428、ISP426、本地网络422和通信接口418来发送所请求的应用程序的代码。
所接收的代码可以在其被接收时由处理器404执行，并且/或者存储在存储设备410或其他非易失性存储中以供以后执行。
3.功能描述
3.1训练集和数字模型构造
在一些实施例中，服务器170被编程为收集一个或多个图像训练集，以训练用于识别植物病害的数字模型。对于玉米，一个或多个训练图像集可以包括玉米叶子的照片。每个照片优选地示出不重叠的病害症状。常见的玉米病害包括炭疽病(ALB)、普通锈病(CR)、眼斑病(EYE)、灰斑病(GLS)、高斯枯萎病(GW)、北叶枯病(NLB)、北叶斑病(NLS)、南叶枯病(SLB)和南方锈病(SR)。不同病害的症状往往看起来有所不同。例如，CR、EYE、SR和早期GLS(GLS-early)倾向于产生相对较小的斑点状或稍长的病变，而GW、NLB和晚期GLS(GLS-late)倾向于产生较大的带状或大大延长的病变。因此，可以构造至少两个训练集以训练至少两个数字模型，每个数字模型被设计为将输入图像分类为与具有相似尺寸的症状的一个或多个植物病害相对应的一个或多个类别。
在一些实施例中，给定特定图像，服务器170可以被编程为首先将特定图像的尺寸调节为标准尺寸，并且然后使用具有一定步幅(用于在输入图像上移动滑动窗口的像素数)的滑动窗口从尺寸调节后的图像中提取图像以用于训练集。服务器170可以被编程为进一步将上述一个或多个类别之一的类别标签分配给每个提取的图像。具体地，服务器170可以被编程为从专家接收类别标签，或者基于已知病害症状的图像自动确定类别标签。例如，可以使用本领域技术人员已知的任何匹配技术将具有适当分辨率的已知病害的症状图像与提取图像进行匹配，并且当匹配成功时，可以为提取的图像分配与已知病害相对应的类别标签。
图7A示出了从照片中提取样本图像的示例方法，该照片示出了相对较小的植物病害的症状。在一些实施例中，给定图像是具有SR症状的玉米叶子的照片。服务器170可以被编程为以相对于固定尺寸的滑动窗口的第一缩放因子将给定图像的尺寸调节为第一尺寸的图像702，诸如使用本领域技术人员已知的尺寸调节技术相对于尺寸为224个像素乘以224个像素的滑动窗口以为第一缩放因子5，从3000个像素乘4000个像素调节为1120(224*5)个像素乘1493个像素。图像720仍然示出相对较小的SR症状，诸如区域710中的病变。服务器170被编程为随后以一定步幅对图像702逐行或逐列地应用相对较小滑动窗口，以确定滑动窗口的下一位置相对于当前位置在何处。例如，在滑动窗口的尺寸为224个像素乘224个像素的情况下，步幅可以是224个像素，从而导致下一位置与当前位置之间没有重叠，并且当图像702具有1120个像素乘1493个像素时，总共可以提取30个图像。因此，从滑动窗口的初始位置704开始，同一行中的下一位置将是706，并且同一列中的下一位置将是708。图像702中与滑动窗口的每个位置相对应的部分可以被提取，并且被分配类别标签。在该示例中，给定存在SR病变，与位置704相对应的部分可以被分配用于SR病害类别的“SR”标签，与位置706相对应的部分可以类似地被分配“SR”标签，与位置706相对应的部分可以被分配表示无病害(ND)类别的健康状况或缺乏病害症状的标签。
图7B示出了从照片中提取样本图像的示例方法，该照片示出了相对较大的植物病害的症状。在一些实施例中，图像可以是具有GW症状的玉米叶子的照片。服务器170被编程为以小于第一缩放因子的第二缩放因子，对给定图像进行尺寸调节为图像712，诸如使用本领域技术人员已知的尺寸调节技术以为2的第二缩放因子，从3000个像素乘4000个像素调节为448(224*2)个像素乘597个像素。图像712仍然示出相对较大的GW症状，诸如区域718中的病变。服务器170被编程为随后以一定步幅对图像712逐行或逐列地应用相对较大滑动窗口，以确定滑动窗口的下一位置相对于当前位置在何处。例如，在滑动窗口的尺寸为224个像素乘224个像素的情况下，步幅可以是112个像素，从而导致下一位置与当前位置之间有一半重叠，并且当图像712具有448个像素乘597个像素时，总共可以提取12个图像。因此，从滑动窗口的初始位置714开始，同一行中的下一位置将是716。图像712中与滑动窗口的每个位置相对应的部分可以被提取，并且被分配类别标签。在该示例中，给定存在GW病变，与位置714相对应的部分可以被分配用于GW病害类别的“GW”标签，与位置716相对应的部分可以类似地被分配“GW”标签。
在一些实施例中，服务器170被编程为处理多个图像以针对每个植物病害提取足够的样本图像。图像可以从图像服务器或用户设备中获取到。优选地，图像由于不同光照条件或具有不同形状、尺寸或尺度而在不同条件下(诸如在植物的生命周期内的不同点处)示出每种植物病害的症状。为了进一步增加数字模型的广度，服务器170可以被编程为包括更多图像，这些图像示出具有相对较大症状的植物病和具有相对较小症状的植物病的重叠症状，以改善对相对较小症状的检测。例如，这些图像可以示出晚期GLS(大)和CR(小)、GW(大)和CR、GW和SR(小)、NLB(大)和CR、或NLB和SR的重叠症状。服务器170可以被编程为进一步基于所提取的图像中的每种病害的症状所覆盖的总面积来将从这些图像之一中提取的每个图像分配给与主要病害相对应的类别。
在一些实施例中，服务器170被编程为生成所提取图像的变体以增强训练集。更具体地，服务器170可以被配置为旋转或进一步缩放所提取的图像。对于玉米，对于健康状况和每种玉米病害，至少可以有200个图像，其中少于10％的图像示出重叠症状。可以构建两个数字模型，第一数字模型用于检测症状相对较小的玉米病害，第二数字模型用于检测症状相对较大的玉米病害。因此，如图7A和图7B所示，可以针对第一数字模型和第二数字模型分别构建第一训练集和第二训练集。每个训练集可以包括示出将由对应的数字模型来检测的玉米病害的症状的图像。根据将数字模型应用于测试图像的方式，每个训练集可以包括附加图像。当要依次应用第一数字模型和第二数字模型时，如下面进一步讨论的，第一训练集可以包括附加图像，这些附加图像示出第二数字模型被设计为检测的这些病害的症状并且分配有代表所有这些病害的综合类别的公共标签。这些附加图像可以通过将用于第二训练集的原始图像作为用于第一训练集的原始图像进行处理(缩放以捕获特定视场等)来生成。
在一些实施例中，服务器170被编程为构建用于从训练集中识别植物病害的数字模型。数字模型可以是本领域技术人员已知的任何分类模型，诸如决策树或CNN。对于玉米，服务器170可以被编程为从两个训练集中构建两个数字模型，如上所述。第一数字模型用于识别症状相对较小的玉米病害，诸如CR、EYE、SR或早期GLS，第二数字模型用于识别症状相对较大的玉米病害，诸如GW、NLB、或晚期GLS。为了将每个数字模型实现为CNN，可以使用公共库，诸如GitHub平台上可用的ResNet-50软件包。
3.2数字模型执行
在一些实施例中，服务器170被编程为从用户设备接收要分类的新图像，并且将数字模型应用于新图像以获取分类。对于玉米，服务器170可以被编程为以依次应用两个数字模型，以首先检测症状相对较小的玉米病害，然后检测症状相对较大的玉米病害。
图8示出了使用多个数字模型从植物图像中识别具有多尺寸症状的植物病害的示例过程。在一些实施例中，植物是玉米，并且植物图像是玉米叶子的照片。给定要分类的新图像802，服务器170被编程为首先应用第一数字模型来识别症状相对较小的玉米病害。具体地，服务器170可以被编程为以上述第一缩放因子类似地将新图像802的尺寸调节为经尺寸调节的图像，诸如以为5的第一缩放因子从3000个像素乘4000个像素调节为1120(224*5)个像素乘1493个像素。服务器170被编程为随后以一定步幅对尺寸调节图像逐行或逐列地应用相对较小滑动窗口，以确定滑动窗口的下一位置相对于当前位置在何处。滑动窗口的尺寸通常将等于用于构建第一数字模型的样本图像(提取图像)的尺寸。例如，滑动窗口的尺寸可以为224个像素乘224个像素，并且步幅可以为224个像素。对于滑动窗口的每个位置，服务器170可以被编程为将第一数字模型804应用于滑动窗口内的经尺寸调节的图像的部分，以获取与健康状况、症状相对较小的玉米病害中的一个病害、或症状相对较大的玉米病害的集合相对应的分类。例如，部分806被分类为CR、EYE、SR、早期GLS或ND，并且部分812被分类为其他病害(OD)类别。
在一些实施例中，服务器170可以被编程为将由滑动窗口提取的经尺寸调节的图像的每个部分映射回到新图像802的区域中。服务器170被编程为进一步为新图像802准备预测图，其中每个映射区域被示出为具有对应分类的指示符。
图9A示出了示例预测图，该示例预测图示出了将第一数字模型应用于植物图像以识别症状相对较小的植物病害的结果。在一些实施例中，给定滑动窗口的尺寸与新图像的尺寸之间的比例，实质上相对较小的滑动窗口被移动通过新图像920内的不同位置，包括位置902。然后，根据图例906在预测图922中用对应分类来标记与滑动窗口的位置相对应的新图像920的每个区域(第一区域)。例如，区域912已经被分类为表示症状相对较大的玉米病害的组合的OD类别。
再次参考图8，在一些实施例中，对于被分类为与症状相对较大的玉米病害的集合相对应的OD类别的尺寸调节图像的部分，服务器170被编程为应用第二数字模型808以识别症状相对较大的玉米病害。再次参考图9A，每个这样的部分(诸如映射到区域912的一部分)对应于相对较小的视场，并且因此通常仅是相对较大症状的一部分，如区域932所示。因此，服务器170被编程为一次将第二数字模型808应用于多个这样的部分。更具体地，对于每个这样的部分，服务器170可以被配置为还考虑在每个方向上的一定数目的周围部分或周围部分的特定部分，以大致匹配用于构建第二数字模型的视场。例如，可以每个将224个像素乘224个像素的这样的部分与每个方向上的一个周围部分一起考虑，从而得到672(224*3)个像素乘672个像素的组合部分。服务器170可以被配置为进一步将组合部分的尺寸调节为第二数字模型的输入图像的尺寸，从而导致缩放因子为5/3。服务器170可以被配置为随后将第二数字模型应用于尺寸调节组合部分以获取与症状相对较大的玉米病害中的一个病害相对应的分类。再次参考图8，尺寸调节组合部分810被分类为GW、NLB或早期GLS。
在一些实施例中，代替将尚未分类为ND类别的相邻部分包括到组合部分中，服务器170可以被编程为掩蔽(例如，用零值)的新图像802中被分类为与第一多个植物病害中的一个植物病害或健康状况相对应的类别的多个第一区域中的每个第一区域。在一些实施例中，服务器170可以被编程为类似地通过上面提到的第二缩放因子利用掩蔽部分将新图像802的尺寸调节为经尺寸调节的图像，诸如以为2的第一缩放因子从224个像素乘以224个像素调节为448(224*2)个像素乘以448个像素。服务器170可以被编程为随后以一定步幅对尺寸调节图像逐行或逐列地应用相对较大滑动窗口。滑动窗口的尺寸通常将等于用于训练第二数字模型的样本图像(提取图像)的尺寸。例如，滑动窗口的尺寸可以为224个像素乘以224个像素，并且步幅可以为112或224个像素。对于滑动窗口的每个位置，服务器170可以被编程为随后将第二数字模型804应用于经尺寸调节的图像的部分或与滑动窗口内分类为OD类别的组合部分相对应的部分，以获取与症状相对较大的玉米病害中的一个病害相对应的分类。在其他实施例中，服务器170被编程为仅在第二训练集中包括与综合类别相对应的图像，并且在将第一数字模型应用于新图像之前应用第二数字模型。
再次参考图8，在一些实施例中，服务器170可以被编程为类似地将由第二数字模型分类的每个部分映射回到图像802的区域。服务器170被编程为进一步更新图像802的预测图，其中每个新映射的区域被示出为具有对应分类的指示符。服务器170可以被编程为随后向用户设备传输与更新后的预测图有关的分类数据。
图9B示出了示例预测图，该示例预测图示出了将第二数字模型应用于植物图像以识别症状相对较大的植物病害的结果。在一些实施例中，给定滑动窗口的尺寸与新图像的尺寸之间的比例，实质上相对较大的滑动窗口被移动通过新图像920内的不同位置，或者仅在由第一数字模型分类为OD类别的部分内移动，包括位置910。然后，与滑动窗口的位置相对应的新图像920的每个区域(第二区域)在预测图922中被标记为具有对应类别，从而覆盖现有值。例如，被分类为OD类别的图9A所示的区域912现在位于被分类为与晚期GLS相对应的类别的区域908下方。因此，尽管新图像920示出了SR和晚期GLS的重叠症状，但是从新图像920的不同区域检测到两个病害。
在一些实施例中，服务器170被编程为进一步处理更新后的预测图。服务器170可以被配置为计算被分类为每个类别的总面积，并且得出结论，即，与总面积最大的类别相对应的病害是在新图像中捕获的植物中的主导病害。例如，更新的预测图922示出，SR和晚期GLS的症状各自占据新图像920的大约一半，并且因此可以被认为是对于在新图像920中捕获的特定玉米的主导病害。服务器170可以被配置为进一步向用户设备传输与主导病害有关的主导信息。
3.3示例过程
图10示出了由被编程用于从植物图像中识别具有多尺寸症状的植物病害的服务器计算机执行的示例方法。图10旨在公开一种算法、计划或概要，其可以用于实现一个或多个计算机程序或其他软件元素，这些计算机程序或其他软件元素在被执行时引起执行本文中描述的功能改进和技术进步。更进一步地，本文中的流程图以与本领域普通技术人员通常用于就形成他们计划使用他们积累的技能和知识进行编码或实现的软件程序的基础的算法、计划或规格进行相互通信的相同详细程度来进行描述。
在一些实施例中，在步骤1002中，服务器170被编程或配置为获取第一训练集，该第一训练集包括第一照片、第二照片和第三照片，第一照片示出第一多个植物病害中的一个植物病害的第一症状，第二照片未示出症状，第三照片示出第二多个植物病害中的一个植物病害的部分的第二症状。第一多个植物病害产生的症状的尺寸在第一范围内。第二多个植物病害产生的症状的尺寸在第二范围内。第一症状小于第二症状，并且第一照片、第二照片和第三照片对应于通常尺寸的视场。服务器170可以被配置为通过使用适合于捕获第一多个植物病害的个体症状的滑动窗口来从示出多尺寸病害症状的照片生成第一训练集。
在一些实施例中，在步骤1004中，服务器170被编程或配置为从第一训练集中构建第一CNN，以用于将图像分类为与第一多个植物病害中的一个植物病害、健康状况、或第二多个植物病害的组合相对应的类别。因此，当第一CNN被配置为识别k个病害的症状时，第一CNN被配置为将图像分类为k+2个类别中的一个类别。也可以将无病害类别归入综合类别，并且将第二CNN配置为将图像分类为无病害类别。
在一些实施例中，在步骤1006中，服务器170被编程或配置为获取第二训练集，该第二训练集包括示出第二症状的照片。服务器170可以类似地被配置为通过使用适合于捕获第二多个植物病害的个体症状的滑动窗口来从示出多尺寸或多个病害症状的照片生成第二训练集。
在一些实施例中，服务器170被编程或配置为从第二训练集构建第二CNN，以用于将图像分类为与第二多个植物病害中的一个植物病害相对应的类别。服务器170可以被配置为将第一和第二CNN发送给另一计算设备，然后该另一计算设备可以被配置为应用这两个CNN以对被感染植物的新照片进行分类。
在一些实施例中，在步骤1008中，服务器170被编程或配置为从用户设备接收新图像。新图像可以是示出多尺寸症状的被感染植物的照片。
在一些实施例中，在步骤1010中，服务器170被编程或配置为将第一CNN应用于新图像内的多个第一区域以获取多个分类。每个第一区域的尺寸适合于表示第一多个植物病害的个体症状。
在一些实施例中，在步骤1012中，服务器170被编程或配置为将第二CNN应用于第一区域的组合内的一个或多个第二区域，以获取一个或多个分类，所述第一区域被分类为与第二多个植物病害的组合相对应的类别，多个第一区域中的每个第一区域小于一个第二区域。每个第二区域的尺寸适合于表示第二多个植物病害的个体症状。
在一些实施例中，在步骤1014中，服务器170被编程或配置为向用户设备传输分类数据，该分类数据与该多个分类和该一个或多个分类有关，该多个分类是到与第一多个植物病害中的一个植物病害或健康状况相对应的类别的分类。对于新图像的一个或多个区域，分类数据可以包括区域的尺寸和对应分类。服务器170还可以被配置为标识新图像的主要病害，诸如新图像的最大区域已经被分类为的病害，并且发送关于主导病害的信息作为分类数据的一部分。
4.扩展和替代方案
在前述说明书中，已经参考可能随实现而变化的很多具体细节描述了本发明的实施例。因此，说明书和附图应当被认为是说明性的而不是限制性的。本发明的范围的唯一且排他性的指示以及申请人打算作为本发明的范围的内容是权利要求提出的特定形式的从本申请提出的该组权利要求的字面意义和等效范围，包括任何后续更正。

Claims (20)

1.一种从植物图像中识别具有多尺寸症状的植物病害的计算机实现的方法，包括：
由处理器从至少第一照片、第二照片和第三照片中获取第一训练集，所述第一照片示出第一多个植物病害中的一个植物病害的第一症状，所述第二照片未示出症状，所述第三照片示出第二多个植物病害中的一个植物病害的部分第二症状，
所述第一症状小于所述第二症状，
所述第一照片、所述第二照片和所述第三照片对应于类似尺寸的视场；
由所述处理器从所述第一训练集构建第一数字模型，以用于将图像分类为与所述第一多个植物病害、健康状况、或所述第二多个植物病害的组合相对应的第一组类别中的类别；
从示出所述第二症状的至少第四照片获取第二训练集；
从所述第二训练集构建第二数字模型，以用于将图像分类为与所述第二多个植物病害相对应的第二组类别中的类别；
从用户设备接收新图像；
将所述第一数字模型应用于所述新图像内的多个第一区域以获取多个分类；
将所述第二数字模型应用于一个或多个第二区域以获取一个或多个分类，每个第二区域对应于所述多个第一区域中的若干个第一区域的组合，
所述若干个第一区域被分类为与所述第二多个植物病害的所述组合相对应的所述类别；
向所述用户设备传输分类数据，所述分类数据与所述多个分类和所述一个或多个分类有关，所述多个分类是到与所述第一多个植物病害中的一个植物病害或所述健康状况相对应的类别的分类。
2.根据权利要求1所述的计算机实现的方法，所述第一数字模型或所述第二数字模型是卷积神经网络(CNN)或决策树。
3.根据权利要求1所述的计算机实现的方法，
所述第一多个植物病害包括普通锈病、眼斑病、南方锈病、或早期灰斑病，
所述第二多个植物病害包括高斯枯萎病、北叶枯病、或晚期灰斑病。
4.根据权利要求1所述的计算机实现的方法，所述获取所述第一训练集包括：
标识滑动窗口的尺寸；
确定第一缩放因子；
基于所述滑动窗口的所述尺寸和所述第一缩放因子来确定第一图像尺寸；
根据所述第一图像尺寸调节所述第一照片、所述第二照片或所述第三照片的尺寸以获取经尺寸调节的第一照片、经尺寸调节的第二照片或经尺寸调节的第三照片。
5.根据权利要求4所述的计算机实现的方法，所述获取所述第二训练集包括：
确定小于所述第一缩放因子的第二缩放因子；
基于所述滑动窗口的所述尺寸和所述第二缩放因子来确定第二图像尺寸；
根据所述第二图像尺寸调节所述第四照片的尺寸以获取经尺寸调节的第四照片。
6.根据权利要求5所述的计算机实现的方法，还包括：
确定第一步幅和小于所述第一步幅的第二步幅，
所述获取所述第一训练集还包括使用具有所述第一步幅的所述滑动窗口从所述经尺寸调节的第一照片、所述经尺寸调节的第二照片或所述经尺寸调节的第三照片中提取第一组区域，
所述获取所述第二训练集还包括使用具有所述第二步幅的所述滑动窗口从所述经尺寸调节的第四照片中提取第二组区域。
7.根据权利要求6所述的计算机实现的方法，
所述获取所述第一训练集还包括将所述第一组类别中的类别的标签分配给所述第一组区域中的每个区域，
所述构建所述第一数字模型进一步从一组标签被分配给所述第一组区域来执行，
所述获取所述第二训练集还包括将所述第二组类别中的类别的标签分配给所述第二组区域中的每个区域，
所述构建所述第二数字模型进一步从一组标签被分配给所述第二组区域来执行。
8.根据权利要求6所述的计算机实现的方法，所述应用所述第一数字模型包括：
根据所述第一图像尺寸调节所述新图像的尺寸以获取第一更新图像；
使用具有所述第一步幅的所述滑动窗口从所述第一更新图像中提取所述第一多个区域。
9.根据权利要求8所述的计算机实现的方法，所述应用所述第二数字模型包括：
掩蔽所述新图像中被分类为与所述第一多个植物病害中的一个植物病害或健康状况相对应的类别的所述多个第一区域中的每个第一区域以获取掩蔽图像；
根据所述第二图像尺寸调节所述掩蔽图像的尺寸以获取第二更新图像；
使用具有所述第二步幅的所述滑动窗口从所述第二更新图像中提取所述一个或多个第二区域。
10.根据权利要求1所述的计算机实现的方法，所述应用所述第二数字模型包括调节所述第一多个区域中的若干个第一区域的组合的一部分的尺寸以获取所述一个第二区域。
11.根据权利要求1所述的计算机实现的方法，所述第一训练集进一步是从特定照片中获取的，所述特定照片示出所述第一多个植物病害中的一个植物病害的第三症状和所述第二多个植物病害中的一个植物病害的第四症状，所述第四症状与所述第三症状重叠。
12.根据权利要求1所述的计算机实现的方法，还包括：
计算被分类为所述第一组类别和所述第二组类别中的每个类别的所述多个第一区域和所述一个或多个第二区域的总尺寸；
确定所述第一组类别和所述第二组类别中的主导类别，使得被分类为所述主导类别的所述多个第一区域和所述一个或多个第二区域的所述总尺寸最大；
所述分类数据包括有关所述主导类别的信息。
13.一种或多种非暂态计算机可读介质，存储一个或多个指令序列，所述一个或多个指令序列在被执行时使一个或多个处理器执行从植物图像中识别具有多尺寸症状的植物病害的计算机实现的方法，所述方法包括：
从至少第一照片、第二照片和第三照片中获取第一训练集，所述第一照片示出第一多个植物病害中的一个植物病害的第一症状，所述第二照片未示出症状，所述第三照片示出第二多个植物病害中的一个植物病害的部分第二症状，
所述第一症状小于所述第二症状，
所述第一照片、所述第二照片和所述第三照片对应于类似尺寸的视场；
从所述第一训练集构建第一数字模型，以用于将图像分类为与所述第一多个植物病害、健康状况、或所述第二多个植物病害的组合相对应的第一组类别中的类别；
从示出所述第二症状的至少第四照片获取第二训练集；
从所述第二训练集构建第二数字模型，以用于将图像分类为与所述第二多个植物病害相对应的第二组类别中的类别；
从用户设备接收新图像；
将所述第一数字模型应用于所述新图像内的多个第一区域以获取多个分类；
将所述第二数字模型应用于一个或多个第二区域以获取一个或多个分类，每个第二区域对应于所述多个第一区域中的若干个第一区域的组合，
所述若干个第一区域被分类为与所述第二多个植物病害的所述组合相对应的所述类别；
向所述用户设备传输分类数据，所述分类数据与所述多个分类和所述一个或多个分类有关，所述多个分类是到与所述第一多个植物病害中的一个植物病害或所述健康状况相对应的类别的分类。
14.根据权利要求13所述的一种或多种非暂态计算机可读介质，所述获取第一训练集包括：
标识滑动窗口的尺寸；
确定第一缩放因子；
基于所述尺寸和所述第一缩放因子来确定第一图像尺寸；
根据所述第一图像尺寸调节所述第一照片、所述第二照片或所述第三照片的尺寸以获取经尺寸调节的第一照片、经尺寸调节的第二照片或经尺寸调节的第三照片。
15.根据权利要求14所述的一种或多种非暂态计算机可读介质，所述获取第二训练集包括：
确定小于所述第一缩放因子的第二缩放因子；
基于所述滑动窗口的所述尺寸和所述第二缩放因子来确定第二图像尺寸；
根据所述第二图像尺寸调节所述第四照片的尺寸以获取经尺寸调节的第四照片。
16.根据权利要求15所述的一种或多种非暂态计算机可读介质，所述方法还包括：
确定第一步幅和小于所述第一步幅的第二步幅，
所述获取所述第一训练集还包括使用具有所述第一步幅的所述滑动窗口从所述经尺寸调节的第一照片、所述经尺寸调节的第二照片或所述经尺寸调节的第三照片中提取第一组区域，
所述获取所述第二训练集还包括使用具有所述第二步幅的所述滑动窗口从所述经尺寸调节的第四照片中提取第二组区域。
17.根据权利要求16所述的一种或多种非暂态计算机可读介质，
所述获取所述第一训练集还包括将所述第一组类别中的类别的标签分配给所述第一组区域中的每个区域，
所述构建所述第一数字模型进一步从一组标签被分配给所述第一组区域来执行，
所述获取所述第二训练集还包括将所述第二组类别中的类别的标签分配给所述第二组区域中的每个区域，
所述构建所述第二数字模型进一步从一组标签被分配给所述第二组区域来执行。
18.根据权利要求16所述的一种或多种非暂态计算机可读介质，所述应用所述第一数字模型包括：
根据所述第一图像尺寸调节所述新图像的尺寸以获取第一更新图像；
使用具有所述第一步幅的所述滑动窗口从所述第一更新图像中提取所述第一多个区域。
19.根据权利要求18所述的一种或多种非暂态计算机可读介质，所述应用所述第二数字模型包括：
掩蔽所述新图像中被分类为与所述第一多个植物病害中的一个植物病害或健康状况相对应的类别的所述多个第一区域中的每个第一区域以获取掩蔽图像；
根据所述第二图像尺寸调节所述掩蔽图像的尺寸以获取第二更新图像；
使用具有所述第二步幅的所述滑动窗口从所述第二更新图像中提取所述一个或多个第二区域。
20.根据权利要求13所述的一种或多种非暂态计算机可读介质，所述应用所述第二数字模型包括调节所述第一多个区域中的若干个第一区域的组合的一部分的尺寸以获取所述一个第二区域。
CN201980085791.3A 2018-10-24 2019-10-24 利用多阶段、多尺度深度学习的植物病害检测 Pending CN113228047A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201862750143P 2018-10-24 2018-10-24
US62/750,143 2018-10-24
PCT/US2019/057819 WO2020086818A2 (en) 2018-10-24 2019-10-24 Detection of plant diseases with multi-stage, multi-scale deep learning

Publications (1)

Publication Number Publication Date
CN113228047A true CN113228047A (zh) 2021-08-06

Family

ID=70327287

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980085791.3A Pending CN113228047A (zh) 2018-10-24 2019-10-24 利用多阶段、多尺度深度学习的植物病害检测

Country Status (9)

Country Link
US (4) US10713542B2 (zh)
EP (1) EP3871149A4 (zh)
JP (1) JP7357675B2 (zh)
CN (1) CN113228047A (zh)
AR (1) AR116848A1 (zh)
AU (1) AU2019364434A1 (zh)
BR (1) BR112021007682A8 (zh)
CA (1) CA3117337A1 (zh)
WO (1) WO2020086818A2 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113989509A (zh) * 2021-12-27 2022-01-28 衡水学院 基于图像识别的农作物虫害检测方法、检测系统及设备

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11100648B2 (en) 2018-07-11 2021-08-24 Raven Industries, Inc. Detecting crop related row from image
US11818982B2 (en) 2018-09-18 2023-11-21 Deere & Company Grain quality control system and method
US11197417B2 (en) * 2018-09-18 2021-12-14 Deere & Company Grain quality control system and method
US10713542B2 (en) * 2018-10-24 2020-07-14 The Climate Corporation Detection of plant diseases with multi-stage, multi-scale deep learning
US11120552B2 (en) * 2019-02-27 2021-09-14 International Business Machines Corporation Crop grading via deep learning
WO2021007554A1 (en) * 2019-07-11 2021-01-14 Sneyders Yuri Determining image feature height disparity
CN111767849A (zh) * 2020-06-29 2020-10-13 京东数字科技控股有限公司 农作物病虫害识别方法、设备及存储介质
CN112001370A (zh) * 2020-09-29 2020-11-27 中国农业科学院农业信息研究所 一种农作物病虫害识别方法及系统
CN112200846A (zh) * 2020-10-23 2021-01-08 东北林业大学 融合无人机影像与地基雷达点云的林分因子提取方法
KR20220057405A (ko) * 2020-10-29 2022-05-09 주식회사 에스아이에이 수질 관리를 위한 조류 정량화 방법
US11783576B2 (en) * 2020-10-29 2023-10-10 Deere & Company Method and system for optical yield measurement of a standing crop in a field
EP4248356A1 (en) 2020-11-20 2023-09-27 Bayer Aktiengesellschaft Representation learning
CN112562074B (zh) * 2021-02-25 2021-05-04 中国建筑西南设计研究院有限公司 一种智慧绿地的健康判定方法及养护管理方法
CN113052251A (zh) * 2021-03-31 2021-06-29 青岛农业大学 一种基于深度学习的红掌生长指标获取方法
WO2023105030A1 (en) * 2021-12-10 2023-06-15 Basf Agro Trademarks Gmbh Method and system for predicting a crop disease in agriculture
CN114898327B (zh) * 2022-03-15 2024-04-26 武汉理工大学 一种基于轻量化深度学习网络的车辆检测方法
CN114819756B (zh) * 2022-06-24 2022-09-27 深圳众城卓越科技有限公司 基于分类模型的风电机组智能选址方法、装置及设备
CN116385814B (zh) * 2023-03-07 2023-12-05 广州市妇女儿童医疗中心 一种检测目标的超声筛查方法、系统、装置及介质
US11925133B1 (en) * 2023-06-01 2024-03-12 Kuval Pedarla Corn leaf disease detection
CN117115640A (zh) * 2023-07-04 2023-11-24 北京市农林科学院 一种基于改进YOLOv8的病虫害目标检测方法、装置及设备

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130136312A1 (en) * 2011-11-24 2013-05-30 Shih-Mu TSENG Method and system for recognizing plant diseases and recording medium
CN103514459A (zh) * 2013-10-11 2014-01-15 中国科学院合肥物质科学研究院 一种基于Android手机平台的识别农作物病虫害的方法及系统
US20170046613A1 (en) * 2015-08-10 2017-02-16 Facebook, Inc. Systems and methods for content classification and detection using convolutional neural networks
CN106446942A (zh) * 2016-09-18 2017-02-22 兰州交通大学 基于增量学习的农作物病害识别方法
US20170161560A1 (en) * 2014-11-24 2017-06-08 Prospera Technologies, Ltd. System and method for harvest yield prediction
US20170323426A1 (en) * 2016-05-05 2017-11-09 The Climate Corporation Using digital images of a first type and a feature set dictionary to generate digital images of a second type
CN107392091A (zh) * 2017-06-09 2017-11-24 河北威远生物化工有限公司 一种农业人工智能作物检测方法、移动终端和计算机可读介质
CN107742290A (zh) * 2017-10-18 2018-02-27 成都东谷利农农业科技有限公司 植物病害识别预警方法及装置
US20180108123A1 (en) * 2015-06-30 2018-04-19 The Climate Corporation Systems and methods for image capture and analysis of agricultural fields
CN108304812A (zh) * 2018-02-07 2018-07-20 郑州大学西亚斯国际学院 一种基于卷积神经网络和多视频图像的作物病害识别方法
CA3078119A1 (en) * 2017-10-05 2018-10-04 The Climate Corporation Disease recognition from images having a large field of view

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
PL2104413T5 (pl) 2007-01-08 2020-07-13 The Climate Corporation Układ i sposób monitorowania siewnika
WO2009149394A1 (en) 2008-06-06 2009-12-10 Monsanto Technology Llc Generating agricultural information products using remote sensing
US8477295B2 (en) 2009-05-07 2013-07-02 Solum, Inc. Automated soil measurement device
EP3967121A1 (en) 2012-07-25 2022-03-16 Precision Planting LLC System for multi-row agricultural implement control and monitoring
CA3237917A1 (en) 2014-08-22 2016-02-25 Climate Llc Methods for agronomic and agricultural monitoring using unmanned aerial systems
CA2984251C (en) 2015-04-29 2022-10-25 Precision Planting Llc Systems, methods, and devices for monitoring weather and field conditions
KR101933657B1 (ko) 2016-11-11 2019-04-05 전북대학교산학협력단 딥 러닝을 이용한 작물 병충해 검출 및 진단 방법 및 장치
US10255670B1 (en) * 2017-01-08 2019-04-09 Dolly Y. Wu PLLC Image sensor and module for agricultural crop improvement
US10296816B2 (en) * 2017-01-11 2019-05-21 Ford Global Technologies, Llc Generating training data for automatic vehicle leak detection
WO2018208947A1 (en) * 2017-05-09 2018-11-15 Blue River Technology Inc. Automated plant detection using image data
US10438302B2 (en) * 2017-08-28 2019-10-08 The Climate Corporation Crop disease recognition and yield estimation
US10747999B2 (en) * 2017-10-18 2020-08-18 The Trustees Of Columbia University In The City Of New York Methods and systems for pattern characteristic detection
US11636340B2 (en) * 2018-04-17 2023-04-25 Bgi Shenzhen Modeling method and apparatus for diagnosing ophthalmic disease based on artificial intelligence, and storage medium
US10958828B2 (en) * 2018-10-10 2021-03-23 International Business Machines Corporation Advising image acquisition based on existing training sets
US10761075B2 (en) * 2018-10-19 2020-09-01 The Climate Corporation Detecting infection of plant diseases by classifying plant photos
JP6833790B2 (ja) 2018-10-19 2021-02-24 本田技研工業株式会社 表示装置、表示制御方法、およびプログラム
US10713542B2 (en) * 2018-10-24 2020-07-14 The Climate Corporation Detection of plant diseases with multi-stage, multi-scale deep learning

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130136312A1 (en) * 2011-11-24 2013-05-30 Shih-Mu TSENG Method and system for recognizing plant diseases and recording medium
CN103514459A (zh) * 2013-10-11 2014-01-15 中国科学院合肥物质科学研究院 一种基于Android手机平台的识别农作物病虫害的方法及系统
US20170161560A1 (en) * 2014-11-24 2017-06-08 Prospera Technologies, Ltd. System and method for harvest yield prediction
US20180108123A1 (en) * 2015-06-30 2018-04-19 The Climate Corporation Systems and methods for image capture and analysis of agricultural fields
US20170046613A1 (en) * 2015-08-10 2017-02-16 Facebook, Inc. Systems and methods for content classification and detection using convolutional neural networks
US20170323426A1 (en) * 2016-05-05 2017-11-09 The Climate Corporation Using digital images of a first type and a feature set dictionary to generate digital images of a second type
CN106446942A (zh) * 2016-09-18 2017-02-22 兰州交通大学 基于增量学习的农作物病害识别方法
CN107392091A (zh) * 2017-06-09 2017-11-24 河北威远生物化工有限公司 一种农业人工智能作物检测方法、移动终端和计算机可读介质
CA3078119A1 (en) * 2017-10-05 2018-10-04 The Climate Corporation Disease recognition from images having a large field of view
CN107742290A (zh) * 2017-10-18 2018-02-27 成都东谷利农农业科技有限公司 植物病害识别预警方法及装置
CN108304812A (zh) * 2018-02-07 2018-07-20 郑州大学西亚斯国际学院 一种基于卷积神经网络和多视频图像的作物病害识别方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
FUENTES AF: "High-performance deep neural network-based tomato plant diseases and pests diagnosis system with refinement filter bank", 《FRONTIERS IN PLANT SCIENCE》, pages 1 - 14 *
JAYME GARCIA ARNAL BARBEDO: "Digital image processing techniques for detecting, quantifying and classifying plant diseases", 《SPRINGERPLUS》 *
KONSTANTINOS: "Deep learning models for plant disease detection and diagnosis", 《COMPUTERS AND ELECTRONICS IN AGRICULTURE》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113989509A (zh) * 2021-12-27 2022-01-28 衡水学院 基于图像识别的农作物虫害检测方法、检测系统及设备
CN113989509B (zh) * 2021-12-27 2022-03-04 衡水学院 基于图像识别的农作物虫害检测方法、检测系统及设备

Also Published As

Publication number Publication date
BR112021007682A2 (pt) 2021-07-27
US10713542B2 (en) 2020-07-14
US11615276B2 (en) 2023-03-28
US20200342273A1 (en) 2020-10-29
EP3871149A4 (en) 2022-07-06
EP3871149A2 (en) 2021-09-01
WO2020086818A3 (en) 2020-07-30
JP7357675B2 (ja) 2023-10-06
BR112021007682A8 (pt) 2022-11-08
JP2022505742A (ja) 2022-01-14
US20200134392A1 (en) 2020-04-30
US11856881B2 (en) 2024-01-02
US20230225239A1 (en) 2023-07-20
US20220121887A1 (en) 2022-04-21
AU2019364434A1 (en) 2021-05-20
US11216702B2 (en) 2022-01-04
CA3117337A1 (en) 2020-04-30
AR116848A1 (es) 2021-06-16
WO2020086818A2 (en) 2020-04-30

Similar Documents

Publication Publication Date Title
US11769232B2 (en) Machine learning techniques for identifying clouds and cloud shadows in satellite imagery
US11856881B2 (en) Detection of plant diseases with multi-stage, multi-scale deep learning
CN113486846B (zh) 从大视野图像中检测被感染对象的方法及执行其的非暂时性计算机可读存储介质
US11852618B2 (en) Detecting infection of plant diseases by classifying plant photos
US10956780B2 (en) Detecting infection of plant diseases with improved machine learning
RU2820495C2 (ru) Обнаружение болезней растений с помощью многостадийного, многомасштабного глубокого обучения

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: California, USA

Applicant after: Clemet Co.,Ltd.

Address before: California, USA

Applicant before: THE CLIMATE Corp.

CB02 Change of applicant information
CB02 Change of applicant information

Address after: Missouri, USA

Applicant after: Clemet Co.,Ltd.

Address before: California, USA

Applicant before: Clemet Co.,Ltd.