CN111542849A - 捕获植物性状的地面真实化标签的方法和系统 - Google Patents

捕获植物性状的地面真实化标签的方法和系统 Download PDF

Info

Publication number
CN111542849A
CN111542849A CN201880084332.9A CN201880084332A CN111542849A CN 111542849 A CN111542849 A CN 111542849A CN 201880084332 A CN201880084332 A CN 201880084332A CN 111542849 A CN111542849 A CN 111542849A
Authority
CN
China
Prior art keywords
plant
ground truth
phenotypic traits
sensor
insights
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880084332.9A
Other languages
English (en)
Inventor
W.R.里根
M.A.比特曼
B.G.希林斯
D.R.布朗
E.格兰特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Deere and Co
Original Assignee
X Development LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by X Development LLC filed Critical X Development LLC
Publication of CN111542849A publication Critical patent/CN111542849A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01G—HORTICULTURE; CULTIVATION OF VEGETABLES, FLOWERS, RICE, FRUIT, VINES, HOPS OR SEAWEED; FORESTRY; WATERING
    • A01G7/00—Botany in general
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84—Systems specially adapted for particular applications
    • G01N2021/8466—Investigation of vegetal material, e.g. leaves, plants, fruits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Environmental Sciences (AREA)
  • Ecology (AREA)
  • Botany (AREA)
  • Forests & Forestry (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Mathematical Physics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Aviation & Aerospace Engineering (AREA)

Abstract

在实施例中，获取与在田地中生长的植物相关联的传感器数据，并且在田地中时，分析传感器数据以从传感器数据中提取与植物相关联的一个或多个表型性状。在田地中时，将一个或多个表型性状索引到植物的标识符或植物的一部分的虚拟表示中的一个或两个，并基于一个或多个表型性状来确定一个或多个植物见解，其中一个或多个植物见解包括关于植物的健康、产量、种植、生长、收获、管理、表现和状态中的一个或多个的信息。所述植物的健康、产量、种植、生长、收获、管理、表现或状态中的一个或多个被包括在生成的植物见解报告中。

Description

捕获植物性状的地面真实化标签的方法和系统
相关申请的交叉引用
本申请要求2017年12月28日提交的美国专利申请第15/857,512号的优先权，其公开内容通过引用整体结合于此。
技术领域
本公开总体上涉及特征检测，尤其但不排他地，涉及使用计算机化模型用于特征检测。
背景技术
被配置为收集关于在室外、田地中和/或其他生长环境中生长的作物和植物的数据(称为原始数据)的基于传感器的系统可以能够收集大量数据。然而，原始数据本身并不是特别有用。另一方面，基于原始数据的确定的关于作物和植物的见解(insight)可能是有价值的。
考虑到大量的原始数据，从原始数据中自动确定有用的见解将是有益的。自动化方案在能产生准确和可靠的见解的程度上是有用的。在一些实施例中，自动化方案的准确性和/或可靠性可以依赖于已经被具有高置信度或正确的(一个或多个)对应见解标记、注释或以其他方式标识的大量原始数据(也称为地面真实(ground truth)数据或地面真实化(ground truthed)标签)。获取如此大量的地面真实数据可能是困难的。由于收集设备(例如，经历校准漂移的传感器)的可变性、环境条件的改变和/或可能促成地面真实数据的生成的人类的主观性，可用地面真实数据也可能遭受不一致性、不均匀性和/或其他可变性。改进地面真实数据的获取和/或质量可以提高一个或多个随后生成的关于作物和植物的数据的质量和/或原始数据的使用。
附图说明
参考以下附图描述本发明的非限制性和非穷尽性实施例，其中除非另有说明，否则在各个视图中相同的附图标记指代相同的部件。并非元素的所有实例都必须被标记，以免在适当的地方使附图杂乱。附图不一定按比例绘制，而是将重点放在说明所描述的原理上。
图1A描绘了示出根据一些实施例的结合有本公开的地面真实标记技术的示例移动系统的框图。
图1B描绘了根据一些实施例的显示在包括在图1的系统中的用户接口设备上的示例图像，用户可以在该用户接口设备上输入地面真实标签。
图2描绘了根据一些实施例的用于实时(或接近实时)地面真实标签的手动生成的示例过程。
图3描绘了根据一些实施例的与植物的半自主地面真实标签的获取相关联的示例图像。
图4描绘了根据一些实施例的用于实时(或接近实时)地面真实标签的半自主生成的示例过程。
图5描绘了根据一些实施例的用于实时(或接近实时)地面真实标签的自主生成的示例过程。
图6描绘了根据一些实施例的可以在本公开的图1的系统中实现的示例设备。
具体实施方式
本文描述了与植物表型性状的地面真实化标签相关的系统、装置和方法的实施例。在实施例中，一种方法，包括：获取与在田地中生长的植物相关联的传感器数据，其中传感器数据是从光学传感器、声学传感器、化学传感器、地理位置传感器、环境传感器和天气传感器中的一个或多个获取的；在田地中时，分析传感器数据，以从传感器数据中提取与植物相关联的一个或多个表型性状；在田地中时，将一个或多个表型性状索引到植物的标识符或植物的一部分的虚拟表示中的一个或两个上；基于一个或多个表型性状确定一个或多个植物见解，其中所述一个或多个植物见解包括关于植物的健康、产量、种植、生长、收获、管理、表现和状态中的一个或多个的信息；以及生成植物见解报告，该报告包括植物的健康、产量、种植、生长、收获、管理、表现和状态中的一个或多个。
在下面的描述中，许多的具体细节被阐述以提供对实施例的全面理解。然而，相关领域的技术人员将认识到，可以在没有一个或多个具体细节的情况下，或者利用其他方法、组件、材料等来实践本文描述的技术。在其他情况下，没有详细示出或描述众所周知的结构、材料或操作，以避免使某些方面模糊。
贯穿本说明书对“一个实施例”或“实施例”的引用意味着结合该实施例描述的特定特征、结构或特性被包括在本发明的至少一个实施例中。因此，在本说明书各处出现的短语“在一个实施例中”或“在实施例中”不一定都指相同实施例。此外，在一个或多个实施例中，特定特征、结构或特性可以以任何合适的方式组合。
图1A描绘了示出根据一些实施例的结合有本公开的地面真实标记技术的示例移动系统100的框图。移动系统100可以被配置为部署在植物或作物田地环境中，以捕获原始植物数据和相关联的元数据，以及与所捕获的原始数据相关联的植物性状的地面真实化标签的同时生成。系统100可以遍历种植在田地中的每行植物(作物、作物植物、结果实的植物、结蔬菜的植物或结种子的植物)，以便捕获关于包括在行中的每个植物的原始植物数据和相关联的元数据，如本文将详细描述的。系统100也可以被称为移动平台、车辆、手推车等。
在一些实施例中，系统100可以包括但不限于与传感器102中的每个和用户接口设备106通信的计算设备104。传感器102可以包括多个传感器、检测器、相机和/或能够捕获一个或多个原始植物数据和相关联的元数据(统称为原始数据、原始传感器数据或传感器数据)的其他设备。传感器102可以包括但不限于无源传感器、有源传感器、用于成像或光谱学的光学传感器(例如，红绿蓝(red green blue，RGB)相机、多光谱成像、高光谱成像、光检测和测距(light detection and ranging，LIDAR)、雷达、热传感器、红外(infrared，IR)、近IR、微波、毫米(mm)波、x射线等)、声学传感器(例如，超声波或低频等)、化学传感器(例如，用于捕获植物、空气、土壤性质等)、地理位置传感器/设备/系统(例如，全球定位系统(global positioning system，GPS)、GPS-实时动态(real time kinematic，RTK)、RTK全球导航卫星系统(global navigation satellite system，GNSS)等)、环境和/或天气感测设备/系统(例如，用于捕获光、温度、湿度、地面高程等)，等等。
计算设备104可以包括能够执行机载(onboard)处理和存储功能的一个或多个设备。计算设备104可以包括但不限于一个或多个处理器和存储设备。计算设备104的至少一部分可以包括例如膝上型电脑、平板电脑、移动设备、台式计算机、低成本计算机(例如，Raspberry Pi)、计算设备、图形处理单元(graphical processing unit，GPU)、张量处理单元(tensor processing unit，TPU)、机器学习(machine learning，ML)优化芯片、图像处理优化芯片等。在一些实施例中，计算设备104可以被配置为处理由传感器102捕获的数据、存储数据、促进数据往返用户接口设备106等。
在一些实施例中，计算设备104可以另外包括一个或多个通信组件，诸如无线通信组件，以便与远程网络、服务器、数据库、地理定位卫星系统等通信。例如，为了处理可能超过计算设备104的处理能力或带宽的密集型任务，这种处理任务可以由远程服务器执行，并且所得到的数据可以被返回给计算设备104以供后续使用。作为另一个示例，由传感器102捕获的原始数据、在系统100生成的地面真实标记的数据、从原始数据提取的表型、植物性状或见解等可以备份在位于远离系统100的数据库中。
用户接口设备106可以被配置为向操作人员或用户110呈现一个或多个类型的数据和/或促进从用户110接收输入。要显示给用户110的数据可以由计算设备104提供，并且从用户110接收的数据可以被提供给计算设备104。用户接口设备106可以包括促进与用户110接口的组件。用户接口设备106可以包括但不限于屏幕、触摸屏、键盘、鼠标、操纵杆、麦克风、图形用户界面(graphical user interface，GUI)等。在一些实施例中，用户接口设备106可以与计算设备104组合。在替代实施例中，用户接口设备106可以包括处理和/或存储功能，其中来自传感器102的原始数据和/或来自计算设备104的数据可以被处理以生成适于在用户接口设备106上显示的信息。
系统100可以被配置为在植物或作物田地内移动。系统100可以遍历可以被组织成多个植物或作物行的植物或作物田地112。系统100可以(例如，在方向108上)一次一行地(或一些其他模式)遍历田地112，其中位于其中的每个植物或作物可以由传感器102感测。系统100可以由用户110手动定位(例如，推动)到相应的植物。可选地，或者除此之外，系统100可以包括运输机构，诸如引擎或马达，以促进系统100自动定位到植物。包括在田地112中的植物114、116、118、120可以彼此相同或不同。
系统100可以被配置为相对于被感测的植物而定位于上方、旁边等。在一些实施例中，系统100可以在一时间段内多次感测植物114-120，从而获得与相同植物相关联的时间序列原始数据。
在一些实施例中，系统100可以被配置为同时、实时或接近实时地生成与由传感器102捕获的原始数据相关联的地面真实标记的数据。具体地，地面真实标记的数据可以由用户110手动提供。图1B描绘了根据一些实施例的在用户接口设备106上显示的示例图像121，用户110可以在用户接口设备106上输入地面真实标签。
图像121可以包括基于由传感器102捕获的植物114的原始数据的至少一部分的植物114的图像。当植物114的图像被显示给用户110时，用户110可以经由用户接口设备06来标识(identify)、注释、标记或以其他方式指定植物114的一个或多个地面真实标签。地面真实标签可以包括具有准确或正确的高置信度的对植物表型性状的标识、分类和/或测量。在一些实施例中，地面真实标签可以由用户110通过查看图像121中描绘的植物114(例如，基于感测的原始数据)和/或在实际植物114上进行的直接观察或测量来手动指定。
例如，在图1B中，用户110可以观看图像121中描绘的植物，并且添加标签122来对叶片进行地面真实标记(例如，使用触摸屏、键盘、鼠标等在每个叶片周围手动放置框)，并且添加标签124来对果实进行地面真实标记。用户110还可以用标尺直接测量实际植物114的高度，并将测量的植物高度作为地面真实标签126输入到图像121上。因此，包括与植物的原始感测数据相关联的植物表型或性状的地面真实标签可以由操作人员、经训练的人员等手动输入。
图2描绘了根据一些实施例的用于实时(或接近实时)地面真实标签的手动生成的示例过程200。在框202，可以捕获、获得或获取与特定植物(例如，植物114)相关联的原始数据(也称为感测数据)。如上所述，原始数据可以包括关于植物和/或接近植物的环境感测或收集的各种数据。原始数据可以是彼此同时的。原始数据可以包括但不限于：植物和/或附近周围区域的RBG图像、归一化差异植被指数(normalized difference vegetationindex，NDVI)图像、多光谱图像、高光谱图像、LIDAR图像、雷达图像、热图像、微波图像、毫米波图像、x射线图像、超声波或低频声学感测数据、植物和/或附近周围区域的化学感测数据(例如，pH、湿度水平、肥料成分、重金属含量或其他土壤性质)、地理位置数据、环境或天气数据(例如，光、温度、湿度、土壤性质、太阳入射特性等)、三维(3D)点云植物数据等。原始数据可以由传感器102捕获和/或从计算设备104促进的(一个或多个)远程源获得。
接下来在框204，计算设备104可以被配置为处理和/或保存原始数据。例如，原始数据的至少一部分可以被过滤、校准、相互关联、标注(例如，分配给每个植物的唯一标识符，与时间日期戳相关联)、索引、以其他方式处理等。数据的原始和/或经处理的版本可以本地存储在系统100处和/或远程地存储。
在框206，计算设备104可以生成将适合用户110查看和提供(一个或多个)地面真实标签的原始或经处理的植物数据的版本。合适版本的示例可以包括与在框202中捕获的原始数据相关联的植物的一个或多个图像。在一些实施例中，合适版本可以显示在用户接口设备106上，诸如图1B的图像121中描绘的植物。
接下来，在框208，用户接口设备106可以被配置为从用户110接收与框206中呈现的合适版本中描述的植物相关联的地面真实标记的数据。在一些实施例中，可以显示植物的多个图像，并且用户110可以从多个图像中选择图像的子集来进行地面真实标记。地面真实标签可以指定、标识或量化感兴趣植物的一个或多个植物表型或性状——物理属性或特性。植物或作物的表型或表型性状可以包括但不限于高度、宽度、产量、化学成分、健康状况(例如疾病)、应激(stress)状况(例如干旱)、质量(例如草莓的圆度)、叶片计数、叶片大小、果实大小、花大小、果实密度、果实计数、茎强度和/或各种其他属性，其中一些属性可以是植物类型或植物特有的。
可以使用例如触摸屏、鼠标、触控板、操纵杆、物理键盘、虚拟键盘、触笔、语音命令等以各种方式中的任何一种来输入地面真实标签。地面真实标签的指示也可以是各种格式中的任何一种。例如，在图1B所示的图像121中，用户110可以使用他的手指在植物的每个叶片周围规定框(例如，标签122)，在植物的每个果实周围规定框(例如，标签124)，并输入植物的测量高度的值(例如，标签126)。如上所述，手动地面真实标签可以基于原始数据或经处理的原始数据的直接观察(例如，观察作为原始数据的一部分收集的植物的(一个或多个)图像)和/或实际植物的直接观察或测量。继续图像121的示例，在用户110使用标尺或卷尺测量实际植物的高度之后，可以输入标签126。
在一些实施例中，框206和208可以与框202同时执行，以便相对于原始数据捕获实时或接近实时地生成地面真实标签，同时感兴趣的植物处于相同的状态，用户110接近实际植物以进行直接观察和测量等。框202、206、208可以在处于田地中的相同会话期间执行，而不离开田地等。例如，如果显示在用户接口设备106上的植物的图像有错误，用户110能够启动新的原始数据的获取、校准传感器102中的一个或多个等，而不是在(很)晚的时间点发现要被地面真实标记的原始数据不适合执行地面真实标记。因此，不一致性、传感器校准漂移或其他因素可以在田地中时(而不是在离开田地之后或离开后返回田地时)被最小化或解决。
在框210，一旦手动指定了地面真实标签，地面真实标签数据可以被本地和/或远程地存储。在一些实施例中，地面真实标签数据的处理可以发生，以促进存储和以后的检索。例如，地面真实标签的表型性状可以被索引；与标识符、时间日期戳、用户标识符、植物标识符、原始数据、植物的相应部分的虚拟表示相关联，相互关联或合并(consolidate)；等等。原始数据、经处理的原始数据、地面真实标签和潜在的经处理的地面真实标签可以相互关联，并以结构化格式存储，以促进选择性访问。
接下来，在框212，系统100可以前进到下一个植物，并且过程200可以返回到框202以获得与新植物相关联的原始数据。取决于系统100的移动能力，系统100可以渐进地(incrementally)、连续地或周期性地前进到下一个植物。尽管上面讨论了单个植物的原始数据和地面真实标记，但是应当理解，一个以上的植物可以同时被感测或者地面真实标记。
从框210继续还可以是框214，其可以在田地环境中现场(on-site)、场外(off-site)或在对于(例如，为整行、整个田地等)的多个植物的地面真实标签生成后被执行。在一些实施例中，计算设备104和/或远程计算资源可以被配置为至少基于地面真实标记的数据来生成一个或多个推荐的干预策略、植物/作物管理策略或实践等(统称为植物见解)。植物见解可以适用于特定植物/作物、多个特定植物/作物、(一个或多个)特定田地和/或是时间特定的。在一些实施例中，与第一植物相关联的植物见解可以基于与第一植物相关联的一个或多个地面真实标记的数据、与第一植物和除第一植物之外的一个或多个植物相关联的一个或多个地面真实标记的数据、与第一植物相关联的一个或多个地面真实标记的数据和与第一植物相关联的历史地面真实标记的数据、与第一植物相关联的一个或多个地面真实标记的数据和与除第一植物之外的一个或多个植物相关联的历史地面真实标记的数据等。
植物见解可以包括关于感兴趣的植物的健康、产量、种植、生长、收获、管理、表现和状态中的一个或多个的预测、推荐、策略、估计和/或信息。对于给定的植物，可以分析其相关联的地面真实标签，以确定一个或多个所识别的性状是否偏离理想或预期的正常状态，并且如果检测到偏离，则访问知识库，该知识库指定可以采取什么(一个或多个)行动来解决该偏离。例如，叶片大小、形状、颜色或其他性状可以指示特定疾病的存在。知识库可以指定可以采取什么治疗来从植物中消除特定疾病，防止特定疾病传播到其他植物，防止特定疾病在随后种植/生长的植物中发生，等等。作为另一个示例，对于给定的植物，可以分析其相关联的地面真实标签，以标识该给定植物的特定状态或状况。对于开花植物(例如百合)，分析花、叶片、茎或植物整体的大小、形状、颜色、气味或其他性状可以指示花准备好收获的程度，因此，可以对花的理想收获时间做出估计。
植物/作物见解的示例可以包括但不限于包括藤蔓果实的特定植物的(理想的)修剪时间表，特定植物的疾病或昆虫标识和治疗策略，与田地的不同部分的肥料不同的田地的特定部分的肥料成分推荐，基于田地的特定区域之间的微气候或微生长条件差异改变田地的特定区域中的种植密度和/或植物类型来增加作物产量和/或质量，推荐的种植或收获日期，诸如联合收割机或拖拉机的农业设备的操作设置，未来产量的估计等。
在一些实施例中，计算设备104中包括的植物见解逻辑可以被配置为生成植物见解。植物见解逻辑可以被实现为软件，该软件包括将由计算设备104(和/或远程定位的服务器/计算设备，如果计算设备104是资源受限的或者植物见解将在场外生成)中包括的一个或多个处理器执行的一个或多个指令。在替代实施例中，植物见解逻辑(或其一部分)可以实现为固件或硬件，诸如但不限于计算设备104(和/或远程定位的服务器/计算设备)中包括的专用集成电路(ASIC)、可编程阵列逻辑(PAL)、现场可编程门阵列(FPGA)等。
在一些实施例中，在框214，还可以生成包括上述任何植物见解数据的植物见解报告，并将其显示/呈现给用户110。例如，如果植物见解包括时间敏感的推荐，则用户110可以在田地中时采取行动。
在框216，可以本地和/或远程保存所生成的植物见解。这种保存的数据可以与原始数据、经处理的原始数据、地面真实标记的数据、经处理的地面真实标记的数据、特定植物、特定田地、特定地理位置等中的一个或多个相关联。
在替代实施例中，可以生成半自主地面真实标签，包括自主预测的地面真实标签和手动确认的和/或补充的地面真实标签的组合。图3描绘了根据一些实施例的与植物114的半自主地面真实标签的获取相关联的示例图像300和302。图像300和302可以显示在用户接口设备106上。
具体地，图像300可以在获取与植物114相关联的原始数据之后最初显示在用户接口设备106上。图像300中包括的标签310、312、314、316、318包括植物114的表型性状的自主预测的地面真实标签。与植物114相关联的标签310-318可以由一个或多个计算机化模型生成，该计算机化模型被开发为通过分析与植物114相关联的原始数据来自动标识或提取表型性状。计算机化模型可以已经通过原始数据的集合和相关联的表型性状的地面真实标签(诸如结合图2生成的手动地面真实标签的集合)进行了预训练或预配置。将结合图4和图5进一步讨论计算机化模型、技术、算法等的细节。
标签310、312和314预测植物114的相应叶片的地面真实标签，标签316预测植物114的果实的地面真实标签，并且标签318预测植物114的高度的地面真实标签。
在查看图像300时，用户110可以确认、检查、增加、校正、补充和/或以其他方式手动完成植物114的高置信度或准确地面真实标签的生成。图像302描绘了用户110在用户接口设备106上做出输入之后的图像300。在图像302中，新标签322可以包括用户110做出的、与植物114的叶片相关联的标签312的修改。标签312可能已经被修改，因为它仅部分地标识叶片；因此，可能只检测到该叶片的部分大小、颜色、位置和/或其它性状。新标签324标识与模型未检测到的果实相关联的一个或多个性状(参见图像300中缺少该果实的标签)。因此，植物114的地面真实标签的完整集合可以被生成，被部分自主地且部分手动地生成。
图4描绘了根据一些实施例的用于实时(或接近实时)地面真实标签的半自主生成的示例过程400。在一些实施例中，框402和404可以类似于图2的相应框202和204。
在获取、处理(根据需要)和保存了与特定植物(例如，植物114)相关联的原始数据的情况下，过程400可以前进到框405。在框405，计算设备104(和/或远程服务器/计算设备)中包括的地面真实标签预测逻辑可以被配置为基于框404中的原始数据自主提取或预测与特定植物相关联的表型性状的地面真实标签。
地面真实标签预测逻辑可以包括一个或多个计算机化模型，所述一个或多个计算机化模型已经用原始数据的集合和具有高置信度水平或准确性的表型性状的相关联的地面真实标签集进行了预训练或预配置。与感兴趣的植物相关联的原始数据可以包括模型的输入，并且作为响应，模型可以分析原始数据以提取、预测、标识或确定感兴趣的植物的表型性状。可以使用或训练的模型、技术、算法等可以包括但不限于以下中的一个或多个：可以用于确定原始数据中存在的植物的片段或部分的光流技术；计算机视觉技术；卷积神经网或网络(CNN)可以用于分析图像原始数据；循环(recurrent)神经网或网络(RNN)可用于提取原始数据中存在的植物性状；机器学习数据流库(例如，TensorFlow，其是来自TensorFlow社区的机器智能的开源软件库)可用于促进机器学习或深度学习模型的使用；机器学习模型/系统；深度学习模式/系统；等等。
地面真实标签预测逻辑可以被配置为生成地面真实标签，该地面真实标签可以类似于人工生成的地面真实标签和/或比人工生成的地面真实标签更广泛。例如，如果原始数据包括与感兴趣的植物相关联的3D点云植物数据，地面真实标签预测逻辑可以被配置为使用3D点云植物数据自动提取感兴趣的植物的3D架构/结构性状。
在一些实施例中，地面真实标签预测逻辑可以被实现为软件，该软件包括将由计算设备104(和/或远程服务器/计算设备)中包括的一个或多个处理器执行的一个或多个指令。在替代实施例中，地面真实标签预测逻辑(或其一部分)可以实现为固件或硬件，诸如但不限于计算设备104(和/或远程定位的服务器/计算设备)中包括的专用集成电路(ASIC)、可编程阵列逻辑(PAL)、现场可编程门阵列(FPGA)等。
接下来，在框406，计算设备104可以被配置为以用户110可访问的格式在用户接口设备106上生成并呈现框405的预测的地面真实标签。可以呈现一个或多个图像、图形、文本或数字数据、数据表等。例如，预测的地面真实标签可以与感兴趣的植物的图像(诸如图像300)一起可视地显示。用户接口设备106可以提示用户110查看预测的地面真实标签，并接受、补充和/或修改预测。
在框408，用户接口设备106和计算设备104可以被配置为从用户110接收与最终确定(finalizing)地面真实标签相关联的输入。如上所述，用户110可以接受、确认、修改和/或以其他方式提供关于预测的地面真实标签中的一个或多个的指示，并且用户110还可以添加新的地面真实标签，如图像302中所示。用户110可以通过查看框406的呈现(例如，图像300)和/或通过执行实际植物的直接观察或测量(例如，测量或检查植物114)来提供他/她的输入。
在一些实施例中，框405、406和408可以在田地环境中执行，与框402同时或实时(或接近实时)执行。框402、405、406和408可以在田地内的单个时间期间执行，而不离开田地并返回。
在框410，用人类输入补充的自主预测的地面真实标签的组合，称为半自主地面真实标签，可以由计算设备104保存、索引等。过程400然后可以前进到框412，以将系统100定位到下一个植物，并返回到框402，以捕获与下一个植物相关联的原始数据。在相应的框414、416，也可以基于框410的保存的地面真实标记的数据生成和保存植物见解。除了地面真实标记的数据包括在框408处最终确定的半自主地面真实标签之外，框410-416可以类似于图2的框210-216。
在其他替代实施例中，可以基于原始数据生成完全自主地面真实标签。在这种情况下，系统100可以被配置为基于原始数据生成最终的地面真实标签，而无需人类输入。系统100还可以被配置为收集原始数据，实时(或接近实时)处理所收集的原始数据，并且在没有人类输入的情况下实时(或接近实时)提取/生成相关联的地面真实标签。例如，系统100的至少一部分可以包括无人地面车辆(unmanned ground vehicle，UGV)或无人飞行器(unmanned aerial vehicle，UAV)。尽管系统100在图1中被描绘为单个移动平台，但是系统100可以包括两个或更多个移动平台，并且一个或多个传感器102(或其部分)、计算设备104和用户接口设备106可以分布在包括系统100的两个或更多个移动平台之间。例如，系统100的第一部分可以包括地面平台，并且系统100的第二部分可以包括空中平台。
图5描绘了根据一些实施例的用于感兴趣的植物(例如，植物114)的植物表型性状的自主地面真实标签的生成的示例过程500。在框502和504，可以使用系统100来获取、处理(可选的)和保存与感兴趣的植物相关联的原始数据。框502和504可以类似于相应的框202和204。
接下来，在框505，计算设备104(和/或远程服务器/计算设备)中包括的地面真实标签预测逻辑可以被配置为基于框504的原始数据来生成、预测或提取与感兴趣的植物相关联的表型性状的地面真实标签。框505可以类似于框405。被配置为从原始数据中执行自动植物性状提取的模型可以与在框405中用于获得预测的地面真实标签的模型相同或相似。在一些实施例中，框505的模型可以包括框405的模型的受更多训练的版本，使得与框405的模型可以预测的地面真实标签相比，框505的模型可以预测具有更高的置信度或准确度、类型和/或更大的粒度的地面真实标签。在一些实施例中，过程400(或其一部分)可以被认为是框505中使用的模型的训练阶段的一部分。
如上所述，可以训练模型来提取或标识各种植物性状中的任何一种。作为示例，如果在框502中感测的原始数据与植物118和120相关联，则可以对原始数据执行的分析之一可以是将属于植物118的植物结构/部分与属于植物120的植物结构/部分区分或分类。基部、分支和/或茎可以被标识，并且可以对其执行追踪以确定相应植物118、120的范围。
在框505中生成的地面真实标签可以实时、接近实时地生成，或者与原始数据的获取同时生成。当系统100在作物田地中时，地面真实标签可以在现场生成。
接下来，在框506，计算设备104可以被配置为生成和/或呈现在框505中生成的地面真实标签以及可能的相关联的信息。例如，如果用户110可以与系统100一起在田地中，可以通过显示地面真实标签以及感兴趣的植物的图像来演示原始数据的实时(或接近实时)使用。例如，如果在田地中没有操作人员，则框506可以是可选的。
一旦已经生成了地面真实标签，由于它们包括高置信度的提取的表型性状数据，这样的数据和/或被配置用于呈现的版本可以在框510被保存，而无需用户110检查、校正或增加。然后，在框512，系统100可以被重新定位，以捕获与下一个植物相关联的原始数据，过程500返回到框502。框510和512可以类似于相应的框210和212。在一些实施例中，框512可以与框504、505、506或510中的任何一个同时发生。
在框514，也可以基于在框510中保存的地面真实标签来自动生成植物见解，并且可以在框516保存这样的植物见解。框514、516可以类似于相应的框214、216。在框505中生成并结合框506-516提及的地面真实标签也可以被称为基于与感兴趣的植物相关联的原始/传感器数据而自主提取的表型性状。
以这种方式，可以与关于植物或作物感测的数据的获取实时(或接近实时)准确地确定与该植物或作物相关联的多个植物表型性状。取决于自动分析系统的可用性、自动分析系统的准确性或置信度水平、有知识的操作人员手动获取植物表型性状的可用性等，植物表型性状的不同程度的自主生成可以是可能的。也可以与植物表型性状的确定实时(或接近实时)地生成基于所确定的植物表型性状的植物见解。诊断植物疾病(例如，基于叶片颜色、大小、形状或其它植物特性)和制定治疗计划或估计果实植物何时准备好收获(例如，基于生长在植物上的果实的大小、颜色或形状)是可以提供的植物见解的示例。
图6描绘了根据一些实施例的可以在本公开的系统100中实现的示例设备。图6的设备可以包括传感器102、计算设备104、用户接口设备106、远程服务器、远程数据库和/或系统100的远程资源中的任何一个的至少一部分。所示的平台600包括用于传送信息的总线或其他内部通信装置615，以及耦合到总线615用于处理信息的处理器610。该平台还包括耦合到总线615的随机存取存储器(RAM)或其他易失性存储设备650(本文中可选地称为主存储器)，用于存储信息和将由处理器610执行的指令。主存储器650还可以用于存储处理器610执行指令期间的临时变量或其他中间信息。平台600还包括耦合到总线615的只读存储器(ROM)和/或静态存储设备620，用于存储处理器610的静态信息和指令，以及数据存储设备625，诸如磁盘、光盘及其对应的磁盘驱动器，或者便携式存储设备(例如，通用串行总线(USB)闪存驱动器、安全数字(SD)卡)。数据存储设备625耦合到总线615，用于存储信息和指令。
平台600可以进一步耦合到显示设备670，诸如通过总线665耦合到总线615的阴极射线管(CRT)或液晶显示器(LCD)，用于向计算机用户显示信息。在平台600向创建和安装的显示设备提供计算能力和连接性的实施例中，显示设备670可以显示覆盖有作物田地/子田地信息的图像，如上所述。包括字母数字和其他键的字母数字输入设备675也可以通过总线665(例如，经由红外(IR)或射频(RF)信号)耦合到总线615，用于向处理器610传送信息和命令选择。附加的用户输入设备是光标控制设备680，诸如鼠标、轨迹球、触笔或光标方向键，其通过总线665耦合到总线615，用于向处理器610传送方向信息和命令选择，并用于控制显示设备670上的光标移动。在利用触摸屏接口的实施例中，应当理解，显示器670、输入设备675和光标控制设备680都可以集成到触摸屏单元中。
可以可选地耦合到平台600的另一组件是用于经由网络访问分布式系统的其他节点的通信设备690。通信设备690可以包括许多商业上可用的联网外围设备中的任何一个，诸如用于耦合到以太网、令牌环网、互联网或广域网的那些联网外围设备。通信设备690还可以是零调制解调器连接，或者在平台600和外部世界之间提供连接性的任何其他机制。注意，图6中示出的该系统的任何或所有组件以及相关联的硬件可以用于本公开的各种实施例中。
上面解释的过程是依据计算机软件和硬件描述的。所描述的技术可以构成体现在有形或非暂时性机器(例如，计算机)可读存储介质内的机器可执行指令，当由机器执行时，该指令将使机器执行所描述的操作。此外，这些过程可以体现在硬件中，诸如专用集成电路(ASIC)或其他。
有形的机器可读存储介质包括以机器(例如，计算机、网络设备、个人数字助理、制造工具、具有一个或多个处理器的集合的任何设备等)可访问的非暂时性形式提供(例如，存储)信息的任何机制。例如，机器可读存储介质包括可记录/不可记录介质(例如，只读存储器(ROM)、随机存取存储器(RAM)、磁盘存储介质、光学存储介质、闪存设备等)。
包括摘要中描述的内容在内的本发明的示出的实施例的上述描述并不旨在穷举或将本发明限制于所公开的精确形式。虽然本文出于说明的目的描述了本发明的具体实施例和示例，但是如相关领域的技术人员将认识到的，在本发明的范围内进行各种修改是可能的。
鉴于以上详细描述，可以对本发明做出这些修改。所附权利要求中使用的术语不应被解释为将本发明限制于说明书中公开的具体实施例。相反，本发明的范围将完全由所附权利要求来确定，这些权利要求将根据权利要求解释的既定原则来解释。

Claims (20)

1.一种方法，包括：
获取与在田地中生长的植物相关联的传感器数据，其中，所述传感器数据是从光学传感器、声学传感器、化学传感器、地理位置传感器、环境传感器或天气传感器中的一个或多个获取的；
在所述田地中时，基于所述传感器数据和计算机化模型自主预测与所述植物相关联的一个或多个表型性状；
呈现所预测的一个或多个表型性状的指示；
获得对所预测的一个或多个表型性状的指示中的至少一个的确认、修改或添加指示；
基于所预测的一个或多个表型性状和所获得的确认、修改或添加指示，确定与所述植物相关联的一个或多个地面真实标记的表型性状；以及
在所述田地中时，将所述一个或多个地面真实标记的表型性状索引到所述植物的标识符或所述植物的一部分的虚拟表示中的一个或两个。
2.根据权利要求1所述的方法，其中，所述计算机化模型包括机器学习系统、深度学习系统、光流技术、计算机视觉技术、卷积神经网络(CNN)、循环神经网络(RNN)或机器学习数据流库。
3.根据权利要求1所述的方法，其中，获得所述确认、修改或添加指示包括从用户获得所述确认、修改或添加指示。
4.根据权利要求3所述的方法，其中，获得所述确认、修改或添加指示包括基于用户对所述植物的图像的观看或对所述植物的直接观察中的一个或两个来确定所述确认、修改或添加指示。
5.根据权利要求1所述的方法，还包括：
基于所述一个或多个地面真实标记的表型性状来确定一个或多个植物见解，其中，所述一个或多个植物见解包括关于所述植物的健康、产量、种植、生长、收获、管理、表现或状态中的一个或多个的信息；以及
生成植物见解报告，所述植物见解报告包括所述植物的健康、产量、种植、生长、收获、管理、表现或状态中的一个或多个。
6.根据权利要求5所述的方法，其中，确定所述一个或多个植物见解包括在所述田地中时确定所述一个或多个植物见解。
7.根据权利要求5所述的方法，还包括：在所述田地中时，基于所述传感器数据标识与所述植物相关联的一个或多个元数据或者接近所述植物的环境的条件。
8.根据权利要求7所述的方法，其中，接近所述植物的环境的条件包括土壤性质、土壤化学成分、光、太阳特性、温度或湿度，并且其中，确定所述一个或多个植物见解包括基于所述一个或多个地面真实标记的表型性状和接近所述植物的环境的条件来确定所述一个或多个植物见解。
9.根据权利要求1所述的方法，其中，所预测的一个或多个表型性状包括所述植物的物理属性，并且其中，所述植物包括作物植物、结果实的植物、结蔬菜的植物或结种子的植物。
10.根据权利要求1所述的方法，其中，获取所述传感器数据包括使用人类操作的车辆、无人飞行器(UAV)或无人地面车辆(UGV)来获取所述传感器数据。
11.一个或多个计算机可读存储介质，包括多个指令，所述多个指令响应于由装置的一个或多个处理器的执行，使所述装置：
获取与在田地中生长的植物相关联的传感器数据，其中，所述传感器数据是从光学传感器、声学传感器、化学传感器、地理位置传感器、环境传感器或天气传感器中的一个或多个获取的；
在所述田地中时，基于所述传感器数据和计算机化模型自主预测与所述植物相关联的一个或多个表型性状；
呈现所预测的一个或多个表型性状的指示；
获得对所预测的一个或多个表型性状的指示中的至少一个的确认、修改或添加指示；
基于所预测的一个或多个表型性状和所获得的确认、修改或添加指示，确定与所述植物相关联的一个或多个地面真实标记的表型性状；以及
在所述田地中时，将一个或多个地面真实标记的表型性状索引到所述植物的标识符或所述植物的一部分的虚拟表示中的一个或两个。
12.根据权利要求11所述的计算机可读存储介质，其中，所述计算机化模型包括机器学习系统、深度学习系统、光流技术、计算机视觉技术、卷积神经网络(CNN)、循环神经网络(RNN)或机器学习数据流库。
13.根据权利要求11所述的计算机可读存储介质，其中，获得所述确认、修改或添加指示包括从用户获得所述确认、修改或添加指示。
14.根据权利要求13所述的计算机可读存储介质，其中，获得所述确认、修改或添加指示包括基于用户对所述植物的图像的观看或对所述植物的直接观察中的一个或两个来确定所述确认、修改或添加指示。
15.根据权利要求11所述的计算机可读存储介质，还包括：响应于由所述装置的一个或多个处理器的执行，使所述装置：
基于所述一个或多个地面真实标记的表型性状来确定一个或多个植物见解，其中，所述一个或多个植物见解包括关于所述植物的健康、产量、种植、生长、收获、管理、表现或状态中的一个或多个的信息；以及
生成植物见解报告，所述植物见解报告包括所述植物的健康、产量、种植、生长、收获、管理、表现或状态中的一个或多个。
16.根据权利要求15所述的计算机可读存储介质，其中，确定所述一个或多个植物见解包括在所述田地中时确定所述一个或多个植物见解。
17.根据权利要求15所述的计算机可读存储介质，还包括：响应于由所述装置的一个或多个处理器的执行，使所述装置在所述田地中时基于所述传感器数据来标识与所述植物相关联的一个或多个元数据或者接近所述植物的环境的条件。
18.根据权利要求17所述的计算机可读存储介质，其中，接近所述植物的环境的条件包括土壤性质、土壤化学成分、光、太阳特征、温度或湿度，并且其中，确定所述一个或多个植物见解包括基于所述一个或多个地面真实标记的表型性状和接近所述植物的环境的条件来确定所述一个或多个植物见解。
19.根据权利要求11所述的计算机可读存储介质，其中，所预测的一个或多个表型性状包括所述植物的物理属性，并且其中，所述植物包括作物植物、结果实的植物、结蔬菜的植物或结种子的植物。
20.根据权利要求11所述的计算机可读存储介质，其中，获取所述传感器数据包括使用人类操作的车辆、无人飞行器(UAV)或无人地面车辆(UGV)来获取所述传感器数据。
CN201880084332.9A 2017-12-28 2018-12-13 捕获植物性状的地面真实化标签的方法和系统 Pending CN111542849A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/857,512 US10492374B2 (en) 2017-12-28 2017-12-28 Capture of ground truthed labels of plant traits method and system
US15/857,512 2017-12-28
PCT/US2018/065564 WO2019133282A1 (en) 2017-12-28 2018-12-13 Capture of ground truthed labels of plant traits method and system

Publications (1)

Publication Number Publication Date
CN111542849A true CN111542849A (zh) 2020-08-14

Family

ID=67057522

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880084332.9A Pending CN111542849A (zh) 2017-12-28 2018-12-13 捕获植物性状的地面真实化标签的方法和系统

Country Status (5)

Country Link
US (3) US10492374B2 (zh)
EP (1) EP3732649A4 (zh)
CN (1) CN111542849A (zh)
CA (1) CA3086213C (zh)
WO (1) WO2019133282A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112416220A (zh) * 2020-11-03 2021-02-26 上海连尚网络科技有限公司 一种用于更新植物生长状态的方法与设备

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10617064B2 (en) * 2017-12-27 2020-04-14 X Development Llc Plant phenotyping techniques using mechanical manipulation, and associated systems and methods
US20210325346A1 (en) * 2018-08-20 2021-10-21 Ramot At Tel-Aviv University Ltd. Plant-monitor
JP6795049B2 (ja) * 2019-03-14 2020-12-02 日本電気株式会社 植物監視装置、植物監視方法、及びプログラム
CN111046730A (zh) * 2019-11-08 2020-04-21 北京海益同展信息科技有限公司 植株数据处理方法、装置、计算机设备和存储介质
EP4061116B1 (en) * 2019-11-19 2024-07-24 Signify Holding B.V. System and method for autonomous monitoring and/or optimization of plant growth
CN110874631B (zh) * 2020-01-20 2020-06-16 浙江大学 一种基于特征图稀疏化的卷积神经网络剪枝方法
US11592570B2 (en) * 2020-02-25 2023-02-28 Baidu Usa Llc Automated labeling system for autonomous driving vehicle lidar data
US20230102916A1 (en) * 2020-02-27 2023-03-30 Signify Holding B.V. A plant growth monitoring system and method
US12067711B2 (en) 2020-11-13 2024-08-20 Ecoation Innovative Solutions Inc. Data processing platform for analyzing stereo-spatio-temporal crop condition measurements to support plant growth and health optimization
US11925151B2 (en) 2020-11-13 2024-03-12 Ecoation Innovative Solutions Inc. Stereo-spatial-temporal crop condition measurements for plant growth and health optimization
US11555690B2 (en) * 2020-11-13 2023-01-17 Ecoation Innovative Solutions Inc. Generation of stereo-spatio-temporal crop condition measurements based on human observations and height measurements
CN113514402B (zh) * 2021-04-12 2023-03-07 新疆农业大学 一种冬小麦叶绿素含量的预测系统及方法
CN113325761A (zh) * 2021-05-25 2021-08-31 哈尔滨工业大学 一种基于深度学习的植株生长期识别控制系统及其识别控制方法
US20230186529A1 (en) * 2021-12-10 2023-06-15 X Development Llc Colorizing x-ray images

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105425755A (zh) * 2015-12-22 2016-03-23 天津宏宝派农业科技发展有限公司 一种基于物联网的智慧农业种植系统
DE102015221085A1 (de) * 2015-10-28 2017-05-04 Robert Bosch Gmbh Verfahren und Informationssystem zum Erkennen zumindest einer auf einem Feld angepflanzten Pflanze
US20170223947A1 (en) * 2014-08-15 2017-08-10 Monsanto Technology Llc Apparatus and methods for in-field data collection and sampling
CN107105062A (zh) * 2017-06-01 2017-08-29 安徽福讯信息技术有限公司 一种基于物联网的智慧农业系统

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5764819A (en) * 1991-10-18 1998-06-09 Dekalb Genetics Corporation Methods for classifying plants for evaluation and breeding programs by use of remote sensing and image analysis technology
US5659623A (en) * 1995-03-17 1997-08-19 Ball Horticultural Company Method and apparatus for assessing the quality of a seed lot
US7916898B2 (en) 2003-09-15 2011-03-29 Deere & Company Method and system for identifying an edge of a crop
ES2427817T3 (es) * 2005-08-01 2013-11-04 Pioneer-Hi-Bred International, Inc. Sistema sensor, método y producto de programa informático para la medición del fenotipo de plantas en entornos agrícolas
US7715013B2 (en) * 2005-09-16 2010-05-11 The United States Of America As Represented By The Administrator Of The United States Environmental Protection Agency Optical system for plant characterization
US7617057B2 (en) * 2005-12-21 2009-11-10 Inst Technology Development Expert system for controlling plant growth in a contained environment
US9152938B2 (en) 2008-08-11 2015-10-06 Farmlink Llc Agricultural machine and operator performance information systems and related methods
ES2885873T3 (es) 2009-05-14 2021-12-15 Pioneer Hi Bred Int Modelado inverso para predicción de características de conjuntos de datos multiespectrales e hiperespectrales detectados de manera remota
US20100324830A1 (en) 2009-06-22 2010-12-23 Solie John B Handheld optical sensor for measuring the normalized difference vegetative index in plants
AR077904A1 (es) * 2009-08-21 2011-09-28 Syngenta Participations Ag Sistema automatizado para analizar el vigor de la planta
US9084389B2 (en) 2009-12-17 2015-07-21 Mapshots, Inc Multiple field boundary data sets in an automated crop recordkeeping system
ES2837552T3 (es) * 2010-03-13 2021-06-30 Univ Carnegie Mellon Método para reconocer y clasificar una planta de raíz desnuda
EP2575421B1 (en) * 2010-05-27 2014-09-24 Syngenta Participations AG Automated system for analyzing phytotoxicity
DK2788958T3 (da) 2011-12-05 2019-12-16 Commw Scient Ind Res Org Fremgangsmåde og system til at karakterisere plantefænotype
US8902413B2 (en) 2012-02-21 2014-12-02 Trimble Navigation Limited Cell phone NDVI sensor
US9147132B2 (en) 2013-09-11 2015-09-29 Digitalglobe, Inc. Classification of land based on analysis of remotely-sensed earth images
US20160247082A1 (en) 2013-10-03 2016-08-25 Farmers Business Network, Llc Crop Model and Prediction Analytics System
US10564316B2 (en) 2014-09-12 2020-02-18 The Climate Corporation Forecasting national crop yield during the growing season
US9652840B1 (en) 2014-10-30 2017-05-16 AgriSight, Inc. System and method for remote nitrogen monitoring and prescription
US20170161560A1 (en) 2014-11-24 2017-06-08 Prospera Technologies, Ltd. System and method for harvest yield prediction
US9792557B2 (en) 2015-01-14 2017-10-17 Accenture Global Services Limited Precision agriculture system
SG10201506012SA (en) 2015-07-31 2017-02-27 Accenture Global Services Ltd Inventory, growth, and risk prediction using image processing

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170223947A1 (en) * 2014-08-15 2017-08-10 Monsanto Technology Llc Apparatus and methods for in-field data collection and sampling
DE102015221085A1 (de) * 2015-10-28 2017-05-04 Robert Bosch Gmbh Verfahren und Informationssystem zum Erkennen zumindest einer auf einem Feld angepflanzten Pflanze
CN105425755A (zh) * 2015-12-22 2016-03-23 天津宏宝派农业科技发展有限公司 一种基于物联网的智慧农业种植系统
CN107105062A (zh) * 2017-06-01 2017-08-29 安徽福讯信息技术有限公司 一种基于物联网的智慧农业系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SELLMANN FABIAN: "RemoteFarming.1: Human-machine interaction for a field-robot-based weed control application in organic farming", 《4TH INTERNATIONAL CONFERENCE ON MACHINE CONTROL & GUIDANCE》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112416220A (zh) * 2020-11-03 2021-02-26 上海连尚网络科技有限公司 一种用于更新植物生长状态的方法与设备
CN112416220B (zh) * 2020-11-03 2023-06-27 上海连尚网络科技有限公司 一种用于更新植物生长状态的方法与设备

Also Published As

Publication number Publication date
WO2019133282A1 (en) 2019-07-04
US20210051860A1 (en) 2021-02-25
US20190200535A1 (en) 2019-07-04
EP3732649A1 (en) 2020-11-04
EP3732649A4 (en) 2021-09-22
US10492374B2 (en) 2019-12-03
CA3086213C (en) 2023-09-26
US10820531B2 (en) 2020-11-03
US20200077596A1 (en) 2020-03-12
US11564357B2 (en) 2023-01-31
CA3086213A1 (en) 2019-07-04

Similar Documents

Publication Publication Date Title
US11564357B2 (en) Capture of ground truthed labels of plant traits method and system
US12008744B2 (en) Mapping field anomalies using digital images and machine learning models
US11765542B2 (en) Hybrid vision system for crop land navigation
US20180308229A1 (en) Method and information system for detecting at least one plant planted on a field
US20170042081A1 (en) Systems, methods and apparatuses associated with soil sampling
US8417534B2 (en) Automated location-based information recall
JP2022505742A (ja) マルチステージでマルチスケールの深層学習による植物病害の検出
US20210209490A1 (en) Using optical remote sensors and machine learning models to predict agronomic field property data
GB2598012A (en) System and method for crop monitoring
CN115731414A (zh) 图像中的作物类型分类
EP4047366A1 (en) Soil quality measurement device
CN105787801A (zh) 精确农业系统
CN113038823A (zh) 自动化样本采集和跟踪系统
UA124801C2 (uk) Точні картографічні дані врожайності, що генеруються комп'ютером із використанням експертних фільтрів та виявленням просторових статистичних викидів
Zhang et al. Feasibility assessment of tree-level flower intensity quantification from UAV RGB imagery: a triennial study in an apple orchard
Sadiq et al. A review on the imaging approaches in agriculture with crop and soil sensing methodologies
Kavitha et al. GIS Systems for Precision Agriculture and Site-Specific Farming
Neeser et al. Performance and cost of field scouting for weeds and diseases using imagery obtained with an Unmanned Aerial Vehicle
US20220398841A1 (en) Information processing device, information processing method, and program
Bett Using Image Processing for Plant Health Monitoring
Nayik et al. Novel Approach to Sustainable Temperate Horticulture
BR112021006966A2 (pt) sistema automático de coleta e rastreamento de amostra
Bagdatli et al. Estimation of Horticulture Area Expansion and Crop Yield Quantification by Using Remotely Sensed Data and Geographic Information Systems
STAJNKO et al. AUTOMATED LOCATION OF TREE POSITION FOR ESTIMATING APPLE YIELD BY USING AN ANDROID MOBILE PHONE

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20230425

Address after: California, USA

Applicant after: Milu Earth Science Co.,Ltd.

Address before: California, USA

Applicant before: X Development Co.,Ltd.

TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20240730

Address after: Illinois, USA

Applicant after: Deere & Co.

Country or region after: U.S.A.

Address before: California, USA

Applicant before: Milu Earth Science Co.,Ltd.

Country or region before: U.S.A.