CN114144061A - 用于基于图像识别的种植物处理的方法 - Google Patents

用于基于图像识别的种植物处理的方法 Download PDF

Info

Publication number
CN114144061A
CN114144061A CN202080051724.2A CN202080051724A CN114144061A CN 114144061 A CN114144061 A CN 114144061A CN 202080051724 A CN202080051724 A CN 202080051724A CN 114144061 A CN114144061 A CN 114144061A
Authority
CN
China
Prior art keywords
image
image recognition
recognition analysis
complexity
analysis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080051724.2A
Other languages
English (en)
Inventor
O·詹森
M·坦普尔
B·基佩
M·瓦哈扎达
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BASF Agro Trademarks GmbH
Original Assignee
BASF Agro Trademarks GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BASF Agro Trademarks GmbH filed Critical BASF Agro Trademarks GmbH
Publication of CN114144061A publication Critical patent/CN114144061A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/02—Agriculture; Fishing; Forestry; Mining
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01M—CATCHING, TRAPPING OR SCARING OF ANIMALS; APPARATUS FOR THE DESTRUCTION OF NOXIOUS ANIMALS OR NOXIOUS PLANTS
    • A01M21/00—Apparatus for the destruction of unwanted vegetation, e.g. weeds
    • A01M21/04—Apparatus for destruction by steam, chemicals, burning, or electricity
    • A01M21/043—Apparatus for destruction by steam, chemicals, burning, or electricity by chemicals
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01M—CATCHING, TRAPPING OR SCARING OF ANIMALS; APPARATUS FOR THE DESTRUCTION OF NOXIOUS ANIMALS OR NOXIOUS PLANTS
    • A01M7/00—Special adaptations or arrangements of liquid-spraying apparatus for purposes covered by this subclass
    • A01M7/0089—Regulating or controlling systems
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00—Programme-control systems
    • G05B19/02—Programme-control systems electric
    • G05B19/18—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form
    • G05B19/4155—Numerical control [NC], i.e. automatically operating machines, in particular machine tools, e.g. in a manufacturing environment, so as to execute positioning, movement or co-ordinated operations by means of programme data in numerical form characterised by programme execution, i.e. part programme or machine function execution, e.g. selection of a programme
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0004—Industrial image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/776—Validation; Performance evaluation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/30—UAVs specially adapted for particular uses or applications for imaging, photography or videography
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B64—AIRCRAFT; AVIATION; COSMONAUTICS
    • B64U—UNMANNED AERIAL VEHICLES [UAV]; EQUIPMENT THEREFOR
    • B64U2101/00—UAVs specially adapted for particular uses or applications
    • B64U2101/40—UAVs specially adapted for particular uses or applications for agriculture or forestry operations
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05B—CONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B2219/00—Program-control systems
    • G05B2219/30—Nc systems
    • G05B2219/45—Nc applications
    • G05B2219/45013—Spraying, coating, painting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture

Landscapes

  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Insects & Arthropods (AREA)
  • Pest Control & Pesticides (AREA)
  • Wood Science & Technology (AREA)
  • Zoology (AREA)
  • Environmental Sciences (AREA)
  • Multimedia (AREA)
  • Toxicology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Automation & Control Theory (AREA)
  • Manufacturing & Machinery (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Remote Sensing (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • Marine Sciences & Fisheries (AREA)
  • Economics (AREA)
  • Tourism & Hospitality (AREA)
  • General Business, Economics & Management (AREA)
  • Primary Health Care (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Mining & Mineral Resources (AREA)
  • Marketing (AREA)
  • Animal Husbandry (AREA)
  • Agronomy & Crop Science (AREA)
  • Quality & Reliability (AREA)
  • Catching Or Destruction (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

一种用于种植园的种植物处理的方法，该方法包括拍摄种植园的种植物的图像；基于机器学习算法的存储的参数化，通过对拍摄的图像运行第一复杂度的第一图像识别分析来识别拍摄的图像上的项目；辨识不满意的图像分析结果；确定与拍摄的图像对应的环境数据；在外部设备上，通过基于环境数据对图像运行第二复杂度的第二图像识别分析来识别拍摄的图像上的项目，其中第二复杂度高于第一复杂度；基于第二图像识别分析，确定用于机器学习算法的改进的参数化，以用于改进第一图像识别分析；以及基于第一图像识别分析，控制处理设备的处理装置。

Description

用于基于图像识别的种植物处理的方法
技术领域
本发明涉及一种用于种植园的种植物(plantation)处理(treatment)的方法和处理设备，以及用于此类处理设备的控制设备。
背景技术
本发明的一般背景是在农田中种植物的处理。种植物(特别是实际作物)的处理还包括农田中的杂草的处理、农田中的昆虫的处理、以及农田中的病原体的处理。
农业机械或自动处理设备(如智能喷雾器)基于生态和经济规则来处理农田中的杂草、昆虫和/或病原体。为了自动检测和辨识待处理的不同对象，使用图像识别。
然而，农业机械在各种各样的条件下操作。这包括光照，还包括农田中的作物、杂草、昆虫和病原体的表型外观。这取决于不同的基因型、杂草对不同环境条件的可塑性、以及宿主种植中病原体的差异(即，不同的防御机制，品种的不同颜色)、或天气事件(风、雨、表皮洗涤、损害叶子)之后不同的冠层结构。所有这些对图像识别算法来说都是一个挑战，特别是如果需要对拍摄图像和做出施用决策的机器做出实时决策，如同时通过触发喷雾嘴来处理种植物。
发明内容
存在一种改进的基于图像识别的种植物处理的方法将是有利的。
本发明的目的通过独立权利要求的主题解决，其中进一步的实施例并入从属权利要求中。应当注意，以下描述的本发明的方面和示例也适用于该方法、处理设备和控制设备。
根据第一方面，用于种植园的种植物处理的方法包括：
拍摄种植园的种植物的图像；
基于机器学习算法的所存储的参数化，通过对拍摄图像运行第一复杂度的第一图像识别分析来识别拍摄图像上的项目；
辨识不满意的图像分析结果；
确定与拍摄图像对应的环境数据；
在外部设备上基于环境数据通过对图像运行第二复杂度的第二图像识别分析来识别拍摄的图像上的项目，其中，第二复杂度高于第一复杂度；
基于第二图像识别分析，针对机器学习算法确定改进的参数化以用于改进第一图像识别分析；以及
基于第一图像识别分析，控制处理设备的处理装置。
根据第一方面的进一步变体，用于种植园的种植物处理的方法包括：
拍摄种植园的种植物的图像；
基于机器学习算法的初始存储的参数化，通过对拍摄的图像运行第一复杂度的第一图像识别分析来识别拍摄的图像上的项目；
辨识不满意的图像分析结果；
确定与拍摄的图像对应的环境数据；
在外部设备上，基于环境数据和第一图像识别的存储的参数化，通过对图像运行第二复杂度的第二图像识别分析来识别拍摄的图像上的项目，其中，第二复杂度高于第一复杂度；
基于第二图像识别分析，针对机器学习算法确定改进的参数化，以及通过第二图像识别的改进的参数化，更新第一图像识别的所存储的参数化以用于改进第一图像识别分析；以及
基于更新的改进的参数化，基于对拍摄的图像的第一图像识别分析来控制处理设备的处理装置。
根据第一方面的进一步变体，用于种植园的种植物处理的方法包括：
(步骤1)拍摄种植园的种植物的图像；
(步骤2)基于机器学习算法的存储的参数化，通过对拍摄的图像运行第一复杂度的第一图像识别分析来识别拍摄的图像上的项目；
(步骤3)辨识不满意的图像分析结果；
(步骤4)确定与拍摄的图像对应的环境数据；
(步骤5)在外部设备上，基于环境数据通过对图像运行第二复杂度的第二图像识别分析来识别拍摄的图像上的项目，其中，第二复杂度高于第一复杂度；
(步骤6)基于第二图像识别分析，针对机器学习算法确定改进的参数化以用于改进第一图像识别分析；以及
(步骤7)除非改进的参数化被确定，否则基于采用存储的(初始)参数化的第一图像识别分析来控制处理设备的处理装置，以及
(步骤8)当改进的参数化被确定时，基于采用改进的参数化的第一图像识别分析来控制处理设备的处理装置。
根据示例性实施例，在已经开始基于采用存储(初始)的参数化(步骤7)的第一图像识别分析来控制处理设备的处理装置之后的特定时间段(TP)之后，基于采用改进的参数化(步骤8)的第一图像识别分析进行控制处理设备的处理装置。时间段(TP)可以是：
-在0到100秒的范围内，例如至少10毫秒，例如小于1秒、小于2秒、小于3秒、小于5秒、小于10秒、小于20秒、小于30秒，或小于60秒；或者
-在0到100分钟的范围内，例如至少1秒，例如小于1分钟、小于2分钟、小于3分钟、小于5分钟、小于10分钟、小于20分钟、小于30分钟，或小于60分钟；或者
-在0到100分钟的范围内，例如至少10毫秒或1秒，例如小于1分钟、小于2分钟、小于3分钟、小于5分钟、小于10分钟、小于20分钟、小于30分钟、或小于60分钟；或者
-在0至100小时的范围内，例如至少10毫秒或1秒或1分钟，例如小于1小时、小于2小时、小于3小时、小于5小时、小于10小时，小于20小时、小于30小时、或小于60小时；或者
-在0至10天的范围内，例如至少10毫秒或1秒或1分钟，例如小于1天、小于2天、小于3天、小于4天、小于5天，或小于7天；或者
-在0至10周的范围内，例如至少10毫秒或1秒或1分钟，例如小于1周、小于2周、小于3周、小于4周、小于5周，或小于7周；或者
-在0至12个月的范围内，例如至少10毫秒或1秒或1分钟，例如小于1个月、小于2个月、小于3个月、小于4个月、小于5个月，小于7个月，或小于9个月。
根据示例性实施例，在已经开始基于采用存储的参数化的第一图像识别分析来控制处理设备的处理装置之后的特定时间段之后，基于采用改进的参数化的第一图像识别分析进行控制处理设备的处理装置。
根据示例性实施例，时间段选自一个组，该组包括：0至100秒、0至100分钟、0至100小时、0至10天、0至10周、和0至12个月。
如在此所使用的识别包括检测对象的状态，换句话说，知道在某个位置是对象但不知道该对象究竟是什么，以及辨识对象的状态，换句话说，知道已经检测到的对象的确切类型。
如在此所使用的不满意的图像分析结果可以理解为图像识别分析的结果，其中该结果不符合预定标准。优选地，此类不满意的结果包括图像分析导致否定或不确定的结果。不确定的结果优选地包括图像识别分析检测到图像上的项目，但不能辨识该项目。进一步优选地，如果做出的辨识是正确的，则不确定结果优选地包括图像识别分析是不确定的。不确定的结果可以是例如允许确定杂草组而不是杂草种类的辨识。在这方面，采用初始存储的参数化的第一图像识别可以揭示杂草组，而不是杂草种类，而采用更新参数化的第二图像识别不仅可以揭示杂草组，而且还可以揭示杂草种类。杂草组可以是比杂草种类高级的任何杂草分类。杂草组可以是例如杂草科(例如禾本科)、杂草部落(例如，燕麦族(Aveneae)、雀麦族(Bromeae)、黍族(Paniceae)和早熟禾族(Poeae)部落之一)或生物学意义上的杂草属(例如看麦娘属(Alopecurus))。杂草种类是生物学意义上的杂草种类(例如大穗看麦娘(Alopecurus myosuroides)＝黑草；(black-grass))。
如在此所使用的环境信息或数据可以理解为田地情况和/或种植园周围环境的所有附加数据。它可包括田地的历史数据或田地的永久特性，如土壤成分。它还可包括种植园的位置的统计天气数据。
改进的参数化直接改进了第一图像识别分析，但也提高了为第一图像识别分析提供相应参数化的机器学习算法的自学习能力。
因此，第一图像识别分析迭代地或逐渐地变得对如天气、光照和/或种植损害的外部因素具有更强的抵抗力。此外，无论何时出现图像识别中的不确定性，都可以改进即时执行的田地图像识别。此类改进提高了检测精度，并且因此减少了用于栽培作物和最大化产量所需的除草剂、杀虫剂和/或杀真菌剂的量。因此，可以减轻环境并降低成本。
优选地，为第一图像识别分析尽可能快地反馈改进的参数化。在现实条件下，该过程的时间范围约为几分钟。该过程适用于嵌入式远程信息处理。此外，改进的参数化还可以延迟时间反馈，例如在新农季开始时。在该情况下，改进的参数化将作为年度服务提供。在任何情况下，机器学习算法只有在提供改进的参数化时才能得到改进。
种植物处理优选包括保护作物，即种植园中的栽培种植物，特别是使用除草剂消灭未栽培的并且可能对作物有害的杂草，特别是用杀虫剂控制作物上的昆虫和/或杂草，并且特别是用杀真菌剂控制任何病原体，如疾病。
如在此所使用的，处理装置或也称为控制技术，优选地包括化学、机械和/或电控制技术。化学控制技术优选包括用于施用杀虫剂和/或除草剂的至少一种部件，特别是喷枪。机械控制技术优选地包括用于吸吮、拉动和/或冲压植物和/或昆虫的部件。电气控制技术包括施加例如如由Zasso提供的电场或电流，和/或基于辐射(特别是激光)用于控制植物和/或昆虫的部件。
基于第一图像识别分析来控制处理装置。换句话说，基于第一图像识别分析，决定种植物、昆虫和/或病原体是存活还是被破坏。例如，当第一图像识别分析辨识出对种植园上的栽培作物有害的杂草时，处理装置被配置为破坏杂草以便保护作物。例如，当第一图像识别分析辨识出对种植园上的栽培作物有害的昆虫时，处理装置被配置为消灭昆虫以便保护作物。
机器学习算法可以包括决策树、朴素贝叶斯分类、最近邻、神经网络、卷积、或循环神经网络、生成对抗网络、支持向量机、线性回归、逻辑回归、随机森林、和/或梯度提升算法。
优选地，机器学习算法被组织成将具有高维数的输入处理成具有低得多的维数的输出。此类机器学习算法被称为“智能”，因为它能够被“训练”。可以使用训练数据的记录来训练算法。训练数据的记录包括训练输入数据和对应的训练输出数据。训练数据的记录的训练输出数据是机器学习算法在给定同一训练数据记录的训练输入数据作为输入时预期产生的结果。该预期结果与由算法产生的实际结果之间的偏差借助于“损失函数”进行观察和评级。该损失函数作为用于调节机器学习算法的内部处理链的参数的反馈。例如，参数可以随优化目标进行调节，即最小化当将所有训练输入数据馈入机器学习算法并将结果与对应的训练输出数据进行比较时产生的损失函数的值。该训练的结果是，给定相对较少的训练数据记录作为“基本事实(ground truth)”，使得机器学习算法能够对高出许多数量级的大量输入数据记录很好地执行其工作。
优选地，由外部服务器(特别是云服务器)执行以下步骤：在外部设备上，基于环境数据通过对图像运行第二复杂度的第二图像识别分析来识别拍摄图像上的项目，其中第二复杂度高于第一复杂度，以基于第二图像识别分析来确定用于机器学习算法的改进的参数化以用于改进第一图像识别分析。当具有例如区分不同种类的杂草的选项时，复杂度可能较高。当仅具有例如区分杂草和有益植物的选项时，复杂度可能较低。例如，可以通过减少模型中的节点使计算过程更快来降低复杂度。进一步优选地，由嵌入式软件执行，特别是由农业机械上的嵌入式软件执行如下步骤：拍摄种植园的种植物的图像，基于机器学习算法的存储的参数化，通过对拍摄的图像运行第一复杂度的第一图像识别分析来识别拍摄的图像上的项目，辨识不满意的图像分析结果，以及基于第一图像识别分析来控制处理设备的处理装置。
在优选实施例中，环境数据包括田地作物的类型和/或田地作物的生长阶段和/或光照特性和/或天气条件。
在一个实施例中，天气状况(优选地以当前天气数据的形式)在飞行(fly)中和/或现场被记录。此类当前天气数据可以由安装在处理设备上的不同类型的天气传感器和/或放置在田地中或附近的一个或多个气象站生成。因此，当前天气数据可以在处理设备在种植园内移动期间测量。当前天气数据是指反映要做出处理决策的种植园的位置处的天气状况的数据。天气传感器是例如雨、UV或风的传感器。
环境数据的田地作物类型优选地不是实时数据，而是涉及关于种植园的一般信息，特别是该特定种植园用于栽培的作物类型。因此，已知通常应通过图像识别分析辨识哪种类型的作物。
田地作物的生长阶段从栽种种植园时的播种时间可知。因此，可以确定田地作物的预期生长阶段。
光照特性优选地包括关于当前时间和当前太阳与被照亮的种植园的角度的信息。
天气状况优选地包括当前天气及其后果，特别是雾和/或湿度。
优选地，环境数据至少部分地由外部服务提供商提供。
环境数据优选地可以用作由图像识别分析检测到的意外图像信息的来源。例如，可以扣除种植园上水的反射，或者可以调节基于异常光照的种植园的意外颜色，以便提高图像识别。
优选地，机器学习算法基于多个图像进行训练，特别是包含至少一种类型的作物、杂草、昆虫和/或病原体的图像的图像。
在优选实施例中，不满意的图像分析结果由机器学习算法的低置信度指示。
低置信度情况包括：如果要辨识的对象根本存在或者对象被检测到并且因此存在但不能被辨识，基于机器学习算法的所存储的参数化的第一图像识别分析是不确定的。置信度可以定义为特定杂草例如属于特定的种类的概率。例如，60％的置信度水平意味着系统以0.6的概率提供结果，即0.6的概率对应的杂草属于特定种类/……/类别。
置信度水平可以根据用例和/或根据处理类型进行调节。优选地，置信度水平低于90％，更优选低于80％，最优选低于70％，特别优选低于60％，特别更优选低于50％，特别最优选低于40％，例如优选低于30％，例如例如更优选低于20％，例如最优选低于10％。
例如，60％的置信度水平意味着系统以0.6的概率提供结果，即0.6的概率对应的杂草属于特定种类/……/类别。
有关置信度水平的更多详细信息可在如下找到：
https://en.wikipedia.org/wiki/Artificial_neural_network#Generalization_and_statistics
在优选实施例中，该方法包括在运行第二图像识别分析之前缓冲图像和/或环境数据。
第二图像识别分析基于图像(特别是拍摄图像的所有原始图像数据)和环境数据。然而，第二图像识别分析不必实时提供信息。当前图像和环境数据优选地被存储或缓冲为当前情况的快照。然后可以在任何给定时间将存储的数据提供给外部设备。
在优选实施例中，基于传输技术的可用性，特别是小区电话覆盖、空闲服务和/或WLAN连接，缓冲的图像和/或缓冲的环境数据被发送到外部设备，优选地互联网服务器。
在优选实施例中，只要没有可用的传输技术，就延迟缓冲的图像和缓冲的环境数据到外部设备的传输。优选地，到外部设备的传输由触发信号触发。触发信号优选地基于传输技术的重新可用性。换句话说，当传输技术再次可用时，会生成触发信号，触发缓冲的图像和缓冲的环境数据到外部设备的传输。可替代地，将触发信号排队，直到传输技术再次可用。
可替代地，触发信号还基于预定条件，在将缓冲数据发送到外部设备之前的，例如用于缓冲和发送的预定时间帧和/或预定量的缓冲数据。换句话说，触发信号仅在已执行预定时间和/或缓冲数据量时生成。
触发信号优选地在控制设备中生成或者在外部生成并且经由通信技术接口提供给控制设备，进一步优选地向缓冲器接口提供触发信号。
栽培的种植园通常没有提供足够的吞吐量来将拍摄的图像和环境数据发送到外部设备的传输技术。因此，图像和环境数据优选地在被发送到外部设备之前被缓冲并且优选地被收集。然而，如果传输技术足够稳定和强大，并且不需要收集多个不满意的图像分析结果，则可以将图像和环境数据直接发送到外部设备，无需缓冲。
在优选实施例中，第二图像识别分析基于附加数据源(优选地智能电话应用和/或无人机图像)进行训练，其中优选地，附加数据源提供地理信息和/或区域之间的预期表型差异。
优选地，第二图像识别分析基于参数化模型，其中参数化模型基于附加数据源和/或用附加数据源训练。
优选地，第二图像识别分析考虑比第一图像识别分析的复杂度更高复杂度的参数化，其源自例如算法要考虑的大量参数。这需要比第一图像识别分析更多的计算能力。优选地，第二复杂度的第二图像识别分析具有比第一复杂度的第一图像识别分析更高的复杂度，只要第二图像识别分析需要比第一图像识别分析更多的计算能力。
优选地，附加数据源至少部分地包括外部服务提供商。
第二图像识别分析不仅在技术上比第一图像识别分析更复杂，而且优选在训练阶段提供更多样化的输入数据。因此，第二图像识别分析能够制定附加预测以便识别所提供图像上的对象。例如，外部设备设置有区域之间的预期表型差异。因此，取决于其栽培区域，相同类型的作物可能具有不同的外观。因此，第二图像识别分析可以考虑该差异，并改进识别分析，并将第一图像识别分析只能检测而不能辨识的对象辨识为栽培作物。
在优选实施例中，第二图像识别分析基于神经网络，特别是具有比第一图像识别算法的神经网络更多层和/或更多节点的神经网络和/或与第一图像识别分析相比用于背景分割的不同的更复杂算法。
优选地，第一图像识别分析基于压缩神经网络。压缩神经网络基于一个模型，该模型仅包括用于决策做出的基本节点。基本节点涉及在模型训练期间通过用于激活节点的预定阈值的节点。节点数量越少，复杂度越低。
模型复杂度可以被认为是对可学习参数总量的计数。具体地，模型复杂度的度量可以是所考虑模型的MB方面的参数文件。该信息可有助于理解每个模型所需的最小GPU存储器量。
总存储器消耗可包括所有分配的存储器，即针对网络模型分配的存储器和处理批处理(batch)所需的存储器。
计算复杂度可以定义为在多个乘加中使用浮点运算(FLOP)考虑的每个DNN模型的计算成本的度量。更详细地，乘加计为两个FLOP，因为在许多最近的模型中，卷积是无偏差的，并且将乘法和加法计为单独的FLOP是有意义的。
每个图像的推理时间可以以毫秒为单位进行测量。
详细信息可以取自Simone Bianco、Remi Cadene、Luigi Celona和PaoloNapoletano，DOI：10.1109/ACCESS.2018.2877890的IEEE Access，第4/2018卷：“(Benchmark Analysis of Representative Deep Neural Network Architectures”。
根据本发明的实施例，本发明含义中的复杂度包括上面引用的模型复杂度。根据本发明的实施例，本发明含义中的复杂度包括上面引用的总存储器消耗。根据本发明的实施例，本发明含义中的复杂度包括上面引用的计算复杂度。根据本发明的实施例，本发明含义中的复杂度包括上面引用的每个图像的推理时间。根据本发明的实施例，本发明含义中的复杂度包括模型复杂度、总存储器消耗、计算复杂度和每个图像的推理时间的上述参考方面中的至少两个方面。根据本发明的实施例，本发明含义中的复杂度包括模型复杂度、总存储器消耗、计算复杂度和每个图像的推理时间。
在优选实施例中，第一图像识别算法的神经网络基于第二图像识别算法的神经网络。进一步优选地，第一图像识别算法的神经网络是第二图像识别算法的神经网络的压缩版本。这可以通过消除第二图像识别算法的神经网络层中的节点来实现，这导致较低的复杂度。
优选地，外部设备比在种植园上使用的设备具有更多的计算能力，以用于运行第一图像识别分析。进一步优选地，外部设备被配置为压缩第二图像识别算法的神经网络。外部设备可以是中央计算单元CCU。CCU可位于农业机械上，但与处理第一图像识别的控制回路分开。数据传输可以通过有线连接进行。CCU也可以放置在现场，例如在农田旁边。在该情况下，数据传输可以通过无线电传输进行。CCU也可能位于农民总部(农场)的偏远地区。在该情况下，数据传输可以通过来自田地的无线电传输或通过从田地返回时通过有线或无线传输/交换数据来进行。CCU也可能位于世界其它地方。在该情况下，数据传输可以通过任何LAN或Wifi连接从田地或从田地返回时从接入点进行。请求更新的参数化和应用更新的参数化之间的延迟可取决于预期响应时间和对CCU的接入。在CCU在农业机械上的情况下，响应时间可能很短，即在几秒钟或更短的时间内。在CCU是远程(例如在世界其它地方)并且互联网接入对农业机器不利的情况下，响应时间可能是几天甚至几周，使得可以应用更新的参数化，例如数周或数月后，即使在接下来的季节。
根据第二方面，一种用于种植园的种植物的种植物处理的处理设备的控制设备包括：图像接口，其适于接收种植园的种植物的图像；处理控制接口；图像识别单元，其适于基于机器学习算法的存储的参数化，通过对图像运行第一复杂度的第一图像识别分析来识别拍摄图像上的项目。图像识别单元适于辨识不满意的图像分析结果。图像识别单元适于确定与拍摄图像对应的环境数据。处理设备包括通信接口，该通信接口适于向外部设备发送拍摄的图像和确定的环境数据，该外部设备适于基于环境数据识别拍摄的图像上的项目，其中第二复杂度高于第一复杂度。通信接口适于从外部设备接收用于第一机器学习算法的改进的参数化，以用于改进第一图像识别分析。该处理设备包括控制单元，该控制单元适于基于改进的第一图像识别分析来生成用于处理设备的处理装置的处理控制信号。控制单元适于向处理控制接口输出处理控制信号。
优选地，环境数据从另外的外部单元和/或另外的内部单元(如数据存储装置)提供给图像识别单元。
在优选实施例中，控制设备包括机器学习单元，该机器学习单元适于通过机器学习算法的低置信度指示不满意的图像分析结果。
在优选实施例中，控制设备包括缓冲器接口，该缓冲器接口被配置为在图像和环境数据被发送到外部设备之前向缓冲器发送图像和环境数据和从缓冲器接收图像和环境数据。
在优选实施例中，通信接口适于基于传输技术的可用性，特别是小区电话覆盖、空闲服务和/或WLAN连接，向外部设备发送缓冲的图像和缓冲的环境数据。
在优选实施例中，第二图像识别分析基于附加数据源(优选地智能电话应用和/或无人机图像)运行，其中优选地，附加数据源提供地理信息和/或区域之间的预期表型差异。
根据第三方面，用于种植园的种植物的种植物处理的处理设备包括：适于拍摄种植园的图像的图像捕获设备、处理装置、适于向如在此所述的控制设备提供由图像捕获设备捕获的图像的图像接口、适于从如在此所述的控制设备接收处理控制信号的处理控制接口。如在此所述，处理设备的图像接口能够连接到控制设备的图像接口。如在此所述，处理设备的处理控制接口能够连接到控制设备的处理控制接口。如在此所述，处理设备适于基于经由处理设备的处理控制接口从控制设备接收的处理控制信号来激活处理设备。
在示例中，惯性导航单元单独使用，或与GPS单元结合使用，以确定位置，诸如在获取特定图像时图像捕获设备的位置。因此，例如，惯性导航单元(包括例如一个或多个激光陀螺仪)在已知位置(诸如对接站或充电站)处被校准或归零，并且当它与至少一个相机一起移动时，可以确定在x、y和z坐标中远离该已知位置的运动，从中可以确定至少一个相机在获取图像时的位置。
因此，可以通过一个平台获取图像，该平台可以对其进行分析以检测种植物并确定要处理的对象，并确定要处理的对象的位置。例如，UAV(无人驾驶飞行器)可以在种植园周围飞行，或者机器人陆地车辆在种植园周围移动并获取和分析图像。然后，对象的位置的信息可以由第二平台使用，例如机器人陆地车辆，其可以到达对象的位置并控制它们，例如通过在该位置处施用化学喷雾或例如机械提取杂草。
在优选实施例中，图像捕获设备包括特别是在处理设备的吊杆上的一个或多个相机，其中图像识别单元适于使用红-绿-蓝RGB数据和/或近红外NIR数据来识别昆虫、种植物，特别是作物和/或杂草，和/或病原体。
在优选实施例中，如在此所述的处理设备进一步包括如在此所述的控制设备。
在优选实施例中，如在此所述的处理设备被设计为智能喷雾器，其中处理装置是喷嘴装置。
喷嘴装置优选地包括多个独立的喷嘴，该喷嘴可以被独立地控制。
有利地，由上述任何方面提供的好处同样适用于所有其它方面，反之亦然。参考下面描述的实施例，上述方面和示例将变得显而易见并被阐明。
附图说明
下面将参考以下附图描述示例性实施例：
图1示出种植物处理装置的示意图；
图2是种植物处理方法的流程图；
图3示出控制设备的示意图；
图4示出种植园上的处理设备的示意图；以及
图5示出带有检测到的项目的图像的示意图。
具体实施方式
图1示出种植园300的种植物处理方法的流程图。
步骤10包括拍摄种植园300的种植物的图像10。
在步骤20中，对获取的图像10运行第一复杂度的第一图像识别分析。第一图像识别分析具有第一复杂度并且基于机器学习算法的存储的参数化P。机器学习算法优选地是人工神经网络。因此，拍摄的图像10上的项目20被识别、至少被检测和理想地被辨识。
在步骤30中，检查第一图像识别分析是否提供了满意的图像分析结果R。如果检测到与如作物、杂草、昆虫或病原体的对象对应的项目但无法辨识，则图像分析结果R不满意。如果图像分析结果R满意，则该方法跳到步骤70并且第一图像识别分析完成，并且基于第一图像识别分析来处理处理设备200的处理装置270。如果图像分析结果R不满意，则方法跳到步骤S40。然而，无论如何，处理设备200的处理装置270仍然基于关于检测和辨识的项目20的第一识别分析来处理。未辨识的对象不被处理。可替代地，处理设备200的处理装置270设置有提供的地图，指示过去如何处理田地，并基于提供的地图处理田地中的种植物。可替代地，如果图像分析结果R不满意，则根本不处理种植物。鉴于潜在的环境和/或经济风险，这是最安全的变体。
在步骤S40中，除了图像10之外，还确定与拍摄图像10对应的环境数据21。环境数据21优选地包括作物类型、种植物的生长阶段、和/或光照特性。确定环境数据21的所有这些信息是拍摄图像10的时间的快照。该方法跳到步骤S50。
在步骤S50中，对拍摄的图像10和环境数据21运行第二复杂度的第二图像识别分析。第二图像识别分析的第二复杂度高于第一图像识别分析的第一复杂度。通常，在种植园300上运行第一图像识别分析的设备的能力是有限的。因此，在外部设备400上运行第二图像识别分析。第二图像识别分析用于识别和辨识图像10上的项目20。由此通过进一步的机器学习算法运行第二图像识别分析。该方法跳到步骤S60。
在步骤S60中，进一步的机器学习算法基于第二图像识别分析确定改进的参数化PI。然后使用改进的参数化PI来改进第一图像识别分析，并用于训练机器学习算法，以改进的方式向第一图像识别分析提供参数化P。然后该方法跳到步骤20。理想情况下，第一图像识别分析被改进为使得在下一次发生此类情况时产生满意的图像分析结果。
图2示出用于种植园300的种植物的种植物处理的装置并且图3示出用于种植园300的种植物的种植物处理的处理设备200的控制设备100。由于控制设备100是装置的一部分，因此两个图一起描述。
处理设备200(优选地是智能喷雾器)包括图像捕获设备220和处理装置270以及图像接口210和处理控制接口230。
图像捕获设备220包括至少一个相机，该相机被配置为拍摄种植园300的图像10。拍摄的图像10被提供给处理设备200的图像接口210。图像接口210将图像10传输到控制设备100，特别是控制设备100的图像接口110。
控制设备100包括图像识别单元120、机器学习单元160和控制单元170。另外，控制设备100包括图像接口110、处理控制接口130、通信接口150和缓冲器接口180。控制设备100可以指能够例如经由通用服务总线(USB)、物理电缆、蓝牙或另一形式的数据连接来接收田地数据的数据处理元件(诸如微处理器、微控制器、现场可编程门阵列(FPGA)、中央处理单元(CPU)、数字信号处理器(DSP))。可以为每个处理设备200提供控制设备100。可替代地，控制设备可以是中央控制设备，例如个人计算机(PC)，用于控制田地300中的多个处理设备200。
图像接口110从处理设备200的图像接口210接收图像10，并向图像识别单元120提供图像10。图像识别单元120基于参数P运行第一图像识别分析，该参数P由机器学习单元160提供。这里机器学习单元160可以包括训练的机器学习算法，其中机器学习算法的输出可以用于图像识别。基于第一图像识别分析，图像识别单元120确定图像分析结果R。图像分析结果R(例如分析图像10的识别和辨识项目20)被提供给控制单元170。控制单元170基于图像分析结果R确定处理控制信号S。例如，当图像分析结果R包含对作物有害并且必须被处理(特别是被破坏)的辨识杂草时，控制单元170确定处理控制信号S，其指示处理装置270处理辨识的杂草。在该情况下，包括多个独立喷嘴的喷嘴装置的处理装置270被指示瞄准辨识的杂草，并且处理装置270通过瞄准喷嘴向杂草喷洒除草剂。然而，这只能对由图像识别单元120检测并由图像识别单元120另外辨识的项目20进行。如果检测到项目20，换句话说，图像识别单元120确定如果发现了对象，但无法辨识项目20，则控制单元170无法确定适合该对象的处理控制信号S，因为不清楚它是作物还是杂草，或者检测到哪种类型的昆虫或哪种类型的病原体。图像识别单元120因此确定图像分析结果R不满意。
在不满意的分析结果R的情况下，图像识别单元120经由控制设备100的通信接口150和外部设备400的通信接口450向外部设备400提供图像10，特别是来自图像捕获设备220的原始数据，以及另外提供环境数据21，如田地作物的类型、生长阶段和/或光照特性。外部设备400优选地是互联网服务器。
图像10和环境数据21被提供给图像识别单元420，该图像识别单元420运行比第一图像识别分析更复杂的第二图像识别分析。在该情况下，更复杂是指更深的层和/或不同的背景分割算法。除了更高的复杂度之外，第二图像识别分析由来自附加数据源的附加数据提供。例如，地理信息和/或区域之间的预期表型差异可以由智能电话应用和/或无人机图像提供。第二图像识别分析也是基于机器学习单元460的机器学习算法的改进的参数化PI，其基于更高的输入数据量和更好的图像识别分析质量改进了训练和学习特性。这里机器学习单元460可以包括训练的机器学习算法，其中机器学习算法的输出可以用于改进的图像识别。因此，外部设备400可以从机器学习单元460经由外部设备400的通信接口450和控制设备100的通信设备150向控制设备100的机器学习单元160提供改进的参数化PI。
基于改进的参数化PI，机器学习单元160可以以改进的方式训练和学习机器学习算法。因此，提供给图像识别单元120的参数化P改进了第一图像识别分析并减少了不满意的图像分析结果R的情况。
上述方法将结合示例性实施例描述如下：为了图像识别，智能喷雾器可以配备10个或更多个相机。相机可具有小于100毫秒的反应或响应时间，并且每秒可记录多达20个或更多的图像。由于相机和系统上存在封闭的控制回路，因此喷雾器几乎在同一时刻被激活。具有高精度的图像识别需要很大的计算能力。然而，安装可能很昂贵，例如每个相机上数百EUR/处理器的超级强大的处理器，使得这可以通过本发明的方法来补偿。从相机的图像采集到喷嘴控制可能需要大约50到150毫秒，即在大约50到150毫秒之后，必须在第一图像分析之后已经执行喷嘴控制。智能喷雾器在种植园上行驶，并且有时它不识别某些杂草，将单个图像发送到外部服务器(例如经由LTE/5G)，然后将图像发送到CCU(即，中央计算单元/中央处理单元，也称为主单元)。例如，使用包括现场计算资源的相机，只能区分4至5种杂草(或杂草类别)。然而，数据库可以区分110种杂草。然而，这需要计算能力，并且特别是采用改进的参数化的高效且适应性强的图像识别。这将由外部设备提供，图像数据被传输到该外部设备以计算更新的参数化。
然而，可能存在不希望或不可能向外部设备400直接发送图像10和/或环境数据21的情况。例如，在向外部设备400提供图像10和环境数据21之前应该收集图像10和环境数据21的不同快照。在另一示例中，当控制设备100无法接入任何通信手段(如WLAN或移动数据，如LTE、5G)时，通信接口150只是无法到达外部设备400。在此类情况下，图像10和环境数据21被发送到缓冲器接口180。缓冲器接口180向缓冲器80的缓冲器接口81发送图像10和环境数据21。缓冲器80可以是任何种类的存储设备，只要需要存储接收到的数据，只要适合存储接收到的数据。当再次需要缓冲的数据时，缓冲器80经由缓冲器80的缓冲器接口81和控制设备100的缓冲器接口180将图像10和环境数据21发送回控制设备100。图像10和环境数据21然后直接从控制设备100的缓冲器接口180经由控制设备100的通信接口150向外部设备400的通信接口450发送以进行第二图像辨识分析。优选地，缓冲器接口180设置有触发信号(未示出)，指示是否有传输技术可用。只有当触发信号存在时，图像10和环境数据21和/或缓冲在缓冲器80中的数据才会经由控制设备100的通信接口150发送到外部设备400的通信接口450。如果触发信号不存在，则图像10和环境数据21将被发送到缓冲器80的缓冲器接口81。
关于接入外部设备，即CCU(中央计算单元或连接控制单元)，可能存在不同的情况。取决于国家，不同的用例很重要。在一些情况下，田地中移动互联网可用，则第一图像分析与第二图像分析之间的时间间隔很短(几秒钟，最多几分钟)，在农业机械行驶时，喷嘴控制可以已经借助于第二图像分析的“参数化”仅在几米(例如5或10米)后被调节，第二图像分析的“参数化”用于更新第一图像识别的参数化。在其它情况下，田地中没有移动互联网可用，然而在农业机械上安装了CCU，其可以执行第二图像分析的算术运算，然后第一图像分析与第二图像分析之间的时间间隔也很短(几秒钟)。当拖拉机行驶时，仅行驶几米(例如5或10米)后，喷嘴控制就可以借助于第二图像分析的“参数化”进行调整。还有一种情况，田地中没有移动互联网可用，农业机械上也没有安装CCU，使得只能在整个作物保护施用完成后才能执行第二图像分析。第一图像分析与第二图像分析之间的时间间隔可以是几个小时。上述第一图像分析(图像采集后大约80毫秒)与第二图像分析之间的时间间隔可能是几个小时，并且借助于第二图像分析的“参数化”调整的喷嘴控制可以更长，因为喷嘴控制仅在下一次“驶上田地”时进行调整，这可能是数周、数月或一个季节之后。
图4示出以飞越包含作物510的种植园300的无人驾驶飞行器(UAV)形式的处理设备200。在作物510之间还存在许多杂草520，杂草520特别有毒性，产生大量种子，并且可显著影响作物产量。在包含该作物510的种植园300中不应容忍该杂草520。
UAV 200具有包括一个或多个相机的图像捕获设备220，并且当它飞越种植园300时，图像被获取。UAV 200还具有GPS和惯性导航系统，这使得UAV 200的位置能够被确定并且相机220的取向也能够被确定。根据该信息，可以确定图像在地面上的足迹，使得可以相对于绝对地理空间坐标定位该图像中的特定部分，诸如作物、杂草、昆虫和/或病原体类型的示例。由图像捕获设备220获取的图像数据被传输到图像识别单元120。
由图像捕获设备220获取的图像处于使一种类型的作物能够与另一种类型的作物区分开的分辨率，并且处于使一种类型的杂草能够与另一种类型的杂草区分开的分辨率，并且处于不仅能够检测到昆虫而且使一种类型的昆虫能够与另一种类型的昆虫区分开的分辨率，并且处于使一种类型的病原体能够与另一种类型的病原体区分开的分辨率。
图像识别单元120可以在UAV 200的外部，但是UAV 200本身可以具有必要的处理能力来检测和辨识作物、杂草、昆虫和/或病原体。图像识别单元120使用机器学习算法例如基于人工神经网络来处理图像，该人工神经网络已经对不同类型的作物、杂草、昆虫和/病原体的大量图像示例进行训练，以确定存在哪个对象以及还要确定对象的类型。
UAV还具有处理装置270，特别是具有不同喷嘴的化学点喷枪，这使其能够以高精度喷洒除草剂、杀虫剂和/或杀真菌剂。
如图5中所示，图像捕获设备220拍摄田地300的图像10。第一图像识别分析检测四个项目20并辨识两种作物210(圆形)和不需要的杂草520(菱形)。然而，除此之外，还检测到未辨识的对象530(十字)。因此，控制设备100的图像识别单元120确定图像分析结果R不满意。基于第一图像识别分析，无法处理未辨识的对象530。然而，基于第一图像识别分析，至少不需要的杂草520可以通过由处理装置270(在该情况下是具有不同喷嘴的化学点喷枪)施加除草剂来处理。
参考列表
10 图像
20 图像上(识别的)项目
21 环境数据
80 缓冲器
81 缓冲器接口
100 控制设备
110 图像接口
120 图像识别单元
130 处理控制接口
150 通信接口
160 机器学习单元
170 控制单元
180 缓冲器接口
200 处理设备、智能喷雾器、UAV
210 图像接口
220 图像捕获设备
230 处理控制接口
270 处理装置
300 种植园
400 外部设备
420 图像识别单元
450 通信接口
460 机器学习单元
510 作物
520 杂草
530 未辨识的对象
P 参数化
PI 改进的参数化
R 图像分析结果
S 处理控制信号
S10 拍摄图像
S20 通过第一图像识别分析来识别项目
S30 辨识不满意的图像分析结果
S40 确定环境数据
S50 通过第二图像识别分析来识别项目
S60 确定改进的参数化
S70 控制处理装置

Claims (20)

1.一种用于种植园的种植物处理的方法，所述方法包括：
拍摄(S10)种植园(300)的种植物的图像(10)；
基于机器学习算法的所存储的参数化(P)，通过对所拍摄的图像(10)运行第一复杂度的第一图像识别分析来识别(S20)所拍摄的图像(10)上的项目(20)；
辨识(S30)不满意的图像分析结果(R)；
确定(S40)与所拍摄的图像(10)对应的环境数据(21)；
在外部设备(400)上，通过基于所述环境数据(21)对所述图像(10)运行第二复杂度的第二图像识别分析来识别(S50)所拍摄的图像(10)上的项目(20)，其中，所述第二复杂度高于所述第一复杂度；
基于所述第二图像识别分析，针对所述机器学习算法确定(S60)改进的参数化(PI)以用于改进所述第一图像识别分析；以及
基于所述第一图像识别分析，控制(S70)处理设备(200)的处理装置(70)。
2.根据权利要求1所述的方法，其中，
所述环境数据(21)包括：田地作物的类型、和/或所述田地作物的生长阶段、和/或光照特性、和/或天气条件。
3.根据前述权利要求中任一项所述的方法，其中，
所述不满意的图像分析结果(R)由所述机器学习算法的低置信度来指示。
4.根据前述权利要求中任一项所述的方法，包括：
在运行所述第二图像识别分析之前，缓冲所述图像(10)和/或所述环境数据(21)。
5.根据前述权利要求中任一项所述的方法，其中，
基于传输技术的可用性，特别是小区电话覆盖、空闲服务、和/或WLAN连接，所缓冲的图像(10)和/或所缓冲的环境数据(21)被发送到所述外部设备(400)，优选地是互联网服务器。
6.根据前述权利要求中任一项所述的方法，其中，
所述第二图像识别分析是基于附加数据源，优选地智能电话应用和/或无人机图像来运行的；其中，优选地，所述附加数据源提供地理信息和/或区域之间的预期表型差异。
7.根据前述权利要求中任一项所述的方法，其中，
与所述第一图像识别分析相比，所述第二图像识别分析基于更多层和/或更多节点和/或不同的更复杂的背景分割的算法。
8.一种用于种植园的种植物的种植物处理的处理设备(200)的控制设备(100)，包括：
图像接口(110)，其适于接收种植园的种植物的图像(10)；
处理控制接口(130)；
图像识别单元(120)，其适于基于机器学习算法的所存储的参数化(P)，通过对所述图像运行第一复杂度的第一图像识别分析来识别所拍摄的图像(10)上的项目(20)；
所述图像识别单元(120)适于辨识不满意的图像分析结果(R)；
所述图像识别单元(120)适于确定与所拍摄的图像(10)对应的环境数据(21)；
通信接口(150)，其适于向外部设备(400)发送所拍摄的图像(10)和所确定的环境数据(21)，所述外部设备(400)适于基于所述环境数据(21)识别所拍摄的图像(10)上的项目(20)，其中，所述第二复杂度高于所述第一复杂度；
所述通信接口(150)适于从所述外部设备(400)接收用于所述第一机器学习算法的改进的参数化(PI)以用于改进所述第一图像识别分析；
控制单元(170)，其适于基于所改进的第一图像识别分析，生成用于处理设备(200)的处理装置(70)的处理控制信号(S)；
所述控制单元(170)适于向所述处理控制接口(130)输出所述处理控制信号(S)。
9.根据权利要求8所述的控制设备，包括：
机器学习单元(160)，其适于以所述机器学习算法的低置信度来指示不满意的图像分析结果(R)。
10.根据权利要求8或9中任一项所述的控制设备，包括：
缓冲器接口(180)，其被配置为在向所述外部设备(400)发送所述图像(10)和所述环境数据(21)之前，向所述缓冲器(80)发送所述图像(10)和所述环境数据(21)以及从所述缓冲器(80)接收所述图像(10)和所述环境数据(21)。
11.根据权利要求9至10中任一项所述的控制设备，其中，
所述通信接口(150)适于基于传输技术的可用性，特别是小区电话覆盖、空闲服务和/或WLAN连接，向所述外部设备(400)发送所缓冲的图像(10)和所缓冲的环境数据(21)。
12.根据权利要求8至11中任一项所述的控制设备，其中，
所述第二图像识别分析是基于附加数据源，优选地智能电话应用和/或无人机图像来运行的，其中，优选地，所述附加数据源提供地理信息和/或区域之间的预期表型差异。
13.一种用于种植园的种植物的种植物处理的处理设备(200)，包括：
图像捕获设备(220)，其适于拍摄植物园的图像(10)；
处理装置(60)；
图像接口(210)，其适于向根据权利要求8至12中任一项所述的控制设备(100)提供由所述图像捕获设备(220)捕获的图像(10)；
处理控制接口(230)，其适于从根据权利要求8至12中任一项所述的控制设备(100)接收处理控制信号(S)；
其中，所述处理设备(200)的所述图像接口(210)能够连接到根据权利要求8至12中任一项所述的控制设备(100)的图像接口(110)；
其中，所述处理设备(200)的所述处理控制接口(230)能够连接到根据权利要求8至12中任一项所述的控制设备(100)的处理控制接口(130)；
其中，所述处理设备(200)适于基于经由所述处理设备(200)的所述处理控制接口(230)从根据权利要求8至12中任一项所述的控制设备(100)接收的处理控制信号(S)来激活所述处理装置(270)。
14.根据权利要求13所述的处理设备，其中，
所述图像捕获设备(220)包括一个或多个相机，其特别地在所述处理设备(200)的吊杆上，其中，所述图像识别单元(120)适于使用红-绿-蓝RGB数据和/或近红外NIR数据来识别昆虫、种植物和/或病原体。
15.根据权利要求13至14中任一项所述的处理设备，还包括根据权利要求8至12中任一项所述的控制设备。
16.根据权利要求13至15中任一项所述的处理设备，其中，所述处理设备(200)被设计为智能喷雾器，其中，所述处理装置(270)是喷嘴装置。
17.一种用于种植园的种植物处理的方法，包括：
拍摄种植园的种植物的图像；
基于机器学习算法的初始存储的参数化，通过对所拍摄的图像运行第一复杂度的第一图像识别分析来识别所拍摄的图像上的项目；
辨识不满意的图像分析结果；
确定与所拍摄的图像对应的环境数据；
在外部设备上，通过基于所述环境数据和所述第一图像识别的所存储的参数化对所述图像运行第二复杂度的第二图像识别分析，识别所拍摄的图像上的项目，其中，所述第二复杂度高于所述第一复杂度；
基于所述第二图像识别分析，针对所述机器学习算法确定改进的参数化，以及通过所述第二图像识别的所述改进的参数化来更新所述第一图像识别的所存储的参数化以用于改进所述第一图像识别分析；以及
基于经更新的改进的参数化，基于对所拍摄的图像的所述第一图像识别分析来控制处理设备的处理装置。
18.一种用于种植园的种植物处理的方法，包括：
(步骤1)拍摄种植园的种植物的图像；
(步骤2)基于机器学习算法的所存储的参数化，通过对所拍摄的图像运行第一复杂度的第一图像识别分析来识别所拍摄的图像上的项目；
(步骤3)辨识不满意的图像分析结果；
(步骤4)确定与所拍摄的图像对应的环境数据；
(步骤5)在外部设备上，通过基于所述环境数据对所述图像运行第二复杂度的第二图像识别分析来识别所拍摄的图像上的项目，其中，所述第二复杂度高于所述第一复杂度；
(步骤6)基于所述第二图像识别分析，针对所述机器学习算法确定改进的参数化以用于改进所述第一图像识别分析；以及
(步骤7)除非确定了所述改进的参数化，否则，基于采用所存储的(初始)参数化的所述第一图像识别分析来控制处理设备的处理装置，以及
(步骤8)当确定了所述改进的参数化时，基于采用改进的参数化的所述第一图像识别分析来控制处理设备的处理装置。
19.根据权利要求1至7、17和18中任一项所述的方法，在已经开始了基于采用所存储的参数化的所述第一图像识别分析来控制处理设备的处理装置之后的特定时间段之后，进行基于采用改进的参数化的所述第一图像识别分析来控制处理设备的处理装置。
20.根据权利要求19所述的方法，其中，所述时间段选自一个组，该组包括：0至100秒，0至100分钟，0至100小时，0至10天，0至10周，以及0至12个月。
CN202080051724.2A 2019-05-20 2020-05-19 用于基于图像识别的种植物处理的方法 Pending CN114144061A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP19175363.1 2019-05-20
EP19175363 2019-05-20
PCT/EP2020/063967 WO2020234296A1 (en) 2019-05-20 2020-05-19 Method for plantation treatment based on image recognition

Publications (1)

Publication Number Publication Date
CN114144061A true CN114144061A (zh) 2022-03-04

Family

ID=66625076

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080051724.2A Pending CN114144061A (zh) 2019-05-20 2020-05-19 用于基于图像识别的种植物处理的方法

Country Status (8)

Country Link
US (1) US20220254155A1 (zh)
EP (1) EP3741214B1 (zh)
JP (1) JP2022533756A (zh)
CN (1) CN114144061A (zh)
AR (1) AR121163A1 (zh)
BR (1) BR112021023280A2 (zh)
CA (1) CA3140955A1 (zh)
WO (1) WO2020234296A1 (zh)

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11869363B1 (en) * 2019-09-17 2024-01-09 Travis Kunkel System and method for autonomous vehicle and method for swapping autonomous vehicle during operation
US20220097842A1 (en) * 2020-09-28 2022-03-31 Travis Kunkel Rugged unmanned airborne vehicle
US20220087246A1 (en) * 2020-09-23 2022-03-24 International Business Machine Corporation Detection of pests within an infrastructure by leveraging digital twin
CN112735071B (zh) * 2020-12-29 2022-08-12 岳阳市金霖昇行科技有限公司 基于互联网的林业监控系统
CN112735070B (zh) * 2020-12-29 2022-06-24 湖南全亦科技有限公司 一种基于互联网的林业监控方法
CN113925039B (zh) * 2021-10-12 2022-10-11 一鼎(福建)生态园林建设有限公司 一种基于物联网的园林病虫害智能防护系统及防控方法
CN113920474B (zh) * 2021-10-28 2024-04-30 成都信息工程大学 一种智能监管柑橘种植态势的物联网系统及方法
CN113917946B (zh) * 2021-11-18 2024-05-10 上海顺诠科技有限公司 基于动态调整预警范围的无人机自动喷洒作业系统及其方法
WO2023095041A1 (en) * 2021-11-24 2023-06-01 Upl Limited Method and system for automatically identifying crop infestation
CA3241968A1 (en) * 2021-12-21 2023-06-29 Basf Agro Trademarks Gmbh A computer-implemented method for generating a soil property map of an agricultural field
WO2023217618A1 (en) * 2022-05-10 2023-11-16 Bayer Aktiengesellschaft Improvements in the use of crop protection products and/or nutrients
WO2023237520A1 (en) 2022-06-07 2023-12-14 Basf Agro Trademarks Gmbh Pulse width modulation for dose rate adaption
WO2024171295A1 (ja) * 2023-02-14 2024-08-22 株式会社クボタ 下限高度変更システムおよび無人航空機
CN116182564B (zh) * 2023-04-26 2024-01-23 科大智能物联技术股份有限公司 一种烧结机点火炉智能控制系统
CN116806799B (zh) * 2023-08-25 2024-06-25 深圳市纬尔科技有限公司 一种智慧农业田间除草方法以及系统

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8488874B2 (en) * 2011-01-31 2013-07-16 Dalhouse University Variable rate sprayer system and method of variably applying agrochemicals
US10521896B2 (en) * 2012-07-05 2019-12-31 Bernard Fryshman Object image recognition and instant active response with enhanced application and utility
US10564316B2 (en) * 2014-09-12 2020-02-18 The Climate Corporation Forecasting national crop yield during the growing season
CN106742004A (zh) * 2016-11-23 2017-05-31 河池学院 一种农作物防虫害飞行机器人
CN106585992A (zh) * 2016-12-15 2017-04-26 上海土是宝农业科技有限公司 一种无人机智能识别、精确喷洒农药的方法及系统
US20180271015A1 (en) * 2017-03-21 2018-09-27 Blue River Technology Inc. Combine Harvester Including Machine Feedback Control
US10095981B1 (en) * 2017-03-22 2018-10-09 Accenture Global Solutions Limited Multi-state quantum optimization engine
CN106956778A (zh) * 2017-05-23 2017-07-18 广东容祺智能科技有限公司 一种无人机农药喷洒方法及系统
CN107392091B (zh) * 2017-06-09 2020-10-16 河北威远生物化工有限公司 一种农业人工智能作物检测方法、移动终端和计算机可读介质
US10796161B2 (en) * 2017-07-14 2020-10-06 Illumitex, Inc. System and method for identifying a number of insects in a horticultural area
US11263707B2 (en) * 2017-08-08 2022-03-01 Indigo Ag, Inc. Machine learning in agricultural planting, growing, and harvesting contexts
AR112742A1 (es) * 2017-08-21 2019-12-04 Climate Corp Modelado y seguimiento digital de campos agrícolas para implementar ensayos de campos agrícolas
WO2019040866A2 (en) * 2017-08-25 2019-02-28 The Board Of Trustees Of The University Of Illinois APPARATUS AND METHOD FOR COLLECTING AGRICULTURAL DATA AND AGRICULTURAL OPERATIONS
WO2019081375A1 (en) * 2017-10-27 2019-05-02 Basf Se PLANT MANAGEMENT APPARATUS
CN109122633B (zh) 2018-06-25 2023-10-03 华南农业大学 神经网络决策的植保无人机精准变量喷雾装置和控制方法
CN109258601B (zh) * 2018-08-10 2020-10-23 华南农业大学 一种智能化的除草无人机自动对靶喷雾流量控制装置与方法

Also Published As

Publication number Publication date
BR112021023280A2 (pt) 2022-01-04
US20220254155A1 (en) 2022-08-11
AR121163A1 (es) 2022-04-27
CA3140955A1 (en) 2020-11-26
EP3741214B1 (en) 2024-08-14
JP2022533756A (ja) 2022-07-25
EP3741214A1 (en) 2020-11-25
WO2020234296A1 (en) 2020-11-26

Similar Documents

Publication Publication Date Title
EP3741214B1 (en) Method for plantation treatment based on image recognition
CN111246735B (zh) 用于植物管理的设备
US20220107298A1 (en) Systems and methods for crop health monitoring, assessment and prediction
CN112911931B (zh) 用于检测节肢动物的成像设备和用于检测节肢动物的系统
US8504234B2 (en) Robotic pesticide application
CN115204689B (zh) 一种基于图像处理的智慧农业管理系统
US20220167546A1 (en) Method for plantation treatment of a plantation field with a variable application rate
KR20200065696A (ko) 드론을 이용한 농작물 모니터링 시스템
CN114723667B (zh) 一种农业精细化种植及灾害预防控制系统
JP2022528389A (ja) 農地の農作物処理のための方法
JP2022526562A (ja) 農地の農作物処理のための方法
US20210153500A1 (en) Plant treatment techniques
US20240049697A1 (en) Control file for a treatment system
Ahmed et al. Introduction to robotics agriculture in pest control: a review
US20230166732A1 (en) Work machine distance prediction and action control
CN111818796A (zh) 用于喷洒管理的设备
Rovira-Más et al. Crop scouting and surrounding awareness for specialty crops
Singh et al. Application of Drones Technology in Agriculture: A Modern Approach
WO2020035875A1 (en) "methods and systems for generating prescription plans for a region under cultivation"
Babu et al. Agroassist: Agriculture Automation
Ramanathan et al. Design and Investigation of Automatic Pest Detection and Pesticide Spraying Device
Anitha Mary et al. Enabling Technologies for Future Robotic Agriculture Systems: A Case Study in Indian Scenario
WO2023247209A1 (en) Apparatus and method for measuring insect activity
Longhi et al. Monitoring the spread of a pathogenic insect on vineyards using UAS
WO2023230730A1 (en) System and method for precision application of residual herbicide through inference

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination