CN114051630A - 多种杂草检测 - Google Patents

多种杂草检测 Download PDF

Info

Publication number
CN114051630A
CN114051630A CN202080048589.6A CN202080048589A CN114051630A CN 114051630 A CN114051630 A CN 114051630A CN 202080048589 A CN202080048589 A CN 202080048589A CN 114051630 A CN114051630 A CN 114051630A
Authority
CN
China
Prior art keywords
image
agricultural
decision support
metadata
objects
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202080048589.6A
Other languages
English (en)
Inventor
J·怀尔德
V·哈达姆舍克
T·沙雷
M·齐斯
M·P·席科拉
M·本德尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BASF Agro Trademarks GmbH
Original Assignee
BASF Agro Trademarks GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by BASF Agro Trademarks GmbH filed Critical BASF Agro Trademarks GmbH
Publication of CN114051630A publication Critical patent/CN114051630A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/2428—Query predicate definition using graphical user interfaces, including menus and forms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9538—Presentation of query results
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10—Recognition assisted with metadata

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Biophysics (AREA)
  • Quality & Reliability (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Image Analysis (AREA)
  • Mechanical Engineering (AREA)
  • Soil Sciences (AREA)
  • Environmental Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Catching Or Destruction (AREA)

Abstract

为了针对农业应用提供有效的识别方法，提供了一种用于农业对象检测的决策支持装置。该决策支持装置包括输入单元，其被配置为接收田地中的一个或多个农业对象的图像。决策支持系统包括计算单元，其被配置为将数据驱动模型应用于所接收的图像以生成元数据，元数据包括表示所接收的图像中的一个或多个农业对象的图像位置的至少一个区域指示符以及与至少一个区域指示符相关联的农业对象标签。数据驱动模型被配置为已经用包括多组示例的训练数据集进行了训练，每组示例包括示例田地中的一个或多个农业对象的示例图像以及相关联的示例元数据，示例元数据包括表示示例图像中的一个或多个农业对象的图像位置的至少一个区域指示符以及与至少一个区域指示符相关联的示例农业对象标签。该决策支持装置还包括输出单元，其被配置为输出与所接收的图像相关联的元数据。

Description

多种杂草检测
技术领域
本发明涉及数字农作。更具体地说，本发明涉及用于农业对象检测的决策支持装置和方法。本发明还涉及一种移动装置、一种计算机程序元素和一种计算机可读介质。
背景技术
当前数字农作领域的图像识别应用侧重于单一杂草种类的检测。在这样的算法中，拍摄杂草的图像，该图像可以被发送到经过训练的卷积神经网络(CNN)并且由经过训练的CNN确定杂草种类。最近提出了增强的CNN架构，其允许对象检测网络根据区域建议(region proposal)算法来假设对象位置。与检测网络共享全图像卷积特征的区域候选网络(RPN，Region Proposal Network)可实现几乎无成本的区域候选。
在农业应用中，杂草环境对图像识别方法具有挑战性，因为田间可能会出现不同背景下的多种植物。因此，根据图像质量和环境，杂草检测的算法置信度可能会受到影响。特别是对于图像上的多种植物，此类算法不仅需要区分植物和环境，还需要区分植物本身。植物可能会在图像中叠加，这样加大了基于形状从图像中进行任何提取的难度。
发明内容
可能需要在农业应用中提供一种有效的识别方法。
本发明的目的通过独立权利要求的主题解决，其中进一步的实施例包含在从属权利要求中。应当注意，下面描述的本发明的一些方面也适用于决策支持装置、方法、移动设备、计算机程序元素和计算机可读介质。
本发明的第一方面提供了一种用于农业对象检测的决策支持装置，包括：
-输入单元，其被配置为接收田地中的一个或多个农业对象的图像；
-计算单元，其被配置为将数据驱动模型应用于所接收的图像以生成元数据，所述元数据包括表示所述一个或多个农业对象在示例图像中的图像位置的至少一个区域指示符以及与所述至少一个区域指示符相关联的农业对象标签，
其中所述数据驱动模型被配置为已经用包括多组示例的训练数据集进行了训练，每组示例包括示例田地中的一个或多个农业对象的示例图像以及相关联的示例元数据，所述示例元数据包括表示所述示例图像中的述一个或多个农业对象在所述示例图像中的图像位置的至少一个区域指示以及与所述至少一个区域指示相关联的示例农业对象标签；以及
-输出单元，其被配置为输出与所接收的图像相关联的所述元数据。
换言之，提出了一种用于识别农田图像中的农业对象(如杂草、叶片损伤、病害或氮缺乏)的决策支持装置。该装置基于具有“注意力”机制的数据驱动模型，例如CNN。这里的线索在于包含在数据驱动模型的训练数据中的农业区域指示符。图像背景不重要，不需要区分。这种数据驱动模型即使在诸如智能手机之类的移动装置上也能实现快速高效的处理。在训练中，收集和注释具有多个农业对象(例如，杂草、病害、叶片损伤)的图像。注释包括区域指示符(例如采取矩形框的形式，标记每个农业对象)和相应的农业对象标签(例如由框括住的杂草种类)。对于某些农业对象，例如病害或氮缺乏识别，区域指示符可以是多边形，以更好地描绘病害或氮缺乏的轮廓。一旦数据驱动模型经过训练并符合预定义的质量标准，它将在服务器(云)或移动装置上可用。在后一种情况下可能需要压缩，例如经由节点或层减少去除那些不经常触发的节点或层(在<x％的处理图像中)。通过这种使用区域指示符的“注意力”机制，决策支持装置即使在田地的不同背景下也可以区分多个农业对象。因此，可以提高识别多个农业对象(例如杂草)的效率。
根据本发明的实施例，所述数据驱动模型被配置为已经用测试数据集进行了评估，以生成质量报告，所述质量报告包括在置信度方面的质量和农业对象的潜在混淆。所述测试数据集包括多组示例，每组示例包括示例田地中的一个或多个农业对象的示例图像以及相关联的示例元数据，所述示例元数据包括表明示所述示例图像中所述一个或多个农业对象在所述示例图像中的图像位置的至少一个区域指示符以及与所述至少一个区域指示符相关联的示例农业对象标签。
换言之，所注释的数据可以分为训练数据集和测试数据集。为了能够对经过训练的网络进行适当的测试，测试数据必须涵盖不同的农业对象。例如，对于多种杂草检测，测试数据必须涵盖不同的杂草种类，理想情况下，网络训练针对所有杂草种类。测试数据结果中的质量报告将包括置信度方面的质量和杂草种类的潜在混淆。例如，如果两种杂草在一个生长阶段看起来非常相似，只能在生长后期才能区分，或者两种杂草看起来相似且难以区分，则可能会发生混淆。这些杂草种类需要被识别以例如产生更多的数据集进行训练。
根据本发明的实施例，所述一个或多个农业对象包括叶片损伤、病害和氮缺乏中的至少一种。
根据本发明的实施例，所述一个或多个农业对象包括杂草。
根据本发明的实施例，至少一组示例还包括所述杂草的生长阶段。所生成的元数据还包括所述杂草的生长阶段。
换言之，除了区域指示符和杂草种类之外，数据驱动模型还可以针对杂草生长阶段进行训练。杂草的生长阶段可以涉及确定除草剂的施用量。
根据本发明的实施例，所述计算单元还被配置为确定所述杂草的杂草密度。所述计算单元还被配置为，如果确定所述杂草的所述杂草密度超过阈值，则确定用除草剂处理所述杂草。
在根据数据驱动模型识别杂草的同时，可以确定每种杂草的杂草密度。杂草密度可用于进一步确定是否需要用除草剂处理田地，例如是否超过了阈值。
根据本发明的实施例，所述计算单元还被配置为：基于与所述杂草相关联的所述农业对象标签，推荐用于处理所述杂草的特定除草剂产品，优选地，具有从所述杂草密度和所述杂草的所述杂草生长阶段导出的施用量。所生成的元数据还包括以下信息中的至少一项：所述杂草是否需要用除草剂处理；所推荐的特定除草剂产品；以及所述施用量。
此外，附加地，可以基于所识别的杂草推荐特定除草剂产品。相应的施用量可以基于杂草密度、杂草生长阶段等推算。该信息可以引导用户不仅识别农田中的杂草种类，而且还引导用户处理杂草。
根据本发明的实施例，所述决策支持装置还包括网络服务器单元，其被配置为经由网络服务器提供的网页和/或应用程序与用户交互。所述决策支持装置被配置为：通过所述网页和/或所述应用程序向用户提供图形用户界面GUI，以使得所述用户可以向所述决策支持装置提供田地中的一个或多个农业对象的图像并从所述决策支持装置接收与所述图像相关联的元数据。
换言之，决策支持装置可以是提供网络服务以促进田地中的农业对象检测的远程服务器。远程服务器可以具有更强大的计算能力，为多个用户提供服务，在许多不同领域进行农业对象检测。远程服务器可以包括用户可以通过其进行身份验证(例如通过提供用户名和密码)的界面，并使用该界面将在田地捕获的图像上传到远程服务器以进行分析，并从远程服务器接收相关的元数据。
本发明的进一步方面提供了一种移动装置，包括：
-相机，其被配置用于捕获田地中的一个或多个农业对象的图像；
-处理单元，其被配置为：
i)作为根据权利要求1至8中任一项所述的决策支持装置，用于提供与所捕获的图像相关联的元数据；和/或
ii)经由根据权利要求1至8中任一项所述的决策支持装置所提供的网页和/或应用程序，向用户提供图形用户界面GUI，以允许所述用户将所捕获的图像提供给所述决策支持装置，并从所述决策支持装置接收与所捕获的图像相关联的元数据；以及
-显示器，其被配置为显示所捕获的图像和所述相关联的元数据。
换言之，可以使数据驱动模型在服务器(云)中可用。在这种情况下，诸如移动电话或平板计算机之类的移动装置用其相机来拍摄农田的一个区域的图像，然后将该图像发送到被配置成为远程服务器的决策支持装置，并且由该远程服务器识别一个或多个农业对象。相应的结果被发送到移动装置以便向用户显示。备选地或附加地，可以使数据驱动模型可用于移动设备。在这种情况下，可能需要压缩，例如经由节点或层，减少去除那些不经常触发的节点或层(在<x％的处理图像中)。
根据本发明的实施例，所述处理单元还被配置为：在将所捕获的图像提供给所述决策支持装置之前，对所捕获的图像进行质量检查。所述质量检查包括：检查图像尺寸、所述图像的分辨率、所述图像的亮度、所述图像的模糊度、所述图像的清晰度、所述图像的焦点中的至少一项以及从所捕获的图像中过滤无用数据。
换言之，可以粗略地检查图像以从图像中过滤掉无用数据(例如可口可乐瓶)。可以检查附加的质量标准，例如图像尺寸、分辨率、亮度、模糊度、清晰度、焦点等。一旦图像通过质量检查，它就会被馈送到经过训练的数据驱动模型的输入层。在输出层上提供了每个检测到的农业对象的区域指示符和包括置信度的相应标签。
根据本发明的实施例，所述处理单元还被配置为：将所述至少一个区域指示符覆盖在所捕获图像中的所述相关联的一个或多个农业对象上，优选地，具有所述相关联的农业对象标签。
根据本发明的实施例，所述处理单元还被配置为：产生包括一个或多个农业对象的田地环境的增强现实图像，每个农业对象与相应的农业对象标签相关联，并且优选地与覆盖在所述增强现实图像上的相应的区域指示符相关联。
为了提高杂草检测的适用性，可以使用增强现实和二维面积测量。实现增强现实和面积测量的算法的示例包括但不限于i)无标记AR：密钥算法包括视觉里程计和视觉惯性里程计。ii)具有几何环境理解的无标记AR：在这里，除了定位相机外，还提供了环境的密集3D重建。密钥算法包括密集3D重建、多视图立体文献。iii)具有几何和语义环境理解的无标记AR：在这里，除了具有密集3D重建之外，还提供了这些表面的标签。密钥算法是语义分割对象检测3D对象定位。
本发明的进一步方面提供了一种用于农业对象检测的方法，包括：
a)接收田地中的一个或多个农业对象的图像；
b)将数据驱动模型应用于所接收的图像以创建元数据，所述元数据包括表示所述一个或多个农业对象在所接收的图像中的图像位置的至少一个区域指示符以及与所述至少一个区域指示符相关联的农业对象标签，
其中所述数据驱动模型被配置为已经用包括多组示例的训练数据集进行了训练，每组示例包括示例田地中的一个或多个农业对象的示例图像以及相关联的示例元数据，所述示例元数据包括表示所述一个或多个农业对象在所述示例图像中的图像位置的至少一个区域指示符以及与所述至少一个区域指示符相关联的示例农业对象标签；以及
c)输出与所接收的图像相关联的所述元数据。
本发明的进一步方面提供了计算机程序元素，其用于对装置发送指令，当被处理单元执行时，所述计算机程序元素适于执行所述方法。
本发明的进一步方面提供了计算机可读介质，其上面存储有所述程序元素。
附图说明
参考借助以下描述中的示例描述的实施例并参考附图，本发明的这些和其他方面将变得明显并得到进一步阐明，其中
图1示意性地示出了用于农业对象检测的决策支持装置的示例。
图2A示出了由决策支持装置提供的图形用户界面(GUI)的示例。
图2B示出了由移动电话捕获的图像的屏幕截图的示例。
图2C示出了当用户选择区域指示符时出现的下拉列表。
图3示意性地示出了移动设备的示例。
图4示意性地示出了移动设备的又一示例。
图5示出了阐述用于农业对象检测的方法的流程图。
需要指出，这些图纯粹是示意性的，而不是按比例绘制的。在图中，与已经描述的元件相对应的元件可以具有相同的参考标号。示例、实施例或可选特征，无论是否表示为非限制性的，均不应理解为限制所要求保护的本发明。
具体实施方式
图1示意性地示出了用于农业对象检测的决策支持装置10。决策支持装置10包括输入单元12、计算单元14和输出单元16。
输入单元12被配置为接收田地中的一个或多个农业对象的图像。一个或多个农业对象可以包括叶片损伤、病害或氮缺乏和杂草中的至少一种。为了简单起见，在所示示例中，仅示出了杂草作为农业对象的示例。本领域技术人员将理解，这里描述的决策支持装置和方法也适用于其他农业对象，例如叶片损伤、病害或氮缺乏。
决策支持装置10可以提供允许用户选择一个或多个要检测的农业对象的界面。图2A示出了由决策支持装置提供的图形用户界面(GUI)的示例，该界面允许用户从杂草识别、病害识别、黄色陷阱(yellow trap)分析、氮状态和叶片损伤列表中选择一个或多个农业对象。一旦用户选择了要检测的农业对象，例如图2A中的杂草识别，GUI便可以引导用户拍摄田间区域的照片。照片的示例在图2B中示出，其示出了由移动电话捕获的图像18的屏幕截图的示例。图像18包括田间不同背景下的多种植物。
返回图1，计算单元14被配置为将数据驱动模型应用于所接收的图像以生成元数据，该元数据包括表示所接收的图像中的一个或多个农业对象的图像位置的至少一个区域指示符和与至少一个区域指示符相关联的农业对象标签。数据驱动模型被配置为已经用包括多组示例的训练数据集进行了训练，每组示例包括示例田地中的一个或多个农业对象的示例图像以及相关联的示例元数据，示例元数据包括表明示例图像中的一个或多个农业对象的图像位置的至少一个区域指示符以及与至少一个区域指示符相关联的示例农业对象标签。在训练中，收集并注释具有多个农业对象的图像。注释包括区域指示符(例如采取矩形框的形式，标记每个农业对象)和由框括住的相应杂草种类。注释数据被分成训练数据和测试数据集。为了能够对经过训练的网络进行适当的测试，测试数据必须涵盖不同的农业对象。测试数据结果中的质量报告将包括置信度方面的质量和杂草种类的潜在混淆。
在图2B的照片示例中，识别出四个区域指示符20a、20b、20c、20d，这些区域指示符覆盖在原始输入图像上。区域指示符20a、20b、20c、20d被显示为包括标签22a、22b、22c、22d。在图2B的示例中，区域指示符20a、20b、20c、20d被显示为围绕每个识别的农业对象的圆圈。区域指示符20a、20b、20c、20d可以用颜色编码的指示符来标记。在图2B的示例中，标签22a、22b、22c、22d示出了杂草种类，包括蒲公英、欧活血丹(Creeping Charlie)、酢浆草和麝香飞廉。还可以将置信度附加到每个标签，包括73％、60％、65％和88％。请注意，并非所有标签都可以显示。例如，如果一个框标签的最高置信度>50％，就会显示出来。
对于每个指示符，可以设置下拉列表，该下拉列表响应于用户的轻敲手势在触摸屏上弹出打开。根据输出，用户可以确认具有最高或较低置信等级的农业对象。或者，用户可以校正农业对象的标签。例如，在图2C的示例中，当用户选择区域指示符20a时出现下拉列表。下拉列表包括三个农业对象标签26a、26b、26c，它们以置信等级对应于区域指示符20a。在图2C的示例中，用户可以通过选择期望的标签26a来校正农业对象的标签。
返回图1，输出单元被配置为输出与所接收的图像相关联的元数据。
可选地，数据驱动模型被配置为已经用测试数据集进行了评估，以生成质量报告，该报告包括在置信度方面的质量和农业对象的潜在混淆。测试数据集包括多组示例，每组示例包括示例田地中的一个或多个农业对象的示例图像以及相关联的示例元数据，示例元数据包括表示一个或多个农业对象在示例图像中的图像位置的至少一个区域指示符以及与至少一个区域指示符相关联的示例农业对象标签。除了区域指示符和杂草种类之外，数据驱动模型还可以针对杂草生长阶段进行训练。换言之，至少一组示例还包括杂草的生长阶段，所生成的元数据还包括杂草的生长阶段。可以使用杂草密度进一步确定是否需要用除草剂处理田地。
如果要检测的农业对象是杂草，则计算单元14还被配置为确定杂草的杂草密度。计算单元还被配置为，如果确定杂草的杂草密度超过阈值(例如，如果超过阈值)，则确定用除草剂处理杂草。
可选地，计算单元14还被配置为，基于与杂草相关联的农业对象标签，推荐用于处理杂草的特定除草剂产品，优选地具有从杂草密度和杂草生长阶段导出的施用量。所生成的元数据还包括以下信息中的至少一项：杂草是否需要用除草剂处理、推荐的特定除草剂产品、施用量。例如，决策支持装置可以耦合到数据库，该数据库存储用于各种杂草种类的特定除草剂产品的列表。
决策支持装置10可以体现为移动装置(例如，移动电话或平板计算机)或体现在移动装置中。或者，决策支持装置可以体现为服务器，该服务器与移动装置通信地耦合，以接收图像并将分析结果输出到移动装置。例如，决策支持装置可以具有网络服务器单元，该网络服务器单元被配置为经由网络服务器所供给的网页和/或应用程序，与用户交互。决策支持装置被配置为通过网页和/或应用程序，向用户提供图形用户界面GUI，使得用户可以向决策支持装置提供田地中的一个或多个农业对象的图像并从决策支持装置接收与图像相关联的元数据。
决策支持装置10可以包括执行适当的软件的一个或多个微处理器或计算机处理器。装置的处理器可以由这些处理器中的一个或多个来体现。软件可能已经下载和/或存储在相应的存储器中，例如易失性存储器(例如RAM)或非易失性存储器(例如闪存)。软件可以包括配置一个或多个处理器，以执行参考装置的处理器描述的功能的指令。或者，装置的功能单元(例如处理单元)可以以可编程逻辑的形式在装置或设备中实现，例如实现为现场可编程门阵列(FPGA)。通常，系统的每个功能单元可以以电路的形式实现。应当注意，决策支持装置10也可以以分布的方式实现，例如涉及不同的装置或设备。
图3示意性地示出了移动装置100，其可以是例如移动电话或平板计算机。移动装置100包括相机110、处理单元120和显示器130。
相机110被配置为捕获田地中的一个或多个农业对象的图像。
处理单元120被配置为作为如上文和下文所述的决策支持装置。换言之，可以使数据驱动模型在移动设备上可用。可能需要压缩，例如经由节点或层减少，来去除那些不经常触发的节点或层(在<x％的处理图像中)。可选地，处理单元120还被配置为将至少一个区域指示符覆盖在所捕获的图像中的相关联的一个或多个农业对象上，优选地具有相关联的农业对象标签。重叠图像的示例在图2B中示出。
显示器130(例如触摸屏)被配置为显示所捕获的图像和相关联的元数据。
附加地或替代地，数据支持装置10可以体现为，如图4所示，系统200中的的远程服务器。所示示例的系统200包括多个移动设备100，例如移动设备100a、100b；网络210和决策支持装置10。为简单起见，仅示出了两个移动设备100a、100b。然而，以下讨论也可扩展到大量移动设备。
所示示例的移动设备100a、100b可以是移动电话、智能电话和/或平板计算机。在一些实施例中，移动设备100a、100b也可称为客户端。每个移动设备100a、100b可以包括像触摸屏的用户界面，其被配置为便于一个或多个用户将在田间捕获的一个或多个图像提交给决策支持装置。用户界面可以是交互界面，包括但不限于GUI、字符用户界面和触摸屏界面。
决策支持装置10可以具有网络服务器单元30，其提供网络服务以促进多个移动设备100a、100b中的图像数据的管理。在一些实施例中，网络服务器单元30可以，例如经由网页、桌面应用、移动应用，与用户交互，方便用户访问决策支持装置10，以上传所捕获的图像并接收相关联的元数据。或者，所示示例的网络服务器单元30可以被提供任何类型的界面(例如命令行界面、图形用户界面)的另一装置(例如另一电子通信装置)来替换。网络服务器单元30还可以包括用户可以通过其进行认证(通过提供用户名和密码)的界面。
所示示例的网络210通信地耦合多个移动设备100a、100b。在一些实施例中，网络210可以是互联网。或者，网络210可以是任何其他类型和数量的网络。例如，网络210可以由连接到广域网的几个局域网来实现。当然，可以利用任何其他配置和拓扑来实现网络210，包括有线网络、无线网络、广域网、局域网等的任何组合。
决策支持装置10可以分析从每个移动设备100a、100b提交的图像，并将分析结果返回给相应的移动设备100a、100b。
可选地，移动设备的处理单元120还可以被配置为，在将所捕获的图像提供给决策支持装置之前，对所捕获的图像执行质量检查。质量检查包括：检查图像尺寸、图像分辨率、图像亮度、图像模糊度、图像清晰度、图像焦点中的至少一项，以及从所捕获的图像中过滤无用数据。
可选地，处理单元120还被配置为：产生包括一个或多个农业对象的田地环境的增强现实图像，每个农业对象与相应的农业对象标签相关联，并且优选地与覆盖在增强现实图像上的相应的区域指示符相关联。例如，农业对象识别可以作为与增强现实相结合的在线/实时功能来实现。因此，移动电话摄像头用于产生田间环境的增强现实图像，数据驱动驱动模型处理序列中的每个图像，并且所识别的杂草标签和可选的区域指示符覆盖在增强现实图像上。
图5示出了阐述用于农业对象检测的方法300的流程图。在步骤310，即步骤a)中，接收田地中的一个或多个农业对象的图像。例如，移动电话摄像头可能会捕获到田地区域内多种杂草或叶片损伤的图像。
在步骤320，即步骤b)中，将数据驱动模型应用于所接收的图像以创建元数据，该元数据包括表示一个或多个农业对象在所接收的图像中的图像位置的至少一个区域指示符和与至少一个区域指示符相关联的农业对象标签。数据驱动模型被配置为已经用包括多组示例的训练数据集进行了训练，每组示例包括示例田地中的一个或多个农业对象的示例图像以及相关联的示例元数据，该示例元数据包括表示一个或多个农业对象在示例图像中的的图像位置的至少一个区域指示符以及与至少一个区域指示符相关联的示例农业对象标签。
在步骤330，即步骤c)中，输出与所接收的图像相关联的元数据。
应当理解，上述操作可以以任何合适的顺序执行，例如，连续地、同时地或它们的组合，在适用的情况下，采取例如根据输入/输出关系需要的特定顺序。
在本发明的另一示例性实施例中，提供了一种计算机程序或计算机程序元素，其特征在于适于在适当的系统上执行根据前述实施例之一所述的方法的方法步骤。因此，计算机程序元素可以存储在计算机单元上，该计算机单元也可以是本发明的实施例的一部分。该计算单元可以适于执行或诱导执行上述方法的步骤。此外，它可以适用于操作上述装置设备的组件。计算单元可以适于自动操作和/或执行用户的命令。计算机程序可以加载到数据处理器的工作存储器中。因此可以配备数据处理器来执行本发明的方法。
本发明的该示例性实施例涵盖从一开始就使用本发明的计算机程序和通过更新将现有程序变成使用本发明的程序的计算机程序两者。
此外，计算机程序元素能够提供所有必要的步骤来实现如上所述的方法的示例性实施例的过程。
根据本发明的进一步的示例性实施例，提出了一种计算机可读介质，例如CD-ROM，其中该计算机可读介质上面存储有计算机程序元素，该计算机程序元素在前面的部分中进行了描述。
计算机程序可以存储和/或分布在合适的介质上，例如与其他硬件一起提供或作为其他硬件的一部分而提供的光存储介质或固态介质，但也可以以其他形式分发，例如经由互联网或其他有线或无线电信系统。
然而，计算机程序也可以通过像万维网这样的网络呈现并且可以从这样的网络下载到数据处理器的工作存储器中。根据本发明的进一步的示例性实施例，提供了一种用于使计算机程序元素可用于下载的介质，该计算机程序元素被布置为执行根据本发明的前述实施例之一的方法。
必须注意，本发明的实施例是参照不同的主题来描述的。特别地，一些实施例参考方法类型权利要求进行描述，而其他实施例参考装置类型权利要求进行描述。然而，本领域技术人员将从以上和以下描述中了解到，除非另有说明，否则除了属于一类主题的特征的任何组合之外，涉及不同主题的特征之间的任何组合也被认为是与本申请一起公开。然而，所有特征都可以组合在一起，从而提供比这些特征的简单总和更多的协同效应。
尽管在附图和前面的描述中详细说明和描述了本发明，但是这样的说明和描述被认为是说明性的或示例性的而不是限制性的。本发明不限于所公开的实施例。通过研究附图、公开内容和从属权利要求，本领域技术人员在实践要求保护的发明时可以理解和实现对所公开的实施例的其他变化。在权利要求中，“包括”一词不排除其他要素或步骤，不定冠词“一”或“一个”不排除复数。单个处理器或其他单元可以实现权利要求中记载的若干项的功能。在相互不同的从属权利要求中引用某些措施这一事实并不表示这些措施的组合不能有利地使用。权利要求中的任何参考标号不应被解释为限制范围。

Claims (15)

1.一种用于农业对象检测的决策支持装置(10)，包括：
-输入单元(12)，其被配置为接收田地中的一个或多个农业对象的图像(18)；
-计算单元(14)，其被配置为将数据驱动模型应用于所接收的图像以生成元数据，所述元数据包括表示所述一个或多个农业对象在所接收的图像中的图像位置的至少一个区域指示符(20a，20b，20c，20d)以及与所述至少一个区域指示符相关联的农业对象标签(22a，22b，22c，22d)，
其中，所述数据驱动模型被配置为已经用包括多组示例的训练数据集进行了训练，每组示例包括示例田地中的一个或多个农业对象的示例图像以及相关联的示例元数据，所述示例元数据包括表示所述一个或多个农业对象在所述示例图像中的图像位置的至少一个区域指示符以及与所述至少一个区域指示符相关联的示例农业对象标签；以及
-输出单元(16)，其被配置为输出与所接收的图像相关联的所述元数据。
2.根据权利要求1所述的决策支持装置，
其中，所述数据驱动模型被配置为已经用测试数据集进行了评估以生成质量报告，所述质量报告包括在置信度方面的质量和农业对象的潜在混淆；以及
其中，所述测试数据集包括多组示例，每组示例包括示例田地中的一个或多个农业对象的示例图像以及相关联的示例元数据，所述示例元数据包括表示所述一个或多个农业对象在所述示例图像中的图像位置的至少一个区域指示符以及与所述至少一个区域指示符相关联的示例农业对象标签。
3.根据权利要求1或2所述的决策支持装置，
其中，所述一个或多个农业对象包括叶片损伤、病害和氮缺乏中的至少一个。
4.根据前述权利要求中任一项所述的决策支持装置，
其中，所述一个或多个农业对象包括杂草。
5.根据权利要求4所述的决策支持装置，
其中，至少一组示例还包括所述杂草的生长阶段；并且
其中，所生成的元数据还包括所述杂草的所述生长阶段。
6.根据权利要求4或5所述的决策支持装置，
其中，所述计算单元还被配置为确定所述杂草的杂草密度；并且
其中，所述计算单元还被配置为如果确定所述杂草的所述杂草密度超过阈值，则确定用除草剂处理所述杂草。
7.根据权利要求6所述的决策支持装置，
其中，所述计算单元还被配置为：基于与所述杂草相关联的所述农业对象标签，推荐用于处理所述杂草的特定除草剂产品，优选地，具有从所述杂草密度和所述杂草的所述杂草生长阶段导出的施用量；并且
其中，所生成的元数据还包括以下信息中的至少一项：
-所述杂草是否需要用除草剂处理；
-所推荐的特定除草剂产品；以及
-所述施用量。
8.根据前述权利要求中任一项所述的决策支持装置，还包括：
-网络服务器单元(30)，其被配置为经由网络服务器所供给的网页和/或应用程序与用户交互；
其中，所述决策支持装置被配置为：通过所述网页和/或所述应用程序向用户提供图形用户界面GUI，以使得所述用户能够向所述决策支持装置提供田地中的一个或多个农业对象的图像并从所述决策支持装置接收与所述图像相关联的元数据。
9.一种移动设备(100)，包括：
-相机(110)，其被配置用于捕获田地中的一个或多个农业对象的图像；
-处理单元(120)，其被配置为：
i)作为根据权利要求1至8中任一项所述的决策支持装置，用于提供与所捕获的图像相关联的元数据；和/或
ii)经由根据权利要求1至8中任一项所述的决策支持装置所供给的网页和/或应用程序，向用户提供图形用户界面GUI，以允许所述用户将所捕获的图像提供给所述决策支持装置，并从所述决策支持装置接收与所捕获的图像相关联的元数据；以及
-显示器(130)，其被配置为显示所捕获的图像和所述相关联的元数据。
10.根据权利要求9所述的移动装置，
其中，所述处理单元还被配置为：在将所捕获的图像提供给所述决策支持装置之前，对所捕获的图像进行质量检查；并且
其中，所述质量检查包括：检查图像尺寸、所述图像的分辨率、所述图像的亮度、所述图像的模糊度、所述图像的清晰度、所述图像的焦点中的至少一项，以及从所捕获的图像中过滤无用数据。
11.根据权利要求9或10所述的移动装置，
其中，所述处理单元还被配置为：将所述至少一个区域指示符覆盖在所捕获图像中的相关联的一个或多个农业对象上，优选地，具有相关联的农业对象标签。
12.根据权利要求9至11中任一项所述的移动装置，
其中，所述处理单元还被配置为：产生包括一个或多个农业对象的田地环境的增强现实图像，每个农业对象与相应的农业对象标签相关联，并且优选地与覆盖在所述增强现实图像上的相应的区域指示符相关联。
13.一种用于农业对象检测的方法(300)，包括：
a)接收(310)田地中的一个或多个农业对象的图像；
b)将数据驱动模型应用于(323)所接收的图像以创建元数据，所述元数据包括表示所述一个或多个农业对象在所接收的图像中的图像位置的至少一个区域指示符以及与所述至少一个区域指示符相关联的农业对象标签，
其中，所述数据驱动模型被配置为已经用包括多组示例的训练数据集进行了训练，每组示例包括示例田地中的一个或多个农业对象的示例图像以及相关联的示例元数据，所述示例元数据包括表示所述一个或多个农业对象在所述示例图像中的图像位置的至少一个区域指示符以及与所述至少一个区域指示符相关联的示例农业对象标签；以及
c)输出(330)与所接收的图像相关联的所述元数据。
14.一种计算机程序元素，用于指示根据权利要求1至12中任一项所述的装置，，所述计算机程序元素在被处理单元执行时适于执行根据权利要求13所述的方法步骤。
15.一种计算机可读介质，在其上存储有根据权利要求14所述的程序元素。
CN202080048589.6A 2019-07-01 2020-06-29 多种杂草检测 Pending CN114051630A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP19183625.3 2019-07-01
EP19183625 2019-07-01
PCT/EP2020/068265 WO2021001318A1 (en) 2019-07-01 2020-06-29 Multi weed detection

Publications (1)

Publication Number Publication Date
CN114051630A true CN114051630A (zh) 2022-02-15

Family

ID=67137836

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202080048589.6A Pending CN114051630A (zh) 2019-07-01 2020-06-29 多种杂草检测

Country Status (7)

Country Link
US (1) US20220245805A1 (zh)
EP (1) EP3994606A1 (zh)
JP (1) JP2022538456A (zh)
CN (1) CN114051630A (zh)
BR (1) BR112021026736A2 (zh)
CA (1) CA3144180A1 (zh)
WO (1) WO2021001318A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11748984B2 (en) * 2020-05-05 2023-09-05 Planttagg, Inc. System and method for horticulture viability prediction and display
WO2022106302A1 (en) 2020-11-20 2022-05-27 Bayer Aktiengesellschaft Representation learning
JP2024524247A (ja) 2021-06-25 2024-07-05 ビーエーエスエフ アグロ トレードマークス ゲーエムベーハー 処理装置の通信プロトコル
EP4230036A1 (en) 2022-02-18 2023-08-23 BASF Agro Trademarks GmbH Targeted treatment of specific weed species with multiple treatment devices

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
BR112020002153A2 (pt) * 2017-08-02 2020-08-04 Bayer Business Services Gmbh dispositivo para gerenciamento agrícola
US10679330B2 (en) * 2018-01-15 2020-06-09 Tata Consultancy Services Limited Systems and methods for automated inferencing of changes in spatio-temporal images

Also Published As

Publication number Publication date
CA3144180A1 (en) 2021-01-07
JP2022538456A (ja) 2022-09-02
BR112021026736A2 (pt) 2022-02-15
WO2021001318A1 (en) 2021-01-07
US20220245805A1 (en) 2022-08-04
EP3994606A1 (en) 2022-05-11

Similar Documents

Publication Publication Date Title
CN114051630A (zh) 多种杂草检测
CN108986169B (zh) 用于处理图像的方法和装置
KR102629380B1 (ko) 실제 3차원 객체를 실제 객체의 2-차원 스푸프로부터 구별하기 위한 방법
JP6994588B2 (ja) 顔特徴抽出モデル訓練方法、顔特徴抽出方法、装置、機器および記憶媒体
CN110276366A (zh) 使用弱监督模型来检测对象
CN107808111A (zh) 用于行人检测和姿态估计的方法和装置
Rahman et al. Smartphone-based hierarchical crowdsourcing for weed identification
DE112021003744T5 (de) Strichcodescannen basierend auf gestenerkennung und -analyse
US11605221B2 (en) Multi-angle object recognition
CN108228421A (zh) 数据监测方法、装置、计算机及存储介质
CN107918767B (zh) 目标检测方法、装置、电子设备及计算机可读介质
CN108509921B (zh) 用于生成信息的方法和装置
CN110428412A (zh) 图像质量的评价及模型生成方法、装置、设备和存储介质
Lee et al. Automatic recognition of flower species in the natural environment
CN106529456A (zh) 信息匹配和信息收发方法、装置及目标对象找寻系统
CN108038473B (zh) 用于输出信息的方法和装置
JP6623851B2 (ja) 学習方法、情報処理装置および学習プログラム
JP2017191458A (ja) 画像識別システム
JP6699048B2 (ja) 特徴選択装置、タグ関連領域抽出装置、方法、及びプログラム
US20150032631A1 (en) Portable device for financial document transactions
CN113918769B (zh) 视频中关键动作标记方法、装置、设备及存储介质
CN111680708A (zh) 一种给图片加标签的方法和系统
CN106610766A (zh) 热力图框选方法和装置
CN110222622A (zh) 一种环境土壤检测方法及装置
JP2023172759A (ja) 対象物解析装置、対象物解析方法

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination