CN109478232A - 自然环境中的杂草的识别 - Google Patents

自然环境中的杂草的识别 Download PDF

Info

Publication number
CN109478232A
CN109478232A CN201780042492.2A CN201780042492A CN109478232A CN 109478232 A CN109478232 A CN 109478232A CN 201780042492 A CN201780042492 A CN 201780042492A CN 109478232 A CN109478232 A CN 109478232A
Authority
CN
China
Prior art keywords
weeds
metadata
digital picture
title
determination
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780042492.2A
Other languages
English (en)
Inventor
B·基佩
T·施灵
A·格拉德巴赫
B·斯特普纳特
F·福伊斯
D·雷克斯泰纳
S·海尔韦格
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
BASF SE
Original Assignee
BASF SE
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from EP16169416.1A external-priority patent/EP3244343A1/en
Priority claimed from EP16182582.3A external-priority patent/EP3279831A1/en
Application filed by BASF SE filed Critical BASF SE
Publication of CN109478232A publication Critical patent/CN109478232A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/457—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by analysing connectivity, e.g. edge linking, connected component analysis or slices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

可以提供一种用于识别自然环境中的杂草类型的方法。该方法包括接收处于早期生长阶段的杂草的数字图像以及相关元数据，绘制叶子的区域的轮廓，以及确定杂草是单子叶植物还是双子叶植物。此外，该方法包括确定生长阶段，以及使用多个所接收的元数据中的至少一个元数据以及在轮廓绘制期间、在确定杂草是单子叶植物还是双子叶植物期间，以及在杂草的生长阶段的确定期间确定的多个元数据到一组分类器的输入参数来确定由杂草名称识别的杂草类型和该确定的正确性的概率，该组分类器使用包括杂草类型名称以及每种杂草类型的多组元数据的存储装置。

Description

自然环境中的杂草的识别
技术领域
本发明一般涉及杂草识别，并且更具体地涉及用于识别自然环境中的杂草类型的方法。本发明进一步涉及用于识别自然环境中的杂草类型的识别系统以及计算机程序产品。
背景技术
农业目前正在经历其下一个发展阶段。在许多农业过程和一系列自动化举措实现工业化之后，农业过程中引入的高科技工具仍在继续。加入到此背景中，物联网(IoT)现象还不适用于农业。
由于农民对提高其收获产量以及降低其成本更关注，因此许多努力被投入到提高农业效率的措施。通过减少如田地中的害虫、疾病和杂草的因素，可以对产量产生相当大的影响。为了抗击杂草，农民因此使用除草剂，但这种处理通常涉及高昂的努力和成本。到目前为止，在使用除草剂时，农民需要依靠他们的经验和个人知识来识别杂草。这种专业知识可能无法被所有农业人员，因此在决定如何抗击现有杂草时的任何帮助都受到高度赞赏。此外，正确识别杂草，从而选择正确数量的正确除草剂，有助于节约资源和进一步保护环境。
在此之后，需要技术援助来识别农田中的杂草，而不需要在田间挑选潜在杂草植物的各个叶子的手动过程，并尝试使用一些文献来识别后台中的杂草类型。因此，本申请的目的是提供一种用于识别栽培作物中间的、自然环境中的杂草的方法和系统。
发明内容
该需求可以通过根据独立权利要求的用于识别自然环境中的杂草类型的方法、用于识别自然环境中的杂草类型的识别系统以及计算机程序产品来解决。
根据本发明的第一方面，可以提供一种用于基于自然环境中的杂草的数字图像识别杂草类型的方法。该方法可以包括接收数字图像，该数字图像包括表示栽培作物中间、自然环境中、处于早期生长阶段的杂草的数据。另外，可以接收与数字图像相关的元数据。
该方法可以进一步包括在数字图像内对具有RGB颜色模型中的预定义颜色和纹理规范的区域进行轮廓绘制，从而构建包括边界轮廓内的杂草的像素的至少一个轮廓区域，以及确定杂草是单子叶植物还是双子叶植物。
此外，该方法可以包括通过确定轮廓区域的接合中心来隔离杂草的至少单片叶子以及确定轮廓区域内的叶子数量来确定杂草的生长阶段。
该方法的另一个特征可以包括使用多个接收的元数据中的至少一个元数据以及在轮廓绘制期间、在确定杂草是单子叶植物还是双子叶植物期间，以及在杂草的生长阶段的确定期间确定的多个导出的元数据作为到一组分类器的输入参数来确定由杂草名称识别的杂草类型和该确定的正确性的概率。该组分类器可以具有到包括杂草类型名称以及每种杂草类型的多组元数据的存储装置的访问权。
根据本发明的另一方面，可以提供一种用于基于自然环境中的杂草的数字图像识别杂草类型的识别系统。识别系统可包括：接收单元，其适于接收数字图像以及与数字图像相关的元数据，该数字图像包括表示栽培作物中间、自然环境中、处于早期生长阶段的杂草的数据；轮廓绘制单元，其适于在数字图像内对具有在RGB颜色模型中的预定义颜色和纹理规范的区域进行轮廓绘制，从而构建包括边界内的杂草的像素的至少一个轮廓区域；以及第一分类器单元，其适于确定杂草是单子叶植物还是双子叶植物。
识别系统可进一步包括确定单元，该确定单元适于通过确定轮廓区域的接合中心来隔离杂草的至少单片叶子，以及确定轮廓区域内的叶子数量来确定杂草的生长阶段。
另外，识别系统可以包括第二分类器单元，该第二分类器单元包括一组第二分类器，该组第二分类器适于使用多个所接收的元数据中的至少一个元数据以及由轮廓绘制单元、第一分类器单元，以及用于确定杂草的生长阶段的确定单元确定的多个元数据作为输入参数来确定由杂草名称识别的杂草类型和该确定的正确性的概率。第二分类器可以具有包括杂草类型的名称以及每种杂草类型的多组元数据的存储系统。
可以注意到，识别系统可以实现为私有计算中心或共享计算中心(如云计算中心)的一部分。数字图像可以由数码相机在农田中拍摄并由识别系统接收以进行进一步处理。图像捕获装置或数码相机可以由农民、顾问或任何其他人手动操作。可替代地，相机可以安装在可以自主操作或者可以远程控制的飞行的无人机上。
此外，实施例可以采取可从计算机可用或计算机可读介质访问的相关计算机程序产品的形式，该计算机可用或计算机可读介质提供程序代码以供计算机或任何指令执行系统使用或与之结合使用。为了本说明书的目的，计算机可用或计算机可读介质可以是任何设备，该设备可以包含用于存储、通信、传播或传输程序以供指令执行系统、设备或装置使用或与之结合使用的部件。
所提出的用于识别自然环境中的杂草类型的方法可以提供一些优点和技术效果：
自动检测杂草的类型并确定正确的杂草名称对于田地中的农民具有高价值。作物田地中的杂草可能会从季节到季节、从天气条件到天气条件、从一年到另一年变化。另外，杂草的表型外观可能基于环境条件而改变，使得专家也可能无法以可靠的方式识别杂草的类型。特别是在早期生长阶段期间，难以识别特定杂草外观的微小差异。使用例如来自智能手机的相机拍照、在智能手机内执行预分析和/或将图片发送到识别系统可以为农民提供显著的价值。他可以立即决定使用哪种类型的除草剂来抗击其作物中间的正在发育的杂草。也可以有助于仅在杂草生长的区域施用除草剂。为了仅在农田的地点中抗击杂草，可能需要在田地中杂草的分布的附加分区信息。
捕获潜在杂草的图像的任务也可以由未经教育的农民、支持人员或没有任何识别杂草的经验的临时工作人员执行。这可以节省农业过程中的宝贵时间和资金。可以将数字图像的图像信息减少到有用的最小值。与一组分类器或神经网络系统形式的高性能高度复杂的杂草识别系统的使用一起，农民可以仅使用他的智能手机来或多或少地立即确定杂草的名称。作为确定杂草名称以及一种或多种杂草类型的概率并将该信息发送回捕获智能手机的分类器的输入值的元数据的使用可以允许农民和后端系统之间的复杂交互。它还允许以高概率确定杂草名称，并建议农民如何进行。此外，还可以在基于高性能多核的智能手机或专用杂草分析系统中实施分类器技术。
此外，捕获和接收杂草图像并发送回杂草名称-具有概率等级-的整个过程可以在非常短的时间量(例如秒)内执行。由于如今智能手机无处不在，因此可能不需要在田地中使用特殊装置，如特殊相机。因此，与传统技术相比，识别过程的成本也可以保持相对较低，因为大量的简单智能手机可以以云计算方式使用识别系统。
最后，由高度复杂的识别系统执行的杂草识别过程对无经验的农民也可用，允许他能够抗击杂草并提高他的农业产量。
此外，所提出的方法和系统允许识别、确定和/或辨别自然环境中而不仅仅是在人工条件下的温室中的杂草。这可以证明对于在田地中工作的农民来说可能是非常宝贵的优势，因为一切都可以现场并在现实的日常工作条件下实现。已经证明在自然环境中识别杂草比在温室条件下要困难得多，因为变数非常高。在温室里，可能存在恒定的光线，没有直接的阳光或单个光源相关的强烈阴影，没有导致变化和不可预测的反射和颜色外观的与一天中的时间相关的光线角度变化，没有云，没有雾或雾霾或变化的土壤条件，没有变化的湿润条件，没有风引起的植物运动，没有昆虫相关的叶子损害，仅举几个参数，为什么在自然环境中的识别不能与温室中的杂草识别相比较。因此，所有上述情况在自然条件下变化，这可能代表与用于图像识别的部分已知技术的显著差异，该已知技术依赖于最优且通常是人造的环境条件。
在下面将描述所提出的用于识别自然环境中的杂草类型的方法的附加实施例。可以注意到，实施例可以以方法的形式或以相关系统的形式实现。
根据该方法的一个优选实施例，预定义的颜色规范可以涉及自然环境中的杂草的颜色范围，特征在于完整的可见范围，并且特别是关注于例如490nm至575nm的波长的绿色范围。这可以减少来自于也作为数字图像的一部分捕获的背景信息的“图像噪声”。此外，捕获的杂草的背景可以包括落入该波长范围的单个或小组绿色像素。轮廓绘制可以消除该背景绿色信息点。可允许的波长范围(例如，490nm至575nm)可以存储在表、数据库或另一种合适的数据格式中。
纹理规范可涉及叶脉、叶子片段的特征形式、特定图案和颜色分布、叶子顶部表面上和叶子边缘上的微毛。所有这些和附加的特征纹理可以不被明确地参数化，而是属于训练的分类器相关函数的“学习的”的背景。
根据该方法的另外优选实施例，可以通过针对数字图像的每个组合颜色确定其颜色分量的组合是否可以与多个预定义颜色组合中的一个匹配来执行对具有预定义颜色和纹理规范的区域的轮廓绘制。通常，图像检测器使用已知的RGB颜色模型(红-绿-蓝)运作，RGB颜色模型对于每个完整像素利用3个子像素，其中一个子像素用于红色、绿色和蓝色的3种基本颜色之一。可以存储具有子颜色像素信息的RGB模型内的预定义颜色信息和强度分布的如此指定的颜色空间边界作为参考。这样，可以执行数字图像的每个像素与存储的参考颜色信息之间的快速比较，通过该比较，可以选择捕获数字图像的像素是否作为待绘制轮廓区域的一部分。
根据该方法的一个有利实施例，可以另外通过如下的确定来执行具有预定义颜色规范的区域的轮廓绘制
1.wi＝F(pi,pi,j)，其中(方程1)
wi＝1或0，指示像素i是否可能属于杂草。除了针对单个像素的允许的颜色信息的更直接比较之外，这可以被执行。F可以是基于pi和所有pj的颜色属性分别计算杂草或非杂草的概率的函数，pi＝像素i并且pi,j＝围绕像素i的像素j。计数为围绕像素i的像素数可以变化。例如，可以仅使用一个环或周围像素；这可能是8个像素pi,j。此外，还可以考虑围绕第一环的下一个像素pi,j的环；该第二环可以包括附加的16个像素pi,j。可以考虑附加的像素环，并且像素环距离像素i越远，不同的环可以乘以减小的加权因子。这可以使得能够更全面地确定所捕获的数字图像的像素是否应该被计数为杂草像素。
根据该方法的一个允许实施例，早期生长阶段可以由10至39的BBCH代码定义。使用BBCH代码(来自德国Biologische Bundesanstalt，Bundessortenamt undCHemischeIndustrie的国际认可代码)可以帮助在杂草的早期生长阶段取得可比较的结果。通常，即使是专家也可能无法识别具有根据BBCH代码的低于10的生长阶段(例如，第一片叶子出现)的杂草。具有大于或等于40的BBCH代码的杂草可能长得太大，而无法用除草剂成功抗击。然而，也可以以较低的概率识别具有低于10的BBCH代码的杂草。增加轮廓区域的颜色信息的光谱分析可能有助于实现这一点。
根据该方法的一个有用实施例，确定杂草是单子叶植物还是双子叶植物可以包括应用经训练以区分单子叶植物和双子叶植物杂草，从而产生二进制单子叶植物-双子叶植物标识符值的分类器。如果分类器采用训练图像被很好训练，则如神经网络分类器的分类器可以非常适合于单子叶植物和双子叶植物杂草类型之间的区分。单子叶植物类型或双子叶植物类型的杂草包括允许两种类型杂草之间的良好区分的特征。单子叶植物-双子叶植物标识符值可以被视为导出的元数据。
根据该方法的一个有利实施例，导出的元数据可以包括从包括二进制单子叶植物-双子叶植物标识符值、确定的叶子数量和确定的生长阶段的组中选择的至少一个。这些元数据可以是从接收的数字图像导出的元数据。它们可以与接收的元数据区分开，尽管两种类型的元数据最终都可以用作确定杂草类型的参数。
根据该方法的另一有利实施例，所接收的元数据可以包括包含以下数据的组中的至少一个：数字图像的捕获位置的全球定位系统数据(GPS)值(特别是用于识别乡村或地区)、日历日期(特别是用于识别季节和潜在相关的天气数据的识别)、与全球定位数据系统数据值相关的地形数据(特别是海平面以上的高度和/或地理数据的识别)、在捕获数字图像的瞬间捕获装置的加速度数据、在捕获数字图像期间捕获装置的倾斜角度，以及捕获数字图像使用的相机类型。这些元数据中的一些元数据可以与来自例如智能手机或者可替代地来自服务器的一个或多个数据库的数字图像一起接收。它们还可以被接收用于另一计算系统，例如，提供基于GPS的天气数据或拓扑数据和日期/时间数据的云计算中心。
根据该方法的另外优选实施例，接收和/或导出的每个元数据值可以具有预定义的加权值，该预定义的加权值也可以用作该组分类器的输入参数。这些参数可用于对所提出的方法和系统进行微调。可以自动学习参数，以比较不同季节的数据，或者它们可以被手动设置，以反映农民和管理者通过系统进行的体验。
根据该方法的另一优选实施例，由其杂草名称识别的杂草类型的确定还可以包括将所确定的杂草名称的名称与杂草概率图进行比较，该杂草概率图可以映射杂草针对地理位置和季节性数据的概率发生率，并基于将确定的杂草名称的名称与杂草概率图的比较，重新计算确定的正确性的概率。该附加调节可以有助于更精确地确定杂草的类型。例如，它可以排除错误识别的杂草类型，因为在一年(季节)的给定时间和/或地理区域确定该类型杂草的概率相对较小。
还可以提及的是，在确定过程中可以包括其它元数据值，如在实际季节和之前季节中生长的杂草类型，包括在这些早期季节期间在实际田地或其他田地上在相同或类似作物生长区域中检测到的杂草的相关类型。该类型的附加信息也可以反映在概率图中。
此外，该方法可以包括发送识别的杂草名称和针对具有三个最高概率值的杂草名称的确定的正确性的相关概率。在人类可能已经操作数码相机以捕获数字图像的情况下，无线发送可以被引导到相机的操作者，并且更精确地引导到操作者的智能手机。另一方面，如果数码相机可以安装在如无人机或基于自动轮的田地机器人的自动车辆上，可以将名称和概率无线地发送给农民的智能手机或农民的另一移动装置，包括杂草被找到的GPS坐标。然后，特殊软件应用可以在农场的地理地图上呈现找到的杂草的位置。
此外，实施例可以采取可从计算机可用或计算机可读介质访问的相关计算机程序产品的形式，该计算机可用或计算机可读介质提供程序代码以供计算机或任何指令执行系统(如智能手机)使用或与之结合使用。为了该描述的目的，计算机可用或计算机可读介质可以是任何设备，该设备可以包含用于存储、通信、传播或传输程序以供指令执行系统、设备或装置使用或与之结合使用的部件。
附图说明
应该注意，参考不同的主题描述了本发明的各方面。特别地，参考方法类型权利要求描述了一些实施例，而已经参考装置类型权利要求描述了其它实施例。然而，本领域技术人员将从以上和以下描述中得到，除非另有通知，否则除了属于一种类型的主题的特征的任何组合之外，涉及不同主题的特征之间(特别地，在方法类型权利要求的特征与装置类型权利要求的特征之间)的任何组合也被认为在本文献内公开。
从下文描述的实施例的示例，本发明的以上限定的方面和其它方面是显而易见的。参考实施例的示例解释它们，但本发明不限于此。
仅通过示例的方式并参考以下附图描述本发明的优选实施例：
图1示出用于识别自然环境中的杂草类型的本发明方法的实施例的框图。
图2示出捕获双子叶植物的数字图像的实施例的框图。
图3示出捕获单子叶植物的数字图像的实施例的框图。
图4示出区域轮廓绘制过程的步骤的实施例。
图5a、5b示出在轮廓绘制过程中包括另外的像素环的概念。
图6示出具有四片叶子和接合中心的杂草图像的实施例。
图7示出杂草识别系统的实施例的框图。
图8示出包括识别系统的计算系统的实施例。
具体实施方式
在本说明书的上下文中，可以使用以下约定、术语和/或表达：
术语“识别”，特别是“识别杂草类型”或“辨别杂草的类型”或“确定”也可以表示针对特定类型的杂草识别的基于机器的自动确定或辩别过程，其从来自数码相机的所接收的数字图像开始、对数字图像进行预处理、在数字图像的处理期间导出元数据、并通过例如基于神经网络的分类器将这些用于对图像数据进行基于概率的分析，并且最后识别一种或多种杂草。
术语“杂草”可以表示可以快速适应几乎任何环境的任何物种的不需要的植物。这里，表达杂草还可以与在收获成熟种子的果实的意义上有用的作物或栽培或经济植物中的植物相关。杂草可以扰乱或者负面地影响作物的生长过程并降低农田的产量。
术语“自然环境”可以-在如作物或杂草的植物的背景下-表示植物在可以暴露于自然天气和环境条件(如湿度和直接或间接的阳光以及其他天气现象)的田地中或陆地上生长。因此，自然环境不包括如用于植物的温室或其它非自然生长环境的人工环境。具有受控条件的这种非自然环境可以人为地排除许多影响因素，这些影响因素使得识别过程更加困难或者-在许多情况下-不可能。该特点可以证明是当前提出的方法和系统的优点，因为在人工控制的环境中区分作物和杂草可能更容易。在极端受控的条件下，识别特定类型的杂草可能要容易得多，因为在给定例如温室的特定和受控条件下，可以预先排除大量类型的杂草。
术语“早期生长阶段”可以表示植物的如下阶段，在该阶段中，植物，特别是杂草可能还没有生长到成年阶段。无论如何，非常早期的生长阶段可能很难识别。已经表明，当描述植物(例如杂草)的生长阶段时，'BBCH代码'的使用可能是有用的。缩写BBCH官方表示“Biologische Bundesanstalt，Bundessortenamt und Chemische Industrie”，并描述了植物的物候生长阶段。代码从00至99。10至19的BBCH代码代表叶子的不同早期发育期。主要生长阶段2包括BBCH代码20至29，并且涉及侧枝/分蘖的形成。主要生长阶段3(BBCH代码30至39)包括茎伸长/枝条发育(主枝条)。因此，关注具有10至39之间的BBCH代码的杂草可以代表在早期生长阶段对杂草的良好关注。
术语“轮廓绘制”可以表示确定具有例如数字图片中的杂草的共同或相似颜色和/或纹理特征的特定区域或表面的轮廓的过程。植物(特别是杂草)的每片叶子具有叶子的自然边界或外边缘或多个边缘。轮廓绘制的过程捕获、识别和/或确定这些边缘，使得在相关轮廓区域内可以包括杂草的全部或几乎所有像素。
术语“颜色和纹理规范”可以表示根据颜色模型(例如RGB颜色模型(红色、绿色、蓝色))的在数字图像中的像素的数字信息。然而，可以使用其它颜色模型，如HSV(色调、饱和度、值)、HSL(色调、饱和度、亮度/辉度)。在行业中众所周知，来自一种颜色模型的大多数颜色模型信息可以通过数学矩阵运算转换为另一种颜色模型。不同的颜色模型可以具有不同的优点，如大多数自然颜色表示，最适于数字处理，最优地适于灰度处理，最适于边缘识别并因此用于轮廓绘制，等等。
术语“RGB颜色模型”可以表示公知的加色模型，在该加色模型中，红色、绿色和蓝色的光以各种方式加在一起以再现各种各样的颜色。该模型的名称来自三种加色原色红色、绿色和蓝色的首字母。RGB颜色模型的主要目的是用于电子系统(诸如电视和计算机)中图像的感测、呈现和显示，尽管它也已用于传统摄影中。在电子时代之前，基于人类对颜色的感知，RGB颜色模型已经具有了其后的坚实的理论。RGB是依赖于装置的颜色模型：不同的装置可以不同地检测或再现给定的RGB值，因为颜色元素(诸如磷光体或染料)及其对各个R、G和B水平的响应因制造商或甚至在同一装置中随时间的推移而变化。因此，在没有某种颜色管理和数学变换的情况下，RGB值可能不会跨装置定义相同的颜色。
术语“分类器”或“分类器相关函数”，并且特别是“训练的分类器相关函数”可以表示一个或多个数学函数，其允许测量捕获图像的一个或多个部分与一组参考图像数据之间的特征的相似性分类器可以通过该组参考图像被训练。相关函数的特征参数化可以不是手动编程的，而是可以训练的，即，使用具有已知多个输入属性的数据集以及期望结果来学习。技能人员将知道各种类型的相关方法。
实际上，该方法也可用于纹理规范以及单子叶植物/双子叶植物区分和/或杂草类型确定。可以不明确指定参数，而是在分类器相关函数的训练期间自动导出参数。
几种类型的分类器是已知的并且可以用于本发明构思。抽象地，例如实现为算法的分类器将输入数据映射到预定义类别。分类器通常用于机器学习中。它们使用一组定义的训练数据进行训练，该训练数据应生成已知结果，表示一种监督学习。用于分类器的一个示例是线性分类器，其中预测类别是具有最高得分的类别。该类型的评分函数称为线性预测函数，并且具有以下一般形式：
Score(Xi,k)＝βk*Xi，
Xi是例如i的特征向量，βk是对应于类别k的权重向量，并且score(Xi，k)是与将实例i分配给类别k相关联的得分。特征向量可以是二进制的、分类的、序数的、整数值的或实值的。分类器也可以用作二进制或多类分类器。
另一种类型的分类器是生物启发的神经网络分类器，其与接收一组输入值的模拟神经元以及建立在一个神经元的输出和另一个神经元的输入之间的链接的突触元件一起工作。从手动注释的图像(训练图像)中，植物的一组特征被提取并用于训练神经网络(监督学习)。训练之后，为每个新图像(测试图像)提取相同组特征，并且神经网络使用这些特征来对图像中的植物进行分类。
术语“杂草概率图”可以表示基于地理的图，其表示用于在由地球表面上的地理坐标确定的地理位置处和相关高度值并与季节性数据结合找到杂草的概率以及关于在所讨论的位置已经发现特定杂草的次数和强度的历史数据。因此，简单来说，杂草概率图可能有助于回答该问题：在一年中的给定时间、在给定位置找到特定类型的杂草的可能性如何。
在下文中，将给出附图的详细描述。图中的所有说明都是示意性的。首先，给出了用于识别自然环境中的杂草类型的本发明方法的实施例的框图。然后，将描述进一步的实施例以及用于识别自然环境中的杂草类型的识别系统的实施例。
图1示出用于基于在自然环境中拍摄的数字图像识别杂草类型的方法100的实施例的框图。该方法包括接收102数字图像。数字图像可以由数码相机的操作者拍摄，例如，田地中的农民或自动车辆上的相机。农民可以使用智能手机的数码相机来拍摄数字图像并将其发送到识别系统。通过识别系统经由例如智能手机接收的数字图像可以包括表示栽培作物中间、自然环境中、处于早期生长阶段的杂草的数据以及与数字图像相关的元数据。元数据可以包括数字图像的位置的GPS数据，即，拍摄数字图像的位置的杂草以及高于零的高度值等。
该方法包括进一步在数字图像内对具有在RGB颜色模型中的预定义颜色和纹理规范的区域进行轮廓绘制104，从而构建包括与边界轮廓(特别是边界线)内的杂草的像素的至少一个轮廓区域。可以存在至少一种杂草植物或最终更多。换句话说，检测与背景(例如田地的土壤)不同的绿色植物区域。此外，该方法可以包括确定106杂草是单子叶植物还是双子叶植物。可以相对容易地识别这两种杂草，因为胚胎叶或子叶的数量可以使用训练的分类器来确定。可替代地，可以由相机的操作者进行输入，无论数字图像的杂草是单子叶植物还是双子叶植物。即使是未经培训的农民或操作者也可以区分这两种植物。
另外，该方法可以包括通过确定轮廓区域的接合中心来隔离110杂草的至少单片叶子并确定112轮廓区域内的叶子数量来确定108杂草的生长阶段。这可以使用从高级数字图像处理库(例如来自名为MVTec的公司的Halcon库)获得的图像处理函数来执行。术语“隔离”可以表示将与杂草相关的像素与数字图像的背景的像素区分开的过程。因此，可以是逻辑隔离，使得杂草可以被视为数字图像的数据结构的一个逻辑对象。
可以以下面的方式执行到单片叶子的实际分割：将数字图像从RGB颜色空间转换到HSV(色调饱和度值)颜色空间，并使用阈值处理进行分割，从而产生二进制分割。为了获得各片叶子，首先在二进制分割的前景区域内应用距离变换。之后，距离图的局部最大值被用作后续分水岭分割的种子，该后续分水岭分割将各片叶子彼此分开。
该方法的另一步骤是确定114由使用多个接收的元数据中的至少一个元数据确定的杂草名称和正确性的概率所标识的并在轮廓绘制期间、在确定杂草是单子叶植物还是双子叶植物期间，以及在杂草的生长阶段的确定期间确定的多个表征和/或导出的元数据中的至少一个元数据导出的杂草类型。这些元数据用作一组分类器的输入参数。该组的至少一个分类器可以访问存储系统，即包括(例如几百个)杂草类型名称以及每种杂草类型的多组元数据的数据库。
分类器可以选自神经网络分类器、线性分类器和/或基于样本的标识符。此外，在识别过程期间可以使用库或历史数据，如来自相同或相当时间的早期季节的历史杂草识别数据，如实际和/或历史天气条件等的特殊天气条件。
最后但并非最不重要的是，该方法可以包括发送(未示出)确定的结果-例如，具有确定的相关概率的三个最可能结果-例如返回数字图像从其接收的智能手机。
图2示出了植物，特别是杂草和图像捕获装置202。这可以是智能手机(未示出)的相机。相机202可以具有物镜和特定的打开角度204。捕获的数字图像可以捕获杂草(这里是双子叶植物)的叶子204。茎208可以例如由一个或多个叶子206覆盖。在横截面中还示出了地面210和杂草的根部212。在最优情况下，相机的图像平面202可以完全平行于叶子206的纵向延伸，即沿着地面。然而，由角度α指示的较小偏差是可接受的。
还可以注意到，数字图像不仅可以捕获杂草的多于一片的叶子，而且还可以捕获潜在杂草的多于一个植物。然而，理想地，每个捕获的图像将仅具有一个杂草植物或叶子以便于识别过程。所捕获的杂草的数字图像可以例如通过无线技术从相机202发送到包括用于识别自然环境中的杂草的识别系统的数据中心。在一个实施例中，相机202可以是智能手机的组件。在另一个实施例中，相机本身可以配备有无线发送和/或接收技术。相机也可以安装在无人机或田地中移动的地面机器人上。
图3示出用于单子叶植物(例如，草)302的可比较场景。从单子叶植物302上方捕获数字图像可能无法揭露用于杂草类型的分类和确定的足够的信息。因此，可以从植物侧面数字地拍摄单子叶植物302，或者可以从土壤中提取杂草并将其平放在土壤上。在那种情况下，可以如图2的情况中所讨论的那样执行杂草的捕获。否则，如果单子叶植物根仍在土壤中，数字相机202的光学捕获平面203应该垂直于地面。此外在这里，由角度α指示的较小偏差也是可以接受的。
图4a、4b、4c示出了轮廓绘制的过程。图4a示出了杂草叶子402在图像传感器203上的投影和/或相应的像素矩阵。每个小方块403可以表示一个像素。技术人员将认识到，出于解释的目的，这里使用非常粗粒度的矩阵。通常，相机可具有几百万像素的分辨率。图4b示出数字化的结果。现在，叶子402的光滑边缘消失并且原始模拟形状被数字化(404)。在下一步骤-图4c中-可以从数字图像中提取或隔离出潜在叶子的轮廓。轮廓406内的所有内容都可以被计为叶子或杂草像素。
图5a示出某个像素是否可能属于杂草叶子的确定过程的细节。在最简单的情况下，简单像素pi 502的颜色值用作确定标准。相关的颜色范围可以包括例如495nm至575nm的波长。然而，有时这种简单的区分可能是不充分的。因此，还考虑了围绕所讨论的像素502的像素。图5示出直接围绕像素502的附加像素的第一“环”。方程(1)也可用于使用与像素pi502相关的信息。
图5b还示出了除了围绕像素502的像素的第一“环”504之外的围绕像素的第二“环”506。像素502是否被确定为叶子像素的决定的影响或加权可以减少某个像素可能进一步远离所讨论的像素502。另外的像素环pi,j可以被使用并且可以成为函数F的变量。所使用的环的数量可以是所接收的图像的总分辨率的函数。
图6示出了包括四片叶子604、606、608和610的杂草示例的数字图像602。基于此，使用分类器或另一合适的图像识别库组件，该方法允许通过隔离或识别杂草的至少一个单片叶子来确定杂草的生长阶段。为此，可以将接合中心612确定为包括例如四片叶子604、606、608和610的轮廓区域的一部分。使用相同的分类器或相同或另一个合适的图像识别库组件，也可以确定轮廓区域内的叶子数量。这允许根据BBCH代码确定杂草的生长阶段。结果可以存储为导出的元数据。
图7示出用于基于自然环境中的数字图像识别杂草类型的识别系统700的实施例的框图。识别系统包括接收单元702，其适于接收数字图像，该数字图像包括表示栽培作物中间、自然环境中、处于早期生长阶段的杂草的数据。另外，接收与数字图像相关的元数据。识别系统700还包括轮廓绘制单元704，其适于在数字图像内对具有在RGB颜色模型中的预定义颜色和纹理规范的区域进行轮廓绘制，从而构建包括与边界内的杂草的像素的至少一个轮廓区域。第一分类器单元706适于确定杂草是单子叶植物还是双子叶植物。生长阶段确定单元708适于通过确定轮廓区域的接合中心来隔离(即识别)杂草的至少单片叶子并确定轮廓区域内的叶子数量来确定杂草的生长阶段。
一组第二分类器单元712适于使用多个所接收的元数据中的至少一个元数据以及由轮廓绘制单元、由确定第一分类器单元以及确定单元确定的多个元数据作为输入参数来确定由杂草名称标识的杂草类型以及该确定的正确性概率，该组第二分类器单元具有到包括杂草类型名称以及每种杂草类型的多组元数据的存储装置的访问权。
求和单元可以在分类器并行工作的情况下组合各个分类器的确定。可替代地，一个或多个分类器也可以串行工作，使得一个分类器的输出可以是后续分类器的输入。可以使用具有人工突触元件的人工神经元网络用于这点。
本发明的实施例可以与几乎任何类型的计算机-特别是智能手机-一起实现，而不管适于存储和/或执行程序代码的平台如何。作为示例，图8示出适于执行与所提出的方法相关的程序代码的计算系统800。除了智能手机之外，具有相机、用于执行程序代码的处理器以及收发器的其它移动装置也可适于实现所提出的方法和/或相关识别系统。
计算系统800仅是合适的计算机系统的一个示例，并不旨在对在此描述的本发明的实施例的使用范围或功能提出任何限制。无论如何，计算机系统800能够实现和/或执行上面所述的任何功能。在计算机系统800中，存在可与许多其它通用或专用计算系统环境或配置一起操作的组件。可适于计算机系统800的公知的计算系统、环境和/或配置的示例包括但不限于平板计算机、手持或膝上型装置、多处理器系统、基于微处理器的系统、可编程消费电子产品、智能手机和具有包括任何上述系统或装置的备用计算能力的数码相机等。计算机系统800可以在由计算机系统800执行的计算机系统可执行指令(诸如程序模块)的一般上下文中描述。通常，程序模块可以包括执行特定任务或实现特定的抽象数据类型的例程、程序、对象、组件、逻辑、数据结构等。
如图所示，计算机系统800以通用计算装置的形式示出。计算机系统800的组件可以包括但不限于一个或多个处理器或处理单元802、系统存储器804，以及将包括系统存储器804的各种系统组件耦合到处理器802的总线818。计算机系统800通常包括各种计算机系统可读介质。这种介质可以是可由计算机系统800访问的任何可用介质，并且它包括易失性和非易失性介质，可移动和不可移动介质。
系统存储器804可以包括易失性存储器(诸如随机存取存储器(RAM)和/或高速缓冲存储器)形式的计算机系统可读介质。计算机系统800可以进一步包括其它可移动/不可移动，易失性/非易失性计算机系统存储介质。仅通过示例的方式，可以提供存储系统812用于从不可移动存储芯片读取和写入到不可移动存储芯片。存储介质可以通过一个或多个数据介质接口连接到总线806。如下面将进一步描绘和描述的，存储器804可以包括至少一个程序产品，该程序产品具有被配置为执行本发明的实施例的功能的一组(例如，至少一个)程序模块。
具有一组(至少一个)程序模块的程序/实用程序以及操作系统、一个或多个应用程序、其它程序模块和程序数据可以作为示例而非限制地存储在存储器804中。程序模块通常可以执行如在此所述的本发明实施例的功能和/或方法。
计算机系统800还可以与一个或多个外部装置通信，诸如键盘、指示装置、显示器820等；这些装置可以被组合在使用户能够与计算机系统800交互的触摸屏中；和/或使计算机系统800能够与一个或多个其它计算装置通信的任何装置(例如，网卡、调制解调器等)中。这种通信可以经由输入/输出(I/O)接口进行。此外，计算机系统800可以经由网络适配器822与诸如局域网(LAN)、通用广域网(WAN)和/或移动公共网络(例如，因特网)的一个或多个网络通信。如所描绘的，网络适配器814可以经由总线818与计算机系统800的其它组件通信。应该理解，尽管未示出，但是其它硬件和/或软件组件可以与计算机系统800结合使用。示例包括但不限于：微码、装置驱动器、冗余处理单元等。
另外，用于识别自然环境中的杂草类型的识别系统700可以附接到总线系统818。
已经出于说明的目的呈现了对本发明的各种实施例的描述，但是并不旨在穷举或限制于所公开的实施例。在不脱离所描述的实施例的范围和精神的情况下，许多修改和变化对于本领域普通技术人员来说是显而易见的。选择在此使用的术语是为了最好地解释实施例的原理、实际应用或对市场中发现的技术的技术改进，或者使本领域其他普通技术人员能够理解在此公开的实施例。
本发明可以体现为系统、方法和/或计算机程序产品。该计算机程序产品可以包括计算机可读存储介质(或媒介)，其上具有用于使处理器执行本发明的各方面的计算机可读程序指令。
介质可以是用于传播介质的电子、磁、光、电磁、红外或半导体系统，例如固态存储器、随机存取存储器(RAM)、只读存储器(ROM)。
计算机可读存储介质可以是有形装置，其可以保留和存储指令以供指令执行装置使用。计算机可读存储介质可以是，例如但不限于，电子存储装置、磁存储装置、光存储装置、电磁存储装置，诸如EPROM的半导体存储装置，或上述内容的任何合适的组合。如在此使用的计算机可读存储介质不应被解释为暂态信号本身，诸如无线电波或其它自由传播的电磁波，通过波导或其它传输介质传播的电磁波(例如，通过光纤电缆的光脉冲)或通过电线传输的电信号。
在此描述的计算机可读程序指令可以经由移动网络连接从服务提供商下载到相应的计算装置，例如作为智能手机的应用软件。
用于执行本发明的操作的计算机可读程序指令可以是任何依赖于机器的或独立于机器的指令、微码、固件指令、状态设置数据，或者以一个或多个编程语言的任何组合编写的源代码或目标代码，该编程语言包括诸如C++、Java等的面向对象的编程语言，以及诸如“C”编程语言或类似编程语言的传统过程编程语言。计算机可读程序指令可以完全在计算机装置上执行。在一些实施例中，包括例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)的电子电路可以通过利用计算机可读程序指令的状态信息来个性化电子电路而执行计算机可读程序指令，以执行本发明的各方面。
在此参考根据本发明实施例的方法、设备(系统)和计算机程序产品的流程图图示和/或框图来描述本发明的各方面。将理解，流程图图示和/或框图的每个框以及流程图图示和/或框图中的框的组合可以由计算机可读程序指令实现。
这些计算机可读程序指令可以被提供给通用计算机、专用计算机或其它可编程数据处理设备的处理器以产生机器，使得经由计算机或其它可编程数据处理设备的处理器执行的指令创建用于实现流程图和/或框图的一个框或多个框中指定的功能/动作的装置。这些计算机可读程序指令还可以存储在计算机可读存储介质中，该计算机可读存储介质可以引导计算机、可编程数据处理设备和/或其它装置以特定方式起作用，使得具有存储在其中的指令的计算机可读存储介质包括制造物品，该制造物品包括实现流程图和/或框图的一个框或多个框中指定的功能/动作的各方面的指令。
计算机可读程序指令还可以被加载到计算机、其它可编程数据处理设备或另一装置上，以使在计算机、其它可编程设备或其它装置上执行一系列操作步骤以产生计算机实现的过程，使得在计算机、其它可编程设备或其它装置上执行的指令实现在流程图和/或框图的一个框或多个框中指定的功能/动作。
附图中的流程图和/或框图示出了根据本发明的各种实施例的系统、方法和计算机程序产品的可能实施方式的架构、功能和操作。在这方面，流程图或框图中的每个框可以表示模块、段或指令的一部分，其包括用于实现指定的逻辑功能的一个或多个可执行指令。在一些替代实施方式中，框中提到的功能可以不按图中所示的顺序发生。例如，连续示出的两个框实际上可以基本上同时执行，或者这些框有时可以以相反的顺序执行，这取决于所涉及的功能。还应注意，框图和/或流程图图示的每个框以及框图和/或流程图图示中的框的组合可以由专用的基于硬件的系统来实现，该系统执行特定功能或行为，或执行专用硬件和计算机指令的组合。
下面权利要求中的对应结构、材料、操作以及所有装置和步骤加上功能元件的等同替换，旨在包括用于结合其它要求保护的元件执行功能的任何结构，材料或动作，如具体要求保护的那样。已经出于说明和描述的目的给出了对本发明的描述，但是并不旨在穷举或将本发明限于所公开的形式。在不脱离本发明的范围和精神的情况下，许多修改和变化对于本领域普通技术人员来说是显而易见的。实施例的选择和描述是为了最优地解释本发明的原理和实际应用，并且当适合于所构想的特定使用时，使本领域的其他普通技术人员可以理解本发明的具有各种修改的各种实施例。

Claims (14)

1.一种用于基于自然环境中的杂草的数字图像来识别所述杂草的类型的方法，所述方法包括：
-接收包括表示栽培作物中间、所述自然环境中、处于早期生长阶段的所述杂草的数据的数字图像，以及与所述数字图像相关的元数据，其中所述早期生长阶段由10至39的BBCH代码定义，
-在所述数字图像内对具有在RGB颜色模型中的预定义颜色和纹理规范的区域进行轮廓绘制，从而构建包括边界轮廓内的所述杂草的像素的至少一个轮廓区域，
-确定所述杂草是单子叶植物还是双子叶植物，
-通过如下方式确定所述杂草的生长阶段：
-通过确定所述轮廓区域的接合中心来隔离所述杂草的至少单片叶子，
-确定所述轮廓区域内的叶子数量，
-使用以下数据作为到一组分类器的输入参数来确定由杂草名称识别的所述杂草类型和所述确定的正确性的概率：
多个所接收的元数据中的至少一个元数据；以及
在所述轮廓绘制期间，
在所述确定所述杂草是单子叶植物还是双子叶植物期间，以及
在所述杂草的所述生长阶段的确定期间
确定的多个元数据，
该组分类器具有到包括杂草类型名称以及每种杂草类型的多组元数据的存储系统的访问权。
2.根据权利要求1所述的方法，其中，所述预定义颜色规范涉及自然环境中的植物的颜色范围，特别是波长为490nm至575nm的绿色范围。
3.根据权利要求1或2所述的方法，其中，对具有所述预定义颜色和纹理规范的区域的所述轮廓绘制通过如下执行：
-针对所述数字图像的每个像素，确定其RGB颜色分量的组合是否与多个预定义颜色组合中的一个组合匹配。
4.根据前述权利要求中任一项所述的方法，其中，具有所述预定义颜色规范的区域的所述轮廓绘制另外通过如下的确定执行：
wi＝F(pi,pi,j)，
其中
wi＝1或0，指示RGB像素i属于杂草与否，
F是基于pi和所有的pj的颜色属性计算杂草/非杂草概率的函数，
pi＝像素i，
pi,j＝围绕所述像素i的组合像素j。
5.根据前述权利要求中任一项所述的方法，其中，所述确定所述杂草是单子叶植物还是双子叶植物包括：
-应用已被训练以区分单子叶植物和双子叶植物杂草从而产生二进制单子叶植物-双子叶植物的标识符值的分类器。
6.根据前述权利要求中任一项所述的方法，其中，所导出的元数据包括从包括二进制单子叶植物-双子叶植物标识符值、确定的叶子数量以及所确定的发育生长阶段的组中选择的至少一个。
7.根据前述权利要求中任一项所述的方法，其中，所接收的元数据包括包含以下数据的组中的至少一个：所述数字图像的捕获位置的全球定位系统数据值、日历日期、与所述全球定位数据系统数据值相关的地形数据、在捕获所述数字图像的瞬间捕获装置的加速度数据、捕获所述数字图像期间所述捕获装置的倾斜角度，以及捕获所述数字图像使用的相机类型。
8.根据前述权利要求中任一项所述的方法，其中，每个元数据值具有预定义的加权值，所述预定义的加权值也用作到该组分类器的输入参数。
9.根据前述权利要求中任一项所述的方法，其中，由其杂草名称识别的所述杂草类型的所述确定还包括
-将所确定的杂草名称的名称与杂草概率图进行比较，所述杂草概率图映射杂草针对地理位置和季节性数据的概率发生率，以及
-基于将所确定的杂草名称的名称与杂草概率图的所述比较，重新计算所述确定的所述正确性概率。
10.根据前述权利要求中任一项所述的方法，还包括
-向拍摄所述数字图像的装置发送所述杂草名称和针对具有三个最高概率值的所述杂草名称的所述确定的所述正确性的相关概率。
11.一种用于基于杂草的数字图像识别杂草类型的识别系统，所述数字图像包括表示栽培作物中间、自然环境中、处于早期生长阶段的所述杂草的数据，
所述识别系统包括
-接收单元，其适于接收所述数字图像以及与所述数字图像相关的元数据，
-轮廓绘制单元，其适于在所述数字图像内对具有在RGB颜色模型中的预定义颜色和纹理规范的区域进行轮廓绘制，从而构建包括边界内的所述杂草的像素的至少一个轮廓区域，
-第一分类器单元，其适于确定杂草是单子叶植物还是双子叶植物，
-确定单元，其适于通过如下方式确定所述杂草的生长阶段：
-通过确定所述轮廓区域的接合中心来隔离所述杂草的至少单片叶子，
-确定所述轮廓区域内的叶子数量，
-一组第二分类器单元，其适于使用以下数据作为输入参数来确定由杂草名称识别的所述杂草类型和所述确定的正确性的概率：
多个所接收的元数据中的至少一个元数据；以及
由所述轮廓绘制单元，
由所述第一分类器单元，以及
由所述确定单元
确定的多个元数据，
该组第二分类器单元具有到包括杂草类型名称以及每种杂草类型的多组元数据的存储装置。
12.根据权利要求11所述的识别系统，其中，所述预定义颜色规范涉及自然环境中的植物的颜色范围，其特征在于具有在波长490nm至575nm的所述绿色范围内的关注点的完整可见范围。
13.根据权利要求11或12所述的识别系统，还包括
-发送单元，其适于发送所述杂草名称和针对具有三个最高概率值的所述杂草名称的所述确定的所述正确性的相关概率。
14.一种计算机程序产品，用于基于杂草的数字图像识别杂草类型，所述数字图像包括表示栽培作物中间、自然环境中、处于早期生长阶段的所述杂草的数据，所述计算机程序产品包括具有通过其体现的程序指令的计算机可读存储介质，所述程序指令可由一个或多个计算装置执行以使所述一个或多个计算装置
-接收数字图像，以及与所述数字图像相关的元数据，
-在所述数字图像内对具有在RGB颜色模型中的预定义颜色和纹理规范的区域进行轮廓绘制，从而构建包括边界轮廓内的所述杂草的像素的至少一个轮廓区域，
-确定所述杂草是单子叶植物还是双子叶植物，
-通过如下方式确定所述杂草的生长阶段：
-通过确定所述轮廓区域的接合中心来隔离所述杂草的至少单片叶子，
-确定所述轮廓区域内的叶子数量，
-使用以下数据作为到一组分类器的输入参数来确定由杂草名称识别的所述杂草类型和所述确定的正确性概率：
多个所接收的元数据中的至少一个元数据；以及
在所述轮廓绘制期间，
在所述确定所述杂草是单子叶植物还是双子叶植物期间，以及
在所述杂草的所述生长阶段的确定期间
确定的多个元数据，
该组分类器具有到包括杂草类型名称以及每种杂草类型的多组元数据的存储装置的访问权。
CN201780042492.2A 2016-05-12 2017-05-05 自然环境中的杂草的识别 Pending CN109478232A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP16169416.1A EP3244343A1 (en) 2016-05-12 2016-05-12 Recognition of weed in a natural environment
EP16169416.1 2016-05-12
EP16182582.3 2016-08-03
EP16182582.3A EP3279831A1 (en) 2016-08-03 2016-08-03 Recognition of weed in a natural environment using a digital image
PCT/EP2017/060751 WO2017194399A1 (en) 2016-05-12 2017-05-05 Recognition of weed in a natural environment

Publications (1)

Publication Number Publication Date
CN109478232A true CN109478232A (zh) 2019-03-15

Family

ID=58640905

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780042492.2A Pending CN109478232A (zh) 2016-05-12 2017-05-05 自然环境中的杂草的识别

Country Status (9)

Country Link
US (1) US10977494B2 (zh)
EP (1) EP3455783A1 (zh)
JP (1) JP2019520631A (zh)
CN (1) CN109478232A (zh)
AU (1) AU2017262615A1 (zh)
BR (1) BR112018073172A8 (zh)
CA (1) CA3024402A1 (zh)
RU (1) RU2735151C2 (zh)
WO (1) WO2017194399A1 (zh)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111325240A (zh) * 2020-01-23 2020-06-23 杭州睿琪软件有限公司 与杂草相关的计算机可执行的方法和计算机系统
CN114627391A (zh) * 2020-12-11 2022-06-14 爱唯秀股份有限公司 一种草检测装置及方法
US20220245383A1 (en) * 2021-02-01 2022-08-04 Deere & Company Image-based soil characteristic mapping

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017203519A1 (en) 2016-05-22 2017-11-30 Weedout Ltd. Compositions, kits and methods for weed control
HUE052985T2 (hu) * 2017-02-06 2021-06-28 Bilberry Sas Gyomirtó rendszerek és eljárások, vasúti gyomirtó jármûvek
EP3357332B1 (en) * 2017-02-06 2022-04-13 Bilberry Sas Agricultural sprayer
FR3063206B1 (fr) * 2017-02-24 2021-08-13 Bilberry Sas Systeme de controle pour epandage agricole
US20180322353A1 (en) * 2017-05-08 2018-11-08 PlantSnap, Inc. Systems and methods for electronically identifying plant species
US10885331B2 (en) * 2018-01-23 2021-01-05 X Development Llc Crop boundary detection in images
US20210035473A1 (en) 2018-02-02 2021-02-04 Bayer Aktiengesellschaft Control of resistent harmful organisms
WO2019215582A1 (en) * 2018-05-06 2019-11-14 Weedout Ltd. Methods and systems for weed control
CA3100078A1 (en) 2018-05-06 2019-11-14 Weedout Ltd. Methods of controlling weed of the amaranth genus
JP7219023B2 (ja) * 2018-06-22 2023-02-07 日立造船株式会社 情報処理装置および対象物判定プログラム
US11074447B1 (en) * 2018-07-13 2021-07-27 Hana Resources, Inc. Land analysis system using drone-captured data
WO2020014728A1 (en) 2018-07-17 2020-01-23 Photonic Detection Systems Pty Ltd A detection system for detecting matter and distinguishing specific matter from other matter
US11957097B2 (en) 2018-10-25 2024-04-16 Weedout Ltd. Methods of inhibiting growth of weeds
US11240961B2 (en) 2018-10-26 2022-02-08 Deere & Company Controlling a harvesting machine based on a geo-spatial representation indicating where the harvesting machine is likely to reach capacity
US11653588B2 (en) 2018-10-26 2023-05-23 Deere & Company Yield map generation and control system
US11178818B2 (en) 2018-10-26 2021-11-23 Deere & Company Harvesting machine control system with fill level processing based on yield data
US11467605B2 (en) 2019-04-10 2022-10-11 Deere & Company Zonal machine control
US11957072B2 (en) 2020-02-06 2024-04-16 Deere & Company Pre-emergence weed detection and mitigation system
US11672203B2 (en) 2018-10-26 2023-06-13 Deere & Company Predictive map generation and control
US11589509B2 (en) 2018-10-26 2023-02-28 Deere & Company Predictive machine characteristic map generation and control system
US11079725B2 (en) 2019-04-10 2021-08-03 Deere & Company Machine control using real-time model
US11641800B2 (en) 2020-02-06 2023-05-09 Deere & Company Agricultural harvesting machine with pre-emergence weed detection and mitigation system
DE102018127845A1 (de) * 2018-11-07 2020-05-07 Grimme Landmaschinenfabrik Gmbh & Co. Kg Verfahren zur Regelung des Betriebs einer Maschine zum Ernten von Hackfrüchten
US11778945B2 (en) 2019-04-10 2023-10-10 Deere & Company Machine control using real-time model
US11234366B2 (en) 2019-04-10 2022-02-01 Deere & Company Image selection for machine control
CN110232345A (zh) * 2019-06-06 2019-09-13 塞伯睿机器人技术（长沙）有限公司 使用计算机生成杂草识别模型的程序和杂草识别装置
EP4018367A4 (en) * 2019-08-19 2023-08-23 Blue River Technology Inc. PLANT GROUP IDENTIFICATION
DE102019218186A1 (de) * 2019-11-25 2021-05-27 Robert Bosch Gmbh Verfahren zum Bearbeiten von Pflanzen auf einem Feld
US11477940B2 (en) 2020-03-26 2022-10-25 Deere & Company Mobile work machine control based on zone parameter modification
CN111861134A (zh) * 2020-06-24 2020-10-30 重庆市生态环境科学研究院 一种基于机器学习的生态保护红线测定方法
US20220011119A1 (en) * 2020-07-09 2022-01-13 International Business Machines Corporation Generating and improving upon agricultural maps
US11895948B2 (en) 2020-10-09 2024-02-13 Deere & Company Predictive map generation and control based on soil properties
US11889788B2 (en) 2020-10-09 2024-02-06 Deere & Company Predictive biomass map generation and control
US11844311B2 (en) 2020-10-09 2023-12-19 Deere & Company Machine control using a predictive map
US11635765B2 (en) 2020-10-09 2023-04-25 Deere & Company Crop state map generation and control system
US11946747B2 (en) 2020-10-09 2024-04-02 Deere & Company Crop constituent map generation and control system
US11927459B2 (en) 2020-10-09 2024-03-12 Deere & Company Machine control using a predictive map
US11727680B2 (en) 2020-10-09 2023-08-15 Deere & Company Predictive map generation based on seeding characteristics and control
US11675354B2 (en) 2020-10-09 2023-06-13 Deere & Company Machine control using a predictive map
US11650587B2 (en) 2020-10-09 2023-05-16 Deere & Company Predictive power map generation and control system
US11474523B2 (en) 2020-10-09 2022-10-18 Deere & Company Machine control using a predictive speed map
US11592822B2 (en) 2020-10-09 2023-02-28 Deere & Company Machine control using a predictive map
US11711995B2 (en) 2020-10-09 2023-08-01 Deere & Company Machine control using a predictive map
US11864483B2 (en) 2020-10-09 2024-01-09 Deere & Company Predictive map generation and control system
US11825768B2 (en) 2020-10-09 2023-11-28 Deere & Company Machine control using a predictive map
US11845449B2 (en) 2020-10-09 2023-12-19 Deere & Company Map generation and control system
US11871697B2 (en) 2020-10-09 2024-01-16 Deere & Company Crop moisture map generation and control system
US11874669B2 (en) 2020-10-09 2024-01-16 Deere & Company Map generation and control system
US11849671B2 (en) 2020-10-09 2023-12-26 Deere & Company Crop state map generation and control system
US11849672B2 (en) 2020-10-09 2023-12-26 Deere & Company Machine control using a predictive map
US11889787B2 (en) 2020-10-09 2024-02-06 Deere & Company Predictive speed map generation and control system
EP3989161A1 (en) * 2020-10-23 2022-04-27 Tata Consultancy Services Limited Method and system for leaf age estimation based on morphological features extracted from segmented leaves
WO2022269078A1 (en) 2021-06-25 2022-12-29 Basf Agro Trademarks Gmbh Multi-device agricultural field treatment
EP4230036A1 (en) 2022-02-18 2023-08-23 BASF Agro Trademarks GmbH Targeted treatment of specific weed species with multiple treatment devices
CN113647281B (zh) * 2021-07-22 2022-08-09 盘锦光合蟹业有限公司 一种除草方法及系统
CN114818909B (zh) * 2022-04-22 2023-09-15 北大荒信息有限公司 一种基于作物长势特征的杂草检测方法和装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102113014A (zh) * 2008-07-31 2011-06-29 惠普开发有限公司 图像的感知分割

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
HU3056U (en) * 2005-04-29 2006-03-28 G & G Noevenyvedelmi Es Keresk Construction for making weed map
KR101448411B1 (ko) * 2010-08-19 2014-10-07 닛산 지도우샤 가부시키가이샤 입체물 검출 장치 및 입체물 검출 방법
TWI435234B (zh) * 2011-11-24 2014-04-21 Inst Information Industry Plant disease identification method, system and record media
CN203149656U (zh) * 2013-01-31 2013-08-21 北京农业信息技术研究中心 单/双子叶杂草识别喷药管理装置
US9275308B2 (en) * 2013-05-31 2016-03-01 Google Inc. Object detection using deep neural networks
US10068354B2 (en) * 2014-01-02 2018-09-04 Deere & Company Obtaining and displaying agricultural data
RU2695490C2 (ru) * 2017-11-02 2019-07-23 Илья Геннадьевич Прокудин Способ мониторинга сельскохозяйственных угодий

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102113014A (zh) * 2008-07-31 2011-06-29 惠普开发有限公司 图像的感知分割

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
MARTIN WEIS等: "An image analysis and classification system for automatic weed species identification in different crops for precision weed management", 《INSTITUTE FOR PHYTOMEDICINE DEPARTMENT OF WEED SCIENCE》 *
TILL RUMPF等: "Sequential support vector machine classification for small-grain weed species discrimination with special regard to Cirsium arvense and Galium aparine", 《COMPUTERS AND ELECTRONICS IN AGRICULTURE》 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111325240A (zh) * 2020-01-23 2020-06-23 杭州睿琪软件有限公司 与杂草相关的计算机可执行的方法和计算机系统
CN114627391A (zh) * 2020-12-11 2022-06-14 爱唯秀股份有限公司 一种草检测装置及方法
US20220245383A1 (en) * 2021-02-01 2022-08-04 Deere & Company Image-based soil characteristic mapping
US11514675B2 (en) * 2021-02-01 2022-11-29 Deere & Company Image-based soil characteristic mapping

Also Published As

Publication number Publication date
CA3024402A1 (en) 2017-11-16
US10977494B2 (en) 2021-04-13
JP2019520631A (ja) 2019-07-18
RU2018143339A (ru) 2020-06-15
RU2735151C2 (ru) 2020-10-28
BR112018073172A8 (pt) 2023-04-04
EP3455783A1 (en) 2019-03-20
WO2017194399A1 (en) 2017-11-16
AU2017262615A1 (en) 2018-11-29
RU2018143339A3 (zh) 2020-08-31
BR112018073172A2 (pt) 2019-04-24
US20190147249A1 (en) 2019-05-16

Similar Documents

Publication Publication Date Title
CN109478232A (zh) 自然环境中的杂草的识别
RU2764872C2 (ru) Распознавание сорняка в естественной среде
Neupane et al. Deep learning based banana plant detection and counting using high-resolution red-green-blue (RGB) images collected from unmanned aerial vehicle (UAV)
Hamylton et al. Evaluating techniques for mapping island vegetation from unmanned aerial vehicle (UAV) images: Pixel classification, visual interpretation and machine learning approaches
EP3279831A1 (en) Recognition of weed in a natural environment using a digital image
CN107346434A (zh) 一种基于多特征及支持向量机的植物病虫害检测方法
GB2618896A (en) System and method for crop monitoring
CN110020635A (zh) 基于无人机影像与卫星影像的种植区农作物精细分类方法和系统
CN109325495A (zh) 一种基于深度神经网络建模的作物图像分割系统及方法
US20230165235A1 (en) Image monitoring for control of invasive grasses
CN111563430A (zh) 一种基于卷积神经的公益林地类图像智能识别方法及系统
CN109670509A (zh) 基于卷积神经网络的冬小麦苗期长势参数估算方法及系统
CN110517228A (zh) 基于卷积神经网络与迁移学习的树干图像快速检测方法
Treboux et al. Decision tree ensemble vs. nn deep learning: efficiency comparison for a small image dataset
Tian et al. Machine learning-based crop recognition from aerial remote sensing imagery
CN115861686A (zh) 基于边缘深度学习的荔枝关键生长期识别检测方法及系统
Li et al. A novel approach for the 3D localization of branch picking points based on deep learning applied to longan harvesting UAVs
Babykalpana et al. Classification of land use land cover change detection using remotely sensed data
CN110070513A (zh) 遥感影像的辐射校正方法及系统
Concepcion II et al. A novel artificial bee colony-optimized visible oblique dipyramid greenness index for vision-based aquaponic lettuce biophysical signatures estimation
CN113469122A (zh) 基于深度学习作物时空泛化分类方法及系统
Deng et al. Tree crown recognition algorithm on high spatial resolution remote sensing imagery
Gromova Weed Detection in UAV Images of Cereal Crops with Instance Segmentation
Ha et al. A semi‐automatic workflow for plot boundary extraction of irregularly sized and spaced field plots from UAV imagery
Chen et al. Improving fractional vegetation cover estimation with shadow effects using high dynamic range images

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190315

WD01 Invention patent application deemed withdrawn after publication