CN110799030A - 基于图像处理控制土壤工作装置的方法及相关系统 - Google Patents

基于图像处理控制土壤工作装置的方法及相关系统 Download PDF

Info

Publication number
CN110799030A
CN110799030A CN201880042260.1A CN201880042260A CN110799030A CN 110799030 A CN110799030 A CN 110799030A CN 201880042260 A CN201880042260 A CN 201880042260A CN 110799030 A CN110799030 A CN 110799030A
Authority
CN
China
Prior art keywords
soil
working device
working
controlling
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201880042260.1A
Other languages
English (en)
Inventor
西尔韦奥·雷韦利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Walta Robot Co Ltd
Original Assignee
Walta Robot Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=60294057&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN110799030(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Walta Robot Co Ltd filed Critical Walta Robot Co Ltd
Publication of CN110799030A publication Critical patent/CN110799030A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01B—SOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
    • A01B69/00—Steering of agricultural machines or implements; Guiding agricultural machines or implements on a desired track
    • A01B69/007—Steering or guiding of agricultural vehicles, e.g. steering of the tractor to keep the plough in the furrow
    • A01B69/008—Steering or guiding of agricultural vehicles, e.g. steering of the tractor to keep the plough in the furrow automatic
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01D—HARVESTING; MOWING
    • A01D34/00—Mowers; Mowing apparatus of harvesters
    • A01D34/006—Control or measuring arrangements
    • A01D34/008—Control or measuring arrangements for automated or remotely controlled operation
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01D—HARVESTING; MOWING
    • A01D75/00—Accessories for harvesters or mowers
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/0088—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0219—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory ensuring the processing of the whole working surface
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0223—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving speed control of the vehicle
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0251—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means extracting 3D information from a plurality of images taken from different locations, e.g. stereo vision
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/243—Classification techniques relating to the number of classes
    • G06F18/2431—Multiple classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01B—SOIL WORKING IN AGRICULTURE OR FORESTRY; PARTS, DETAILS, OR ACCESSORIES OF AGRICULTURAL MACHINES OR IMPLEMENTS, IN GENERAL
    • A01B79/00—Methods for working soil
    • A01B79/005—Precision agriculture
    • A—HUMAN NECESSITIES
    • A01—AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01D—HARVESTING; MOWING
    • A01D2101/00—Lawn-mowers

Abstract

本发明涉及基于图像处理来控制土壤工作装置的方法(100)。这种土壤工作装置包括运动构件(201)和工作构件(202)。该方法包括以下步骤：通过安装在工作装置上的数字图像获取装置(203)获取(101)土壤的至少一个数字图像；通过电子处理单元(204)处理(102)至少一个数字图像，该至少一个数字图像是通过经训练的神经网络(300；400；500)对数字图像执行至少一个卷积运算而获取的；通过电子处理单元，基于这种处理，获取(103)至少一个合成土壤描述符；通过电子处理单元，基于合成土壤描述符，生成(104)运动构件或工作构件的至少一个控制信号。

Description

基于图像处理控制土壤工作装置的方法及相关系统
技术领域
本发明总体上涉及土壤工作机器的控制领域，例如，割草机、收割机、犁等。特别地，本发明针对一种用于基于通过卷积神经网络的图像处理来控制土壤工作装置的方法。本发明还涉及一种包括实现上述方法的土壤工作装置的系统。
背景技术
当前在市场上可买到用于住宅使用的割草机或自动割草机，其被配置为可自主(即在没有操作员指导的情况下)操作。此外，在商业领域中，对适于自主或半自主操作的收割机的需求以及总体上对使人为干预最小化的农业土壤工作机器的需求正在增长。
迄今为止，已知各种系统和相关的控制方法，其允许控制割草机的移动以将其操作范围限制在相关的工作区域内并且将其引导到要切割的领域。
一些用于住宅的自动割草机沿着随机选择的轨迹移动。对于这种机器人割草机，采用连续的边界定界装置(例如外围电缆)来控制机器人本身不离开预定的工作区域。
市场上的其他自动割草机都配备了适合检测大量物体的传感器。这样的传感器在从地面到割草机的控制单元的一定高度处提供大量存在/不存在的条件。割草机处理单元将这种信息解释为草的存在/不存在。
在主要用于商业或农业用途的在大表面上运行的已知机器通常配备有车载GPS天线，并且可选地与安装在地面上的一个或多个GPS天线(差分GPS)可操作地关联。该机器配备有处理单元，该处理单元被配置为将当前机器坐标与限定工作区域的外围的预设坐标进行比较，并且因此能够将机器保持在指定区域中。相反，通过将机器的当前坐标与历史坐标进行比较，这样的处理单元可以设置机器移动轨迹，该移动轨迹不与已经行进的轨迹重叠。
在住宅、商业和农业领域中，通过使用无线通信领域的技术人员已知的射频装置或信标来检测机器人割草机或自动田间工作机的位置是众所周知。更多的射频信标放置在要工作的区域的关键点。配备有割草机或机器的处理单元可以基于与上述信标的距离的计算来确定其唯一的位置，并因此将割草机或机器的移动限制在存储的外围中并生成移动轨迹，该移动轨迹不要与已经行进过的轨迹重叠。
上述所有已知的解决方案都具有以下缺点：总是需要在机器人割草机或工作机之外使用基础设施，即外围导线、卫星天线或信标，以便在工作区域正确控制和限制此类机器。因此，这些是需要初始基础设施铺设步骤和这种结构的相关配置以及其维护的解决方案。因此，这种解决方案是复杂的，并且由于上述原因，其便携性有限。
迄今为止，通过图像处理进行的控制尚未找到具体的应用，因为所提出的方法不足以鲁棒地管理实际操作环境中存在的多个干扰。这些干扰包括：物体的阴影；割草机本身的阴影；反射光和折射；存在干蔬菜；花序；同样由于车辆的移动，相机曝光不足或曝光过度；天气现象引起的不同感知；由于割草机的行进方向而生成不同的感知；具有非标称高度的谷物；由于土壤不平坦或车辆倾斜而导致的透视变形；因风倾斜或摇曳的植物；被叶子部分覆盖的植物或草；与预期或感染不同的植物或草药；水灾区域或水坑；没有植物或草的区域；存在三维障碍；不完整的障碍物，例如高压塔；平坦的障碍；沿行进方向出现的人或动物。
还特别提到用于住宅的割草机，还应注意，在花园中也存在多种干扰，众所周知，该花园是动态环境，其随着季节的演替以及由于经常进行更新和维护而不断变化。
发明内容
本发明的目的是设计并提供一种用于控制土壤工作装置的方法和相关系统，该方法和相关系统允许至少部分地克服上述参照已知解决方案的方法的缺点。
通过根据权利要求1的用于控制土壤工作装置的方法来实现该目的。特别地，本发明涉及一种基于由经训练的卷积神经网络执行的图像处理来控制土壤工作装置的方法。
本发明的主要方面是神经网络的应用，该神经网络通过内部构造图像特征的层次表示(不一定是可解释的)来实现一系列后续的卷积。该网络提供了土壤的合成描述符，该合成描述符被配置为允许土壤工作装置以自主方式执行复杂的操作。
本发明的方法确保了双重优点。
由于土壤的建模不是由人类明确编码的，而是由机器自动学习的，因此第一个优点是实施该方法的系统具有较高的认知能力和高度的概括性。这使得本发明的系统对上面列出的干扰具有鲁棒性，从而克服了现有技术的限制。
特别地，申请人已经验证了该系统对于意外事件、意外植物的存在，照明以及光影游戏的变化具有鲁棒性。
第二个优点是，本发明的系统可以自主地进行与土壤相关的移动，该移动迄今为止是不可想象的，无论是运动构件还是切割构件。决定这种能力的要素是土壤的合成描述符，该合成描述符携带了控制构件所需的信息。例如，如下所述，土壤的工作装置可以区分各种障碍物，从而执行最佳的可能动作。或者，例如，与障碍物或意外情况相比，它可以以稳健而安全的方式遵循先前的切割线。或者，例如，它可以执行与所获取的图像直接相关的连续动作。
这种控制方法的优选实施方式在从属权利要求2-24中描述。
本发明还涉及一种实现根据权利要求25的前述方法的系统。
附图说明
通过以下参考附图对优选实施方式的描述，这些优选实施方式以示意性和非限制性示例的方式给出，根据本发明的控制方法和相关系统的其他特征和优点将变得显而易见，其中：
-图1示出根据本发明的基于图像处理的土壤工作装置的控制方法的流程图；
-图2示出基于实现图1的方法的图像处理的土壤工作系统的框图；
-图3A示出神经网络的第一实施方式的逻辑图，该神经网络包括卷积级，其在本发明的方法中采用并且被配置为从数字图像开始返回土壤分类；
-图3B和图3C在表中示出对不同土壤分类进行编码的示例；
-图4A示出神经网络的第二实施方式的逻辑图，该神经网络包括卷积和去卷积级，其在本发明的方法中采用并且被配置为从所获取的数字图像开始返回语义分割的图像；
-图4B示出所获取的四个数字图像的语义分割的示例；
-图5A示出神经网络的第三实施方式的逻辑图，该神经网络包括卷积级，其在本发明的方法中采用并且被配置为从所获取的数字图像开始返回期望的动作；
-图5B在表中示出编码动作分类的示例；
-图6示出图4A的神经网络的训练方法的流程图；
-图7示出图5A的神经网络的训练方法的流程图；
-图8示出图6A的神经网络的训练方法的流程图；
-图9A至图9B分别示出基于由图3A的神经网络执行的图像处理来控制土壤工作装置的移动的方法的流程图，以及相应的应用场景；
-图10A至图10B分别示出基于由图4A的神经网络执行的图像处理来控制土壤工作装置的移动的方法的流程图，以及相应的应用场景；
-图11A至图11B分别示出基于由图5A的神经网络执行的图像处理来控制土壤工作装置的移动的方法的流程图，以及相应的应用场景。
在前述附图中，相同或相似的元件由相同的附图标记表示。
具体实施方式
参照图1，根据本发明的用于控制土壤工作装置的方法由附图标记100表示。特别地，本发明涉及一种基于图像处理的用于控制土壤工作装置的方法。在下文中，工作装置100的这种控制方法也简称为控制方法。
参照图2，总体上，包括上述土壤工作装置的系统用附图标记1000表示。
这样的土壤工作装置例如选自以下各项组成的组：割草机、收割机、犁、谷物收割机、蔬菜收割机、干草收割机以及在土壤中通过会改变对土壤本身的视觉感知的任何类似机器。
系统1000的工作装置包括合适的运动构件201和工作构件202。
上述运动构件201例如包括由相应燃料提供动力的推进单元，转向单元、稳定性控制和安全控制单元以及电源单元(例如电池)。此外，这种运动构件201还可包括合适的输入/输出通信接口，用于接收指示移动的命令信号和返回信号。
工作构件202包括合适的工作工具，该工作工具可通过相应的电动机移动，并且还包括用于接收指示已执行的工作的命令信号和返回信号的其他输入/输出通信接口。
此外，系统1000包括安装在工作装置上的数字图像获取装置203，以获取土壤的至少一个数字图像。这种图像获取装置例如由一个或多个照相机203实现。这样的照相机203可以基于其数量、其位置以及表征其视场的透镜的几何形状来获取或多或少的周围土壤的一部分。这样的照相机203和类似的图像获取装置可以接收灰度图像或优选地接收以颜色编码的可见光谱(例如，RGB)图像。这样的图像获取装置可以被配置为在红外和紫外光谱中运行，或者利用专用于深度的通道(例如，RGB-D)来完成光学信息。
系统1000还包括电子处理单元204，该电子处理单元204连接到数字图像获取装置203以及土壤工作装置的前述运动构件201和工作构件202。
这种电子处理单元204包括至少一个处理器205和与该处理器相关联的用于存储指令的一个存储器块206、207。特别地，这种存储器块206、207通过数据通信线或总线211(例如，PCI)连接到处理器205，并且由易失性类型(例如，SDRAM类型)的服务存储器206和非易失性类型(例如，SSD类型)的系统存储器207组成。
更详细地，这种电子处理单元204包括通过通信总线211连接到至少一个处理器205和存储器块206、207的输入/输出接口装置208，以允许系统1000附近的操作员直接与处理单元本身进行交互。这种输入/输出接口装置208包括例如从数据输入/输出和信息显示接口操作的触摸显示器。
此外，电子处理单元204与有线或无线数据通信接口209相关联，该有线或无线数据通信接口209被配置为将这样的处理单元204连接到数据通信网络，例如互联网210，以允许操作员与处理单元204远程交互或接收更新。
参考图1，下面更详细地描述通过系统1000实现的基于图像处理来控制土壤工作装置的方法100的操作步骤。
在一个实施方式中，系统1000的电子处理单元204被设置为执行实现本发明的方法100的应用程序的代码。
在特定实施方式中，处理器205被配置为在存储器块206、207中加载并执行实现本发明的方法100的应用程序的代码。
在更一般的实施方式中，控制方法100包括通过安装在工作装置上的数字图像获取装置203(即照相机)获取土壤的至少一个数字图像的第一步骤101。
方法100然后包括通过电子处理单元204处理所获取的至少一个数字图像的步骤102。
有利地，这种处理包括通过经训练的神经网络300、400、500对所获取的数字图像执行至少一个卷积运算。
应当注意，用于执行该方法的这种神经网络300、400、500包括至少一个卷积层。此外，通过神经网络的前馈来完成这种至少一个卷积运算。这种卷积神经网络300、400、500的示例分别在图3A、图4A和图5A中示出。卷积神经网络的这三个示例中的每一个都返回特定形式的土壤合成描述符：300网络返回图像的全局分类；400网络返回语义分割；500网络返回动作。这些网络将在下面更详细地描述。
有利地，本发明的控制方法100包括基于电子处理单元通过电子处理单元204获取至少一个合成土壤描述符的步骤103。
方法100还包括通过电子处理单元204，基于这样的合成土壤描述符，产生至少一个信号来控制上述工作装置的运动构件201或工作构件202中的一个构件的步骤104。
在本发明的方法的不同实施方式中，上述生成步骤104包括生成运动构件201的至少一个控制信号和工作构件202的至少一个控制信号的步骤。换句话说，本发明的方法允许同时控制运动构件201和工作构件202。
控制方法100还包括基于上述合成土壤描述符生成描述土壤本身的性质或结构的数据和/或参数的步骤。
更详细地，这种描述参数包括具有不同特性的两个土壤区域之间的边界或不连续部分。
甚至更详细地，这种边界或不连续部分包括土壤区域之间的边界(包括不同高度的植物物种)或先前切割或工作的土壤区域与尚未切割或工作的区域(例如已割的草、未割的草)之间的边界。
参照图3A、图3B、图3C，在本发明的第一实施方式中，这样的合成土壤描述符是土壤分类。在这种情况下，卷积神经网络300或第一卷积网络300至少包括至少以下层：
-输入层301，其被配置为接收整个数字图像或由照相机203获取的这种数字图像的至少一个下采样；
-至少一个卷积层conv 1；
-至少一个完全连接层303a；
-具有至少一个神经元的输出层304，该至少一个神经元被配置为在至少两个土壤分类之间进行区分。
更详细地，基于土壤分类进行操作的网络300包括由三个级联的卷积层conv1、conv2、conv3和三个最大池化层MP1、MP2、MP3组成的卷积块302，这是本领域技术人员已知的类型。每个最大池化层MP1、MP2、MP3直接连接到相应卷积层的输出。这样的最大池化层执行图像样本的离散化操作，以旨在调整它们的大小。
众所周知，在神经网络的卷积层中，每个神经元仅连接到前一层中的一些相邻神经元。每个神经连接使用相同的权重集(和本地连接布局)。相反，在网络的完全连接层中，每个神经元都连接到上一层的每个神经元，并且每个连接都有自己的权重。
在图3A的示例中，神经网络300包括两个完全连接层303a和303b。这两个层类似于具有覆盖神经网络300的整个输入层的内核的卷积。因此，这是另外两个被配置为向输入层提供全局含义的卷积。
根据本发明的优选方面，方法100已经被实现为在工作区域中自主地引导机器人割草机。具体地，步骤102是通过神经网络300完成的，其中输入层由35643个神经元组成，即由3×109×109的神经元矩阵(其中3个是彩色通道，而109×109是输入图像的分辨率)组成。在实验上，这种分辨率特别适合于草皮识别，因为输入图像足够小，可以由市场上低成本的电子处理单元(例如：OdroidXU4或NVIDIATX2)快速处理，但是仍然足够大，以携带识别草皮特征所需的信息内容。图3A中的第一卷积层conv1的内核大小为4×4像素，且跨度为1像素。这种层conv1包括20个尺寸为106×106的输出滤波器。图3A的最大池化层MP具有等于2×2的内核和等于2的跨度，由此，每个滤波器的尺寸减小到53×53。通过使用类似参数执行后续的卷积和池化操作，逐渐获取了较小的滤波器。一旦严格意义上完成了卷积步骤302，就将滤波器连接到两个完全连接层303a和303b。根据一个优选方面，神经网络300包括本领域技术人员已知的有助于普遍化的退出层。输出层304的神经元数量等于不同草类土壤的数量。在一个实施方式中，采用softmax算子来归一化输出层304的这种神经元的值。
图3B和图3C在表中示出编码不同土壤分类的两个示例。每个分类与输出层304的神经元相关联。特别地，图3B中的表针对每个土壤分类关联了不同的数字代码，其可以由控制方法100通过神经网络300从所获取的图像开始进行区分。
可能会注意到，除了编码要在土壤上割草的存在/不存在以及割草中是否存在物品外，还包括编码障碍和/或其他特定物品以及相机203的可能故障条件。
在本发明的控制方法100的应用示例中，仅提供了与土壤自身的可穿越性相关联的两个分类的使用。在这种情况下，除了输出层304优选地具有单个神经元之外，神经网络300的结构基本上保持不变。这种神经元的激活例如指示在由照相机203获取的土壤区域的图像中草的完全存在。反之亦然，缺乏神经元激活指示土壤区域未完全存在草木和障碍物。参照图3C中的表，仅以二进制方式编码要切割的草的存在/不存在。
应当注意，神经网络300可以适用于不同类型的草或谷类，以及适用于不同的农业土壤，并因此在控制方法100中使用并应用于相关系统1000。例如，在应用于成熟小麦田中的收割机的情况下，这样的神经网络300返回该收割机是在其前面遇到小麦还是面向没有小麦的区域(例如道路或格子)。
参考图4A，在控制方法100的第二实施方式中，合成土壤描述符是土壤语义分割。在这种情况下，卷积神经网络400或第二卷积神经网络400至少包括以下层：
-输入层401，被配置为接收整个数字图像或由照相机203获取的数字图像的至少一个下采样；
-至少一个卷积层conv 1；
-至少一个去卷积层deconv 1；
-输出层404，其被配置为使得能够将土壤图像语义分割为至少两个分类。
更详细地，基于土壤语义分割而运行的网络400包括相应的卷积块402，其由多个卷积层(例如，级联的n个层，conv1、...、convn)，由n-1个最大池化层MP1、...、MPn-1间隔而组成。
此外，神经网络400包括相应的去卷积块403，其由本领域技术人员已知的类型的多个去卷积层(例如级联的n个层，deconv1、...、deconvn)，由n-1个非池化层UNP1、...、UNPn-1间隔而形成。这样的第二去卷积块403执行与卷积块402执行的功能相反的功能，即，其被配置为从被卷积块402分割的图像开始重建语义分割的图像。
再次参照割草的优先和非限制性方面，已经实现了FCN类型(完全卷积)400的神经网络，其卷积部分相对于神经网络300没有变化。根据控制方法100的步骤102的另一种变化，网络的输出相对于简单的草皮土壤分类更为清晰，并且由割草机在工作期间可能遇到的不同类型的草或障碍物中的分割图像给出。去卷积块以与先前描述的方式相反的方式操作，共享其基本特性：从而，将图像重建为以原始分辨率进行分割(其在上述割草机的情况下为109×109)。
图4B示出对获取的四个数字图像I1、I2、I3、I4执行的语义分割的示例。特别地，第一图像I1示出具有不同特性的两个土壤区域之间的边界或不连续部分L1，例如，区域A＝高草，区域B＝短草/已割草。参考ML表示由照相机203拍摄的土壤工作装置的一部分。响应于获取的第一图像I1，本发明的方法通过神经网络400由本发明的方法提供了相应的第一语义分割的图像IS1。
类似地，通过本发明的方法，分别响应于所获取的第二图像I2、第三图像I3和第四图像I4，通过神经网络400，由本发明的方法提供了第二语义分割的图像IS2、第三语义分割的图像IS3和第四语义分割的图像IS4。
特别地，第二语义分割的图像IS2包括两个区域B＝短草/已割草，其与没有草的区域C分开。第三语义分割的图像IS3在工作装置附近包括区域B＝短草/已割草，其中存在叶元素F。这样的第三图像IS3还包括与区域B分开的地平线区域OR。第四语义分割的图像IS4包括区域B＝短草/已割草，其中存在障碍物OS。
应当注意的是，这样的神经网络400可以适合于不同类型的草或谷类，以及适合于不同的农业土壤，并且因此在控制方法100中使用并且被应用于相关系统1000。例如，应用到成熟小麦田中的收割机上，这种神经网络400返回图像，该图像用两种不同的颜色代码指示小麦被收割的田地部分和仍然必须收割的那部分。可以在控制方法100的后续步骤中使用此类信息以进行分析类型的处理。
参照图5A，在本发明的第三实施方式中，合成土壤描述符是基于被构筑的土壤的特性通过工作装置采取的特定动作。在这种情况下，卷积神经网络500或第三卷积神经网络500基本上类似于卷积网络300，并且至少包括以下几层：
-输入层501，被配置为接收整个数字图像或所获取的数字图像的至少一个下采样；
-至少一个卷积层conv1；
-至少一个完全连接层503a；
-具有至少一个神经元的输出层504，该至少一个神经元被配置为使得能够在对土壤进行的至少两个特定动作之间进行区分。
更详细地，网络500包括相应卷积块502，其由级联的三个卷积层conv1、conv2、conv3和三个最大池化层MP1、MP2、MP3组成。每个最大池化层直接连接到相应卷积层的输出。
在图5A的示例中，神经网络500包括两个完全连接层503a和503b。再次参考割草的优选且非限制性的示例，网络500的每个输出神经元(使用适当的softmax操作相对于其他输出神经元进行标准化)表示割草机的特定动作。因此，该分类并不表示草的可见属性，而是表示可直接归因于所获取图像的实际操作。这种方法定义为“像素到动作”或“端到端”。如将在下面详细描述的，该方法最小化了控制方法100的后续步骤的复杂性，该方法已经返回了要发送到运动构件201或工作构件202的动作命令的原语。
图5B在表中示出基于由神经网络500对获取的图像执行的处理来对要执行的动作分类进行编码的示例。特别地，这样的表将唯一的数字代码与工作装置的运动构件201在通过神经网络500获取的数字图像的处理之后要执行的每个动作(例如，保持直行、停止运动等)相关联。
应当注意，本发明的控制方法100还包括与上述神经网络300、400、500的三个示例中的每一个的训练600、700、800有关的另一步骤。
具体地，参考图6，描述了第一神经网络300的训练方法600的说明细节。
特别地，这样的方法600包括定义安装在工作装置上的数字图像获取装置203的位置和定向的初始步骤601。
在割草机的情况下，根据本发明的示例性和非限制性方面，安装了具有拜耳RGB滤光器、动态范围为69.5dB和180度镜头的照相机203。它在距离地面26厘米的高度处沿着割草机的对称轴放置。这种照相机以大约-30度的倾斜面向前方，从而主要在割草机的前面拍摄土壤。由于视角的原因，所选图像尺寸为109×109像素的向下采样表示一部分土壤形状大致为等腰梯形，其长底等于76cm、高73cm且短底等于24cm。框架面积约为0.36平方米，并因此包含足以识别其特性的土壤部分。
方法600然后包括获取602在土壤的不同工作阶段中待处理的土壤的多个输入数字图像。
在示例性的割草机中，割草机在不同类型的草皮土壤上、在不同的障碍物下、在不同的光照和气象条件下((从黎明到黄昏、在暴风雨中和晴朗的天空中)，连续移动34天，每天约8个小时。具体地，每秒获取3张图像，整个期间总共获取约300万张图像。
此外，提供了多个所获取的数字图像的分类603。通过将合适的标签或代码与所获取的每个数字图像相关联来执行这种分类。在割草机的特定情况下，使用图3B的分类对多个图像进行手动分类。
此时，方法600通过将神经连接的权重随机地或默认地与神经网络的权重相关联来提供神经网络300的初始化605。
训练网络300的以下步骤606通过本领域技术人员已知的反向传播方法发生。对于割草机，使用SGD(随机梯度下降)方法。特别地，然后通过基于多个分类的数字图像的标签修改与网络相关联的权重来训练神经网络300的至少一级。
参考图7，详细描述第二神经网络400的训练方法700。
特别地，这样的方法700包括定义安装在工作装置上的数字图像获取装置203的位置和定向的初始步骤701。
方法700然后包括获取在不同工作阶段要处理的土壤的多个输入数字图像的步骤702。
此外，包括通过将相同的标识符(颜色)与图像的每个部分相关联来分割多个所获取的数字图像的步骤703。在割草机的情况下，用于训练的每个图像在确定的不同语义分类上均以统一的阴影着色。因此，已经定义了一个表，该表被配置为唯一地为分配一个分类以及为每个所选择的颜色分配一个分类。
在这一点上，方法700提供了神经网络400的初始化705，该初始化705是通过将神经连接的权重随机地或默认地与神经网络的权重相关联而执行的。
训练网络400的以下步骤706通过本领域技术人员已知的反向传播方法发生。具体地，然后基于多个分割的数字图像的标识符来修改与网络相关联的权重。
参考图8，更详细地描述了第三神经网络500的训练方法800。
特别地，这种方法800包括定义安装在工作装置上的数字图像获取装置203的位置和定向的初始步骤801。在这种情况下，工作装置由操作员移动。
方法800然后包括获取在不同工作阶段要处理的土壤的多个输入数字图像的步骤802。
此外，方法800包括基于土壤的特性来记录将通过工作装置采取的特定动作的步骤803。特别地，每个特定动作与前述多个图像中的获取图像相关联。
在这一点上，该方法通过将神经连接的权重随机地或默认地与神经网络的权重相关联来提供神经网络500的初始化805。
训练网络500的以下步骤806通过反向传播方法发生。特别地，基于已经与多个所获取的数字图像相关联的特定动作来修改与网络相关联的权重。
在本发明方法的优选实施方式中，训练神经网络300、400、500的三个示例的每个步骤还包括通过对所获取的原始图像执行进一步的处理操作，增加可用于训练的图像数量的步骤604、704、804。例如，这是通过执行每个图像的旋转，通过选择图像的下采样或通过为每个图像校正至少一个色度通道来实现的。
在割草机的示例性且非限制性的情况下，通过仅执行每个图像的水平翻转，已获取的多个300万个初始图像已增加到多达600万个图像。利用诸如亮度和对比度校正的进一步的权宜之计，训练的图像总数可以达到约2000万张。
通过增加604、704、804的步骤实现的优点在于使得神经网络300、400、500可以使用更多数量的图像来进行训练，并因此改善了网络本身的学习。
在本发明的方法的特定实施方式中，训练网络300、400、500的上述步骤600、700、800还包括控制所述多个数字图像中的每个图像与所获取的相同分类的其他图像的一致性的步骤。因此，避免了将可能与检测到的土壤情况不一致的、由照相机203错误获取的图像提供给神经网络。这增加了分类的准确性。
应当注意，在训练步骤的下游，本发明的方法100包括进一步适用于为神经网络300、400、500的三个示例中的每一个指定基于土壤分类生成运动构件201或工作构件202的至少一个控制信号的上述步骤104的步骤。
特别地，参考图9A，在合成土壤描述符为土壤分类的情况下，产生至少一个由参考数字900表示的控制信号的步骤104包括：
-步骤901，选择预定的运动指令序列或预定的工作指令序列，每个预定的运动指令序列或工作指令序列与基于由经训练的神经网络300执行的处理而获取的土壤分类相关联；
-步骤902，将这样的运动指令序列发送到工作装置的运动构件201，或者将工作指令序列发送到工作装置的工作构件202。
在第一种情况下，此类运动指令选自：保持方向；改变方向，停止/启动运动构件201或工作构件202。
在机器人割草机的示例性和非限制性情况下，图3B的每个土壤分类生成特定运动指令和工作指令的选择901。例如，分类000“杂草丛生”会选择“保持方向”动作。例如，分类009“带软管的草”产生了“保持方向”运动动作和“停止切割构件”工作动作的选择：因此，割草机可以覆盖整个工作区域，而不会受到软管的限制，但同时中断了切割，以避免损坏刀片。例如，分类500“铺路”选择运动动作“改变方向”：因此，割草机保持在草坪上。
基于这样的运动指令，在图9B中示出了例如割草机的轨迹T和土壤工作装置的示例，该割草机被配置为采用第一神经网络300来实施本发明的方法100，该第一神经网络300可从行进起点ST开始在居住区R中自由移动。例如，这种居住区R由周壁10、居住结构11、娱乐结构12、灌木丛/灌木13和树木9所界定。
参照图9B，申请人已经验证了根据本发明的控制方法移动和控制的机器人割草机在工作区域中伪随机地移动，保持在工作区域内而无需外部基础设施的帮助。此外，相对于当前市场上的解决方案，割草机以更智能的方式对障碍物做出反应。根据本发明的优选方面，一些指令序列可以由用户定义。例如，参考图3B，分类003“带石板的草”可以由用户随意定义：它可以是可遍历的“保持方向”或不可遍历的“改变方向”。用户可以与系统1000交互的模式在下面进一步定义。
应该注意的是，用户的角色并不在于训练系统以适应新的障碍分类。用户简单地将已经训练车辆识别的每种障碍与最方便的控制动作相关联。换句话说，用户不进行土壤工作装置的训练，而仅定义自己的偏好。
参照图10A，在合成土壤描述符为土壤语义分割的情况下，生成至少一个控制信号的步骤104总体上由参考数字920指示，该步骤104包括以下步骤：
-选择921在其边界处的至少一对语义分类，期望工作装置保持对齐；
-识别922在语义分割的图像上的至少一对语义分类；
-如果一对的分类相邻，则进行步骤923，通过回归方法计算表征这两种分类的分离曲线或边界的参数；
-基于计算出的参数来确定924运动指令序列或工作指令序列，该参数表征了两种土壤分类之间的分离曲线；
-将这样的运动指令序列发送925到工作装置的运动构件201，或者将工作指令序列发送到工作装置的工作构件202。
特别地，在第二种情况下，上述运动指令选自以下组成的组：
-旋转指令，通过使其平行于与两个分类分离曲线相切的直线来校正工作装置的方向；
-平移指令，通过将工作装置的位置保持在两个分类的分离曲线上来校正工作装置的位置；
-用于反转装置的行进方向并使其保持在工作区域内的指令；
-避开障碍物的指令。
通常，如果机器远离两个土壤分类之间的边界，则由系统1000实现的控制方法发送指令，该指令将机器本身带到这样的边界上(平移运动)。一旦达到边界，则控制方法被配置为通过执行角度校正以将机器对准这样的边界来将机器对准这样的边界。
在机器人割草机的示例性情况下，期望其沿着先前的切割线前进，从而在平行条上切割草坪。通过选择语义分类“割草”和“未割草”，图4B的图像I1和I1S，看起来它们是在语义分割的图像IS1中的两个相邻的分类，并且由边界线L1分开。两个分类之间的边界处的点集可以例如通过线性回归用直线近似。这样的直线的特征在于偏移和角度系数。如果割草机与割草和未割草之间的边界完全对齐，则该直线实际上将是垂直的(在图像IS1的选定坐标系中为零角系数)。相反，如果割草机相对于上述边界L1未对准，则这样的直线将倾斜(在图像IS1的所选坐标系中为正或负角度系数)。选定的运动指令使割草机成比例地旋转至该系数，使其沿先前的切割线保持不变，并使其有序地进行。在特定示例中，如果系数为负，则割草机将顺时针旋转，反之亦然。根据选定坐标系，直线的偏移量表征了自动割草机与上述边界的偏离。如果直线主要位于视野的右半部分，则选择指令以使机器向右平移，以使其自身与边框对齐。如果直线主要位于视场的左半部分，则选择指令以使机器向左平移，以使其自身与边框对齐。
基于这样的运动指令，申请人已经验证了土壤工作装置，例如根据采用神经网络400的本发明的控制方法100移动的收割机，遵循图10B所示的轨迹T'。应当注意，这种收割机可以从行进起点ST'开始在工作表面R'上自由移动。例如，这样的工作表面R'由服务管线和各种结构15界定。收割机在每次运行时都保持与上次行程中跟随的切割线对齐并平行，并按顺序进行田间作业。每次检测到该区域结束时，它都会反转行进方向(旋转180度)，并使自身与收割小麦和未收割小麦之间的边界重新对齐。
参照图11A，在合成土壤描述符的情况下，这是根据框架土壤的特性，通过工作装置采取的具体措施，上述步骤104产生至少一个控制信号，整体上由参考数字930表示，包括步骤931，该步骤931将要采取的特定动作发送到工作装置的运动构件201或工作构件202，该特定动作是基于由经训练的神经网络500(像素到动作类型的网络)执行的处理而获得的。
在第一实施方式中，这样的特定动作是选自由以下各项组成的组的不连续动作的分类：增加速度，减小速度，随机改变方向，停止运动，开始运动，开始工作构件，停止工作构件。换句话说，动作与确定的表征土壤的草分类相关联。
在第二实施方式中，这样的特定动作是相对于输入图像的回归，并因此每个输出神经元的开始示出了连续动作的值。例如，连续动作是：将行进方向旋转X度；将行驶功率设定为Y；使工作构件202的旋转速度达到每秒Z转的值。
在一个实施方式中，上述动作选自以下组成的组：
-指向运动构件(201)以校正行进方向的旋转动作，
-指向运动构件201的加速或减速动作；
-启动/停止工作构件202。
基于这样的运动指令，土壤工作装置(例如割草机)被配置为采用神经网络500来实施本发明的方法100，该神经网络500遵循图11B所示的轨迹T”的示例，从行进起点ST”开始在上述居住区R中自由移动。这样的居住区R类似于参照图9B描述的居住区。如图9B所示，割草机首先沿着居住区R的外围边界线10前进。然后，割草机将其自身与先前的切割线对齐，从而以同心的轨迹前进。
在另一实施方式中，本发明的方法100还包括以下步骤：通过操作员或通过操作员定义的程序来批准基于所述合成土壤描述符生成的运动构件201或工作构件202的上述至少一个控制信号。换句话说，在工作装置上或远程的操作员可以监督发送给该装置的控制动作的类型，以便批准(或拒绝)将其发送给动作构件201和工作构件202。
应当注意，用于生成合成土壤描述符和随之生成的控制信号的方法完全在工作装置上实现，并且不需要与外界通信。在这种情况下，通信仅旨在允许用户批准或不批准在车辆上执行确定的动作。
如上所述，本发明的土壤工作装置的控制方法100和相关系统1000具有多个优点并且实现了预定的目的。
特别地，为了允许在精确的工作区域内正确地控制和限制割草机或更普通的土壤工作机，通过系统的处理单元204中的软件或硬件来实现的本发明的控制方法100不需要如在已知解决方案中那样在机器自身外部使用基础设施。因此，建议的解决方案确保了系统1000的高度可移植性。
此外，本发明的方法100允许割草机显示操作场景并相应地移动，并且因此，其余部分仅限于工作区域，避免障碍，并按顺序进行工作。
本发明的方法100确保割草机从获取的至少一个数字图像开始，识别出草的存在、不同土壤类型的特征，例如草高或存在不是草的物品。
本发明的方法基于“深度学习”方法，该方法与传统的统计建模有很大的不同。
实际上，在传统的统计建模中，图像的每个属性首先由人进行分析，其选择合适的模型，并明确编码操作图像的逻辑流程。
例如，根据一种方法，使用多元统计分析，将图像(或其一部分)的统计与已知表面的统计进行比较，适当选择先验并存储在内存中。以这种方式，生成图像的映射(二进制或模糊)。
可选地，可以诉诸于小型神经网络来识别图像的低级特征(纹理和颜色)。
然而，土壤的真实图像具有大量且相互关联的特征，以致无法使用传统的统计模型手动对所有案例进行建模。此外，在没有整体解释的情况下，局部特征本身通常不是指示性的：例如，给定的纹理可以根据其插入的上下文采用完全不同的语义。本发明的方法和系统的使用允许克服传统统计模型的局限性，因为它们允许从上述无数情况中抽象出来，以了解土壤的显着特性和特征。
此外，描述了经训练的神经网络300、400、500及其相关的优先训练方法600、700、800，这些方法专门用于在不同切割环境下从工作机的角度识别不同土壤类型的特征，允许实施有效且紧凑的控制方法，从而降低制造成本。
为了满足偶然的需求，本领域技术人员可以修改和改编本发明的方法和系统的实施方式，并在不背离所附权利要求书的范围的情况下，用功能上等效的其他元件替换元件。所描述的属于可能实施方式的每个特征均可以与所描述的其他实施方式无关地实现。

Claims (29)

1.一种基于图像处理的用于控制土壤工作装置的方法(100)，所述土壤工作装置包括运动构件(201)和工作构件(202)，其中，所述方法包括以下步骤：
-通过安装在所述工作装置上的数字图像获取装置(203)获取(101)土壤的至少一个数字图像；
-通过电子处理单元(204)处理(102)所述至少一个数字图像，所述至少一个数字图像是通过经训练的神经网络(300；400；500)对所述数字图像执行至少一个卷积运算来获取的；
-通过所述电子处理单元，基于所述处理获取(103)至少一个合成土壤描述符；
-通过所述电子处理单元，基于所述合成土壤描述符，生成(104)所述运动构件或所述工作构件的至少一个控制信号。
2.根据权利要求1所述的用于控制土壤工作装置的方法(100)，其中，所述生成步骤(104)包括生成所述运动构件(201)的至少一个控制信号和所述工作构件(202)的至少一个控制信号的步骤。
3.根据权利要求1所述的用于控制土壤工作装置的方法(100)，包括至少利用能够工作的或与所述工作构件(202)一起工作的所述土壤的图像来训练(600；700；800)所述神经网络(300；400；500)的进一步步骤。
4.根据权利要求1所述的用于控制土壤工作装置的方法(100)，还包括基于前述合成土壤描述符生成描述所述土壤的性质或结构的数据和/或参数的步骤。
5.根据权利要求4所述的用于控制土壤工作装置的方法(100)，其中，所述描述参数包括具有不同特性的两个土壤区域之间的边界或不连续部分。
6.根据权利要求5所述的用于控制土壤工作装置的方法(100)，其中，所述边界或不连续部分包括在具有不同高度的植物物种的土壤区域之间的边界，或者在先前切割或工作的区域与尚未切割或工作的区域之间的边界。
7.根据权利要求1所述的用于控制土壤工作装置的方法(100)，其中，所述神经网络(300；400；500)包括至少一个卷积层，并且所述至少一个卷积运算通过所述神经网络的前馈来完成。
8.根据权利要求7所述的用于控制土壤工作装置的方法(100)，其中，所述合成土壤描述符是土壤分类，并且所述卷积神经网络(300)至少包括以下层：
-输入层(301)，被配置为接收整个数字图像或所述数字图像的至少一个下采样；
-至少一个卷积层(conv 1)；
-至少一个完全连接(303a)层；
-输出层(304)，具有至少一个神经元，所述至少一个神经元被配置为使得能够在至少两种土壤分类之间进行区分。
9.根据权利要求7所述的用于控制土壤工作装置的方法(100)，其中，所述合成土壤描述符是土壤语义分割，并且所述卷积神经网络(400)至少包括以下层：
-输入层(401)，被配置为接收整个数字图像或所述数字图像的至少一个下采样；
-至少一个卷积层(conv 1)；
-至少一个去卷积层(deconv 1)；
-输出层(404)，被配置为使得能够将土壤图像语义分割为至少两个分类。
10.根据权利要求7所述的用于控制土壤工作装置的方法(100)，其中，所述合成土壤描述符是基于被构筑的所述土壤的特性通过所述工作装置采取的特定动作，并且，所述卷积神经网络(500)至少包括以下层：
-输入层(501)，被配置为接收整个数字图像或所述数字图像的至少一个下采样；
-至少一个卷积层(conv 1)；
-至少一个完全连接(503a)层；
-输出层(504)，具有至少一个神经元，所述至少一个神经元被配置为使得能够在对所述土壤进行的至少两个特定动作之间进行区分。
11.根据权利要求3所述的用于控制土壤工作装置的方法(100)，其中，训练(600)所述神经网络(300)的所述步骤包括所述以下步骤：
-定义(601)安装在所述工作装置上的所述数字图像获取装置(203)的位置和定向，
-在输入中获取(602)要在所述土壤的不同工作阶段中工作的所述土壤的多个数字图像，
-通过将标签与所获取的每个数字图像相关联来对所述多个数字图像进行分类(603)；
-通过随机地或默认地将权重与连接相关联来初始化(605)所述神经网络；
-通过反向传播方法训练所述网络(606)，以通过基于多个分类的数字图像的所述标签修改与所述网络相关联的所述权重来训练所述神经网络的至少一层。
12.根据权利要求3所述的用于控制土壤工作装置的方法(100)，其中，训练(700)所述神经网络(400)的所述步骤包括以下步骤：
-定义(701)安装在所述工作装置上的所述数字图像获取装置(203)的位置和定向；
-在输入中获取(702)要在所述土壤的不同工作阶段中工作的所述土壤的多个数字图像；
-通过将相同的标识符与图像的每个部分相关联来分割(703)所述多个数字图像；
-通过随机地或默认地将权重与连接相关联来初始化(705)所述神经网络；
-通过反向传播方法训练(706)所述网络以通过基于多个分割的数字图像的语义分类修改与所述网络相关联的所述权重来训练所述神经网络的至少一层。
13.根据权利要求3所述的用于控制土壤工作装置的方法(100)，其中，训练(800)所述神经网络(500)的所述步骤包括以下步骤：
-定义(801)安装在所述工作装置上的所述数字图像获取装置(203)的位置和定向，所述工作装置能够由操作员移动；
-在输入中获取(802)要在所述土壤的不同工作阶段中工作的所述土壤的多个数字图像；
-基于所述土壤的特性，记录(803)将通过所述工作装置采取的特定动作，每个特定动作均与所获取的所述多个图像相关联；
-通过随机地或默认地将权重与连接相关联来初始化(805)所述神经网络；
-通过反向传播方法来训练所述网络(806)，以基于与多个获取的数字图像相关联的所述特定动作，通过修改与所述网络相关联的所述权重，来训练所述神经网络的至少一层。
14.根据权利要求11、12和13中任一项所述的用于控制土壤工作装置的方法(100)，其中，所述训练步骤还包括通过处理每个所选择的原始图像来增加(604；704；804)能够用于训练的图像数量的步骤，所述处理操作选自以下组成的组：
-图像旋转，
-图像下采样选择，
-所述图像的至少一个彩色通道的校正。
15.根据依赖于权利要求13的权利要求14所述的用于控制土壤工作装置的方法(100)，其中，所述训练步骤还包括控制所述多个数字图像中的每个图像与所获取的相同分类的其他图像的一致性的步骤。
16.根据权利要求11所述的用于控制土壤工作装置的方法(100)，其中，所述合成土壤描述符是土壤分类，并且基于所述土壤分类生成(104)所述运动构件或所述工作构件的至少一个控制信号的所述步骤包括以下步骤：
-选择(901)与基于由经训练的神经网络(300)执行的所述处理来获取的所述土壤分类相关联的预定的运动指令序列；
-将所述运动指令序列发送(902)到所述工作装置的所述运动构件(201)或所述工作装置的所述工作构件(202)。
17.根据前述权利要求所述的用于控制土壤工作装置的方法(100)，其中，所述运动指令选自以下组成的组：
-保持方向，
-改变方向，
-停止/启动所述运动构件(201)或所述工作构件(202)。
18.根据权利要求12所述的用于控制土壤工作装置的方法(100)，其中，所述合成土壤描述符是土壤语义分割，并且基于所述分割生成(104)所述运动构件或所述工作构件的至少一个控制信号的所述步骤包括以下步骤：
-在期望所述工作装置保持对齐的所述土壤的边界处选择(921)至少一对语义分类；
-在所获取的图像上识别(922)所述至少一对语义分类；
-如果所述一对的分类相邻，则通过回归方法计算(923)表征所述两个分类的分离曲线或边界的参数；
-基于所计算出的表征所述分离曲线的参数，确定(924)运动指令序列或工作指令序列；
-将所述运动指令序列发送(925)到所述工作装置的所述运动构件(201)，或者将所述工作指令序列发送到所述工作装置的所述工作构件(202)。
19.根据前述权利要求所述的用于控制土壤工作装置的方法(100)，其中，所述运动指令选自以下组成的组：
-旋转指令，用于通过使其平行于与所述两个分类的所述分离曲线相切的线，来校正所述工作装置的所述定向；
-平移指令，用于通过将其保持在所述两个分类的所述分离曲线上来校正所述工作装置的所述位置；
-用于反转所述装置的所述方向并将其限制在所述工作区域内的指令；
-避开障碍物的指令。
20.根据权利要求13所述的用于控制土壤工作装置的方法(100)，其中，所述合成土壤描述符是基于所构筑的土壤的所述特性通过所述工作装置采取的特定动作，并且生成(104)至少一个控制信号的所述步骤包括将要采取的特定动作发送(931)给所述工作装置的所述运动构件(201)或所述工作构件(202)的步骤，所述步骤基于由经训练的神经网络(500)执行的所述处理而获得。
21.根据前述权利要求所述的用于控制土壤工作装置的方法(100)，其中，所述动作是选自由以下各项组成的组的不连续动作的分类：
-提高速度，
-降低速度，
-更改运动方向，
-停止运动，
-开始运动，
-启动所述工作构件(202)，
-停止所述工作构件(202)。
22.根据权利要求20所述的用于控制土壤工作装置的方法(100)，其中，所述动作是连续动作。
23.根据权利要求20所述的用于控制土壤工作装置的方法(100)，其中，所述动作选自以下组成的组：
-指向所述运动构件(201)以校正行进角度的旋转动作，
-指向所述运动构件(201)的加速动作或减速动作，
-启动/停止所述工作构件(202)。
24.根据权利要求1所述的用于控制土壤工作装置的方法(100)，还包括一种由操作员或通过所述操作员定义的程序来批准基于所述合成土壤描述符生成的所述运动构件或所述工作构件的所述至少一个控制信号的步骤。
25.一种系统(1000)，包括：
-土壤工作装置，包括运动构件(201)和工作构件(202)，
-安装在所述工作装置上的数字图像获取装置(203)，用于获取所述土壤的至少一个数字图像；
-电子处理单元(204)，连接到所述数字图像获取装置以及连接到所述土壤工作装置的所述运动构件(201)和所述工作构件(202)，
所述电子处理单元(204)被配置为执行根据权利要求1至24中任一项所述的方法的步骤。
26.根据权利要求25所述的系统(1000)，其中，所述电子处理单元包括至少一个处理器(205)和与所述处理器相关联的用于存储指令的存储器块(206、207)，所述处理器和所述存储器块被配置为执行根据权利要求1至24中任一项所述的方法的所述步骤。
27.根据权利要求25所述的系统(1000)，其中，所述土壤工作装置选自以下组成的组：
-割草机，
-收割机，
-犁，
-谷物收割机，
-蔬菜收割机，
-干草收割机，
-将其通过土壤都会改变所述土壤的视觉感受的任何机器。
28.根据权利要求25所述的系统(1000)，其中，所述处理单元(204)包括输入/输出接口(208)，所述输入/输出接口(208)连接到所述至少一个处理器(205)和存储器块(206、207)以允许所述系统附近的操作员直接与所述处理单元进行交互。
29.根据权利要求25所述的系统(1000)，还包括用于将所述处理单元(204)连接到数据通信网络(210)的有线或无线通信接口(209)，以允许操作员与所述处理单元远程交互。
CN201880042260.1A 2017-05-30 2018-05-29 基于图像处理控制土壤工作装置的方法及相关系统 Pending CN110799030A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
IT102017000058505 2017-05-30
IT102017000058505A IT201700058505A1 (it) 2017-05-30 2017-05-30 Metodo di controllo di un mezzo di lavorazione del terreno sulla base di elaborazioni d'immagini e relativo sistema
PCT/IB2018/053811 WO2018220528A1 (en) 2017-05-30 2018-05-29 Method for controlling a soil working means based on image processing and related system

Publications (1)

Publication Number Publication Date
CN110799030A true CN110799030A (zh) 2020-02-14

Family

ID=60294057

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880042260.1A Pending CN110799030A (zh) 2017-05-30 2018-05-29 基于图像处理控制土壤工作装置的方法及相关系统

Country Status (6)

Country Link
US (1) US11297755B2 (zh)
EP (1) EP3629693B1 (zh)
CN (1) CN110799030A (zh)
CA (1) CA3065154A1 (zh)
IT (1) IT201700058505A1 (zh)
WO (1) WO2018220528A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114065801A (zh) * 2021-10-14 2022-02-18 中国科学院地理科学与资源研究所 基于神经网络模型的土壤监测方法、系统和可读存储介质
EP3957143A1 (de) * 2020-08-20 2022-02-23 CLAAS Selbstfahrende Erntemaschinen GmbH Landwirtschaftliche arbeitsmaschine

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11582903B1 (en) 2017-05-17 2023-02-21 Hydro-Gear Limited Partnership Vision based guidance system and method for lawn mowing devices
JP7119061B2 (ja) * 2018-02-28 2022-08-16 本田技研工業株式会社 制御装置、作業機、プログラム及び制御方法
US10713484B2 (en) 2018-05-24 2020-07-14 Blue River Technology Inc. Semantic segmentation to identify and treat plants in a field and verify the plant treatments
CN110612806B (zh) * 2018-06-19 2021-04-20 灵动科技（北京）有限公司 一种智能割草机
US11350564B1 (en) 2018-06-28 2022-06-07 Hydro-Gear Limited Partnership Vision system integration
US11600006B2 (en) * 2018-10-26 2023-03-07 Here Global B.V. Deep neural network architecture for image segmentation
JP7150593B2 (ja) * 2018-12-26 2022-10-11 株式会社クボタ 作業車両
US11464161B1 (en) 2019-03-29 2022-10-11 Hydro-Gear Limited Partnership Automatic sensitivity adjustment for an autonomous mower
US11212954B2 (en) 2019-05-08 2022-01-04 Deere & Company Apparatus and methods for field operations based on historical field operation data
US11480973B2 (en) 2019-07-15 2022-10-25 Deere & Company Robotic mower boundary detection system
WO2021034775A1 (en) 2019-08-19 2021-02-25 Blue River Technology Inc. Plant group identification
AU2020355226A1 (en) * 2019-09-25 2022-04-07 Blue River Technology Inc. Treating plants using feature values and ground planes extracted from a single image
DE102019218187A1 (de) * 2019-11-25 2021-05-27 Robert Bosch Gmbh Verfahren zum Bearbeiten von Pflanzen auf einem Feld, Verfahren zum Generieren von Trainingsdaten und Verfahren zum Trainieren eines neuronalen Netzes
EP3905110A1 (en) 2020-04-30 2021-11-03 Kverneland Group Operations Norway AS System for controlling agricultural operations by optical means
EP3905155B1 (en) 2020-04-30 2023-10-18 Kverneland Group Operations Norway AS Machine learning applications in agriculture
BE1030358B1 (nl) 2022-03-18 2023-10-17 Eeve Bv Werkwijze voor aansturing van een onbemand autonoom voertuig op basis van een bodemtype
CN114384920B (zh) * 2022-03-23 2022-06-10 安徽大学 一种基于局部栅格地图实时构建的动态避障方法
CN114868514B (zh) * 2022-04-13 2023-09-29 北京航空航天大学 一种基于智能割草机器人的草坪3d打印系统和方法
CN114757948B (zh) * 2022-06-14 2022-09-06 福建南方路面机械股份有限公司 一种基于深度学习的再生骨料砂浆含量检测方法及装置
CN114758184B (zh) * 2022-06-14 2022-09-06 福建南方路面机械股份有限公司 基于深度学习的渣土分类处理引导方法、装置及可读介质
CN115443792A (zh) * 2022-08-12 2022-12-09 深圳拓邦股份有限公司 割草机的建图方法、系统及可读存储介质

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0586999A2 (en) * 1992-09-10 1994-03-16 Deere & Company Neural network based controller for a machine in particular for a combine
JP2944774B2 (ja) * 1991-03-20 1999-09-06 ヤンマー農機株式会社 自動走行作業機における画像処理方法
US8412419B1 (en) * 2009-09-17 2013-04-02 Helena Chemical Company System for mapping GIS layers
US20140215984A1 (en) * 2013-02-07 2014-08-07 Deere & Company Method for Setting the Work Parameters of a Harvester
EP2944174A1 (de) * 2014-05-14 2015-11-18 Amazonen-Werke H. Dreyer GmbH & Co. KG Elektronisches maschinen-management-system
CN106056529A (zh) * 2015-04-03 2016-10-26 阿里巴巴集团控股有限公司 一种对用于图片识别的卷积神经网络训练的方法与设备
CN106171087A (zh) * 2016-08-02 2016-12-07 柏伟伟 无线图像识别次苗多功能农用车
CN106647758A (zh) * 2016-12-27 2017-05-10 深圳市盛世智能装备有限公司 一种目标物体检测方法、装置及自动引导车的跟随方法
CN106662452A (zh) * 2014-12-15 2017-05-10 美国 iRobot 公司 割草机器人的地图构建

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0801885B1 (en) 1996-04-19 2002-01-09 Carnegie-Mellon University Vision-based crop line tracking for harvesters
WO1998046065A1 (en) 1997-04-16 1998-10-22 Carnegie Mellon University Agricultural harvester with robotic control
DE10351861A1 (de) 2003-11-06 2005-06-09 Deere & Company, Moline Verfahren und Lenksystem zum selbsttätigen Lenken einer landwirtschaftlichen Maschine
EP3118815B1 (en) 2009-07-01 2018-03-07 MTD Products Inc. Visual segmentation of lawn grass
DE102009028598A1 (de) 2009-08-17 2011-03-03 Robert Bosch Gmbh Autonome mobile Plattform zur Oberflächenbearbeitung
US10219449B2 (en) 2013-03-07 2019-03-05 Blue River Technology Inc. System and method for plant dislodgement
US9008840B1 (en) 2013-04-19 2015-04-14 Brain Corporation Apparatus and methods for reinforcement-guided supervised learning
WO2015143173A2 (en) 2014-03-19 2015-09-24 Neurala, Inc. Methods and apparatus for autonomous robotic control
CN103901890B (zh) 2014-04-09 2017-05-24 中国科学院深圳先进技术研究院 基于家庭庭院的户外自动行走装置及其控制系统和方法
US9346167B2 (en) 2014-04-29 2016-05-24 Brain Corporation Trainable convolutional network apparatus and methods for operating a robotic vehicle
US10349584B2 (en) 2014-11-24 2019-07-16 Prospera Technologies, Ltd. System and method for plant monitoring
US10444760B2 (en) 2014-12-17 2019-10-15 Husqvarna Ab Robotic vehicle learning site boundary
WO2016103068A1 (en) 2014-12-22 2016-06-30 Husqvarna Ab Robotic vehicle grass structure detection
CN104793620B (zh) 2015-04-17 2019-06-18 中国矿业大学 基于视觉特征捆绑和强化学习理论的避障机器人
US9840003B2 (en) 2015-06-24 2017-12-12 Brain Corporation Apparatus and methods for safe navigation of robotic devices
KR101720677B1 (ko) 2015-07-23 2017-03-28 성균관대학교산학협력단 파프리카 수확 시스템
AU2016324492B2 (en) 2015-09-18 2021-04-08 Carnegie Mellon University A self-guided blossom picking device
US20180220589A1 (en) 2015-11-03 2018-08-09 Keith Charles Burden Automated pruning or harvesting system for complex morphology foliage
EP4273655A3 (en) 2016-11-08 2023-12-20 Dogtooth Technologies Limited A robotic fruit picking system
US20180300620A1 (en) * 2017-04-12 2018-10-18 Ford Global Technologies, Llc Foliage Detection Training Systems And Methods
US11093745B2 (en) 2017-05-09 2021-08-17 Blue River Technology Inc. Automated plant detection using image data
BE1024859B1 (nl) * 2017-05-23 2018-07-24 Airobots Een energetisch autonome, duurzame en intelligente robot

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2944774B2 (ja) * 1991-03-20 1999-09-06 ヤンマー農機株式会社 自動走行作業機における画像処理方法
EP0586999A2 (en) * 1992-09-10 1994-03-16 Deere & Company Neural network based controller for a machine in particular for a combine
US8412419B1 (en) * 2009-09-17 2013-04-02 Helena Chemical Company System for mapping GIS layers
US20140215984A1 (en) * 2013-02-07 2014-08-07 Deere & Company Method for Setting the Work Parameters of a Harvester
EP2944174A1 (de) * 2014-05-14 2015-11-18 Amazonen-Werke H. Dreyer GmbH & Co. KG Elektronisches maschinen-management-system
CN106662452A (zh) * 2014-12-15 2017-05-10 美国 iRobot 公司 割草机器人的地图构建
CN106056529A (zh) * 2015-04-03 2016-10-26 阿里巴巴集团控股有限公司 一种对用于图片识别的卷积神经网络训练的方法与设备
CN106171087A (zh) * 2016-08-02 2016-12-07 柏伟伟 无线图像识别次苗多功能农用车
CN106647758A (zh) * 2016-12-27 2017-05-10 深圳市盛世智能装备有限公司 一种目标物体检测方法、装置及自动引导车的跟随方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3957143A1 (de) * 2020-08-20 2022-02-23 CLAAS Selbstfahrende Erntemaschinen GmbH Landwirtschaftliche arbeitsmaschine
CN114065801A (zh) * 2021-10-14 2022-02-18 中国科学院地理科学与资源研究所 基于神经网络模型的土壤监测方法、系统和可读存储介质
CN114065801B (zh) * 2021-10-14 2022-10-28 中国科学院地理科学与资源研究所 基于神经网络模型的土壤监测方法、系统和可读存储介质

Also Published As

Publication number Publication date
US11297755B2 (en) 2022-04-12
EP3629693A1 (en) 2020-04-08
WO2018220528A1 (en) 2018-12-06
EP3629693B1 (en) 2022-01-26
US20210136993A1 (en) 2021-05-13
CA3065154A1 (en) 2018-12-06
IT201700058505A1 (it) 2018-11-30

Similar Documents

Publication Publication Date Title
EP3629693B1 (en) Method for controlling a soil working means based on image processing and related system
US11074447B1 (en) Land analysis system using drone-captured data
US20230345928A1 (en) Identifying and avoiding obstructions using depth information in a single image
Moorehead et al. Automating orchards: A system of autonomous tractors for orchard maintenance
US9188980B2 (en) Vehicle with high integrity perception system
US8478493B2 (en) High integrity perception program
US8818567B2 (en) High integrity perception for machine localization and safeguarding
EP2169503B1 (en) Multi-vehicle high intensity perception
KR20190091507A (ko) 무인기 작업 방법 및 장치
US20120095651A1 (en) Method and apparatus for machine coordination which maintains line-of-site contact
EP3021656A1 (de) System zur überwachung und steuerung von aktivitäten zumindest eines gartengeräts innerhalb zumindest eines aktivitätsgebiets
CA3125658A1 (en) Automatic driving system for grain processing, automatic driving method, and path planning method
US20210373562A1 (en) System and method for improved boundary detection for robotic mower system
US11882787B1 (en) Automatic sensitivity adjustment for an autonomous mower
US20220101554A1 (en) Extracting Feature Values from Point Clouds to Generate Plant Treatments
WO2021139397A1 (zh) 自移动设备的控制方法
Cuevas-Velasquez et al. Real-time stereo visual servoing for rose pruning with robotic arm
US20220100996A1 (en) Ground Plane Compensation in Identifying and Treating Plants
US20220180282A1 (en) Worksite Equipment Path Planning
Rovira-Más et al. Crop scouting and surrounding awareness for specialty crops
CN114485612B (zh) 路线生成方法、装置、无人作业车、电子设备及存储介质
WO2023175580A1 (en) Working method for controlling an unmanned autonomous vehicle based on a soil type
Majeed Machine Vision System for the Automated Green Shoot Thinning in Vineyards
CN115963821A (zh) 露地蔬菜自动化生产作业方法、装置、设备及介质
Bonadies Development of pid and fuzzy control strategies for navigation in agricultural environments

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20200214

WD01 Invention patent application deemed withdrawn after publication