DE102019218192A1

DE102019218192A1 - Method of working crops in a field

Info

Publication number: DE102019218192A1
Application number: DE102019218192.9A
Authority: DE
Inventors: Markus Hoeferlin; Maurice Gohlke; Sandra Amend; Daniel Di Marco
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2019-11-25
Filing date: 2019-11-25
Publication date: 2021-05-27

Abstract

Ein Verfahren (100) zum Bearbeiten von auf einem Feld wachsenden Pflanzen, weist folgende Schritte auf: Auswählen (S102) eines Bearbeitungswerkzeugs zum Bearbeiten von Pflanzen; Erfassen (S104) von Sensorwerten, die von einem oder mehreren unabhängigen Sensorelementen bereitgestellt werden; Berechnen (S106) einer jeweiligen Klassenzugehörigkeits-Wahrscheinlichkeit, die angibt, dass eine Zelle mit einer zu bearbeitenden Pflanze belegt ist, für jede Zelle einer Belegungskarte (20) unter Verwendung der erfassten Sensorwerte; Bestimmen (S108) einer jeweiligen Position der zu bearbeitenden Pflanze auf dem Feld unter Verwendung der Belegungskarte (20); Hinführen (S110) des Bearbeitungswerkzeugs zu Position der Pflanze; und Bearbeiten (S112) der Pflanze mit dem Bearbeitungswerkzeug.A method (100) for processing plants growing in a field comprises the following steps: selecting (S102) a processing tool for processing plants; Detecting (S104) sensor values that are provided by one or more independent sensor elements; Calculating (S106) a respective probability of belonging to a class, which indicates that a cell is occupied by a plant to be processed, for each cell of an occupancy card (20) using the detected sensor values; Determining (S108) a respective position of the plant to be worked on the field using the occupancy card (20); Guiding (S110) the processing tool to the position of the plant; and processing (S112) the plant with the processing tool.

Description

Die vorliegende Erfindung betrifft ein Verfahren zum Bearbeiten von Pflanzen auf einem Feld, und insbesondere ein Verfahren zum Bearbeiten von Pflanzen auf einem Feld unter Verwendung einer Belegungskarte bzw. eines Occupancy Grids.The present invention relates to a method for processing plants in a field, and in particular to a method for processing plants in a field using an occupancy grid.

Bei konventionellen Verfahren zum Bearbeiten von Pflanzen werden die einzelnen Pflanzen während der Überfahrt via Tracking verfolgt, um auf Einzelpflanzenbasis eine Fusion der Klassifikationsergebnisse zu berechnen. Diese Methode hat jedoch Probleme bei sich (teilweise) überlappenden Pflanzen, da diese unterschiedlichen Pflanzen fälschlicherweise als eine Einzelpflanze erkannt werden. Die objektweise Erfassung von Pflanzen auf dem Feld führt daher zu dem Problem, dass sich überlappende Pflanzen durch eine Segmentierung nicht voneinander getrennt erfasst werden können, so dass mehrere überlappende Pflanzen als eine einzelne Pflanze klassifiziert werden. Gehören die überlappenden Pflanzen nicht zu derselben Klasse, führt dies nachfolgend zu einer fehlerhaften Bearbeitung mindestens einer der sich überlappenden Pflanzen.With conventional methods for processing plants, the individual plants are tracked during the passage in order to calculate a fusion of the classification results on an individual plant basis. However, this method has problems with (partially) overlapping plants, since these different plants are incorrectly recognized as a single plant. The object-wise detection of plants in the field therefore leads to the problem that overlapping plants cannot be detected separately from one another by segmentation, so that several overlapping plants are classified as a single plant. If the overlapping plants do not belong to the same class, this subsequently leads to incorrect processing of at least one of the overlapping plants.

Die Aufgabe der Erfindung ist daher, die Nachteile der oben erwähnten objektweisen Erfassung von Pflanzen auf dem Feld zu vermeiden und ein robusteres Verfahren zum Bearbeiten von Pflanzen auf einem Feld bereitzustellen, bei dem zu bearbeitende Pflanzen genauer erfasst werden können, so dass eine korrekte Bearbeitung sichergestellt wird.The object of the invention is therefore to avoid the disadvantages of the above-mentioned object-by-object detection of plants in the field and to provide a more robust method for processing plants in a field in which plants to be processed can be detected more precisely, so that correct processing is ensured becomes.

Nachfolgend werden Ausführungsformen der vorliegenden Erfindung unter Bezugnahme auf die beigefügten Figuren beschrieben. Es zeigen:

1 ein Fahrzeug, an dem eine Vorrichtung zum Bearbeiten von Pflanzen angebracht ist;
2 ein Ablaufdiagramm, das die einzelnen Schritte des erfindungsgemäßen Verfahrens zeigt.

Embodiments of the present invention are described below with reference to the accompanying figures. Show it:

1 a vehicle to which a plant processing device is mounted;
2 a flowchart showing the individual steps of the method according to the invention.

Detaillierte Beschreibung der AusführungsformenDetailed description of the embodiments

Ein in 1 gezeigtes Fahrzeug 10, an dem eine Vorrichtung zum Bearbeiten vom Pflanzen angebracht ist, fährt ein Feld entlang einer vorgegebenen Route, wie in 1 durch einen Pfeil angezeigt, ab und die zu bearbeitenden Pflanzen werden durch Ausführen des erfindungsgemäßen Verfahrens 100 nacheinander einzeln bearbeitet. Das Fahrzeug 10 fährt das Feld dabei autonom ab, kann das Feld aber auch gemäß einer Steuerung durch einen Bediener abfahren.An in 1 shown vehicle 10 , to which a plant processing device is attached, a field travels along a predetermined route as in FIG 1 indicated by an arrow, from and the plants to be processed are carried out by carrying out the method according to the invention 100 processed one after the other. The vehicle 10 drives the field autonomously, but can also drive through the field according to a control by an operator.

Unter einem Feld kann eine abgegrenzte Bodenfläche für den Anbau von Nutzpflanzen oder auch ein Teil eines solchen Feldes verstanden werden. Unter einer Nutzpflanze wird eine landwirtschaftlich genutzte Pflanze verstanden, die selbst oder deren Frucht genutzt wird, z.B. als Nahrungsmittel, Futtermittel oder als Energiepflanze. Die Samen und folglich die Pflanzen werden vornehmlich in Reihen angeordnet, wobei zwischen den Reihen sowie zwischen den einzelnen Pflanzen innerhalb einer Reihe Objekte vorhanden sein können. Die Objekte sind jedoch unerwünscht, da sie den Ertrag der Pflanzen mindern oder einen störenden Einfluss während der Bewirtschaftung und/oder der Ernte darstellen. Unter einem Objekt kann jegliche Pflanze, die eine andere als die Nutzpflanze ist, oder jeglicher Gegenstand verstanden werden. Objekte können insbesondere Beikräuter, Hölzer und Steine sein.A field can be understood to be a delimited area of land for the cultivation of useful plants or a part of such a field. A useful plant is understood to be an agriculturally used plant that is used itself or its fruit, e.g. as food, feed or as an energy plant. The seeds and consequently the plants are primarily arranged in rows, it being possible for objects to be present between the rows and between the individual plants within a row. However, the objects are undesirable because they reduce the yield of the plants or represent a disruptive influence during cultivation and / or harvest. An object can be understood to mean any plant that is different from the useful plant, or any object. Objects can in particular be weeds, woods and stones.

Die an dem Fahrzeug 10 angebrachte Vorrichtung zum Bearbeiten von Pflanzen weist dazu mindestens die folgenden Elemente auf: ein Bearbeitungswerkzeug, ein Bilderfassungsmittel 12, verschiedene Sensorelemente (z.B. einen Positionssensor, einen Geschwindigkeitssensor, einen Neigungssensor, einen Radarsensor, einen Lasersensor (LIDAR) usw.), eine Speichereinheit und eine Recheneinheit.The one on the vehicle 10 For this purpose, the attached device for processing plants has at least the following elements: a processing tool, an image acquisition means 12th , various sensor elements (eg a position sensor, a speed sensor, an inclination sensor, a radar sensor, a laser sensor (LIDAR), etc.), a storage unit and a computing unit.

Das Bearbeitungswerkzeug (in 1 nicht gezeigt) ist an einem hinteren Ende des Fahrzeugs 10 (in 1 in Richtung des Betrachters) angebracht und als ein mechanisches Werkzeug ausgestaltet, das an einer beweglichen Vorrichtung angebracht ist, so dass es zu einer zu bearbeitenden Pflanze hin- oder davon weggeführt werden kann. Das Bearbeitungswerkzeug ist so ausgebildet, dass damit eine Pflanze bearbeitet werden kann. Die bewegliche Vorrichtung ist zum Beispiel ein Arm mit Gelenken, der durch Elektromotoren oder eine Hydraulik bewegt wird. Das Bearbeitungswerkzeug ist z.B. eine Fräse, die die Pflanze, d.h. in diesem Fall ein Beikraut, im Bereich der Wurzeln abtrennt. Das Bearbeitungswerkzeug kann aber auch ein Sprayer sein, mit dem ein Pestizid in Richtung einer zu bearbeitenden Pflanze gesprüht wird. Es ist anzumerken, dass der Sprayer auch zum Ausbringen eines Pflanzenschutzmittels oder von Dünger auf eine Nutzpflanze eingesetzt werden kann. Darüber hinaus sind noch weitere Bearbeitungswerkzeuge, wie etwa ein elektrisches Bearbeitungswerkzeug, ein Laser, Mikrowellen, heißes Wasser oder Öl, denkbar. Das am Fahrzeug installierte Bearbeitungswerkzeug weist dabei eine spezifische räumliche Genauigkeit sowie eine spezifische Reichweite auf. Die räumliche Genauigkeit bei einer Fräse hängt von der beweglichen Vorrichtung und der mechanischen Ausgestaltung (z.B. dem Durchmesser) der Fräse selbst ab. Die Reichweite hängt bei der Fräse vor allem von der Reichweite der beweglichen Vorrichtung ab. Die räumliche Genauigkeit bei einem Sprayer hängt von einem Düsenwinkel des Sprayers ab. Die räumliche Genauigkeit bei einem Sprayer ist dabei um ein vielfaches geringer als bei einer Fräse. Die Reichweite des Sprayers ist dafür größer als bei der Fräse. Darüber hinaus ist es auch möglich, dass mehrere Bearbeitungswerkzeuge an einer Vorrichtung zum Bearbeiten von Pflanzen angebracht sind, die gleichzeitig betrieben werden können. Es können auch unterschiedliche Arten von Bearbeitungswerkzeugen an derselben Vorrichtung zum Bearbeiten von Pflanzen angebracht sein.The editing tool (in 1 not shown) is at a rear end of the vehicle 10 (in 1 in the direction of the viewer) and designed as a mechanical tool that is attached to a movable device so that it can be guided towards or away from a plant to be processed. The processing tool is designed so that a plant can be processed with it. The movable device is, for example, an articulated arm that is moved by electric motors or hydraulics. The processing tool is, for example, a milling cutter that cuts off the plant, ie in this case a weed, in the area of the roots. However, the processing tool can also be a sprayer with which a pesticide is sprayed in the direction of a plant to be processed. It should be noted that the sprayer can also be used to apply a crop protection agent or fertilizer to a crop. In addition, other processing tools, such as an electrical processing tool, a laser, microwaves, hot water or oil, are also conceivable. The processing tool installed on the vehicle has a specific spatial accuracy and a specific range. The spatial accuracy of a milling machine depends on the movable device and the mechanical design (eg the diameter) of the milling machine itself. The range of the milling machine depends primarily on the range of the movable device. The spatial accuracy of a sprayer depends on a nozzle angle of the sprayer. The spatial accuracy of a sprayer is many times lower than with a milling machine. The range of the sprayer is greater than that of the milling machine. In addition, it is also possible that several processing tools are attached to a device for processing plants, which can be operated simultaneously. Different types of processing tools can also be attached to the same device for processing plants.

Das Bildererfassungsmittel 12 ist eine Kamera, wie z.B. eine CCD-Kamera, eine CMOS-Kamera usw., die an einem vorderen Ende des Fahrzeugs angebracht ist. Das Bilderfassungsmittel 12 erfasst ein Bild im sichtbaren Bereich und stellt das Bild als RGB-Werte oder als Werte in einem anderen Farbraum bereit. Das Bilderfassungsmittel 12 kann aber auch eine Kamera sein, die ein Bild im Infrarot-Bereich erfasst. Für das Erfassen von Pflanzen ist ein Bild im Infrarot-Bereich besonders geeignet, da eine Reflexion der Pflanzen in diesem Frequenzbereich deutlich erhöht ist. Das Bilderfassungsmittel 12 kann aber auch z.B. eine Mono-, RGB-, Multispektral-, Hyperspektral-Kamera sein. Das Bilderfassungsmittel kann auch eine Tiefenmessung, z.B. durch eine Stereokamera, eine Time-of-Flight-Kamera usw., bereitstellen. Es ist möglich, dass mehrere Bilderfassungsmittel vorhanden sind, und dass die Bilder von den unterschiedlichen Bilderfassungsmitteln sowie die Daten von den verschiedenen Sensorelementen im Wesentlichen synchron erfasst werden.The image capture means 12th is a camera such as a CCD camera, a CMOS camera, etc., which is attached to a front end of the vehicle. The image capture means 12th captures an image in the visible area and provides the image as RGB values or as values in another color space. The image capture means 12th but it can also be a camera that captures an image in the infrared range. An image in the infrared range is particularly suitable for capturing plants, as the reflection of the plants is significantly increased in this frequency range. The image capture means 12th but can also be, for example, a mono, RGB, multispectral, hyperspectral camera. The image acquisition means can also provide a depth measurement, for example by a stereo camera, a time-of-flight camera, etc. It is possible for a plurality of image acquisition means to be present and for the images from the different image acquisition means and the data from the various sensor elements to be acquired essentially synchronously.

Für den Betrieb der Vorrichtung zum Bearbeiten von Pflanzen sind weitere Daten erforderlich, die unter Verwendung von verschiedenen Sensorelementen erfasst werden. Die Sensorelemente können dabei einen Positionssensor, z.B. GPS, hochgenaues GPS usw., einen Geschwindigkeitssensor, einen Neigungssensor, einen Abstandssensor, wie etwa ein Radarsensor, ein LIDAR usw., aber auch andere Sensoren, wie etwa einen Wettersensor etc., umfassen.For the operation of the device for processing plants, further data are required, which are recorded using various sensor elements. The sensor elements can include a position sensor, e.g. GPS, high-precision GPS, etc., a speed sensor, an inclination sensor, a distance sensor, such as a radar sensor, a LIDAR, etc., but also other sensors, such as a weather sensor, etc.

Die Speichereinheit ist ein nichtflüchtiges gegenständliches Speichermedium, wie z.B. ein Halbleiterspeicher, in dem Daten längere Zeit gespeichert werden können. Die Daten bleiben in der Speichereinheit auch dann gespeichert, wenn keine Betriebsspannung an der Speichereinheit anliegt. Die Speichereinheit speichert ein Programm zum Ausführen des erfindungsgemäßen Verfahrens und dafür erforderliche Betriebsdaten. Zudem werden auf der Speichereinheit die vom Bilderfassungsmittel 12 erfassten Bilder und die von den Sensorelementen erfassten Daten gespeichert. Es können aber auch andere Daten und Informationen in der Speichereinheit gespeichert werden.The storage unit is a non-volatile physical storage medium, such as a semiconductor memory, in which data can be stored for a longer period of time. The data remain stored in the storage unit even when there is no operating voltage on the storage unit. The memory unit stores a program for carrying out the method according to the invention and the operating data required for this. In addition, those from the image acquisition means are stored on the storage unit 12th captured images and the data captured by the sensor elements are stored. However, other data and information can also be stored in the memory unit.

Das in der Speichereinheit gespeicherte Programm enthält Anweisungen in Form von Programmcode, der in einer beliebigen Programmiersprache geschrieben ist, die der Reihe nach ausgeführt werden, so dass das erfindungsgemäße Verfahren 100 zum Bearbeiten der Pflanzen auf dem Feld ausgeführt wird. Das Programm kann dabei auch in mehrere Dateien aufgeteilt sein, die eine vorgegebene Beziehung zueinander aufweisen.The program stored in the memory unit contains instructions in the form of program code, which is written in any programming language, which are executed in sequence, so that the method according to the invention 100 to process the plants in the field. The program can also be divided into several files that have a predefined relationship to one another.

Die Recheneinheit ist eine arithmetisch-logische Einheit, die in Form eines Prozessors (z.B. CPU, GPU, TPU) implementiert ist. Die Recheneinheit ist imstande, Daten von der Speichereinheit zu lesen und Anweisungen entsprechend dem Programm auszugeben, um das Bilderfassungsmittel 12, die Sensorelemente und Aktoren, wie etwa das Bearbeitungswerkzeug, die allesamt mit der Recheneinheit kommunikativ (kabelgebunden oder kabellos) verbunden sind, zu steuern.The arithmetic unit is an arithmetic-logic unit that is implemented in the form of a processor (eg CPU, GPU, TPU). The arithmetic unit is able to read data from the memory unit and to output instructions according to the program to the image acquisition means 12th to control the sensor elements and actuators, such as the machining tool, all of which are communicatively (wired or wireless) connected to the processing unit.

Die Vorrichtung zum Bearbeiten von Pflanzen ist, wie in 1 gezeigt, auf einem dafür vorgesehenen Fahrzeug 10 installiert, das durch eine Batterie betrieben wird, aber auch durch eine andere Energiequelle, wie etwa einen Verbrennungsmotor, betrieben werden kann. Die Vorrichtung kann darüber hinaus auch an einem landwirtschaftlichen Fahrzeug oder einem Anhänger für das landwirtschaftliche Fahrzeug angebracht sein. Die Vorrichtung wird dabei durch eine Energiequelle des Fahrzeugs betrieben, kann aber auch durch eine dafür vorgesehene separate Energiequelle betrieben werden.The device for processing plants is as in 1 shown on a dedicated vehicle 10 installed that is powered by a battery, but can also be powered by another energy source, such as an internal combustion engine. The device can also be attached to an agricultural vehicle or a trailer for the agricultural vehicle. The device is operated by an energy source of the vehicle, but can also be operated by a separate energy source provided for this purpose.

Während eines Abfahrens werden die einzelnen Verfahrensschritte S102 bis S112 des erfindungsgemäßen Verfahrens 100, wie in 2 gezeigt, der Reihe nach ausgeführt. Die einzelnen Schritte werden nachfolgend im Detail beschrieben:

Eingangs wird in Schritt S102 das Bearbeitungswerkzeug ausgewählt, mit dem die Pflanzen bzw. Objekte auf einem Feld bearbeitet werden sollen. Die räumliche Genauigkeit, mit der die Pflanzen durch das Bearbeitungswerkzeug bearbeitet werden, hängt dabei, wie oben beschrieben, von der Art des Bearbeitungswerkzeuges ab. Das Bearbeitungswerkzeug kann vor einem Start des Abfahrens des Felds für die gesamte Dauer des Abfahrens festgelegt werden. Das Bearbeitungswerkzeug kann aber auch während eines Abfahrens gewechselt werden.

The individual process steps S102 to S112 of the method according to the invention 100 , as in 2 shown, executed in sequence. The individual steps are described in detail below:

The input is in step S102 the processing tool selected with which the plants or objects in a field are to be processed. The spatial accuracy with which the plants are processed by the processing tool depends, as described above, on the type of processing tool. The processing tool can be specified for the entire duration of the process before the start of the process of running through the field. However, the processing tool can also be changed during a run.

Anschließend wird in Schritt S104 ein Bild von dem Feld, auf dem die Pflanzen wachsen, durch das Bilderfassungsmittel 12 erfasst. Das Bilderfassungsmittel 12 ist so an dem Fahrzeug 10 angebracht, dass ein Bildsensor im Wesentlichen parallel zu einer Bodenoberfläche des Feldes ist. Zudem wird im Wesentlichen synchron zum Erfassen des Bilds eine Positionsinformation über die Position erlangt, an der das Bild auf dem Feld erfasst wird. Die vom Positionssensor erlangte Positionsinformation wird mit dem Bild korreliert, so dass tatsächliche Positionen von Pixeln des Bilds auf dem Feld unter Berücksichtigung der Positionsinformation, des Bildwinkels des verwendeten Bilderfassungsmittels 12 und des Abstands des Bilderfassungsmittels 12 vom Boden bestimmt werden können. Das Bilderfassungsmittel 12 kann aber auch so angebracht sein, dass der Bildsensor in einer beliebigen Richtung geneigt ist, um einen größeren Bereich des Feldes zu erfassen. In diesem Fall ist der Neigungswinkel beim Bestimmen der Position eines Pixels auf dem Feld zu berücksichtigen. Es können aber auch Sensordaten durch ein anderes Sensorelement, wie z.B. einen Abstandsensor (etwa einem Radarsensor oder einem LIDAR) erfasst werden, so dass eine weitere Information zum Erfassen einer zu bearbeitenden Pflanze zur Verfügung steht.Then in step S104 an image of the field in which the plants are growing by the image capturing means 12th detected. The image capture means 12th is like that on the vehicle 10 attached that an image sensor is substantially parallel to a ground surface of the field. In addition, position information about the position at which the image is recorded on the field is obtained essentially synchronously with the acquisition of the image. The position information obtained by the position sensor is correlated with the image, so that actual positions of pixels of the image on the field, taking into account the position information, the angle of view of the image acquisition means used 12th and the spacing of the image capture means 12th can be determined from the ground. The image capture means 12th but can also be attached in such a way that the image sensor is inclined in any direction in order to cover a larger area of the field. In this case, the angle of inclination must be taken into account when determining the position of a pixel on the field. However, sensor data can also be recorded by another sensor element, such as a distance sensor (for example a radar sensor or a LIDAR), so that further information is available for recording a plant to be processed.

Im nachfolgenden Schritt S106 werden die erfassten Sensordaten und/oder das erfasste Bild verarbeitet, um eine Belegungskarte 20 zu generieren. Die Belegungskarte 20 modelliert die Umgebung des Fahrzeugs 10 in Form einer fahrzeugzentrierten Raster-Karte, die eine Vielzahl von gleichgroßen oder unterschiedlich großen Zellen aufweist. Für jede Zelle der Bewegungskarte 20 wird gemäß der vorliegenden Erfindung eine Klassenzugehörigkeits-Wahrscheinlichkeit, die angibt, dass sich darin eine zu bearbeitende Pflanze oder eine andere Pflanze befindet, unter Verwendung der erfassten Bilddaten und/oder der erfassten Sensorwerte berechnet. In 1 werden beispielsweise die Zellen, die mit den Bezugszeichen 22 und 24 markiert sind, als zu bearbeitende Pflanzen erkannt. Die jeweilige Klassenzugehörigkeits-Wahrscheinlichkeit in den Zellen wird dabei während einer Überfahrt durch das Fahrzeug 10, an der die Vorrichtung zum Bearbeiten von Pflanzen angebracht ist, kontinuierlich aktualisiert. Es ist anzumerken, dass dieses Vorgehen verwendet werden kann, da die Pflanzen auf dem Feld statisch sind.In the next step S106 the captured sensor data and / or the captured image are processed to create an occupancy card 20th to generate. The occupancy card 20th models the surroundings of the vehicle 10 in the form of a vehicle-centered raster map that has a large number of cells of the same size or of different sizes. For each cell on the movement card 20th According to the present invention, a class membership probability, which indicates that a plant to be processed or another plant is located therein, is calculated using the recorded image data and / or the recorded sensor values. In 1 for example, the cells starting with the reference numerals 22nd and 24 are identified as plants to be processed. The respective class membership probability in the cells is determined while the vehicle is being driven over 10 , to which the device for processing plants is attached, updated continuously. It should be noted that this approach can be used because the plants in the field are static.

Die Klassenzugehörigkeits-Wahrscheinlichkeit wird bei der vorliegenden Ausführungsform vorzugsweise mittels einer semantischen Segmentierung des erfassten Bilds bestimmt, kann jedoch auch über Objektdetektion und -klassifikation ermittelt werden. Die semantische Segmentierung wird durch Anwendung eines sog. Fully Convolutional Dense Net erhalten. Eine semantische Segmentierung kann aber auch durch ein Fully Convolutional Neural Network oder ein anderes geeignetes neuronales Netz erhalten werden. Verfahren für die pixelweise semantische Segmentierung von Bildern sind im Stand der Technik aus folgenden Dokumenten bekannt: Long, J., Shelhamer, E., & Darrell, T. (2015). „Fully convolutional networks for semantic segmentation“. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 3431-3440) . Jegou, S., Drozdzal, M., Vazquez, D., Romero, A., & Bengio, Y. (2017). „The one hundred layers tiramisu: Fully convolutional densenets for semantic segmentation“. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops (pp. 11-19) . Es ist darüber hinaus anzumerken, dass auch Bereiche, sog. Superpixel, im Bild semantisch segmentiert werden können. Durch die semantische Segmentierung wird den einzelnen Pixeln des Bilds eine Klassifikationsinformation zugewiesen, die angibt, was der jeweilige Pixel im Bild darstellt. Die Klassifikationsinformation unterscheidet dabei zwischen Nutzpflanze, Boden und unterschiedlichen Beikrautarten. Die Klassifikationsinformation kann aber auch lediglich zwischen Nutzpflanze, Boden und Beikraut unterscheiden.In the present embodiment, the class membership probability is preferably determined by means of semantic segmentation of the captured image, but it can also be determined via object detection and classification. The semantic segmentation is obtained by using a so-called fully convolutional dense net. A semantic segmentation can, however, also be obtained by a fully convolutional neural network or another suitable neural network. Methods for the pixel-by-pixel semantic segmentation of images are known in the prior art from the following documents: Long, J., Shelhamer, E., & Darrell, T. (2015). "Fully convolutional networks for semantic segmentation". In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 3431-3440) . Jegou, S., Drozdzal, M., Vazquez, D., Romero, A., & Bengio, Y. (2017). "The one hundred layers tiramisu: Fully convolutional densenets for semantic segmentation". In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops (pp. 11-19) . It should also be noted that areas, so-called super pixels, can also be semantically segmented in the image. The semantic segmentation assigns classification information to the individual pixels of the image, which indicates what the respective pixel in the image represents. The classification information distinguishes between useful plants, soil and different types of weeds. The classification information can also only differentiate between useful plants, soil and weeds.

Anschließend wird aus den semantisch segmentierten Pixeln des Bildes die Klassenzugehörigkeits-Wahrscheinlichkeit für die einzelnen Zellen der Belegungskarte 20 berechnet. Die Klassenzugehörigkeits-Wahrscheinlichkeit wird dabei als das Verhältnis der Pixel, die eine bestimmte Pflanzenklasse in der Zelle darstellen, zu den gesamten Pixeln in der Zelle bestimmt.The semantically segmented pixels of the image then become the class membership probability for the individual cells of the occupancy card 20th calculated. The class membership probability is determined as the ratio of the pixels that represent a certain plant class in the cell to the total pixels in the cell.

Die berechneten Klassenzugehörigkeits-Wahrscheinlichkeit werden für die unterschiedlichen Klassen (Nutzpflanze und Beikräuter) jeweils in einer separaten Ebene, die wie die Belegungskarte 20 ebenfalls in Zellen aufgeteilt ist, gespeichert. Klassenzugehörigkeits-Wahrscheinlichkeiten für die einzelnen Klassen, die durch Sensordaten eines anderen Sensors berechnet werden und in dieselbe Zelle fallen, werden dabei miteinander in der jeweiligen Ebene fusioniert. Jede Ebene repräsentiert somit eine der möglichen Klassen. Ebene 1 stellt z.B. die Klassenzugehörigkeits-Wahrscheinlichkeit pro Zelle für eine Nutzpflanze dar, Ebene 2 stellt die Klassenzugehörigkeits-Wahrscheinlichkeit pro Zelle für Beikraut 1 dar und Ebene N+1 stellt die Klassenzugehörigkeits-Wahrscheinlichkeit pro Zelle für Beikrauttyp N dar. In einer anderen Ausgestaltung können die einzelnen Ebenen auch größere Gruppierungen von Pflanzen, wie etwa dikotyle Pflanzen, monokotyle Pflanzen usw., repräsentieren.The calculated class membership probability are for the different classes (useful plants and weeds) each in a separate level, which is like the occupancy map 20th is also divided into cells. Class membership probabilities for the individual classes, which are calculated using sensor data from another sensor and fall into the same cell, are merged with one another in the respective level. Each level thus represents one of the possible classes. level 1 represents, for example, the class membership probability per cell for a useful plant, level 2 represents the class membership probability per cell for weeds 1 and level N + 1 shows the class membership probability per cell for weed type N. In another embodiment, the individual levels can also represent larger groupings of plants, such as dicotyledonous plants, monocotyledonous plants, etc.

Die vorliegende Erfindung stellt somit den Vorteil bereit, das Daten von verschiedenen Sensoren (z.B. RGB-Kamera, Laser, 3-D Sensor, Multispektral-Kamera, etc.) örtlich in die entsprechenden Zellen fusioniert werden, um ein robusteres und besseres Ergebnis zu bekommen. Zudem können Daten, die zu verschiedenen Zeitpunkten erfasst werden (z.B. eine Pflanze die während der Überfahrt mehrfach aufgenommen und klassifiziert wurde) oder Klassifikationsergebnisse von mehreren Sensoren in einer zellenbasierten Belegungskarte 20 vereinigt werden.The present invention thus provides the advantage that data from various sensors (for example RGB cameras, lasers, 3-D sensors, multispectral cameras, etc.) are locally fused in the corresponding cells in order to obtain a more robust and better result . In addition, data that are recorded at different points in time (eg a plant that was recorded and classified several times during the crossing) or classification results from several sensors can be stored in a cell-based occupancy map 20th be united.

Während einer Fortbewegung des Fahrzeugs bewegt sich die Karte mit dem Fahrzeug 10 mit. Die eingehenden, neuen Klassifikationsergebnisse des Bilderfassungsmittels 12 werden in ein Raster auf Bodenhöhe in Weltkoordinaten mit einer vorgegebenen Zellengröße projiziert. Die Belegungskarte 20 ist ortsfest (d.h. die Zellen bewegen sich nicht), aber der jeweils betrachtete Ausschnitt bewegt sich mit dem Fahrzeug 10. Um den Berechnungsaufwand gering zu halten, können die Teile der Belegungskarte 20, die weder von den Sensoren betrachtet werden noch von dem Bearbeitungswerkzeug erreichbar sind, unberücksichtigt bleiben. D.h. es werden nur Bereiche der Belegungskarte 20 berücksichtigt, die von den Sensoren erfasst und vom Bearbeitungswerkzeug erreicht werden können. Wird folglich der Sprayer ausgewählt, ist der zu betrachtende Bereich der Belegungskarte 20 größer als bei Wahl der Fräse. Auf diese Weise kann eine Verarbeitungslast reduziert werden.While the vehicle is moving, the map moves with the vehicle 10 With. The incoming, new classification results of the image acquisition means 12th are based on a grid Projected floor height in world coordinates with a given cell size. The occupancy card 20th is stationary (ie the cells do not move), but the section being viewed moves with the vehicle 10 . In order to keep the calculation effort low, the parts of the occupancy card 20th that are neither viewed by the sensors nor accessible by the machining tool are not taken into account. Ie there are only areas of the occupancy card 20th taken into account that can be detected by the sensors and reached by the machining tool. If the sprayer is therefore selected, the area to be viewed is the occupancy card 20th larger than when choosing the milling cutter. In this way, a processing load can be reduced.

Wie bereits oben erwähnt, weisen die Bearbeitungswerkzeuge eine unterschiedliche räumliche Genauigkeit auf. Es ist daher möglich, die Größe der Zellen der Belegungskarte 20 entsprechend anzupassen, so dass die Positionen der einzelnen zu bearbeitenden Pflanzen mit einer räumlichen Auflösung bestimmt werden, die der räumlichen Genauigkeit des Bearbeitungswerkzeugs entspricht. Auf diese Weise kann eine Verarbeitungslast weiter reduziert werden.As already mentioned above, the processing tools have different spatial accuracy. It is therefore possible to change the size of the cells on the occupancy map 20th adapt accordingly, so that the positions of the individual plants to be processed are determined with a spatial resolution that corresponds to the spatial accuracy of the processing tool. In this way, a processing load can be further reduced.

Nachdem die Belegungskarte 20 in S106 generiert wurde, kann die Position einer zu bearbeitenden Pflanze auf dem Feld in S108 bestimmt werden. Die Position einer zu bearbeitenden Pflanze auf einem Feld wird dabei in derjenigen Zelle bestimmt, die eine Wahrscheinlichkeit für eine zu bearbeitende Pflanze aufweist, die größer gleich einem Wahrscheinlichkeits-Schwellwert ist. Folglich kann eine möglicherweise unnötige bzw. fehlerhafte Bearbeitung vermieden werden. Falls die zu bearbeitende Pflanze ein Beikraut ist, kann darüber hinaus eine Bearbeitung an einer Position vermieden werden, die durch eine Zelle bestimmt wird, in der eine Nutzpflanze mit einer bestimmten Wahrscheinlichkeit vorhanden ist. Liegt die Wahrscheinlichkeit für eine zu bearbeitende Pflanze in einer Zelle über dem Wahrscheinlichkeits-Schwellwert, ist aber eine Nutzpflanze mit einer Wahrscheinlichkeit vorhanden, die größer als ein vorgegebener anderer Schwellwert ist, wird eine Bearbeitung der zu bearbeitenden Pflanze nicht durchgeführt. Auf diese Weise kann eine Zerstörung bzw. Schädigung einer Nutzpflanze verhindert werden, wohingegen ein Wachsen eines Beikrauts toleriert wird.After the occupancy card 20th was generated in S106, the position of a plant to be processed in the field can be determined in S108. The position of a plant to be processed in a field is determined in that cell which has a probability for a plant to be processed which is greater than or equal to a probability threshold value. As a result, possibly unnecessary or incorrect processing can be avoided. In addition, if the plant to be processed is a weed, it is possible to avoid processing at a position determined by a cell in which a crop is present with a certain probability. If the probability of a plant to be processed in a cell is above the probability threshold value, but if a useful plant is present with a probability that is greater than a predetermined other threshold value, the plant to be processed is not processed. In this way, destruction or damage to a useful plant can be prevented, whereas weeds growth is tolerated.

Andererseits ist es aber auch möglich, dass eine Bearbeitung unter allen Umständen für eine bestimmte Beikraut-Klasse auch für den Fall durchzuführen ist, dass eine Nutzpflanze zerstört wird. Dies ist beispielsweise bei schnell ausbreitenden Beikräutern erforderlich, um eine Wucherung auf dem Feld bestmöglich zu unterbinden. In diesem Fall muss die Wahrscheinlichkeit, dass eine Nutzpflanze in der Zelle vorhanden ist, einen vorgegebenen Schwellwert überschreiten und die Wahrscheinlichkeit, dass das auf jeden Fall zu bearbeitende Beikraut vorhanden ist, einen vorgegeben Schwellwert unterschreiten. Auf diese Weise kann die Bearbeitung der zu bearbeitenden Pflanzen auf dem Feld entsprechend den unterschiedlichen Anforderungen angepasst werden.On the other hand, however, it is also possible that processing is to be carried out under all circumstances for a specific class of weeds even in the event that a useful plant is destroyed. This is necessary for weeds that spread quickly, for example, in order to prevent overgrowth in the field as well as possible. In this case, the probability that a useful plant is present in the cell must exceed a predetermined threshold value and the probability that the weeds to be processed in any case must be present, fall below a predetermined threshold value. In this way, the processing of the plants to be processed in the field can be adapted to the different requirements.

Nachdem die Position der zu bearbeitenden Pflanze auf dem Feld in Schritt S108 unter Verwendung des erfindungsgemäßen neuronalen Netzes bestimmt ist, kann das ausgewählte Bearbeitungswerkzeug in Schritt S110 zur Position der Pflanze hingeführt werden und die entsprechende Bearbeitung kann für die einzelne Pflanze durchgeführt werden. Dabei kann ein mechanisches Werkzeug genau bis zur Position der Pflanze hingeführt werden oder der Sprayer kann zum Ausbringen des Pestizids, Pflanzenschutzmittels oder Düngers bis zu einem vorgegebenen Abstand an das Beikraut bzw. die Nutzpflanze herangeführt und auf diese gerichtet werden. Um eine exakte Steuerung der beweglichen Vorrichtung zu ermöglichen, ist es dabei ggf. erforderlich, die durch das Bild ermittelte Position der Pflanze in das Koordinatensystem der beweglichen Vorrichtung umzurechnen. Zudem ist eine Geschwindigkeit, mit der sich das Fahrzeug vorwärtsbewegt, beim Hinführen des Bearbeitungswerkzeuges zu berücksichtigen.After the position of the plant to be worked in the field in step S108 is determined using the neural network according to the invention, the selected processing tool in step S110 to the position of the plant and the corresponding processing can be carried out for the individual plant. A mechanical tool can be guided exactly to the position of the plant or the sprayer can be brought up to a predetermined distance to the weeds or the useful plant to apply the pesticide, plant protection agent or fertilizer and pointed at it. In order to enable an exact control of the movable device, it may be necessary to convert the position of the plant determined by the image into the coordinate system of the movable device. In addition, a speed at which the vehicle is moving forward must be taken into account when the machining tool is introduced.

Anschließend wird die Pflanze in Schritt S112 mit dem Bearbeitungswerkzeug bearbeitet. Die Pflanze wird dabei durch die Anwendung des mechanischen Werkzeugs entfernt, gehäckselt oder zerstört oder mit dem Pestizid, Pflanzenschutzmittel oder Dünger besprüht. Durch die mechanische Bearbeitung der Pflanzen bzw. das gezielte Ausbringen von chemischen Substanzen kann folglich die bei konventionellen Verfahren ausgebrachte Menge an chemischen Substanzen deutlich verringert werden, so dass Kosten und der Einfluss auf die Umwelt verringert werden.Then the plant is in step S112 edited with the editing tool. The plant is removed, chopped up or destroyed using the mechanical tool or sprayed with the pesticide, plant protection agent or fertilizer. As a result of the mechanical processing of the plants or the targeted application of chemical substances, the amount of chemical substances applied in conventional methods can consequently be significantly reduced, so that costs and the impact on the environment are reduced.

Nach Durchführung der Behandlung der Pflanzen auf dem Feld kann die Verteilung zwischen den Pflanzenklassen auf dem Feld als Diagnose ausgegeben werden, um den Anwender bei der weiteren Planung einer nachfolgenden Bearbeitung zu unterstützen. Dies kann durch eine einfache Berechnung eines Verhältnisses zwischen der Anzahl von als Beikraut klassifizierten Zellen zu der gesamten Anzahl an Zellen erfolgen. Es kann auch ein Nutzungsgrad des Feldes als ein Verhältnis zwischen den als Nutzpflanze klassifizierten Zellen zu der gesamten Anzahl an Zellen erfolgen. Darüber hinaus kann die gesamte Belegungskarte 20 verwendet werden, um Beikrautnester zu lokalisieren, so dass diese bei einer erneuten Bearbeitung gezielt bearbeitet werden können.After the treatment of the plants in the field has been carried out, the distribution between the plant classes in the field can be output as a diagnosis in order to support the user in the further planning of a subsequent treatment. This can be done by simply calculating a ratio between the number of cells classified as weeds to the total number of cells. A degree of utilization of the field can also take place as a ratio between the cells classified as useful plants to the total number of cells. In addition, the entire occupancy card can 20th can be used to localize weed nests so that they can be worked on in a targeted manner when working again.

Das erfindungsgemäße Vorgehen erlaubt es dem Anwender darüber hinaus, vorab Informationen für eine weitere Verbesserung des Behandlungsergebnisses bereitzustellen. Zum Beispiel ist bei gepflegten Feldern davon auszugehen, dass eine in der Region als verbreitete Beikrautart mit einer höheren Wahrscheinlichkeit auf dem Feld anzutreffen ist als eine weniger typische Beikrautart. In diesem Fall kann die Ebene, die die Wahrscheinlichkeit für dieses Beikrautart angibt, mit einem Faktor gewichtet werden.The procedure according to the invention also allows the user to provide information in advance for a further improvement of the treatment result. In the case of well-tended fields, for example, it can be assumed that a weed species that is widespread in the region is more likely to be found in the field than a less typical weed species. In this case, the level that indicates the probability of this type of weed can be weighted with a factor.

Durch eine vorab hinzugefügte Information über ein Feld (z.B. welche Beikrautarten häufig vorkommen, welche Unkrautarten nicht auf dem Feld wachsen (z.B. aufgrund von geologischen, klimatischen oder jahreszeitlichen Bedingungen) kann die Fusion zwischen den einzelnen Ebenen verbessert werden, indem einzelne Ebenen mit einem Faktor multipliziert werden. Ebenen können aber auch durch eine Multiplikation mit null unberücksichtigt bleiben.By adding information about a field in advance (e.g. which types of weeds occur frequently, which weed types do not grow on the field (e.g. due to geological, climatic or seasonal conditions), the fusion between the individual levels can be improved by multiplying individual levels by a factor Levels can also be ignored by multiplying them by zero.

Es können darüber hinaus weitere Informationen über den Anbau der Nutzpflanzen auf dem Feld berücksichtigt werden. Wenn der Verlauf von Pflanzenreihen, in den die Nutzpflanzen angebaut sind, oder die Positionen der einzelnen Nutzpflanzen, z.B. durch Reihenschätzung oder aufgrund einer Aufzeichnung einer Aussaatposition, bekannt ist, kann diese Information verwendet werden, um gezielt einzelne Zellen in der Nutzpflanzen-Ebene mit einem vorgegebenen Faktor zu multiplizieren. Zellen im Bereich einer Pflanzenreihe oder an einer Position, an der eine Nutzpflanze angesät bzw. ausgebracht wurde, können mit einem höheren Faktor gewichtet werden, wohingegen Zellen zwischen den Pflanzenreihen mit einem niedrigen Faktor oder sogar mit null multipliziert werden können. Auf diese Weise kann eine einfachere Lokalisierung von Nutzpflanzen und Beikräutern auf einem Feld ermöglicht werden.Further information about the cultivation of the crops in the field can also be taken into account. If the course of the plant rows in which the useful plants are grown or the positions of the individual useful plants is known, e.g. by row estimation or from a recording of a sowing position, this information can be used to selectively identify individual cells in the useful plant level with a to multiply the given factor. Cells in the area of a plant row or at a position at which a useful plant was sown or applied can be weighted with a higher factor, whereas cells between the plant rows can be multiplied by a lower factor or even by zero. In this way, easier localization of crops and weeds in a field can be made possible.

Das erfindungsgemäße Verfahren stellt folgende Vorteile bereit.The inventive method provides the following advantages.

Durch eine Verwendung der zellenbasierten Belegungskarte 20 von dem Feld wird eine robustere Schätzung des tatsächlichen Zustands auf dem Feld erreicht, aufgrund dessen eine zielgerichtete Bearbeitung ausgeführt werden kann (z.B. Entfernung von Unkraut und Schutz von Nutzpflanzen).By using the cell-based occupancy card 20th of the field, a more robust estimate of the actual state of the field is achieved, on the basis of which targeted cultivation can be carried out (e.g. removal of weeds and protection of crops).

Die zellenbasierte Belegungskarte 20 des Feldes ist zudem unabhängig von der Aufnahmegeschwindigkeit und Auflösung des verwendeten Bilderfassungsmittels und des Klassifikationsverfahrens. Ebenso können sowohl objektunabhängige (d.h. semantische Segmentierung) als auch objekt-basierte (klassische Objektdetektion) Verfahren für die Generierung der Belegungskarte 20 verwendet werden.The cell-based occupancy card 20th of the field is also independent of the recording speed and resolution of the image acquisition means used and the classification method. Likewise, both object-independent (ie semantic segmentation) and object-based (classic object detection) methods can be used for generating the occupancy card 20th be used.

Darüber hinaus ist die Belegungskarte 20 unabhängig von einzelnen Objekten, sondern wird unter Verwendung einer Bedeckung von Zellen generiert. Aus diesem Grund ist das erfindungsgemäße Verfahren sehr viel robuster gegenüber falschen Segmentierungen und falschen Klassifikationen.In addition, the occupancy card is 20th independent of individual objects, but is generated using a coverage of cells. For this reason, the method according to the invention is much more robust against incorrect segmentations and incorrect classifications.

Das vorgesehene Einsatzgebiet des erfindungsgemäßen Verfahrens bezieht sich auf autonome Feldroboter bzw. intelligente Anbaugeräte für die Bodenbearbeitung und Pflanzenschutz im Gemüse-, Garten- und Ackerbau. Grundsätzlich kann das oben beschriebene Verfahren aber für andere autonome Roboter angewendet werden.The intended area of application of the method according to the invention relates to autonomous field robots or intelligent attachments for soil cultivation and crop protection in vegetable, horticultural and arable farming. In principle, however, the method described above can be used for other autonomous robots.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte Nicht-PatentliteraturNon-patent literature cited

Long, J., Shelhamer, E., & Darrell, T. (2015). "Fully convolutional networks for semantic segmentation". In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 3431-3440) [0018]
Jegou, S., Drozdzal, M., Vazquez, D., Romero, A., & Bengio, Y. (2017). "The one hundred layers tiramisu: Fully convolutional densenets for semantic segmentation". In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops (pp. 11-19) [0018]

Claims

Method (100) for processing plants growing in a field by means of a processing tool, comprising the following steps: Detecting (S104) sensor values that are provided by one or more independent sensor elements; Calculating (S106) a respective probability of belonging to a class, which indicates that a cell is occupied by a plant to be processed, for each cell of an occupancy card (20) using the detected sensor values; Determining (S108) a respective position of the plant to be worked on the field using the occupancy card (20); Guiding (S110) the processing tool to the position of the plant; and Processing (S112) the plant with the processing tool.

Procedure according to Claim 1 , wherein the sensor values that are detected by the multiple independent sensor elements have a different temporal and / or spatial resolution.

Method according to one of the preceding claims, wherein only a section of the occupancy card (20) is considered which is recorded by the sensors and / or can be reached by the selected processing tool.

Method according to one of the preceding claims, wherein the machining tool has a specific spatial accuracy, and a size of the cells of the occupancy map (20) is determined according to the spatial accuracy of the processing tool.

Method according to one of the preceding claims, wherein a class membership probability of the cell to a respective plant class is stored in different levels, and the class membership probabilities from the different levels are merged in order to each determine a class membership for the individual cells of the occupancy card (20).

Method according to one of the preceding claims, wherein a cell is determined as the position of the plant to be processed if a class membership probability to the class of the plant to be processed is greater than or equal to a probability threshold value.

Method according to one of the Claims 1 to 6th , whereby the plant to be worked on is a weed.

Method according to one of the Claims 1 to 6th , whereby the plant to be processed is a useful plant.

Method according to one of the preceding claims, wherein the class membership probability of one of the levels is weighted with a factor.

Method according to one of the preceding claims, wherein the class membership probability for a useful plant in the area of an estimated row of plants and / or at a sowing position is weighted with a predetermined factor.

Control unit for controlling a cultivating tool for cultivating plants growing in a field, the control unit being set up to carry out the following steps: Receiving sensed sensor values provided by one or more independent sensor elements; Calculating a respective probability of belonging to a class, which indicates that a cell is occupied by a plant to be processed, for each cell of an occupancy card (20) using the detected sensor values; Determining a respective position of the plant to be worked on the field using the occupancy card (20); Outputting a control signal for controlling the processing tool in order to process the plant.

Agricultural working machine with a processing tool for processing plants growing in a field, and a control unit according to Claim 11 .