DE102019201632A1

DE102019201632A1 - Vorrichtung zur Routenplanung für eine Landmaschine basierend auf Sensordaten und Bildsegmentierung

Info

Publication number: DE102019201632A1
Application number: DE102019201632.4A
Authority: DE
Inventors: Zhihu Chen; Marcus Hiemer
Original assignee: ZF Friedrichshafen AG
Current assignee: ZF Friedrichshafen AG
Priority date: 2019-02-08
Filing date: 2019-02-08
Publication date: 2020-08-13
Also published as: WO2020160863A1

Abstract

Vorrichtung (10) zur assistierten Routenplanung für eine Landmaschine (50), umfassend eine Eingabeschnittstelle (12) zum Eingeben von Bilddaten betreffend eine von der Landmaschine (50) zu bearbeitende landwirtschaftliche Nutzfläche (60) sowie zum Eingeben von vordefinierten Karteninformationen der landwirtschaftlichen Nutzfläche (60), eine Aktualisierungseinheit (14) zum Aktualisieren der eingegebenen Karteninformationen basierend auf einer Segmentierung der eingegebenen Bilddaten, eine Routenplanungseinheit (16) zum Erstellen einer Fahrroute der Landmaschine (50) basierend auf den aktualisierten Karteninformationen und eine Ausgabeschnittstelle (18) zum Ausgeben der erstellten Fahrroute zur Steuerung der Landmaschine (50).

Description

Die vorliegende Erfindung betrifft eine Vorrichtung zur Routenplanung für eine Landmaschine nach Anspruch 1. Die Erfindung betrifft ferner die Verwendung einer solchen Vorrichtung in einer Landmaschine nach Anspruch 13. Außerdem betrifft die Erfindung ein Verfahren zur Routenplanung für eine Landmaschine nach Anspruch 14. Schließlich betrifft die Erfindung ein Computerprogrammprodukt nach Anspruch 15.
In landwirtschaftlichen Bereichen spielt die Bearbeitung von landwirtschaftlichen Nutzflächen eine zentrale Rolle. Beispielsweise müssen bei der Ernte von Gras und Getreide, aber auch von Feldfrüchten das Erntegut in einer bestimmten Form (etwa reihenförmig) abgelegt bzw. geschwadet werden. Für solche Zwecke werden Landmaschinen eingesetzt, die entlang einer bestimmten Fahrroute auf der landwirtschaftlichen Nutzfläche fahren und gleichzeitig Letztere landwirtschaftlich bearbeiten.
Es besteht ein steigender Bedarf, derartige landwirtschaftlichen Bearbeitungsvorgänge zumindest teilweise zu automatisieren. Hierdurch kann das Schwaden der landwirtschaftlichen Nutzfläche fahrerlos durchgeführt werden. Auf diese Weise kann einerseits die Effizienz dieser Vorgänge aufgrund der verlängerten Einsatzzeit der Landmaschinen, andererseits aber auch die Sicherheit dieser Vorgänge gesteigert werden.
Aus dem Stand der Technik sind Lösungen bekannt, landwirtschaftliche Bearbeitungsvorgänge autonom zu gestalten. So ist aus WO 2018/087546 ein roboterbasiertes Früchteerntesystem umfassend einen autonomen Roboter bekannt.
Allerdings sind die aus dem Stand der Technik bekannten Systeme in ihrem Automatisierungsgrad begrenzt, sodass viele Vorgänge weiterhin von Menschen beziehungsweise Fahrern der Landmaschinen durchgeführt werden müssen. Diese bekannten Systeme sind hinsichtlich der Effizienz und Sicherheit der landwirtschaftlichen Bearbeitungsvorgänge daher nachteilig.
Auch basieren die bekannten Systeme überwiegend auf dem Global Positioning System (GPS), was hinsichtlich der Lizenzgebühren zur Erlangung von Satellitendaten kostenspielig ist.
Aufgabe der vorliegenden Erfindung ist daher, die bekannten Systeme zur Bearbeitung von landwirtschaftlichen Nutzflächen dahingehend zu verbessern, um den Automatisierungsgrad der Bearbeitungsvorgänge bei gleichzeitiger Kostenreduzierung zu erhöhen.
Die Aufgabe wird gelöst durch eine Vorrichtung zur Routenplanung für eine Landmaschine mit den Merkmalen des Anspruchs 1. Ferner wird die Aufgabe gelöst durch die Verwendung einer solchen Vorrichtung in einer Landmaschine mit den Merkmalen des Anspruchs 13. Außerdem wird die Aufgabe gelöst durch ein Verfahren zur Routenplanung für eine Landmaschine mit den Merkmalen des Anspruchs 14. Schließlich wird die Aufgabe gelöst durch ein Computerprogrammprodukt mit den Merkmalen des Anspruchs 15.
Wenn die Landmaschine zur Bearbeitung der landwirtschaftlichen Nutzfläche eingesetzt wird, ist zwecks Sicherstellung der Bearbeitungsqualität die Fahrroute der Landmaschine zunächst zu bestimmen. Hierzu werden die vordefinierten Karteninformationen der zu bearbeitenden Nutzfläche über die Eingabeschnittstelle der Routenplanungsvorrichtung eingespeist. Bei den Karteninformationen handelt es sich um Informationen betreffend die geographischen Gegebenheiten und/oder landwirtschaftlichen Nutzungsdaten der zu bearbeitenden Nutzfläche wiedergeben.
Zusätzlich ist zumindest ein Sensor zur Erzeugung der einzugebenden Bilddaten vorgesehen. Der Sensor kann eine Kamera, ein Radarsensor, ein Light-Detectionand-Ranging-Sensor (Lidarsensor) und/oder ein Ultraschallsensor sein. Der Sensor kann beispielsweise an der Landmaschine angebracht sein um einen Nahbereich der Landmaschine zu erfassen. Alternativ kann es sich auch um ein von der Landmaschine separates, zentrales Sensorsystem zur Überwachung der zu bearbeitenden Landmaschine handeln. Die hierdurch erzeugten Bilddaten der zu bearbeitenden Nutzfläche beziehungsweise des Nahbereiches der Landmaschine werden ebenfalls über die Eingabeschnittstelle der Routenplanungsvorrichtung eingespeist.
Die Aktualisierungseinheit verarbeitet die eingegebenen Karteninformationen und Bilddaten um die Karteninformationen basierend auf einer Segmentierung der Bilddaten zu aktualisieren. Die Segmentierung ist vorzugsweise eine semantische Segmentierung. Die Segmentierung kann von einer in der Routenplanungsvorrichtung integrierten Segmentierungseinheit oder alternativ von einer externen Segmentierungseinheit durchgeführt werden. Dabei werden Pixel- und/oder Voxeldaten aus den Bilddaten klassifiziert, um unterschiedliche Bereiche in den Pixel- beziehungsweise Voxeldaten anhand von vordefinierten Klassifizierungskriterien zu erkennen und voneinander zu unterscheiden. Vorzugsweise findet hierbei eine Objekterkennung statt, um etwa diejenigen Flächen, auf denen sich das zu schwadende Erntegut befindet, von restlichen Flächen (beispielsweise bereits bearbeiteten oder leerstehenden Flächen) hervorzuheben.
Die Aktualisierungseinheit verwendet das Ergebnis der Segmentierung, um die vordefinierten Karteninformationen zu modifizieren/ergänzen. Vorzugsweise werden Informationen betreffend in den Bilddaten erkannte Objekte, die aus den vordefinierten Karteninformationen nicht hervorgehen, in die Karteninformationen aufgenommen. Hierbei werden die Lagedaten der Objekte von der Aktualisierungseinheit abgelesen, wobei die Objektinformationen entsprechend den abgelesenen Lagedaten in die Karteninformationen integriert werden.
Die Routenplanungseinheit verwendet die auf diese Weise aktualisierten Karteninformationen um eine Fahrroute für die Landmaschine zu erstellen. Hierbei werden die zuvor aus den vordefinierten Karteninformationen nicht hervorgehenden, jedoch vom Sensor erfassten Objekte mitberücksichtigt, um etwa eine Kollision mit einer Grenzbebauung und/oder einem anderen Fahrzeug auf der Nutzfläche zu vermeiden und/oder um die effizienteste Fahrroute zu identifizieren.
Die hierdurch erstellte Fahrroute wird von der Routenplanungseinheit an die Ausgabeschnittstelle weitergegeben und über diese an eine Steuereinheit ausgegeben, um die Landmaschine in ihrer Fahrbewegung entsprechend zu steuern.
Die erfindungsgemäße Routenplanung der Landmaschine basiert daher auf einer Aktualisierung von vordefinierten Karteninformationen der zu bearbeitenden landwirtschaftlichen Nutzfläche, wobei die Aktualisierung wiederum auf einer Bildsegmentierung der vom Sensor erzeugten Bilddaten beruht. Im Vergleich zu den aus dem Stand der Technik bekannten Systemen werden die aktuelle Lage der Nutzfläche hinsichtlich Nutzungssituation und geografischer Gegebenheiten besser berücksichtigt. Außerdem werden Sensoren wie Kamera eingesetzt, die einen Nahbereich der Landmaschine erfassen. Somit kann die Routenplanung mit erhöhter Genauigkeit und Zuverlässigkeit und zugleich reduzierten Kosten bewerkstelligt werden. Auch ist eine vollständige Automatisierung der Routenfindung, insbesondere eine autonome Führung der Landmaschine, hierdurch zu erreichen.
Vorteilhafte Ausgestaltungen und Weiterbildungen sind in den Unteransprüchen angegeben.
In einer bevorzugten Ausgestaltung enthalten die eingegebenen Karteninformationen eine vordefinierte Rasterkarte der landwirtschaftlichen Nutzfläche, wobei die Aktualisierungseinheit dazu ausgebildet ist, basierend auf der Segmentierung der eingegebenen Bilddaten die vordefinierte Rasterkarte zu aktualisieren.
Eine Rasterkarte (Englisch: „grid map“) ist eine zweidimensionale Karte, auf der eine Raster- oder Gitterform bestehend aus quadratischen Raster- beziehungsweise Gittereinheiten visuell „gelegt“ ist. Somit wird die zu bearbeitende Nutzfläche in Flächeneinheiten unterteilt, die den Raster- beziehungsweise Gittereinheiten entsprechen. Diese bildhafte Unterteilung der Nutzfläche erhöht die Komptabilität der Karteninformationen mit den Sensorbilddaten hinsichtlich der Visualisierung und somit für die Aktualisierung der Karteninformationen vorteilhaft.
In einer weiteren bevorzugten Ausgestaltung enthält die vordefinierte Rasterkarte mehrere Rastereinheiten, denen ein oder mehrere Attribute der landwirtschaftlichen Nutzfläche zugewiesen sind.
Das Attribut beziehungsweise die mehreren Attribute können die Lagedaten der jeweiligen Rastereinheiten in einem Bildkoordinatensystem des Sensors und/oder einem vom Sensor unabhängigen, globalen Weltkoordinatensystem umfassen. Alternativ oder zusätzlich können das Attribut beziehungsweise die mehreren Attribute die Nutzungssituation, insbesondere die Pflanzenbezeichnung, die Bezeichnung und/oder Menge der verwendeten chemischen/biologischen Stoffe, die Zusammensetzung der Erde der jeweiligen Rastereinheiten der Nutzfläche betreffen. Auch können das Attribut beziehungsweise die mehreren Attribute die auf dieser Rastereinheit der Nutzfläche bereits durchgeführten und/oder geplanten landwirtschaftlichen Bearbeitungsvorgänge betreffen. Diese Maßnahme verbessert die Automatisierung der Routenplanung.
In einer weiteren bevorzugten Ausgestaltung ist die Aktualisierungseinheit dazu ausgebildet, das Attribut beziehungsweise die Attribute und/oder eine Abmessung der mehreren Rastereinheiten basierend auf der Segmentierung der eingegebenen Bilddaten zu aktualisieren.
Hierdurch kann vermieden werden, dass der Routenplanung bereits abgelaufene Daten über die Nutzfläche zugrundgelegt werden und erhöht die Zuverlässigkeit der automatisierten Routenplanung. Zugleich sind die Rastereinheiten in ihrer Abmessung je nach gewünschtem Auflösungsgrad der Rasterkarte variabel.
In einer weiteren bevorzugten Ausgestaltung ist die Aktualisierungseinheit dazu ausgebildet, die Karteninformationen nach einer Eingabe von neuen Bilddaten und/oder nach Zurücklegen eines neuen Fahrroutenabschnittes zu aktualisieren.
Somit reagiert die Routenplanungsvorrichtung automatisch auf neue Bilddaten und/oder neu zurückgelegte Fahrroutenabschnitte um stets zuverlässige Fahrrouten zu ermitteln. Vorzugsweise ist die Aktualisierungseinheit dazu ausgebildet, innerhalb einer vordefinierten Dauer nach der Eingabe der neuen Bilddaten zu aktualisieren. Weiter vorzugsweise werden die Karteninformationen aktualisiert solange sich die Landmaschine fortbewegt.
In einer weiteren bevorzugten Ausgestaltung umfasst die Vorrichtung weiter eine Aufgabenerstellungseinheit zum Erstellen einer oder mehrerer Aufgaben betreffend die Bearbeitung der landwirtschaftlichen Nutzfläche basierend auf den aktualisierten Karteninformationen.
Beispielsweise kann die Aufgabenerstellungseinheit derart ausgebildet, um den mehreren Rastereinheiten jeweils eine oder mehrere landwirtschaftliche Aufgaben zuzuordnen. Die Zuordnung basiert vorzugsweise auf der Aktualisierung der Karteninformationen, insbesondere der Attribute der Rastereinheiten. Beispielsweise kann vor der Aktualisierung das Attribut einer Rastereinheit die Aufgabe „Gras mähen“ lauten. Für den Fall, dass das Gras vor der Erfassung der dieser Rastereinheit entsprechenden Flächeneinheit der Nutzfläche bereits gemäht wurde, wird durch die Aktualisierungseinheit die Karteninformationen bzw. die Rasterkarte entsprechend aktualisiert. Auf diese Weise wird als aktualisiertes Attribut eine neue Aufgabe erstellt, die beispielsweise „Samen streuen“ oder „weiter fahren“ lautet. Mit dieser Maßnahme können die zu vergebenden Aufgaben auf die aktuelle Gegebenheit der Nutzfläche angepasst werden. Die Bewirtschaftung der Nutzfläche mittels der Landmaschine ist daher zuverlässiger. Vorzugsweise ist die Aufgabenerstellungseinheit dazu ausgebildet, beim Fahrtrichtungswechsel der Landmaschine zumindest einer der Rastereinheiten eine neue Aufgabe zuzuordnen.
In einer weiteren bevorzugten Ausgestaltung ist die Routenplanungseinheit dazu ausgebildet ist, eine von der Landmaschine auf der landwirtschaftlichen Nutzfläche zurückgelegte oder geplante Strecke in der erstellten Fahrroute zu berücksichtigen.
Somit ist es möglich, die bereits befahrene Route zu registrieren um gegebenenfalls diese wieder abzurufen. Zugleich ist aufgrund der aktualisierten Karteninformationen eine noch zu befahrende Route erstellbar, sodass die Landmaschine selbständig beziehungsweise autonom ihren Fahrauftrag auf der Nutzfläche ausführt.
In einer weiteren bevorzugten Ausgestaltung umfasst die Vorrichtung ferner eine Lokalisierungseinheit zum Lokalisieren der Landmaschine basierend auf der Segmentierung der eingegebenen Bilddaten.
Die Lokalisierungseinheit kann beispielsweise den vom Sensor erfassten Bildinhalt, der mit Hilfe der Segmentierung und der damit einhergehenden Objektklassifizierung analysierbar ist, mit den vordefinierten Karteninformationen vergleichen und darauf basierend die Rastereinheit der Nutzfläche, in der sich die Landmaschine gerade befindet, feststellen. Dies erhöht die Genauigkeit der Lokalisierung der Landmaschine.
In einer weiteren bevorzugten Ausgestaltung umfasst die Vorrichtung ferner eine Segmentierungseinheit zum Segmentieren der eingegebenen Bilddaten.
Auf diese Weise ist die erfindungsgemäße Routenplanungsvorrichtung in der Lage, selbständig die Segmentierung der eingegebenen Bilddaten durchzuführen, was die Routenplanung effizienter werden lässt.
In einer weiteren bevorzugten Ausgestaltung ist die Segmentierungseinheit dazu ausgebildet, in den eingegebenen Bilddaten ein auf der landwirtschaftlichen Nutzfläche befindliches Fahrzeug, insbesondere eine zusätzliche Landmaschine, und/oder einer Grenzlinie der landwirtschaftlichen Nutzfläche zu erkennen.
Durch die Erkennung des anderen Fahrzeugs beziehungsweise der anderen Landmaschine kann beim Erstellen der Fahrroute das Fahrzeug beziehungsweise die Landmaschine berücksichtigt werden, um eine Kollision zu vermeiden. Durch die Erkennung der Grenzlinie der Nutzfläche kann die Fahrroute derart erstellt werden, dass diese zumindest teilweise entlang der erkannten Grenzlinie verläuft. Dies ergibt eine zuverlässige Routenplanung.
In einer weiteren bevorzugten Ausgestaltung ist die Routenplanungseinheit dazu ausgebildet ist, einen vordefinierten minimalen Abstand zwischen der Landmaschine und einer durch die Segmentierung der Bilddaten erkannten Grenzlinie der landwirtschaftlichen Nutzfläche in der erstellten Fahrroute zu berücksichtigen.
Diese Maßnahme führt vorteilhafterweise dazu, dass der vordefinierte minimale Abstand von der Grenzlinie durch die Landmaschine beim Fahren entlang der erstellten Fahrroute eingehalten wird. Etwaige Kollisionen mit Gegenständen außerhalb der Grenzlinie können reduziert oder gar vermieden werden. Auf diese Weise ist die Sicherheit des landwirtschaftlichen Bearbeitungsvorgangs erhöht. Auch steigert diese Maßnahme die Genauigkeit der Lokalisierung der Landmaschine in der longitudinalen Richtung (entlang der Fahrroute) und/oder lateralen Richtung (quer zur Fahrroute).
In einer weiteren bevorzugten Ausgestaltung umfasst die Vorrichtung zumindest einen Sensor zum Erzeugen der einzugebenden Bilddaten.
Auf diese Weise ist der Sensor in der erfindungsgemäßen Routenplanungsvorrichtung integriert, sodass ein externer Sensor zur Erzeugung der Bilddaten entbehrlich ist. Dies erhöht die Einfachheit der Routenplanung.
Das erfindungsgemäße Computerprogrammprodukt ist ausgeführt, in einen Speicher eines Computers geladen zu werden und umfasst Softwarecodeabschnitte, mit denen die Verfahrensschritte des erfindungsgemäßen Verfahrens zur Routenplanung für eine Landmaschine ausgeführt werden, wenn das Computerprogrammprodukt auf dem Computer läuft.
Ein Programm gehört zur Software eines Daten verarbeitenden Systems, zum Beispiel einer Auswerteeinrichtung oder einem Computer. Software ist ein Sammelbegriff für Programme und zugehörigen Daten. Das Komplement zu Software ist Hardware. Hardware bezeichnet die mechanische und elektronische Ausrichtung eines Daten verarbeitenden Systems. Ein Computer ist eine Auswerteeinrichtung.
Computerprogrammprodukte umfassen in der Regel eine Folge von Befehlen, durch die die Hardware bei geladenem Programm veranlasst wird, ein bestimmtes Verfahren durchzuführen, das zu einem bestimmten Ergebnis führt. Wenn das betreffende Programm auf einem Computer zum Einsatz kommt, ruft das Computerprogrammprodukt einen technischen Effekt hervor, nämlich die bekannten Systeme zur Bearbeitung von landwirtschaftlichen Nutzflächen dahingehend zu verbessern, um den Automatisierungsgrad der Bearbeitungsvorgänge bei gleichzeitiger Kostenreduzierung zu erhöhen.
Das erfindungsgemäße Computerprogrammprodukt ist Plattform unabhängig. Das heißt, es kann auf jeder beliebigen Rechenplattform ausgeführt werden. Bevorzugt wird das Computerprogrammprodukt auf einer erfindungsgemäßen Vorrichtung zur Routenplanung für eine Landmaschine ausgeführt.
Die Softwarecodeabschnitte sind in einer beliebigen Programmiersprache geschrieben, zum Beispiel in Python.
Die Erfindung wird in den Figuren beispielhaft erläutert. Es zeigen:

1 eine schematische Darstellung einer erfindungsgemäßen Vorrichtung zur Routenplanung für eine Landmaschine gemäß einem Ausführungsbeispiel;
2 eine schematische Darstellung eines erfindungsgemäßen Verfahrens zur Routenplanung für eine Landmaschine gemäß einem Ausführungsbeispiel;
3 eine schematische Darstellung der erfindungsgemäßen Routenplanung;
4 eine weitere schematische Darstellung der erfindungsgemäßen Routenplanung;
5 eine weitere schematische Darstellung der erfindungsgemäßen Routenplanung;
6 eine weitere schematische Darstellung der erfindungsgemäßen Routenplanung;
7 eine weitere schematische Darstellung der erfindungsgemäßen Routenplanung;
8 eine weitere schematische Darstellung der erfindungsgemäßen Routenplanung;
9 eine weitere schematische Darstellung der erfindungsgemäßen Routenplanung; und
10 eine weitere schematische Darstellung der erfindungsgemäßen Routenplanung.

1 zeigt eine schematische Darstellung einer erfindungsgemäßen Vorrichtung 10 zur Routenplanung für eine Landmaschine gemäß einem Ausführungsbeispiel.
Die Vorrichtung 10 umfasst eine Eingabeschnittstelle 12a zum Eingeben von Bilddaten, die von einem Sensor 22 erzeugt worden sind. Die Bilddaten betreffen eine von einer Landmaschine 50 (in 1 nicht gezeigt) zu bearbeitende landwirtschaftliche Nutzfläche 60 (in 1 nicht gezeigt). Eine weitere Eingabeschnittstelle 12b dient zum Eingeben von vordefinierten Karteninformationen der landwirtschaftlichen Nutzfläche 60. Die Karteninformationen umfassen vorzugsweise eine Rasterkarte mit mehreren Rastereinheiten, wobei jeder der Rastereinheiten weiter vorzugsweise ein Attribut oder mehrere Attribute zugeordnet sind. Die Attribute können Informationen wie Gegebenheiten des der zugehörigen Rastereinheit entsprechenden Teils der Nutzfläche hinsichtlich der geografischen Beschaffenheit, der Nutzungssituation, insbesondere die Pflanzenbezeichnung, die Bezeichnung und/oder Menge der verwendeten chemischen/biologischen Stoffe, die Zusammensetzung der Erde der jeweiligen Rastereinheiten der Nutzfläche betreffen.
Die Vorrichtung 10 umfasst ferner eine Aktualisierungseinheit 14 zum Aktualisieren der eingegebenen Karteninformationen basierend auf einer Segmentierung der eingegebenen Bilddaten. Die Segmentierung kann von einer in 1 nicht gezeigten, in der Vorrichtung 10 integrierten Segmentierungseinheit durchgeführt werden. Alternativ können Segmentierungsergebnisse von einer externen Einheit, etwa einem Cloud-Server oder einem Speichermedium, erlangt werden. Die Segmentierung ist vorzugsweise eine semantische Segmentierung.
Die Vorrichtung 10 umfasst außerdem eine Routenplanungseinheit 16 zum Erstellen einer Fahrroute der Landmaschine 50 basierend auf den aktualisierten Karteninformationen. Die Routenplanungseinheit 16 vergleicht beispielsweise die vordefinierten Karteninformationen mit den segmentierten Bilddaten, um eine Abweichung zwischen beiden Datensätzen zu identifizieren. Die Routenplanungseinheit 16 ergänzt die vordefinierten Karteninformationen mit zusätzlichen Informationen aus den segmentierten Bilddaten. Vorzugsweise werden hierdurch die Rastereinheiten der Rasterkarte, insbesondere die Attribute der Rastereinheiten zumindest teilweise aktualisiert. Anhand der hierdurch aktualisierten Karteninformationen, insbesondere der aktualisierten Rasterkarte, wird die Fahrroute erstellt.
Die Vorrichtung 10 umfasst schließlich eine Ausgabeschnittstelle 18 zum Ausgeben der erstellten Fahrroute zur Steuerung der Landmaschine 50. Die Landmaschine 50 ist somit in der Lage, die erstellte Fahrroute auszuführen.
2 zeigt eine schematische Darstellung eines erfindungsgemäßen Verfahrens zur Routenplanung für eine Landmaschine gemäß einem Ausführungsbeispiel. In einem ersten Schritt S1 werden Bilddaten betreffend eine von der Landmaschine 50 zu bearbeitende landwirtschaftliche Nutzfläche 60 sowie vordefinierte Karteninformationen der landwirtschaftlichen Nutzfläche 60 eingegeben. In einem zweiten Schritt S2 werden die eingegebenen Karteninformationen basierend auf einer Segmentierung der eingegebenen Bilddaten aktualisiert. In einem dritten Schritt S3 wird eine Fahrroute der Landmaschine 50 basierend auf den aktualisierten Karteninformationen erstellt. In einem vierten Schritt S4 wird die erstellte Fahrroute zur Steuerung der Landmaschine 50 ausgegeben.
In den Figuren beziehen sich gleiche Bezugszeichen auf gleiche oder funktionsähnliche Bezugsteile. In den einzelnen Figuren sind die jeweils relevanten Bezugsteile gekennzeichnet.
3 zeigt eine schematische Darstellung einer landwirtschaftlichen Nutzfläche 60, wobei die schematische Darstellung mit einer Rasterkarte versehen ist. Die Rasterkarte weist eine Mehrzahl von quadratischen Rastereinheiten auf, die über die gesamte Nutzfläche 60 verteilt sind. Darüber hinaus erstrecken sich die Rastereinheiten auch über einen die Nutzfläche 60 umschließenden Randbereich. Die Landmaschine 50 befindet sich in dieser Darstellung auf der ersten Rastereinheit rechts unten der Nutzfläche 60. Die Rasterkarte bildet zumindest einen Teil der Karteninformationen, die die erfindungsgemäße Vorrichtung 10 über ihre Eingabeschnittstelle 12 erhält. Die Vorrichtung 10 ist vorzugsweise in der Landmaschine 50 integriert.
Mit Hilfe eines in 1 nicht eingezeichneten, vorzugsweise in der Landmaschine 50 integrierten Umfeldsensors 20 werden Bilddaten betreffend einen Nahbereich auf der Nutzfläche 50 in unmittelbarer Nähe der Landmaschine 50 erzeugt. Diese Bilddaten werden dazu verwendet, die vordefinierte Rasterkarte zu aktualisieren. Anhand der aktualisierten Rasterkarten wird eine Fahrroute für die Landmaschine 50 erstellt.
Vorzugsweise sind ein oder mehrere Attribute den einzelnen Rastereinheiten zugeordnet. Das Attribut beziehungsweise die mehreren Attribute können die Lagedaten der jeweiligen Rastereinheiten in einem Bildkoordinatensystem des Sensors 20 und/oder einem vom Sensor unabhängigen, globalen Weltkoordinatensystem umfassen. Alternativ oder zusätzlich können das Attribut beziehungsweise die mehreren Attribute die Nutzungssituation, insbesondere die Pflanzenbezeichnung, die Bezeichnung und/oder Menge der verwendeten chemischen/biologischen Stoffe, die Zusammensetzung der Erde der jeweiligen Rastereinheiten der Nutzfläche betreffen. Auch können das Attribut beziehungsweise die mehreren Attribute die auf dieser Rastereinheit der Nutzfläche bereits durchgeführten und/oder geplanten landwirtschaftlichen Bearbeitungsvorgänge betreffen. Diese Bearbeitungsvorgänge können beispielsweise „das Gras mähen“, „die Samen streuen“ und/oder „weiterfahren“ lauten.
Die Bilddaten werden segmentiert, um auf der Nutzfläche, insbesondere etwaige im vom Sensor 20 erfassten Nahbereich der Nutzfläche 60 befindliche Objekte, etwa andere Fahrzeuge, Menschen, Bebauungen, Bepflanzungen, zu erkennen. In 3 ist eine Grenzlinie 62 ersichtlich, die eine rechte Kante der Nutzfläche 60 markiert. Diese Grenzlinie 62 wird mittels Segmentierung, insbesondere einer semantischen Segmentierung, der vom Sensor 20 erzeugten Bilddaten erkannt. Die Routenplanungseinheit 16 der erfindungsgemäßen Vorrichtung 10 ist vorzugsweise dazu ausgebildet, die Fahrroute derart zu erstellen, dass die Landmaschine 50 entlang der Grenzlinie 62 sich fortbewegt. Eine hierdurch erstellte Fahrroute 62' ist ebenfalls in 3 gezeigt.
4 zeigt eine weitere schematische Darstellung der Nutzfläche 60. Dort befindet sich die Landmaschine 50 auf der aus 3 zu entnehmenden und in 4 teilweise eingezeichneten Fahrroute 62'. Der von der Landmaschine 50 zurückgelegte Abschnitt 51 der Fahrroute 62' ist ebenfalls eingezeichnet.
5 zeigt eine weitere schematische Darstellung der Nutzfläche 60. 5 zeigt konkret ein Zwischenergebnis der landwirtschaftlichen Bearbeitung der Nutzfläche 60 durch die Landmaschine 50 mit Hilfe der erfindungsgemäßen Vorrichtung 10. Insbesondere ist eine Trennung zwischen einem bearbeiteten Teil 68 und einem noch zu bearbeitenden Teil 66 gezeigt.
In 5 befindet sich die Landmaschine 50 an einem Ende des von der Landmaschine 50 zurückgelegten Abschnittes 51 der Fahrroute 62', die entlang einer weiteren Grenzlinie 62 verläuft. In einer zur Grenzlinie 62 im Wesentlichen senkrechten Richtung ist eine weitere Grenzlinie 64 mittels der Segmentierung der sensorbasierten Bilddaten erkannt. Anhand der weiteren Grenzlinie 64 wird die Fahrroute 62' derart erstellt, dass diese eine an den Verlauf der beiden Grenzlinien 62, 64 angepasste Kurve enthält. Somit ist die erfindungsgemäße Vorrichtung 10 im Allgemeinen, insbesondere unabhängig von in 5 gezeigten konkreten Nutzfläche 60, dazu ausgebildet, die Fahrroute derart zu erstellen, dass diese an die mittels der Segmentierung der Bilddaten erkannten Objekte angepasst ist.
6 zeigt eine weitere Funktion der erfindungsgemäßen Vorrichtung 10, nämlich die Optimierung der erstellten Fahrroute. Anhand der Segmentierung der sensorbasierten Bilddaten erkennt die Vorrichtung 10 vier potentielle Fahrrouten 52, 54, 56, 58 zur Fortsetzung der bereits zurückgelegten Fahrroute 51 für die weitere Bearbeitung der Nutzfläche 60. Jede dieser vier potentiellen Fahrroute 52, 54, 56, 58 schließt an einen geraden Abschnitt 53, 55, 57, 59 an, der entlang einer Reihe der Rastereinheiten verläuft. Aus diesen vier potentiellen Fahrrouten 52, 54, 56, 58 wird anhand einer Kostenfunktionsberechnung, bei der beispielsweise die für das Befahren der Fahrroute benötigte Zeit, die Streckenlänge oder der Kraftstoffverbrauch minimiert wird, die günstigste Fahrroute identifiziert. Die identifizierte Fahrroute wird an die Steuerungseinheit 32 der Landmaschine 50 ausgegeben, damit diese den entsprechenden Fahrauftrag ausführt.
7 zeigt eine weitere schematische Darstellung der Nutzfläche 60. Insbesondere ist die Routenplanungseinheit 16 dazu ausgebildet, beim Erstellen der Fahrroute ein weiteres Fahrzeug 61, welches sich auf der Nutzfläche befindet, zu berücksichtigen. Dies dient dazu, eine Kollision mit dem weiteren Fahrzeug 61 zu vermeiden.
8 zeigt eine weitere schematische Darstellung der Nutzfläche 60. Eine weitere Grenzlinie 67, die beim Fahren auf der Nutzfläche 60, insbesondere im zu bearbeitenden Teil 66 der Nutzfläche 60 erkannt worden ist, ist hier gezeigt. Die erfindungsgemäße Vorrichtung 10 ist somit in der Lage, die Karteninformationen zu aktualisieren, solange sich die Landmaschine 50 auf der Nutzfläche 60 fortbewegt und neue Bilddaten vom Sensor erzeugt und der Vorrichtung 10 eingespeist werden.
9 zeigt eine weitere schematische Darstellung der Nutzfläche 60. Die dort beispielhaft gezeigte Fahrroute 51 hat einen schlangenförmigen Verlauf, aufgrund dessen der zu bearbeitende Teil 66 der Nutzfläche 60 in mehrere Teile 66a, 66b, 66c, 66d aufgeteilt ist. Auch hier ist die erfindungsgemäße Vorrichtung 10 in der Lage, mehrere potentiellen Fahrrouten 69, 71, 73 zu berechnen und die beste Fahrroute hiervon, wie oben beschrieben, auszuwählen und ein entsprechendes Steuersignal zu erzeugen, welches an die Steuerungseinheit der Landmaschine 50 ausgegeben wird.
10 zeigt drei weitere schematische Darstellungen der Nutzfläche. In 10A bewegt sich eine erste Landmaschine 50a entlang einer ersten Fahrroute 51a und führt die Aufgabe „das Gras mähen“ aus. Dadurch entsteht eine gemähte Feldoberfläche 72a. In 10B führt eine zweite Landmaschine 50b die Aufgabe „das gemähte Gras schwaden“ entlang einer zweiten Fahrroute 51b aus. Dadurch entstehen eine Mehrzahl von Schwaden 72b. In 10C führt eine dritte Landmaschine 50c die Aufgabe „die Schwaden einsammeln“ entlang einer dritten Fahrroute 50c aus.
Die Festlegung der Aufgaben erfolgt, wie oben beschrieben, vorzugsweise dadurch, dass den einzelnen relevanten Rastereinheiten der Rasterkarte aktualisiert werden. Insbesondere werden anhand der Segmentierung der vom Sensor 20 erzeugten Bilddaten die den einzelnen Rastereinheiten gemäß der vordefinierten Karteninformationen zugeordneten Attribute aktualisiert. Alternativ oder zusätzlich können auch neue Attribute auf Basis der Bildsegmentierung den Rastereinheiten neu zugeordnet werden. Die Attribute können beispielsweise eine oder mehrere Aufgaben, die auf dem den jeweiligen Rastereinheiten zugehörigen Teilen der Nutzfläche 60 von der Landmaschine durchzuführen sind, betreffen.
Bezugszeichenliste

10: Routenplanungsvorrichtung
12, 12a, 12b: Eingabeschnittstelle
14: Aktualisierungseinheit
16: Routenplanungseinheit
18: Ausgabeschnittstelle
22: Sensor
32: Steuerungseinheit einer Landmaschine
50, 50a, 50b, 50c: Landmaschine
51, 52, 53, 54, 55, 56, 57, 58, 59, 62', 69, 71, 73: Fahrroute
60: Nutzfläche
62, 64: Grenzlinie
66, 66a, 66b, 66c: zu bearbeitender Teil der Nutzfläche
68: bearbeiteter Teil der Nutzfläche
72a1: gemähtes Gras
72b: Schwaden
S1 bis S4: Verfahrensschritte

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

WO 2018/087546 [0004]

Claims

Vorrichtung (10) zur Routenplanung für eine Landmaschine (50), umfassend: - eine Eingabeschnittstelle (12) zum Eingeben von Bilddaten betreffend eine von der Landmaschine (50) zu bearbeitende landwirtschaftliche Nutzfläche (60) sowie zum Eingeben von vordefinierten Karteninformationen der landwirtschaftlichen Nutzfläche (60); - eine Aktualisierungseinheit (14) zum Aktualisieren der eingegebenen Karteninformationen basierend auf einer Segmentierung der eingegebenen Bilddaten; - eine Routenplanungseinheit (16) zum Erstellen einer Fahrroute der Landmaschine (50) basierend auf den aktualisierten Karteninformationen; und - eine Ausgabeschnittstelle (18) zum Ausgeben der erstellten Fahrroute zur Steuerung der Landmaschine (50).
Vorrichtung (10) nach Anspruch 1, wobei die eingegebenen Karteninformationen eine vordefinierte Rasterkarte der landwirtschaftlichen Nutzfläche (60) enthalten, wobei die Aktualisierungseinheit (14) dazu ausgebildet ist, basierend auf der Segmentierung der eingegebenen Bilddaten die vordefinierte Rasterkarte zu aktualisieren.
Vorrichtung (10) nach Anspruch 2, wobei die vordefinierte Rasterkarte mehrere Rastereinheiten enthält, denen ein oder mehrere Attribute der landwirtschaftlichen Nutzfläche zugewiesen sind.
Vorrichtung (10) nach Anspruch 3, wobei die Aktualisierungseinheit (14) dazu ausgebildet ist, das Attribut beziehungsweise die Attribute und/oder eine Abmessung der mehreren Rastereinheiten basierend auf der Segmentierung der eingegebenen Bilddaten zu aktualisieren.
Vorrichtung (10) nach einem der Ansprüche 1 bis 4, wobei die Aktualisierungseinheit (14) dazu ausgebildet ist, die Karteninformationen nach einer Eingabe von neuen Bilddaten und/oder nach Zurücklegen eines neuen Fahrroutenabschnittes zu aktualisieren.
Vorrichtung (10) nach einem der Ansprüche 1 bis 5, weiter umfassend eine Aufgabenerstellungseinheit zum Erstellen einer oder mehrerer Aufgaben betreffend die Bearbeitung der landwirtschaftlichen Nutzfläche (60) basierend auf den aktualisierten Karteninformationen.
Vorrichtung (10) nach einem der Ansprüche 1 bis 6, wobei die Routenplanungseinheit (16) dazu ausgebildet ist, die Fahrroute für eine von der Landmaschine (50) auf der landwirtschaftlichen Nutzfläche (60) zurückgelegte Strecke und/oder für eine von der Landmaschine (50) auf der landwirtschaftlichen Nutzfläche (60) noch zu befahrende Strecke zu erstellen.
Vorrichtung (10) nach einem der Ansprüche 1 bis 7, weiter umfassend eine Lokalisierungseinheit (15) zum Lokalisieren der Landmaschine (50) basierend auf der Segmentierung der eingegebenen Bilddaten.
Vorrichtung (10) nach einem der Ansprüche 1 bis 8, weiter umfassend eine Segmentierungseinheit zum Segmentieren der eingegebenen Bilddaten.
Vorrichtung (10) nach Anspruch 9, wobei die Segmentierungseinheit dazu ausgebildet ist, in den eingegebenen Bilddaten ein auf der landwirtschaftlichen Nutzfläche (60) befindliches Fahrzeug, insbesondere eine zusätzliche Landmaschine, und/oder einer Grenzlinie (62) der landwirtschaftlichen Nutzfläche (60) zu erkennen.
Vorrichtung (10) nach einem der Ansprüche 1 bis 10, wobei die Routenplanungseinheit (16) dazu ausgebildet ist, einen vordefinierten minimalen Abstand zwischen der Landmaschine (50) und einer durch die Segmentierung der Bilddaten erkannten Grenzlinie (62) der landwirtschaftlichen Nutzfläche (60) in der erstellten Fahrroute zu berücksichtigen.
Vorrichtung (10) nach einem der Ansprüche 1 bis 11, weiter umfassend zumindest einen Sensor (22) zum Erzeugen der einzugebenden Bilddaten.
Verwendung einer Vorrichtung (10) nach einem der Ansprüche 1 bis 12 in einer Landmaschine (50).
Verfahren zur Routenplanung für eine Landmaschine (50), umfassend: - einen ersten Schritt (S1), in dem Bilddaten betreffend eine von der Landmaschine (50) zu bearbeitende landwirtschaftliche Nutzfläche (60) sowie vordefinierte Karteninformationen der landwirtschaftlichen Nutzfläche (60) eingegeben werden; - einen zweiten Schritt (S2), in dem die eingegebenen Karteninformationen basierend auf einer Segmentierung der eingegebenen Bilddaten aktualisiert werden; - einen dritten Schritt (S3), in dem eine Fahrroute der Landmaschine (50) basierend auf den aktualisierten Karteninformationen erstellt wird; und - einen vierten Schritt (S4), in dem die erstellte Fahrroute zur Steuerung der Landmaschine (50) ausgegeben wird.
Computer-Programm-Produkt, das in einem Datenträger gespeichert und dazu ausgebildet ist, um das Verfahren nach Anspruch 14 durchzuführen, wenn das Computer-Programm-Produkt durch einen Rechner ausgeführt wird.