-
TECHNISCHES GEBIET
-
Die vorliegende Erfindung betrifft das Gebiet der autonom beziehungsweise teilautonom fahrenden Landmaschinen. Insbesondere betrifft die vorliegende Erfindung eine Vorrichtung, ein Verfahren, ein Computer-Programm-Produkt, ein computerlesbares Speichermedium sowie ein Datenträgersignal zur Steuerung einer solchen Landmaschine.
-
TECHNISCHER HINTERGRUND
-
Bei der Bearbeitung von landwirtschaftlichen Nutzflächen wie Feldern ist es besonders wichtig, dass sich das dafür verwendete Mittel, insbesondere eine Landmaschine, für einen bestimmten Bearbeitungsvorgang nur innerhalb eines vordefinierten Arbeitsgebietes bewegt. Eine ungewollte Grenzüberschreitung der Landmaschine kann dazu führen, dass Ernten beschädigt werden oder es zur Kollision mit anderen Landmaschinen mit fatalen Folgen kommt. Auch dient die Begrenzung einer zu bearbeitenden landwirtschaftlichen Nutzfläche der Effizienz, da fehlerhafte Fahrtroute, die zur Energie- und Zeitverschwendung geführt hätten, hierdurch vermieden werden können.
-
In diesem Zusammenhang sind verschiedene Systeme zur sensorbasierten Bewegungssteuerung von Landmaschinen aus dem Stand der Technik bekannt. Beispielsweise offenbart
DE 10 2012 201 333 A1 eine landwirtschaftliche Maschine, die mit einem System zur selbsttätigen Einstellung eines Bearbeitungsparameters versehen ist. Die Maschine umfasst eine elektronische Steuereinrichtung, die betreibbar ist, um aus Sensorsignalen abzuleiten, in welcher topografischen Zone aus einer Anzahl an topografischen Zonen eines Feldes sich die landwirtschaftliche Maschine jeweils befindet. Hierauf basierend wird ein Aktor der Maschine in Abhängigkeit von der jeweiligen topografischen Zone angesteuert.
-
Jedoch haben diese aus dem Stand der Technik bekannten Systeme den Nachteil, dass die Erfassung der Objekte auf der Nutzfläche nicht hinreichend genau und störungsfrei funktioniert. Beispielsweise können Grenzlinien zwischen verschiedenen Feldstücken aufgrund Nachlass der Reflektivität des die Grenzlinien markierenden Materials nach einer gewissen Einsatzzeit unzureichend erkannt werden, was zu fehlerhafter Steuerung der Landmaschine führen kann. Sensoren mit höherem Auflösungsvermögen, die diese Störung umgehen können, sind allerdings meistens sehr kostspielig.
-
Der vorliegenden Erfindung liegt daher die Aufgabe zugrunde, die landwirtschaftliche Bearbeitung der Nutzflächen mit erhöhter Genauigkeit bei gleichzeitig zumindest gleichbleibendem Aufwand durchzuführen.
-
Die Aufgabe wird gelöst durch eine Vorrichtung, ein Verfahren, ein Computer-Programm-Produkt, ein computerlesbares Speichermedium sowie ein Datenträgersignal gemäß den unabhängigen Ansprüchen.
-
Die Landmaschine kann als einteiliges Fahrzeug oder Gelenkfahrzeug ausgebildet sein. Sie kann einen Schwader, eine Heumaschine, einen Mähdrescher oder ein anderes in der Landwirtschaft einsetzbares Fahrzeug umfassen. Die Landmaschine ist ein autonom oder teilautonom fahrendes Fahrzeug. Dies bedeutet, dass die Landmaschine ganz (beim vollautnom fahrenden Fahrzeug) bzw. teilweise (beim teilautonom fahrenden Fahrzeug) ohne Einfluss eines menschlichen Fahrers agieren kann.
-
Bei der Vorrichtung zur Steuerung der Landmaschine kann es sich beispielsweise um eine elektronische Steuer- oder Regeleinheit (engl. ECU = Electronic Control Unit), ein elektronisches Steuer- oder Regelmodul (ECM = Electronic Control Module) oder eine Steuer-/Regeleinheit für autonomes Fahren (z.B. ein „Autopilot“) handeln. Die Steuervorrichtung kann sich in der Landmaschine befinden, oder außerhalb bzw. teilweise außerhalb der Landmaschine. Beispielsweise kann die Steuervorrichtung Teil einer zentralen Überwachungseinrichtung für die landwirtschaftliche Nutzfläche sein. Die Kommunikation kann drahtlos, etwa über BlueTooth, Infrarot, Nahfeld-Kommunikation (Engl.: NFC), Funk, Internet, Intranet, Cloud-Systeme und/oder verdrahtete Systeme erfolgen.
-
Die Extraktionseinheit, die Detektionseinheit und/oder die Signaleinheit können zusammen eine Auswerteeinheit der Steuervorrichtung bilden. Die Auswerteeinheit kann eine Zentralprozessiereinheit (Engl.: Central Processing Unit, CPU) oder eine Graphische Prozessiereinheit (Engl.: Graphic Processing Unit, GPU) umfassen. Alternativ kann es sich bei der Auswerteeinheit um eine ECU oder ein ECM handeln. In diesem Fall ist die Steuervorrichtung eine der ECU bzw. dem ECM übergeordnete Einrichtung/Anordnung.
-
Der Abstandssensor umfasst vorzugsweise einen Radarsensor und/oder einen Lidarsensor. Die Abstandsdaten enthalten mehrere Abstände, die vorzugsweise in Form von Tiefeinformationen vom Abstandssensor erfasst werden. Diese Abstände beziehen sich auf Objekte, die sich auf der landwirtschaftlichen Nutzfläche befinden und sind ausgehend vom Abstandssensor gemessen. Je nach Ausrichtung des Abstandsssensors kann hieraus unterschiedliche Arten von Informationen entnommen werden. Beispielsweise kann im Fall, dass der Abstandssensor vertikal nach unten zur Bodenfläche hin ausgerichtet ist, die Höhe der verschiedenen Objekte (etwa Getreide, Fahrwege, ... usw.) anhand der gemessenen Abstände bestimmt werden.
-
Die Kamera umfasst vorzugsweise eine Rundblickkamera (Engl.: Surroundview Camera) und/oder eine Infrarotkamera. Im Kamerabild können die Objekte, deren Abstände durch den Abstandssensor erfasst sind, aufgenommen werden. Die Detektionseinheit kann einen oder mehrere Algorithmen, insbesondere ein oder mehrere künstliche neuronale Netzwerke, einsetzen, um die Objekte aus den Bilddaten zu detektieren.
-
Das auf diese Weise erzeugte Steuersignal für die Landmaschine basiert auf den extrahierten Abständen und den detektierten Objekten. Dies erhöht vorteilhafterweise die Genauigkeit der erfassten Informationen über die Umgebung der Landmaschine, sodass diese sicherer und effizienter auf der landwirtschaftlichen Nutzfläche gesteuert werden kann, um Kollisionen mit anderen Fahrzeugen, Personen, Bepflanzungen und Bebauungen zu vermeiden. Die landwirtschaftlichen Bearbeitungsvorgänge können daher zuverlässiger automatisiert werden.
-
Vorteilhafte Ausgestaltungen und Weiterbildungen sind in den Unteransprüchen angegeben.
-
Gemäß einer Ausführungsform umfasst das Verfahren Ermitteln einer Verteilung des extrahierten Abstandes, um einen ersten Abschnitt mit einem ersten Abstand und einen zweiten Abschnitt mit einem zweiten Abstand festzustellen, der größer ist als der erste Abstand.
-
Die Abstandsverteilung umfasst somit zwei Abschnitte mit unterschiedlichen Abständen. Wenn der Abstandssensor in einer bestimmten Weise, beispielsweise vertikal nach unten (bzw. senkrecht zur Bodenfläche), ausgerichtet ist, entspricht die Abstandsverteilung einer Höhenverteilung bzw. einem Höhenprofil der vom Abstandssensor erfassten Objekte, etwa Getreidesegmente, Trennungsbereiche zwischen den Getreidesegmenten, Fahrwege. Vorteilhafterweise kann man diese Information optimal zum zuverlässigen Navigieren der Landmaschine auf der landwirtschaftlichen Nutzfläche verwenden.
-
Gemäß einer weiteren Ausführungsform umfasst das Verfahren Bestimmen eines Punktes im zweiten Abschnitt, insbesondere eines Mittelpunktes des zweiten Abschnittes, als Pfadpunkt.
-
Der Mittelpunkt kann einen geografischen Mittelpunkt umfassen, der der Hälfte der Streckenlänge des zweiten Abschnittes entspricht. Auf diese Weise kann eine Route zum Navigieren der Landmaschine sinnvoll und präzise definiert werden, die sich aus den einzelnen Pfadpunkten ergibt. Die Pfadpunkte entstehen vorzugsweise dadurch, dass nach dem Bestimmen eines Pfadpunktes das erzeugte Steuersignal bewirkt, dass sich die Landmaschine eine vordefinierte Streckenlänge zurücklegt. Anschließend kann der Abstandssensor in der neuen Position der Landmaschine erneut die Objekte auf der Nutzfläche erfassen. Aus den Abstandsdaten lässt sich ein weiterer Pfadpunkt bestimmen. Auf diese Weise können eine Mehrzahl von Pfadpunkten bestimmt werden, die zusammen eine Route für die Landmaschine definieren.
-
Gemäß einer weiteren Ausführungsform umfasst das Verfahren Lokalisieren des Pfadpunktes in einem Weltkoordinatensystem oder in einem Koordinatensystem der Kamera.
-
Auf diese Weise wird der wie oben beschrieben bestimmte Pfadpunkt, insbesondere die aus mehreren Pfadpunkten bestimmte Route für die Landmaschine, mit den von der Kamera gelieferten Bilddaten zusammengeführt werden. Eine Fusion beider Datensätze ist hierdurch erzielt. Vorteilhafterweise kann dem Fahrer oder einem Fahrerassistenzsysytem das hieraus resultierende, fusionierte Bild angezeigt werden. Das Navigieren der Landmaschine kombiniert somit den Vorteil des Abstandssensors, dass Tiefeinformationen enthalten sind, und den Vorteil der Kamera, dass umfassende Bilddaten schnell bzw. mit kürzeren Latenzzeiten erzeugt werden können.
-
Gemäß einer weiteren Ausführungsform bewirkt das Steuersignal, dass sich die Landmaschine in Richtung des Pfadpunktes bewegt.
-
Das Steuersignal kann insbesondere bewirken, dass sich die Landmaschine eine vorbestimmte Streckenlänge in Richtung des Pfadpunktes zurücklegt. Danach kann eine neue Abstandsmessung an den vom Abstandssensor erfassten Objekten, insbesondere Getreidesegmente und Trennungsbereiche dazwischen, durchgeführt werden. Aus den Abstandsdaten kann eine Höhenverteilung ermittelt und ein neuer Pfadpunkt bestimmt werden. Auf diese Weise kann, zusätzlich zur oben beschriebenen Methode, eine Route für die Landmaschine aus mehreren Pfadpunkten sinnvoll definiert werden.
-
Gemäß einer weiteren Ausführungsform umfasst das Verfahren Prüfen einer Ausrichtung des Abstandssensors vor dem Erhalten der Abstandsdaten.
-
Es kann beispielsweise geprüft werden, ob die Ausrichtung des Abstandssensors eine senkrecht zur landwirtschaftlichen Nutzfläche zeigende Komponente aufweist. Zum Beispiel kann geprüft werden, ob die Ausrichtung des Abstandssensors einen Winkel zur vertikalen Richtung einschließt, der kleiner als 50° oder 30° oder 10° beträgt. Im negativen Fall kann eine Autokorrektur der Ausrichtung durch die Steuervorrichtung initiiert werden. Diese Maßnahme vereinfacht das Bereitstellen von Höhenprofilen auf der Nutzfläche zwecks Landmaschinennavigation.
-
Das erfindungsgemäße Computerprogrammprodukt ist ausgeführt, in einen Speicher eines Computers geladen zu werden und umfasst Softwarecodeabschnitte, mit denen die Verfahrensschritte des erfindungsgemäßen Verfahrens ausgeführt werden, wenn das Computerprogrammprodukt auf dem Computer läuft.
-
Ein Programm gehört zur Software eines Daten verarbeitenden Systems, zum Beispiel einer Auswerteeinrichtung oder einem Computer. Software ist ein Sammelbegriff für Programme und zugehörigen Daten. Das Komplement zu Software ist Hardware. Hardware bezeichnet die mechanische und elektronische Ausrichtung eines Daten verarbeitenden Systems. Ein Computer ist eine Auswerteeinrichtung.
-
Computerprogrammprodukte umfassen in der Regel eine Folge von Befehlen, durch die die Hardware bei geladenem Programm veranlasst wird, ein bestimmtes Verfahren durchzuführen, das zu einem bestimmten Ergebnis führt. Wenn das betreffende Programm auf einem Computer zum Einsatz kommt, ruft das Computerprogrammprodukt den oben beschriebenen erfinderischen technischen Effekt hervor.
-
Das erfindungsgemäße Computerprogrammprodukt ist Plattform unabhängig. Das heißt, es kann auf jeder beliebigen Rechenplattform ausgeführt werden. Bevorzugt wird das Computerprogrammprodukt auf einer erfindungsgemäßen Auswertevorrichtung zum Erfassen des Umfelds des Fahrzeugs ausgeführt.
-
Die Softwarecodeabschnitte sind in einer beliebigen Programmiersprache geschrieben, zum Beispiel in Python.
-
Das computerlesbare Speichermedium ist beispielsweise ein elektronisches, magnetisches, optisches oder magneto-optisches Speichermedium.
-
Das Datenträgersignal ist ein Signal, welches das Computer-Programm-Produkt von einem Speichermedium, auf dem das Computer-Programm-Produkt gespeichert ist, auf eine andere Entität, beispielsweise ein anderes Speichermedium, einen Server, ein Cloud-System oder eine Daten verarbeitende Einrichtung, überträgt.
-
Ausführungsformen werden nun beispielhaft und unter Bezugnahme auf die beigefügten Zeichnungen beschrieben. Es zeigen:
- 1 eine schematische Darstellung einer erfindungsgemäßen Vorrichtung gemäß einer Ausführungsform;
- 2A-B eine schematische Darstellung einer Landmaschine auf einer landwirtschaftlichen Nutzfläche in zwei verschiedenen Ansichten;
- 3 eine schematische Darstellung einer Höhenverteilung der vom Abstandssensor erfassten Objekte;
- 4 eine schematische Darstellung der Fusion aus den Abstandsdaten des Abstandssensors und Bilddaten der Kamera; und
- 5 eine schematische Darstellung der Route der Landmaschine auf der landwirtschaftlichen Nutzfläche auf Basis von Pfadpunkten.
-
In den Figuren beziehen sich gleiche Bezugszeichen auf gleiche oder funktionsähnliche Bezugsteile. In den einzelnen Figuren sind die jeweils relevanten Bezugsteile gekennzeichnet.
-
1 zeigt eine schematische Darstellung einer erfindungsgemäßen Vorrichtung 10 zur Steuerung einer Landmaschine 50 gemäß einer Ausführungsform. Die Vorrichtung 10 umfasst eine erste Eingangsschnittstelle 12 zum Erhalten von Abstandsdaten, die von einem Abstandssensor 22 erzeugt sind. Der Abstandssensor 22 umfasst beispielsweise einen Radarsensor und/oder einen Lidarsensor, der einen in 2A 2B beispielhaft gezeigten Erfassungsbereich 221 aufweist. Die Vorrichtung 10 umfasst ferner eine zweite Eingangsschnittstelle 14 zum Erhalten von Bilddaten, die von einer Kamera 24 erzeugt sind. Die Kamera 24 kann vorzugsweise eine InfrarotKamera umfassen, mit dem Vorteil, dass auch bei dunklen Lichtverhältnissen Bilder der Umgebung der Landmaschine 50 generiert werden können.
-
Die Vorrichtung 10 umfasst außerdem eine Extraktionseinheit 16 zum Extrahieren mehrerer Abstände zwischen dem Abstandssensor 22 und mehreren auf einer landwirtschaftlichen Nutzfläche 60 befindlichen Objekten 62 aus den Abstandsdaten. Dies kann mittels eines oder mehrerer geeigneten Algorithmen, beispielsweise künstlicher neuronaler Netzwerke, erfolgen. Die ermittelten Abstände hängen von der Ausrichtung des Abstandssensors 22 ab. In 2A-B sind die dort gezeigten Abstandssensoren 22 im Wesentlichen parallel zur Bodenfläche 61 der Nutzfläche 60 ausgerichtet, sodass die Achse des jeweiligen beispielhaften kegelförmigen Erfassungsbereichs 221 parallel zur Bodenfläche 61 verläuft. In diesem Fall sind die Abstände in einer Richtung, die im Wesentlichen parallel zur Bodenfläche 61 verläuft, gemessen.
-
Wie in der in 2B beispielhaft gezeigten Draufsicht ersichtlich, werden mehrere Objekte 62, insbesondere zwei Bereiche 65, die Getreidesegmente 64 voneinander trennen, und ein Getreidesegment 64 vom Abstandssensor 22 erfasst. Die Trennungsbereiche 65 sind als Fahrwege geeignet, um von der Landmaschine 50 während ihrer landwirtschaftlichen Bearbeitungsvorgänge befahren zu werden.
-
3 zeigt eine schematische Darstellung einer beispielhaften Höhenverteilung 66 der vom Abstandssensor erfassten Objekte 62. In diesem Beispiel ist der Abstandssensor 22 vorzugsweise vertikal nach unten ausgerichtet. Somit misst der jeweilige Abstandssensor 22 näherungsweise die Höhe des erfassten Objektes 62, die sich etwa aus der Einbauhöhe des Abstandssensors 22 ergibt, nachdem von dieser der gemessene Abstand zwischen dem Abstandssensor 22 und dem jeweiligen Objekt 62 abgezogen ist.
-
Die Höhenverteilung 66 (als gestrichelte Linien gezeigt) umfasst hier zwei erste Abschnitte 68, die zwei Getreidesegmente 64 betreffen, und einen zweiten Abschnitt 67, der den Trennungsbereich bzw. Fahrweg 65 zwischen den Getreidesegmenten 64 betrifft. Von dem Abstand, der vom Abstandssensor 22 aus bis zum jeweiligen Objekt 64, 65 gemessene ist, kann somit zumindest näherungsweise die Höhe des jeweiligen Objektes wie oben erwähnt ermittelt werden.
-
Die Vorrichtung 10 umfasst des Weiteren eine Detektionseinheit 18 zum Detektieren der Objekte 62 in den Bilddaten der Kamera 24. Wie in 4 beispielhaft gezeigt, ist im von der Kamera 24 (siehe 1) aufgenommenen Bild 241 mehrere Getreidesegmente 64 ersichtlich, die durch Fahrwege (Trennungsbereiche) 65 getrennt sind.
-
Die Getreidesegmente 64 haben eine größere Höhe als die Trennungsbereiche 65. Dies kann in der oben beschriebenen Höhenverteilung 66 erfasst werden. In 4 sind vier Punktreihen 66a, 66b, 66c, 66d gezeigt, die jeweils eine Höhenverteilung darstellen. Diese Höhenverteilungen 66a, 66b, 66c, 66d sind in verschiedenen, voneinander beabstandeten Positionen der Nutzfläche 60 vom Abstandssensor 22 registriert. Jede der Höhenverteilungen 66a, 66b, 66c, 66d lässt sich durch die in 3 gezeigte Höhenverteilung 66 näherungsweise veranschaulichen und umfasst zwei erste Abschnitte 68 (im Bereich der Getreidesegmente 64) und einen dazwischen befindlichen zweiten Abschnitt 67 (im Bereich der Fahrwege/Trennungsbereiche 65). Für den zweiten Abschnitt 67 jeder Höhenverteilung 66a, 66b, 66c, 66d kann der Mittelpunkt 54a, 54b, 54c, 54d als Pfadpunkt wie oben beschrieben bestimmt werden. Vorzugsweise können die mehreren Abstands- bzw. Höhenverteilungen 66a, 66b, 66c, 66d gleichzeitig vom Abstandssensor 22 erfasst werden, wenn diese innerhalb des Erfassungsbereichs 221 des Abstandssensors 22 liegen. Weiter vorzugsweise kann das Bestimmen der Mittelpunkte (Pfadpunkte 54) auf Basis der Abstands- bzw. Höhenverteilungen 66a, 66b, 66c, 66d gleichzeitig von der Steuervorrichtung 10 ermittelt werden.
-
Das Bild 241 entsteht durch Überlagerung der Abstandsdaten des Abstandssensors 22 mit den Bilddaten der Kamera 24. Insbesondere kann eine Koordinatentranformation der Abstandsdaten, aus denen die Abstands- bzw. Höhenverteilungen 66, 66a, 66b, 66c, 66d extrahiert werden, durchgeführt werden. Auf diese Weise lassen sich die Abstandsdaten, insbesondere die Höhenverteilungen 66a, 66b, 66c, 66d, in das Bild 241 der Kamera 24 integriert werden, sodass sich die Höhenverteilungen 66a, 66b, 66c, 66d an den Stellen des Kamerabildes 241 befinden, an denen die entsprechenden Abstandsdaten aufgenommen wurden. 4 zeigt daher ein Beispiel für Datenfusion mittels der erfindungsgemäßen Steuervorrichtung 10.
-
Die Vorrichtung 10 umfasst zusätzlich eine Signaleinheit 20 zum Erzeugen eines Steuersignals für die Landmaschine 50 basierend auf den extrahierten Abständen und den detektierten Objekten 62. 5 zeigt eine schematische Darstellung der Landmaschine 50, die sich entlang einer von der Steuervorrichtung 10 bestimmten Route 52 auf der Nutzfläche 60 fortbewegt. Die Fahrtrichtung ist durch einen Pfeil 56 angedeutet. Wie oben beschrieben lässt sich die Route 52 mittels der Pfadpunkte 54 bestimmen, wobei die Pfadpunkte 54 mittels der Abstands- bzw. Höhenverteilung 66, 66a, 66b, 66c, 66d bestimmt werden können. Die landwirtschaftlichen Bearbeitungsvorgänge lassen sich hiermit sicherer und zuverlässiger automatisieren bzw. teilautomatisieren.
-
Bezugszeichenliste
-
- 10
- Steuervorrichtung
- 12
- erste Eingangsschnittstelle
- 14
- zweite Eingangsschnittstelle
- 16
- Extraktionseinheit
- 18
- Detektionseinheit
- 20
- Signaleinheit
- 21
- Ausgangsschnittstelle
- 22
- Abstandssensor
- 221
- Erfassungsbereich
- 24
- Kamera
- 241
- Bild
- 50
- Landmaschine
- 52
- Route
- 54
- Pfadpunkt
- 56
- Fahrtrichtung
- 60
- Nutzfläche
- 61
- Bodenfläche
- 62
- Objekte
- 64
- Getreidesegment
- 65
- Trennungsbereich
- 66, 66a-d
- Höhenverteilung
- 67
- zweiter Abschnitt
- 671a-d
- Pfadpunkt
- 68
- erster Abschnitt
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102012201333 A1 [0003]
