-
Beschreibung
-
Die Erfindung betrifft ein selbsttätiges Lenksystem zur Führung eines landwirtschaftlichen Fahrzeugs über ein Feld und ein entsprechendes Verfahren.
-
Stand der Technik
-
In der Landwirtschaft besteht ein Bedürfnis, Fahrzeuge selbsttätig über ein Feld zu lenken, um dem Bediener die Arbeit zu erleichtern und es ihm zu ermöglichen, sich auf die Überwachung und Kontrolle der beim Überfahren des Feldes durchgeführten Arbeiten, wie Bodenbearbeitung, Ausbringen von Mitteln oder Ernten von Pflanzen zu konzentrieren. Im Stand der Technik sind neben Lenksystemen, die mittels eines satellitenbasierten Positionsbestimmungssystems und einer Karte der zu befahrenden Spuren ein Lenksignal erzeugen (
EP 0 856 453 A2 ) auch optische Lenksysteme bekannt, die anhand eines das Feld vor dem Fahrzeug abtastenden Laserentfernungsmessers (
DE 197 43 884 A1 ) oder anhand des Bildes einer Kamera, das mit einem Bildverarbeitungssystem ausgewertet wird (
DE 103 51 861 A1 ,
US 8 706 341 B2 ) Merkmale auf dem Feld erkennen, anhand denen ein zu befahrender Weg evaluiert wird. Bei diesen Merkmalen kann es sich um Bearbeitungsgrenzen handeln, die eine Änderung des Bodenprofils mit sich bringen, oder um die Kante eines noch stehenden Erntegutbestandes.
-
Während die auf satellitenbasierten Positionsbestimmungssystemen basierenden Lenksysteme jedenfalls dann, wenn sie eine (üblicherweise benötigte) Genauigkeit im cm-Bereich aufweisen sollen, relativ aufwändig und somit kostspielig sind und zudem Daten hinsichtlich der zu befahrenden Spuren (d.h. die Karte) benötigen und die Laserentfernungsmesser ebenfalls relativ kostenaufwändig sind, ist die Hardware für ein auf Bildverarbeitung basierendes Lenksystem demgegenüber kostengünstiger darstellbar.
-
Die bisherigen, auf Bildverarbeitung basierenden Lenksysteme beruhen in vielen Fällen darauf, dass zunächst gelernt werden muss, welches Element des aufgenommenen Bildes als nachverfolgende Struktur anzusehen ist. So wird in
DE 103 51 861 A1 zunächst ein Beispiel-Bild aufgenommen und einem neuronalen Netzwerk durch menschliche Eingabe mitgeteilt, welche Bereiche dieses Bildes als nachzuverfolgendes Schwad anzusehen sind. Das neuronale Netzwerk kann anschließend anhand eines realen Bildes ein Schwad erkennen und darauf basierend ein Lenksignal erzeugen. Analog wird in
US 8 706 341 B2 vorgegangen. Der Algorithmus zur Erkennung der nachzuverfolgenden Bildmerkmale ist relativ aufwändig und erfordert eine große Rechenleistung.
-
Ein anderer Ansatz (K. Hanawa et al., Development of a Stereo Vision System to Assist the Operation of Agricultural Tractors, JARQ 46 (4), 287–293 (2012) http://www.jircas.affrc.go.jp) für ein auf Bildverarbeitung basierendes Lenksystem besteht darin, bei einem vorherigen Arbeitsvorgang auf dem Feld mit einem Spurreißer o.ä. eine vorbestimmte Spur zu hinterlassen und ein dreidimensionales, mit einer Stereokamera aufgenommenes Bild auf Merkmale hin zu untersuchen, die sich der vorbestimmten Spur zuordnen lassen. Es wird somit in einem zweidimensionalen Bild, das sich über die Breite des Feldes vor dem Fahrzeug erstreckt, eine Mustererkennung (Pattern Matching) durchgeführt, d.h. sukzessive die Übereinstimmungsgrade eines vorbestimmten Musters mit den einzelnen Bereichen des Bildes untersucht. Hier ist als nachteilig anzusehen, dass man zunächst die vorbestimmte Spur erzeugen muss, und auch der Algorithmus zur Mustererkennung ist relativ rechenzeitaufwändig.
-
Schließlich wurde vorgeschlagen (J. Xue et al., Variable field-of-view machine vision based row guidance of an agricultural robot, Computers and Electronics in Agriculture 84 (2012) 85–91), auf einem Feld stehende Maispflanzen anhand ihrer Farbe vom Boden zu unterscheiden. Falls nicht genügend Pflanzen im Bildfeld vorhanden sind, wird auf einen so genannten Nahmodus umgeschaltet, in dem die Kamera nach unten abgesenkt wird. Die zu detektierenden Objekte sind dann nur noch die Stängel der Pflanzen, die anhand morphologischer Operationen mittels eines rechteckigen Strukturelements erkannt werden, um die Stängel der Pflanzen zu identifizieren und zu segmentieren. Die unteren Enden der Stängel werden durch eine Linie verbunden und in die Mitte zwischen benachbarten Linien wird eine zu befahrende Spur gelegt. Diese Vorgehensweise ist zwar weniger rechenaufwändig als eine Mustererkennung, jedoch auf Fälle beschränkt, bei denen Pflanzenstängel auf einem Feld erkennt werden können.
-
Aufgabe der Erfindung
-
Die der Erfindung zu Grunde liegende Aufgabe wird darin gesehen, ein automatisches, jedoch möglichst wenig Rechenleistung benötigendes Lenksystem zur Führung eines Fahrzeugs über ein Feld und ein entsprechendes Verfahren bereitzustellen, das es ermöglicht, zur Lenkung auf auf dem Feld bereits vorhandene Fahrspuren von vorherigen Bearbeitungsvorgängen zurückzugreifen.
-
Lösung
-
Diese Aufgabe wird erfindungsgemäß durch die Lehre der Patentansprüche 1 und 7 gelöst, wobei in den weiteren Patentansprüchen Merkmale aufgeführt sind, die die Lösung in vorteilhafter Weise weiterentwickeln.
-
Ein selbsttätiges Lenksystem zur Führung eines landwirtschaftlichen Fahrzeugs über ein Feld, auf dem bei einem vorhergehenden Arbeitsvorgang eine Fahrspur hinterlassen wurde, umfasst eine auf die Fahrspur blickende Kamera, ein Bildverarbeitungssystem zur Verarbeitung von Bildsignalen der Kamera und eine Lenksteuerung, der ein vom Bildverarbeitungssystem erzeugtes Positionssignal hinsichtlich einer detektierten Position der Fahrspur zuführbar ist. Das Bildverarbeitungssystem ist programmiert, das Bildsignal der Kamera in ein binäres Bild zu überführen und die Fahrspur anhand einer auf das binäre Bild angewandten, morphologischen Operation unter Verwendung eines die Fahrspur repräsentierenden Strukturelements zu erkennen. Das Bild der Kamera wird demnach in ein binäres Bild umgewandelt und anhand einer morphologischen Operation wird erkannt, an welchen Stellen des Bildes das Strukturelement exakt hineinpasst („fit“). Die sich ergebenden Stellen repräsentieren die detektierte Fahrspur im Bild, die direkt oder nach weiterer Bearbeitung, z.B. zur Erkennung der Lage der Mitte der Fahrspur und deren Richtung, der Lenksteuerung zugeführt wird. Anhand dieser erkannten Fahrspur kann die Lenksteuerung ein Lenksignal erzeugen, um das Fahrzeug entlang der Fahrspur zu lenken.
-
Auf diese Weise erhält man eine relativ einfache und rechenzeitgünstige Erkennung der Fahrspur. Das Lenksystem eignet sich beispielsweise für selbstfahrende oder angebaute oder gezogene Feldspritzen, die entlang bestehender Fahrgassen geführt werden. Die Fahrgassen werden bereits beim Säen des Feldes angelegt und später mehrfach zum Düngen und/oder Bekämpfen von unerwünschten Pflanzen oder Insekten o.ä. befahren, sodass sie sich hinreichend gut im Boden abzeichnen und unproblematisch erkannt werden können.
-
Die Fahrspur kann insbesondere aus zwei in einem vorbestimmten Abstand angeordneten Vertiefungen im Boden bestehen. In diesem Fall umfasst das Strukturelement zwei etwa senkrechte Linien oder Rechtecken, die in einem seitlichen Abstand angeordnet sind, der dem vorbestimmten Abstand der Vertiefungen im Bild der Kamera entspricht.
-
Falls die Kamera nach vorn und unten geneigt am Fahrzeug angebracht ist, bietet es sich an, das Bildverarbeitungssystem zu programmieren, eine Perspektivkorrektur zur Korrektur der Neigung der Kamera durchzuführen.
-
Die Kamera eine kann Farbkamera sein und das Bildverarbeitungssystem programmiert sein, das binäre Bild anhand der Farben des Bildes zu erzeugen.
-
Die Kamera kann eine Stereokamera sein und das Bildverarbeitungssystem programmiert sein, das binäre Bild anhand eines Disparitätsbildes der Bilder der Stereokamera oder anhand eines Farbbildes einer oder beider der Stereokameras zu erzeugen.
-
Es ist auch möglich, anhand der Signale der Kamera zwischen einem anhand der Farben des Bildes erzeugten binären Bild und einem Disparitätsbild der Bilder der Stereokamera umzuschalten.
-
Ausführungsbeispiel
-
In den Zeichnungen ist ein nachfolgend näher beschriebenes Ausführungsbeispiel der Erfindung dargestellt. Es zeigt:
-
1 eine seitliche Ansicht eines landwirtschaftlichen Fahrzeugs mit einem selbsttätigen Lenksystem
-
2 ein Flussdiagramm, nach dem das Lenksystem arbeitet,
-
3 ein Flussdiagramm, das den Schritt der Bildverarbeitung und Detektion der Fahrspur darstellt,
-
4 ein Flussdiagramm, das die Bildverarbeitung von Farbsignalen darstellt,
-
5 ein Flussdiagramm, das die Bildverarbeitung von Disparitätssignalen darstellt,
-
6 ein Flussdiagramm, das die Bildvorverarbeitung von Farbsignalen darstellt,
-
7 ein Flussdiagramm, das die Bildvorverarbeitung von Disparitätssignalen darstellt,
-
8–11 Beispiele von Farbbildern eines Feldes vor, während und nach der Vorverarbeitung,
-
11–20 Beispiele von Disparitätsbildern eines Feldes vor, während und nach der Vorverarbeitung, und
-
21 Beispiele eines Bildes des Felds während des Detektionsprozesses.
-
Die 1 zeigt eine seitliche Ansicht eines selbstfahrenden, landwirtschaftlichen Fahrzeugs 10 in Form eines landwirtschaftlichen Ackerschleppers und eines an einem Dreipunktgestänge 14 des Fahrzeugs 10 angebauten Arbeitsgeräts 12 in Form einer Feldspritze. Das Fahrzeug 10 baut sich auf einem tragenden Rahmen 16 auf, der sich auf lenkbaren Vorderrädern 18 und antreibbaren Hinterrädern 20 abstützt und eine Kabine 22 trägt, in der sich ein Bedienerarbeitsplatz 24 befindet. Der Bedienerarbeitsplatz 24 umfasst ein Lenkrad 26, einen Sitz 28, Pedale (nicht gezeigt) und ein virtuelles Terminal 30.
-
Das Fahrzeug
10 umfasst ein selbsttätiges Lenksystem, das eine als Stereokamera ausgeführte Kamera
32, ein mit dem Bildsensor der Kamera
32 verbundenes Bildverarbeitungssystem
36 und eine Lenksteuerung
34 umfasst. Das Bildverarbeitungssystem
36 könnte in das Gehäuse der Kamera
32 oder in die Lenksteuerung
34 integriert werden. Die Lenksteuerung
34 ist mit einem Ventil
38 zur Kontrolle eines Lenkaktors
40 und mit einem Lenkwinkelsensor
44 zur Erfassung des aktuellen Lenkwinkels der Vorderräder
18 verbunden. Im Betrieb blickt die Kamera
32 auf das vor dem Fahrzeug
10 liegende Feld und führt ihre Bildsignale dem Bildverarbeitungssystem
36 zu, welches eine auf dem Feld bereits vorhandene Fahrspur
56 erkennt und ein Signal hinsichtlich deren Lage an die Lenksteuerung
34 übersendet. Die Lenksteuerung
34 kontrolliert über das Ventil
38 den Lenkaktor
40 derart, dass das Fahrzeug
10 selbsttätig der vorhandenen Fahrspur
56 folgt, unter Berücksichtigung der Signale des Lenkwinkelsensors
44 als Rückkopplungssignale. Zur Hardware des Lenksystems sei auf die Offenbarung der
DE 103 51 861 A1 verwiesen, die durch Verweis mit in die vorliegenden Unterlagen aufgenommen wird.
-
Die 2 zeigt ein Flussdiagramm, nach dem das Lenksystem im Betrieb arbeitet. Nach einer anfänglichen Datenerfassung des Bildsignals der Kamera 32 (Schritt 100) erfolgt im Schritt 102 eine Bildverarbeitung und ein Detektionsprozess, im Schritt 104 die Erzeugung einer abzufahrenden Fahrspur 56 und im Schritt 106 eine Erzeugung eines Lenksignals, das im Schritt 110 zur Lenkung des Fahrzeugs 10 verwendet wird. Im Schritt 112 können die Ergebnisse der Schritte 100 bis 106 auf dem virtuellen Terminal 30 angezeigt werden.
-
Die 3 zeigt den Schritt 102 der Bildverarbeitung und des Detektionsprozesses detaillierter. Im ersten Schritt 120 erfolgt eine Detektion und Zuordnung anfänglicher Werte, indem die Position und Größe des Fensters des Bildes der Kamera 32 gesucht wird, in dem eine Fahrspur 56 enthalten ist. Auch werden die Farben im Bild und Parameter der Fahrspur 56 (Farbe, Unterschied zum übrigen Bild) evaluiert. Im Schritt 122 wird dann geprüft, ob das System fertig ist zu automatischen Fahren, d. h. ob im Bild eine Fahrspur 56 detektiert werden konnte. Ist das der Fall, folgt der Schritt 124, in dem geprüft wird, ob das Bild anhand der Farbe oder anhand eines Disparitätsbildes untersucht werden soll. Im ersten Fall folgt der Schritt 128, der in den 4 und 6 näher gezeigt wird und im zweiten Fall der Schritt 130, der in den 5 und 7 näher gezeigt wird. Im auf beide Schritte 128 und 130 folgenden Schritt 132 erfolgt eine Detektion der Fahrspur 56, im Schritt 134 werden die Zuverlässigkeit der Detektion der Fahrspur 56 und mit dem Fahrzeug 10 abzufahrende Punkte bestimmt und im Schritt 136 wird die Liste der abzufahrenden Punkte erzeugt und validiert, d.h. auf Plausibilität hin geprüft.
-
Die 4 zeigt den Schritt 128, d.h. die Verarbeitung von (nur den) Farbsignalen der Kamera 32 im Detail. Nach der Bildaufnahme im Schritt 140 erfolgt im Schritt 142 eine Bildvorverarbeitung, dann im Schritt 144 eine Detektion der Fahrspur 56 und dann die Schritte 146 und 148, die den Schritten 134 und 136 entsprechen.
-
Die 5 zeigt den Schritt 130, d.h. die Verarbeitung von (nur den) Disparitätssignalen der Kamera 32 im Detail. Nach der Bildaufnahme im Schritt 150 erfolgt im Schritt 152 eine Bildvorverarbeitung, dann im Schritt 154 eine Detektion der Fahrspur 56 und dann die Schritte 156 und 158, die den Schritten 134 und 136 entsprechen.
-
Die 6 zeigt die Vorgehensweise des Schritts 142 (und somit jene von Schritt 128) im Detail. Im Schritt 160 wird eine Bildtransformation zur Korrektur der Neigung der Kamera 32 nach unten hin durchgeführt. Im Schritt 162 werden Farbunterschiede vergrößert und im Schritt 164 wird eine Diskrimination durchgeführt, d.h. anhand einer Schwelle wird das Bild in zwei Werte unterteilt. Die 8 zeigt ein Beispiel für ein unverarbeitetes Bild der Kamera 32, das im Original farbig wäre und die Fahrspur 56 in anderer Farbe (insbesondere braun) als die Pflanzen (in der Regel grün) zeigt. Die 9 zeigt das Bild nach der Ausschnittbildung des Schritts 120 und der Perspektivkorrektur des Schritts 160, die 10 das Bild nach dem Schritt 162 und die 11 das Bild nach dem Schritt 164.
-
Die 7 zeigt die Vorgehensweise des Schritts 152 (und somit jene von Schritt 130) im Detail. Im Schritt 170 werden Ausreißer entfernt, im Schritt 172 erfolgt eine Korrektur der (z.B. mittels eines Trägheitsnavigationssystems erfassten) Neigung des Fahrzeugs 10 in Vorwärts- und seitlicher Richtung, im Schritt 174 werden eventuelle Löcher aufgefüllt, im Schritt 176 wird eine Bildtransformation zur Korrektur der Neigung der Kamera 32 nach unten hin durchgeführt und im Schritt 178 erfolgt ein Vergleich mit einer Schwelle, wie in der 11 beispielhaft gezeigt. Die 12 zeigt ein Beispiel für ein unverarbeitetes Disparitätsbild der Kamera 32 in zweidimensionaler Darstellung, während die 13 das Bild der 12 in dreidimensionaler Darstellung zeigt, die 14 das Bild der 13 nach Korrektur des Nickwinkels und die 15 das Bild nach Korrektur des Rollwinkels (Schritt 172). Die 16 zeigt das Bild nach 15 in zweidimensionaler Darstellung. In 17 wurden gemäß Schritt 174 Löcher aufgefüllt und in 18 die Perspektivkorrektur des Schritts 176 durchgeführt, während die 19 das Bild nach dem Schritt 178 zeigt und die 20 das Bild nach dem Schritt 154.
-
Die Vorgehensweise nach den 4 und 6 bietet sich immer dann an, wenn sich die Fahrspur 56 farblich hinreichend vom übrigen Feld unterscheidet, z.B. wenn sie dunkel (braun, schwarz o.ä.) ist und das übrige Feld grün ist (von Pflanzen bestanden) und wenn Disparitätsbilder nicht aussagekräftig oder mangels einer funktionsfähigen Stereokamera nicht verfügbar sind. Die Vorgehensweise nach den 5 und 7 bietet sich immer dann an, wenn sich die Fahrspur 56 räumlich hinreichend konturiert, d.h. hinreichend tief ist. Im Schritt 124 wird somit geprüft, welche der erwähnten Vorgehensweisen erfolgversprechender ist und die geeignetere ausgewählt.
-
Das Ergebnis der Schritte 128 und 130 ist jeweils ein vorverarbeitetes, binäres Bild des Feldes vor dem Fahrzeug 10, in dem die Fahrspur 56 möglichst gut herausgearbeitet wurde. Es muss nun noch herausgefunden werden, an welchen Stellen des Bildes eine vorhandene Fahrspur 56 liegt, was in den Schritten 132, 144 und 154 durchgeführt wird. Der in der 21 beispielhaft dargestellte Schritt 132 ist unabhängig von der Vorverarbeitung des Bildes nach den Schritten 128 oder 130 stets gleich. Wie in der 21 dargestellt, wird das ursprüngliche Bild der Kamera 32 (21a) vorverarbeitet und binarisiert, wie in 21b gezeigt. Anschließend wird im Schritt 132 (der den Schritten 144 und 154 entspricht) eine morphologische Operation durchgeführt, bei welcher geprüft wird, in welche Stellen des binären Bildes ein in der 21c gezeigtes Strukturelement 50 genau hineinpasst („fit“), welches die Fahrspur 56 repräsentiert.
-
Das Strukturelement 50 umfasst zwei vertikale Linien 52, 54 oder Rechtecke, die nebeneinander in einem Abstand voneinander angeordnet sind, der den beiden Vertiefungen der vorhandenen Fahrspur 56 entspricht. Der Abstand zwischen vertikalen Linien 52, 54 kann durch das Bildverarbeitungssystem 36 selbsttätig erkannt oder durch den Bediener über das virtuelle Terminal 30 eingegeben werden, analog die Breite der Linien 52, 54. Wenn sich die Fahrspur 56 in vertikaler Richtung gerade über das ganze Bild erstreckt, könnte die Länge der Linien 52, 54 der Bildhöhe entsprechen, während die Länge der Linien 52, 54 bei gekrümmter Fahrspur 56 kleiner sein wird und vom Kurvenradius der Fahrspur 56 abhängt. Die Länge der Linien 52, 54 kann durch das Bildverarbeitungssystem 36 selbsttätig erkannt oder durch den Bediener über das virtuelle Terminal 30 eingegeben werden. Auch müssen die Linien 52, 54 oder Rechtecke des Strukturelements 50 nicht genau vertikal orientiert sein, sondern können (z.B. beim Befahren einer Kurve) nach links oder rechts geneigt sein. Auch dieser Winkel kann durch das Bildverarbeitungssystem 36 erkannt oder durch den Bediener eingegeben werden.
-
Das Ergebnis des Schritts 132 sind alle Bereiche des Bildes, in die das Strukturelement 50 genau hineinpasst, wie in der 21d gezeigt wird. Die 21e zeigt die Bilder der 21b und 21d überlagert. Nunmehr liegt eine schnell und einfach gewonnene Information vor, an welchen Stellen des Bildes eine Fahrspur 56 liegt. Nach Entfernen von Ausreißern, die in vertikaler Richtung kleiner als ein Erwartungswert sind und Mittelpunktbildung können die Lagen der Vertiefungen und anhand deren die Lage der Mitte der Fahrspur 56 berechnet werden, die schließlich der Lenksteuerung 34 zugeführt werden (Schritte 134, 136 der 3).
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- EP 0856453 A2 [0002]
- DE 19743884 A1 [0002]
- DE 10351861 A1 [0002, 0004, 0028]
- US 8706341 B2 [0002, 0004]
-
Zitierte Nicht-Patentliteratur
-
- K. Hanawa et al., Development of a Stereo Vision System to Assist the Operation of Agricultural Tractors, JARQ 46 (4), 287–293 (2012) http://www.jircas.affrc.go.jp [0005]
- J. Xue et al., Variable field-of-view machine vision based row guidance of an agricultural robot, Computers and Electronics in Agriculture 84 (2012) 85–91 [0006]
