-
Die Erfindung betrifft ein Verfahren zum Erstellen einer Höhenkarte eines Bodenabschnitts und eine Anordnung zum Durchführen des Verfahrens. Die Erfindung betrifft weiterhin ein Computerprogramm zum Durchführen des Verfahrens und ein maschinenlesbares Speichermedium, auf dem das Computerprogramm abgelegt ist.
-
Stand der Technik
-
Das vorgestellte Verfahren dient zum Erstellen einer Höhenkarte und kann grundsätzlich in unstrukturiertem Terrain, bspw. auf einer landwirtschaftlichen Nutzfläche bzw. einem Feld, zum Einsatz kommen. Die Höhenkarte zeigt das Profil bzw. Höhenprofil eines Abschnitts eines Bodens. Dieser Höhenkarte ist somit das Profil bzw. der Verlauf der Oberfläche des betreffenden Bodenabschnitts zu entnehmen. Ein solches Profil kann bspw. bei der Bearbeitung des Bodenabschnitts, insbesondere bei der landwirtschaftlichen Bearbeitung, Berücksichtigung finden. Nachfolgend wird lediglich beispielhaft auf eine solche landwirtschaftliche Bearbeitung eingegangen.
-
Das Pflügen eines Feldes wird üblicherweise mit einem Traktor vorgenommen. Dabei stellen sehr inhomogene oder sehr feuchte Böden eine besondere Herausforderung dar. Bekannt ist der Einsatz einer sogenannten elektronischen hydraulischen Kupplungskontrolle (EHC: electronic hydraulic hitch control), mit der die Effizienz bei der Bearbeitung verbessert werden kann. Hierbei werden die Lage bzw. Position des Pflugs und die Zugkraft gesteuert bzw. geregelt. Auf diese Weise wird verhindert, dass der Traktor stecken bleibt oder der Verbrennungsmotor abgewürgt wird. Die Zugkraft kann bspw. dadurch reduziert werden, dass der Pflug angehoben wird. Diese wird dabei durch zwei Kraftmessstifte auf der unteren Verbindung oder bei kleineren Traktoren mit einem Laststift auf der oberen Verbindung gemessen.
-
Offenbarung der Erfindung
-
Vor diesem Hintergrund werden ein Verfahren mit den Merkmalen des Anspruchs 1 und eine Anordnung gemäß Anspruch 11 vorgestellt. Es werden weiterhin ein Computerprogramm nach Anspruch 12 und ein maschinenlesbares Speichermedium gemäß Anspruch 13 vorgestellt. Ausführungsformen ergeben sich aus den abhängigen Ansprüchen und aus der Beschreibung.
-
Das vorgestellte Verfahren dient zum Erstellen einer Karte, die ein Bodenhöhenprofil darstellt und hierin auch als Höhenkarte bezeichnet wird.
-
Bei dem Verfahren wird der Bodenabschnitt mit mindestens einer Kamera aufgenommen. Das Verfahren umfasst die Schritte: Berechnen von Tiefeninformationen zu Punkten mindestens eines erhaltenen Bildes unter Verwendung eines Konzepts zur Tiefenbestimmung, so dass eine Karte, die Tiefeninformationen enthält, erhalten wird, Vor-Verarbeitung von Werten aus der Karte, die Tiefeninformationen enthält, zur Bewertung der Werte, Implementieren von Stixeln mit beliebigen Gradienten.
-
In Ausgestaltung werden Tiefeninformationen zu Punkten eines erhaltenen Bildes unter Verwendung eines Disparitätskonzepts, so dass eine Disparitätskarte erhalten wird, berechnet. Disparitätswerte aus der Disparitätskarte werden durch eine Vor-Verarbeitung bewertet. Dann werden Stixel mit beliebigen Gradienten implementiert.
-
Das Disparitätskonzept umfasst die Rekonstruktion der Tiefeninformationen aus mindestens zwei Bildern, die aus verschiedenen Perspektiven aufgenommen werden. Alternativ kann ein Time-of-Flight-Konzept verwendet werden. Dieses Konzept umfasst die Rekonstruktion der Tiefeninformationen aus der Laufzeit des Lichts aus einer synchronisierten Lichtquelle zum Objekt und zurück.
-
Es wird somit eine videobasierte Anordnung vorgestellt, die eine Anwendung im landwirtschaftlichen Bereich ermöglicht, wobei die Prozessqualität während der Bodenbearbeitung verbessert werden kann. Dabei kann eine Kamera verwendet werden, deren Bilder auf eine solche Weise ausgewertet werden, dass das Bodenhöhenprofil bestimmt bzw. gemessen werden kann. Somit kann in einem darauffolgenden Schritt der Pflug auf das Bodenprofil eingestellt werden.
-
Der Begriff Disparität bezeichnet im Allgemeinen ein Nebeneinander von Ungleichem und lässt sich daher auch mit den Begriffen Verschiedenheit oder Anderssein übersetzen. Im Bereich der Stereographie und daher in Zusammenhang mit Stereokameras, Stereosehen und Tiefenauswertung ist die Disparität oder auch Querdisparität, die in diesem Zusammenhang ebenfalls als Deviation bezeichnet wird, der Versatz in der Position, den das gleiche Objekt in der Abbildung auf zwei unterschiedlichen Bildebenen einnimmt. Die zu den Bildebenen gehörenden Brennpunkte sind dabei durch die Basis b räumlich voneinander getrennt. Haben beide Linsen die Brennweite f, so gilt für den Abstand r:
wobei d die Disparität bezeichnet. Der Abstand r zu einem Objekt kann somit durch eine Messung der Disparitäten im Stereobild ermittelt werden. Eine Disparitätkarte eines Stereobilds ist folglich gleichbedeutend zu einem Tiefenbild.
-
Ein Stixel stellt eine Zusammenfassung mehrerer Pixel dar, wobei Pixel bspw. mittels einer linearen Approximation zusammengefasst werden können. Dies dient vornehmlich der Reduzierung der Datenmenge.
-
Es wird somit erreicht, eine Höhenkarte zu erstellen, wozu in einer Ausgestaltung eine Kamera im Bereich der Vorderseite eines Traktors verwendet wird. In Verbindung mit einem eingesetzten EHC-System ermöglicht dies, dass der Pflug dem Bodenprofil möglichst gleichmäßig folgt, was zu einem konsistenten und gleichmäßigen Pflug-Muster führt. Zusätzlich kann die absolute Arbeitstiefe, die der Nutzer über eine geeignete Schnittstelle in der Kabine einstellen kann, gesteuert bzw. geregelt werden. Zur selben Zeit bilden das vorgestellte Verfahren und die beschriebene Anordnung die Basis für eine Automation des Arbeitsprozesses.
-
Wenn hingegen das bekannte EHC-Verfahren verwendet wird, wird die Arbeitstiefe bestimmt, indem die durchschnittliche Zugkraft auf den gesamten Pflug gemessen wird. Die mittlere Zugkraft ist jedoch nur dann proportional zu der Pflugtiefe, wenn die Dichte des Bodens während des Pflügens gleich bleibt. Zusätzlich kann das Kamerasignal verwendet werden, um die tatsächliche Fahrzeuggeschwindigkeit über Boden zu bestimmen.
-
Im Gegensatz dazu wird bei dem vorgestellten Verfahren in Ausgestaltung mit einer Kamera der Boden bzw. ein Abschnitt oder Bereich des Bodens typischerweise vor einem landwirtschaftlichen Fahrzeug erfasst. Mit dem hierin vorgestellten Verfahren wird dann die Höhenkarte des Bodens bestimmt bzw. erstellt. Somit kann ein an das Fahrzeug angekoppeltes Bearbeitungswerkzeug dem Bodenprofil folgen.
-
Das Verfahren basiert auf der Tiefeninformation bzw. Disparität und kann mit einem Monokamerasystem, basierend auf der Struktur von Bewegungsverfahren, einem Stereokamerasystem, oder einem Time-of-Flight-Kamerasystem verwendet werden. Nachfolgend wird das Verfahren in Verbindung mit Tiefendaten bzw. Disparität von einem Stereokamerasystem beschrieben, dieses ist aber nicht darauf beschränkt.
-
Ein Time-of-Flight-Kamerasystem ist ein System mit einer Kamera und einer Infrarotbeleuchtung. Bei diesem wird die Beleuchtungsintensität synchron zu der Kamera entweder pulsartig oder sinusförmig ausgestrahlt. Die Kamera nimmt dabei mehrere Bilder auf. Aus dem Verlauf der Lichtintensität über die Zeit kann auf die Laufzeit des Lichts zum Objekt und zurück geschlossen werden. Hieraus kann eine Tiefenkarte erstellt werden. Die Kamera hat hierfür einen speziellen Bildsensor.
-
Das vorgestellte Verfahren hat, zumindest in einigen der Ausführungen, eine Reihe von Vorteilen:
- - Erhöhung des Komforts,
- - Erhöhung der Prozessqualität während der Bodenbearbeitung, indem die Position bzw. Lage des Bearbeitungswerkzeugs auf das vorliegende Bodenprofil eingestellt werden kann,
- - Reduzierung der Systemkosten, indem ein teurer Radarsensor eingespart werden kann, der bislang benötigt wird, um die Geschwindigkeit über Grund zu bestimmen,
- - das Verfahren kann mit einem Monokamerasystem, basierend auf der Struktur von Bewegungsverfahren, einem Stereokamerasystem, oder einem Time-of-Flight-Kamerasystem verwendet werden.
-
Die vorgestellte Anordnung dient zum Durchführen des Verfahrens und ist bspw. in einer Hardware und/oder einer Software implementiert.
-
Auch wenn das vorgestellte Verfahren und die beschriebene Anordnung zuvor und nachstehend unter Bezugnahme auf die Zeichnungen vornehmlich in Verbindung mit einer landwirtschaftlichen Nutzfläche beschrieben wird, so sind diese nicht auf diese konkrete Anwendung beschränkt, sondern können immer dann zur Anwendung kommen, wenn eine Karte, insbesondere eine Höhenkarte, für ein Gelände erstellt werden soll.
-
Weitere Vorteile und Ausgestaltungen der Erfindung ergeben sich aus der Beschreibung und den beigefügten Zeichnungen.
-
Es versteht sich, dass die voranstehend genannten und die nachstehend noch zu erläuternden Merkmale nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar sind, ohne den Rahmen der vorliegenden Erfindung zu verlassen.
-
Figurenliste
-
- 1 zeigt in einem Flussdiagramm eine Ausführung des vorgestellten Verfahrens.
- 2 zeigt in einem Flussdiagramm eine Vorverarbeitung.
- 3 zeigt in einem Flussdiagramm einen Nachverarbeitungsschritt.
- 4 zeigt ein weiteres Flussdiagramm.
- 5 zeigt in zwei Graphen durch das vorgestellte Verfahren erhaltene Darstellungen.
- 6 zeigt in stark vereinfachter Form ein Fahrzeug mit einer Anordnung zum Durchführen des Verfahrens.
-
Ausführungsformen der Erfindung
-
Die Erfindung ist anhand von Ausführungsformen in den Zeichnungen schematisch dargestellt und wird nachfolgend unter Bezugnahme auf die Zeichnungen ausführlich beschrieben.
-
In 1 ist in einem Flussdiagramm ein möglicher Ablauf des vorgestellten Verfahrens beschrieben. In einem ersten Schritt 10 erfolgt die Erfassung eines Stereobilds. Hierbei ist zu beachten, dass die epipolare Geometrie das Verhältnis unter gleichzeitig aufgenommenen Bildern von verschiedenen Perspektiven derselben Szene beschreibt. Stereoskopie ist eine Technik, die es basierend auf der epipolaren Geometrie ermöglicht, die visuelle Rekonstruktion dieser Szene vorzunehmen, was auch die Tiefendimension umfasst. Um in der Lage zu sein, auf dem epipolaren Geometriekonzept aufzubauen, umfasst der erste Schritt 10 das Erfassen eines Paars von grauskalierten Bildern von einer Stereokamera.
-
Es ist im allgemeinen schwierig, die Kameras perfekt parallel auszurichten. Aus diesem Grund werden, sobald die Kameraprojektionmatrizen bekannt sind, deren entsprechende Bilder mathematisch abgeglichen bzw. ausgerichtet, und zwar so, als ob die Kameras ursprünglich parallel angeordnet wären. Dieser Schritt 12 wird als Bildgleichrichtung bzw. Bildrektifikation bezeichnet. Bei diesem Gleichrichtungsschritt können auch Kameralinsenverzerrungen korrigiert werden. Der Vorteil, der mit der Gleichrichtung erhalten wird, besteht darin, dass die entsprechenden Punkte in beiden Bildern direkt in derselben horizontalen Linie verfolgt werden können, was den Suchaufwand erheblich verringert.
-
Basierend auf einen gleichgerichteten Paar von Stereo-Bildern kann die Tiefeninformation der entsprechenden Punkte berechnet werden, indem das Konzept der Disparität verwendet wird. Dies erfolgt in einem dritten Schritt 14. Der Satz an Disparitäten aller Punkt für ein Paar von Stereosignalen wird als Disparitätskarte bezeichnet. Die Disparität, die erhalten wird, ist in 2 dargestellt.
-
Die Eingabeparameter für die Funktion sind die Disparitätskarte, die Anzahl von Reihen, die bspw. für einen Medianfilter verwendet wird, und eine mögliche Maske für das gültige Blickfeld. Zunächst werden die ungültigen und unzuverlässigen Disparitätswerte sowie Ausreißer erfasst. Alle Masken werden kombiniert und auf die Disparitätskarte angewendet. Um die Ergebnisse zu stabilisieren, werden die Disparitäten verarbeitet, und zwar Zeile für Zeile mit einem mit einem Median-Filter über eine vorbestimmte Anzahl an Reihen. Dieser vierte Schritt 16 wird als Vorab-Verarbeitung bezeichnet und ist detaillierter in 2 wiedergegeben.
-
In einem fünften Schritt 18 erfolgt die Implementierung der Stixel mit zusätzlichen beliebigen Gradienten.
-
In einem sechsten Schritt 20 erfolgt die Nachbearbeitung der Spalten-Stixel. Hierbei werden von unten bis oben der erste Stixel ausgefiltert, der eine vorab bestimmte relative Steigungsvariation übersteigt, falls eine solche vorliegt. Wenn ein erster ungültiger Stixel gefunden wird, werden alle nachfolgenden Stapel-Stixel ebenfalls als ungültig gekennzeichnet und ausgefiltert. Zusätzlich wird eine minimale Stixel-Länge von drei Pixeln angenommen. Dieser Schritt ist in einem Flussdiagramm in 3 detaillierter dargestellt.
-
In einem siebten Schritt
22, in dem eine dreidimensionale Rekontruktion vorgenommen wird, sind die Ecken aller erhaltenen gültigen Stixel für alle Spalten der reduzierten Disparitätskarte in der Reihenfolge, in der diese von ihrer zweidimensionalen Repräsentierung zu dreidimensionalen Koordinaten, und zwar in Metern, gewandelt sind. Dies erfolgt mittels der Disparität-zu-Tiefen-Zuordnung-Matrix Q, die wie folgt ist:
wobei b die Stereokamera-Grundlinie ist, f die Brennweite ist, c
x und c
y die Raumkoordinaten-Ursprünge in einem Basisbild sind und c'
x die jeweilige x-Koordinate des zweiten Bilds bezüglich der Basis eins ist, c'
y = c
y, da alle Bilder bereits gleichgerichtet sind.
-
Für alle Stixel ist jeder der Eckpunkte durch einen zweidimensionalen Bildraum repräsentiert, wie:
wobei u und v jeweils die horizontalen und vertikalen Eckkoordinaten der Stixel sind, d die Disparität ist, die durch die lineare Gleichung der entsprechenden Stixel berechnet wird.
-
Indem Q und p multipliziert werden, wird die folgende dreidimensionale Raumrepräsentierung für jeden Eckpunkt p erhalten durch:
-
Da alles in homogenen Koordinaten vorliegt, werden die dreidimensionalen Punkte (X, Y und Z) schließlich erhalten durch:
-
Anschließend wird die erhaltene dreidimensionale Punktewolke bzgl. der Kameraausrichtung rotiert. Der beschriebene siebte Schritt ist in 4 in einem Flussdiagramm dargestellt.
-
Die Erfassung des nicht traversiblen bzw. durchquerbaren Bereichs oder freien Raums in einem achten Schritt 24 basiert auf einer polaren Repräsentation des Belegungsgitters. Jede Zelle in dem Belegungsgitter hat einen Wert, der den Belegungszustand dieser Zelle repräsentiert. Ein belegter Ort wird als wahr repräsentiert, ein freier Ort wird als falsch repräsentiert und ein unbekannter Status der Zelle wird in der Figur mit Grau repräsentiert, siehe hierzu 5.
-
In einem neunten Schritt 26 werden Startpunkte und Endpunkte der Stixel als Scheitelpunkte des Erhebungsgitters verwendet. Dieses Gitter repräsentiert das Gelände bzw. Terrain. Die Scheitelpunkte können durch verschiedene Verfahren miteinander verbunden werden. Ein Beispiel ist die Delauny-Triangulierung, die ein bekanntes Verfahren im Bereich der Geodäsie darstellt, da die gebildete Oberflächenelement-Verteilung gleichmäßig im Sinne des Geländemodellierens ist. Eine weitere Methode könnte durch das Angleichen mit Dreiecken gegeben sein, was ermöglicht, das nur unmittelbar benachbarte Stixel miteinander verbunden werden.
-
Der erste Schritt besteht darin, die Scheitelpunkte in der x-y-Ebene miteinander zu verknüpfen, wobei die zuvor genannten Algorithmen verwendet werden. Anschließend werden die Scheitelpunkte wieder mit den entsprechenden z-Koordinaten ergänzt. Das Ergebnis ist in 5, auf der rechten Seite gezeigt.
-
2 zeigt in einem Flussdiagramm den Vorab-Verarbeitungsschritt in den Algorithmus. In einem ersten Schritt 50 werden das Maskensichtfeld 52, die generische Vertrauensmaske 54 und die minimale und maximale Disparitätsmaske 56 miteinander verknüpft. Anschließend werden in einem Schritt 58 Ausreißer eliminiert, bspw. mit einer morphologischen Methode.
-
Anschließend wird die Maske in einem Schritt 60 auf die Disparität eingewendet. Abschließend wird in einem Schritt 62 reihenweise ein Medianfilter durch eine vorab bestimmte Anzahl von Pixeln angewendet.
-
Die 2 zeigt weiterhin unten auf der linken Seite eines von den beiden Stereobildern 70, in der Mitte eine Disparitätsdarstellung 72 und auf der rechten Seite das Ergebnis des Verarbeitungsschrittes 74. Die Abbildung zeigt eine Maske als Ergebnis der Vorverarbeitung. Mit weißer Farbe sind hier ungültige Pixel markiert.
-
3 zeigt in einem Flussdiagramm den Nacharbeitungsschritt in einem Algorithmus. Es wird die Größe n = 0 eingegeben und in einen ersten Schritt 100 der Stixel Nummer n betrachtet.
-
Anschließend wird in einem Schritt 102 überprüft, ob die minimale Länge erreicht ist. Ist dies nicht der Fall, so erfolgt (Pfeil 120) ein Sprung zu Schritt 110. Ist dies der Fall, so erfolgt in einem nächsten Schritt 104 ein Überprüfen, ob eine Steigungsvariation innerhalb eines minimalen und maximalen Bereichs ist. Ist dies nicht der Fall, so erfolgt wiederum (Pfeil 122) ein Sprung zu Schritt 110. Ist dies der Fall, so erfolgt in einem Schritt 106 ein Speichern des Pixels als gültig. Anschließend wird in einem Schritt 108 überprüft, ob weitere Pixel in der Spalte sind. Ist dies der Fall, so wird die Variable n + 1 gesetzt und es erfolgt ein Rückschritt (Pfeil 124) zu Schritt 100. Sind keine weiteren Stixel in der Spalte, so erfolgt ein Übergang zu Schritt 110, bei dem zu der nächsten Spalte gegangen wird. Anschließend erfolgt ein Sprung (Pfeil 126) zu Schritt 100.
-
4 zeigt in einem Flussdiagramm die dreidimensionale Rekonstruktion der Höhenkarte.
-
Eingangsgrößen sind die lineare Gleichung der Stixel 150, die Kamera-Kalibrierung Q 152 und die Kamera-Orientierung 154. Anhand der linearen Gleichung 150 werden die Start- und Endpunkte in einem Schritt 160 erhalten. Dann erfolgt in einem Schritt 162 die dreidimensionale Rekonstruktion.
-
Der Anfangs- und Endpunkt eines Stixels werden durch eine Multiplikation mit der Kalibrierungsmatrix Q in die dreidimensionale Welt projiziert. Die so gewonnenen zwei dreidimensionalen Punkte werden anhand der Orientierung der Kamera in das Koordinatensystem der Maschine bzw. des Traktors transformiert.
-
5 zeigt in einem ersten Graphen 200 einen Bodenabschnitt 202 in einem sogenannten Belegungsraster bzw. -gitter zur Verdeutlichung nicht passierbarer Bereiche, wobei mit weiß freie Bereiche, mit schwarz belegte Bereiche und mit grau (schraffiert) unbekannte Bereiche dargestellt sind.
-
Ein zweiter Graph 210 zeigt den Bodenabschnitt 202 in einem Höhenraster bzw. -gitter.
-
6 zeigt in stark vereinfachter Form ein Bearbeitungsfahrzeug 300, in dem eine Anordnung 302 zur Durchführung des Verfahrens vorgesehen ist. Diese Anordnung 302 ist mit einer ersten Kamera 304 und einer zweiten Kamera 306 verbunden, die jeweils Bilddaten 310, 312, die wiederum von einer Recheneinheit 314 verarbeitet werden, wie dies hierin beschrieben ist. Hierzu kann auch ein Median-Filter 316 verwendet werden. Als Ergebnis der Bearbeitung wird eine Höhenkarte 318 erhalten.
