-
Die vorliegende Erfindung betrifft allgemein ein Verfahren zur Navigation für Transportfahrzeuge, und insbesondere ein Verfahren zur bildgestützten Navigation für autonome und halbautonome Transportfahrzeuge.
-
Stand der Technik
-
Aus dem Stand der Technik sind zahlreiche Systeme bekannt, die sich zum Ziel gesetzt haben, eine autonome Navigation für Transportfahrzeuge zu ermöglichen.
-
So z. B. beschreiben T. Lietmann, B. Lohmann in ”Image-Based Visual Servoing zur autonomen Navigation einer mobile Plattform” – at – Automatisierungstechnik 51 (2003), Seite 86 bis 95, ein Fahrzeug, insbesondere einen Rollstuhl, der ausgebildet ist, autonom zu navigieren. Die autonome Navigation basiert auf Image-Based Visual Servoing (IBVS), wobei der Rollstuhl aufgrund von visuellen Informationen bewegt werden soll, wobei die Stellgröße für die Navigation des Rollstuhls allein und direkt aus der Bildinformation der Kamera (d. h. ohne Berechnung der absoluten Lage im Weltkoordinatensystem) berechnet wird. Diese bekannte autonome Navigation gemäß T. Lietmann, B. Lohmann unterscheidet sich von einem System, das Visual Servoing (VS) dahingehend verwendet, dass in dem VS-System Bilder in einem geschlossenen Regelkreis fortlaufend aufgezeichnet werden und dass das Fahrzeug aufgrund der gewonnenen Bildinformation bewegt wird, bis die gestellte Aufgabe erfüllt wird. Somit erfolgt gemäß dem bekannten VS-System eine Berechnung der absoluten Lage des Fahrzeugs im Weltkoordinatensystem.
-
Gemäß T. Lietmann, B. Lohmann soll der Rollstuhl mittels IBVS in eine relative Lage bezüglich einer Landmarke navigieren, was allein durch Auswertung von Abweichungen im Kamerabild und ohne Bestimmung der Landmarkenposition im Weltkoordinatensystem geschieht. Dies wird mit Hilfe des von T. Lietmann, B. Lohmann vorgestellten 3D-VS erreicht, das eine Erweiterung des herkömmlichen 2D-VS darstellt, indem die Entfernung zwischen Kamera und Landmarke mit in die bildbasierte Regelung einbezogen wird. Der visuelle Regler wird dabei durch eine unterlagerte Trajektorienfolgeregelung unterstützt, welche die Fahrt des Rollstuhls überwacht. Zusätzlich wird die Kamera drehbar auf einem Schwenk-Neige-Kopf gelagert, sodass die Landmarke während der Fahrt im Kamerabild gehalten werden kann.
-
Der Ansatz von T. Lietmann, B. Lohmann sieht eine Planung der Trajektorien des Fahrzeugs bzw. des Rollstuhls zu einem Zielobjekt vor, wobei die Planung jedoch keine Hindernisse berücksichtigt. Dabei werden aus einem Bild einer Kamera mittels 3D-VS Parameter eines bekannten, jedoch künstlichen Musters ermittelt. Anschließend wird in einer Art Erkennung eine Ziel-Lage für die Kamera (und damit das Fahrzeug bzw. den Rollstuhl) berechnet. Diese Ziel-Lage wird, wie im Abschnitt 4 (Docking-Manöver mittels Visual Servoing) ff. der Publikation von T. Lietmann, B. Lohmann erläutert, mit jedem neuen Bild neu ausgerechnet und damit wird die Planung in jedem Schritt ebenfalls geändert, was den Rechenaufwand dieses Ansatzes aus dem Stand der Technik erheblich kompliziert.
-
Darüber hinaus sind NDC-Sensoren der Firma Netzler & Dahlgren Co AB Schweden für die autonome Navigation bekannt, die mit rotierenden Laser-Scannern arbeiten und die Messungen in einem Raum anhand von im Raum verteilten Reflektormarken durchführen. Ein mit einem NDC-Sensor verbundener Steuerungsrechner wird mit einem festen Plan bereitgestellt, um eine bestimmte Position zu erreichen. Dieser Plan wird von einem Regler abgefahren. Der Plan bleibt konstant, nur die Ist-Position des mit dem NDC-Sensor ausgestatteten Fahrzeugs wird ständig korrigiert. Letztere Lösung bietet keine ausreichende Flexibilität und geht mit einem erheblichen technischen Aufwand einher.
-
Aus der
EP 0 800 129 A1 ist ein Gegengewichts-Gabelstapler, der wahlweise manuell oder automatisch betreibbar ist und mit einen Fahrantrieb, mit einer Lenkung, mit einer Bremsanlage und mit einer Gabel zur Handhabung von Paletten und darauf befindlichen Lasten versehen ist, wobei für den manuellen Betrieb der Fahrantrieb durch ein manuell erzeugtes Geschwindigkeitssignal steuerbar, die Lenkung manuell betätigbar und die Gabel manuell bedienbar ist, wobei der Gabelstapler für den automatischen Betrieb mit einem in Wirkverbindung mit dem Fahrantrieb, der Lenkung, der Bremsanlage und der Bewegungssteuerung der Gabel bringbaren Steuersystem ausgestattet ist, das Mittel zum Eingeben und Speichern von möglichen Fahrtrouten und einer Transportaufgabe, Mittel zum autonomen Bestimmen der Fahrzeugposition im Raum, Mittel zur Steuerung der Bewegung des Fahrzeugs in Abhängigkeit von dessen Position im Raum und von der vorgegebenen Transportaufgabe, Mittel zum Erkennen des Vorhandenseins, der Position und der Ausrichtung einer Palette, Mittel zur Steuerung der Bewegung der Gabel oder des Fahrzeugs in Abhängigkeit von der Position, der Ausrichtung der Palette und der Transportaufgabe und Mittel zum Abbremsen des Fahrzeugs beim Vorhandensein von Hindernissen aufweist. Die Mittel zum autonomen Bestimmen der Fahrzeugposition im Raum enthalten eine Odometrieanlage und eine Bildverarbeitungsanlage mit einer Navigationskamera. Die Lösung der
EP 0 800 129 ist auch relativ aufwendig und gestattet zudem keine ausreichende Genauigkeit.
-
Aus der
EP 0 766 846 B1 ist ein Verfahren zur Orientierung, Fahrwegplanung und Steuerung einer autonomen mobilen Einheit bekannt, wobei eine Fahrwegplanung anhand von Landmarken erfolgt, die nacheinander entlang des Fahrwegs angefahren werden.
-
Daher ist es eine Aufgabe der vorliegenden Erfindung ein Verfahren zur Navigation für Transportfahrzeuge, und insbesondere ein Verfahren zur bildgestützten Navigation für autonome und halbautonome Transportfahrzeuge zu schaffen, das die Nachteile aus dem Stand der Technik beseitigt und eine zuverlässiges, einfach implementierbares Verfahren zur Verfügung stellt.
-
Eine zusätzliche Aufgabe der vorliegenden Erfindung besteht in der Bereitstellung eines Verfahrens zur Navigation für Transportfahrzeuge, und insbesondere eines Verfahrens zur bildgestützten Navigation für autonome und halbautonome Transportfahrzeuge, das bei guter Genauigkeit an neue, unterschiedliche Umgebungen ohne weiteres anpassungsfähig ist.
-
Zusammenfassung der Erfindung
-
Diese und weitere der nachstehenden Beschreibung zu entnehmenden Aufgaben werden von einem Verfahren zur Navigation für Transportfahrzeuge gemäß Anspruch 1 gelöst. Weitere vorteilhafte Ausgestaltungen der vorliegenden Erfindung werden in den Unteransprüchen angeführt.
-
Weitere Merkmale und Vorteile der vorliegenden Erfindung sowie die Wirkungsweise verschiedener Ausführungsformen der vorliegenden Erfindung werden unten mit Bezug auf die nachstehende Beschreibung verständlich. Dabei dient die Beschreibung dazu, die Grundsätze der Erfindung zu erklären und einem Fachmann auf dem betreffenden Gebiet zu ermöglichen, die Erfindung zu verwenden und keineswegs dazu, ihren Schutzumfang zu beschränken.
-
Beschreibung der bevorzugten Ausführungsformen
-
In ihrer allgemeinsten Ausgestaltung betrifft das nachfolgend beschriebene Verfahren ein Verfahren zum Navigieren eines Transportfahrzeugs, beispielsweise eines Gabelstaplers oder Lastkraftwagens (LKWs), und zum Arbeiten in Nischen, Gassen, Containern, Waggons, LKWs, Trailer, wobei das Verfahren an einer bekannten Position des Transportfahrzeugs eine Analyse einer Szene durchführt, die Objekte und Freiräume in der Szene erkennt, eine Objektauswahl in Übereinstimmung mit einem Auftrag trifft, einen zugehörigen Dockingvektor berechnet, einen Weg zum Objekt durch den Freiraum plant, wobei das Transportfahrzeug die 2D-spezifischen Objektmerkmale im Wesentlichen kontinuierlich erfasst und den dazu relativen Ort geplant ansteuert. Dabei wird das ausgewählte Objekt als Landmarke benutzt. Der Auftrag betrifft insbesondere eine Lade-/Entladetätigkeit.
-
Es ist auch möglich, dass mehrere Objekte in der Szene ausgewählt werden, wobei nur eines das Zielobjekt des Dockingvektors ist, so dass die übrigen Objekte als Landmarken auf dem Weg zum Zielobjekt verwendet werden. Dieser Ansatz bietet Vorteile für den Fall, dass das Zielobjekt während der Fahrt des Transportfahrzeugs entlang des durch den Dockingvektor bestimmten Wegs schlecht ”einsehbar” ist.
-
Darüber hinaus ist es möglich, im Raum verteilte Reflektormarken, wie von den NDC-Sensoren der Firma Netzler & Dahlgren Co AB Schweden bekannt, als Landmarken auf dem Weg zum Zielobjekt zu verwenden oder solche Reflektormarken in Kombination mit Landmarken zu verwenden, die auf die übrigen erfassten Objekte der Szene basieren.
-
Nach dem Abstellen/Aufnehmen des transportierten Gegenstands fährt das Transportfahrzeug in gleicher Weise zu der absolut bekannten, ursprünglichen Position oder zu einer weiteren angegebenen Position zurück.
-
Das beschriebene Verfahren bietet besondere Vorteile, wenn es zusätzlich zu den vorstehenden Schritten sicherstellt, dass das Transportfahrzeug sich an seitlichen Begrenzungen oder Objekten sensorisch orientiert und ausgeregelt wird und dass die Orientierung beidseitig, links, rechts gewählt werden, so dass das Fahrzeug dadurch in langen Gassen über den sensorischen Sichtbereich hinaus fahren kann und auf die gleiche Weise zurückkehrt. Auf diese Weise ermöglicht das erfindungsgemäße Verfahren weiter entfernte und nicht unmittelbar sichtbare Lasten oder Abstellorte anzufahren und dort Lasten aufzunehmen oder abzustellen, ohne dabei die Abmessungen der Ladefläche zu kennen.
-
Ausführlicher erläutert wird erfindungsgemäß ein Verfahren zur Navigation für Transportfahrzeuge, und insbesondere ein Verfahren zur bildgestützten Navigation für autonome und halbautonome Transportfahrzeuge bereitgestellt, zum Navigieren und Arbeiten in Nischen, Gassen, Containern, Waggons, LKWs, Trailer, wobei das Transportfahrzeug an einer ihm bekannten Position eine Szenenanalyse anhand von komplexen, umfangreichen 3D-Entfernungsdaten durchführt. Dabei werden das Objekt bzw. die Objekte und Freiräume erkannt, die dem Auftrag gemäße Objektauswahl eines Zielobjekts getroffen, der zugehörigen Dockingvektor berechnet und ein Weg zu einem Zielobjekt durch den Freiraum geplant.
-
Wie vorstehend erläutert, können mehrere Objekte in der Szene ausgewählt werden, wobei nur eines das Zielobjekt des Dockingvektors ist, so dass die übrigen Objekte als Landmarken auf den Weg zum Zielobjekt verwendet werden. Darüber hinaus ist es möglich, im Raum verteilte Reflektormarken als Landmarken auf dem Weg zum Zielobjekt (Viapunkte) zu verwenden oder solche Reflektormarken in Kombination mit Landmarken zu verwenden, die auf die erfassten Objekte der Szene basieren.
-
Nach einer initialen komplexen Erkennung des Zielobjektes wird der Weg des Transportfahrzeugs, der in die gewünschte Dockingposition führt, unter der Annahme geplant, dass die Relativposition des Transportfahrzeugs zum Zielobjekt ausreichend genau gemessen worden ist. Abweichungen oder Veränderungen gegenüber der Initialen Erkennung können während der Anfahrt zum Zielobjekt ausgeregelt werden.
-
Danach werden mittels einfacherer Sensorik und Verarbeitung ausreichend einfache 2D oder 3D-Merkmale der zuvor erkannten Objekte erfasst, daraus während der Weiterfahrt zyklisch neue Positionsinformation des Transportfahrzeugs errechnet und diese benutzt, um den zuvor erstellten Plan zum Erreichen des Zielobjekts auszuführen, ohne auf eine weitere Positionierungseinrichtung angewiesen zu sein. Im Verlauf der Annäherung an das Zielobjekt können sich dabei die ”im Auge behaltenen” Merkmale ändern oder neue Merkmale sichtbar werden bzw. wegfallen. Diese Merkmalsänderungen werden bei der Optimierung der Regelung mit berücksichtigt. Nach Abstellen/Aufnehmen einer Last fährt das Fahrzeug in gleicher Weise zu einer absolut bekannten Position zurück.
-
Der geplante Weg wird von einem Regler abgefahren, wobei ständig die neuen vereinfachten Erkennungen erfolgen, mit deren Hilfe eine Ist-Position des Fahrzeuges durch den Regler korrigiert wird. Dadurch kommt das Transportfahrzeug am Ende des geplanten Pfades in der gewünschten Position relativ zum Objekt an.
-
Anschließend, nach Durchführung der Lade-/Entladetätigkeit, fährt das Transportfahrzeug entlang des geplanten Wegs in gleicher Weise in seine Ursprungsposition oder in eine andere vorgegebene Position zurück.
-
Grundsätzlich beruht die vorliegende Erfindung auf der Erkennung von in den Sensordaten enthaltenen Objekten oder Merkmalen, aus denen dann direkt durch Koordinatentransformationen eine relative Positionsinformation für den Sensor (und damit für das Transportfahrzeug) berechnet werden kann.
-
Das Verfahren gemäß der vorliegenden Erfindung umfasst eine 2-stufige modellbasierte Erkennung von mindestens einer natürlichen Landmarke, wobei zusätzlich weitere natürliche und/oder nicht natürliche Landmarken (z. B. Reflektormarken) eingesetzt werden können. Anders ausgedrückt, umfasst das erfindungsgemäße Verfahren eine komplexe 3D-Szenenanalyse und eine schnelle 2D/3D echtzeitfähige zyklische Erkennung und Verfolgung von ausgewählten Objekten oder Merkmalen zum Steuern/Regeln eines autonomen oder halbautonomen Transportfahrzeugs. Die schnelle 2D/3D echtzeitfähige zyklische Erkennung und Verfolgung findet dabei während der Bewegung des Transportfahrzeugs, insbesondere mit der jeweiligen Sollgeschwindigkeit, statt.
-
Erfindungsgemäß kann ein 3D-Sensor für die komplexe 3D-Szenenanalyse und ein weiterer Sensor zum Tracken für die schnelle 2D/3D echtzeitfähige zyklische Erkennung und Verfolgung bereitgestellt werden.
-
Aus den erkannten Objekten bzw. ihrer 3D-Modelle sind die gewünschten Merkmale für das schnelle Tracken abrufbar und nutzbar.
-
In einer nicht zur Erfindung gehörenden Ausführungsform kommt nur ein 3D-Sensor im Verfahren zum Einsatz. Dieser kann zur 3D-Messung scannend betrieben werden und anschließend mit einstellbarer oder nachführender Winkeleinstellung zum Tracken eingesetzt werden.
-
Eine weitere, nicht zur Erfindung gehörende, Lösung besteht in der Bereitstellung des einzigen 3D-Sensors als ausschwenkbaren Sensor (falls es sich bei dem Transportfahrzeug um einen LKW handelt, z. B. am LKW hinten) und zwar schwenkend für die 3D-Messung und dann mit einer nachführbaren Winkeistellung, bzw. mit kleinem Winkel schwingend zum Tracken. Es ist auch denkbar, den Sensor erst als 3D-Sensor und dann als verfahrbaren Sensor mit einem beweglichen Lastmittel und relativ dazu oder beide wahlweise zu betreiben.
-
Wenn das Verfahren sicherstellen soll, dass das Transportfahrzeug sich an seitlichen Begrenzungen oder Objekten sensorisch orientiert und ausgeregelt wird und dass die Orientierung beidseitig, links, rechts gewählt werden, um z. B. LKW Ladeflächen zu befahren, können weitere seitlich am Transportfahrzeug angeordnete Sensoren, wie beispielsweise in der
EP 0 800 129 A1 gezeigt, bereitgestellt werden.
-
Die Verarbeitung der Signale des Sensors bzw. der Sensoren erfolgt auf eine für den Fachmann bekannten Weise und wird hier nicht weiter erläutert.
-
Nach einem vorteilhaften Aspekt der vorliegenden Erfindung können die zu trackenden Merkmale (oder Landmarken) objektbezogen aus der Szenenanalyse bestimmt, in Abhängigkeit der Objektposition (oder Landmarkenposition) nach Regeln automatisch gewählt werden. Die zu trackenden Merkmale (Landmarken) können im Laufe der Annäherung objektbezogen aus der Szenenanalyse, der daraus ermittelten Objektposition und der erreichten Transportfahrzeug-Position umgeschaltet werden, um beispielsweise die beste ”Sicht” auf eine Landmarke zu erlangen. Somit kann die Umschaltung in Abhängigkeit von sich ändernden Transportfahrzeug/Sensor-Positionen erfolgen. Der Sensor kann nachgeführt werden.
-
Das erfindungsgemäße Verfahren hat vielerlei Anwendungen und kann beispielsweise für autonome Transportfahrzeuge in engen Gassen, Blocklagern, LKWs usw. eingesetzt werden. In autonomen Anwendungen fährt das Transportfahrzeug fahrerlos, so dass das Verfahren gemäß der Erfindung die komplette Steuerung übernimmt, wohingegen in halbautonomen Anwendungen das Verfahren als Assistenzfunktion für Fahrer in den engen Bereichen wirkt. Halbautonome Assistenzfunktionen unterstützen den Fahrer beispielsweise beim Aufnehmen oder Ablegen von Lasten, beim Einfahren oder Ausfahren aus engen Gassen oder beim Unterfahren oder Andocken an Zielobjekte, wie z. B. LKW Auflieger/Anhänger oder Laderampen.
-
Im Zusammenhang mit dem erfindungsgemäßen Verfahren können auch weitere Objekte erkannt werden, welche nicht das Zielobjekt sind. Hierbei kann es sich beispielsweise um weitere Objekte handeln, welche als natürliche Landmarken genutzt werden. Falls das Zielobjekt nicht sichtbar ist, können weitere Objekte in besonders vorteilhafter Weise als Zwischenziel genutzt werden. Hierbei orientiert sich das Transportfahrzeug relativ zu den Objekten/Landmarken, welche ein Zwischenziel beschreiben. Dabei ist es weiterhin vorteilhaft, wenn die Schritte des Navigationsverfahrens zumindest teilweise mehrfach durchgeführt werden. Falls das Zielobjekt nicht sichtbar ist, kann wenigsten ein Zwischenziel definiert sein. Es können aber auch mehrere Zwischenziele berücksichtigt werden, wobei sodann für jedes Zwischenziel das zweistufige Verfahren erneut durchgeführt wird. Jede Zielposition eines Zwischenziels ist Ausgangspunkt für das darauf folgende Zwischenziel, das Verfahren wird solange fortgesetzt, bis das Zielobjekt erreicht ist. Es ist hierbei ein fließender Übergang von einer Zielposition relativ zu einem Zielobjekt zu einer weiteren Zielposition relativ zum gleichen oder zu einem weiteren Zielobjekt möglich. Das Verfahren kann hierbei sowohl autonom als auch halbautonom ablaufen.