DE102005008874A1

DE102005008874A1 - Bedien- und Anzeigekonzept für die Bildgestützte Navigation bei Fahrzeugen

Info

Publication number: DE102005008874A1
Application number: DE102005008874A
Authority: DE
Inventors: Roland Claus Dipl.-Ing. Stahn; Andreas Dr.-Ing. Stopp
Original assignee: DaimlerChrysler AG
Current assignee: Goetting Kg De
Priority date: 2005-02-24
Filing date: 2005-02-24
Publication date: 2006-09-07

Abstract

Bei Fahrzeugen herrschen insbesondere im Zusammenhang mit Einparkmanövern oder beim Rangieren häufig unübersichtliche Situationen vor, welche der Fahrer ohne Zuhilfenahme umgebungserfassender Sensorik oder zusätzlicher Hilfe von außen, z. B. durch Personen, kaum zu bewältigen sind. Es wird deshalb ein Verfahren und eine Vorrichtung zur bildgestützten Navigation bei Fahrzeugen vorgeschlagen. Hierbei werden Umgebungsinformationen erfasst, diese auf einer optischen Anzeige (1) im Fahrzeuginnenraum oder auf einer tragbaren optischen Anzeige dargestellt und anhand der dargestellten Informationen sodann eine Zielposition angefahren. Aufgrund einer Benutzereingabe wird dabei wenigstens ein anzufahrendes Zielobjekt (2) oder wenigstens eine Zielregion (5) auf der optischen Anzige (1) ausgewählt, eine zum Zielobjekt (2) oder zur Zielregion (5) führende geeignete Zieltrajektorie (8) ermittelt und dann das Zielobjekt (2) oder die Zielregion (5) sowie die ermittelte Zieltrajektorie (8) auf der optischen Anzeige (1) hervorgehoben dargestellt. Nach einer sich anschließenden Bestätigung der ermittelten Zieltrajektorie (8) durch den Benutzer auf der optischen Anzeige (1) wird schließlich die Zielposition angefahren.

Description

Die Erfindung betrifft ein Verfahren für die optische Anzeige und Bedienung einer Bildgestützten Navigation bei Fahrzeugen sowie eine Vorrichtung zur Verwendung des Verfahrens zur Bildgestützten Navigation bei Fahrzeugen.
Moderne Fahrzeuge werden mit umgebungserfassenden Sensoren ausgestattet, um den Fahrer in schwierigen Situationen zu unterstützen. Sowohl bei Pkws als auch bei Lkws herrschen insbesondere bei Einparkmanövern oder beim Rangieren häufig unübersichtliche Situationen vor, welche durch den Fahrer ohne Zuhilfenahme derartiger Sensorik oder zusätzlicher Hilfe von außen, z.B. durch Personen, kaum zu bewältigen sind. Beispielsweise sind aus dem Stand der Technik Einparkassistenten bekannt, welche den Fahrer beim Einparken interaktiv unterstützen, indem die Einparksituation dynamisch auf einem Display im Fahrzeuginnenraum dargestellt wird.
In der DE 10261176A1 werden ein Verfahren und eine Vorrichtung zur Unterstützung des Fahrers bei einem Einparkmanöver angegeben. Die Vorrichtung umfasst dabei ein Umgebungserfassungsmittel, ein Mittel zur Ermittlung einer Einparkstrategie und ein Informationsmittel zur Ausgabe von Anweisungen an den Fahrer. Zusätzlich ist eine optische Anzeige vorhanden, auf welcher eine optimale Sollposition, welche das Fahrzeug in der Parklücke einnehmen soll, sowie ein erstes und ein zweites Fahrzeug dargestellt sind. Bei dem ersten Fahrzeug handelt es sich dabei um das Fahrzeug in der aktuellen Position und bei dem zweiten Fahrzeug um das Fahrzeug in einer voraussichtlich über den Lenkwinkel variierbaren Zielposition. Bei stehendem Fahrzeug wird der Fahrer aufgefordert das Lenkrad zu drehen, wodurch die Position des zweiten Fahrzeugs und der Verlauf der Zieltrajektorie auf der optischen Anzeige verändert werden. Der Fahrer erhält dabei Anweisungen in welcher Richtung er das Lenkrad drehen muss, sodass sich das zweite Fahrzeug in der optimalen Sollposition befindet.
In der DE 10250021A1 wird ein Darstellungssystem in einem Fahrzeug zum Auffinden eines Parkplatzes gezeigt. Dabei werden die mittels einer Kamera erfassten Umgebungsinformationen dem Fahrer auf einer optischen Anzeige im Fahrzeug dargeboten. In den angezeigten Bildern wird bei Vorhandensein eines Parkplatzes ggf. ein maßstäbliches Parksymbol eingeblendet. Bei dem Parksymbol handelt es sich insbesondere um Markierungen, welche die Parkflächenbegrenzungen auf dem Fahrweg anzeigen. Dem Fahrer werden diejenigen Parkplätze angezeigt, welche er unter Berücksichtigung der Fahrzeugeigenschaften und Fahrzeuggröße ausgehend von der aktuellen Position erreichen kann. Während des Einparkvorgangs werden Lenkanweisungen ausgegeben, welche in Abhängigkeit der aktuellen Lenkstellung dynamisch angepasst werden. Eine Korrektur der vorgegebenen Lenkanweisungen auf der optischen Anzeige findet dabei nicht statt.
Der Erfindung liegt die Aufgabe zu Grunde, ein Verfahren für die optische Anzeige und Bedienung einer Bildgestützten Navigation bei Fahrzeugen sowie eine Vorrichtung zur Verwendung des Verfahrens zur Bildgestützten Navigation bei Fahrzeugen zu schaffen, womit es dem Fahrer möglich wird, Zielobjekte aufzufinden und diese sodann schnell und präzise anzufahren.
Die Aufgabe wird gemäß der Erfindung durch ein Verfahren und eine Vorrichtung mit den Merkmalen der Patentansprüche 1 und 11 gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung werden in den Unteransprüchen aufgezeigt.
Gemäß der Erfindung wird eine Vorrichtung und ein Verfahren für die optische Anzeige und Bedienung einer Bildgestützten Navigation bei Fahrzeugen eingesetzt. Die Vorrichtung umfasst wenigstens einen Bildsensor, eine optische Anzeige, ein Eingabemittel zur Auswahl von anzufahrenden Zielobjekten oder Zielregionen, eine Rechnereinheit sowie ein Eingabemittel zur Bestätigung und/oder Korrektur von Zieltrajektorien. Mit dem erfindungsgemäßen Verfahren werden Umgebungsinformationen erfasst und auf einer optischen Anzeige dargestellt, wobei mit Hilfe der dargestellten Umgebungsinformationen sodann eine Zielposition angefahren wird. In einer erfinderischen Weise wird hierzu aufgrund einer Benutzereingabe wenigstens ein anzufahrendes Zielobjekt oder wenigstens eine anzufahrende Zielregion auf der optischen Anzeige ausgewählt. Anschließend wird eine geeignete, zum Zielobjekt oder zur Zielregion führende Zieltrajektorie ermittelt. Die ermittelte Zieltrajektorie wird sodann auf der optischen Anzeige dargestellt, wobei nach erfolgter Bestätigung der Zieltrajektorie durch den Benutzer die Zielposition angefahren wird. Durch den Einsatz des erfindungsgemäßen Verfahrens und der erfindungsgemäßen Vorrichtung wird es für den Fahrer dabei selbst bei komplexen Fahrwegen möglich, Zielobjekte zuverlässig aufzufinden und diese sodann schnell und präzise anzufahren. Im Gegensatz zu Parkanwendungen bei Pkws, wobei vergleichsweise einfache Trajektorien zurückgelegt werden, müssen insbesondere im Zusammenhang mit LKWs beim Rangieren oder Ankuppeln an Anhänger bzw. Auflieger oder beim Rückwärtsfahren mit Anhänger oder Auflieger komplexe Trajektorien zurückgelegt werden, wodurch hohe Anforderungen an den Fahrer gestellt werden. Mit der Erfindung wird der Fahrer bei dieser Aufgabe auf zuverlässige Weise interaktiv unterstützt und weitestgehend entlastet.
In einer besonders gewinnbringenden Weise kann die Darstellung der Zieltrajektorie auf der optischen Anzeige jederzeit durch den Benutzer korrigiert werden. Die Zieltrajektorie wird dabei in die mittels des Bildsensors gewonnene Bildszene der Umgebung integriert oder überlagert. Die Darstellung von Bildszenen erfolgt hierbei auf der optischen Anzeige entweder in einer 2D-Darstellung beispielsweise in der Form einer Draufsicht oder perspektivisch in einer 3D-Darstellung. Es besteht die Möglichkeit, die angezeigte Bildszene beispielsweise aufgrund von Benutzervorgaben manuell oder automatisch anhand der Blickrichtung des Fahrers anzupassen, insbesondere in deren Position, Orientierung und Skalierung anzupassen. Zur Anpassung der Darstellung durch den Fahrer umfasst die optische Anzeige oder die Vorrichtung ein geeignetes Bedienelement. Die Zieltrajektorie wird beim Integrieren oder Überlagern in der Bildszene hervorgehoben dargestellt, beispielsweise farblich hervorgehoben. Die Zieltrajektorie kann dabei gleichsam der Bildszene in einer 2D-Darstellung oder 3D-Darstellung erfolgen. Im Zusammenhang mit der Erfindung hat es sich dabei besonders bewährt, zusätzlich einen Maßstab in die angezeigte Bildszene einzublenden. Der Fahrer kann damit Objektgrößen und Abstände schnell und sicher erfassen und somit beispielsweise mögliche Kollisionen rechtzeitig erkennen. Die Zieltrajektorie beschreibt dabei die Fahrbewegung zwischen dem Ausgangspunkt des Fahrzeugs und einem anzufahrenden Zielobjekt oder Zielregion und wird im einfachsten Fall durch wenigstens eine Gerade mit einem Anfangs- und Endpunkt definiert. Zusätzlich oder alternativ können im Zusammenhang mit der Erfindung aber auch kurvenförmige Zieltrajektorien definiert sein. Beispielsweise sind aus gängigen Computergrafikprogrammen dazu Bézier-Kurven, Spline-Funktionen und Nurbs bekannt. Derartige Darstellungsformen einer Zieltrajektorie können auf einfache Weise durch den Fahrer korrigiert werden. Beispielsweise mittels eines geeigneten Eingabegeräts auf der optischen Anzeige, ähnlich wie dies bei der Bedienung eines Computergrafikprogramms mittels einer am Computer angeschlossenen Maus der Fall ist. Beispielsweise können durch den Fahrer die Anfangs- und/oder Via- und/oder Endpunkte einzelner Trajektorien korrigiert werden, zuvor definierte Trajektorien gelöscht oder neue Trajektorien hinzugefügt werden. Beispielsweise können Trajektorien verändert werden, indem diese mittels des Eingabemittels auf der optischen Anzeige gezogen oder angetippt und gezogen werden, was einer Änderung der Viapunkte entspricht. Außerdem ist es möglich, insbesondere zum Zweck des Rangieren, Wendepunkte zu setzten oder diese zu verändern. Bei der Darstellung der jeweiligen Trajektorie auf der optischen Anzeige kann es dabei vorteilhaft sein, falls zusätzlich zur Trajektorie die Fahrtrichtung sowie die Fahrgeschwindigkeit dargestellt werden. Auch kann die eine Zieltrajektorie darstellende Kurve in deren Form geändert werden, durch Änderung des Kurvenradius kann beispielsweise eine kurzfristig belegte Freifläche umfahren werden. Eine Korrektur der Zieltrajektorie oder manuelle Eintragung der Freifläche durch den Fahrer ist dabei jederzeit möglich. Vorzugsweise wird die Zieltrajektorie nach deren Ermittlung noch vor dem Ausführen der Fahrbewegung durch den Fahrer korrigiert. Es ist aber auch möglich, die Zieltrajektorie während der Fahrbewegung zu korrigieren. Der Fahrer kann somit interaktiv auf plötzlich auftretende Hindernisse oder etwaige Bewegungen des Zielobjektes rechtzeitig reagieren, wobei die Anfahrt an das Zielobjekt oder die Zielregion sonst durch einen Nothalt abgebrochen werden müsste und anschließend vom aktuellen Ausgangspunkt sodann erneut eine Zieltrajektorie bestimmt werden müsste.
In einer weiteren vorteilhaften Ausgestaltung der Erfindung werden korrigierte Zieltrajektorien ergänzend zur ursprünglichen Zieltrajektorie oder anstelle der ursprünglichen Zieltrajektorie auf der optischen Anzeige dargestellt. Falls die korrigierte Zieltrajektorie anstelle der ursprünglichen Zieltrajektorie dargestellt und die ursprüngliche Zieltrajektorie auf der optischen Anzeige gelöscht wird, erhält der Fahrer eine eindeutige Darstellung und wird nicht unnötig mit Information überflutet. In bestimmten Situationen, bei denen z.B. mehrere Korrektureingriffe durch den Fahrer notwendig sind, hat es sich jedoch als vorteilhaft erwiesen, neben der ursprünglichen Zieltrajektorie ergänzend auch die korrigierte(n) Zieltrajektorie(n) darzustellen. Dadurch erhält der Fahrer einen besseren Überblick, und kann gut abschätzen, wie groß die Abweichung zwischen der ursprünglichen und der zuletzt bestimmten, tatsächlich ausgeführten Fahrbewegung ist. Um bei der Darstellung dennoch eine gute Übersichtlichkeit zu erzielen ist es dabei auch möglich nur eine bestimmte Anzahl an Trajektorien auf der optischen Anzeige gleichzeitig zur Anzeige zuzulassen, z.B. nur die beiden zuletzt bestimmten Trajektorien und die ursprünglich bestimmte Zieltrajektorie anzuzeigen.
In gewinnbringender Weise werden zusätzlich zur Zieltrajektorie das Zielobjekt und/oder die Zielregion auf der optischen Anzeige dargestellt, wodurch Verwechslungen oder Fehleingaben bei der Auswahl von Zielobjekten und/oder Zielregionen vermieden werden. Auch ist es im Zusammenhang mit der Erfindung von Vorteil, falls ein zusätzlicher Verfahrensschritt vorgesehen ist, bei welchem der Benutzer die Auswahl des Zielobjektes oder der Zielregion bestätigt. Indem der Benutzer die Auswahl des Zielobjektes oder der Zielregion bestätigt kann Verwechslungen vorgebeugt werden, insbesondere falls gleichzeitig mehrere ähnlich aussehende oder identisch aussehende Zielobjekte in einer Bildszene vorhanden sind. In diesem Zusammenhang hat es sich bewährt, vom Fahrer ausgewählte Zielobjekte oder Zielregionen bei der Darstellung hervorzuheben. Falls es sich dabei beispielsweise um ein zuvor modelliertes Zielobjekt handelt, wird beispielsweise auf einfache Weise dieses Modell des Zielobjektes innerhalb der Bildszene farblich hervorgehoben. Gleichsam kann eine vom Fahrer ausgewählte Zielregion in der Bildszene markiert sein. Falls der Fahrer mit der Auswahl einverstanden ist, bestätigt er das hervorgehobene Zielobjekt oder die markierte Zielregion durch eine Benutzereingabe, z.B. durch einfaches anklicken des Zielobjektes auf der optischen Anzeige. Falls der Fahrer mit der Auswahl nicht einverstanden ist, korrigiert er die Auswahl und das neu ausgewählte Zielobjekt oder die Zielregion wird sodann hervorgehoben bzw. markiert auf der optischen Anzeige dargestellt.
Die Auswahl des Zielobjektes oder der Zielregion erfolgt in einer besonders gewinnbringenden Weise der Erfindung mittels wenigstens einem punktförmigen oder wenigstens einem flächigen Auswahlmittel auf der optischen Anzeige. Hierzu kann dem Fahrer z.B. ein Fadenkreuz oder ein Pfeilsymbol auf der optischen Anzeige dargeboten werden, welches er durch ein geeignetes Eingabemittel oder mit der bloßen Hand auf einer drucksensitiven optischen Anzeige (sog. Touch-Screen) sodann auf dem auszuwählenden Zielobjekt oder der Zielregion platziert. Dabei können beispielsweise Zielobjekte als solche ausgewählt werden oder aber nur bestimmte Teile bzw. Teilbereiche davon. Es kann sich hierbei z.B. um einen Punkt auf der optischen Anzeige handeln, welcher eine anzudockende Stelle innerhalb der Bildszene repräsentiert, wie z.B. die Kupplung eines Anhängers. Eine weitere Möglichkeit zur Auswahl von Zielobjekten besteht darin, dass mehrere Punkte vorgegeben werden, um damit beispielsweise eine Kante eines Zielobjektes, z.B. die Kante einer Verladerampe, zu kennzeichnen. Auch ist es denkbar, dass ein Bereich des anzufahrenden Zielobjektes vorgegeben ist, beispielsweise der komplette Kupplungsbereich. Hierbei ist es denkbar, dass der anzufahrende Zielbereich mittels einem Fadenkreuz durch Aufziehen einer Box auf der optischen Anzeige definiert wird oder aber dem Fahrer ein flächiges Auswahlmittel auf der optischen Anzeige zur Verfügung steht. Dabei können auch unterschiedliche flächige Auswahlmittel zur Verfügung stehen, welche in Form und Größe variieren können. Beispielsweise wird sodann der Schwerpunkt der Fläche als anzufahrender Referenzpunkt vorgegeben.
Bei einer besonders bevorzugten Ausgestaltung der Erfindung erfolgt die Ermittlung und/oder Darstellung der Zieltrajektorie anhand von 3D-Daten, wobei die Höhe des Zielobjektes oder der Zielregion über dem Fahrweg berücksichtigt wird. Die hierzu benötigten 3D-Daten können mittels am Fahrzeug angeordneter Sensorik direkt gemessen werden. Dazu gehören beispielsweise der Abstand zum Zielobjekt, die Höhe des eigenen Fahrzeugs über dem Fahrweg, Abmessungen des jeweiligen Zielobjekts. Alternativ oder zusätzlich ist es jedoch auch möglich, dass bei der Ermittlung und/oder der Darstellung der Zieltrajektorie hinterlegte Modelldaten berücksichtigt werden, welche 3D-Daten des Fahrzeugs, der Umgebung und von Zielobjekten beinhalten können. Dadurch wird es beispielsweise möglich, Zieltrajektorien zu ermitteln und/oder darzustellen, welche auch Fahrzeuge mit veränderlicher Laderampe berücksichtigen. Die Bestimmung von Zieltrajektorien findet dabei vorzugsweise im 3-Dimensionalen statt, eine Darstellung auf der optischen Anzeige kann dabei sowohl im 3-Dimensionalen als auch im 2D-Dimensionalen stattfinden. Die Darstellung im 2-Dimensionalen Fall bietet sich dabei besonders bei der Wegplanung bzw. beim Rangieren an und benötigt zudem weniger Rechnerleistung als eine 3D-Darstellung. Hierzu wird die zuvor im 3-Dimensionalen ermittelte Zieltrajektorie auf eine 2D-Fläche projiziert, vorzugsweise auf den Fahrboden projiziert. Beim eigentlichen Andockvorgang wird dagegen eine 3D-Darstellung bevorzugt, welche dem Fahrer einen wesentlich genaueren Überblick gibt.
Falls bei der Ermittlung der Zieltrajektorie hinterlegte Modelldaten berücksichtigt werden sollen, können hierzu beispielsweise Zielobjekte als solche hinterlegt sein und dem Fahrer farblich hervorgehoben auf der optischen Anzeige zur Auswahl angeboten werden. Auch besteht die Möglichkeit, dass innerhalb von Bildaufnahmen nach Zielobjekten mittels eines geeigneten Algorithmus gesucht wird, wobei diese sodann mit den hinterlegten Modelldaten verglichen werden und dem Fahrer zur Auswahl als Zielobjekt hervorgehoben dargestellt werden. Für die Bestimmung der Zieltrajektorie selbst, können darüber hinaus zusätzliche Informationen in den Modelldaten hinterlegt sein, beispielsweise exakte Angaben über die Andockposition zum jeweiligen Zielobjekt.
Auch hat es sich im Zusammenhang mit der Erfindung als vorteilhaft erwiesen, falls bei der Ermittlung der Zieltrajektorie eine vorgegebene Stellposition des Fahrzeugs relativ zum jeweiligen Zielobjekt oder Zielregion berücksichtigt wird. Dazu ist in den Modelldaten durch die Stellposition wenigstens ein bestimmter Abstand bezüglich eines Merkmals des Zielobjektes definiert. Zusätzlich kann auch ein Winkel angegeben sein, unter welchem das jeweilige Zielobjekt angefahren werden muss. Üblicherweise werden Zielobjekte, insbesondere dann wenn kein derartiger Winkel sondern nur ein Abstand angegeben ist, senkrecht angefahren. Bei der Wegplanung wird dieser Abstand sodann berücksichtigt und eine dementsprechende Zieltrajektorie zum Zielobjekt ermittelt. Ein mittels der Stellposition vorgegebener Abstand kann sowohl bei mobilen als auch bei immobilen Zielobjekten notwendig sein. Beispielsweise muss im Zusammenhang mit dem Be- und Entladen eines Lkw-Anhängers mittels eines autonomen Transportfahrzeugs ein bestimmter Abstand eingehalten. Gleichsam wird beim Anfahren einer Verladerampe mit einem Lkw, welcher eine Ladebordwand umfasst, ein bestimmter Abstand benötigt. Der Abstand dient dabei dazu, dass nach der Anfahrt der Verladerampe die Ladebordwand überhaupt bewegt werden kann und auf das Niveau der Verladerampe heruntergeschwenkt werden kann.
In einer weiteren gewinnbringenden Weise der Erfindung kann die Zieltrajektorie durch Benutzereingabe auf der optischen Anzeige vorgegeben werden. Falls ein Zielobjekt beispielsweise nicht modelliert ist oder aus anderen Gründen eine Auswahl eines Zielobjektes oder einer Zielregion nicht möglich ist, kann der Fahrer auf diese Weise manuell eine abzufahrende Zieltrajektorie auf der optischen Anzeige vorgeben. Es besteht dabei beispielsweise die Möglichkeit, mehrere einzelne Trajektorien zu einer Zieltrajektorie zusammensetzen oder über Viapunkte miteinander zu verbinden, z.B. mittels eines Polygonzugs. Hierbei kann es sogar von Vorteil sein, falls der Fahrer beim Anfahren eines Zielobjekts sodann eine Einzeltrajektorie nach der anderen bestätigen muss, wodurch sichergestellt wird, dass der Fahrer trotz durch die mit der Erfindung einhergehende Entlastung weiterhin aufmerksam ist.
Zur Erfassung von Umgebungsinformationen umfasst die erfindungsgemäße Vorrichtung wenigstens einen Bildsensor. Hierbei kann es sich beispielsweise um eine Kamera handeln, welche sowohl im visuellen als auch im nichtvisuellen Wellenlängenbereich empfindlich sein kann. Auch sind mehrere Kameras in einer Stereoanordnung möglich, sodass zu jedem Bildpunkt neben der Intensität gleichzeitig ein zugeordneter Tiefenwert geliefert wird. Auch sind Bildsensoren die auf Radar oder Lidar basieren bekannt. Besonders geeignet sind im Zusammenhang mit der Erfindung jedoch Laserscanner welche ebenfalls entfernungsauflösend arbeiten. Falls lediglich ein 2D-Bildsensor eingesetzt wird, ist es von großem Vorteil, dass die Vorrichtung dabei parallel zu diesem 2D-Bildsensor zusätzlich wenigstens einen entfernungsauflösenden Sensor umfasst. Beispielsweise sind auch induktive, kapazitive oder auf Ultraschall basierende Sensoren sind möglich.
In einer besonders vorteilhaften Weise handelt es sich bei der optische Anzeige um eine Anzeige mit integriertem Eingabemittel. Beispielsweise werden bereits sog. Touch-Screens als optische Anzeige eingesetzt, welche eine drucksensitive Anzeigefläche besitzen, wobei der Benutzer eine Eingabe durchführt, indem er mit einem Finger die berührungsempfindliche Oberfläche der optischen Anzeige antippt. Die optische Anzeige kann beispielsweise als Multifunktionsdisplay ausgebildet sein, welches im Fahrzeugcockpit verbaut ist. Derartige Multifunktionsdisplays werden dazu genutzt, um dem Fahrer Informationen mehrerer im Fahrzeug verbauter Systeme auf einer Anzeige darzustellen. Auch kann es sich um das Display eines portablen Computers, insbesondere eines Kleinstcomputers, sogenannte PDAs, handeln. Im Zusammenhang mit Fahrzeuganwendungen werden als Display auch Headup-Displays eingesetzt, wobei dem Fahrer die darzustellende Information beispielsweise direkt auf die Windschutzscheibe projiziert wird, sodass dieser zum Ablesen der Information den Blick nicht von der Straße abwenden muss. Im Zusammenhang mit Headup-Displays sind sogenannte Augmented Reality Verfahren bekannt, wobei das Umgebungsbild einer Kamera auf dem Headup-Display dargestellt wird oder mittels einer Augmented Reality Brille betrachtet wird, wobei zusätzliche rechnergenerierte Informationen in die Darstellung einprojiziert werden. Hierzu gleicht der Rechner die erfassten Umgebungsinformationen mit den hinterlegten Modellinformationen ab. Beim Tragen einer Augmented Reality Brille ist es dabei möglich, dieses Verfahren auch außerhalb des Fahrzeugs zu nutzen, wobei der Nutzer sich beispielsweise außerhalb des Fahrzeugs befindet und eine Anfahrt an ein Zielobjekt durchführt oder überwacht.
Vorzugsweise wird als Eingabemittel wenigstens ein Bedienelement eingesetzt, womit die Vorrichtung in Verbindung steht und welches sich innerhalb oder außerhalb des Fahrzeugs befinden kann. Beispielsweise kann es sich hier um ein spezielles Bedienelement der Vorrichtung oder ein bereits vorhandenes Bedienelement im Fahrzeugcockpit handeln. Es ist aber auch möglich, dass am Lenkrad des Fahrzeugs wenigstens ein Bedienelement vorgesehen ist. Besonders bewährt hat sich hierbei ein Bedienelement das wie ein Joystick ausgebildet ist und sich am Lenkrad des Fahrzeugs befindet. Als Eingabemittel ist aber auch eine Art Stift, wie er im Zusammenhang mit einem Kleinstcomputer eingesetzt wird, denkbar. Alternativ oder zusätzlich ist jedoch auch eine Sprachbedienung möglich.
In einer weiteren vorteilhaften Ausgestaltungsform weist die die Vorrichtung ein Kommunikationsmittel zum Informationsaustausch mit fahrzeuginternen und/oder fahrzeugexternen Systemen auf. Dadurch wird es möglich, Informationen weiterer fahrzeuginterner oder fahrzeugexterner Systeme bei der Bestimmung und/oder Darstellung der Zieltrajektorie zu berücksichtigen. Beispielsweise kann dem Fahrer innerhalb der Bildszene zusätzlich zur Zieltrajektorie die aktuelle Fahrgeschwindigkeit angezeigt werden oder die Skalierung der Bildszene sowie der Zieltrajektorie anhand der zurückgelegten Wegstrecke automatisch angepasst werden.
Verwendung des Verfahrens für die optische Anzeige und Bedienung einer Bildgestützten Navigation bei Fahrzeugen nach einem der Ansprüche 1 bis 9, bei der Modellierung von Umgebungsinformationen. Das erfindungsgemäße Verfahren eignet sich in besonders gewinnbringender Weise zum Anlernen nicht bekannter Objekte oder Regionen. Dabei wird jedes anzulernende Objekt durch den Benutzer vorgegeben, automatisch ein Modell generiert und dieses sodann in einem Speicher abgelegt. Zusätzlich können zu jedem angelernten Objekt oder jeder Region weitere Attribute hinterlegt werden, beispielsweise eine zugehörige Stellposition mit Abstand und/oder Winkel in dem sich das Fahrzeug relativ zum jeweiligen Objekt oder Region befinden muss. Anzulernende Objekte und Regionen werden durch den Fahrer auf der optischen Anzeige vorgegeben, wofür dieselben Mittel und Methoden, die bereits oben im Zusammenhang mit der Auswahl von Zielobjekten beschrieben wurden, herangezogen werden können. Objekte, Regionen und Stellpositionen werden hierbei vorzugsweise in 3D-Koordinaten abgespeichert, sodass neben den für die Routenplanung benötigten 2D-Koordinaten zusätzlich die Höhe über dem Fahrweg zur Verfügung steht, um beispielsweise zuverlässig an das jeweiliges Objekt andocken zu können. Die Darstellung auf der optischen Anzeige erfolgt dabei wahlweise in 2D- oder 3D-Ansicht.
Weitere Merkmale und Vorteile der Erfindung ergeben sich aus der folgenden Beschreibung von Ausführungsbeispielen anhand der Figuren. Dabei zeigen:
1 die Darstellung einer LKW-Wechselbrücke zur Auswahl als anzufahrendes Objekt auf der optischen Anzeige
2 die Auswahl einer Zielregion an einer LKW- Wechselbrücke mit ermittelter Zieltrajektorie
3 die Darstellung eines Lagerhauses zur Auswahl als anzufahrendes Objekt auf der optischen Anzeige
4 die Auswahl einer Zielregion an einem Lagerhaus mit ermittelter Zieltrajektorie
1 zeigt beispielhaft die Darstellung einer Lkw-Wechselbrücke zur Auswahl als anzufahrendes Objekt (2) auf der optischen Anzeige (1). Der Fahrer wählt die Lkw-Wechselbrücke als anzufahrendes Objekt (2) aus, indem er diese auf der optischen Anzeige (1) mit dem Eingabemittel (3) antippt. Das Eingabemittel (3) wird hierbei durch Bewegungen mit dem Finger des Fahrers auf der optischen Anzeige (1) gesteuert. Mittels dem Eingabemittel (4) wird die Auswahl des anzufahrenden Objektes (2) sodann durch den Fahrer auf der optischen Anzeige (1) bestätigt (4a) oder abgelehnt (4b). Falls die Auswahl des Objektes (2) abgelehnt wird, kann der Fahrer erneut ein Objekt (2) festlegen. Falls die Auswahl des Objektes (2) bestätigt wird, wählt der Fahrer anschließend die Stirnseite der Lkw-Wechselbrücke mittels des Eingabemittels (3) als gewünschtes Zielobjekt (2a) aus.
In der 2 wird die Auswahl der Stirnseite der Lkw-Wechselbrücke als Zielobjekt auf der optischen Anzeige (1) gezeigt. Dabei wird aufgrund der Auswahl des Zielobjektes (2a) in 1 anhand von geeigneter Bildverarbeitungsalgorithmik, in diesem Fall anhand einer Kantendetektion, die Stirnseite der Lkw-Wechselbrücke genau bestimmt, diese ist im Bild als Zielregion (5) schraffiert dargestellt. Mit dem Eingabemittel (4) wird die automatisch bestimmte Zielregion (5) durch den Fahrer bestätigt (4a) oder abgelehnt (4b). Falls die automatisch bestimmte Zielregion (5) abgelehnt wird, kann der Fahrer erneut ein Zielobjekt bzw. eine Zielregion festlegen. Falls der Fahrer die automatisch bestimmte Zielregion (5) bestätigt, wird sodann eine geeignete Zieltrajektorie (8) automatisch ermittelt. Mit dem Eingabemittel (6) wird die automatisch bestimmte Zieltrajektorie (8) durch den Fahrer bestätigt (6a) oder abgelehnt (6b). Falls die automatisch bestimmte Zieltrajektorie (8) abgelehnt wird, kann der Fahrer mit einem hier nicht gezeigten Eingabemittel manuell eine Zieltrajektorie vorgeben oder erneut ein Zielobjekt bzw. eine Zielregion festlegen. Falls der Fahrer die automatisch bestimmte Zieltrajektorie (8) bestätigt, wird sodann die Zieltrajektorie automatisch abgefahren. Bei der Ermittlung der Zieltrajektorie (8) werden hinterlegte Modellinformationen berücksichtigt, beispielsweise die Höhe der Lkw-Wechselbrücke über dem Fahrweg (7), sodass eine aufwendige 3D-Vermessung der Höhe entfällt. Im Modell ist beispielsweise auch hinterlegt, dass die Stirnseite der Wechselbrücke senkrecht anzufahren ist, wobei bei der Ermittlung der Zieltrajektorie (8) die Senkrechte zur Zielregion (5) bestimmt wird. In der 2 wird die Zieltrajektorie (8) beispielhaft als Pfeilsymbol auf der optischen Anzeige (1) gezeigt. Es sind jedoch weitere Darstellungsformen für Zieltrajektorien (8) möglich, z.B. als zwei- oder dreidimensionaler Fahrschlauch, welcher dem Fahrer den genauen Weg vorgibt und beim Verlassen die Darstellungsfarbe ändert und zu blinken beginnt. Während der Anfahrt an die Zielregion (5) hat der Fahrer zudem jederzeit die Möglichkeit die Zieltrajektorie (8) mittels des Eingabemittels (3) zu korrigieren, beispielsweise falls der Weg durch einen anderen mobilen Gegenstand kurzfristig versperrt wird.
3 zeigt beispielhaft die Darstellung eines Lagerhauses zur Auswahl als anzufahrendes Objekt (2) auf der optischen Anzeige (1). Der Fahrer wählt das Lagerhaus als anzufahrendes Objekt (2) aus, indem er dieses auf der optischen Anzeige (1) mit dem Eingabemittel (3a) antippt. Das Objekt (2) wird sodann als Zielobjekt hervorgehoben dargestellt (hier nicht gezeigt). Gleichsam wählt der Fahrer auf der optischen Anzeige (1) mit dem Eingabemittel (3b) eine Zielregion aus. In diesem Fall anhand der Zielpunkte (2a bis 2c) oder mittels einem flächigen Eingabemittel (2d). Im Anschluss an die Eingabe mittels der Zielpunkte (2a bis 2c) oder (2d) werden sodann mittels Bildverarbeitungsalgorithmik automatisch Geraden festgelegt, welche das Tor des Lagerhauses als Zielregion festlegen. Mit dem Eingabemittel (4) wird hierbei die Auswahl des anzufahrenden Objektes (2) sowie der Zielpunkte (2a bis 2c) bzw. des flächigen Eingabemittels (2d) sodann durch den Fahrer auf der optischen Anzeige (1) bestätigt (4a) oder abgelehnt (4b). Falls die Auswahl abgelehnt wird, kann der Fahrer eine erneute Eingabe durchführen. Falls der Fahrer die Auswahl bestätigt, wird das ausgewählte Zielobjekt bzw. die Zielregion auf der optischen Anzeige (1) hervorgehoben dargestellt.
In der 4 wird das mittlere Tor des Lagerhauses (2) ausgewählt und als Zielregion (5) schraffiert hervorgehoben auf der optischen Anzeige (1) gezeigt. Mit dem Eingabemittel (4) wird die automatisch bestimmte Zielregion (5) durch den Fahrer bestätigt (4a) oder abgelehnt (4b). Falls die automatisch bestimmte Zielregion (5) abgelehnt wird, kann der Fahrer erneut ein Zielobjekt bzw. eine Zielregion festlegen. Falls der Fahrer die automatisch bestimmte Zielregion (5) bestätigt, wird sodann eine geeignete Zieltrajektorie (8) ermittelt. Bei der Darstellung der Zieltrajektorie kann es sich dabei beispielsweise um eine projizierte Fläche (8a), die Ränder des Fahrwegs (8b) oder einen Trajektorie mit Pfeilsymbol handeln. Dabei können mehrere Darstellungsformen für Trajektorien gleichzeitig angezeigt werden. Mit dem Eingabemittel (6) wird die automatisch bestimmte Zieltrajektorie (8) durch den Fahrer bestätigt (6a) oder abgelehnt (6b). Falls die automatisch bestimmte Zieltrajektorie (8) abgelehnt wird, kann der Fahrer mit einem hier nicht gezeigten Eingabemittel manuell eine Zieltrajektorie vorgeben oder erneut ein Zielobjekt bzw. eine Zielregion festlegen. Falls der Fahrer die automatisch bestimmte Zieltrajektorie (8) bestätigt, wird sodann dann die Zieltrajektorie (8) automatisch abgefahren, der Fahrer überwacht hierbei lediglich die Fahrbewegung und kann sich dabei im Fahrzeug oder außerhalb des Fahrzeugs befinden. Bei der in der 4 dargestellten Zieltrajektorie (8) handelt es sich hierbei um eine 2D-Projektion einer Fläche auf den Fahrweg (7), welche dem Fahrer den Weg zur Zielregion (5) vorgibt. In diesem Zusammenhang sind auch 3D-Projketionen in der Form von Fahrschläuchen möglich. Der Fahrer kann somit ohne fremde Hilfe selbst bei schwierigen Sichtverhältnissen bei einer Rückwärtsfahrt das Tor des Lagerhauses exakt und sicher anfahren, insbesondere auch bei Gliederzügen, Lkws mit Anhängern. Die Zieltrajektorie (8) kann hierbei jederzeit durch ein geeignetes Eingabemittel korrigiert werden.

Claims

Verfahren für die optische Anzeige und Bedienung einer Bildgestützten Navigation bei Fahrzeugen, wobei Umgebungsinformationen erfasst und auf einer optischen Anzeige dargestellt werden und wobei mit Hilfe der dargestellten Umgebungsinformationen sodann eine Zielposition angefahren wird dadurch gekennzeichnet, dass aufgrund einer Benutzereingabe wenigstens ein anzufahrendes Zielobjekt (2) oder wenigstens eine Zielregion (5) auf der optischen Anzeige (1) ausgewählt wird, dass eine zum Zielobjekt oder zur Zielregion (5) führende geeignete Zieltrajektorie (8) ermittelt wird, wobei die ermittelte Zieltrajektorie (8) sodann auf der optischen Anzeige (1) hervorgehoben dargestellt wird und wobei nach erfolgter Bestätigung der Zieltrajektorie (8) durch den Benutzer die Zielposition angefahren wird.
Verfahren für die optische Anzeige und Bedienung nach Anspruch 1, dadurch gekennzeichnet, dass die Darstellung der Zieltrajektorie (8) auf der optischen Anzeige (1) jederzeit durch den Benutzer korrigiert werden kann.
Verfahren für die optische Anzeige und Bedienung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass korrigierte Zieltrajektorien (8) ergänzend zur ursprünglichen Zieltrajektorie (8) oder anstelle der ursprünglichen Zieltrajektorie (8) auf der optischen Anzeige (1) dargestellt werden.
Verfahren für die optische Anzeige und Bedienung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zusätzlich zur Zieltrajektorie (8) das Zielobjekt (2) und/oder die Zielregion (5) auf der optischen Anzeige (1) dargestellt wird.
Verfahren für die optische Anzeige und Bedienung nach Anspruch 4, dadurch gekennzeichnet, dass ein zusätzlicher Verfahrensschritt vorgesehen ist, bei welchem der Benutzer die Auswahl des Zielobjektes (2) oder der Zielregion (5) bestätigt.
Verfahren für die optische Anzeige und Bedienung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Auswahl des Zielobjektes (2) oder der Zielregion (5) mittels wenigstens einem punktförmigen oder wenigstens einem flächigen Auswahlmittel auf der optischen Anzeige (1) erfolgt.
Verfahren für die optische Anzeige und Bedienung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Ermittlung und/oder Darstellung der Zieltrajektorie (8) anhand von 3D-Daten erfolgt, wobei die Höhe des Zielobjektes (2) oder der Zielregion (5) über dem Fahrweg berücksichtigt wird.
Verfahren für die optische Anzeige und Bedienung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass bei der Ermittlung und/oder der Darstellung der Zieltrajektorie (8) hinterlegte Modelldaten berücksichtigt werden.
Verfahren für die optische Anzeige und Bedienung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass bei der Ermittlung der Zieltrajektorie (8) eine vorgegebene Stellposition des Fahrzeugs relativ zum jeweiligen Zielobjekt (2) oder Zielregion (5) berücksichtigt wird.
Verfahren für die optische Anzeige und Bedienung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Zieltrajektorie (8) durch Benutzereingabe auf der optischen Anzeige (1) vorgegeben wird.
Vorrichtung für die optische Anzeige und Bedienung einer Bildgestützten Navigation bei Fahrzeugen umfassend, wenigstens einen Bildsensor zur Erfassung von Umgebungsinformationen, eine optische Anzeige zur Darstellung von Umgebungsinformationen, dadurch gekennzeichnet, dass ein Eingabemittel (3) zur Auswahl wenigstens eines anzufahrenden Zielobjekts (2) oder wenigstens einer Zielregion (5) auf der optischen Anzeige (1) vorhanden ist, wobei eine Rechnereinheit eine zum Zielobjekt (2) oder zur Zielregion (5) führende Zieltrajektorie (8) ermittelt und wobei ein Eingabemittel (3) zur Bestätigung und/oder Korrektur der Zieltrajektorie (8) vorhanden ist.
Vorrichtung für die optische Anzeige und Bedienung einer Bildgestützten Navigation nach Anspruch 10, dadurch gekennzeichnet, dass die Vorrichtung zusätzlich wenigstens einen entfernungsauflösenden Sensor umfasst.
Vorrichtung für die optische Anzeige und Bedienung nach Anspruch einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die optische Anzeige (8) eine Anzeige mit integriertem Eingabemittel (3) ist.
Vorrichtung für die optische Anzeige und Bedienung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das Eingabemittel (3) wenigstens ein Bedienelement innerhalb oder außerhalb des Fahrzeugs ist, womit die Vorrichtung in Verbindung steht.
Vorrichtung für die optische Anzeige und Bedienung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Vorrichtung ein Kommunikationsmittel zum Informationsaustausch mit fahrzeuginternen und/oder fahrzeugexternen Systemen aufweist.
Verwendung des Verfahrens für die optische Anzeige und Bedienung einer Bildgestützten Navigation bei Fahrzeugen nach einem der Ansprüche 1 bis 9, bei der Modellierung von Umgebungsinformationen.