DE102004028763A1

DE102004028763A1 - Andockassistent

Info

Publication number: DE102004028763A1
Application number: DE102004028763A
Authority: DE
Inventors: Ottmar Dr.-Ing. Gehring; Harro Dr.-Ing. Heilmann; Frederic Dipl.-Ing. Holzmann; Andreas Dr.-Ing. Schwarzhaupt; Gernot Dr.-Ing. Spiegelberg; Armin Dr.-Ing. Sulzmann
Original assignee: DaimlerChrysler AG
Current assignee: Mercedes Benz Group AG
Priority date: 2004-06-16
Filing date: 2004-06-16
Publication date: 2006-01-19
Also published as: FR2871772A1; GB2415252B; US20050281436A1; US7336805B2; GB2415252A; GB0510894D0

Abstract

In vielen alltäglichen Fahrsituationen ist ein Führer eines Kraftfahrzeuges gefordert, das Kraftfahrzeug entlang einer bestimmten Spur zu führen und dieses an einer bestimmten Stelle, beispielsweise in einer Parkbucht oder Laderampe, zum Halten bringen. Zur Unterstützung eines Fahrzeugführers in solchen Situationen beschreibt die Erfindung ein Verfahren und eine zur Durchführung dieses Verfahrens geeignete Vorrichtung, bei welcher die in den Bilddaten eines Bildsensors potentielle Zielobjekte detektiert und in einem mehrstufigen Ausschlussverfahren als mögliche Fahrziele identifiziert werden, worauf zumindest in Bezug auf das nächstliegende Fahrziel eine einen optimierten Fahrweg beschreibende Trajektorie berechnet wird. Durch die Verwendung des erfindungsgemäßen mehrstufigen Ausschlussverfahrens wird es möglich, potentielle Fahrziele in komplexen Bildszenarien auch dann zuverlässig allein anhand ihrer geometrischen Form zu erkennen, wenn die Fahrziele nicht mit spezifischen Symbolen codiert werden.

Description

Die Erfindung betrifft ein bilddaten-basiertes Verfahren zur Unterstützung der Fahrzeugführung, insbesondere bei der Ranggierfahrt von Lastkraftwagen zu Andockstationen, sowie eine zur Durchführung des Verfahrens geeignete Vorrichtung nach den Oberbegriffen der Patentansprüche 1 und 12.

In vielen alltäglichen Fahrsituationen ist ein Führer eines Kraftfahrzeuges gefordert, das Kraftfahrzeug entlang einer bestimmten Spur zu führen und dieses an einer bestimmten Stelle, beispielsweise in einer Parkbucht oder Laderampe, zum Halten zu bringen. Zur Unterstützung eines Fahrzeugführers in solchen Situationen beschreibt die JP 2001-343212 A ein kamerabasiertes System zur geführten Einfahrt in eine auf der Fahrbahn eingezeichnete Parkbucht. Das System macht sich hierbei zu Nutze, dass auf der Fahrbahn eingezeichnete Parkbuchten in der Regel rechts und links durch deutlich optisch wahrnehmbare Linien (Signaturen) begrenzt werden. In den von einer im Fahrzeug integrierten Kamera gewonnenen Bilddaten werden innerhalb einer Bildverarbeitungseinheit diese optischen Signaturen (Begrenzungslinien) identifiziert und deren Ausrichtung vermessen. Das es sich bei den optischen Signaturen um parallele Geraden handelt, bilden sich diese in den Kamerabilddaten auch wieder als Geraden ab, so dass deren Winkelablage gegenüber der x- und y-Achse des Kamerabildes einfach ermittelt werden kann. Aus den Winkelablagen beider Geradenstücke zueinander und der Kenntnis deren Beabstandung kann auf geometrisch einfache Weise der Abstand und die Ausrichtung des Fahrzeuges in Bezug auf die Parkbucht berechnet werden. Die Bilddaten werden dem Fahrzeugführer auf einer Anzeige dargestellt, wobei die Darstellung durch Richtungspfeile überlagert wird, welche angeben in wie weit und in welche Richtung das Fahrzeug zum Erreichen der Parkbucht gesteuert werden muss.

Entsprechend beschreiben die japanischen Patentanmeldungen JP 2002-172988 A und JP 2002-172989 A die Möglichkeit wie aus den mittels dem aus JP 2001-343212 A bekannten Bildverarbeitungssystem eine zumindest teil-autonome Fahrzeugführung in die Parkbucht erfolgen kann, indem die zum Einparken notwendige Fahrspur vorausberechnet wird. Die Auswertung der Bilddaten zur Lagebestimmung setzt jedoch gut einsehbare optische Signaturen (Begrenzungslinien) voraus, damit deren Winkelablage in den Bilddaten bestimmt werden kann. Insbesondere ist es für eine korrekte Lagebestimmung notwendig, dass die Anfangspunkte der optischen Signaturen auf der Fahrbahn eindeutig bestimmt werden können. Dies ist jedoch in der Realität auf Grund von Verschmutzungen und Abrieb der Fahrbahnmarkierungen nicht immer möglich.

Eine bezüglich Verdeckungen und Verschmutzungen der optischen Signaturen robuste kamerabasierte Positionserkennung und Spurregelung für Kraftfahrzeuge wird in der nachveröffentlichten deutschen Patentanmeldung DE 10323915.4 beschrieben. Hierbei erfolgt die Lagebestimmung des Kraftfahrzeuges in Bezug auf eine optische Signatur, welche das Fahrziel markiert, auf Basis eines Template-Matching auf den aus dem Umfeld des Kraftfahrzeuges gewonnenen Kamerabilddaten. Hierzu wird ein in einem Speicher abgelegtes Template einer optischen Signa tur mit der in den Bilddaten identifizierten optischen Signatur in der Umgebung des Fahrzeuges überlagert. Insbesondere aus den Stauchungs- und Rotationsparametern dieses Template-Matchings kann in Kenntnis der vorliegenden Koordinatensysteme direkt auf die Lage des Kraftfahrzeuges bezüglich der optischen Signatur geschlossen werden. Durch die Anwendung des Template-Matching auf das vorliegende Problem wird in besonders vorteilhafter Weise ausgenutzt, dass dieses Verfahren auch dann noch mit hoher Zuverlässigkeit arbeitet, wenn die optische Signatur in den Bilddaten auf Grund von Verdeckungen nicht vollständig einsehbar oder verschmutzt ist. Wie auch die anderen aus dem Stand der Technik bekannten Verfahren zur Unterstützung eines Kraftfahrzeugführers zur Heranfahrt an ein Fahrziel ist es bei dem in der DE 10323915.4 beschriebenen System notwendig das Fahrziel mit einer bestimmten, vorbekannten Signatur zu versehen. Um in den Bilddaten auch eindeutig identifiziert werden zu können ist die optische Signatur dabei so auszugestalten, dass sie eindeutig von anderen in der Umgebung enthaltenen tatsächlich gegebenen oder auch nur scheinbar vorhandenen optischen Signaturen unterscheidbar ist.

Aufgabe der Erfindung ist es deshalb, ein bilddaten-basiertes Verfahren zur Unterstützung der Fahrzeugführung, insbesondere bei der Ranggierfahrt von Lastkraftwagen zu Andockstationen, sowie eine zur Durchführung des Verfahrens geeignete Vorrichtung zu finden, welche auch ohne die Anbringung von spezifischen optischen Signaturen am Fahrziel arbeitet.

Die Aufgabe wird durch eine Vorrichtung und ein Verfahren für eine kamerabasierte Positionserkennung für ein Straßenfahrzeug mit den Merkmalen der Patentansprüche 1 und 12 gelöst.

Vorteilhafte Ausgestaltungen und Weiterbildungen der Erfindung sind in den Unteransprüchen beschrieben.

Bei dem erfindungsgemäßen System zur bilddaten-basierten Unterstützung einer Fahrzeugführung eines Kraftfahrzeuges, insbesondere für die Ranggierfahrt von Lastkraftwagen zu Andockstationen, bestehend aus einem Verfahren und einer zur Durchführung dieses Verfahrens geeigneten Vorrichtung werden mittels eines bildgebenden Sensors Bilddaten aus der Umgebung eines Fahrzeuges gewonnen und hieraus die in Bezug auf das Kraftfahrzeug relativen Positionsparameter wenigsten eines potentiellen Fahrziels extrahiert. Infolge dessen werden zur Unterstützung einer nachfolgenden Fahrzeugführung für wenigstens eines der potentiellen Fahrziele eine einen optimierten Fahrweg beschreibende Trajektorie berechnet. In erfinderischer Weise werden hierbei zur Extraktion der relativen Positionsparameter des wenigstens einen potentiellen Fahrziels die Bilddaten einer Kantendetektion und Kantensegmentierung unterzogen. Dazu werden die Bilddaten in einzelne Kantensegmente zerlegt und deren Beziehungen zueinander in einer mathematischen Baumstruktur abgelegt. In einem nachfolgenden Schritt werden diese Kantensegmente sodann auf das Vorhandensein eines derart geometrischen Objektes hin untersucht wird, welches einer ein potentielles Fahrziel typischerweise zumindest teilweise beschreibenden geometrischen Form ähnlich ist. Handelt es sich bei dem typischen Fahrziel beispielsweise um eine Lastkraftwagen-Andockstation an einem Lagergebäude, entspricht die typische geometrische Form im wesentlichen um ein Rechteck mit annähernd identischen Seitenlängen von etwa 2,5 m. Im Rahmen des erfinderischen Verfahrens werden die aufgefundenen der typischen geometrischen Form entsprechenden geometrischen Objekte sodann mittels eines Matching-Algorithmus auf Plausibilität hin untersucht, wobei diese so als plausibel eingestuften Objekte einer weiteren Akzeptanzunter suchung dahingehend unterzogen werden, dass ausgehend von der Kenntnis der Abbildungseigenschaften des bildgebenden Sensors in Bezug auf dessen Umgebung, die Form der Abbildung der Objekte in den Bilddaten untersucht wird (so wird sich eine von einem erhabenen Standpunkt aus betrachtete typischer Weise rechteckige geometrische Form in den Bilddaten als ein sich nach oben verjüngendes Trapez abbilden). In einem abschließenden Verfahrensschritt wird zumindest dasjenige im Rahmen der Akzeptanzuntersuchung ermittelte Objekt, welches dem nächstliegenden Fahrziel entspricht mit den zugehörigen relativen Positionsdaten in einer Objektliste abgelegt und zumindest hierzu eine einen optimierten Fahrweg beschreibende Trajektorie berechnet.

Auf diese Weise lässt sich mittels der erfinderischen Vorrichtung und auf Grundlage des erfindungsgemäßen Verfahrens eine Fahrerunterstützung schaffen, welche allein in Kenntnis der geometrischen Erscheinung des Fahrziels ohne die Notwendigkeit der Anbringung spezifischer Zeichen und Markierungen die einen optimierten Fahrweg beschreibende Trajektorie zu zumindest dem nächstliegenden Fahrziel errechnet.

Nachfolgend wird anhand von vorteilhaften Ausführungsbeispielen und mit Hilfe von Figuren die Erfindung im Detail erläutert. Dabei zeigen:
1 ein den Verfahrensablauf beschreibendes Blockdiagramm,
2 schematisch eine erfindungsgemäße Kameraanordnung auf einem Lastkraftwagen und
3 exemplarisch mit Hilfe der Kameraanordnung aus 2 aufgenommene Bilddaten.
Wie aus 1 deutlich wird, weist das erfindungsgemäße Verfahren im wesentlichen einen sequentiellen Ablauf auf, wobei in einem ersten Schritt mittels eines Bildsensor (10) Bilddaten aus der Umgebung eines Kraftfahrzeuges aufgenommen werden. Im allgemeinen wird es sich hierbei um einen Kamerasensor handeln, welcher Bilddaten im sichtbaren Lichtspektrum erfasst. Sehr wohl ist es aber auch denkbar, dass es sich bei dem Bildsensor (20) um einen im wesentlichen nicht sichtbaren Wellenlängenbereich, insbesondere im infraroten oder im ultravioletten Wellenlängenbereich, arbeitenden Bildsensor handelt. Die Verwendung eines solchen Bildsensors hat den Vorteil, dass das zu erfassende Umfeld des Kraftfahrzeuges aktiv mittels Licht in diesem Wellenlängenbereich ausstrahlenden Scheinwerfern beleuchtet werden könnte, ohne dass sich dort befindliche Objekte oder Personen geblendet würden. Andererseits kann im Rahmen der Erfindung auch ein Millimeterwellen-Radar oder ein Lidar als Bildsensor (10) verwendet werden.
Die vom Bildsensor (10) erzeugten Bilddaten werden in einer Bildverarbeitungseinheit (11) weiterverarbeitet, wobei diese insbesondere einen Kantendetektor und -segmentier umfasst, mit dessen Hilfe die Bilddaten so aufbereitet werden, dass zumindest für ein potentielles Fahrziel die relativen Positionsparameter aus den Bilddaten extrahiert werden können. Dabei werden in vorteilhafter Weise die extrahieren Kanten und Segmente im Wissen um deren Position und Lage in den Bilddaten in einer hierarchisch organisierten Baumstruktur abgelegt. Zur Anlage und Organisation einer derartigen hierarchischen Baumstruktur stehen dem Fachmann eine Vielzahl unterschiedlicher bewährte Methoden zur Verfügung, beispielhaft sei hier auf die umfassende Zusammenstellung und Diskussion unterschiedlichster Baumstrukturen von Robert Sedgewick (R. Sedgewick, Algorithms in C, Kapitel 4, Addision-Wesley Pub. Comp. Inc., 1990) verwiesen. Auf Basis des Wissens um die geometrische Erscheinungsform eines Fahrzieles kann nun diese hierarchische Baumstruktur in einer der Bildverarbeitungseinheit (11) nachgeschalteten Einheit (12) abgearbeitet werden, um dem potentiellen Fahrziel typischer Weise entsprechende geometrische Formen aufzufinden. Diese Untersuchung auf das Vorhandensein eines einem potentiellen Fahrziel typischerweise entsprechenden geometrischen Objektes in die Bilddaten erfolgt auf Basis der hierarchischen Baumstruktur, wobei hierzu in gewinnbringender Weise ein aus dem Stand der Technik bekannter Baumtraversionsalgorithmus (Tree Traversal) verwendet werden kann. Bei einem Baumtraversionsalgorithmus werden ausgehend vom Anfangsknoten des Baumes die einzelnen Zweige Schritt für Schritt abgearbeitet (R. Sedgewick, Algorithms in C, Kapitel 5.6, Addision-Wesley Pub. Comp. Inc., 1998). Hierbei werden ausgehend vom Wissen um die typische geometrische Form eines Fahrzieles die in Parameter der in den Ästen des hierarchischen Baumes abgelegten Kanten und Segmente dahingehend untersucht, ob diese zu geeigneten typischen Fahrziele beschreibenden geometrischen Objekten zusammen gefügt werden können. Weist das Fahrziel beispielsweise eine quadratische Form auf, so werden nur derartige Kantenelemente oder -segmente zu einem Objekt gruppiert, bei welchen die angrenzenden Seitenflächen im wesentlichen einen rechten Winkel aufweisen und die abstände zu den jeweiligen gegenüberliegenden Seitenpaare jeweils in etwa den selben Wert aufweisen. Indem bei der Abarbeitung der hierarchischen Baumstruktur bereits derartige elementare Regeln beachtet werden, kann bereits mit dieser Stufe des erfinderischen Verfahrens der nachfolgende Verarbeitungsaufwand auf relativ wenige plausible, einem potentiellen Fahrziel tatsächlich ähnliche Objekte beschränkt werden. Derartiger Auswahlregeln im Rahmen des Baumtraversionsalgorithmus lassen sich im allgemeinen sehr gut bestimmen, da typische Fahrziele meist künstliche, architektonische Objekte betrifft, welche in der Regel eine rechteckige, insbesondere quadratische, oder aber runde Form aufweisen.
Die mittels des Baumtraversionsalgorithmus in Verbindung mit den aus der geometrischen Form des Fahrzieles abgeleiteten Regeln zusammengefügten geometrischen Objekte werden einer weiteren Akzeptanzanalyse unterzogen. Hierbei werden die Bilddaten in einer Vergleichseinheit (13) mit Hilfe eines Matching-Algorithmus mit in einem Speicher (17) abgelegten das Fahrziel beschreibende Objektmustern verglichen. Als Matching-Algorithmus eignet sich hierbei in besonders vorteilhafter Weise der IPC-Algorithmus (Besl, P.J., McKay, N.D., A method for registration of 3-D shapes, IEEE Trans. Pattern Analysis and Machine Intelligence, Vol. 14, No. 2, 1992, pp. 224–231). Mit Hilfe des iterativen IPC-Algorithmus wird es möglich die mittels des Baumtraversionsalgorithmus ermittelten Objekte so zu skalieren und zu drehen, das der quadratische Fehler in Bezug auf die Abweichung des Objektes von dem idealen Objektmuster des Fahrzieles minimiert wird. Aus den zur Skalierung und Ausrichtung (insbesondere Drehung) resultierenden Parametern lässt sich auf einfache Weise auch die Entfernung zu dem potentiellen Fahrziel schätzen. An dieser Stelle sei beispielhaft kurz der iterative Ablauf des IPC-Algorithmus erläutert:
P bezeichne die Position des Objektmusters im Raum. Die Abweichung zwischen dem hinterlegten Objektmuster und dem mittels des Baumtraversionsalgorithmus gefundenen und zu einem Objekt gruppierten Segmenten wird mit e_i bezeichnet. Die Iterationsschritte tragen die Bezeichnung n. Für den nachfolgenden Korrekturfaktor c_j muss somit folgen P_n+1 = P_n – c_j. Die hierzu entsprechende Jakobi-Matrix J_ij ist hierbei definiert als
Durch lineare Annäherung ergibt sich J_ij·c_j = e_i. Im Rahmen der Iteration muss der optimale Vektor, welcher die notwendige Skalierung und Drehung des mittels des Baumtraversionsalgorithmus ermittelten Objektes beschreibt, die Gleichung
erfüllen. Dieser IPC-Algorithmus wird hierbei durch die Iterationsschritte stabilisiert und weist eine übersteuerte Konvergenz auf.
Die in der Vergleichseinheit (13) mittels dem Matching-Algorithmus skalierten und ausgerichteten (gedrehten) Objekte werden nachfolgen in Einheit (15) einer weiteren Akzeptanzuntersuchung unterzogen. Bei einer besonders vorteilhaften Art der Akzeptanzuntersuchung wird in denjenigen Fällen in welchen die Umgebung durch den Sensor von einer erhöhten Position aus erfasst wird, diejenigen Objekte als potentielle Fahrziele verworfen, welche in Bezug auf deren typischen geometrischen Formen, keine verzerrte Abbildungen aufweisen. Wobei sich die Verzerrung bei rechteckigen oder quadratischen geometrischen Formen der potentielles Fahrziele in einer Abbildung als Trapezoid äußert. In einer weiteren gewinnbringenden Art der Akzeptanzuntersuchung werden auf Grundlage von Wissen über die übliche Position von Fahrzielen in den Bilddaten nicht diesen Vorgaben entsprechende Objekte verworfen. Befindet sich beispielsweise eine Objekt in den Bilddaten, dessen relative Position in bezug auf den bildgebenden Sensor bekannt ist, so kann auf Grundlage von dessen Abbildung in den Bilddaten ein künstlicher Horizont erzeugt werden von dem ausgehend die Relativlage der erkannten Objekte ermittelt wird. Auf diese Weise lassen sich Objekte, welche sich in einer von der gewöhnlichen Position des Fahrziels abweichenden Stelle befinden von der weiteren Verarbeitung ausschließen.
Von den nach der Akzeptanzuntersuchung verbliebenen, einem potentiellen Fahrziel entsprechenden geometrischen Objekten, werden wenigstens die Parameter (insbesondere Lage und Entfernung) desjenigen Objektes in einer Speichereinheit (18) abgelegt, welches dem nächstliegenden Fahrziel entspricht. Zumindest für dieses Objekt kann sodann in einer mit der Speichereinheit (18) in Verbindung stehenden Recheneinheit (15) die einen optimierten Fahrweg zu dem potentiellen Fahrziel beschreibende Trajektorie berechnet werden. In besonders vorteilhafter Weise wird bei der Berechnung einer einen optimierten Fahrweg beschreibenden Trajektorie die Lenkeigenschaften und -möglichkeiten des Kraftfahrzeugs beachtet. Hierzu sollte die erfindungsgemäße Vorrichtung über einen Speicher, in welchem die hierzu notwendigen Daten abgelegt sind, verfügen. Andererseits wäre es denkbar die Vorrichtung mit einer Eingabeeinheit zur Eingabe der die Lenkeigenschaften und -möglichkeiten des Kraftfahrzeuges beschreibenden Parameter zu versehen. Hierdurch wird es auf einfache Weise möglich, das Berechungsprogramm an unterschiedliche Ausgestaltungen (andere Aufbauten oder Anhänger) anzupassen. In diesem sollten im Rahmen der Berechnung der einen optimierten Fahrweg beschreibenden Trajektorie auch diejenigen potentiellen Fahrziele verworfen werden, welche unter Beachtung der gegebenen Lenkeigenschaften und -möglichkeiten des Kraftfahrzeugs nicht erreicht werden können.
Die so berechneten Trajektorien können sodann nachfolgenden Assistenzsystemen zur Fahrerunterstützung (16) zur Verfügung gestellt werden. Hierbei wird in besonders vorteilhafter Weise das erfindungsgemäße Verfahren so ausgestaltet, dass der Führer des Kraftfahrzeuges über die Position wenigstens eines der potentiellen Fahrziele und insbesondere den Verlauf der hierzu errechneten einen optimierten Fahrweg beschreibenden Trajektorie informiert wird. Diese Information kann über eine Anzeige der idealen Trajektorie auf einem Display erfolgen, wobei hierbei in idealer Weise das Blickfeld des Fahrers repräsentierende Kamerabilddaten symbolisch mit der Trajektorie der geplanten Fahrspur überlagert werden.
Selbstverständlich kann im folgenden die Fahrzeugführung auf Grundlage der errechneten Trajektorie zu dem nächstliegenden Fahrziel automatisch oder zumindest teil-automatisch erfolgen. Bei einer teil-automatischen oder manuellen Fahrzeugführung wäre es beispielsweise denkbar ein Abweichen des Fahrzeugs von der optimalen den Fahrweg beschreibenden Trajektorie durch akustische oder optische Signalmittel anzuzeigen. Auf diese Weise kann der Fahrzeugführer auf einfache Weise bei der Einhaltung der Spurführung unterstützt werden.
Im Verlauf der Spurführung ist es besonders vorteilhaft, wenn die Trajektorie mit Hilfe eines Kalmanfilters und auf Grundlage kontinuierlicher Bildauswertung ständig neu angepasst wird (Temporal Updating) um auf die Berechnung einwirkende Störeffekte in den Bilddaten weitgehend zu eliminieren.
Auch sollte während der Fahrzeugführung kontinuierlich die Lage der in der Objektliste als potentielle Fahrziele abgelegten Objekte verfolgt werden, so dass in dem Fall, dass das ursprünglich nächstliegende Fahrziel auf Grund von Gegeben heiten nicht mehr problemlos erreicht werden kann, dasjenige potentielle Fahrziel als neues nächstliegendes Fahrziel ausgewählt wird, welches ausgehend von der aktuellen Position des Kraftfahrzeuges unter Berücksichtung dessen Lenkeigenschaften und -möglichkeiten am besten erreicht werden kann. Wird auf derartige Weise ein neues Fahrziel als dem Fahrzeug nächstliegendes Ziel bestimmt, so muss ausgehend von der aktuellen Position eine optimierten Fahrweg beschreibende Trajektorie zu diesem Fahrziel erfolgen.
In 2 ist beispielhaft eine typische Situation dargestellt, wie sie beim Andocken eines Lastkraftwagens (20) an eine Ladeluke (26, 32) eines Lagerhauses (25, 31) gegeben sein könnte. Hierbei ist der bildgebende Sensor (22) oberhalb der Führerkabine (21) des Lastkraftwagens (20) befestigt. Der Bildsensor (22) ist hierbei so ausgerichtet, dass in Fahrrichtung (27) des Lastkraftwagens (20) dessen Laderampe (23, 35) sowie dessen Laderampenabschluss (24, 36), als auch das Lagerhaus (25, 30) und die darin befindliche Ladeluke (26, 32) erfassen kann. Die aus einer entsprechenden Bilddatenerfassung resultierenden Bilddaten (30) sind in 3 schematisch dargestellt. Durch die erhabene Position des Bildsensors (22) zeigt bildet sich die eine rechteckförmige Geometrie aufweisende Ladeluke (26, 32) als Trapezoid in den Bilddaten ab. Beispielhaft sei angenommen, dass nach Abarbeitung der Bilddaten in der Bildverarbeitungseinheit (11) und des Baumtraversionsalgorithmus in der Einheit (12) die Objekte 32, 33, 34a und 34b als einem potentiellen Fahrziel typischerweise entsprechenden geometrischen Objektes identifiziert wurden. Objekt 32 entspreche dem Abbild der als Fahrziel gesuchten Ladeluke (26). Objekt 33 entspricht einer anderen rechteckigen Struktur, beispielsweise einem Fenster, am Lagerhaus (25, 31). Die scheinbaren Objekte 34a und 34b stellen keine Abbilder realer Objekte dar, sondern resultieren aus Störungen in den Bilddaten, welche zufällig in derartigen Kantenabschnitten und Segmenten resultieren, dass sie durch den Baumtraversionsalgorithmus zu einem potentiellen Zielobjekt zusammengeführt wurden. In der Vergleichseinheit (13) würden diese Objekte mittels eines Matching-Algorithmus sodann skaliert und ausgerichtet. Im Rahmen der nachgeordneten Einheit zur Akzeptanzuntersuchung würden jedoch die Objekte 34a und 34b in Kenntnis der Kameraposition und Kameraabbildungsgeometrie eliminiert, da sie keine trapezoide Form aufweisen. Des weiteren kann bei der Akzeptanzuntersuchung die Abbildung des Laderampenabschlusses(36) in Kenntnis seiner relativen Lage zur Kameraposition zur Bildung eines künstlichen Horizonts herangezogen werden. Auf Basis dieses künstlichen Horizontes kann sodann auch das Objekt 33 eliminiert werden, da es sich in einer für das Fahrziel (Ladeluke) ungewöhnlichen Position (weit oberhalb des Horizontes) befindet. Nach Abarbeitung der einzelnen erfindungsgemäßen Verfahrensschritte verbleibt in diesem Beispiel somit einzig Objekt 32 als potentielles Fahrziel, so dass dessen Parameter im Zielspeicher (18) abgelegt werden und zur Berechnung der einen optimierten Fahrweg beschreibenden Trajektorie herangezogen werden können.

Claims

Verfahren zur bilddaten-basierten Unterstützung einer Fahrzeugführung eines Kraftfahrzeuges, insbesondere für die Ranggierfahrt von Lastkraftwagen zu Andockstationen, bei welchem mittels eines bildgebenden Sensors Bilddaten aus der Umgebung des Kraftfahrzeuges gewonnen werden, wobei aus der gewonnenen Bilddaten die in Bezug auf das Kraftfahrzeug relativen Positionsparameter wenigstens eines potentiellen Fahrzieles extrahiert werden, und infolge dessen zur Unterstützung einer nachfolgenden Fahrzeugführung für wenigstens eines der potentiellen Fahrziele eine einen optimierten Fahrweg beschreibende Trajektorien berechnet wird, dadurch gekennzeichnet, dass zur Extraktion der relativen Positionsparameter des wenigstens einen potentiellen Fahrziels die Bilddaten einer Kantendetektion und Kantensegmentierung unterzogen werden, um die Bilddaten in einzelne Kantensegmente zu zerlegen, deren Beziehungen zueinander in einer mathematischen Baumstruktur abgelegt werden, dass nachfolgend diese Kantensegmente auf das Vorhandensein eines derart geometrisches Objektes hin untersucht werden, welches einer ein potentielles Fahrziel typischerweise zumindest teilweise beschreibenden geometrischen Form ähnlich ist, dass die aufgefundenen der typischen geometrischen Form entsprechenden geometrischen Objekte mittels eines Matching-Algorithmus auf Plausibilität hin untersucht werden, dass diese plausiblen Objekte einer weiteren Akzeptanzuntersuchung dahingehend unterzogen werden, dass ausgehend von der Kenntnis der Abbildungseigenschaften des bildgebenden Sensors in Bezug auf dessen Umgebung, die Form der Abbildung der Objekte in den Bilddaten untersucht wird, und dass abschließend zumindest dasjenige so akzeptierte Objekt, welches dem nächstliegende Fahrziel entspricht mit den zugehörigen relativen Positionsdaten in einer Objektliste abgelegt wird und zumindest hierzu eine einen optimierten Fahrweg beschreibende Trajektorie berechnet wird.
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass zur Untersuchung der Bilddaten auf das Vorhandensein eines derart geometrisches Objektes, welches einer ein potentielles Fahrziel typischerweise zumindest teilweise beschreibenden geometrischen Form ähnlich ist, dergestalt erfolgt, dass die mathematischen Baumstruktur, in welcher die Kantensegmente und deren Beziehungen zueinander abgelegt sind, ein Baumtraversionsalgorithmus (Tree Traversal) abgearbeitet wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass es sich bei den ein potentielles Fahrziel beschreibenden typischen geometrischen Objekten um Rechtecke oder Quadrate handelt.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass als Matching-Algorithmus zur Plausibilitätsuntersuchung der aufgefundenen der typischen Formen entsprechenden geometrischen Objekte der IPC-Algorithmus verwandt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die die Abbildungseigenschaften des bildgebenden Sensors berücksichtigende Akzeptanzuntersuchung in denjenigen Fällen, in welchen die Umgebung durch den Sensor von einer erhöhten Position aus erfasst wird, diejenigen Objekte als potentielle Fahrziele verwirft, welche in Bezug auf die typischen geometrischen Formen, keine Verzerrte Abbildungen aufweisen, wobei sich ein rechteckiges oder quadratisches potentielles Fahrziel in den Bilddaten als Trapezoid abbildet.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass bei der Berechnung der einen optimierten Fahrweg beschreibenden Trajektorie die Lenkeigenschaften und -möglichkeiten des Kraftfahrzeugs beachtet werden.
Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass diejenigen potentiellen Fahrziele verworfen werden, welche unter Beachtung der gegebenen Lenkeigenschaften und -möglichkeiten des Kraftfahrzeugs nicht erreicht werden können.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Führer des Kraftfahrzeuges über die Position wenigstens eines der potentiellen Fahrziele und insbesondere den Verlauf der hierzu errechneten einen optimierten Fahrweg beschreibenden Trajektorie informiert wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass auf Grundlage der errechneten Trajektorien eine zumindest teil-automatische Fahrzeugführung zu dem nächstliegenden Fahrziel erfolgt.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der Fahrzeugführer bei der Fahrzeugführung zu dem nächstliegenden Fahrziel durch akustische und/oder optische Signalisierung bei der Einhaltung der eine optimierte Fahrspur beschreibenden Trajektorie unterstützt wird.
Verfahren nach einem der Ansprüche 9 oder 10, dadurch gekennzeichnet, dass während Fahrzeugführung kontinuierlich die Lage der in der Objektliste als potentielle Fahrziele abgelegten Objekte verfolgt wird, und dass in dem Fall, dass das ursprünglich nächstliegende Fahrziel auf Grund der Gegebenheiten nicht mehr problemlos erreicht werden kann, dasjenige potentielle Fahrziel als neues nächstliegendes Fahrziel ausgewählt wird, welches ausgehend von der aktuellen Position des Kraftfahrzeuges unter Berücksichtung dessen Lenkeigenschaften und -möglichkeiten am besten erreicht werden kann, und dass sodann ausgehend von der aktuellen Position des Kraftfahrzeuges eine einen optimierten Fahrweg beschreibende Trajektorie zu dem als neues nächstliegendes Fahrziel ausgewähltes Fahrziel erfolgt.
Vorrichtung zur bilddaten-basierten Unterstützung einer Fahrzeugführung eines Kraftfahrzeuges, insbesondere für die Ranggierfahrt von Lastkraftwagen zu Andockstationen, umfassend einen bildgebenden Sensor (10, 22) zur Gewinnung von Bilddaten aus der Umgebung des Kraftfahrzeuges, eine Bildverarbeitungseinheit (11) zur Extraktion von in Bezug auf das Kraftfahrzeug relativen Positionsparameter wenigstens eines potentiellen Fahrzieles aus den Bilddaten, eine Recheneinheit (15) zur Berechung wenigstens einer den optimierten Fahrweg zu einem der potentiellen Fahrziele beschreibenden Trajektorie und einer Assistenzsystem (16) zur Unterstützung bei der Fahrzeugführung zu einem der Fahrziele, dadurch gekennzeichnet, dass die Bildverarbeitungseinheit (11) einen Kantendetektor und -segmentierer umfasst, welcher die relativen Positionsparameter des wenigstens einen potentiellen Fahrziels aus den Bilddaten extrahiert, dass sich dem Kantendetektor und -segmentierer eine Einheit (12) zum Auffinden von dem potentiellen Fahrziel typischer Weise zumindest teilweise entsprechenden geometrischen Formen aufweisenden Objekte in den Bilddaten anschließt, dass die Bildverarbeitungseinheit des weiteren eine Vergleichseinheit (13) beihaltet, mittels welcher die aufgefundenen der typischen geometrischen Form entsprechenden geometrischen Objekte mittels eines Matching-Algorithmus, unter Vergleich mit in einer Speichereinheit (17) abge legten Objektmustern, auf Plausibilität hin untersucht werden, dass eine Einheit zur Akzeptanzuntersuchung (14) der mittels des Vergleichs selektierter geometrischer Objekte vorhanden ist, mittels welcher, ausgehend von der Kenntnis der Abbildungseigenschaften des bildgebenden Sensors in Bezug auf dessen Umgebung, die Form der Abbildung der Objekte in den Bilddaten untersucht wird, und dass die Vorrichtung mit einem Datenspeicher (18) in Verbindung steht, in welchem zumindest dasjenige in den Bilddaten aufgefundene geometrische Objekt, welches dem nächstliegende Fahrziel entspricht mit den zugehörigen relativen Positionsdaten in einer Objektliste abgelegt wird und sodann einer hiermit in Verbindung stehenden Recheneinheit (15) dieses Datum zur Berechnung der einen optimierten Fahrweg beschreibende Trajektorie übergibt, welche diese Daten einem nachfolgenden Assistenzsystem zur Fahrerunterstützung (16) zur Verfügung stellt.
Vorrichtung nach Anspruch 12, dadurch gekennzeichnet, dass es sich bei dem bildgebenden Sensor um eine Kamera, einen Laserscanner oder ein Millimeterwellen-Radar handelt.
Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass der bildgebende Sensor (10, 22) an einer Stelle am Fahrzeug angebracht ist, aus welcher er denjenigen für die Fahraufgabe relevanten Teil der Umgebung des Kraftfahrzeuges aus erhöhter Position betrachten kann.
Vorrichtung nach Anspruch 14, dadurch gekennzeichnet, dass der bildgebende Sensor so angebracht ist, dass sich in den hiermit erfassten Bilddaten zumindest ein Teil (23, 24) des Kraftfahrzeuges abbildet.
Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Vorrichtung mit den Lenk- und/oder Beschleunigungs- und/oder Bremseinrichtungen des Kraftfahrzeuges so in Verbindung steht, dass sie auf diese zumindest teilautonom einwirken kann.
Vorrichtung nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Vorrichtung zur Kommunikation mit einem Führer des Kraftfahrzeuges über optische und akustische Ausgabemittel verfügt.