-
Stand der Technik
-
Die vorliegende Erfindung bezieht sich auf ein Verfahren zum Führen eines Fahrzeugs im Umfeld eines Objekts, auf eine entsprechende Vorrichtung sowie auf ein entsprechendes Computerprogrammprodukt.
-
Es existieren verschiedene Systeme, die den Fahrer eines Fahrzeugs aktiv bei der Querführung des Fahrzeugs unterstützen. Bekannt sind hier insbesondere LKS (Lane Keep System) und LDW (Lane Departure Warning System = Spurhalteassistent). Diese Systeme reagieren üblicherweise auf Linien, z. B. auf Autobahnen und Landstraßen, die etwa mittels einer Mono-Kamera erfasst werden.
-
Die
DE 10 2009 053 807 A1 offenbart ein Verfahren zum Unterstützen eines Fahrers eines Fahrzeugs beim Einparken. Das Verfahren wird aktiviert, sobald der Fahrer den Rückwärtsgang des Fahrzeugs einstellt, und umfasst das Erkennen von Hindernissen im Bereich der durch den Lenkwinkel vorgegebenen Solltrajektorie aus den Daten mindestens eines Umfeldsensors und das Aufbringen eines korrigierenden Lenkmomentes in die Richtung, die von einem erkannten Hindernis weg weist, um dem Fahrer das Ausweichen vor dem Hindernis zu erleichtern.
-
Offenbarung der Erfindung
-
Vor diesem Hintergrund wird mit der vorliegenden Erfindung ein Verfahren zum Führen eines Fahrzeugs im Umfeld eines Objekts, weiterhin eine Vorrichtung, die dieses Verfahren verwendet sowie schließlich ein entsprechendes Computerprogrammprodukt gemäß den Hauptansprüchen vorgestellt. Vorteilhafte Ausgestaltungen ergeben sich aus den jeweiligen Unteransprüchen und der nachfolgenden Beschreibung.
-
Mit einem Verfahren, das basierend auf einer Verbindung von Punkten in einem dreidimensionalen Abbild einer Umgebung eines Fahrzeugs eine virtuelle Freifläche zum Umfahren eines zeitlich veränderlichen Objekts ermittelt, kann ein Fahrer des Fahrzeugs bei einer Querführung insbesondere in städtischer Umgebung wirkungsvoll unterstützt werden.
-
Das hier vorgeschlagene Verfahren und ein entsprechendes System können beispielsweise ein Objekt in Form einer Randbebauung, insbesondere einer sich veränderlichen Randbebauung, eine sich öffnende Tür bei parkenden Autos, ein ausparkendes Auto oder Objekte, die z. B. von Fußgängern zwischen parkenden Autos in die Fahrbahn geschoben werden, berücksichtigen.
-
Ziel einer durch das hier vorgeschlagene Konzept realisierbaren Assistenz kann dabei statt eines Notausweichmanövers bzw. einer automatische Notbremsung lediglich z. B. ein Aufbringen eines begrenzten, automatisch aufgeschalteten Lenkmoments sein, das den – z. B. abgelenkten – Fahrer knapp am in die Fahrbahn ragenden Hindernis vorbeilenkt.
-
So kann vorteilhafterweise ein subjektives Sicherheitsempfinden des Fahrers bei knapper Vorbeifahrt an Hindernissen, wie parkenden Autos, steigen, indem beispielsweise bei zu starker Annäherung ein spürbares Gegenmoment am Lenkrad aufgebaut wird. Mit besonderem Augenmerk auf Hindernisse in städtischer Umgebung wie parkende Autos wird hierin ein Konzept zum vorteilhaften Umgang mit zeitlich veränderlicher Randbebauung vorgeschlagen, wie sie etwa auftritt, wenn ein am Rand parkendes Auto die Tür öffnet.
-
Ein Verfahren zum Führen eines Fahrzeugs im Umfeld eines Objekts weist die folgenden Schritte auf:
Einlesen einer Mehrzahl von Sichtstrahlenendpunkten in einem dreidimensionalen Abbild einer das Objekt enthaltenden Umgebung des Fahrzeugs, wobei das dreidimensionale Abbild ein von einer Stereokamera des Fahrzeugs erzeugtes Bild repräsentiert und mindestens einer der Sichtstrahlenendpunkte eine Außenfläche des Objektes repräsentiert;
Verbinden der Mehrzahl von Sichtstrahlenendpunkten zur Bildung eines Polygons, das eine Freifläche zum Befahren durch das Fahrzeug repräsentiert; und
Generieren eines für das Fahrzeug vorgesehenen Fahrkorridors zum Umfahren des zeitlich veränderlichen Objekts, basierend auf der Freifläche.
-
Das Verfahren ist beispielsweise zum Einsatz in einem Straßenfahrzeug wie einem Personenkraftwagen oder Lastkraftwagen geeignet. Unter Verwendung des Fahrkorridors kann das Objekt umfahren werden. Unter dem Umfahren des Objekts kann ein Vorbeifahren an dem Objekt in einem ausreichenden Sicherheitsabstand, um das Objekt oder das Fahrzeug nicht zu beschädigen, verstanden werden. Das Fahrzeug kann das Objekt z. B. auf einer definierten Solltrajektorie umfahren. Das Umfahren kann insbesondere einen Lenkausschlag des Fahrzeugs voraussetzen. Unter dem Objekt kann ein Hindernis verstanden werden, das sich während eines Zeitraums einer Dauer der Umfahrung durch das Fahrzeug in seinem Umfang oder seiner Ausprägung in sich oder in Bezug zu dem vorbeifahrenden Fahrzeug verändert. Beispielsweise kann sich ein seitlicher Abstand zwischen dem Fahrzeug und dem Objekt verändern, während das Fahrzeug an dem Objekt vorbeifährt. Dies kann erfolgen, weil sich das Objekt selbst bewegt oder weil das Objekt auf der dem Fahrzeug zugewandten Seite eine unregelmäßige Außenkontur aufweist. Somit kann das Objekt als ein sich zeitlich tatsächlich oder aus Sicht des Fahrzeugs veränderndes Objekt betrachtet werden. Diese Veränderung kann dabei insbesondere von solcher Natur sein, dass sie eine Lenkbewegung für ein Ausweichmanöver des Fahrzeugs während der Vorbeifahrt am Objekt oder zumindest eine Bereitschaft, ein solches Lenkmanöver u. U. schnell ausführen zu müssen, erfordert. Beispielsweise kann es sich bei dem Objekt um ein am Straßenrand geparktes weiteres Fahrzeug handeln. Ein derartiges Objekt kann beispielsweise dahin gehend zeitlich veränderlich sein, dass sich während einer Vorbeifahrt des Fahrzeugs eine Tür des geparkten weiteren Fahrzeugs zur Straßenseite hin öffnet. Auch ein sich aus einer Lücke zwischen zwei geparkten Fahrzeugen in Richtung der Fahrbahn vorschiebendes weiteres Objekt oder eine sich am Straßenrand entlang bewegende Person können als sich zeitlich veränderliche Objekte charakterisiert werden. Als Sichtstrahlen können Wege zwischen der Stereokamera und einem Ende einer Sichtweite der Stereokamera bezeichnet werden. Das Ende der Sichtweite kann beispielsweise dadurch bestimmt werden, dass ein in einer bestimmten Entfernung in dem Sichtstrahl angeordnetes Objekt eine Sicht der Kamera auf ein hinter dem Objekt liegendes Umfeld verdeckt. Alternativ kann das Ende der Sichtweite auch durch ein Ende eines für die Stereokamera spezifizierten Sichtbereichs gekennzeichnet sein, etwa wenn ein Sichtstrahl auf einen unobstruierten Horizont gerichtet ist. Die Sichtstrahlenendpunkte können entsprechend Positionen in dem dreidimensionalen Abbild bezeichnen, an denen von der Stereokamera ausgehende Sichtstrahlen aufgrund eines der vorgenannten Faktoren enden. Bei der Umgebung des Fahrzeugs kann es sich um ein für das Fahrzeug relevantes Verkehrsgeschehen oder eine relevante Bebauung, insbesondere eine Randbebauung, handeln. Die Randbebauung kann auch z. B. geparkte Fahrzeuge mit einbeziehen. Bei dem Fahrkorridor kann es sich um einen virtuellen Verkehrsweg zum Befahren durch das Fahrzeug handeln. Er kann in Form und Verlauf auf einer zuvor ermittelten Solltrajektorie zur Umfahrung des Objekts basieren. Der Fahrkorridor kann durch virtuelle durchgezogene oder unterbrochene Seitenränder begrenzt sein, innerhalb derer die Umfahrung des Objekts vollzogen wird. Um eine Fahrt des Fahrzeugs innerhalb des Fahrkorridors zu gewährleisten, kann an geeigneter Stelle ein Lenkmoment aufgebracht werden.
-
Gemäß einer Ausführungsform weist das Verfahren einen Schritt des Erstellens des dreidimensionalen Abbilds in Form einer Disparitätskarte basierend auf einem ersten Bild und einem zweiten Bild der Stereokamera auf. Dabei kann jedem einer Mehrzahl von Punkten des dreidimensionalen Abbilds ein vorbestimmter Entfernungswert zugeordnet werden. Bei dem ersten und dem zweiten Bild kann es sich um je eine Aufnahme des vor dem Fahrzeug liegenden Umfelds von zwei optischen Sensoren der Stereokamera zur stereoskopischen Wiedergabe des Umfelds handeln. Zur Darstellung der räumlichen Tiefe kann die Disparitätskarte so aufgebaut sein, dass jedem Entfernungswert ein vorbestimmter Farbwert zugeordnet ist. Damit können die spezifischen Entfernungen von in dem dreidimensionalen Abbild enthaltenen Objekten farblich oder durch elektronisch verarbeitbare Parameter oder Werte dargestellt werden. Der Entfernungswert kann einen Abstand jedes Teilbereichs eines im Abbild enthaltenen Objekts von dem Fahrzeug bzw. der Stereokamera des Fahrzeugs beschreiben. Mit dieser Ausführungsform kann eine entfernungstechnische Zuordnung abgebildeter Objekte besonders einfach und schnell erfolgen.
-
Insbesondere kann das Verfahren einen Schritt des Bestimmens einer Auswahl von Punkten aus der Mehrzahl von Punkten des dreidimensionalen Abbilds, die das Objekt und/oder ein Sichtbereichsende der Stereokamera repräsentieren, als die Mehrzahl von Sichtstrahlenendpunkten des dreidimensionalen Abbildes aufweisen. Diese Ausführungsform weist den Vorteil auf, dass durch die Bestimmung einer weniger relevanter Punkte des dreidimensionalen Abbilds eine Form bzw. ein Ausmaß der Freifläche zum Befahren des Fahrzeugs mit geringem Rechenaufwand bestimmt und aktualisiert werden kann.
-
Beispielsweise kann in dem Schritt des Bestimmens die Auswahl der Punkte durch zeilenweises Abtasten und spaltenweises Kombinieren der Mehrzahl von Punkten des dreidimensionalen Abbildes erfolgen. Mit dieser Ausführungsform können die Punkte der Auswahl anhand der Verifizierung durch das spaltenweise Kombinieren mit einer geringen Fehlerquote bestimmt werden.
-
Auch kann in dem Schritt des Bestimmens bei dem spaltenweisen Kombinieren eine Relativgeschwindigkeit zwischen dem Fahrzeug und dem Objekt und/oder dem Sichtbereichsende berücksichtigt werden, um einen zeilenweisen Versatz der Punkte innerhalb des dreidimensionalen Abbildes auszugleichen. So kann gewährleistet werden, dass eine Form bzw. ein Ausmaß der durch das Polygon beschriebenen Freifläche zu jedem Zeitpunkt der Fahrt des Fahrzeugs die tatsächlichen örtlichen Gegebenheiten korrekt widerspiegelt.
-
Gemäß einer weiteren Ausführungsform des Verfahrens kann in dem Schritt des Verbindens oder in dem Schritt des Bestimmens eine zeitliche Filterung eingesetzt werden. Mit einer derartigen Filterung kann die ermittelte Freifläche um Messfehler bereinigt werden. Diese Ausführungsform ermöglicht eine vorteilhafte Echtzeitberechnung und -aktualisierung der Freifläche zu jedem Zeitpunkt einer Fahrt des Fahrzeugs.
-
Beispielsweise kann die zeitliche Filterung durch ein Kalman-Filter erfolgen. Dadurch können relevante Parameter gut berücksichtigt werden.
-
Gemäß einer weiteren Ausführungsform kann in dem Schritt des Generierens ein Seitenrand des Fahrkorridors mit einem vorbestimmten Abstand zu dem Objekt ermittelt werden. So kann auf einfache Weise ein zusätzlicher Sicherheitsabstand zu dem Objekt gewonnen werden, um zu verhindern, dass z. B. sehr schnelle Ortsveränderungen des Objekts, die nicht genügend Zeit für ein ausreichendes Lenkmoment lassen, zu einer Beschädigung des Fahrzeugs und/oder des Objekts führen.
-
In dem Schritt des Generierens kann ferner eine Größe des vorbestimmten Abstands in Abhängigkeit von einer Klassifizierung des Objekts bestimmt werden. So kann der Fahrkorridor in Form und Verlauf noch genauer an die aktuellen Gegebenheiten angepasst werden und beispielsweise in einem größeren Abstand zu dem Objekt verlaufen, wenn das Objekt z. B. als eine Person oder ein Fahrzeug klassifiziert ist und in einem geringeren Abstand zu dem Objekt verlaufen, wenn das Objekt z. B. als eine Bepflanzung klassifiziert ist. So kann vorteilhaft ein Sicherheitsempfinden eines Fahrers des Fahrzeugs geschult bzw. verbessert werden.
-
Eine Vorrichtung zum Führen eines Fahrzeugs im Umfeld eines Objekts weist die folgenden Merkmale auf:
eine Einleseeinrichtung zum Einlesen einer Mehrzahl von Sichtstrahlenendpunkten in einem dreidimensionalen Abbild einer das Objekt enthaltenden Umgebung des Fahrzeugs, wobei das dreidimensionale Abbild ein von einer Stereokamera des Fahrzeugs erzeugtes Bild repräsentiert und mindestens einer der Sichtstrahlenendpunkte eine Außenfläche des Objektes repräsentiert;
eine Verbindungseinrichtung zum Verbinden der Mehrzahl von Sichtstrahlenendpunkten zur Bildung eines Polygons, das eine Freifläche zum Befahren durch das Fahrzeug repräsentiert; und
eine Generiereinrichtung zum Generieren eines für das Fahrzeug vorgesehenen Fahrkorridors zum Umfahren des Objekts, basierend auf der Freifläche.
-
Die Vorrichtung kann ausgebildet sein, um die Schritte des erfindungsgemäßen Verfahrens in ihren entsprechenden Einrichtungen durchzuführen bzw. umzusetzen. Auch durch diese Ausführungsvariante der Erfindung in Form einer Vorrichtung kann die der Erfindung zugrunde liegende Aufgabe schnell und effizient gelöst werden.
-
Unter einer Vorrichtung kann vorliegend ein elektrisches Gerät verstanden werden, das Sensorsignale verarbeitet und in Abhängigkeit davon Steuer- und/oder Datensignale ausgibt. Die Vorrichtung kann eine Schnittstelle aufweisen, die hard- und/oder softwaremäßig ausgebildet sein kann. Bei einer hardwaremäßigen Ausbildung können die Schnittstellen beispielsweise Teil eines sogenannten System-ASICs sein, der verschiedenste Funktionen der Vorrichtung beinhaltet. Es ist jedoch auch möglich, dass die Schnittstellen eigene, integrierte Schaltkreise sind oder zumindest teilweise aus diskreten Bauelementen bestehen. Bei einer softwaremäßigen Ausbildung können die Schnittstellen Softwaremodule sein, die beispielsweise auf einem Mikrocontroller neben anderen Softwaremodulen vorhanden sind.
-
Von Vorteil ist auch ein Computerprogrammprodukt mit Programmcode, der auf einem maschinenlesbaren Träger wie einem Halbleiterspeicher, einem Festplattenspeicher oder einem optischen Speicher gespeichert sein kann und zur Durchführung des Verfahrens nach einer der vorstehend beschriebenen Ausführungsformen verwendet wird, wenn das Programmprodukt auf einem Computer oder einer Vorrichtung ausgeführt wird.
-
Die Erfindung wird nachstehend anhand der beigefügten Zeichnungen beispielhaft näher erläutert. Es zeigen:
-
1 ein Blockschaltbild einer Vorrichtung zum Umfahren eines Objekts, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
-
2 eine Prinzipdarstellung eines dreidimensionalen Abbilds mit einem eine Freifläche zum Befahren durch das Fahrzeug bildenden Polygon, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
-
3 eine Darstellung von Seitenrändern eines Fahrkorridors zum Umfahren von Objekten, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
-
4 ein Ablaufdiagramm eines Verfahrens zum Umfahren eines Objekts, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung;
-
5 Abbildungen zur Darstellung von Zwischenergebnissen von Algorithmen des Verfahrens aus 3; und
-
6 einen Überblick über ein Gesamtsystem zum Umfahren eines Objekts, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung.
-
In der nachfolgenden Beschreibung bevorzugter Ausführungsbeispiele der vorliegenden Erfindung werden für die in den verschiedenen Figuren dargestellten und ähnlich wirkenden Elemente gleiche oder ähnliche Bezugszeichen verwendet, wobei auf eine wiederholte Beschreibung dieser Elemente verzichtet wird.
-
1 zeigt in vereinfachter Darstellung eine beispielhafte Verkehrsszene, in der sich ein Fahrzeug 100 kurz vor einer Vorbeifahrt an einem Objekt 102 am Straßenrand befindet. Das Fahrzeug 100 bewegt sich in einer durch einen Pfeil in der Darstellung gekennzeichneten Fahrtrichtung 104 auf das Objekt 102 zu. Bei dem Objekt 102 handelt es sich um ein zeitlich veränderliches Objekt, das heißt, es verändert seine Position relativ zu dem Fahrzeug 100, während sich dieses an ihm vorbeibewegt. Wie es durch einen in Strichlinien in der Darstellung gekennzeichneten Umriss des zeitlich veränderlichen Objekts 102 angedeutet ist, bewegt sich hier das Objekt 102 zu einem aktuellen Zeitpunkt der Vorbeifahrt des Fahrzeugs 100 schräg auf das Fahrzeug 100 zu. Bei dem Objekt 102 handelt es sich im in 1 gezeigten Ausführungsbeispiel um ein aus einer Parklücke ausparkendes weiteres Fahrzeug. Es kann sich bei dem zeitlich veränderlichen Objekt 102 aber auch um eine sich am Straßenrand entlang bewegende Person oder ein Gebüsch, das in die Fahrbahn hineinragt, handeln. Die Positionsveränderung des Objekts 102 relativ zu dem Fahrzeug 100 gestaltet sich gemäß einem weiteren Ausführungsbeispiel auch ohne, dass sich das Objekt 102 an sich bewegt, z. B. durch eine sich öffnende Fahrertür eines geparkten Fahrzeugs.
-
Wie die Darstellung in 1 zeigt, ist das Fahrzeug 100 mit einer Vorrichtung 106 zum Führen des Fahrzeugs 100 im Umfeld zumindest eines Objekts 102 und insbesondere zum Umfahren zumindest eines zeitlich veränderlichen Objekts 102 ausgestattet. Die Vorrichtung 106 umfasst eine Einleseeinrichtung 108 zum Einlesen einer Mehrzahl von Sichtstrahlenendpunkten 110, eine Verbindungseinrichtung 112 zum Verbinden der Mehrzahl von Sichtstrahlenendpunkten 110 zur Bildung eines Polygons und eine Generiereinrichtung 114 zum Generieren eines Fahrkorridors zum Umfahren des zeitlich veränderlichen Objekts 102. Wie aus der Darstellung ersichtlich ist, kennzeichnen die Sichtstrahlenendpunkte 110 jeweils ein Ende einer Mehrzahl von Sichtstrahlen 116, die von einer im Fahrzeug 100 installierten Stereokamera 118 ausgehen. Die Anzahl der in 1 gezeigten Sichtstrahlen 116 und der entsprechenden Sichtstrahlenendpunkte 110 ist lediglich der Übersichtlichkeit halber auf wenige reduziert. Selbstverständlich geht in der Realität eine hohe Vielzahl von Sichtstrahlen 116 von der Kamera 118 aus. Wie es aus der Darstellung in 1 gut ersichtlich ist, trifft ein Teil der von der Stereokamera 118 ausgehenden Sichtstrahlen 116 auf dem Objekt 102 auf und endet dort. Entsprechend repräsentieren die Sichtstrahlenendpunkte 110 dieser Sichtstrahlen 116 eine Außenfläche bzw. einen Abschnitt einer Außenfläche des Objekts 102. Bei dem in 1 gezeigten Ausführungsbeispiel des zeitlich veränderlichen Objekts 102 repräsentieren die Sichtstrahlenendpunkte 110 Bereiche einer Karosserie des ausparkenden weiteren Fahrzeugs 102. Ein weiterer Teil der von der Kamera 118 ausgehenden Sichtstrahlen 116 kann sich in der in 1 dargestellten beispielhaften Szene ungehindert erstrecken und erreicht somit ein durch eine Punkt-Strich-Linie in der Darstellung gekennzeichnetes Sichtbereichsende 120 der Stereokamera 118.
-
Die Vorrichtung 106 ist ausgebildet, um in einer geeigneten Einrichtung (in den Figuren nicht gezeigt) basierend auf sämtlichen Sichtstrahlenendpunkten 110 ein dreidimensionales Abbild einer das Objekt 102 aufweisenden Fahrzeugumgebung zu generieren. In Form einer Disparitätskarte kann ein derartiges dreidimensionales Abbild Entfernungswerte der Sichtstrahlenendpunkte 110 darstellen, auf deren Basis eine geeignete Fahrtrajektorie zur Umfahrung des zeitlich veränderlichen Objekts 102 berechnet wird. Darauf wird anhand der nachfolgenden 2 noch genauer eingegangen.
-
Die Einleseeinrichtung 108 der Vorrichtung 106 liest über eine geeignete Schnittstelle eine Information der Mehrzahl von Sichtstrahlenendpunkten 110 aus der Stereokamera 118 ein, bereitet die Information für die Verbindungseinrichtung 112 auf und übergibt sie an diese über eine weitere geeignete Schnittstelle. Die Verbindungseinrichtung 112 verbindet die Mehrzahl von Sichtstrahlenendpunkten 110 zur Bildung eines Polygons, das eine Freifläche zum Befahren durch das Fahrzeug 100 bildet, auf deren Basis in der mit der Verbindungseinrichtung 112 über eine weitere Schnittstelle gekoppelten Generiereinrichtung 114 der Fahrkorridor zum Umfahren des zeitlich veränderlichen Objekts 102 ermittelt wird.
-
2 zeigt in einer vereinfachten Darstellung ein dreidimensionales Abbild 200 einer beispielhaften Fahrzeugumgebung des Fahrzeugs aus 1. Das dreidimensionale Abbild 200 basiert auf je einer Aufnahme von zwei optischen Sensoren der Stereokamera aus 1 und liegt in Form einer Disparitätskarte vor. Das am Straßenrand angeordnete zu umfahrende zeitlich veränderliche Objekt 102 aus 1 ist am rechten Bildrand dargestellt. Zudem zeigt die Disparitätskarte 200 am linken Bildrand ein weiteres Objekt, das an einem gegenüberliegenden Straßenrand angeordnet ist. Die Disparitätskarte 200 ist aus einer Mehrzahl von Punkten zusammengesetzt, wobei jedem Punkt ein vorbestimmter Entfernungswert zugeordnet ist. Die Darstellung in 2 zeigt eine Mehrzahl von Sichtstrahlenendpunkten 110, die beispielsweise durch zeilenweises Abtasten des dreidimensionalen Abbildes 200 ausgewählt und durch spaltenweises Kombinieren der Auswahl bestimmt wurden. Der Bestimmung zufolge repräsentieren die oben im Abbild 200 gezeigten Sichtstrahlenendpunkte 110 ein Sichtbereichsende der Kamera und die weiteren gezeigten Sichtstrahlenendpunkte 110 Außenbereiche des Objekts 102 sowie des weiteren Objekts. Unter Verwendung einer zeitlichen Filterung mittels eines Kalman-Filters werden die Sichtstrahlenendpunkte 110 zu einem Polygon verbunden, das eine Freifläche 202 zum Befahren durch das Fahrzeug bildet.
-
Basierend auf der Freifläche 202 werden in ausreichendem Abstand zu dem Objekt 102 Seitenränder 204 eines Fahrkorridors 206 generiert, in dem das Fahrzeug das Objekt 102 umfährt. Wie die Darstellung in 2 zeigt, wurde der Fahrkorridor 206 bei diesem Ausführungsbeispiel so generiert, dass er einen durch einen Doppelpfeil gekennzeichneten vorbestimmten Abstand 208 zu dem Objekt 102 aufweist. Gemäß einem Ausführungsbeispiel der Erfindung wird der Fahrkorridor 206 basierend auf einer in geeigneten Abstand zu dem Objekt verlaufenden Solltrajektorie 210 ermittelt. Entsprechend dieser Ausführung wird ein Lenkmoment aufgeschaltet, wenn der Fahrer des Fahrzeugs beim Umfahren des Objekts 102 die Solltrajektorie 210 verlässt. Bei dem anhand der Darstellung in 2 erläuterten Ausführungsbeispiel der hierin vorgestellten Vorrichtung ist die Größe des Abstands 208 von einer erfolgten Klassifizierung des zeitlich veränderlichen Objekts abhängig. Da hier das Objekt 102 als ein ausparkendes Fahrzeug klassifiziert wurde, ist der Abstand 210 größer als er es wäre, wenn das Objekt 102 beispielsweise als ein Gebüsch klassifiziert worden wäre.
-
3 zeigt eine Darstellung von einem linken und einem rechten Seitenrand 204 eines Ausführungsbeispiels des Fahrkorridors 206 aus 2. Die Darstellung in 3 zeigt ein dreidimensionales Abbild 200 eines städtischen Szenarios. Gezeigt ist eine Fahrbahn sowie links und rechts der Fahrbahn unterschiedliche Hindernisse, hier in Form einer Randbebauung, geparkter Fahrzeuge sowie sich zwischen den geparkten Fahrzeugen und der Fahrbahn bewegender Personen. Die Seitenränder 204 des Fahrkorridors 206 sind zur Veranschaulichung des hierin vorgestellten Konzepts in der Darstellung in 3 durch virtuelle graue „Bänder“ dargestellt. Die Fahrkorridorränder 204 überbrücken hier Lücken zwischen den Hindernissen, die zwar physikalisch vom Fahrzeug durchfahren werden können, aber wahrscheinlich nicht befahren werden. Die Seitenränder 204 bilden somit eine lückenlose Begrenzung für den Korridor 206. Ein Verlauf der Seitenränder 204 wurde basierend auf unterschiedlichen Klassifikatoren, die die Randbebauung, die geparkten Fahrzeuge und die sich bewegenden Personen betreffen, generiert. Die in der Darstellung gezeigten Seitenränder 204 können beispielsweise mittels einer Blickfeldanzeige bzw. eines Head-Up-Displays für einen Fahrer des Fahrzeugs sichtbar gemacht werden. Dies ist aber für eine Funktion der hier vorgestellten Vorrichtung bzw. eines entsprechenden Verfahrens nicht notwendig.
-
4 zeigt ein Ablaufdiagramm eines Ausführungsbeispiels eines Verfahrens 400 zum Umfahren eines zeitlich veränderlichen Objekts oder zum Führen eines Fahrzeugs im Umfeld eines Objekts. In einem Schritt 402 wird basierend auf einem ersten Bild und einem zweiten Bild einer Stereokamera eines Fahrzeugs ein dreidimensionales Abbild einer das Objekt enthaltenden Umgebung des Fahrzeugs in Form einer Disparitätskarte erstellt, wobei jedem einer Mehrzahl von Punkten des dreidimensionalen Abbilds ein vorbestimmter Entfernungswert zugeordnet wird. In einem Schritt 404 wird eine Auswahl dieser Punkte als eine Mehrzahl von Sichtstrahlenendpunkten des dreidimensionalen Abbildes bestimmt. Mindestens einer der Sichtstrahlenendpunkte repräsentiert dabei einen Bereich einer Außenfläche des Objektes. In einem Schritt 406 wird die Mehrzahl von Sichtstrahlenendpunkten in eine Einleseeinrichtung einer das Verfahren 400 ausführenden Vorrichtung eingelesen. Die einzelnen Sichtstrahlenendpunkte werden anschließend in einem Schritt 408 in einer Verbindungseinrichtung der Vorrichtung zu einem Polygon verbunden. Dieses repräsentiert eine Freifläche zum Befahren durch das Fahrzeug. Basierend auf dieser Freifläche wird in einem Schritt 410 in einer Generiereinrichtung der Vorrichtung ein Fahrkorridor zum Umfahren des zeitlich veränderlichen Objekts generiert.
-
5 zeigt eine Reihe von Abbildungen zur Darstellung von Zwischenergebnissen von Algorithmen des Verfahrens aus 3, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. Ein erstes Bild 500 zeigt ein Ausführungsbeispiel des dreidimensionalen Abbilds 200 einer beispielhaften Fahrzeugumgebung in Form einer Disparitätskarte, wie sie in einer Stereokamera eingesetzt wird. In der Disparitätskarte 200 ist in der rechten Bildhälfte das zeitlich veränderliche Objekt 102 in Form eines Fahrzeugs gezeigt. Der Rest der Disparitätskarte 200 zeigt einen bis zum Horizont reichenden Straßenverlauf. Das spaltenweise Erfassen der Hindernisse ist anhand der Strukturierung in einem zweiten Bild 502 der Fahrzeugumgebung gut zu erkennen. Ein drittes Bild 504 der Fahrzeugumgebung zeigt Begrenzungen der zeitlich gefilterten Freifläche, und zwar einmal vom Typ „Hindernis“ in Form eines Bandes 506 entlang des Objekts 102 und einmal vom Typ „Ende Sichtbereich" mit einer Knotenlinie entlang des Horizonts, der hier das Sichtbereichsende 120 der Kamera repräsentiert. Ein viertes Bild 508 zeigt einen beispielhaften rechten Seitenrand 204 eines Fahrkorridors zum Umfahren des zeitlich veränderlichen Objekts 102.
-
6 zeigt einen Überblick über einen Funktionsablauf 600 eines Gesamtsystems zum Umfahren eines zeitlich veränderlichen Objekts, gemäß einem Ausführungsbeispiel der vorliegenden Erfindung. In einem ersten Funktionsabschnitt 602 liefert die Stereokamera des Fahrzeugs zwei Bilder. Die Disparitätsberechnung in einem zweiten Funktionsabschnitt 604 ergibt eine 3D-Repräsentation des im Kameraerfassungsbereich liegenden Umfelds. Daraus werden in einem dritten Funktionsabschnitt 606 bildspaltenweise Hindernisse erkannt. Daraus und aus Fahrzeugdaten, wie z. B. Gierrate, Geschwindigkeit, berechnet die zeitliche Filterung in einem vierten Funktionsabschnitt 608 eine Freifläche, die als Polygon repräsentiert wird. Aus der Freifläche werden – hier mit zusätzlichen Sicherheitsabständen – in einem fünften Funktionsabschnitt 610 ein rechter und linker Fahrkorridorrand geschätzt bzw. bestimmt. Innerhalb dieses Fahrkorridors wird in einem sechsten Funktionsabschnitt 612 eine kollisionsfreie Solltrajektorie geplant, die in einem siebten Funktionsabschnitt 614 von einer Regelung des Fahrzeugs mithilfe eines Lenkmoments eingeregelt wird.
-
Im Nachfolgenden wird das hierin vorgestellte Konzept der erweiterten Querführungsassistenz in städtischer Umgebung mit veränderlicher Randbebauung anhand einer beispielhaften Ausführung und unter Bezugnahme auf sämtliche Figuren nochmals umrissen.
-
Ein das erfindungsgemäße Verfahren 400 einsetzendes System verwendet die Stereo-Kamera 118 als Umfeldsensor. Aus der Disparitätskarte 200 wird für jede Bildzeile des u. U. rektifizierten Bildes bestimmt, ob ein kollisionsrelevantes Hindernis 102 vorliegt, und welche Position es relativ zum eigenen Fahrzeug 100 hat. Um Messausreißer herauszufiltern und um den Einfluss des Messrauschens zu reduzieren, werden diese spaltenweise vorhandenen Hindernisse 102 mit einem Kalman-Filter gefiltert und daraus eine gefilterte Freifläche 202 berechnet. Diese Freifläche 202 wird als Polygon dargestellt. Die Eckpunkte 110 des Polygons entsprechen Sichtstrahlen 116, die von der Kamera 118 ausgehen. Jeder Sichtstrahl 116 bzw. Eckpunkt 110 des Polygons hat entweder die Eigenschaft, dass er das Ende des Sichtbereichs 120 der Kamera 118 markiert, wenn kein Hindernis detektiert wurde, oder die Position des nächstliegenden Hindernisses 102 angibt. Die Filterung findet zunächst für jede Bildzeile – bzw. für jeden Sichtstrahl 116 – getrennt statt. Da sich das Ego-Fahrzeug 100 jedoch bewegt, muss vor jedem Filterupdate zunächst die gefilterte Freifläche 202 um die Ego-Bewegung des Fahrzeugs 100 verschoben werden. Da nun das Freiflächenpolygon 202 nicht mehr die Eigenschaft hat, dass jeder Knotenpunkt 110 einer Bildspalte entspricht, wird anschließend das Polygon so neu abgetastet, dass dies wieder der Fall ist.
-
Um auf sich verändernde Randbebauung – wie etwa eine sich öffnende Tür eines Fahrzeugs – reagieren zu können, sind die Parameter des Kalman-Filters so eingestellt, dass die gefilterte Freifläche 202 schnell genug den sich verändernden Hindernissen 102 folgen kann. Diese Eigenschaft wird insbesondere über eine Kovarianzmatrix des Zustandsrauschens im Kalman-Filter eingestellt. Deren Einträge sind entsprechend ausreichend groß bemessen. Messausreißer werden durch Gating vor dem Filter-Update aussortiert. Außerdem werden für nachfolgende Rechenschritte nur solche Knotenpunkte 110 der Freifläche 202 verwendet, deren Varianz einen Maximalwert unterschreitet.
-
Basierend auf dem gefilterten Freiflächenpolygon 202 wird der Fahrkorridor 206 bestimmt, der durch den rechten und linken Fahrkorridorrand 204 beschrieben wird. Die Fahrkorridorränder 204 können beispielsweise auch Lücken zwischen Hindernissen 102 überbrücken, die zwar physikalisch vom Fahrzeug 100 durchfahren werden können, aber wahrscheinlich nicht befahren werden.
-
Nach der Fahrkorridorbestimmung werden die Sicherheitsabstände 208 zu beiden Fahrkorridorrändern 204 addiert, um sicherzustellen, dass die Randbebauung mit geeignetem Sicherheitsabstand, z. B. 30 cm, passiert wird. Steht gemäß einem Ausführungsbeispiel der Erfindung ein geeigneter Mono-Klassifikator für die Randbebauung zur Verfügung, so wird dieser Sicherheitsabstand 208 objektabhängig gewählt. So kann bei einer Vorbeifahrt an parkenden Autos ein höherer Sicherheitsabstand gewählt werden als bei der Vorbeifahrt an Gebüschen.
-
Mithilfe der oben beschrieben bestimmten Fahrkorridorränder 204 wird gemäß einem Ausführungsbeispiel des hierin vorgestellten Verfahrens die Solltrajektorie 210 zwischen den Fahrkorridorrändern 204 geplant, die zu einer möglichst kleinen Sollgierrate führt, sodass das Fahrzeug 100 nicht die Fahrkorridorränder 204 berührt oder schneidet, wenn es der Solltrajektorie 210 folgt. Die Solltrajektorie 210 wird schließlich von einem Regler eingeregelt, indem – vergleichbar zu LKS – ein Lenkmoment gestellt wird. Die Funktion bildet eine virtuelle Wand, an die sich der Fahrer anlehnt. Da die Solltrajektorie 210 in jedem Zyklus neu berechnet wird, wird auf sich verändernde Randbebauung wie eine sich öffnende Tür durch eine instantan angepasste Solltrajektorie 210 reagiert. Somit werden entsprechend angepasste Reglerlenkmomente sofort angepasst. Das Fahrzeug 100 wird dann um das neu erscheinende Hindernis 102 herum gelenkt.
-
Der beschriebenen Ansatz kann in einem Fahrerassistenzsystem, beispielsweise auch als Erweiterung eines sogenannten Baustellenassistenten eingesetzt werden.
-
Die beschriebenen und in den Figuren gezeigten Ausführungsbeispiele sind nur beispielhaft gewählt. Unterschiedliche Ausführungsbeispiele können vollständig oder in Bezug auf einzelne Merkmale miteinander kombiniert werden. Auch kann ein Ausführungsbeispiel durch Merkmale eines weiteren Ausführungsbeispiels ergänzt werden.
-
Ferner können erfindungsgemäße Verfahrensschritte wiederholt sowie in einer anderen als in der beschriebenen Reihenfolge ausgeführt werden.
-
Umfasst ein Ausführungsbeispiel eine „und/oder“-Verknüpfung zwischen einem ersten Merkmal und einem zweiten Merkmal, so ist dies so zu lesen, dass das Ausführungsbeispiel gemäß einer Ausführungsform sowohl das erste Merkmal als auch das zweite Merkmal und gemäß einer weiteren Ausführungsform entweder nur das erste Merkmal oder nur das zweite Merkmal aufweist.
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102009053807 A1 [0003]
