DE102021203016A1

DE102021203016A1 - Verfahren und Vorrichtungen zur Bestimmung von Spurbegrenzungen

Info

Publication number: DE102021203016A1
Application number: DE102021203016.5A
Authority: DE
Inventors: Marius Bachhofer; Hanagodimath Sagar; Pascal Laube
Original assignee: ZF Friedrichshafen AG
Current assignee: ZF Friedrichshafen AG
Priority date: 2021-03-26
Filing date: 2021-03-26
Publication date: 2022-09-29

Abstract

Die Erfindung betrifft ein Verfahren zur Bestimmung von Spurbegrenzungen für ein Ego-Fahrzeug (7) entlang eines geplanten Ego-Fahrwegs (1) auf einer Ego-Fahrspur auf einer Ego-Straße, umfassend Schritte:- Bereitstellen einer elektronischen Straßenkarte umfassend zumindest des Ego-Fahrwegs (1),- Extraktion eines lokalen Ego-Fahrwegs (1) aus der elektronischen Straßenkarte anhand der aktuellen Fahrzeugposition, wobei der lokale Ego-Fahrweg (1) einen unmittelbar vorausliegenden zu befahrenden Ego-Fahrweg (1) in einem vorausliegenden Fahrbahnabschnitt umfasst,- Erfassung einer der Ego-Fahrzeug (7) vorausliegenden Fahrzeugumgebung durch eine Fahrzeugsensorik (9) als Umgebungsbild,- Extraktion von möglichen Begrenzungslinien in dem Umgebungsbild und Projektion der Begrenzungslinien in ein Ego-Fahrzeugkoordinatensystem des Ego-Fahrzeugs (7),- Generieren eines Region-Of-Interest-Bildes durch ein Einschränken des Umgebungsbildes auf einen vorher bestimmten Ausschnitt als Umgebungsbildausschnitt, wobei der Umgebungsbildausschnitt zumindest den Fahrbahnabschnitt umfasst und verwerfen derjenigen Begrenzungslinien, welche außerhalb des Region-Of-Interest-Bildes liegen,- Identifizieren zusammengehöriger Begrenzungslinien als Spurbegrenzungen anhand des Ego-Fahrweges (1) und generieren der Spurbegrenzungen aus den zusammengehörigen Begrenzungslinien entlang dem Ego-Fahrweg (1).Ferner betrifft die Erfindung zwei Vorrichtungen sowie ein Fahrerassistenzsystem.

Description

Die Erfindung betrifft ein Verfahren zur Bestimmung von Spurbegrenzungen für ein Ego-Fahrzeug entlang eines geplanten Ego-Fahrwegs auf einer Ego-Fahrspur auf einer Ego-Straße. Ferner betrifft die Erfindung zwei Vorrichtungen zur Bestimmung von Spurbegrenzungen und ein Fahrerassistenzsystem.
Der Betrieb von modernen Fahrzeugen geht hin zur autonomen Betriebsweise ohne oder mit wenigen Fahrereingriffen. Systeme zum autonomen Fahren nutzen Eingaben bezüglich der Straßen-, Umgebungs- und anderer Fahrbedingungen, um Fahrzeugparameter automatisch zu steuern. Es ist jedoch zu beachten, dass Straßenbedingungen kompliziert sein können. Im normalen Betrieb eines Fahrzeugs macht der menschliche Bediener Hunderte von Beobachtungen pro Minute und stellt den Betrieb des Fahrzeugs auf der Basis wahrgenommener Straßenbedingungen ein. Ein Aspekt eines Wahrnehmens von Straßenbedingungen ist die Wahrnehmung der Straße sowie deren Spurbegrenzung. Dabei sind Spurbegrenzungen, Bordsteinkanten oder durchgängige Linien, genauso wie Mittellinien oder Grasflächen.
Ein autonomes Fahrzeug benötigt daher eine exakte Spurbegrenzung, um komplexe Straßenszenarien aber auch einfache Straßenszenarien bei jedem Wetter erfolgreich bewältigen zu können. Bislang wurden hier Spurhalteassistenten mit Spurbegrenzungsdetektionsgeräten eingesetzt, welche lediglich auf der bildlichen Erfassung der Umgebung des Fahrzeugs beruhen.
Die DE 11 2011 103 834 T5 offenbart ein Spurhalteassistent zur Nutzung in einem in einer Spur auf einer Straße fahrenden Fahrzeug, wobei der Spurhalteassistent Folgendes umfasst: eine Steuereinheit; und ein Spurbegrenzungsdetektionsgerät, das positioniert ist, um Informationen bezüglich der Positionen einer linken Spurbegrenzung auf der Straße auf einer linken Seite des Fahrzeugs und einer rechten Spurbegrenzung auf einer rechten Seite des Fahrzeugs an die Steuereinheit zu senden.
Es ist eine Aufgabe der Erfindung verbesserte Mittel anzugeben, welche eine sicherere Erkennung der Spurbegrenzungen in einem Fahrzeug ermöglichen.
Diese Aufgabe wird gelöst durch ein Verfahren mit den Merkmalen des Anspruchs 1 und eine Vorrichtung mit den Merkmalen des Anspruchs 5 und eine Vorrichtung mit den Merkmalen des Anspruchs 13 sowie durch ein Fahrerassistenzsystem mit den Merkmalen des Anspruchs 14.
In den Unteransprüchen sind weitere vorteilhafte Maßnahmen aufgelistet, die geeignet miteinander kombiniert werden können, um weitere Vorteile zu erzielen.
Die Aufgabe wird gelöst durch ein Verfahren zur Bestimmung von Spurbegrenzungen für ein Ego-Fahrzeug entlang eines geplanten Ego-Fahrwegs auf einer Ego-Fahrspur auf einer Ego-Straße, umfassend der Schritte:

- Bereitstellen einer elektronischen Straßenkarte umfassend zumindest des Ego-Fahrwegs,
- Extraktion eines lokalen Ego-Fahrwegs aus der elektronischen Stra-ßenkarte anhand der aktuellen Fahrzeugposition, wobei der lokale Ego-Fahrweg einen unmittelbar vorausliegenden zu befahrenden Ego- Fahrweg in einem vorausliegenden Fahrbahnabschnitt umfasst,
- Erfassung einer der Ego-Fahrzeug vorausliegenden Fahrzeugumgebung durch eine Fahrzeugsensorik als Umgebungsbild,
- Extraktion von möglichen Begrenzungslinien in dem Umgebungsbild und Projektion der Begrenzungslinien in ein Ego-Fahrzeugkoordinatensystem des Ego-Fahrzeugs,
- Generieren eines Region-Of-Interest-Bildes durch ein Einschränken des Umgebungsbildes auf einen vorher bestimmten Ausschnitt als Umgebungsbildausschnitt, wobei der Umgebungsbildausschnitt zumindest den Fahrbahnabschnitt umfasst und verwerfen derjenigen Begrenzungslinien, welche außerhalb des Region-Of-Interest-Bildes liegen,
- Identifizieren zusammengehöriger Begrenzungslinien als Spurbegrenzungen anhand des Ego-Fahrweges und generieren der Spurbegrenzungen aus den zusammengehörigen Begrenzungslinien entlang dem Ego-Fahrweg.

Ein Ego-Fahrzeug (eigenes Fahrzeug), ist hier im Wesentlichen das Fahrzeug auf das sich das Verfahren bezieht. Dieses fährt auf seiner Fahrspur, der sogenannten Ego-Fahrspur, einen Weg von einem Start bis zu einem Ziel, dem sogenannten Ego-Fahrweg.
Das Ego-Fahrzeug weist ein eigenes Fahrzeugkoordinatensystem auf, welches zumeist als kartesisches Koordinatensystem ausgebildet ist.
Spurbegrenzungen sind im Wesentlichen, Mittellinien oder Seitenlinien, aber auch Grünflächen oder Bordsteinkanten.
Eine elektronische Straßenkarte kann beispielsweise im ODR-Format (Operating Data Recorder) oder einem anderen Format bereitgestellt werden Eine aktuelle Fahrzeugposition ist beispielsweise mittels GPS Daten in einem globalen Fahrzeugkoordinatensystem angebbar.
Unter Fahrzeugsensorik können ein oder mehrere Sensoren verstanden werden, welche ein Umgebungsbild erzeugen. Die Fahrzeugsensorik ist dafür vor allem im Frontbereich zur Aufnahme des noch zu befahrenden Bereiches angeordnet. Insbesondere ist die Sensorik als eine oder mehrere Kameras ausgebildet.
Vorzugsweise wird eine Aufnahme des Umgebungsbildes als auch die Auswertung, d.h. die Extraktion der möglichen Begrenzungslinien in Echtzeit bewerkstelligt. Solche Begrenzungslinien können durchgängige Linien oder gestrichelte Linien oder auch Grünflächen oder Bordsteinkanten sein. Insbesondere können die extrahierten Begrenzungslinien oder auch aufgenommenen Umgebungsbilder Lücken oder Ausreißer durch unscharfe /ungenaue Bildaufnahme oder Extraktion aufweisen.
Erfindungsgemäß wird eine elektronische Straßenkarte zur Verfügung gestellt. Aus dieser wird erfindungsgemäß ein lokaler Ego-Fahrweg anhand der aktuellen Fahrzeugposition extrahiert, wobei der lokale Ego-Fahrweg einen unmittelbar vorausliegenden zu befahrenden Ego- Fahrweg in dem vorausliegenden Fahrbahnabschnitt umfasst.
Dies bedeutet quasi, dass der unmittelbar vorausliegende Fahrweg extrahiert wird. Dabei kann ein vorausliegender Abschnitt von beispielsweise 50 m gewählt werden. Erfindungsgemäß wird weiterhin eine dem Ego-Fahrzeug vorausliegende Fahrzeugumgebung durch eine Fahrzeugsensorik als Umgebungsbild erfasst und mögliche Begrenzungslinien in dem Umgebungsbild extrahiert und in das Ego-Fahrzeugkoordinatensystem des Ego-Fahrzeugs projiziert, wobei das Umgebungsbild ebenfalls im Ego-Fahrzeugkoordinatensystem des Ego-Fahrzeugs liegt.
Ferner wird erfindungsgemäß das Region-Of-Interest-Bild durch ein Einschränken des Umgebungsbildes auf einen vorher bestimmten Ausschnitt als Umgebungsbildausschnitt generiert, wobei der Umgebungsbildausschnitt zumindest den Fahrbahnabschnitt umfasst. Ferner werden diejenigen Begrenzungslinien verworfen, welche außerhalb des Region-Of-Interest-Bildes liegen. Durch eine erfindungsgemäße Beschränkung des Umgebungsbildes als Region-Of-Interest-Bild werden nicht relevante Begrenzungslinien aussortiert. Durch ein solches Verwerfen, können die relevanten Spurbegrenzungen sicherer und schneller erkannt/ermittelt werden.
Die Identifikation der Begrenzungslinien als Spurbegrenzungen erfolgt erfindungsgemäß anhand des Ego-Fahrweges. Dadurch kann die rechte und linke Spurbegrenzung leicht aus den Begrenzungslinien erkannt werden. Die Spurbegrenzungen können als Polygonzüge dargestellt werden. Durch die Spurbegrenzungen und den Ego-Fahrweg kann beispielsweise ein autonom betriebenes Fahrzeug auf seiner Spur gehalten werden.
Ferner können bei Verwendung mehrerer Sensoren (rechter und linker Kameraaufnahme), diese zur Unterscheidung in rechter und linker Spurbegrenzung herangezogen werden. Ist beispielsweise die Begrenzungslinie nur in der rechten Kamera zu sehen, so handelt es sich mit hoher Wahrscheinlichkeit um die rechte Spurbegrenzung.
Durch die Erfindung können anhand eines vorab bekannten Ego-Fahrweges und den aktuellen Sensordaten die Grenzen der aktuellen Ego-Fahrspur genau und schnell extrahiert werden. Durch die Erfindung kann ferner das Problem gelöst werden, dass es im 2D-ImageSpace sehr schwer ist, extrahierte Begrenzungslinien einer bestimmten Fahrspur zuzuordnen, indem erfindungsgemäß die Begrenzungslinien in den 3D-Raum des Fahrzeugkoordinatensystems projiziert werden und anschließend basierend auf dem aktuellen Ego-Fahrweg assoziiert werden.
Durch die Kombination von, vorzugsweise offline, Straßenkarten, den daraus bestimmten Ego-Fahrweg des Ego-Fahrzeugs und der Sensordatenauswertung, insbesondere der Echtzeit-Sensordatenauswertung, ergibt sich ein entscheidender Vorteil gegenüber Fahrspurerkennungsmitteln, die nur Zugriff auf Sensordaten von einem aktuellen Zeitpunkt haben.
Die Erkennung der Spurbegrenzungen kann zusätzlich dazu verwendet werden, Straßenkarten zu aktualisieren.
In weiterer Ausbildung werden kontinuierlich neue Umgebungsbilder erzeugt, und mögliche Begrenzungslinien in den kontinuierlich erzeugten Umgebungsbildern extrahiert sowie eine Projektion der Begrenzungslinien in das Ego-Fahrzeugkoordinatensystem des Ego-Fahrzeugs vorgenommen, und korrespondierende Region-Of-Interest-Bilder anhand der kontinuierlich erzeugten Umgebungsbilder generiert, wobei mögliche Begrenzungslinien, welche außerhalb der Region-Of-Interest-Bilder liegen, verworfen werden und zusammengehörige Begrenzungslinien als kontinuierliche Spurbegrenzungen anhand des Ego-Fahrweges aus den verschiedenen Region-Of-Interest-Bilder generiert werden.
Dadurch können jeweils in aufeinanderfolgenden Umgebungsbildern bzw. Region-Of-Interest-Bildern die Begrenzungslinien und damit Spurbegrenzungen erkannt werden, welche zu einer kontinuierlichen Spurbegrenzung rechts und links des Ego-Fahrwegs zusammengefügt werden können. Nach Extraktion der relevanten Begrenzungslinien können sowohl die Umgebungsbilder als auch die Region-Of-Interest-Bilder verworfen werden. Dadurch kann Speicherkapazität eingespart werden. Die Umgebungsbilder können dabei an verschiedenen aufeinanderfolgenden Zeitstempeln aufgenommen werden.
Ferner können durch multiple Erkennung von teilweise sich überlappenden Begrenzungslinien Ausreißer erkannt werden und eliminiert werden.
Durch die kontinuierlich erzeugten Umgebungsbilder und der Extraktion von Begrenzungslinien in den kontinuierlich erzeugten Umgebungsbildern sowie der Projektion der Begrenzungslinien in das Ego-Fahrzeugkoordinatensystem und der Erzeugung korrespondierender Region-Of-Interest-Bildern anhand der kontinuierlich erzeugten Umgebungsbildern, und dem Generieren von zusammengehörigen Begrenzungslinien als Spurbegrenzungen anhand des Ego-Fahrweges können mehrere Begrenzungslinien basierend auf der Entfernung zu dem Fahrweg kombiniert werden, um somit kontinuierliche Spurbegrenzungen zu bilden. Diese können als linke/rechte Spurbegrenzungen der Ego-Fahrspur dargestellt werden.
Dadurch können verwackelungsfreie und durchgängige Spurbegrenzungen erhalten werden.
In weiterer Ausbildung wird die elektronische Straßenkarte offline bereitgestellt. Somit ist das Verfahren nicht auf einen Download angewiesen und funktioniert auch in/bei Funklöchern sowie schlechten Empfang zuverlässig.
In weiterer Ausbildung werden die generierten Spurbegrenzungen als Polygonzüge ausgebildet bzw. dargestellt. Dadurch kann eine einfache und schnelle Weiterverwendung in einem autonom betriebenen Ego-Fahrzeug bewerkstelligt werden.
In weiterer Ausgestaltung erfolgt die Extraktion von möglichen Begrenzungslinien in dem Umgebungsbild anhand eines trainierten maschinellen Lernverfahrens. Insbesondere kann dies ein künstliches neuronales Netz sein. Diese können durch Trainingsverfahren angelernt werden, in Umgebungsbildern Begrenzungslinien zu erkennen. Ein solches Trainieren kann beispielsweise durch Umgebungsbilder mit verschiedenen Szenarien als Eingangsbildern und mit bereits extrahierten Begrenzungslinien als Zielbilder erfolgen. Vorzugsweise ist ein solches künstliches neuronales Netz ein Convolutional Neural Network (kurz „CNN“). Dieses eignet sich speziell für das Verarbeiten von Bildern durch Faltungen.
Ferner wird die Aufgabe gelöst durch eine Vorrichtung zur Bestimmung von Spurbegrenzungen für ein Ego-Fahrzeug entlang eines geplanten Ego-Fahrwegs auf einer Ego-Fahrspur auf einer Ego-Straße, umfassend:

- einen Speicher mit einer elektronischen Straßenkarte umfassend zumindest des Ego-Fahrwegs,
- einen Prozessor, welcher ausgebildet ist, zu einer Extraktion eines lokalen Ego-Fahrwegs aus der elektronischen Straßenkarte anhand der aktuellen Fahrzeugposition, wobei der lokale Ego-Fahrweg einen unmittelbar vorausliegenden zu befahrenden Ego- Fahrweg in einem vorausliegenden Fahrbahnabschnitt umfasst,
- eine Fahrzeugsensorik zur Erfassung einer dem Ego-Fahrzeug vorausliegenden Fahrzeugumgebung als Umgebungsbild,
- einer Detektionseinheit, welche konfiguriert ist, zur Extraktion von möglichen Begrenzungslinien in dem Umgebungsbild und Projektion der Begrenzungslinien in ein Ego-Fahrzeugkoordinatensystem des Ego-Fahrzeugs,
- wobei der Prozessor ferner ausgebildet ist, zum Generieren eines Region-Of-Interest-Bildes durch ein Einschränken des Umgebungsbildes auf einen vorher bestimmten Ausschnitt als Umgebungsbildausschnitt, wobei der Umgebungsbildausschnitt zumindest den Fahrbahnabschnitt umfasst und verwerfen derjenigen Begrenzungslinien, welche außerhalb des Region-of-Interest-Bildes liegen,
- eine Identifikationseinheit zum Identifizieren zusammengehöriger Begrenzungslinien als Spurbegrenzungen anhand des Ego-Fahrweges und generieren der Spurbegrenzungen aus den zusammengehörigen Begrenzungslinien entlang dem Ego-Fahrweg.

Die Vorteile des Verfahrens können auch auf die Vorrichtung übertragen werden.
In weiterer Ausgestaltung weist die Detektionseinheit ein trainiertes maschinelles Lernverfahren auf, wobei das maschinelle Lernverfahren dazu trainiert ist, aus dem Umgebungsbild die Begrenzungslinien zu extrahieren.
In weiterer möglicher Ausgestaltung ist die Fahrzeugsensorik dazu ausgebildet, kontinuierlich neue Umgebungsbilder zu erzeugen, und die Detektionseinheit dazu ausgebildet, mögliche Begrenzungslinien in den kontinuierlich erzeugten Umgebungsbildern zu extrahieren sowie die Begrenzungslinien in das Ego-Fahrzeugkoordinatensystem des Ego-Fahrzeugs zu projizieren, und wobei der Prozessor ferner dazu ausgebildet ist, korrespondierende Region-Of-Interest-Bilder anhand der kontinuierlich erzeugten Umgebungsbilder zu generieren, und mögliche Begrenzungslinien, welche außerhalb der Region-Of-Interest-Bilder liegen, zu verwerfen und wobei die Identifikationseinheit zum Identifizieren und Generieren von zusammengehörigen Begrenzungslinien als kontinuierliche Spurbegrenzungen anhand des Ego-Fahrweges aus den verschiedenen Region-Of-Interest-Bildern ausgebildet ist.
Ferner kann die elektronische Straßenkarte als offline Straßenkarte ausgebildet sein. In einer weiteren Ausführungsform ist eine Positionserfassungseinrichtung zum Ermitteln der aktuellen Fahrzeugposition vorgesehen. Diese kann insbesondere als ein GPS-Empfänger ausgebildet sein.
Ferner ist die Identifikationseinheit vorzugsweise dazu ausgebildet, die Begrenzungslinien / Spurbegrenzungen unter Verwendung des Ego-Fahrweges zusammenzuführen. Dabei kann die Information des EGO-Fahrweges genutzt werden, um verschiedene Begrenzungslinien, welche beispielsweise nicht durchgängig sind, als zusammengehörig zu erkennen.
In weiterer Ausführungsform ist die Detektionseinheit zur Extraktion von möglichen Begrenzungslinien in dem Umgebungsbild anhand eines trainierten maschinellen Lernverfahrens ausgebildet.
Ferner kann die Vorrichtung dazu ausgebildet sein, unter Verwendung von, aus der elektronischen Straßenkarte und/oder dem Umgebungsbild und /oder des Region-of-Interest-Bildes extrahierten Zusatzinformationen die Spurbegrenzungen benachbarter Fahrspuren zu bestimmen. Dadurch können auch bei komplexen Szenarien alle Spurbegrenzungen erfindungsgemäß erkannt werden, wie z. B. die Aufteilung der Ego-Fahrspur in verschiedene Hypothesen.
Weiterhin können Zusatzinformationen wie Heuristiken, beispielsweise wie den „Mindestabstand zwischen Ego-Fahrspur und angrenzenden Fahrspuren“, oder die „minimale/maximale Breite einer Fahrspur“ usw. genutzt werden, um zusätzliche Fahrspuren beispielsweise linksseitige /rechtsseitige angrenzende Fahrspuren zu erkennen, so dass ein vollständiges Bild des Fahrspurmodells um das Ego-Fahrzeug herum erhalten werden kann.
In einer alternativen Ausgestaltung kann die Aufgabe gelöst werden durch eine Vorrichtung zur Bestimmung von Spurbegrenzungen für ein Ego-Fahrzeug entlang eines geplanten Ego-Fahrwegs auf einer Ego-Fahrspur auf einer Ego-Straße, umfassend:

- einen Speicher mit einer elektronischen Straßenkarte umfassend zumindest des Ego-Fahrwegs,
- einen Prozessor, welcher ausgebildet ist, zu einer Extraktion eines lokalen Ego-Fahrwegs aus der elektronischen Straßenkarte anhand der aktuellen Fahrzeugposition, wobei der lokale Ego-Fahrweg einen unmittelbar vorausliegenden zu befahrenden Ego-Fahrweg in einem vorausliegenden Fahrbahnabschnitt umfasst,
- eine Fahrzeugsensorik zur Erfassung einer der Ego-Fahrzeug vorausliegenden Fahrzeugumgebung als Umgebungsbild,
- wobei der Prozessor ferner ausgebildet ist, zum Generieren eines Region-Of-Interest-Bildes durch ein Einschränken des Umgebungsbildes auf einen vorher bestimmten Ausschnitt als Umgebungsbildausschnitt, wobei der Umgebungsbildausschnitt zumindest den Fahrbahnabschnitt umfasst,
- einer Detektionseinheit welche konfiguriert ist, zur Extraktion von möglichen Begrenzungslinien in dem Umgebungsbildausschnitt und Projektion der Begrenzungslinien in ein Ego-Fahrzeugkoordinatensystem des Ego-Fahrzeugs,
- wobei der Prozessor ferner ausgebildet ist, zum Verwerfen derjenigen Begrenzungslinien, welche außerhalb des Region-of-Interest-Bildes liegen,
- eine Identifikationseinheit, welche ausgebildet ist, zum Identifizieren zusammengehöriger Begrenzungslinien als Spurbegrenzungen anhand des Ego-Fahrweges und generieren der Spurbegrenzungen aus den zusammengehörigen Begrenzungslinien entlang dem Ego-Fahrweg.

Im Unterschied zur vorherigen Ausführungsform wird hier das Umgebungsbild vor der Extraktion von möglichen Begrenzungslinien beschränkt, als Umgebungsbildausschnitt und anschließend beispielsweise ein maschinelles Lernverfahren auf das bereits beschränkte Umgebungsbild angewendet. Dadurch können beispielsweise Rechenzeiten gespart werden, da das maschinelle Lernverfahren nur auf ein beschränktes Umgebungsbild angewendet wird.
Vorteilhafte oben beschriebene Ausführungen können ebenfalls übertragen werden. Ferner wird die Aufgabe gelöst durch ein Fahrerassistenzsystem mit einer der wie oben beschriebenen Vorrichtungen, wobei das Fahrerassistenzsystem dazu ausgestaltet ist, ein Ego-Fahrzeug autonom oder teilautonom zu betreiben.
Weitere Merkmale, Eigenschaften und Vorteile der vorliegenden Erfindung ergeben sich aus der nachfolgenden Beschreibung unter Bezugnahme auf die beiliegenden Figuren. Darin zeigen schematisch:

1: ein erfindungsgemäßes Verfahren schematisch,
2: einen Ego-Fahrweg und die dazugehörigen Spurbegrenzungen,
3: das Verfahren angewendet auf ein erstes Verkehrsszenario, und
4: das Verfahren angewendet auf ein zweites Verkehrsszenario, und
5: das Verfahren angewendet auf ein drittes Verkehrsszenario, und
6: ein Ego-Fahrzeug mit einer erfindungsgemäßen Vorrichtung.

1 zeigt ein erfindungsgemäßes Verfahren schematisch. Dabei fährt ein Ego-Fahrzeug 7 (6) auf einer Ego-Fahrspur. Das Ego-Fahrzeug 7 (6) fährt entlang eines Ego-Fahrweges 1, welcher durch einen Start und ein Ziel gekennzeichnet ist. Das Ego-Fahrzeug 7 (6) weist eine Fahrzeugsensorik 9 (6) auf, welche zumeist als Monokameras ausgebildet sind, zum Erfassen des vor dem Ego-Fahrzeug 7 (6) liegenden Umfeldes. Dabei wird die direkt vorausliegende Ego-Fahrspur 1 miterfasst.
In einem ersten Schritt S1 wird vorzugsweise in einem Speicher 8 (6) des Ego-Fahrzeuges 7 (6) eine elektronische Straßenkarte bereitgestellt, welche den Ego- Fahrweg 1 umfasst. Die elektronische Straßenkarte ist offline im Speicher 8 (6) gespeichert, d.h. sie steht auch ohne Netzanbindung zur Verfügung, beispielsweise auch bei Funklöchern und Netzausfall.
In einem zweiten Schritt S2 wird ein lokaler Ego-Fahrweg 1 aus der elektronischen Straßenkarte anhand der aktuellen Fahrzeugposition erstellt. Dabei ist der lokale Ego-Fahrweg 1 ein unmittelbar vorausliegender zu befahrender Ego- Fahrweg 1 in einem vorausliegenden Fahrbahnabschnitt. Ein lokaler Ego-Fahrweg 1 ist somit quasi ein kleinerer, direkt vorausliegender Fahrabschnitt, den das Ego-Fahrzeug 7 (6) zurücklegen muss. Hier kann beispielsweise ein vorausliegender Fahrabschnitt von 50 m gewählt werden.
In einem dritten Schritt S3 wird die, dem Ego-Fahrzeug 7 (6) vorausliegende Fahrzeugumgebung, durch die Fahrzeugsensorik 9 (6) als Umgebungsbild aufgenommen. Dabei können die Fahrzeugsensorik 9 (6) je nach Sensorik mehrere Kameras sein, welche mehrere Umgebungsbilder aufnehmen. Diese umfassen die Umgebung mit der vorausliegenden Ego-Fahrspur.
In einem vierten Schritt S4 werden mögliche Begrenzungslinien in dem Umgebungsbild extrahiert. Diese Extraktion kann durch ein trainiertes maschinelles Lernverfahren vorgenommen werden. Dies kann ein künstliches neuronales Netz sein, beispielsweise ein CNN, welches auf Bilddaten spezialisiert ist. Solche Begrenzungslinien können durchgängige Linien, gestrichelte Linien oder Grünflächen, Leitplanken etc. sein. Diese können aus dem Umgebungsbild extrahiert werden.
Die Begrenzungslinien werden nun in das Ego-Fahrzeugkoordinatensystem des Ego-Fahrzeugs 7 (6) projiziert. Die Begrenzungslinien und das Umgebungsbild weisen nun das gleiche Koordinatensystem, nämlich das Ego-Fahrzeugkoordinatensystem des Ego-Fahrzeugs 7 (6) auf.
In einem fünften Schritt S5 wird ein Region-Of-Interest-Bild durch ein Einschränken des Umgebungsbildes auf einen vorher bestimmten Ausschnitt als Umgebungsbildausschnitt generiert. Dabei umfasst der Umgebungsbildausschnitt zumindest den Fahrbahnabschnitt. Anschließend wird überprüft, welche extrahierten Begrenzungslinien innerhalb oder außerhalb des Region-Of-Interest-Bildes liegen.
In einem sechsten Schritt S6 werden diejenigen Begrenzungslinien, welche außerhalb des Region-Of-Interest-Bildes liegen, verworfen.
In einem siebten Schritt S7 werden die übriggebliebenen relevanten, zusammengehörigen Begrenzungslinien als Spurbegrenzungen anhand des Ego-Fahrweges 1 identifiziert. Anschließend können das Umgebungsbild als auch das Region-Of-Interest-Bild verworfen werden.
In einem achten Schritt S8 werden die Schritte S3 bis S7 nacheinander anhand von aufeinanderfolgenden Zeitpunkten (Zeitstempeln) wiederholt, d.h. es werden verschiedene Umgebungsbilder als auch Region-of-Interest-Bilder erzeugt und die jeweiligen relevanten Begrenzungslinien als multiple Begrenzungslinien extrahiert.
Die jeweiligen Umgebungsbilder und Region-of-Interest-Bilder können nach Extraktion und der Verwerfung der nicht relevanten Begrenzungslinien gelöscht oder anderweitig verwendet werden.
In einem neunten Schritt S9 werden die multiplen Begrenzungslinien basierend auf der Entfernung von dem Ego-Fahrweg 1 kombiniert, so dass kontinuierliche Spurbegrenzungen gebildet werden können. Die Spurbegrenzungen werden so quasi über aufeinanderfolgende Umgebungsbilder hinweg verfolgt, so dass eine verwacklungsfreie Spurbegrenzung erhalten werden kann. Durch die Generierung und den Vergleich von Begrenzungslinien miteinander können Ausreißer 5, welche durch die Aufnahme der Umgebungsbilder oder beispielsweise Extraktion der Begrenzungslinien entstanden sein können, leichter erkannt und eliminiert bzw. nicht beachtet werden, da die Umgebungsbilder an kurz aufeinanderfolgenden Zeitstempeln aufgenommen werden.
Ferner kann auch der zweite Schritt S2, also die Generierung eines lokalen Ego-Fahrwegs 1 an den entsprechenden Zeitstempel wiederholt werden.
Somit kann zudem eine in Ego-Fahrrichtung längere Spurbegrenzung erzeugt werden.
Durch das erfindungsgemäße Verfahren können die 2D- Begrenzungslinien einer bestimmten Fahrspur zugeordnet werden. Durch die Kombination von offline Straßenkarten, den daraus ermittelten lokalen Ego-Fahrweg 1 des Ego-Fahrzeugs 7 (6) und der Sensorauswertung, insbesondere der Echtzeit-Sensordatenauswertung, ergibt sich ein entscheidender Vorteil gegenüber Fahrspurerkennungsmitteln, die nur Zugriff auf Sensordaten vom aktuellen Zeitpunkt haben.
2 zeigt einen Ego-Fahrweg 1 und die dazugehörigen Spurbegrenzungen. Dabei sind die Spurbegrenzungen als Polygonzug ausgebildet. Die Spurbegrenzungen unterteilen sich hier in eine Bordsteinkante 2, in eine gestrichelte Linie 3, welche beispielsweise einen Radweg darstellt, und eine durchgezogene Linie 4 als Spurbegrenzung, sowie eine hohe Bordsteinkante 6.
Die Spurbegrenzungen sind hier durch multiple Begrenzungslinien generiert worden. Zu jedem Zeitstempel, d.h. zu jedem Umgebungsbild, welches die Fahrzeugsensorik 9 (6) erzeugt, kann der lokale Ego-Fahrweg 1 verwendet werden, um jeweilige Region-of-Interest-Bilder zu generieren. Die vorab aus dem jeweiligen Umgebungsbild extrahierten Begrenzungslinien werden in das Ego-Fahrzeugkoordinatensystem projiziert. Nicht in einem Region-of-Interest-Bild vorhandene Begrenzungslinien werden verworfen.
Die nicht verworfenen projizierten Begrenzungslinien werden basierend auf der Entfernung von dem lokalen Ego-Fahrweg 1 kombiniert, um kontinuierliche Spurbegrenzungen zu bilden. Diese stellen die linke/rechte Spurbegrenzungen der Ego-Fahrspur 1 dar.
Die Spurbegrenzungen werden somit über mehrere Umgebungsbilder hinweg verfolgt, um eine verwacklungsfreie Spurbegrenzung der Ego-Fahrspur 1 zu erhalten. Es können ausgehend von dem Ego-Fahrweg 1 anschließend minimale Abstände dist(min) von dem Ego-Fahrweg 1 zu den erkannten Spurbegrenzungen bestimmt werden. Dadurch kann die Sicherheit insbesondere eines autonom oder teilautonom fahrenden Fahrzeugs erhöht werden.
In 3 wurde das Verfahren auf eine aufgeteilte Ego-Fahrspur 1, bei zwei möglichen Befahrungen durch das Ego-Fahrzeug 7 (6) angewendet. 3 zeigt daher einen zweigeteilten Ego-Fahrweg 1 und die dazugehörige Spurbegrenzungen. Dabei sind die Spurbegrenzungen ebenfalls als Polygonzug ausgebildet. Die Spurbegrenzungen unterteilen sich hier in eine Bordsteinkante 2, in eine gestrichelte Linie 3, welche beispielsweise einen Radweg darstellt, und eine durchgezogene Linie 4 als Spurbegrenzung.
Die Spurbegrenzungen sind hier ebenfalls durch multiple Begrenzungslinien generiert worden.
Zu jedem Zeitstempel, d.h. zu jedem Umgebungsbild, welches die Fahrzeugsensorik 9 (6) erzeugt, kann der lokale Ego-Fahrweg 1 verwendet werden, um jeweilige Region-of-Interest-Bilder zu generieren. Die vorab aus dem jeweiligen Umgebungsbild extrahierten Begrenzungslinien werden nun in das Ego-Fahrzeugkoordinatensystem projiziert. Nicht in einem Region-of-Interest-Bild vorhandene Begrenzungslinien werden verworfen.
In 4 wurde das Verfahren auf komplexe Szenarien erweitert.
Dabei wird die Erkennung von Spurbegrenzungen durch die Anwendung von Zusatzinformationen (Heuristiken), wie beispielsweise den „Mindestabstand zwischen dem Ego-Fahrweg 1 und angrenzenden Fahrspuren“,
die „minimale/maximale Breite einer Fahrspur“
erweitert, um zusätzliche Fahrspuren, d.h. links und/oder rechts angrenzende Fahrspuren zu erkennen, um ein vollständiges Bild des Fahrspurmodells um das Ego-Fahrzeug 7 (6) herum zu erhalten.
Die Spurbegrenzungen sind hier ebenfalls durch multiple Begrenzungslinien generiert worden. Dadurch können Ausreißer 5, welche beispielsweise einer Begrenzungslinie fälschlicherweise zuerkannt worden ist, besser detektiert und eliminiert werden.
Die Spurbegrenzungen unterteilen sich hier ebenfalls in eine Bordsteinkante 2, in eine gestrichelte Linie 3, welche beispielsweise einen Radweg darstellt, und eine durchgezogene Linie 4 als Spurbegrenzung.
5 zeigt das Verfahren angewendet auf einen Abbiegevorgang. Die Spurbegrenzungen sind hier ebenfalls durch multiple Begrenzungslinien generiert worden. Dadurch können Ausreißer 5, welche beispielsweise einer Begrenzungslinie fälschlicherweise zuerkannt worden ist, besser detektiert werden und eliminiert werden. 6 zeigt ein Ego- Fahrzeug 7 mit einem Fahrerassistenzsystem 13 mit einer erfindungsgemäßen Vorrichtung zur Bestimmung von Spurbegrenzungen für das Ego-Fahrzeug 7 entlang des geplanten Ego-Fahrwegs 1 auf einer Ego-Fahrspur auf einer Ego-Straße.
Dieses weist einen Speicher 8 mit einer elektronischen Straßenkarte auf, in welcher zumindest der Ego-Fahrweg 1 gespeichert ist.
Ferner ist ein Prozessor 11 vorgesehen, welcher ausgebildet ist, zu einer Extraktion eines lokalen Ego-Fahrwegs 1 aus der elektronischen Straßenkarte anhand der aktuellen Fahrzeugposition, wobei der lokale Ego-Fahrweg 1 einen unmittelbar vorausliegenden zu befahrenden Ego- Fahrweg 1 in einem vorausliegenden Fahrbahnabschnitt umfasst.
Das Ego-Fahrzeug 7 weist eine Fahrzeugsensorik 9, beispielsweise Kameras, zur Erfassung einer der Ego-Fahrzeug 7 vorausliegenden Fahrzeugumgebung als Umgebungsbild auf.
Ferner weist das Ego-Fahrzeug 7 eine Detektionseinheit 10 auf, zur Extraktion von möglichen Begrenzungslinien durch ein maschinelles Lernverfahren in dem Umgebungsbild und Projektion der Begrenzungslinien in das Ego-Fahrzeugkoordinatensystem des Ego-Fahrzeugs 7.
Ferner ist der Prozessor 11 zum Generieren eines Region-Of-Interest-Bildes durch ein Einschränken des Umgebungsbildes auf einen vorher bestimmten Ausschnitt als Umgebungsbildausschnitt ausgebildet. Ferner kann der Prozessor 11 diejenigen Begrenzungslinien, welche außerhalb des Region-of-Interest-Bildes liegen, verwerfen. Zusätzlich weist das Ego-Fahrzeug 7 eine Identifikationseinheit 12 zum Identifizieren zusammengehöriger Begrenzungslinien als Spurbegrenzungen anhand des Ego-Fahrweges 1 und generieren der Spurbegrenzungen aus den zusammengehörigen Begrenzungslinien entlang des Ego-Fahrweges 1 auf.
Bezugszeichenliste

1: Ego-Fahrweg
2: Bordsteinkante
3: gestrichelte Linie
4: durchgezogene Linie
5: Ausreißer
6: hohe Bordsteinkante
7: Ego-Fahrzeug
8: Speicher
9: Fahrzeugsensorik
10: Detektionseinheit
11: Prozessor
12: Identifikationseinheit
13: Fahrerassistenzsystem
S1-S9: Verfahrensschritte

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 112011103834 T5 [0004]

Claims

Verfahren zur Bestimmung von Spurbegrenzungen für ein Ego-Fahrzeug (7) entlang eines geplanten Ego-Fahrwegs (1) auf einer Ego-Fahrspur auf einer Ego-Straße, gekennzeichnet durch die Schritte: - Bereitstellen einer elektronischen Straßenkarte umfassend zumindest des Ego-Fahrwegs (1), - Extraktion eines lokalen Ego-Fahrwegs (1) aus der elektronischen Straßenkarte anhand der aktuellen Fahrzeugposition, wobei der lokale Ego-Fahrweg (1) einen unmittelbar vorausliegenden zu befahrenden Ego-Fahrweg (1) in einem vorausliegenden Fahrbahnabschnitt umfasst, - Erfassung einer der Ego-Fahrzeug (7) vorausliegenden Fahrzeugumgebung durch eine Fahrzeugsensorik (9) als Umgebungsbild, - Extraktion von möglichen Begrenzungslinien in dem Umgebungsbild und Projektion der Begrenzungslinien in ein Ego-Fahrzeugkoordinatensystem des Ego-Fahrzeugs (7), - Generieren eines Region-Of-Interest-Bildes durch ein Einschränken des Umgebungsbildes auf einen vorher bestimmten Ausschnitt als Umgebungsbildausschnitt, wobei der Umgebungsbildausschnitt zumindest den Fahrbahnabschnitt umfasst und verwerfen derjenigen Begrenzungslinien, welche außerhalb des Region-Of-Interest-Bildes liegen, - Identifizieren zusammengehöriger Begrenzungslinien als Spurbegrenzungen anhand des Ego-Fahrweges (1) und generieren der Spurbegrenzungen aus den zusammengehörigen Begrenzungslinien entlang dem Ego-Fahrweg (1).
Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass kontinuierlich neue Umgebungsbilder erzeugt werden, und mögliche Begrenzungslinien in den kontinuierlich erzeugten Umgebungsbildern extrahiert werden sowie eine Projektion der Begrenzungslinien in das Ego-Fahrzeugkoordinatensystem des Ego-Fahrzeugs vorgenommen wird, als auch korrespondierende Region-Of-Interest-Bilder anhand der kontinuierlich erzeugten Umgebungsbilder generiert werden, wobei mögliche Begrenzungslinien welche außerhalb der Region-Of-Interest-Bilder liegen, verworfen werden und zusammengehörige Begrenzungslinien als kontinuierliche Spurbegrenzungen anhand des Ego-Fahrweges aus den verschiedenen Region-Of-Interest-Bilder generiert werden.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die elektronische Straßenkarte offline bereitgestellt wird.
Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Extraktion von möglichen Begrenzungslinien in dem Umgebungsbild anhand eines trainierten maschinellen Lernverfahrens erfolgt.
Vorrichtung zur Bestimmung von Spurbegrenzungen für ein Ego-Fahrzeug (7) entlang eines geplanten Ego-Fahrwegs (1) auf einer Ego-Fahrspur auf einer Ego-Straße, umfassend: - einen Speicher (8) mit einer elektronischen Straßenkarte umfassend zumindest des Ego-Fahrwegs (1), - einen Prozessor (11), welcher ausgebildet ist, zu einer Extraktion eines lokalen Ego-Fahrwegs (1) aus der elektronischen Straßenkarte anhand der aktuellen Fahrzeugposition, wobei der lokale Ego-Fahrweg (1) einen unmittelbar vorausliegenden zu befahrenden Ego-Fahrweg (1) in einem vorausliegenden Fahrbahnabschnitt umfasst, - eine Fahrzeugsensorik (9) zur Erfassung einer dem Ego-Fahrzeug (7) vorausliegenden Fahrzeugumgebung als Umgebungsbild, - einer Detektionseinheit (10), welche konfiguriert ist, zur Extraktion von möglichen Begrenzungslinien in dem Umgebungsbild und Projektion der Begrenzungslinien in ein Ego-Fahrzeugkoordinatensystem des Ego-Fahrzeugs, - wobei der Prozessor (11) ferner ausgebildet ist, zum Generieren eines Region-Of-Interest-Bildes durch ein Einschränken des Umgebungsbildes auf einen vorher bestimmten Ausschnitt als Umgebungsbildausschnitt, wobei der Umgebungsbildausschnitt zumindest den Fahrbahnabschnitt umfasst und verwerfen derjenigen Begrenzungslinien, welche außerhalb des Region-of-Interest-Bildes liegen, - eine Identifikationseinheit (12) zum Identifizieren zusammengehöriger Begrenzungslinien als Spurbegrenzungen anhand des Ego-Fahrweges (1) und generieren der Spurbegrenzungen aus den zusammengehörigen Begrenzungslinien entlang dem Ego-Fahrweg (1).
Vorrichtung nach Anspruch 5, dadurch gekennzeichnet, dass die Detektionseinheit (10) ein trainiertes maschinelles Lernverfahren aufweist, wobei das maschinelle Lernverfahren dazu trainiert ist, aus dem Umgebungsbild die Begrenzungslinien zu extrahieren.
Vorrichtung nach Anspruch 5 oder 6,dadurch gekennzeichnet, dass die Fahrzeugsensorik (9) dazu ausgebildet ist, kontinuierlich neue Umgebungsbilder zu erzeugen, und die Detektionseinheit (10) dazu ausgebildet ist, mögliche Begrenzungslinien in den kontinuierlich erzeugten Umgebungsbildern zu extrahieren sowie die Begrenzungslinien in das Ego-Fahrzeugkoordinatensystem des Ego-Fahrzeugs zu projizieren, und der Prozessor (11) ferner dazu ausgebildet ist, korrespondierende Region-Of-Interest-Bilder anhand der kontinuierlich erzeugten Umgebungsbilder zu generieren, und mögliche Begrenzungslinien, welche außerhalb der Region-Of-Interest-Bilder liegen, zu verwerfen und wobei die Identifikationseinheit zum Identifizieren und zum Generieren von zusammengehörigen Begrenzungslinien als kontinuierliche Spurbegrenzungen anhand des Ego-Fahrweges aus den verschiedenen Region-Of-Interest-Bildern ausgebildet ist.
Vorrichtung nach einem der vorhergehenden Ansprüche, 5 bis 7 dadurch gekennzeichnet, dass die elektronische Straßenkarte als offline Straßenkarte ausgebildet ist.
Vorrichtung nach einem der vorhergehenden Ansprüche 5 bis 8, dadurch gekennzeichnet, dass eine Positionserfassungseinrichtung zum Ermitteln der aktuellen Fahrzeugposition vorgesehen ist.
Vorrichtung nach einem der vorhergehenden Ansprüche 5 bis 9, dadurch gekennzeichnet, dass die Identifikationseinheit (12) dazu ausgebildet ist, die Begrenzungslinien unter Verwendung des Ego-Fahrweges (1) zusammenzuführen.
Vorrichtung nach einem der vorhergehenden Ansprüche 5 bis 10, dadurch gekennzeichnet, dass die Detektionseinheit (10) zur Extraktion von möglichen Begrenzungslinien in dem Umgebungsbild anhand eines trainierten maschinellen Lernverfahrens ausgebildet ist.
Vorrichtung nach einem der vorhergehenden Ansprüche 5 bis 11, dadurch gekennzeichnet, dass die Vorrichtung dazu ausgebildet ist, unter Verwendung von, aus der elektronischen Straßenkarte und/oder dem Umgebungsbild und /oder des Region-of-Interest-Bildes extrahierten Zusatzinformationen die Spurbegrenzungen benachbarter Fahrspuren zu bestimmen.
Vorrichtung zur Bestimmung von Spurbegrenzungen für ein Ego-Fahrzeug (7) entlang eines geplanten Ego-Fahrwegs (1) auf einer Ego-Fahrspur auf einer Ego-Straße, umfassend: - einen Speicher (8) mit einer elektronischen Straßenkarte umfassend zumindest des Ego-Fahrwegs (1), - einen Prozessor (11), welcher ausgebildet ist, zu einer Extraktion eines lokalen Ego-Fahrwegs (1) aus der elektronischen Straßenkarte anhand der aktuellen Fahrzeugposition, wobei der lokale Ego-Fahrweg (1) einen unmittelbar vorausliegenden zu befahrenden Ego-Fahrweg (1) in einem vorausliegenden Fahrbahnabschnitt umfasst, - eine Fahrzeugsensorik (9) zur Erfassung einer der Ego-Fahrzeug (7) vorausliegenden Fahrzeugumgebung als Umgebungsbild, - wobei der Prozessor (11) ferner ausgebildet ist, zum Generieren eines Region-Of-Interest-Bildes durch ein Einschränken des Umgebungsbildes auf einen vorher bestimmten Ausschnitt als Umgebungsbildausschnitt, wobei der Umgebungsbildausschnitt zumindest den Fahrbahnabschnitt umfasst, - einer Detektionseinheit (10), welche konfiguriert ist, zur Extraktion von möglichen Begrenzungslinien in dem Umgebungsbildausschnitt und Projektion der Begrenzungslinien in ein Ego-Fahrzeugkoordinatensystem des Ego-Fahrzeugs, - wobei der Prozessor (11) ferner ausgebildet ist, zum Verwerfen derjenigen Begrenzungslinien, welche außerhalb des Region-of-Interest-Bildes liegen, - eine Identifikationseinheit (12), welche ausgebildet ist, zum Identifizieren zusammengehöriger Begrenzungslinien als Spurbegrenzungen anhand des Ego-Fahrweges (1) und generieren der Spurbegrenzungen aus den zusammengehörigen Begrenzungslinien entlang dem Ego-Fahrweg (1).
Fahrerassistenzsystem (13) mit einer Vorrichtung nach einem der vorhergehenden Ansprüche 6 oder 13, wobei das Fahrerassistenzsystem (13) dazu ausgestaltet ist, ein Ego-Fahrzeug (7) autonom oder teilautonom zu betreiben.