-
Die Erfindung betrifft ein Verfahren zur Prädiktion einer Ego-Fahrspur für ein Fahrzeug.
-
Stand der Technik
-
Die Bestimmung der Egofahrspur eines Fahrzeuges, sowie deren Prädiktion in die Zukunft ist ein fundamentales Element der Umfelderfassung und somit auch des Topologieverständnisses von Straßenverläufen für das Autonome Fahren. Hierfür können in einer einfachen Ausprägung Kamerabilder einer Monokamera genutzt werden um die Egofahrspur (engl. Ego Lane) eines Fahrzeugs im Bild zu prädizieren. Mit Hilfe eines Neuronalen Faltungsnetzwerkes (CNN) lassen sich solche Aufgaben als Klassifikation beschreiben, in denen ein einzelnes Mono-Kamerabild als Eingabe verwendet wird. Dieser Ansatz weist jedoch unterschiedliche Schwächen auf. Die klassische Liniendetektion von Fahrspuren erfolgt meist modelbasiert, sodass nur Linien detektiert werden die sich mit einer Klothoide abbilden lassen können. Hierdurch wird der Suchraum der möglichen Fahrspurmarkierungskandidaten deutlich eingeschränkt. Allerdings werden nur Straßen höherer Ordnung nach Klothoidenmodellen gebaut, z.B. Autobahnen. Hingegen sind Landstraßen oder auch ältere Autobahnen nicht nach diesen Modellen gebaut, sodass hier oftmals keine Fahrspuren detektiert werden können. Ein weiteres Problem dieses Ansatzes ist, dass durch die Suche nach Fahrspurmarkierungen nicht zu jederzeit eine Regelung möglich ist. Insbesondere Baustellen, kleinere Kreisstraßen, oder auch urbane Straßen und Ortsdurchfahrten besitzen häufig keine Fahrspurmarkierungen.
-
Es ist daher eine Aufgabe der Erfindung, ein verbessertes Verfahren zur Prädiktion einer Ego-Fahrspur für ein Fahrzeug bereitzustellen.
-
Diese Aufgabe wird durch das Verfahren zur Prädiktion einer Ego-Fahrspur für ein Fahrzeug des unabhängigen Anspruchs 1 gelöst. Vorteilhafte Ausgestaltungen sind Gegenstand der untergeordneten Ansprüche.
-
Nach einem Aspekt der Erfindung wird ein Verfahren zur Prädiktion einer Ego-Fahrspur für ein Fahrzeug bereitgestellt, umfassend:
- Empfangen von wenigstens einer eine durch ein Fahrzeug befahrbaren Fahrspur abbildenden Bildaufnahme wenigstens eines Kamerasensors des Fahrzeugs;
- Ermitteln einer durch ein Zentrum der Fahrspur verlaufenden Zentralspur der Fahrspur durch Ausführen eines trainierten neuronalen Netzes auf die Bildaufnahme, wobei das neuronale Netz mittels Regression darauf trainiert ist, basierend auf Bildaufnahmen einer Fahrspur eine in einem Zentrum der Fahrspur verlaufende Zentralspur der Fahrspur zu ermitteln;
- Ausgeben einer Mehrzahl von die Zentralspur der Fahrspur beschreibenden Parametern durch das neuronale Netz;
- Generieren der Zentralspur basierend auf den Parametern der Zentralspur; Identifizieren der Zentralspur der Fahrspur als Ego-Fahrspur des Fahrzeugs; und Bereitstellen der Ego-Fahrspur.
-
Hierdurch kann der technische Vorteil erreicht werden, dass ein verbessertes Verfahren zur Prädiktion einer Ego-Fahrspur für ein Fahrzeug bereitstellt werden kann. Das erfindungsgemäße Verfahren sieht hierzu vor, ein entsprechend trainiertes neuronales Netz auf Bildaufnahmen wenigstens eines Kamerasensors eines Fahrzeugs anzuwenden, wobei die Bildaufnahmen wenigstens eine durch das Fahrzeug befahrbaren Fahrspur abbilden, und durch das künstliche neuronale Netz eine durch ein Zentrum der Fahrspur verlaufende Zentralspur zu erkennen. Die Fahrspur kann während der Aufnahme der Bildaufnahmen durch das Fahrzeug befahren werden, sprich die Bildaufnahmen können während des Fahrens des Fahrzeugs aufgenommen werden. Die Fahrspur kann aber auch während der Aufnahme der Bildaufnahme durch das Fahrzeug noch nicht befahren sein, beispielsweise weil das Fahrzeug zum Zeitpunkt der Aufnahme erst auf die abgebildete Fahrspur abbiegt, oder weil zum Zeitpunkt der Aufnahme das Fahrzeug noch nicht aktiv losgefahren ist. Das künstliche neuronale Netz ist hierbei mittels Regression darauf trainiert, basierend auf Bildaufnahmen von Fahrspuren entsprechende Zentralspuren zu ermitteln. Die Ermittlung der entsprechenden Zentralspur erfolgt hierbei nicht durch eine Klassifikation der Bildaufnahmen, in der Bildpunkte der Bildaufnahmen entweder einer zu erkennenden Zentralspur oder einem entsprechenden Hintergrund zugeordnet werden. Stattdessen erfolgt das Ermitteln der Zentralspur durch das entsprechend trainierte neuronale Netz durch Regression, indem das neuronale Netz basierend auf der Bildaufnahme der Fahrspur eine Mehrzahl von Parametern ermittelt, die geeignet sind, die Zentralspur darzustellen. Die vom neuronalen Netz ausgegebene Mehrzahl von Parametern wird im Folgenden dazu verwendet, die Zentralspur der durch das Fahrzeug befahrbaren Fahrspur nachzubilden. Die erfindungsgemäße zu ermittelnde Ego-Fahrspur des Fahrzeugs wird daraufhin als die ermittelte Zentralspur der durch das Fahrzeug befahrbaren Fahrspur identifiziert. Durch Anwendung der Regression durch das entsprechend trainierte künstliche neuronale Netz zur Ermittlung der die Zentralspur darstellenden Parameter kann im Vergleich zu aus dem Stand der Technik im Bereich vorhandenen Objekterkennung bekannter Klassifikation von Bildaufnahmen der technische Vorteil erreicht werden, dass eine geringere Rechenkapazität zur Ausführung der Regression im Vergleich zur Klassifikation der Bildaufnahmen benötigt wird, indem nicht wie bei der Klassifikation üblich, jeder Bildpunkt einer entsprechenden Klasse zugeordnet werden muss. Das künstliche neuronale Netz erkennt hierbei erfindungsgemäß basierend auf der Bildaufnahme nicht die tatsächlich durch das Fahrzeug befahrene Fahrspur, wie dies bei auf dem Stand der Technik auf Klassifikation basierender Objekterkennung bekannt ist, sondern ermittelt lediglich basierend auf der die Fahrspur des Fahrzeugs abbildenden Bildaufnahme eine durch ein Zentrum der Fahrspur verlaufende Zentralspur und gibt entsprechende die Zentralspur charakterisierende Parameter als Ausgabe aus. Da das neuronale Netz nicht in der Lage sein muss, die Fahrspur der Bildaufnahme exakt zu erkennen, ist das erfindungsgemäße Verfahren nicht auf in der Bildaufnahme vorhandene Fahrbahnbegrenzungen bzw. Fahrbahnmarkierungen angewiesen, in denen aus dem Stand der Technik bekannten Fahrspurerkennungsverfahren zum Erkennen der durch das Fahrzeug befahrbaren Fahrspur benötigt werden. Da das erfindungsgemäße Verfahren lediglich vorsieht, die das Zentrum der in der Bildaufnahme abgebildeten Fahrspur darstellende Zentralspur bzw. deren Lage innerhalb der Bildaufnahme zu ermitteln und diese als Ego-Fahrspur des Fahrzeugs zu identifizieren, ist das erfindungsgemäße Verfahren nicht auf Fahrspuren bzw. Fahrbahnen eingeschränkt, die nach Klothoidenmodellen gebaut sind. Übliche aus dem Stand der Technik bekannte Verfahren zur Prädiktion einer Ego-Fahrspur basierend auf Objekterkennung von Bildaufnahmen benötigen zur Generierung der Ego-Fahrspur entsprechende Modellbeschreibungen und sind somit primär auf Straßenführungen beschränkt, die ebenfalls gemäß entsprechender Klothoidenmodelle gebaut sind. Das erfindungsgemäße Verfahren ist hingegen auf beliebige Straßenführungen bzw. Fahrspuren anwendbar, insbesondere auf Fahrspuren ohne entsprechende Fahrbahnbegrenzungen bzw. Fahrbahnmarkierungen oder auf Fahrspuren, die nicht gemäß Klothoidenmodellen gestaltet sind.
-
Eine Fahrspur ist im Sinne der Anmeldung eine Fahrbahn bzw. ein Fahrstreifen einer Straße oder ein durch ein Fahrzeug befahrbarer Wegabschnitt.
-
Eine Zentralspur einer Fahrspur ist im Sinne der Anmeldung ein durch ein Zentrum der Fahrspur verlaufendes Linien- oder Flächenelement. Das Zentrum der Fahrspur und damit verbunden die Zentralspur der Fahrspur verläuft entlang einer Längsachse der Fahrspur.
-
Eine Ego-Fahrspur ist im Sinne der Anmeldung eine Ego-Fahrtrajektorie eines Fahrzeugs und gibt eine durch das Fahrzeug zu erfüllende Fahrtrichtung an.
-
Eine Bildaufnahme ist im Sinne der Anmeldung eine Videoaufnahme einer Videokamera des Fahrzeugs und kann wenigstens durch einen Frame oder eine Mehrzahl zeitlich aufeinanderfolgender Frames der Videoaufnahme gegeben sein.
-
Nach einer Ausführungsform umfasst die Mehrzahl von Parametern der Zentralfahrspur eine Mehrzahl von Bildpunkten der Bildaufnahme, wobei die Mehrzahl von Bildpunkten die Zentralspur in Bildaufnahme repräsentieren, und wobei das Ausgeben der Mehrzahl von Parametern umfasst: Ausgeben einer Mehrzahl von x-Koordinaten und einer Mehrzahl von y-Koordinaten durch das neuronale Netz, wobei die x-Koordinaten und die y-Koordinaten die Mehrzahl von Bildpunkten in der Bildaufnahme definieren.
-
Hierdurch kann der technische Vorteil erreicht werden, dass eine präzise Ermittlung der Zentralspur und damit verbunden eine präzise Ermittlung der Ego-Fahrspur des Fahrzeugs ermöglicht ist. Hierzu gibt das neuronale Netz als die Zentralspur abbildende Parameter eine Mehrzahl von x- und y-Koordinaten der Bildaufnahme aus, wobei die x- und y-Koordinaten Bildpunkte der Bildaufnahme definieren, durch die die Zentralspur in der Bildaufnahme dargestellt ist. Durch die entsprechend ausgegebenen x- und y-Koordinaten der Bildpunkte der Zentralspur kann die Zentralspur und damit verbunden die Ego-Fahrspur präzise innerhalb der Bildaufnahme lokalisiert werden.
-
Nach einer Ausführungsform umfasst das Generieren der Zentralfahrspur: Verbinden der durch die Mehrzahl von x-Koordinaten und y-Koordinaten repräsentierten Bildpunkte der Bildaufnahme durch eine Polynomfunktion n-ten Grades; und wobei das Identifizieren der Zentralfahrspur als Ego-Fahrspur umfasst:
- Identifizieren eines Verlaufs der Polynomfunktion als Ego-Fahrspur.
-
Hierdurch kann der technische Vorteil erreicht werden, dass eine präzise Generierung der Zentralspur und damit verbunden eine präzise Ermittlung der Ego-Fahrspur ermöglicht ist. Durch das Verbinden der x-y-Koordinaten der die Zentralspur repräsentierenden Bildpunkte der Bildaufnahme durch eine entsprechende Polynomfunktion n-ten Grades kann ein durchgehender Verlauf der Zentralspur erreicht werden. Indem der die Zentralspur abbildende Verlauf der Polynomfunktion als Ego-Fahrspur identifiziert wird, kann ein durchgehender Verlauf der Ego-Fahrspur innerhalb der Bildaufnahme erreicht werden.
-
Nach einer Ausführungsform umfasst die Mehrzahl von Parametern eine Mehrzahl von Parametern einer Polynomfunktion oder einer Splinefunktion oder einer Klothoidenfunktion, wobei die Polynomfunktion, die Splinefunktion und die Klothoidenfunktion eingerichtet sind, die Zentralspur darzustellen, und wobei das Generieren der Zentralspur umfasst:
- Ausführen der Polynomfunktion oder der Splinefunktion oder der Klothoidenfunktion mit den ermittelten Parametern und Generieren eines Verlaufs der Polynomfunktion oder der Splinefunktion oder der Klothoidenfunktion.
-
Hierdurch kann der technische Vorteil erreicht werden, dass eine präzise Bestimmung der Zentralspur innerhalb der Bildaufnahme und damit verbunden eine präzise Ermittlung der Ego-Fahrspur ermöglicht ist. Hierdurch werden durch das neuronale Netz anstatt der in der oben beschriebenen Ausführungsform ausgegebenen x-y-Koordinaten der die Zentralspur abbildenden Bildpunkt der Bildaufnahme als Parameter Parameter eine Polynomfunktion und/oder einer Splinefunktion und/oder einer Klothoidenfunktion als Ausgabe des neuronalen Netzes ausgegeben, wobei die angeführten Funktionen unter Berücksichtigung der ausgegebenen Parameter in der Lage sind, die Zentralspur abzubilden. Hierdurch ist ein präziser Verlauf der Ego-Fahrspur innerhalb der Bildaufnahme ermöglicht.
-
Nach einer Ausführungsform umfasst das Bereitstellen der Ego-Fahrspur: Darstellen des Verlaufs der Polynomfunktion oder des Verlaufs der Splinefunktion oder des Verlaufs der Klothoidenfunktion in der Bildaufnahme als ein durchgehendes Linienelement oder ein durchgehendes Flächenelement.
-
Hierdurch kann der technische Vorteil erreicht werden, dass eine präzise Darstellung der Ego-Fahrspur innerhalb der Bildaufnahme ermöglicht ist. Durch Darstellen eines Verlaufs der Polynomfunktion, Splinefunktion oder Klothoidenfunktion innerhalb der Bildaufnahme als ein durchgehendes Linienelement oder Flächenelement kann eine präzise optische Darstellung der prädizierten Ego-Fahrspur innerhalb der Bildaufnahme erreicht werden.
-
Nach einer Ausführungsform umfasst das Bereitstellen der Ego-Fahrspur: Konvertieren von Bildkoordinaten der Ego-Fahrspur in der Bildaufnahme in dreidimensionale Koordinaten eines ortsfest mit dem Fahrzeug assoziierten Koordinatensystems; und
Bereitstellen der dreidimensionalen Koordinaten einer Fahrzeugsteuerung.
-
Hierdurch kann der technische Vorteil erreicht werden, dass neben oder alternativ zur optischen Darstellung der Ego-Fahrspur innerhalb der Bildaufnahme die ermittelte Ego-Fahrspur zusätzlich zur Steuerung des Fahrzeugs verwendet wird. Hierzu werden die Bildkoordinaten der Ego-Fahrspur innerhalb der Bildaufnahme in dreidimensionale Koordinaten eines ortsfest mit dem zu steuernden Fahrzeug verbundenen Koordinatensystem konvertiert und die entsprechend konvertierten dreidimensionalen Koordinaten an eine Fahrzeugsteuerung bereitgestellt. Die Fahrzeugsteuerung kann hierauf basierend auf den dreidimensionalen Koordinaten der ermittelten Ego-Fahrspur entsprechende Steuerungsbefehle generieren, die das Fahrzeug gemäß den generierten dreidimensionalen Koordinaten der Ego-Fahrspur ansteuern.
-
Nach einer Ausführungsform wird für das Ermitteln der Zentralspur ferner Information bezüglich eines die Fahrspur umfassenden Fahrkorridors berücksichtigt, wobei die Information in Form von Bildpunkten der Bildaufnahme und/oder in Form eines metrischen Maßes berücksichtigt wird.
-
Hierdurch kann der technische Vorteil erreicht werden, dass eine weitere Präzisierung der Ermittlung der Zentralspur und damit verbunden der Ermittlung der Ego-Fahrspur ermöglicht ist. Neben der in der Bildaufnahme dargestellten durch das Fahrzeug befahrbaren Fahrspur werden zum Ermitteln der Zentralspur und darauf basierend zum Ermitteln der Ego-Fahrspur zusätzlich Informationen eines die Fahrspur umfassenden Fahrkorridors berücksichtigt. Dies ermöglicht insbesondere bei nicht eindeutig zu erkennenden Fahrspuren eine präzise Ermittlung der Zentralspur und damit auch basierend der Ego-Fahrspur.
-
Nach einer Ausführungsform wird für das Ermitteln der Zentralspur ferner Information bezüglich einer Distanz zwischen den Bildpunkten der Zentralspur in einem metrischen Maß berücksichtigt.
-
Hierdurch kann der technische Vorteil erreicht werden, dass die Präzision der Bestimmung der Ego-Fahrspur weiter erhöht werden kann. Hierzu werden Distanzen zwischen Bildpunkten der Zentralspur innerhalb der Bildaufnahme in einem metrischen Maß zur Berechnung der Ego-Fahrspur berücksichtigt. Durch Berücksichtigung der Distanzen zwischen Bildpunkten der Zentralspur innerhalb der Bildaufnahme kann die entsprechend generierte Ego-Fahrspur zusätzlich zu den Koordinateninformationen der Bildpunkte innerhalb der Bildaufnahme mit Distanzinformationen versehen werden. Hierdurch ist die derart generierte Ego-Fahrspur präzise auf das reale Umfeld des Fahrzeugs überführbar, so dass eine Ansteuerung des Fahrzeugs basierend auf den Informationen der Ego-Fahrspur verbessert werden kann.
-
Nach einer Ausführungsform wird für das Ermitteln der Zentralspur ferner Information einer Fahrzeugodometrie und/oder Karteninformation einer die Fahrspur abbildenden Straßenkarte berücksichtigt.
-
Hierdurch kann der technische Vorteil erreicht werden, dass eine weitere Verbesserung der Präzision der Ermittlung der Zentralspur und damit verbunden der Ermittlung der Ego-Fahrspur erreicht werden kann. Durch die Berücksichtigung von Karteninformation einer die Fahrspur abbildenden Straßenkarte kann eine Ermittlung der Zentralspur, insbesondere bei in der Abbildung schlecht zu erkennenden Fahrspuren verbessert werden. Die Berücksichtigung von Informationen der Fahrzeugodometrie ermöglicht insbesondere die Berücksichtigung von Informationen bzgl. einer Geschwindigkeit des Fahrzeugs bzw. einer Quersteuerung, die jeweils in der Bestimmung der Ego-Fahrspur Berücksichtigung finden können.
-
Nach einer Ausführungsform bildet die Bildaufnahme des Kamerasensors neben der durch das Fahrzeug befahrbaren Fahrspur wenigstens eine weitere Fahrspur ab, wobei für die wenigstens eine weitere Fahrspur eine weitere Zentralspur ermittelt wird, und wobei die Ego-Fahrtrajektorie die Zentralspur der Fahrspur und die weitere Zentralspur der weiteren Fahrspur umfasst.
-
Hierdurch kann der technische Vorteil erreicht werden, dass zur Prädiktion der Ego-Fahrspur eine Mehrzahl von Fahrspuren berücksichtigt werden kann. Die Ego-Fahrspur kann hierbei als eine Kombination aus der Mehrzahl von Zentralspuren generiert werden. Hierdurch kann insbesondere bei der Prädiktion der Ego-Fahrspur ein Überholvorgang berücksichtigt werden, der ein Verlassen der derzeit durch das Fahrzeug befahrbaren Fahrspur auf eine nebengeordnete Fahrspur vorsieht.
-
Nach einem zweiten Aspekt wird eine Recheneinheit bereitgestellt, die eingerichtet ist, das Verfahren zur Prädiktion einer Ego-Fahrspur für ein Fahrzeug nach einer der voranstehenden Ausführungsformen auszuführen.
-
Nach einem dritten Aspekt wird ein Computerprogrammprodukt umfassend Befehle bereitgestellt, die bei der Ausführung des Programms durch eine Datenverarbeitungseinheit diese veranlassen, das Verfahren zur Prädiktion einer Ego-Fahrspur für ein Fahrzeug nach einer der voranstehenden Ausführungsformen auszuführen.
-
Ausführungsbeispiele der Erfindung werden anhand der folgenden Zeichnungen erläutert. In den Zeichnungen zeigen:
- 1 eine schematische Darstellung eines eine Fahrspur befahrenen Fahrzeugs;
- 2 eine schematische Darstellung einer Bildaufnahme einer durch ein Fahrzeug befahrbaren Fahrspur;
- 3 eine weitere schematische Darstellung einer Bildaufnahme einer durch ein Fahrzeug befahrbaren Fahrspur;
- 4 eine schematische Darstellung eines neuronalen Netzes zum Ausführen des Verfahrens zur Prädiktion einer Ego-Fahrspur für ein Fahrzeug gemäß einer Ausführungsform;
- 5 ein Flussdiagramm des Verfahrens zur Prädiktion einer Ego-Fahrspur für ein Fahrzeug gemäß einer Ausführungsform; und
- 6 eine schematische Darstellung eines Computerprogrammprodukts.
-
1 zeigt eine schematische Darstellung eines eine Fahrspur 205 befahrenen Fahrzeugs 200.
-
In der gezeigten Ausführungsform umfasst das dargestellte Fahrzeug 200 einen Kamerasensor 201 zum Aufnehmen von Bildaufnahmen der durch das Fahrzeug befahrenen Fahrspur 205. Das Fahrzeug umfasst ferner eine Recheneinheit 202, die eingerichtet ist, das erfindungsgemäße Verfahren zur Prädiktion einer Ego-Fahrspur für ein Fahrzeug 200 auszuführen.
-
In der gezeigten Darstellung befährt das Fahrzeug 200 eine Fahrspur 205 einer Fahrbahn 203. Die Fahrbahn 203 weist ferner eine neben der Fahrspur 205 angeordnete weitere Fahrspur 207 sowie Fahrbahnbegrenzungen 209 und Fahrbahnmarkierungen 211. In der 1 sind ferner für jede Fahrspur 205, 207 eine entsprechende Zentralspur 213, 214 dargestellt. Die Zentralspur 213, 214 ist als ein Zentrum der jeweiligen Fahrspur 213, 214 definierendes Linien- bzw. Flächenelement dargestellt. Die Zentralspur 213, 214 verläuft hierbei entlang einer Längsrichtung der jeweiligen Fahrspur 205, 207. Das Zentrum einer Fahrspur 205, 207 verläuft hierbei jeweils zwischen zwei äußeren Grenzen der jeweiligen Fahrspur 205, 207, die in der gezeigten Ausführungsform jeweils durch die Fahrbahnbegrenzungen 209 bzw. die Fahrbahnmarkierung 211 gegeben sind.
-
Der Kamerasensor 201 kann als eine Videokamera, insbesondere eine RGB-Kamera ausgebildet sein.
-
In der gezeigten Ausführungsform umfasst das Fahrzeug 200 insbesondere eine auf der Recheneinheit 202 ausführbare Fahrzeugsteuerung 206, mittels der das Fahrzeug ansteuerbar ist.
-
2 zeigt eine schematische Darstellung einer Bildaufnahme 204 einer durch ein Fahrzeug 200 befahrbaren Fahrspur 205.
-
2 zeigt eine durch einen Kamerasensor 201 aufgenommene Bildaufnahme 204 einer durch das Fahrzeug 200 befahrbaren Fahrspur 205. In der gezeigten Bildaufnahme 204 umfasst die durch das Fahrzeug 200 befahrbaren Fahrbahn neben der Fahrbahn 203 analog zu 1 eine weitere Fahrspur 207. Die dargestellte Fahrbahn 203 weist ferner Fahrbahnbegrenzungen 209 und eine Fahrbahnmarkierung 211 auf. Die durch das Fahrzeug 200 befahrbare Fahrspur 205 kann durch das Fahrzeug 200 zum Zeitpunkt der Aufnahme der Bildaufnahme 204 tatsächlich befahren werden und die Bildaufnahme 204 während des Fahrens des Fahrzeugs 200 aufgenommen werden. Die Bildaufnahme 204 aber auch während eines Zeitpunkts aufgenommen werden, in dem das Fahrzeug 200 die Fahrspur 205 nicht befährt, beispielsweise weil das Fahrzeug 200 erst auf die Fahrspur 205 abbiegt oder weil das Fahrzeug 200 zum Zeitpunkt der Bildaufnahme 204 steht und nicht aktiv verfahren wird.
-
Die gezeigte Bildaufnahme 204 zeigt in die Fahrbahn 203 aus der Fahrerperspektive. Die gezeigte Bildaufnahme 204 kann somit durch einen an einer Fahrzeugfront eines Fahrzeugs 200 ausgebildeten Kamerasensor 201 ähnlich der in 1 gezeigten Ausführungsform aufgenommen sein. In der gezeigten Perspektive wird die Fahrspur 205 durch das jeweilige Fahrzeug 200 befahren. In der gezeigten Bildaufnahme 204 ist ferner eine Zentralspur 213 der durch das Fahrzeug 200 befahrenen Fahrspur 205 dargestellt.
-
Dem Verlauf der Zentralspur 213 der Fahrspur 205 folgend ist in 2 ferner eine Ego-Fahrspur 215 in Form eines durchgezogenen Linienelements dargestellt. Die Ego-Fahrspur 215 entspricht in der gezeigten Ausführungsform der Zentralspur 213 der Fahrspur 205. Die gezeigte Ego-Fahrspur 217 ist gemäß dem erfindungsgemäßen Verfahren durch Prädiktion einer Ego-Fahrspur für ein Fahrzeug generiert.
-
Zur Prädiktion der Ego-Fahrspur 215 wird erfindungsgemäß ein trainiertes neuronales Netz auf die Bildaufnahme 204 ausgeführt. Das trainierte neuronale Netz ist hierbei mittels Regression darauf trainiert, basierend auf Bildaufnahmen von Fahrspuren eine durch ein Zentrum der abgebildeten Fahrspur verlaufende Zentralspur und wenigstens einen die ermittelte Zentralspur 213 charakterisierenden Parameter als Ausgabewert auszugeben. Die Ermittlung der Zentralspur 213 durch Ausführung des entsprechend trainierten neuronalen Netzes erfolgt erfindungsgemäß somit nicht durch ein auf einer Klassifikation der Bildaufnahme 204 basierenden Objekterkennung, sondern wird mittels eines Regressionsverfahrens durch das mittels Regression trainierte neuronale Netz ausgeführt.
-
Durch Ausführung des mittels Regression trainierten neuronalen Netzes auf die Bildaufnahme 204 ist das neuronale Netz eingerichtet, eine Mehrzahl von die Zentralspur 213 der Fahrspur 205 charakterisierenden Parameter auszugeben. Die ausgegebenen Parameter können beispielsweise durch eine Mehrzahl von x-Koordinaten und y-Koordinaten gegeben sein, durch die einzelne Bildpunkte innerhalb der Bildaufnahme 204 definiert sind, die gemäß der Bestimmung durch das trainierte neuronale Netz die Zentralspur 213 innerhalb der Bildaufnahme 204 abbilden.
-
Alternativ hierzu können die durch das neuronale Netz als Ausgabewerte ausgegebenen Parameter Funktionsparameter einer Polynomfunktion oder einer Splinefunktion oder einer Klothoidenfunktion umfassen. Die Polynomfunktion bzw. die Splinefunktion oder Klothoidenfunktion sind hierbei eingerichtet, für die jeweiligen Parameterwerte, die durch das trainierte neuronale Netz ermittelte Zentralspur 213 der Fahrspur 205 innerhalb der Bildaufnahme 204 darzustellen. Durch Ausführung der genannten Funktionen gemäß der durch das neuronale Netz ermittelten Funktionsparameter stellt der Funktionsverlauf der genannten Funktionen die Zentralspur 213 innerhalb der Bildaufnahme 204 dar.
-
Nach Ausgabe der x- bzw. y-Koordinaten der in der Bildaufnahme 204 die Zentralspur 213 abbildenden Bildpunkte kann durch Verbinden der Bildpunkte durch eine geeignete Polynomfunktion n-ten Grades oder durch eine eigene Splinefunktion die durch das neuronale Netz erkannte Zentralspur 213 generiert bzw. nachgebildet werden. Durch Ausführung der die vom neuronalen Netz ausgegebenen Bildpunkte verbindenden Funktionen kann somit durch den jeweiligen Funktionsverlauf der ausgeführten Funktionen eine Beschreibung der Zentralspur 213 mit Bezug auf die in der Bildaufnahme 204 gezeigte Fahrspur 205 erreicht werden.
-
Alternativ hierzu kann die Zentralspur 213 durch Ausführung der oben genannten Polynom- Spline- bzw. Klothoidenfunktion gemäß dem durch das neuronale Netz ermitteltem Funktionsparameter erreicht werden.
-
Zur Prädiktion der Ego-Fahrspur 215 des Fahrzeugs 200 wird darauffolgend die derart ermittelte Zentralspur 213 bzw. der Verlauf der die Zentralspur 213 darstellenden Polynom-, Spline- bzw. Klothoidenfunktionen als Ego-Fahrspur identifiziert.
-
Die derart ermittelte Ego-Fahrspur 215 kann darauffolgend bereitgestellt werden, indem die Ego-Fahrspur 215 beispielsweise als ein durchgehendes Linienelement oder ein durchgehendes Flächenelement innerhalb der Bildaufnahme 204 angezeigt wird. Die Bildaufnahme 204 inklusive der als Linienelement oder Flächenelement dargestellte Ego-Fahrspur 215 kann somit, vergleichbar zu der schematischen Darstellung in 2, einem Fahrer des Fahrzeugs 200 als prädizierte Ego-Fahrspur 215 angezeigt werden.
-
Zusätzlich oder alternativ hierzu können die x- bzw. y-Koordinaten der die Zentralspur 213 bzw. Ego-Fahrspur 215 innerhalb der Bildaufnahme 204 darstellenden Bildpunkte in entsprechende dreidimensionale Koordinaten eines ortsfest mit dem Fahrzeug 200 verbundenen Koordinatensystems transformiert werden. Die derart transformierten dreidimensionalen Koordinaten können ferner der Fahrzeugsteuerung 206 als prädizierte Ego-Fahrspur 215 bereitgestellt werden. Basierend auf den dreidimensionalen Koordinaten der Ego-Fahrspur 215 kann die Fahrzeugsteuerung 206 eine Ansteuerung des Fahrzeugs bewirken, die das Fahrzeug entlang der Ego-Fahrspur bewegt.
-
In der gezeigten Bildaufnahme 204 ist die Ego-Fahrspur 215 in Form eines Verlaufs 217 einer entsprechenden Polynom-, Spline- oder Klothoidenfunktion dargestellt. Der Verlauf 217 der genannten Funktion ist wiederum als ein durchgehendes Linienelement innerhalb der Bildaufnahme 204 dargestellt.
-
Für das Ermitteln der Zentralspur 213 kann zuzüglich zu der Information der Bildaufnahme 204 Information bzgl. einer Distanz zwischen den in der Bildaufnahme 204 die Zentralspur 213 darstellenden Bildpunkten in einem metrischen Maß berücksichtigt werden. Durch die Berücksichtigung der Distanzen zwischen den Bildpunkten der Zentralspur 213 kann somit eine Distanzinformation in die Prädiktion der Ego-Fahrspur 215 einfließen.
-
Zusätzlich oder alternativ können bei der Ermittlung der Zentralspur 213 Informationen bzgl. eines die Fahrspur 205 umfassenden Fahrkorridors berücksichtigt werden. Der Fahrkorridor kann beispielsweise ein die Fahrspur 205 umfassender Raumbereich innerhalb der Bildaufnahme 204 sein.
-
Alternativ oder zusätzlich kann zur Ermittlung der Zentralspur 213 Karteninformation einer die Fahrspur 205 abbildenden Straßenkarte und/oder Information bzgl. einer Fahrzeugodometrie berücksichtigt werden. Durch die Berücksichtigung der Karteninformation kann insbesondere bei undeutlich dargestellten Fahrspuren 205 eine präzise Ermittlung der Zentralspur 213 erfolgen. Durch die Berücksichtigung der Information der Fahrzeugodometrie können Informationen bzgl. einer Geschwindigkeit oder einer Quersteuerung des Fahrzeugs 200 in die Prädiktion der Ego-Fahrspur 215 einfließen.
-
3 zeigt eine weitere schematische Darstellung einer Bildaufnahme 204 einer durch ein Fahrzeug 200 befahrbaren Fahrspur 205.
-
In der gezeigten Ausführungsform wird zur Bestimmung der Ego-Fahrspur 215 neben der Zentralspur 213 der durch das Fahrzeug 200 befahrbaren Fahrspur 205 eine weitere Zentralspur 214 einer weiteren Fahrspur 207 berücksichtigt, die ebenfalls durch das Fahrzeug 200 befahrbar ist. Wie in 2 kann die Bildaufnahme 204 während des Fahrens des Fahrzeugs 200 aufgenommen sein, sodass die Fahrspur 205 durch das Fahrzeug 200 befahren wird. Die Bildaufnahme kann auch zu einem Zeitpunkt aufgenommen werden, in dem das Fahrzeug 200 die Fahrspur 205 nicht befährt, beispielsweise weil das Fahrzeug 200 erst auf die Fahrspur 205 einbiegt oder weil das Fahrzeug 200 zum Zeitpunkt der Bildaufnahme 204 steht. In der gezeigten Bildaufnahme 204 ist wiederum eine Fahrbahn 203 aus einer Fahrerperspektive eines die Fahrbahn befahrenen Fahrzeugs 200 dargestellt. Die Fahrbahn weist zwei nebeneinander angeordnete Fahrspuren 205, 207 auf, die über eine Fahrbahnmarkierung 211 voneinander getrennt sind. Die Fahrbahn weist ferner Fahrbahnbegrenzungen 209 auf. In der gezeigten Bildaufnahme 204 ist auf der ursprünglich durch das Fahrzeug befahrenen Fahrspur 205 ein weiteres Fahrzeug 219 gezeigt. Zum Ausführen eines Überholvorgangs muss das Fahrzeug 200 somit von der ursprünglich befahrenen Fahrspur 205 auf die nebengeordnete Fahrspur 207 wechseln. Eine entsprechende Ego-Fahrspur 215 muss somit sowohl die ursprünglich befahrene Fahrspur 205 als auch die weitere Fahrspur 207, auf die das Fahrzeug 200 im Überholvorgang wechseln muss, umfassen.
-
Erfindungsgemäß wird somit durch Ausführen des entsprechend mittels Regression trainierten neuronalen Netzes auf die Bildaufnahme 204 für die Fahrspur 205 eine Zentralspur 213 und für die weitere Fahrspur 207 eine weitere Zentralspur 214 ermittelt, die jeweils durch ein Zentrum der Fahrspur 205, 207 verlaufen und sich entlang der Längsrichtung der Fahrspuren 205, 207 erstrecken. Durch entsprechende Ermittlung der Parameter der Zentralspuren 213, 214, beispielsweise der x- bzw. y-Koordinaten der die Zentralspuren 213, 214 in der Bildaufnahme 204 darstellenden Bildpunkte oder die Funktionsparameter der die Zentralspuren 213, 214 darstellenden Polynom-, Spline- oder Klothoidenfunktionen, und durch Ausführen der entsprechenden Polynom-, Spline- oder Klothoidenfunktionen basierend auf den entsprechend ermittelten Parametern kann ein Verlauf 217 der genannten Funktionen generiert werden, der sowohl die Zentralspur 213 der Fahrspur 205 als auch die weitere Zentralspur 214 der weiteren Fahrspur 207 berücksichtigt. Gemäß der oben beschriebenen Ausführungsform wird die Ego-Fahrspur 215 mit dem derart generierten Verlauf 217 der die durch das neuronale Netz ermittelten die Zentralspuren 213, 214 repräsentierenden Parameter berücksichtigenden Funktionen dargestellt. In der gezeigten Ausführungsform ist die derart ermittelte Zentralspur 215 sowohl als durchgehendes Linienelement dargestellt, das den Verlauf 217 der genannten Funktionen beschreibt, als auch als ein durchgehendes Flächenelement in Form der dargestellten Schraffur dargestellt, das die durch das Fahrzeug 200 gemäß des Überholvorgangs zu befahrenden Fahrspuren 205, 207 umfasst.
-
4 zeigt eine schematische Darstellung eines neuronalen Netzes 300 zum Ausführen des Verfahrens 100 zur Prädiktion einer Ego-Fahrspur 215 für ein Fahrzeug 200 gemäß einer Ausführungsform.
-
Das neuronale Netz 300 kann insbesondere als ein Convolutional Neural Network CNN ausgebildet sein.
-
Alternativ kann das neuronale Netz 300 als ein Recursive Neural Network ausgebildet sein.
-
Das erfindungsgemäße neuronale Netz 300 umfasst hierzu eine Eingabeschicht 301. Erfindungsgemäß dienen die Bildaufnahmen 204 des Kamerasensors 201 des Fahrzeugs 200 als Eingabedaten des neuronalen Netzes 300. Das neuronale Netz 300 umfasst ferner eine Faltungsschicht 303 zum Ausführen eines Faltungsprozesses der Bildaufnahme 204. Das neuronale Netz 300 umfasst ferner eine Poolingschicht 302 zum Ausführen eines Poolingprozesses der Ausgabeausdaten der Faltungsschicht 303. Das neuronale umfasst ferner eine weitere Faltungsschicht 305 zum Ausführen eines weiteren Faltungsprozesses der Ausgabedaten der Poolingschicht 302. Das neuronale Netz 300 umfasst ferner eine weitere Poolingschicht 304 zum Ausführen eines weiteren Poolingprozesses der Ausgabedaten der weiteren Faltungsschicht 305.
-
Das neuronale Netz 300 umfasst ferner zwei separate Ausgabepfade 306A, 306B. Jeder Ausgabepfad 306A, 306B umfasst jeweils eine weitere Faltungsschicht 307A, 307B zum Ausführen eines weiteren Faltungsprozesses der Ausgabedaten der Poolingschicht 304. Jeder Ausgabepfad 306a, 306b weist ferner eine weitere Pooling-Schicht 308a, 308b zum Ausführen eines PoolingProzesses der Ausgabedaten der Faltungsschicht 307a, 307b. Die Pooling-Schichten 308a, 308b kann insbesondere als Global-Average-Pooling-Schichten ausgebildet sein. Jeder Ausgabepfad 306A, 306B umfasst ferner eine Ausgabeschicht 309A, 309B zum Ausgeben der die Zentralspur 213 darstellenden Parameter. Die Parameter können hierbei beispielsweise als x-bzw. y-Koordinaten der die Zentralspur 213 in der Bildaufnahme 204 darstellenden Bildpunkte gebildet sein. Das neuronale Netz 300 kann somit beispielsweise durch die Ausgabeschicht 309A die x-Koordinaten und durch die Ausgabeschicht 309B die y-Koordinaten der jeweiligen Bildpunkte ausgeben.
-
Alternativ zu der hier angezeigten Anzahl von Faltungs- und Poolingschichten kann das neuronale Netz 300 variabel gestaltet werden. Darüber hinaus kann eine Vielzahl von voneinander getrennten Ausgabepfaden realisiert werden.
-
5 zeigt ein Flussdiagramm des Verfahrens 100 zur Prädiktion einer Ego-Fahrspur 215 für ein Fahrzeug 200 gemäß einer Ausführungsform.
-
Zum Prädizieren einer Ego-Fahrspur 213 eines Fahrzeugs 200 wird in einem ersten Verfahrensschritt 101 zunächst eine Bildaufnahme 204 eines Kamerasensors 201 des Fahrzeugs 200 empfangen, wobei die Bildaufnahme 204 wenigstens eine durch das Fahrzeug 200 befahrene Fahrspur 205 darstellt. Die Bildaufnahme 204 kann hierbei beispielsweise durch einen einzelnen Frame eine Videoaufnahme einer Videokamera gebildet sein. Alternativ hierzu kann die Bildaufnahme eine Mehrzahl zeitlich aufeinander folgender Frames der Videoaufnahme umfassen.
-
In einem weiteren Verfahrensschritt 103 wird basierend auf der Bildaufnahme 204 eine Zentralspur 213 der durch das Fahrzeug 200 befahrbaren oder befahrenen Fahrspur 205 ermittelt. Hierzu wird ein entsprechend trainiertes neuronales Netz 300 auf die Bildaufnahme 204 ausgeführt, wobei das neuronale Netz 300 mittels Regression darauf trainiert ist, basierend auf Bildaufnahme von Fahrspuren 205, 207 entsprechende durch ein Zentrum der jeweiligen Fahrspur 205, 207 verlaufende Zentralspuren 213, 214 zu ermitteln.
-
In einem weiteren Verfahrensschritt 105 wird durch das neuronale Netz eine Mehrzahl von die Zentralspur 213 repräsentierenden Parametern als Ausgabedaten des neuronalen Netzes 300 ausgegeben.
-
Hierzu wird in der gezeigten Ausführungsform in einem Verfahrensschritt 113 eine Mehrzahl von x-Koordinaten und eine Mehrzahl von y-Koordinaten als Parameter durch das neuronale Netz 300 ausgegeben. Die x- bzw. y-Koordinaten beschreiben hierbei Bildpunkte innerhalb der Bildaufnahme 204, die gemäß der Ermittlung des neuronalen Netzes 300 die Zentralspur 213 der Fahrspur 205 abbilden.
-
In einem weiteren Verfahrensschritt 107 wird basierend auf den durch das neuronale Netz 300 ausgegebenen Parametern die Zentralspur 213 generiert bzw. abgebildet.
-
Hierzu können in einem Verfahrensschritt 115 die durch das neuronale Netz 300 ausgegebenen x- bzw. y-Koordinaten der die Zentralspur 213 abbildenden Bildpunkte der Bildaufnahme 204 durch Ausführen einer Polynomfunktion n-ten Grades oder einer Splinefunktion miteinander verbunden werden. Das Ausführen der Polynomfunktion n-ten Grades oder der Splinefunktion kann hierbei beispielsweise gemäß eines Anpassungs- bzw. Fitprozesses an die x- bzw. y-Koordinaten der die Zentralspur 213 abbildenden Bildpunkte bewirkt werden.
-
Alternativ oder zusätzlich kann das neuronale Netz 300 als die Zentralspur 213 darstellende Parameter einer Polynomfunktion und/oder einer Splinefunktion und/oder einer Klothoidenfunktion ausgeben, wobei die genannten Funktionen eingerichtet sind, die Zentralspur 213 darzustellen. In einem weiteren Verfahrensschritt 119 kann somit zur Generierung der Zentralspur 213 die genannten Funktionen gemäß den durch das neuronale Netz 300 ermittelten Parameter ausgeführt werden. Die Zentralspur 213 kann somit durch die jeweiligen Verläufe 217 der genannten Funktionen abgebildet werden.
-
In einem weiteren Verfahrensschritt 109 wird die Zentralspur 213 als Ego-Fahrspur 215 identifiziert.
-
Hierzu wird in einem Verfahrensschritt 117 insbesondere der Verlauf der jeweils ausgeführten Polynom-, Spline- oder Klothoidenfunktion als Ego-Fahrspur 215 identifiziert.
-
In einem weiteren Verfahrensschritt 111 wird die Ego-Fahrspur 215 bereitgestellt.
-
Hierzu kann in einem Verfahrensschritt 121 der Verlauf 217 der jeweils ausgeführten Funktion, der die Zentralspur 213 darstellt und als Ego-Fahrspur 215 identifiziert ist, in der Bildaufnahme 204 als ein durchgehendes Linienelement oder ein durchgehendes Flächenelement graphisch dargestellt werden.
-
Alternativ oder zusätzlich können die ermittelten x- bzw., y-Koordinaten der die Zentralspur 213 darstellenden Bildpunkte in dreidimensionale Koordinaten eines ortsfest mit dem Fahrzeug 200 verbundenen Koordinatensystems transformiert werden.
-
In einem Verfahrensschritt 125 können die derart transformierten dreidimensionalen Koordinaten, die die prädizierte Ego-Fahrspur 215 innerhalb des dreidimensionalen ortsfesten Koordinatensystems darstellen, zur Steuerung des Fahrzeugs 200 gemäß der prädizierten Ego-Fahrspur 215 verwendet werden. Die dreidimensionalen Koordinaten können somit an eine entsprechende Fahrzeugsteuerung 206 des Fahrzeugs bereitgestellt werden.
-
6 zeigt eine schematische Darstellung eines Computerprogrammprodukts 400, umfassend Befehle, die bei der Ausführung des Programms durch eine Recheneinheit dieses veranlassen, das Verfahren 100 zur Prädiktion einer Ego-Fahrspur 215 für ein Fahrzeugs 200 auszuführen.
-
Das Computerprogrammprodukt 400 ist in der gezeigten Ausführungsform auf einem Speichermedium 401 gespeichert. Das Speichermedium 401 kann hierbei ein beliebiges aus dem Stand der Technik bekanntes Speichermedium sein.
