-
Die vorliegende Erfindung betrifft ein Verfahren zur Bestimmung einer Fahrspurmarkierung für ein Fahrzeug. Ferner betrifft die vorliegende Erfindung ein Verfahren zum Trainieren mindestens eines Machine Learning-Modells.
-
Stand der Technik
-
Die Detektion einer Fahrspurmarkierung einer Fahrspur für ein Fahrzeug ist insbesondere im Bereich des autonomen Fahrens ein wichtiger Aspekt. Die Detektion einer Fahrspurmarkierung einer Fahrspur wird bislang durch Anwendung von unterschiedlich technischen Lösungsansätzen verfolgt.
-
Ein erster Ansatz basiert auf einer klassischen Gradienten-Methode. Dabei werden Gradienten von einem Bild der Fahrbahn, das über in einem Fahrzeug befindliche Sensoren und / oder Kameras aufgenommen wurde, extrahiert. Hieraus wird eine Fahrspurmarkierung der Fahrspur ermittelt, auf welcher sich das Fahrzeug befindet. Dabei werden in die innere und äußere Kante der Fahrspurmarkierung ermittelt und zusammengefügt, um daraus eine Breite einer Fahrspurmarkierung zu berechnen.
-
Ein zweiter Ansatz verwendet segmentbasierte Methoden, die auf Deep-Learning-Szenarien basieren. Bei diesem Ansatz werden ebenso die äußeren und inneren Kanten einer Fahrspurmarkierung einer Fahrspur ermittelt, und zwar mittels einer Schätzung von einzelnen Segmentmaskierungen der Fahrspurmarkierung. Jedoch hängt die Genauigkeit dieser Methode wesentlich von der Auflösung der verwendeten Segmentmaskierung ab.
-
Ein weiterer Ansatz zur Ermittlung der Fahrspurmarkierung einer Fahrspur wird durch sogenannte Anker-basierte bzw. Anker-lose Ansätze verfolgt. Dabei ist es das Ziel, eine direkte bzw. unmittelbare Repräsentation einer Linie der zu detektierenden Fahrspurmarkierung zu verwenden, um eine Mitte der zu detektierenden Fahrspurmarkierung zu modellieren. Zwar ermöglicht dieser Ansatz eine höhere Genauigkeit bei der exakten Ermittlung bzw. Bestimmung der Position der Fahrspurmarkierung. Doch es können bei diesem Ansatz keine direkten Rückschlüsse auf die inneren und äußeren Kanten der zu detektierenden Fahrspurmarkierung gezogen werden.
-
Offenbarung der Erfindung
-
Gemäß einem ersten Aspekt betrifft die Offenbarung ein Verfahren zur Bestimmung einer Fahrspurmarkierung einer ersten Fahrspur für ein Fahrzeug mit folgenden Schritten:
- In einem ersten Schritt erfolgt das Bereitstellen von Messdaten aus einer Überwachung des Umfelds des Fahrzeugs.
-
In einem zweiten Schritt erfolgt das Zuführen der Messdaten zu mindestens einem Machine Learning-Modell.
-
In einem dritten Schritt erfolgt das Auswerten eines Verlaufs der Fahrspurmarkierung mit dem mindestens einen Machine Learning-Modell.
-
In einem vierten Schritt erfolgt das Auswerten einer Breite der Fahrspurmarkierung mit dem mindestens einen Machine Learning-Modell.
-
Die vorliegende Erfindung bietet also den Vorteil, dass nicht nur eine Mitte einer zu detektierenden Fahrspurmarkierung einer Fahrspur eines Fahrzeugs modelliert wird, sondern dass zusätzlich auch eine Breite der zu detektierenden Fahrspurmarkierung der Fahrspur des Fahrzeugs zu jedem Zeitpunkt erfasst bzw. geschätzt wird. Dies erfolgt durch Hinzufügen bzw. dem Lösen eines entsprechenden Regressions-Problems.
-
Durch den verfolgten Lösungsansatz der vorliegenden Erfindung wird der Vorteil einer höheren Genauigkeit der Ermittlung der Fahrspurmarkierung als bei bekannten Ansätzen erzielt, da weiterhin die Mitte der zu detektierenden Fahrspurmarkierung einer Fahrspur bestimmt wird.
-
Ein weiterer Vorteil besteht darin, dass sämtliche Fahrspurmarkierungen durch den erfindungsgemäßen Ansatz repräsentiert bzw. bestimmt werden können.
-
Ein weiterer Vorteil der erfindungsgemäßen Lösung besteht außerdem darin, dass die Lösung eines Regressionsproblems für eine Breite der zu detektierenden Fahrspurmarkierung einer Fahrspur sehr viel einfacher zu lösen ist als eine kontinuierliche Schätzung einer inneren und äußeren Kante einer Fahrspurmarkierung. Denn die zu ermittelnde Breite der Fahrspurmarkierung kann relativ zu einer Mittellinie bzw. Bezugslinie der Fahrspur ermittelt werden, wodurch das erfindungsgemäße Verfahren unabhängig von einer Position oder Lage der Fahrspurmarkierung in einem aufgenommenen Bild wird.
-
Eine mögliche Ausgestaltung des Verfahrens sieht vor, dass der Verlauf eine Mittellinie der Fahrspurmarkierung in diskreter oder kontinuierlicher Form angibt. Dadurch wird der Vorteil einer höheren Genauigkeit bei der Ermittlung der Fahrspurmarkierung erzielt.
-
Eine mögliche Ausgestaltung des Verfahrens sieht vor, dass die Breite der Fahrspurmarkierung durch Regression bestimmt wird. Dadurch wird der Vorteil erreicht, dass die Breite der Fahrspurmarkierung effizient ermittelt werden kann.
-
Eine mögliche Ausgestaltung des Verfahrens sieht vor, dass ein dem Fahrzeug nächster Teilbereich der Fahrspurmarkierung für die Regression ausgewählt wird. Dadurch wird der Vorteil erreicht, dass die Breite der Fahrspurmarkierung effizient ermittelt werden kann.
-
Eine mögliche Ausgestaltung des Verfahrens sieht vor, dass die Regression an mehreren Stellen entlang der Fahrspurmarkierung durchgeführt wird und die ermittelten Breiten zu einem Endergebnis für die Breite der Fahrspurmarkierung aggregiert werden. Dadurch wird der Fehler bei der Ermittlung der Breite der Fahrspurmarkierung weiter reduziert.
-
Eine mögliche Ausgestaltung des Verfahrens sieht vor, dass der Verlauf in Form von Entfernungen zu einer Bezugslinie durch den überwachten Bereich des Umfelds des Fahrzeugs angegeben ist. Dadurch wird der Vorteil erreicht, dass die Breite der Fahrspurmarkierung effizient und mit hoher Genauigkeit ermittelt werden kann.
-
Eine mögliche Ausgestaltung des Verfahrens sieht vor, dass die Bilddaten und/oder Videodaten als Messdaten gewählt werden. Dies sind die wichtigsten Messmodalitäten zur Detektion von Fahrspurmarkierungen.
-
Eine mögliche Ausgestaltung des Verfahrens sieht vor, dass der Schritt des Auswertens der Breite der Fahrspurmarkierung der ersten Fahrspur folgende Schritte aufweist:
- In einem ersten Schritt erfolgt das Auswählen einer Position entlang des Verlaufs der Fahrspurmarkierung.
-
In einem zweiten Schritt erfolgt das Suchen in einer vorgegebenen Suchrichtung relativ zum Verlauf der Fahrspurmarkierung nach zwei Grenzpunkten zwischen der Fahrspurmarkierung einerseits und der Fahrspuroberfläche andererseits.
-
In einem dritten Schritt erfolgt das Ermitteln der Breite der Fahrspurmarkierung aus einer Entfernung zwischen den beiden Grenzpunkten.
-
Eine mögliche Ausgestaltung des Verfahrens sieht vor, dass Kamera-Kalibrationsdaten und / oder Information zur Straßenbeschaffenheit der ersten Fahrspur in der Bestimmung der Breite der Fahrspurmarkierung der ersten Fahrspur berücksichtigt werden. Die Genauigkeit kann dadurch noch einmal gesteigert werden.
-
Gemäß einem zweiten Aspekt betrifft die Offenbarung ein Verfahren zum Trainieren mindestens eines Machine Learning-Modells für den Einsatz in dem zuvor beschriebenen Verfahren mit folgenden Schritten:
- In einem ersten Schritt erfolgt das Bereitstellen von Trainings-Beispielen von Messdaten, die aus der Perspektive eines Ego-Fahrzeugs aufgenommen wurden und das Vorhandensein einer oder mehrerer Fahrspurmarkierungen anzeigen.
-
In einem zweiten Schritt erfolgt das Bereitstellen eines Soll-Verlaufs und einer Soll-Breite mindestens für eine Fahrspurmarkierung, die die vom Ego-Fahrzeug aktuell befahrene Fahrspur begrenzt.
-
In einem dritten Schritt erfolgt das Zuführen der Trainings-Beispiele zu dem zu trainierenden Machine Learning-Modell, so dass dieses Machine Learning-Modell mit dem vorangegangenen einen Verlauf und eine Breite der Fahrspurmarkierung bestimmt.
-
In einem vierten Schritt erfolgt das Bewerten einer Abweichung zwischen diesem Verlauf und dieser Breite einerseits, und dem Soll-Verlauf bzw. der Soll-Breite andererseits, mit einer vorgegebenen Kostenfunktion.
-
In einem fünften Schritt erfolgt das Optimieren von Parametern, die das Verhalten des Machine Learning-Modells charakterisieren, mit dem Ziel, dass sich bei weiterer Verarbeitung von Trainings-Beispielen die Bewertung durch die Kostenfunktion voraussichtlich verbessert.
-
Die Breite einer Fahrspurmarkierung, die die vom Ego-Fahrzeug aktuell befahrene Fahrspur begrenzt, ist die im Rahmen des Labels am genauesten bestimmbare Soll-Breite, weil diese Fahrspurmarkierung dem Ego-Fahrzeug am nächsten ist. Daher ist es vorteilhaft, nur diese Soll-Breite zu verwenden. Tendenziell ist es natürlich immer besser, mehr gelabelte Trainings-Beispiele zur Verfügung zu haben. Wenn aber beispielsweise eine weiter entfernte Fahrspurmarkierung mit einer nur ungenau bestimmten Soll-Breite gelabelt wird, können sich diese verrauschten Labels („noisy labels“) nachteilig auf den Erfolg des Trainings auswirken.
-
Eine mögliche Ausgestaltung des Verfahrens sieht vor, dass für mindestens eine weitere Fahrbahnmarkierung, die nicht die vom Ego-Fahrzeug aktuell befahrene Fahrspur begrenzt, zumindest ein Soll-Verlauf bereitgestellt und ein Verlauf ermittelt wird, und die Kostenfunktion auch die Abweichung dieses Verlaufs von seinem Soll-Verlauf bewertet. Dadurch wird der Vorteil erzielt, dass das Verfahren effizient auch zur Ermittlung von weiteren Fahrbahnmarkierungen, welche sich nicht auf der aktuell befahrenen Fahrspur befinden, eingesetzt bzw. übertragen werden kann.
-
Eine mögliche Ausgestaltung des Verfahrens sieht vor, mindestens eine aus den Messdaten ersichtliche Fahrspurmarkierung unberücksichtigt zu lassen, indem ihr Beitrag zur Kostenfunktion auf Null gesetzt wird. Hiermit lässt sich diese Fahrspurmarkierung effizienter ausblenden als durch eine Entfernung aus den Messdaten des Trainings-Beispiels.
-
Gemäß einem dritten Aspekt betrifft die Offenbarung ein Computerprogramm, enthaltend maschinenlesbare Anweisungen, die, wenn sie auf einem oder mehreren Computern und/oder Computer-Instanzen ausgeführt werden, den oder die Computer bzw. Computer-Instanzen dazu veranlasst, das erfindungsgemäße Verfahren auszuführen.
-
Gemäß einem vierten Aspekt betrifft die Offenbarung einen maschinenlesbaren Datenträger und/oder Downloadprodukt mit dem Computerprogramm.
-
Gemäß einem fünften Aspekt betrifft die Offenbarung ein oder mehrere Computer und/oder Computer-Instanzen mit dem Computerprogramm und/oder mit dem maschinenlesbaren Datenträger und/oder Downloadprodukt.
-
Weitere, die Erfindung verbessernde Maßnahmen werden nachstehend gemeinsam mit der Beschreibung der bevorzugten Ausführungsbeispiele der Erfindung anhand von Figuren näher dargestellt.
-
Ausführungsbeispiele
-
Es zeigt:
- 1 Schematisches Ablaufdiagramm des Verfahrens zur Bestimmung einer Fahrspurmarkierung einer ersten Fahrspur für ein Fahrzeug;
- 2 Schematisches Ablaufdiagramm des Verfahrens zum Trainieren mindestens eines Machine Learning-Modells für den Einsatz in dem Verfahren nach 1;
- 3 Beispielhafte Darstellung eines aus dem Stand der Technik bekannten Verfahrens zur Ermittlung einer Mitte einer Fahrspurmarkierung für eine Fahrspur eines Fahrzeugs;
- 4 Beispielhafte Darstellung eines erfindungsgemäßen Verfahrens zur Ermittlung einer Breite einer Fahrspurmarkierung für eine Fahrspur eines Fahrzeugs; und
- 5 Beispielhafte Darstellung des Bereitstellens einer Soll-Position und einer Soll-Breite einer Fahrspurmarkierung für eine Fahrspur eines Fahrzeugs.
-
1 unter Bezugnahme auf 3 zeigt ein schematisches Ablaufdiagramm des Verfahrens 100 zur Bestimmung einer Fahrspurmarkierung 2 einer ersten Fahrspur 1 für ein Fahrzeug 10 mit folgenden Schritten:
- In einem ersten Schritt 102 erfolgt das Bereitstellen von Messdaten aus einer Überwachung des Umfelds des Fahrzeugs 10.
-
In einem zweiten Schritt 104 erfolgt das Zuführen der Messdaten zu mindestens einem Machine Learning-Modell.
-
In einem dritten Schritt 106 erfolgt das Auswerten eines Verlaufs der Fahrspurmarkierung mit dem mindestens einen Machine Learning-Modell.
-
In einem vierten Schritt 108 erfolgt das Auswerten einer Breite 3 der Fahrspurmarkierung 2 mit dem mindestens einen Machine Learning-Modell.
-
Das Auswerten der Breite 3 der Fahrspurmarkierung 2 der ersten Fahrspur 1 im vierten Schritt 108 erfolgt vorzugsweise mit folgenden Schritten:
- In einem ersten Schritt 120 wird eine Position entlang des Verlaufs der Fahrspurmarkierung 2 der Fahrspur 1 ausgewählt.
-
In einem zweiten Schritt 122 wird in einer vorgegebenen Suchrichtung relativ zum Verlauf der Fahrspurmarkierung 2 nach zwei Grenzpunkten - siehe in 4 das Liniensegment 9 - zwischen der Fahrspurmarkierung 2 einerseits und der Fahrspuroberfläche andererseits gesucht.
-
In einem dritten Schritt 124 wird die Breite 3 der Fahrspurmarkierung 2 der Fahrspur 1 bzw. der ersten Fahrspur 1 aus einer Entfernung zwischen den beiden Grenzpunkten ermittelt.
-
2 zeigt ein schematisches Ablaufdiagramm des Verfahrens 200 zum Trainieren mindestens eines Machine Learning-Modells für den Einsatz in dem Verfahren 100 gemäß 1 mit folgenden Schritten:
- In einem ersten Schritt 202 erfolgt das Bereitstellen von Trainings-Beispielen von Messdaten, die aus der Perspektive eines Ego-Fahrzeugs 10 aufgenommen wurden und das Vorhandensein einer oder mehrerer Fahrspurmarkierungen anzeigen.
-
In einem zweiten Schritt 204 erfolgt das Bereitstellen eines Soll-Verlaufs und einer Soll-Breite mindestens für eine Fahrspurmarkierung, die die vom Ego-Fahrzeug 10 aktuell befahrene Fahrspur begrenzt.
-
In einem dritten Schritt 206 erfolgt das Zuführen der Trainings-Beispiele zu dem zu trainierenden Machine Learning-Modell, so dass dieses Machine Learning-Modell mit dem Verfahren nach einem der Ansprüche 1 bis 9 einen Verlauf und eine Breite 3 der Fahrspurmarkierung 2 bestimmt.
-
In einem vierten Schritt 208 erfolgt das Bewerten einer Abweichung zwischen diesem Verlauf und dieser Breite 3 einerseits, und dem Soll-Verlauf bzw. der Soll-Breite andererseits, mit einer vorgegebenen Kostenfunktion.
-
In einem fünften Schritt 210 erfolgt das Optimieren von Parametern, die das Verhalten des Machine Learning-Modells charakterisieren, mit dem Ziel, dass sich bei weiterer Verarbeitung von Trainings-Beispielen die Bewertung durch die Kostenfunktion voraussichtlich verbessert.
-
3 zeigt eine beispielhafte Darstellung eines von einem (Ego-)-Fahrzeug 10 aufgenommenen Bildes zur Anwendung eines aus dem Stand der Technik bekannten Verfahrens zur Ermittlung einer Mitte einer Fahrspurmarkierung 2 für eine Fahrspur 1 des Fahrzeugs 10 unter Verwendung eines Anker-basierten Ansatzes. Zwischen dem Anfangspunkt 6 und dem Endpunkt 7 einer Bezugslinie 5 werden in horizontaler Richtung für jeden Punkt die einzelnen Abstände der einzelnen Linienabschnitte oder der einzelnen Liniensegmente 8 zur jeweiligen Mitte 4 der Fahrspurmarkierung 2 der Fahrspur 1 über Regression ermittelt.
-
4 zeigt beispielhaft, wie an dem gleichen aufgenommenen Bild das hier vorgeschlagene Verfahren 100 zur Ermittlung einer Breite 3 einer Fahrspurmarkierung 2 für eine Fahrspur 1 eines Fahrzeugs 10 durchgeführt werden kann. In diesem Verfahren wird, in einfachen Worten beschrieben, ausgehend von der Bezugslinie 5, welche zwischen einem Anfangspunkt 6 und einem Endpunkt 7 verläuft, in horizontaler Richtung die jeweilige Breite 3 der Fahrspurmarkierung 2 der Fahrspur 1 gemäß der folgenden Schritte des Verfahrens 100 wie folgt ermittelt:
- In einem ersten Schritt 102 erfolgt ein Bereitstellen von Messdaten aus einer Überwachung des Umfelds des Fahrzeugs 10, hier in Form des aufgenommenen Bildes. Die Messdaten können allgemein als Bilddaten und / oder Videodaten von entsprechenden Sensoren oder anderen technischen Detektionsvorrichtungen (nicht dargestellt) des Fahrzeugs 10 zur Verfügung gestellt werden.
-
In einem zweiten Schritt 104 werden die Messdaten zu mindestens einem Machine Learning-Modell zugeführt. Dabei können auch mehrere Modelle zum Einsatz kommen, zum Beispiel kann es vorgesehen sein, ein erstes Modell für die Ermittlung des Verlaufs der Fahrspurmarkierung 2 der Fahrspur 1 und ein zweites Modell für die Ermittlung der Breite 3 der Fahrspurmarkierung 2 der Fahrspur 1 zu verwenden.
-
In einem dritten Schritt 106 erfolgt die Auswertung eines Verlaufs der Fahrspurmarkierung 2 mit dem mindestens einen Machine Learning-Modell. Der Verlauf kann z.B. eine Mittellinie 4 sein, aber auch eine Kante. Der Verlauf der Mittellinie 4 kann insbesondere beispielsweise in Form vieler diskreter Positionen angegeben sein. Der Verlauf der Mittellinie 4 kann dabei auch in einer kontinuierlichen Form angeben sein. Der Verlauf der Mittellinie 4 kann vorzugsweise -und wie in der 4 dargestellt - in Form von Entfernungen der einzelnen Linien-Segmente 9 der Fahrspurmarkierung 2 zu der Bezugslinie 5 durch den überwachten Bereich des Umfelds des Fahrzeugs 10 angegeben sein.
-
In einem vierten Schritt 108 wird eine Breite 3 der Fahrspurmarkierung 2 mit dem mindestens einen Machine Learning-Modell ausgewertet. Vorzugsweise wird die Breite 3 der Fahrspurmarkierung 2 der Fahrspur 1 durch Regression bestimmt. Insbesondere kann hier eine sogenannte skalare Regression eingesetzt werden, da diese mit einer höherer Geschwindigkeit durchführbar ist und präzisere Ergebnisse liefert, da bei einer gegebenen Pixelauflösung einer Fahrzeugkamera die Fahrspurmarkierung 2 größer erscheint. Für die Bestimmung der Breite 3 der Fahrspurmarkierung 2 der ersten Fahrspur 1 können vorzugsweise auch Kamera-Kalibrationsdaten und / oder Information zur Straßenbeschaffenheit der ersten Fahrspur 1 berücksichtigt werden.
-
Die Regression kann dabei vorzugsweise an mehreren Stellen entlang der Fahrspurmarkierung 2 durchgeführt werden, wobei die ermittelten Breiten zu einem Endergebnis für die Breite 3 der Fahrspurmarkierung 2 aggregiert werden. Dabei kann eine entsprechende Gewichtung mit der Entfernung zum Fahrzeug 10 erfolgen, um einen unterschiedlichen Grad an Genauigkeit zu berücksichtigen.
-
Das Auswerten der Breite 3 der Fahrspurmarkierung 2 der ersten Fahrspur 1 im vierten Schritt 108 erfolgt vorzugsweise mit folgenden Schritten:
- In einem ersten Schritt 120 wird eine Position entlang des Verlaufs der Fahrspurmarkierung 2 der Fahrspur 1 ausgewählt.
-
In einem zweiten Schritt 122 wird in einer vorgegebenen Suchrichtung relativ zum Verlauf der Fahrspurmarkierung 2 nach zwei Grenzpunkten - siehe in 4 das Liniensegment 9 - zwischen der Fahrspurmarkierung 2 einerseits und der Fahrspuroberfläche andererseits gesucht.
-
In einem dritten Schritt 124 wird die Breite 3 der Fahrspurmarkierung 2 der Fahrspur 1 bzw. der ersten Fahrspur 1 aus einer Entfernung zwischen den beiden Grenzpunkten ermittelt.
-
5 zeigt beispielhaft, wie eine Soll-Position und eine Soll-Breite einer Fahrspurmarkierung 2 für eine Fahrspur 1 eines Fahrzeugs 10 gewonnen werden können. Die 5 zeigt dabei, wie die Mitte 4 der Fahrspurmarkierung der Fahrspur 1 des Ego-Fahrzeugs 1 - gestrichelte Linie - und die innere Kante 11 der Fahrspurmarkierung 2 entsprechend markiert werden. Mit diesen Markierungen kann eine Soll-Breite einer Fahrspurmarkierung ermittelt werden, die die vom Ego-Fahrzeug 10 aktuell befahrene Fahrspur begrenzt. Diese Soll-Breite kann zum Labeln von Trainings-Beispielen für das Machine Learning-Modell verwendet werden.
