DE102023101366B3

DE102023101366B3 - Computerimplementiertes Verfahren, Prozessorschaltung und System zum Ermitteln eines Markierungsverlaufs einer Fahrspurmarkierung einer Fahrspur, die aktuell von einem Fahrzeug befahren wird

Info

Publication number: DE102023101366B3
Application number: DE102023101366.1A
Authority: DE
Inventors: Ferdinand Farenholtz; Daniel Münning
Original assignee: Volkswagen AG; Cariad SE
Current assignee: Volkswagen AG; Cariad SE
Priority date: 2023-01-20
Filing date: 2023-01-20
Publication date: 2024-03-21
Anticipated expiration: 2043-01-21

Abstract

Die Erfindung betrifft ein computerimplementiertes Verfahren zum Ermitteln eines Markierungsverlaufs (26) einer Fahrspurmarkierung (16, 17) einer Fahrspur (13), die aktuell von einem Fahrzeug befahren wird, umfassend die Schritte: Bereitstellen von Bilddaten (29) eines dem Fahrzeug vorausliegenden Fahrspurbereichs (30) der Fahrspur (13) und Ermitteln von bildbasiert erkannten Markierungsverläufen (26) der Fahrspurmarkierung (16, 17). Das Verfahren kennzeichnet sich aus durch die Schritte: Ermitteln einer Schattenverlaufsangabe eines Schattens (19) und/oder einer Schattenkante (35) des Schattens (19) auf der Fahrspur (13) und Erzeugen von Markierungsdaten (41), in welchen der Einfluss (33) des Schattenverlaufs auf die bildbasiert erkannten Markierungsverläufe (26) abhängig von einem Wahrscheinlichkeitsgrad (58) kompensiert ist, falls der Wahrscheinlichkeitsgrad (58) größer als ein vorgegebener Schwellenwert (73) ist, und andernfalls Signalisieren der bildbasiert erkannten Markierungsverläufe (26).

Description

Die Erfindung betrifft ein computerimplementiertes Verfahren zum Ermitteln eines Markierungsverlaufs einer Fahrspurmarkierung oder Fahrstreifenmarkierung einer Fahrspur (auch genannt Fahrstreifen, Englisch: lane), während sie von einem Fahrzeug befahren wird. Die Erfassung kann aus Sicht des Fahrzeugs erfolgen, wozu das Fahrzeug beispielsweise mit einer Onbord-Frontkamera einen dem Fahrzeug vorausliegenden Fahrspurbereich der Fahrspur erfassen oder filmen kann und draus resultierende Bilddaten dahingehend auswertet, dass der Verlauf der Fahrspurmarkierung erkannt wird, also erkannt wird, wo sich die Fahrspurmarkierung relativ zum Fahrzeug befindet. Eine Prozessorschaltung, die dieses Verfahren durchführen kann, sowie ein System zum Durchführen des Verfahrens und zum Führen des Fahrzeugs in Abhängigkeit von dem erkannten Fahrspurverlauf, sind ebenfalls Bestandteil der Erfindung.
Heutige Fahrerassistenzsysteme erkennen Fahrspurmarkierungen nahezu exklusiv mit Hilfe eines Kamerasensors. Anhand von dessen Bilddaten erkennt man mittels Methoden der Computer-Vision Bildmerkmale (sogenannte Features) im Bild, welche eine Fahrspurmarkierung darstellen.
Bei den eingesetzten Methoden kommt es aber immer wieder zu Fehldetektionen, bei denen ein anderes Feature, wie zum Beispiel ein Schlagschatten, fälschlicherweise als Spurmarkierung erkannt wird (False-Positive). Diese Fehldetektionen führen dazu, dass Spurmarkierungen dort erkannt werden, wo sie in Realität nicht existieren und somit falsche Markierungsdaten an z. B. eine querführende Fahrerassistenzfunktion (sogenanntes Travel Assist) gesendet werden. Aufgrund dieser falschen Markierungsdaten kann es dann zu unerwünschten Lenkeingriffen durch das Fahrerassistenzsystem kommen. Beispielsweise fährt das Fahrzeug in solchen Situationen sehr unruhig, da z.B. die linke Markierung stark „zappelt“, weil abwechselnd die richtige Spurmarkierung und die „False-Positive“ signalisiert werden. Beispielsweise ein Schlagschatten eines auf der eigenen „Egofahrbahn“ vorausfahrenden Lastkraftwagens können zu den Fehldetektionen führen.
Um dieses Problem funktionsseitig beheben zu können, wird ein Verfahren zur Feststellung solcher Fehldetektionen und zur Behebung der dann folgenden fehlerhaften Lenkeingriffe benötigt.
Aus der DE 10 2011 106 050 A1 ist bekannt, in einem Bild von einem vorausliegenden Fahrspurabschnitt einer Fahrspur Schatten zu entfernen, um die Detektion eines freien Pfads zu ermöglichen. Hierzu wird eine beleuchtungsinnenvariante Version des Bildes durch Bildverarbeitung erzeugt. Darauf aufbauend können Schattenränder von Schatten im ursprünglichen Bild identifiziert werden.
Aus der DE 10 2014 117 102 A1 ist ein Spurwechselwarnsystem bekannt, das auf einer Bildverarbeitung eines Kamerabilds einer Frontkamera basiert. Die Bildverarbeitung enthält auch eine Entfernung einer Schattenkomponente aus den Bilddaten.
Ferner beschreibt die DE 10 2010 045 511 A1 ein Verfahren und Vorrichtung zur Detektion von Fahrbahnmarkierungen in einem Bild, wobei eine Umgebung eines Fahrzeugs in zumindest einem Bild erfasst wird, wobei Fahrbahnmarkierungen in dem Bild detektiert werden und aus den Fahrbahnmarkierungen ein Fahrspurverlauf ermittelt wird, wobei bei der Detektion der Fahrbahnmarkierungen im Bild vorhandene Schattenbereiche berücksichtigt werden. Es wird eine Lichteinfallsrichtung ermittelt, wobei eine Plausibilisierung von als potenzielle Fahrbahnmarkierungen in dem Bild erkannten Strukturen durchgeführt wird und wobei in Abhängigkeit der Größe der Wahrscheinlichkeit als Schattenbereich und/oder Schattenlücke identifizierte potenzielle Fahrbahnmarkierungen bei der Ermittlung des Fahrspurverlaufs verworfen werden.
Ferner beschreibt die DE 10 2006 027 113 A1 ein Verfahren und Einrichtung zur Erfassung von Objekten, die DE 10 2021 213 881 A1 ein Verfahren und Vorrichtung zum Betreiben eines Fahrzeugs und die DE 10 2009 046 699 A1 eine Fahrunterstützungsvorrichtung.
Die aus dem Stand der Technik bekannten Verfahren versuchen somit, durch Auswerten der eigentlichen Bildinformationen selbst zu erkennen, welcher Bildteil von einem Schatten beeinflusst ist.
Der Erfindung liegt die Aufgabe zugrunde, bei einer bildbasierten Fahrspurmarkierungserkennung den Einfluss eines Schattenwurfs, wie er bei Sonnenschein durch Objekte auf der Fahrspur und/oder neben der Fahrspur verursacht werden kann, zu reduzieren.
Die Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst. Vorteilhafte Weiterentwicklungen der Erfindung sind durch die abhängigen Patentansprüche, die folgende Beschreibung sowie die Figuren beschrieben.
Als eine Lösung umfasst die Erfindung ein computerimplementiertes Verfahren zum Ermitteln eines Markierungsverlaufs einer Fahrspurmarkierung einer Fahrspur (Fahrstreifen, Englisch: Lane), die aktuell von einem Fahrzeug befahren wird, umfassend die Schritte:

• Bereitstellen von Bilddaten eines dem Fahrzeug vorausliegenden Fahrspurbereichs der Fahrspur. Wie bereits ausgeführt, können die Bilddaten von einer Frontkamera des Fahrzeugs selbst und/oder von einer Roadside-Unit, also einer am Fahrbahnrand basierenden stationären Einrichtung, bereitgestellt werden.
• Extrahieren von Bildmerkmalen aus den Bilddaten. Die Bildmerkmale können beispielsweise anhand von Farbe und/oder Form und/oder Kontrast identifiziert werden. Beispielsweise können als Bildmerkmale Kanten und/oder Kreuzungspunkte von Linien und/oder Bereiche einer vorgegebenen Farbe, beispielsweise weiß oder gelb, identifiziert werden.
• Ermitteln von bildbasiert erkannten Markierungsverläufen der Fahrspurmarkierung aus den Bildmerkmalen. In an sich bekannter Weise werden also aus den Bildmerkmalen die geometrische Anordnung oder Markierungsverläufe der Fahrspurmarkierungen erkannt. Als Fahrspurmarkierungen können beispielsweise Randmarkierungen (durchgezogen oder gestrichelt) und/oder Richtungspfeile erkannt werden, um nur Beispiele zu nennen. Es handelt sich bei einer Fahrspurmarkierung jeweils insbesondere um eine Farbschicht auf der Fahrbahn oder auf dem Bitumen selbst.
• Ermitteln einer Schattenverlaufsangabe eines Schattens und/oder einer Schattenkante des Schattens auf der Fahrspur, wobei die Schattenverlaufsangabe umfasst: eine Positionsangabe zu möglichen Schatten und/oder zu möglichen Schattenkanten und/oder eine Angabe auf welcher Fahrspurseite (rechts oder links) der Fahrspur Schatten möglich ist. In einer einfachen Ausgestaltung kann also die Schattenverlaufsangabe angeben, ob auf der rechten und/oder linken Fahrspurhälfte oder Fahrspurseite ein Schatten möglich ist oder zu erwarten ist. Es kann die gesamte Schattenfläche oder ein Verlauf einer Schattenkante beschrieben sein, wobei eine zugehörige Positionsangabe beispielsweise Koordinaten eines Polygons und/oder Angaben der betroffenen Pixel eines Kamerabilds, wie es durch die Bilddaten vorgegeben sein kann, enthalten kann.
• Vergleichen der Schattenverlaufsangabe mit den bildbasierten Markierungsverläufen der Fahrspurmarkierung und daraus Ermitteln eines Wahrscheinlichkeitsgrades, dass die bildbasiert erkannten Markierungsverläufe auf einer rechten und einer linken Fahrspurseite der Fahrspur jeweils einen Einfluss des Schattenverlaufs aufweist. Es wird also geprüft oder ermittelt, ob sich die bildbasiert erkannten Markierungsverläufe mit der Schattenverlaufsangabe überschneiden oder ob sie übereinstimmen oder deren Unterschied kleiner als ein vorbestimmter Schwellenwert ist. In diesem Fall besteht mit dem ermittelten Wahrscheinlichkeitsgrad das Risiko, dass ein bildbasiert erkannter Markierungsverlauf tatsächlich eine Fehlerkennung (False-Positive) ist und stattdessen die Verlaufsdaten des bildbasiert erkannten Markierungsverlaufs den Schattenverlauf beschreiben. Je ähnlicher der bildbasiert erkannte Markierungsverlauf dem der Schattenverlaufsangabe ist, desto wahrscheinlicher ist dabei eine solche False-Positive-Erkennung. Der Wahrscheinlichkeitsgrad kann auch binär ausgestaltet sein, das heißt es kann durch Angabe „beeinflusst“ oder „nicht-beeinflusst“ lediglich angegeben werden, ob der bildbasiert erkannte Markierungsverlauf überhaupt auf derselben Fahrspurseite wie der erwartete oder mögliche Schatten ist.
• Erzeugen von Markierungsverlaufsdaten oder Markierungsdaten, in welchen der Einfluss des Schattenverlaufs auf die bildbasiert erkannten Markierungsverläufe abhängig vom Wahrscheinlichkeitsgrad kompensiert ist, falls der Wahrscheinlichkeitsgrad größer als ein vorgegebener Schwellenwert ist, und andernfalls Signalisieren der bildbasiert erkannten Markierungsverläufe als Markierungsdaten. Der Schwellenwert kann in einem Datenspeicher vorgegeben sein und beispielsweise in einem Bereich von 0 (Kompensation findet immer statt) bis beispielsweise 60 oder 70 Prozent liegen. Ist der Wahrscheinlichkeitsgrad, dass ein bildbasiert erkannter Markierungsverlauf durch einen Schattenverlauf beeinflusst ist, also beispielsweise durch diesen verfälscht ist, kleiner als der Schwellenwert, so kann in den Markierungsdaten der bildbasiert erkannte Markierungsverlauf selbst verwendet werden, also dessen Verlaufsdaten signalisiert werden. Anderenfalls wird eine Kompensation vorgenommen, die beispielsweise darin bestehen kann, dass der bildbasiert erkannte Markierungsverlauf als ungültig markiert oder signalisiert wird. Weitere Kombinationsmaßnahmen sind im Weiteren noch beschrieben.
• Bereitstellen der Markierungsdaten an eine Fahrassistenzfunktion zur Querführung und/oder zum Durchführen von Querführungseingriffen des Fahrzeugs.

Das Kraftfahrzeug kann somit durch die als Fahrassistenzfunktion automatisiert geführt werden, also beispielsweise gelenkt werden (Querführung) und/oder beschleunigt und/oder abgebremst werden (Längsführung). Beim Querführen werden anhand der Markierungsdaten auch die Markierungsverläufe der Fahrspurmarkierungen berücksichtigt, soweit sie in den Markierungsverlaufsdaten verfügbar sind. Indem mittels des Wahrscheinlichkeitsgrads erkannt wird, ob bildbasierte Markierungsdaten durch einen Schattenwurf oder Schattenverlauf beeinflusst sind, wird die Fahrassistenzfunktion vor dem Einfluss des Schattenverlaufs geschützt, also beispielsweise vor einer Verfälschung durch einen Schatten. Entsprechend kann eine automatisierte Querführung, beispielsweise eine Spurhalteassistenz, robuster gegen Schattenwurf auf der Fahrspur betrieben werden, was in vorteilhafter Weise eine Robustheit oder einen Schutz gegen Schattenverlauf oder Schatten auf der Fahrspur darstellt.
Die Erfindung sieht ferner vor, dass das Ermitteln der Markierungsdaten umfasst:

• Ermitteln eines von den Bilddaten unabhängig kartographierten historischen Fahrpurverlaufs der Fahrspur. Ein solcher Fahrspurverlauf kann beispielsweise auf der Grundlage von historischen Schwarmdaten ermittelt werden, also Geopositionsdaten von Kraftfahrzeugen, die zuvor auf der Fahrspur gefahren sind und ihre Geopositionsdaten in einem zentralen (beispielsweise stationären) Server, wie er beispielsweise im Internet betrieben werden kann, signalisiert haben, der daraus einen mittleren oder durchschnittlichen Verlauf der Geoposition und damit der Fahrspur oder der Fahrspurmittellinie, berechnet. Zusätzlich oder alternativ dazu kann für den Fahrspurverlauf auch auf eine Navigationskarte oder Navigationskartendaten zurückgegriffen werden, welche eine Geometrie der Fahrspur beschreiben.
• Konstruieren von erwarteten Markierungsverläufen aus dem historischen Fahrspurverlauf. Ausgehend vom bekannten Fahrspurverlauf können auch die Ränder der Fahrspur ermittelt werden, also die Position der Markierungsverläufe.
• Ermitteln eines Unterschieds der bildbasiert erkannten Markierungsverläufe zu den erwarteten Markierungsverläufen für diejenigen jeweilige Fahrspurseite, für welche Wahrscheinlichkeitsgrad größer als der Schwellenwert ist. Die aus den Schwarmdaten und/oder der Navigationskarte ermittelten Markierungsverläufe können dann mit den aktuell bildbasiert erkannten Markierungsverläufen verglichen werden, was somit eine weitere Überprüfung darstellt, ob die bildbasiert erkannten Markierungsverläufe von den erwarteten Markierungsverläufen aus dem historischen kartographierten Fahrspurverlauf angeben.
• falls der ermittelte Unterschied kleiner als ein vorgegebener Toleranzwert ist, Verwenden der bildbasiert erkannten Markierungsverläufe in den Markierungsdaten.

Ein Toleranzwert kann in einem Bereich von 0 Zentimeter bis 100 Zentimeter liegen, um nur Beispiele zu nennen. Weicht ein aktuell erkannter Markierungsverlauf mehr als der Toleranzwert von dem erwarteten historischen kartographierten Spurverlauf ab, so besteht bei entsprechenden Wahrscheinlichkeitsgrad für Schattenfall die Wahrscheinlichkeit, dass der Schatten die bildbasierte Markierungserkennung beeinträchtigt oder verfälscht hat.
Die Erfindung umfasst auch Weiterentwicklungen, durch die sich zusätzliche Vorteile ergeben.
Eine Weiterentwicklung umfasst, dass das Ermitteln des Schattenverlaufs umfasst:

• Ermitteln eines Sonnenstands relativ zum Fahrzeug und/oder zur Fahrspur; (Sonnenstandserkennung). Diese Sonnenstandserkennung kann beispielsweise aus dem Stand der Technik entnommen werden. Alternativ dazu kann beispielsweise auch aufgrund der Geoposition des Kraftfahrzeugs (Längengrad und/oder Breitengrad) sowie der aktuellen Uhrzeit ermittelt werden, wo sich die Sonne am Himmel über dem Kraftfahrzeug befinden muss. Hieraus kann ein Verlauf von Lichtstrahlen in der Luft um das Kraftfahrzeug oder in der Luft über der Fahrspur ermittelt werden.
• Ermitteln eines aktuellen Diffusitätsgrads und/oder Helligkeitsgrads von auf die Fahrspur einfallendem Sonnenlicht. Durch den Diffusitätsgrad und/oder Helligkeitsgrad kann angegeben werden, ob das Sonnenlicht direkt in parallelen Lichtstrahlen (Sonnenschein) auf die Fahrspur fällt oder (je größer der Diffusitätsgrad ist) gestreut durch Wolken und/oder Nebel und/oder Regen aus unterschiedlichen Richtungen auf den Boden oder die Fahrspur fällt. Je größer der Diffusitätsgrad beziehungsweise je geringer der Helligkeitsgrad ist, desto geringer ist die Wahrscheinlichkeit, dass sich ein Schatten durch ein Objekt bildet oder ein Schatten auf der Fahrspur ausgebildet ist, der einen ausreichend großen Kontrast zu direkt beleuchteter Fahrspur bildet, um eine bildbasierte Markierungserkennung zu stören oder zu beeinflussen.
• Ermitteln des jeweiligen Wahrscheinlichkeitsgrades für die rechte Fahrspurseite und für die linke Fahrspurseite der Fahrspur aus dem Sonnenstand und dem Diffusitätsgrad. Da sich die Markierungsverläufe am rechten und linken Rand der Fahrspur befinden, ist in vorteilhafter Weise eine Unterscheidung des Wahrscheinlichkeitsgrades für die linke Fahrspurseite oder Fahrspurhälfte und die rechte Fahrspurseite oder Fahrspurhälfte vorteilhaft. Durch Sonnenstand und Diffusitätsgrad beziehungsweise Helligkeitsgrad kann ermittelt werden, wie deutlich oder stark oder in welchem Grad der Kontrast bei Schattenwurf ist. Durch eine Abbildungstabelle oder eine parametrische, analytische Abbildungsvorschrift kann dies in einem Wahrscheinlichkeitsgrad in Bezug auf die Ausbildung eines Schattens (0 Prozent bis 100 Prozent oder 0 bis 1,0) umgerechnet werden, wobei der Wahrscheinlichkeitsgrad auch in einem anderen Werteintervall ausgedrückt werden kann, z.B. 0 bis 10 oder 0 bis 256).
• Signalisieren des jeweiligen Wahrscheinlichkeitsgrades getrennt für die rechte und die linke Fahrspurseite in der Schattenverlaufsangabe.

Somit kann durch eine Simulation oder eine Berechnung, beispielsweise Raytracing und/oder eine analytische Funktion, in Form des Wahrscheinlichkeitsgrads ein Maß berechnet werden, das angibt, wie deutlich ausgeprägt Schatten bei vorhandenen Objekten auf der Fahrspur ausgebildet sein werden. Dies ist in vorteilhafter Weise unabhängig von einer Erkennung von Schatten auf Basis einer Bildauswertung, wie dies im Stand der Technik vorgenommen wird.
Eine Weiterentwicklung hierzu umfasst, dass der Diffusitätsgrad und/oder Helligkeitsgrad aus dem Grad einer Blendung und/oder eines Kontrastes in den Bilddaten und/oder mittels eines photosensitiven Sensors und/oder mittels zumindest einer Photovoltaik-Zelle und/oder aus Wetterdaten eines Wetterdienstes ermittelt wird. Somit kann auf Grundlage eines Sensors und/oder auf Grundlage einer Berechnung aus Wetterdaten ermittelt werden, ob direkter Sonnenschein oder Bewölkung beziehungsweise Nebel vorliegt. Es kann hierzu ein absolutes Maß der Helligkeit für den jeweiligen Sensor (beispielsweise Bildsensor und/oder photosensitiver Sensor) und/oder Photovoltaik-Zelle hinterlegt sein, das angibt, wie hell oder wie direkt der Sonneneinfall sein muss, damit das jeweilige Helligkeitsmaß oder der jeweilige Helligkeitsgrad erreicht ist. Es ist somit keine bildinhaltliche Auswertung von Bilddaten notwendig. Wetterdaten können für eine aktuelle Geoposition des Kraftfahrzeugs angeben, ob dort eine Bewölkung vorliegt oder klarer Himmel und damit direkter Sonnenschein oder Sonneneinfall vorhanden ist.
Eine Weiterentwicklung umfasst, dass das Ermitteln des Wahrscheinlichkeitsgrades umfasst:

• Ermitteln von Objektdaten, welche eine Position und ein Höhe von Objekten auf und/oder neben dem Fahrspurbereich beschreiben. Somit wird nicht nur anhand der Helligkeit oder des Sonneneinfalls auf Schatten entschieden, sondern es wird auch überprüft, ob Objekte vorhanden sind, die überhaupt einen Schatten werfen können. Solche Objekte können vom Kraftfahrzeug selbst mittels Radar und/oder LIDAR und/oder Ultraschall in der Umgebung des Kraftfahrzeugs erkannt werden. Zusätzlich oder alternativ dazu kann ein Objekt seine Gegenwart oder seine Position selbst signalisieren, wozu die Car-2-X-Kommunikation für eine Kommunikation mit den Objekten vom Kraftfahrzeug betrieben werden kann.
• Konstruieren einer Position eines jeweiligen Schattens der Objekte aus den Objektdaten und dem Sonnenstand. Eine solche Konstruktion kann beispielsweise auf der Grundlage von Raytracing oder einer Simulation, wie beispielsweise einer Finite-Elemente-Simulation, durchgeführt werden. Hierzu kann beispielsweise auch eine GPU (Graphical Processing Unit) genutzt werden, und ein Algorithmus, wie er beispielsweise für CGI (Computer Graphics Imaging) und/oder Computerspiele verwendet wird. Die Objekte können hierbei durch Gittermodelle modelliert werden, die ein opake (lichtundurchlässige) optische Eigenschaft haben.
• Ermitteln des jeweiligen Wahrscheinlichkeitsgrades der jeweiligen Fahrspurseite aus der Position des jeweiligen Schattens und einer von dem Diffusitätsgrad abhängigen Ausprägung des Schattens.

Der simulierte oder berechnete Schattenwurf der erkannten Objekte kann somit geschätzt werden. Wie stark der Schatten ausgeprägt ist, kann dann beispielsweise auf Grundlage des beschriebenen Diffusitätsgrads und/oder Helligkeitsgrads ermittelt oder gewichtet werden. Ein potentieller Schatten kann also aus Berechnungen ermittelt werden. Der Überlappungsgrad mit der Fahrspur für eine potentielle Fehlererkennung, also die Position der Schatten in Bezug auf die potentiellen oder erwarteten Fahrspurmarkierungen, geht ebenfalls aus dieser Berechnung in vorteilhafter Weise hervor. Somit ist eine Wahrscheinlichkeit für die Ausprägung des potentiellen Schattens in einer aktuellen Situation beschrieben.
Eine Weiterentwicklung umfasst, dass beim Ermitteln des Wahrscheinlichkeitsgrads dieser umso größer ist, je größer eine ermittelte Anzahl an Kreuzungen oder Überschneidungen des Schattenverlaufs und dem erwarteten Markierungsverlauf und/oder je kleiner ein Flächenintegral einer Fläche zwischen dem erwarteten Markierungsverlauf und einer Kante des Schattenverlaufs ist. Es wurde beobachtet, dass insbesondere bekannte bildbasierte Markierungsverlaufserkennungen insbesondere dann durch Schatten beeinträchtigt werden, wenn Schatten oder Schattengrenzen die Markierungsverläufe oder die Fahrspurmarkierung kreuzen oder schneiden oder überlappen und hierbei nur eine geringe Überlappung vorliegt, sodass Bildmerkmale, die einen Verlauf einer Fahrspurmarkierung darstellen, und Bildmerkmale, die einen Verlauf einer Schattenkante markieren, verwechselt werden. Dies kann durch das Abzählen und/oder das Flächenintegral vorhergesagt oder mit einem von der eigentlichen Bilderkennung unabhängigen Maß ausgewertet werden.
Eine Weiterentwicklung umfasst, dass für eine rechte und für eine linke Fahrspurseite der Fahrspur in dem Fall, dass der dort ermittelte Unterschied des bildbasiert ermittelten Markierungsverlaufs dieser Fahrspurseite zu dem erwarteten Markierungsverlauf dieser Fahrspurseite größer als der Toleranzwert ist, ermittelt wird, ob für die andere Fahrspurseite der Unterschied kleiner als der Toleranzwert ist und/oder ob der Wahrscheinlichkeitsgrad kleiner als der Schwellenwert ist, und in diesem Fall Spiegeln des bildbasiert erkannten Markierungsverlaufs der anderen Fahrspurseite und Verwenden des gespiegelten Markierungsverlaufs in den Markierungsdaten. Ist also nur eine Fahrspurseite durch den Schatten dahingehend beeinträchtigt, dass der bildbasiert ermittelte Markierungsverlauf verfälscht sein könnte, so kann die Information von der gegenüberliegenden Fahrspurseite genutzt werden, um auch auf der beschatteten Fahrspurseite den Markierungsverlauf zu rekonstruieren. Das Spiegeln kann z.B. bezüglich eines Fahrspurmittenverlaufs erfolgen (also einer virtuellen Linie entlang der Fahrspurmitte), wie er durch Kartendaten einer digitalen Navigationskarte und/oder durch die besagten Schwarmdaten beschrieben sein kann.
Eine Weiterentwicklung umfasst, dass für den Fall, dass der Unterschied auf beiden Fahrspurseiten größer als der Toleranzwert ist, Verwenden der erwarteten Markierungsverläufe beider Fahrspurseiten in den Markierungsdaten. Sind somit beide Fahrspurseiten potentiell durch Schattenwurf dahingehend beeinträchtigt, dass die bildbasiert erkannten Markierungsverläufe verfälscht sein könnten, so kann auf die erwarteten Markierungsverläufe, wie sie in der beschriebenen Weise aus Kartendaten und/oder Schwarmdaten rekonstruiert sind oder ermittelt sind, zurückgegriffen werden.
Eine Weiterentwicklung umfasst, dass für diejenigen jeweilige Fahrspurseite, deren Wahrscheinlichkeitsgrad größer als der Schwellenwert ist, in den Markierungsdaten Markierungsverläufe signalisiert werden, die als eine gewichtete Summe aus dem erwarteten Markierungsverlauf und dem bildbasiert erkannten Markierungsverlauf berechnet sind, wobei ein Gewichtungsfaktor für den bildbasiert erkannten Markierungsverlauf umso kleiner ist, je größer der Wahrscheinlichkeitsgrad ist. Mit anderen Worten lassen sich auch zwei Datenquellen nutzen und hierbei insbesondere eine gewichtete Kombination der Daten aus beiden Datenquellen (bildbasierte Markierungsverläufe und historische Fahrspurmarkierungen aus Kartendaten und/oder Schwarmdaten). Dies kann beispielsweise nach dem Prinzip der Fuzzy-Logic oder der Kombination von Hypothesen als gewichtete Summe geschehen. Als Gewichtung für die einzelnen Beiträge kann als Gütemaß oder Gewichtungsmaß für das Mischen der Datenquellen der Wahrscheinlichkeitsgrad als Gewichtungsfaktor genutzt werden.
Für Anwendungsfälle oder Anwendungssituationen, die sich bei dem Verfahren ergeben können und die hier nicht explizit beschrieben sind, kann vorgesehen sein, dass gemäß dem Verfahren eine Fehlermeldung und/oder eine Aufforderung zur Eingabe einer Nutzerrückmeldung ausgegeben und/oder eine Standardeinstellung und/oder ein vorbestimmter Initialzustand eingestellt wird.
Als eine weitere Lösung umfasst die Erfindung eine Prozessorschaltung aufweisend Programminstruktionen, welche bei Ausführen durch die Prozessorschaltung diese Veranlassen, eine Ausführungsform des Verfahrens durchzuführen. Die Prozessorschaltung kann in einem Steuergerät oder in einem Verbund von Steuergeräten im Kraftfahrzeug selbst oder ganz oder teilweise ausgelagert in einem stationären Server, beispielsweise einem Internetserver, insbesondere einem sogenannten Backendserver des Kraftfahrzeugs, implementiert sein. Die Prozessorschaltung kann hierzu zumindest einen Mikroprozessor und/oder zumindest einen Mikrocontroller und/oder zumindest einen FPGA (Field Programmable Gate Array) und/oder zumindest einen DSP (Digital Signal Processor) aufweisen. Des Weiteren kann die Prozessorschaltung Programmcode aufweisen, der dazu eingerichtet ist, bei Ausführen durch die Prozessorschaltung die Ausführungsform des erfindungsgemäßen Verfahrens durchzuführen. Der Programmcode kann in einem Datenspeicher der Prozessorschaltung gespeichert sein. Die Prozessorschaltung kann z.B. zumindest eine Schaltungsplatine und/oder zumindest ein SoC (System on Chip) aufweisen.
Als eine weitere Lösung umfasst die Erfindung ein System aufweisend ein Fahrzeug mit einer Fahrassistenzfunktion zur Querführung und/oder zum Durchführen von Querführungseingriffen des Fahrzeugs und aufweisend eine Ausführungsform der Prozessorschaltung. Insbesondere bei der verteilten Lösung mit einem Backendserver stellt das System somit eine Kombination aus einem Fahrzeug und einem stationären Server, beispielsweise einem Internetserver, dar. Durch die Fahrassistenzfunktion kann die Querführung oder ein Querführungseingriff (Unterbrechen der manuellen Bedienung durch einen Fahrer und automatisiertes Querführen zum Schutz des Fahrzeugs) in Abhängigkeit von bildbasiert erkannten Markierungsverläufen erfolgen, wobei sich ein Schutz in der beschriebenen Weise durch Bereitstellen der Markierungsverlaufsdaten erfolgt, bei denen der Einfluss eines Schattenwurfs oder eines Schattens verringert ist.
Das erfindungsgemäße Fahrzeug ist bevorzugt als Kraftwagen, insbesondere als Personenkraftwagen oder Lastkraftwagen, oder als Personenbus oder Motorrad ausgestaltet.
Als eine weitere Lösung umfasst die Erfindung auch ein computerlesbares Speichermedium, umfassend Programmcode, der bei der Ausführung durch eine Prozessorschaltung eines Computers oder eines Computerverbunds diese veranlasst, eine Ausführungsform des erfindungsgemäßen Verfahrens auszuführen. Das Speichermedium kann z.B. zumindest teilweise als ein nichtflüchtiger Datenspeicher (z.B. als eine Flash-Speicher und/oder als SSD - solid state drive) und/oder zumindest teilweise als ein flüchtiger Datenspeicher (z.B. als ein RAM - random access memory) bereitgestellt sein. Das Speichermedium kann in der Prozessorschaltung in deren Datenspeicher angeordnet sein. Das Speichermedium kann aber auch beispielsweise als sogenannter Appstore-Server im Internet betrieben sein. Durch den Computer oder Computerverbund kann eine Prozessorschaltung mit zumindest einem Mikroprozessor bereitgestellt sein. Der Programmcode können als Binärcode oder Assembler und/oder als Quellcode einer Programmiersprache (z.B. C) und/oder als Programmskript (z.B. Python) bereitgestellt sein.
Die Erfindung umfasst auch die Kombinationen der Merkmale der beschriebenen Ausführungsformen. Die Erfindung umfasst also auch Realisierungen, die jeweils eine Kombination der Merkmale mehrerer der beschriebenen Ausführungsformen aufweisen, sofern die Ausführungsformen nicht als sich gegenseitig ausschließend beschrieben wurden.
Im Folgenden sind Ausführungsbeispiele der Erfindung beschrieben. Hierzu zeigt:

1 eine schematische Darstellung einer Ausführungsform des erfindungsgemäßen Kraftfahrzeugs in einer Verkehrssituation mit Schattenwurf;
2 ein Flussschaudiagramm zur Veranschaulichung einer Ausführungsform des erfindungsgemäßen Verfahrens;
3 ein Flussschaudiagramm zur weiteren Veranschaulichung des Verfahrens von 2;
4 ein Diagramm zur Veranschaulichung einer Ausführungsform des Verfahrens, bei welcher eine gewichtete Summe verwendet wird.

Bei den im Folgenden erläuterten Ausführungsbeispielen handelt es sich um bevorzugte Ausführungsformen der Erfindung. Bei den Ausführungsbeispielen stellen die beschriebenen Komponenten der Ausführungsformen jeweils einzelne, unabhängig voneinander zu betrachtende Merkmale der Erfindung dar, welche die Erfindung jeweils auch unabhängig voneinander weiterbilden. Daher soll die Offenbarung auch andere als die dargestellten Kombinationen der Merkmale der Ausführungsformen umfassen. Des Weiteren sind die beschriebenen Ausführungsformen auch durch weitere der bereits beschriebenen Merkmale der Erfindung ergänzbar.
In den Figuren bezeichnen gleiche Bezugszeichen jeweils funktionsgleiche Elemente.
1 zeigt ein Kraftfahrzeug 10 aus einer perspektivischen Ansicht, wie sie beispielsweise von einem Passagier oder Fahrer aus einem Innenraum des Kraftfahrzeugs 10 ergeben könnte. Das Kraftfahrzeug 10 kann sich in einer Fahrsituation 11 befinden, in welcher das Kraftfahrzeug 10 auf einer Straße 12 entlang oder auf oder innerhalb einer Fahrspur 13 fährt. Dargestellt ist, wie in Fahrtrichtung 14 vor dem Kraftfahrzeug 10 ein weiterer Verkehrsteilnehmer 15, beispielsweise ein Lastkraftwagen, fahren kann. Die Fahrspur 13, die von dem Kraftfahrzeug 10 befahren wird, kann beispielsweise durch farbbasierte Fahrspurmarkierungen 16 und/oder Leitplanken als weitere Fahrspurmarkierung 17 zur Seite hin begrenzt sein. Dargestellt ist des Weiteren, dass durch seitlich einfallendes Sonnenlicht gemäß Sonnenstandsdaten zu einem aktuellen Sonnenstand 18 ein Schatten 19 auf der Straße 12, insbesondere im Bereich der Fahrspurmarkierung 16, geworfen sein oder entstehen kann.
Im Kraftfahrzeug 10 kann eine Fahrassistenzfunktion 20 bereitgestellt sein, die beispielsweise auf der Grundlage einer Prozessorschaltung 21 implementiert sein kann. Die Fahrassistenzfunktion 20 kann vorsehen, dass automatisiert oder zur Unterstützung eines Fahrers auf Grundlage der Fahrspurmarkierungen 16 eine Spurhalteassistenzfunktion 22 implementiert oder realisiert sein kann, welche vorsieht, dass durch Steuerbefehle 23 eine Aktuatorik 24 des Kraftfahrzeugs 10 zur Querführung (Lenken) angesteuert werden kann, um hierdurch automatisiert das Kraftfahrzeug 10 auf der Fahrspur 13 zwischen den Fahrspurmarkierungen 16, 17 zu halten. Eine entsprechende Fahrtrajektorie 25 kann geplant sein oder erzwungen werden, z.B. eine zum Fahrspurmittenverlaufs (Fahrspurmittenline) führende Fahrtrajektorie 25 und/oder eine Fahrtrajektorie 25, die einen Mindestabstand zu den Fahrspurmarkierungen 16, 17 beiderseits der Fahrspur hält. Die Fahrtrajektorie 25 kann durch die Fahrassistenzfunktion 20 geplant oder implementiert sein.
Damit die Fahrtrajektorie 25 geplant werden kann, kann ein Markierungsverlauf 26 der Fahrspurmarkierungen 16, 17 ermittelt werden. Dies kann implementiert sein, indem zumindest ein Umgebungssensor 27 mit seinem Erfassungsbereich 28 in die Umgebung vor dem Kraftfahrzeug 10 auf die Fahrsituation 11, insbesondere die Straße 12, gerichtet ist und Bilddaten 29 des Umgebungssensors 27, insbesondere einer Kamera, die den vorausliegenden Fahrspurbereich 30 abbilden oder darstellen, durch eine Merkmalsextraktion 31 daraufhin analysiert werden, wo sich Bildmerkmale der Fahrspurmarkierungen 16, 17 relativ zum Kraftfahrzeug 10 befinden. Hierzu kann ein an sich aus dem Stand der Technik bekannter Algorithmus für die Merkmalsextraktion genutzt werden. Darauf aufbauend kann anhand der Bildmerkmale 32 der Markierungsverlauf 26 der Fahrspurmarkierungen 16, 17 aus den Bildmerkmalen 32 in an sich bekannter Weise extrahiert werden.
Allerdings kann es zu einem Einfluss 33 des Schattens 19 kommen, wenn in den Bildmerkmalen 32 zwischen den Fahrspurmarkierungen 16 und dem Schatten 19 nicht korrekt unterschieden werden kann, also beispielsweise eine Kante oder Schattenkante 35 des Schattens 19 als Kante einer Fahrspurmarkierung 16 fehl interpretiert wird. Diese Verwechslung des Schattens 19 und/oder einer Schattenkante 35 mit einer Fahrspurmarkierung 16 stellt einen beispielhaften Einfluss 33 des Schattens 19 dar.
Daher kann vorgesehen sein, auf Grundlage der Markierungsverläufe 26 und einer Erkennungskorrektur 40 korrigierte oder in Bezug auf den Schattenwurf oder den Schatten 19 geprüfte oder korrigierte Markierungsdaten 41 zu erzeugen, die der Fahrassistenzfunktion 20 zum Planen der Fahrtrajektorie 25 bereitgestellt werden. Somit kann durch die Markierungsdaten 41 der Einfluss 33 des Schattenverlaufs oder des Schattens 19 reduziert oder kompensiert werden.
2 veranschaulicht, wie die aus den Bildmerkmalen 32 erkannten Markierungsverläufe 26 daraufhin überprüft werden, ob der Einfluss 33 des Schattens 19 vorliegt, also eine Verfälschung oder Fehlerkennung der tatsächlich vorhandenen Fahrspurmarkierungen 16, 17 vorliegt.
In einem Schritt S10 kann die Geoposition des Kraftfahrzeugs 10 ermittelt werden. Dies kann beispielsweise auf der Grundlage eines GNSS (Global Navigation Satellite System), beispielsweise des GPS (Global Positioning System) in an sich bekannter Weise ermittelt werden. Zusätzlich oder alternativ dazu kann die Geoposition auf der Grundlage von Schwarmdaten und/oder eines Abgleichs von Umgebungsmerkmalen, wie sie beispielsweise aus den Bilddaten 29 ermittelt wurden, mit zugehörigen, aus einer Navigationsdatenbank entnehmbaren Geopositionsdaten ermittelt werden. Zusätzlich kann die Uhrzeit ermittelt werden. Es kann die Fahrtrichtung 14 ermittelt werden, was beispielsweise mittels eines elektronischen Kompasses im Kraftfahrzeug 10 ermöglicht werden kann. Auf der Grundlage der so ermittelten Fahrzeugposition, die mit den beschriebenen Mitteln auch spurgenau vorgesehen sein kann, um die Fahrzeugposition 50 auch der Fahrspur 13 zuzuordnen, kann in einem Schritt S11 der Sonnenstand 18 ermittelt werden. Dies ist berechenbar über eine Formel und/oder ein Kennfeld, die jeweils im Kraftfahrzeug 10 hinterlegt sein können. Hierbei kann auf ein bekanntes Verfahren zurückgegriffen werden. Auf der Grundlage des ermittelten Sonnenstands 51 können in einem Schritt S12 die Höhe und der Azimut der Sonne S (siehe 1) ermittelt werden.
In einem Schritt S13 kann ermittelt werden, ob direktes Sonnenlicht vorhanden ist oder beispielsweise Abschattung vorliegt, weil beispielsweise Bewölkung vorliegt und/oder eine Fahrt durch einen Tunnel aktuell durchgeführt wird. Hierfür können ein Helligkeitssensor und/oder ein Spannungswert aus einem Solarpanel eines Solardachs und/oder durch Auswerten von Pixelwerten aus den Bilddaten 29 erfolgen. Aus der verfügbaren Umgebungshelligkeit 55 kann in einem Schritt S14 überprüft werden, ob direktes Sonnenlicht vorliegt und/oder eine Blendung des Umgebungssensors 27 oder ob allgemein die Umgebungshelligkeit 55 größer als ein Schwellenwert G ist. Ist dies der Fall (symbolisiert durch ein Plus-Symbol „+“), so ist davon auszugehen, dass ein Schatten 19 mit entsprechend klaren oder einflussreichen Schattenkanten 35 vorliegt, das heißt es kann der Einfluss 33 signalisiert werden.
In einem Schritt S15 können Objektdaten 56 bereitgestellt werden, wie sie beispielsweise in der Fahrerassistenzfunktion 20 aus einer Umfeldüberwachung ermittelt werden können, wie dies an sich bekannt ist. Dies kann beispielsweise auch mittels einer dynamischen Umgebungskarte erfolgen.
In einem Schritt S16 kann aus der Fahrzeugposition 50 und dem Sonnenstand 18, wie er aus dem Schritt S12 ermittelt werden kann, dem Helligkeitsgrad gemäß der Umgebungshelligkeit 55 und den Objektdaten 56 ein Wahrscheinlichkeitsgrad 58 ermittelt werden, der angibt, welche der Fahrspurmarkierungen 16, 17 durch einen Schatten 19 derart beeinträchtigt oder überlagert sein kann, dass sich der Einfluss 33 bei den erkannten Markierungsverläufen 26 ergeben kann.
In einem Schritt S17 können für die erwartete Fahrspurseite links und/oder rechts auf der Fahrspur 13, das heißt der Ego-Spur, beim Erzeugen der Markierungsdaten 41 entsprechende Maßnahmen ergriffen werden, wie sie noch beschrieben werden.
3 veranschaulicht die Schritte S16 und S17 dazu noch einmal detaillierter. In 2 ist noch gezeigt, wie mittels eines Kennfelds 60 die beschriebenen Eingangsdaten für den Schritt S16 miteinander kombiniert werden können, um eine Aussage über den Einfluss 33 zu erzeugen.
3 zeigt, wie mittels des Kennfelds 60 und/oder einer anderen Berechnungsvorschrift oder einem anderen Algorithmus (z.B. einer analytischen Funktion) signalisiert werden kann, welche Fahrspurseite 61 den Einfluss 33 eines Schattens 19 aufweisen kann. Des Weiteren ist dargestellt, wie mittels Sensordaten 62, beispielsweise unter anderem oder mittels der Bilddaten 29 und/oder Radardaten und/oder Ultraschalldaten von einem Radarsensor beziehungsweise Ultraschallsensor des Kraftfahrzeugs 10 bereitgestellt werden können.
Zusätzlich können in einem Schritt S18 historische Fahrspurverläufe 63 signalisiert werden, wie sie aus beispielsweise Schwarmdaten, also Positionsdaten von Fahrzeugen, die an der entsprechenden Geoposition auf der Fahrspur 13 gefahren sind, bereitgestellt werden.
In einem Schritt S16.1 kann eine Erkennung erfolgen, ob die erkannte Fahrspurmarkierung gemäß dem Markierungsverlauf 26 um mehr als einen Schwellenwert 64 von dem historischen Fahrspurverlauf 63 abweicht und hierbei signalisiert ist, dass für den Markierungsverlauf auch die Sondersituation „Schatten“ aktiv ist, das heißt ein Einfluss 33 des Schattens 19 für den Markierungsverlauf 26 signalisiert ist, also in 1 beispielhaft die linke Fahrspurseite im Bereich des Schattens 19.
Ist kein Einfluss 33 eines Schattens 19 erwartet, und/oder gibt es keine Abweichung größer als der Schwellenwert 64, so ist der Markierungsverlauf 26 auf dieser Fahrspurseite plausibel und in einem Schritt S16.2 kann der jeweilige Markierungsverlauf 26 als valide signalisiert werden, sodass in einem Schritt S17.1 der erkannte Markierungsverlauf 26 als Bestandteil der Markierungsdaten 41 an die Fahrassistenzfunktion 20 signalisiert werden kann.
Wird dagegen erkannt, dass die Sondersituation „Schatten“ aktiv ist, also im Schritt S16.1 erkannt ist, dass auf der Fahrspurseite die Fahrspurmarkierung 16 durch einen Schatten 19 beeinträchtigt sein kann und dabei eine Abweichung von dem historischen Fahrspurverlauf 63 größer als der Schwellenwert 64 ist, so wird in einem Schritt S16.3 der Markierungsverlauf 26 als unplausibel erkannt und geprüft, ob der Markierungsverlauf 26 für die gegenüberliegende Fahrspurseite oder die andere Fahrspurseite (also für einen unplausibel erkannten rechten Markierungsverlauf die linke Fahrspurseite und für einen linken Markierungsverlauf die rechte Fahrspurseite) ebenfalls in dem Schritt S16.1 als unplausibel erkannt wurde (Abweichung von dem historischen Fahrspurverlauf um mehr als den Schwellenwert 64 und Detektion einer Beeinträchtigung durch einen Schatten 19), so ist in diesem vorausliegenden Fahrspurbereich 30 keiner der Markierungsverläufe 26 aus den Bildmerkmalen 32 verfügbar oder verwendbar und in einem Schritt S16.5 kann auf den historischen Fahrspurverlauf 63 für beide Fahrbahnseiten zurückgegriffen werden. Hierbei wird geprüft, ob die historischen Fahrspurverläufe 63 für beide Fahrspurseiten verfügbar sind. Ist dies der Fall, so kann in einem Schritt S16.6 (signalisiert durch ein Plus-Symbol „+“) der historische Fahrspurverlauf 63 als virtuelle Fahrbahnmarkierung verwendet werden und in den Markierungsdaten 41 werden aus den Schwarmdaten erzeugte Markierungen eingetragen. Ist dagegen aus dem historischen Fahrspurverlauf 63 für eine oder beide Fahrspurseiten kein Verlauf verfügbar, so würde dies im Schritt S16.1, S16.3 und S16.5 dazu führen, dass in einem Schritt S16.7 fehlende Fahrspurmarkierungen signalisiert werden und somit in einem Schritt S17.4 keine Markierungsdaten 41 mit gültigen Markierungsverläufen signalisiert werden. Damit kann die Fahrassistenzfunktion 20 passiv werden, also beispielsweise eine Übergabe der Fahraufgabe an den Fahrer erfolgen oder keine Fahrspurhaltefunktion (lane assist) und/oder Planung der Fahrtrajektorie 25 vorgenommen werden oder angeboten werden.
Wird im Schritt S16.6 erkannt, dass einer der Markierungsverläufe 26 plausibel ist (also keine Abweichung um mehr als den Schwellenwert 64 im Schritt S16.1 und/oder kein Einfluss eines Schattens für diese Fahrbahnseite erkannt), so kann in einem Schritt S16.4 dieser Markierungsverlauf 26 verwendet werden, um den Markierungsverlauf auf der gegenüberliegenden Fahrbahnseite (also für die rechte Fahrbahnseite die linke Fahrbahnseite und für die linke Fahrbahnseite die rechte Fahrbahnseite) übernommen werden, um durch ein Spiegeln des Markierungsverlaufs auch die gegenüberliegende, von einem Schatten 19 beeinflusste Fahrbahnseite mit einem Markierungsverlauf 26 auszustatten. Somit kann die gespiegelte Markierung in einem Schritt S17.2 als Bestandteil der Markierungsdaten 41 signalisiert werden.
4 zeigt noch einmal zum Schritt S16 in 2, wie mittels des Kennfelds 60 aus den beschriebenen Eingabeparametern, also insbesondere der Fahrzeugposition 50 und/oder der Höhe und dem Azimut, also den Sonnenstandsdaten zum Sonnenstand 18, den Objektdaten 56 (Autos, bauliche Strukturen inklusive Breite und/oder Höhe und/oder Position) und dem Helligkeitsgrad 33 (Helligkeit/Blendung, Hinweis auf direkte Sonneneinstrahlung). Beispielhaft kann, wie in 4 gezeigt, ein n-dimensionales Kennfeld verwendet werden, das die jeweils aktuellen Werte der Eingabeparameter 70 für jede Fahrspurseite (linke und rechte Fahrspurseite der Fahrspur 13, das heißt der Ego-Spur) einen Wahrscheinlichkeitsgrad 58 angibt, dass ein Einfluss 33 eines Schattens 19 auf die bildbasierte Erkennung des Markierungsverlaufs 26 anhand der Bildmerkmale 32 vorliegt. Der Wahrscheinlichkeitsgrad kann beispielsweise angeben, dass bei dem Markierungsverlauf 26 für die linke Fahrspurseite 71 ein Prozentwert vorliegt und für die rechte Fahrspurseite 72 ein Prozentwert, die dann mit dem Schwellenwert 64 jeweils verglichen werden können. Der Schwellenwert 73 kann in einem Bereich von 50 bis 80 Prozent liegen.
Anhand des Vergleichs mit dem Schwellenwert 73 kann in dem Schritt S16.1 entschieden werden, ob die Sondersituation „Schatten“ vorliegt, also eine Abweichung des Markierungsverlaufs 26, wie er anhand der Bildmerkmale 32 erkannt wurde, von dem historischen Fahrspurverlauf 63 größer als der Schwellenwert 64 auf Grundlage eines Einflusses 33 eines Schattens 19 verursacht sein kann. Dies ist der Fall, wenn für die jeweilige Fahrspurseite 71, 72 der Wahrscheinlichkeitsgrad 58 größer als der Schwellenwert 73 ist. Ist der Wahrscheinlichkeitsgrad kleiner als der Schwellenwert 73, so kann eine Abweichung um mehr als den Schwellenwert 73 auf Grundlage eines anderen Grundes vorliegen, beispielsweise kann beispielsweise auf Grundlage einer temporären Änderung des Verlaufs der Fahrspur 13, beispielsweise durch eine Baustelle, verursacht sein, sodass in diesem Fall der Markierungsverlauf 26 plausibel sein kann und im Schritt S16.2 somit der Schritt S17.1 ausgeführt werden kann.
Insgesamt zeigen die Beispiele, wie ein Verfahren zur verbesserten Querführung eines Fahrerassistenzsystems bei auftretenden Schlagschatten bereitgestellt werden kann.

Claims

Computerimplementiertes Verfahren zum Ermitteln eines Markierungsverlaufs (26) einer Fahrspurmarkierung (16, 17) einer Fahrspur (13), die aktuell von einem Fahrzeug befahren wird, umfassend die Schritte: • Bereitstellen von Bilddaten (29) eines dem Fahrzeug vorausliegenden Fahrspurbereichs (30) der Fahrspur (13); • Extrahieren von Bildmerkmalen (32) aus den Bilddaten (29); • Ermitteln von bildbasiert erkannten Markierungsverläufen (26) der Fahrspurmarkierung (16, 17) aus den Bildmerkmalen (32); wobei das Verfahren die Schritte umfasst: • Ermitteln einer Schattenverlaufsangabe eines Schattens (19) und/oder einer Schattenkante (35) des Schattens (19) auf der Fahrspur (13), wobei die Schattenverlaufsangabe umfasst: eine Positionsangabe zu möglichen Schatten (19) und/oder zu möglichen Schattenkanten (35) und/oder eine Angabe auf welcher Fahrspurseite (61) der Fahrspur (13) Schatten (19) möglich ist; • Vergleichen der Schattenverlaufsangabe mit den bildbasierten Markierungsverläufen (26) der Fahrspurmarkierung (16, 17) und daraus Ermitteln eines Wahrscheinlichkeitsgrades (58), dass die bildbasiert erkannten Markierungsverläufe (26) auf einer rechten und einer linken Fahrspurseite (61) der Fahrspur (13) jeweils einen Einfluss (33) des Schattenverlaufs aufweist; • Erzeugen von Markierungsdaten (41), in welchen der Einfluss (33) des Schattenverlaufs auf die bildbasiert erkannten Markierungsverläufe (26) abhängig vom Wahrscheinlichkeitsgrad (58) kompensiert ist, falls der Wahrscheinlichkeitsgrad (58) größer als ein vorgegebener Schwellenwert (73) ist, und in denen andernfalls die bildbasiert erkannten Markierungsverläufe (26) signalisiert werden; • Bereitstellen der Markierungsdaten (41) an eine Fahrassistenzfunktion (20, 22) zur Querführung und/oder zum Durchführen von Querführungseingriffen des Fahrzeugs, gekennzeichnet dadurch, dass das Ermitteln der Markierungsdaten umfasst: • Ermitteln eines von den Bilddaten unabhängig kartographierten historischen Fahrspurverlaufs der Fahrspur; • Konstruieren von erwarteten Markierungsverläufen aus dem historischen Fahrspurverlauf; • Ermitteln eines Unterschieds der bildbasiert erkannten Markierungsverläufe zu den erwarteten Markierungsverläufen für diejenigen jeweilige Fahrspurseite, für welche der Wahrscheinlichkeitsgrad größer als der Schwellenwert ist; und • falls der ermittelte Unterschied kleiner als ein vorgegebener Toleranzwert ist, Verwenden der bildbasiert erkannten Markierungsverläufe in den Markierungsdaten.
Verfahren nach Anspruch 1, wobei das Ermitteln des Schattenverlaufs umfasst: • Ermitteln eines Sonnenstands relativ zum Fahrzeug und/oder zur Fahrspur; • Ermitteln eines aktuellen Diffusitätsgrads und/oder Helligkeitsgrads von auf die Fahrspur einfallendem Sonnenlicht; • Ermitteln des jeweiligen Wahrscheinlichkeitsgrades für die rechte Fahrspurseite und für die linke Fahrspurseite der Fahrspur aus dem Sonnenstand und dem Diffusitätsgrad und • Signalisieren des jeweiligen Wahrscheinlichkeitsgrades getrennt für die rechte und die linke Fahrspurseite in der Schattenverlaufsangabe.
Verfahren nach Anspruch 2, wobei der Diffusitätsgrad und/oder Helligkeitsgrad aus dem Grad einer Blendung und/oder eines Kontrastes in den Bilddaten und/oder mittels eines photosensitiven Sensors und/oder mittels zumindest einer Photovoltaik-Zelle und/oder aus Wetterdaten eines Wetterdienstes ermittelt wird.
Verfahren nach Anspruch 2 oder 3, wobei das Ermitteln des Wahrscheinlichkeitsgrades umfasst: • Ermitteln von Objektdaten, welche eine Position und ein Höhe von Objekten auf und/oder neben dem Fahrspurbereich beschreiben; • Konstruieren einer Position eines jeweiligen Schattens der Objekte aus den Objektdaten und dem Sonnenstand; • Ermitteln des jeweiligen Wahrscheinlichkeitsgrades der jeweiligen Fahrspurseite aus der Position des jeweiligen Schattens und einer von dem Diffusitätsgrad abhängigen Ausprägung des Schattens.
Verfahren nach einem der Ansprüche 2 bis 4, wobei beim Ermitteln des Wahrscheinlichkeitsgrads (58) dieser umso größer ist, je größer eine ermittelte Anzahl an Kreuzungen oder Überschneidungen des Schattenverlaufs und dem erwarteten Markierungsverlauf (26) und/oder je kleiner ein Flächenintegral einer Fläche zwischen dem erwarteten Markierungsverlauf (26) und einer Kante des Schattenverlaufs ist.
Verfahren nach Anspruch 1 oder 5, wobei für eine rechte und für eine linke Fahrspurseite (61) der Fahrspur (13) in dem Fall, dass der dort ermittelte Unterschied des bildbasiert ermittelten Markierungsverlaufs (26) dieser Fahrspurseite (61) zu dem erwarteten Markierungsverlauf (26) dieser Fahrspurseite (61) größer als der Toleranzwert ist, ermittelt wird, ob für die andere Fahrspurseite (61) der Unterschied kleiner als der Toleranzwert ist und/oder ob der Wahrscheinlichkeitsgrad (58) kleiner als der Schwellenwert (73) ist, und in diesem Fall Spiegeln des bildbasiert erkannten Markierungsverlaufs (26) der anderen Fahrspurseite (61) und Verwenden des gespiegelten Markierungsverlaufs (26) in den Markierungsdaten (41).
Verfahren nach Anspruch 6, wobei für den Fall, dass der Unterschied auf beiden Fahrspurseiten (61) größer als der Toleranzwert ist, Verwenden der erwarteten Markierungsverläufe (26) beider Fahrspurseiten (61) in den Markierungsdaten (41).
Verfahren nach einem der Ansprüche 6 oder 7, wobei für diejenigen jeweilige Fahrspurseite (61), deren Wahrscheinlichkeitsgrad (58) größer als der Schwellenwert (73) ist, in den Markierungsdaten (41) Markierungsverläufe (26) signalisiert werden, die als eine gewichtete Summe aus dem erwarteten Markierungsverlauf (26) und dem bildbasiert erkannten Markierungsverlauf (26) berechnet sind, wobei ein Gewichtungsfaktor für den bildbasiert erkannten Markierungsverlauf (26) umso kleiner ist, je größer der Wahrscheinlichkeitsgrad (58) ist.
Prozessorschaltung (21) aufweisend Programminstruktionen, welche bei Ausführen durch die Prozessorschaltung (21) diese Veranlassen, ein Verfahren nach einem der vorhergehenden Ansprüche durchzuführen.
System aufweisend ein Fahrzeug mit einer Fahrassistenzfunktion (20) zur Querführung und/oder zum Durchführen von Querführungseingriffen des Fahrzeugs und aufweisend eine Prozessorschaltung (21) nach Anspruch 9.