-
Die Erfindung betrifft ein Verfahren zur Detektion von Fahrbahnmarkierungen in einem Bild, wobei eine Umgebung eines Fahrzeugs in zumindest einem Bild erfasst wird, wobei Fahrbahnmarkierungen in dem Bild detektiert werden und aus den Fahrbahnmarkierungen ein Fahrspurverlauf ermittelt wird, wobei bei der Detektion der Fahrbahnmarkierungen im Bild vorhandene Schattenbereiche berücksichtigt werden.
-
Die Erfindung betrifft weiterhin eine Vorrichtung zur Detektion von Fahrbahnmarkierungen in einem Bild, umfassend zumindest eine Bilderfassungseinheit zur Erfassung einer Umgebung eines Fahrzeugs in zumindest einem Bild, umfassend eine Auswerteeinheit zur Detektion der Fahrbahnmarkierungen in dem Bild, zur Ermittlung eines Fahrspurverlaufs aus den Fahrbahnmarkierungen und zur Berücksichtigung von im Bild vorhandenen Schattenbereichen bei der Detektion der Fahrbahnmarkierungen.
-
Aus der
US 2010/0041714 A1 sind ein Verfahren und eine Vorrichtung zur Detektion von Fahrbahnmarkierungen auf einer Fahrbahn, auf welcher sich ein Fahrzeug bewegt, bekannt. Mittels einer am Fahrzeug angeordneten Bilderfassungseinheit werden Bilder der Umgebung des Fahrzeugs erfasst. Die erfassten Bilder werden bezüglich einer Helligkeit normalisiert, bevor die Fahrbahnmarkierungen innerhalb der Bilder in Hauptrichtungen detektiert werden. In jeder Hauptrichtung werden in den Bildern anschließend mittels Filtern anhand einer Kantendetektion und Liniendetektion mögliche Kandidaten für Fahrbahnmarkierungen erkannt und mittels eines Transformationsverfahrens werden aus den Kandidaten die Fahrbahnmarkierungen identifiziert. Fahrbahnmarkierungen in scharfen Kurven werden von verschiedenen Schatten von Gebäuden und Bäumen als ablenkende Faktoren unterschieden.
-
Weiterhin ist aus der
US 2006/0274917 A1 ein Verfahren zur Reduzierung des optischen Einflusses von Schatten in der Verarbeitung von Bildern in einer videobasierten Verkehrserfassungsvorrichtung bekannt. In dem Verfahren wird zunächst ein Bildbereich mit einer relativ konstanten Helligkeit ermittelt. Anschließend wird dieser Bereich einem Schattenbereich zugeordnet und der optische Einfluss des Bildbereichs wird aus dem Bild entfernt. Eine Abgrenzung des Schattenbereichs von einer Umgebung erfolgt insbesondere durch Detektion von Kanten zwischen dem Schattenbereich und der Umgebung.
-
Ferner beschreibt die
US 6,819,779 B1 ein Verfahren zur Detektion von Fahrbahnmarkierungen in einem elektronisch gespeicherten Bild. Das Bild wird mittels einer Bilderfassungseinheit erfasst, zeigt zumindest eine Fahrbahnmarkierung und deren Umgebung und wird als Array aus Bildpunkten gespeichert. Anhand einer Kantendetektion wird eine Liste charakteristischer Kanten erzeugt, welche das Bild formen. Aus der Liste werden gemäß vorgegebener Kriterien Paare von zu Fahrbahnmarkierungen gehörigen Kanten gefiltert. Diese Paare von Kanten werden in Listen sortiert, welche zu einzelnen Fahrbahnmarkierungen gehören. Diese einzelnen Fahrbahnmarkierungen, welche jeweils eine linke und eine rechte Grenze einer Fahrspur definieren, werden geometrisch identifiziert. Dreidimensionale Kurven werden entlang der rechten und linken Fahrspurmarkierungen gelegt, um einen Fahrspurverlauf zu formen. Zusätzlich werden zur Detektion der Fahrspurmarkierungen Schatten aus den Bildern entfernt.
-
Die
DE 103 38 764 B4 offenbart ein Verfahren zur Aktivierung eines Nachtsichtsystems in einem Fahrzeug. In einem ersten Schritt wird eine aktuelle Position des Fahrzeugs ermittelt, bevor in einem zweiten Schritt eine Position der Sonne relativ zum Fahrzeug unter Verwendung der ermittelten Positionsdaten des Fahrzeugs ermittelt wird. In einem dritten Schritt wird eine Notwendigkeit ermittelt, einen Fahrer des Fahrzeugs durch ein Verfahren zur Verbesserung der Sicht in dem Fahrzeug zu unterstützen, wobei die Notwendigkeit zur Unterstützung unter Verwendung der ermittelten Position der Sonne relativ zum Fahrzeug ermittelt wird. Die Notwendigkeit zur Verbesserung der Sicht wird daraus abgeleitet, ob sich die Sonne in Relation zum Fahrzeug über oder unter dem Horizont befindet.
-
Zusätzlich ist aus der
DE 103 38 766 B4 ein Fahrzeugdatenbussystem mit einem Datenbus bekannt, wobei über den Datenbus mehrere angeschlossene Busteilnehmer in Datenübertragungsverbindung stehen. Weiterhin ist eine als Busteilnehmer ausgebildete Ortungseinheit vorgesehen, die zur Ermittlung wenigstens von Fahrzeugpositionsdaten und zum Ausgeben der ermittelten Fahrzeugpositionsdaten auf den Datenbus eingerichtet ist, wobei die Ortungseinheit eine Ortungssensorik aufweist, die wenigstens einen GPS-Empfänger umfasst. Die Ortungseinheit ist zusätzlich zur Ermittlung von Sonnenstandsdaten unter Verwendung der ermittelten Fahrzeugpositionsdaten und zum Ausgeben der ermittelten Sonnenstandsdaten auf den Datenbus eingerichtet, um aus der Richtung der Sonneneinstrahlung in das Fahrzeug abzuleiten, welche Art von Sichtbehinderung für den Fahrer durch die Sonne möglich ist. Zusätzlich ist als weiterer Busteilnehmer eine Einrichtung, welche Sonnenstandsdaten vom Datenbus empfängt, zum Ermitteln der Notwendigkeit vorgesehen, einen Fahrer des Fahrzeugs durch Aktivierung einer Anordnung zur Verbesserung der Sicht in einem Fahrzeug zu unterstützen. Die Anordnung zur Verbesserung der Sicht in einem Fahrzeug umfasst eine Kamera zum Beobachten eines Raumwinkelbereichs und eine Anzeigevorrichtung im Innenraum des Fahrzeugs zum Anzeigen der Bilder der Kamera.
-
Der Erfindung liegt die Aufgabe zugrunde, ein gegenüber dem Stand der Technik verbessertes Verfahren zur Detektion von Fahrbahnmarkierungen in einem Bild anzugeben. Weiterhin liegt der Erfindung die Aufgabe zugrunde, eine verbesserte Vorrichtung zur Detektion von Fahrbahnmarkierungen in einem Bild anzugeben.
-
Hinsichtlich des Verfahrens wird die Aufgabe erfindungsgemäß durch die im Anspruch 1 angegebenen Merkmale und hinsichtlich der Vorrichtung durch die im Anspruch 8 angegebenen Merkmale gelöst.
-
Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
-
In einem Verfahren zur Detektion von Fahrbahnmarkierungen in einem Bild wird eine Umgebung eines Fahrzeugs in zumindest einem Bild erfasst, wobei Fahrbahnmarkierungen in dem Bild detektiert werden und aus den Fahrbahnmarkierungen ein Fahrspurverlauf ermittelt wird, wobei bei der Detektion der Fahrbahnmarkierungen im Bild vorhandene Schattenbereiche berücksichtigt werden.
-
Erfindungsgemäß werden eine Lichteinfallsrichtung und anhand der Lichteinfallsrichtung eine Wahrscheinlichkeit ermittelt, ob im Bild ein einer Fahrbahnmarkierung ähnlicher Schattenbereich und/oder eine einer Fahrbahnmarkierung ähnliche Schattenlücke aus einem aufgrund eines Lichtscheins einer Lichtquelle mit der ermittelten Lichteinfallsrichtung erzeugten Schattenwurf eines oder mehrerer Objekte in der Umgebung des Fahrzeugs resultieren, wobei eine Plausibilisierung von als potenzielle Fahrbahnmarkierungen in dem Bild erkannten Strukturen durchgeführt wird und in Abhängigkeit der Größe der Wahrscheinlichkeit als Schattenbereich und/oder Schattenlücke identifizierte potenzielle Fahrbahnmarkierungen bei der Ermittlung des Fahrspurverlaufs verworfen werden.
-
Hieraus ergibt sich als Vorteil, dass die Erkennung und Detektion von Fahrbahnmarkierungen im Bild, d. h. in der Umgebung des Fahrzeugs, verbessert ist und zuverlässig aus Schattenbereichen und/oder Schattenlücken resultierende potenzielle Fahrbahnmarkierungen von realen Fahrbahnmarkierungen unterschieden werden. Daraus resultiert in besonders vorteilhafter Weise, dass Fehlwarnungen und/oder Fehleingriffe bei einer Nutzung des Verfahrens zur Unterstützung eines Fahrers bei der Spurführung seines Fahrzeugs vermieden werden.
-
Die Lichteinfallsrichtung wird dabei insbesondere relativ zum Fahrzeug und/oder relativ zu einer Himmelsrichtung, beispielsweise der Himmelrichtung ”Nord”, ermittelt. Der Richtungssinn der Lichteinfallsrichtung setzt sich aus einem horizontalen Winkel, d. h. dem so genannten Azimut, und einem vertikalen Winkel, d. h. der so genannten Elevation, zusammen.
-
In einer bevorzugten Weiterbildung des erfindungsgemäßen Verfahrens wird bei der Ermittlung der Lichteinfallsrichtung ein Sonnenstand anhand einer Position des Fahrzeugs, einer Ausrichtung des Fahrzeugs relativ zu einer Himmelsrichtung, einem Kalenderdatum und/oder einer aktuellen Uhrzeit ermittelt. Diese Ermittlung zeichnet sich zum einen dadurch aus, dass sie besonders einfach und ohne großen zusätzlichen Aufwand durchführbar ist. Zum anderen ist der Sonnenstand sehr exakt ermittelbar.
-
Weiterhin wird gemäß einer Ausgestaltung des erfindungsgemäßen Verfahrens überprüft, ob sich in dem Schattenbereich und/oder der Schattenlücke ein oder mehrere Fahrbahnmarkierungen befinden. In Schattenbereichen sind Fahrbahnmarkierungen aufgrund der verringerten Helligkeit und der daraus resultierenden Verringerung eines Kontrasts zwischen den Fahrbahnmarkierungen und einer Fahrbahnoberfläche schwieriger zu detektieren. Hierzu sind aufwändige Verfahren erforderlich. Aufgrund der Erfassung des Schattenbereichs und/oder der Schattenlücken ist es möglich, diese aufwändigen Verfahren lediglich in begrenzten Bereichen des Bilds, das heißt den Schattenbereichen, durchzuführen und somit den Aufwand bei der Ermittlung der Fahrbahnmarkierungen bei steigender Zuverlässigkeit zu verringern.
-
Um zu ermitteln, ob die Lichtquelle, insbesondere die Sonne von Wolken oder in der Umgebung des Fahrzeugs befindlichen Objekten verdeckt ist, wird vorzugsweise eine Stärke eines Lichtscheins ermittelt, welcher bei der Plausibilisierung der potenziellen Fahrbahnmarkierungen berücksichtigt wird. Somit ist die Detektion der Fahrbahnmarkierungen weiter verbessert. Insbesondere wird auch berücksichtigt, dass bei geringer Stärke des Lichtscheins der Lichtquelle weniger Schattenbereiche und/oder Schattenlücken ausgebildet sind bzw. weniger stark ausgeprägt ausgebildet sind, so dass deren Kontrast zu ungehindert beleuchteten Bereichen bzw. zum jeweiligen Schattenbereich verringert ist.
-
Um weiterhin schnell und sicher zu ermitteln, ob die ermittelten potenziellen Fahrbahnmarkierungen aus einem Schattenwurf und/oder einer Schattenlücke eines oder mehrerer Objekte resultieren, wird bei der Ermittlung der potenziellen Fahrbahnmarkierungen und/oder Plausibilisierung bevorzugt eine Größe und/oder Form der Objekte und/oder ein Abstand der zumindest einen Bilderfassungseinheit zu den Objekten berücksichtigt.
-
Gemäß einer zweckmäßigen Ausgestaltung des erfindungsgemäßen Verfahrens wird bei der Ermittlung der potenziellen Fahrbahnmarkierungen und/oder Plausibilisierung eine Straßenkategorie einer Straße, auf welcher sich das Fahrzeug bewegt, berücksichtigt. Somit ist es möglich, dass eine Wahrscheinlichkeit eines Vorhandenseins bestimmter Objekte, wie beispielsweise Leitplanken und/oder Leitpfosten, die bestimmte Schattenbereiche und/oder Schattenlücke erzeugen, in die Ermittlung und/oder Plausibilisierung einbezogen wird. Beispielsweise ist die Wahrscheinlichkeit für Leitplanken auf Autobahnen höher als auf Gemeindestraßen. Somit ist auch die Wahrscheinlichkeit auf Autobahnen höher als auf Gemeindestraßen, dass aufgrund eines Schattenwurfs der Leitplanke Schattenbereiche und/oder Schattenlücken als potenzielle Fahrbahnmarkierungen ermittelt werden.
-
Alternativ oder zusätzlich wird berücksichtigt, ob sich das Fahrzeug auf, unterhalb, oberhalb und/oder innerhalb eines oder mehrerer Bauwerke zum Führen von Verkehrswegen befindet. Diese Ausgestaltung führt wiederum zu dem Vorteil, dass eine Wahrscheinlichkeit eines Vorhandenseins bestimmter Objekte, wie beispielsweise Leitplanken und/oder Leitpfosten, in die Ermittlung und/oder Plausibilisierung einbezogen werden kann. Dabei ist eine Wahrscheinlichkeit für das Vorhandensein von Leitplanken auf Brücken besonders hoch. Dagegen ist es bei einem Durchfahren von Tunneln unwahrscheinlich oder nicht möglich, dass aufgrund von Sonnenlicht erzeugte Schattenbereiche und/oder Schattenlücken als potenzielle Fahrbahnmarkierungen erkannt werden.
-
In einer Weiterbildung des Verfahrens wird anhand eines Geländemodells einer digitalen Karte einer Navigationsvorrichtung und der ermittelten Lichteinfallsrichtung und/oder eines Städtemodells einer digitalen Karte einer Navigationsvorrichtung und der ermittelten Lichteinfallsrichtung ermittelt, ob sich in einer Sichtlinie zwischen einer Fahrzeugposition und der Lichtquelle Geländestrukturen, Pflanzen und/oder Bauwerke befinden, wobei die ermittelten Geländestrukturen, Pflanzen und/oder Bauwerke bei der Ermittlung der potenziellen Fahrbahnmarkierungen und/oder der Plausibilisierung berücksichtigt werden. Dadurch wird ermöglicht, dass in einfacher und schneller Weise ermittelt werden kann, ob Geländestrukturen, Pflanzen und/oder Bauwerke in der Umgebung des Fahrzeugs vorhanden sind, welche in Abhängigkeit der Lichteinfallsrichtung als Fahrbahnmarkierungen interpretierbare Schattenbereiche und/oder Schattenlücken erzeugen oder einen Bereich, in welchem sich das Fahrzeug befindet, vollständig beschatten, so dass die Wahrscheinlichkeit von derart fehlinterpretierbaren Schattenbereichen und/oder Schattenlücken sehr gering ist.
-
Die Vorrichtung zur Detektion von Fahrbahnmarkierungen in einem Bild umfasst zumindest eine Bilderfassungseinheit zur Erfassung einer Umgebung eines Fahrzeugs in zumindest einem Bild und eine Auswerteeinheit zur Detektion der Fahrbahnmarkierungen in dem Bild, zur Ermittlung eines Fahrspurverlaufs aus den Fahrbahnmarkierungen und zur Berücksichtigung von im Bild vorhandenen Schattenbereichen bei der Detektion der Fahrbahnmarkierungen.
-
Erfindungsgemäß ist die Auswerteeinheit mit einer Ermittlungseinheit zur Ermittlung einer Lichteinfallsrichtung gekoppelt, wobei mittels der Auswerteeinheit anhand der Lichteinfallsrichtung eine Wahrscheinlichkeit ermittelbar ist, ob im Bild ein einer Fahrbahnmarkierung ähnlicher Schattenbereich und/oder eine einer Fahrbahnmarkierung ähnliche Schattenlücke aus einem aufgrund eines Lichtscheins einer Lichtquelle mit der ermittelten Lichteinfallsrichtung erzeugten Schattenwurf eines oder mehrerer Objekte in der Umgebung des Fahrzeugs resultieren, wobei mittels der Auswerteeinheit eine Plausibilisierung von als potenzielle Fahrbahnmarkierungen in dem Bild erkannten Strukturen und in Abhängigkeit der Größe der Wahrscheinlichkeit eine Verwerfung der als Schattenbereich und/oder Schattenlücke identifizierten potenziellen Fahrbahnmarkierungen bei der Ermittlung des Fahrspurverlaufs durchführbar sind.
-
Die Vorrichtung zeichnet sich dabei durch einen einfachen Aufbau aus und es ist in besonders vorteilhafter Weise nur ein geringer Aufwand zur Realisierung der Funktion der Vorrichtung erforderlich. Weiterhin kann insbesondere ein Fahrerassistenzsystem zur Unterstützung eines Fahrers eines Fahrzeugs bei der Spurführung des Fahrzeugs in seiner Funktion verbessert werden und Fehlwarnungen und/oder Fehleingriffe werden vermieden oder zumindest reduziert.
-
Die Ermittlungseinheit umfasst vorzugsweise zumindest einen Lichtsensor zur Erfassung einer Stärke eines Lichtscheins oder ist mit diesem gekoppelt. Mittels des Lichtsensors, welcher beispielsweise als Fotowiderstand, Fotodiode, Fototransistor, pyroelektrischer Sensor, Fotozelle und/oder Solarzelle ausgebildet ist, ist die Stärke des Lichtscheins der Lichtquelle sehr genau und gleichzeitig einfach sowie mit geringem Aufwand ermittelbar. Somit ist ermittelbar, ob beispielsweise die Sonne als Lichtquelle von Wolken oder Objekten verdeckt ist oder der Lichtschein der ungehindert ist.
-
In einer besonders bevorzugten Ausgestaltung der erfindungsgemäßen Vorrichtung ist die Auswerteeinheit mit einer Ortungseinheit, einer Navigationsvorrichtung und/oder einer Empfangseinheit zum Empfang von Positionsdaten des Fahrzeugs, eines Kalenderdatums, einer Uhrzeit und/oder einer Ausrichtung des Fahrzeugs zu einer Himmelsrichtung gekoppelt. Aufgrund dieser Ausbildung der Vorrichtung ist ein Sonnenstand sehr einfach und sehr genau ermittelbar. Insbesondere sind bei der Verwendung der Vorrichtung in modernen Fahrzeugen mit Navigationsvorrichtung keine zusätzlichen Anordnungen zur Ermittlung dieser Daten erforderlich. Alternativ oder zusätzlich zeichnet sich auch der zusätzliche Einbau der Ortungseinheit und/oder der Empfangseinheit zum Empfang von Positionsdaten des Fahrzeugs durch einen geringen Material- und Montageaufwand aus.
-
Ausführungsbeispiele des Verfahrens werden im Folgenden anhand von Zeichnungen näher erläutert:
-
Dabei zeigen:
-
1 schematisch ein Fahrzeug mit einer erfindungsgemäßen Vorrichtung zur Detektion von Fahrbahnmarkierungen in einem Bild, und
-
2 schematisch ein Bild einer Umgebung des Fahrzeugs gemäß 1.
-
Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.
-
In 1 ist ein Fahrzeug 1 mit einer erfindungsgemäßen Vorrichtung 2 zur Detektion von Fahrbahnmarkierungen FM1, FM2 in einem in 2 gezeigten Bild B dargestellt. Bei den Fahrbahnmarkierungen FM1, FM2 kann es sich um bauliche Begrenzungen einer in 2 näher dargestellten Fahrbahn FB und auf die Fahrbahn FB aufgebrachte Linien handeln.
-
Die Vorrichtung 2 umfasst eine Bilderfassungseinheit 2.1 zur Erfassung einer Umgebung eines Fahrzeugs 1 in zumindest einem Bild B. Die Vorrichtung 2 umfasst weiterhin eine mit der Bilderfassungseinheit 2.1 gekoppelte Auswerteeinheit 2.2 zur Auswertung des Bilds B.
-
Zusätzlich weist die Vorrichtung 2 eine Ermittlungseinheit 2.3 zur Ermittlung einer in 2 näher dargestellten Lichteinfallsrichtung R eines Lichtscheins L einer nicht näher dargestellten Lichtquelle auf, wobei die Ermittlungseinheit 2.3 mit der Auswerteeinheit 2.2 gekoppelt ist. Die Ermittlungseinheit 2.3 umfasst einen Lichtsensor 2.3.1 zur Erfassung einer Stärke des Lichtscheins L, wobei der Lichtsensor 2.3.1 als Fotowiderstand, Fotodiode, Fototransistor, pyroelektrischer Sensor, Fotozelle und/oder Solarzelle ausgebildet ist.
-
Die Auswerteeinheit 2.2 ist ferner mit einer Navigationsvorrichtung 3 gekoppelt, wobei mittels der Navigationsvorrichtung 3 eine Position POS des Fahrzeugs 1, ein Kalenderdatum D, eine Uhrzeit T und eine Ausrichtung A des Fahrzeugs 1 zu einer Himmelsrichtung, beispielsweise eine Nordausrichtung, an die Auswerteeinheit 2.2 übertragbar sind.
-
Die Vorrichtung 2 zur Detektion der Fahrbahnmarkierungen FM1, FM2 ist mit einer Fahrerassistenzvorrichtung 4 zur Unterstützung eines Fahrers des Fahrzeugs 1 bei einer Spurführung des Fahrzeugs 1 gekoppelt. Die Fahrerassistenzvorrichtung 4 ist derart ausgebildet, dass eine automatische und aktive Spurführung innerhalb Fahrspuren FS1, FS2 begrenzender Fahrbahnmarkierungen FM1, FM2 mittels Lenkeingriffen erfolgt und/oder dass der Fahrer vor einem Verlassen der Fahrspur FS1, FS2 oder Fahrbahn FB durch optische, akustische und/oder haptische Signale gewarnt wird. Hierzu wird aus den Fahrbahnmarkierungen FM1, FM2 mittels der Auswerteeinheit 2.2 ein Fahrspurverlauf ermittelt.
-
2 zeigt ein mittels der Bilderfassungseinheit 2.1 aufgenommenes Bild B der Umgebung des Fahrzeugs 1, wobei sich das Fahrzeug 1 auf einer Fahrbahn FB mit zwei Fahrspuren FS1, FS2 bewegt.
-
Eine rechte Fahrspur FS1 ist rechtsseitig von einer ersten Fahrbahnmarkierung FM1 begrenzt, welche als durchgezogene Linie ausgebildet ist. Linksseitig ist die rechte Fahrspur FS1 von einer zweiten Fahrbahnmarkierung FM2 begrenzt, wobei die zweite Fahrbahnmarkierung FM2 gleichzeitig eine linke Fahrspur FS2 von der rechten Fahrspur FS1 trennt. Die zweite Fahrbahnmarkierung FM2 ist als unterbrochene Linie ausgebildet. Linksseitig ist die linke Fahrspur FS2 von einem als Leitplanke, insbesondere von einem als zwei übereinander angeordneten Leitplanken ausgebildeten Objekt O1 begrenzt.
-
Die Detektion der Fahrbahnmarkierungen FM1, FM2 in dem Bild B der Umgebung des Fahrzeugs 1 erfolgt mittels der Auswerteeinheit 2.2, wobei die Fahrbahnmarkierungen FM1, FM2 mittels allgemein bekannter Verfahren in dem Bild detektiert werden. Diese Verfahren umfassen insbesondere eine Kantendetektion und/oder eine Ermittlung der Fahrbahnmarkierungen FM1, FM2 aufgrund eines Kontrastverhältnisses zwischen den Fahrbahnmarkierungen FM1, FM2 und der Fahrbahn.
-
Aufgrund des Lichtscheins L der Sonne mit der dargestellten Lichteinfallsrichtung R entsteht im linken Bereich der linken Fahrspur FS2 ein Schattenwurf der Leitplanke, so dass sich ein Schattenbereich S1 ausbildet. Aufgrund der nicht vollflächigen Ausbildung der Leitplanke wird diese in Teilbereichen von dem Lichtschein L durchleuchtet, so dass der Schattenbereich S1 ebenfalls nicht vollflächig ausgebildet ist. Dabei bilden sich in dem Schattenbereich S1 Schattenlücken SL aus.
-
Die dargestellten Schattenlücken SL sind in ihrer Anordnung und Ausformung der als unterbrochene Linie ausgebildeten Fahrbahnmarkierung FM2 ähnlich. Damit die Schattenlücken SL von der Auswerteeinheit 2.2 nicht als Fahrbahnmarkierungen FM1, FM2 detektiert werden und zu Fehleingriffen und/oder Fehlwarnungen der Fahrerassistenzvorrichtung 4 führen, wird ermittelt, ob ein Lichtschein L mit einer Lichteinfallsrichtung R vorhanden ist, welcher den dargestellten Schattenbereich S1 mit den Schattenlücken SL verursachen könnte.
-
Hierzu ist die Auswerteeinheit 2.2 mit der Ermittlungseinheit 2.3 gekoppelt, mittels welcher die Lichteinfallsrichtung R des Lichtscheins L ermittelt wird. Im dargestellten Ausführungsbeispiel wird bei der Ermittlung der Lichteinfallsrichtung R ein Sonnenstand ermittelt, da der erzeugte Schattenbereich S1 und die Schattenlücken SL aufgrund des Lichtscheins L mit der Lichteinfallsrichtung R der Sonne auf der Fahrbahn FB entstehen. Zusätzlich ist es möglich, Lichtscheine L und deren Lichteinfallsrichtungen R anderer Lichtquellen, beispielsweise von Straßenbeleuchtungen und/oder von Scheinwerfern zu ermitteln.
-
Die Ermittlung des Sonnenstands wird mittels der Auswerteeinheit
2.2 durchgeführt, wobei hierzu ein oder mehrere Algorithmen vorgesehen sind, mittels welchen der Sonnenstand insbesondere in Koordinaten relativ zum Fahrzeug
1 oder in Koordinaten bezogen zur Erde ermittelt wird. Die Ermittlung des Sonnenstands erfolgt anhand der Position POS des Fahrzeugs
1, des Kalenderdatums D, der Uhrzeit T und der Ausrichtung A des Fahrzeugs
1 zur Himmelsrichtung ”Nord”, wobei diese Daten von der Navigationsvorrichtung
3 an die Auswerteeinheit
2.2 übertragen werden. Die Übertragung erfolgt vorzugsweise über einen nicht dargestellten Datenbus des Fahrzeugs
1, beispielsweise einen CAN-Bus oder LIN-Bus. Die Ermittlung des Sonnenstands wird insbesondere mittels eines aus der
DE 103 38 764 B4 bekannten Verfahrens und/oder mittels eines aus der
DE 103 38 766 B4 bekannten Verfahrens durchgeführt.
-
Alternativ zu der Ermittlung des Sonnenstands mittels der Auswerteeinheit 2.2 erfolgt diese mittels der Navigationsvorrichtung 3, wobei der Sonnenstand dann in nicht näher dargestellter Weise in Koordinatenform an die Auswerteeinheit 2.2 übertragen wird.
-
Unter Zugrundelegen der Lichteinfallsrichtung R des Lichtscheins L der Sonne, d. h. des Sonnenstands, wird mittels der Auswerteeinheit 2.2 eine Wahrscheinlichkeit ermittelt, ob im Bild ein einer Fahrbahnmarkierung FM1, FM2 ähnlicher Schattenbereich S1 und/oder eine einer Fahrbahnmarkierung FM1, FM2 ähnliche Schattenlücke SL vorhanden sind, die aus dem aufgrund des Lichtscheins L mit der ermittelten Lichteinfallsrichtung R erzeugten Schattenwurf der Leitplanke resultieren. Mit anderen Worten: Es wird ermittelt, ob sich die Sonne in einem geeigneten Winkel, d. h. Elevation, und einer geeigneten Richtung, d. h. Azimut, befindet, um ähnlich zu Fahrbahnmarkierungen FM1, FM2 ausgebildete Schattenbereich S1 und Schattenlücken SL zu erzeugen.
-
Um eine Verwendung des Schattenbereichs S1 und der Schattenlücken SL als falsch identifizierte Fahrbahnmarkierungen FM1, FM2 zum Betrieb der Fahrerassistenzvorrichtung 4 zu vermeiden, werden zunächst mittels der Auswerteeinheit 2.2 alle Strukturen auf der Fahrbahn FB, welche Fahrbahnmarkierungen FM1, FM2 darstellen könnten, als potenzielle Fahrbahnmarkierungen hinterlegt.
-
Diese potenziellen Fahrbahnmarkierungen werden einer mittels der Auswerteeinheit 2.2 durchgeführten Plausibilisierung unterzogen, wobei anhand der Plausibilisierung ermittelt wird, ob die als potenzielle Fahrbahnmarkierungen in dem Bild B erkannten Strukturen Fahrbahnmarkierungen FM1, FM2 oder Schattenbereiche S1 und/oder Schattenlücken SL sind. In Abhängigkeit der ermittelten Größe der Wahrscheinlichkeit als Schattenbereiche S1 und/oder Schattenlücken SL identifizierte potenzielle Fahrbahnmarkierungen werden verworfen und nicht zum Betrieb der Fahrerassistenzvorrichtung 4 verwendet.
-
Um die Zuverlässigkeit der Vorrichtung 2 bei der Ermittlung der Fahrbahnmarkierungen FM1, FM2 und der Detektion von Schattenbereichen S1 und Schattenlücken SL weiter zu verbessern, wird bei der Ermittlung des Sonnenstands zunächst mittels des Lichtsensors 2.3.1 eine Stärke des Lichtscheins L ermittelt. Aus der Lichtstärke wird abgeleitet, ob die Sonne von Wolken oder anderen Objekten verdeckt ist oder die Umgebung ungehindert ausleuchtet.
-
Bei den Objekten handelt es sich um Geländestrukturen, Pflanzen und/oder Bauwerke. Anhand eines Geländemodells einer digitalen Karte der Navigationsvorrichtung 3, eines Städtemodells der digitalen Karte einer Navigationsvorrichtung 3 und der ermittelten Lichteinfallsrichtung R ermittelt die Auswerteeinheit 2.2, ob sich in einer Sichtlinie zwischen einer aktuellen Fahrzeugposition und der Lichtquelle Geländestrukturen, Pflanzen und/oder Bauwerke befinden, welche die Umgebung des Fahrzeugs 1 verschatten und somit zu geringen Stärken des Lichtscheins L führen. Insbesondere wird ermittelt, ob sich an einer Fahrbahnseite, aus deren Richtung die Sonne einstrahlt, Wald befindet, welcher zu Schattenwürfen führen kann.
-
Befindet sich ein Objekt in der Sichtlinie zwischen der Fahrzeugposition und der Sonne und/oder ist die Sonne von Wolken verdeckt, ist die Stärke des Lichtscheins L gering. Bei geringen Stärken des Lichtscheins L ist es unwahrscheinlich, dass ein Kontrast zwischen den Schattenlücken SL und dem Schattenbereich S1 ausreichend groß ist, dass die Auswerteeinheit 2.2 die Schattenlücken SL als Fahrbahnmarkierungen FM1, FM2 identifiziert. Dies wird bei der Plausibilisierung der potenziellen Fahrbahnmarkierungen berücksichtigt, wobei bei Unterschreitung eines Grenzwerts der Stärke des Lichtscheins L potenzielle Fahrbahnmarkierungen als reale Fahrbahnmarkierungen FM1, FM2 erkannt werden.
-
Alternativ oder zusätzlich werden bei der Plausibilisierung weiterhin eine Größe und Form des als Leitplanke ausgebildeten Objekts O1 und ein Abstand der Bilderfassungseinheit 7 zu dem Objekt O1 berücksichtigt. Hierzu wird die Leitplanke mittels der Auswerteeinheit 2.2 vermessen und der Abstand zu der Bilderfassungseinheit 7 wird ermittelt. Aus der Größe, Form, dem Abstand und der ermittelten Lichteinfallsrichtung R wird ermittelt, ob das Objekt O1 einen Schattenwurf erzeugen kann, aus welchem ein Schattenbereich S1 mit Schattenlücken SL entsteht, welche als Fahrbahnmarkierungen FM1, FM2 interpretierbar sind. In Abhängigkeit davon, ob das Objekt O1 einen derartigen Schattenwurf erzeugen kann, wird die Größe der Wahrscheinlichkeit angepasst.
-
Ebenfalls alternativ oder zusätzlich wird bei der Plausibilisierung eine Straßenkategorie einer Straße, auf welcher sich das Fahrzeug 1 bewegt, berücksichtigt. In Abhängigkeit der Straßenkategorie wird geschätzt, wie wahrscheinlich es ist, dass sich ein einen Schattenbereich S1 und/oder zumindest eine Schattenlücke SL erzeugendes Objekt O1, wie beispielsweise die Leitplanke, auf der befahrenen Straße befindet. Da Leitplanken auf Autobahnen sehr häufig vorkommen, auf Gemeindestraßen dagegen nicht, ist es auf Autobahnen wahrscheinlicher, dass ein durch Leitplanken verursachter Schattenbereich S1 und/oder eine Schattenlücke SL als Fahrbahnmarkierungen FM1, FM2 identifiziert werden, als auf Gemeindestraßen. Die Daten der Straßenkategorie werden vorzugsweise von der Navigationsvorrichtung 3 an die Auswerteeinheit 2.2 übertragen. In Abhängigkeit der aus der Straßenkategorie abgeleiteten Ergebnisse wird wiederum die Wahrscheinlichkeit zur Plausibilisierung angepasst.
-
Ferner wird vorzugsweise berücksichtigt, ob sich das Fahrzeug 1 auf, unterhalb, oberhalb und/oder innerhalb eines oder mehrerer Bauwerke zum Führen von Verkehrswegen befindet. Hierbei wird insbesondere erfasst, ob sich dass Fahrzeug 1 auf einer Brücke befindet, da die Wahrscheinlichkeit für Leitplanken, welche die dargestellten Schattenbereiche S1 und Schattenlücken SL hervorrufen, auf Brücken besonders hoch ist. Weiterhin wird insbesondere erfasst, ob sich das Fahrzeug 1 in einem Tunnel bewegt. In einem Tunnel ist es unwahrscheinlich, dass Schattenbereiche S1 und Schattenlücken SL durch einen von der Sonne erzeugten Lichtschein L erzeugt werden. Vielmehr wird ein Lichtschein L in einem Tunnel von künstlichen Lichtquellen erzeugt. Die Daten, ob sich das Fahrzeug 1 auf, unterhalb, oberhalb und/oder innerhalb eines oder mehrerer derartiger Bauwerke befindet, werden wiederum vorzugsweise von der Navigationsvorrichtung 3 zur Verfügung gestellt und an die Auswerteeinheit 2.2 übertragen.
-
Es wird weiterhin vorzugsweise überprüft, ob Schattenbereiche S2 von einem sich mit dem Fahrzeug mitbewegenden Objekt O2 erzeugt werden. Im dargestellten Ausführungsbeispiel handelt es sich Objekt O2 um einen Lastkraftwagen. Da in diesem Schattenbereich S2 und dem von der Leitplanke erzeugten Schattenbereich S1 aufgrund von verminderten Kontrasten zwischen Fahrbahnmarkierungen FM1, FM2 und der Fahrbahn FB eine Detektion der Fahrbahnmarkierungen FM1, FM2 erschwert ist, wird eine Einstellung von optischen Parametern der Bilderfassungseinheit 2.1, insbesondere Kontrasteinstellungen, an die Eigenschaften Umgebung in den Schattenbereichen S1, S2 angepasst. Weiterhin wird die Detektion der Fahrbahnmarkierungen FM1, FM2 in den Schattenbereichen S1, S2 vorzugsweise alternativ oder zusätzlich detaillierter und aufwändiger durchgeführt, um eine zuverlässige Detektion der Fahrbahnmarkierungen FM1, FM2 zu ermöglichen.
-
Bezugszeichenliste
-
- 1
- Fahrzeug
- 2
- Vorrichtung
- 2.1
- Bilderfassungseinheit
- 2.2
- Auswerteeinheit
- 2.3
- Ermittlungseinheit
- 2.3.1
- Lichtsensor
- 3
- Navigationsvorrichtung
- 4
- Fahrerassistenzvorrichtung
- A
- Ausrichtung
- B
- Bild
- D
- Kalenderdatum
- FB
- Fahrbahn
- FM1
- Fahrbahnmarkierung
- FM2
- Fahrbahnmarkierung
- FS1
- Fahrspur
- FS2
- Fahrspur
- L
- Lichtschein
- O1
- Objekt
- O2
- Objekt
- POS
- Position
- R
- Lichteinfallsrichtung
- S1
- Schattenbereich
- S2
- Schattenbereich
- SL
- Schattenlücke
- T
- Uhrzeit
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- US 2010/0041714 A1 [0003]
- US 2006/0274917 A1 [0004]
- US 6819779 B1 [0005]
- DE 10338764 B4 [0006, 0043]
- DE 10338766 B4 [0007, 0043]
