-
Die vorliegende Erfindung betrifft ein Verfahren zur trajektoriebasierten Zuordnung charakteristischer Merkmale in einem von einer Bilderfassungseinheit eines Fahrzeugs erfassten Bild eines charakteristischen Musters zu Einheiten des Scheinwerfers, welche Strukturen des charakteristischen Musters erzeugen.
-
Viele Kraftfahrzeuge verfügen heutzutage über eine fest eingebaute Fahrerassistenzkamera (nachfolgend als Fahrzeugkamera bezeichnet), welche meistens im oberen Bereich der Frontscheibe eingebaut ist. Die Fahrzeugkamera wird bei der Implementierung diverser Fahrerassistenzsysteme verwendet, z.B. eines Nachtlichtassistenten oder eines Fahrspurhalteassistenten, die den Fahrer in bestimmten Fahrsituationen unterstützen sollen. Unter anderem kann die Fahrzeugkamera verwendet werden, um eine Distanzmessung zu implementieren. Bei diesem Vorgang, welcher als aktive Triangulation bezeichnet wird, wird ein vom Scheinwerfer des Fahrzeugs projiziertes Muster von der Fahrzeugkamera erfasst und ausgewertet. Das projizierte Muster wird aus der durch die Fahrzeugkamera erfassten Abbildung der Umgebung (nachfolgend als Kamerabild bezeichnet) mit Mitteln der Bildverarbeitung extrahiert. Da diese Bildverarbeitung auf aufwendigen Algorithmen basiert, wird ihre Anwendung üblicherweise auf den Teilbereich des Kamerabildes beschränkt, welcher die Abbildung des charakteristischen Musters aufweist. Diese Reduzierung des anfallenden Rechenaufwands ist ein wichtiger Schritt zur Bereitstellung eines kontinuierlich verzögerungsfrei arbeitenden Gesamtsystems und erlaubt gleichzeitig eine Einsparung von Rechenkapazitäten. Der relevante Teilbereich der erfassten Abbildung, welcher eine Projektion des charakteristischen Musters aufweist, wird als ROI (region of interest - „Bereich von Interesse“) bezeichnet.
-
Typischerweise läuft eine Prozesskette zur Implementierung der aktiven Triangulation wie folgt ab. Zunächst wird mittels des Scheinwerfers ein charakteristisches Muster auf eine Projektionsfläche (Szene) projiziert, wobei es sich bei der Projektionsfläche beispielsweise um eine Gebäudewand oder die Fahrbahn handeln kann. Das strukturierte Ausleuchten der Szene, dessen optische und geometrische Eigenschaften bekannt sind, stellt ein Kernmerkmal der aktiven Triangulation dar. Die Szene, welche die Projektion des charakteristischen Musters aufweist, wird von der Fahrzeugkamera abgebildet, wobei das projizierte Muster gemäß der Szenenbeschaffenheit verformt werden kann. Daraufhin wird eine Kaskade von Bildverarbeitungsschritten durchgehört, um das charakteristische Muster aus dem Kamerabild zu extrahieren. Die Hauptaufgabe besteht darin, das Korrespondenzproblem zu lösen: Strukturen des charakteristischen Musters zu den diese Strukturen erzeugenden Einheiten des Scheinwerfers zuzuordnen. Basierend auf dieser aus der fahrzeugspezifischen Lichtverteilung ermittelten Zuordnung wird anschließend eine Tiefen-Map (Tiefenkarte) berechnet, die Informationen über die jeweilige Distanz zwischen dem Fahrzeug und den Projektionen der Strukturen auf der Projektionsfläche, auf welche das charakteristische Muster insgesamt projiziert wird. Die Tiefen-Map stellt letztendlich die Distanzinformation zu Objekten im Kamerabild bereit, die mit strukturiertem Licht des Scheinwerfers ausgeleuchtet werden.
-
Im Optimalfall sollte die oben beschriebene Prozesskette, angefangen bei der Erfassung des Kamerabildes, zu jedem von der Fahrzeugkamera aufgenommen Einzelbild (Frame) zuverlässig eine fertig berechnete Tiefen-Map bereitstellen. Die gesamte Prozesskette sollte also auf einer Zeitskala der Bildwiderholrate der Fahrzeugkamera ausgeführt werden, die heutzutage im Bereich von 50 Hz liegen kann. Hieraus ist ersichtlich, dass die auf der Bildverarbeitung basierende Kernaufgabe des Zuordnens von Strukturen in der Abbildung des charakteristischen Musters zu den diese jeweils erzeugenden Einheiten des Scheinwerfers möglichst effizient ausgestaltet sein sollte, da sie rechenintensiv ist und die Dauer der gesamten Prozesskette maßgeblich bestimmt.
-
Ausgehend von der oben dargestellten Situation kann das Zuordnen der Strukturen innerhalb des charakteristischen Musters zu den sie erzeugenden Einheiten des Scheinwerfers mittels einer Streifenlichtprojektion umgesetzt werden, welche auch als Streifenlichttopometrie bezeichnet wird. Hierbei wird auf eine Oberfläche ein zeitlich variierendes Muster projiziert, im einfachsten Fall ein Binärcode, und mittels einer Kamera aufgenommen. Entsprechend der Strukturierung des Musters weist jeder Bereich im Kamerabild eine zeitlich variierende Musterprojektion (z.B. Helligkeitsvariation) auf, welche einem eindeutigen Code entspricht. So kann jeder Bereich im Kamerabild mit einem eigenen Code einer Einheit im Scheinwerfer zugeordnet werden, welche eine dem Code entsprechende zeitlich variierende Lichtprojektion erzeugt hat. Problematische ist bei diesem Ansatz jedoch, dass das Muster über eine gewisse Zeitspanne hinweg projiziert und detektiert werden muss, so dass die Szene währenddessen statisch sein sollte. Für dynamische Szenen, also im klassischen Falle eines sich bewegenden Fahrzeugs, das die vor ihm liegende Umgebung mittels der Scheinwerfer ausleuchtet, wäre die Zuordnung fehlerbehaftet bzw. es müssten zusätzliche Algorithmen eingeführt werden, um eine Bewegungskorrektur zu implementieren.
-
Gemäß einer weiteren Methode zur Umsetzung der aktiven Triangulation kann ein zeitlich gleichbleibendes Muster mittels des Scheinwerfers projiziert werden (z.B. ein M-Array, De-Bruijn-Folge). Die Projektion wird mittels der Fahrzeugkamera abgebildet und es werden Algorithmen zur Detektion der Strukturen des charakteristischen Musters und jeweils ihrer Umgebung angewendet. Im Ergebnis erfolgt eine Zuordnung der detektierten Nachbarschaft zu den entsprechenden Einheiten des Scheinwerfers. Durch die so ermittelten Korrespondenzen zwischen den Einheiten des Scheinwerfers und den Strukturen im Kamerabild kann eine aktive Triangulation zur Distanzermittlung erfolgen. Da bei diesem Ansatz ein Muster projiziert und detektiert wird, welches in seiner lokalen Gegebenheit einzigartig ist, eignet sich dieser Ansatz grundsätzlich sowohl für statische wie auch dynamische Szenarien. Jedoch ist aufgrund der heutzutage noch geringen Anzahl an LED-Einheiten bei LED-Matrix-Scheinwerfern ein solches Muster schwer umzusetzen. Zudem können im Muster keine Farben eingefügt werden. Eine Differenzierung über den Grauwert ist jedoch mit Schwierigkeiten verbunden aufgrund der zum Dimmen der LED-Einheiten verwendeten Pulsweitenmodulation und der auftretenden Schwebeeffekte.
-
In der US-Patentanmeldung
US 2017/0206660 A1 ist eine Tiefenkameraanordnung zur Bestimmung von Entfernungen zu Objekten offenbart, die sich im Sichtfeld befinden.
-
Dazu wird ein bekanntes räumliches Muster projiziert, das mit einem zeitlichen Trägersignal moduliert ist. Die Entfernungen werden auf Basis von Propagationszeiten des Lichts und auf Basis einer Deformation des räumlichen Musters bestimmt.
-
In der US-Patentanmeldung
US 2016/0325753 A1 werden ein System und ein Verfahren zum Bestimmen eines Straßenprofils entlang eines vorhergesagten Wegs aus der von einer Bilderfassungsvorrichtung erfassten Mehrzahl von Bildern eines Gebiets in der Nähe eines Fahrzeugs offenbart.
-
In der europäischen Patentanmeldung
EP 2562039 A2 ist eine Anpassung der Lichtemission eines Fahrzeugscheinwerfers beschrieben, welche Lesen eines Positionssignals, das eine Position eines Objekts vor oder neben einem Fahrzeug darstellt, und Ändern der Lichtemission des Scheinwerfers an dem Objekt oder in einer Umgebung des Objekts unter Verwendung des Positionssignals aufweist.
-
Die deutsche Patentanmeldung
DE 10 2010 005 290 A1 offenbart ein Verfahren zum Steuern eines Fahrzeugs, das während eines dynamischen Fahrzeugereignisses betrieben wird. Es werden dazu Objekte in Eingangsbildern verfolgt und es wird ein Unterschiedlichkeitsmaß ermittelt, das die verfolgten Objekte vergleicht und abschätzt, ob die in den unterschiedlichen Eingangsbildern verfolgten Objekte ein einzelnes verfolgtes Objekt in der Nähe des Fahrzeugs darstellen.
-
US-Patentanmeldung
US 2014/0015962 A1 offenbart ein Verfahren zum Ausrichten einer Lichtquelle, bei dem ein mittels einer Bilderfassungsvorrichtung erfasstes Lichtstrahlmuster ausgewertet wird, welches Bereiche unterschiedlicher Intensitäten aufweist, um Werte von Kontrastverhältnissen zwischen den Bereichen zu erhalten.
-
In der europäischen Patentanmeldung
EP 3070641 A1 ist ein Abbildungssystem offenbart, das eine Lichtprojektionsvorrichtung, die zu verschiedenen Zeitperioden ein erstes strukturiertes Licht und ein zweites strukturiertes Licht mit unterschiedlichen Luminanzverteilungen projiziert, und eine Abbildungsvorrichtung mit einer Vielzahl von Abbildungseinheiten aufweist zum Erfassen eines Bildes eines Lichtprojektionsbereichs der Lichtprojektionsvorrichtung.
-
US-Patentanmeldung
US 2009/0252377 A1 offenbart eine mobile Objekterkennungsvorrichtung mit einer Kamera zum Aufnehmen von Zeitreihenbildern, einer Merkmalspunktextraktionseinheit zum Extrahieren der Merkmalspunkte der einzelnen von der Kamera aufgenommenen Zeitreihenbilder, einer eine optische Flussbildung bildenden Einheit zum Vergleichen der Merkmalspunkte zwischen verschiedenen Bildern der Zeitreihe, um einen optischen Fluss zu erzeugen, der die Merkmalspunkte mit dem gleichen Muster verbindet, und einer Gruppierungsoperationseinheit zum Auswählen des optischen Flusses als einen zu einem beweglichen Objekt dazugehörigen unter Zugrundelegung bestimmter Randbedingungen.
-
Die deutsche Patentanmeldung
DE 60126382 T2 offenbart eine Vorrichtung zum Erkennen von Gegenständen in erfassten Bilddaten mit einer Vielzahl von Kameras, von denen jede in eine andere Außenrichtung blickt, und einer Vielzahl von Datenbanken, wovon jede einer Kamera zugeordnet ist. Die Objekterkennung erfolgt durch Auswählen einer Datenbank aus der Vielzahl von Datenbanken entsprechend der Blickrichtung der die Bilddaten erfassenden Kamera und Vergleichen der Bilddaten in einem Suchbereich in allen Bilddaten mit Modelldaten in der entsprechenden Datenbank. Schließlich werden Modelldaten, die eine größte Ähnlichkeit zu den Bilddaten aufweisen, zum Durchführen einer Objekterfassung in den Bilddaten unter Verwendung der Modelldaten erfasst.
-
Zusammenfassend betrachtet beruht die Implementierung der aktiven Triangulation zur Distanzmessung bei Fahrzeugen auf der Projektion und der Detektion eines zeitlich invarianten Musters, welches in seiner lokalen Nachbarschaft einzigartig ist, oder aber eines zeitlich variablen Musters. Nachteilig an den zuvor beschriebenen bekannten Verfahren ist, das diese entweder über Zeit projiziert werden und somit nicht für dynamischen Szenarien geeignet sind oder zwar nur ein zeitlich gleichbleibendes Muster projiziert wird, dieses sich jedoch dann möglichst fein lokal differenzieren muss. Letzteres ist bei modernen LED-Pixel-Scheinwerfern, welche 84 LED-Einheiten, auch als Pixel bezeichnet, aufweisen und eine auf Pulsweitenmodulation basierende Helligkeitssteuerung aufweisen, schwierig umzusetzen. Entsprechend können mit den aktuell bekannten Verfahren Strukturen bzw. darin enthaltene charakteristische Merkmale den diese erzeugenden Scheinwerfer-Einheiten nicht beziehungsweise in einem für die praktische Anwendung ungenügendem Maße zugeordneten werden. Folglich besteht Bedarf an geeigneten Methoden, welche die für die aktive Triangulation erforderliche Zuordnung (d.h. Lösen des Korrespondenzproblems) ermöglichen.
-
Im Lichte der oben dargelegten bekannten Ansätze und der damit verbundenen Probleme ist es eine Aufgabe der vorliegenden Erfindung, ein Verfahren zur Verfügung zu stellen, welches eine zuverlässige, rechenressourcensparende und schnelle Lösung des Korrespondenzproblems in einem von einer Fahrzeugkamera erfassten Bild ermöglicht und damit als Basis für die Implementierung sicherheitskritischer Fahrerassistenzsysteme dienen kann, wie z.B. der auf aktiver Triangulation basierenden Distanzmessung. Das Verfahren kann auf Basis eines Lichtmusters von einem der beiden Scheinwerfer eines Fahrzeugs oder auf Basis einer Überlagerung von Licht beider Scheinwerfer ausgeführt werden.
-
Die Aufgabe der vorliegenden Erfindung wird gelöst durch ein Verfahren zum Zuordnen von charakteristischen Merkmalen in einem von einer Bilderfassungseinheit eines Fahrzeugs (nachfolgend als Fahrzeugkamera bezeichnet) erfassten Bild eines charakteristischen Musters zu Einheiten des Scheinwerfers, welche Strukturen des charakteristischen Musters erzeugen, wie es im unabhängigen Anspruch 1 definiert ist.
-
In einem ersten Schritt weist das erfindungsgemäße Verfahren Detektieren der charakteristischen Merkmale in dem erfassten Bild auf. Im Vorfeld dieses Schrittes kann in dem von der Fahrzugkamera erfassten Bild der ROI bestimmt werden, um den Aufwand der nachfolgenden Rechenschritte zu reduzieren, die im Rahmen des hier vorgestellten Verfahrens auszuführen sind. Bei den charakteristischen Merkmalen des charakteristischen Musters kann es sich um Merkmale handeln, die durch Helligkeitsübergänge definiert sind, beispielsweise durch Schwellenwerte beim Übergang von einem dunklen Bereich des charakteristischen Musters zu einem hellen Bereich des charakteristischen Musters. Insbesondere kann es sich bei einem charakteristischen Merkmal um einen Punkt, beispielsweise einen Eckpunkt, oder eine Line handeln, die einen Hell-Dunkel-Übergang darstellt. Insbesondere können die charakteristischen Merkmale Strukturen innerhalb des charakteristischen Musters definieren, beispielsweise helle, ausgeleuchtete Bereiche. Um die charakteristischen Merkmale in dem Kamerabild zu detektieren, können entsprechende an die zu suchenden charakteristischen Merkmale optimierte Algorithmen aus dem Bereich der Bildverarbeitung verwendet werden. Aus der Detektion der charakteristischen Merkmale kann auf potentielle Positionen von Strukturen des charakteristischen Musters in dem jeweiligen Kamerabild geschlossen werden.
-
In einem weiteren Schritt des erfindungsgemäßen Verfahrens erfolgt ein Berechnen einer Trajektorie zu mindestens einer Struktur, wobei die Trajektorie die Translation der Struktur in der Bildebene der Bilderfassungseinheit beschreibt in Abhängigkeit von einem Abstand zwischen dem Fahrzeug und einer Projektionsfläche, auf welche das charakteristische Muster durch den Scheinwerfer projiziert wird. Bei der Berechnung der Trajektorie einer Struktur wird unter Zuhilfenahme epipolargeometrischer Überlegungen ihre Epipolarlinie in der Bildebene der Fahrzeugkamera berechnet. Die Trajektorie einer Struktur beschreibt die Veränderung ihrer Lage in der Bildebene der Fahrzeugkamera in Abhängigkeit von dem Abstand zwischen Fahrzeug (und damit Fahrzeugkamera und Scheinwerfer) und der Projektionsfläche des charakteristischen Musters. Die Trajektorie kann beispielsweise in Bezug auf den Mittelpunkt oder den geometrischen Schwerpunkt der Struktur berechnet werden. Hierbei ist zu beachten, dass im Rahmen der Berechnung der Trajektorie dieser Abstand auf theoretischer Basis variiert wird, also angenommen wird. Insbesondere muss für diese Berechnung nicht etwa das Fahrzeug in verschiedene Abstände zu einer Projektionsfläche verfahren werden. Insgesamt kann zu jeder von einer Einheit des Scheinwerfers erzeugten Struktur eine Trajektorie berechnet werden. Im Falle eines LED-Matrix-Scheinwerfers werden die Trajektorien nur zu aktiven LED-Einheiten berechnet, also solchen, deren abgestrahltes Licht Strukturen im charakteristischen Muster erzeugt.
-
In einem darauffolgenden Schritt wird eine Detektionsmaske berechnet. Die Detektionsmaske wird entlang der Trajektorie in dem erfassten Bild verschoben, um eine Anzahl von detektierten charakteristischen Merkmalen zu bestimmen, die innerhalb der Detektionsmaske liegen. Dabei kann die Maske beispielsweise in diskreten Schritten mit ihrem Mittelpunkt auf der Trajektorie liegend entlang dieser verschoben werden (z.B. im Kamerabild von unten nach oben). Bei jeder neuen Position der Detektionsmaske kann überprüft werden, ob und wie viele charakteristische Merkmale innerhalb der Detektionsmaske liegen. Zu jeder berechneten Trajektorie kann die Detektionsmaske bezüglich ihrer geometrischen Form (z.B. rund oder oval) und ihrer Größe individuell berechnet werden. Die Größe der Detektionsmaske kann an die erwartete Dimension der Projektion einer Struktur angepasst werden, zu der die Trajektorie berechnet worden ist. Anders ausgedrückt kann die Größe einer Detektionsmaske so gewählt werden, dass wenn sie entlang der Trajektorie über einer Struktur platziert wird, alle charakteristischen Merkmale dieser Struktur von der Detektionsmaske umfasst werden. Zum Zeitpunkt der Berechnung der Größe der Detektionsmaske kann ihre Größe aus der Verteilung der charakteristischen Merkmale in der lokalen Umgebung entlang der Trajektorie abgeschätzt werden. Wenn nicht schon vorher eine Anpassung des zugrundeliegenden Kamerabildes erfolgt ist, kann bei diesem Schritt die Größe des Suchbereichs auf den ROI beschränkt werden.
-
Die Suche nach den charakteristischen Merkmalen kann in Abhängigkeit von definierten Regelsätzen erfolgen. Mittels der Regelsätze kann gewährleistet werden, dass beim Bestimmen der Anzahl der charakteristischen Merkmale innerhalb der Detektionsmaske nur charakteristische Merkmale berücksichtigt werden, die zu derselben Struktur gehören. Wenn also die Strukturen helleren Feldern entsprechen, die durch dunklere Felder voneinander getrennt sind, so können die Regelsätze bedingen, dass nur Eckpunkte oder Heller-Dunkler-Grenzen einer Struktur und nicht fälschlicherweise die von zwei unterschiedlichen dunkleren Strukturen, die durch ein helleres Feld voneinander getrennt sind, berücksichtigt werden. Im Falle eines Schachbrettmusters als beispielhaftes charakteristisches Muster können die Regelsätze bedingen, dass eine Anzahl von charakteristischen Merkmalen als innerhalb der Detektionsmaske liegend gezählt wird, wenn es sich um 4 charakteristische Merkmale handelt, die in ihrer Gesamtheit einer rechten oberen, einer linken oberen, einer rechten unteren und einer linken unteren Ecke ein und derselben Struktur entsprechen.
-
In einem letzten Schritt erfolgt ein Zuordnen der innerhalb der Detektionsmaske liegenden charakteristischen Merkmale zu der Trajektorie bzw. zu der zur Trajektorie zugehörigen Struktur, i) wenn die Anzahl der charakteristischen Merkmale einer vorbestimmten Anzahl entspricht; und ii) wenn ermittelt wird, dass die vorbestimmte Anzahl der charakteristischen Merkmale eine (ein und dieselbe) Struktur des charakteristischen Musters definiert. Die beiden Bedingungen können bereits bei jedem Verschieben der Detektionsmaske entlang der Trajektorie überprüft werden. Sobald bei der Überprüfung der Anzahl der innerhalb der Detektionsmaske liegenden charakteristischen Merkmale festgestellt wird, dass beide Bedingungen erfüllt sind, kann die Suche abgebrochen werden und die entsprechend gefundenen charakteristischen Merkmale können der Trajektorie zugeordnet werden, entlang welcher die Detektionsmaske verschoben worden ist.
-
Im Moment dieser Zuordnung ist über eine vorbestimmte Anzahl charakteristischer Merkmale die genaue Position einer bestimmten Struktur entlang ihrer Trajektorie ermittelt worden. Das heißt, die Trajektorie, welche das Unwissen der genauen Position einer von einer Einheit des Scheinwerfers erzeugten Struktur repräsentiert, ist zu einem Punkt kollabiert, welcher die genaue Position der zu dieser Trajektorie gehörenden Struktur bestimmt. Folglich ist das Korrespondenzproblem gelöst worden, da mittels des erfindungsgemäßen Verfahrens eine Struktur im Kamerabild trajeketoriebasiert zu einer Einheit des Scheinwerfers zugeordnet wird. Bei Ausführung des Verfahrens ist von vornherein bekannt, in welchem Bereich die von einer Einheit des Scheinwerfers im Kamerabild sichtbare Struktur liegt, nämlich entlang der dazugehörigen Trajektorie. Durch das Verschieben der Detektionsmaske entlang der Trajektorie wird abgefragt, in welchem Bereich der Trajektorie eine Gruppe von passenden charakteristischen Merkmalen liegt, die eine Struktur definiert, die auf dieser Trajektorie gemäß der theoretischen Berechnungen zu liegen hat. Durch das Auffinden einer solchen Gruppe von charakteristischen Merkmalen kann die konkrete Lage der dazugehörigen Struktur ermittelt werden und letztendlich der entsprechenden Einheit im Scheinwerfer des Fahrzeugs zugeordnet werden.
-
Das erfindungsgemäße Verfahren ist besonders für Multi-Pixel Scheinwerfer geeignet, welche diskrete in Zeilen und Reihen angeordnete LED-Einheiten aufweisen, die eine LED-Matrix bilden. Insofern kann gemäß einer Ausführungsform des Verfahrens jeweils eine Struktur des charakteristischen Musters von einer Einheit des Scheinwerfers erzeugt werden. Dunkle bzw. nicht aktivierte LED-Einheiten erzeugen dann dunkle Felder im charakteristischen Muster. Es besteht dann eine eindeutige eins-zu-eins Zuordnung zwischen den Pixeln des Scheinwerfers und Strukturen innerhalb des charakteristischen Musters, welche im Kamerabild zu sehen sind.
-
Gemäß einer weiteren Ausführungsform des Verfahrens kann das Berechnen der Trajektorien unter Berücksichtigung von Kalibrierdaten des Scheinwerfers und der Bilderfassungseinheit des Fahrzeugs erfolgen. Die Kalibrierdaten können im Rahmen eines speziellen Kalibrierverfahrens bezüglich der Kamera und des Scheinwerfers ermittelt werden und beschreiben den inneren Aufbau (z.B. mittels einer intrinsischen Matrix) sowie ihre äußere Lage relativ zum Bezugssystem (z.B. mittels einer extrinsischen Matrix). Durch Kenntnis der Kalibrierdaten können die Orientierungen der optischen Achsen der Kamera und des Scheinwerfers miteinander in Bezug gebracht werden. Bei Bedarf kann im Rahmen des Verfahrens vor der Berechnung der Trajektorien das System aus Fahrzeugkamera und Scheinwerfer, welches ein Stereo-System darstellt, kalibriert werden.
-
Gemäß einer weiteren Ausführungsform des Verfahrens kann die Größe der Detektionsmaske gemäß einer Dichte der detektierten charakteristischen Merkmale in einer lokalen Umgebung entlang der Trajektorie angepasst werden. Die Größe der entlang einer Trajektorie verwendeten Detektionsmaske ist relevant für das Auffinden von charakteristischen Merkmalen, welche eine (zusammenhängende) Struktur definieren. Je nach Abstand zwischen Fahrzeug und Projektionsfläche und je nach der tatsächlichen Form des charakteristischen Musters kann die Dichte der charakteristischen Merkmale in einem erfassten Bild lokal variieren. Die Information über die lokale Dichte der charakteristischen Merkmale kann bei ihrer Detektion ermittelt werden und anschließend bei der Bestimmung der Größe der Detektionsmaske berücksichtigt werden.
-
Gemäß einer weiteren Ausführungsform des Verfahrens kann das Detektieren der charakteristischen Merkmale Anwenden eines Texturfilters, bevorzugt eines Gabor-Filters, aufweisen zur Bestimmung von Frequenzkomponenten von Helligkeitsvariationen in dem erfassten Bild. Generell können die charakteristischen Merkmale, die als Texturmerkmale aufgefasst werden können, sowie ihre Eigenschaften, wie zum Beispiel Skalierung, Regelmäßigkeit und Grauwertverteilung, mittels eines Gabor-Filters hinsichtlich ihres Frequenzverhaltens analysiert werden. Durch Kombination verschiedener Gabor-Filter lassen verschiedene Merkmale wie z.B. Ecken und Kanten aus einem Bild extrahieren. Gemäß einer weiteren Ausführungsform des Verfahrens kann die Größe der verwendeten Detektionsmaske auf Basis der beim Anwenden des Texturfilters ermittelten Frequenzkomponenten bestimmt werden. Die Frequenz des verwendeten Bildverarbeitungskernels kann adaptiv zur Projektionsfläche variiert werden.
-
Die vorliegende Erfindung betrifft des Weiteren ein Kraftfahrzeug mit einer Fahrzeugkamera und einer Zuordnungseinheit, wobei die Zuordnungseinheit eingerichtet ist, das hier beschriebene Verfahren auszuführen.
-
Weitere Einzelheiten, Merkmale und Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung von bevorzugten Ausführungsformen anhand der Zeichnungen.
- 1 zeigt ein Schaubild, welches das Ausgangsszenario für die Anwendung des erfindungsgemäßen Verfahrens veranschaulicht.
- 2A zeigt die Abbildung eines beispielhaften charakteristischen Musters, welches den Ausgangspunkt des Verfahrens darstellt.
- 2B veranschaulicht das Detektieren der charakteristischen Merkmale und das Berechnen der Trajektorien auf Basis des charakteristischen Musters aus 2A.
- 2C zeigt einen Ausschnitt der Figur 2B und veranschaulicht das Absuchen der lokalen Umgebung entlang einer Trajektorie mit einer Detektionsmaske.
- 2D veranschaulicht einen Endzustand des erfindungsgemäßen Verfahrens, .d.h. nach erfolgter trajektoriebasierter Zuordnung der charakteristischen Merkmale zu entsprechenden Strukturen.
-
In 1 ist die grundlegende Ausgangssituation dargestellt, bei der das erfindungsgemäße Verfahren zum Einsatz kommen kann. Ein Scheinwerfer S eines Fahrzeugs erzeugt eine Lichtprojektion, welche zur Ausleuchtung der primär vor dem Fahrzeug liegenden Umgebung dient. Im Allgemeinen kann dem vom Scheinwerfer S abgestrahlten Licht ein charakteristisches Muster MU aufgeprägt sein, welches hier beispielshaft als Schachbrettmuster dargestellt ist. Das charakteristische Muster MU kann beispielsweise hellere oder dunklere Bereiche aufweisen im Vergleich zur restlichen Lichtprojektion des Scheinwerfers S. Der Scheinwerfer S kann jedoch selbstverständlich auch nur das charakteristische Muster MU dediziert projizieren. In 1 sind ferner zwei Projektionsflächen PF1 und PF2 dargestellt, wobei sich die erste Projektionsfläche PF1 näher am Fahrzeug und damit näher an dem Scheinwerfer S befindet als die zweite Projektionsfläche PF2. Wie bereits erwähnt, kann es sich bei den Projektionsflächen PF1 und PF2 um jegliche Oberflächen handeln, auf die das Licht bzw. das charakteristische Muster MU während des Betriebs des Fahrzeugs projiziert wird. Das projizierte charakteristische Muster MU ergibt auf der ersten Projektionsfläche PF1 eine erste Projektion P1(MU) und auf der zweiten Projektionsfläche PF2 eine zweite Projektion P2(MU). Die erste Projektion P1(MU) und die zweite Projektion P2(MU) des charakteristischen Musters MU sind bis auf eine Skalierung im Wesentlichen als gleich anzunehmen, wenn man von völlig planen Projektionsflächen PF1, PF2 ausgeht. Unter realen Alltagsbedingungen können die Projektionsflächen PF1, PF2 selbstverständlich bezüglich Strukturierung und Unebenheiten unterschiedlichen Oberflächen entsprechen, was zu größeren Unterschieden zwischen den beiden Projektionen P1(MU), P2(MU) führen kann. Das charakteristische Muster MU weist weiße und schraffierte rechteckige Flächen auf. In 1 ist repräsentativ die in der mittleren Reihe des charakteristischen Musters MU links außen liegende schraffierte Fläche speziell gekennzeichnet und entspricht einer Struktur ST des charakteristischen Musters MU. In den Figuren soll zur vereinfachten Darstellung davon ausgegangen werden, dass die schraffierten Flächen Strukturen ST entsprechen, die durch Lichtabstrahlung des Scheinwerfers zustande kommen, und die dazwischenliegenden weißen Flächen lichtfreie Bereiche repräsentieren, also solche, die nicht vom Scheinwerfer S ausgeleuchtet werden. Im Folgenden wird die speziell gekennzeichnete Struktur ST zu Erläuterungszwecken näher betrachtet. Es sollte klar sein, dass die in 1 speziell gekennzeichnete Struktur ST zu jeder der anderen acht Strukturen des charakteristischen Musters MU als äquivalent anzusehen ist.
-
Die Fahrzeugkamera K erfasst die vor dem Fahrzeug liegende Umgebung und bildet diese in ihrer Bildebene B ab. Die Implementierung der Distanzmessung beruht auf aktiver Triangulation, bei welcher ausgehend von einer bekannten Position und Ausrichtung des Scheinwerfers S und der Kamera K aus der erfassten Projektion P1(MU), P2(MU) des charakteristischen Musters MU die Distanz zur entsprechenden Projektionsfläche PF1, PF2 berechnet werden kann. Wie in 1 durch die aus dem Scheinwerfer S ausgehende gestrichelte Linie angedeutet, liegen alle möglichen Projektionen P1(MU), P2(MU) des charakteristischen Musters MU, insbesondere auch die Struktur Projektion der Struktur ST, auf einem geraden Strahl, der die geradlinige Lichtausbreitung beschreibt. Aus Sicht der Kamera K jedoch, welche im Fahrzeug fest installiert ist und während des Betriebes bezüglich ihrer Position und Orientierung unter normalen Umständen nicht verändert wird, befindet sich die Struktur ST je nach Abstand zur Projektionsfläche PF1, PF2 an einer anderen Stelle. Dieser Umstand ist in 1 in der gezeigten vergrößerten Ansicht neben der Kamera K gezeigt. Hier ist die Bildebene B der Kamera veranschaulicht, welche der Ebene der Bildsensoren entspricht. Es ist ferner gezeigt, dass das Abbild ST(P1) der Projektion der Struktur ST auf die Projektionsfläche PF1 in der Bildebene B im Vergleich zum Abbild ST(P2) der Projektion der Struktur ST in der zweiten Projektionsfläche PF2 nach oben rechts versetzt ist. Dieser Effekt ist in der Epipolargeometrie wohlbekannt und tritt auf, wenn dasselbe Objekt (hier die Projektion der Struktur ST des charakteristischen Musters MU) in verschiedenen Abständen von zwei unterschiedlichen Positionen (hier Kamera K und Scheinwerfer S) betrachtet wird. Zu jedem Abstandes zwischen Fahrzeug und Projektionsfläche PF1, PF2 kann sowohl die Lage des Abbildes der Projektion der Struktur ST auf der ersten und zweiten Projektionsfläche PF1, PF2 wie auch die Lage des Abbildes der Projektion der Struktur ST(P1), ST(P2) in der Bildebene B der Kamera K und damit im Kamerabild der Kamera K berechnet werden. Diesen grundlegenden Ansatz macht sich das hier vorgestellte Verfahren zu Nutze, um das Detektieren einer zu einer Einheit des Scheinwerfers S gehörenden Lichtprojektion (d.h. Struktur ST) auf eine Dimension - die Trajektorie - zu beschränken. Die Berechnung der Trajektorie, welche die abstandsabhängigen Positionen des Abbildes der Projektion der Struktur ST(P1), ST(P2) in der im Kamerabild beschreibt, erfolgt bezüglich eines kalibrierten Stereo-Systems aus Scheinwerfer S und Kamera K und damit auf Grundlage der Kalibrierdaten der Kamera K und des Scheinwerfers S.
-
In den 2A-2D wird der Ablauf einer Ausführungsform des erfindungsgemäßen Verfahrens veranschaulicht ausgehend von einem dem in 1A dargestellten ähnlichen charakteristischen Muster MU, das im Prinzip ein Schachbrettmuster darstellt. Das Schachmuster dient als gutes Beispiel, da es sich natürlich aus der Anordnung der Pixel in heutzutage gängigen LED-Matrix-Scheinwerfern ergibt. Das heißt, jede Struktur ST kann von einem Pixel des LED-Matrix-Scheinwerfers erzeugt werden. Die Strukturen ST des charakteristischen Musters MU entsprechen dabei eingeschalteten Pixeln des Scheinwerfers, wohingegen dunkle Felder/Bereiche zwischen den Strukturen ST ausgeschalteten Pixeln entsprechen. Es sollte jedoch klar sein, dass die Distanzmessung auch auf Basis anderer charakteristischer Muster implementiert werden kann. Insbesondere kann das charakteristische Muster MU projiziert werden, während eine normale Lichtabstrahlung (z.B. Abblendlicht) erfolgt. In einem solchen Fall können sich die Strukturen ST durch Helligkeitswerte von dem restlichen Lichtfeld unterscheiden, und z.B. 20% dunkler oder 20% heller als die inaktiven Felder des charakteristischen Musters MU sein. Allgemein ausgedrückt ist relevant, dass das charakteristische Muster MU hellere und dunklere Bereiche aufweist, so dass darin die charakteristischen Merkmale per Bildverarbeitungsalgorithmus detektiert werden können. Dabei können die helleren oder die dunkleren Bereiche ein Helligkeitsniveau aufweisen, welches der Helligkeit der aktuellen Lichtfunktion (z.B. Abblendlicht) entspricht.
-
In 2B ist das charakteristische Muster MU aus 2A gezeigt. Im Zuge einer primären Bildverarbeitung werden zunächst die charakteristischen Merkmale 5 in dem Kamerabild detektiert. Vorliegend handelt es sich bei den charakteristischen Merkmalen 5 um Eckpunkte der Strukturen ST. Wie in der 2B angedeutet, kann es vorkommen, dass nicht alle charakteristischen Merkmale 5 erkannt werden, da insbesondere zum Randbereich des Musters MU hin die Hell-Dunkel-Übergänge schwächer ausfallen können als in der Mitte des Musters MU. Ferner sind in 2B berechnete Trajektorien 1, 2, 3 gezeigt. Die Trajektorien 1, 2, 3 werden unabhängig von dem Abbild des charakteristischen Musters MU berechnet, welches von der Fahrzeugkamera K erfasst wird. Auf Basis der Kalibrierdaten kann zu jedem Pixel im Scheinwerfer S bzw. zu jedem Segment, welches eine Struktur ST in der Projektion des charakteristischen Musters P1(MU), P2(MU) erzeugt (z.B. ein Bereich in einer strukturierten Blende), und zu jedem Abstand zur Projektionsfläche PF1, PF2 die dazugehörige Trajektorie berechnet werden. Es ist zu beachten, dass in dem in 2B veranschaulichten Stadium des Verfahrens nicht klar ist, welche charakteristischen Merkmale 5 zu welcher Struktur ST gehören. Nach erfolgter Detektion der charakteristischen Merkmale 5 und nach Berechnung der Trajektorien 1, 2, 3 gilt es diese Korrespondenz zu ermitteln, d.h. zu bestimmen, welche der detektierten charakteristischen Merkmale 5 eine Struktur ST definieren, die zu einer berechneten Trajektorie 1, 2, 3 passt. Erst diese Ermittlung ermöglicht einen Rückschluss auf die Distanz zwischen Fahrzeug und Projektionsfläche PF1, PF2.
-
Die Ermittlung der Position der zu einer Trajektorie 1, 2, 3 zugehörigen Struktur 5 erfolgt unter der Prämisse, dass in dem von der Kamera erfassten Bild (genau) eine Struktur existiert, die zu einer jeweiligen Trajektorie 1, 2, 3 passt. Anders ausgedrückt muss im Rahmen des erfindungsgemäßen Verfahrens bestimmt werden, welche der in der lokalen Umgebung der jeweiligen Trajektorie 1, 2, 3 detektierten charakteristischen Merkmale 5 eine Struktur ST definieren, die auf der Trajektorie liegt. Dazu wird, wie in 2C am Beispiel der ersten Trajektorie 1 aus 2B veranschaulicht, zunächst eine Detektionsmaske 7 berechnet. Die zu einer Trajektorie berechnete Detektionsmaske 7 wird dann entlang der Trajektorie verschoben, beispielsweise in diskreten Schritten, um bei jeder eingenommenen Position zu überprüfen, ob und wie viele charakteristische Merkmale 5 innerhalb der Detektionsmaske 7 liegen. In 2C deuten die gestrichelt dargestellten Kreise Positionen der Detektionsmaske 7 bei dieser Suche an. Die Detektionsmaske 7 kann dabei von einem Startpunkt nach oben, wie in der Figur angedeutet, oder nach unten entlang der Trajektorie bewegt werden. Die Größe der Detektionsmaske 7 kann an die Dichte der detektierten charakteristischen Merkmale 5 angepasst werden. Die Dichte der charakteristischen Merkmale 5 kann zum einen in Abhängigkeit von der konkreten Form des charakteristischen Musters MU schwanken. Zum anderen wird sie aber auch von dem Abstand zwischen Scheinwerfer S und Projektionsfläche PF1, PF2 bestimmt.
-
Bei der Abfrage, ob und wie viele charakteristische Merkmale 5 innerhalb der Detektionsmaske 7 liegen, können Randbedingungen berücksichtigt werden, mittels welcher beispielsweise gewährleistet werden kann, dass der Suchalgorithmus auf Basis der charakteristischen Merkmale 5 Strukturen ST detektiert und nicht die dazwischenliegenden Felder. Die Randbedingungen können also gewährleisten, dass die Abfrage per Detektionsmaske 7 im in dem veranschaulichten Beispielszenario nach vier passenden charakteristischen Merkmalen 5 erfolgt, einer rechten oberen, einer linken oberen, einer rechten unteren und einer linken unteren Ecke einer Struktur ST. Um Fehldetektionen zu unterbinden, können ferner die Randbedingungen eine Detektion von charakteristischen Merkmalen 5, die über oder unter den charakteristischen Merkmalen 5 der mittleren Reihe von Strukturen ST angeordnet sind, bei der Detektion von Strukturen ST in der mittleren Reihe verhindern. Der anhand 2C bezüglich der ersten Trajektorie 1 erläuterte Suchprozess findet individuell entlang der Trajektorien 2, 3 ebenso statt. Für jede Trajektorie 1, 2, 3 kann die Detektionsmaske 7 individuell bestimmt werden.
-
In 2D ist das charakteristische Muster MU zusammen mit dem Endergebnis der auswertenden Bildverarbeitung dargestellt. Nachdem die unter Bezug auf 2C erläuterte Suche bezüglich jeder der Trajektorien 1, 2, 3 durchgeführt worden ist, ist mittels der ersten Maske 10 die zur ersten Trajektorie 1 zugehörige erste Struktur 13 ermittelt worden, mittels der zweiten Maske 11 ist die zur zweiten Trajektorie 2 zugehörige zweite Struktur 14 ermittelt worden und mittels der dritten Maske 12 ist die zur dritten Trajektorie 3 zugehörige dritte Struktur 15 ermittelt worden. Damit ist das Korrespondenzproblem unter Zuhilfenahme der Trajektorie als „Vermittler“ gelöst worden, da ermittelt worden ist, an welcher Position in der Projektion des charakteristischen Musters P1(MU), P2(MU) eine Einheit des Scheinwerfers S eine Struktur ST projiziert/erzeugt. Auf Grundlage dieser Zuordnung der charakteristischen Merkmale 5 bzw. der Strukturen ST in der fahrzeugspezifischen Lichtverteilung zu den Einheiten des Scheinwerfers kann eine Tiefen-Map erstellt werden.
