DE102018101047B4 - Verfahren zur Korrektur von Pixeltrajektorien für eine trajektorienbasierte Zuordnung charakteristischer Merkmale einer Musterprojektion eines Matrixscheinwerfersystems zu Scheinwerfersegmenten des Matrixscheinwerfersystems - Google Patents

Verfahren zur Korrektur von Pixeltrajektorien für eine trajektorienbasierte Zuordnung charakteristischer Merkmale einer Musterprojektion eines Matrixscheinwerfersystems zu Scheinwerfersegmenten des Matrixscheinwerfersystems Download PDF

Info

Publication number
DE102018101047B4
DE102018101047B4 DE102018101047.8A DE102018101047A DE102018101047B4 DE 102018101047 B4 DE102018101047 B4 DE 102018101047B4 DE 102018101047 A DE102018101047 A DE 102018101047A DE 102018101047 B4 DE102018101047 B4 DE 102018101047B4
Authority
DE
Germany
Prior art keywords
pixel
matrix
headlight system
segments
pattern projection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102018101047.8A
Other languages
English (en)
Other versions
DE102018101047A1 (de
Inventor
Christian Schneider
Constantin Haas
Tim Kunz
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dr Ing HCF Porsche AG
Original Assignee
Dr Ing HCF Porsche AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dr Ing HCF Porsche AG filed Critical Dr Ing HCF Porsche AG
Priority to DE102018101047.8A priority Critical patent/DE102018101047B4/de
Publication of DE102018101047A1 publication Critical patent/DE102018101047A1/de
Application granted granted Critical
Publication of DE102018101047B4 publication Critical patent/DE102018101047B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01MTESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M11/00Testing of optical apparatus; Testing structures by optical methods not otherwise provided for
    • G01M11/02Testing optical properties
    • G01M11/06Testing the alignment of vehicle headlight devices
    • G01M11/064Testing the alignment of vehicle headlight devices by using camera or other imaging system for the light analysis
    • G01M11/065Testing the alignment of vehicle headlight devices by using camera or other imaging system for the light analysis details about the image analysis
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01MTESTING STATIC OR DYNAMIC BALANCE OF MACHINES OR STRUCTURES; TESTING OF STRUCTURES OR APPARATUS, NOT OTHERWISE PROVIDED FOR
    • G01M11/00Testing of optical apparatus; Testing structures by optical methods not otherwise provided for
    • G01M11/02Testing optical properties
    • G01M11/06Testing the alignment of vehicle headlight devices
    • G01M11/068Testing the alignment of vehicle headlight devices with part of the measurements done from inside the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141Control of illumination
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/145Illumination specially adapted for pattern recognition, e.g. using gratings
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/10Image acquisition
    • G06V10/12Details of acquisition arrangements; Constructional details thereof
    • G06V10/14Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147Details of sensors, e.g. sensor lenses
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Analytical Chemistry (AREA)
  • Chemical & Material Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Vascular Medicine (AREA)
  • Lighting Device Outwards From Vehicle And Optical Signal (AREA)

Abstract

Verfahren zur Korrektur von Pixeltrajektorien für eine trajektorienbasierte Zuordnung charakteristischer Merkmale einer Musterprojektion eines Matrixscheinwerfersystems zu Scheinwerfersegmenten des Matrixscheinwerfersystems, umfassend die Schrittea) Detektion einer Wand, auf die eine Lichtverteilung projizierbar ist, durch Erzeugen einer Abblendlichtverteilung mittels des Matrixscheinwerfersystems und Erfassen zumindest eines Referenzpunktes der Abblendlichtverteilung mittels einer Kamera,b) Erzeugen einer Musterprojektion auf der Wand und Einbettung von Strukturen in die Lichtverteilung der Musterprojektion, die sich von benachbarten Strukturen unterscheiden,c) Extraktion aller Eckpunkte der Pixelelemente aus der Musterprojektion,d) Zusammenfassung der extrahierten Eckpunkte zur Erzeugung von Dreiecken,e) Bestimmung der Grauwerte der in Schritt d) erzeugten Dreiecke und Zusammenfassung benachbarter Dreiecke zu jeweils einem Pixelsegment, sofern sich diese an einer Seite überdecken und positive Grauwerte miteinander teilen,f) Zuordnung der in Schritt c) extrahierten Eckpunkte zu den einzelnen, in Schritt e) erhaltenen Pixelsegmenten ausgehend von dem in Schritt a) erfassten, zumindest einen Referenzpunkt mittels einer Pixelreferenzmatrix, in der Pixel-Nachbarschaftsrelationen hinterlegt sind,g) Bereitstellung von zugeordneten Punktewolken auf Basis der in Schritt e) erfolgten Zuordnung aller Eckpunkte zu den Pixelsegmenten zur Initialisierung von Online-Kalibrierungen des Matrixscheinwerfersystems.

Description

  • Die vorliegende Erfindung bezieht sich auf ein Verfahren zur Korrektur von Pixeltrajektorien für eine trajektorienbasierte Zuordnung charakteristischer Merkmale einer Musterprojektion eines Matrixscheinwerfersystems zu Scheinwerfersegmenten des Matrixscheinwerfersystems.
  • Bei der Entwicklung von Kraftfahrzeugen spielen so genannte Matrixscheinwerfersysteme, die typischerweise zwei Matrixscheinwerfer aufweisen, eine zunehmend größere Rolle. Diese Matrixscheinwerfer umfassen eine Pixelmatrix mit selektiv aktivierbaren beziehungsweise deaktivierbaren, vorzugsweise auch dimmbaren, Pixelelementen. Es ist zu erwarten, dass hierbei zukünftig und in Abhängigkeit von der eingesetzten Technologie Pixelauflösungen von mehreren zehntausend beziehungsweise hunderttausend Pixelelementen erreicht werden können. Mittels der Pixelmatrix können ganz unterschiedliche Beleuchtungsfunktionen implementiert werden. Eine mögliche Beleuchtungsfunktion ist zum Beispiel eine blendfreie Fernlichtfunktion, bei der es darum geht, entgegenkommende Verkehrsteilnehmer bei aktiviertem Fernlicht nicht zu blenden. Dabei kommt eine fahrzeugseitige Kamera (Fahrerassistenzkamera) zum Einsatz, die kontinuierlich entgegenkommende sowie vorausfahrende Verkehrsteilnehmer erfasst. Die Kameradaten werden mit Hilfe einer Bildverarbeitungssoftware entsprechend verarbeitet. Mittels einer entsprechenden elektronischen Steuerungseinrichtung werden die einzelnen Pixelelemente der Matrixscheinwerfer des Matrixscheinwerfersystems gezielt angesteuert, um eine Entblendung zu erreichen.
  • Durch eine aktive Triangulation kann mit der Kamera und den Matrixscheinwerfern des Matrixscheinwerfersystems auch eine Distanzmessung erfolgen, um die Entfernungen zwischen dem mit dem Matrixscheinwerfersystem ausgestatteten Fahrzeug und Objekten in der Fahrzeugfrontszene zu bestimmen. Nach einer Kalibrierung der Kamera und des Matrixscheinwerfersystems wird mittels der Matrixscheinwerfer des Matrixscheinwerfersystems ein definiertes Muster auf ein Vorfeld des Kraftfahrzeugs projiziert. Anschließend wird eine Szene generiert, wobei das zuvor projizierte Muster in Abhängigkeit von einer Oberflächenstruktur der Szene verformt wird. Nachfolgend wird mit der Kamera ein Kamerabild erfasst, wobei charakteristische Merkmale aus dem Kamerabild mittels einer entsprechenden Bildverarbeitungssoftware detektiert werden. Anschließend erfolgt eine Zuordnung der detektierten Merkmale zu den Matrixscheinwerfern des Matrixscheinwerfersystems. In einem hierauf folgenden Schritt wird dann mittels der Bildverarbeitungssoftware auf Basis der fahrzeugspezifischen Lichtverteilung eine so genannte Tiefen-Map berechnet.
  • Um eine onlinefähige und robuste Zuordnung der charakteristischen Merkmale, die aus dem Kamerabild extrahiert werden, zu der Pixelmatrix des betreffenden Matrixscheinwerfers zu ermöglichen, können insbesondere definierte Pixeltrajektorien genutzt werden. Diese Pixeltrajektorien, die aus entsprechenden Kalibrierdaten gewonnen werden, beschreiben die Pixelpfade im Kamerabild. Fährt ein mit dem Matrixscheinwerfersystem ausgerüstetes Kraftfahrzeug zum Beispiel aus der Ferne auf ein Objekt zu, so verschiebt sich die Lichtverteilung auf einer definierten Pixeltrajektorie. Auf diesen Pixeltrajektorien werden Masken verschoben, welche zum Beispiel vier charakteristische Merkmale einzelner Pixelelemente suchen können. Beispielsweise kann die Bildverarbeitungssoftware so gestaltet sein, dass sie für jedes Pixelelement eine Anzahl charakteristischer Merkmale liefert, die insbesondere die Eckpunkte des betreffenden Pixelelements (zum Beispiel die vier Eckpunkte „oben links“, „oben rechts“, „unten links“ und „unten rechts“ eines rechteckigen Pixelelements) sein können. Werden diese charakteristischen Merkmale eines Pixelelements, insbesondere die vier Eckpunkte des betreffenden Pixelelements, in einer Maske detektiert, können diese der entsprechenden Pixeltrajektorie zugeordnet werden. Diese Pixeltrajektorie ist ihrerseits einem Scheinwerfersegment eines der Matrixscheinwerfer des Matrixscheinwerfersystems zugeordnet, so dass die Zuordnung erfolgreich umgesetzt werden kann und entsprechend eine aktive Triangulation im Umfeld des Kraftfahrzeugs zur Erzeugung einer Tiefen-Map ermöglicht wird.
  • Bei dieser vorstehend erläuterten trajektorienbasierten Merkmalszuordnung besteht das Problem, dass diese nur dann zuverlässig funktionieren kann, wenn sich die anfänglich aus den Kalibrierdaten bestimmten Pixeltrajektorien im realen Fahrbetrieb des Kraftfahrzeugs nicht verändern. Beispielsweise können sich die Matrixscheinwerfer des Matrixscheinwerfersystems während des Betriebs erwärmen, so dass sich deren Strukturen unter Umständen verändern können. Weiterhin können Fehlstellungen der Matrixscheinwerfer des Matrixscheinwerfersystems dadurch hervorgerufen werden, dass der Fahrer diese in horizontaler und/oder vertikaler Richtung verstellt. Zwar ist es möglich, die Pixeltrajektorien durch Triggern einer Scheinwerferfehlstellung zu ermitteln und anhand einer dynamischen Kalibrierung zu korrigieren. Hierfür ist jedoch ein erfolgreich zugeordneter Satz an charakteristischen Merkmalen erforderlich. Eine derartige Zuordnung kann jedoch aufgrund der fehlerhaften Pixeltrajektorien nicht zur Verfügung gestellt werden.
  • Wenn die vorstehend erläuterte trajektorienbasierte Merkmalszuordnung nicht funktioniert, da die ursprünglich aus den Kalibrierdaten bestimmten Pixeltrajektorien etwa aufgrund einer Scheinwerferfehlstellung verändert wurden, kann ein Verfahren durchgeführt werden, das unter räumlicher Merkmalszuordnung (M-Array, DeBruijn Mapping etc.) bekannt ist. Ein derartiges Verfahren ist im Bereich der Streifenlichtprojektion relativ stark verbreitet, weist jedoch den Nachteil auf, dass die Pixelzuordnung aufgrund des Fehlens von Eckpunkten, welches wiederum durch stark strukturierte Szenen, Sprünge, Inhomogenitäten etc. hervorgerufen wird, fehlerbehaftet ist beziehungsweise überhaupt nicht funktionsfähig ist.
  • Aus der DE 10 2010 033 351 A1 ist ein Verfahren zum Kalibrieren eines Fahrzeugscheinwerfers mit Hilfe eines Musters, welches auf eine Messwand projiziert wird, bekannt.
  • Die DE 10 2008 011 699 A1 offenbart ein Verfahren, bei dem Muster auf eine Fahrbahn projiziert werden, mittels derer bestimmte Eigenschaften bestimmt werden, welche dazu dienen, die Scheinwerfereinstellung im Fahrbetrieb zu korrigieren.
  • In dem Artikel „Automatic grid finding in calibration patterns using Delaunay triangulation" (Autoren: C. Shu et al., erschienen in: TECH. REP. NRC-46497/ERB-1104, NATIONAL RESEARCH COUNCIL OF CANADA, 1. August 2003, S. 1-19, XP055040961) wird ein Verfahren beschrieben, bei dem ein Dreiecksmuster projiziert wird, dessen Ecken mittels einer Delaunay-Triangulation extrahiert werden. Dabei werden benachbarte Dreiecke mit gleicher Farbe zusammengefasst. Ferner wird eine Matrix zur Kalibrierung einer Kamera berechnet.
    Die US 2014/0015962 A1 offenbart ein Verfahren zum Ausrichten einer Lichtquelle, wobei ein mittels einer Bilderfassungsvorrichtung erfasstes Lichtstrahlmuster ausgewertet wird, welches Bereiche mit unterschiedlichen Intensitäten aufweist, um Werte von Kontrastverhältnissen zwischen diesen Bereichen zu erhalten.
  • Die Erfindung macht es sich zur Aufgabe, ein Verfahren zur Korrektur von Pixeltrajektorien für eine trajektorienbasierte Zuordnung charakteristischer Merkmale einer Musterprojektion eines Matrixscheinwerfersystems zu Scheinwerfersegmenten des Matrixscheinwerfersystems zur Verfügung zu stellen, welches fehlersicher ist.
    Die Lösung dieser Aufgabe liefert ein Verfahren mit den Merkmalen des Anspruchs 1. Die Unteransprüche betreffen vorteilhafte Weiterbildungen der Erfindung.
  • Ein erfindungsgemäßes Verfahren zur Korrektur von Pixeltrajektorien für eine trajektorienbasierte Zuordnung charakteristischer Merkmale einer Musterprojektion eines Matrixscheinwerfersystems zu Scheinwerfersegmenten des Matrixscheinwerfersystems umfasst die Schritte
    1. a) Detektion einer Wand, auf die eine Lichtverteilung projizierbar ist, durch Erzeugen einer Lichtverteilung z.B. einer Abblendlichtverteilung mittels des Matrixscheinwerfersystems und Erfassen zumindest eines Referenzpunktes der Lichtverteilung mittels einer Kamera,
    2. b) Erzeugen einer Musterprojektion auf der Wand und Einbettung von Strukturen in die Lichtverteilung der Musterprojektion, die sich von benachbarten Strukturen unterscheiden,
    3. c) Extraktion aller Eckpunkten der Pixelelemente aus der Musterprojektion,
    4. d) Triangulation der extrahierten Eckpunkte zur Erzeugung von Dreiecken,
    5. e) Bestimmung der Grauwerte der in Schritt d) erzeugten Dreiecke und Zusammenfassung benachbarter Dreiecke zu jeweils einem Pixelsegment, sofern sich diese an einer Seite überdecken und positive Grauwerte miteinander teilen,
    6. f) Zuordnung der in Schritt c) extrahierten Eckpunkte zu den einzelnen, in Schritt e) erhaltenen Pixelsegmenten ausgehend von dem in Schritt a) erfassten, zumindest einen Referenzpunktes mittels einer Pixelreferenzmatrix, in der Pixel-Nachbarschaftsrelationen hinterlegt sind,
    7. g) Bereitstellung von zugeordneten Punktewolken auf Basis der in Schritt e) erfolgten Zuordnung aller Eckpunkte zu den Pixelsegmenten zur Initialisierung von Online-Kalibrierungen des Matrixscheinwerfersystems.
  • Wenn die trajektorienbasierte Merkmalszuordnung nicht funktioniert, ermöglicht das erfindungsgemäße Verfahren unter definierten Randbedingungen eine fehlersichere Zuordnung charakteristischer Merkmale des Kamerabilds zu entsprechenden Pixeltrajektorien und damit auch zu den zugehörigen Scheinwerfersegmenten der Matrixscheinwerfer des Matrix-Scheinwerfersystems. Die Projektion des Musters erfolgt, um charakteristische Eigenschaften für bestimmte Pixelelemente zur Verfügung zu stellen. Dabei werden gezielt Strukturen in die Lichtverteilung eingebettet, die sich in Ihrer Nachbarschaft unterscheiden. Nachfolgend werden für jedes der Pixelelemente dessen Eckpunkte aus dieser Musterprojektion extrahiert, um die Zustände der Pixelelemente zu bestimmen. Vorzugsweise können in das auf die Wand projizierte Muster Strukturen eingebettet sein, um beispielsweise eine aktive Tiefenrekonstruktion durch Triangulation zu ermöglichen. Die Zuordnung der Pixelsegmente zu den Scheinwerfersegmenten erfolgt durch Traversierung. Ausgehend von dem im ersten Schritt a) vorzugsweise für jeden der Matrixscheinwerfer des Matrixscheinwerfersystems bestimmten Referenzpunkt werden durch die Verwendung einer Pixelreferenzmatrix, in welcher alle Pixel-Nachbarschaftsrelationen hinterlegt sind, die Pixelsegmente den einzelnen Scheinwerfersegmenten der Matrixscheinwerfer zugeordnet. Dabei wird ausgenutzt, dass die Position des mindestens einen Referenzpunktes bekannt ist. Wenn dieser Referenzpunkt erfasst wird, ist es aufgrund der in der Pixelreferenzmatrix hinterlegten Pixel-Nachbarschaftsrelationen bekannt, welche benachbarten Pixelsegmente sich in Bezug auf den Referenzpunkt zum Beispiel links oben, rechts oben, links unten und rechts unten von diesem befinden müssen, so dass diese Pixelsegmente ebenfalls zugeordnet werden können. Diesen letztgenannten Pixelsegmenten können ihrerseits mittels der Pixelreferenzmatrix ebenfalls benachbarte Pixelsegmente zugeordnet werden. Somit können sämtliche, aus dem Kamerabild durch Methoden der Bildverarbeitung generierten Pixelsegmente den realen Pixelelementen der Scheinwerfersegmente des betreffenden Matrixscheinwerfers zugeordnet werden.
  • In einer vorteilhaften Ausführungsform wird vorgeschlagen, dass in Schritt a) H0V0-Punkte der Abblendlichtverteilung als Referenzpunkte bestimmt werden. Ein charakteristisches Merkmal einer Abblendlichtverteilung ist der so genannte HOVO-Punkt der Hell-Dunkel-Grenze. Dieser HOVO-Punkt ist als Schnittpunkt zwischen einem horizontalen Abschnitt und einem im Anschluss daran folgenden Anstieg der Hell-Dunkel-Grenze definiert. Diese HOVO-Punkte der Matrixscheinwerfer sind daher als Referenzpunkte besonders geeignet, da deren Zuordnung zu einzelnen Pixelelementen der Matrixscheinwerfer des Matrixscheinwerfersystems eindeutig bekannt ist. Bei der Wanddetektion wird versucht, mittels der Kamera jeweils den HOVO-Punkt jedes der beiden Matrixscheinwerfer des Matrixscheinwerfersystems zu erfassen. Werden diese HOVO-Punkte von der Kamera detektiert, kann davon ausgegangen werden, dass sich das Kraftfahrzeug vor einer Wand befindet, was für eine nachgeschaltete Musterprojektion zwingend erforderlich ist.
  • Durch die Wanddetektion kann jedoch nicht gewährleistet werden, dass keine Inhomogenitäten, die zum Beispiel durch Kantensprünge oder vergleichbare Störungen der Wand hervorgerufen werden können, existieren. In einer bevorzugten Ausführungsform kann daher vorgesehen sein, dass zwischen den Schritten a) und b) eine Prüfung durchgeführt, ob zumindest ein Homogenitätskriterium erfüllt ist.
  • Vorzugsweise kann die Prüfung der Erfüllung des Homogenitätskriteriums durch einen Vergleich der HOVO-Punkte anhand ihrer jeweiligen Lage im Kamerabild der Kamera sowie durch eine Erfassung einer Grauwertvariation in einer definierten Umgebung der H0V0-Punkte erfolgen.
  • In einer bevorzugten Ausführungsform wird vorgeschlagen, dass die Eckpunktextraktion in Schritt c) anhand einer Bildverarbeitungskaskade erfolgt.
  • In einer besonders bevorzugten Ausführungsform kann vorgesehen sein, dass die Dreiecke in Schritt d) durch eine Delaunay-Verknüpfung erzeugt werden. Eine derartige Delaunay-Triangulation hat den Vorteil, dass sie relativ einfach durchgeführt werden kann.
  • In einer besonders vorteilhaften Ausführungsform wird vorgeschlagen, dass die benachbarten Dreiecke in Schritt e) auf Basis einer gefilterten inversen Fast-Fourier-Transformation zu Pixelsegmenten zusammengefasst werden. Bei dieser gefilterten inversen Fast-Fourier-Transformation handelt es sich um eine Anwendung von Bildbearbeitungsfiltern im Frequenzraum (Hochpassfilterung).
  • Weitere Merkmale und Vorteile der vorliegenden Erfindung werden deutlich anhand der nachfolgenden Beschreibung eines bevorzugten Ausführungsbeispiels unter Bezugnahme auf die beiliegenden Abbildungen. Dabei zeigen
    • 1 ein Blockdiagramm mit den Verfahrensschritten eines Verfahrens zur Korrektur von Pixeltrajektorien für eine trajektorienbasierte Zuordnung charakteristischer Merkmale einer Musterprojektion eines Matrixscheinwerfersystems zu Scheinwerfersegmenten des Matrixscheinwerfersystems,
    • 2 eine schematische Darstellung, die eine Zusammenfassung zweier Dreiecke zu einem Pixelsegment veranschaulicht.
  • Die Bedeutung der trajektorienbasierten Merkmalszuordnung wurde oben bereits erläutert. Wenn diese trajektorienbasierte Merkmalszuordnung (beispielsweise aufgrund von Scheinwerferfehlstellungen) nicht funktioniert, wird das nachfolgend beschriebene Verfahren zur Korrektur von Pixeltrajektorien für eine trajektorienbasierte Zuordnung charakteristischer Merkmale einer Musterprojektion eines Matrixscheinwerfersystems zu Scheinwerfersegmenten des Matrixscheinwerfersystems in einem zuvor definierten, kontrollierbaren Zustand durchgeführt, so dass eine etwaige Fehlerkennung aufgrund von Inhomogenitäten etc. ausgeschlossen werden kann.
    Zu diesem Zweck wird in einem ersten Schritt 100 zunächst eine Wanddetektion durchgeführt, bei der die Matrixscheinwerfer des Matrixscheinwerfersystems eine herkömmliche (und ECE-konforme) Abblendlichtverteilung projizieren, so dass die Bestimmung der Pixelelemente durch die Kamera sichergestellt werden kann. Ein charakteristisches Merkmal einer Abblendlichtverteilung ist der so genannte HOVO-Punkt der Hell-Dunkel-Grenze. Dieser HOVO-Punkt ist als Schnittpunkt zwischen einem horizontalen Abschnitt und einem im Anschluss daran folgenden Anstieg der Hell-Dunkel-Grenze definiert. Diese HOVO-Punkte der Matrixscheinwerfer gelten als Referenzpunkte, da deren Zuordnung zu einzelnen Pixelelementen der Matrixscheinwerfer des Matrixscheinwerfersystems eindeutig bekannt ist. Denn der zu beobachtende H0V0-„Knick“ der Hell-Dunkel-Grenze ist durch das Abschalten beziehungsweise Aufschalten definierter Pixelelemente charakterisiert. Entsprechend sind die detektierten Eckpunkte der Pixelelemente an dieser Stelle stets zugeordnet und können als Referenzpunkte gelten.
  • Bei der Wanddetektion wird versucht, mittels der Kamera jeweils den HOVO-Punkt jedes der beiden Matrixscheinwerfer des Matrixscheinwerfersystems zu erfassen. Werden diese HOVO-Punkte von der Kamera detektiert, kann davon ausgegangen werden, dass sich das Kraftfahrzeug vor einer Wand befindet, was für eine nachgeschaltete Musterprojektion zwingend erforderlich ist. Durch diese Wanddetektion kann jedoch nicht gewährleistet werden, dass zwischen den charakteristischen H0V0-Punkten der Matrixscheinwerfer keine Inhomogenitäten existieren.
  • Entsprechend wird daher in einem nächsten Schritt 200 eine Prüfung durchgeführt, ob zumindest ein Homogenitätskriterium erfüllt ist. Dieses erfolgt zum Beispiel durch einen Vergleich der detektierten charakteristischen HOVO-Punkte der beiden Matrixscheinwerfer (links und rechts) des Matrixscheinwerfersystems anhand ihrer jeweiligen Lage im Kamerabild der Kamera sowie durch eine Erfassung einer Grauwertvariation in einer definierten Umgebung der HOVO-Punkte.
  • Ziel ist dabei eine Detektion von möglichst homogenen Projektionswänden, die keine Kantensprünge oder vergleichbare Störungen aufweisen, die zu Inhomogenitäten führen. Wenn die Wand durch die zuvor beschriebene Detektion der HOVO-Punkte der beiden Matrixscheinwerfer des Matrixscheinwerfersystems erkannt wurde, wird nun in diesem zweiten Schritt 200 die Umgebung der HOVO-Punkte auf ihre Homogenität geprüft. Zu diesem Zweck können zahlreiche Homogenitätskriterien, wie sie aus dem Stand der Technik bekannt sind, angewandt werden. Beispielsweise kann hierfür der so genannte Blur-Effekt genutzt werden, welcher Kantenelemente in einem Bildfenster betrachtet und eine Zuordnung der Kantenelemente zu der entsprechend projizierten Lichtverteilung ermöglicht. Stark definiert ausgebildete Kanten unterliegen nach einer Faltung mit einem Gauss-Kernel einer starken Kantendegradation, wohingegen sehr verschwommene Kanten eine eher geringere Degradation aufweisen. Wenn die von der Kamera detektierten Kantenelemente ausschließlich durch die von den Matrixscheinwerfern auf die Wand projizierte Lichtverteilung hervorgerufen wurden, wird das Homogenitätskriterium auf den Status „erfüllt“ gesetzt. Sind hingegen starke Kanten im Bild vertreten, wie zum Beispiel Kantensprünge in der Mitte etc., wird das Homogenitätskriterium auf „nicht erfüllt“ gesetzt. Sollten keine Kantenelemente erfasst werden, wird das Homogenitätskriterium ebenfalls auf „erfüllt“ gesetzt. Somit können Inhomogenitäten beziehungsweise Kantensprünge in der Fahrzeugfrontszene ausgeschlossen werden. Hierdurch kann gewährleistet werden, dass sämtliche projizierten Pixelelemente durch die Kamera aufgelöst werden können und detektiert werden können.
  • Wenn die beiden Verfahrensschritte 100 und 200 positiv abgeschlossen wurden, sind die Voraussetzungen für eine Projektion einer definierten Beleuchtungsszene auf die Wand erfüllt, so dass die nachfolgenden Verfahrensschritte ausgeführt werden können.
  • In einem nächsten Schritt 300 wird von den beiden Matrixscheinwerfern des Matrixscheinwerfersystems ein definiertes Muster auf die zuvor detektierte Wand projiziert. Bei diesem Muster kann es sich beispielsweise um ein Schachbrettmuster handeln, welches durch aktivierte, deaktivierte und gegebenenfalls auch gedimmte Pixelelemente charakterisiert ist.
  • Die Projektion des Musters erfolgt, um dadurch charakteristische Eigenschaften für bestimmte Pixelelemente zur Verfügung zu stellen. Dabei werden gezielt Strukturen in die Lichtverteilung eingebettet, die sich in Ihrer Nachbarschaft unterscheiden. Im späteren Verlauf werden dann für jedes der Pixelelemente dessen Eckpunkte aus dieser Musterprojektiori extrahiert, um die Zustände der Pixelelemente zu bestimmen. Vorzugsweise können in das auf die Wand projizierte Muster Strukturen eingebettet sein, um beispielsweise eine aktive Tiefenrekonstruktion durch Triangulation zu ermöglichen.
  • In einem nächsten Schritt 400 werden für jedes der (vorzugsweise rechteckigen) Pixelelemente die Eckpunkte aus der von der Kamera erfassten Musterprojektion extrahiert, so dass die Zustände der Pixelelemente bestimmt werden können. Diese Eckpunktextraktion kann insbesondere anhand einer Bildverarbeitungskaskade erfolgen.
  • In einem auf die Eckpunktextraktion folgenden Schritt 500 werden die erfassten Eckpunkte durch eine Triangulation, vorzugsweise durch eine Delaunay-Triangulation, zu Dreiecken zusammengefasst. Zu beachten ist in diesem Zusammenhang, dass hierbei sämtliche benachbarten Eckpunkte miteinander verknüpft werden, was unter Umständen zu fehlerbehafteten Verknüpfungen führen kann. Entsprechend sind für das räumliche Mapping nur diejenigen Dreiecke zu verwenden, welche. die Pixelelemente tatsächlich umfassen. Diese Zuordnung basiert auf dem frequenzgefilterten Eingangsbild. Eine positive Frequenzantwort lässt auf einen Lichtpixel schließen und anhand dessen werden die Dreiecke auf positive Frequenzantworten zusammengefasst. Gemäß Schritt 600 werden bei dieser frequenzbasierten Eckpunktzusammenfassung die Dreiecke auf Basis einer gefilterten inversen Fast-Fourier-Transformation zu Pixelsegmenten zusammengefasst, die mit einem Pixelelement eines der Matrixscheinwerfer korrespondieren. Die gefilterte inverse Fast-Fourier-Transformation erfolgt hierbei durch die Anwendung von Bildverarbeitungsfiltern im Frequenzraum (Hochpassfilterung).
  • Wie in 2 gezeigt, werden dort zwei durch eine Delaunay-Triangulation erzeugte Dreiecke D1, D2, welche sich an einer Seite überdecken, zu einem Viereck V kombiniert, sofern diese Dreiecke D1, D2 in positiven Grauwertbereichen der inversen Fast-Fourier-Transformations-Repräsentation liegen. Jedes dieser Vierecke bildet ein Pixelsegment, welches einem (realen) Pixelelement der Pixelmatrix eines der Matrixscheinwerfer zuordenbar ist,
  • In einem nächsten Verfahrensschritt 700 erfolgt eine Zuordnung der Pixelsegmente zu den Scheinwerfersegmenten durch Traversierung. Ausgehend von dem im ersten Schritt 100 für jeden der Matrixscheinwerfer bestimmten Referenzpunkt, welcher vorliegend der HOVO-Punkt ist, welcher durch den Knickpunkt der zuvor projizierten Abblendlichtverteilung definiert ist, werden anhand einer Pixelreferenzmatrix, in welcher alle Pixel-Nachbarschaftsrelationen hinterlegt sind, die Pixelsegmente den einzelnen Scheinwerfersegmenten der Matrixscheinwerfer zugeordnet. Dabei wird ausgenutzt, dass der HOVO-Punkt der Referenzpunkt ist, dessen Position eindeutig bekannt ist. Wenn dieser Referenzpunkt erfasst wird, ist es aufgrund der in der Pixelreferenzmatrix hinterlegten Pixel-Nachbarschaftsrelationen bekannt, welche Pixelsegmente sich in Bezug auf den Referenzpunkt zum Beispiel links oben, rechts oben, links unten und rechts unten von diesem befinden müssen, so dass diese Pixelsegmente ebenfalls zugeordnet werden können. Diesen letztgenannten Pixelsegmenten können ihrerseits mittels der Pixelreferenzmatrix ebenfalls benachbarte Pixelsegmente zugeordnet werden. Somit können sämtliche, aus dem Kamerabild durch Methoden der Bildverarbeitung generierten Pixelsegmente den realen Pixelelementen der Scheinwerfersegmente des Matrixscheinwerfers zugeordnet werden.
  • In einem letzten Schritt 800 erfolgt eine Bereitstellung von zugeordneten Punktewolken zur Initialisierung von Online-Kalibrierungen des Matrixscheinwerfersystems. Durch die Zuordnung aller Eckpunkte zu Pixelelementen der Matrixscheinwerfer des Matrixscheinwerfersystems kann nun eine Punktewolke zur Verfügung gestellt werden, anhand derer eine Online-Kalibrierung initiiert werden kann, so dass die Pixeltrajektorien entsprechend angepasst und somit korrigiert werden können. Daraufhin kann für die Merkmalszuordnung wiederum die trajektorienbasierte Methode genutzt werden.

Claims (7)

  1. Verfahren zur Korrektur von Pixeltrajektorien für eine trajektorienbasierte Zuordnung charakteristischer Merkmale einer Musterprojektion eines Matrixscheinwerfersystems zu Scheinwerfersegmenten des Matrixscheinwerfersystems, umfassend die Schritte a) Detektion einer Wand, auf die eine Lichtverteilung projizierbar ist, durch Erzeugen einer Abblendlichtverteilung mittels des Matrixscheinwerfersystems und Erfassen zumindest eines Referenzpunktes der Abblendlichtverteilung mittels einer Kamera, b) Erzeugen einer Musterprojektion auf der Wand und Einbettung von Strukturen in die Lichtverteilung der Musterprojektion, die sich von benachbarten Strukturen unterscheiden, c) Extraktion aller Eckpunkte der Pixelelemente aus der Musterprojektion, d) Zusammenfassung der extrahierten Eckpunkte zur Erzeugung von Dreiecken, e) Bestimmung der Grauwerte der in Schritt d) erzeugten Dreiecke und Zusammenfassung benachbarter Dreiecke zu jeweils einem Pixelsegment, sofern sich diese an einer Seite überdecken und positive Grauwerte miteinander teilen, f) Zuordnung der in Schritt c) extrahierten Eckpunkte zu den einzelnen, in Schritt e) erhaltenen Pixelsegmenten ausgehend von dem in Schritt a) erfassten, zumindest einen Referenzpunkt mittels einer Pixelreferenzmatrix, in der Pixel-Nachbarschaftsrelationen hinterlegt sind, g) Bereitstellung von zugeordneten Punktewolken auf Basis der in Schritt e) erfolgten Zuordnung aller Eckpunkte zu den Pixelsegmenten zur Initialisierung von Online-Kalibrierungen des Matrixscheinwerfersystems.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass in Schritt a) HOVO-Punkte der Abblendlichtverteilung als Referenzpunkte bestimmt werden.
  3. Verfahren nach einem der Ansprüche 1 oder 2, dadurch gekennzeichnet, dass zwischen den Schritten a) und b) eine Prüfung durchgeführt, ob zumindest ein Homogenitätskriterium erfüllt ist.
  4. Verfahren nach Anspruch 3, dadurch gekennzeichnet, dass die Prüfung der Erfüllung des Homogenitätskriteriums durch einen Vergleich der H0V0-Punkte anhand ihrer jeweiligen Lage im Kamerabild der Kamera sowie durch eine Erfassung einer Grauwertvariation in einer definierten Umgebung der HOVO-Punkte erfolgt.
  5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die Eckpunktextraktion in Schritt c) anhand einer Bildverarbeitungskaskade erfolgt.
  6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass die Dreiecke in Schritt d) durch eine Delaunay-Verknüpfung erzeugt werden.
  7. Verfahren nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass die benachbarten Dreiecke in Schritt e) auf Basis einer gefilterten inversen Fast-Fourier-Transformation zu Pixelsegmenten zusammengefasst werden.
DE102018101047.8A 2018-01-18 2018-01-18 Verfahren zur Korrektur von Pixeltrajektorien für eine trajektorienbasierte Zuordnung charakteristischer Merkmale einer Musterprojektion eines Matrixscheinwerfersystems zu Scheinwerfersegmenten des Matrixscheinwerfersystems Active DE102018101047B4 (de)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102018101047.8A DE102018101047B4 (de) 2018-01-18 2018-01-18 Verfahren zur Korrektur von Pixeltrajektorien für eine trajektorienbasierte Zuordnung charakteristischer Merkmale einer Musterprojektion eines Matrixscheinwerfersystems zu Scheinwerfersegmenten des Matrixscheinwerfersystems

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102018101047.8A DE102018101047B4 (de) 2018-01-18 2018-01-18 Verfahren zur Korrektur von Pixeltrajektorien für eine trajektorienbasierte Zuordnung charakteristischer Merkmale einer Musterprojektion eines Matrixscheinwerfersystems zu Scheinwerfersegmenten des Matrixscheinwerfersystems

Publications (2)

Publication Number Publication Date
DE102018101047A1 DE102018101047A1 (de) 2019-07-18
DE102018101047B4 true DE102018101047B4 (de) 2024-03-28

Family

ID=67068380

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102018101047.8A Active DE102018101047B4 (de) 2018-01-18 2018-01-18 Verfahren zur Korrektur von Pixeltrajektorien für eine trajektorienbasierte Zuordnung charakteristischer Merkmale einer Musterprojektion eines Matrixscheinwerfersystems zu Scheinwerfersegmenten des Matrixscheinwerfersystems

Country Status (1)

Country Link
DE (1) DE102018101047B4 (de)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102021124054A1 (de) 2021-09-17 2023-03-23 Dr. Ing. H.C. F. Porsche Aktiengesellschaft Verfahren, System und Computerprogrammprodukt zum Speichern von Lichtverteilungen eines Matrixscheinwerfersystems

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008011699A1 (de) 2007-03-23 2008-09-25 Volkswagen Ag Verfahren zur Bestimmung einer Eigenschaft für den Betrieb eines Kraftfahrzeugs und entsprechend ausgestaltetes Kraftfahrzeug
DE102010033351A1 (de) 2010-08-04 2012-02-09 Audi Ag Verfahren zur Kalibrierung eines wenigstens einen Scheinwerfer eines Kraftfahrzeugs ansteuernden Fahrzeugsystems
US20140015962A1 (en) 2012-07-13 2014-01-16 Ford Global Technologies, Llc Headlamp aiming using high-dynamic range camera

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102008011699A1 (de) 2007-03-23 2008-09-25 Volkswagen Ag Verfahren zur Bestimmung einer Eigenschaft für den Betrieb eines Kraftfahrzeugs und entsprechend ausgestaltetes Kraftfahrzeug
DE102010033351A1 (de) 2010-08-04 2012-02-09 Audi Ag Verfahren zur Kalibrierung eines wenigstens einen Scheinwerfer eines Kraftfahrzeugs ansteuernden Fahrzeugsystems
US20140015962A1 (en) 2012-07-13 2014-01-16 Ford Global Technologies, Llc Headlamp aiming using high-dynamic range camera

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
„Automatic grid finding in calibration patterns using Delaunay triangulation" (Autoren: C. Shu et al., erschienen in: TECH. REP. NRC-46497/ERB-1104, NATIONAL RESEARCH COUNCIL OF CANADA, 1. August 2003, S. 1-19
C. SHU ET AL: "Automatic grid finding in calibration patterns using Delaunay triangulation", TECH. REP. NRC- 46497/ERB-1104, NATIONAL RESEARCH COUNCIL OF CANADA, 1 August 2003 (2003-08-01), pages 1 - 19, XP055040961

Also Published As

Publication number Publication date
DE102018101047A1 (de) 2019-07-18

Similar Documents

Publication Publication Date Title
DE102017124955B4 (de) Verfahren zum Feststellen einer Lagebeziehung zwischen einer Kamera und einem Scheinwerfer eines Fahrzeugs
DE102018101686B3 (de) Verfahren zur Erkennung von Pixelelementzuständen eines Matrixscheinwerfers eines Matrixscheinwerfersystems
WO2011051281A1 (de) Verfahren und vorrichtung zum erzeugen einer kalibrierten projektion
DE102015012416A1 (de) Projizieren eines vorgebbaren Lichtmusters
DE102015111907B4 (de) Algorithmus zum Erweitern des Erkennungsbereichs für eine AVM-Haltelinienerkennung
DE102018204424B3 (de) Verfahren zum Kalibrieren einer Position eines Matrix-Scheinwerfers eines Kraftfahrzeugs, Steuereinrichtung und Kraftfahrzeug
DE102012102446A1 (de) Kamerabasierte Scheinwerferjustage
DE102018116511B3 (de) Verfahren zur Tiefenwahrnehmung basierend auf beidseitig angeordneten Scheinwerfern eines Fahrzeugs
EP3084385B1 (de) Verfahren und vorrichtung zum bestimmen einer leuchtweitenausrichtung eines scheinwerfers
WO2014206624A1 (de) Verfahren zum überprüfen der einstellung eines scheinwerfers in einem kraftfahrzeug
DE112009003648T5 (de) Verfahren und Vorrichtung zur Barrierentrennung
DE102018101047B4 (de) Verfahren zur Korrektur von Pixeltrajektorien für eine trajektorienbasierte Zuordnung charakteristischer Merkmale einer Musterprojektion eines Matrixscheinwerfersystems zu Scheinwerfersegmenten des Matrixscheinwerfersystems
DE102020000292A1 (de) Verfahren zur Überprüfung der Einstellung von Scheinwerfern
DE102015203074A1 (de) Sensorvorrichtung, System und Verfahren zum Schutz eines Insassen, insbesondere Fahrers, eines Fahrzeugs vor einer Blendung sowie Kraftfahrzeug
DE102017117211B3 (de) Verfahren zur trajektorienbasierten Merkmalszuordnung in einem von einer Bilderfassungseinheit eines Fahrzeugs erfassten Bild
DE102018102113B4 (de) Verfahren zur Detektion von Überlappungsbereichen von Lichtkegeln zweier Matrixscheinwerfer eines Matrixscheinwerfersystems und zur selektiven Abschaltung von Scheinwerfersegmenten der Matrixscheinwerfer
DE102015009657A1 (de) Verfahren zur Kalibrierung und Verfahren zur Justierung einer an einem Fahrzeug angeordneten Kamera
DE102011082881A1 (de) Darstellung der Umgebung eines Kraftfahrzeugs in einer bestimmten Ansicht unter Verwendung räumlicher Information
DE102018118648B4 (de) Verfahren zur Kompensation von Doppelbildern in einer Lichtverteilung eines Matrixscheinwerfers
WO2020069919A1 (de) Verfahren zum unterdrücken von abbildungen von reflexionen in zumindest einem kamerabild einer kamera einer umfeldsensorvorrichtung eines kraftfahrzeugs sowie entsprechende umfeldsensorvorrichtung
WO2022228889A1 (de) Verfahren zum betrieb eines hochauflösenden scheinwerfers eines fahrzeugs
DE102008059551A1 (de) Verfahren zum Ermitteln der Lageänderung eines Kamerasystems und Vorrichtung zum Erfassen und Verarbeiten von Bildern
DE102009032019B4 (de) Projektionsscheinwerfer für ein Kraftfahrzeug
DE102018103060B3 (de) Verfahren zur Lageschätzung einer Wand und zum Aktivieren einer aktiven Triangulation eines Matrixscheinwerfersystems eines Kraftfahrzeugs
DE102011010859A1 (de) Verfahren zum Betreiben eines Kamerasystems in einem Kraftfahrzeug, Kamerasystem und Kraftfahrzeug

Legal Events

Date Code Title Description
R012 Request for examination validly filed
R016 Response to examination communication
R018 Grant decision by examination section/examining division