DE102018101014B3

DE102018101014B3 - A method of detecting characteristic features of a light pattern in an image thereof captured by a vehicle camera

Info

Publication number: DE102018101014B3
Application number: DE102018101014.1A
Authority: DE
Inventors: Christian Schneider; Constantin Haas; Tim Kunz
Original assignee: Dr Ing HCF Porsche AG
Current assignee: Dr Ing HCF Porsche AG
Priority date: 2018-01-18
Filing date: 2018-01-18
Publication date: 2019-02-21
Anticipated expiration: 2038-01-19

Abstract

In verschiedenen Ausführungsbeispielen wird ein Verfahren zum Detektieren charakteristischer Merkmale eines Lichtmusters in einem mittels einer Fahrzeugkamera erfassten Abbild davon bereitgestellt. Das Verfahren weist unter anderem Vergleichen von Frequenzspektren von Simulationsdarstellungen des Lichtmusters bei unterschiedlichen Abständen mit dem Frequenzspektrum des Abbildes des projizierten Lichtmusters, um mindestens eine Zielfrequenz in dem Frequenzspektrum des Abbildes des projizierten Lichtmusters zu identifizieren, welche das projizierte Lichtmuster beschreibt. Daraufhin wird die mindestens eine in dem Frequenzspektrum des Abbildes des projizierten Lichtmusters identifizierte Zielfrequenz verstärkt, um ein modifiziertes Frequenzspektrums des Abbildes des projizierten Lichtmusters zu erhalten. Anschließend wird das modifizierte Frequenzspektrum rücktransformiert und für die weitere Bildverarbeitung verwendet, um darin die charakteristischen Merkmale zu detektieren.

In various embodiments, a method is provided for detecting characteristic features of a light pattern in an image thereof captured by a vehicle camera. The method includes, among other things, comparing frequency spectra of simulation representations of the light pattern at different distances with the frequency spectrum of the image of the projected light pattern to identify at least one target frequency in the frequency spectrum of the image of the projected light pattern describing the projected light pattern. Thereafter, the at least one target frequency identified in the frequency spectrum of the image of the projected light pattern is amplified to obtain a modified frequency spectrum of the image of the projected light pattern. Subsequently, the modified frequency spectrum is transformed back and used for further image processing in order to detect the characteristic features therein.

Description

Vorliegend wird ein Verfahren zum Detektieren charakteristischer Merkmale eines Lichtmusters in einem mittels einer Fahrzeugkamera erfassten Abbild davon bereitgestellt. Bei dem Lichtmuster kann es sich insbesondere um ein von einem Scheinwerfer eines Fahrzeugs erzeugtes Lichtmuster handeln.In the present, there is provided a method of detecting characteristic features of a light pattern in an image thereof captured by a vehicle camera. The light pattern may in particular be a light pattern generated by a headlight of a vehicle.

Aus der US 2010/0189372 A1 ist ein Verfahren zum Detektieren charakteristischer Merkmale eines Lichtmusters bekannt, welches mit einer Kamera ein Abbild einer Projektion eines Lichtmusters erfasst.From the US 2010/0189372 A1 For example, a method is known for detecting characteristic features of a light pattern which captures an image of a projection of a light pattern with a camera.

Viele Kraftfahrzeuge verfügen heutzutage über eine fest eingebaute Fahrzeugkamera (Fahrerassistenzkamera), welche meistens im oberen Bereich der Frontscheibe eingebaut ist. Die Fahrzeugkamera wird bei der Implementierung diverser Fahrerassistenzsysteme verwendet, welche den Fahrer in bestimmten Fahrsituationen unterstützen sollen (z.B. Nachtlichtassistent oder Fahrspurhalteassistent). Unter anderem kann die Fahrzeugkamera verwendet werden, um eine Abstandsmessung zu implementieren. Hierbei bedient man sich der aktiven Triangulation, bei welcher ein charakteristisches Muster vom Scheinwerfer des Fahrzeugs auf eine Projektionsfläche (Szene) projiziert wird, beispielsweise eine Gebäudewand oder die Fahrbahn. Die aktive Triangulation beruht auf einer Fusion aus Kamera und Scheinwerfer des Fahrzeugs, die ein Stereo-System bilden. Das Ausleuchten der Szene mit strukturiertem Licht bekannter optischer und/oder geometrischer Eigenschaften stellt ein Kernmerkmal der aktiven Triangulation dar. Die Szene, welche die Projektion des charakteristischen Musters aufweist, wird von der Fahrzeugkamera abgebildet. Das Abbild der Szene wird dann einer Bildverarbeitung unterzogen, um das Lichtmuster aus dem Kamerabild zu extrahieren. Durch Zuordnen von charakteristischen Merkmalen in dem projizierten Lichtmuster zu den diese Merkmale erzeugenden Segmenten des Scheinwerfers (entspricht dem Lösen des Korrespondenzproblems) kann die Entfernung zwischen dem Fahrzeug und dem auf die Projektionsfläche projizierten Lichtmuster ermittelt werden. Die Merkmalsextraktion aus dem projizierten Lichtmuster ist nicht nur für die Ermittlung der Abstandswerte wichtig, sondern auch für weitere Funktion wie beispielsweise die automatische Scheinwerferkalibrierung.Many motor vehicles today have a permanently installed vehicle camera (driver assistance camera), which is usually installed in the upper region of the windshield. The vehicle camera is used in the implementation of various driver assistance systems which are intended to assist the driver in certain driving situations (for example, night-light assistant or lane-keeping assistant). Among other things, the vehicle camera can be used to implement a distance measurement. Here, one uses the active triangulation, in which a characteristic pattern of the headlight of the vehicle is projected onto a projection screen (scene), for example a building wall or the roadway. The active triangulation is based on a fusion of camera and headlight of the vehicle, which form a stereo system. Illuminating the scene with structured light of known optical and / or geometric properties is a core feature of active triangulation. The scene comprising the projection of the characteristic pattern is imaged by the vehicle camera. The image of the scene is then subjected to image processing to extract the light pattern from the camera image. By assigning characteristic features in the projected light pattern to the segments of the headlamp producing these features (corresponding to solving the correspondence problem), the distance between the vehicle and the light pattern projected onto the projection surface can be determined. The feature extraction from the projected light pattern is important not only for determining the distance values, but also for other functions such as automatic headlight calibration.

Um die aktive Triangulation im Fahrzeug umzusetzen ist ein entsprechendes Aufschalten von Musterprojektion notwendig. Um diese jedoch im Hinblick auf einen großen Erfassungsbereich möglichst weiträumig zu gestalten, müssen beide Scheinwerfer aktiv projizieren. Die erforderliche Merkmalsextraktion selbst stellt ein klassisches Problem der Bildverarbeitung dar, bei welcher charakteristische Merkmale wie Ecken, Kanten usw. aus einem Kamerabild extrahiert werden. Entsprechende klassische Bildverarbeitungsalgorithmen sind in der vorliegenden Problemstellung kaum anwendbar bzw. sind bei Ausführung stark fehlerbehaftet, da die projizierten Lichtmuster stark verschwommene Kanten aufweisen.In order to implement the active triangulation in the vehicle, a corresponding activation of pattern projection is necessary. However, in order to make these as far as possible in terms of a large detection area, both headlamps must actively project. The required feature extraction itself is a classic problem of image processing in which characteristic features such as corners, edges, etc., are extracted from a camera image. Corresponding classical image processing algorithms are scarcely applicable in the present problem situation or are heavily flawed during execution, since the projected light patterns have strongly blurred edges.

In einem bekannten Ansatz wird eine frequenzbasierte Bildverarbeitung angewendet, bei dem Abbilder des Lichtmusters bei unterschiedlichen Abständen simuliert werden und auf ihre Bildfrequenzen hin untersucht werden. Die ermittelten Bildfrequenzen werden zur Anpassung des verwendeten Bildverarbeitungskernels (z.B. Gabor-Filter) verwendet. Durch Multiplikation des angepassten Bildverarbeitungskernels mit einer Frequenzrepräsentation, in welcher vornehmlich die Bildfrequenzen des real erfassten Lichtmusters enthalten sind, lässt sich der Bildverarbeitungskernel optimal an das zu verarbeitende Abbild des Lichtmusters anpassen. Schließlich wird der optimierte Bildverarbeitungskernel im Bildraum mit dem von der Fahrzeugkamera erfassten Abbild des Lichtmusters gefaltet.In a known approach, frequency-based image processing is used in which images of the light pattern are simulated at different distances and examined for their image frequencies. The determined image frequencies are used to adapt the image processing kernel used (e.g., Gabor filters). By multiplying the adapted image processing kernel with a frequency representation in which primarily the image frequencies of the light pattern actually captured are contained, the image processing kernel can be optimally adapted to the image of the light pattern to be processed. Finally, the optimized image processing kernel is folded in the image space with the image of the light pattern captured by the vehicle camera.

Obgleich dieser Ansatz bereits brauchbare Ergebnisse liefert, ist die Anpassung des Bildverarbeitungskernels relativ rechenintensiv, so dass dadurch mitunter keine Online-Fähigkeit im realen Betrieb in einem Fahrzeug gewährleistet werden kann.Although this approach already provides useful results, the adaptation of the image processing kernel is relatively computationally intensive, thereby sometimes failing to ensure online capability in real-world operation in a vehicle.

Aufgrund des begrenzten Abstandes zwischen Scheinwerfer und Fahrzeugkamera kann es zudem von Vorteil sein, wenn der Bildverarbeitungsalgorithmus Eckpunkte der Lichtfelder innerhalb des projizierten Lichtmusters, welche die zu detektierenden charakteristischen Merkmale innerhalb des Lichtmusters darstellen, subpixelgenau detektieren kann. Oberhalb eines bestimmten Abstandes spielen sich die Verschiebungen des Lichtmusters aus Sicht der Fahrzeugkamera im Subpixelbereich ab. Eine Bildverarbeitung, welche nur pixelgenau arbeitet, kann im Subpixelbereich stattfindende Veränderungen des Lichtmusters nicht detektieren.Due to the limited distance between headlight and vehicle camera, it may also be advantageous if the image processing algorithm can detect vertices of the light fields within the projected light pattern, which represent the characteristic features to be detected within the light pattern subpixelgenau. Above a certain distance, the shifts of the light pattern from the point of view of the vehicle camera take place in the subpixel range. Image processing, which works only with pixel precision, can not detect subpixel changes in the light pattern.

Vor diesem Hintergrund soll im Rahmen der vorliegenden Erfindung ein Verfahren bereitgestellt werden, mittels welchem charakteristische Merkmale aus einem projizierten Lichtmuster recheneffizient, insbesondere unter Berücksichtigung der Online-Fähigkeit, detektiert werden. Die Detektion des Lichtmusters, welches vom Scheinwerfer eines Fahrzeugs projiziert werden kann, kann bevorzugt subpixelgenau arbeiten.Against this background, a method is to be provided in the context of the present invention, by means of which characteristic features from a projected light pattern are detected in a computationally efficient manner, in particular taking into account the online capability. The detection of the light pattern, which can be projected by the headlight of a vehicle, can preferably operate subpixelgenau.

Die Aufgabe wird mit einem Verfahren gemäß dem unabhängigen Patentanspruch 1 gelöst. Ausgestaltungen ergeben sich aus den abhängigen Patentansprüchen und der beiliegenden Beschreibung.The object is achieved by a method according to independent claim 1. Embodiments result from the dependent claims and the accompanying description.

Das erfindungsgemäße Verfahren zum Detektieren charakteristischer Merkmale eines Lichtmusters in einem mittels einer Fahrzeugkamera erfassten Abbild der Projektion des Lichtmusters kann in einem ersten Schritt Berechnen von Simulationsdarstellungen des Lichtmusters bei unterschiedlichen Abständen zwischen dem Fahrzeug und einer Projektionsfläche aufweisen, auf die das Lichtmuster jeweils projiziert wird. Jede Simulationsdarstellung kann jeweils ein Lichtmuster bei einem vorgegebenen Abstand zwischen dem Fahrzeug bzw. dem Scheinwerfer und der Projektionsfläche aufweisen. Im Betriebsalltag des Fahrzeugs kann die Projektionsfläche beispielsweise einer Wand oder einem Garagentor entsprechen. Es können Abstände entsprechend dem Funktionsbereich der Abstandsmessung berücksichtigt werden, beispielsweise Abstände zwischen 3 m und 30 m oder zwischen 5 m und 25 m. In jeder der Simulationsdarstellungen soll nur das Lichtmuster enthalten sein ohne störende Einflüsse der Umgebung. The method according to the invention for detecting characteristic features of a light pattern in an image of the projection of the light pattern captured by a vehicle camera may in a first step comprise calculating simulation representations of the light pattern at different distances between the vehicle and a projection surface onto which the light pattern is respectively projected. Each simulation representation can each have a light pattern at a predetermined distance between the vehicle or the headlight and the projection surface. In everyday operating life of the vehicle, the projection surface may correspond, for example, to a wall or a garage door. Distances corresponding to the functional range of the distance measurement can be taken into account, for example distances between 3 m and 30 m or between 5 m and 25 m. In each of the simulation representations only the light pattern should be included without disturbing influences of the environment.

In einem weiteren Schritt des erfindungsgemäßen Verfahrens können die Frequenzspektren der Simulationsdarstellungen des Lichtmusters berechnet werden. Die berechneten Frequenzspektren ergeben sozusagen einen „Frequenzabdruck“ (Frequenz-Fingerprint) des projizierten Lichtmusters. Jedes projizierte Lichtmuster wird durch bestimmte Frequenzen in der Frequenzdarstellung des Kamerabildes beschrieben, welche allgemein durch Frequenzen und Phasen beschrieben wird. Zur Berechnung des Frequenzspektrums eines Abbildes kann die zweidimensionale schnelle Fourier-Transformation (2D FFT) verwendet werden. Unter den Frequenzen des Kamerabildes sind räumliche Frequenzen der Hell/Dunkelvariationen im Frequenzraum des Bildes gemeint und nicht etwa optische Frequenzen, welche auf die Wellenlänge des verwendeten Lichts des Scheinwerfers zurückgehen. Anders ausgedrückt stehen die in dieser Beschreibung gemeinten Frequenzen in Zusammenhang mit periodischen Helligkeitsvariationen in einem Bild. Die Frequenzdarstellung ändert sich entsprechend der Erscheinungsform des Lichtmusters, insbesondere entsprechend der Skalierung des Lichtmusters. Die Skalierung des Lichtmusters ändert sich je nach Abstand von Fahrzeug zu Szene (Projektionsfläche). Bei einem kleinen Abstand zwischen Fahrzeug und Projektionsfläche ist ein Schachbrettmuster als beispielhaftes Lichtmuster gestaucht. In der Frequenzdarstellung ist seine Struktur entsprechend durch höhere (Raum-)Frequenzen bzw. durch eine höhere Grundfrequenz beschrieben. Bei einem großen Abstand zwischen Fahrzeug und Projektionsfläche ist das Schachbrettmuster als beispielhaftes Lichtmuster hingegen gedehnt bzw. langgestreckt. In der Frequenzdarstellung ist seine Struktur dann entsprechend durch niedrige Frequenzen bzw. durch eine niedrige Grundfrequenz beschrieben. Somit weist das Lichtmuster bei jedem Projektionsabstand einen spezifischen abstandsabhängigen Frequenz-Fingerprint auf. Zur Bestimmung der Frequenz der Lichtverteilung werden deshalb Simulationsdarstellungen generiert, in welchen ausschließlich die Lichtverteilung beinhaltet sein kann. Die Simulationsbilder können in vorbestimmten Intervallen, z.B. im Abstand von einem Meter zueinander, über einen vordefinierten Abstandsbereich zwischen Fahrzeug und Projektionsfläche erzeugt werden, etwa 5 m bis 25 m. Zu jedem Simulationsbild kann dann die Frequenzdarstellung mittels Fourier-Transformation berechnet werden. Zur Ermittlung eines Gesamtfrequenzspektrum-Fingerprints können alle berechneten Frequenzdarstellungen miteinander kombiniert werden, beispielsweise durch Mittelwert und Varianz. An diesem Punkt ist die Bildverarbeitung der simulierten abstandsabhängigen Darstellungen des Lichtmusters abgeschlossen. Aus der Analyse der Simulationsdarstellungen des Lichtmusters ist zudem das Intervall bekannt, indem die das Lichtmuster beschreibenden Frequenzen liegen.In a further step of the method according to the invention, the frequency spectra of the simulation representations of the light pattern can be calculated. The calculated frequency spectra result in a kind of "frequency imprint" (frequency fingerprint) of the projected light pattern. Each projected light pattern is described by particular frequencies in the frequency representation of the camera image, which is generally described by frequencies and phases. To calculate the frequency spectrum of an image, the two-dimensional fast Fourier transform (2D FFT) can be used. The frequencies of the camera image mean spatial frequencies of the light / dark variations in the frequency space of the image and not optical frequencies which are due to the wavelength of the light used by the headlight. In other words, the frequencies meant in this description are related to periodic brightness variations in an image. The frequency representation changes according to the appearance of the light pattern, in particular according to the scaling of the light pattern. The scale of the light pattern changes depending on the distance from vehicle to scene (projection surface). With a small distance between the vehicle and the projection surface, a checkerboard pattern is compressed as an exemplary light pattern. In the frequency representation, its structure is correspondingly described by higher (spatial) frequencies or by a higher fundamental frequency. In the case of a large distance between the vehicle and the projection surface, however, the checkerboard pattern as an exemplary light pattern is stretched or elongated. In the frequency representation its structure is then described accordingly by low frequencies or by a low fundamental frequency. Thus, the light pattern at each projection distance on a specific distance-dependent frequency fingerprint. To determine the frequency of the light distribution, therefore, simulation representations are generated in which only the light distribution can be included. The simulation images may be taken at predetermined intervals, e.g. At a distance of one meter from each other, generated over a predefined distance range between the vehicle and the projection surface, about 5 m to 25 m. For each simulation image, the frequency representation can then be calculated by means of Fourier transformation. To determine an overall frequency spectrum fingerprint, all calculated frequency representations can be combined with one another, for example by mean value and variance. At this point, the image processing of the simulated distance-dependent representations of the light pattern is completed. From the analysis of the simulation representations of the light pattern, the interval is also known, in that the frequencies describing the light pattern lie.

In der Frequenzdarstellung einer Simulationsdarstellung des Lichtmusters kann mehr als eine Frequenz enthalten sein. Neben einer Grundfrequenz des Lichtmusters, welche wegen der 2D-Darstellung eine x-Komponente und eine y-Komponente aufweisen kann, die je nach Ausgestaltung des Lichtmusters zudem unterschiedlich sein können und die Grundstruktur des Lichtmusters beschreiben, können höhere Frequenzen im Frequenzspektrum enthalten sein. Die höheren Frequenzen (ebenfalls eine x- und y-Komponente aufweisend) können die scharfen Übergänge zwischen den hellen und dunklen Flächen in der simulierten Darstellung des Lichtmusters beschreiben. Das Frequenzspektrum einer Simulationsdarstellung kann auf die Grundfrequenz oder auf diese und einige wenige benachbarte Frequenzen beschränkt werden. Bei der Grundfrequenz einer Simulationsdarstellung eines Lichtmusters kann es sich um eine Frequenz handeln, welche im Frequenzraum dem Ursprung am nächsten liegt, also um die kleinste Frequenz in der Frequenzdarstellung der simulierten Darstellung des Lichtmusters. Ein Frequenzspektrum einer Simulationsdarstellung kann also unter Umständen nur eine Frequenz enthalten. In verschiedenen Ausführungsbeispielen können aber auch mehrere Frequenzen berücksichtigt werden, beispielsweise die Grundfrequenz sowie alle weiteren Frequenzen bis zu einer vorbestimmten Grenzfrequenz, welche für jedes Lichtmuster individuell berechnet werden kann. Nachfolgend kann der Vereinfachung halber angenommen werden, dass ein simuliertes Lichtmuster in der dazugehörigen Frequenzdarstellung durch eine Grundfrequenz (mit x-Komponente und y-Komponente) definiert ist und folglich sein Frequenzspektrum die Frequenzen der simulierten Lichtverteilungen umfasst.The frequency representation of a simulation representation of the light pattern may include more than one frequency. In addition to a fundamental frequency of the light pattern, which may have an x-component and a y-component due to the 2D representation, which may also be different depending on the design of the light pattern and describe the basic structure of the light pattern, higher frequencies may be included in the frequency spectrum. The higher frequencies (also having an x and y component) can describe the sharp transitions between the light and dark areas in the simulated representation of the light pattern. The frequency spectrum of a simulation representation may be limited to the fundamental frequency or to these and a few adjacent frequencies. The fundamental frequency of a simulation representation of a light pattern can be a frequency which is closest to the origin in the frequency space, ie the smallest frequency in the frequency representation of the simulated representation of the light pattern. A frequency spectrum of a simulation representation may thus contain only one frequency under certain circumstances. In various embodiments, however, several frequencies can also be taken into account, for example the fundamental frequency as well as all other frequencies up to a predetermined cutoff frequency, which can be calculated individually for each light pattern. Hereinafter, for the sake of simplicity, it can be assumed that a simulated light pattern in the associated frequency representation is defined by a fundamental frequency (with x-component and y-component) and consequently its frequency spectrum comprises the frequencies of the simulated light distributions.

In einem nachfolgenden Schritt des erfindungsgemäßen Verfahrens wird das Frequenzspektrum des Abbildes des projizierten Lichtmusters berechnet. Bei dem Abbild des projizierten Lichtmusters handelt es sich um ein durch die Fahrzeugkamera erfasstes reales Abbild des beispielsweise auf eine Wand projizierten Lichtmusters samt dessen Umgebung. In dem von der Fahrzeugkamera erfassten Abbild kann das projizierte Lichtmusters im Gegensatz zur synthetischen Darstellung des Lichtmusters in den Simulationsdarstellungen in einer realen Umgebung dargestellt sein. Die reale Umgebung des projizierten Lichtmusters kann zum Beispiel andere Lichtquellen und weitere Objekte wie Fahrzeuge, Straßenschilder usw. aufweisen, die aus der Sicht der Bildverarbeitung zur Merkmalsextraktion als irrelevante Strukturen bzw. störende Einflüsse bewertet werden können. Im Folgenden wird ein von der Fahrzeugkamera erfasstes Abbild eines projizierten Lichtmusters ggfs. samt Objekten in seiner natürlichen Umgebung als Kamerabild bezeichnet. In a subsequent step of the method according to the invention, the frequency spectrum of the image of the projected light pattern is calculated. The image of the projected light pattern is a real image, captured by the vehicle camera, of the light pattern projected onto a wall, for example, together with its surroundings. In the image captured by the vehicle camera, in contrast to the synthetic representation of the light pattern, the projected light pattern can be represented in the simulation representations in a real environment. The real environment of the projected light pattern may include, for example, other light sources and other objects such as vehicles, street signs, etc., which may be evaluated as irrelevant structures or disturbing influences from the viewpoint of image processing for feature extraction. In the following, an image of a projected light pattern captured by the vehicle camera, if appropriate, together with objects in its natural environment, is referred to as a camera image.

In einem nachfolgenden Schritt kann das erfindungsgemäße Verfahren Vergleichen der Frequenzspektren der Simulationsdarstellungen des Lichtmusters mit dem Frequenzspektrum des Abbildes des projizierten Lichtmusters aufweisen, um mindestens eine Zielfrequenz in dem Frequenzspektrum des Abbildes des projizierten Lichtmusters zu identifizieren, welche das projizierte Lichtmuster definiert. In diesem Schritt wird im Prinzip eine abstandsabhängige Simulationsdarstellung ermittelt, welche die größte Korrelation mit der Frequenzdarstellung des Abbildes des projizierten Lichtmusters aufweist. Es wird also die abstandsabhängige Simulationsdarstellung ermittelt, deren Frequenz(en) im Frequenzspektrum des Kamerabildes vorkommt (vorkommen) bzw. die im Frequenzraum unter allen anderen Simulationsdarstellungen den größten Überlapp mit dem Kamerabild aufweist. Da die Simulationsdarstellungen ausschließlich das Lichtmuster aufweisen, weisen ihre vollständigen Frequenzspektren nur Frequenzen auf, welche die Struktur des charakteristischen Musters beschreiben. Folglich kann jedes Frequenzspektrum einer entsprechenden Simulationsdarstellung als Filter aufgefasst werden. Durch den Vergleich der Frequenzspektren der Simulationsdarstellungen des Lichtmusters mit dem erfassten Abbild des Lichtmusters kann deren Korrelation ermittelt werden. Es kann also zu jeder Simulationsdarstellung ermittelt werden, wie stark ihr Frequenzspektrum mit dem Frequenzspektrum des Kamerabildes übereinstimmt. Hierbei wird besonders deutlich, dass in dieser Phase des Verfahrens die möglicherweise störende Umgebung des real projizierten Lichtmusters ausgeblendet wird, da sie Strukturen mit anderen Frequenzen aufweist. Durch den Abgleich mit den Frequenzspektren der Simulationsdarstellungen erfolgt eine Filterung des Frequenzspektrums des Kamerabildes auf seinen für das weitere Verfahren wesentlichen Teil, der eben das Lichtmuster definiert. Wurde eine Simulationsdarstellung mit dem größten Frequenzüberlapp mit dem Frequenzspektrum des Kamerabildes ermittelt, so ist nunmehr auch der Abstand zwischen der Projektionsfläche und dem Scheinwerfer und dem Fahrzeug bekannt, da er dem zur Simulation des Lichtmusters verwendeten Abstand entspricht. Ferner liefert das Frequenzspektrum der Simulationsdarstellung die mindestens eine Zielfrequenz, welche das projizierte Lichtmuster im Kamerabild beschreibt.In a subsequent step, the inventive method may comprise comparing the frequency spectra of the simulation representations of the light pattern with the frequency spectrum of the image of the projected light pattern to identify at least one target frequency in the frequency spectrum of the image of the projected light pattern defining the projected light pattern. In this step, a distance-dependent simulation representation is in principle determined, which has the greatest correlation with the frequency representation of the image of the projected light pattern. Thus, the distance-dependent simulation representation is determined whose frequency (s) occur in the frequency spectrum of the camera image (or which has the greatest overlap with the camera image in the frequency domain among all other simulation representations. Since the simulation representations have only the light pattern, their complete frequency spectra only have frequencies which describe the structure of the characteristic pattern. Consequently, each frequency spectrum of a corresponding simulation representation can be interpreted as a filter. By comparing the frequency spectra of the simulation representations of the light pattern with the acquired image of the light pattern, its correlation can be determined. It can therefore be determined for each simulation representation how strongly their frequency spectrum coincides with the frequency spectrum of the camera image. It becomes particularly clear that in this phase of the method, the possibly disturbing environment of the real projected light pattern is hidden because it has structures with different frequencies. By comparison with the frequency spectra of the simulation representations, the frequency spectrum of the camera image is filtered on its part which is essential for the further method and which precisely defines the light pattern. If a simulation representation has been determined with the greatest frequency overlap with the frequency spectrum of the camera image, the distance between the projection surface and the headlight and the vehicle is now also known since it corresponds to the distance used to simulate the light pattern. Furthermore, the frequency spectrum of the simulation representation supplies the at least one target frequency, which describes the projected light pattern in the camera image.

In einem nachfolgenden Schritt des Verfahrens wird die mindestens eine in dem Frequenzspektrum des Abbildes des projizierten Lichtmusters identifizierte Zielfrequenz verstärkt, um ein modifiziertes Frequenzspektrum des Abbildes des projizierten Lichtmusters zu erhalten. Anders ausgedrückt werden in dem Frequenzspektrum des Abbildes des projizierten Lichtmusters relevante Frequenzen verstärkt, wohingegen Frequenzen, die nicht das Lichtmuster definieren und folglich mit anderen Bildinhalten zusammenhängen, nicht verstärkt werden, also effektiv unterdrückt werden. Damit wird das Kamerabild im Frequenzraum bearbeitet, so dass in dem modifizierten Frequenzspektrum die Komponenten, welche das Lichtmuster beschreiben, singulär oder zumindest verstärkt vorliegen.In a subsequent step of the method, the at least one target frequency identified in the frequency spectrum of the image of the projected light pattern is amplified to obtain a modified frequency spectrum of the image of the projected light pattern. In other words, in the frequency spectrum of the image of the projected light pattern, relevant frequencies are amplified, whereas frequencies which do not define the light pattern and consequently are related to other image contents are not amplified, thus effectively suppressed. Thus, the camera image is processed in the frequency domain, so that in the modified frequency spectrum, the components that describe the light pattern, singular or at least amplified.

In einem nachfolgenden Schritt des Verfahrens wird ein modifiziertes Abbild des Lichtmusters aus dem modifizierten Frequenzspektrum berechnet, beispielsweise mittels der inversen Fourier-Transformation. Das resultierende modifizierte Abbild des Lichtmusters enthält im Wesentlichen nur die Darstellung des Lichtmusters bzw. eine gegenüber der nativen Aufnahme des Lichtmusters durch die Fahrzeugkamera deutlichere Darstellung des Lichtmusters, da das Lichtmuster gegenüber anderen Bildinhalten in seiner Umgebung hervorgehoben bzw. verstärkt worden ist.In a subsequent step of the method, a modified image of the light pattern is calculated from the modified frequency spectrum, for example by means of the inverse Fourier transformation. The resulting modified image of the light pattern essentially contains only the representation of the light pattern or a representation of the light pattern that is clearer than the native recording of the light pattern by the vehicle camera, since the light pattern has been emphasized or enhanced in relation to other image contents in its surroundings.

In einem nachfolgenden Schritt des Verfahrens werden schließlich die charakteristischen Merkmale, zum Beispiel Eckpunkte des Lichtmusters, in dem modifizierten Abbild des Lichtmusters detektiert. Hierzu können gängige Algorithmen der Bildverarbeitung verwendet werden.Finally, in a subsequent step of the method, the characteristic features, for example corner points of the light pattern, are detected in the modified image of the light pattern. Common image processing algorithms can be used for this purpose.

Gemäß weiteren Ausführungsbeispielen des Verfahrens kann es sich bei der Projektionseinheit des Fahrzeugs um einen Scheinwerfer des Fahrzeugs handeln. Insbesondere kann es sich bei dem Scheinwerfer um einen Scheinwerfer mit einer Anordnung von diskreten Leuchtmitteln handeln, beispielsweise um einen LED-Matrix Scheinwerfer, bei dem die einzelnen LED als Leuchtmittel auch als Pixel bezeichnet werden. Das Lichtmuster kann von einer entsprechenden Konfiguration (an/aus) der Leuchtmittel des Scheinwerfers projiziert werden. According to further embodiments of the method, the projection unit of the vehicle may be a headlight of the vehicle. In particular, the headlight may be a headlight with an arrangement of discrete light sources, for example an LED matrix headlight, in which the individual LEDs are referred to as bulbs and pixels. The light pattern may be projected from a corresponding configuration (on / off) of the headlamp bulbs.

Gemäß weiteren Ausführungsbeispielen des Verfahrens kann das projizierte Lichtmuster ein Muster mit hellen und dunklen polygonalen Flächen aufweisen, bevorzugt ein Schachbrettmuster. Dabei kann jede helle Fläche von einem Leuchtmittel des Scheinwerfers erzeugt werden, beispielsweise von einem Pixel eines LED-Matrix Scheinwerfers. Dunkle Flächen können inaktiven (kein Licht abstrahlenden) Leuchtmitteln des Scheinwerfers entsprechen. Ein reales Abbild des projizierten Lichtmusters kann optischen Verzerrungen und Abbildungsfehlern unterliegen und daher können die an sich polygonalen Flächen auch abgerundet erscheinen.According to further embodiments of the method, the projected light pattern may have a pattern with light and dark polygonal surfaces, preferably a checkerboard pattern. In this case, each bright surface can be generated by a light source of the headlight, for example, by a pixel of an LED matrix headlight. Dark areas may correspond to inactive (no light emitting) bulbs of the headlamp. A real image of the projected light pattern may undergo optical distortions and aberrations, and therefore the polygonal surfaces themselves may also appear rounded.

Gemäß weiteren Ausführungsbeispielen kann das Verfahren ferner Berechnen eines Lichtmustergesamtspektrums durch Überlagern der Frequenzspektren der Simulationsdarstellungen des Lichtmusters aufweisen, welches dem Frequenz-Fingerprint des Lichtmusters entspricht. In dem Lichtmustergesamtspektrum können also die zu den Simulationsdarstellungen des Lichtmusters ermittelten Frequenzspektren miteinander mathematisch kombiniert werden. Die einzelnen Frequenzspektren der Simulationsdarstellungen können beispielsweise normiert und addiert werden. Die Frequenzspektren können auch auf Basis ihrer (ggfs. normierten) Mittelwerte und Varianzen miteinander kombiniert werden.According to further embodiments, the method may further comprise calculating a light pattern entire spectrum by superposing the frequency spectra of the simulation representations of the light pattern corresponding to the frequency fingerprint of the light pattern. In the overall pattern of light patterns, therefore, the frequency spectra determined for the simulation representations of the light pattern can be mathematically combined with one another. The individual frequency spectra of the simulation representations can be normalized and added, for example. The frequency spectra can also be combined on the basis of their (possibly normalized) averages and variances.

Gemäß weiteren Ausführungsbeispielen des Verfahrens kann das Vergleichen der Frequenzspektren der Simulationsdarstellungen des Lichtmusters mit dem Frequenzspektrum des Kamerabildes ein Überlagern des Frequenzspektrums des Kamerabildes mit dem Lichtmustergesamtspektrum aufweisen, wodurch ein Überlagerungs- oder Korrelationsspektrum gebildet wird. Anders ausgedrückt kann bei diesem Vergleich die Korrelation zwischen dem Frequenz-Fingerprint der Simulationsdarstellungen und der Frequenzdarstellung des Abbildes des Lichtmusters ermittelt werden. Wie bereits erwähnt, kann die Frequenzrepräsentation des von der Fahrzeugkamera erfassten Abbildes üblicherweise zusätzlich zur Frequenz des projizierten Lichtmusters zahlreiche andere unerwünschte Frequenzen enthalten. Wird das Frequenzspektrum des Kamerabildes mit dem Lichtmustergesamtspektrum verglichen, so lässt sich gezielt und sehr spezifisch die Frequenz des projizierten Lichtmusters aus dem Kamerabild extrahieren. Da der Abstand zwischen Fahrzeug und Lichtmuster nicht bekannt ist, ist zunächst nicht bekannt, welche Simulationsdarstellung im Frequenzraum die stärkste Korrelation mit dem Frequenzspektrum des im Kamerabild enthaltenen Lichtmusters aufweist. Durch Überlagern des Frequenzspektrums des Kamerabildes mit dem des Lichtmustergesamtspektrums kann bestimmt werden, welche Frequenz(en) aus dem Lichtmustergesamtspektrum in dem Frequenzspektrum des Kamerabildes vorkommt bzw. vorkommen. Mit Überlagern der Frequenzspektren kann ein verstärkendes Überlagern gemeint sein in dem Sinne, dass im Lichtmustergesamtspektrum vorkommende Frequenzen des Frequenzspektrums des Kamerabildes verstärkt bzw. mit einem großen Faktor größer Null multipliziert werden, während im Lichtmustergesamtspektrum nicht vorkommende Frequenzen des Frequenzspektrums des Kamerabildes mit einem kleinen Faktor größer Null oder Null multipliziert werden. Das Überlagern kann auch Multiplizieren der beiden Frequenzspektren miteinander aufweisen. In dem so gebildeten Überlageruns- oder Korrelationsspektrum sind Koeffizienten für übereinstimmende Frequenzen groß, während Koeffizienten für nicht übereinstimmende Frequenzen klein oder Null sind.According to further embodiments of the method, comparing the frequency spectra of the simulation representations of the light pattern with the frequency spectrum of the camera image may comprise superimposing the frequency spectrum of the camera image on the light pattern entire spectrum, thereby forming a heterodyne or correlation spectrum. In other words, in this comparison, the correlation between the frequency fingerprint of the simulation representations and the frequency representation of the image of the light pattern can be determined. As previously mentioned, the frequency representation of the image captured by the vehicle camera may typically include many other unwanted frequencies in addition to the frequency of the projected light pattern. If the frequency spectrum of the camera image is compared with the overall light pattern spectrum, then the frequency of the projected light pattern can be specifically and very specifically extracted from the camera image. Since the distance between the vehicle and the light pattern is not known, it is initially unknown which simulation representation in the frequency domain has the strongest correlation with the frequency spectrum of the light pattern contained in the camera image. By superimposing the frequency spectrum of the camera image with that of the light pattern overall spectrum, it can be determined which frequency (s) from the overall light pattern spectrum occurs or occur in the frequency spectrum of the camera image. Superimposing the frequency spectra may mean amplifying superimposition in the sense that frequencies of the frequency spectrum of the camera image occurring in the overall light pattern spectrum are multiplied or multiplied by a large factor greater than zero, while non-occurring frequencies of the frequency spectrum of the camera image in the overall light pattern spectrum are larger by a small factor Zero or zero multiplied. The overlay may also include multiplying the two frequency spectra. In the overlay or correlation spectrum thus formed, coefficients for matching frequencies are large, while coefficients for unmatched frequencies are small or zero.

Gemäß weiteren Ausführungsbeispielen des Verfahrens kann das Verstärken der mindestens einen in dem Frequenzspektrum des Abbildes des projizierten Lichtmusters identifizierten Zielfrequenz ein Multiplizieren der dazugehörigen Amplitude (bzw. des dazugehörigen Koeffizienten) mit einem Faktor aufweisen. Dadurch wird eine Bildbearbeitung im Frequenzraum des Kamerabildes erreicht, bei der relevante, d.h. das Lichtmuster beschreibende Frequenzen verstärkt werden. Gemäß einem Ausführungsbeispiel kann es sich bei dem Faktor um die Amplitude (bzw. den Koeffizienten) der Zielfrequenz in dem Überlagerungsspektrum handeln. In einem Ausführungsbeispiel kann diese Multiplikation durchgeführt werden, indem beispielsweise das Korrelationsspektrum mit der Frequenzdarstellung des Abbildes des projizierten Lichtmusters multipliziert wird.According to further embodiments of the method, amplifying the at least one target frequency identified in the frequency spectrum of the image of the projected light pattern may comprise multiplying the associated amplitude (or the associated coefficient) by a factor. This achieves image processing in the frequency domain of the camera image where relevant, i. the light pattern descriptive frequencies are amplified. According to one embodiment, the factor may be the amplitude (or coefficient) of the target frequency in the overlay spectrum. In one embodiment, this multiplication may be performed by, for example, multiplying the correlation spectrum by the frequency representation of the image of the projected light pattern.

Gemäß weiteren Ausführungsbeispielen des Verfahrens kann das Detektieren der charakteristischen Merkmale in dem modifizierten Abbild des Lichtmusters Detektieren von Kanten aufweisen. Unter Kanten können hell-dunkel Übergänge verstanden werden, also Grenzen zwischen hellen (beleuchteten) und dunklen (nicht beleuchteten) Feldern des Lichtmusters. Die Kanten können als Umrisse der hellen Felder des Lichtmusters verstanden werden. Zur Kantendetektion kann ein geeigneter Algorithmus zur Kantendetektion verwendet werden, beispielsweise ein auf dem „partial area effect“ beruhender Algorithmus oder ein Algorithmus, welcher Nulldurchgänge detektiert (z.B. ein Nulldurchgangsalgorithmus). Im letzteren Fall kann zunächst eine Umskalierung der Helligkeitswerte im Abbild des Lichtmusters erfolgen. Beispielsweise kann eine Umskalierung beinhalten, dass der größte Helligkeitswert auf +100 gesetzt wird und der kleinste Helligkeitswert auf -100 gesetzt wird und die Werte dazwischen entsprechend umskaliert werden.According to further embodiments of the method, detecting the characteristic features in the modified image of the light pattern may comprise detecting edges. Edges can be understood to mean light-dark transitions, ie boundaries between bright (illuminated) and dark (not illuminated) fields of the light pattern. The edges can be understood as outlines of the bright fields of the light pattern. For edge detection, a suitable edge detection algorithm may be used, such as an "area effect" based algorithm or an algorithm that detects zero crossings (e.g., a zero crossing algorithm). In the latter case, a rescaling of the brightness values in the image of the light pattern can first take place. For example, rescaling may involve setting the largest brightness value to +100 and setting the smallest brightness value to -100 and rescaling the values therebetween accordingly.

In einem weiteren Ausführungsbeispiel des Verfahrens kann das Detektieren der charakteristischen Merkmale in dem modifizierten Abbild des Lichtmusters Detektieren von vertikalen Kanten aufweisen. Unter vertikalen Kanten des Lichtmusters sind Kanten bzw. Kantenkomponenten gemeint, welche eine 0° Ausrichtung aufweisen. Die Selektion der vertikalen Kanten kann in einem der allgemeinen Kantendetektion nachgelagerten Schritt erfolgen, bei dem zunächst sowohl vertikale als auch horizontale Kantenelemente detektiert werden. Zur Kantendetektion können zahlreiche im Stand der Technik bekannte Detektionsalgorithmen verwendet werden, beispielsweise der sogenannte „chord-to-point distance accumulation“ (CPDA) Algorithmus.In another embodiment of the method, detecting the characteristic features in the modified image of the light pattern may include detecting vertical edges. Below vertical edges of the light pattern are edges or edge components which have a 0 ° orientation. The selection of the vertical edges can be carried out in a step downstream of the general edge detection, in which first both vertical and horizontal edge elements are detected. For edge detection numerous detection algorithms known in the art may be used, for example the so-called "chord-to-point distance accumulation" (CPDA) algorithm.

In einem weiteren Ausführungsbeispiel des Verfahrens kann das Detektieren der charakteristischen Merkmale ferner Detektieren von Eckpunkten der polygonalen Flächen aufweisen, welche entlang der vertikalen Kanten angeordnet sind. Die Eckpunkte innerhalb des Lichtmusters stellen die charakteristischen Merkmale bzw. die Zielobjekte dar, die im Rahmen des hier vorgestellten Verfahrens im Lichtmuster detektiert werden sollen. Die detektierten Eckpunkte können für die weiterführende Triangulation zur Verfügung gestellt werden. Auf Basis der Detektion der vertikalen Kanten der Lichtfelder des Lichtmusters können die Eckpunkte des Lichtmusters ermittelt werden, indem die Endpunkte der vertikalen Kanten detektiert werden. Je nach Ausgestaltung des Lichtmusters können obere bzw. untere Endpunkte von Kanten, die zu obersten bzw. untersten Feldern des Lichtmusters gehören, finale Eckpunkte darstellen. Endpunkte von Kanten, die zwischen oberen und unteren Endpunkten angeordnet sind, können als vorläufige Endpunkte aufgefasst werden und einem weiteren Bildverarbeitungsschritt unterzogen werden, bei dem auf ihrer Basis finale Eckpunkte mit Subpixelgenauigkeit ermittelt werden. Die finalen Eckpunkte können beispielsweise mittels einer Taylorreihenentwicklung 2. Ordnung der lokalen Umgebung eines vorläufigen Eckpunktes ermittelt werden und entsprechen Sattelpunkten dieser Umgebung. Auf Basis der ermittelten finalen Eckpunkte kann weiterführend eine Triangulation zwecks Distanzmessung durchgeführt werden.In another embodiment of the method, the detection of the characteristic features may further comprise detecting vertices of the polygonal surfaces disposed along the vertical edges. The corner points within the light pattern represent the characteristic features or the target objects that are to be detected in the light pattern in the context of the method presented here. The detected vertices can be made available for further triangulation. Based on the detection of the vertical edges of the light fields of the light pattern, the corner points of the light pattern can be detected by detecting the end points of the vertical edges. Depending on the configuration of the light pattern, upper and lower end points of edges which belong to uppermost or lowermost fields of the light pattern may represent final corner points. End points of edges located between upper and lower endpoints may be considered tentative endpoints and subjected to another image processing step of finding final vertices with subpixel accuracy based thereon. The final vertices can be, for example, by means of a Taylor series development 2 , Order of the local environment of a temporary vertex are determined and correspond to saddle points of this environment. On the basis of the determined final corner points, a triangulation for the purpose of distance measurement can be carried out.

Gemäß weiteren Ausführungsbeispielen kann das Verfahren ferner Anpassen der Helligkeitswerte in dem mittels der Fahrzeugkamera aufgenommenen Abbild der Projektion des Lichtmusters aufweisen. Dieser Anpassung der Helligkeitswerte kann eine über den gesamten Signalbereich einheitlich lineare optoelektronische Übertragungsfunktion (OECF - optoelectronic conversion function) zugrunde gelegt werden. Die optoelektronische Übertragungsfunktion beschreibt, wie Bildsensoren von Digitalkameras (CMOS- und CCD-Bildsensoren) Licht/Photonen in elektrische Signale umwandeln, also wie sie Helligkeiten in digitale Werte umsetzen. Dieser Wandlung erfolgt üblicherweise nicht gemäß einer über den ganzen Helligkeitsbereich des Bildsensors hinweg linearen Beziehung zwischen dem optischen Eingangssignal und dem elektrischen oder digitalen Ausgangssignal der Kamera. Vielmehr wird eine stückweise lineare optoelektronische Übertragungsfunktion verwendet, wobei die Steigung zu größer werdenden Helligkeiten (welche höheren Photonenströmen entsprechen) abnimmt. Im dazugehörigen Graphen der optoelektronischen Übertragungsfunktion sind die linearen Abschnitte an Kniepunkten miteinander verbunden, wobei von einem zum nächsten Kniepunkt die Steigung des nachfolgenden linearen Abschnitts der Übertragungsfunktion geringer wird. Es wurde festgestellt, dass die bei höheren Helligkeitswerten - also im Bereich der projizierten Lichtverteilung - abflachende Steigung der Funktion von Nachteil ist, da sie zu einem geringeren Kontrast führt. Durch eine Linearisierung der stückweise linearen aber insgesamt einem Logarithmus nachgebildeten optoelektronischen Übertragungsfunktion kann eine deutliche Kontrasterhöhung in den Kamerabildern erreicht werden. Die Linearisierung kann im Zuge eines Bildverarbeitungsschrittes erfolgen, bei dem die Helligkeitswerte, welche aus dem Bereich mit der geringen Steigung der Übertragungsfunktion stammen, umskaliert werden (mit einem Faktor multipliziert werden), wodurch eine andere Steigung der optoelektronische Übertragungsfunktion simuliert werden kann. Die Umskalierung kann so erfolgen, dass die optoelektronische Übertragungsfunktion über den gesamten vom Bildsensor erfassbaren Helligkeitsbereich eine lineare Steigung aufweist. Die Linearisierung der optoelektronischen Übertragungsfunktion der Fahrzeugkamera kann zu einer vorteilhaften Kontrasterhöhung bei den Kamerabildern führen.According to further embodiments, the method may further comprise adjusting the brightness values in the image of the projection of the light pattern recorded by the vehicle camera. This adjustment of the brightness values can be based on a uniformly linear optoelectronic transfer function (OECF) over the entire signal range. The optoelectronic transfer function describes how image sensors of digital cameras (CMOS and CCD image sensors) convert light / photons into electrical signals, ie how they convert brightnesses into digital values. This conversion usually does not occur according to a linear relationship between the optical input signal and the electrical or digital output signal of the camera over the entire brightness range of the image sensor. Rather, a piecewise linear optoelectronic transfer function is used, wherein the slope decreases to increasing brightnesses (which correspond to higher photon currents) decreases. In the associated graph of the optoelectronic transfer function, the linear sections are connected at knee points, with the slope of the subsequent linear section of the transfer function decreasing from one to the next knee point. It has been found that the slope of the function which flattenes at higher brightness values, ie in the range of the projected light distribution, is disadvantageous since it leads to a lower contrast. By linearizing the piecewise linear but overall a logarithm reproduced optoelectronic transfer function, a significant increase in contrast in the camera images can be achieved. The linearization can be done in the course of an image processing step in which the brightness values which originate from the region with the low slope of the transfer function are rescaled (multiplied by a factor), whereby a different slope of the optoelectronic transfer function can be simulated. The rescaling can take place in such a way that the optoelectronic transfer function has a linear gradient over the entire brightness range which can be detected by the image sensor. The linearization of the optoelectronic transfer function of the vehicle camera can lead to an advantageous increase in contrast in the camera images.

Die im Rahmen dieser Beschreibung verwendeten Begriffe Frequenz, Frequenzraum und Frequenzdarstellung beziehen sich allesamt auf die Ortsfrequenzen, also auf Kehrwerte einer Länge, etwa einer von Perioden von Hell/Dunkelwechseln in einem Bild. Insbesondere sind hier mit Frequenzen nicht die optischen Frequenzen von sichtbarem Licht gemeint.The terms frequency, frequency space and frequency representation used in the context of this description all refer to the spatial frequencies, ie to reciprocal values of a length, for example one of periods of light / dark changes in an image. In particular, here frequencies do not mean the optical frequencies of visible light.

Weitere Einzelheiten, Merkmale und Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung von bevorzugten Ausführungsformen anhand der Zeichnungen. Die Zeichnungen illustrieren dabei lediglich beispielhafte Ausführungsformen der Erfindung, welche den wesentlichen Erfindungsgedanken nicht einschränken. Further details, features and advantages of the invention will become apparent from the following description of preferred embodiments with reference to the drawings. The drawings illustrate only exemplary embodiments of the invention, which do not limit the essential inventive idea.

Insbesondere sind die Dimensionen und geometrische Relationen der in den Figuren dargestellten Elemente nicht als limitierend zu werten.

1 zeigt Flussdiagramm, in dem der Verlauf einer Ausführungsform des erfindungsgemäßen Verfahrens veranschaulicht ist.
2 veranschaulicht die Berechnung eines Frequenzspektrums zu einer Darstellung des Lichtmusters im Bildraum.
3 zeigt ein beispielhaftes Überlagerungsspektrum (Korrelationsspektrum).
4 veranschaulicht die Modifizierung des Abbilds des projizierten Lichtmusters.
5 veranschaulicht die Detektion charakteristischer Merkmale des Lichtmusters.

In particular, the dimensions and geometric relationships of the elements shown in the figures are not to be regarded as limiting.

1 shows a flowchart in which the course of an embodiment of the method according to the invention is illustrated.
2 illustrates the calculation of a frequency spectrum to a representation of the light pattern in the image space.
3 shows an exemplary overlay spectrum (correlation spectrum).
4 illustrates the modification of the image of the projected light pattern.
5 illustrates the detection of characteristic features of the light pattern.

In Figur ist ein Flussdiagramm 1 gezeigt, in dem eine Ausführungsform des erfindungsgemäßen Verfahrens veranschaulicht ist. In einem ersten Schritt 10 werden Simulationsdarstellungen des Lichtmusters bei jeweils unterschiedlichen Abständen zwischen dem Fahrzeug und einer Projektionsfläche berechnet, auf die das Lichtmuster projiziert wird. In einem darauffolgenden Schritt 11 wird zu jeder Simulationsdarstellung des Lichtmusters ein dazugehöriges Frequenzspektrum berechnet, beispielsweise mittels Fourier-Transformation. In Schritt 12, welcher vor, parallel zu oder nach Schritt 11 erfolgen kann, wird das Frequenzspektrum des Abbildes des projizierten Lichtmusters berechnet. Dieser Schritt kann vom Vorgang her Schritt 11 entsprechen. In einem nachfolgenden Schritt 13 werden die Frequenzspektren der Simulationsdarstellungen des Lichtmusters mit dem Frequenzspektrum des Abbildes des projizierten Lichtmusters, wie von der Fahrzeugkamera erfasst, verglichen. Ziel des Vergleiches ist das Identifizieren mindestens einer Zielfrequenz in dem Frequenzspektrum des Abbildes des projizierten Lichtmusters, welche das projizierte Lichtmuster beschreibt. In einem nachfolgenden Schritt 14 wird die mindestens eine in dem Frequenzspektrum des Abbildes des projizierten Lichtmusters identifizierte Zielfrequenz verstärkt, um ein modifiziertes Frequenzspektrum des Abbildes des projizierten Lichtmusters zu erhalten. In einem nachfolgenden Schritt 15 wird ein modifiziertes Abbild des Lichtmusters aus dem modifizierten Frequenzspektrum berechnet, wobei in dem modifizierten Abbild des Lichtmusters im Wesentlichen nur dieses enthalten sein kann, d.h. ohne störende bzw. unerwünschte Elemente aus der realen Umgebung der Projektion des Lichtmusters. In einem weiteren nachfolgenden Schritt 16 werden die charakteristischen Merkmale in dem modifizierten Abbild des Lichtmusters detektiert.In figure is a flow chart 1 shown in which an embodiment of the method according to the invention is illustrated. In a first step 10 Simulation images of the light pattern are calculated at different distances between the vehicle and a projection surface onto which the light pattern is projected. In a subsequent step 11 For each simulation representation of the light pattern, an associated frequency spectrum is calculated, for example by means of Fourier transformation. In step 12 , which before, parallel to or after step 11 can be done, the frequency spectrum of the image of the projected light pattern is calculated. This step may be step by step 11 correspond. In a subsequent step 13 For example, the frequency spectra of the simulation representations of the light pattern are compared with the frequency spectrum of the image of the projected light pattern as detected by the vehicle camera. The aim of the comparison is to identify at least one target frequency in the frequency spectrum of the image of the projected light pattern which describes the projected light pattern. In a subsequent step 14 the at least one target frequency identified in the frequency spectrum of the image of the projected light pattern is amplified to obtain a modified frequency spectrum of the image of the projected light pattern. In a subsequent step 15 a modified image of the light pattern is calculated from the modified frequency spectrum, wherein in the modified image of the light pattern substantially only this can be included, ie without disturbing or unwanted elements from the real environment of the projection of the light pattern. In another subsequent step 16 the characteristic features are detected in the modified image of the light pattern.

In 2 ist der Vorgang des Ermittelns des Frequenzspektrums zu einer Darstellung des Lichtmusters veranschaulicht, welcher in 1 in Schritt 11 und 12 durchgeführt wird. Es ist ein beispielhaftes Lichtmuster 20 in Form eines Schachbrettmusters dargestellt, welches helle (lichtgefüllte) Flächen oder Segmente 22 und dunkle (unbeleuchtete) Flächen oder Segmente 21 aufweist. Im Rahmen dieser Beschreibung sollen die schaffierten (gefüllten) Flächen 22 in den Figuren als die beleuchteten (lichtgefüllten) Flächen und die weißen (leeren) Flächen 21 als dunkle (lichtleere) Flächen darstellen. Das Lichtmuster 20 kann einem simulierten oder im Wesentlichen auch einem tatsächlich von der Fahrzeugkamera erfassten Lichtmuster entsprechen, wobei es im letzteren Fall einem idealisierten Lichtmuster entspricht. Im Falle einer Simulationsdarstellung des Lichtmusters 20 ist einzig dieses in der Darstellung enthalten, insbesondere ohne störende Einflüsse von Umgebungsobjekten. Das gezeigte Lichtmuster 20 kann, wie bereits erläutert, für verschiedene Abstände zwischen Scheinwerfer und Projektionsfläche berechnet bzw. simuliert werden. Jede der simulierten Darstellungen wird einer Fourier-Transformation 24 unterzogen, um das Frequenzspektrum 25 des Lichtmusters 20 zu berechnen, welches in der rechten Hälfte der 1 dargestellt ist. Auf der x-Achse 26 des dazugehörigen Koordinatensystems ist die Ortsfrequenz w_X in x-Richtung aufgetragen und auf der y-Achse 27 ist die Ortsfrequenz w_Y in y-Richtung aufgetragen. Wie dargestellt, weist das Frequenzspektrum 25 zahlreiche Komponenten 28 auf, von denen die am Ursprung am nächsten liegenden Komponenten 28 die Grundstruktur des Lichtmusters 20 beschreiben, während die höherwertigen Komponenten die Feinstruktur der Hell/Dunkelübergänge beschreiben und auch durch die spezifische Ausgestaltung und Abstrahlungscharakteristik des realen Scheinwerfers bedingt sind. Im Rahmen des erfindungsgemäßen Verfahrens kann das Frequenzspektrum 25 auf die Komponenten 28 beschränkt werden, welche im Bereich des Ursprungs des Diagramms liegen. Anders ausgedrückt können hochfrequente Komponenten vernachlässigt werden.In 2 the process of determining the frequency spectrum to a representation of the light pattern is shown, which in 1 in step 11 and 12 is carried out. It is an exemplary pattern of light 20 represented in the form of a checkerboard pattern, which bright (light-filled) surfaces or segments 22 and dark (unlit) surfaces or segments 21 having. In the context of this description, the created (filled) surfaces 22 in the figures, as the illuminated (light-filled) areas and the white (empty) areas 21 represent as dark (empty) surfaces. The light pattern 20 may correspond to a simulated or essentially also a light pattern actually captured by the vehicle camera, in the latter case corresponding to an idealized light pattern. In the case of a simulation representation of the light pattern 20 this is only included in the presentation, in particular without disturbing influences of surrounding objects. The light pattern shown 20 can, as already explained, be calculated or simulated for different distances between headlight and projection surface. Each of the simulated representations becomes a Fourier transform 24 subjected to the frequency spectrum 25 of the light pattern 20 to calculate which in the right half of the 1 is shown. On the x-axis 26 of the corresponding coordinate system, the spatial frequency w _X is plotted in the x direction and the y-axis 27 is the spatial frequency w _Y applied in the y-direction. As shown, the frequency spectrum indicates 25 numerous components 28 of which the components closest to origin 28 the basic structure of the light pattern 20 describe, while the higher-value components describe the fine structure of the light / dark transitions and are also due to the specific design and radiation characteristics of the real headlight. In the context of the method according to the invention, the frequency spectrum 25 on the components 28 be limited, which are in the range of the origin of the diagram. In other words, high-frequency components can be neglected.

Die Frequenzspektren der bei verschiedenen Abständen simulierten Darstellungen des Lichtmusters 20 können jeweils einzeln mit der Frequenzdarstellung des Abbildes des Lichtmusters auf eine vorliegende Korrelation überprüft werden. Bevorzugt können sie jedoch zu einem Lichtmustergesamtspektrum kombiniert werden, beispielsweise durch Addition der Frequenzspektren oder durch Mittelwertbildung über alle Frequenzspektren. Das Lichtmustergesamtspektrum entspricht sozusagen einer Frequenzkarte, welche im späteren Einsatz (insbesondere im Betriebsalltag des Fahrzeugs) wiederkehrend mit der Frequenzrepräsentation des Kamerabildes verglichen werden kann, um die Korrelation zwischen den Frequenzspektren zu untersuchen. Es kann beispielsweise ein Korrelationsspektrum 30 gebildet werden, welches in stark vereinfachter Form in 3 veranschaulicht ist. Das dazugehörige in perspektivischer Ansicht gezeigte zweidimensionale Koordinatensystem wird von einer x-Achse 31 und einer y-Achse 32 aufgespannt, auf denen entsprechend ausgerichtete Ortsfrequenzen w_X und w_Y aufgetragen sind; die z-Achse 33 entspricht einer normierten Werteachse. Das Korrelationsdiagramm 30 kann aus dem Vergleich des Lichtmustergesamtspektrums mit der Frequenzrepräsentation des Kamerabildes ermittelt werden, beispielsweise durch deren Überlagerung oder Multiplikation. Das Frequenzspektrum des Kamerabildes, welches das Lichtmuster enthält, weist das in 2 gezeigte idealisierte Frequenzspektrum 25 auf, welches jedoch üblicherweise mit weiteren Komponenten „verunreinigt“ ist, welche durch die reale Umgebung des projizierten Lichtmusters 20 bedingt sind. Das Korrelationsspektrum 30 hingegen enthält nur Frequenzen, welche sowohl in der Frequenzdarstellung des Kamerabildes als auch im Lichtmustergesamtspektrum vorkommen, wobei die bevorzugt normierte Amplitude den Korrelationsgrad angeben kann. Das in 3 gezeigte beispielhafte Überlagerungsspektrum 30 weist vier Gruppen von Zielfrequenzen auf, die das projizierte Lichtmuster 20 im Kamerabild beschreiben. Der Vergleich zur Ermittlung des Überlagerungsspektrums 30 kann beispielsweise mittels einer normierten Kreuzkorrelation erfolgen, bei der ein korrelationsbasierter Vergleich eines fourier-transformierten Eingangssignals mit einem Mittelwert eines fourier-transformierten Signals erfolgt. Dieser Berechnungsschritt kann effizient durchgeführt werden, insbesondere ohne Rückgriff auf die Varianz des fourier-transformierten Signals.The frequency spectra of the simulated representations of the light pattern at different distances 20 can each be individually checked with the frequency representation of the image of the light pattern to a present correlation. However, they can preferably be combined to form a light pattern overall spectrum, for example by adding the frequency spectra or by averaging over all frequency spectra. The overall pattern of light patterns corresponds, so to speak, to a frequency map, which in later use (in particular in the day-to-day use of the vehicle) can be repeatedly compared with the frequency representation of the camera image in order to investigate the correlation between the frequency spectra. It may, for example, be a correlation spectrum 30 formed in a greatly simplified form in 3 is illustrated. The associated two-dimensional coordinate system shown in perspective view is from an x-axis 31 and a y-axis 32 spanned on which correspondingly aligned spatial frequencies w _X and w _{Y are} plotted; the z-axis 33 corresponds to a normalized value axis. The correlation diagram 30 can be determined from the comparison of the light pattern total spectrum with the frequency representation of the camera image, for example by their superimposition or multiplication. The frequency spectrum of the camera image, which contains the light pattern, has the in 2 shown idealized frequency spectrum 25 however, which is usually "contaminated" with other components passing through the real environment of the projected light pattern 20 are conditional. The correlation spectrum 30 on the other hand, it only contains frequencies that occur both in the frequency representation of the camera image and in the overall light pattern spectrum, wherein the preferably normalized amplitude can indicate the degree of correlation. This in 3 shown exemplary overlay spectrum 30 has four sets of target frequencies that represent the projected light pattern 20 in the camera picture. The comparison to determine the overlay spectrum 30 can be done for example by means of a normalized cross-correlation, in which a correlation-based comparison of a Fourier-transformed input signal with an average value of a Fourier-transformed signal. This calculation step can be carried out efficiently, in particular without resorting to the variance of the Fourier-transformed signal.

In 4 ist der Einfluss der Modifizierung des Frequenzspektrums des Lichtmusters auf seine Erscheinungsform veranschaulicht, die letztendlich zu seiner Optimierung führt. Auf der linken Seite der 4 ist ein Ausschnitt des Kamerabildes gezeigt, welcher das projizierte Lichtmuster 40 aufweist. Tatsächlich ist ein solches Lichtmuster 40 relativ verwaschen und Ecken der Lichtfelder 41 überlagern sich, wodurch ihre Leuchtkraft ansteigt, so dass eine Erkennung der Eckpunkte als charakteristischer Merkmale innerhalb des Lichtmusters erschwert wird. Gemäß dem in 1 veranschaulichten Verfahrensablauf wird das erfasste Abbild des Lichtmusters 40 in den Frequenzraum transformiert (siehe auch 3). Darin werden dann nur die Frequenzen verstärkt, die tatsächlich mit dem Lichtmuster 40 zusammenhängen (Zielfrequenzen), während die übrigen Frequenzen unterdrückt bzw. ausgelöscht werden (siehe Schritt 14 im Flussdiagramm 10 in 1). Durch Rücktransformation des so erhaltenen modifizierten Frequenzspektrums erhält man eine modifizierte Darstellung des Lichtmusters 43, welche deutlicher und schärfer ist. Die auf die Optimierung der Darstellungsgüte des Lichtmusters gerichtete Bildverarbeitung 42 erfolgt gänzlich im Frequenzraum. Insbesondere wird das Abbild des Lichtmusters ohne rechenintensive Faltung im Bildraum optimiert. Durch die Bildverarbeitung 42, welche auf den Schritten 10 bis 15 des in 1 gezeigten Flussdiagramms basiert, kann zum einen die Umgebung des Lichtmusters aus dem Kamerabild entfernt werden. Zum anderen, wie auf der rechten Seite der 4 angedeutet, sind die Lichtfelder 41 deutlicher voneinander getrennt. Die gesamte Darstellung des Lichtmusters 43 wirkt klarer und bietet eine bessere Ausgangsbasis für die nachfolgende Detektion von charakteristischen Merkmalen innerhalb des Lichtmusters.In 4 illustrates the influence of modifying the frequency spectrum of the light pattern on its appearance, which ultimately leads to its optimization. On the left side of the 4 a section of the camera image is shown showing the projected light pattern 40 having. In fact, such a light pattern 40 relatively washed out and corners of the light fields 41 overlap, whereby their luminosity increases, so that detection of the vertices as characteristic features within the light pattern is difficult. According to the in 1 illustrated process sequence is the captured image of the light pattern 40 transformed into the frequency domain (see also 3 ). Therein only the frequencies are amplified, which actually with the light pattern 40 are related (target frequencies), while the remaining frequencies are suppressed or canceled (see step 14 in the flowchart 10 in 1 ). Reverse transformation of the modified frequency spectrum thus obtained gives a modified representation of the light pattern 43 , which is clearer and sharper. The image processing directed to the optimization of the quality of presentation of the light pattern 42 takes place entirely in the frequency domain. In particular, the image of the light pattern is optimized without computation-intensive convolution in the image space. Through the image processing 42 which on the steps 10 to 15 of in 1 On the one hand, the environment of the light pattern can be removed from the camera image. On the other hand, as on the right side of the 4 indicated are the fields of light 41 more clearly separated. The entire representation of the light pattern 43 works more clearly and provides a better starting basis for the subsequent detection of characteristic features within the light pattern.

Der anschießende Vorgang, welcher auf die Detektion der Eckpunkte des Lichtmusters abstellt, ist in 5 veranschaulicht, in der ein Ausschnitt des Lichtmusters 50 dargestellt ist. Wie bereits erläutert, weist das Lichtmuster 50 spezifisch, beispielsweise schachbrettartig angeordnete lichtgefüllte Felder 41 auf. Gemäß Schritt 16 des in 1 veranschaulichten Verfahrens ist nun das Ziel, die Eckpunkte des Lichtmusters 50 zu detektieren. Dieses kann erfolgen, in dem Kanten des Lichtmusters detektiert werden. Bevorzugt kann der Fokus nur auf die vertikalen Kanten 51 gelegt werden. Aus Gründen der Übersichtlichkeit sind nur einige Kanten und Eckpunkte mit ihren Bezugszeichen versehen. Die Zielgrößen des Verfahrens, d.h. die Eckpunkte, werden als Endpunkte 52 der detektierten vertikalen Kanten 51 definiert und entsprechend ermittelt. Die detektierten Endpunkte 52 können in zwei Gruppen aufgeteilt werden: äußere und innere Endpunkte 52. Unter äußeren Endpunkten 52 können solche verstanden werden, die am oberen bzw. am unteren Ende einer Kante 51 liegen, die ein oberes bzw. ein unteres Lichtfeld 41 des Lichtmusters 50 beschreibt. In 50 sind äußere Endpunkte 52 solche, die oberhalb der ersten Linie 53 oder unterhalb der zweiten Linie 54 angeordnet sind. Obere bzw. untere Endpunkte 52 können pixelgenau ermittelt werden und werden als finale Eckpunkte aufgefasst. Im Bereich zwischen den beiden Linien 53, 54 sind innenliegende Lichtfelder 41 angeordnet. Endpunkte 52, welche auf Kanten 51 mittig liegender Lichtfelder 41 liegen und pixelgenau ermittelt worden sind, werden als vorläufige Eckpunkte aufgefasst. Die vorläufigen Eckpunkte können als Saatpunkte für eine nachgeschaltete Kantenpunktdetektion mit Subpixelgenauigkeit herangezogen werden. Hierzu kann mittels Taylorentwicklung 2. Grades die lokale Umgebung der vorläufigen Eckpunkte angenähert werden und in dieser Umgebung der Sattelpunkt bestimmt werden (Verfahren ist beispielsweise „A new sub-pixel detector for grid target points in camera calibration“, ICO20: Optical Information Processing. Edited by Sheng, Yunlong; Zhuang, Songlin; Zhang, Yimo; Proceedings of the SPIE, Volume 6027, pp. 675-680 (2006) bekannt). Die so ermittelten Sattelpunkte entsprechen dann finalen Endpunkten.The subsequent process, which is based on the detection of the vertices of the light pattern, is in 5 illustrates in which a section of the light pattern 50 is shown. As already explained, the light pattern indicates 50 specifically, for example, checkerboard-like light-filled fields 41 on. According to step 16 of in 1 The method illustrated is now the goal, the vertices of the light pattern 50 to detect. This can be done by detecting edges of the light pattern. Preferably, the focus can only be on the vertical edges 51 be placed. For reasons of clarity, only a few edges and corner points are provided with their reference numerals. The process parameters, ie the vertices, are used as endpoints 52 the detected vertical edges 51 defined and determined accordingly. The detected endpoints 52 can be divided into two groups: outer and inner endpoints 52 , Under outer endpoints 52 can be understood that at the top or at the bottom of an edge 51 lie, an upper or a lower light field 41 of the light pattern 50 describes. In 50 are outer endpoints 52 those above the first line 53 or below the second line 54 are arranged. Upper or lower endpoints 52 can be determined pixel-precise and are considered as final corner points. In the area between the two lines 53 . 54 are internal light fields 41 arranged. endpoints 52 which on edges 51 centered light fields 41 lie and have been determined with pixel precision are considered as provisional cornerstones. The preliminary corner points can be used as seed points for a downstream edge point detection with subpixel accuracy. For this purpose, by means of Taylor development 2 , The locality of the provisional vertices is approximated and the saddle point determined in this environment (method is, for example, "A new sub-pixel detector for grid target points in camera calibration", ICO20: Optical Information Processing.) Edited by Sheng, Yunlong, Zhuang , Songlin; Zhang, Yimo; Proceedings of the SPIE, Volume 6027 , pp. 675-680 (2006)). The saddle points determined in this way then correspond to final endpoints.

Claims

A method of detecting characteristic features of a light pattern (20) in an image captured by a vehicle camera of a projection of the light pattern (20) generated by a projection unit of the vehicle, comprising the steps of: i) calculating simulation representations of the light pattern (20) at different ones intervals between the vehicle and a projection surface onto which the light pattern is respectively projected; ii) calculating frequency spectra (25) of the simulation representations of the light pattern (20); iii) calculating the frequency spectrum (25) of the image of the projected light pattern (20) detected by the vehicle camera; iv) comparing the frequency spectra (25) of the simulation representations of the light pattern (20) with the frequency spectrum (25) of the image of the projected light pattern (20) to find the simulation representation whose frequency spectrum has the greatest correlation with the frequency spectrum of the image of the projected light pattern; to identify therefrom at least one target frequency in the frequency spectrum (25) of the image of the projected light pattern (20) describing the projected light pattern (20); v) amplifying the at least one target frequency identified in the frequency spectrum (25) of the image of the projected light pattern (20) to obtain a modified frequency spectrum of the image of the projected light pattern; vi) calculating a modified image of the light pattern (20) from the modified frequency spectrum vii) detecting the characteristic features in the modified image of the light pattern (20).

Method according to Claim 1 wherein the projection unit is a headlight of the vehicle.

Method according to Claim 1 or 2 wherein the projected light pattern (20) has a pattern with light and dark polygonal areas (21, 22), preferably a checkerboard pattern.

Method according to one of Claims 1 to 3 , further comprising: calculating a light pattern entire spectrum by superposing the frequency spectra of the simulation representations of the light pattern (20).

Method according to Claim 4 wherein comparing the frequency spectra (25) of the simulation representations of the light pattern (20) with the frequency spectrum of the image of the projected light pattern (20) overlaps the frequency spectrum (25) of the image of the projected light pattern (20) with the light pattern entire spectrum, thereby providing a heterodyne spectrum is formed.

Method according to Claim 1 wherein amplifying the at least one target frequency identified in the frequency spectrum (25) of the image of the projected light pattern (20) comprises multiplying the associated amplitude by a factor.

Method according to Claim 5 and 6 wherein the multiplication factor corresponds to the amplitude of the target frequency in the overlay spectrum.

Method according to one of Claims 1 to 7 wherein detecting the characteristic features in the modified image of the light pattern (20) comprises detecting edges.

Method according to Claim 8 wherein detecting the characteristic features in the modified image of the light pattern (20) comprises detecting vertical edges (51).

Method according to Claim 9 wherein detecting the characteristic features further comprises detecting vertices of the polygonal surfaces disposed along the vertical edges.

Method according to one of Claims 1 to 10 , further comprising: adjusting brightness values in the image of the projection of the light pattern recorded by means of the vehicle camera on the basis of an optoelectronic transfer function of the image capture unit of the vehicle camera assumed to be uniformly linear over the entire signal range.