DE102018101014B3 - A method of detecting characteristic features of a light pattern in an image thereof captured by a vehicle camera - Google Patents
A method of detecting characteristic features of a light pattern in an image thereof captured by a vehicle camera Download PDFInfo
- Publication number
- DE102018101014B3 DE102018101014B3 DE102018101014.1A DE102018101014A DE102018101014B3 DE 102018101014 B3 DE102018101014 B3 DE 102018101014B3 DE 102018101014 A DE102018101014 A DE 102018101014A DE 102018101014 B3 DE102018101014 B3 DE 102018101014B3
- Authority
- DE
- Germany
- Prior art keywords
- light pattern
- image
- frequency
- frequency spectrum
- spectrum
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
- G01B11/25—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
- G01B11/2513—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object with several lines being projected in more than one direction, e.g. grids, patterns
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
- G01S17/06—Systems determining position data of a target
- G01S17/46—Indirect determination of position data
- G01S17/48—Active triangulation systems, i.e. using the transmission and reflection of electromagnetic waves other than radio waves
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Image Analysis (AREA)
- Length Measuring Devices By Optical Means (AREA)
Abstract
In verschiedenen Ausführungsbeispielen wird ein Verfahren zum Detektieren charakteristischer Merkmale eines Lichtmusters in einem mittels einer Fahrzeugkamera erfassten Abbild davon bereitgestellt. Das Verfahren weist unter anderem Vergleichen von Frequenzspektren von Simulationsdarstellungen des Lichtmusters bei unterschiedlichen Abständen mit dem Frequenzspektrum des Abbildes des projizierten Lichtmusters, um mindestens eine Zielfrequenz in dem Frequenzspektrum des Abbildes des projizierten Lichtmusters zu identifizieren, welche das projizierte Lichtmuster beschreibt. Daraufhin wird die mindestens eine in dem Frequenzspektrum des Abbildes des projizierten Lichtmusters identifizierte Zielfrequenz verstärkt, um ein modifiziertes Frequenzspektrums des Abbildes des projizierten Lichtmusters zu erhalten. Anschließend wird das modifizierte Frequenzspektrum rücktransformiert und für die weitere Bildverarbeitung verwendet, um darin die charakteristischen Merkmale zu detektieren. In various embodiments, a method is provided for detecting characteristic features of a light pattern in an image thereof captured by a vehicle camera. The method includes, among other things, comparing frequency spectra of simulation representations of the light pattern at different distances with the frequency spectrum of the image of the projected light pattern to identify at least one target frequency in the frequency spectrum of the image of the projected light pattern describing the projected light pattern. Thereafter, the at least one target frequency identified in the frequency spectrum of the image of the projected light pattern is amplified to obtain a modified frequency spectrum of the image of the projected light pattern. Subsequently, the modified frequency spectrum is transformed back and used for further image processing in order to detect the characteristic features therein.
Description
Vorliegend wird ein Verfahren zum Detektieren charakteristischer Merkmale eines Lichtmusters in einem mittels einer Fahrzeugkamera erfassten Abbild davon bereitgestellt. Bei dem Lichtmuster kann es sich insbesondere um ein von einem Scheinwerfer eines Fahrzeugs erzeugtes Lichtmuster handeln.In the present, there is provided a method of detecting characteristic features of a light pattern in an image thereof captured by a vehicle camera. The light pattern may in particular be a light pattern generated by a headlight of a vehicle.
Aus der
Viele Kraftfahrzeuge verfügen heutzutage über eine fest eingebaute Fahrzeugkamera (Fahrerassistenzkamera), welche meistens im oberen Bereich der Frontscheibe eingebaut ist. Die Fahrzeugkamera wird bei der Implementierung diverser Fahrerassistenzsysteme verwendet, welche den Fahrer in bestimmten Fahrsituationen unterstützen sollen (z.B. Nachtlichtassistent oder Fahrspurhalteassistent). Unter anderem kann die Fahrzeugkamera verwendet werden, um eine Abstandsmessung zu implementieren. Hierbei bedient man sich der aktiven Triangulation, bei welcher ein charakteristisches Muster vom Scheinwerfer des Fahrzeugs auf eine Projektionsfläche (Szene) projiziert wird, beispielsweise eine Gebäudewand oder die Fahrbahn. Die aktive Triangulation beruht auf einer Fusion aus Kamera und Scheinwerfer des Fahrzeugs, die ein Stereo-System bilden. Das Ausleuchten der Szene mit strukturiertem Licht bekannter optischer und/oder geometrischer Eigenschaften stellt ein Kernmerkmal der aktiven Triangulation dar. Die Szene, welche die Projektion des charakteristischen Musters aufweist, wird von der Fahrzeugkamera abgebildet. Das Abbild der Szene wird dann einer Bildverarbeitung unterzogen, um das Lichtmuster aus dem Kamerabild zu extrahieren. Durch Zuordnen von charakteristischen Merkmalen in dem projizierten Lichtmuster zu den diese Merkmale erzeugenden Segmenten des Scheinwerfers (entspricht dem Lösen des Korrespondenzproblems) kann die Entfernung zwischen dem Fahrzeug und dem auf die Projektionsfläche projizierten Lichtmuster ermittelt werden. Die Merkmalsextraktion aus dem projizierten Lichtmuster ist nicht nur für die Ermittlung der Abstandswerte wichtig, sondern auch für weitere Funktion wie beispielsweise die automatische Scheinwerferkalibrierung.Many motor vehicles today have a permanently installed vehicle camera (driver assistance camera), which is usually installed in the upper region of the windshield. The vehicle camera is used in the implementation of various driver assistance systems which are intended to assist the driver in certain driving situations (for example, night-light assistant or lane-keeping assistant). Among other things, the vehicle camera can be used to implement a distance measurement. Here, one uses the active triangulation, in which a characteristic pattern of the headlight of the vehicle is projected onto a projection screen (scene), for example a building wall or the roadway. The active triangulation is based on a fusion of camera and headlight of the vehicle, which form a stereo system. Illuminating the scene with structured light of known optical and / or geometric properties is a core feature of active triangulation. The scene comprising the projection of the characteristic pattern is imaged by the vehicle camera. The image of the scene is then subjected to image processing to extract the light pattern from the camera image. By assigning characteristic features in the projected light pattern to the segments of the headlamp producing these features (corresponding to solving the correspondence problem), the distance between the vehicle and the light pattern projected onto the projection surface can be determined. The feature extraction from the projected light pattern is important not only for determining the distance values, but also for other functions such as automatic headlight calibration.
Um die aktive Triangulation im Fahrzeug umzusetzen ist ein entsprechendes Aufschalten von Musterprojektion notwendig. Um diese jedoch im Hinblick auf einen großen Erfassungsbereich möglichst weiträumig zu gestalten, müssen beide Scheinwerfer aktiv projizieren. Die erforderliche Merkmalsextraktion selbst stellt ein klassisches Problem der Bildverarbeitung dar, bei welcher charakteristische Merkmale wie Ecken, Kanten usw. aus einem Kamerabild extrahiert werden. Entsprechende klassische Bildverarbeitungsalgorithmen sind in der vorliegenden Problemstellung kaum anwendbar bzw. sind bei Ausführung stark fehlerbehaftet, da die projizierten Lichtmuster stark verschwommene Kanten aufweisen.In order to implement the active triangulation in the vehicle, a corresponding activation of pattern projection is necessary. However, in order to make these as far as possible in terms of a large detection area, both headlamps must actively project. The required feature extraction itself is a classic problem of image processing in which characteristic features such as corners, edges, etc., are extracted from a camera image. Corresponding classical image processing algorithms are scarcely applicable in the present problem situation or are heavily flawed during execution, since the projected light patterns have strongly blurred edges.
In einem bekannten Ansatz wird eine frequenzbasierte Bildverarbeitung angewendet, bei dem Abbilder des Lichtmusters bei unterschiedlichen Abständen simuliert werden und auf ihre Bildfrequenzen hin untersucht werden. Die ermittelten Bildfrequenzen werden zur Anpassung des verwendeten Bildverarbeitungskernels (z.B. Gabor-Filter) verwendet. Durch Multiplikation des angepassten Bildverarbeitungskernels mit einer Frequenzrepräsentation, in welcher vornehmlich die Bildfrequenzen des real erfassten Lichtmusters enthalten sind, lässt sich der Bildverarbeitungskernel optimal an das zu verarbeitende Abbild des Lichtmusters anpassen. Schließlich wird der optimierte Bildverarbeitungskernel im Bildraum mit dem von der Fahrzeugkamera erfassten Abbild des Lichtmusters gefaltet.In a known approach, frequency-based image processing is used in which images of the light pattern are simulated at different distances and examined for their image frequencies. The determined image frequencies are used to adapt the image processing kernel used (e.g., Gabor filters). By multiplying the adapted image processing kernel with a frequency representation in which primarily the image frequencies of the light pattern actually captured are contained, the image processing kernel can be optimally adapted to the image of the light pattern to be processed. Finally, the optimized image processing kernel is folded in the image space with the image of the light pattern captured by the vehicle camera.
Obgleich dieser Ansatz bereits brauchbare Ergebnisse liefert, ist die Anpassung des Bildverarbeitungskernels relativ rechenintensiv, so dass dadurch mitunter keine Online-Fähigkeit im realen Betrieb in einem Fahrzeug gewährleistet werden kann.Although this approach already provides useful results, the adaptation of the image processing kernel is relatively computationally intensive, thereby sometimes failing to ensure online capability in real-world operation in a vehicle.
Aufgrund des begrenzten Abstandes zwischen Scheinwerfer und Fahrzeugkamera kann es zudem von Vorteil sein, wenn der Bildverarbeitungsalgorithmus Eckpunkte der Lichtfelder innerhalb des projizierten Lichtmusters, welche die zu detektierenden charakteristischen Merkmale innerhalb des Lichtmusters darstellen, subpixelgenau detektieren kann. Oberhalb eines bestimmten Abstandes spielen sich die Verschiebungen des Lichtmusters aus Sicht der Fahrzeugkamera im Subpixelbereich ab. Eine Bildverarbeitung, welche nur pixelgenau arbeitet, kann im Subpixelbereich stattfindende Veränderungen des Lichtmusters nicht detektieren.Due to the limited distance between headlight and vehicle camera, it may also be advantageous if the image processing algorithm can detect vertices of the light fields within the projected light pattern, which represent the characteristic features to be detected within the light pattern subpixelgenau. Above a certain distance, the shifts of the light pattern from the point of view of the vehicle camera take place in the subpixel range. Image processing, which works only with pixel precision, can not detect subpixel changes in the light pattern.
Vor diesem Hintergrund soll im Rahmen der vorliegenden Erfindung ein Verfahren bereitgestellt werden, mittels welchem charakteristische Merkmale aus einem projizierten Lichtmuster recheneffizient, insbesondere unter Berücksichtigung der Online-Fähigkeit, detektiert werden. Die Detektion des Lichtmusters, welches vom Scheinwerfer eines Fahrzeugs projiziert werden kann, kann bevorzugt subpixelgenau arbeiten.Against this background, a method is to be provided in the context of the present invention, by means of which characteristic features from a projected light pattern are detected in a computationally efficient manner, in particular taking into account the online capability. The detection of the light pattern, which can be projected by the headlight of a vehicle, can preferably operate subpixelgenau.
Die Aufgabe wird mit einem Verfahren gemäß dem unabhängigen Patentanspruch 1 gelöst. Ausgestaltungen ergeben sich aus den abhängigen Patentansprüchen und der beiliegenden Beschreibung.The object is achieved by a method according to
Das erfindungsgemäße Verfahren zum Detektieren charakteristischer Merkmale eines Lichtmusters in einem mittels einer Fahrzeugkamera erfassten Abbild der Projektion des Lichtmusters kann in einem ersten Schritt Berechnen von Simulationsdarstellungen des Lichtmusters bei unterschiedlichen Abständen zwischen dem Fahrzeug und einer Projektionsfläche aufweisen, auf die das Lichtmuster jeweils projiziert wird. Jede Simulationsdarstellung kann jeweils ein Lichtmuster bei einem vorgegebenen Abstand zwischen dem Fahrzeug bzw. dem Scheinwerfer und der Projektionsfläche aufweisen. Im Betriebsalltag des Fahrzeugs kann die Projektionsfläche beispielsweise einer Wand oder einem Garagentor entsprechen. Es können Abstände entsprechend dem Funktionsbereich der Abstandsmessung berücksichtigt werden, beispielsweise Abstände zwischen 3 m und 30 m oder zwischen 5 m und 25 m. In jeder der Simulationsdarstellungen soll nur das Lichtmuster enthalten sein ohne störende Einflüsse der Umgebung. The method according to the invention for detecting characteristic features of a light pattern in an image of the projection of the light pattern captured by a vehicle camera may in a first step comprise calculating simulation representations of the light pattern at different distances between the vehicle and a projection surface onto which the light pattern is respectively projected. Each simulation representation can each have a light pattern at a predetermined distance between the vehicle or the headlight and the projection surface. In everyday operating life of the vehicle, the projection surface may correspond, for example, to a wall or a garage door. Distances corresponding to the functional range of the distance measurement can be taken into account, for example distances between 3 m and 30 m or between 5 m and 25 m. In each of the simulation representations only the light pattern should be included without disturbing influences of the environment.
In einem weiteren Schritt des erfindungsgemäßen Verfahrens können die Frequenzspektren der Simulationsdarstellungen des Lichtmusters berechnet werden. Die berechneten Frequenzspektren ergeben sozusagen einen „Frequenzabdruck“ (Frequenz-Fingerprint) des projizierten Lichtmusters. Jedes projizierte Lichtmuster wird durch bestimmte Frequenzen in der Frequenzdarstellung des Kamerabildes beschrieben, welche allgemein durch Frequenzen und Phasen beschrieben wird. Zur Berechnung des Frequenzspektrums eines Abbildes kann die zweidimensionale schnelle Fourier-Transformation (2D FFT) verwendet werden. Unter den Frequenzen des Kamerabildes sind räumliche Frequenzen der Hell/Dunkelvariationen im Frequenzraum des Bildes gemeint und nicht etwa optische Frequenzen, welche auf die Wellenlänge des verwendeten Lichts des Scheinwerfers zurückgehen. Anders ausgedrückt stehen die in dieser Beschreibung gemeinten Frequenzen in Zusammenhang mit periodischen Helligkeitsvariationen in einem Bild. Die Frequenzdarstellung ändert sich entsprechend der Erscheinungsform des Lichtmusters, insbesondere entsprechend der Skalierung des Lichtmusters. Die Skalierung des Lichtmusters ändert sich je nach Abstand von Fahrzeug zu Szene (Projektionsfläche). Bei einem kleinen Abstand zwischen Fahrzeug und Projektionsfläche ist ein Schachbrettmuster als beispielhaftes Lichtmuster gestaucht. In der Frequenzdarstellung ist seine Struktur entsprechend durch höhere (Raum-)Frequenzen bzw. durch eine höhere Grundfrequenz beschrieben. Bei einem großen Abstand zwischen Fahrzeug und Projektionsfläche ist das Schachbrettmuster als beispielhaftes Lichtmuster hingegen gedehnt bzw. langgestreckt. In der Frequenzdarstellung ist seine Struktur dann entsprechend durch niedrige Frequenzen bzw. durch eine niedrige Grundfrequenz beschrieben. Somit weist das Lichtmuster bei jedem Projektionsabstand einen spezifischen abstandsabhängigen Frequenz-Fingerprint auf. Zur Bestimmung der Frequenz der Lichtverteilung werden deshalb Simulationsdarstellungen generiert, in welchen ausschließlich die Lichtverteilung beinhaltet sein kann. Die Simulationsbilder können in vorbestimmten Intervallen, z.B. im Abstand von einem Meter zueinander, über einen vordefinierten Abstandsbereich zwischen Fahrzeug und Projektionsfläche erzeugt werden, etwa 5 m bis 25 m. Zu jedem Simulationsbild kann dann die Frequenzdarstellung mittels Fourier-Transformation berechnet werden. Zur Ermittlung eines Gesamtfrequenzspektrum-Fingerprints können alle berechneten Frequenzdarstellungen miteinander kombiniert werden, beispielsweise durch Mittelwert und Varianz. An diesem Punkt ist die Bildverarbeitung der simulierten abstandsabhängigen Darstellungen des Lichtmusters abgeschlossen. Aus der Analyse der Simulationsdarstellungen des Lichtmusters ist zudem das Intervall bekannt, indem die das Lichtmuster beschreibenden Frequenzen liegen.In a further step of the method according to the invention, the frequency spectra of the simulation representations of the light pattern can be calculated. The calculated frequency spectra result in a kind of "frequency imprint" (frequency fingerprint) of the projected light pattern. Each projected light pattern is described by particular frequencies in the frequency representation of the camera image, which is generally described by frequencies and phases. To calculate the frequency spectrum of an image, the two-dimensional fast Fourier transform (2D FFT) can be used. The frequencies of the camera image mean spatial frequencies of the light / dark variations in the frequency space of the image and not optical frequencies which are due to the wavelength of the light used by the headlight. In other words, the frequencies meant in this description are related to periodic brightness variations in an image. The frequency representation changes according to the appearance of the light pattern, in particular according to the scaling of the light pattern. The scale of the light pattern changes depending on the distance from vehicle to scene (projection surface). With a small distance between the vehicle and the projection surface, a checkerboard pattern is compressed as an exemplary light pattern. In the frequency representation, its structure is correspondingly described by higher (spatial) frequencies or by a higher fundamental frequency. In the case of a large distance between the vehicle and the projection surface, however, the checkerboard pattern as an exemplary light pattern is stretched or elongated. In the frequency representation its structure is then described accordingly by low frequencies or by a low fundamental frequency. Thus, the light pattern at each projection distance on a specific distance-dependent frequency fingerprint. To determine the frequency of the light distribution, therefore, simulation representations are generated in which only the light distribution can be included. The simulation images may be taken at predetermined intervals, e.g. At a distance of one meter from each other, generated over a predefined distance range between the vehicle and the projection surface, about 5 m to 25 m. For each simulation image, the frequency representation can then be calculated by means of Fourier transformation. To determine an overall frequency spectrum fingerprint, all calculated frequency representations can be combined with one another, for example by mean value and variance. At this point, the image processing of the simulated distance-dependent representations of the light pattern is completed. From the analysis of the simulation representations of the light pattern, the interval is also known, in that the frequencies describing the light pattern lie.
In der Frequenzdarstellung einer Simulationsdarstellung des Lichtmusters kann mehr als eine Frequenz enthalten sein. Neben einer Grundfrequenz des Lichtmusters, welche wegen der 2D-Darstellung eine x-Komponente und eine y-Komponente aufweisen kann, die je nach Ausgestaltung des Lichtmusters zudem unterschiedlich sein können und die Grundstruktur des Lichtmusters beschreiben, können höhere Frequenzen im Frequenzspektrum enthalten sein. Die höheren Frequenzen (ebenfalls eine x- und y-Komponente aufweisend) können die scharfen Übergänge zwischen den hellen und dunklen Flächen in der simulierten Darstellung des Lichtmusters beschreiben. Das Frequenzspektrum einer Simulationsdarstellung kann auf die Grundfrequenz oder auf diese und einige wenige benachbarte Frequenzen beschränkt werden. Bei der Grundfrequenz einer Simulationsdarstellung eines Lichtmusters kann es sich um eine Frequenz handeln, welche im Frequenzraum dem Ursprung am nächsten liegt, also um die kleinste Frequenz in der Frequenzdarstellung der simulierten Darstellung des Lichtmusters. Ein Frequenzspektrum einer Simulationsdarstellung kann also unter Umständen nur eine Frequenz enthalten. In verschiedenen Ausführungsbeispielen können aber auch mehrere Frequenzen berücksichtigt werden, beispielsweise die Grundfrequenz sowie alle weiteren Frequenzen bis zu einer vorbestimmten Grenzfrequenz, welche für jedes Lichtmuster individuell berechnet werden kann. Nachfolgend kann der Vereinfachung halber angenommen werden, dass ein simuliertes Lichtmuster in der dazugehörigen Frequenzdarstellung durch eine Grundfrequenz (mit x-Komponente und y-Komponente) definiert ist und folglich sein Frequenzspektrum die Frequenzen der simulierten Lichtverteilungen umfasst.The frequency representation of a simulation representation of the light pattern may include more than one frequency. In addition to a fundamental frequency of the light pattern, which may have an x-component and a y-component due to the 2D representation, which may also be different depending on the design of the light pattern and describe the basic structure of the light pattern, higher frequencies may be included in the frequency spectrum. The higher frequencies (also having an x and y component) can describe the sharp transitions between the light and dark areas in the simulated representation of the light pattern. The frequency spectrum of a simulation representation may be limited to the fundamental frequency or to these and a few adjacent frequencies. The fundamental frequency of a simulation representation of a light pattern can be a frequency which is closest to the origin in the frequency space, ie the smallest frequency in the frequency representation of the simulated representation of the light pattern. A frequency spectrum of a simulation representation may thus contain only one frequency under certain circumstances. In various embodiments, however, several frequencies can also be taken into account, for example the fundamental frequency as well as all other frequencies up to a predetermined cutoff frequency, which can be calculated individually for each light pattern. Hereinafter, for the sake of simplicity, it can be assumed that a simulated light pattern in the associated frequency representation is defined by a fundamental frequency (with x-component and y-component) and consequently its frequency spectrum comprises the frequencies of the simulated light distributions.
In einem nachfolgenden Schritt des erfindungsgemäßen Verfahrens wird das Frequenzspektrum des Abbildes des projizierten Lichtmusters berechnet. Bei dem Abbild des projizierten Lichtmusters handelt es sich um ein durch die Fahrzeugkamera erfasstes reales Abbild des beispielsweise auf eine Wand projizierten Lichtmusters samt dessen Umgebung. In dem von der Fahrzeugkamera erfassten Abbild kann das projizierte Lichtmusters im Gegensatz zur synthetischen Darstellung des Lichtmusters in den Simulationsdarstellungen in einer realen Umgebung dargestellt sein. Die reale Umgebung des projizierten Lichtmusters kann zum Beispiel andere Lichtquellen und weitere Objekte wie Fahrzeuge, Straßenschilder usw. aufweisen, die aus der Sicht der Bildverarbeitung zur Merkmalsextraktion als irrelevante Strukturen bzw. störende Einflüsse bewertet werden können. Im Folgenden wird ein von der Fahrzeugkamera erfasstes Abbild eines projizierten Lichtmusters ggfs. samt Objekten in seiner natürlichen Umgebung als Kamerabild bezeichnet. In a subsequent step of the method according to the invention, the frequency spectrum of the image of the projected light pattern is calculated. The image of the projected light pattern is a real image, captured by the vehicle camera, of the light pattern projected onto a wall, for example, together with its surroundings. In the image captured by the vehicle camera, in contrast to the synthetic representation of the light pattern, the projected light pattern can be represented in the simulation representations in a real environment. The real environment of the projected light pattern may include, for example, other light sources and other objects such as vehicles, street signs, etc., which may be evaluated as irrelevant structures or disturbing influences from the viewpoint of image processing for feature extraction. In the following, an image of a projected light pattern captured by the vehicle camera, if appropriate, together with objects in its natural environment, is referred to as a camera image.
In einem nachfolgenden Schritt kann das erfindungsgemäße Verfahren Vergleichen der Frequenzspektren der Simulationsdarstellungen des Lichtmusters mit dem Frequenzspektrum des Abbildes des projizierten Lichtmusters aufweisen, um mindestens eine Zielfrequenz in dem Frequenzspektrum des Abbildes des projizierten Lichtmusters zu identifizieren, welche das projizierte Lichtmuster definiert. In diesem Schritt wird im Prinzip eine abstandsabhängige Simulationsdarstellung ermittelt, welche die größte Korrelation mit der Frequenzdarstellung des Abbildes des projizierten Lichtmusters aufweist. Es wird also die abstandsabhängige Simulationsdarstellung ermittelt, deren Frequenz(en) im Frequenzspektrum des Kamerabildes vorkommt (vorkommen) bzw. die im Frequenzraum unter allen anderen Simulationsdarstellungen den größten Überlapp mit dem Kamerabild aufweist. Da die Simulationsdarstellungen ausschließlich das Lichtmuster aufweisen, weisen ihre vollständigen Frequenzspektren nur Frequenzen auf, welche die Struktur des charakteristischen Musters beschreiben. Folglich kann jedes Frequenzspektrum einer entsprechenden Simulationsdarstellung als Filter aufgefasst werden. Durch den Vergleich der Frequenzspektren der Simulationsdarstellungen des Lichtmusters mit dem erfassten Abbild des Lichtmusters kann deren Korrelation ermittelt werden. Es kann also zu jeder Simulationsdarstellung ermittelt werden, wie stark ihr Frequenzspektrum mit dem Frequenzspektrum des Kamerabildes übereinstimmt. Hierbei wird besonders deutlich, dass in dieser Phase des Verfahrens die möglicherweise störende Umgebung des real projizierten Lichtmusters ausgeblendet wird, da sie Strukturen mit anderen Frequenzen aufweist. Durch den Abgleich mit den Frequenzspektren der Simulationsdarstellungen erfolgt eine Filterung des Frequenzspektrums des Kamerabildes auf seinen für das weitere Verfahren wesentlichen Teil, der eben das Lichtmuster definiert. Wurde eine Simulationsdarstellung mit dem größten Frequenzüberlapp mit dem Frequenzspektrum des Kamerabildes ermittelt, so ist nunmehr auch der Abstand zwischen der Projektionsfläche und dem Scheinwerfer und dem Fahrzeug bekannt, da er dem zur Simulation des Lichtmusters verwendeten Abstand entspricht. Ferner liefert das Frequenzspektrum der Simulationsdarstellung die mindestens eine Zielfrequenz, welche das projizierte Lichtmuster im Kamerabild beschreibt.In a subsequent step, the inventive method may comprise comparing the frequency spectra of the simulation representations of the light pattern with the frequency spectrum of the image of the projected light pattern to identify at least one target frequency in the frequency spectrum of the image of the projected light pattern defining the projected light pattern. In this step, a distance-dependent simulation representation is in principle determined, which has the greatest correlation with the frequency representation of the image of the projected light pattern. Thus, the distance-dependent simulation representation is determined whose frequency (s) occur in the frequency spectrum of the camera image (or which has the greatest overlap with the camera image in the frequency domain among all other simulation representations. Since the simulation representations have only the light pattern, their complete frequency spectra only have frequencies which describe the structure of the characteristic pattern. Consequently, each frequency spectrum of a corresponding simulation representation can be interpreted as a filter. By comparing the frequency spectra of the simulation representations of the light pattern with the acquired image of the light pattern, its correlation can be determined. It can therefore be determined for each simulation representation how strongly their frequency spectrum coincides with the frequency spectrum of the camera image. It becomes particularly clear that in this phase of the method, the possibly disturbing environment of the real projected light pattern is hidden because it has structures with different frequencies. By comparison with the frequency spectra of the simulation representations, the frequency spectrum of the camera image is filtered on its part which is essential for the further method and which precisely defines the light pattern. If a simulation representation has been determined with the greatest frequency overlap with the frequency spectrum of the camera image, the distance between the projection surface and the headlight and the vehicle is now also known since it corresponds to the distance used to simulate the light pattern. Furthermore, the frequency spectrum of the simulation representation supplies the at least one target frequency, which describes the projected light pattern in the camera image.
In einem nachfolgenden Schritt des Verfahrens wird die mindestens eine in dem Frequenzspektrum des Abbildes des projizierten Lichtmusters identifizierte Zielfrequenz verstärkt, um ein modifiziertes Frequenzspektrum des Abbildes des projizierten Lichtmusters zu erhalten. Anders ausgedrückt werden in dem Frequenzspektrum des Abbildes des projizierten Lichtmusters relevante Frequenzen verstärkt, wohingegen Frequenzen, die nicht das Lichtmuster definieren und folglich mit anderen Bildinhalten zusammenhängen, nicht verstärkt werden, also effektiv unterdrückt werden. Damit wird das Kamerabild im Frequenzraum bearbeitet, so dass in dem modifizierten Frequenzspektrum die Komponenten, welche das Lichtmuster beschreiben, singulär oder zumindest verstärkt vorliegen.In a subsequent step of the method, the at least one target frequency identified in the frequency spectrum of the image of the projected light pattern is amplified to obtain a modified frequency spectrum of the image of the projected light pattern. In other words, in the frequency spectrum of the image of the projected light pattern, relevant frequencies are amplified, whereas frequencies which do not define the light pattern and consequently are related to other image contents are not amplified, thus effectively suppressed. Thus, the camera image is processed in the frequency domain, so that in the modified frequency spectrum, the components that describe the light pattern, singular or at least amplified.
In einem nachfolgenden Schritt des Verfahrens wird ein modifiziertes Abbild des Lichtmusters aus dem modifizierten Frequenzspektrum berechnet, beispielsweise mittels der inversen Fourier-Transformation. Das resultierende modifizierte Abbild des Lichtmusters enthält im Wesentlichen nur die Darstellung des Lichtmusters bzw. eine gegenüber der nativen Aufnahme des Lichtmusters durch die Fahrzeugkamera deutlichere Darstellung des Lichtmusters, da das Lichtmuster gegenüber anderen Bildinhalten in seiner Umgebung hervorgehoben bzw. verstärkt worden ist.In a subsequent step of the method, a modified image of the light pattern is calculated from the modified frequency spectrum, for example by means of the inverse Fourier transformation. The resulting modified image of the light pattern essentially contains only the representation of the light pattern or a representation of the light pattern that is clearer than the native recording of the light pattern by the vehicle camera, since the light pattern has been emphasized or enhanced in relation to other image contents in its surroundings.
In einem nachfolgenden Schritt des Verfahrens werden schließlich die charakteristischen Merkmale, zum Beispiel Eckpunkte des Lichtmusters, in dem modifizierten Abbild des Lichtmusters detektiert. Hierzu können gängige Algorithmen der Bildverarbeitung verwendet werden.Finally, in a subsequent step of the method, the characteristic features, for example corner points of the light pattern, are detected in the modified image of the light pattern. Common image processing algorithms can be used for this purpose.
Gemäß weiteren Ausführungsbeispielen des Verfahrens kann es sich bei der Projektionseinheit des Fahrzeugs um einen Scheinwerfer des Fahrzeugs handeln. Insbesondere kann es sich bei dem Scheinwerfer um einen Scheinwerfer mit einer Anordnung von diskreten Leuchtmitteln handeln, beispielsweise um einen LED-Matrix Scheinwerfer, bei dem die einzelnen LED als Leuchtmittel auch als Pixel bezeichnet werden. Das Lichtmuster kann von einer entsprechenden Konfiguration (an/aus) der Leuchtmittel des Scheinwerfers projiziert werden. According to further embodiments of the method, the projection unit of the vehicle may be a headlight of the vehicle. In particular, the headlight may be a headlight with an arrangement of discrete light sources, for example an LED matrix headlight, in which the individual LEDs are referred to as bulbs and pixels. The light pattern may be projected from a corresponding configuration (on / off) of the headlamp bulbs.
Gemäß weiteren Ausführungsbeispielen des Verfahrens kann das projizierte Lichtmuster ein Muster mit hellen und dunklen polygonalen Flächen aufweisen, bevorzugt ein Schachbrettmuster. Dabei kann jede helle Fläche von einem Leuchtmittel des Scheinwerfers erzeugt werden, beispielsweise von einem Pixel eines LED-Matrix Scheinwerfers. Dunkle Flächen können inaktiven (kein Licht abstrahlenden) Leuchtmitteln des Scheinwerfers entsprechen. Ein reales Abbild des projizierten Lichtmusters kann optischen Verzerrungen und Abbildungsfehlern unterliegen und daher können die an sich polygonalen Flächen auch abgerundet erscheinen.According to further embodiments of the method, the projected light pattern may have a pattern with light and dark polygonal surfaces, preferably a checkerboard pattern. In this case, each bright surface can be generated by a light source of the headlight, for example, by a pixel of an LED matrix headlight. Dark areas may correspond to inactive (no light emitting) bulbs of the headlamp. A real image of the projected light pattern may undergo optical distortions and aberrations, and therefore the polygonal surfaces themselves may also appear rounded.
Gemäß weiteren Ausführungsbeispielen kann das Verfahren ferner Berechnen eines Lichtmustergesamtspektrums durch Überlagern der Frequenzspektren der Simulationsdarstellungen des Lichtmusters aufweisen, welches dem Frequenz-Fingerprint des Lichtmusters entspricht. In dem Lichtmustergesamtspektrum können also die zu den Simulationsdarstellungen des Lichtmusters ermittelten Frequenzspektren miteinander mathematisch kombiniert werden. Die einzelnen Frequenzspektren der Simulationsdarstellungen können beispielsweise normiert und addiert werden. Die Frequenzspektren können auch auf Basis ihrer (ggfs. normierten) Mittelwerte und Varianzen miteinander kombiniert werden.According to further embodiments, the method may further comprise calculating a light pattern entire spectrum by superposing the frequency spectra of the simulation representations of the light pattern corresponding to the frequency fingerprint of the light pattern. In the overall pattern of light patterns, therefore, the frequency spectra determined for the simulation representations of the light pattern can be mathematically combined with one another. The individual frequency spectra of the simulation representations can be normalized and added, for example. The frequency spectra can also be combined on the basis of their (possibly normalized) averages and variances.
Gemäß weiteren Ausführungsbeispielen des Verfahrens kann das Vergleichen der Frequenzspektren der Simulationsdarstellungen des Lichtmusters mit dem Frequenzspektrum des Kamerabildes ein Überlagern des Frequenzspektrums des Kamerabildes mit dem Lichtmustergesamtspektrum aufweisen, wodurch ein Überlagerungs- oder Korrelationsspektrum gebildet wird. Anders ausgedrückt kann bei diesem Vergleich die Korrelation zwischen dem Frequenz-Fingerprint der Simulationsdarstellungen und der Frequenzdarstellung des Abbildes des Lichtmusters ermittelt werden. Wie bereits erwähnt, kann die Frequenzrepräsentation des von der Fahrzeugkamera erfassten Abbildes üblicherweise zusätzlich zur Frequenz des projizierten Lichtmusters zahlreiche andere unerwünschte Frequenzen enthalten. Wird das Frequenzspektrum des Kamerabildes mit dem Lichtmustergesamtspektrum verglichen, so lässt sich gezielt und sehr spezifisch die Frequenz des projizierten Lichtmusters aus dem Kamerabild extrahieren. Da der Abstand zwischen Fahrzeug und Lichtmuster nicht bekannt ist, ist zunächst nicht bekannt, welche Simulationsdarstellung im Frequenzraum die stärkste Korrelation mit dem Frequenzspektrum des im Kamerabild enthaltenen Lichtmusters aufweist. Durch Überlagern des Frequenzspektrums des Kamerabildes mit dem des Lichtmustergesamtspektrums kann bestimmt werden, welche Frequenz(en) aus dem Lichtmustergesamtspektrum in dem Frequenzspektrum des Kamerabildes vorkommt bzw. vorkommen. Mit Überlagern der Frequenzspektren kann ein verstärkendes Überlagern gemeint sein in dem Sinne, dass im Lichtmustergesamtspektrum vorkommende Frequenzen des Frequenzspektrums des Kamerabildes verstärkt bzw. mit einem großen Faktor größer Null multipliziert werden, während im Lichtmustergesamtspektrum nicht vorkommende Frequenzen des Frequenzspektrums des Kamerabildes mit einem kleinen Faktor größer Null oder Null multipliziert werden. Das Überlagern kann auch Multiplizieren der beiden Frequenzspektren miteinander aufweisen. In dem so gebildeten Überlageruns- oder Korrelationsspektrum sind Koeffizienten für übereinstimmende Frequenzen groß, während Koeffizienten für nicht übereinstimmende Frequenzen klein oder Null sind.According to further embodiments of the method, comparing the frequency spectra of the simulation representations of the light pattern with the frequency spectrum of the camera image may comprise superimposing the frequency spectrum of the camera image on the light pattern entire spectrum, thereby forming a heterodyne or correlation spectrum. In other words, in this comparison, the correlation between the frequency fingerprint of the simulation representations and the frequency representation of the image of the light pattern can be determined. As previously mentioned, the frequency representation of the image captured by the vehicle camera may typically include many other unwanted frequencies in addition to the frequency of the projected light pattern. If the frequency spectrum of the camera image is compared with the overall light pattern spectrum, then the frequency of the projected light pattern can be specifically and very specifically extracted from the camera image. Since the distance between the vehicle and the light pattern is not known, it is initially unknown which simulation representation in the frequency domain has the strongest correlation with the frequency spectrum of the light pattern contained in the camera image. By superimposing the frequency spectrum of the camera image with that of the light pattern overall spectrum, it can be determined which frequency (s) from the overall light pattern spectrum occurs or occur in the frequency spectrum of the camera image. Superimposing the frequency spectra may mean amplifying superimposition in the sense that frequencies of the frequency spectrum of the camera image occurring in the overall light pattern spectrum are multiplied or multiplied by a large factor greater than zero, while non-occurring frequencies of the frequency spectrum of the camera image in the overall light pattern spectrum are larger by a small factor Zero or zero multiplied. The overlay may also include multiplying the two frequency spectra. In the overlay or correlation spectrum thus formed, coefficients for matching frequencies are large, while coefficients for unmatched frequencies are small or zero.
Gemäß weiteren Ausführungsbeispielen des Verfahrens kann das Verstärken der mindestens einen in dem Frequenzspektrum des Abbildes des projizierten Lichtmusters identifizierten Zielfrequenz ein Multiplizieren der dazugehörigen Amplitude (bzw. des dazugehörigen Koeffizienten) mit einem Faktor aufweisen. Dadurch wird eine Bildbearbeitung im Frequenzraum des Kamerabildes erreicht, bei der relevante, d.h. das Lichtmuster beschreibende Frequenzen verstärkt werden. Gemäß einem Ausführungsbeispiel kann es sich bei dem Faktor um die Amplitude (bzw. den Koeffizienten) der Zielfrequenz in dem Überlagerungsspektrum handeln. In einem Ausführungsbeispiel kann diese Multiplikation durchgeführt werden, indem beispielsweise das Korrelationsspektrum mit der Frequenzdarstellung des Abbildes des projizierten Lichtmusters multipliziert wird.According to further embodiments of the method, amplifying the at least one target frequency identified in the frequency spectrum of the image of the projected light pattern may comprise multiplying the associated amplitude (or the associated coefficient) by a factor. This achieves image processing in the frequency domain of the camera image where relevant, i. the light pattern descriptive frequencies are amplified. According to one embodiment, the factor may be the amplitude (or coefficient) of the target frequency in the overlay spectrum. In one embodiment, this multiplication may be performed by, for example, multiplying the correlation spectrum by the frequency representation of the image of the projected light pattern.
Gemäß weiteren Ausführungsbeispielen des Verfahrens kann das Detektieren der charakteristischen Merkmale in dem modifizierten Abbild des Lichtmusters Detektieren von Kanten aufweisen. Unter Kanten können hell-dunkel Übergänge verstanden werden, also Grenzen zwischen hellen (beleuchteten) und dunklen (nicht beleuchteten) Feldern des Lichtmusters. Die Kanten können als Umrisse der hellen Felder des Lichtmusters verstanden werden. Zur Kantendetektion kann ein geeigneter Algorithmus zur Kantendetektion verwendet werden, beispielsweise ein auf dem „partial area effect“ beruhender Algorithmus oder ein Algorithmus, welcher Nulldurchgänge detektiert (z.B. ein Nulldurchgangsalgorithmus). Im letzteren Fall kann zunächst eine Umskalierung der Helligkeitswerte im Abbild des Lichtmusters erfolgen. Beispielsweise kann eine Umskalierung beinhalten, dass der größte Helligkeitswert auf +100 gesetzt wird und der kleinste Helligkeitswert auf -100 gesetzt wird und die Werte dazwischen entsprechend umskaliert werden.According to further embodiments of the method, detecting the characteristic features in the modified image of the light pattern may comprise detecting edges. Edges can be understood to mean light-dark transitions, ie boundaries between bright (illuminated) and dark (not illuminated) fields of the light pattern. The edges can be understood as outlines of the bright fields of the light pattern. For edge detection, a suitable edge detection algorithm may be used, such as an "area effect" based algorithm or an algorithm that detects zero crossings (e.g., a zero crossing algorithm). In the latter case, a rescaling of the brightness values in the image of the light pattern can first take place. For example, rescaling may involve setting the largest brightness value to +100 and setting the smallest brightness value to -100 and rescaling the values therebetween accordingly.
In einem weiteren Ausführungsbeispiel des Verfahrens kann das Detektieren der charakteristischen Merkmale in dem modifizierten Abbild des Lichtmusters Detektieren von vertikalen Kanten aufweisen. Unter vertikalen Kanten des Lichtmusters sind Kanten bzw. Kantenkomponenten gemeint, welche eine 0° Ausrichtung aufweisen. Die Selektion der vertikalen Kanten kann in einem der allgemeinen Kantendetektion nachgelagerten Schritt erfolgen, bei dem zunächst sowohl vertikale als auch horizontale Kantenelemente detektiert werden. Zur Kantendetektion können zahlreiche im Stand der Technik bekannte Detektionsalgorithmen verwendet werden, beispielsweise der sogenannte „chord-to-point distance accumulation“ (CPDA) Algorithmus.In another embodiment of the method, detecting the characteristic features in the modified image of the light pattern may include detecting vertical edges. Below vertical edges of the light pattern are edges or edge components which have a 0 ° orientation. The selection of the vertical edges can be carried out in a step downstream of the general edge detection, in which first both vertical and horizontal edge elements are detected. For edge detection numerous detection algorithms known in the art may be used, for example the so-called "chord-to-point distance accumulation" (CPDA) algorithm.
In einem weiteren Ausführungsbeispiel des Verfahrens kann das Detektieren der charakteristischen Merkmale ferner Detektieren von Eckpunkten der polygonalen Flächen aufweisen, welche entlang der vertikalen Kanten angeordnet sind. Die Eckpunkte innerhalb des Lichtmusters stellen die charakteristischen Merkmale bzw. die Zielobjekte dar, die im Rahmen des hier vorgestellten Verfahrens im Lichtmuster detektiert werden sollen. Die detektierten Eckpunkte können für die weiterführende Triangulation zur Verfügung gestellt werden. Auf Basis der Detektion der vertikalen Kanten der Lichtfelder des Lichtmusters können die Eckpunkte des Lichtmusters ermittelt werden, indem die Endpunkte der vertikalen Kanten detektiert werden. Je nach Ausgestaltung des Lichtmusters können obere bzw. untere Endpunkte von Kanten, die zu obersten bzw. untersten Feldern des Lichtmusters gehören, finale Eckpunkte darstellen. Endpunkte von Kanten, die zwischen oberen und unteren Endpunkten angeordnet sind, können als vorläufige Endpunkte aufgefasst werden und einem weiteren Bildverarbeitungsschritt unterzogen werden, bei dem auf ihrer Basis finale Eckpunkte mit Subpixelgenauigkeit ermittelt werden. Die finalen Eckpunkte können beispielsweise mittels einer Taylorreihenentwicklung
Gemäß weiteren Ausführungsbeispielen kann das Verfahren ferner Anpassen der Helligkeitswerte in dem mittels der Fahrzeugkamera aufgenommenen Abbild der Projektion des Lichtmusters aufweisen. Dieser Anpassung der Helligkeitswerte kann eine über den gesamten Signalbereich einheitlich lineare optoelektronische Übertragungsfunktion (OECF - optoelectronic conversion function) zugrunde gelegt werden. Die optoelektronische Übertragungsfunktion beschreibt, wie Bildsensoren von Digitalkameras (CMOS- und CCD-Bildsensoren) Licht/Photonen in elektrische Signale umwandeln, also wie sie Helligkeiten in digitale Werte umsetzen. Dieser Wandlung erfolgt üblicherweise nicht gemäß einer über den ganzen Helligkeitsbereich des Bildsensors hinweg linearen Beziehung zwischen dem optischen Eingangssignal und dem elektrischen oder digitalen Ausgangssignal der Kamera. Vielmehr wird eine stückweise lineare optoelektronische Übertragungsfunktion verwendet, wobei die Steigung zu größer werdenden Helligkeiten (welche höheren Photonenströmen entsprechen) abnimmt. Im dazugehörigen Graphen der optoelektronischen Übertragungsfunktion sind die linearen Abschnitte an Kniepunkten miteinander verbunden, wobei von einem zum nächsten Kniepunkt die Steigung des nachfolgenden linearen Abschnitts der Übertragungsfunktion geringer wird. Es wurde festgestellt, dass die bei höheren Helligkeitswerten - also im Bereich der projizierten Lichtverteilung - abflachende Steigung der Funktion von Nachteil ist, da sie zu einem geringeren Kontrast führt. Durch eine Linearisierung der stückweise linearen aber insgesamt einem Logarithmus nachgebildeten optoelektronischen Übertragungsfunktion kann eine deutliche Kontrasterhöhung in den Kamerabildern erreicht werden. Die Linearisierung kann im Zuge eines Bildverarbeitungsschrittes erfolgen, bei dem die Helligkeitswerte, welche aus dem Bereich mit der geringen Steigung der Übertragungsfunktion stammen, umskaliert werden (mit einem Faktor multipliziert werden), wodurch eine andere Steigung der optoelektronische Übertragungsfunktion simuliert werden kann. Die Umskalierung kann so erfolgen, dass die optoelektronische Übertragungsfunktion über den gesamten vom Bildsensor erfassbaren Helligkeitsbereich eine lineare Steigung aufweist. Die Linearisierung der optoelektronischen Übertragungsfunktion der Fahrzeugkamera kann zu einer vorteilhaften Kontrasterhöhung bei den Kamerabildern führen.According to further embodiments, the method may further comprise adjusting the brightness values in the image of the projection of the light pattern recorded by the vehicle camera. This adjustment of the brightness values can be based on a uniformly linear optoelectronic transfer function (OECF) over the entire signal range. The optoelectronic transfer function describes how image sensors of digital cameras (CMOS and CCD image sensors) convert light / photons into electrical signals, ie how they convert brightnesses into digital values. This conversion usually does not occur according to a linear relationship between the optical input signal and the electrical or digital output signal of the camera over the entire brightness range of the image sensor. Rather, a piecewise linear optoelectronic transfer function is used, wherein the slope decreases to increasing brightnesses (which correspond to higher photon currents) decreases. In the associated graph of the optoelectronic transfer function, the linear sections are connected at knee points, with the slope of the subsequent linear section of the transfer function decreasing from one to the next knee point. It has been found that the slope of the function which flattenes at higher brightness values, ie in the range of the projected light distribution, is disadvantageous since it leads to a lower contrast. By linearizing the piecewise linear but overall a logarithm reproduced optoelectronic transfer function, a significant increase in contrast in the camera images can be achieved. The linearization can be done in the course of an image processing step in which the brightness values which originate from the region with the low slope of the transfer function are rescaled (multiplied by a factor), whereby a different slope of the optoelectronic transfer function can be simulated. The rescaling can take place in such a way that the optoelectronic transfer function has a linear gradient over the entire brightness range which can be detected by the image sensor. The linearization of the optoelectronic transfer function of the vehicle camera can lead to an advantageous increase in contrast in the camera images.
Die im Rahmen dieser Beschreibung verwendeten Begriffe Frequenz, Frequenzraum und Frequenzdarstellung beziehen sich allesamt auf die Ortsfrequenzen, also auf Kehrwerte einer Länge, etwa einer von Perioden von Hell/Dunkelwechseln in einem Bild. Insbesondere sind hier mit Frequenzen nicht die optischen Frequenzen von sichtbarem Licht gemeint.The terms frequency, frequency space and frequency representation used in the context of this description all refer to the spatial frequencies, ie to reciprocal values of a length, for example one of periods of light / dark changes in an image. In particular, here frequencies do not mean the optical frequencies of visible light.
Weitere Einzelheiten, Merkmale und Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung von bevorzugten Ausführungsformen anhand der Zeichnungen. Die Zeichnungen illustrieren dabei lediglich beispielhafte Ausführungsformen der Erfindung, welche den wesentlichen Erfindungsgedanken nicht einschränken. Further details, features and advantages of the invention will become apparent from the following description of preferred embodiments with reference to the drawings. The drawings illustrate only exemplary embodiments of the invention, which do not limit the essential inventive idea.
Insbesondere sind die Dimensionen und geometrische Relationen der in den Figuren dargestellten Elemente nicht als limitierend zu werten.
-
1 zeigt Flussdiagramm, in dem der Verlauf einer Ausführungsform des erfindungsgemäßen Verfahrens veranschaulicht ist. -
2 veranschaulicht die Berechnung eines Frequenzspektrums zu einer Darstellung des Lichtmusters im Bildraum. -
3 zeigt ein beispielhaftes Überlagerungsspektrum (Korrelationsspektrum). -
4 veranschaulicht die Modifizierung des Abbilds des projizierten Lichtmusters. -
5 veranschaulicht die Detektion charakteristischer Merkmale des Lichtmusters.
-
1 shows a flowchart in which the course of an embodiment of the method according to the invention is illustrated. -
2 illustrates the calculation of a frequency spectrum to a representation of the light pattern in the image space. -
3 shows an exemplary overlay spectrum (correlation spectrum). -
4 illustrates the modification of the image of the projected light pattern. -
5 illustrates the detection of characteristic features of the light pattern.
In Figur ist ein Flussdiagramm
In
Die Frequenzspektren der bei verschiedenen Abständen simulierten Darstellungen des Lichtmusters
In
Der anschießende Vorgang, welcher auf die Detektion der Eckpunkte des Lichtmusters abstellt, ist in
Claims (11)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102018101014.1A DE102018101014B3 (en) | 2018-01-18 | 2018-01-18 | A method of detecting characteristic features of a light pattern in an image thereof captured by a vehicle camera |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102018101014.1A DE102018101014B3 (en) | 2018-01-18 | 2018-01-18 | A method of detecting characteristic features of a light pattern in an image thereof captured by a vehicle camera |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102018101014B3 true DE102018101014B3 (en) | 2019-02-21 |
Family
ID=65235126
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE102018101014.1A Active DE102018101014B3 (en) | 2018-01-18 | 2018-01-18 | A method of detecting characteristic features of a light pattern in an image thereof captured by a vehicle camera |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE102018101014B3 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102018115334B3 (en) | 2018-06-26 | 2019-05-09 | Dr. Ing. H.C. F. Porsche Aktiengesellschaft | Method for calibrating an electromagnetic radiation emitting device by means of a sensor unit |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5784098A (en) * | 1995-08-28 | 1998-07-21 | Olympus Optical Co., Ltd. | Apparatus for measuring three-dimensional configurations |
DE10321883A1 (en) * | 2003-05-07 | 2004-12-09 | Universität Stuttgart | Triangulation measurement device for determining object 3D structure has illumination and observation arrays with a projected pattern being evaluated using cross correlation or phase shift analysis |
US20100189372A1 (en) | 2009-01-23 | 2010-07-29 | National Taipei University Of Technology | Method for acquiring phase information and system for measuring three dimensional surface profiles |
DE102015210934A1 (en) * | 2015-06-15 | 2016-12-29 | Volkswagen Aktiengesellschaft | Apparatus and method for improved visual localization of a motor vehicle in an environment |
-
2018
- 2018-01-18 DE DE102018101014.1A patent/DE102018101014B3/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5784098A (en) * | 1995-08-28 | 1998-07-21 | Olympus Optical Co., Ltd. | Apparatus for measuring three-dimensional configurations |
DE10321883A1 (en) * | 2003-05-07 | 2004-12-09 | Universität Stuttgart | Triangulation measurement device for determining object 3D structure has illumination and observation arrays with a projected pattern being evaluated using cross correlation or phase shift analysis |
US20100189372A1 (en) | 2009-01-23 | 2010-07-29 | National Taipei University Of Technology | Method for acquiring phase information and system for measuring three dimensional surface profiles |
DE102015210934A1 (en) * | 2015-06-15 | 2016-12-29 | Volkswagen Aktiengesellschaft | Apparatus and method for improved visual localization of a motor vehicle in an environment |
Non-Patent Citations (1)
Title |
---|
Liang-Chia Chen et al.; "Fourier transform profilometry (FTP) using an innovative band-pass filter for accurate 3-D surface reconstruction"; Optics and lasers in engineering, Vol. 48, 2010, No. 2 , S. 182 – 190 * |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102018115334B3 (en) | 2018-06-26 | 2019-05-09 | Dr. Ing. H.C. F. Porsche Aktiengesellschaft | Method for calibrating an electromagnetic radiation emitting device by means of a sensor unit |
US10814775B2 (en) | 2018-06-26 | 2020-10-27 | Dr. Ing. H.C. F. Porsche Aktiengesellschaft | Method for calibrating an electromagnetic radiation-emitting device using a sensor unit |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE102006012914B4 (en) | System and method for determining the distance to a preceding vehicle | |
DE102011106052B4 (en) | Shadow removal in an image captured by a vehicle based camera using a nonlinear illumination invariant core | |
WO2007107315A1 (en) | Multi-sensorial hypothesis based object detector and object pursuer | |
DE102011086512A1 (en) | Method for fog detection | |
DE112013004534T5 (en) | Method for improving a depth image | |
DE112009000949T5 (en) | Detection of a free driving path for a vehicle | |
DE102013212495A1 (en) | Method and device for inspecting a contoured surface, in particular the underbody of a motor vehicle | |
DE102011106072A1 (en) | SHADOW REMOVAL IN A PICTURE BASED ON A VEHICLE-BASED CAMERA USING AN OPTIMIZED LINEAR AXIS | |
DE112020004301T5 (en) | OBJECT RECOGNITION DEVICE | |
EP3291172A1 (en) | Method for calculating final image data | |
DE102019131971A1 (en) | An image processing module | |
DE102018116511B3 (en) | Depth perception method based on double-sided headlamps of a vehicle | |
DE102015208080A1 (en) | Method for reflection correction of images and related devices | |
DE112009003648T5 (en) | Method and device for barrier separation | |
DE102015208087A1 (en) | Method for generating a reflection-reduced contrast image and related devices | |
EP3931798A1 (en) | Estimating the movement of an image position | |
DE102017124956B4 (en) | A method of extracting a light pattern from an image thereof captured by a vehicle camera | |
DE102018101014B3 (en) | A method of detecting characteristic features of a light pattern in an image thereof captured by a vehicle camera | |
DE102017117211B3 (en) | A method of trajectory-based feature mapping in an image captured by an image capture unit of a vehicle | |
EP3655920B1 (en) | Method and device for analysing image sections for a correspondence calculation | |
DE102008059551A1 (en) | Method for determining the change in position of a camera system and device for capturing and processing images | |
EP3214602A1 (en) | Method for three-dimensional recording of objects | |
DE102009000810A1 (en) | Device for segmenting an object in an image, video surveillance system, method and computer program | |
WO2019072451A1 (en) | Method for processing images | |
EP3142068A1 (en) | Method for three-dimensional recording of objects |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R012 | Request for examination validly filed | ||
R016 | Response to examination communication | ||
R016 | Response to examination communication | ||
R018 | Grant decision by examination section/examining division | ||
R020 | Patent grant now final |