DE102017117614B4

DE102017117614B4 - A method for trajectory-based determination of an evaluation area in an image of a vehicle camera

Info

Publication number: DE102017117614B4
Application number: DE102017117614.4A
Authority: DE
Inventors: Christian Schneider; Sebastian Söhner; Constantin Haas; Tim Kunz
Original assignee: Dr Ing HCF Porsche AG
Current assignee: Dr Ing HCF Porsche AG
Priority date: 2017-08-03
Filing date: 2017-08-03
Publication date: 2019-07-04
Anticipated expiration: 2037-08-04
Also published as: DE102017117614A1

Abstract

Vorliegend wird ein Verfahren bereitgestellt zum Bestimmen eines Auswertebereiches in einem von einer Bilderfassungseinheit eines Fahrzeugs erfassten Bild einer Projektion eines charakteristischen Musters, welches Strukturen aufweist, die von Segmenten eines Scheinwerfers erzeugt werden, wobei das Verfahren Berechnen von Trajektorien von mindestens zwei Strukturen, wobei jede der Trajektorien die Translation der dazugehörigen Struktur in der Bildebene der Bilderfassungseinheit beschreibt in Abhängigkeit von einem Abstandzwischen dem Fahrzeug und einer Projektionsfläche des charakteristischen Musters, Berechnen von jeweils zwei Positionen zu jeder Struktur auf ihren Trajektorien bei vorgegebenen unterschiedlichen Abständen zwischen dem Fahrzeug und der Projektionsfläche, und Festlegen des Auswertebereiches in dem von der Bilderfassungseinheit erfassten Bild aufweist, wobei der Auswertebereich auf Basis der berechneten Positionen definiert wird.

In the present case, a method is provided for determining an evaluation area in an image acquired by an image acquisition unit of a vehicle of a projection of a characteristic pattern having structures generated by segments of a headlight, the method calculating trajectories of at least two structures, each of the Trajectories, the translation of the associated structure in the image plane of the image acquisition unit describes depending on a distance between the vehicle and a projection surface of the characteristic pattern, calculating two positions to each structure on their trajectories at predetermined different distances between the vehicle and the screen, and set of the evaluation area in the image captured by the image acquisition unit, wherein the evaluation area is defined on the basis of the calculated positions.

Description

Die vorliegende Erfindung betrifft ein Verfahren zum trajektoriebasierten Bestimmen eines Auswertebereiches in einem von einer Fahrzeugkamera erfassten Bild einer Projektion eines charakteristischen Musters, welches Strukturen aufweist, die von einem Scheinwerfer eines Fahrzeugs erzeugt werden. Das charakteristische Muster kann besonders bevorzugt zur Implementierung einer Distanzmessung erzeugt werden.The present invention relates to a method for the trajectory-based determination of an evaluation range in an image of a projection of a characteristic pattern captured by a vehicle camera, which has structures that are generated by a headlight of a vehicle. The characteristic pattern can be generated particularly preferably for implementing a distance measurement.

Viele Kraftfahrzeuge verfügen heutzutage über eine fest eingebaute Fahrzeugkamera (Fahrerassistenzkamera), welche meistens im oberen Bereich der Frontscheibe eingebaut ist. Die Fahrzeugkamera wird bei der Implementierung diverser Fahrerassistenzsysteme verwendet, welche den Fahrer in bestimmten Fahrsituationen unterstützen sollen (z.B. Nachtlichtassistent oder Fahrspurhalteassistent). Unter anderem kann die Fahrzeugkamera verwendet werden, um eine Distanzmessung zu implementieren. Hierbei bedient man sich der aktiven Triangulation, bei welcher ein vom Scheinwerfer des Fahrzeugs projiziertes Muster von der Fahrzeugkamera erfasst und ausgewertet wird. Das projizierte Muster wird aus der durch die Fahrzeugkamera erfassten Abbildung der Umgebung, nachfolgend als Kamerabild bezeichnet, mit Mitteln der Bildverarbeitung extrahiert. Da diese Bildverarbeitung auf aufwendigen Algorithmen basiert, ist eine Beschränkung ihrer Anwendung auf einen Teilbereich des Kamerabildes beinah unerlässlich, um eine kontinuierlich verzögerungsfreie Arbeitsweise des Gesamtsystems zu gewährleisten. Der relevante Teilbereich der erfassten Abbildung, welcher die projizierten Muster aufweist, wird als ROI (region of interest - „Bereich von Interesse“) bezeichnet. Die Sinnhaftigkeit der Beschränkung der Bildverarbeitung auf einen Teilbereich der erfassten Abbildung der Umgebung wird insbesondere deutlich, wenn man bedenkt, dass das System im Takt der Bildwiederholrate der Fahrzeugkamera die Bildverarbeitung komplett abgeschlossen haben sollte. Bei einer heutzutage nicht unüblichen Bildwiederholrate von 50 Hz ergibt sich eine Verarbeitungsdauer von nur 20 ms.Many motor vehicles today have a permanently installed vehicle camera (driver assistance camera), which is usually installed in the upper region of the windshield. The vehicle camera is used in the implementation of various driver assistance systems which are intended to assist the driver in certain driving situations (for example, night-light assistant or lane-keeping assistant). Among other things, the vehicle camera can be used to implement a distance measurement. In this case, the active triangulation is used, in which a pattern projected by the headlight of the vehicle is detected and evaluated by the vehicle camera. The projected pattern is extracted from the image of the environment detected by the vehicle camera, hereinafter referred to as a camera image, by means of image processing. Since this image processing based on complex algorithms, a limitation of their application to a portion of the camera image is almost essential to ensure a continuous delay-free operation of the entire system. The relevant portion of the captured image having the projected patterns is referred to as ROI ("region of interest"). The meaningfulness of the restriction of the image processing to a subarea of the captured image of the environment becomes particularly clear when one considers that the system should have completely completed the image processing to the beat of the image refresh rate of the vehicle camera. At a picture refresh rate of 50 Hz, which is not uncommon today, a processing time of only 20 ms results.

Typischerweise läuft eine Prozesskette zur Implementierung der aktiven Triangulation wie folgt ab. Zunächst wird mittels des Scheinwerfers eine ein charakteristisches Muster auf eine Projektionsfläche (Szene) projiziert, wobei es sich bei der Projektionsfläche um eine Gebäudewand oder die Fahrbahn handeln kann. Das Ausleuchten der Szene mit strukturiertem Licht bekannter optischer und geometrischer Eigenschaften stellt ein Kernmerkmal der aktiven Triangulation dar. Die Szene, welche die Projektion des charakteristischen Musters aufweist, wird von der Fahrzeugkamera abgebildet, wobei das projizierte Muster gemäß der Szenenbeschaffenheit verformt werden kann. Daraufhin wird eine Kaskade von Bildverarbeitungsschritten durchgehört, um das charakteristische Muster aus dem Kamerabild zu extrahieren. Die Hauptaufgabe besteht darin, das Korrespondenzproblem zu lösen: Strukturen des charakteristischen Musters zu den diese Strukturen erzeugenden Segmenten des Scheinwerfers zuzuordnen. Basierend auf dieser aus der fahrzeugspezifischen Lichtverteilung ermittelten Zuordnung wird anschließend eine Tiefen-Map (Tiefenkarte) berechnet, die Informationen über die jeweilige Distanz zwischen dem Fahrzeug und den Projektionen der Strukturen auf der Projektionsfläche, auf welche das charakteristische Muster insgesamt projiziert wird. Die Tiefen-Map stellt letztendlich die Distanzinformation zu Objekten im Kamerabild bereit, die mit strukturiertem Licht des Scheinwerfers ausgeleuchtet werden.Typically, a process chain for implementing active triangulation runs as follows. First, a characteristic pattern is projected onto a projection surface (scene) by means of the spotlight, wherein the projection surface can be a building wall or the roadway. Illuminating the scene with structured light of known optical and geometric properties is a core feature of active triangulation. The scene having the projection of the characteristic pattern is imaged by the vehicle camera, and the projected pattern can be deformed according to the scene condition. Thereafter, a cascade of image processing steps is listened through to extract the characteristic pattern from the camera image. The main task is to solve the correspondence problem: to assign structures of the characteristic pattern to the segments of the headlight that produce these structures. Based on this determined from the vehicle-specific light distribution mapping then a depth map (depth map) is calculated, the information about the distance between the vehicle and the projections of the structures on the projection surface on which the characteristic pattern is projected in total. The depth map ultimately provides the distance information to objects in the camera image, which are illuminated with structured light of the headlight.

Im Optimalfall sollte diese gesamte Prozesskette, angefangen bei der Erfassung des Kamerabildes, zu jedem von der Fahrzeugkamera aufgenommen Einzelbild (Frame) eine fertig berechnete Tiefen-Map bereitstellen. Die gesamte Prozesskette sollte also auf einer Zeitskala der Bildwiderholrate der Fahrzeugkamera ausgeführt werden. An dieser Stelle wird erneut deutlich, dass eine Anwendung der Bildbearbeitung auf das gesamte Kamerabild viel Rechenkapazität bindet bzw. bei ungenügender Rechenkapazität keine Berechnung der Tiefen-Map im Takt der Bildwiderholrate zulässt.In the optimal case, this entire process chain, starting with the capture of the camera image, should provide a fully calculated depth map for each frame (frame) captured by the vehicle camera. The entire process chain should therefore be executed on a time scale of the image refresh rate of the vehicle camera. At this point, it becomes again clear that an application of the image processing on the entire camera image binds a lot of computing capacity or in case of insufficient computing capacity does not allow a calculation of the depth map in time with the image refresh rate.

Aus der DE 10 2015 122 172 A1 ist eine scheinwerferbasierte Projektion von Mustern zur Vermessung räumlicher Eigenschaften bekannt. Hier werden potentielle Translationen des projizierten Musters gegenüber einem Referenzwert ermittelt.From the DE 10 2015 122 172 A1 is a headlight-based projection of patterns for measuring spatial properties known. Here, potential translations of the projected pattern against a reference value are determined.

Aus der US 2013/0321627 A1 ist ein Verfahren bekannt, wobei das von einer Kamera erfasste Bild in unterschiedliche relevante Bildsegmente zerlegt wird.From the US 2013/0321627 A1 a method is known in which the image captured by a camera is decomposed into different relevant image segments.

Des Weiteren beschreibt die US 2015/0294161 A1 ein Verfahren zum Erkennen von Objekten entlang eines Fahrzeugpfades. Dazu werden mittels der Scheinwerfer zwei Lichtstrahlen auf die Fahrbahn projiziert und anschließend von einem Steuer-Bilderfassungssystem erfasst. Durch diese Auswertung kann das Höhenprofil des Pfades generiert werden.Furthermore, the describes US 2015/0294161 A1 a method for detecting objects along a vehicle path. For this purpose, two light beams are projected onto the roadway by means of the headlights and subsequently detected by a control image acquisition system. Through this evaluation, the height profile of the path can be generated.

Ausgehend von der oben dargestellten Situation erfolgt bei heute eingesetzten Systemen eine Reduktion des zu verarbeitenden Kamerabildes auf den ROI, welcher in der Regel ausgehend von Simulationen/Berechnungen im Wesentlichen dem Bereich der charakteristischen Merkmale im Kamerabild entspricht. Diese Berechnungen erfolgen im Vorfeld und können dahingehend als statisch betrachtet werden, als dass sie auf Basis einer voreingestellten bekannten Lichtverteilung der Scheinwerfer erfolgen und eine später eintretende Fehlstellung eines Scheinwerfers und den daraus resultierenden Versatz der Lichtverteilung nicht berücksichtigen. Ein weiterer Nachteil hierbei ist auch, dass die Bildverarbeitung global auf jedes Einzelbild angewendet wird, was Rechenkapazitäten bindet.Based on the situation described above, the systems used today reduce the camera image to be processed to the ROI, which, based on simulations / calculations, generally corresponds essentially to the range of characteristic features in the camera image. These calculations are made in advance and may be considered static in that they are based on a pre-set known light distribution of the headlights and take into account a later occurring malposition of a headlamp and the resulting offset the light distribution. Another disadvantage here is that the image processing is applied globally to each frame, which binds computing capacity.

Eine Weiterentwicklung hinsichtlich der statischen Bestimmung des ROI stellt ein Ansatz dar, bei welchem die Dimension des ROI zwar statisch berechnet wird, der ROI jedoch auf Basis eines charakteristischen Merkmals der Lichtverteilung im Kamerabild angepasst wird durch Translation des statisch berechneten ROI im Kamerabild entsprechend der detektierten Verschiebung des charakteristischen Merkmals. Als charakteristisches Merkmal bietet sich beispielsweise der H0V0-Punkt an, welcher bei modernen Fahrzeugen mit asymmetrischem Abblendlicht dem Knickpunkt zwischen dem links waagerecht verlaufenden Teil und dem rechts ansteigenden Teil der Hell-Dunkel-Grenze entspricht. Ändert sich später bei der Ausführung der Distanzmessung die Ausrichtung eines Scheinwerfers und damit die Lichtverteilung, so wird dies berücksichtigt. Dieser Ansatz setzt jedoch die Ausführung von Bildverarbeitungskaskaden voraus, um die das charakteristische Merkmal im Kamerabild zu detektieren, wodurch Rechenkapazitäten gebunden werden.A further development regarding the static determination of the ROI represents an approach in which the dimension of the ROI is calculated statically, but the ROI is adapted on the basis of a characteristic feature of the light distribution in the camera image by translating the statically calculated ROI in the camera image according to the detected displacement of the characteristic feature. A characteristic feature is, for example, the H0V0 point, which in modern vehicles with asymmetrical dipped beam corresponds to the inflection point between the left-hand horizontally extending part and the right-rising part of the cut-off line. If the orientation of a headlamp and thus the light distribution changes later during the distance measurement, this is taken into account. However, this approach requires the execution of image processing cascades to detect the feature in the camera image, thereby binding computational capabilities.

Gemäß einer weiteren Methode wird eine Bildverarbeitung global angewendet, d.h. bezüglich des ganzen erfassten Kamerabildes, und es werden charakteristische Merkmale detektiert. Werden diese gefunden, so wird die Bildverarbeitung für die weiteren erfassten Kamerabilder nur auf den Bereich angewendet, in dem sich die initial detektierten Merkmale befunden haben. Bei dieser Methode wird ebenso die aktuelle Scheinwerferfehlstellung berücksichtigt. Zu Beginn wird jedoch die Bildverarbeitungskaskade auf das ganze erfasste Kamerabild angewendet, um die charakteristischen Merkmale zu detektieren.According to another method, image processing is applied globally, i. with respect to the entire captured camera image, and characteristic features are detected. If these are found, the image processing for the further captured camera images is applied only to the area in which the initially detected features were located. This method also takes into account the current headlight misalignment. Initially, however, the image processing cascade is applied to the entire captured camera image to detect the characteristic features.

Im Lichte der oben skizzierten bekannten Ansätze und der damit verbundenen Probleme ist es eine Aufgabe der vorliegenden Erfindung, ein Verfahren zur Verfügung zu stellen, welches eine verlässliche, effiziente - vor allem rechenressourcensparende Auswertung der Kamerabilder zur Detektion charakteristischer Merkmale ermöglicht und so als Basis für die Implementierung sicherheitskritischer Fahrerassistenzsysteme dienen kann, wie z.B. der auf aktiver Triangulation basierenden Distanzmessung.In the light of the above-outlined known approaches and the associated problems, it is an object of the present invention to provide a method which enables a reliable, efficient - especially computing resource-saving evaluation of the camera images for the detection of characteristic features and as a basis for the Implementation of safety-critical driver assistance systems can serve, such as the active triangulation-based distance measurement.

Die Aufgabe der vorliegenden Erfindung wird gelöst durch ein Verfahren zum Bestimmen eines Auswertebereiches in einem von einer Bilderfassungseinheit eines Fahrzeugs erfassten Bild eines charakteristischen Musters, welches Strukturen aufweist, die von Segmenten eines Scheinwerfers eines Fahrzeugs erzeugt werden, wie es im unabhängigen Anspruch 1 definiert ist.The object of the present invention is achieved by a method for determining an evaluation range in an image of a characteristic pattern captured by an image acquisition unit of a vehicle, which has structures that are generated by segments of a headlight of a vehicle, as defined in independent claim 1.

Durch Anwenden des erfindungsgemäßen Verfahrens lässt sich eine schnelle und optimale Festlegung des Auswertebereiches in einem von der Fahrzeugkamera erfassten Bildes vornehmen. Der Auswertebereich stellt den relevanten Teil des Kamerabildes dar, in welchem das charakteristische Muster enthalten ist, und entspricht damit dem ROI. By applying the method according to the invention, a fast and optimal definition of the evaluation area can be made in an image captured by the vehicle camera. The evaluation area represents the relevant part of the camera image in which the characteristic pattern is contained, and thus corresponds to the ROI.

Dadurch wird dem Bildverarbeitungsalgorithmus ein relativ zum erfassten gesamten Kamerabild kleiner Ausschnitt bereitgestellt, welcher das charakteristische Muster aufweist. Das hat zum einen den Vorteil, dass keine Rechenkapazität verschwendet wird, um Bereiche des Kamerabildes zu verarbeiten, welche für die Implementierung der Distanzmessfunktion irrelevant sind. Dadurch kann die Verarbeitungsdauer der Bildverarbeitung deutlich verringert werden kann. Ein weiterer Vorteil kann darin gesehen werden, dass der Auswertebereich im Prinzip nur das charakteristische Muster aufweist und dadurch andere Bereiche des Kamerabildes, welche unter Umständen Strukturen aufweisen können, die dem charakteristischen Muster ähnlich aussehen (z.B. Deckenbeleuchtung oder etwa eine vom Scheinwerfer angestrahlte Gitterstruktur, z.B. ein Zaun), von vornherein aus der Betrachtung rausfallen. Dadurch kann die Wahrscheinlichkeit einer Fehldetektion drastisch reduziert werden.As a result, the image processing algorithm is provided with a small detail, which has the characteristic pattern, relative to the captured entire camera image. This has the advantage on the one hand that no computing capacity is wasted in order to process regions of the camera image which are irrelevant for the implementation of the distance measurement function. As a result, the processing time of the image processing can be significantly reduced. Another advantage can be seen in that the evaluation area in principle has only the characteristic pattern and thereby other areas of the camera image, which may have structures that look similar to the characteristic pattern (eg ceiling lighting or about a lattice structure illuminated by the headlamp, eg a fence), from the outset out of consideration. This can drastically reduce the likelihood of misdetection.

Im Mittelpunkt des erfindungsgemäßen Verfahrens steht das trajektoriebasierte Bestimmen von unterschiedlichen Positionen von Strukturen innerhalb des charakteristischen Musters, um auf Grundlage dieser Positionen den Auswertebereich festzulegen. Nach erfolgter Aufnahme eines Kamerabildes, welches unter anderem die Projektion des charakteristischen Musters aufweist, werden zunächst Trajektorien von mindestens zwei vom Scheinwerfer erzeugten Strukturen berechnet. Gemäß epipolargeometrischer Überlegungen handelt es sich bei den Trajektorien um Geraden. Bei den Strukturen kann es sich um im Vergleich zur restlichen Lichtprojektion des Scheinwerfers hellere oder dunklere Bereiche handeln. Insbesondere kann es sich bei einer Struktur u einen Bereich des charakteristischen Musters handeln, welcher durch Licht eines bestimmten Segments/Teils des Scheinwerfers erzeugt wird. Bei der Berechnung der Trajektorie einer Struktur wird unter Zuhilfenahme epipolargeometrischer Überlegungen ihre Epipolarlinie in der Bildebene der Fahrzeugkamera berechnet. Die Trajektorie einer Struktur beschreibt die Veränderung ihrer Lage in der Bildebene der Fahrzeugkamera in Abhängigkeit von dem Abstand zwischen Fahrzeug (und damit auch Fahrzeugkamera und Scheinwerfer) und der Projektionsfläche des charakteristischen Musters. Hierbei ist zu beachten, dass im Rahmen der Berechnung der Trajektorie dieser Abstand nicht tatsächlich verändert werden, muss, also das Fahrzeug zum Zeitpunkt der Ausführung des erfindungsgemäßen Verfahrens nicht in verschiedene Abstände zu einer Projektionsfläche verfahren werden muss.At the heart of the method according to the invention is the trajectory-based determination of different positions of structures within the characteristic pattern in order to determine the evaluation range on the basis of these positions. After taking a camera image, which among other things has the projection of the characteristic pattern, first trajectories of at least two structures generated by the headlight are calculated. According to epipolargeometric considerations, the trajectories are straight lines. The structures may be lighter or darker compared to the remaining light projection of the headlamp. In particular, a structure u may be an area of the characteristic pattern produced by light of a particular segment / part of the headlamp. In the calculation of the trajectory of a structure, its epipolar line in the image plane of the vehicle camera is calculated with the aid of epipolargeometric considerations. The trajectory of a structure describes the change in its position in the image plane of the vehicle camera as a function of the distance between the vehicle (and thus also the vehicle camera and headlight) and the projection surface of the characteristic pattern. It should be noted that in the calculation of the trajectory This distance must not be changed, must, so the vehicle at the time of execution of the method according to the invention does not have to be moved to different distances to a projection surface.

Die berechneten Trajektorien werden benutzt, um jeweils zwei unterschiedliche Positionen der mindestens zwei Strukturen in der Bildebene der Fahrzeugkamera zu berechnen. Die eine Position kann beispielsweise einem kleinen Abstand entsprechen und die andere Position kann einem großen Abstand zur Projektionsfläche entsprechen. Die beiden Positionen können überdies so gewählt werden, dass sie einem minimalen und einem maximalen Abstand entsprechen, bei dem die Distanzmessung im realen Betrieb des Fahrzeugs funktionieren soll. Mit anderen Worten können die beiden Positionen bei unterschiedlichen Abständen bestimmt werden, die von dem spezifizierten Funktionsbereich der Distanzmessung abhängen. Zusätzlich können bei der Berechnung der Positionen auf den Trajektorien Toleranzbereiche berücksichtigt werden.The calculated trajectories are used to calculate two different positions of the at least two structures in the image plane of the vehicle camera. For example, one position may correspond to a small distance and the other position may correspond to a large distance to the projection surface. Moreover, the two positions can be chosen to correspond to a minimum and a maximum distance at which the distance measurement is to function in the real operation of the vehicle. In other words, the two positions can be determined at different distances that depend on the specified functional range of the distance measurement. In addition, tolerance ranges can be taken into account when calculating the positions on the trajectories.

Sind die erste Position und die zweite Position auf der Trajektorie einer Struktur ermittelt, so beschreibt das zwischen diesen Positionen liegende Teilstück der Trajektorie alle möglichen Lagen der dazugehörigen Struktur in der Bildebene der Fahrzeugkamera (d.h. in einem von der Fahrzeugkamera erfassten Bild) bei Abständen zwischen Fahrzeug und Projektionsfläche, die im Funktionsbereich der Distanzmessung liegen. Anders ausgedrückt beschreiben die ersten und zweiten Positionen Randpunkte eines Bewegungsspielraums der dazugehörigen Struktur, innerhalb dessen die Struktur abgebildet wird bei ihrer Erfassung durch die Fahrzeugkamera innerhalb des Funktionsbereiches der Distanzmessung. Der Auswertebereich in dem von der Bilderfassungseinheit erfassten Bild wird dann auf Grundlage der errechneten ersten und zweiten Positionen der ersten und zweiten Struktur festgelegt. Zweckmäßigerweise kann es sich bei den Strukturen um solche handeln, die das charakteristische Muster räumlich begrenzen, also beispielsweise äußersten Strukturen innerhalb des charakteristischen Musters entsprechen. Bei geeigneter Wahl der Strukturen können die ersten und zweiten Positionen bildlich als Eckpunkte des Auswertebereiches aufgefasst werden, welcher beispielsweise die Form eines Vierecks (näherungsweise eines Trapezes) aufweisen kann und welcher das Abbild des projizierten charakteristischen Musters im Kamerabild umschließt. Es ist jedoch nicht notwendig, dass der Auswertebereich das gesamte charakteristische Muster umschließt, sondern zumindest einen überwiegenden bzw. relevanten Teil davon. Randbereiche des charakteristischen Musters können gegebenenfalls außer Acht gelassen werden. Bei der Bestimmung des Auswertebereiches kann ein standardmäßiger oder situationsabhängiger (Tageszeit, Lichtverhältnisse) Toleranzbereich berücksichtigt werden, um dessen Bestimmung nicht durch optische Randeffekte zu beeinträchtigen.If the first position and the second position are determined on the trajectory of a structure, the portion of the trajectory lying between these positions describes all possible positions of the associated structure in the image plane of the vehicle camera (ie in an image captured by the vehicle camera) with distances between the vehicle and projection surface, which are in the functional range of the distance measurement. In other words, the first and second positions describe edge points of a range of motion of the associated structure within which the structure is imaged as it is detected by the vehicle camera within the functional range of distance measurement. The evaluation area in the image acquired by the image acquisition unit is then determined based on the calculated first and second positions of the first and second structures. Expediently, the structures may be those which spatially delimit the characteristic pattern, ie, for example, correspond to outermost structures within the characteristic pattern. With a suitable choice of the structures, the first and second positions can be pictorially interpreted as vertices of the evaluation region, which may for example have the shape of a quadrilateral (approximately a trapezoid) and which encloses the image of the projected characteristic pattern in the camera image. However, it is not necessary that the evaluation area encloses the entire characteristic pattern, but at least a predominant or relevant part thereof. Edge regions of the characteristic pattern may be disregarded if necessary. When determining the evaluation range, a standard or situation-dependent (time of day, light conditions) tolerance range can be taken into account, so as not to impair its determination by optical edge effects.

Unabhängig von der eigentlichen Form des Auswertebereiches und dem darin enthaltenen Anteil des Abbildes des projizierten charakteristischen Musters besteht der große Vorteil des erfindungsgemäßen Verfahrens darin, dass zu keinem Zeitpunkt das gesamte von der Fahrzeugkamera erfasste Bild einer Bildverarbeitung unterzogen werden, um in dem Kamerabil die Lage des charakteristischen Musters zu bestimmen. Vorzugsweise werden die Trajektorien zu Strukturen berechnet, die von räumlich außen liegenden Segmenten des Scheinwerfers erzeugt werden, wobei diese Rechnungen keinerlei Rückgriff auf Daten oder Elemente der Fahrzeugkamera erfordern, sondern auf Basis der Epipolargeometrie bezüglich eines kalibrierten Stereo-Systems aus Scheinwerfer und Fahrzeugkamera durchgeführt werden. Im Bedarfsfall kann zu jedem erfassten Kamerabild der Auswertebereich neu berechnet werden, so dass der Rechenaufwand der weiteren Bildverarbeitung auf so viel wie nötig und so wenig wie möglich beschränkt wird. Das im Rahmen des erfindungsgemäßen Verfahrens verwendete charakteristische Muster kann von einem der üblicherweise zwei in einem Fahrzeug vorhandenen Scheinwerfer erzeugt werden oder aber auch durch eine Überlagerung der Lichtabstrahlung beider Scheinwerfer.Regardless of the actual form of the evaluation area and the proportion of the image of the projected characteristic pattern contained therein, the great advantage of the method according to the invention is that at no time are the entire image captured by the vehicle camera subjected to image processing in order to determine the position of the camera in the camera characteristic pattern. Preferably, the trajectories are calculated into structures that are generated by spatially outer segments of the headlight, these calculations do not require any recourse to data or elements of the vehicle camera, but are performed on the basis of Epipolargeometrie relative to a calibrated stereo system of headlight and vehicle camera. If necessary, the evaluation range can be recalculated for each captured camera image, so that the computational effort of the further image processing is limited to as much as necessary and as little as possible. The characteristic pattern used in the context of the method according to the invention can be generated by one of the usually two existing in a vehicle headlights or even by a superposition of the light emission of both headlights.

Gemäß weiteren Ausführungsbeispielen des Verfahrens können die erste und die zweite Struktur jeweils einer Projektion des Lichts eines Segments des Scheinwerfers entsprechen. Das heißt, jede Struktur kann durch die Abstrahlung von Licht eines Segments eines Scheinwerfers erzeugt werden. Bei den Segmenten kann es sich beispielsweise und LED-Einheiten, auch als Pixel bezeichnet, eines auf LED-Matrix-Licht basierenden Scheinwerfers handeln. Heutzutage verfügen moderne Versionen solcher Scheinwerfer über insgesamt 84 LED-Einheiten, die in drei übereinander angeordneten Riehen vorliegen. Bei einem LED-Matrix-Scheinwerfer kann das charakteristische Muster Strukturen aufweisen, wovon jede der Lichtabstrahlung eines Pixels entspricht. Beispielsweise kann zur Erzeugung des charakteristischen Musters in jeder der drei Reihen des LED-Matrix-Scheinwerfers jeder zweite Pixel aktiviert werden, so dass in Projektion insgesamt ein Schachbrettmuster entsteht. Eine Trajektorie kann dann als Pixelpfad aufgefasst werden, auf dem sich ein Abbild des dazugehörigen Pixels auf einer Projektionsfläche in Abhängigkeit vom Abstand zwischen Fahrzeug und Projektionsfläche im Kamerabild bewegt. Alternativ kann eine Struktur durch einen Bereich in einer strukturierten Blende erzeugt werden, welche mit einem üblichen Scheinwerfer beleuchtet wird. According to further embodiments of the method, the first and the second structure may each correspond to a projection of the light of a segment of the headlight. That is, each structure can be created by the emission of light from a segment of a headlamp. The segments may be, for example, and LED units, also referred to as pixels, a LED Matrix Light based headlight. Today, modern versions of such headlights have a total of 84 LED units, which are present in three superimposed Riehen. In an LED matrix headlamp, the characteristic pattern may have structures, each corresponding to the light emission of a pixel. For example, to generate the characteristic pattern in each of the three rows of the LED matrix headlight, every other pixel can be activated so that a total of a checkerboard pattern is produced in projection. A trajectory can then be understood as a pixel path on which an image of the associated pixel moves on a projection surface as a function of the distance between the vehicle and the projection surface in the camera image. Alternatively, a structure may be created by an area in a patterned aperture that is illuminated with a conventional spotlight.

Gemäß weiteren Ausführungsbeispielen des Verfahrens können die erste und die zweite Struktur jeweils einem räumlich außenliegenden Segment des Scheinwerfers entsprechen, d.h. der Abstrahlung von Licht aus diesem Segment entsprechen. Unter außenliegenden Segmenten des Scheinwerfers sind Segmente gemeint, welcher gegenüber seiner Mittelachse oder seiner optischen Achse, also etwa bezüglich des Zentrums der Lichtabstrahlfläche, räumlich außen angeordnet sind. Zugleich ist aber eines der außenliegenden Segmente ein bezüglich des Fahrzeugs oder der Fahrzeugkamera innenliegendes Segment, da es logischerweise näher an der Fahrzeugmitte angeordnet ist. Durch Berechnen der Trajektorien zu Strukturen, die von räumlich (am weitesten) außen liegenden Segmenten des Scheinwerfers erzeugt werden und dadurch auch (am weitesten) außen liegenden Strukturen des charakteristischen Musters entsprechen, kann sichergestellt werden, dass im Prinzip das ganze charakteristische Muster von dem Auswertebereich umfasst wird. Das charakteristische Muster als solchen kann zweckmäßigerweise aus den Lichtprojektionen der einzelnen Segmente des Scheinwerfers zusammengestückelt werden, wobei einzelne Segmente gezielt ausgeschaltet oder gedimmt werden können. So kann das Muster beispielsweise hellere Bereiche (eingeschaltete und ggfs. gedimmte Segmente des Scheinwerfers) und dunklere Bereiche (ausgeschaltete oder gedimmte Segmente des Scheinwerfers) in Reihen alternierend angeordnet sind.According to further embodiments of the method, the first and second structures may each correspond to a spatially outer segment of the headlamp, i. correspond to the emission of light from this segment. Under outer segments of the headlamp segments are meant, which are arranged with respect to its central axis or its optical axis, ie, with respect to the center of the light emitting surface, spatially outside. At the same time, however, one of the outer segments is a segment lying inwardly relative to the vehicle or the vehicle camera, since it is logically arranged closer to the center of the vehicle. By calculating the trajectories to structures generated by spatially (outermost) outboard segments of the headlamp and thereby also corresponding to (outermost) outermost structures of the characteristic pattern, it can be ensured that, in principle, the entire characteristic pattern of the evaluation region is included. The characteristic pattern as such can expediently be pieced together from the light projections of the individual segments of the headlamp, wherein individual segments can be selectively switched off or dimmed. For example, the pattern may be alternately arranged in rows in rows of brighter areas (switched on and optionally dimmed segments of the headlamp) and darker areas (off or dimmed segments of the headlamp).

Gemäß einer weiteren Ausführungsform kann das Verfahren vor dem Berechnen der Trajektorien ferner Bestimmen von aktiven Segmenten des Scheinwerfers aufweisen, die an der Erzeugung des charakteristischen Musters beteiligt sind, wobei die Trajektorien nur bezüglich derjenigen mindestens zwei Segmente berechnet werden, die aktiven Segmenten entsprechen. In diesem Zusammenhang kann der Begriff „Bestimmen“ zum einen passives Abfragen beinhalten, welche der Segmente des Scheinwerfers an der Musterbildung beteiligt sind. Zum anderen kann der Begriff auch aktives Bestimmen im Sinne eines Festlegens beinhalten, welche der Segmente an der Projektion des charakteristischen Musters beteiligt sein sollen. Im letzteren Fall können etwa standort- bzw. situationsabhängige charakteristische Muster definiert werden und je nach Bedarf verwendet werden.According to a further embodiment, before calculating the trajectories, the method may further comprise determining active segments of the headlight which are involved in the generation of the characteristic pattern, the trajectories being calculated only with respect to those at least two segments corresponding to active segments. In this context, the term "determining" may, on the one hand, include passive querying which of the segments of the headlight is involved in the pattern formation. On the other hand, the term may also include active determining in the sense of determining which of the segments should be involved in the projection of the characteristic pattern. In the latter case, location-dependent or situation-dependent characteristic patterns can be defined and used as needed.

Gemäß einer weiteren Ausführungsform des Verfahrens kann das Berechnen der Trajektorien unter Berücksichtigung von Kalibrierdaten des Scheinwerfers und der Bilderfassungseinheit des Fahrzeugs erfolgen. Die Kalibrierdaten können im Rahmen eines speziellen Kalibrierverfahrens der Kamera und/oder des Scheinwerfers ermittelt werden und beschreiben den inneren Aufbau (z.B. mittels jeweils einer intrinsischen Matrix) sowie die äußere Lage der der Kamera bzw. des Scheinwerfers zum Bezugssystem (z.B. mittels jeweils einer extrinsischen Matrix). Durch Kenntnis der Kalibrierdaten können die Orientierungen der optischen Achsen der Kamera und des Scheinwerfers miteinander in Bezug gebracht werden.According to a further embodiment of the method, the trajectories can be calculated taking into account calibration data of the headlight and the image acquisition unit of the vehicle. The calibration data can be determined within the framework of a special calibration method of the camera and / or the headlight and describe the internal structure (eg by means of an intrinsic matrix) as well as the outer position of the camera or the headlight to the reference system (eg by means of an extrinsic matrix ). By knowing the calibration data, the orientations of the optical axes of the camera and the headlight can be related to each other.

Gemäß weiteren Ausführungsbeispielen kann das Verfahren ferner aufweisen: Überwachen der Ausrichtung des Scheinwerfers und Neuberechnen der Trajektorien und der jeweils zwei Positionen der ersten und der zweiten Struktur auf ihren jeweiligen neu berechneten Trajektorien zum Anpassen des festgelegten Auswertebereiches, falls beim Überwachen der Ausrichtung des Scheinwerfers festgestellt wird, dass sich seine Ausrichtung verändert hat. Eine veränderte Lage und/oder Orientierung des Scheinwerfers führt zu veränderten Kalibrierdaten und spiegelt sich in einer veränderten extrinsischen Matrix wieder, was wiederum zu einer Veränderung der Lichtprojektion führt. Eine Berechnung der Trajektorien auf Basis nicht mehr aktueller Kalibrierdaten hätte einen Versatz zwischen dem theoretisch berechneten und dem tatsächlichen distanzabhängigen Translationsbereich der Strukturen bzw. des charakteristischen Musters im Kamerabild. Diesem Problem kann bei detektierter Scheinwerferverstellung durch Neuberechnen der Trajektorien vorgebeugt werden.According to further embodiments, the method may further comprise: monitoring the orientation of the headlamp and recalculating the trajectories and the respective two positions of the first and second structures on their respective newly calculated trajectories to adjust the determined evaluation range, if determined upon monitoring the orientation of the headlamp that his orientation has changed. A changed position and / or orientation of the headlight leads to changed calibration data and is reflected in a modified extrinsic matrix, which in turn leads to a change in the light projection. A calculation of the trajectories on the basis of no longer current calibration data would have an offset between the theoretically calculated and the actual distance-dependent translation region of the structures or the characteristic pattern in the camera image. This problem can be prevented by detecting the headlight adjustment by recalculating the trajectories.

Gemäß einer weiteren Ausführungsform weist das Verfahren ferner Durchführen einer Bildverarbeitung in dem festgelegten Auswertebereich des von der Bilderfassungseinheit erfassten Bildes auf, um das charakteristische Muster zu detektieren. Die Detektion des charakteristischen Musters kann die Detektion einzelner charakteristischer Merkmale des Musters aufweisen, anhand derer die Strukturen erkannt werden können. Beispielsweise kann bei einem Schachbrettmuster die Bildverarbeitungskaskade zur Detektion von Ecken und/oder von mindestens zwei Hell-Dunkel-Übergängen verwendet werden, so dass anhand dieser charakteristischen Merkmale die Lage und Dimension der Strukturen bestimmt werden kann. An diesem Punkt erkennt man deutlich den Vorteil des Verfahrens in puncto Ressourceneffizienz: da der Auswertebereich im Prinzip nur das charakteristische Muster aufweist, kann der Bildverarbeitungsalgorithmus an die grundlegende Morphologie möglicher charakteristischer Muster und der darin enthaltenen charakteristischen Merkmale angepasst werden und somit schneller arbeiten. Insbesondere kann die Wahrscheinlichkeit reduziert werden, dass Kapazitäten für die Verarbeitung von Bildinhalten verschwendet werden, die nicht Teil des charakteristischen Musters sind.According to another embodiment, the method further comprises performing image processing on the designated evaluation area of the image captured by the image capture unit to detect the characteristic pattern. The detection of the characteristic pattern may include the detection of individual characteristic features of the pattern, by means of which the structures can be recognized. For example, in a checkerboard pattern, the image processing cascade can be used to detect corners and / or at least two light-dark transitions, so that the position and dimension of the structures can be determined on the basis of these characteristic features. At this point, one can clearly see the advantage of the method in terms of resource efficiency: since the evaluation area in principle has only the characteristic pattern, the image processing algorithm can be adapted to the basic morphology of possible characteristic patterns and the characteristic features contained therein and thus work faster. In particular, the likelihood of wasting image content processing capacity that is not part of the characteristic pattern can be reduced.

Die vorliegende Erfindung betrifft des Weiteren ein Kraftfahrzeug mit einer Fahrzeugkamera und einer Auswerteeinheit, wobei die Auswerteeinheit eingerichtet ist, das hier beschriebene Verfahren auszuführen.The present invention further relates to a motor vehicle with a vehicle camera and an evaluation unit, wherein the Evaluation unit is set up to carry out the method described here.

Weitere Einzelheiten, Merkmale und Vorteile der Erfindung ergeben sich aus der nachfolgenden Beschreibung von bevorzugten Ausführungsformen anhand der Zeichnungen. Die Zeichnungen illustrieren dabei lediglich beispielhafte Ausführungsformen der Erfindung, welche den wesentlichen Erfindungsgedanken nicht einschränken. Insbesondere sind die Dimensionen und geometrische Relationen der in den Figuren dargestellten Elemente nicht als limitierend zu werten.

1 zeigt ein Schaubild, welches das Funktionsprinzip des erfindungsgemäßen Verfahrens veranschaulicht.
2 zeigt ein beispielhaftes charakteristisches Muster und einen dazu ermittelten Auswertebereich.
3 zeigt ein schematisches Flussdiagramm, welches den Ablauf einer Ausführungsform des erfindungsgemäßen Verfahrens veranschaulicht.

Further details, features and advantages of the invention will become apparent from the following description of preferred embodiments with reference to the drawings. The drawings illustrate only exemplary embodiments of the invention, which do not limit the essential inventive idea. In particular, the dimensions and geometric relationships of the elements shown in the figures are not to be regarded as limiting.

1 shows a diagram which illustrates the principle of operation of the method according to the invention.
2 shows an exemplary characteristic pattern and an evaluation range determined therefor.
3 shows a schematic flow diagram illustrating the sequence of an embodiment of the method according to the invention.

In 1 ist die grundlegende Ausgangssituation dargestellt, bei der das erfindungsgemäße Verfahren zum Einsatz kommen kann. Ein Scheinwerfer S eines Fahrzeugs erzeugt eine Lichtprojektion, welche zur Ausleuchtung der primär vor dem Fahrzeug liegenden Umgebung dient. Im Allgemeinen kann dem vom Scheinwerfer S abgestrahlten Licht ein charakteristisches Muster MU aufgeprägt sein, welches hier beispielshaft als Schachbrettmuster dargestellt ist. Das charakteristische Muster MU kann beispielsweise hellere oder dunklere Bereiche aufweisen im Vergleich zur restlichen Lichtprojektion des Scheinwerfers S. Der Scheinwerfer S kann jedoch selbstverständlich auch nur das charakteristische Muster MU dediziert projizieren. In 1 sind ferner zwei Projektionsflächen PF1 und PF2 dargestellt, wobei sich die erste Projektionsfläche PF1 näher am Fahrzeug und damit näher an dem Scheinwerfer S befindet als die zweite Projektionsfläche PF2. Wie bereits erwähnt, kann es sich bei den Projektionsflächen PF1 und PF2 um jegliche Oberflächen handeln, auf die das Licht bzw. das charakteristische Muster MU während des Betriebs des Fahrzeugs projiziert wird. Das projizierte charakteristische Muster MU ergibt auf der ersten Projektionsfläche PF1 eine erste Projektion P1(MU) und auf der zweiten Projektionsfläche PF2 eine zweite Projektion P2(MU). Die erste Projektion P1(MU) und die zweite Projektion P2(MU) des charakteristischen Musters MU sind bis auf eine Skalierung im Wesentlichen als gleich anzunehmen, wenn man von völlig planen Projektionsflächen PF1, PF2 ausgeht. Unter realen Alltagsbedingungen können die Projektionsflächen PF1, PF2 selbstverständlich bezüglich Strukturierung und Unebenheiten unterschiedlichen Oberflächen entsprechen, was zu größeren Unterschieden zwischen den beiden Projektionen P1(MU), P2(MU) führen kann. Das charakteristische Muster MU weist weiße und schraffierte rechteckige Flächen auf. In 1 ist repräsentativ die in der mittleren Reihe des charakteristischen Musters MU links außen liegende schraffierte Fläche speziell gekennzeichnet und entspricht einer Struktur ST des charakteristischen Musters MU. In den Figuren soll zur vereinfachten Darstellung davon ausgegangen werden, dass die schraffierten Flächen Strukturen ST entsprechen, die durch Lichtabstrahlung des Scheinwerfers zustande kommen, und die dazwischenliegenden weißen Flächen lichtfreie Bereiche repräsentieren, also solche, die nicht vom Scheinwerfer S ausgeleuchtet werden. Im Folgenden wird die speziell gekennzeichnete Struktur ST zu Erläuterungszwecken näher betrachtet. Es sollte klar sein, dass die in 1 speziell gekennzeichnete Struktur ST zu jeder der anderen acht Strukturen des charakteristischen Musters MU als äquivalent anzusehen ist.In 1 shows the basic situation in which the inventive method can be used. A headlight S A vehicle generates a light projection, which serves to illuminate the primarily in front of the vehicle environment. Generally this can be done by the headlight S emitted light a characteristic pattern MU be imprinted, which is exemplified here as a checkerboard pattern. The characteristic pattern MU For example, it may have brighter or darker areas compared to the remaining light projection of the headlamp S , The headlight S Of course, only the characteristic pattern can be used MU Dedicated project. In 1 are also two projection surfaces PF1 and PF2 shown, with the first projection surface PF1 closer to the vehicle and thus closer to the headlight S located as the second screen PF2 , As already mentioned, it can be at the projection surfaces PF1 and PF2 to act on any surface on which the light or the characteristic pattern MU is projected during operation of the vehicle. The projected characteristic pattern MU results on the first projection screen PF1 a first projection P1 ( MU ) and on the second screen PF2 a second projection P2 ( MU ). The first projection P1 ( MU ) and the second projection P2 ( MU ) of the characteristic pattern MU are to be assumed to be essentially the same except for a scaling, if one of completely planing projection surfaces PF1 . PF2 emanates. Under real everyday conditions, the projection surfaces can PF1 . PF2 Of course, regarding structuring and unevenness, different surfaces correspond, leading to larger differences between the two projections P1 (MU) . P2 (MU) can lead. The characteristic pattern MU has white and hatched rectangular areas. In 1 is representative of those in the middle row of the characteristic pattern MU hatched area on the left outside is specially marked and corresponds to a structure ST the characteristic pattern MU , In the figures, it should be assumed for a simplified representation that the hatched areas structures ST correspond due to light emission of the headlamp, and the intervening white areas represent light-free areas, ie those that are not from the headlamp S be lit up. The following is the specially marked structure ST for explanatory purposes. It should be clear that the in 1 specially marked structure ST is to be regarded as equivalent to each of the other eight structures of the characteristic pattern MU.

Die Fahrzeugkamera K erfasst die vor dem Fahrzeug liegende Umgebung und bildet diese in ihrer Bildebene B ab. Die Implementierung der Distanzmessung beruht auf aktiver Triangulation, bei welcher ausgehend von einer bekannten Position und Ausrichtung des Scheinwerfers S und der Kamera K aus der erfassten Projektion P1(MU), P2(MU) des charakteristischen Musters MU die Distanz zur entsprechenden Projektionsfläche PF1, PF2 berechnet werden kann. Wie in 1 durch die aus dem Scheinwerfer S ausgehende gestrichelte Linie angedeutet, liegen alle möglichen Projektionen P1(MU), P2(MU) des charakteristischen Musters MU, insbesondere auch die Struktur Projektion der Struktur ST, auf einem geraden Strahl, der die geradlinige Lichtausbreitung beschreibt. Aus Sicht der Kamera K jedoch, welche im Fahrzeug fest installiert ist und während des Betriebes bezüglich ihrer Position und Orientierung unter normalen Umständen nicht verändert wird, befindet sich die Struktur ST je nach Abstand zur Projektionsfläche PF1, PF2 an einer anderen Stelle. Dieser Umstand ist in 1 in der gezeigten vergrößerten Ansicht neben der Kamera K gezeigt. Hier ist die Bildebene B der Kamera veranschaulicht, welche der Ebene der Bildsensoren entspricht. Es ist ferner gezeigt, dass das das Abbild ST(P1) der Projektion der Struktur ST auf die Projektionsfläche PF1 in der Bildebene B im Vergleich zum Abbild ST(P2) der Projektion der Struktur ST in der zweiten Projektionsfläche PF2 nach oben rechts versetzt ist. Dieser Effekt ist in der Epipolargeometrie wohlbekannt und tritt auf, wenn dasselbe Objekt (hier die Projektion der Struktur ST des charakteristischen Musters MU) in verschiedenen Abständen von zwei unterschiedlichen Positionen (hier Kamera K und Scheinwerfer S) betrachtet wird. Zu jedem Abstand zwischen Fahrzeug und Projektionsfläche PF1, PF2 kann sowohl die Lage des Abbildes der Projektion der Struktur ST auf der ersten und zweiten Projektionsfläche PF1, PF2 wie auch die Lage des Abbildes der Projektion der Struktur ST(P1), ST(P2) in der Bildebene B der Kamera K und damit im Kamerabild der Kamera K berechnet werden. Diesen grundlegenden Ansatz macht sich das hier vorgestellte Verfahren zu Nutze, um den Auswertebereich in dem von der Kamera K des Fahrzeugs erfassten Bild einer Projektion eines charakteristischen Musters P1(MU), P2(MU) festzulegen. Die Berechnung der Trajektorie, welche die abstandsabhängigen Positionen des Abbildes der Projektion der Struktur ST(P1), ST(P2) in der im Kamerabild beschreibt, erfolgt bezüglich eines kalibrierten Stereo-Systems aus Scheinwerfer S und Kamera K und damit auf Grundlage der Kalibrierdaten der Kamera K und des Scheinwerfers S.The vehicle camera K detects the environment in front of the vehicle and forms it in its image plane B from. The implementation of the distance measurement is based on active triangulation, starting from a known position and orientation of the headlight S and the camera K from the captured projection P1 (MU) . P2 (MU) the characteristic pattern MU the distance to the corresponding projection surface PF1 . PF2 can be calculated. As in 1 through the out of the headlight S outgoing dashed line indicated, are all possible projections P1 (MU) . P2 (MU) the characteristic pattern MU , in particular, the structure projection of the structure ST , on a straight beam describing the rectilinear propagation of light. From the perspective of the camera K however, which is fixedly installed in the vehicle and is not changed during operation in terms of its position and orientation under normal circumstances, the structure is located ST depending on the distance to the projection surface PF1 . PF2 at another point. This circumstance is in 1 in the enlarged view shown next to the camera K shown. Here is the picture plane B the camera illustrates which corresponds to the level of the image sensors. It is further shown that this is the image ST (P1) the projection of the structure ST on the projection screen PF1 in the picture plane B in comparison to the image ST (P2) the projection of the structure ST in the second projection screen PF2 is offset to the top right. This effect is well known in epipolar geometry and occurs when the same object (here the projection of the structure ST the characteristic pattern MU ) at different distances from two different positions (here camera K and headlights S ) is looked at. At every distance between the vehicle and the projection surface PF1 . PF2 can both the location of the image of the projection of the structure ST on the first and second projection screen PF1 . PF2 as also the location of the image of the projection of the structure ST (P1) . ST (P2) in the picture plane B the camera K and thus in the camera image of the camera K be calculated. This basic approach makes use of the method presented here, to the evaluation area in that of the camera K of the vehicle captured image of a projection of a characteristic pattern P1 (MU) . P2 (MU) set. The calculation of the trajectory showing the distance-dependent positions of the image of the projection of the structure ST (P1) . ST (P2) in the description in the camera image, takes place with respect to a calibrated stereo system of headlights S and camera K and thus based on the calibration data of the camera K and the headlight S.

Anhand des in 2 dargestellten charakteristischen Musters MU aus 1 soll die Bestimmung des Auswertebereiches A erläutert werden. Das hier beschriebene Prozedere kann beispielsweise in einem Modul der Fahrzeugelektronik ausgeführt werden. Es wird erneut angemerkt, dass die durch die Fahrzeugkamera K erfasste Projektion des charakteristischen Musters P1(MU), P2(MU) keinen unmittelbaren Einfluss auf die Rechenschritte des Verfahrens hat. In 2 ist das charakteristische Muster MU zusätzlich hilfsweise dargestellt. Die Berechnung der Trajektorien erfolgt jedoch ausgehend von der Berechnung der abstandsabhängigen Positionen einer Struktur, die von einem Segment des Scheinwerfers erzeugt wird, und nicht etwa durch Herausgreifen oder Detektieren dieser Struktur im der Projektion des charakteristischen Musters P1(MU), P2(MU).Based on the in 2 illustrated characteristic pattern MU out 1 should determine the evaluation range A be explained. The procedure described here can be carried out, for example, in a module of the vehicle electronics. It is again noted that by the vehicle camera K captured projection of the characteristic pattern P1 (MU) . P2 (MU) has no direct influence on the calculation steps of the process. In 2 is the characteristic pattern MU additionally shown in the alternative. The calculation of the trajectories, however, is based on the calculation of the distance-dependent positions of a structure generated by a segment of the headlamp and not by picking or detecting this structure in the projection of the characteristic pattern P1 (MU) . P2 (MU) ,

Das erfindungsgemäße Verfahren startet mit der Berechnung von Trajektorien, welche die scheinbare Bewegung von üblicherweise mindestens zwei Strukturen ST1 und ST2, wobei es sich dabei bevorzugt um im charakteristischen Muster MU außenliegende Strukturen kann (wie es der Fall ist bei der zweiten Struktur ST2). Im gezeigten Beispiel werden eine erste Trajektorie TR1 zur ersten Struktur ST1 und eine zweite Trajektorie TR2 zur zweiten Struktur ST2 berechnet. Insgesamt weist das in 2 gezeigte charakteristische Muster MU neun Strukturen auf (neun schraffierte Felder). Die Trajektorien TR1, TR2 können beispielsweise bezüglich der geometrischen Schwerpunkte der Strukturen ST1, ST2 berechnet werden. Jede der Trajektorien TR1, TR2 beschreibt die Bewegung der dazugehörigen Struktur ST1, ST2 in der Bildebene B der Kamera K. Diese Bewegung entsteht durch Abbilden der Strukturen ST1, ST2 bei verschiedenen Abständen zwischen Kamera K und Projektionsfläche PF1, PF2. Der Verlauf der Trajektorien TR1, TR2 wird maßgeblich von dem inneren Aufbau des Scheinwerfers S und der Kamera K und ihren äußeren Lagen bzw. Orientierungen zu einem Bezugssystem (z.B. Fahrzeugmittelpunkt) und damit zueinander bestimmt.The method according to the invention starts with the calculation of trajectories which show the apparent movement of usually at least two structures ST1 and ST2 , wherein it is preferably in the characteristic pattern MU External structures can (as is the case with the second structure ST2 ). In the example shown, a first trajectory TR1 to the first structure ST1 and a second trajectory TR2 to the second structure ST2 calculated. Overall, the in 2 characteristic patterns MU showed nine structures (nine hatched fields). The trajectories TR1 . TR2 For example, with respect to the geometric centers of gravity of the structures ST1 . ST2 be calculated. Each of the trajectories TR1 . TR2 describes the movement of the associated structure ST1 . ST2 in the image plane B of the camera K , This movement is created by mapping the structures ST1 . ST2 at different distances between camera K and projection surface PF1 . PF2 , The course of the trajectories TR1 . TR2 is decisive for the internal structure of the headlamp S and the camera K and their outer layers or orientations to a reference system (eg vehicle center) and thus determined to each other.

Die Orientierung der Kamera K unterliegt üblicherweise kaum oder keinen Schwankungen, wohingegen die äußere Lage der Scheinwerfer S beispielsweise durch heftige Erschütterungen im Fahrbetrieb oder durch Benutzereingriff verändert werden kann. Diese den Verlauf der Trajektorien TR1, TR2 bestimmenden Parameter sind jedoch bei Ausführung des Verfahrens bekannt. Ebenfalls bekannt sind die die aktiven/eingeschalteten Segmente des Scheinwerfers, welche das charakteristische Muster MU erzeugen. Im Bedarfsfall können diese Parameter erneut abgefragt werden, um zu gewährleisen, dass sie auf dem aktuellen Stand sind.The orientation of the camera K is usually subject to little or no fluctuation, whereas the outer layer of the headlights S can be changed for example by violent shocks while driving or by user intervention. This the course of the trajectories TR1 . TR2 determining parameters are known in the execution of the method. Also known are the active / on segments of the headlamp, which have the characteristic pattern MU produce. If necessary, these parameters can be queried again to assure that they are up to date.

Auf Grundlage der berechneten Trajektorien TR1, TR2 werden bestimmte Positionen der Strukturen ST1, ST2 berechnet, die von mit den Trajektorien TR1, TR2 assoziierten Segmenten des Scheinwerfers S erzeugt werden. Die ermittelten Positionen können zu minimalen und maximalen Abständen zwischen Fahrzeug und Projektionsfläche PF1, PF2 berechnet werden. Diese Abstände können durch den Funktionsbereich der zugrundeliegenden Distanzmessung vorgegeben sein, sie können jedoch auch durch andere Faktoren wie Witterungsbedingungen oder Verlauf der Fahrbahn bedingt sein und damit der aktuellen Situation zum Berechnungszeitpunkt angepasst werden. In 2 entspricht die erste Position PO1 der Position der ersten Struktur ST1 im Kamerabild bei einem ersten (z.B. minimalen) Abstand zwischen Fahrzeug und Projektionsfläche PR1 und die zweite Position P02 entspricht einer Position der ersten Struktur ST1 im Kamerabild bei einem zweiten (z.B. maximalen) Abstand. In analoger weise entspricht die dritte Position PO3 einer Position der zweiten Struktur ST2 im Kamerabild bei dem ersten Abstand und die vierte Position P04 entspricht einer Position der zweiten Struktur ST2 im Kamerabild bei dem zweiten Abstand. Wie erwähnt, erfolgt die Berechnung der bestimmten Positionen P01-P04 unabhängig von dem aktuellen Abstands zwischen Fahrzeug und Projektionsfläche PF1, PF2, bei welchem das charakteristische Muster MU von der Kamera K im realen Fahrbetrieb erfasst worden ist, da dieser unbekannt ist. Durch Ermitteln der bestimmten Positionen P01-P04 kann mittels des erfindungsgemäßen Verfahrens vielmehr sehr effizient und ohne jegliche Bildverarbeitungsschritte bestimmt werden, wo die erste Struktur ST1 und die zweite Struktur ST2 etwa bei minimalem und maximalem Abstand zwischen einer Projektionsfläche PR1, PR2 und dem Fahrzeug im Kamerabild liegen können. Der von den bestimmten Positionen P01-P04 eingeschlossene Bereich kann daher als Auswertebereich A bestimmt werden. In 2 entspricht der beispielhafte Auswertebereich A dem Trapez, welches durch Verbinden aller vier bestimmten Positionen P01-P04 gebildet wird und entsprechende Abschnitte der beiden Trajektorien TR1, TR2 sowie eine erste Verbindungslinie V1 und einer zweite Verbindungslinie V2 aufweist.Based on the calculated trajectories TR1 . TR2 become certain positions of the structures ST1 . ST2 calculated by using the trajectories TR1 . TR2 associated segments of the headlamp S be generated. The determined positions can lead to minimum and maximum distances between the vehicle and the projection surface PF1 . PF2 be calculated. These distances may be predetermined by the functional range of the underlying distance measurement, but they may also be conditioned by other factors such as weather conditions or course of the road and thus adapted to the current situation at the time of calculation. In 2 corresponds to the first position PO1 the position of the first structure ST1 in the camera image at a first (eg minimum) distance between the vehicle and the projection surface PR1 and the second position P02 corresponds to a position of the first structure ST1 in the camera image at a second (eg maximum) distance. In an analogous way, the third position corresponds PO3 a position of the second structure ST2 in the camera image at the first distance and the fourth position P04 corresponds to a position of the second structure ST2 in the camera image at the second distance. As mentioned, the calculation of the specific positions takes place P01 - P04 regardless of the actual distance between the vehicle and the screen PF1 . PF2 in which the characteristic pattern MU has been detected by the camera K in the real driving operation, since this is unknown. By determining the specific positions P01 - P04 rather, it can be determined very efficiently and without any image processing steps by means of the method according to the invention, where the first structure ST1 and the second structure ST2 at minimum and maximum distance between a projection surface PR1 . PR2 and the vehicle can be in the camera image. The one of the specific positions P01 - P04 enclosed area can therefore be used as an evaluation area A be determined. In 2 corresponds to the exemplary evaluation range A the trapeze, which by joining all four specific positions P01 - P04 is formed and corresponding sections of the two trajectories TR1 . TR2 and a first connecting line V1 and a second connecting line V2 having.

Wie aus 2 ersichtlich ist, kann es vorkommen, dass der auf Basis der Trajektorien TR1, TR2 bestimmte Auswerteberich A nicht die gesamte Abbildung des charakteristischen Musters MU umfasst, sondern nur einen überwiegenden Teil davon. Sofern sich zwischen den zu den berechneten Trajektorien TR1, TR2 zugehörigen Strukturen ST1, ST2 genügend weitere Strukturen befinden, kann das unerheblich sein. Allgemein kann jedoch auf Basis der bestimmten Positionen P01-P04 ein erweiterter Auswertebereich A* bestimmt werden, welcher bildlich gesprochen durch Vergrößern des Auswertebereiches A gebildet wird. Anders ausgedrückt kann beim Bestimmen des Auswertebereiches eine Toleranz berücksichtigt werden, welcher in 3 der zwischen dem Auswertebereich A und dem erweiterten Auswertebereich A* eingeschlossenen Bereich entspricht. Der Toleranzbereich kann statisch, d.h. für alle Abstände gleich sein, oder dynamisch sein. Insbesondere kann der Toleranzbereich die abstandsabhängige Größenveränderung der Projektion des Musters P1(MU), P2(MU) berücksichtigen. Ferner kann der beim erweiterten Auswertebereich A* berücksichtigte Toleranzbereich lateral und vertikal unterschiedlich ausfallen, beispielsweise in Abhängigkeit von der Anzahl von Strukturen, die aus Sicht des charakteristischen Musters MU außerhalb der Trajektorien TR1, TR2 liegen. In 2 kann beispielsweise die Toleranz entlang der zwischen der dritten Position P03 und der vierten Position PO4 liegenden zweiten Trajektorie TR2 geringer ausfallen als auf der gegenüberliegenden Seite des Auswertebereiches A, da die zweite Struktur ST2 im Eckbereich des charakteristischen Musters MU angeordnet ist und die Ausdehnung des charakteristischen Musters MU beschränkt. Entlang der zwischen der ersten Position PO1 und der zweiten Position P02 liegenden ersten Trajektorie TR1 hingegen sieht man, dass die links unterhalb der ersten Struktur ST1 liegende Struktur außerhalb des Auswertebereiches A liegt und daher bei der nachgelagerten Bildverarbeitung nicht detektiert werden könnte. Hier kann also der Toleranzbereich entsprechend großzügiger gewählt werden.How out 2 it can be seen that the based on the trajectories TR1 . TR2 certain evaluation report A does not show the entire illustration of the characteristic pattern MU but only a majority of it. If there is between the calculated trajectories TR1 . TR2 associated structures ST1 . ST2 This can be irrelevant if there are enough other structures. Generally, however, based on the specific positions P01 - P04 an extended evaluation area A * be determined, which figuratively speaking by increasing the evaluation range A is formed. In other words, a tolerance can be taken into account when determining the evaluation range, which tolerance can be taken into account 3 the between the evaluation area A and the extended evaluation area A * enclosed area corresponds. The tolerance range can be static, ie the same for all distances, or dynamic. In particular, the tolerance range can be the distance-dependent change in size of the projection of the pattern P1 (MU) . P2 (MU) account. Furthermore, in the extended evaluation range A * considered tolerance range laterally and vertically different, for example, depending on the number of structures, from the perspective of the characteristic pattern MU outside the trajectories TR1 . TR2 lie. In 2 For example, the tolerance along the between the third position P03 and the fourth position PO4 lying second trajectory TR2 lower than on the opposite side of the evaluation area A because the second structure ST2 in the corner of the characteristic pattern MU is arranged and the extent of the characteristic pattern MU limited. Along the between the first position PO1 and the second position P02 lying first trajectory TR1 however, you can see that the links below the first structure ST1 horizontal structure outside the evaluation area A and therefore could not be detected in the downstream image processing. Here, therefore, the tolerance range can be chosen correspondingly generous.

Nach erfolgter Bestimmung des (erweiterten) Auswertebereiches A (A*), wird nur dieser Bereich des tatsächlich erfassten Kamerabildes der Bildverarbeitung unterzogen, um charakteristische Merkmale bzw. die genaue Position der Strukturen des charakteristischen Musters zu detektieren.After determination of the (extended) evaluation range A (A *) , only this area of the actually acquired camera image is subjected to the image processing to detect characteristic features or the exact position of the structures of the characteristic pattern.

In 3 ist schließlich eine Ausführungsform des erfindungsgemäßen Verfahrens in einem Flussdiagramm zusammengefasst. In einem ersten Schritt 1 wird die erste Trajektorie TR1 einer ersten Struktur ST1 des charakteristischen Musters MU und mindestens eine zweite Trajektorie TR2 einer zweiten Struktur ST2 des charakteristischen Musters MU in der Bildebene B der Fahrzeugkamera K berechnet, wobei jede der Trajektorien TR1, TR2 die Translation der dazugehörigen Struktur in der Bildebene B der Bilderfassungseinheit K beschreibt in Abhängigkeit von einem Abstandzwischen dem Fahrzeug und einer Projektionsfläche PF1, PF2 des charakteristischen Musters MU. In einem zweiten Schritt 2 werden die erste und zweite Position P01, P02 der ersten Struktur ST1 auf ihrer Trajektorie TR1 und die dritte und vierte Position PO4 der zweiten Struktur ST2 auf ihrer Trajektorie TR2 berechnet, wobei die zwei Positionen jeder Struktur ST1, ST2 bei unterschiedlichen vorgegebenen Abständen zwischen dem Fahrzeug und der Projektionsfläche PF1, PF2 berechnet werden. In einem dritten Schritt 3 wird der (erweiterte) Auswertebereich A (A*) in dem von der Bilderfassungseinheit K erfassten Bild bestimmt, wobei der (erweiterte) Auswertebereich A (A*) auf Basis der berechneten Positionen P01-P04 der ersten und zweiten Struktur ST1, ST2 definiert wird.In 3 Finally, an embodiment of the method according to the invention is summarized in a flow chart. In a first step 1 becomes the first trajectory TR1 a first structure ST1 the characteristic pattern MU and at least a second trajectory TR2 a second structure ST2 the characteristic pattern MU in the picture plane B the vehicle camera K calculated, each of the trajectories TR1 . TR2 the translation of the associated structure in the image plane B of the image acquisition unit K describes in dependence on a distance between the vehicle and a projection surface PF1 . PF2 the characteristic pattern MU , In a second step 2 become the first and second position P01 . P02 the first structure ST1 on her trajectory TR1 and the third and fourth positions PO4 the second structure ST2 on her trajectory TR2 calculated, the two positions of each structure ST1 . ST2 at different predetermined distances between the vehicle and the screen PF1 . PF2 be calculated. In a third step 3 becomes the (extended) evaluation area A (A *) in the from the image acquisition unit K captured image, where the (extended) evaluation area A (A *) based on the calculated positions P01 - P04 the first and second structure ST1 . ST2 is defined.

Claims

Method for determining an evaluation range (A; A *) in an image of a characteristic pattern (MU) acquired by an image acquisition unit (K) of a vehicle and having structures (ST) generated by segments of a headlight (S) of a vehicle, the method comprising the steps of: Calculating a trajectory (TR1) of a first structure (ST1) and at least one trajectory (TR2) of a second structure (ST2), each of the trajectories (TR1, TR2) translating the associated structure (ST1, ST2) in the image plane (B ) of the image acquisition unit (K) describes in dependence on a distance between the vehicle and a projection surface (PF1, PF2) of the characteristic pattern (MU); Calculating first and second positions (PO1, PO2) of the first structure (ST1) on their trajectory (TR1) and third and fourth positions (PO3, PO4) of the second structure (ST2) on their trajectory (TR2), the two Positions (PO1, PO3, PO2, PO4) of each structure (ST1, ST2) at different predetermined distances between the vehicle and the projection surface (PF1, PF2) are calculated; Defining the evaluation area (A; A *) in the image acquired by the image acquisition unit (K), the evaluation area (A; A *) being based on the calculated positions (PO1, PO2; PO3, PO4) of the first and second structures (ST1 , ST2) is defined.

Method according to Claim 1 wherein the first and second structures (ST1, ST2) each correspond to a projection of the light of a segment of the headlamp (S).

Method according to Claim 2 , wherein the first and the second structure (ST1, ST2) each correspond to a spatially outer segment of the headlamp (S).

Method according to Claim 2 , further comprising: determining active segments of the headlight (S) involved in the generation of the characteristic pattern (MU) before calculating the trajectories (TR1, TR2), the trajectories (TR1, TR2) relating only to those structures (ST1, ST2) corresponding to active segments.

Method according to one of Claims 1 to 4 , wherein the characteristic pattern (MU) has a checkerboard pattern.

Method according to one of Claims 1 to 5 wherein one of the distances is a minimum distance and the other distance is a maximum distance between the vehicle and the projection surface (PF1, PF2) predetermined by a specified functional range of the distance measurement.

Method according to one of Claims 1 to 6 wherein the calculation of the trajectories (TR1, TR2) taking into account calibration data of the headlamp (S) and the image acquisition unit (K) of the vehicle takes place, and taking into account the def. Distance range.

Method according to one of Claims 1 to 7 , further comprising: monitoring the orientation of the headlamp (S); and recalculating the trajectories (TR1, TR2) and the positions (PO1, PO2, PO3, PO4) of the first and second structures (ST1, ST2) on their newly calculated trajectories (TR1, TR2) to fit the determined evaluation range (A, A *) if it detects that its orientation has changed while monitoring the orientation of the headlamp (S).

Method according to one of Claims 1 to 8th , further comprising: performing image processing on the designated evaluation area (A, A *) of the image captured by the image capture unit to detect the characteristic pattern (MU).

Motor vehicle with a vehicle camera (K) and an evaluation unit, which is set up the method according to one of Claims 1 to 9 perform.