DE102018102113B4

DE102018102113B4 - Method for detecting overlapping areas of light cones of two matrix headlights in a matrix headlight system and for selectively switching off headlight segments of the matrix headlights

Info

Publication number: DE102018102113B4
Application number: DE102018102113.5A
Authority: DE
Inventors: Christian Schneider; Sebastian Söhner
Original assignee: Dr Ing HCF Porsche AG
Current assignee: Dr Ing HCF Porsche AG
Priority date: 2018-01-31
Filing date: 2018-01-31
Publication date: 2022-12-01
Anticipated expiration: 2038-02-01
Also published as: DE102018102113A1

Abstract

Verfahren zur Detektion von Überlappungsbereichen von Lichtkegeln zweier Matrixscheinwerfer eines Matrixscheinwerfersystems und zur selektiven Abschaltung von Scheinwerfersegmenten der Matrixscheinwerfer, umfassend die Schrittea) Projizieren einer Lichtverteilung, die bestimmte charakteristische Merkmale aufweist, mittels der beiden Matrixscheinwerfer und Erfassen eines Kamerabilds der Lichtverteilung mittels einer Kamera,b) Berechnen von Pixeltrajektorien aus Kalibrierdaten,c) Berechnen von Trajektorienschnittpunkten für Scheinwerfersegmentpaare der beiden Matrixscheinwerfer,d) Extrahieren der charakteristischen Merkmale mittels einer Bildverarbeitungssoftware aus dem Kamerabild,e) Berechnen eines künstlichen Horizonts auf Basis der im vorhergehenden Schritt d) extrahierten charakteristischen Merkmale,f) Vergleichen des künstlichen Horizonts mit den Trajektorienschnittpunkten und Abschalten derjenigen Segmente der Matrixscheinwerfer, bei denen der künstliche Horizont unterhalb der Trajektorienschnittpunkte liegt.Method for detecting overlapping areas of light cones of two matrix headlights of a matrix headlight system and for selectively switching off headlight segments of the matrix headlights, comprising the stepsa) projecting a light distribution that has certain characteristic features by means of the two matrix headlights and capturing a camera image of the light distribution by means of a camera,b) Calculation of pixel trajectories from calibration data,c) calculation of trajectory intersection points for headlight segment pairs of the two matrix headlights,d) extraction of the characteristic features from the camera image using image processing software,e) calculation of an artificial horizon based on the characteristic features extracted in the previous step d),f) Comparing the artificial horizon with the trajectory intersections and switching off those segments of the matrix headlights where the artificial horizon is below the tra jectorial intersections.

Description

Die vorliegende Erfindung betrifft ein Verfahren zur Detektion von Überlappungsbereichen von Lichtkegeln zweier Matrixscheinwerfer eines Matrixscheinwerfersystems und zur selektiven Abschaltung von Scheinwerfersegmenten der Matrixscheinwerfer.The present invention relates to a method for detecting overlapping areas of light cones of two matrix headlights of a matrix headlight system and for selectively switching off headlight segments of the matrix headlights.

Bei der Entwicklung von Kraftfahrzeugen spielen so genannte Matrixscheinwerfersysteme, die typischerweise zwei in einem Fahrzeugfrontbereich angeordnete Matrixscheinwerfer aufweisen, eine zunehmend größere Rolle. Diese Matrixscheinwerfer umfassen eine Pixelmatrix mit selektiv aktivierbaren beziehungsweise deaktivierbaren, vorzugsweise auch dimmbaren, Pixelelementen. Es ist zu erwarten, dass bei Matrixscheinwerfersystemen zukünftig und in Abhängigkeit von der eingesetzten Technologie Pixelauflösungen von mehreren zehntausend beziehungsweise hunderttausend Pixelelementen erreicht werden können. Mittels der Pixelmatrix können ganz unterschiedliche Beleuchtungsfunktionen implementiert werden. Eine mögliche Beleuchtungsfunktion ist zum Beispiel eine blendfreie Fernlichtfunktion, bei der es darum geht, entgegenkommende Verkehrsteilnehmer bei aktiviertem Fernlicht nicht zu blenden. Dabei kommt eine fahrzeugseitige Kamera (Fahrerassistenzkamera) zum Einsatz, die kontinuierlich entgegenkommende sowie vorausfahrende Verkehrsteilnehmer erfasst. Die Kamerabilder werden mit Hilfe einer Bildverarbeitungssoftware verarbeitet. Mittels einer entsprechenden elektronischen Steuerungseinrichtung werden die einzelnen Pixelelemente der Matrixscheinwerfer des Matrixscheinwerfersystems gezielt so angesteuert, dass eine Entblendung erreicht werden kann.In the development of motor vehicles, so-called matrix headlight systems, which typically have two matrix headlights arranged in a vehicle front area, are playing an increasingly important role. These matrix headlights include a pixel matrix with pixel elements that can be selectively activated or deactivated, preferably also dimmable. It is to be expected that matrix headlight systems will in future be able to achieve pixel resolutions of several tens of thousands or hundreds of thousands of pixel elements, depending on the technology used. Very different lighting functions can be implemented using the pixel matrix. One possible lighting function is, for example, a glare-free high beam function that aims to avoid dazzling oncoming road users when the high beam is activated. A camera on the vehicle (driver assistance camera) is used, which continuously records oncoming and preceding road users. The camera images are processed using image processing software. The individual pixel elements of the matrix headlights of the matrix headlight system are controlled in a targeted manner by means of a corresponding electronic control device in such a way that glare reduction can be achieved.

Durch eine aktive Triangulation kann mit der Kamera und den Matrixscheinwerfern des Matrixscheinwerfersystems auch eine Distanzmessung erfolgen, um die Entfernungen zwischen dem mit dem Matrixscheinwerfersystem ausgestatteten Fahrzeug und Objekten in der Fahrzeugfrontszene zu bestimmen. Nach einer Kalibrierung der Kamera und des Matrixscheinwerfersystems wird mittels der Matrixscheinwerfer des Matrixscheinwerfersystems ein definiertes Muster mit charakteristischen Merkmalen auf ein Vorfeld des Kraftfahrzeugs projiziert. Anschließend wird eine Szene generiert, wobei das zuvor projizierte Muster in Abhängigkeit von der Szenenbeschaffenheit verformt wird. Nachfolgend wird mit der Kamera ein Kamerabild erfasst, wobei charakteristische Merkmale aus dem Kamerabild mittels einer entsprechenden Bildverarbeitungssoftware extrahiert werden. Anschließend erfolgt eine Zuordnung der detektierten Merkmale zu den Matrixscheinwerfern des Matrixscheinwerfersystems. Ferner wird mittels der Bildverarbeitungssoftware auf Basis der fahrzeugspezifischen Lichtverteilung eine so genannte Tiefen-Map berechnet.Active triangulation can also be used to measure distances with the camera and the matrix headlights of the matrix headlight system in order to determine the distances between the vehicle equipped with the matrix headlight system and objects in the vehicle front scene. After the camera and the matrix headlight system have been calibrated, a defined pattern with characteristic features is projected onto an area in front of the motor vehicle by means of the matrix headlights of the matrix headlight system. A scene is then generated, with the previously projected pattern being deformed depending on the nature of the scene. A camera image is then captured with the camera, with characteristic features being extracted from the camera image using appropriate image processing software. The detected features are then assigned to the matrix headlights of the matrix headlight system. Furthermore, a so-called depth map is calculated using the image processing software on the basis of the vehicle-specific light distribution.

Der Arbeitsbereich der aktiven Triangulation wird durch den Erfassungsbereich der Matrixscheinwerfer des Matrixscheinwerfersystems definiert. Um diesen möglichst großräumig zu gestalten, werden beide Matrixscheinwerfer genutzt, um markante Merkmale auf das Vorfeld des Kraftfahrzeugs zu projizieren. Da die Matrixscheinwerfer in der Regel eine Scheinwerferfehlstellung aufweisen, sind diese in den seltensten Fällen aufeinander abgeglichen. Darüber hinaus überlappen sich die Lichtkegel der Matrixscheinwerfer in der Regel ab einer Distanz von etwa 7 bis 8 m (gemessen von der Hinterachse des Kraftfahrzeugs). Aufgrund dieser Überlappung, der Fehlstellungen und gegebenenfalls weiterer Fehlerquellen können in diesem Bereich die charakteristischen Merkmale nur sehr schwer extrahiert werden.The working area of the active triangulation is defined by the detection range of the matrix headlights of the matrix headlight system. In order to make this as spacious as possible, both matrix headlights are used to project distinctive features onto the area in front of the vehicle. Since the matrix headlights usually have a headlight misalignment, these are rarely matched to each other. In addition, the light cones of the matrix headlights usually overlap from a distance of around 7 to 8 m (measured from the rear axle of the motor vehicle). Due to this overlap, the misalignments and possibly other sources of error, the characteristic features can only be extracted with great difficulty in this area.

Dementsprechend ist es ein Ziel, diesen Überlappungsbereich der Lichtkegel der beiden Matrixscheinwerfer zu minimieren, indem sukzessive bestimmte Segmente der Matrixscheinwerfer deaktiviert werden. Hierfür muss bekannt sein, welche Segmente in der aktuellen Beleuchtungsszene miteinander überlappen, um diese entsprechend zu deaktivieren und dadurch der Überlappung entgegenzuwirken.Accordingly, one goal is to minimize this overlapping area of the light cones of the two matrix headlights by successively deactivating certain segments of the matrix headlights. To do this, it must be known which segments in the current lighting scene overlap with one another in order to deactivate them accordingly and thereby counteract the overlap.

Eine Möglichkeit besteht darin, durch Adaption einer Bildverarbeitungskaskade markante Punkte aus der projizierten Lichtverteilung zu extrahieren. Ein Problem besteht bei diesem Ansatz darin, dass eine Detektion markanter Punkte innerhalb des Überlappungsbereichs nur schwer beziehungsweise allenfalls fehlerbehaftet möglich ist. Ein weiterer möglicher Ansatz besteht in einer Detektion des Überlappungsbereichs durch eine kontinuierliche Ausführung einer Bildverarbeitung. Ein Problem dieses Ansatzes besteht darin, dass eine kontinuierliche Ausführung der Bildverarbeitung dauerhaft Rechenkapazitäten bindet und darüber hinaus fehleranfällig ist.One possibility is to extract distinctive points from the projected light distribution by adapting an image processing cascade. One problem with this approach is that it is difficult or at most error-prone to detect distinctive points within the overlapping area. Another possible approach is to detect the overlapping area by continuously performing image processing. One problem with this approach is that continuous execution of the image processing permanently ties up computing capacity and is also error-prone.

Aus der DE 10 2015 203 889 A1 ist ein Verfahren zum Kalibrieren eines Fahrzeugscheinwerfers mit Hilfe eines Musters zum überlappungsfreien Generieren einer Lichtverteilung bekannt.From the DE 10 2015 203 889 A1 a method for calibrating a vehicle headlight using a pattern for generating a light distribution without overlap is known.

Die DE 10 2016 109 030 A1 offenbart ein Verfahren, bei dem zumindest ein optisches Merkmal aus einem Bild extrahiert und analysiert wird, um die Scheinwerfereinstellung während des Fahrbetriebs zu korrigieren.the DE 10 2016 109 030 A1 discloses a method in which at least one optical feature is extracted from an image and analyzed in order to correct the headlight setting during driving.

Die DE 10 2017 117 211 B3 beschreibt ein Verfahren zum Zuordnen charakteristischer Merkmale eines von einem Fahrzeug aufgenommenen Bildes unter Zuhilfenahme von Trajektorien.the DE 10 2017 117 211 B3 describes a method for assigning characteristic features of an image taken by a vehicle with the aid of trajectories.

Die Erfindung macht es sich zur Aufgabe, ein Verfahren zur Detektion von Überlappungsbereichen von Lichtkegeln zweier Matrixscheinwerfer eines Matrixscheinwerfersystems und zur selektiven Abschaltung von Scheinwerfersegmenten der Matrixscheinwerfer zur Verfügung zu stellen, das auf einfache Weise eine Erfassung von Überlappungsbereichen der Lichtkegel der beiden Matrixscheinwerfer ermöglicht.The object of the invention is to provide a method for detecting overlapping areas of light cones of two matrix headlights of a matrix headlight system and for selectively switching off headlight segments of the matrix headlights, which makes it possible to easily detect overlapping areas of the light cones of the two matrix headlights.

Die Lösung dieser Aufgabe liefert ein Verfahren mit den Merkmalen des Anspruchs 1. Die Unteransprüche betreffen vorteilhafte Weiterbildungen der Erfindung.The solution to this problem is provided by a method having the features of claim 1. The dependent claims relate to advantageous developments of the invention.

Ein erfindungsgemäßes Verfahren zur Detektion von Überlappungsbereichen von Lichtkegeln zweier Matrixscheinwerfer eines Matrixscheinwerfersystems und zur selektiven Abschaltung von Scheinwerfersegmenten der Matrixscheinwerfer umfasst die Schritte

a) Projizieren einer Lichtverteilung, die bestimmte charakteristische Merkmale aufweist, mittels der beiden Matrixscheinwerfer und Erfassen eines Kamerabilds der Lichtverteilung mittels einer Kamera,
b) Berechnen von Pixeltrajektorien aus Kalibrierdaten,
c) Berechnen von Trajektorienschnittpunkten für Scheinwerfersegmentpaare der beiden Matrixscheinwerfer,
d) Extrahieren der charakteristischen Merkmale mittels einer Bildverarbeitungssoftware aus dem Kamerabild,
e) Berechnen eines künstlichen Horizonts auf Basis der im vorhergehenden Schritt d) extrahierten charakteristischen Merkmale,
f) Vergleichen des künstlichen Horizonts mit den Trajektorienschnittpunkten und Abschalten derjenigen Segmente der Matrixscheinwerfer, bei denen der künstliche Horizont unterhalb der Trajektorienschnittpunkte liegt.

A method according to the invention for detecting overlapping areas of light cones of two matrix headlights of a matrix headlight system and for selectively switching off headlight segments of the matrix headlights comprises the steps

a) Projecting a light distribution that has certain characteristic features using the two matrix headlights and capturing a camera image of the light distribution using a camera,
b) calculation of pixel trajectories from calibration data,
c) calculation of trajectory intersections for headlight segment pairs of the two matrix headlights,
d) extracting the characteristic features from the camera image using image processing software,
e) calculating an artificial horizon based on the characteristic features extracted in the previous step d),
f) Comparing the artificial horizon with the trajectory intersections and switching off those segments of the matrix headlights in which the artificial horizon lies below the trajectory intersections.

Bei dem erfindungsgemäßen Verfahren erfolgt somit ein selektives Abschalten einzelner Scheinwerfersegmente der Matrixscheinwerfer des Matrixscheinwerfersystems in Abhängigkeit von der Berechnung von Trajektorienschnittpunkten sowie eines künstlichen Horizonts und der Bestimmung, ob der künstliche Horizont unterhalb der Trajektorienschnittpunkte liegt oder nicht. Der erfindungsgemäße Ansatz nutzt dabei die bekannten Pixelpfade/Trajektorien, um den Abschaltbereich der Scheinwerfersegmente der Matrixscheinwerfer im Falle einer Überlappung zu detektieren. Bei diesen Trajektorien handelt es sich um Pixelpfade auf dem Kamerabild. Wenn sich das Fahrzeug zum Beispiel einer Wand nähert, bewegt sich der Pixel auf dem Pfad in Richtung eines unteren Bildrandes. Wenn sich das Fahrzeug hingegen von der Wand entfernt, bewegt sich der Pixel zum oberen Bildende. Die nächsten Pixel der beiden Lichtkegel sind der äußerst rechte Pixel für den linken und der äußerst linke Pixel für den rechten Scheinwerferkegel (in Fahrtrichtung betrachtet). Werden die Trajektorien dieser beiden Pixel betrachtet, so lässt sich ein Schnittpunkt ermitteln. Dieser beschreibt, wann die Pixel miteinander überlappen. Entsprechend muss an diesem Schnittpunkt ein Scheinwerfersegment zumindest eines der Matrixscheinwerfer abgeschaltet werden, um diese Überlappungsbereiche nachfolgend zu vermeiden. Die Detektion, ob dieser Schnittpunkt durch die aktuelle Lichtverteilung bereits erreicht wurde, geschieht mittels des künstlichen Horizonts. Bei dem Betrieb des Matrixscheinwerfersystems ist zwischen einer Haupt-Lichtverteilung (Master-Lichtverteilung), bei der aufgrund einer fehlenden Überlappung keine Abschaltung eines oder mehrerer Segmente erfolgt und einer Hilfs-Lichtverteilung (Slave-Lichtverteilung), bei der eine segmentweise Abschaltung der Matrixscheinwerfer erfolgt, wenn eine Überlappung in der Haupt-Lichtverteilung detektiert wurde, zu unterscheiden.In the method according to the invention, individual headlight segments of the matrix headlights of the matrix headlight system are switched off selectively depending on the calculation of trajectory intersections and an artificial horizon and the determination of whether the artificial horizon is below the trajectory intersections or not. The approach according to the invention uses the known pixel paths/trajectories in order to detect the switch-off area of the headlight segments of the matrix headlights in the event of an overlap. These trajectories are pixel paths on the camera image. For example, as the vehicle approaches a wall, the pixel on the path moves toward a bottom edge of the image. On the other hand, if the vehicle moves away from the wall, the pixel moves to the top of the image. The next pixels of the two light cones are the extreme right pixel for the left headlight cone and the extreme left pixel for the right headlight cone (seen in the direction of travel). If the trajectories of these two pixels are considered, an intersection point can be determined. This describes when the pixels overlap each other. Accordingly, at this point of intersection, a headlight segment of at least one of the matrix headlights must be switched off in order to subsequently avoid these overlapping areas. The artificial horizon is used to detect whether this point of intersection has already been reached by the current light distribution. When operating the matrix headlight system, there is a choice between a main light distribution (master light distribution), in which one or more segments are not switched off due to a lack of overlapping, and an auxiliary light distribution (slave light distribution), in which the matrix headlights are switched off segment by segment. when an overlap in the main light distribution has been detected.

In einer vorteilhaften Ausführungsform wird vorgeschlagen, dass nach dem Abschalten der Segmente in dem Verfahrensschritt f) in einem weiteren Schritt g) eine Lichtverteilung mit reduzierten charakteristischen Merkmalen projiziert wird. Diese Lichtverteilung weist in vorteilhafter Weise keinen Überlappungsbereich mehr auf.In an advantageous embodiment it is proposed that after the segments have been switched off in method step f), a light distribution with reduced characteristic features is projected in a further step g). Advantageously, this light distribution no longer has an overlapping area.

In einer besonders vorteilhaften Ausführungsform kann vorgesehen sein, dass aus der im Verfahrensschritt g) erzeugten Lichtverteilung mit den reduzierten charakteristischen Merkmalen eine 3D-Rekonstruktion einer Fahrzeugfrontszene auf Basis einer aktiven Triangulation durchgeführt wird. Mittels dieser aktiven Triangulation können insbesondere auch Distanzmessungen vorgenommen werden.In a particularly advantageous embodiment, it can be provided that a 3D reconstruction of a vehicle front scene based on active triangulation is carried out from the light distribution generated in method step g) with the reduced characteristic features. In particular, distance measurements can also be carried out by means of this active triangulation.

In einer bevorzugten Ausführungsform wird vorgeschlagen, dass im ersten Schritt a) eine eigenständige Lichtverteilung, insbesondere ein Schachbrettmuster, projiziert wird oder eine Abblendlichtverteilung oder eine Fernlichtverteilung projiziert wird, in die die charakteristischen Merkmale eingebettet werden. Die Verwendung der Abblendlichtverteilung oder der Fernlichtverteilung hat den Vorteil, dass eine ECE-konforme Lichtverteilung für die Durchführung des Verfahrens genutzt werden kann. In a preferred embodiment it is proposed that in the first step a) an independent light distribution, in particular a checkerboard pattern, is projected or a low beam distribution or a high beam distribution is projected, in which the characteristic features are embedded. The use of the low beam distribution or the high beam distribution has the advantage that an ECE-compliant light distribution can be used to carry out the method.

Vorzugsweise können zur Extraktion der charakteristischen Merkmale aus dem Kamerabild Bildverarbeitungsalgorithmen verwendet werden, die eine Kombination aus einem frequenzbasierten Berechnungsansatz, insbesondere einem Gabor Filter Kernel, und einem ortsbasierten Berechnungsansatz, insbesondere einem Lukas Kanade Tracker, sind. Dadurch kann eine Extraktion der charakteristischen Merkmale aus dem Kamerabild sehr zuverlässig erfolgen.Preferably, image processing algorithms can be used to extract the characteristic features from the camera image, which are a combination of a frequency-based calculation approach, in particular a Gabor filter kernel, and a location-based calculation approach, in particular a Lukas Kanade tracker. As a result, the characteristic features can be extracted very reliably from the camera image.

In einer vorteilhaften Ausführungsform kann vorgesehen sein, dass der künstliche Horizont dazu genutzt wird, eine Wandschätzung umzusetzen und/oder die Zuordnung der charakteristischen Merkmale zu ermöglichen.In an advantageous embodiment it can be provided that the artificial horizon is used to implement a wall estimation and/or to enable the assignment of the characteristic features.

In einer besonders vorteilhaften Ausführungsform kann der künstliche Horizont durch Linienanpassung bestimmt werden.. Eine derartige Linienanpassung kann mathematisch, insbesondere durch Methoden der linearen Regression, seht leicht umgesetzt werden.In a particularly advantageous embodiment, the artificial horizon can be determined by line fitting. Such a line fitting can be implemented very easily mathematically, in particular by methods of linear regression.

In vorteilhaften Weiterbildungen wird vorgeschlagen, dass der Schnittpunkt des künstlichen Horizonts beider Matrixscheinwerfer ausgewertet wird und/oder dass der mittlere vertikale Wert der charakteristischen Merkmale auf dem künstlichen Horizont ausgewertet wird. Dieses ist insbesondere bei schrägen Wänden, auf die die Lichtverteilung projiziert wird, von Vorteil, da ein oder mehrere weitere Entscheidungskriterien berücksichtigt werden, um eine Abschaltung einzelner Scheinwerfersegmente zu bewirken.In advantageous developments, it is proposed that the point of intersection of the artificial horizon of both matrix headlights is evaluated and/or that the mean vertical value of the characteristic features on the artificial horizon is evaluated. This is particularly advantageous in the case of sloping walls onto which the light distribution is projected, since one or more further decision criteria are taken into account in order to cause individual headlight segments to be switched off.

Weitere Merkmale und Vorteile der vorliegenden Erfindung werden deutlich anhand der nachfolgenden Beschreibung eines bevorzugten Ausführungsbeispiels unter Bezugnahme auf die beiliegende 1. Diese zeigt eine schematische Darstellung, die den Verfahrensablauf eines Verfahrens zur Detektion von Überlappungsbereichen von Lichtkegeln zweier Matrixscheinwerfer eines Matrixscheinwerfersystems und zur selektiven Abschaltung von Scheinwerfersegmenten der Matrixscheinwerfer gemäß einem bevorzugten Ausführungsbeispiel der vorliegenden Erfindung veranschaulicht.Further features and advantages of the present invention will become clear from the following description of a preferred exemplary embodiment with reference to the attached 1 . This shows a schematic representation that illustrates the process sequence of a method for detecting overlapping areas of light cones of two matrix headlights of a matrix headlight system and for selectively switching off headlight segments of the matrix headlights according to a preferred exemplary embodiment of the present invention.

In einem ersten Schritt a) erfolgt eine Projektion einer Lichtverteilung, die bestimmte charakteristische Merkmale aufweist, mittels zweier Matrixscheinwerfer eines Matrixscheinwerfersystems eines Kraftfahrzeugs. Beispielsweise kann hierbei eine eigenständige Lichtverteilung, wie zum Beispiel ein Schachbrettmuster, projiziert werden. In einer alternativen Ausführungsform kann eine Abblendlichtverteilung oder eine Fernlichtverteilung (und somit eine ECE-konforme Lichtverteilung) projiziert werden, in die gezielt Strukturen eingebettet werden, welche für die Fahrzeuginsassen, insbesondere den Fahrer, nicht wahrnehmbar sind. Diese charakteristischen Merkmale können von einer Kamera, insbesondere einer Fahrerassistenzkamera, erfasst werden und mittels einer entsprechenden Bildverarbeitungssoftware aus einem Kamerabild extrahiert werden. Durch diese Merkmalskorrespondenz kann trianguliert werden, so dass Distanzwerte bestimmt werden können.In a first step a), a light distribution, which has certain characteristic features, is projected by means of two matrix headlights of a matrix headlight system of a motor vehicle. For example, an independent light distribution, such as a checkerboard pattern, can be projected here. In an alternative embodiment, a low-beam light distribution or a high-beam light distribution (and thus an ECE-compliant light distribution) can be projected, into which structures are specifically embedded which are imperceptible to the vehicle occupants, in particular the driver. These characteristic features can be captured by a camera, in particular a driver assistance camera, and can be extracted from a camera image using appropriate image processing software. This feature correspondence allows triangulation so that distance values can be determined.

In einem nachfolgenden Schritt b) erfolgt eine Berechnung von Pixeltrajektorien aus gespeicherten Kalibrierdaten. Das Verfahren nutzt hierfür die bekannten Pixelpfade/Trajektorien, um den Abschaltbereich der Scheinwerfersegmente zu detektieren. Bei diesen Trajektorien handelt es sich um Pfade einzelner Lichtpixel auf einem Kamerabild der Fahrzeugkamera. Nähert sich das Fahrzeug einer Projektionswand, so bewegt sich der Lichtpixel auf dem Pfad zu einem unteren Bildende. Entfernt sich das Fahrzeug hingegen von der Wand, bewegt sich der Pixel zu einem oberen Bildende. Da das Matrixscheinwerfersystem sowie die Kamera kalibriert sind, kann aus den Kalibrierdaten vorhergesagt werden, auf welcher Trajektorie die Pixel im Kamerabild liegen müssen. Dieses grundlegende Prinzip ist auch als Epipolargeometrie bekannt, welche die Beziehung zweier kalibrierter Systeme zueinander beschreibt. Aufgrund dieser Beziehung des Matrixscheinwerfersystems sowie der Kamera zueinander kann vorhergesagt werden, auf welcher Linie in einem ersten Kamerabild bestimmte charakteristische Merkmale eines zweiten Kamerabilds liegen und somit miteinander korrespondieren.In a subsequent step b), pixel trajectories are calculated from stored calibration data. For this purpose, the method uses the known pixel paths/trajectories in order to detect the switch-off area of the headlight segments. These trajectories are paths of individual light pixels on a camera image from the vehicle camera. If the vehicle approaches a projection screen, the light pixel moves along the path to the lower end of the image. If, on the other hand, the vehicle moves away from the wall, the pixel moves to the upper end of the image. Since the matrix headlight system and the camera are calibrated, the calibration data can be used to predict the trajectory on which the pixels in the camera image must lie. This basic principle is also known as epipolar geometry, which describes the relationship between two calibrated systems. Based on this relationship between the matrix headlight system and the camera, it can be predicted on which line certain characteristic features of a second camera image lie in a first camera image and thus correspond to one another.

In einem nächsten Schritt c) erfolgt eine Berechnung von Trajektorienschnittpunkten für Scheinwerfersegmentpaare des linken und des rechten Matrixscheinwerfers. Da die Trajektorien den Pfad der Scheinwerfersegmente im Kamerabild widerspiegeln, können diese genutzt werden, um Überlappungsbereiche zu detektieren. Die Schnittpunkte der Trajektorien der innenliegenden Segmente (links und rechts) spiegeln diesen Bereich wider. Für die Scheinwerferpaare werden diese Schnittpunkte anhand von Kalibrierdaten berechnet. Die Lichtpixel der Lichtkegel beider Matrixscheinwerfer weisen nächste Nachbarn auf. Dabei handelt es sich um einen äußerst rechts zu beobachtenden Lichtpixel in der Lichtverteilung des linken Matrixscheinwerfers sowie um einen äußerst links zu beobachtenden Lichtpixel in der Lichtverteilung des rechten Matrixscheinwerfers (jeweils in Fahrtrichtung gesehen). Werden die Trajektorien dieser beiden Lichtpixel beobachtet, so lässt sich ein Schnittpunkt dieser beiden Trajektorien feststellen. Dieser Schnittpunkt beschreibt, wann die Lichtpixel miteinander überlappen. Entsprechend muss bei einer Erfassung dieses Schnittpunkts - wie nachfolgend erläutert werden wird - ein Scheinwerfersegment des Matrixscheinwerfersystems abgeschaltet werden, um unerwünschte Überlappungsbereiche zu vermeiden.In a next step c), trajectory intersection points for headlight segment pairs of the left and right matrix headlights are calculated. Since the trajectories reflect the path of the headlight segments in the camera image, they can be used to detect overlapping areas. The intersections of the trajectories of the inner segments (left and right) reflect this area. For the pairs of headlights, these intersection points are calculated using calibration data. The light pixels of the light cones of both matrix headlights have nearest neighbors. There is a light pixel to be observed on the extreme right in the light distribution of the left matrix headlight and a light pixel to be observed on the extreme left in the light distribution of the right matrix headlight (each seen in the direction of travel). If the trajectories of these two light pixels are observed, an intersection of these two trajectories can be determined. This intersection describes when the light pixels overlap each other. Correspondingly, when this intersection point is detected--as will be explained below--a headlight segment of the matrix headlight system must be switched off in order to avoid undesired overlapping areas.

Nachfolgend werden in einem Verfahrensschritt d) die charakteristischen Merkmale mittels einer Bildverarbeitungssoftware aus dem Kamerabild extrahiert. Die hierbei verwendeten Bildverarbeitungsalgorithmen stellen vorzugsweise eine Kombination aus einem frequenzbasierten Berechnungsansatz, insbesondere einem Gabor Filter Kernel, und einem ortsbasierten Berechnungsansatz, insbesondere einem Lukas Kanade Tracker, dar. Die charakteristischen Merkmale sind hierbei zum Beispiel die jeweiligen Eckpunkte der aufgeschalteten Scheinwerfersegmente, die mit der Kamera erfasst werden.Subsequently, in a method step d), the characteristic features are extracted from the camera image using image processing software. The image processing algorithms used here are preferably a combination of a frequency-based calculation approach, in particular a Gabor filter kernel, and a location-based calculation approach, in particular a Lukas Kanade tracker. The characteristic features here are, for example, the respective corner points of the switched-on headlight segments, which are are recorded.

In einem nächsten Verfahrensschritt e) erfolgt eine Berechnung eines künstlichen Horizonts auf Basis der im vorhergehenden Verfahrensschritt d) extrahierten charakteristischen Merkmale. Dieser künstliche Horizont wird unter anderem dazu genutzt, eine Wandschätzung umzusetzen und/oder die Merkmalszuordnung zu ermöglichen. Der künstliche Horizont ist im Wesentlichen eine mathematische Beschreibung der Verteilung der Merkmale, die zum Beispiel durch eine Linienanpassung erhalten werden kann. Dieser künstliche Horizont kann - in vertikaler Richtung betrachtet - insbesondere aus vier Trennbereichen bestehen, wenn im ersten Schritt a) eine Schachbrettlichtverteilung aufgeschaltet wird.In a next method step e), an artificial horizon is calculated on the basis of the characteristic features extracted in the preceding method step d). This artificial horizon is used, among other things, to implement a wall estimate and/or to enable feature assignment. The artificial horizon is essentially a mathematical description of the distribution of features, which can be obtained, for example, by line fitting. Viewed in the vertical direction, this artificial horizon can in particular consist of four separating areas if a checkerboard light distribution is switched on in the first step a).

In einem nachfolgenden Schritt f) wird der künstliche Horizont mit den Trajektorienschnittpunkten verglichen und es erfolgt ein Abschalten derjenigen Scheinwerfersegmente der Matrixscheinwerfer, bei denen der künstliche Horizont unterhalb des Trajektorienschnittpunkts liegt. Die zuvor erwähnten Schnittpunkte werden also mit dem künstlichen Horizont (beziehungsweise der relevanten Trennlinie) verglichen. Befindet sich der künstliche Horizont (unter Einbezug eines Toleranzwertes) unterhalb des Trajektorienschnittpunkts, so liegt eine Überlappung vor und ein Segment, welches in der Regel Teil des linken Matrixscheinwerfers ist, muss abgeschaltet werden. Der rechte Matrixscheinwerfer bleibt mit allen seinen Segmenten weiterhin aktiv. Darüber hinaus werden vorzugsweise als weitere Entscheidungskriterien, ob ein oder mehrere Scheinwerfersegmente abgeschaltet werden sollen oder nicht, der mittlere vertikale Wert der charakteristischen Merkmale auf dem künstlichen Horizont sowie der Schnittpunkt des künstlichen Horizonts beider Matrixscheinwerfer ausgewertet, um dadurch eine robustere Funktion für schräge Wände zu ermöglichen.In a subsequent step f), the artificial horizon is compared with the trajectory intersection points, and those headlight segments of the matrix headlights in which the artificial horizon lies below the trajectory intersection point are switched off. The previously mentioned intersection points are thus compared with the artificial horizon (or the relevant dividing line). If the artificial horizon (taking into account a tolerance value) is below the trajectory intersection point, there is an overlap and a segment that is usually part of the left matrix headlight must be switched off. The right matrix headlight remains active with all of its segments. In addition, the average vertical value of the characteristic features on the artificial horizon and the intersection point of the artificial horizon of both matrix headlights are preferably evaluated as further decision criteria as to whether one or more headlight segments should be switched off or not, in order to enable a more robust function for sloping walls .

In einem letzten Schritt g) erfolgt eine Projektion von reduzierten charakteristischen Merkmalen, d.h. ohne Überlappungsbereiche. Nach der Abschaltung der betreffenden Segmente der Matrixscheinwerfer werden die charakteristischen Merkmale wiederum extrahiert und eine 3D-Rekonstruktion auf Basis einer aktiven Triangulation ermöglicht. Ferner ist diese Funktion neben Schachbrettermustern ebenso bei Fernlichtverteilungen mit darin eingebetteten Strukturen etc. möglich. Für jeden i-ten Kameraframe wird der Vergleich zwischen dem künstlichen Horizont und dem Trajektorienschnittpunkt fortlaufend durchgeführt.In a last step g) a projection of reduced characteristic features takes place, i.e. without overlapping areas. After switching off the relevant segments of the matrix headlights, the characteristic features are extracted again and a 3D reconstruction based on active triangulation is made possible. In addition to chessboard patterns, this function is also possible for high beam distributions with structures etc. embedded in them. For each i-th camera frame, the comparison between the artificial horizon and the trajectory intersection point is carried out continuously.

Claims

Method for detecting overlapping areas of light cones of two matrix headlights of a matrix headlight system and for selectively switching off headlight segments of the matrix headlights, comprising the steps a) Projecting a light distribution that has certain characteristic features using the two matrix headlights and capturing a camera image of the light distribution using a camera, b) calculation of pixel trajectories from calibration data, c) calculation of trajectory intersections for headlight segment pairs of the two matrix headlights, d) extracting the characteristic features from the camera image using image processing software, e) calculating an artificial horizon based on the characteristic features extracted in the previous step d), f) Comparing the artificial horizon with the trajectory intersections and switching off those segments of the matrix headlights in which the artificial horizon lies below the trajectory intersections.

procedure after claim 1 , characterized in that after the segments have been switched off in method step f), a light distribution with reduced characteristic features is projected in a further step g).

procedure after claim 2 , characterized in that a 3D reconstruction of a vehicle front scene based on active triangulation is carried out from the light distribution generated in method step g) with the reduced characteristic features.

Procedure according to one of Claims 1 until 3 , characterized in that in the first step a) an independent light distribution, in particular a checkerboard pattern, is projected or a low beam distribution or a high beam distribution is projected, in which the characteristic features are embedded.

Procedure according to one of Claims 1 until 4 , characterized in that for the extraction of characteristic features from the camera image, image processing algorithms are used, which are a combination of a frequency-based calculation approach and a location-based calculation approach.

Procedure according to one of Claims 1 until 5 , characterized in that the artificial horizon is used to implement a wall estimation and/or to enable the assignment of the characteristic features.

Procedure according to one of Claims 1 until 6 , characterized in that the artificial horizon is determined by line fitting.

Procedure according to one of Claims 1 until 7 , characterized in that the intersection of the artificial horizon of both matrix headlights is evaluated.

Procedure according to one of Claims 1 until 8th , characterized in that the mean vertical value of the characteristic features on the artificial horizon is evaluated.