DE102021005927A1

DE102021005927A1 - Method for checking a lighting device

Info

Publication number: DE102021005927A1
Application number: DE102021005927.1A
Authority: DE
Inventors: Thorsten Wilmer
Original assignee: Daimler AG
Current assignee: Mercedes Benz Group AG
Priority date: 2021-11-30
Filing date: 2021-11-30
Publication date: 2022-01-13

Abstract

Die Erfindung betrifft ein Verfahren zum Überprüfen einer Beleuchtungseinrichtung (3) in einem Fahrzeug (1), wobei von der Beleuchtungseinrichtung (3) ausgesandtes Licht mit einer an dem Fahrzeug (1) vorgesehenen Kamera (4) erfasst wird. Das erfindungsgemäße Verfahren ist dadurch gekennzeichnet, dass Umgebungsobjekte (7, 9, 10) um das Fahrzeug (1) herum über die Kamera (4) erfasst und mittels Mustererkennung in verschiedene Objektklassen und Abstände zu dem Fahrzeug (1) eingeordnet werden, wonach die Beleuchtungseinrichtung (3) aktiviert und eine Ist-Lichtverteilung der Beleuchtungseinrichtung (3) auf den Umgebungsobjekten (7, 9, 10) über die Kamera (4) erfasst wird, wonach die Ist-Lichtverteilung mit einer Soll-Lichtverteilung der jeweiligen Beleuchtungseinrichtung (3) unter Berücksichtigung der Umgebungsobjekte (7, 9, 10) und Abstände (x) verglichen wird, wobei die Soll-Lichtverteilung auf maschinell erlernten Lichtverteilungen zurückliegender Überprüfungen basiert.

The invention relates to a method for checking a lighting device (3) in a vehicle (1), light emitted by the lighting device (3) being recorded with a camera (4) provided on the vehicle (1). The method according to the invention is characterized in that surrounding objects (7, 9, 10) around the vehicle (1) are detected by the camera (4) and classified into different object classes and distances to the vehicle (1) by means of pattern recognition, after which the lighting device (3) is activated and an actual light distribution of the lighting device (3) on the surrounding objects (7, 9, 10) is recorded by the camera (4), after which the actual light distribution is compared with a target light distribution of the respective lighting device (3). Considering the surrounding objects (7, 9, 10) and distances (x) is compared, the target light distribution based on machine-learned light distributions of previous checks.

Description

Die Erfindung betrifft ein Verfahren zum Überprüfen einer Beleuchtungseinrichtung an einem Fahrzeug nach der im Oberbegriff von Anspruch 1 näher definierten Art.The invention relates to a method for checking a lighting device on a vehicle according to the type defined in more detail in the preamble of claim 1.

In der DE 10 2010 029 149 A1 wird ein Verfahren und ein Steuergerät zum Plausibilisieren eines Leuchtweite-Testwerts eines Lichtkegels eines Fahrzeugscheinwerfers beschrieben. Dabei wird für die Fahrlichter, also die Frontscheinwerfer eines Fahrzeugs, die Reflektionsintensität eines Punktes auf mindestens einer von dem Lichtkegel beleuchteten Fahrbahnmarkierung über eine Kamera des Fahrzeugs erfasst. Über eine Modellrechnung wird dann in Abhängigkeit der Entfernung des erfassten Lichtpunkts ein Soll-Reflektionsgrad ermittelt und mit dem erfassten Ist-Reflektionsgrad verglichen. Damit kann mit dem dort beschriebenen Verfahren letztlich überprüft werden, ob auf nächtlicher Straße andere Verkehrsteilnehmer durch die Scheinwerfer des eigenen Fahrzeugs geblendet werden.In the DE 10 2010 029 149 A1 describes a method and a control unit for checking the plausibility of a headlight range test value of a light cone of a vehicle headlight. For the driving lights, ie the front headlights of a vehicle, the reflection intensity of a point on at least one road marking illuminated by the light cone is recorded by a camera of the vehicle. A target degree of reflection is then determined via a model calculation as a function of the distance of the detected point of light and compared with the detected actual degree of reflection. With the method described there, it can ultimately be checked whether other road users on the road at night are being blinded by the headlights of one's own vehicle.

Daneben wäre es in jedem Fall auch wünschenswert, die reine Funktion einer Beleuchtungseinrichtung zu überprüfen. Dies würde eine rechtzeitige Warnung an eine das Fahrzeug nutzende Person ermöglichen, sodass potenziell defekte Beleuchtungseinrichtungen frühzeitig erkannt und repariert werden könnten. Dabei sind hier die Frontscheinwerfer weniger kritisch, da deren nicht vorhandene Funktion typischerweise einer das Fahrzeug fahrenden Person sehr schnell auffällt. Andere Beleuchtungseinrichtungen können durch das Verfahren gemäß der oben genannten Schrift jedoch nicht überprüft werden, was einen Nachteil darstellt.In addition, it would also be desirable in any case to check the pure function of a lighting device. This would enable a timely warning to a person using the vehicle, so that potentially defective lighting devices could be identified and repaired at an early stage. The front headlights are less critical here, since their non-existent function is typically noticed very quickly by a person driving the vehicle. However, other lighting devices cannot be checked using the method according to the document mentioned above, which is a disadvantage.

Die Aufgabe der hier vorliegenden Erfindung besteht deshalb darin, ein verbessertes Verfahren zum Überprüfen einer Beleuchtungseinrichtung an einem Fahrzeug gemäß dem Oberbegriff des Anspruchs 1 anzugeben.The object of the present invention is therefore to specify an improved method for checking a lighting device on a vehicle according to the preamble of claim 1 .

Erfindungsgemäß wird diese Aufgabe durch das Verfahren mit den Merkmalen im Anspruch 1, und hier insbesondere im kennzeichnenden Teil des Anspruchs 1, gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen des erfindungsgemäßen Verfahrens ergeben sich aus den hiervon abhängigen Unteransprüchen.According to the invention, this object is achieved by the method having the features in claim 1, and here in particular in the characterizing part of claim 1. Advantageous refinements and developments of the method according to the invention result from the dependent subclaims.

Bei dem erfindungsgemäßen Verfahren ist es so, dass, ähnlich wie im eingangs genannten Stand der Technik, das von einer Beleuchtungseinrichtung ausgesandte Licht mit einer an dem Fahrzeug vorgesehenen Kamera erfasst wird. Im Gegensatz zum Stand der Technik ist es bei dem erfindungsgemäßen Verfahren so, dass Umgebungsobjekte um das Fahrzeug über die Kamera erfasst werden, wobei mittels einer Musterkennung eine Zuordnung der erkannten Umgebungsobjekte und ihrer Abstände in verschiedene Objektklassen erfolgt. Erst dann wird die entsprechende Beleuchtungseinrichtung, welche überprüft werden soll, aktiviert und eine Ist-Lichtverteilung der Beleuchtungseinrichtung auf den Umgebungsobjekten um das Fahrzeug herum wird über die Kamera erfasst. Die Überprüfung soll insbesondere bei einem geparkten oder abgestellten Fahrzeug erfolgen. Die Umgebungsobjekte können dabei vielfältiger Art sein. Die Umgebungsobjekte können also beispielsweise die Wände eines Garagenstellplatzes, um das Fahrzeug herum abgestellte Fahrzeuge, Gebäude oder auch Bäume sein. Beim Abstellen des Fahrzeugs auf einer relativ großen freien Fläche können die Umgebungsobjekte auch lediglich aus dem mehr oder weniger ebenen Boden in der Umgebung des Fahrzeugs bestehen.In the method according to the invention, similar to the prior art mentioned at the outset, the light emitted by a lighting device is recorded with a camera provided on the vehicle. In contrast to the prior art, with the method according to the invention, surrounding objects around the vehicle are detected by the camera, with pattern recognition being used to assign the detected surrounding objects and their distances to different object classes. Only then is the corresponding lighting device that is to be checked activated and an actual light distribution of the lighting device on the surrounding objects around the vehicle is recorded by the camera. The check should be carried out in particular when the vehicle is parked or parked. The surrounding objects can be of various types. The environmental objects can thus be, for example, the walls of a garage parking space, vehicles parked around the vehicle, buildings or also trees. When the vehicle is parked in a relatively large free area, the surrounding objects can also consist solely of the more or less level ground in the vicinity of the vehicle.

Die Ist-Lichtverteilung wird dann in dem erfindungsgemäßen Verfahren mit einer Soll-Lichtverteilung der jeweiligen Beleuchtungseinrichtung unter Berücksichtigung der Umgebungsobjekte und Abstände verglichen. Diese Soll-Lichtverteilung basiert dabei in dem erfindungsgemäßen Verfahren auf einer maschinell erlernten Lichtverteilung aus zurückliegenden Überprüfungen. Die Soll-Lichtverteilung kann so relativ einfach ähnliche Umgebungsobjekte und/oder Abstände berücksichtigen oder kann insbesondere, wenn sie beispielsweise auf dem privaten Garagenstellplatz einer das Fahrzeug nutzenden Person stattfindet, exakt dieselben Bedingungen wiedererkennen und so eine geeignete Soll-Lichtverteilung für den Vergleich mit der aktuell erfassten Ist-Lichtverteilung zur Verfügung stellen.In the method according to the invention, the actual light distribution is then compared with a target light distribution of the respective lighting device, taking into account the surrounding objects and distances. In the method according to the invention, this target light distribution is based on a machine-learned light distribution from previous checks. The target light distribution can thus relatively easily take into account similar surrounding objects and/or distances or, particularly if it takes place in the private garage parking space of a person using the vehicle, it can recognize exactly the same conditions and thus provide a suitable target light distribution for comparison with the current provide the recorded actual light distribution.

Hierdurch wird es außerordentlich einfach und effizient möglich auch in komplexen Umgebungen, insbesondere wenn diese regelmäßig zum Abstellen des Fahrzeugs genutzt werden, die Beleuchtungseinrichtungen zu überprüfen. Dies ist dabei einfach und effizient für jede Art von Beleuchtungseinrichtungen möglich, insbesondere also neben den Frontscheinwerfern auch zur Überprüfung von Tageslichtern, Fahrtrichtungsanzeigern, Rückleuchten, eines Rückfahrlichts, einer Bremsleuchte, Nebelleuchten, Nebelschlusslichter und dergleichen.This makes it extremely easy and efficient to check the lighting devices even in complex environments, especially if they are used regularly to park the vehicle. This is easily and efficiently possible for any type of lighting device, in particular, in addition to the front headlights, also for checking daylights, direction indicators, rear lights, a reversing light, a brake light, fog lights, rear fog lights and the like.

Das erfindungsgemäße Verfahren kann es dabei gemäß einer außerordentlichen günstigen Ausgestaltung ferner vorsehen, dass bei der Wahl der Soll-Lichtverteilung ein Standort des Fahrzeugs berücksichtigt wird. Ein solcher Standort kann beispielsweise aus GPS-Daten oder anderen auf einer satellitengestützten Navigation basierenden Daten zur Verfügung gestellt werden, sodass beispielsweise festgestellt werden kann, dass das Fahrzeug sich an einem Ort befindet, an dem es sich häufiger befindet, sodass bei der Wahl der geeigneten Soll-Lichtverteilung vorzugsweise auf an diesem Ort maschinell erlerntes Soll-Lichtverteilungen zurückgegriffen wird.According to an extraordinarily favorable embodiment, the method according to the invention can also provide for the location of the vehicle to be taken into account when selecting the target light distribution. Such a location can be made available, for example, from GPS data or other data based on satellite-supported navigation, so that it can be determined, for example, that the vehicle is located at a location where it is frequently located, so that when selecting the appropriate target light distribution, reference is preferably made to target light distributions learned by machine at this location.

Ferner ist es alternativ oder ergänzend hierzu möglich, die Umgebungsobjekte um das Fahrzeug herum sowie deren Positionen relativ zu dem Fahrzeug bei der Auswahl der Soll-Lichtverteilung zu berücksichtigen. Die erlernte Soll-Lichtverteilung kann also beispielsweise eine erlernte Soll-Lichtverteilung in Situationen sein, in denen neben oder vor bzw. hinter dem eigenen Fahrzeug Fremdfahrzeuge parken. Dabei ist die Art der Fremdfahrzeuge häufig untergeordnet, da die Lichtverteilung bei unterschiedlichen Fahrzeugen vergleichsweise ähnlich ist, sodass in bestimmten Parksituationen dieselben erlernten Soll-Lichtverteilungen als Vergleichsbasis herangezogen werden können.Furthermore, it is alternatively or additionally possible to take into account the surrounding objects around the vehicle and their positions relative to the vehicle when selecting the target light distribution. The learned target light distribution can thus be, for example, a learned target light distribution in situations in which other vehicles are parked next to or in front of or behind one's own vehicle. The type of third-party vehicle is often of secondary importance, since the light distribution of different vehicles is comparatively similar, so that in certain parking situations the same learned target light distributions can be used as a basis for comparison.

Vergleichbares gilt für entsprechend freie Flächen vor und/oder hinter bzw. neben dem Fahrzeug, welche ebenfalls als Basis für die Auswahl einer geeigneten erlernten Soll-Lichtverteilung herangezogen werden können, wobei das Umgebungsobjekt in diesem Fall der Boden um das Fahrzeug herum wäre.The same applies to correspondingly free areas in front of and/or behind or next to the vehicle, which can also be used as a basis for selecting a suitable learned target light distribution, with the surrounding object in this case being the ground around the vehicle.

Das maschinelle Lernen kann dabei gemäß einer außerordentlich günstigen Weiterbildung des erfindungsgemäßen Verfahrens bezüglich des jeweiligen Umgebungsobjekts bzw. der Objektklasse, in die dieses eingeordnet ist, sowie seiner relativen Position zu dem entsprechenden Umgebungsobjekt über ein künstliches neuronales Netzwerk erfolgen. Ein solches künstliches neuronales Netzwerk, welches häufig auch mit dem englischsprachigen Fachbegriff Convolutional Neuronal Network oder seiner Abkürzung CNN bezeichnet wird, eignet sich für das maschinelle Lernen im Rahmen des erfindungsgemäßen Verfahrens besonders gut.According to an extraordinarily favorable development of the method according to the invention, the machine learning can take place via an artificial neural network with regard to the respective environmental object or the object class in which this is assigned and its relative position to the corresponding environmental object. Such an artificial neuronal network, which is often also referred to by the technical term convolutional neuronal network or its abbreviation CNN, is particularly well suited for machine learning within the scope of the method according to the invention.

Für den Fall, dass eine bewegliche Beleuchtungseinrichtung, wie beispielsweise ein aktives Kurvenlicht bei den Frontscheinwerfern, vorliegt, kann diese während der Überprüfung von einer ersten in eine zweite Stellung verfahren werden. Diese Stellungen, welche gemäß einer besonders vorteilhaften Ausgestaltung die Endstellungen des jeweiligen Verfahrfahrwegs ausbilden können, werden also entsprechend angefahren, um den gesamten zur Verfügung stehenden Lichtkegel in die Umgebung abzustrahlen und über die Kamera erfassen zu können. Damit lässt sich dann nicht nur eine defekte Lichtquelle sondern auch ein Fehler in der Bewegung der Beleuchtungseinrichtung feststellen.In the event that a movable lighting device, such as an active cornering light in the front headlights, is present, it can be moved from a first to a second position during the check. These positions, which according to a particularly advantageous embodiment can form the end positions of the respective travel path, are therefore approached accordingly in order to be able to radiate the entire available cone of light into the environment and to be able to capture it via the camera. In this way, not only can a defective light source be detected, but also a fault in the movement of the lighting device.

Wie oben bereits erwähnt kann es gemäß einer außerordentlich günstigen Weiterbildung des erfindungsgemäßen Verfahrens vorgesehen sein, dass die Überprüfung immer dann erfolgt, wenn das Fahrzeug abgestellt ist. Dies ermöglicht eine Überprüfung aller Beleuchtungseinrichtungen einschließlich der Fahrtrichtungsanzeiger und dergleichen, ohne dass hierdurch der fließende Verkehr beeinträchtigt oder gestört wird.As already mentioned above, according to an extraordinarily favorable development of the method according to the invention, it can be provided that the check is always carried out when the vehicle is parked. This enables all lighting devices, including the direction indicators and the like, to be checked without affecting or disrupting the flow of traffic.

Eine weitere sehr günstige Ausgestaltung des erfindungsgemäßen Verfahrens kann es ferner vorsehen, dass die Überprüfung erfolgt, wenn die Helligkeit in der Umgebung des Fahrzeugs unter einem vorgegebenen Schwellenwert liegt. In Abhängigkeit der Umgebungshelligkeit kann das Verfahren also vorzugsweise im Dunkeln durchgeführt werden, um so die durch die Beleuchtungseinrichtungen erzeugten Lichtkegel besser erfassen zu können, da dann Reflektionen an Gegenständen wie beispielsweise Wänden, Bäumen, anderen geparkten Fahrzeugen, Gebäudeteilen oder dergleichen zuverlässiger und besser zu erkennen sind, als bei hoher Umgebungshelligkeit.Another very favorable embodiment of the method according to the invention can also provide for the check to take place when the brightness in the area surrounding the vehicle is below a predetermined threshold value. Depending on the ambient brightness, the method can therefore preferably be carried out in the dark in order to be able to better detect the light cone generated by the lighting devices, since reflections on objects such as walls, trees, other parked vehicles, parts of buildings or the like can then be recognized more reliably and better than when the ambient brightness is high.

Ergänzend oder alternativ dazu kann die Überprüfung auch zeitgesteuert erfolgen. Dies kann prinzipiell eine grundlegende Zeitsteuerung sein, sodass die Überprüfungen also beispielsweise in die Nacht verlegt werden, um Personen in der Umgebung möglichst wenig zu irritieren. Alternativ oder ergänzend dazu kann die Zeitsteuerung auch in der Art erfolgen, dass sie beispielsweise nach einer bestimmten Zeit, nachdem das Fahrzeug abgestellt worden ist, erfolgt, um so einen gewissen Puffer zu anderen Beleuchtungsfunktionen zu schaffen, beispielsweise werden so Licht-Funktionalitäten beim Verlassen des Fahrzeugs nicht unnötig beeinflusst. In diesem Fall könnte einfach eine gewisse Zeit nach dem Abstellen des Fahrzeugs abgewartet werden, bevor, gegebenenfalls trotz bereits ausreichender Dunkelheit, das Verfahren zur Überprüfung gestartet wird.In addition or as an alternative to this, the check can also be time-controlled. In principle, this can be a basic time control, so that the checks are shifted into the night, for example, in order to irritate people in the area as little as possible. Alternatively or in addition to this, the time control can also take place in such a way that it takes place, for example, after a certain time after the vehicle has been parked, in order to create a certain buffer for other lighting functions, for example light functionalities are activated when leaving the vehicle is not unnecessarily affected. In this case, one could simply wait a certain amount of time after the vehicle has been parked, before the method for checking is started, possibly even though it is already sufficiently dark.

Ist es dabei so, dass das Fahrzeug in einer völlig unbekannten Umgebung parkt, in dem weder der Ort noch die Umgebungsobjekte bekannt sind und dementsprechend keine passenden Soll-Lichtverteilungen vorliegen, dann kann das Verfahren auch abgebrochen werden und es werden lediglich Ist-Lichtverteilungen erfasst, welche für die entsprechende Umgebung bzw. die Umgebungsobjekte zuerst gespeichert werden. Erfolgt dann zeitnah im Anschluss die Überprüfung in einer leichter zu überprüfenden Umgebung anhand von bereits erlernten Soll-Lichtverteilungen mit dem Ergebnis, dass alle Beleuchtungseinrichtungen fehlerfrei funktionieren, dann kann rückwirkend auf die zuvor gespeicherten Lichtverteilungen diese korrekte Funktionalität übertragen werden. Nachträglich können diese erfassten Lichtverteilungen also als Soll-Lichtverteilungen mit korrekter Funktionalität der Beleuchtungseinrichtungen gewertet und für das maschinelle Lernen entsprechend gespeichert werden.If the vehicle is parked in a completely unknown environment, in which neither the location nor the surrounding objects are known and accordingly no suitable target light distributions are present, then the method can also be aborted and only actual light distributions are recorded, which are saved first for the corresponding environment or environment objects. If the check then takes place promptly afterwards in an environment that is easier to check using target light distributions that have already been learned, with the result that all lighting devices function correctly, then this correct functionality can be retrospectively transferred to the previously stored light distributions. These recorded light distributions can therefore subsequently be used as target light distributions with the correct functionality of the lighting devices gene are evaluated and stored accordingly for machine learning.

Als Kamera lässt sich insbesondere eine Surround-View-Kamera des Fahrzeugs nutzen, um so einfach und effizient mit in dem Fahrzeug bestehenden Systemen das erfindungsgemäße Verfahren zum Überprüfen durchführen zu können. Es sind also keine über die bestehende Hardware des Fahrzeugs hinausgehenden Bauteile notwendig.In particular, a surround view camera of the vehicle can be used as the camera in order to be able to carry out the checking method according to the invention easily and efficiently with systems existing in the vehicle. No components that go beyond the existing hardware of the vehicle are therefore necessary.

Weitere vorteilhafte Ausgestaltungen des erfindungsgemäßen Verfahrens ergeben sich auch aus dem Ausführungsbeispiel, welches nachfolgend unter Bezugnahme auf die Figuren näher beschrieben ist.Further advantageous refinements of the method according to the invention also result from the exemplary embodiment which is described in more detail below with reference to the figures.

Dabei zeigen:

1 eine schematische Darstellung der für das erfindungsgemäße Verfahren genutzten Elemente in dem Fahrzeug;
2 ein Szenario zur Überprüfung der Lichtverteilung bei einer Position des Fahrzeugs vor einer Wand;
3 ein Szenario zur Überprüfung der Lichtverteilung bei einer Position des Fahrzeugs auf freiem Feld; und
4 ein Szenario zur Überprüfung der Lichtverteilung bei einer Position des Fahrzeugs vor einem unregelmäßig geformten Objekt.

show:

1 a schematic representation of the elements used for the method according to the invention in the vehicle;
2 a scenario for checking the light distribution when the vehicle is positioned in front of a wall;
3 a scenario for checking the light distribution when the vehicle is positioned in an open field; and
4 a scenario for checking the light distribution when the vehicle is positioned in front of an irregularly shaped object.

In der Darstellung der 1 ist ein Fahrzeug 1 schematisch angedeutet. Es verfügt in Fahrtrichtung F vorne über zwei Lichtmodule 2 zur Ansteuerung von jeweils mehreren mit 3 bezeichneten Beleuchtungseinrichtungen. Ein vergleichbarer Aufbau findet sich auch in dem in Fahrtrichtung F hinten liegenden Heck des Fahrzeugs 1, wobei auch hier die Lichtmodule mit 2 und die Beleuchtungseinrichtungen mit 3 bezeichnet sind. Die Anzahl der Beleuchtungseinrichtungen 3 ist dabei rein zufällig gewählt, es können verschiedene Beleuchtungseinrichtungen 3 des Fahrzeugs 1 sein, darunter Frontscheinwerfer, Tageslichtleuchten, Fahrtrichtungsanzeiger, welche umgangssprachlich auch als Blinker bezeichnet werden, Heckleuchten, Nebellichter bzw. Nebelschlussleuchten, Bremsleuchten oder auch weitere Beleuchtungselemente im Außenbereich des Fahrzeugs 1.In the representation of 1 a vehicle 1 is indicated schematically. In the direction of travel F, it has two light modules 2 at the front for controlling a plurality of lighting devices, each labeled 3 . A comparable structure is also found in the rear of the vehicle 1 in the direction of travel F, the light modules being denoted by 2 and the lighting devices by 3 here as well. The number of lighting devices 3 is chosen purely at random, it can be different lighting devices 3 of the vehicle 1, including headlights, daylight lights, direction indicators, which are colloquially referred to as turn signals, rear lights, fog lights or rear fog lights, brake lights or other lighting elements in the outside area of the vehicle 1.

Das Fahrzeug 1 verfügt außerdem über eine Surround-View-Kamera 4, welche hier in Form von vier einzelnen Modulen 4 in Fahrtrichtung F vorne und hinten sowie jeweils seitlich an dem Fahrzeug 1 angedeutet ist. Diese Module 4 der Surround-View-Kamera 4 sind über ein Kamerasteuergerät 5 verbunden, welches einerseits die Module 4 steuert und andererseits die Erfassung und Auswertung der Kamerabilder übernimmt. Der Aufbau dieses Kamerasteuergeräts 5 kann dabei selbstverständlich auf mehrere Steuergeräte bzw. Recheneinheiten in dem Fahrzeug 1 aufgeteilt sein, auch wenn hier lediglich ein einziges Steuergerät 5 exemplarisch angedeutet ist. Das Kamerasteuergerät 5 und die einzelnen Lichtmodule 2 stehen außerdem mit einem Lichtsteuergerät 6 in Verbindung, für welches ebenfalls gilt, dass dieses auch in mehrere einzelne Steuergeräte, beispielsweise auch in die jeweiligen Lichtmodule 2 integriert, ausgebildet sein könnte.The vehicle 1 also has a surround view camera 4, which is indicated here in the form of four individual modules 4 in the direction of travel F at the front and rear and on the side of the vehicle 1. These modules 4 of the surround view camera 4 are connected via a camera control unit 5, which on the one hand controls the modules 4 and on the other hand takes over the acquisition and evaluation of the camera images. The structure of this camera control device 5 can, of course, be divided among a number of control devices or computing units in the vehicle 1, even if only a single control device 5 is indicated here as an example. The camera control device 5 and the individual light modules 2 are also connected to a light control device 6, for which it also applies that this could also be designed in several individual control devices, for example also integrated in the respective light modules 2.

Ein exemplarischer Verfahrensablauf zur Überprüfung wenigstens einer der Beleuchtungseinrichtungen 3 des Fahrzeugs 1 sieht nun die folgenden Schritte vor. Zuerst wird geprüft, ob das Fahrzeug 1 steht, also abgestellt oder geparkt ist. Im Anschluss wird überprüft, ob die Umgebungshelligkeit entsprechend gering ist, ob es also ausreichend dunkel z.B. Nacht ist. Im Anschluss kann nachgeprüft werden, ob bereits Überprüfungen vorgenommen worden sind, seit das Fahrzeug 1 an dieser Stelle steht oder ob bereits Überprüfungen vorgenommen sind, als das Fahrzeug 1 früher einmal an diesem Ort gestanden hat.An exemplary method sequence for checking at least one of the lighting devices 3 of the vehicle 1 now provides the following steps. First, a check is made as to whether vehicle 1 is stationary, ie parked or turned off. It is then checked whether the ambient brightness is correspondingly low, i.e. whether it is sufficiently dark, e.g. at night. It can then be checked whether checks have already been carried out since the vehicle 1 is at this location or whether checks have already been carried out when the vehicle 1 was previously at this location.

Im Anschluss wird vor alle Beleuchtungseinrichtungen 3 und, sofern deren Reflektoren bzw. Beleuchtungselemente verfahrbar sind, für deren Extrempositionen bei noch nicht aktivierter Beleuchtungseinrichtung 3 über die Surround-View-Kamera 4 ein Bild bzw. ein Bildsektor aufgenommen, in dem die Reflektionen des Lichts der entsprechenden Beleuchtungseinrichtung 3 zu erwarten sind. Im Anschluss wird die zu überprüfende Beleuchtungseinrichtung 3 aktiviert bzw. eingeschaltet und es wird erneut ein Bild aufgenommen, um die Ist-Lichtverteilung zu erfassen. Sind in der Umgebung des Fahrzeugs 1 entsprechende Umgebungsobjekte 7, 9, 10 vorhanden, wird der Abstand zu dem Umgebungsobjekt 7, 9, 10 erfasst und es wird über eine Mustererkennung seitens der Kamerasteuerung 5 ausgewertet, ob es sich bei dem Umgebungsobjekt 7, 9, 10 beispielsweise um eine Wand 7, ein Auto, einen Baum 10 oder lediglich den Boden 9 in der Umgebung des Fahrzeugs 1 handelt. Die erfasste Ist-Lichtverteilung in den Bildern wird dann entsprechend der genannten Use-Cases mit Soll-Lichtverteilungen verglichen, um festzustellen, ob die Beleuchtungseinrichtung funktioniert wie erwartet oder nicht. Die Soll-Lichtverteilung wird dabei für jeden Use-Case über ein künstliches neuronales Netz (CNN) trainiert, sodass bei einem ausreichenden Trainingsgrad, also wenn das maschinellen Lernen ausreichend Daten funktionierender Soll-Lichtverteilungen in den entsprechenden Umgebungen und in Bezug auf die entsprechenden Umgebungsobjekte erfasst hat, direkt eine Aussage erfolgen kann, ob die Beleuchtungseinrichtung 3 korrekt funktioniert oder nicht.Subsequently, an image or an image sector is recorded in front of all lighting devices 3 and, if their reflectors or lighting elements can be moved, for their extreme positions when the lighting device 3 is not yet activated via the surround view camera 4, in which the reflections of the light of the corresponding lighting device 3 are to be expected. The lighting device 3 to be checked is then activated or switched on and another image is recorded in order to record the actual light distribution. If corresponding environmental objects 7, 9, 10 are present in the area surrounding the vehicle 1, the distance to the environmental object 7, 9, 10 is detected and the camera control 5 uses pattern recognition to evaluate whether the environmental object 7, 9, 10 is, for example, a wall 7, a car, a tree 10 or just the ground 9 in the vicinity of the vehicle 1. The recorded actual light distribution in the images is then compared with target light distributions in accordance with the use cases mentioned, in order to determine whether the lighting device is working as expected or not. The target light distribution is trained for each use case via an artificial neural network (CNN), so that with a sufficient degree of training, i.e. when the machine learning collects sufficient data of functioning target light distributions in the corresponding surroundings and in relation to the corresponding surrounding objects has, a statement can be made directly as to whether the lighting device 3 is working correctly or not.

Dabei können verschiedene Szenarien auftreten. In der Darstellung der 2 ist ein Szenario gezeigt, bei welchem das Fahrzeug 1 mit seiner Surround-View-Kamera 4 und seiner Beleuchtungseinrichtung 3 - hier einem Rücklicht - mit seinem Heck vor einer Wand 7 abgestellt ist. Die Lichtreflektion, welche hier rein beispielhaft angedeutet und mit 8 bezeichnet ist, gibt also die Lichtverteilung der jeweiligen Beleuchtungseinrichtung 3 bei dem beschriebenen Szenario des Fahrzeugs 1 in einem gewissen Abstand x vor der Wand 7 wieder. Eine weitere Alternative ist in der Darstellung der 3 zu erkennen, hier ist das Umgebungsobjekt der Boden 9 in der Umgebung des Fahrzeugs 1, auf welchem sich die entsprechende Lichtverteilung 8 ergibt. In der Darstellung der 4 ist ein weiteres Szenario zu erkennen, bei welchem das Objekt unregelmäßig geformt ist. Dieses hier mit 10 bezeichnete Objekt steht auf dem Boden 9. Es kann sich um einen Baum 10, ein anderes Fahrzeug, einen Poller, eine Mülltonne oder vergleichbares handeln. Es kommt dann zu vergleichsweise komplexen Lichtverteilungen, welche hier durch die beiden jeweils mit 8 bezeichneten Lichtreflektionen der Lichtverteilung 8 angedeutet sind.Different scenarios can occur. In the representation of 2 a scenario is shown in which the vehicle 1 with its surround view camera 4 and its lighting device 3 - here a rear light - is parked with its rear in front of a wall 7 . The light reflection, which is indicated here purely by way of example and is denoted by 8, thus reflects the light distribution of the respective lighting device 3 in the described scenario of the vehicle 1 at a certain distance x in front of the wall 7. Another alternative is in the representation of the 3 recognizable, here the surrounding object is the ground 9 in the vicinity of the vehicle 1, on which the corresponding light distribution 8 results. In the representation of 4 another scenario can be seen in which the object is irregularly shaped. This object, labeled 10 here, stands on the ground 9. It can be a tree 10, another vehicle, a bollard, a garbage can or the like. Comparatively complex light distributions then occur, which are indicated here by the two light reflections of the light distribution 8 each labeled 8 .

Die Surround-View-Kamera 4 kann es dabei ausnutzen, dass im Dunkeln in der Umgebung des Fahrzeugs 1 erfasste Bilder mit deaktivierter Beleuchtungseinrichtung 3 und mit aktivierter Beleuchtungseinrichtung 3 miteinander verglichen werden. Lediglich bei zu unregelmäßigen Objekten 10 wird auf die Überprüfung der Beleuchtungseinrichtungen 3 entsprechend verzichtet. Tauchen typische und sich wiederholende Szenarien auf, ist es jedoch relativ einfach, die Soll-Lichtverteilungen für das entsprechende Szenario zu erfassen und über maschinelles Lernen in einem CNN über die Dauer der Nutzung des Fahrzeugs 1 immer weiter zu optimieren, sodass insbesondere in gewohnten Umgebungen des Fahrzeugs 1 eine außerordentlich einfache und effiziente Überprüfung der erzeugten Ist-Lichtverteilungen im Hinblick auf eingelernte Soll-Lichtverteilungen in derselben Umgebung und/oder mit Umgebungsobjekten 7, 9, 10 in denselben oder ähnlichen Objektklassen und mit ähnlichen Abständen x erfolgen kann.The surround view camera 4 can make use of the fact that images captured in the dark in the area surrounding the vehicle 1 with a deactivated lighting device 3 and with an activated lighting device 3 are compared with one another. Only in the case of objects 10 that are too irregular is the lighting devices 3 not checked accordingly. However, if typical and repetitive scenarios arise, it is relatively easy to record the target light distributions for the corresponding scenario and to continuously optimize them using machine learning in a CNN over the duration of use of the vehicle 1, so that, particularly in the familiar surroundings of the Vehicle 1 an extraordinarily simple and efficient review of the generated actual light distributions with regard to learned target light distributions in the same environment and / or with surrounding objects 7, 9, 10 in the same or similar object classes and with similar distances x can be done.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents cited by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent Literature Cited

DE 102010029149 A1 [0002]

Claims

Method for checking a lighting device (3) in a vehicle (1), the light emitted by the lighting device (3) being recorded with a camera (4) provided on the vehicle (1), characterized in that surrounding objects (7, 9, 10) recorded around the vehicle (1) by the camera (4) and classified into different object classes and distances to the vehicle (1) by means of pattern recognition, after which the lighting device (3) is activated and an actual light distribution of the lighting device (3) on the surrounding objects (7, 9, 10) is recorded by the camera (4), after which the actual light distribution is compared with a target light distribution of the respective lighting device (3), taking into account the surrounding objects (7, 9, 10) and distances (x ) is compared, with the target light distribution being based on machine-learned light distributions from previous checks.

procedure after claim 1 , characterized in that a location of the vehicle (1) is taken into account when selecting the target light distribution.

procedure after claim 1 or 2 , characterized in that when selecting the target light distribution, the surrounding objects (7, 9, 10) around the vehicle (1) and their position relative to the vehicle (1) are taken into account.

procedure after claim 1 , 2 or 3 , characterized in that the mechanical learning of the target light distribution that matches the respective surrounding object (7, 9, 10) and its position relative to the vehicle (1) takes place via an artificial neural network.

Procedure according to one of Claims 1 until 4 , characterized in that in the case of a movable lighting element (3) this is moved from a first to a second position during the check.

procedure after claim 5 , characterized in that end positions of the respective travel path are used as the two positions.

Procedure according to one of Claims 1 until 6 , characterized in that the check is carried out when the vehicle is parked.

Procedure according to one of Claims 1 until 7 , characterized in that the check is carried out when the brightness in the area surrounding the vehicle (1) is below a predetermined limit value.

Procedure according to one of Claims 1 until 8th , characterized in that the check is time-controlled.

Procedure according to one of Claims 1 until 9 . characterized in that the check is aborted if the target light distribution is not present, but the recorded actual light distribution is stored for machine learning.