DE102016118335A1

DE102016118335A1 - A method for detecting a contamination on a lens of a camera of a motor vehicle based on brightness values in images, camera and motor vehicle

Info

Publication number: DE102016118335A1
Application number: DE102016118335.0A
Authority: DE
Inventors: Istiliyan Kichev
Original assignee: Connaught Electronics Ltd
Current assignee: Connaught Electronics Ltd
Priority date: 2016-09-28
Filing date: 2016-09-28
Publication date: 2018-03-29

Abstract

Die Erfindung betrifft ein Verfahren zum Erkennen einer Verschmutzung (11) auf einer Linse (10) einer Kamera (4) eines Kraftfahrzeugs (1) mit den Schritten: Aufnehmen eines ersten Bilds mit einer ersten Belichtungsdauer (t1), Bestimmen eines ersten Helligkeitswerts, welcher eine Helligkeit zumindest eines Bildpunkts in dem ersten Bild beschreibt (S1), Aufnehmen eines zweiten Bilds mit einer zur ersten Belichtungsdauer (t1) verschiedenen, zweiten Belichtungsdauer (t2), Bestimmen eines zweiten Helligkeitswerts, welcher die Helligkeit des zumindest einen Bildpunkts in dem zweiten Bild beschreibt (S2), und Erkennen der Verschmutzung (11) anhand eines Unterschieds zwischen dem ersten Helligkeitswert und dem zweiten Helligkeitswert.The invention relates to a method for detecting soiling (11) on a lens (10) of a camera (4) of a motor vehicle (1) comprising the steps of: taking a first image with a first exposure duration (t1), determining a first brightness value which describes a brightness of at least one pixel in the first image (S1), capturing a second image having a second exposure duration (t2) different from the first exposure time (t1), determining a second brightness value representing the brightness of the at least one pixel in the second image describes (S2), and detecting the pollution (11) based on a difference between the first brightness value and the second brightness value.

Description

Die vorliegende Erfindung betrifft ein Verfahren zum Erkennen einer Verschmutzung auf einer Linse einer Kamera eines Kraftfahrzeugs. Darüber hinaus betrifft die vorliegende Erfindung eine Kamera für ein Kraftfahrzeug. Schließlich betrifft die vorliegende Erfindung ein Kraftfahrzeug mit zumindest einer solchen Kamera. The present invention relates to a method for detecting contamination on a lens of a camera of a motor vehicle. Moreover, the present invention relates to a camera for a motor vehicle. Finally, the present invention relates to a motor vehicle with at least one such camera.

Das Interesse richtet sich vorliegend auf Kameras für Kraftfahrzeuge. Derartige Kameras können beispielsweise Teil eines Fahrerassistenzsystems oder eines Kamerasystems sein, welches dazu dient, einen Fahrer beim Führen des Kraftfahrzeugs zu unterstützen. Aus dem Stand der Technik sind Kamerasysteme bekannt, welche mehrere Kameras aufweisen, welche verteilt an dem Kraftfahrzeug angeordnet sind. Mit diesen Kameras können jeweilige Bilder von Umgebungsbereichen des Kraftfahrzeugs aufgenommen werden. Diese Bilder können dann dem Fahrer beispielsweise auf einer Anzeigeeinrichtung im Innenraum des Kraftfahrzeugs dargestellt werden. Beispielsweise kann dem Fahrer ein Draufsichtbild aus der Vogelperspektive angezeigt werden. Darüber hinaus können die Bilder, die mit den Kameras bereitgestellt werden, mit entsprechenden Objekterkennungsalgorithmen ausgewertet werden. Somit können beispielsweise Objekte in der Umgebung des Kraftfahrzeugs erkannt werden. The interest is directed here to cameras for motor vehicles. Such cameras can be part of a driver assistance system or a camera system, for example, which serves to assist a driver in driving the motor vehicle. Camera systems are known from the prior art, which have a plurality of cameras, which are arranged distributed on the motor vehicle. With these cameras, respective images of surrounding areas of the motor vehicle can be recorded. These images can then be displayed to the driver, for example on a display device in the interior of the motor vehicle. For example, the driver can be displayed a top view bird's-eye view image. In addition, the images provided with the cameras can be evaluated with corresponding object recognition algorithms. Thus, for example, objects in the vicinity of the motor vehicle can be detected.

Da die Kameras üblicherweise außen an dem Kraftfahrzeug angeordnet sind, sind diese Umwelteinflüssen ausgesetzt. Dies kann zur Folge haben, dass sich Verschmutzungen oder Ablagerungen an der Linse der Kamera absetzen. Eine solche Verschmutzung kann beispielsweise dadurch entstehen, dass sich Staub oder andere Verschmutzungen an der Linse der Kamera ablagern. Um einen zuverlässigen Betrieb der Kameras bzw. eines Kamerasystems zu ermöglichen, ist es erforderlich, solche Verschmutzungen zuverlässig zu erkennen. Since the cameras are usually arranged on the outside of the motor vehicle, they are exposed to environmental influences. This can result in soiling or debris settling on the lens of the camera. Such contamination can be caused, for example, by deposits of dust or other contaminants on the lens of the camera. In order to enable a reliable operation of the cameras or a camera system, it is necessary to reliably detect such contamination.

Es ist Aufgabe der vorliegenden Erfindung, eine Lösung aufzuzeigen, wie eine Verschmutzung auf einer Linse einer Kamera eines Kraftfahrzeugs auf einfache Weise zuverlässiger erkannt werden kann. It is an object of the present invention to provide a solution, as a contamination on a lens of a camera of a motor vehicle can be detected reliably more easily.

Diese Aufgabe wird erfindungsgemäß durch ein Verfahren, durch eine Kamera sowie durch ein Kraftfahrzeug mit den Merkmalen gemäß den jeweiligen unabhängigen Ansprüchen gelöst. Vorteilhafte Weiterbildungen der vorliegenden Erfindung sind Gegenstand der abhängigen Ansprüche. This object is achieved by a method by a camera and by a motor vehicle with the features according to the respective independent claims. Advantageous developments of the present invention are the subject of the dependent claims.

Gemäß einer Ausführungsform eines Verfahrens zum Erkennen einer Verschmutzung auf einer Linse einer Kamera eines Kraftfahrzeugs wird bevorzugt ein erstes Bild mit einer ersten Belichtungsdauer aufgenommen. Darüber hinaus wird bevorzugt ein erster Helligkeitswert, welcher eine Helligkeit zumindest eines Bildpunkts in dem ersten Bild beschreibt, bestimmt. Zudem wird bevorzugt ein zweites Bild mit einer zur ersten Belichtungsdauer verschiedenen, zweiten Belichtungsdauer aufgenommen. Ferner wird insbesondere ein zweiter Helligkeitswert, welcher die Helligkeit des zumindest einen Bildpunkts in dem zweiten Bild beschreibt, bestimmt. Schließlich wird die Verschmutzung insbesondere anhand eines Unterschieds zwischen dem ersten Helligkeitswert und dem zweiten Helligkeitswert erkannt. According to one embodiment of a method for detecting soiling on a lens of a camera of a motor vehicle, a first image with a first exposure duration is preferably recorded. In addition, a first brightness value, which describes a brightness of at least one pixel in the first image, is preferably determined. In addition, a second image is preferably recorded with a second exposure duration different from the first exposure duration. Furthermore, in particular a second brightness value which describes the brightness of the at least one pixel in the second image is determined. Finally, the contamination is detected in particular on the basis of a difference between the first brightness value and the second brightness value.

Ein erfindungsgemäßes Verfahren dient zum Erkennen einer Verschmutzung auf einer Linse einer Kamera eines Kraftfahrzeugs. Dabei wird ein erstes Bild mit einer ersten Belichtungsdauer aufgenommen. Ferner wird ein erster Helligkeitswert, welcher eine Helligkeit zumindest eines Bildpunkts in dem ersten Bild beschreibt, bestimmt. Darüber hinaus wird ein zweites Bild mit einer zur ersten Belichtungsdauer verschiedenen, zweiten Belichtungsdauer aufgenommen. Des Weiteren wird ein zweiter Helligkeitswert, welcher die Helligkeit des zumindest einen Bildpunkts in dem zweiten Bild beschreibt, bestimmt. Schließlich wird die Verschmutzung anhand eines Unterschieds zwischen dem ersten Helligkeitswert und dem zweiten Helligkeitswert erkannt. An inventive method is used to detect contamination on a lens of a camera of a motor vehicle. In this case, a first image is taken with a first exposure time. Furthermore, a first brightness value which describes a brightness of at least one pixel in the first image is determined. In addition, a second image is recorded with a second exposure time different from the first exposure duration. Furthermore, a second brightness value, which describes the brightness of the at least one pixel in the second image, is determined. Finally, the contamination is detected by a difference between the first brightness value and the second brightness value.

Vorliegend soll eine Verschmutzung auf einer Linse einer Kamera erkannt werden, wobei die Kamera für den Einsatz an einem Kraftfahrzeug ausgelegt ist. Beispielsweise kann eine solche Kamera Teil eines Kamerasystems oder Fahrerassistenzsystems sein, um den Fahrer beim Führen des Kraftfahrzeugs zu unterstützen. Die Kamera kann eine Kraftfahrzeug-Befestigungseinrichtung zur Befestigung der Kamera an dem Kraftfahrzeug aufweisen. Insbesondere kann die Kamera außen an dem Kraftfahrzeug angebracht werden. Somit können Bilder eines Umgebungsbereichs des Kraftfahrzeugs aufgenommen werden. Im Betrieb des Kraftfahrzeugs können sich nun Verschmutzungen oder Ablagerungen an einer Außenseite der Linse der Kamera absetzen. Eine solche Verschmutzung kann durch Staub oder Schmutzpartikel entstehen. Es können sich auch fetthaltige Verschmutzungen im Betrieb des Kraftfahrzeugs auf der Linse ablagern. Diese Verschmutzungen sollen nun zuverlässig erkannt werden, damit diese entfernt werden. In the present case, a contamination on a lens of a camera to be detected, the camera is designed for use on a motor vehicle. For example, such a camera may be part of a camera system or driver assistance system in order to assist the driver in driving the motor vehicle. The camera may have a motor vehicle fastening device for fastening the camera to the motor vehicle. In particular, the camera can be attached to the outside of the motor vehicle. Thus, images of an environmental region of the motor vehicle can be recorded. During operation of the motor vehicle, dirt or deposits can now deposit on an outer side of the lens of the camera. Such contamination can be caused by dust or dirt particles. It is also possible for fat-containing contaminants to deposit on the lens during operation of the motor vehicle. These contaminants should now be reliably detected so that they are removed.

Zum Erkennen der Verschmutzung werden mit der Kamera ein erstes Bild und zumindest ein zweites Bild aufgenommen. Dabei wird das erste Bild mit einer ersten Belichtungsdauer und das zweite Bild wird mit einer zweiten Belichtungsdauer aufgenommen. Dabei unterscheidet sich die erste Belichtungsdauer von der zweiten Belichtungsdauer. Beispielsweise kann die erste Belichtungsdauer länger sein als die zweite Belichtungsdauer. Die Kamera umfasst einen Bildsensor, mit dem die Bilder aufgenommen werden können. In dem ersten Bild wird nun zumindest einen Bildpunkt ausgewählt. Es kann auch vorgesehen sein, dass mehrere Bildpunkte in dem ersten Bild ausgewählt werden. Es können auch alle Bildpunkte in dem ersten Bild oder zumindest einige der Bildpunkte in dem ersten Bild bezüglich ihrer Helligkeit überprüft werden. Somit kann der erste Helligkeitswert bestimmt werden, der die Helligkeit des zumindest einen Bildpunkts beschreibt. In dem zweiten Bild wird auch von genau dem zumindest einen Bildpunkt ein zweiter Helligkeitswert bestimmt, der die Helligkeit dieses zumindest einen Bildpunkts beschreibt. Anschließend kann dann der Unterschied zwischen dem ersten Helligkeitswert und dem zweiten Helligkeitswert bestimmt werden. Zum Bestimmen der Helligkeitswerte kann insbesondere die Luminanz des zumindest einen Bildpunkts bestimmt werden. To detect the contamination, a first image and at least a second image are taken with the camera. In this case, the first image is taken with a first exposure time and the second image is recorded with a second exposure time. The first exposure time differs from the second exposure time. For example, the first exposure time may be longer than the second exposure time. The camera includes an image sensor that can be used to take pictures. At least one pixel is now selected in the first image. It can also be provided that a plurality of pixels are selected in the first image. It is also possible to check all the pixels in the first image or at least some of the pixels in the first image for their brightness. Thus, the first brightness value can be determined, which describes the brightness of the at least one pixel. In the second image, a second brightness value, which describes the brightness of this at least one pixel, is also determined by exactly the at least one pixel. Subsequently, the difference between the first brightness value and the second brightness value can then be determined. For determining the brightness values, in particular the luminance of the at least one pixel can be determined.

Auf Grundlage des Unterschieds kann dann erkannt werden, ob sich eine Verschmutzung an der Linse der Kamera befindet. Dem liegt die Erkenntnis zugrunde, dass sich bei einem nicht verschmutzten Zustand der Linse immer Unterschiede in den Helligkeitswerten bei unterschiedlichen Belichtungsdauer ergeben. Dies ist dadurch begründet, dass das Licht aus der Umgebung auf den Bildsensor fällt. In Abhängigkeit von der Belichtungsdauer ergeben sich dann unterschiedliche Helligkeitswert. Falls aber auf der Linse die Verschmutzung vorhanden ist, wird der Bildsensor zumindest bereichsweise durch die Verschmutzung vor dem Licht aus der Umgebung abgeschatteten. Die Verschmutzung verhindert also, das Licht aus der Umgebung auf den Bildsensor trifft. In diesem Fall ergeben sich für die Pixel, die der Verschmutzung zugeordnet sind, keine Unterschiede oder nur sehr geringe bezüglich der Helligkeitswerte. Dies ermöglicht es, auf einfache und zuverlässige Weise eine Verschmutzung auf der Linse der Kamera zu erkennen. Based on the difference, it can then be detected whether there is contamination on the lens of the camera. This is based on the knowledge that, when the lens is not soiled, there are always differences in the brightness values at different exposure times. This is due to the fact that the light from the environment falls on the image sensor. Depending on the exposure time then result in different brightness value. But if the contamination is present on the lens, the image sensor is at least partially shaded by the pollution from the light from the environment. Pollution thus prevents the light from the environment from hitting the image sensor. In this case, there are no differences or only very small brightness values for the pixels associated with the contamination. This makes it possible to easily and reliably detect contamination on the lens of the camera.

Bevorzugt wird der Unterschied zwischen dem ersten Helligkeitswert und dem zweiten Helligkeitswert mit einem vorbestimmten Schwellenwert verglichen und falls der Unterschied den Schwellenwert unterschreitet, wird ein dem zumindest einen Bildpunkt zugeordneter Bereich der Linse als mit der Verschmutzung bedeckt erkannt. Nachdem der Unterschied zwischen dem ersten Helligkeitswert und dem zweiten Helligkeitswert bestimmt wurde, kann der Unterschied mit dem bestimmten Schwellenwert verglichen werden. Wenn der Unterschied den Schwellenwert unterschreitet, liegen keine oder nur geringfügige Unterschiede zwischen den Helligkeitswerten vor. Dies ist üblicherweise dadurch begründet, dass der zumindest eine Bildpunkt, von dem die Helligkeitswerte bestimmt werden, durch eine Verschmutzung abgeschattet ist. Wenn der Unterschied zwischen den Helligkeitswerten aber den Schwellenwert überschreitet, kann davon ausgegangen werden, dass die Linse frei von Verschmutzungen ist. Somit kann auf einfache und zuverlässige Weise durch den Vergleich des Unterschieds mit dem Schwellwert verschmutzten Zustand der Linse erkannt werden. Preferably, the difference between the first brightness value and the second brightness value is compared with a predetermined threshold value, and if the difference falls below the threshold value, an area of the lens associated with the at least one pixel is recognized as being covered with the contamination. After determining the difference between the first brightness value and the second brightness value, the difference can be compared with the determined threshold. If the difference is below the threshold, there are no or only slight differences between the brightness values. This is usually due to the fact that the at least one pixel, from which the brightness values are determined, is shaded by contamination. However, if the difference between the brightness values exceeds the threshold, it can be considered that the lens is free from soiling. Thus, in a simple and reliable manner, by comparing the difference with the threshold, soiled state of the lens can be detected.

Dabei ist es insbesondere vorgesehen, dass der Schwellenwert in Abhängigkeit von einer Helligkeit in einer Umgebung der Kamera bestimmt wird. Es können also die Lichtverhältnisse in der Umgebung des Kraftfahrzeugs bzw. der Kamera herangezogen werden, um den Schwellenwert zu bestimmen. Dabei wird berücksichtigt, dass der zumindest eine Bildpunkt bei Sonnenschein oder am Tag anders belichtet wird als bei dunklen Umgebungsbedingungen oder in der Nacht. Somit kann der Schwellenwert in Abhängigkeit von den Umgebungsbedingungen angepasst werden und damit der verschmutzte Zustand der Linse präzise bestimmt werden. In this case, it is provided in particular that the threshold value is determined as a function of a brightness in an environment of the camera. It is therefore possible to use the light conditions in the surroundings of the motor vehicle or the camera in order to determine the threshold value. It is taken into account that the at least one pixel is exposed differently in sunshine or during the day than in dark ambient conditions or at night. Thus, the threshold can be adjusted depending on the environmental conditions and thus the soiled state of the lens can be precisely determined.

In einer Ausführungsform wird die Helligkeit in der Umgebung der Kamera in Abhängigkeit von einer Helligkeit von Bildpunkten zumindest eines Bilds, welches vor dem ersten Bild und/oder dem zweiten Bild aufgenommen wurde, bestimmt. Beispielsweise kann die Kamera in einen entsprechenden Überprüfungsmodus überführt werden, während dem überprüft wird, ob die Verschmutzung auf der Linse vorhanden ist. In diesem Überprüfungsmodus können fortlaufend das erste Bild und das zweite Bild in zeitlich aufeinanderfolgenden Zyklen bestimmt werden. Auf Grundlage der jeweiligen Helligkeitswerte der Bildpunkte von den aufgenommenen Bildern kann dann die Helligkeit in der Umgebung bestimmt werden. Auf Grundlage der Helligkeit bzw. eines Durchschnittswerts für die Helligkeit der Bildpunkte kann dann der Schwellwert für die nachfolgend aufgenommenen ersten und zweiten Bilder bestimmt werden. Dies ermöglicht eine präzise Bestimmung des Schwellenwerts. In one embodiment, the brightness in the surroundings of the camera is determined as a function of a brightness of pixels of at least one image which was recorded before the first image and / or the second image. For example, the camera may be transitioned to an appropriate verification mode while checking for contamination on the lens. In this verification mode, the first image and the second image can be consecutively determined in chronological successive cycles. Based on the respective brightness values of the pixels of the recorded images, the brightness in the environment can then be determined. On the basis of the brightness or an average value for the brightness of the pixels, the threshold value for the subsequently recorded first and second images can then be determined. This allows a precise determination of the threshold.

Zudem ist es vorteilhaft, wenn die Helligkeit in der Umgebung der Kamera als hell, dunkel oder normal klassifiziert wird. Wie bereits erläutert, kann auf Grundlage von zuvor aufgenommenen Bildern die Helligkeit bzw. die durchschnittliche Helligkeit in der Umgebung der Kamera bestimmt werden. Auf Grundlage der Helligkeitswerte bzw. der durchschnittlichen Helligkeitswerte kann eine Klassifizierung der Umgebungshelligkeit erfolgen. Beispielsweise können die Umgebungsbedingungen als hell, dunkel oder als normal klassifiziert werden. Eine helle Szene beschreibt dabei das Vorhandensein von Tageslicht bzw. Sonnenlicht in der Umgebung des Kraftfahrzeugs. Eine normale Szene beschreibt, Tageslicht mit keiner direkten Einstrahlung von Sonnenlicht auf die Kamera. Eine dunkle Szene beschreibt beispielsweise keinen direkten Lichteinfall auf die Kamera in der Nacht. Jeder dieser Klassen kann dann beispielsweise ein Schwellenwert zugeordnet werden. Dies ermöglicht eine einfache und zuverlässige Bestimmung des Schwellenwerts. In addition, it is advantageous if the brightness in the environment of the camera is classified as bright, dark or normal. As already explained, on the basis of previously recorded images, the brightness or the average brightness in the surroundings of the camera can be determined. Based on the brightness values or the average brightness values, it is possible to classify the ambient brightness. For example, the environmental conditions may be classified as light, dark or normal. A bright scene describes the presence of daylight or sunlight in the surroundings of the motor vehicle. A normal scene describes daylight with no direct sunlight exposure to the camera. For example, a dark scene does not describe direct light on the camera at night. Each of these classes can then be assigned a threshold, for example. This allows a simple and reliable determination of the threshold.

Weiterhin ist es vorteilhaft, wenn zum Erkennen der Verschmutzung überprüft wird, ob der zumindest eine Bildpunkt eine Sättigung bezüglich der Helligkeit erreicht. Beispielsweise kann überprüft werden, ob der zumindest eine Bildpunkt in dem ersten Bild und/oder in dem zweiten Bild eine Sättigung bezüglich der Helligkeit erreicht. Insbesondere wenn die Helligkeit in der Umgebung der Kamera hoch ist, ergibt sich beispielsweise bei einer langen Belichtungszeit eine Sättigung des zumindest einen Bildpunkts. Falls aber die Verschmutzung in dem Bereich des zumindest einen Bildpunkts vorhanden ist, wird die Sättigung bezüglich der Helligkeit nicht erreicht. Mit weiteren überprüft werden, ob die Verschmutzung im Bereich des zumindest einen Bildpunkts vorhanden ist oder nicht. Furthermore, it is advantageous if it is checked to detect the contamination, whether the at least one pixel reaches a saturation with respect to the brightness. For example, it can be checked whether the at least one pixel in the first image and / or in the second image reaches saturation with respect to the brightness. In particular, if the brightness in the surroundings of the camera is high, saturation of the at least one pixel results, for example, in the case of a long exposure time. However, if the contamination is present in the region of the at least one pixel, the saturation with respect to the brightness is not achieved. With further check whether the pollution in the area of at least one pixel is present or not.

Gemäß einer weiteren Ausgestaltung wird ein drittes Bild mit einer dritten Belichtungsdauer aufgenommen, ein dritter Helligkeitswert, welcher die Helligkeit des zumindest einen Bildpunkts in dem dritten Bild beschreibt, wird bestimmt und die Verschmutzung wird anhand eines Unterschieds zwischen dem ersten, dem zweiten und/oder dem dritten Helligkeitswert bestimmt wird. Die erste Belichtungsdauer kann beispielsweise eine lange Belichtungsdauer sein. Die zweite Belichtungsdauer kann eine kurze Belichtungsdauer sein. Die dritte Belichtungsdauer kann beispielsweise eine sehr kurze Belichtungsdauer sein. Die Verschmutzung kann nun anhand der Unterschiede zwischen dem ersten, dem zweiten und/oder dem dritten Helligkeitswert bestimmt werden. Dabei sind beliebige Kombinationen der Helligkeitswerte zum Bestimmen des Unterschieds denkbar. Welche Helligkeitswerte zur Bestimmung des Unterschieds herangezogen werden, kann auch in Abhängigkeit von der Helligkeit der Umgebung bestimmt werden. Dies ermöglicht eine zuverlässige Erkennung des verschmutzten Zustands der Linse. According to a further embodiment, a third image is recorded with a third exposure duration, a third brightness value, which describes the brightness of the at least one pixel in the third image, is determined, and the contamination is determined by a difference between the first, the second, and / or the second third brightness value is determined. The first exposure time may be, for example, a long exposure time. The second exposure time may be a short exposure time. The third exposure time may be, for example, a very short exposure time. The contamination can now be determined based on the differences between the first, the second and / or the third brightness value. Any combination of brightness values for determining the difference is conceivable. Which brightness values are used to determine the difference can also be determined as a function of the brightness of the environment. This allows reliable detection of the soiled state of the lens.

Bevorzugt werden das erste Bild, das zweite Bild und das dritte Bild zum Bereitstellen eines Hochkontrastbilds Bilds aufgenommen. Ein solches Hochkontrastbild, das auch als Bild mit hohem Dynamikumfang bezeichnet wird (HDR – High Dynamic Range), kann dadurch bereitgestellt werden, dass eine Belichtungsreihe aufgenommen wird. Diese Belichtungsreihe wird durch das erste, das zweite und das dritte Bild bereitgestellt. Aus dem ersten, dem zweiten und dem dritten Bild kann dann ein Hochkontrastbild bestimmt werden. Vorliegend werden das erste das zweite und/oder das dritte Bild dazu genutzt, die Verschmutzung an der Linse der Kamera zu erkennen. Preferably, the first image, the second image, and the third image are captured to provide a high-contrast image. Such a high-contrast image, which is also referred to as a high-dynamic-range image (HDR), can be provided by taking an exposure series. This exposure series is provided by the first, second and third images. From the first, the second and the third image can then be determined a high-contrast image. In the present case, the first, the second and / or the third image are used to detect the contamination on the lens of the camera.

Bevorzugt wird als die Verschmutzung eine nicht transparente Verschmutzung auf der Linse erkannt. Eine solche Verschmutzung ist also für Licht undurchlässig. Derartige nicht transparente Verschmutzungen können auf zuverlässige Weise anhand des Vergleichs der Helligkeitswerte erkannt werden. Grundsätzlich kann es auch vorgesehen sein, dass mithilfe des Verfahrens semi-transparente Verschmutzung bzw. Verschmutzungen, welche teilweise lichtdurchlässig sind, erkannt werden. Zu diesem Zweck können beispielsweise mehrere erste, zweite und/oder dritte Bilder aufgenommen werden und die jeweiligen Unterschiede der Helligkeitswerte bestimmt werden. Preferably, a non-transparent contamination on the lens is detected as the contamination. Such pollution is therefore impermeable to light. Such non-transparent contaminants can be reliably detected by comparing the brightness values. In principle, it can also be provided that with the aid of the method, semi-transparent contamination or soiling, which are partly translucent, are detected. For this purpose, for example, a plurality of first, second and / or third images can be recorded and the respective differences in the brightness values can be determined.

Weiterhin ist es vorteilhaft, wenn die Bilder in einem Rohdatenformat aufgenommen werden. Das erste Bild, das zweite Bild und/oder das dritte Bild kann also jeweils in einem Rohdatenformat aufgenommen werden. Somit kann garantiert werden, dass die jeweiligen Bildinformationen für die Bildpunkte unverfälscht vorhanden sind. Somit können die Helligkeitswerte bzw. die Luminanz-Werte für die jeweiligen Bildpunkte zuverlässig bestimmt werden. Furthermore, it is advantageous if the images are recorded in a raw data format. The first image, the second image and / or the third image can thus each be recorded in a raw data format. Thus, it can be guaranteed that the respective image information for the pixels are unadulterated. Thus, the brightness values and the luminance values for the respective pixels can be reliably determined.

Eine erfindungsgemäße Kamera für ein Kraftfahrzeug ist zum Durchführen eines erfindungsgemäßen Verfahrens und der vorteilhaften Ausgestaltung davon ausgelegt. Die Kamera kann eine Kraftfahrzeug-Befestigungseinrichtung zur Befestigung der Kamera an dem Kraftfahrzeug aufweisen. Kamera kann Teil eines Kamerasystems oder eines Fahrerassistenzsystem sein, welches eine Mehrzahl von Kameras umfasst. Dabei kann die Kamera beispielsweise in einem Frontbereich, einem Heckbereich oder einem Seitenbereich, insbesondere einen Bereich der Seitenspiegel, des Kraftfahrzeugs angeordnet werden. Die Kamera ist insbesondere als sogenannte Satellitenkamera ausgebildet. Dies bedeutet, dass sie für den Einbau an unterschiedlichen Positionen des Kraftfahrzeugs ausgelegt ist. A camera according to the invention for a motor vehicle is designed for carrying out a method according to the invention and the advantageous embodiment thereof. The camera may have a motor vehicle fastening device for fastening the camera to the motor vehicle. Camera may be part of a camera system or a driver assistance system, which includes a plurality of cameras. In this case, the camera can be arranged, for example, in a front area, a rear area or a side area, in particular an area of the side mirrors, of the motor vehicle. The camera is designed in particular as a so-called satellite camera. This means that it is designed for installation at different positions of the motor vehicle.

Ein erfindungsgemäßes Kraftfahrzeug umfasst zumindest eine erfindungsgemäße Kamera. Das Kraftfahrzeug ist insbesondere als Personenkraftwagen ausgebildet. A motor vehicle according to the invention comprises at least one camera according to the invention. The motor vehicle is designed in particular as a passenger car.

Die mit Bezug auf das erfindungsgemäße Verfahren vorgestellten bevorzugten Ausführungsformen und deren Vorteile gelten entsprechend für die erfindungsgemäße Kamera sowie das erfindungsgemäße Kraftfahrzeug. The preferred embodiments presented with reference to the method according to the invention and their advantages apply correspondingly to the camera according to the invention and to the motor vehicle according to the invention.

Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen, sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen, insbesondere durch die oben dargelegten Ausführungen, als offenbart anzusehen, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder abweichen. Further features of the invention will become apparent from the claims, the figures and the description of the figures. The features and feature combinations mentioned above in the description, as well as the features and combinations of features mentioned below in the description of the figures and / or shown alone in the figures, can be used not only in the respectively specified combination but also in other combinations or in isolation, without the frame of the To leave invention. Thus, embodiments of the invention are to be regarded as encompassed and disclosed, which are not explicitly shown and explained in the figures, however, emerge and can be produced by separated combinations of features from the embodiments explained. Embodiments and combinations of features are also to be regarded as disclosed, which thus do not have all the features of an originally formulated independent claim. Moreover, embodiments and combinations of features, in particular by the embodiments set out above, are to be regarded as disclosed, which go beyond or deviate from the combinations of features set out in the back references of the claims.

Die Erfindung wird nun anhand von bevorzugten Ausführungsbeispielen sowie unter Bezugnahme auf die beigefügten Zeichnungen näher erläutert. The invention will now be described with reference to preferred embodiments and with reference to the accompanying drawings.

Dabei zeigen: Showing:

1 ein Kraftfahrzeug gemäß einer Ausführungsform der Erfindung, welches eine Mehrzahl von Kameras aufweist; 1 a motor vehicle according to an embodiment of the invention, which has a plurality of cameras;

2 eine Kamera gemäß einer Ausführungsform der Erfindung in einer Perspektivansicht, wobei sich eine Verschmutzung an einer Linse der Kamera befindet; 2 a camera according to an embodiment of the invention in a perspective view, wherein a contamination is on a lens of the camera;

3 einen Zustand eines Bildpunkts für unterschiedliche Belichtungszeiten für den Fall, dass keine Verschmutzung an der Linse vorhanden ist; 3 a state of a pixel for different exposure times in the event that there is no contamination on the lens;

4 den Zustand des Bildpunktes für unterschiedliche Belichtungszeiten für den Fall, dass eine Verschmutzung an der Linse vorhanden ist; und 4 the state of the pixel for different exposure times in the event that contamination is present on the lens; and

5 ein schematisches Ablaufdiagramm eines Verfahrens zum Erkennen der Verschmutzung an der Linse. 5 a schematic flow diagram of a method for detecting the contamination on the lens.

In den Figuren werden gleiche und funktionsgleiche Elemente mit den gleichen Bezugszeichen versehen. In the figures, identical and functionally identical elements are provided with the same reference numerals.

1 zeigt ein Kraftfahrzeug 1 gemäß einer Ausführungsform der vorliegenden Erfindung in einer Draufsicht. Das Kraftfahrzeug 1 ist vorliegend als Personenkraftwagen ausgebildet. Das Kraftfahrzeug 1 umfasst ein Kamerasystem 2, welches ein elektronisches Steuergerät 3 umfasst. Darüber hinaus umfasst das Kamerasystem 2 eine Mehrzahl von Kameras 4. In dem vorliegenden Ausführungsbeispiel umfasst das Kamerasystem 2 vier Kameras 4. Dabei ist eine Kamera 4 in einem Frontbereich 7 des Kraftfahrzeugs 1, eine Kamera 4 in einem Heckbereich 5 des Kraftfahrzeugs 1 und zwei Kameras 4 in jeweiligen Seitenbereichen 6 des Kraftfahrzeugs 1 angeordnet. Die Anzahl und Anordnung der Kameras 4 an dem Kraftfahrzeug 1 ist rein beispielhaft zu verstehen. 1 shows a motor vehicle 1 according to an embodiment of the present invention in a plan view. The car 1 is designed here as a passenger car. The car 1 includes a camera system 2 which is an electronic control unit 3 includes. In addition, the camera system includes 2 a plurality of cameras 4 , In the present embodiment, the camera system includes 2 four cameras 4 , There is a camera 4 in a front area 7 of the motor vehicle 1 , a camera 4 in a rear area 5 of the motor vehicle 1 and two cameras 4 in respective page areas 6 of the motor vehicle 1 arranged. The number and arrangement of the cameras 4 on the motor vehicle 1 is purely exemplary to understand.

Mit den Kameras 4 können Bilder bereitgestellt werden, welche die Umgebung 8 des Kraftfahrzeugs 1 bzw. der Kameras 4 beschreiben. Die Kameras 4 sind mit dem elektronischen Steuergerät 3 zur Datenübertragung verbunden. Entsprechende Datenleitungen sind vorliegend der Übersichtlichkeit halber nicht dargestellt. Mithilfe des Steuergeräts 3 können die Bilder, die mit den Kameras 4 bereitgestellt werden, ausgewertet werden. With the cameras 4 images can be provided which the environment 8th of the motor vehicle 1 or the cameras 4 describe. The cameras 4 are with the electronic control unit 3 connected to the data transmission. Corresponding data lines are not shown here for the sake of clarity. Using the controller 3 can take the pictures with the cameras 4 be evaluated.

2 zeigt eine Kamera 4 in einer Perspektivansicht. Die Kamera 4 ist als sogenannte Satellitenkamera ausgebildet. Dies bedeutet, dass sie an den jeweiligen Positionen, die in 1 gezeigt sind, an dem Kraftfahrzeug 1 angeordnet werden kann. Die Kamera 4 umfasst ein Gehäuse 9 welches beispielsweise aus Aluminium gebildet sein kann. Das Gehäuse 9 ist vorliegend zweiteilig ausgebildet. In dem Gehäuse 9 ist ein Bildsensor der Kamera 4 angeordnet. Darüber hinaus umfasst die Kamera 4 eine Linse 10. Die Linse 10 kann mehrere Einzellinsen umfassen und dient dazu, Licht aus der Umgebung 8 der Kamera 4 bzw. des Kraftfahrzeugs 1 auf den Bildsensor abzubilden. Vorliegend befindet sich auf der Linse 10 eine Verschmutzung 11. Diese Verschmutzung 11 kann durch Staub oder Schmutzpartikel gebildet sein, welches sich an einer Außenseite 12 der Linse 10 absetzen. Diese Verschmutzung 11 soll nun erkannt werden. 2 shows a camera 4 in a perspective view. The camera 4 is designed as a so-called satellite camera. This means that they are at the respective positions in 1 are shown on the motor vehicle 1 can be arranged. The camera 4 includes a housing 9 which may be formed, for example, of aluminum. The housing 9 is in this case formed in two parts. In the case 9 is an image sensor of the camera 4 arranged. In addition, the camera includes 4 a lens 10 , The Lens 10 can include multiple individual lenses and serves to light the environment 8th the camera 4 or of the motor vehicle 1 to image on the image sensor. This is located on the lens 10 a pollution 11 , This pollution 11 may be formed by dust or dirt particles, which are on an outside 12 the lens 10 drop. This pollution 11 should now be recognized.

Zum Erkennen der Verschmutzung 11 können mit der Kamera 4 zumindest zwei Bilder aufgenommen werden, welche sich bezüglich ihrer Belichtungsdauer te unterscheiden. Bevorzugt werden erstes Bild, ein zweites Bild und ein drittes Bild mit unterschiedlichen Belichtungsdauern te aufgenommen. Eine solche Belichtungsreihe kann üblicherweise zum Bereitstellen eines größeren Dynamikbereiches der Leuchtkraft (Helligkeit) bereitgestellt werden. Beispielsweise kann das erste Bild mit einer ersten Belichtungsdauer t1 bzw. einer langen Belichtungsdauer te, das zweite Bild kann mit einer zweiten Belichtungsdauer t2 bzw. einer kurzen Belichtungsdauer te und das dritte Bild kann mit einer dritten Belichtungsdauer t3 bzw. einer sehr kurzen Belichtungsdauer te aufgenommen werden. Für jedes der Bilder kann dann ein Helligkeitswert zumindest eines Bildpunkts bestimmt werden. Von dem ersten Bild kann ein erster Helligkeitswert bestimmt werden, von dem zweiten Bild kann ein zweiter Helligkeitswert und von dem dritten Bild kann ein dritter Helligkeitswert bestimmt werden. Diese Helligkeitswerte beschreibt insbesondere die Luminanz des Bildpunktes. Anhand des Unterschieds zwischen den Helligkeitswerten kann dann die Verschmutzung 11 auf der Linse 10 erkannt werden. To detect the pollution 11 can with the camera 4 at least two images are taken, which differ in terms of their exposure time te. Preferably, the first image, a second image and a third image with different exposure durations te are recorded. Such an exposure series can usually be provided to provide a greater dynamic range of luminance (brightness). For example, the first image may have a first exposure time t1 or a long exposure time te, the second image may have a second exposure time t2 or a short exposure time te and the third image may have a third exposure time t3 or a very short exposure time te become. For each of the images, a brightness value of at least one pixel can then be determined. From the first image a first brightness value can be determined, from the second image a second brightness value can be determined and from the third image a third brightness value can be determined. In particular, these brightness values describe the luminance of the pixel. Based on the difference between the brightness values then the pollution 11 on the lens 10 be recognized.

3 zeigt einen Zustand S des zumindest einen Bildpunkts in Abhängigkeit von der Belichtungsdauer te. Es sind zudem eine jeweilige Sättigung 13 für die erste Belichtungsdauer t1, die zweite Belichtungsdauer t2 und die dritte Belichtungsdauer t3 dargestellt. Vorliegend ist der Fall dargestellt, dass sie keine Verschmutzung 11 an der Linse 10 befindet. Im Vergleich hierzu zeigt 4 das Beispiel, bei welcher sich eine semi-transparente Verschmutzung 11 an der Linse 10 befindet. Dabei ist der Zustand S des zumindest einen Bildpunkts dargestellt, welcher der Verschmutzung 11 zugeordnet ist. Hierbei ist zu erkennen, dass sich insgesamt längere Belichtungsdauern te ergeben, bis die Sättigung 13 erreicht wird. Dies ist dadurch begründet, dass die semi-transparente Verschmutzung 11 zumindest teilweise undurchlässig für das Licht ist, welches von der Umgebung 8 auf den Bildsensor trifft. 3 shows a state S of the at least one pixel as a function of the exposure time te. There is also a respective saturation 13 for the first exposure time t1, the second exposure time t2 and the third exposure time t3. In the present case the case is shown that there is no pollution 11 at the lens 10 located. In comparison shows 4 the example in which a semi-transparent pollution 11 at the lens 10 located. In this case, the state S of the at least one pixel is shown, which is the pollution 11 assigned. It can be seen that overall longer exposure durations te result until the saturation 13 is reached. This is due to the fact that the semi-transparent pollution 11 at least partially impermeable to the light emitted by the environment 8th meets the image sensor.

Dabei kann es ferner vorgesehen sein, dass eine Helligkeit in der Umgebung 8 der Kamera 4 bestimmt wird. Die Helligkeit in der Umgebung 8 kann auf Grundlage der jeweiligen Helligkeiten oder einer durchschnittlichen Helligkeit der Bildpunkte von Bildern bestimmt werden, die zu vorhergehenden Zeitpunkten bestimmt wurden. Somit kann beispielsweise unterschieden werden, ob es sich in der Umgebung 8 um eine dunkle Szene, eine helle Szene oder eine normale Szene handelt. In Abhängigkeit davon können dann die Unterschiede zwischen den Helligkeitswert und für die jeweiligen Bilder bestimmt werden. It may also be provided that a brightness in the environment 8th the camera 4 is determined. The brightness in the environment 8th can be determined based on the respective brightnesses or average brightness of the pixels of images determined at previous times. Thus, for example, it can be distinguished whether it is in the environment 8th is a dark scene, a light scene or a normal scene. Depending on this, the differences between the brightness value and for the respective images can be determined.

Wenn beispielsweise eine dunkle Szene, beispielsweise in der Nacht, vorliegt, kann der Unterschied zwischen dem ersten Helligkeitswert des ersten Bildes und dem dritten Helligkeitswert des dritten Bildes bestimmt werden. Es kann also der Unterschied der Helligkeitswerte für die lange und die sehr kurze Belichtungsdauer te bestimmt werden. Falls keine Verschmutzung 11 an der Linse 10 vorhanden ist, ergibt sich ein Unterschied zwischen den Helligkeitswerten. Falls die Verschmutzung 11 an der Linse 10 vorhanden ist, ergibt sich kein Unterschied zwischen den Helligkeitswerten. Dies ist dadurch begründet, dass die Verschmutzung 11 den Lichteinfall auf den Bildsensor abschirmt. Bei einer hellen Szene kann der Unterschied zwischen der langen Belichtungszeitdauer und kurzen Belichtungsdauer untersucht werden. Es kann also der erste Helligkeitswert mit dem zweiten Helligkeitswert verglichen werden. Falls keine Verschmutzung 11 an der Linse 10 vorhanden ist, ergibt sich insbesondere für die lange Belichtungsdauer bzw. die erste Belichtungsdauer eine Sättigung 13. Falls die Verschmutzung 11 an der Linse 10 vorhanden ist, wird diese Sättigung 13 nicht erreicht. Bei einer normalen Szene kann auch der Unterschied zwischen dem ersten und dem zweiten Helligkeitswert betrachtet werden. Falls keine Verschmutzung 11 an der Linse 10 vorhanden ist, ergibt sich ein Unterschied zwischen den Helligkeitswerten. Falls aber die Verschmutzung 11 vorhandenes, kann kein oder nur ein sehr geringer Unterschied zwischen den Helligkeitswerten festgestellt werden. For example, if there is a dark scene, for example, at night, the difference between the first brightness value of the first image and the third brightness value of the third image may be determined. Thus, the difference of the brightness values for the long and the very short exposure time te can be determined. If no pollution 11 at the lens 10 is present, there is a difference between the brightness values. If the pollution 11 at the lens 10 is present, there is no difference between the brightness values. This is due to the fact that pollution 11 shields the incident light on the image sensor. In a bright scene, the difference between the long exposure time and the short exposure time can be examined. It is therefore possible to compare the first brightness value with the second brightness value. If no pollution 11 at the lens 10 is present results in particular for the long exposure time or the first exposure time saturation 13 , If the pollution 11 at the lens 10 is present, this saturation 13 not reached. In a normal scene, the difference between the first and second brightness values can also be considered. If no pollution 11 at the lens 10 is present, there is a difference between the brightness values. But if the pollution 11 If present, no or only a very small difference between the brightness values can be determined.

5 zeigt ein schematisches Ablaufdiagramm eines Verfahrens zum Erkennen der Verschmutzung 11 an der Linse 10. Dabei wird in einem Schritt S1 das erste Bild der ersten Belichtungsdauer t1 bereitgestellt. Zudem wird der erste Helligkeitswert bestimmt. In einem Schritt S2 wird dann das zweite Bild mit der zweiten Belichtungsdauer t2 bereitgestellt. Ferner wird der zweite Helligkeitswert bestimmt. In einem Schritt S3 wird der Unterschied zwischen dem ersten Helligkeitswert des ersten Bilds und dem zweiten Helligkeitswert des zweiten Bilds bestimmt. Dieser Unterschied wird dann mit einem Schwellenwert verglichen. Der Schwellenwert wird in Abhängigkeit von Helligkeitswerten von zuvor aufgenommenen Bildern bestimmt. Hierzu wird in einem Schritt S4 der Helligkeitswert eines zuvor aufgenommenes Bild bestimmt. Ferner wird in einem Schritt S5 der durchschnittliche Helligkeitswert für das zuvor aufgenommene Bild bestimmt. Auf Grundlage des Vergleichs des Unterschieds der Helligkeitswerte mit dem Schwellenwert kann dann in einem Schritt S6 eine Entscheidung getroffen werden, ob die Verschmutzung 11 an der Linse 10 vorhanden ist oder nicht. 5 shows a schematic flow diagram of a method for detecting the contamination 11 at the lens 10 , In this case, the first image of the first exposure period t1 is provided in a step S1. In addition, the first brightness value is determined. In a step S2, the second image is then provided with the second exposure time t2. Furthermore, the second brightness value is determined. In a step S3, the difference between the first brightness value of the first image and the second brightness value of the second image is determined. This difference is then compared to a threshold. The threshold value is determined as a function of brightness values of previously recorded images. For this purpose, the brightness value of a previously recorded image is determined in a step S4. Further, in step S5, the average brightness value for the previously acquired image is determined. On the basis of the comparison of the difference of the brightness values with the threshold value, a decision can then be made in a step S6 as to whether the contamination 11 at the lens 10 exists or not.

Claims

Method for detecting pollution ( 11 ) on a lens ( 10 ) of a camera ( 4 ) of a motor vehicle ( 1 comprising the steps: - taking a first image with a first exposure duration (t1), - determining a first brightness value which describes a brightness of at least one pixel in the first image (S1), - taking a second image with a first exposure time ( t1) different, second exposure duration (t2), - determining a second brightness value which describes the brightness of the at least one pixel in the second image (S2), and - detecting the contamination ( 11 ) based on a difference between the first brightness value and the second brightness value.

Method according to Claim 1, characterized in that the difference between the first brightness value and the second brightness value is compared with a specific threshold value (S3) and, if the difference falls below the threshold value, an area of the lens associated with the at least one pixel (FIG. 10 ) than with pollution ( 11 ) is detected covered (S6).

Method according to Claim 2, characterized in that the threshold value depends on a brightness in an environment ( 8th ) the camera ( 4 ) is determined.

A method according to claim 3, characterized in that the brightness (in the vicinity 8th ) the camera ( 4 ) is determined as a function of a brightness of pixels of at least one image which was recorded before the first image and / or second image.

Method according to claim 3 or 4, characterized in that the brightness in the environment ( 8th ) the camera ( 4 ) is classified as light, dark or normal.

Method according to one of the preceding claims, characterized in that for detecting the pollution ( 11 ) is checked whether the at least one pixel saturates ( 13 ) with regard to the brightness.

Method according to one of the preceding claims, characterized in that a third image is recorded with a third exposure duration (t2), a third brightness value which describes the brightness of the at least one pixel in the third image is determined, and the contamination ( 11 ) is determined based on a difference between the first, the second and / or the third brightness value.

A method according to claim 7, characterized in that the first image, the second image and the third image are taken to provide a high-contrast image.

Method according to one of the preceding claims, characterized in that as the pollution ( 11 ) a non-transparent contamination on the lens ( 10 ) is recognized.

Method according to one of the preceding claims, characterized in that the images are recorded in a raw data format.

Camera ( 4 ) for a motor vehicle ( 1 ), which is designed to carry out a method according to one of the preceding claims.

Motor vehicle ( 1 ) with at least one camera ( 4 ) according to claim 11.