DE102015112682A1

DE102015112682A1 - Method for operating a camera system with a plenoptic camera, camera system and motor vehicle

Info

Publication number: DE102015112682A1
Application number: DE102015112682.6A
Authority: DE
Inventors: Patrick Eoghan Denny; Brian Michael Thomas Deegan
Original assignee: Connaught Electronics Ltd
Current assignee: Connaught Electronics Ltd
Priority date: 2015-08-03
Filing date: 2015-08-03
Publication date: 2017-02-09
Also published as: WO2017021417A1

Abstract

Die Erfindung betrifft ein Verfahren zum Betreiben eines Kamerasystems (2) für ein Kraftfahrzeug (1), bei welchem vor zumindest einem Bildsensor (9) einer plenoptischen Kamera (3) des Kamerasystems (2) eine Mikrolinsenanordnung angeordnet wird, und ein Bild (15) von einem Umgebungsbereich (4) des Kraftfahrzeugs (1) mittels der plenoptischen Kamera (3) aufgenommen wird, wobei anhand von zumindest einer Eigenschaft eines Bildbereichs (16) zumindest des Bilds (15) eine Ablagerung (25) von Partikeln auf einem optischen System (10) der plenoptischen Kamera (3) erkannt wird.The invention relates to a method for operating a camera system (2) for a motor vehicle (1), in which a microlens arrangement is arranged in front of at least one image sensor (9) of a plenoptic camera (3) of the camera system (2), and an image (15). from a surrounding area (4) of the motor vehicle (1) is recorded by means of the plenoptic camera (3), wherein on the basis of at least one property of an image area (16) of at least the image (15) a deposit (25) of particles on an optical system ( 10) of the plenoptic camera (3) is detected.

Description

Die Erfindung betrifft ein Verfahren zum Betreiben eines Kamerasystems für ein Kraftfahrzeug. Es wird vor zumindest einem Bildsensor einer plenoptischen Kamera des Kamerasystems eine Mikrolinsenanordnung angeordnet. Weiterhin wird ein Bild von einem Umgebungsbereich des Kraftfahrzeugs mittels der plenoptischen Kamera aufgenommen. Die Erfindung betrifft auch ein Kamerasystem für ein Kraftfahrzeug, wie auch ein Kraftfahrzeug mit einem Kamerasystem. The invention relates to a method for operating a camera system for a motor vehicle. A microlens arrangement is arranged in front of at least one image sensor of a plenoptic camera of the camera system. Furthermore, an image is taken of a surrounding area of the motor vehicle by means of the plenoptic camera. The invention also relates to a camera system for a motor vehicle, as well as a motor vehicle with a camera system.

Verfahren zum Betreiben eines Kamerasystems mit einer plenoptischen Kamera für ein Kraftfahrzeug sind aus dem Stand der Technik bekannt. So wird in der DE 10 2012 105 436 A1 ein Kamerasystem offenbart, welches eine Mikrolinsenanordnung umfasst, welche derart ausgebildet und im Strahlengang einer elektromagnetischen Strahlung angeordnet ist, dass das Kamerasystem als Lichtfeldkamera ausgebildet ist. Methods for operating a camera system with a plenoptic camera for a motor vehicle are known from the prior art. So will in the DE 10 2012 105 436 A1 discloses a camera system comprising a microlens array, which is designed and arranged in the beam path of an electromagnetic radiation such that the camera system is designed as a light field camera.

Es ist Aufgabe der Erfindung, ein Verfahren, ein Kamerasystem sowie ein Kraftfahrzeug bereitzustellen, mit welchem beziehungsweise bei welchem ein Kamerasystem mit einer plenoptischen Kamera für ein Kraftfahrzeug unter vielfältigen Umwelteinwirkungen robuster betrieben werden kann. It is the object of the invention to provide a method, a camera system and a motor vehicle, with which or in which a camera system with a plenoptic camera for a motor vehicle can be operated more robustly under a variety of environmental influences.

Diese Aufgabe wird erfindungsgemäß durch ein Verfahren, durch ein Kamerasystem sowie durch ein Kraftfahrzeug mit den Merkmalen gemäß den jeweiligen unabhängigen Ansprüchen gelöst. This object is achieved by a method by a camera system and by a motor vehicle with the features according to the respective independent claims.

Bei einem erfindungsgemäßen Verfahren wird eine Kamera eines Kraftfahrzeugs betrieben. Es wird vor zumindest einem Bildsensor einer plenoptischen Kamera des Kamerasystems eine Mikrolinsenanordnung angeordnet. Weiterhin wird ein Bild, insbesondere mit einem 4D-Lichtfeld, von einem Umgebungsbereich des Kraftfahrzeugs mittels der plenoptischen Kamera aufgenommen. Als ein wesentlicher Gedanke der Erfindung ist vorgesehen, dass anhand von zumindest einer Eigenschaft eines Bildbereichs zumindest des Bilds eine Ablagerung von Partikeln auf einem optischen System der plenoptischen Kamera erkannt wird. In a method according to the invention, a camera of a motor vehicle is operated. A microlens arrangement is arranged in front of at least one image sensor of a plenoptic camera of the camera system. Furthermore, an image, in particular with a 4D light field, is recorded by a surrounding area of the motor vehicle by means of the plenoptic camera. As an essential idea of the invention, it is provided that, based on at least one property of an image area of at least the image, a deposit of particles on an optical system of the plenoptic camera is detected.

Durch das Erkennen der Ablagerung von Partikeln auf dem optischen System der plenoptischen Kamera kann das Kamerasystem unter widrigen Umweltbedingungen, welche zu der Ablagerung von Partikeln führen, robuster betrieben werden. So kann die Ablagerung von Partikeln auf dem optischen System, nach dem Erkennen dieser Ablagerung von Partikeln, bei dem Bereitstellen von weiteren Bildern des Kamerasystems berücksichtigt werden. By detecting the deposition of particles on the optical system of the plenoptic camera, the camera system can be operated more robustly under adverse environmental conditions that lead to the deposition of particles. Thus, the deposition of particles on the optical system, after detecting this deposition of particles, can be taken into account in providing further images of the camera system.

Das optische System umfasst eine Vielzahl von Linsen, welche in dem Strahlengang des Lichts aus dem Umgebungsbereich zu dem zumindest einen Bildsensor angeordnet ist. Die Linsen sind insbesondere dem Bildsensor oder den Bildsensoren zugeordnet. So kann jede der Linsen einem separaten Bildsensor zugeordnet sein. Alternativ können die Linsen auch einem gesamten Bildsensor zugeordnet sein. Durch die Vielzahl von Linsen kann der Umgebungsbereich gleichzeitig mit mehreren Linsen, insbesondere im Wesentlichen redundant, erfasst werden. Wird also eine Linse des optischen Systems als verschmutzt erkannt, kann die Information über den Bereich des Umgebungsbereichs, welcher durch die verschmutzte Linse erfasst werden sollte, von einer anderen, nicht verschmutzen Linse genutzt werden, welche den gleichen Bereich des Umgebungsbereichs erfasst. The optical system comprises a plurality of lenses, which is arranged in the beam path of the light from the surrounding area to the at least one image sensor. The lenses are associated in particular with the image sensor or the image sensors. Thus, each of the lenses may be associated with a separate image sensor. Alternatively, the lenses may also be associated with an entire image sensor. Due to the plurality of lenses, the surrounding area can be detected simultaneously with a plurality of lenses, in particular substantially redundantly. Thus, if a lens of the optical system is detected as being dirty, the information about the area of the surrounding area which should be detected by the soiled lens can be used by another non-dirty lens which detects the same area of the surrounding area.

So unterscheidet sich das Erkennen von der Ablagerung von Partikeln auf dem optischen System der plenoptischen Kamera grundlegend von dem Erkennen von Ablagerung von Partikeln auf einem klassischen Einzellinsensystem, welches nicht plenoptisch betrieben wird. So umfasst die plenoptische Kamera mit dem optischen System mehrere Linsen und vorzugsweise mehrere Bildsensoren, wobei die Ablagerung der Partikel auf einem Teilbereich des optischen Systems, also beispielsweise auf einer Linse, durch eine andere Linse des optischen Systems kompensiert werden kann. So kann die Ablagerung der Partikel beispielsweise erkannt werden, indem Unterschiede zwischen von verschiedenen Linsen des optischen Systems und vorzugsweise von verschiedenen Bildsensoren gleichzeitig erfasster Information eines identischen Bereichs des Umgebungsbereichs genutzt werden. Thus, the detection of the deposition of particles on the optical system of the plenoptic camera fundamentally differs from the recognition of deposition of particles on a classical single-lens system which is not plenoptically operated. Thus, the plenoptic camera with the optical system comprises a plurality of lenses and preferably a plurality of image sensors, wherein the deposition of the particles on a portion of the optical system, that is, for example, on a lens, can be compensated by another lens of the optical system. For example, the deposition of the particles can be detected by exploiting differences between information from an identical region of the surrounding area detected by different lenses of the optical system and preferably by different image sensors simultaneously.

Durch den Bildbereich des Bilds kann die Eigenschaft von einem Teil des Bilds bestimmt werden. Der Bildbereich wird insbesondere redundant durch mehrere Linsen des optischen Systems bereitgestellt. Somit sollten die redundant erfassten Bildbereiche bei unverschmutztem optischem System ohne die Ablagerung im Wesentlichen die gleiche Information bereitstellen. The image area of the image may determine the property of a portion of the image. The image area is provided in particular redundantly by a plurality of lenses of the optical system. Thus, in the case of an unpolluted optical system, without the deposition, the redundantly captured image areas should provide substantially the same information.

Insbesondere wird ein 4D-Lichtfeld mit der plenoptischen Kamera bereitgestellt. Durch das 4D-Lichtfeld wird der Umgebungsbereich, bedingt durch die Architektur der plenoptischen Kamera, zumindest teilweise redundant erfasst. So wird mit einer Linse der Mikrolinsenanordnung beziehungsweise mit einer Linse des optischen Systems ein Bereich des Umgebungsbereichs erfasst, welcher von einer leicht veränderten Position, ebenfalls mit einer benachbarten Linse der Mikrolinsenanordnung bereitgestellt wird. Die Änderung der Position entspricht dem Abstand des Bildsensors von der Linse zu einem benachbarten Bildsensor der benachbarten Linse. Bei der plenoptischen Kamera kann also durch das 4D-Lichtfeld auf erweiterte, insbesondere redundante, Information von dem Umgebungsbereich zurückgegriffen werden. Diese erweiterte Information in Form des 4D-Lichtfelds kann mit einem Einzellinsensystem nicht bereitgestellt werden. Somit kann die Ablagerung der Partikel bei einem Einzellinsensystem auch nicht wie im Fall der plenoptischen Kamera beschrieben erkannt werden. In particular, a 4D light field is provided with the plenoptic camera. Due to the architecture of the plenoptic camera, the surrounding area is at least partially detected redundantly by the 4D light field. Thus, with a lens of the microlens array or with a lens of the optical system, a region of the surrounding area is detected, which is provided by a slightly changed position, likewise with an adjacent lens of the microlens array. The change in position corresponds to the distance of the image sensor from the lens to an adjacent image sensor of the adjacent lens. at The plenoptic camera can thus be accessed by the 4D light field on extended, in particular redundant, information from the surrounding area. This extended information in the form of the 4D light field can not be provided with a single lens system. Thus, the deposition of the particles in a single-lens system can not be detected as described in the case of the plenoptic camera.

Insbesondere ist vorgesehen, dass die Eigenschaft des Bildbereichs mit einer Referenzeigenschaft verglichen wird und die Ablagerung anhand des Vergleichs erkannt wird. Die Referenzeigenschaft kann beispielsweise abhängig von einer anderen Linse des optischen Systems bereitgestellt werden, welche ebenfalls den Umgebungsbereich oder einen benachbarten Umgebungsbereich des Bildbereichs erfasst. So ist der Unterschied von Bildpunkten oder von benachbarten Bildpunkten des Bildbereichs, welche mit einer anderen Linse des optischen Systems oder mit unterschiedlichen Bildsensoren bereitgestellt werden, in dem Fall von einem ablagerungsfreien optischen System geringer, als der Unterschied bei Ablagerungen auf dem optischen System. Ist der Unterschied also größer, als dies bei einem ablagerungsfreien optischen System der Fall ist, so kann von einem verschmutzten optischen System, auf welchem sich die Partikel abgelagert haben, ausgegangen werden. Durch den Vergleich der Eigenschaft des Bildbereichs mit der Referenzeigenschaft kann die Ablagerung der Partikel auf dem optischen System also zuverlässig erkannt werden. In particular, it is provided that the property of the image area is compared with a reference property and the deposit is recognized on the basis of the comparison. The reference characteristic may be provided, for example, depending on another lens of the optical system, which also detects the surrounding area or an adjacent surrounding area of the image area. Thus, the difference of pixels or adjacent pixels of the image area provided with another lens of the optical system or with different image sensors, in the case of a deposit-free optical system, is less than the difference in deposits on the optical system. If the difference is greater than is the case with a deposit-free optical system, then it can be assumed that a contaminated optical system on which the particles have been deposited. By comparing the property of the image area with the reference property, the deposition of the particles on the optical system can thus be reliably detected.

Vorzugsweise ist vorgesehen, dass die Eigenschaft durch einen Intensitätswert, insbesondere einen Helligkeitswert, des Bilds und/oder eine Frequenzverteilung des Bilds charakterisiert wird. So führen beispielsweise Wasser und/oder Schmutz und/oder Fett und/oder Öl und/oder okklusive Ablagerungen aus der Umwelt als Ablagerung auf dem optischen System dazu, dass hohe Frequenzen des Bilds unterdrückt werden. Die Frequenzverteilung des Bilds weist nun insbesondere weniger hohe Frequenzen auf, wenn die Ablagerung der Partikel auf dem optischen System vorhanden ist, als wenn dies nicht der Fall wäre. Ergänzend oder alternativ können die Intensitätswerte des Bildbereichs allgemein niedriger sein durch die Ablagerung der Partikel auf dem optischen System, als wenn das optische System frei von Ablagerungen wäre. So wäre der Bildbereich beispielsweise durch die Ablagerung der Partikel dunkler, also der Helligkeitswert wäre niedriger, als dies für den Bildbereich der Fall ist, welcher mit einer Linse oder einem Bildsensor bereitgestellt wird, welche beziehungsweise welcher nicht von den Ablagerungen der Partikel betroffen ist. Durch den Intensitätswert und/oder die Frequenzverteilung kann die Eigenschaft derart charakterisiert werden, dass die Ablagerung von Partikeln auf dem optischen System effektiver und zuverlässiger erkannt wird. Ergänzend oder alternativ kann die Eigenschaft auch durch Farbwerte des Bildbereichs und/oder durch ein Luminanz-Histogramm des Bildbereichs und/oder durch ein Chrominanz-Histogramm des Bildbereichs beschrieben werden. It is preferably provided that the property is characterized by an intensity value, in particular a brightness value, of the image and / or a frequency distribution of the image. Thus, for example, water and / or dirt and / or grease and / or oil and / or occlusive deposits from the environment as deposits on the optical system cause high frequencies of the image to be suppressed. In particular, the frequency distribution of the image now has less high frequencies if the deposition of the particles is present on the optical system than if this were not the case. Additionally or alternatively, the intensity values of the image area may generally be lower due to the deposition of the particles on the optical system than if the optical system were free of deposits. For example, the image area would be darker due to the deposition of the particles, ie the brightness value would be lower than for the image area provided with a lens or an image sensor which is not affected by the deposits of the particles. Due to the intensity value and / or the frequency distribution, the property can be characterized in such a way that the deposition of particles on the optical system is recognized more effectively and reliably. Additionally or alternatively, the property may also be described by color values of the image area and / or by a luminance histogram of the image area and / or by a chrominance histogram of the image area.

Zusätzlich kann die Eigenschaft durch die Konstanz eines Intensitätswerts charakterisiert werden. So ändert sich zum Beispiel die Intensität einer Szene, weil sich die Beleuchtung der Szene und/oder die Richtung, in welche die Kamera weist, ändern. Insbesondere die Intensitätseigenschaft einer möglicherweise vorhandenen Ablagerung ändert sich demgegenüber nicht in entsprechender Weise mit der Zeit. In addition, the property can be characterized by the constancy of an intensity value. Thus, for example, the intensity of a scene changes because the lighting of the scene and / or the direction in which the camera points change. In contrast, the intensity characteristic of a possibly existing deposit, in contrast, does not change in a corresponding manner with time.

In einer weiteren Ausführungsform kann es vorgesehen sein, dass nach dem Bild ein weiteres Bild von dem Umgebungsbereich mittels der plenoptischen Kamera aufgenommen wird, und ein Unterschied zwischen einem Intensitätswert des Bilds und einem mit dem Intensitätswert korrespondierenden weiteren Intensitätswert des weiteren Bilds bestimmt wird, und die Eigenschaft des Bildbereichs zumindest des Bilds durch den Unterschied charakterisiert wird. Korrespondierend bedeutet, dass mit dem weiteren Intensitätswert der gleiche Teil des Umgebungsbereichs abgebildet wird, wie mit dem Intensitätswert. Die Ablagerung kann dann beispielsweise erkannt werden, falls der Unterschied kleiner als ein Unterschiedsgrenzwert ist. Durch den Unterschied kann bestimmt werden wie sich der Intensitätswert über einen zeitlichen Verlauf entwickelt und die Ablagerung kann somit abhängig von dem zeitlichen Verlauf erkannt werden. In a further embodiment it can be provided that after the image another image is taken of the surrounding area by means of the plenoptic camera, and a difference between an intensity value of the image and a further intensity value of the further image corresponding to the intensity value is determined, and Property of the image area of at least the image is characterized by the difference. Corresponding means that with the further intensity value the same part of the surrounding area is mapped as with the intensity value. The deposit can then be detected, for example, if the difference is less than a difference threshold. The difference can be used to determine how the intensity value develops over a time course and the deposition can thus be recognized as a function of the time course.

Weiterhin kann es vorgesehen sein, dass die Eigenschaft des Bildbereichs zumindest des Bilds durch den Unterschied und einen Vergleich mit zumindest einem den Intensitätswert umgebenden Nachbarintensitätswert des Bilds charakterisiert wird und/oder die Eigenschaft des Bildbereichs zumindest des Bilds durch den Unterschied und einen Vergleich mit zumindest einem den weiteren Intensitätswert des weiteren Bilds umgebenden weiteren Nachbarintensitätswert des weiteren Bilds charakterisiert wird. Dadurch kann der Unterschied zu dem Rest des Bilds und/oder des weiteren Bilds in Relation gesetzt werden und somit wiederum zuverlässiger bewertet werden. Vorteilhaft ist also, dass der zeitliche Verlauf und das Umfeld des Intensitätswerts zum Erkennen der Ablagerung auf dem optischen System genutzt werden können. Anhand des Vergleichs kann dann beispielsweise der Unterschiedsgrenzwert bestimmt werden. Furthermore, it may be provided that the property of the image area of at least the image is characterized by the difference and a comparison with at least one neighboring intensity value of the image surrounding the intensity value and / or the property of the image area of at least the image by the difference and a comparison with at least one characterizing the further intensity value of the further image surrounding further neighboring intensity value of the further image. As a result, the difference to the rest of the image and / or the further image can be related and thus in turn evaluated more reliably. It is therefore advantageous that the time profile and the environment of the intensity value can be used to detect the deposition on the optical system. Based on the comparison, for example, the difference limit value can then be determined.

Weiterhin ist es vorzugsweise vorgesehen, dass das Bild in einem Bildbereich angepasst wird, falls die Ablagerung von Partikeln erkannt wird. Durch das Anpassen kann die Qualität des Bilds verbessert werden. So können beispielsweise Störungen, welche durch die Ablagerung der Partikel auf dem optischen System erzeugt werden, mittels des Anpassens unterdrückt werden. Durch das Anpassen des Bilds kann die Information über die erkannte Ablagerung der Partikel auf dem optischen System effektiv genutzt werden. Furthermore, it is preferably provided that the image in an image area is adapted if the deposition of particles is detected. By customizing can improve the quality of the image. For example, noise generated by the deposition of the particles on the optical system can be suppressed by means of fitting. By adjusting the image, information about the detected deposition of the particles on the optical system can be effectively utilized.

Weiterhin ist es vorzugsweise vorgesehen, dass der Bildbereich des Bilds abhängig von benachbarten Bildpunkten des Bildbereichs, insbesondere durch Interpolation, angepasst wird. So können beispielsweise Intensitätswerte des Bilds in dem Bildbereich bei insbesondere weniger starker Verschmutzung durch Interpolation mit Hilfe von den benachbarten Bildpunkten außerhalb des Bildbereichs bestimmt werden, und schließlich können die durch die Ablagerung betroffenen Intensitätswerte in dem Bildbereich durch die anhand der Interpolation bestimmten Intensitätswerte ersetzt werden. Der Bildbereich wird insbesondere abhängig von dem 4D-Lichtfeld angepasst. Bei dem 4D-Lichtfeld wird mehr Information über den Umgebungsbereich bereitgestellt, als dies bei einem Einzellinsensystem der Fall ist. Das Anpassen des Bildbereichs kann also mit einer Aufnahme eines Einzellinsensystems nicht wie beschrieben durchgeführt werden. Furthermore, it is preferably provided that the image area of the image is adapted as a function of adjacent pixels of the image area, in particular by means of interpolation. Thus, for example, intensity values of the image in the image area can be determined, in particular less soiling by interpolation with the help of the neighboring pixels outside the image area, and finally the intensity values affected by the deposition can be replaced in the image area by the intensity values determined on the basis of the interpolation. The image area is adapted in particular depending on the 4D light field. The 4D light field provides more information about the surrounding area than is the case with a single lens system. The adaptation of the image area can therefore not be carried out as described with a photograph of a single-lens system.

Weiterhin kann es vorgesehen sein, dass das Bild mit mehreren Farbkanälen aufgenommen wird und ein erster Intensitätswert eines ersten Farbkanals des Bilds innerhalb des Bildbereichs abhängig von zumindest einem zweiten Intensitätswert des ersten Farbkanals außerhalb des Bildbereichs angepasst wird. So wird die Information des ersten Farbkanals an den Stellen genutzt, an denen das Bild nicht von der Ablagerung der Partikel beeinflusst ist. Somit kann der erste Intensitätswert beispielsweise durch Interpolation von zumindest dem zweiten Intensitätswert abgeleitet werden. So kann hierdurch beispielsweise eine Farbverbesserung des Bilds an der von der Ablagerung betroffenen Stelle des Bildbereichs durchgeführt werden. Furthermore, provision may be made for the image to be recorded with a plurality of color channels and for a first intensity value of a first color channel of the image to be adjusted within the image region as a function of at least one second intensity value of the first color channel outside the image region. Thus, the information of the first color channel is used in those places where the image is not influenced by the deposition of the particles. Thus, the first intensity value can be derived, for example, by interpolation of at least the second intensity value. Thus, for example, a color improvement of the image can be carried out at the location of the image area affected by the deposit.

Weiterhin kann es vorgesehen sein, dass der erste Intensitätswert bezüglich eines Farbwerts in dem Bildbereich angepasst wird. So ist der Farbwert vorzugsweise ein von einem reinen Grauwert unterschiedlicher Wert., wie beispielsweise ein R-Wert, ein G-Wert oder ein B-Wert eines RGB-Farbmodells. Der Farbwert kann aber auch durch eine andere Farbkomponente eines anderen Farbmodells beschrieben werden. Furthermore, provision may be made for the first intensity value to be adjusted with respect to a color value in the image area. Thus, the color value is preferably a value different from a pure gray value, such as an R value, a G value or a B value of an RGB color model. The color value can also be described by another color component of another color model.

Der Umgebungsbereich kann zumindest anteilig auch in einem nahen Infrarotbereich aufgenommen werden. Als nahes Infrarot (NIR) wird der Bereich des elektromagnischen Spektrums bezeichnet, der sich in Richtung größerer Wellenlänge an das sichtbare Licht anschließt. Dieser Bereich des Infrarotlichts erstreckt sich insbesondere von 780 nm bis 3 µm Wellenlänge des Lichts. Es können aber beispielsweise auch schon Beiträge zu dem Bild aus dem nahen Infrarotbereich ab 650 nm Wellenlänge erfolgen. Die Ablagerung kann dann abhängig von der Information aus dem nahen Infrarotbereich erkannt werden. So ist der Vorteil des nahen Infrarotbereichs, dass bei schlechten Lichtverhältnissen mehr Information aus dem Umgebungsbereich erfasst werden kann. Auch ist der nahe Infrarotbereich nicht so stark von einer Streuung des Lichts durch Aerosole aus der Luft des Umgebungsbereichs betroffen. The surrounding area can at least partially be included in a near infrared range. Near infra-red (NIR) refers to the region of the electromag- netic spectrum which adjoins the visible light in the direction of a larger wavelength. This region of the infrared light extends in particular from 780 nm to 3 μm wavelength of the light. However, it is also possible for example to make contributions to the image from the near infrared range from a wavelength of 650 nm. The deposit can then be detected depending on the information from the near infrared range. Thus, the advantage of the near infrared range is that more information can be acquired from the surrounding area in low light conditions. Also, the near infrared range is not so much affected by light scattering by aerosols from the ambient air.

Vorzugsweise ist es vorgesehen, dass das Bild mit mehreren Farbkanälen aufgenommen wird und ein dritter Intensitätswert eines ersten Farbkanals des Bilds innerhalb des Bildbereichs abhängig von zumindest einem vierten Intensitätswert eines zweiten Farbkanals des Bilds innerhalb des Bildbereichs angepasst wird. Dadurch kann die Textur des Bilds in dem Bildbereich bestimmt und angepasst beziehungsweise verbessert werden. So wird die Textur anhand des zumindest vierten Intensitätswerts des zweiten Farbkanals vorzugsweise bestimmt, und ausgehend davon kann der dritte Intensitätswert des ersten Farbkanals angepasst werden. Falls bei einer bekannten Kamera mit einem Einzellinsensystem eine Ablagerung auf dem optischen System beziehungsweise der Einzellinse vorhanden ist, so sind sämtliche Farbkanäle eines mit der bekannten Kamera aufgenommenen Bilds von der Ablagerung betroffen. Bei dem Kamerasystem mit der plenoptischen Kamera wird nun vorzugsweise für jeden Farbkanal eine eigene Linse des optischen Systems und/oder ein eigener Bildsensor genutzt, wodurch die Ablagerung der Partikel auf dem optischen System auch nur dahingehend Auswirkungen haben kann, dass der erste Farbkanal des Bilds von der Ablagerung der Partikel betroffen ist, weil dadurch weniger Licht auf den Bildsensor des ersten Farbkanals fallen kann, während der zweite Farbkanal, welcher vorzugsweise durch eine andere Linse des optischen Systems und/oder einen anderen Bildsensor erfasst wird, von der Ablagerung der Partikel nicht betroffen ist. Somit kann das Bild an der Stelle des Bildbereichs effektiv mit Information aus demselben Bildbereich angepasst werden. It is preferably provided that the image is recorded with a plurality of color channels and a third intensity value of a first color channel of the image within the image region is adapted as a function of at least one fourth intensity value of a second color channel of the image within the image region. Thereby, the texture of the image in the image area can be determined and adjusted. Thus, the texture is preferably determined based on the at least fourth intensity value of the second color channel, and on the basis of this, the third intensity value of the first color channel can be adapted. If a deposit on the optical system or the single lens is present in a known camera with a single-lens system, then all color channels of an image taken with the known camera are affected by the deposit. In the camera system with the plenoptic camera, a separate lens of the optical system and / or a separate image sensor is now preferably used for each color channel, whereby the deposition of the particles on the optical system can only have the effect that the first color channel of the image of the deposition of the particles is affected, because thereby less light can fall on the image sensor of the first color channel, while the second color channel, which is preferably detected by another lens of the optical system and / or another image sensor, not affected by the deposition of the particles is. Thus, the image at the location of the image area can be effectively matched with information from the same image area.

Weiterhin kann es vorgesehen sein, dass der dritte Intensitätswert bezüglich einer Kontur in dem Bildbereich angepasst wird. Die Kontur kann auch als Kante in dem Bild beschrieben werden. Durch die Kontur oder eine Mehrzahl von Konturen in dem Bildbereich ergibt sich die Textur des Bildbereichs. Durch das Bestimmen der Kontur beziehungsweise dem Anpassen der Kontur kann die Information in dem Bildbereich bereitgestellt werden, welche für das Erkennen von Objekten in dem Bildbereich wichtig ist. So ist das menschliche Auge beispielsweise für Helligkeitsunterschiede empfindlicher als für Farbunterschiede. Die Kontur beziehungsweise die Kante entsteht insbesondere durch einen Helligkeitsunterschied in dem Bild. Furthermore, provision may be made for the third intensity value to be adapted with respect to a contour in the image area. The contour can also be described as an edge in the picture. The contour or a plurality of contours in the image area results in the texture of the image area. By determining the contour or adapting the contour, the information in the image area which is important for the recognition of objects in the image area can be provided. For example, the human eye is for Brightness differences more sensitive than for color differences. The contour or the edge is created in particular by a brightness difference in the image.

Die Erfindung betrifft auch ein Kamerasystem für ein Kraftfahrzeug mit einer Auswerteeinheit und einer plenoptischen Kamera mit zumindest einem Bildsensor und einem vor dem Bildsensor angeordneten optischen System, wobei das Kamerasystem dazu ausgelegt ist, ein erfindungsgemäßes Verfahren durchzuführen. Das optische System umfasst insbesondere alles, was von einem Lichtstrahl aus dem Umgebungsbereich des Kraftfahrzeugs bis zu dem Bildsensor durchlaufen wird. Somit umfasst das optische System insbesondere ein Objektiv der plenoptischen Kamera. The invention also relates to a camera system for a motor vehicle having an evaluation unit and a plenoptic camera having at least one image sensor and an optical system arranged in front of the image sensor, wherein the camera system is designed to carry out a method according to the invention. In particular, the optical system comprises everything that is passed through by a light beam from the surrounding area of the motor vehicle to the image sensor. Thus, in particular, the optical system comprises an objective of the plenoptic camera.

Die Ablagerung der Partikel ist somit insbesondere an der Schnittstelle zwischen dem optischen System und der Luft des Umgebungsbereichsvorhanden. Die Ablagerung der Partikel kann also beispielsweise auf einer äußeren Schutzschicht des optischen Systems vorhanden sein oder beispielsweise direkt auf der Mikrolinsenanordnung abgelagert sein, falls diese bezüglich dem unmittelbaren Kontakt zu dem Umgebungsbereich die äußerste Komponente des optischen Systems ist. The deposition of the particles is therefore present in particular at the interface between the optical system and the air of the surrounding area. The deposition of the particles may thus for example be present on an outer protective layer of the optical system or, for example, be deposited directly on the microlens array, if this is the outermost component of the optical system with respect to the direct contact with the surrounding area.

Zudem betrifft die Erfindung ein Kraftfahrzeug mit einem Kamerasystem. Das Kraftfahrzeug ist dazu ausgelegt, ein erfindungsgemäßes Verfahren durchzuführen. In addition, the invention relates to a motor vehicle with a camera system. The motor vehicle is designed to carry out a method according to the invention.

Die mit Bezug auf das erfindungsgemäße Verfahren vorgestellten bevorzugten Ausführungsformen und deren Vorteile gelten entsprechend für die erfindungsgemäße Kamera sowie für das erfindungsgemäße System. The preferred embodiments presented with reference to the method according to the invention and their advantages apply correspondingly to the camera according to the invention and to the system according to the invention.

Mit Angaben „oben“, „unten“, „vorne“, „hinten“, „horizontal“, „vertikal“ etc. sind die bei bestimmungsgemäßem Gebrauch und bestimmungsgemäßem Anordnen der Kamera und bei einem dann vor der Kamera stehenden und in Richtung der Kamera blickenden Beobachter gegebenen Positionen und Orientierungen angegeben. The terms "top", "bottom", "front", "rear", "horizontal", "vertical", etc. are intended to be used and disposed of as directed by the camera and then in front of the camera and towards the camera Viewing observers given positions and orientations.

Weitere Merkmale der Erfindung ergeben sich aus den Ansprüchen, den Figuren und der Figurenbeschreibung. Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen oder in Alleinstellung verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen. Further features of the invention will become apparent from the claims, the figures and the description of the figures. The features and feature combinations mentioned above in the description as well as the features and feature combinations mentioned below in the description of the figures and / or in the figures alone can be used not only in the respectively specified combination but also in other combinations or in isolation, without the scope of To leave invention. Thus, embodiments of the invention are to be regarded as encompassed and disclosed, which are not explicitly shown and explained in the figures, however, emerge and can be produced by separated combinations of features from the embodiments explained. Embodiments and combinations of features are also to be regarded as disclosed, which thus do not have all the features of an originally formulated independent claim.

Die Ausführungsbeispiele der Erfindung werden nachfolgend anhand schematischer Zeichnungen näher erläutert. The embodiments of the invention will be explained in more detail with reference to schematic drawings.

Dabei zeigen: Showing:

1 eine schematische Darstellung eines Ausführungsbeispiels eines erfindungsgemäßen Kraftfahrzeugs mit einem Kamerasystem; 1 a schematic representation of an embodiment of a motor vehicle according to the invention with a camera system;

2 eine schematische Darstellung einer Bildsensoranordnung einer Mehrzahl von Bildsensoren einer plenoptischen Kamera des Kamerasystems; 2 a schematic representation of an image sensor arrangement of a plurality of image sensors of a plenoptic camera of the camera system;

3 eine schematische Darstellung einer Abbildung einer Ablagerung von Partikeln auf einem optischen System der plenoptischen Kamera auf den Bildsensoren der Bildsensoranordnung; 3 a schematic representation of an image of a deposit of particles on an optical system of the plenoptic camera on the image sensors of the image sensor array;

4 eine schematische Darstellung eines mit der plenoptischen Kamera aufgenommenen Bilds; 4 a schematic representation of an image taken with the plenoptic camera image;

5 eine schematische Darstellung eines mit der plenoptischen Kamera aufgenommenen 4D-Lichtfelds; und 5 a schematic representation of a recorded with the plenoptic camera 4D light field; and

6 ein vereinfachtes, schematisches Blockbild der plenoptischen Kamera mit dem optischen System. 6 a simplified, schematic block diagram of the plenoptic camera with the optical system.

In den Figuren werden gleiche oder funktionsgleiche Elemente mit den gleichen Bezugszeichen versehen. In the figures, identical or functionally identical elements are provided with the same reference numerals.

In 1 ist schematisch ein Kraftfahrzeug 1 mit einem Kamerasystem 2 dargestellt. Das Kamerasystem 2 umfasst eine plenoptische Kamera 3. Die plenoptische Kamera 3 umfasst eine nicht weiter dargestellte Mikrolinsenanordnung. Die plenoptische Kamera 3 wird auch Lichtfeldkamera genannt und erfasst ein 4D-Lichtfeld von einem Umgebungsbereich 4 des Kraftfahrzeugs 1. Bei einem 4D-Lichtfeld ist nicht nur die Position und Intensität eines Lichtstrahls auf einem Bildsensor bekannt, sondern auch die Richtung, aus der dieser Lichtstrahl eingefallen ist. Möglich wird die Feldmessung durch die Mikrolinsenanordnung beziehungsweise ein Gitter aus mehreren Linsen beziehungsweise Mikrolinsen vor einem Bildsensor der plenoptischen Kamera 3. In 1 is schematically a motor vehicle 1 with a camera system 2 shown. The camera system 2 includes a plenoptic camera 3 , The plenoptic camera 3 comprises a microlens arrangement, not shown further. The plenoptic camera 3 is also called a light field camera and captures a 4D light field from a surrounding area 4 of the motor vehicle 1 , In a 4D light field not only the position and intensity of a light beam on an image sensor is known, but also the direction from which this light beam has fallen. The field measurement is made possible by the microlens arrangement or a grid of several lenses or microlenses in front of an image sensor of the plenoptic camera 3 ,

Gemäß dem Ausführungsbeispiel von 1 ist die plenoptische Kamera 3 an einer Front 5 des Kraftfahrzeugs 1 angeordnet. Die Anordnung der plenoptischen Kamera 3 ist jedoch vielfältig möglich, vorzugsweise allerdings so, dass der Umgebungsbereich 4 und/oder ein Umfeld 6 des Kraftfahrzeugs 1 erfasst werden kann. Das Kamerasystem 2 kann auch mehrere plenoptische Kameras 3 umfassen. Die plenoptischen Kameras 3 können dann vielfältig an dem Kraftfahrzeug 1 angeordnet sein. According to the embodiment of 1 is the plenoptic camera 3 on a front 5 of the motor vehicle 1 arranged. The arrangement of the plenoptic camera 3 However, is possible in many ways, but preferably so that the surrounding area 4 and / or an environment 6 of the motor vehicle 1 can be detected. The camera system 2 can also have multiple plenoptic cameras 3 include. The plenoptic cameras 3 can then be varied on the motor vehicle 1 be arranged.

Das Kamerasystem 2 umfasst weiterhin eine Auswerteeinheit 7. Durch die Auswerteeinheit 7 können Bilder, welche mit dem Kamerasystem 2 aufgenommen werden, weiterverarbeitet werden. Die Auswerteeinheit 7 kann als separate Einheit bezüglich des Kamerasystems 2 vorliegen oder aber in der plenoptischen Kamera 3 des Kamerasystems 2 integriert sein. The camera system 2 furthermore comprises an evaluation unit 7 , Through the evaluation unit 7 can take pictures with the camera system 2 be further processed. The evaluation unit 7 Can be as a separate unit with respect to the camera system 2 or in the plenoptic camera 3 of the camera system 2 be integrated.

2 zeigt eine Bildsensoranordnung 8 der plenoptischen Kamera 3. Die Bildsensoranordnung 8 weist mehrere Bildsensoren 9 auf. Die Mikrolinsenanordnung ist vor der Bildsensoranordnung 8 angeordnet. Es kann auch vor jedem der Bildsensoren 9 eine eigene Mikrolinsenanordnung angeordnet werden. Alternativ kann aber auch jedem der Bildsensoren 9 eine Mikrolinse der Mikrolinsenanordnung zugewiesen sein. Die Mikrolinsenanordnung wird von einem optischen System 10 der plenoptischen Kamera 3 umfasst. Das optische System umfasst eine Vielzahl von Linsen, insbesondere Mikrolinsen. Ergänzend oder alternativ kann das optische System 10 auch mehrer Mikrolinsenanordnungen umfassen. Der Umgebungsbereich 4 wird insbesondere im Wesentlichen redundant durch zumindest zwei der Linsen des optischen Systems 10 erfasst. 2 shows an image sensor arrangement 8th the plenoptic camera 3 , The image sensor arrangement 8th has several image sensors 9 on. The microlens array is in front of the image sensor array 8th arranged. It can also be in front of each of the image sensors 9 a separate microlens array can be arranged. Alternatively, however, any of the image sensors 9 be assigned a microlens of the microlens array. The microlens array is of an optical system 10 the plenoptic camera 3 includes. The optical system comprises a plurality of lenses, in particular microlenses. Additionally or alternatively, the optical system 10 also comprise a plurality of microlens arrays. The environment area 4 is in particular substantially redundant by at least two of the lenses of the optical system 10 detected.

Vor dem jeweiligen Bildsensor 9 ist vorzugsweise ein Filter angeordnet. Der Filter ist beispielsweise als grüner Filter 11 ausgebildet. Der grüne Filter 11 ist nur durchlässig für Lichtstrahlen mit einer Wellenlänge in dem grünen Spektralbereich. Weiterhin kann der Filter auch als roter Filter 12, welcher durchlässig für Licht mit einer Wellenlänge aus dem roten Spektralbereich ist, oder als blauer Filter 13, welcher durchlässig für Licht mit einer Wellenlänge in dem blauen Spektralbereich ist, ausgebildet sein. Der Filter, welcher vor dem jeweiligen Bildsensor 9 angeordnet ist, kann aber auch als Infrarotfilter ausgebildet sein und somit nur Licht durchlassen, welches eine Wellenlänge in dem infraroten Spektralbereich aufweist. In front of the respective image sensor 9 a filter is preferably arranged. For example, the filter is a green filter 11 educated. The green filter 11 is only transparent to light rays having a wavelength in the green spectral range. Furthermore, the filter can also be used as a red filter 12 , which is transparent to light with a wavelength from the red spectral range, or as a blue filter 13 which is transparent to light having a wavelength in the blue spectral range. The filter, which in front of the respective image sensor 9 is arranged, but can also be designed as an infrared filter and thus only pass light, which has a wavelength in the infrared spectral range.

Der Bildsensor 9 kann als ein CMOS-Bildsensor (complementary metal-oxide semiconductor) oder aber als CCD-Bildsensor (charge-coupled device) oder als sonstiger Bildsensor zum Erfassen von Photonen aus dem Umgebungsbereich 4 ausgebildet sein. Die plenoptische Kamera 3 ist insbesondere eine Videokamera, welche kontinuierlich eine Bildsequenz von Bildern bereitstellt. The image sensor 9 can be used as a CMOS (complementary metal-oxide semiconductor) image sensor or as a CCD image sensor (charge-coupled device) or as another image sensor for detecting photons from the surrounding area 4 be educated. The plenoptic camera 3 is in particular a video camera, which continuously provides an image sequence of images.

Die Anordnung der unterschiedlichen Filter der Bildsensoren 9 der plenoptischen Kamera 3 ist vielfältig möglich. So können der grüne Filter 11, der rote Filter 12 und der blaue Filter 13 beispielsweise nach dem Konzept der Bayer-Matrix angeordnet sein. Bei der Bayer-Matrix ist grün in der Flächenzuweisung bezüglich der Bildsensoren 9 privilegiert, da grün im menschlichen Auge den größten Beitrag zur Helligkeitswahrnehmung und somit auch zur Kontrast- und Schärfewahrnehmung leistet. Die Anordnung beziehungsweise das Verhältnis der Filter 11, 12, 13 untereinander ist jedoch nicht an die Bayer-Matrix gebunden, sondern kann vielfältig und abhängig von der beabsichtigten Anwendung vorliegen. Zudem können die Größe beziehungsweise die Abmessungen der jeweiligen Bildsensoren 9 variieren. So können Bildsensoren 9 der plenoptischen Kamera 3 beispielsweise unterschiedliche Größen aufweisen. Dadurch kann beispielsweise eine Auflösung des 4D-Lichtfelds an bestimmten Positionen situationsbedingt angepasst werden. The arrangement of the different filters of the image sensors 9 the plenoptic camera 3 is possible in many ways. So can the green filter 11 , the red filter 12 and the blue filter 13 For example, be arranged according to the concept of the Bayer matrix. In the Bayer matrix, green is the area allocation with respect to the image sensors 9 privileged, since green makes the greatest contribution to the perception of brightness and thus also to the perception of contrast and sharpness in the human eye. The arrangement or the ratio of the filters 11 . 12 . 13 however, it is not bound to the Bayer matrix, but may be varied depending on the intended application. In addition, the size or the dimensions of the respective image sensors 9 vary. So can image sensors 9 the plenoptic camera 3 for example, have different sizes. As a result, for example, a resolution of the 4D light field at certain positions can be adapted to the situation.

2 zeigt die Bildsensoranordnung 8, falls das optische System 10 der plenoptischen Kamera 3 frei von einer Ablagerung von Partikeln ist. Gemäß 2 ist die Bildsensoranordnung 8 also gezeigt, wie diese vorliegt, wenn das optische System 10 nicht verschmutzt ist. 2 shows the image sensor arrangement 8th if the optical system 10 the plenoptic camera 3 free of a deposit of particles. According to 2 is the image sensor arrangement 8th that is, how this is present when the optical system 10 is not dirty.

3 zeigt die Bildsensoranordnung 8, falls das optische System in einem verschmutzten Zustand vorliegt. In dem verschmutzten Zustand befindet sich eine Ablagerung von Partikeln auf dem optischen System 10. Die Ablagerung der Partikel ist in 3 durch ein Abbild der Ablagerung 14 der Partikel auf der Bildsensoranordnung 8 dargestellt. Das Abbild der Ablagerung 14 der Partikel zeigt also schematisch, welche Auswirkung die Ablagerung der Partikel auf dem optischen System 10 für die Bildsensoren 9 der Bildsensoranordnung 8 bewirken. 3 shows the image sensor arrangement 8th if the optical system is in a dirty condition. In the soiled state, there is a deposit of particles on the optical system 10 , The deposition of the particles is in 3 through an image of the deposit 14 the particle on the image sensor array 8th shown. The image of the deposit 14 The particle thus shows schematically the effect of the deposition of the particles on the optical system 10 for the image sensors 9 the image sensor arrangement 8th cause.

So überdeckt das Abbild der Ablagerungen 14 der Partikel gemäß 3 vier Bildsensoren 9. Durch die Ablagerung der Partikel auf dem optischen System 10 können die Photonen aus dem Umgebungsbereich 4 also nicht mehr oder nur eingeschränkt auf die durch das Abbild der Ablagerung 14 der Partikel überdeckten Bildsensoren 9 einfallen. Wird also mit der Bildsensoranordnung 8 ein Bild bereitgestellt, so wird in dem Fall der Ablagerung der Partikel auf dem optischen System 10 ein Bildbereich des Bilds durch die Ablagerung der Partikel im Vergleich zum unverschmutzten optischen System 10 verändert. So covers the image of the deposits 14 the particle according to 3 four image sensors 9 , By depositing the particles on the optical system 10 can remove the photons from the surrounding area 4 So no longer or only to a limited extent by the image of the deposit 14 the particles covered image sensors 9 come to mind. So with the image sensor arrangement 8th provided an image, then in the case of the deposition of the particles on the optical system 10 an image area of the image due to the deposition of the particles compared to the unpolluted optical system 10 changed.

Durch eine Eigenschaft des Bildbereichs des Bilds wird erkannt, ob das optische System 10 der plenoptischen Kamera 3 von der Ablagerung der Partikel betroffen ist. Es kann dadurch also eine Verschmutzung des optischen Systems erkannt werden. Das Erkennen der Ablagerung der Partikel auf dem optischen System 10 erfolgt insbesondere durch einen Vergleich der Eigenschaft des Bildbereichs mit einer Referenzeigenschaft. Die Referenzeigenschaft kann beispielsweise eine Beschreibung des Bildbereichs von dem ablagerungsfreien optischen System 10 sein. A property of the image area of the image detects whether the optical system 10 of the plenoptic camera 3 affected by the deposition of the particles. It can thus be detected contamination of the optical system. Detecting the deposition of particles on the optical system 10 is done in particular by comparing the property of the image area with a reference property. For example, the reference property may be a description of the image area of the non-deposition optical system 10 be.

Die Eigenschaft des Bildbereichs kann beispielsweise durch einen Intensitätswert, insbesondere einen Helligkeitswert, des Bilds charakterisiert sein. Die Eigenschaft kann aber beispielsweise auch durch eine Frequenzverteilung des Bilds charakterisiert sein. So kann beispielsweise auch eine Wahrscheinlichkeit für die Verschmutzung beziehungsweise die Ablagerung der Partikel auf dem optischen System angegeben werden, indem die Größe des Unterschieds von dem Vergleich der Eigenschaft des Bildbereichs mit der Referenzeigenschaft bestimmt wird. The property of the image area can be characterized, for example, by an intensity value, in particular a brightness value, of the image. However, the property can also be characterized, for example, by a frequency distribution of the image. Thus, for example, a probability for the contamination or the deposition of the particles on the optical system can also be specified by determining the size of the difference from the comparison of the property of the image area with the reference property.

Falls die Ablagerung der Partikel auf dem optischen System 10 erkannt wird, wird das Bild in dem Bildbereich angepasst. Das Anpassen des Bilds kann beispielsweise als eine Korrektur beziehungsweise eine Verbesserung des Bilds in dem Bildbereich beschrieben werden. So kann der Bildbereich des Bilds beispielsweise anhand von benachbarten Bildpunkten, beispielsweise von benachbarten Bildsensoren 9 des Bildbereichs, erfolgen. Das Anpassen des Bildbereichs wird also beispielsweise durch Interpolation oder Extrapolation durchgeführt. If the deposition of particles on the optical system 10 is detected, the image is adjusted in the image area. The adjustment of the image may be described, for example, as a correction or improvement of the image in the image area. For example, the image area of the image may be based on neighboring pixels, for example on neighboring image sensors 9 of the image area. The adaptation of the image area is thus carried out, for example, by interpolation or extrapolation.

So kann das Bild abhängig von dem grünen Filter 11, dem roten Filter 12 und dem blauen Filter 13 mit mehreren Farbkanälen aufgenommen werden. Zur Farbverbesserung, also dem Anpassen eines ersten Intensitätswerts eines ersten Farbkanals innerhalb des Bildbereichs, wird beispielsweise ein zweiter Intensitätswert des ersten Farbkanals außerhalb des Bildbereichs genutzt. So kann der erste Intensitätswert, welcher beispielsweise von einem roten Farbkanal des Bilds abstammt, mit dem zweiten Intensitätswert, welcher ebenfalls von dem roten Farbkanal des Bild abstammt, angepasst werden, wenn der zweite Intensitätswert außerhalb des Bildbereichs liegt und somit von der Ablagerung auf dem optischen System 10 nicht betroffen ist. So the picture may depend on the green filter 11 , the red filter 12 and the blue filter 13 be recorded with multiple color channels. In order to improve the color, that is to say to adapt a first intensity value of a first color channel within the image area, a second intensity value of the first color channel outside the image area is used, for example. Thus, the first intensity value derived, for example, from a red color channel of the image may be adjusted with the second intensity value, which is also derived from the red color channel of the image, if the second intensity value is outside the image region and hence from the deposition on the optical system 10 is not affected.

Weiterhin kann ein dritter Intensitätswert des ersten Farbkanals innerhalb des Bildbereichs anhand von einem vierten Intensitätswert eines zweiten Farbkanals des Bilds ebenso als innerhalb des Bildbereichs angepasst werden. So kann dies beispielsweise genutzt werden, um die Textur des Bilds zu verbessern. Furthermore, a third intensity value of the first color channel within the image area may be adjusted based on a fourth intensity value of a second color channel of the image as well as within the image area. For example, this can be used to improve the texture of the image.

Ergänzend oder alternativ kann die Information, welche von dem Bildsensoren 9 bereitgestellt wird, welcher von der Ablagerung auf dem optischen System 10 betroffen ist, ignoriert werden und beispielsweise, wie zuvor beschrieben, anhand des interpolierten Intensitätswerts ersetzt werden. In addition or as an alternative, the information which is available from the image sensor 9 which is from the deposit on the optical system 10 is ignored and, for example, as previously described, replaced with the interpolated intensity value.

So wird der Umgebungsbereich 4 durch das optische System 10 und die Bildsensoranordnung 8 also an der gleichen Stelle des Umgebungsbereichs jeweils redundant durch die Bildsensoren 9, insbesondere mit unterschiedlichen Filtern 11, 12, 13, aufgenommen. Falls also einer der Bildsensoren 9 von der Ablagerung der Partikel auf dem optischen System 10 betroffen ist, so kann ein von der Ablagerung der Partikel nicht betroffener Bildsensor 9 genutzt werden, um für diesen Bereich des Umgebungsbereichs 4 die Texturinformation beziehungsweise die Konturen bereitzustellen. Die Farbinformation in dem Bildbereich kann von einem nicht von der Ablagerung der Partikel betroffenen Bildsensor 9 mit den gleichen Filtern 11, 12, 13 bezogen werden, indem der Farbwert interpoliert wird. This is how the environment area becomes 4 through the optical system 10 and the image sensor array 8th So at the same point of the surrounding area each redundant by the image sensors 9 , especially with different filters 11 . 12 . 13 , added. So if one of the image sensors 9 from the deposit of particles on the optical system 10 is concerned, so an image sensor not affected by the deposition of the particles 9 be used for this area of the surrounding area 4 to provide the texture information or contours. The color information in the image area may be from an image sensor not affected by the deposition of the particles 9 with the same filters 11 . 12 . 13 be obtained by interpolating the color value.

Alternativ können die Bildsensoren 9, welche in 3 beschrieben werden auch nur als ein gesamter Bildsensor ausgebildet sein, welcher die Funktionalität der Bildsensoren 9 übernimmt. Das optische System 10 ist dann mit den Linsen vor dem gesamten Bildsensor angeordnet. Alternatively, the image sensors 9 , what a 3 also be described only as an entire image sensor, which the functionality of the image sensors 9 takes over. The optical system 10 is then placed with the lenses in front of the entire image sensor.

4 zeigt ein Bild 15, welches mit der plenoptischen Kamera 3 aufgenommen wird. Das Bild 15 weist aus Gründen der Anschaulichkeit und der Übersichtlichkeit einen einfachen, beliebig gewählten Schriftzug auf, der symbolhaft für den Umgebungsbereich 4 des Kraftfahrzeugs 1 zu verstehen ist. In der Realität zeigt das Bild 15 den Umgebungsbereich 4. In dem Bild 15 ist ein Bildbereich 16 vorgegeben. 4 shows a picture 15 which with the plenoptic camera 3 is recorded. The picture 15 For the sake of clarity and clarity, has a simple, arbitrarily selected lettering, which is symbolic of the surrounding area 4 of the motor vehicle 1 to understand. In reality, the picture shows 15 the surrounding area 4 , In the picture 15 is an image area 16 specified.

5 zeigt ein 4D-Lichtfeld 17, welches mittels der plenoptischen Kamera 3 bereitgestellt wird. Das 4D-Lichtfeld 17 weist mehrere Lichtfeldbereiche 18 auf. Jeder der Lichtfeldbereiche 18 wird durch jeweils eine Linse des optischen Systems 10, insbesondere der Mikrolinsenanordnung, bereitgestellt. Durch die verschiedenen Lichtfeldbereiche 18 wird der Umgebungsbereich also im Wesentlichen redundant erfasst. So weist ein erster Lichtfeldbereich 19 der Lichtfeldbereiche 18 im Wesentlichen auch die Information über den Umgebungsbereich 4 auf, welche von einem zu dem ersten Lichtfeldbereich 19 benachbarten zweiten Lichtfeldbereich 20 der Lichtfeldbereiche 18 aufgewiesen wird. Insbesondere wird der erste Lichtfeldbereich 19 mit einer anderen Linse des optischen Systems 10 bereitgestellt als der zweite Lichtfeldbereich 20. Durch den ersten Lichtfeldbereich 19 wird der Umgebungsbereich 4 also insbesondere von einer leicht unterschiedlichen Position aufgenommen als durch den zweiten Lichtfeldbereich 20. Die leicht unterschiedliche Position wird durch den Abstand von dem ersten Bildsensor 23 zu dem zweiten Bildsensor 24 vorgegeben. Das Bild 15 wird vorzugsweise zumindest aus Teilen des 4D-Lichtfelds 17 erzeugt. Das 4D-Lichtfeld 17 wird nun beispielsweise auch genutzt, um die Referenzeigenschaft bereitzustellen. 5 shows a 4D light field 17 , which by means of the plenoptic camera 3 provided. The 4D light field 17 has several light field areas 18 on. Each of the light field areas 18 is through each one lens of the optical system 10 , in particular the microlens array provided. Through the different light field areas 18 Therefore, the surrounding area is essentially detected redundantly. So has a first light field area 19 the light field areas 18 essentially also the information about the surrounding area 4 which is from one to the first light field area 19 adjacent second light field area 20 the light field areas 18 is shown. In particular, the first light field area becomes 19 with another lens of the optical system 10 provided as the second light field area 20 , Through the first light field area 19 becomes the environment area 4 So in particular taken from a slightly different position than by the second light field area 20 , The easy different position is determined by the distance from the first image sensor 23 to the second image sensor 24 specified. The picture 15 is preferably at least parts of the 4D light field 17 generated. The 4D light field 17 is now also used, for example, to provide the reference property.

6 zeigt ein vereinfachtes Blockbild eines Beispiels der plenoptischen Kamera 3. Es ist das optische System 10 gezeigt, welches die Mikrolinsenanordnung umfasst. Insbesondere ist eine erste Linse 21 des optischen Systems 10 einem ersten Bildsensor 23 der Bildsensoren 9 zugeordnet, während eine zweite Linse 22 des optischen Systems 10 einem zweiten Bildsensor 24 der Bildsensoren 9 zugeordnet ist. Alternativ können die erste Linse 21 und die zweite Linse 22 jeweils einem, insbesondere unterschiedlichen, Teilbereich des gesamten Bildsensors zugeordnet sein. Auf dem optischen System 10 ist eine Ablagerung 25 von Partikeln schematisch dargestellt. Von der Ablagerung 25 der Partikel auf dem optischen System 10 hängt das Abbild der Ablagerung 14 auf dem Bildsensor 9 ab. Das Abbild der Ablagerung 14 ist somit dann auch in dem 4D-Lichtfeld 17 enthalten und situationsabhängig auch in dem Bild 15. 6 shows a simplified block diagram of an example of the plenoptic camera 3 , It is the optical system 10 which includes the microlens array. In particular, a first lens 21 of the optical system 10 a first image sensor 23 the image sensors 9 assigned while a second lens 22 of the optical system 10 a second image sensor 24 the image sensors 9 assigned. Alternatively, the first lens 21 and the second lens 22 each one, in particular different, part of the entire image sensor to be assigned. On the optical system 10 is a deposit 25 represented schematically by particles. From the deposit 25 the particle on the optical system 10 hangs the image of the deposit 14 on the image sensor 9 from. The image of the deposit 14 is thus also in the 4D light field 17 included and depending on the situation also in the picture 15 ,

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

DE 102012105436 A1 [0002]

Claims

Method for operating a camera system ( 2 ) for a motor vehicle ( 1 ), in which at least one image sensor ( 9 ) of a plenoptic camera ( 3 ) of the camera system ( 2 ) a microlens array is placed, and an image ( 15 ) of a surrounding area ( 4 ) of the motor vehicle ( 1 ) by means of the plenoptic camera ( 3 ), characterized in that based on at least one property of an image area ( 16 ) at least of the picture ( 15 ) a deposit ( 25 ) of particles on an optical system ( 10 ) of the plenoptic camera ( 3 ) is recognized.

Method according to claim 1, characterized in that the property of the image area ( 16 ) is compared with a reference property, and the deposit ( 25 ) is detected by comparison.

A method according to claim 1 or 2, characterized in that the property by an intensity value, in particular a brightness value of the image ( 15 ) and / or a frequency distribution of the image ( 15 ) is characterized.

Method according to one of the preceding claims, characterized in that after the image ( 15 ) another image of the surrounding area ( 4 ) by means of the plenoptic camera ( 3 ), and a difference between an intensity value of the image ( 15 ) and a further intensity value of the further image corresponding to the intensity value, and the property of the image area ( 16 ) at least of the picture ( 15 ) is characterized by the difference.

Method according to Claim 4, characterized in that the property of the image area ( 16 ) at least of the picture ( 15 ) by the difference and a comparison with at least one neighboring intensity value of the image surrounding the intensity value ( 15 ) and / or the property of the image area ( 16 ) at least of the picture ( 15 ) is characterized by the difference and a comparison with at least one further neighboring intensity value of the further image surrounding the further intensity value of the further image.

Method according to one of the preceding claims, characterized in that the image ( 15 ) in an image area ( 16 ), if the deposit ( 14 ) is recognized by particles.

Method according to one of the preceding claims, characterized in that the image area ( 16 ) of the picture ( 15 ) depending on neighboring pixels of the image area ( 16 ), in particular by interpolation.

Method according to one of the preceding claims, characterized in that the image ( 15 ) is recorded with a plurality of color channels, and a first intensity value of a first color channel of the image ( 15 ) within the image area ( 16 ) depending on at least a second intensity value of the first color channel outside the image area ( 16 ) is adjusted.

A method according to claim 8, characterized in that the first intensity value with respect to a color value in the image area ( 16 ) is adjusted.

Method according to one of the preceding claims, characterized in that the image ( 15 ) with a plurality of color channels, and a third intensity value of a first color channel of the image ( 15 ) within the image area ( 16 ) depending on at least a fourth intensity value of a second color channel of the image ( 15 ) within the image area ( 16 ) is adjusted.

A method according to claim 10, characterized in that the third intensity value with respect to a contour in the image area ( 16 ) is adjusted.

Camera system ( 2 ) with an evaluation unit ( 7 ), and a plenoptic camera ( 3 ) with at least one image sensor ( 9 ) and one in front of the image sensor ( 9 ) arranged optical system ( 10 ), whereby the camera system ( 2 ) is adapted to perform a method according to any one of the preceding claims.

Motor vehicle ( 1 ) with a camera system ( 2 ) according to claim 12.