DE102017121916A1

DE102017121916A1 - Harmonization of image noise in a camera device of a motor vehicle

Info

Publication number: DE102017121916A1
Application number: DE102017121916.1A
Authority: DE
Inventors: Vladimir Zlokolica; Mark Patrick Griffin; Aidan Casey; Brian Michael Thomas Deegan; Barry Dever
Original assignee: Connaught Electronics Ltd
Current assignee: Connaught Electronics Ltd
Priority date: 2017-09-21
Filing date: 2017-09-21
Publication date: 2019-03-21
Also published as: WO2019057807A1

Abstract

Die Erfindung betrifft ein Verfahren zum Betreiben einer Kameraeinrichtung (2) eines Kraftfahrzeugs (1), mit einem a) Erfassen einer Umgebung (4) des Kraftfahrzeugs (1) durch eine erste Kameraeinheit (3a) der Kameraeinrichtung (2) und eine zweite Kameraeinheit (3b) der Kameraeinrichtung (2); einem b) Erzeugen eines ersten Kamerabildes, welches die durch die erste Kameraeinheit (3a) erfasste Umgebung (4) repräsentiert, durch die erste Kameraeinheit (3a), und eines zweiten Kamerabildes, welches die durch die zweite Kameraeinheit (3b) erfasste Umgebung (4) repräsentiert, durch die zweite Kameraeinheit (3b); einem c) Vorhersagen einer ersten Charakteristik für ein Bildrauschen in dem ersten Kamerabild und einer zweiten Charakteristik für ein Bildrauschen in dem zweiten Kamerabild durch eine Recheneinheit (5) der Kameraeinrichtung (2) in Abhängigkeit eines in der Recheneinheit (5) hinterlegten Vorhersagemodells für das Bildrauschen; einem d) Angleichen des Bildrauschens des ersten und des zweiten Kamerabildes aneinander in Abhängigkeit der jeweils für das Bildrauschen in dem ersten und in dem zweiten Kamerabild vorhergesagten Charakteristik durch die Recheneinheit (5) mit einem Anwenden eines jeweiligen Rauschfilters auf das erste oder zweite Kamerabild; und einem e) Erzeugen eines die Umgebung (4) des Kraftfahrzeugs (1) repräsentierenden Gesamtbildes (6) basierend auf den beiden Kamerabildern durch die Recheneinheit (5), um ein Erscheinungsbild des die Umgebung (4) repräsentierenden, aus mehreren einzelnen Kamerabildern erzeugten Gesamtbildes (6) zu verbessern.

The invention relates to a method for operating a camera device (2) of a motor vehicle (1), having a) detecting an environment (4) of the motor vehicle (1) by a first camera unit (3a) of the camera device (2) and a second camera unit ( 3b) of the camera device (2); b) generating a first camera image, which represents the environment (4) detected by the first camera unit (3a), by the first camera unit (3a), and a second camera image, which detects the surroundings (4) detected by the second camera unit (3b) ), by the second camera unit (3b); c) predicting a first characteristic for an image noise in the first camera image and a second characteristic for an image noise in the second camera image by a computing unit (5) of the camera device (2) in dependence on an image noise prediction model stored in the arithmetic unit (5) ; d) matching the image noise of the first and second camera images with each other depending on the characteristic predicted for the image noise in the first and second camera images by the arithmetic unit (5) applying a respective noise filter to the first or second camera image; and e) generating an overall image (6) representing the environment (4) of the motor vehicle (1) based on the two camera images by the arithmetic unit (5) to produce an appearance of the overall image generated by the plurality of individual camera images representing the environment (4) (6) to improve.

Description

Die Erfindung betrifft ein Verfahren zum Betreiben einer Kameraeinrichtung eines Kraftfahrzeugs. Die Erfindung betrifft auch eine Kameraeinrichtung für ein Kraftfahrzeug, mit einer ersten und mit einer zweiten Kameraeinheit zum Erfassen einer Umgebung des Kraftfahrzeugs und zum Erzeugen eines ersten Kamerabildes, welches die durch die erste Kameraeinheit erfasste Umgebung repräsentiert, sowie eines zweiten Kamerabildes, welches die durch die zweite Kameraeinheit erfasste Umgebung repräsentiert.The invention relates to a method for operating a camera device of a motor vehicle. The invention also relates to a camera device for a motor vehicle, having a first and a second camera unit for detecting an environment of the motor vehicle and for generating a first camera image, which represents the detected by the first camera unit environment, and a second camera image, which by the second camera unit detected environment represents.

In bekannten Kameraeinrichtungen von Kraftfahrzeugen mit mehreren Kameras werden unterschiedliche Ansichten auf die Umgebung generiert, welche auf mehreren von den Kameras erzeugten Kamerabildern basieren. Dabei werden typischerweise die einzelnen Kamerabilder der unterschiedlichen Kameras zunächst auf eine Oberfläche, beispielsweise eine zweidimensionale Ebene oder eine gewölbte Schale, projiziert und zusammengefügt. Als nächstes werden die zusammengefügten, auf die Zielfläche projizierten Bilder sodann gerendert, aus ihnen also eine Ansicht auf die Umgebung aus der Perspektive einer virtuellen Kamera, deren Position und Perspektive frei vorgegeben werden kann, erzeugt. Insgesamt wird so eine Panoramaansicht mit den einzelnen Kamerabildern als Mosaikbildern erzeugt. Beispielsweise können so Ansichten auf das Kraftfahrzeug und dessen Umgebung aus einer Vogelperspektive erzeugt werden, wenn die einzelnen Kamerabilder auf eine zweidimensionale, flache Ebene als Zielfläche projiziert werden und die virtuelle Kamera direkt über dem Kraftfahrzeug mit dem Blick auf das Kraftfahrzeug senkrecht zur zweidimensionalen Ebene positioniert ist. Das Kraftfahrzeug selber kann in diesem Fall durch ein vorab gespeichertes Modellbild repräsentiert sein.In known camera devices of motor vehicles with a plurality of cameras, different views are generated on the surroundings, which are based on a plurality of camera images generated by the cameras. In this case, typically the individual camera images of the different cameras are first projected onto a surface, for example a two-dimensional plane or a curved shell, and joined together. Next, the merged images projected onto the target surface are then rendered, thus producing a view of the environment from the perspective of a virtual camera whose position and perspective can be freely specified. Overall, a panoramic view is created with the individual camera images as mosaic images. For example, views of the motor vehicle and its surroundings can thus be generated from a bird's eye view when the individual camera images are projected onto a two-dimensional, flat plane as the target surface and the virtual camera is positioned directly above the motor vehicle with the view of the motor vehicle perpendicular to the two-dimensional plane , The motor vehicle itself can be represented in this case by a pre-stored model image.

In jeder der beschriebenen Multikamera-Ansichten ist die zentrale Idee, mehrere einzelne Kamerabilder oder Projektionen von mehreren einzelnen Kamerabildern in einem einzigen Gesamtbild mit den einzelnen Kamerabildern als Mosaikbildern zusammenzufügen. Das Gesamtbild soll dabei wie einziges Kamerabild erscheinen, welches von einer einzigen Kamera, beispielsweise von der virtuellen Kamera über dem Kraftfahrzeug im Falle der Vogelperspektive, aufgenommen ist. Das bedeutet, dass in unterschiedlichen Bereichen des Gesamtbildes die Texturen von unterschiedlichen Kameras stammen, aber dennoch die gleiche dreidimensionale Umgebung repräsentieren und von ähnlicher Helligkeit, Farbe und Auflösung sein sollen. Dabei gibt es bereits Verfahren, um Helligkeit oder Farbwiedergabe oder Bildschärfe der unterschiedlichen Einzelbilder des Gesamtbildes aneinander anzupassen.In each of the multi-camera views described, the central idea is to combine several individual camera images or projections of several individual camera images in a single overall image with the individual camera images as mosaic images. The overall picture is intended to appear as the only camera image which has been recorded by a single camera, for example by the virtual camera above the motor vehicle in the case of a bird's-eye view. This means that in different areas of the overall picture the textures come from different cameras, but still represent the same three-dimensional environment and should be of similar brightness, color and resolution. There are already methods to adjust the brightness or color reproduction or sharpness of the different frames of the overall image to each other.

In Kraftfahrzeugen werden dabei typischerweise in Kameraeinrichtungen auch Rauschfilter oder Rauschunterdrückungsalgorithmen eingesetzt, welche ein Bildrauschen jedoch nur unvollständig und im Hinblick auf die Unterdrückung des Bildrauschens und einen Verlust an Bildschärfe nicht zufriedenstellend unterdrücken. Dies liegt hauptsächlich daran, dass diese Rauschfilter in den Kameraeinheiten oder Kameras selbst implementiert sind und somit nur begrenzte Rechenkapazitäten zur Verfügung haben. Üblicherweise wird dabei vereinfacht ausgesprochen eine Mittelung über benachbarte Bildpixel eines jeweiligen Kamerabildes durchgeführt. Dieses „Mitteln“ ist hier eine Vereinfachung, es existiert eine Vielzahl von möglichen Verarbeitungsalgorithmen, um eine Information von Nachbarpixeln zum Reduzieren eines Bildrauschens zu nutzen. Bei einem räumlichen Rauschfilter werden somit benachbarte Bildpixel eines zweidimensionalen Bildes berücksichtigt, bei einem zeitlichen Rauschfilter auch in der Zeit, also in einem dreidimensionalen Raum benachbarte Bildpixel.In motor vehicles, noise filters or noise suppression algorithms are also typically used in camera devices which, however, do not satisfactorily suppress image noise only incompletely and with regard to the suppression of image noise and a loss of image sharpness. This is mainly because these noise filters are implemented in the camera units or cameras themselves and thus have only limited computing capacity available. Usually, an averaging is carried out via adjacent image pixels of a respective camera image. This "averaging" is a simplification here, there are a variety of possible processing algorithms to use information from neighbor pixels to reduce image noise. In the case of a spatial noise filter, therefore, adjacent image pixels of a two-dimensional image are taken into account, and in the case of a temporal noise filter, also in time, ie in a three-dimensional space, adjacent image pixels.

Es ergibt sich somit die Aufgabe, ein Erscheinungsbild eines die Umgebung eines Kraftfahrzeugs repräsentierenden, aus mehreren einzelnen Kamerabildern erzeugten Gesamtbildes zu verbessern.Thus, there arises the task of improving the appearance of the surroundings of a motor vehicle representing an overall image generated from a plurality of individual camera images.

Diese Aufgabe wird durch die Gegenstände der unabhängigen Patentansprüche gelöst. Vorteilhafte Ausführungsformen ergeben sich aus den abhängigen Patentansprüchen, der Beschreibung und den Figuren.This object is solved by the subject matters of the independent claims. Advantageous embodiments will become apparent from the dependent claims, the description and the figures.

Ein Aspekt der Erfindung betrifft ein Verfahren zum Betreiben einer Kameraeinrichtung eines Kraftfahrzeugs. Ein erster Verfahrensschritt ist dabei ein Erfassen einer Umgebung des Kraftfahrzeugs durch zumindest eine erste Kameraeinheit der Kameraeinrichtung und eine zweite Kameraeinheit der Kameraeinrichtung. Alternativ kann das Erfassen auch durch mehr als zwei Kameraeinheiten, beispielsweise durch vier Kameraeinheiten, erfolgen. Ein nächster Verfahrensschritt ist ein Erzeugen und ein Bereitstellen eines ersten Kamerabildes, welches die durch die erste Kameraeinheit erfasste Umgebung, insbesondere einen entsprechenden, von der ersten Kameraeinheit erfassten Umgebungsbereich der Umgebung, repräsentiert, durch die erste Kameraeinheit und eines zweiten Kamerabildes, welches die durch die zweite Kameraeinheit erfasste Umgebung, insbesondere einen entsprechenden durch die zweite Kameraeinheit erfassten Umgebungsbereich der Umgebung, repräsentiert, durch die zweite Kameraeinheit. Analog können entsprechend bei mehreren Kameraeinheiten weitere Kamerabilder, beispielsweise ein drittes und ein viertes Kamerabild, erzeugt und bereitgestellt werden, welche die durch die jeweilige Kameraeinheit erfasste Umgebung repräsentieren.One aspect of the invention relates to a method for operating a camera device of a motor vehicle. A first method step is detecting an environment of the motor vehicle by at least a first camera unit of the camera device and a second camera unit of the camera device. Alternatively, the detection can also take place by more than two camera units, for example by four camera units. A next method step is generating and providing a first camera image, which represents the environment detected by the first camera unit, in particular a corresponding environmental region of the environment detected by the first camera unit, by the first camera unit and a second camera image, which represent the surroundings second camera unit detected environment, in particular a corresponding detected by the second camera unit surrounding area of the environment, represented by the second camera unit. Analogously, further camera images, for example a third and a fourth camera image, can be generated and provided correspondingly at several camera units, which represent the environment detected by the respective camera unit.

Ein weiterer Verfahrensschritt ist ein Vorhersagen einer ersten Charakteristik für ein Bildrauschen in dem ersten Kamerabild und einer zweiten Charakteristik für ein Bildrauschen in dem zweiten Kamerabild durch eine Recheneinheit der Kameraeinrichtung in Abhängigkeit eines in der Recheneinheit hinterlegten Vorhersagemodells für das Bildrauschen. Die erste und die zweite Charakteristik können somit qualitativ identische Charakteristiken sein oder umfassen, beispielsweise beide einen Pegelwert für das Bildrauschen umfassen, das heißt die erste Charakteristik einen ersten Pegelwert für ein Bildrauschen in dem ersten Kamerabild und die zweite Charakteristik einen zweiten Pegelwert für ein Bildrauschen in dem zweiten Kamerabild umfassen. Der Pegelwert kann hier im Sinne eines Wertes für eine Stärke des Bildrauschens verstanden werden. Das Vorhersagen kann dabei nach dem Erfassen der Umgebung und dem Erzeugen der Kamerabilder erfolgen, bevorzugt kann das Vorhersagen der jeweiligen Charakteristiken aber auch vor dem Erzeugen und/oder vor dem Erfassen erfolgen. Das Vorhersagemodell kann dabei von Parametern abhängen, wie dies weiter unter beschrieben wird. A further method step is a prediction of a first characteristic for an image noise in the first camera image and a second characteristic for an image noise in the second camera image by a computing unit of the camera device as a function of an image noise prediction model stored in the arithmetic unit. Thus, the first and second characteristics may be or include qualitatively identical characteristics, for example, both comprising a level value for image noise, that is, the first characteristic a first level value for image noise in the first camera image and the second characteristic a second level value for image noise in FIG comprise the second camera image. The level value can be understood here in terms of a value for a strength of the image noise. The predictions can be made after detecting the environment and generating the camera images, preferably, the prediction of the respective characteristics but also before generating and / or prior to detection. The predictive model may depend on parameters, as described further below.

Ein weiterer Verfahrensschritt ist ein Angleichen, welches im Sinnen eines Ähnlichmachens, also einem Erhöhen einer Ähnlichkeit, verstanden werden kann, des Bildrauschens, also der Charakteristiken, beispielsweise der jeweiligen tatsächlichen Pegelwerte für das Bildrauschen, des ersten und des zweiten Kamerabildes aneinander. Das Angleichen erfolgt dabei in Abhängigkeit der jeweils für das Bildrauschen in dem ersten und in dem zweiten Kamerabild vorhergesagten Charakteristik durch die Recheneinheit, und zwar mit einem Anwenden eines jeweiligen (A-)Rauschfilters auf das erste und/oder zweite Kamerabild. Der Rauschfilter kann dabei im Sinne eines Rauschfilteralgorithmus verstanden werden. Dieser Rauschfilteralgorithmus kann somit auf das erste und/oder das zweite Kamerabild mit einer jeweiligen individuellen, potentiell unterschiedlichen Parametereinstellung angewendet werden. Zur Differenzierung gegenüber später eingeführten weiteren (B-)Rauschfiltern kann der hier eingeführte Rauschfilter als erster (A-)Rauschfilter bezeichnet werden.A further method step is an adjustment, which can be understood in the sense of a similarization, ie an increase in similarity, of the image noise, ie the characteristics, for example of the respective actual level values for the image noise, of the first and the second camera image. The matching takes place as a function of the characteristic predicted in each case for the image noise in the first and in the second camera image by the arithmetic unit, namely by applying a respective (A) noise filter to the first and / or second camera image. The noise filter can be understood in the sense of a noise filter algorithm. This noise filter algorithm can thus be applied to the first and / or the second camera image with a respective individual, potentially different parameter setting. For differentiation compared to other (B) noise filters introduced later, the noise filter introduced here can be referred to as the first (A) noise filter.

Der Rauschfilter kann dabei auch eine negative Filterstärke haben, das heißt Rauschen zu dem Bild hinzufügen. Das kann vorteilhaft sein, wenn beispielsweise eine Bildqualität, zum Beispiel eine Schärfe, des ersten Kamerabildes bei einem weiteren Reduzieren des Rauschens, das heißt einer Anwendung des ersten Rauschfilters mit einer positiven Filterstärke auf das erste Kamerabild in unerwünschter Weise leiden würde, sodass das Reduzieren des Rauschens im ersten Kamerabild nicht in Betracht kommt. Mit dem Hinzufügen des Rauschens in dem anderen, zweiten Kamerabild kann somit das Bildrauschen der beiden Kamerabilder dennoch angeglichen werden, indem nämlich der Rauschfilter mit der beschriebenen negativen Filterstärke auf das zweite Kamerabild angewendet wird. Die negative Filterstärke kann vorteilhaft sein, da unter manchen Bedingungen das Erscheinungsbild des Gesamtbildes unter mangelnder Bildschärfe mehr leidet als unter Bildrauschen und dabei zugleich ein gleichmäßiges Bildrauschen angenehmer für einen Betrachter ist. Bei mehreren Kameraeinheiten kann hier ein entsprechendes Bildrauschen der mehreren, beispielsweise vier, Kamerabilder aneinander entsprechend in Abhängigkeit der jeweiligen vorhergesagten Charakteristiken angeglichen werden.The noise filter can also have a negative filter strength, that is add noise to the image. This may be advantageous if, for example, an image quality, for example a sharpness, of the first camera image would undesirably suffer in a further reduction of the noise, ie an application of the first noise filter with a positive filter strength to the first camera image, thus reducing the Noise in the first camera image is not eligible. With the addition of the noise in the other, second camera image, the image noise of the two camera images can nevertheless be adjusted, namely by applying the noise filter having the described negative filter strength to the second camera image. The negative filter strength can be advantageous, since under some conditions, the appearance of the overall picture suffers less lack of sharpness than under image noise and at the same time a uniform image noise is more pleasant for a viewer. In the case of a plurality of camera units, a corresponding image noise of the plurality of, for example four, camera images can be adjusted to one another in dependence on the respective predicted characteristics.

Ein weiterer Verfahrensschritt ist sodann ein Erzeugen eines die Umgebung des Kraftfahrzeugs repräsentierenden Gesamtbildes basierend auf den beiden, oder bei mehreren Kameraeinheiten, den mehreren, beispielsweise vier, Kamerabildern durch die Recheneinheit. Das Gesamtbild kann die erfasste Umgebung des Kraftfahrzeugs dabei insbesondere aus einer Vogelperspektive darstellen. Bevorzugt erfolgt hier das Angleichen des Bildrauschens vor dem Erzeugen des Gesamtbildes. Damit kann das Bildrauschen unabhängig von Verzerrungen beziehungsweise Transformationen, wie sie bei dem Erzeugen des Gesamtbildes, gerade wenn dieses die Umgebung aus der Vogelperspektive darstellt, auftreten, angeglichen werden, sodass besonders wenig Bildartefakte erzeugt werden. Schließlich kann als weiterer Verfahrensschritt ein Anzeigen des Gesamtbildes auf einer Anzeigeeinheit der Kameraeinrichtung erfolgen.A further method step is then the generation of an overall image representing the surroundings of the motor vehicle based on the two or, in the case of a plurality of camera units, the plurality of camera images, for example four, by the arithmetic unit. The overall image can represent the detected environment of the motor vehicle in particular from a bird's eye view. Preferably, the matching of the image noise takes place here before generating the overall image. Thus, the image noise, regardless of distortions or transformations, as they occur in the creation of the overall picture, especially when this is the environment from a bird's eye view, occur, are adjusted so that very little image artifacts are generated. Finally, as a further method step, the entire image can be displayed on a display unit of the camera device.

Das hat den Vorteil, dass das Bildrauschen in unterschiedlichen Bereichen des Gesamtbildes, nämlich in den jeweils durch die einzelnen Kamerabilder bestimmten Bereichen, aneinander angepasst oder harmonisiert wird, sodass das Gesamtbild eine bessere, homogenere Bildqualität und damit ein verbessertes Erscheinungsbild aufweist. Durch das Vorhersagen des jeweiligen Bildrauschens in Abhängigkeit des hinterlegten Vorhersagemodells können hier - auch dynamisch - unterschiedliche Umstände oder Situationen, wie sie im Folgenden noch ausgeführt werden, berücksichtigt werden. Dabei kann durch das Vorhersagemodell auch eine jeweilige Stärke des Rauschfilters bei dem Angleichen dynamisch angepasst werden. Wird das Verfahren iterativ, also wiederholt, durchgeführt, beispielsweise fortlaufend auf einen Bilddatenstrom mit fortlaufend bereitgestellten Kamerabildern angewendet, so kann so durch das Vorhersagemodell, was folglich ein dynamisches Vorhersagemodell sein kann, in einer dynamischen Umgebung das jeweilige Bildrauschen angepasst oder angeglichen werden. Die Erfindung stellt somit eine Rauschharmonisierung und insbesondere eine Rauschminderung in dem Gesamtbild bereit, indem ein über das Vorhersagemodell anpassbarer, adaptiver Rauschfilter auf die einzelnen Kamerabilder, auf welchen das Gesamtbild basiert, angewendet wird. Dies ist besonders für ein Gesamtbild aus einer Vogelperspektive vorteilhaft, da hier typischerweise der Bereich von den jeweils einzelnen Kamerabildern in dem Gesamtbild ähnlich groß ist, sodass ein unterschiedliches Bildrauschen hier besonders auffällig und störend ist. Durch den hier vorgeschlagenen, äußerst flexiblen Ansatz kann so, wie im Folgenden noch weiter ausgeführt, eine Vielzahl von unterschiedlichen Problematiken im Kontext des Bildrauschens gelöst oder vermindert werden, so beispielsweise das verstärkte Auftreten von Rauschen in einer dunklen Umgebung, eine variable Stärke des Bildrauschens, welche beispielsweise auf eine hohe (Helligkeits-)Dynamik in einer dreidimensionalen Szene, wie sie beispielsweise in HDR-Aufnahmen auftritt, der Einfluss von Belichtung oder Verstärkung (sog. „Gain Control“) sowie von lokalen Rauschunterdrückungsmechanismen, welche in den jeweiligen Kameraeinheiten implementiert sein können, einen Einfluss einer Linsengeometrie auf eine räumliche Verteilung des Bildrauschens sowie eine geometrische Verzerrung des Bildrauschens durch die Projektion der Kamerabilder auf die Zielfläche erfolgt.This has the advantage that the image noise in different areas of the overall image, namely in each determined by the individual camera images areas, matched or harmonized, so that the overall picture has a better, more homogeneous image quality and thus an improved appearance. By predicting the respective picture noise as a function of the stored predictive model, different circumstances or situations, as will be explained below, can also be taken into account here - also dynamically. In this case, by means of the prediction model, a respective strength of the noise filter can also be adapted dynamically during the adaptation. If the method is carried out iteratively, that is to say repeated, for example applied continuously to an image data stream with continuously provided camera images, then the prediction model, which can consequently be a dynamic prediction model, allows the respective image noise to be adapted or adjusted in a dynamic environment. The invention thus provides noise harmonization and, in particular, noise reduction in the overall picture by providing an adaptive noise filter adaptable to the predictive model over the individual ones Camera images on which the overall picture is based, is applied. This is particularly advantageous for an overall bird's-eye view since here the area of the respective individual camera images in the overall image is typically similar, so that a different image noise is particularly conspicuous and disturbing here. As a result of the extremely flexible approach proposed here, as will be explained below, a large number of different problems in the context of image noise can be solved or reduced, for example the increased occurrence of noise in a dark environment, variable intensity of image noise, which, for example, a high (brightness) dynamics in a three-dimensional scene, as occurs for example in HDR images, the influence of exposure or gain (so-called "gain control") and local noise reduction mechanisms, which are implemented in the respective camera units can, an influence of a lens geometry on a spatial distribution of the image noise as well as a geometric distortion of the image noise by the projection of the camera images on the target surface is done.

In einer besonders vorteilhaften Ausführungsform ist vorgesehen, dass die Charakteristiken jeweils eine räumliche Verteilung einer relativen und/oder absoluten Stärke des jeweiligen Bildrauschens und/oder ein Maß für eine räumliche Korrelation des jeweiligen Bildrauschens, beispielsweise zwischen benachbarten Kamerapixeln des jeweiligen Kamerabilds, und/oder einen Pegelwert als Maß für eine absolute Stärke des Bildrauschens umfassen. Beispielsweise können die Charakteristiken für die jeweiligen Kamerabilder einen räumlich aufgelösten Pegelwert des (erwarteten oder vorhergesagten) Bildrauschens umfassen.In a particularly advantageous embodiment, it is provided that the characteristics each have a spatial distribution of a relative and / or absolute intensity of the respective image noise and / or a measure of a spatial correlation of the respective image noise, for example between adjacent camera pixels of the respective camera image, and / or Level value as a measure of an absolute strength of the image noise include. For example, the characteristics for the respective camera images may include a spatially resolved level value of the (expected or predicted) image noise.

Das hat den Vorteil, dass das Bildrauschen besonders effektiv vorhergesagt werden kann, sodass das Angleichen zu einem besonders gut harmonisierten Bildrauschen in dem Gesamtbild führt. Gerade wenn, wie im Folgenden beschrieben, aneinander angrenzende oder sich überlappende Kamerabilder in ihrem Bildrauschen aneinander angeglichen werden sollen, ist hier eine Kenntnis über eine räumliche Verteilung einer relativen und/oder absoluten Stärke des Bildrauschens besonders vorteilhaft.This has the advantage that the image noise can be predicted particularly effectively, so that the matching leads to a particularly well harmonized image noise in the overall image. Just when, as described below, adjacent or overlapping camera images are to be matched in their image noise to each other here is a knowledge of a spatial distribution of a relative and / or absolute strength of the image noise particularly advantageous.

In einer weiteren vorteilhaften Ausführungsform ist vorgesehen, dass für unterschiedliche Bildbereiche des jeweiligen Kamerabilds eine Filterstärke des jeweiligen (im obigen Sinne ersten) Rauschfilters unabhängig voneinander, also beispielsweise unterschiedlich, vorgegeben wird. Beispielsweise kann so ein Grenz-Bildbereich des jeweiligen Kamerabildes, welcher in dem Gesamtbild an das jeweils andere Kamerabild angrenzt oder mit diesem überlappt beziehungsweise überlagert wird, oder welcher einen Nahbereich der Umgebung des Kraftfahrzeugs repräsentiert, welcher an das Kraftfahrzeug angrenzt, mit seinem Bildrauschen an das andere Kamerabild, das heißt das Bildrauschen des anderen Kamerabildes, beispielsweise ebenfalls eines entsprechenden Grenz-Bildbereichs, angepasst oder angeglichen werden.In a further advantageous embodiment, it is provided that for different image areas of the respective camera image, a filter strength of the respective (first in the above sense) noise filter independently, so for example different, is specified. For example, such a boundary image area of the respective camera image, which in the overall image adjoins or is overlapped with the respective other camera image, or which represents a vicinity of the surroundings of the motor vehicle, which adjoins the motor vehicle, with its image noise to the another camera image, that is, the image noise of the other camera image, for example, also a corresponding boundary image area, adapted or aligned.

Das hat den Vorteil, dass ein besonders dynamisches oder adaptives Filtern, nämlich ein räumlich adaptives Filtern, realisiert wird. So kann beispielsweise ein Bildbereich mehr als ein anderer gefiltert werden, oder beispielsweise in bestimmten Bildbereichen gar kein Filtern des Rauschens erfolgen. Somit können auch in Extremfällen in bestimmten Bildbereichen kein Filtern oder beispielsweise kein zeitliches Filtern des Bildrauschens erfolgen und in anderen Bildbereichen sogar ein Bildrauschen hinzugefügt werden, um ein in Bezug auf das Bildrauschen harmonisiertes oder angeglichenes Gesamtbild zu erreichen. Dies ist auch gerade bei dem Angleichen des Bildrauschens von mehreren Kamerabildern vorteilhaft, da hier beispielsweise in einem mittleren Kamerabild ein erster Grenzbereich, welcher an ein erstes weiteres Kamerabild angrenzt, an dieses erste weitere Kamerabild angeglichen werden kann, und das Bildrauschen in einem zweiten Grenzbereich des mittleren Kamerabildes, welcher an ein zweites angrenzendes Kamerabild angrenzt, unabhängig von dem Anpassen des Bildrauschens in dem ersten Grenzbereich des mittleren Kamerabilds an das zweite angrenzende Kamerabild angepasst werden kann. Gerade in den Grenzbereichen des Gesamtbilds, aber auch in den kraftfahrzeugnahen Bereichen im Gesamtbild fallen Änderungen der Charakteristik des Bildrauschens besonders auf, da der Betrachter im Allgemeinen einer an das Kraftfahrzeug angrenzenden Umgebung eine besondere Aufmerksamkeit widmet beziehungsweise gerade in einem direkten Vergleich eines Bildrauschens aneinander angrenzender Kamerabilder eine unterschiedlich ausgeprägte Charakteristik für das Bildrauschen besonders sichtbar ist.This has the advantage that particularly dynamic or adaptive filtering, namely spatially adaptive filtering, is realized. Thus, for example, one image area can be filtered more than another, or, for example, no filtering of the noise can take place in certain image areas. Thus, even in extreme cases in certain image areas no filtering or, for example, no temporal filtering of the image noise can take place and in other image areas even an image noise can be added in order to achieve a harmonized or equalized overall image noise. This is also advantageous when adjusting the image noise of a plurality of camera images since, for example, in a central camera image, a first border area adjoining a first further camera image can be matched to this first further camera image, and the image noise in a second border area of the camera middle camera image, which is adjacent to a second adjacent camera image, regardless of adjusting the image noise in the first boundary region of the central camera image to the second adjacent camera image can be adjusted. Especially in the border areas of the overall picture, but also in the areas near the motor vehicle in the overall picture, changes in the characteristics of picture noise are particularly noticeable, since the viewer generally devotes special attention to an environment adjacent to the motor vehicle, or especially in a direct comparison of picture noise from adjacent camera pictures a different characteristic is particularly visible for the image noise.

In einer weiteren vorteilhaften Ausführungsform ist vorgesehen, dass das Vorhersagemodell von einer Eigenschaft der jeweiligen Kameraeinheit abhängig ist, insbesondere von einer Linseneigenschaft, bevorzugt einer Brennweite, und/oder von einer Position, in welcher die Kameraeinheit bei einem bestimmungsgemäßen Gebrauch an dem Kraftfahrzeug angeordnet ist.In a further advantageous embodiment, it is provided that the predictive model is dependent on a characteristic of the respective camera unit, in particular on a lens characteristic, preferably a focal length, and / or on a position in which the camera unit is arranged on the motor vehicle when used as intended.

Das hat den Vorteil, dass eine Inhomogenität im Bildrauschen, wie sie selbst bei gleichmäßigen Helligkeitsbedingungen über das ganze Bild hinweg auftritt, kompensiert werden kann. So kann beispielsweise im Automobilbereich in Kameraeinheiten mit einer Fischaugenkamera die Lichtintensität in einem peripheren Bildbereich auf bis zu 30 Prozent der Lichtintensität in einem zentralen Bildbereich absinken. Dies zieht in Randbereichen des Kamerabildes ein im Vergleich zum zentralen Bereich des Kamerabildes erhöhtes Bildrauschen nach sich. Entsprechend ist hier das Modellieren des Bildrauschens als räumliche Verteilung besonders vorteilhaft, das heißt dass die Charakteristik(en) jeweils eine räumliche Verteilung der relativen und/oder absoluten Stärke des Bildrauschens umfassen. Dadurch kann das Bildrauschen besonders gut vermindert werden und zugleich eine maximale Bildauflösung beibehalten werden.This has the advantage of being able to compensate for inhomogeneity in image noise, which occurs even with uniform brightness conditions over the entire image. Thus, for example, in the automotive sector in camera units with a fisheye camera, the light intensity in a peripheral image area on up to 30 percent of Light intensity in a central image area decrease. In the peripheral areas of the camera image, this imposes an increased image noise compared to the central area of the camera image. Accordingly, the modeling of image noise as a spatial distribution is particularly advantageous here, that is, the characteristic (s) each comprise a spatial distribution of the relative and / or absolute intensity of the image noise. As a result, the image noise can be reduced particularly well and at the same time a maximum image resolution can be maintained.

In einer weiteren vorteilhaften Ausführungsform ist vorgesehen, dass das Vorhersagemodell von einer Einstellung der jeweiligen Kameraeinheit abhängig ist, insbesondere von einer Belichtungseinstellung und/oder einer Bildverstärkung, welche auch als sogenanntes „Camera Gain“ bezeichnet wird, und/oder eines Spektrums von Belichtungseinstellungen, wie es beispielsweise bei einer hochdynamischen Aufnahme, einer sogenannten High-Dynamic-Range- oder HDR-Aufnahme, auftritt, oder aber auch bei einer Nachtaufnahme mit unterschiedlichen Belichtungseinstellungen für unterschiedliche Bildbereiche und/oder Subbilder, aus denen das Bild zusammengesetzt wird oder erzeugt wird. Dabei kann die jeweils aktuelle oder aktivierte Einstellung beispielsweise über einen Datenkanal als Datensignal von der Kameraeinheit an die Recheneinheit bereitgestellt werden. Dies kann auch unabhängig von dem Bereitstellen des jeweiligen Kamerabildes erfolgen, beispielsweise vor einem Aufnehmen des jeweiligen Kamerabildes mit der entsprechenden Einstellung. Die Einstellung der jeweiligen Kameraeinheit kann somit ein Parameter des Vorhersagemodells sein.In a further advantageous embodiment, it is provided that the prediction model is dependent on an adjustment of the respective camera unit, in particular an exposure adjustment and / or an image enhancement, which is also referred to as so-called "camera gain", and / or a spectrum of exposure settings, such as It occurs, for example, in a highly dynamic recording, a so-called high dynamic range or HDR recording, or even in a night shot with different exposure settings for different image areas and / or sub-images from which the image is composed or generated. In this case, the respectively current or activated setting can be provided, for example, via a data channel as a data signal from the camera unit to the arithmetic unit. This can also be done independently of the provision of the respective camera image, for example, before recording the respective camera image with the corresponding setting. The setting of the respective camera unit can thus be a parameter of the prediction model.

Das hat den Vorteil, dass gerade in Szenarien mit schlechter Beleuchtung, beispielsweise in einer dunklen oder ungleichmäßig beleuchteten Umgebung, bei Nacht oder in einem Tunnel, die Bildqualität des Gesamtbildes durch das angeglichene Bildrauschen besonders deutlich verbessert werden kann. Der Hauptgrund hierfür ist, dass in einer dunkleren Umgebung die Kamerabilder grundsätzlich mehr Bildrauschen aufweisen. In HDR-Aufnahmen mit einer hohen Bild- oder Belichtungsdynamik wird dabei im Allgemeinen die Dynamik der Kamerabilder mit einer besonders großen Farbtiefe, beispielsweise 20 oder mehr Bit pro Bildpixel, abgebildet. Allerdings muss eine derartige HDR-Aufnahme zum Anzeigen auf einer Anzeigeeinheit im Allgemeinen auf eine Farbtiefe von 8 Bit komprimiert werden, um angezeigt werden zu können. Dieses Komprimieren mit einer entsprechenden Farbtonanpassung kann oft ein Bildrauschen deutlicher hervortreten lassen. Die Belichtungseinstellung und/oder Bildverstärkung sind die wichtigsten Einstellungen der jeweiligen Kameraeinheit, um ein optisches Erscheinungsbild der jeweiligen Kamerabilder, das heißt eine Bildqualität der jeweiligen Kamerabilder zu optimieren. Bei schwacher Beleuchtung wird das Bildrauschen wegen einer größeren Belichtung und ausgeprägteren Bildverstärkung stärker sein. Dieser Effekt wird jedoch weitgehend homogen über das Kamerabild verteilt sein, solange eine jeweilige Linseneigenschaft der Kameraeinheit unberücksichtigt bleibt. Das Spektrum von Belichtungseinstellungen, wie es in einer HDR-Aufnahme auftritt, wird das Bildrauschen in unterschiedlichen Bereichen des Kamerabildes unterschiedlich beeinflussen, da die Kamera innerhalb des Kamerabildes auf sowohl einen vergleichsweise großen als auch einen vergleichsweise geringen Helligkeitswert der Umgebung angepasst wird, sodass das Bildrauschen in diesem Fall nicht gleichmäßig über das Kamerabild verteilt sein wird, selbst wenn die besagten Linseneigenschaften unberücksichtigt bleiben.This has the advantage that especially in scenarios with poor lighting, for example, in a dark or unevenly lit environment, at night or in a tunnel, the image quality of the overall picture can be improved significantly by the adjusted image noise. The main reason for this is that, in a darker environment, the camera images generally have more image noise. In HDR images with high image or exposure dynamics, the dynamics of the camera images with a particularly large color depth, for example 20 or more bits per image pixel, are generally reproduced. However, such HDR recording for display on a display unit generally needs to be compressed to a color depth of 8 bits in order to be displayed. This compression with a corresponding hue adjustment can often make image noise more prominent. The exposure adjustment and / or image enhancement are the most important settings of the respective camera unit in order to optimize the visual appearance of the respective camera images, that is to say an image quality of the respective camera images. In low light conditions, image noise will be stronger due to increased exposure and image intensification. However, this effect will be distributed largely homogeneously over the camera image, as long as a respective lens characteristic of the camera unit is disregarded. The range of exposure settings, as occurs in an HDR image, will affect the image noise in different areas of the camera image differently, since the camera within the camera image is adapted to both a comparatively large and a comparatively low brightness value of the environment, so that the image noise in this case will not be evenly distributed over the camera image, even if the said lens properties are disregarded.

In einer weiteren vorteilhaften Ausführungsform kann vorgesehen sein, dass das Vorhersagemodell auch von einer Eigenschaft des jeweiligen Kamerabildes, beispielsweise einer Helligkeit und/oder einer Intensität, insbesondere einer Intensitätsverteilung, von Bildpixeln abhängig ist.In a further advantageous embodiment it can be provided that the predictive model also depends on a property of the respective camera image, for example a brightness and / or an intensity, in particular an intensity distribution, of image pixels.

Das hat den Vorteil, dass bei einem iterativen Durchführen des Verfahrens, wie es weiter unten noch beschrieben wird, basierend auf einem vorhergehenden ersten beziehungsweise zweiten Kamerabild für ein nachfolgendes erstes beziehungsweise zweites Kamerabild die erste beziehungsweise zweite Charakteristik vorhergesagt werden kann. In diesem Fall ist beispielsweise auch der genannte (insbesondere zusätzliche) Datenkanal nicht erforderlich.This has the advantage that in an iterative execution of the method, as will be described below, the first or second characteristic can be predicted based on a preceding first or second camera image for a subsequent first or second camera image. In this case, for example, the mentioned (especially additional) data channel is not required.

In einer weiteren vorteilhaften Ausführungsform kann vorgesehen sein, dass das Vorhersagemodell von einer Dichtekarte abhängt, welche angibt, wie viele Bildpunkte des jeweiligen Kamerabilds auf einem Bildpunkt des Gesamtbildes abgebildet werden. Die Dichtekarte hängt somit von einer Perspektive des Gesamtbildes ab, kann also durch die Perspektive des Gesamtbildes, beispielsweise der Vogelperspektive, vorgegeben sein. Durch die Perspektive des Gesamtbildes wird nämlich eine entsprechende geometrische Transformation für die Kamerabilder bestimmt und somit auch Bildbereiche bestimmt, in welchen ein Bildrauschen besonders leicht oder besonders schwer wahrgenommen wird, das heißt Bildbereiche, in denen das Bildrauschen mehr oder weniger stört. So kann beispielsweise in Bildbereichen des Gesamtbildes, für welche ein Downsampling, also ein Zusammenführen von mehreren Bildpunkten der Kamerabilder zu einem Bildpunkt des Gesamtbildes, erfolgt, ein Rauschen sehr effizient durch einen räumlichen Rauschfilter unterdrückt werden. Umgekehrt kann in Bildbereichen des Gesamtbildes, für welche nur wenige Bildpunkte des Kamerabilds vorhanden sind, ein sogenanntes Upsampling erforderlich sein, bei welchem aus einem Bildpunkt des Kamerabildes mehrere Bildpunkte im Gesamtbild generiert werden. Naturgemäß wird hier das Rauschen im Kamerabild besonders stark im Gesamtbild zutage treten.In a further advantageous embodiment it can be provided that the prediction model depends on a density map, which indicates how many pixels of the respective camera image are imaged on a pixel of the overall image. The density map thus depends on a perspective of the overall picture, so it can be given by the perspective of the overall picture, for example, the bird's eye view. By the perspective of the overall image, namely, a corresponding geometric transformation for the camera images is determined and thus also determines image areas in which an image noise is particularly easy or particularly difficult to perceive, that is, image areas in which the image noise more or less disturbs. Thus, for example, noise can be suppressed very efficiently by a spatial noise filter in image areas of the overall image for which a downsampling, that is, a merging of several pixels of the camera images into one pixel of the overall image, takes place. Conversely, in image areas of the overall image, for which only a few pixels of the camera image are present, a so-called upsampling may be necessary, in which one pixel of the camera image several pixels are generated in the overall picture. Naturally, the noise in the camera image will be particularly evident in the overall picture.

Das hat den Vorteil, dass bei dem Angleichen des Bildrauschens mit dem Anwenden des jeweiligen Rauschfilters (bereits) eine (bevorzugt später erfolgende) Transformation der Kamerabilder bei dem Erzeugen des Gesamtbildes berücksichtigt wird. Da die Kamerabilder hier für das Gesamtbild als Rohdaten bezeichnet werden können, liefert naturgemäß die Bearbeitung der Kamerabilder als Rohdaten mit dem Rauschfilter aufgrund der noch nicht erfolgten Transformation(en) zu dem Gesamtbild bessere Ergebnisse als ein nachträgliches Unterdrücken des Bildrauschens im Gesamtbild, also den verarbeiteten Rohdaten. Das Wissen über die Eigenschaften des Gesamtbildes, welches sich in der Dichtekarte manifestiert und so vorab berücksichtigt wird, führt so zu einer besonders guten Bildqualität des Gesamtbilds.This has the advantage that in the case of equalizing the image noise with the application of the respective noise filter (already) a (preferably later) transformation of the camera images is taken into account in the generation of the overall image. Since the camera images can be referred to as raw data for the overall picture here, naturally processing the camera images as raw data with the noise filter due to the not yet completed transformation (s) to the overall better results than a subsequent suppression of noise in the picture, ie the processed raw data. The knowledge of the properties of the overall picture, which manifests itself in the density map and is thus considered in advance, thus leading to a particularly good picture quality of the overall picture.

In einer weiteren vorteilhaften Ausführungsform ist vorgesehen, dass der jeweilige erste (A-)Rauschfilter einen zeitlichen Rauschfilter umfasst, dessen Filterstärke in Abhängigkeit der vorhergesagten Charakteristik für das jeweilige Bildrauschen vorgegeben wird, wobei insbesondere unterschiedliche Bildbereiche des jeweiligen Kamerabildes eine unterschiedliche Bildschärfe aufweisen.In a further advantageous embodiment, it is provided that the respective first (A) noise filter comprises a temporal noise filter whose filter strength is predetermined as a function of the predicted characteristic for the respective image noise, wherein in particular different image areas of the respective camera image have a different image sharpness.

Das Verwenden des zeitlichen Rauschfilters hat den Vorteil, dass eine Bildschärfe durch das Filtern nicht beeinflusst wird.Using the temporal noise filter has the advantage that image sharpness is not affected by the filtering.

Insbesondere kann der (A-)Rauschfilter dabei in der Recheneinheit hinterlegt sein und bevorzugt nur den zeitlichen Rauschfilter umfassen. Das hat den Vorteil, dass die im Vergleich zu beispielsweise den Kameraeinheiten im Allgemeinen größere Rechenkapazität der Recheneinheit für den Rauschfilter genutzt werden kann. Überdies kann so auch ein Zwischenspeicher in vorgebbarer Größe für das zeitliche Filtern vorgegeben sein. In besonders vorteilhafter Weise kann so der Rauschfilter in der Recheneinheit als zeitlicher Rauschfilter mit einem räumlichen Rauschfilter, welcher in der Kameraeinheit hinterlegt ist, kombiniert werden, sodass auf besonders effiziente Weise die vorhandenen Ressourcen der Recheneinheit und der Kameraeinheit, in welchen oft bereits ein räumlicher Rauschfilter vorgesehen ist, genutzt werden. Dabei kann der räumliche Rauschfilter in der Kameraeinheit, wie weiter unten beschrieben, ebenfalls durch die Recheneinheit gesteuert und somit dynamisch vorgegeben werden, sodass sich die beschriebenen Vorteile in besonders effizienter Weise ergeben.In particular, the (A) noise filter can be stored in the arithmetic unit and preferably comprise only the temporal noise filter. This has the advantage that in comparison to, for example, the camera units, generally larger computing capacity of the computing unit can be used for the noise filter. Moreover, a buffer of predeterminable size can thus also be predefined for the temporal filtering. In a particularly advantageous manner, the noise filter can be combined in the arithmetic unit as a temporal noise filter with a spatial noise filter, which is stored in the camera unit, so that in a particularly efficient manner the existing resources of the arithmetic unit and the camera unit, in which often already a spatial noise filter is intended to be used. Here, the spatial noise filter in the camera unit, as described below, also controlled by the arithmetic unit and thus dynamically specified, so that the advantages described in a particularly efficient manner.

In einer besonders vorteilhaften Ausführungsform kann dabei vorgesehen sein, dass die Filterstärke des zeitlichen Rauschfilters in Abhängigkeit von einer Geschwindigkeit des Kraftfahrzeugs und/oder der Belichtungseinstellung der jeweiligen Kameraeinheit eingestellt wird.In a particularly advantageous embodiment, it can be provided that the filter strength of the temporal noise filter is set as a function of a speed of the motor vehicle and / or the exposure setting of the respective camera unit.

Das hat den Vorteil, dass eine Bewegungsunschärfe, welche durch die eigene Bewegung und/oder durch Bewegungen in der Umgebung des Kraftfahrzeugs verursacht werden, verringert werden können, beziehungsweise ein Einfluss dieser Bewegungsunschärfe auf das Rauschfiltern in dem Rauschfilter berücksichtigt werden kann, sodass eine bessere Bildqualität erreicht wird.This has the advantage that a motion blur, which is caused by the own movement and / or by movements in the environment of the motor vehicle, can be reduced, or an influence of this motion blur on the noise filtering in the noise filter can be taken into account, so that a better picture quality is reached.

In einer anderen vorteilhaften Ausführungsform ist vorgesehen, dass der jeweilige erste (A-)Rauschfilter einen räumlichen Rauschfilter umfasst, dessen Filterstärke in Abhängigkeit der vorhergesagten Charakteristik für das jeweilige Bildrauschen vorgegeben wird, insbesondere mit unterschiedlicher Filterstärke für unterschiedliche Bildbereiche des jeweiligen Kamerabildes. Alternativ kann der erste Rauschfilter keinen räumlichen Rauschfilter, sondern ausschließlich den zeitlichen Rauschfilter umfassen.In another advantageous embodiment, it is provided that the respective first (A) noise filter comprises a spatial noise filter whose filter strength is predetermined as a function of the predicted characteristic for the respective image noise, in particular with different filter strength for different image areas of the respective camera image. Alternatively, the first noise filter may not include a spatial noise filter but only the temporal noise filter.

Das hat den Vorteil, dass mit besonders geringen Ressourcen und geringer Komplexität ein Bildrauschen reduziert beziehungsweise angepasst werden kann. Dadurch, dass die Filterstärke für unterschiedlich ausgeprägte Charakteristiken unterschiedlich vorgegeben werden kann, kann ein Verlust an Bildschärfe, wie er im Allgemeinen bei einem räumlichen Rauschfilter auftritt, minimiert werden. Besonders vorteilhaft ist es hier, wenn die Filterstärke für unterschiedliche Bildbereiche des jeweiligen Kamerabildes unabhängig vorgegeben wird, da so beispielsweise in einem vorgegebenen Bildbereich eine vorgegebene Bildschärfe erhalten werden kann und zugleich in einem vorgegebenen weiteren Bildbereich eine vorgegebene Stärke des Bildrauschens erzielt werden kann. This has the advantage that with particularly low resources and low complexity, image noise can be reduced or adjusted. By being able to set the filter strength differently for differently pronounced characteristics, a loss of image sharpness, which generally occurs in a spatial noise filter, can be minimized. It is particularly advantageous in this case for the filter intensity to be predetermined independently for different image areas of the respective camera image, since a predetermined image sharpness can thus be obtained, for example, in a predetermined image area and at the same time a predetermined strength of the image noise can be achieved in a predetermined further image area.

Dabei kann vorgesehen sein, dass die Filterstärke des räumlichen Rauschfilters in Abhängigkeit von der Geschwindigkeit des Kraftfahrzeugs und/oder der Einstellung der jeweiligen Kameraeinheit, insbesondere der Belichtungseinstellung und/oder der Bildverstärkung und/oder des Spektrums von Belichtungseinstellungen, eingestellt wird.It may be provided that the filter strength of the spatial noise filter is set as a function of the speed of the motor vehicle and / or the setting of the respective camera unit, in particular the exposure setting and / or the image enhancement and / or the spectrum of exposure settings.

Das hat den Vorteil, dass ein Verlust an Bildschärfe dynamisch minimiert werden kann.This has the advantage that a loss of image sharpness can be dynamically minimized.

In einer anderen vorteilhaften Ausführungsform ist vorgesehen, dass die erste und/oder zweite Kameraeinheit, bei mehreren Kameraeinheiten auch die jeweiligen mehreren, insbesondere dritte und vierte Kameraeinheit, einen zusätzlichen in der jeweiligen Kameraeinheit integrierten zweiten räumlichen (B-)Rauschfilter aufweist und die Filterstärke des jeweiligen ersten (A-)Rauschfilters, insbesondere des jeweiligen ersten räumlichen Rauschfilters, in Abhängigkeit von einer Einstellung und/oder Eigenschaft des zusätzlichen Rauschfilters eingestellt wird.In another advantageous embodiment, it is provided that the first and / or second camera unit, with several camera units and the respective plurality, in particular third and fourth camera unit, an additional integrated in the respective camera unit second spatial (B) noise filter and the filter strength of respective first (A) noise filter, in particular of the respective first spatial noise filter, is set as a function of a setting and / or characteristic of the additional noise filter.

Das hat den Vorteil, dass die vorhandenen Ressourcen besonders effektiv zusammenarbeiten und somit effizient genutzt werden können. Damit lässt sich auch eine besonders gute Bildqualität im Gesamtbild erreichen.This has the advantage that the existing resources work together very effectively and can thus be used efficiently. This can also achieve a particularly good picture quality in the overall picture.

In einer anderen vorteilhaften Ausführungsform ist vorgesehen, dass die erste und/oder zweite Kameraeinheit, bei mehreren Kameraeinheiten auch entsprechende weitere Kameraeinheiten, alternativ oder zusätzlich einen oder den zusätzlich in der jeweiligen Kameraeinheit integrierten zweiten räumlichen (B-)Rauschfilter aufweist, und zumindest eine Einstellung, insbesondere eine Filterstärke, des integrierten räumlichen Rauschfilters durch die Recheneinheit bei dem Angleichen des Bildrauschens eingestellt wird. Die Einstellung der Kameraeinheit kann also insbesondere in Abhängigkeit der jeweiligen zugeordneten vorhergesagten Charakteristik beziehungsweise in Abhängigkeit des durch das Vorhersagemodell vorhergesagten Bildrauschens erfolgen. Insbesondere kann das Einstellen in Abhängigkeit von den vorhergesagten ersten und/oder zweiten und/oder weiteren vorhergesagten Charakteristiken weiterer Kameraeinheiten erfolgen. Bei dem im Folgenden weiteren beschriebenen wiederholten Durchlaufen des Verfahrens, insbesondere bei wiederholtem Durchlaufen des Erfassens des Erzeugens, kann dies auch in Abhängigkeit einer für ein zuvor erzeugtes erstes und/oder zweites Kamerabild vorhergesagten Charakteristik oder eines entsprechenden ermittelten Bildrauschen erfolgen. Alternativ oder ergänzend kann auch vorgesehen sein, dass zumindest eine Einstellung der Kameraeinheit durch die Recheneinheit bei dem Angleichen gemäß dem Bildrauschen eingestellt wird.In another advantageous embodiment, it is provided that the first and / or second camera unit, with several camera units also corresponding further camera units, alternatively or additionally one or additionally integrated in the respective camera unit second spatial (B) noise filter, and at least one setting , in particular a filter strength, of the integrated spatial noise filter is set by the arithmetic unit in the adjustment of the image noise. The setting of the camera unit can therefore be effected in particular as a function of the respective associated predicted characteristic or as a function of the image noise predicted by the predictive model. In particular, the adjustment can be effected as a function of the predicted first and / or second and / or further predicted characteristics of further camera units. In the case of the method repeatedly described below, in particular when the detection of the generation is repeated, this can also be done as a function of a characteristic predicted for a previously generated first and / or second camera image or a corresponding determined image noise. Alternatively or additionally, it can also be provided that at least one setting of the camera unit is set by the arithmetic unit in the matching according to the image noise.

Das hat den Vorteil, dass eine Rückkopplung von der Recheneinheit zur Kameraeinheit realisiert wird und so die Kameraeinheit gerade bei einem wiederholten Durchlaufen des Verfahrens, wie es weiter unten noch beschrieben wird, eine besonders gute Bildqualität realisiert werden kann.This has the advantage that a feedback from the arithmetic unit to the camera unit is realized, and thus the camera unit can realize a particularly good image quality, especially when iterates through the method, as will be described below.

In einer weiteren vorteilhaften Ausführungsform ist vorgesehen, dass zumindest das Erfassen der Umgebung und das Erzeugen der Kamerabilder und das Angleichen des Bildrauschens und das Erzeugen des Gesamtbildes wiederholt oder iterativ durchgeführt werden. Insbesondere kann auch das Vorhersagen der jeweiligen Charakteristik iterativ durchgeführt werden. Anstelle des Vorhersagens kann bei dem iterativen Verfahren in den weiteren Wiederholungen die jeweilige Charakteristik auch gemessen werden.In a further advantageous embodiment it is provided that at least the detection of the surroundings and the generation of the camera images and the matching of the image noise and the generation of the overall image are carried out repeatedly or iteratively. In particular, the prediction of the respective characteristic can also be carried out iteratively. Instead of the prediction, the respective characteristic can also be measured in the iterative method in the further repetitions.

Das hat den Vorteil, dass die Bildqualität dynamisch, also auch für sich verändernde Umgebungen, verbessert wird. Dies ist bei dem beschriebenen Verfahren aufgrund seiner inhärenten Flexibilität, bei welchem das Filtern in jeder Iteration individuell an die vorliegenden Bedingungen angepasst werden kann, vorteilhaft.This has the advantage that the image quality is improved dynamically, ie also for changing environments. This is advantageous in the described method because of its inherent flexibility, in which the filtering in each iteration can be individually adapted to the prevailing conditions.

Ein weiterer Aspekt der Erfindung betrifft eine Kameraeinrichtung für ein Kraftfahrzeug, mit einer ersten und einer zweiten Kameraeinheit zum Erfassen einer Umgebung des Kraftfahrzeugs und zum Erzeugen eines ersten Kamerabildes, welches die durch die erste Kameraeinheit erfasste Umgebung repräsentiert, sowie eines zweiten Kamerabildes, welches die durch die zweite Kameraeinheit erfasste Umgebung repräsentiert. Die Kameraeinrichtung weist dabei eine Recheneinheit auf, welche ausgebildet ist, eine erste Charakteristik für ein Bildrauschen in dem ersten Kamerabild und eine zweite Charakteristik für ein Bildrauschen in dem zweiten Kamerabild in Abhängigkeit von einem in der Recheneinheit hinterlegten Vorhersagemodell für das Bildrauschen vorherzusagen. Des Weiteren ist die Recheneinheit ausgebildet, das Bildrauschen des ersten und des zweiten Kamerabildes in Abhängigkeit der jeweils für das Bildrauschen in dem ersten und in dem zweiten Kamerabild vorhergesagten Charakteristik aneinander anzugleichen, und zwar mit einem Anwenden eines jeweiligen ersten (A-)Rauschfilters auf das erste und/oder zweite Kamerabild sowie ferner ein die Umgebung des Kraftfahrzeugs repräsentierendes Gesamtbild basierend auf den beiden Kamerabildern zu erzeugen.A further aspect of the invention relates to a camera device for a motor vehicle, having a first and a second camera unit for detecting an environment of the motor vehicle and for generating a first camera image, which represents the detected by the first camera unit environment, and a second camera image, which by represents the second camera unit detected environment. In this case, the camera device has an arithmetic unit which is designed to predict a first characteristic for image noise in the first camera image and a second characteristic for image noise in the second camera image as a function of a prediction model for image noise stored in the arithmetic unit. Furthermore, the arithmetic unit is configured to match the image noise of the first and second camera images depending on the characteristic predicted for the image noise in the first and second camera images, respectively, by applying a respective first (A) noise filter to the first First and / or second camera image and also to generate a surrounding of the motor vehicle representing overall image based on the two camera images.

Vorteile und vorteilhafte Ausführungsformen der Kameraeinrichtung entsprechen hier Vorteilen und vorteilhaften Ausführungsformen des beschriebenen Verfahrens.Advantages and advantageous embodiments of the camera device correspond here to advantages and advantageous embodiments of the described method.

Die Erfindung betrifft auch ein Kraftfahrzeug mit einer solchen Kameraeinrichtung.The invention also relates to a motor vehicle with such a camera device.

Die vorstehend in der Beschreibung genannten Merkmale und Merkmalskombinationen, sowie die nachfolgend in der Figurenbeschreibung genannten und/oder in den Figuren alleine gezeigten Merkmale und Merkmalskombinationen sind nicht nur in der jeweils angegebenen Kombination, sondern auch in anderen Kombinationen verwendbar, ohne den Rahmen der Erfindung zu verlassen. Es sind somit auch Ausführungen von der Erfindung als umfasst und offenbart anzusehen, die in den Figuren nicht explizit gezeigt und erläutert sind, jedoch durch separierte Merkmalskombinationen aus den erläuterten Ausführungen hervorgehen und erzeugbar sind. Es sind auch Ausführungen und Merkmalskombinationen als offenbart anzusehen, die somit nicht alle Merkmale eines ursprünglich formulierten unabhängigen Anspruchs aufweisen. Es sind darüber hinaus Ausführungen und Merkmalskombinationen, insbesondere durch die oben dargelegten Ausführungen, als offenbart anzusehen, die über die in den Rückbezügen der Ansprüche dargelegten Merkmalskombinationen hinausgehen oder von diesen abweichen.The features and feature combinations mentioned above in the description, as well as the features and feature combinations mentioned below in the description of the figures and / or shown alone in the figures, can be used not only in the respectively specified combination but also in other combinations without the scope of the invention leave. Thus, embodiments of the invention are to be regarded as encompassed and disclosed, which are not explicitly shown and explained in the figures, however, emerge and can be produced by separated combinations of features from the embodiments explained. Embodiments and combinations of features are also to be regarded as disclosed, which thus do not have all the features of an originally formulated independent claim. It's beyond that Embodiments and combinations of features, in particular by the statements set out above, to be regarded as disclosed that go beyond the feature combinations set forth in the back covers of the claims or deviate from them.

Ausführungsbeispiele der Erfindung werden nachfolgend anhand einer schematischen Zeichnung näher erläutert. Dabei zeigt die einzige Figur eine schematische Darstellung eines Kraftfahrzeugs mit einer beispielhaften Ausführungsform einer Kameraeinrichtung.Embodiments of the invention will be explained in more detail with reference to a schematic drawing. The single figure shows a schematic representation of a motor vehicle with an exemplary embodiment of a camera device.

Das Kraftfahrzeug 1 ist dabei mit einer Kameraeinrichtung 2 ausgestattet, welche mehrere Kameraeinheiten 3a bis 3d zum Erfassen einer Umgebung 4 des Kraftfahrzeugs sowie zum Erzeugen jeweiliger Kamerabilder, welche die durch die jeweiligen Kameraeinheiten 3a bis 3d erfasste Umgebung, das heißt die jeweils erfassten Bereiche der Umgebung 4, repräsentieren. Im gezeigten Beispiel weist die Kameraeinrichtung 2 dabei eine erste Kameraeinheit 3a, eine zweite Kameraeinheit 3b, eine dritte Kameraeinheit 3c und eine vierte Kameraeinheit 3d auf. Die erste Kameraeinheit 3a dient dabei dem Erfassen der Umgebung 4 und dem Erzeugen eines ersten Kamerabildes, die zweite Kameraeinheit 3b dem Erfassen der Umgebung und dem Erzeugen eines zweiten Kamerabildes, welches die durch die zweite Kameraeinheit 3b erfasste Umgebung repräsentiert. Analoges gilt für die dritte und vierte Kameraeinheit 3c, 3d.The car 1 is doing with a camera device 2 equipped, which has several camera units 3a to 3d to capture an environment 4 of the motor vehicle and for generating respective camera images, which by the respective camera units 3a to 3d detected environment, that is, the respectively detected areas of the environment 4 , represent. In the example shown, the camera device 2 while a first camera unit 3a , a second camera unit 3b , a third camera unit 3c and a fourth camera unit 3d on. The first camera unit 3a serves to capture the environment 4 and generating a first camera image, the second camera unit 3b detecting the environment and generating a second camera image which is captured by the second camera unit 3b represented captured environment. The same applies to the third and fourth camera unit 3c . 3d ,

Die Kameraeinrichtung 2 umfasst vorliegend auch eine Recheneinheit 5, welche ausgebildet ist, eine jeweilige Charakteristik für ein Bildrauschen in dem jeweiligen Kamerabild in Abhängigkeit von einem in der Recheneinheit 5 hinterlegten Vorhersagemodell für das Bildrauschen vorherzusagen. Die Recheneinheit 5 ist somit ausgebildet, für ein Bildrauschen in dem ersten Kamerabild eine erste Charakteristik vorherzusagen, für das Bildrauschen in dem zweiten Kamerabild eine zweite Charakteristik vorherzusagen, sowie vorliegend entsprechend eine dritte und vierte Charakteristik vorherzusagen.The camera device 2 in the present case also includes a computing unit 5 , which is formed, a respective characteristic for image noise in the respective camera image in dependence on a in the arithmetic unit 5 predicted predictive model for image noise. The arithmetic unit 5 is thus configured to predict a first characteristic for image noise in the first camera image, to predict a second characteristic for the image noise in the second camera image, and to predict a third and fourth characteristic in accordance with the present case.

Des Weiteren ist die Recheneinheit 5 ausgebildet, das Bildrauschen der jeweiligen Kamerabilder in Abhängigkeit der jeweils für das Bildrauschen in den entsprechenden Kamerabildern vorhergesagten Charakteristik aneinander anzugleichen, und zwar mit einem Anwenden eines jeweiligen Rauschfilters auf das entsprechende Kamerabild. So wird im Betrieb der Recheneinheit 5 beispielsweise durch die Recheneinheit 5 das Bildrauschen des ersten und des zweiten Kamerabildes in Abhängigkeit der jeweils für das Bildrauschen in dem ersten und dem zweiten Kamerabild vorhergesagten Charakteristik aneinander angeglichen. Entsprechend erfolgt dies auch für die weiteren Kamerabilder. Insgesamt wird so wechselweise das Bildrauschen in vorliegend allen vier Kamerabildern der Kameraeinheiten 3a bis 3d aneinander angeglichen. Die Recheneinheit 5 ist dabei ferner ausgebildet, ein die Umgebung 4 des Kraftfahrzeugs 1 repräsentierendes Gesamtbild 6 basierend auf den jeweiligen, vorliegend den vier, Kamerabildern zu erzeugen.Furthermore, the arithmetic unit 5 designed to match the image noise of the respective camera images depending on the respectively predicted for the image noise in the corresponding camera images characteristic with one another, applying a respective noise filter to the corresponding camera image. This is how the computing unit works during operation 5 for example, by the arithmetic unit 5 the image noise of the first and the second camera image as a function of the respectively predicted for the image noise in the first and the second camera image characteristic aligned with each other. Accordingly, this also takes place for the other camera images. Overall, the picture noise in the present case is in this case all four camera images of the camera units 3a to 3d aligned with each other. The arithmetic unit 5 is also designed to be an environment 4 of the motor vehicle 1 representing overall picture 6 based on the respective, in this case the four, camera images to produce.

Die Kameraeinrichtung 2 weist im gezeigten Beispiel auch eine Anzeigeeinheit 7 auf, welche dem Anzeigen des erzeugten Gesamtbildes 6 dient. Im gezeigten Beispiel ist für das Gesamtbild 6 als Perspektive die Vogelperspektive vorgegeben. Durch die Perspektive, vorliegend die Vogelperspektive, des Gesamtbildes 6 ist so entsprechend eine geometrische Transformation für die einzelnen Kamerabilder vorgegeben, welche erforderlich ist, um unterschiedliche Bildbereiche 6a bis 6d des Gesamtbildes 6 basierend auf den einzelnen Kamerabildern der Kameraeinheiten 3a bis 3d perspektivisch korrekt darstellen zu können.The camera device 2 In the example shown also has a display unit 7 on which showing the generated overall picture 6 serves. In the example shown is for the overall picture 6 given as a perspective the bird's eye view. Through the perspective, in this case the bird's eye view, of the overall picture 6 is given in accordance with a geometric transformation for the individual camera images, which is required to different image areas 6a to 6d of the overall picture 6 based on the individual camera images of the camera units 3a to 3d to represent correctly in perspective.

Durch das Anpassen des Bildrauschens in den Kamerabildern der Kameraeinheiten 3a bis 3d in Abhängigkeit der jeweiligen vorhergesagten Charakteristik wird so in dem Gesamtbild 6 ein harmonisiertes Bildrauschen erreicht, in welchem das Bildrauschen in den unterschiedlichen Bildbereichen 6a bis 6d weitgehend homogen ist und so eine bessere Bildqualität für das Gesamtbild 6 erreicht wird.By adjusting the noise in the camera images of the camera units 3a to 3d depending on the respective predicted characteristic becomes so in the overall picture 6 achieves a harmonized image noise in which the image noise in the different image areas 6a to 6d is largely homogeneous and so a better picture quality for the overall picture 6 is reached.

Für das Vorhersagemodell wird zum Modellieren des Bildrauschens dabei in Abhängigkeit einer Linseneigenschaft der jeweiligen Kameraeinheiten 3a bis 3d eine räumliche Verteilung einer relativen Stärke des Bildrauschens hinterlegt. Zusätzlich ist hier vorliegend für unterschiedliche Belichtungsszenarien in dem Vorhersagemodell ein Pegelwert für das Bildrauschen, also eine absolute Stärke des Bildrauschens, für die jeweiligen Kameraeinheiten 3a bis 3d hinterlegt. Insgesamt ist damit eine räumliche Verteilung für die absolute Stärke des Bildrauschens vorgegeben. Für das Erkennen der unterschiedlichen Belichtungsszenarien können im gezeigten Beispiel entsprechende Einstellungswerte, beispielsweise eine Belichtungseinstellung und/oder eine Bildverstärkungseinstellung, ein sogenanntes Camera Gain, der jeweiligen Kameraeinheiten 3a bis 3d durch die Recheneinheit 5 von den jeweiligen Kameraeinheiten 3a bis 3d abgerufen werden.For the predictive model, the modeling of the image noise is dependent on a lens characteristic of the respective camera units 3a to 3d a spatial distribution of a relative strength of the image noise deposited. In addition, for different exposure scenarios in the prediction model, a level value for the image noise, ie an absolute strength of the image noise, is present for the respective camera units 3a to 3d deposited. Overall, this provides a spatial distribution for the absolute strength of the image noise. In the example shown, corresponding setting values, for example an exposure setting and / or an image gain setting, a so-called camera gain, of the respective camera units can be used to detect the different exposure scenarios 3a to 3d through the arithmetic unit 5 from the respective camera units 3a to 3d be retrieved.

Vorliegend hängt das Vorhersagemodell auch über eine Dichtekarte von der für die Gesamtansicht 6 gewählten Perspektive ab. Aus der Dichtekarte geht hervor, wie stark eine geometrische Deformation der Kamerabilder in unterschiedlichen Bildbereichen ausgeprägt ist und damit in welchen Bildbereichen das Bildrauschen durch einen menschlichen Betrachter besonders deutlich oder besonders wenig deutlich wahrgenommen werden kann.In the present case, the predictive model also depends on a density map of that for the overall view 6 chosen perspective. From the density map shows how strongly a geometric deformation of the camera images in different image areas is pronounced and thus in which image areas the image noise by a human observer can be particularly clearly or not very clearly perceived.

Die vorhergesagten Charakteristiken für das Bildrauschen werden nun in der Recheneinrichtung 5 für die unterschiedlichen Kamerabilder verglichen und sodann jeweilige Rauschfilter angepasst, das heißt einerseits im vorliegenden Fall ein jeweiliger räumlicher Rauschfilter in den entsprechenden Kameraeinheiten 3a bis 3d, sowie ein adaptiver zeitlicher Rauschfilter zum Einstellen einer absoluten Stärke des Bildrauschens in Kombination mit einem weiteren räumlichen Rauschfilter in der Recheneinrichtung 5 angepasst, um das Bildrauschen in den unterschiedlichen Kamerabildern und somit den unterschiedlichen Bildbereichen 6a bis 6d des Gesamtbilds 6 zu harmonisieren. Der Rauschfilter in der Recheneinheit 5 wird dabei in seiner Stärke vorliegend durch eine Belichtungseinstellung und eine Bildverstärkungseinstellung der jeweiligen Kamera 3a bis 3d bestimmt. Zusätzlich wird vorliegend der räumliche Rauschfilter in einer Filterstärke in Abhängigkeit einer Geschwindigkeit des Kraftfahrzeugs 1 erhöht sowie entsprechend umgekehrt die Stärke des zeitlichen Rauschfilters in Abhängigkeit der Geschwindigkeit des Kraftfahrzeugs 1 reduziert. Für ein schnelleres Kraftfahrzeug ist die Stärke des zeitlichen Rauschfilters im Vergleich zu einem langsameren oder stehenden Kraftfahrzeug 1 also reduziert, die Stärke des räumlichen Rauschfilters hingegen erhöht. Des Weiteren können vorliegend die jeweiligen Einstellungen der in den Kameraeinheiten 3a bis 3d implementierten Rauschfilter in dem Rauschfilter in der Recheneinheit 5 berücksichtigt werden, sowie der räumliche Rauschfilter in den jeweiligen Kameraeinheiten 3a bis 3d als Teil des gesamten Rauschfilters durch die Recheneinheit 5 gesteuert werden.The predicted characteristics for the image noise will now be in the computing device 5 for the different camera images compared and then adapted respective noise filter, that is, on the one hand in the present case, a respective spatial noise filter in the corresponding camera units 3a to 3d and an adaptive temporal noise filter for adjusting an absolute magnitude of the image noise in combination with another spatial noise filter in the computing device 5 adjusted to the image noise in the different camera images and thus the different image areas 6a to 6d of the overall picture 6 to harmonize. The noise filter in the arithmetic unit 5 is present in its strength by an exposure setting and an image gain setting of the respective camera 3a to 3d certainly. In addition, in the present case, the spatial noise filter is in a filter strength as a function of a speed of the motor vehicle 1 increases, and vice versa, the strength of the temporal noise filter as a function of the speed of the motor vehicle 1 reduced. For a faster vehicle, the strength of the temporal noise filter is compared to a slower or stationary vehicle 1 So reduced, the strength of the spatial noise filter, however, increased. Furthermore, in the present case, the respective settings in the camera units 3a to 3d implemented noise filter in the noise filter in the arithmetic unit 5 be taken into account, as well as the spatial noise filter in the respective camera units 3a to 3d as part of the entire noise filter by the arithmetic unit 5 to be controlled.

Durch die ersten genannten Schritte wird das Bildrauschen in den Kamerabildern in Abhängigkeit des jeweiligen Typs der Kameraeinheit 3a bis 3d von unterschiedlichen Lichtbedingungen modelliert. Das Modellieren kann sich hier auf eine Art des Rauschens beziehen, beispielsweise darauf, ob es sich um ein korreliertes Rauschen handelt oder nicht, und/oder auf eine Rauschstärke (Noise Level), und/oder auf eine räumliche Verteilung über das Bild. Für ein korreliertes Rauschen gilt die Annahme nicht, dass das Rauschen räumlich unabhängig ist. Die erzeugte räumliche Verteilung für das Bildrauschen ist dabei in Kombination mit der Dichtekarte genutzt, um für bestimmte räumliche Positionen des Kamerabildes, welches für das Gesamtbild 6 genutzt wird, ein jeweiliges tatsächlich vorhandenes Bildrauschen vorherzusagen. Da der jeweilige Rauschfilter für die einzelnen Kamerabilder entsprechend dem aufgebauten Wissen über das zu erwartende Bildrauschen über das Vorhersagemodell angepasst ist, wird so im Gesamtbild 6 ein harmonisiertes, gleichmäßiges Bildrauschen erreicht. Dafür können auch unterschiedliche Bildbereiche des jeweiligen Kamerabildes unterschiedlich stark gefiltert werden, sodass beispielsweise ein Grenzbereich des ersten Kamerabildes, welcher in dem Gesamtbild 6 an den Bildbereich 6b anschließt, und der entsprechende Grenzbereich des zweiten Kamerabildes, welcher in dem Gesamtbild 6 an den Bildbereich 6a anschließt, in ihrem Bildrauschen aneinander angeglichen werden. Dies kann entsprechend für den Grenzbereich des ersten Kamerabildes, welcher in dem Gesamtbild 6 an den Bildbereich 6d angrenzt, und an den Grenzbereich des vierten Kamerabildes, welcher in dem Gesamtbild 6 an den Bildbereich 6a anschließt, vorgenommen werden. Die Grenzbereiche der Bilder können dabei in dem Gesamtbild 6 auch überlappen. Somit kann über ein räumlich in den einzelnen Kamerabildern und damit auch dem Gesamtbild 6 angepasstes Filtern des Bildrauschens insgesamt eine besonders gute Bildqualität für das Gesamtbild 6 erreicht werden.By the first mentioned steps, the image noise in the camera images becomes dependent on the respective type of the camera unit 3a to 3d modeled by different lighting conditions. Modeling may refer to a type of noise, for example, whether it is correlated noise or not, and / or noise level, and / or spatial distribution across the image. For a correlated noise, the assumption does not hold that the noise is spatially independent. The generated spatial distribution for the image noise is used in combination with the density map, for certain spatial positions of the camera image, which for the overall picture 6 is used to predict a respective existing image noise. Since the respective noise filter for the individual camera images is adjusted according to the established knowledge about the expected image noise on the predictive model, so in the overall picture 6 achieves a harmonized, uniform image noise. For this purpose, different image areas of the respective camera image can be filtered to different degrees, so that, for example, a border region of the first camera image, which in the overall image 6 to the picture area 6b connects, and the corresponding border area of the second camera image, which in the overall picture 6 to the picture area 6a connects, be matched in their noise. This can correspondingly for the border region of the first camera image, which in the overall picture 6 to the picture area 6d adjacent, and to the border area of the fourth camera image, which in the overall picture 6 to the picture area 6a connects, be made. The border areas of the pictures can thereby in the total picture 6 also overlap. Thus, it can be spatially in the individual camera images and thus the overall picture 6 matched filtering of noise overall, a particularly good picture quality for the overall picture 6 be achieved.

Claims

Method for operating a camera device (2) of a motor vehicle (1), having a a) detecting an environment (4) of the motor vehicle (1) by a first camera unit (3a) of the camera device (2) and a second camera unit (3b) of the camera device (2); b) generating a first camera image, which represents the environment (4) detected by the first camera unit (3a), by the first camera unit (3a), and a second camera image, which detects the environment (4) detected by the second camera unit (3b) represented by the second camera unit (3b); c) predicting a first characteristic for an image noise in the first camera image and a second characteristic for image noise in the second camera image by a computing unit (5) of the camera device (2) as a function of an image noise prediction model stored in the arithmetic unit (5); d) matching the image noise of the first and second camera images with each other depending on the characteristic predicted for the image noise in the first and second camera images by the arithmetic unit (5) applying a respective noise filter to the first or second camera image; e) generating an environment (4) of the motor vehicle (1) representing overall image (6) based on the two camera images by the computing unit (5).

Method according to Claim 1 , characterized in that the characteristics each comprise a spatial distribution of a relative strength of the image noise and / or a measure of a spatial correlation of the image noise and / or a level value of the image noise.

Method according to one of the preceding claims, characterized in that for different image areas of the respective camera image, a filter strength of the respective noise filter is specified independently of each other.

Method according to one of the preceding claims, characterized in that the prediction model is dependent on a property of the respective camera unit (3a, 3b, 3c, 3d), in particular a lens characteristic, preferably a focal length, and / or a position in which the Camera unit (3a, 3b, 3c, 3d) when used as intended on the motor vehicle (1) is arranged.

Method according to one of the preceding claims, characterized in that the predictive model is dependent on an adjustment of the respective camera unit (3a, 3b, 3c, 3d), in particular an exposure setting and / or an image enhancement and / or a spectrum of exposure settings.

Method according to one of the preceding claims, characterized in that the prediction model depends on a density map, which indicates how many pixels of the respective camera image are imaged onto a pixel of the overall image (6).

Method according to one of the preceding claims, characterized in that the respective noise filter comprises a temporal noise filter whose filter strength is predetermined as a function of the predicted characteristic for the respective image noise.

Method according to Claim 7 , characterized in that the filter strength of the temporal noise filter in dependence on a speed of the motor vehicle (1) and / or the exposure setting of the respective camera unit (3a, 3b, 3c, 3d) is set.

Method according to one of the preceding claims, characterized in that the respective noise filter comprises a spatial noise filter whose filter strength is predetermined as a function of the predicted characteristic for the respective image noise.

Method according to Claim 9 , Characterized in that the filter strength of the spatial noise filter depending on the setting of the respective camera unit (3a, 3b, 3c, 3d), in particular the exposure setting and / or the image intensifier and / or the spectrum of lighting settings, is set in.

Method according to one of the preceding claims, characterized in that the first and / or second camera unit (3a, 3b) has an additional, in the respective camera unit (3a, 3b) integrated spatial noise filter and the filter strength of the respective, in particular the respective spatial, Noise filter is set depending on a setting of the additional noise filter.

Method according to one of the preceding claims, characterized in that at least one setting of the camera unit (3a, 3b, 3c, 3d) is adjusted by the arithmetic unit (5) during the adjustment according to method step d) and / or the first and / or second camera unit (3a, 3b) has the additional in the respective camera unit (3a, 3b) integrated spatial noise filter, and an adjustment of the integrated spatial noise filter by the arithmetic unit (5) in the adjustment according to step d) is set.

Method according to one of the preceding claims, characterized in that the detection of the environment (4) according to method step a), the generation of the camera images according to method step b), the matching of the image noise according to method step d) and the generation of the overall image (6) according to method step e) is carried out repeatedly, in particular also the prediction of the respective characteristic according to method step c).

Camera device (2) for a motor vehicle (1), comprising - a first and a second camera unit (3a, 3b) for detecting an environment (4) of the motor vehicle (1) and generating a first camera image which is captured by the first camera unit ( 3a, 3b) represents detected surroundings (4), as well as a second camera image, which represents the environment (4) detected by the second camera unit (3a, 3b); characterized by - a computing unit (5) which is designed to predict a first characteristic for an image noise in the first camera image and a second characteristic for an image noise in the second camera image in dependence on a prediction model stored in the arithmetic unit (5) for the image noise and to match the image noise of the first and second camera images depending on the characteristic predicted for the image noise in the first and second camera images, respectively, by applying a respective noise filter to the first or second camera image and further surrounding (4) of the motor vehicle (1) representing overall image (6) based on the two camera images to produce.

Motor vehicle (1) with a camera device (2) according to Claim 14 ,