DE102023002809A1

DE102023002809A1 - Process for improving the image quality of a multi-camera system

Info

Publication number: DE102023002809A1
Application number: DE102023002809.6A
Authority: DE
Inventors: Jürgen Dörflinger; Sven Fleck
Original assignee: Mercedes Benz Group AG
Current assignee: Mercedes Benz Group AG
Priority date: 2023-07-10
Filing date: 2023-07-10
Publication date: 2023-09-07

Abstract

Die Erfindung betrifft ein Verfahren zur Verbesserung der Bildqualität eines Multikamerasystems eines Fahrzeugs, das für eine Umgebungserfassung und Anzeige virtueller Ansichten einer Fahrzeugumgebung ausgebildet ist.Die Erfindung ist dadurch gekennzeichnet, dass Videoströme mehrerer Kameras des Multikamerasystems auf Basis vorbestimmte Bildmerkmale analysiert werden, wobei eine virtuelle Kamera definiert wird, wobei Bildmerkmale der mehreren Kameras an Werte der Bildmerkmale der virtuellen Kamera angepasst werden.The invention relates to a method for improving the image quality of a multi-camera system of a vehicle, which is designed for detecting the surroundings and displaying virtual views of a vehicle environment. The invention is characterized in that video streams from a number of cameras in the multi-camera system are analyzed on the basis of predetermined image features, with a virtual camera is defined, wherein image features of the plurality of cameras are adjusted to values of the image features of the virtual camera.

Description

Die Erfindung betrifft ein Verfahren zur Verbesserung der Bildqualität eines Multikamerasystems.The invention relates to a method for improving the image quality of a multi-camera system.

An Fahrzeugen sind mehrere Kameras verbaut, welche zur Aufnahme der Umgebung eines Fahrzeugs ausgebildet sind. Die unterschiedlichen Kameras dienen beispielsweise zur Unterstützung beim Einparken bzw. beim allgemeinen Rückwärtsfahren.Several cameras are installed on vehicles, which are designed to record the surroundings of a vehicle. The different cameras are used, for example, to provide support when parking or when reversing in general.

Aus dem Stand der Technik ist weiterhin bekannt, eine virtuelle Aufnahme des Fahrzeugs von außen zu erzeugen, wobei die am Fahrzeug verbauten Kameras eingesetzt werden.It is also known from the prior art to generate a virtual recording of the vehicle from the outside, with the cameras installed on the vehicle being used.

Aus der DE 10 2019 207 415 A1 ist ein Verfahren bekannt, das ein Bild einer Fahrzeugumgebung generieren kann. Dazu wird zunächst die Fahrzeugumgebung durch mehrere Fahrzeugkameras aufgenommen. Aus den unterschiedlichen Kamerabildern, die sich teilweise überlappen, kann eine virtuelle Repräsentation einer Umgebung des Fahrzeugs in einem virtuellen dreidimensionalen geometrischen Raum (etwa eine Halbkugel oder ein komplexes dreidimensionales geometrisches Umgebungsmodell) erzeugt werden, welche durch obige Kamerabilder texturiert wird. In diesem dreidimensionalen, texturierten Raum können (entkoppelt von den Fahrzeugkameras) eine oder mehrere virtuelle Kameras definiert werden aus deren Blickwinkel die texturierte Umgebung (durch Simulation des optischen Pfades inkl. simulierter geometrischer Projektion auf den jeweiligen Sensor einer virtuellen Kamera) betrachtet und beispielsweise auf einem Display oder Head Up Display angezeigt werden kann. Ebenso ist eine virtuelle Stereokamera/3D-Kamera denkbar um etwa in einem 3D Display eine dreidimensionale, virtuelle Sicht zu ermöglichen Mithilfe einer virtuellen Kamera kann insbesondere das Fahrzeug und die Umgebung um das Fahrzeug von außen betrachtet werden, wobei die virtuelle Kamera etwa den Blick einer Drohne entspricht, deren Position und Orientierung relativ zum Fahrzeug sich zur Laufzeit nahezu beliebig verändern lässt. Um die Bildqualität zu optimieren und die Illusion einer solchen virtuellen Kamera („Drohne“) zu maximieren, müssen die resultierenden Bilder der unterschiedlichen Kameras zueinander angepasst werden, insbesondere durch Anpassung einzelner Bildparameter der unterschiedlichen Kameras und durch Nachverarbeitung („Harmonisierung“).From the DE 10 2019 207 415 A1 a method is known that can generate an image of a vehicle environment. For this purpose, the vehicle surroundings are first recorded by several vehicle cameras. A virtual representation of an environment of the vehicle in a virtual three-dimensional geometric space (such as a hemisphere or a complex three-dimensional geometric environment model) can be generated from the different camera images, which partially overlap, which is textured by the above camera images. In this three-dimensional, textured space, one or more virtual cameras can be defined (decoupled from the vehicle cameras) from whose perspective the textured environment (by simulating the optical path including a simulated geometric projection on the respective sensor of a virtual camera) can be viewed and, for example, on a Display or Head Up Display can be displayed. A virtual stereo camera/3D camera is also conceivable, for example to enable a three-dimensional, virtual view in a 3D display. Using a virtual camera, the vehicle and the area around the vehicle in particular can be viewed from the outside, with the virtual camera e.g corresponds to a drone whose position and orientation relative to the vehicle can be changed almost at will at runtime. In order to optimize the image quality and maximize the illusion of such a virtual camera ("drone"), the resulting images from the different cameras must be adjusted to one another, in particular by adjusting individual image parameters of the different cameras and by post-processing ("harmonization").

Die Anpassung der einzelnen Bildparameter ist schwierig, da die unterschiedlichen Kameras an unterschiedlich ausgerichteten Positionen und Orientierungen um das Fahrzeug herum angeordnet sind. So sind die Kameras an den Seitenspiegeln oftmals eher nach unten zur Straße ausgerichtet, die Frontkamera beziehungsweise die Heckkamera hingegen in Richtung Horizont. Insbesondere die Helligkeit der aufgenommenen Bilder variiert demnach erheblich, da einige Kameras in Richtung Sonne ausgerichtet sind. Dies ist insbesondere dann der Fall, wenn die Bildregelung (Rückkopplung ISP -> Bildsensor, etwa Auto Exposure Control (Belichtungszeiten, Gain), Tonwertkurven, Automatischer Weißabgleich) per Kamera rein auf die jeweilige Szene optimiert ist und so beispielsweise den Dynamikumfang des Sensors optimal nutzt (und Über-/Unterbelichtungen zu vermeiden). Die entstehenden Bilder sind jedoch ohne Wissen um die virtuelle Kamera entstanden, und müssen daher erfindungsgemäß invertiert und harmonisiert werden. Hierzu wird erfindungsgemäß Metainformation entlang der Bildpipeline mit übertragen (etwa durch Embedded Line Registerwerte von Imager und ISP, ebenso EEPROM-Information der kamerasample-spezifischen Bildqualitätswerte aus der Kameraproduktion (Schärfewerte). Mit diesen Informationen kann der resultierende Bildstrom interpretiert werden und zur Harmonisierung invertiert werden, bevor die Eigenschaften der virtuellen Kamera stattdessen angewandt werden. Die Invertierung und anschließende Anwendung von Effekten (etwa Bildaufhellung und anschließende -abdunklung) können erfindungsgemäß in einem Schritt durchgeführt werden indem nur das resultierende Delta per Kamera angewandt wird.Adjusting the individual image parameters is difficult because the different cameras are arranged in different aligned positions and orientations around the vehicle. The cameras on the side mirrors are often aimed downwards towards the road, while the front camera or rear camera is aimed towards the horizon. In particular, the brightness of the recorded images varies considerably because some cameras are oriented towards the sun. This is particularly the case when the image control (ISP feedback -> image sensor, such as Auto Exposure Control (exposure times, gain), tone value curves, automatic white balance) is optimized per camera for the respective scene and thus makes optimal use of the dynamic range of the sensor, for example (and avoid over/underexposure). However, the resulting images were created without knowledge of the virtual camera and therefore have to be inverted and harmonized according to the invention. For this purpose, according to the invention, meta information is also transmitted along the image pipeline (e.g. through embedded line register values from imager and ISP, as well as EEPROM information of the camera sample-specific image quality values from camera production (sharpness values). With this information, the resulting image stream can be interpreted and inverted for harmonization before the properties of the virtual camera are applied instead The inversion and subsequent application of effects (such as image brightening and subsequent image darkening) can be performed in one step according to the invention by only applying the resulting delta per camera.

Ein Beispiel ist im Bereich Belichtungsregelung / Tonwertkurven: Die resultierenden Intensitätswerte im Bild von Kamera #i (z.B. Helligkeit 80 DN) vs. Kamera #j (Helligkeit 100 DN, also heller) bedeutet nicht zwingend, dass Kamera #j abgedunkelt werden muss. Hingegen muss die Tonwertkurve verwendet werden um die Helligkeitswerte in einer vereinheitlichten Skala hoher Bittiefe (ähnlich einer Lux-Skala) eingeordnet werden können. Erst hierin wird die Harmonisierung durchgeführt werden.An example is in the area of exposure control / tone value curves: The resulting intensity values in the image from camera #i (e.g. brightness 80 DN) vs. camera #j (brightness 100 DN, i.e. brighter) does not necessarily mean that camera #j has to be darkened. On the other hand, the tone value curve must be used in order to be able to classify the brightness values in a unified scale with a high bit depth (similar to a lux scale). Only then will the harmonization be carried out.

Weiterhin nachteilig ist eine Ausleuchtung um das Fahrzeug sehr inhomogen, was auch als sogenannter Lichtteppich bezeichnet werden kann. Dies wirkt sich insbesondere im Dunkeln auf eine Schärfe der erzeugten Bilder aus, wobei ein Rauschverhalten zu beobachten ist. Dunkelheit kann ebenso in einem Tunnel oder in einer Garage zum Problem werden, wenn beispielsweise die Frontkamera in Richtung Tunnel ausgerichtet ist, und die Heckkamera in Richtung der Tunneleinfahrt und damit einem hellen Bereich, oder andersherum. Andere Beispiele sind denkbar, bei welchen eine Kamera in einem Kunstlichtbereich angeordnet ist, und eine weitere Kamera eine Sonnenlichteinstrahlung erfährt. Insbesondere wirkt sich dies auf die Farbtemperatur der unterschiedlichen Kamerabilder aus. Es ist weiterhin denkbar, dass Pixelregionen der einzelnen Kameras geometrisch unterschiedlich transformiert bzw. skaliert werden, wodurch die genannten Effekte weiter verstärkt werden.Another disadvantage is the very inhomogeneous illumination around the vehicle, which can also be referred to as a so-called carpet of light. This affects the sharpness of the images generated, particularly in the dark, with noise behavior being observed. Darkness can also become a problem in a tunnel or in a garage, for example if the front camera is aimed in the direction of the tunnel and the rear camera in the direction of the tunnel entrance and thus a bright area, or vice versa. Other examples are conceivable, in which a camera is arranged in an artificial light area and another camera is exposed to sunlight. In particular, this affects the color temperature of the different camera images. It is also conceivable that pixel regions of the individual NEN cameras are transformed or scaled differently geometrically, whereby the mentioned effects are further intensified.

Die Aufgabe der vorliegenden Erfindung besteht nun darin, ein Verfahren anzugeben, welches die oben genannten Nachteile überwindet.The object of the present invention consists in specifying a method which overcomes the disadvantages mentioned above.

Erfindungsgemäß wird diese Aufgabe durch ein Verfahren mit den Merkmalen im Anspruch 1, und hier insbesondere im kennzeichnenden Teil des Anspruchs 1 gelöst. Vorteilhafte Ausgestaltungen und Weiterbildungen ergeben sich aus den hiervon abhängigen Unteransprüchen.According to the invention, this object is achieved by a method having the features in claim 1, and here in particular in the characterizing part of claim 1. Advantageous refinements and developments result from the dependent subclaims.

Im Kern des erfindungsgemäßen Verfahrens werden Videoströme mehrerer Kameras des Multikamerasystems auf Basis vorbestimmte Bildmerkmale analysiert, wobei durch eine angeforderte virtuelle Sicht eine virtuelle Kamera definiert wird, wobei die Bildmerkmale der mehreren Kameras durch Werte der Bildmerkmale der virtuellen Kamera angeglichen werden. Dadurch können sich die Bildmerkmale der virtuellen Kamera definieren, Die Bildmerkmale der virtuellen Kamera können als Ziel-Bildmerkmale bezeichnet werden, Die Ziel-Bildmerkmale können aus Mittelwerten der Bildmerkmale von zumindest einer Einzelkameras, oder auch aus Mittelwerten der Bildmerkmale von zwei oder mehr Kameras bestimmt werden. Dazu werden zunächst die Einzelkameras hinsichtlich der Bildmerkmale analysiert, wobei insbesondere Metadaten der Kameras verwendet werden können. Diese Metadaten können beispielsweise bildsynchron übertragen werden. Die Bildmerkmale können beispielsweise über ein Postprozessing auf die Werte der Ziel-Bilddaten der virtuellen Kamera angepasst werden.At the core of the method according to the invention, video streams from a number of cameras in the multi-camera system are analyzed on the basis of predetermined image features, with a virtual camera being defined by a requested virtual view, with the image features of the number of cameras being adjusted by values of the image features of the virtual camera. This allows the image features of the virtual camera to be defined. The image features of the virtual camera can be referred to as target image features. The target image features can be determined from mean values of the image features of at least one individual camera, or from mean values of the image features of two or more cameras . For this purpose, the individual cameras are first analyzed with regard to the image features, it being possible in particular to use metadata from the cameras. This metadata can, for example, be transmitted synchronously with the image. The image features can be adjusted to the values of the target image data of the virtual camera via post-processing, for example.

Das Verfahren ist zur Verbesserung der Bildqualität eines Multikamerasystems eines Fahrzeugs ausgebildet, wobei das Multikamerasystem für eine Umgebungserfassung und Anzeige virtueller Ansichten einer Fahrzeugumgebung dient. Dadurch kann insbesondere die Illusion einer Kamera erzeugt werden, die wie eine virtuelle Drohne auf das Fahrzeug ausgerichtet ist. Die Kamerabilder der einzelnen Kameras werden dabei zu einer neuen Ansicht kombiniert, die insbesondere auch aus der Vogelperspektive das Fahrzeug darstellen kann.The method is designed to improve the image quality of a multi-camera system of a vehicle, with the multi-camera system being used for detecting the surroundings and displaying virtual views of a vehicle's surroundings. In particular, this can create the illusion of a camera that is aimed at the vehicle like a virtual drone. The camera images from the individual cameras are combined to form a new view, which can also show the vehicle from a bird's eye view.

Bevorzugt wird zwischen geometrischen Eigenschaften der virtuellen Kamer, sogenannter „Kalibrierungswerte“, und inhaltlichen Bildeigenschaften, sogenannter „Bildmerkmale“ bzw. Bildqualität, unterschieden. Geometrisch kann die virtuelle Kamera durch die Kundenanwendung definiert werden, wobei ein gewünschter Blickwinkel gewählt werden kann. Die Bildmerkmale sollten hingegen harmonisiert werden, um die Illusion der fliegenden virtuellen Kamera zu erzeugen, auch wenn die Fahrzeugkameras aus ihrem beschränkten Blickwinkel die virtuelle Kamera nicht kennen und damit die Fahrzeugkameraströme sich angleichen müssen.A distinction is preferably made between geometric properties of the virtual camera, so-called “calibration values”, and content-related image properties, so-called “image features” or image quality. The virtual camera can be defined geometrically by the customer application, whereby a desired viewing angle can be selected. On the other hand, the image features should be harmonized to create the illusion of the flying virtual camera, even if the vehicle cameras do not know the virtual camera from their limited angle of view and the vehicle camera streams must therefore be aligned.

In einer Anwendung aus dem Stand der Technik kann die Verwendung einer der Fahrzeugkameras zur Festlegung von Ziel-Bildmerkmalen (etwa die Frontkamera) zu teils schlechten Harmonisierungsergebnissen führen, da diese nicht immer repräsentativ ist („Blick in Garage“) und sich alle anderen Kameras hierzu anpassen müssen. Dies kann zu einem Informationsverlust und Verlust der Bildqualität führen. Erfindungsgemäß wird hingegen ein Verfahren vorgeschlagen, welche hinsichtlich Bildmerkmale eine optimale virtuelle Kamera festlegt, bevorzugt genau die Kamera die für die virtuelle Ansicht verwendet wird. Wesentlicher Bestandteil der Erfindung ist jedoch die Harmonisierung zu dieser virtuellen Kamera.In an application from the prior art, the use of one of the vehicle cameras to define target image features (e.g. the front camera) can sometimes lead to poor harmonization results, since this is not always representative ("view into the garage") and all other cameras are related to this have to adjust. This can lead to loss of information and loss of image quality. According to the invention, on the other hand, a method is proposed which defines an optimal virtual camera with regard to image features, preferably exactly the camera that is used for the virtual view. However, an essential part of the invention is the harmonization of this virtual camera.

Bevorzugt kann eine 3D-Position und 3D-Orientierung (extrinsische Kalibrierwerte - „Blickwinkel“) der virtuellen Kamera relativ zum Fahrzeug durch den gewünschten Blickwinkel definiert werden (etwa vom Anwender), dies gilt ebenso für die intrinsischen Kalibrierwerte der virtuellen Kamera (etwa Brennweite).Preferably, a 3D position and 3D orientation (extrinsic calibration values - "viewing angle") of the virtual camera relative to the vehicle can be defined by the desired viewing angle (e.g. by the user), this also applies to the intrinsic calibration values of the virtual camera (e.g. focal length) .

In einer bevorzugten Ausführung ist die virtuelle Kamera geometrisch mittig über dem Fahrzeug mit dem Blick nach unten definiert („Top View“), wobei bevorzugt die Bildmerkmale rein von den Inhalten der Fahrzeugkameras abhängen. Insbesondere wird erfindungsgemäß der Kameraflug der virtuellen Kamera und somit auch die geometrischen Unterschiede zu den Fahrzeugkameras jedoch laufend verändert.In a preferred embodiment, the virtual camera is defined geometrically in the center above the vehicle looking downwards (“top view”), with the image features preferably depending purely on the content of the vehicle cameras. In particular, however, the camera flight of the virtual camera and thus also the geometric differences to the vehicle cameras are continuously changed according to the invention.

Bevorzugt können Ziel-Bildmerkmale der Kameras in einer anschließenden Harmonisierung weiter an Umgebungsbedingungen der virtuellen Kamera angepasst werden. In einer derartigen gemeinsamen Anpassung bzw. gemeinsamen Harmonisierung von Bildmerkmalen der einzelnen Kameras sowie der virtuellen Kamera kann die Bildqualität weiter optimiert werden. Dieser Schritt der Harmonisierung ist insbesondere vor dem zuvor genannten Anpassungsschritt der Kamerabilder an die virtuelle Kamera entkoppelt, und kann daher separat durchgeführt werden.Target image features of the cameras can preferably be further adapted to environmental conditions of the virtual camera in a subsequent harmonization. The image quality can be further optimized in such a joint adaptation or joint harmonization of image features of the individual cameras and of the virtual camera. This harmonization step is decoupled from the virtual camera, in particular before the aforementioned adjustment step of the camera images, and can therefore be carried out separately.

Gemäß einer sehr vorteilhaften Weiterbildung der Idee kann es dabei vorgesehen sein, dass Überlappungsbereiche in Bildausschnitten der mehreren Kameras analysiert werden, wobei in den Überlappungsbereichen die Bildmerkmale analysiert und Unterschiede minimiert werden. Dadurch kann insbesondere die Bildqualität verbessert werden.According to a very advantageous development of the idea, it can be provided that overlapping areas in image sections of the multiple cameras are analyzed, with the image features being analyzed in the overlapping areas and differences being minimized. In this way, the image quality in particular can be improved.

Die einfache Minimierung der Unterschiede auf 2D-Bildebene kann fehlschlagen, insbesondere da die Kameras die Umgebung aus unterschiedlichen geometrischen Positionen betrachten, die Reflexionseigenschaften der Umgebung jedoch nicht immer diffus sind. Beispielsweise bei Nässe kann dies zu deutlich anderen (korrekten) Ansichten führen. Dies soll insbesondere nicht durch Harmonisierung entfernt werden. Die einfache Minimierung der Unterschiede auf 2D-Bildebene kann weiterhin fehlschlagen, da die extrinsische / intrinsische Kalibrierung der Kameras zueinander (etwa über das Fahrzeugkoordinatensystem) nicht immer korrekt ist Die einfache Minimierung der Unterschiede auf 2D-Bildebene kann weiterhin fehlschlagen, da das 3D-Umgebungsmodell inkorrekt / zu primitiv ist (einfache Straßenebene, oder statische Bowl). Erfindungsgemäß wird bevorzugt ein texturierte 3D-Modell als Basis verwendet, in welches die Fahrzeugkameras Textur hinzufügen und auf welches die virtuelle Kamera wiederum blickt.Simply minimizing the differences at the 2D image plane can fail, especially since the cameras view the environment from different geometric positions, but the reflective properties of the environment are not always diffuse. For example, when it is wet, this can lead to significantly different (correct) views. In particular, this should not be removed through harmonization. The simple minimization of the differences on the 2D image plane can still fail because the extrinsic / intrinsic calibration of the cameras to each other (e.g. via the vehicle coordinate system) is not always correct. The simple minimization of the differences on the 2D image plane can still fail because the 3D environment model is incorrect / too primitive (simple street level, or static bowl). According to the invention, a textured 3D model is preferably used as the basis, into which the vehicle cameras add texture and which the virtual camera in turn looks at.

Dabei kann es gemäß einer vorteilhaften Ausgestaltung vorgesehen sein, dass es sich bei den Bildmerkmalen um einen Farbton, eine Helligkeit, eine Farbtemperatur, eine Tonwertkurve, einem Schärfewert/Schärfekurve, einem Rauschwert/Rauschspektrum, einem Kontrastwert, ein SNR-Wert und/oder eine Belichtungszeit handelt. So kann beispielsweise eine Belichtungszeit der jeweiligen Kamera durch ein Postprocessing auf die Werte der virtuellen Kamera angepasst werden, was beispielsweise durch eine Bildaufhellung oder eine Bildabdunkelung erfolgen kann.According to an advantageous embodiment, it can be provided that the image features are a hue, a brightness, a color temperature, a tone value curve, a sharpness value/sharpness curve, a noise value/noise spectrum, a contrast value, an SNR value and/or a exposure time. For example, an exposure time of the respective camera can be adjusted to the values of the virtual camera by post-processing, which can be done, for example, by brightening or darkening the image.

Eine weitere vorteilhafte Ausgestaltung kann es vorsehen, dass bereits im Fahrzeug verbaute Kameras verwendet werden. So können beispielsweise die Kameras an den Außenspiegeln, die Frontkamera sowie die Heckkamera verwendet werden. Andere am Fahrzeug verbaute Kameras, welche die Außenumgebung des Fahrzeugs zeigen, können ebenso eingesetzt werden.A further advantageous embodiment can provide that cameras already installed in the vehicle are used. For example, the cameras on the exterior mirrors, the front camera and the rear camera can be used. Other cameras installed on the vehicle, which show the outside environment of the vehicle, can also be used.

Eine weitere vorteilhafte Ausgestaltung kann es vorsehen, dass Metainformation der Kameras verwendet werden. Dies beinhaltet insbesondere Informationen des Bildsensors und/oder eines ISP und ermöglicht die Interpretation der Bildmerkmale der jeweiligen Kamera, insbesondere um erfindungsgemäße Effekte zu invertieren.A further advantageous refinement can provide for meta information from the cameras to be used. This includes in particular information from the image sensor and/or an ISP and enables the interpretation of the image features of the respective camera, in particular in order to invert effects according to the invention.

Dies umfasst insbesondere Belichtungszeiten, Gain-Werte, Tonwertkurven/ Compandingkurven/ ALTM-Kurven, Weißabgleich-Statistiken, geschätzte Farbtemperaturen, Sensortemperatur und/oder jegliche Konfiguration, welche die Nachverarbeitung im ISP betrifft (etwa Bildschärfung, Entrauschungs-Filter-Parameter). Zudem können insbesondere Parameter verwendet werden welche bei der Produktion der Kamera bekannt oder vermessen wurden (etwa Alignment-Werte, Schärfewerte über Feldwinkel) um auch diese Sample-spezifischen Eigenschaften zu invertieren. Insbesondere jegliche Kommunikation (Embedded Line, I2C etc.) sollen verwendet werden.In particular, this includes exposure times, gain values, tone curves/companding curves/ALTM curves, white balance statistics, estimated color temperatures, sensor temperature and/or any configuration that affects post-processing in the ISP (e.g. image sharpening, denoising filter parameters). In addition, parameters that are known or measured during the production of the camera (e.g. alignment values, sharpness values via field angle) can be used in particular to invert these sample-specific properties. In particular, any communication (embedded line, I2C etc.) should be used.

Eine weitere vorteilhafte Ausgestaltung kann es vorsehen, dass weitere Informationen aus dem Internet/Cloud/vom Fahrzeug verwendet werden, insbesondere Tageszeit, Sonnenstand, Wetter, Information weiterer Sensoren des Fahrzeugs (LIDAR, RADAR, Ultraschall, Regen-/Lichtsensor, weitere Kameras, welche nicht Teil der Visualisierung sind)A further advantageous embodiment can provide that further information from the Internet/cloud/from the vehicle is used, in particular time of day, position of the sun, weather, information from other sensors in the vehicle (LIDAR, RADAR, ultrasound, rain/light sensor, other cameras, which are not part of the visualization)

Eine weitere vorteilhafte Ausgestaltung kann es vorsehen, dass auf Architekturebene (logisch gesehen) ein ISP verwendet wird welcher die ISPs pro Kamera ersetzt und stattdessen die realen Kameras regelt und/oder verarbeitet, wobei die realen Kameras als Teilregionen (ROIs) eines vereinheitlichen virtuellen Bildes aufgefasst und harmonisiert werden.A further advantageous embodiment can provide that at the architecture level (seen logically) an ISP is used which replaces the ISPs per camera and instead regulates and/or processes the real cameras, with the real cameras being understood as sub-regions (ROIs) of a unified virtual image and be harmonized.

Weitere vorteilhafte Ausgestaltungen des erfindungsgemäßen Verfahrens ergeben sich auch aus dem Ausführungsbeispiel, welches nachfolgend unter Bezugnahme auf die Figur näher dargestellt ist.Further advantageous refinements of the method according to the invention also result from the exemplary embodiment which is illustrated in more detail below with reference to the figure.

Dabei zeigt:

1 eine schematische Darstellung eines Ablaufdiagramms des Verfahrens.

It shows:

1 a schematic representation of a flowchart of the method.

In der Darstellung der 1 ist eine mögliche Ausführungsform des Verfahrens dargestellt. Dabei ist ein Beispiel gezeigt, welchem Bilddaten von zwei unterschiedlichen Kameras analysiert werden. Die Kameras #i und #j werden dabei mithilfe der Harmonisierung_A analysiert, wobei Metadaten der Kameras verwendet werden. Diese werden beispielsweise bildsynchron übertragen über embedded line von imager /ISP, wobei Daten insbesondere bezüglich einer geschätzten Farbtemperatur, Tonwertkurve, Schärfekurve/-werte, MTF-Werte bei Kameraproduktion, Rauschwerte, ISP-Settings zu Nachschärfe-Filter, Rauschfilter, Shading Correction und/oder Belichtungszeit enthalten sein können. Die im Bildstrom der projizierten Kamera #i und #j zugrunde liegende Bildaufnahme bzw. Bildverarbeitung, wie beispielsweise eine Belichtungszeit, wird für jede Kamera durch ein Postprocessing auf die Werte der Zielkamera angepasst, wobei die Zielkamera die virtuelle Kamera darstellt. Hierbei kann es beispielsweise dann zu einer Bildaufhellung oder Bildabdunkelung kommen.In the representation of 1 a possible embodiment of the method is shown. An example is shown in which image data from two different cameras are analyzed. Cameras #i and #j are analyzed using harmonization_A, using metadata from the cameras. These are, for example, transmitted synchronously with the image via an embedded line from imager/ISP, with data relating in particular to an estimated color temperature, tone value curve, sharpness curve/values, MTF values in camera production, noise values, ISP settings for post-sharpening filters, noise filters, shading correction and/or or exposure time may be included. The image recording or image processing on which the image stream of the projected cameras #i and #j is based, such as an exposure time, is post-processed to the values of the target camera for each camera, with the target camera representing the virtual camera. This can result in the image being brightened or darkened, for example.

Eine weitere Angleichung der unterschiedlichen Bildaufnahmen kann anschließend in einem gemeinsamen Modul Harmonisierung_B erfolgen, welches unabhängig von und von dem Modul Harmonisierung_A durchgeführt werden kann. Das anschließend generierte Bild kann in einer Anzeige angezeigt werden. Dabei kann es sich um eine 3d-Darstellung handeln, welche eine Illusion einer Luftaufnahme zeigt, die beispielsweise von einer Drohne hätte aufgenommen werden können.A further adjustment of the different image recordings can then take place in a common module harmonization_B, which is independent of and from the module Harmonization_A can be carried out. The subsequently generated image can be displayed in a display. This can be a 3D representation that shows an illusion of an aerial view that could have been recorded by a drone, for example.

Des Weiteren können weitere Hardware-Komponenten umfasst sein, die in der Darstellung nicht gezeigt sind. So können beispielsweise ein Serializer/Deserializer, Encoder/Decoder oder weitere Filter eingesetzt werden. Des Weiteren kann eine Aufteilung in weitere Hardware-Komponenten, eine sogenannte Partitionierung, enthalten sein. So können beispielsweise manche Komponenten der Module dezentral in Kameraköpfen angeordnet sein, andere in ECUs oder in einem zentralen Domänenrechner, einem sogenannten Car Computer.Furthermore, other hardware components that are not shown in the illustration can be included. For example, a serializer/deserializer, encoder/decoder or other filters can be used. Furthermore, a division into further hardware components, a so-called partitioning, can be included. For example, some components of the modules can be arranged decentrally in camera heads, others in ECUs or in a central domain computer, a so-called car computer.

Eine bevorzugte Ausführung kann als „ISP der Virtuellen Kamera“ bezeichnet werden. Die Problemstellung lässt sich in folgende Teilbereiche aufteilen:

(1) Unterschiede aufgrund der getrennten Bildpfade (Bildsensor + ISP) pro Kamera, d.h. szenenadaptive, untereinander unterschiedliche Bildregelung + Nachverarbeitung für den jeweiligen Kamerablickwinkel . Kann erfindungsgemäß durch Übertragung der Metainformation und Invertierung/Angleich an die virtuelle Kamera durchgeführt werden. Dies kann erfindungsgemäß durch Postprocessing durchgeführt werden, kann erfindungsgemäß aber auch durch Anpassung der Bildregelungsparameter passieren (auf Kosten von Latenz).
(2) Unterschiede aufgrund der unterschiedlichen Perspektiven der 3D-Szene, d.h. unterschiedliche Reflektivität bei nicht-diffusen Oberflächen und unvollständigem/ inkorrektem 3D-Modell (fehlerhafte Kalibrierung, fehlerhafte/ unvollständiges 3D-Modell etc.). Ebenso inhomogene Szenenausleuchtung/Lichtteppich. Dies kann ebenso für die virtuelle Kamera harmonisiert werden (Überlappbereich zentral).

A preferred embodiment may be referred to as the "Virtual Camera ISP". The problem can be divided into the following sub-areas:

(1) Differences due to the separate image paths (image sensor + ISP) per camera, ie scene-adaptive, mutually different image control + post-processing for the respective camera viewing angle. Can be carried out according to the invention by transferring the meta information and inverting/adjusting to the virtual camera. According to the invention, this can be carried out by post-processing, but can also happen according to the invention by adapting the image control parameters (at the expense of latency).
(2) Differences due to the different perspectives of the 3D scene, ie different reflectivity with non-diffuse surfaces and incomplete/incorrect 3D model (incorrect calibration, incorrect/incomplete 3D model etc.). Likewise inhomogeneous scene illumination/light carpet. This can also be harmonized for the virtual camera (central overlap area).

In dieser bevorzugten Ausführung kann Problem (1) wie folgt gelöst werden:

Zentraler ISP der die virtuelle Kamera repräsentiert und hierfür Bildfilter/ Bildverbesserungen durchführt. Die realen Kameras sind hier direkt angeschlossen und aufzufassen als Regions of Interest (ROIs) einer viel größeren 3D-Szene. Statt also per Kamera zunächst zu verarbeiten und anschließend wieder teils zu invertieren, wird direkt auf das Ausgabebild zugearbeitet.

In this preferred embodiment, problem (1) can be solved as follows:

Central ISP that represents the virtual camera and carries out image filters/image enhancements for this. The real cameras are directly connected here and can be understood as regions of interest (ROIs) of a much larger 3D scene. So instead of first processing with the camera and then partially inverting again, work is done directly on the output image.

Dies ist mit heutigen/zukünftigen Sensoren mit besonders hohem Dynamikumfang (HDR, etwa 140dB) sogar durch reines Postprocessing, d.h. ohne Rückkopplung zum Kamerasensor möglich. So wie bestehende ISPs bereits eine gewichtete ROI für AEC und für AWB anbieten („Scheuklappen“, etwa um Fahrzeugteile auszumaskieren) kann erfindungsgemäß dies auf die Blickbereiche der angeschlossenen Kameras erweitert werden und letztlich die angeschlossenen Kameras als ein großer („löchriger“) Sensor der virtuellen Kamera aufgefasst und zentral verarbeitet und harmonisiert werden.With current/future sensors with a particularly high dynamic range (HDR, around 140dB), this is even possible through pure post-processing, i.e. without feedback to the camera sensor. Just as existing ISPs already offer a weighted ROI for AEC and for AWB ("blinders", for example to mask out vehicle parts), this can be extended to the viewing areas of the connected cameras and ultimately the connected cameras as a large ("holey") sensor of the virtual camera and processed and harmonized centrally.

ZITATE ENTHALTEN IN DER BESCHREIBUNGQUOTES INCLUDED IN DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of documents cited by the applicant was generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturPatent Literature Cited

DE 102019207415 A1 [0004]

Claims

Method for improving the image quality of a multi-camera system of a vehicle, which is designed for detecting the surroundings and displaying virtual views of a vehicle's surroundings, characterized in that video streams from a number of cameras in the multi-camera system are analyzed on the basis of predetermined image features, a virtual camera being defined by a requested virtual view wherein image features of the plurality of cameras are adjusted by values of the image features of the virtual camera.

procedure after claim 1 , characterized in that target image features of the cameras are further adapted to environmental conditions of the virtual camera in a subsequent harmonization.

Method (1) according to claim 1 or 2 , characterized in that overlapping areas are analyzed in image sections of the plurality of cameras, the image features being analyzed and differences being minimized in the overlapping areas.

Method (1) according to claim 1 , 2 or 3 , characterized in that the image features are a hue, a brightness, a color temperature, a tone value curve, a sharpness value/sharpness curve, a noise value/noise spectrum, a contrast value and/or an exposure time.

Method (1) according to one of Claims 1 until 4 , characterized in that already installed in the vehicle cameras are used.

Method (1) according to one of the preceding claims, characterized in that meta information of the cameras is used.

Method (1) according to one of the preceding claims, characterized in that further information from the Internet/cloud/from the vehicle is used, in particular time of day, position of the sun, weather, information from other sensors in the vehicle (LIDAR, RADAR, ultrasound, rain/light sensor , other cameras which are not part of the visualization).

Method (1) according to one of the preceding claims, characterized in that an ISP is used at the architecture level, which replaces one ISP per camera and instead regulates and/or processes the real cameras, the real cameras in particular being understood as sub-regions of a unified virtual image and be harmonized.