DE102018201316A1 - Surroundview system for one vehicle - Google Patents

Surroundview system for one vehicle Download PDF

Info

Publication number
DE102018201316A1
DE102018201316A1 DE102018201316.0A DE102018201316A DE102018201316A1 DE 102018201316 A1 DE102018201316 A1 DE 102018201316A1 DE 102018201316 A DE102018201316 A DE 102018201316A DE 102018201316 A1 DE102018201316 A1 DE 102018201316A1
Authority
DE
Germany
Prior art keywords
image data
camera
image
pixels
overlapping
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102018201316.0A
Other languages
German (de)
Inventor
Martin Bürker
Denis Selensky
Markus Friebe
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Conti Temic Microelectronic GmbH
Original Assignee
Conti Temic Microelectronic GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Conti Temic Microelectronic GmbH filed Critical Conti Temic Microelectronic GmbH
Priority to DE102018201316.0A priority Critical patent/DE102018201316A1/en
Priority to EP19701755.1A priority patent/EP3747188A1/en
Priority to DE112019000138.8T priority patent/DE112019000138A5/en
Priority to PCT/DE2019/200000 priority patent/WO2019144999A1/en
Publication of DE102018201316A1 publication Critical patent/DE102018201316A1/en
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Processing (AREA)

Abstract

Die Erfindung betrifft ein Surroundview-System (1) für ein Fahrzeug (2) . Dieses Surroundview-System (1) weist eine erste und eine zweite Kamera (21, 22, 23, 24) und eine Steuereinheit (10) . Die erste und die zweite Kamera (21, 22, 23, 24) sind dazu eingerichtet, Bilddaten mit einer Mehrzahl an Pixeln zu erzeugen. Die Bilddaten der ersten Kamera (21, 22, 23, 24) weisen eine erste Pixeldichte auf und die Bilddaten der zweiten Kamera (21, 22, 23, 24) weisen eine zweite Pixeldichte auf. Ferner weisen die Bilddaten der ersten und der zweiten Kamera (21, 22, 23, 24) wenigstens einen, zumindest teilweise, überlappenden Bildbereich (31, 32, 33, 34) auf. Des Weiteren ist die Steuereinheit (10) dazu eingerichtet, für das Zusammenfügen der ersten und der zweiten Bilddaten die Pixel der Bilddaten im überlappenden Bildbereich (31, 32, 33, 34) anhand der Pixeldichte zu bestimmen, auszuwählen und/oder zu gewichten, um ein Surroundview-Bild mit einer möglichst hohen Auflösung zu erzeugen.The invention relates to a surround view system (1) for a vehicle (2). This surround view system (1) has a first and a second camera (21, 22, 23, 24) and a control unit (10). The first and second cameras (21, 22, 23, 24) are arranged to generate image data having a plurality of pixels. The image data of the first camera (21, 22, 23, 24) have a first pixel density and the image data of the second camera (21, 22, 23, 24) have a second pixel density. Furthermore, the image data of the first and the second camera (21, 22, 23, 24) at least one, at least partially, overlapping image area (31, 32, 33, 34). Furthermore, the control unit (10) is configured to determine, select and / or weight the pixels of the image data in the overlapping image area (31, 32, 33, 34) on the basis of the pixel density in order to combine the first and the second image data create a surroundview image with the highest possible resolution.

Description

Die Erfindung betrifft ein Surroundview-System zur Erzeugung eines Surroundview-Bildes für ein Fahrzeug, ein Fahrzeug mit einem solchen Surroundview-System, ein Verfahren zur Erzeugung eines Surroundview-Bilder, ein Programmelement und ein computerlesbares Medium.The invention relates to a surround view system for generating a surround view image for a vehicle, a vehicle with such a surround view system, a method for generating a surround view images, a program element and a computer-readable medium.

Fahrzeuge werden zunehmend mit Fahrerassistenzsystemen ausgerüstet, welche den Fahrer bei der Durchführung von Fahrmanövern unterstützen. Diese Fahrerassistenzsysteme enthalten zum Teil Surroundview-Systeme, die es dem Fahrer des Fahrzeugs erlauben, die Fahrzeugumgebung anzuzeigen. Derartige Surroundview-Systeme umfassen eine oder mehrere Fahrzeugkameras, welche reale Bilder der Fahrzeugumgebung liefern, welche durch eine Datenverarbeitungseinheit des Surroundview-Systems zu einem Umgebungsbild der Fahrzeugumgebung zusammengefügt werden. Das Bild der Fahrzeugumgebung wird anschließend dem Fahrer auf einer Anzeigeeinheit angezeigt.Vehicles are increasingly being equipped with driver assistance systems that assist the driver in making driving maneuvers. Some of these driver assistance systems include surround view systems that allow the driver of the vehicle to view the vehicle environment. Such surround view systems include one or more vehicle cameras that provide real images of the vehicle environment that are assembled by a data processing unit of the surround view system into an environmental image of the vehicle environment. The image of the vehicle environment is then displayed to the driver on a display unit.

Hierzu müssen die von den Kameras des Surroundview-Systems gewonnen realen Bilder der Fahrzeugumgebung zunächst auf Projektionspunkte eines virtuellen Umgebungsmodells der Fahrzeugumgebung projiziert werden. Anschließend kann aus der Perspektive einer virtuellen Kamera, auf das so erzeugte zusammengesetzt Surroundview-Bild der Fahrzeugumgebung geschlossen werden, was wiederum auf der Anzeigeeinheit als Surroundview-Bild angezeigt werden kann. Die Position der virtuellen Kamera für die Berechnung des angezeigten Surroundview-Bildes kann hierbei variiert werden, sodass je nach Bedarf bzw. je nach Fahrsituation dem Fahrer eine andere Darstellung der Fahrzeugumgebung angezeigt werden kann. Die Wahl des dreidimensionalen Umgebungsmodells, für die Projektion der realen Bilder sowie für die Erzeugung des zusammengesetzten Surroundview-Bildes, ist dabei entscheidend für die Qualität des angezeigten Bildes.For this purpose, the real images of the vehicle environment obtained by the cameras of the surroundview system must first be projected onto projection points of a virtual environment model of the vehicle environment. Subsequently, from the perspective of a virtual camera, the thus created composite surround view image of the vehicle environment can be closed, which in turn can be displayed on the display unit as a surround view image. The position of the virtual camera for the calculation of the displayed surround view image can hereby be varied so that the driver can be displayed a different representation of the vehicle environment as needed or depending on the driving situation. The choice of the three-dimensional environment model, for the projection of the real images as well as for the generation of the composite surround-view image, is decisive for the quality of the displayed image.

Es ist eine Aufgabe der Erfindung, ein Surroundview-Bild zu erzeugen.It is an object of the invention to generate a surroundview image.

Diese Aufgabe wird durch den Gegenstand der unabhängigen Ansprüche gelöst. Ausführungsformen und Weiterbildungen sind den abhängigen Ansprüchen, der Beschreibung und den Figuren zu entnehmen.This object is solved by the subject matter of the independent claims. Embodiments and further developments can be taken from the dependent claims, the description and the figures.

Ein erster Aspekt der Erfindung betrifft ein Surroundview-System für ein Fahrzeug. Dieses Surroundview-System weist wenigstens eine erste und eine zweite Kamera und eine Steuereinheit auf. Die erste und die zweite Kamera sind dazu eingerichtet, Bilddaten mit jeweils einer Mehrzahl an Pixeln zu erzeugen. Die Bilddaten der ersten Kamera weisen eine erste Pixeldichte auf und die Bilddaten der zweiten Kamera weisen eine zweite Pixeldichte auf, welche auch innerhalb der Bilddaten variieren kann. Die Bilddaten der ersten und der zweiten Kamera weisen wenigstens einen, zumindest teilweise, überlappenden Bildbereich auf. Ferner ist die Steuereinheit dazu eingerichtet, für das Zusammenfügen der ersten und der zweiten Bilddaten die Pixel Bilddaten im überlappenden Bildbereich anhand der Pixeldichte zu bestimmten, auszuwählen und/oder zu gewichten, um ein Surroundview-Bild mit einer möglichst hohen Auflösung zu erzeugen.A first aspect of the invention relates to a surround view system for a vehicle. This surround view system has at least a first and a second camera and a control unit. The first and second cameras are configured to generate image data each having a plurality of pixels. The image data of the first camera has a first pixel density and the image data of the second camera has a second pixel density, which can also vary within the image data. The image data of the first and the second camera have at least one, at least partially, overlapping image area. Furthermore, the control unit is set up to select, select and / or weight the pixels image data in the overlapping image area on the basis of the pixel density for the purpose of combining the first and the second image data in order to produce a surround view image with the highest possible resolution.

Mit anderen Worten kann die Steuereinheit für den überlappenden Bildbereich Pixel (Bildpunkte) und Bildbestandteile der Bilddaten, welche durch die wenigstens zwei Kameras, erste und zweite Kamera, erzeugt werden, anhand der Pixeldichte in dem jeweiligen Bereich des überlappenden Bildbereichs bestimmen. Hierbei kann entweder eine Gewichtung zwischen den Pixeln der Bilddaten der ersten und der zweiten Kamera anhand der Pixeldichte oder eine Auswahl zwischen den Pixel der Bilddaten der ersten und der zweiten Kamera anhand der Pixeldichte getroffen werden. Ferner können die ersten und zweiten Kamera unterschiedlich Kameras sein, aber auch gleiche. Die Kameras können nebeneinander aber auch mit einem Winkel zueinander, z.B. 60° oder 90°, angeordnet sein.In other words, the overlapping image area control unit may determine pixels and image components of the image data generated by the at least two cameras, first and second cameras, based on the pixel density in the respective area of the overlapping image area. In this case, either a weighting between the pixels of the image data of the first and the second camera based on the pixel density or a selection between the pixels of the image data of the first and the second camera based on the pixel density can be made. Furthermore, the first and second cameras may be different cameras, but also the same. The cameras can be side by side but also at an angle to each other, e.g. 60 ° or 90 °.

Die Pixeldichte im Rahmen dieser Offenbarung ist die Anzahl an Pixeln, welche einen bestimmten realen Bereich (Fläche) abdecken. Mit anderen Worten die Anzahl an Pixeln pro Fläche. Die Pixeldichte kann insbesondere durch die Optik vor der Kamera beeinflusst werden, indem beispielsweise eine Vergrößerung, Verkleinerung, Verzerrung, Stauchungen oder Beugung der Projektion der realen Objekte auf den Kamerachip erfolgt.The pixel density in this disclosure is the number of pixels covering a particular real area (area). In other words, the number of pixels per area. The pixel density can be influenced in particular by the optics in front of the camera, for example by enlarging, reducing, distorting, compressing or diffracting the projection of the real objects onto the camera chip.

Der überlappende Bildbereich ist im Rahmen dieser Offenbarung ein Bildbereich welcher in wenigstens zwei Bilddaten von zwei verschiedenen Kameras vorkommt. Mit anderen Worten ist die Bildinformation in dem überlappenden Bildbereich in wenigstens zwei Bilddaten von verschiedenen Kameras vorhanden.The overlapping image area in the context of this disclosure is an image area which occurs in at least two image data from two different cameras. In other words, the image information in the overlapping image area is present in at least two image data from different cameras.

Es sei angemerkt, dass ein Surroundview-Bild nicht zwingend die gesamte Umgebung (360°) abbilden muss, sondern unter einem Surroundview-Bild im Rahmen dieser Anmeldung ist vielmehr ein Bild mit einem hohen Informationsgehalt und Blickwinkel zu verstehen, welches aus Bilddaten von wenigstens zwei Kameras zusammengesetzt wurde.It should be noted that a surround view image does not necessarily have to image the entire environment (360 °), but a surround view image in the context of this application is rather an image with a high information content and viewing angle to understand, which image data of at least two Cameras was assembled.

Es sei darauf hingewiesen, dass das Surroundview-System auch mehr als zwei Kameras aufweisen kann, beispielsweise vier oder mehr. Die vorhergehend und nachfolgend beschriebene Gewichtung oder Auswahl der Pixel in den überlappenden Bildbereich kann auch auf mehrere überlappende Bildbereiche übertragen werden.It should be noted that the surround view system may include more than two cameras, for example four or more. The preceding and following described Weighting or selection of the pixels in the overlapping image area can also be transferred to several overlapping image areas.

Gemäß einer Ausführungsform der Erfindung ist die Pixeldichte der Bilddaten der ersten Kamera unterschiedlich zur Pixeldichte der Bilddaten der zweiten Kamera.According to an embodiment of the invention, the pixel density of the image data of the first camera is different from the pixel density of the image data of the second camera.

Beispielsweise kann die Pixeldichte der ersten Kamera in zumindest einem bestimmten Bildbereich höher sein, beispielsweise doppelt so hoch sein, wie die Pixeldichte der zweiten Kamera in diesem Bildbereich. Somit kann es sinnvoll sein die Bilddaten der ersten Kamera stärker zu gewichten bzw. diese auszuwählen, um ein zusammengesetztes Surroundview-Bild mit einer möglichst hohen Auflösung zu erhalten. Von Vorteil ist es die Bilddaten der Kamera mit der höheren Pixeldichte stärker zu gewichten bzw. auszuwählen als die Bilddaten der Kamera mit der niedrigeren Pixeldichte.For example, the pixel density of the first camera in at least one specific image area may be higher, for example, twice as high as the pixel density of the second camera in this image area. Thus, it may be useful to weight the image data of the first camera stronger or select this to obtain a composite surround view image with the highest possible resolution. It is advantageous to weight or select the image data of the camera with the higher pixel density more strongly than the image data of the camera with the lower pixel density.

Gemäß einer Ausführungsform der Erfindung ist die Steuereinheit dazu eingerichtet, die Pixel der ersten Bilddaten und die korrespondierenden Bilddaten der zweiten Bilddaten für den überlappenden Bildbereich gemäß ihrer jeweiligen Pixeldichte zu Gewichten.According to an embodiment of the invention, the control unit is adapted to weight the pixels of the first image data and the corresponding image data of the second image data for the overlapping image area according to their respective pixel density.

Mit andern Worten erfolgt durch die Steuereinheit eine Ermittlung des resultierenden Pixels des überlappenden Bildbereichs anhand der Pixeldichte der ersten und der zweiten Bilddaten mittels einer entsprechenden Gewichtung zwischen den Pixeln der Bilddaten der ersten Kamera und der zweiten Kamera. Also kann eine Gewichtung der ersten und der zweiten Bilddaten für den überlappenden Bildbereich anhand der jeweiligen Pixeldichte erfolgen. Hierbei kann sich die Gewichtung zwischen 0 und 1 bewegen abhängig von der Position des Pixels innerhalb des überlappenden Bildbereichs und der Pixeldichte in diesem Bereich, d.h. es können die ersten Bilddaten oder die zweiten Bilddaten verwendet werden (Randbereiche oder hoher Unterschied in der Pixeldichte), jedoch auch eine Mischung (blending) aus den ersten und den zweiten Bilddaten. Bei der Mischung kann die Berechnung des resultierenden Pixels anhand der Pixeldichte der Bilddaten der ersten und der zweiten Kamera in den jeweiligen Bereich des überlappenden Bildbereichs erfolgen. Eine Gewichtung anhand Pixeldichte kann zweckmäßig sein, um ein Surroundview-Bild mit einer möglichst hohen Auflösung zu erhalten bzw. ein Surroundview-Bild mit möglichst vielen Details.In other words, the control unit determines the resulting pixel of the overlapping image area based on the pixel density of the first and second image data by means of a corresponding weighting between the pixels of the image data of the first camera and the second camera. Thus, a weighting of the first and the second image data for the overlapping image area can be made on the basis of the respective pixel density. Here, the weight may vary between 0 and 1 depending on the position of the pixel within the overlapping image area and the pixel density in that area, i. the first image data or the second image data may be used (margins or high difference in pixel density), but also a blending of the first and second image data. In the mixture, the calculation of the resulting pixel based on the pixel density of the image data of the first and the second camera in the respective area of the overlapping image area can be done. A weighting based on pixel density may be useful to obtain a surround view image with the highest possible resolution or a surround view image with as many details as possible.

Gemäß einer Ausführungsform der Erfindung ist die Steuereinheit dazu eingerichtete, die jeweiligen Pixel der Bilddaten für den überlappenden Bildbereich anhand der Formel I r e s j = ( 1 − α ) I 1 k + α I 2 l

Figure DE102018201316A1_0001
zu gewichten, α ist der Gewichtungsparameter der Pixeldichte, I1 und I2 sind die jeweiligen Bilddaten der ersten und der zweiten Kamera, k und 1 sind die jeweilige Position der Pixel in den Bilddaten der ersten und der zweiten Kamera und ist I r e s j
Figure DE102018201316A1_0002
das resultierende Pixel des Surroundview-Bildes.According to an embodiment of the invention, the control unit is adapted to set the respective pixels of the image data for the overlapping image area according to the formula I r e s j = ( 1 - α ) I 1 k + α I 2 l
Figure DE102018201316A1_0001
 to weight, α is the weighting parameter of the pixel density, I 1 and I 2 are the respective image data of the first and second cameras, k and 1 are the respective positions of the pixels in the image data of the first and second cameras and I r e s j
Figure DE102018201316A1_0002
 the resulting pixel of the surroundview image.

Gemäß einer weiteren Ausführungsform der Erfindung ist die Steuereinheit dazu eingerichtet, die Pixel für den überlappenden Bildbereich entweder aus den ersten oder den zweiten Bilddaten anhand der jeweiligen Pixeldichten auszuwählen.According to a further embodiment of the invention, the control unit is set up to select the pixels for the overlapping image area either from the first or the second image data on the basis of the respective pixel densities.

Neben der Gewichtung der Pixel der Bilddaten der ersten und der zweiten Kamera und der anschließenden Berechnung des resultierenden Pixels, kann auch das bzw. diejenigen Pixel der Bilddaten der ersten oder der zweiten Kamera ausgewählt werden, welche in dem jeweiligen Bereich eine höhere Pixeldichte aufweist. Somit kann auf eine Berechnung verzichtet werden. In addition to the weighting of the pixels of the image data of the first and the second camera and the subsequent calculation of the resulting pixel, the pixel (s) of the image data of the first or the second camera can also be selected which has a higher pixel density in the respective region. Thus, can be dispensed with a calculation.

Gemäß einer weiteren Ausführungsform der Erfindung ist die Gewichtung oder die Auswahl der Pixel der Bilddaten im überlappenden Bereich vorbestimmt.According to another embodiment of the invention, the weighting or selection of the pixels of the image data in the overlapping area is predetermined.

Mit anderen Worten kann im Vorfeld bestimmt werden wie die Gewichtung oder die Auswahl der Pixel der Bilddaten der ersten und zweiten Kamera in dem überlappenden Bildbereich erfolgt. Dies kann beispielsweise anhand der physikalischen Eigenschaften oder der intrinsischen Parameter der eingesetzten Kamera bzw. des Kamerasystems, d.h. Kamera und Optik, bspw. Linse oder Objektiv, bestimmt werden. Die Gewichtung oder die Auswahl kann vorbestimmt werden, da sich die Eigenschaften der Kameras bzw. der Kamerasysteme über die Lebenszeit nicht wesentlich ändern. Hierdurch kann Rechenzeit eingespart werden, da nicht immer die Gewichtung oder die Auswahl zwischen den Pixeln der Bilddaten der ersten und der zweiten Kamera neu berechnet werden muss.In other words, it can be determined in advance how the weighting or the selection of the pixels of the image data of the first and second cameras takes place in the overlapping image area. This can be done, for example, on the basis of the physical properties or the intrinsic parameters of the camera or camera system used, i. Camera and optics, for example. Lens or lens, are determined. The weighting or selection may be predetermined because the properties of the cameras or camera systems will not change significantly over the lifetime. As a result, computing time can be saved since it is not always necessary to recalculate the weighting or the selection between the pixels of the image data of the first and the second camera.

Gemäß einer Ausführungsform der Erfindung hängt die Vorbestimmung der Pixel im überlappenden Bildbereich von den Eigenschaften der ersten und der zweiten Kamera ab.According to one embodiment of the invention, the predetermination of the pixels in the overlapping image area depends on the properties of the first and the second camera.

Die feste im Vorfeld bestimmte Gewichtung oder Auswahl der Pixel der Bilddaten der ersten und der zweiten Kamera kann von den Eigenschaften der beteiligten Kameras abhängen. Beispielsweise von der Auflösung, der Beugung oder der Verzerrung durch die Optik vor der Kamera, der Brennweite, der Blende, dem Blickwinkel, der Sichtweite und der Verkleinerung oder der Vergrößerung durch die Optik vor der Kamera. Ferner können die intrinsischen Parameter der Kameras des Surroundview-Systems im Vorfeld bekannt sein und diese können dazu verwendet werden, die Gewichtung oder die Auswahl der Pixel für den überlappenden Bildbereich fest zu bestimmen.The fixed pre-determined weighting or selection of the pixels of the image data of the first and second cameras may depend on the characteristics of the cameras involved. For example, the resolution, the diffraction or distortion by the optics in front of the camera, the focal length, the aperture, the angle of view, the range of vision and the Reduction or enlargement by the optics in front of the camera. Furthermore, the intrinsic parameters of the cameras of the surround view system may be known in advance and these may be used to determine the weighting or selection of the pixels for the overlapping image area.

Gemäß einer weiteren Ausführungsform der Erfindung erfolgt die Gewichtung oder die Auswahl der Pixel der Bilddaten im überlappenden Bildbereich dynamisch anhand der aktuellen Bilddaten der ersten und der zweiten Kamera.According to a further embodiment of the invention, the weighting or the selection of the pixels of the image data in the overlapping image region takes place dynamically on the basis of the current image data of the first and the second camera.

Neben einer festen, vorbestimmten und starren Gewichtung oder Auswahl der Pixel im überlappenden Bildbereich anhand der Pixeldichte kann die Gewichtung oder die Auswahl auch dynamisch, d.h. in wiederholenden Abständen, durch die Steuereinheit berechnet werden.In addition to a fixed, predetermined, and rigid weighting or selection of the pixels in the overlapping image area based on the pixel density, the weighting or selection may also be dynamic, i. at repetitive intervals, to be calculated by the control unit.

Gemäß einer Ausführungsform der Erfindung wird die dynamische Gewichtung oder Auswahl der Pixel der Bilddaten im überlappenden Bildbereich durch ein Ereignis an der ersten oder der zweiten Kamera ausgelöst.According to one embodiment of the invention, the dynamic weighting or selection of the pixels of the image data in the overlapping image area is triggered by an event on the first or the second camera.

Mit anderen Worten kann die dynamische Berechnung der Pixel für den überlappenden Bildbereich durch ein Ereignis an einer der beteiligten Kameras ausgelöst bzw. getriggert werden. Z.B. kann durch Verschmutzung eine der Kameras beeinträchtigt werden, wodurch daraufhin die Steuereinheit die Gewichtung bzw. die Auswahl der Pixel für den überlappenden Bildbereich anpassen kann, um dennoch ein optimales Surroundview-Bild zu erzeugen bzw. bereitzustellen.In other words, the dynamic calculation of the pixels for the overlapping image area can be triggered by an event on one of the cameras involved. For example, For example, contamination may cause one of the cameras to be compromised, as a result of which the control unit may adjust the weighting or selection of pixels for the overlapping image area to still produce or provide an optimal surround view image.

Gemäß einer weiteren Ausführungsform der Erfindung weist das Surroundview-System wenigstens vier Kameras auf, welche bevorzugt in gleichem Winkel zueinander angeordnet sind. Ferner weisen jeweils zwei der vier Kameras paarweise einen überlappenden Bildbereich auf.According to a further embodiment of the invention, the surround view system has at least four cameras, which are preferably arranged at the same angle to each other. Furthermore, two of the four cameras each have an overlapping image area in pairs.

Neben der Verwendung von zwei Kameras, können auch vier oder mehr Kameras eingesetzt werden, um ein Surroundview-Bild zu erzeugen. Die vier Kameras können in gleichbleiben Winkel zueinander angeordnet sein, sodass eine Kamera jeweils für vorne, hinten, links und rechts zur Verfügung steht. Die Steuereinheit kann die Bilddaten aller vier Kameras zu einem Surroundview-Bild zusammensetzen. Ferner können dadurch vier überlappende Bildbereiche entstehen, welche jeweils in Bilddaten von zwei der vier Kameras abgebildet werden. In jedem dieser vier Bildbereiche kann die Steuereinheit eine Gewichtung oder Auswahl der Pixel der Bilddaten von zwei der vier Kameras anhand der Pixeldichte vornehmen.In addition to using two cameras, four or more cameras can be used to create a surround view image. The four cameras can be arranged at equal angles to each other, so that one camera is available for the front, back, left and right. The control unit can assemble the image data of all four cameras into a surroundview image. Furthermore, this can result in four overlapping image areas, which are each imaged in image data from two of the four cameras. In each of these four image areas, the control unit may weight or select the pixels of the image data from two of the four cameras based on the pixel density.

Ein weiterer Aspekt dieser Erfindung betrifft ein Fahrzeug mit einem vorhergehend und nachfolgend beschriebenen Surroundview-System.Another aspect of this invention relates to a vehicle having a surround view system described above and below.

Die Bezeichnung Fahrzeug ist nicht alleine auf einen Personenkraftwagen begrenzt, sondern schließt auch Lastkraftwagen, Busse, Motorräder, Traktoren, Panzer, Baumaschinen, Schienenfahrzeuge, Schiffe sowie Luftfahrzeuge wie Helikopter oder Flugzeuge mit ein.The term vehicle is not limited to a passenger car alone, but also includes lorries, buses, motorcycles, tractors, tanks, construction machinery, rail vehicles, ships and aircraft such as helicopters or aircraft.

Ein weiterer Aspekt der Erfindung betrifft ein Verfahren zur Erzeugung eines Surroundview-Bildes. Das Verfahren weist die folgenden Schritte auf:

  • - Erzeugen von Bilddaten durch wenigstens eine erste und eine zweite Kamera;
  • - Bestimmen wenigstens eines überlappenden Bildbereichs der erzeugten Bilddaten der ersten und der zweiten Kamera;
  • - Bestimmen, auswählen und/oder gewichten der Pixel der Bilddaten im überlappenden Bildbereich anhand der Pixeldichte; und
  • - Erzeugen eines Surroundview-Bildes basierend auf den Bilddaten der ersten und der zweiten Kamera und den bestimmten Pixel für den wenigstens einen überlappenden Bildbereich.
Another aspect of the invention relates to a method for generating a surround view image. The method comprises the following steps:
  • - generating image data by at least a first and a second camera;
  • Determining at least one overlapping image area of the generated image data of the first and second cameras;
  • Determining, selecting and / or weighting the pixels of the image data in the overlapping image area on the basis of the pixel density; and
  • Generating a surround view image based on the image data of the first and second cameras and the determined pixel for the at least one overlapping image area.

Ein weiterer Aspekt der Erfindung betrifft ein Programmelement, das, wenn es auf einer Steuereinheit eines Surroundview-Systems ausgeführt wird, das Surroundview-System anleitet, das oben und im Folgenden beschriebene Verfahren auszuführen.Another aspect of the invention relates to a program element that, when executed on a control unit of a surroundview system, instructs the surroundview system to perform the method described above and below.

Ein weiterer Aspekt dieser Erfindung betrifft ein computerlesbares Medium, auf dem ein Programmelement gespeichert ist, welches die Steuereinheit eines Surroundview-Systems anleitet, das oben und im Folgenden beschriebene Verfahren auszuführen.Another aspect of this invention relates to a computer readable medium having stored thereon a program element that directs the control unit of a surroundview system to perform the method described above and in the following.

Weitere Merkmale, Vorteile und Anwendungsmöglichkeiten der Erfindung ergeben sich aus der nachfolgenden Beschreibung der Ausführungsbeispiele und der Figuren.Other features, advantages and applications of the invention will become apparent from the following description of the embodiments and the figures.

Die Figuren sind schematisch und nicht maßstabsgetreu. Sind in der nachfolgenden Beschreibung der Figuren gleiche Bezugszeichen angegeben, so bezeichnen diese gleiche oder ähnliche Elemente.

  • 1 zeigt eine schematische Darstellung eines Fahrzeugs mit einem Surroundview-System gemäß einer Ausführungsform der Erfindung.
  • 2 zeigt ein Blockdiagramm eines Surroundview-Systems gemäß einer Ausführungsform der Erfindung.
  • 3 zeigt eine schematische Darstellung eines Fahrzeugs mit einem Surroundview-System gemäß einer Ausführungsform der Erfindung.
  • 4 zeigt ein Fahrzeug mit einem Surroundview-System gemäß einer Ausführungsform der Erfindung.
  • 5 zeigt ein Flussdiagramm für ein Verfahren zur Erzeugung eines Surroundview-Bildes gemäß einer Ausführungsform der Erfindung.
The figures are schematic and not to scale. If the same reference numbers are given in the following description of the figures, these designate the same or similar elements.
  • 1 shows a schematic representation of a vehicle with a surround view system according to an embodiment of the invention.
  • 2 shows a block diagram of a surround view system according to an embodiment of the invention.
  • 3 shows a schematic representation of a vehicle with a surround view system according to an embodiment of the invention.
  • 4 shows a vehicle with a surround view system according to an embodiment of the invention.
  • 5 shows a flowchart for a method for generating a surround view image according to an embodiment of the invention.

1 zeigt eine schematische Ansicht des Surroundview-Systems 1 in einem Fahrzeug 2. Das Surroundview-System 1 weist in 1 vier Kameras 21, 22, 23, 24 auf. Diese vier Kameras 21, 22, 23, 24 sind jeweils mit einer Steuereinheit 10 verbunden und übertragen an diese Steuereinheit 10 ihre jeweiligen Bilddaten. Die Bilddaten der vier Kameras 21, 22, 23, 24 weisen jeweils alle eine Mehrzahl an Pixeln (Bildpunkte) auf. Die Anzahl der Pixel in den jeweiligen Bilddaten kann gleich oder unterschiedlich zwischen den einzelnen der vier Kameras 21, 22, 23, 24 sein. Des Weiteren ergibt sich durch die Anzahl an Pixeln der jeweiligen Kamera und den durch die Kamera abgedeckten Bereich (Fläche) eine Pixeldichte für einen bestimmten Bereich innerhalb der Bilddaten. Diese Pixeldichte kann auch durch die Optik (Linse oder Objektiv) vor der jeweiligen Kamera 21, 22, 23, 24 beeinflusst werden. Ferner ist das Fahrzeug 2 von oben dargestellt. Die erste Kamera 21 ist hierbei nach rechts gerichtet, die zweite Kamera 22 ist nach vorne gerichtet, die dritte Kamera 23 ist nach links gerichtet und die vierte Kamera 24 ist nach hinten gerichtet. Die Bilddaten der vier Kameras 21, 22, 23, 24 weisen jeweils paarweise einen überlappenden Bildbereich 31, 32, 33, 34 auf. Die erste Kamera 21 und die zweite Kamera 22 weisen einen ersten überlappenden Bildbereich 31 auf. Die zweite Kamera 22 und die dritte Kamera 23 weisen einen zweiten überlappenden Bildbereich 32 auf, die dritte Kamera 23 und die vierte Kamera 24 weisen einen dritten überlappenden Bildbereich 33 auf und die vierte Kamera 24 und die erste Kamera 21 weisen einen vierten überlappenden Bildbereich 34 auf. 1 shows a schematic view of the surround view system 1 in a vehicle 2 , The surroundview system 1 points in 1 four cameras 21 . 22 . 23 . 24 on. These four cameras 21 . 22 . 23 . 24 are each with a control unit 10 connected and transmitted to this control unit 10 their respective image data. The image data of the four cameras 21 . 22 . 23 . 24 each have a plurality of pixels (pixels). The number of pixels in each image data may be equal or different between each of the four cameras 21 . 22 . 23 . 24 his. Further, by the number of pixels of the respective camera and the area covered by the camera (area), a pixel density for a certain area within the image data is obtained. This pixel density can also be achieved by the optics (lens or lens) in front of the respective camera 21 . 22 . 23 . 24 to be influenced. Further, the vehicle 2 shown from above. The first camera 21 is directed to the right, the second camera 22 is directed forward, the third camera 23 is directed to the left and the fourth camera 24 is directed backwards. The image data of the four cameras 21 . 22 . 23 . 24 each have an overlapping image area in pairs 31 . 32 . 33 . 34 on. The first camera 21 and the second camera 22 have a first overlapping image area 31 on. The second camera 22 and the third camera 23 have a second overlapping image area 32 on, the third camera 23 and the fourth camera 24 have a third overlapping image area 33 on and the fourth camera 24 and the first camera 21 have a fourth overlapping image area 34 on.

Die Steuereinheit 10 ist dazu eingerichtet die Bilddaten der vier Kameras 21, 22, 23, 24 derart zusammenzusetzen, dass ein großes zusammengesetztes Bild entsteht, beispielsweise ein Surroundview-Bild von der Fahrzeugumgebung. Hierbei können die Pixel für die überlappenden Bildbereiche 31, 32, 33, 34 jeweils von zwei der vier Kameras 21, 22, 23, 24 ausgewählt werden oder die Pixel von zwei Kameras der vier Kameras 21, 22, 23, 24 können jeweils gewichtet werden (blending). Die Steuereinheit 10 ist hierbei dazu eingerichtet die Gewichtung der Pixel für die überlappenden Bildbereiche 31, 32, 33, 34 anhand der Pixeldichte der jeweiligen Bilddaten der Kameras 21, 22, 23, 24 vorzunehmen, sodass ein zusammengesetztes Bild mit einer möglichst hohen Auflösung entsteht.The control unit 10 is set up the image data of the four cameras 21 . 22 . 23 . 24 such that a large composite image is formed, such as a surround view image of the vehicle environment. Here, the pixels for the overlapping image areas 31 . 32 . 33 . 34 each of two of the four cameras 21 . 22 . 23 . 24 or the pixels of two cameras of the four cameras 21 . 22 . 23 . 24 can each be weighted (blending). The control unit 10 is hereby set up the weighting of the pixels for the overlapping image areas 31 . 32 . 33 . 34 based on the pixel density of the respective image data of the cameras 21 . 22 . 23 . 24 make a composite image with the highest possible resolution.

Die Gewichtung der Pixel für den überlappenden Bildbereich 31, 32, 33, 34 kann vorbestimmt sein, sodass keine zusätzliche Rechenleistung zur Erzeugung des Surroundview-Bildes benötigt wird. Alternativ oder zusätzlich kann die Gewichtung auch dynamisch erfolgen, sodass auf Änderungen, wie etwa Verschmutzung, eingegangen werden kann.The weight of the pixels for the overlapping image area 31 . 32 . 33 . 34 can be predetermined so that no additional processing power is required to generate the surroundview image. Alternatively or additionally, the weighting can also take place dynamically, so that changes, such as soiling, can be made.

2 zeigt ein Blockdiagramm eines Surroundview-Systems 1. Das Surroundview-System 1 weist hier vier Kameras 21, 22, 23, 24 und eine Steuereinheit 10 auf. Die vier Kameras 21, 22, 23, 24 sind jeweils mit der Steuereinheit 10 verbunden und sind dazu eingerichtet, erzeugte Bilddaten an die Steuereinheit 10 zu übertragen. Die übertragenen Bilddaten weisen jeweils eine Mehrzahl an Pixeln (Bildpunkten) auf. Ferner weisen die Bilddaten der Kameras Pixeldichten auf. Mit anderen Worten werden unterschiedlich große reale Bereiche durch unterschiedlich viele Pixel (Anzahl) repräsentiert. Hierbei kann die Art der Kamera und die vor der Kamera angeordnete Optik (Linse oder Objektiv) eine Rolle spielen. Es sei angemerkt, dass die Pixeldichte innerhalb der Bilddaten der Kamera variieren kann, beispielsweise je nach Position des realen Objekts und dessen Projektion auf den Bildsensor der Kamera, den Verzerrungen oder den optischen Effekten in dem optischen System (Kamera und Objektiv). Die Steuereinheit 10 kann dazu eingerichtet sein, die einzelnen Bilddaten der vier Kameras 21, 22, 23, 24 zu einem Surroundview-Bild zusammenzusetzen. Für überlappende Bildbereiche erfolgt die Gewichtung oder die Auswahl des jeweiligen Pixels der Bilddaten der vier Kameras 21, 22, 23, 24 anhand der Pixeldichte in dieser Region. Hierdurch kann ein Bild mit einer größtmöglichen Auflösung und somit einer hohen Qualität erzeugt werden. 2 shows a block diagram of a surround view system 1 , The surroundview system 1 has four cameras here 21 . 22 . 23 . 24 and a control unit 10 on. The four cameras 21 . 22 . 23 . 24 are each with the control unit 10 connected and are adapted to generate generated image data to the control unit 10 transferred to. The transmitted image data each have a plurality of pixels (pixels). Furthermore, the image data of the cameras have pixel densities. In other words, different sized real areas are represented by different numbers of pixels (number). In this case, the type of camera and the camera arranged in front of the lens (lens or lens) play a role. It should be noted that the pixel density may vary within the image data of the camera, for example depending on the position of the real object and its projection on the image sensor of the camera, the distortions or the optical effects in the optical system (camera and lens). The control unit 10 can be set to the individual image data of the four cameras 21 . 22 . 23 . 24 to assemble into a surroundview image. For overlapping image areas, the weighting or selection of the respective pixel of the image data of the four cameras takes place 21 . 22 . 23 . 24 based on pixel density in this region. This can produce an image with the highest possible resolution and thus high quality.

3 weist im Unterschied zu 1 eine Auswahl an Pixeln aus einem der beiden Bildbereiche auf, welche den jeweiligen überlappenden Bildbereich 31, 32, 33, 34 bilden. Somit ist in den überlappenden Bereichen 31, 32, 33, 34 jeweils eine Trennlinie 41, 42, 43, 44 zwischen den beiden beteiligten Bildbereichen vorhanden. Auf einer Seite der Trennlinie 41, 42, 43, 44 werden ausschließlich Pixel der Bilddaten einer ersten Kamera verwendet und auf der anderen Seite der Trennlinie 41, 42, 43, 44 werden ausschließlich Pixel der Bilddaten einer zweiten Kamera verwendet. In diesem Fall sind vier unterschiedliche Trennlinien 41, 42, 43, 44 für eine Pixelauswahl in den jeweiligen überlappenden Bildbereichen 31, 32, 33, 34 dargestellt. Diese Trennlinien 41, 42, 43, 44 sind beispielhaft und entsprechen nicht zwangsläufig einer realen Trennlinie zwischen Bilddaten von zwei Kameras 21, 22, 23, 24 eines überlappenden Bildbereichs 31, 32, 33, 34. Die erste mögliche Trennlinie 41 wird in dem ersten überlappenden Bildbereich 31 dargestellt, wobei diese aus Sicht der Bilddaten der zweiten Kamera 22 eine parabelförmige Trennlinie ist. Die zweite mögliche Trennlinie 42 ist innerhalb des zweiten überlappenden Bildbereichs 32 dargestellt und weist aus Sicht der zweiten Kamera 22 eine Hyperbelform auf. Die dritte mögliche Trennlinie 43 ist in dem dritten überlappenden Bildbereich 33 dargestellt und diese verläuft, aus Sicht der dritten Kamera 23, nah an der Grenze des dritten überlappenden Bildbereichs 33. Somit wird in diesem Fall die Pixeldichte der vierten Kamera 24 im dritten überlappenden Bildbereich höher sein als die Pixeldichte der dritten Kamera 23 in dem dritten überlappenden Bildbereich 33. Die vierte mögliche Trennlinie 44 ist in dem vierten überlappenden Bildbereich 34 dargestellt und diese weist eine zickzack Form zwischen den Bilddaten der vierten Kamera 24 und der ersten Kamera 21 auf. 3 points in contrast to 1 a selection of pixels from one of the two image areas, which covers the respective overlapping image area 31 . 32 . 33 . 34 form. Thus, in the overlapping areas 31 . 32 . 33 . 34 each a dividing line 41 . 42 . 43 . 44 between the two picture areas involved. On one side of the dividing line 41 . 42 . 43 . 44 only pixels of the image data of a first camera are used and on the other side of the dividing line 41 . 42 . 43 . 44 Only pixels of the image data of a second camera are used. In this case, there are four different dividing lines 41 . 42 . 43 . 44 for a pixel selection in the respective overlapping image areas 31 . 32 . 33 . 34 shown. These dividing lines 41 . 42 . 43 . 44 are exemplary and do not necessarily correspond to a real dividing line between image data from two cameras 21 . 22 . 23 . 24 an overlapping image area 31 . 32 . 33 . 34 , The first possible dividing line 41 becomes in the first overlapping image area 31 shown, which from the perspective of the image data of the second camera 22 is a parabolic dividing line. The second possible dividing line 42 is within the second overlapping image area 32 shown and points from the perspective of the second camera 22 a hyperbola on. The third possible dividing line 43 is in the third overlapping image area 33 shown and this runs, from the perspective of the third camera 23 , close to the border of the third overlapping image area 33 , Thus, in this case, the pixel density of the fourth camera becomes 24 in the third overlapping image area, be higher than the pixel density of the third camera 23 in the third overlapping image area 33 , The fourth possible dividing line 44 is in the fourth overlapping image area 34 and this has a zigzag shape between the image data of the fourth camera 24 and the first camera 21 on.

Alternativ oder zusätzlich können die jeweiligen Trennlinien 41, 42, 43, 44 fest oder dynamisch festgelegt werden. Bei einer fest festgelegten Trennlinie 41, 42, 43, 44 kann dies im Vorfeld anhand der Pixeldichte geschehen. Die dynamische Bestimmung der Trennlinie 41, 42, 43, 44 kann durch die Steuereinheit 10 während des Betriebs erfolgen.Alternatively or additionally, the respective dividing lines 41 . 42 . 43 . 44 fixed or dynamic. At a fixed dividing line 41 . 42 . 43 . 44 This can be done in advance on the basis of the pixel density. The dynamic determination of the dividing line 41 . 42 . 43 . 44 can through the control unit 10 during operation.

Es sei angemerkt, dass auch nur zwei Kameras Bilddaten erzeugen können und somit ein überlappender Bildbereich entsteht, für welchen die Steuereinheit die Pixel bzw. Bildbestandteile derjenigen Bilddaten auswählt, welche eine höhere Pixeldichte aufweisen.It should be noted that only two cameras can generate image data and thus an overlapping image area arises, for which the control unit selects the pixels or image components of those image data which have a higher pixel density.

4 zeigt ein Fahrzeug 2 mit einem Surroundview-System 1. Das Surroundview-System 1 ist hierbei vorteilhafterweise in bzw. an dem Fahrzeug 2 angebracht, um ein Umgebungsbild des Fahrzeugs 2 zu erzeugen und für den Fahrer anzuzeigen. Hierbei ist insbesondere ein zusammengesetztes Surroundview-Bild mit einer möglichst hohen Auflösung von Vorteil, um möglichst viele Details erkennen zu können. 4 shows a vehicle 2 with a surroundview system 1 , The surroundview system 1 This is advantageously in or on the vehicle 2 attached to an environmental image of the vehicle 2 to generate and display for the driver. In this case, in particular a composite surround view image with the highest possible resolution is advantageous in order to be able to recognize as many details as possible.

5 zeigt ein Flussdiagramm für ein Verfahren zur Erzeugung eines Surroundview-Bildes. In einem ersten Schritt S1 werden Bilddaten durch wenigstens eine erste und eine zweite Kamera erzeugt. In einem zweiten Schritt S2 wird ein überlappender Bildbereich der Bilddaten der ersten und der zweiten Kamera bestimmt, wobei dieser überlappende Bereich in den Bilddaten der ersten und der zweiten Kamera enthalten ist. In einem Schritt S3 wird die Pixeldichte in den Bilddaten und insbesondere in dem überlappenden Bildbereich bestimmt. In einem Schritt S4 wird ein Bild aus den Bilddaten der ersten und der zweiten Kamera zusammengesetzt, wobei die Pixel für den überlappenden Bereich basierend auf der Pixeldichte der Bilddaten der ersten und der zweiten Kamera bestimmt werden. 5 shows a flowchart for a method for generating a surround view image. In a first step S1 Image data are generated by at least a first and a second camera. In a second step S2 an overlapping image area of the image data of the first and the second camera is determined, this overlapping area being contained in the image data of the first and the second camera. In one step S3 the pixel density is determined in the image data and in particular in the overlapping image area. In one step S4 For example, an image is composed of the image data of the first and second cameras, wherein the pixels for the overlapping region are determined based on the pixel density of the image data of the first and second cameras.

Claims (14)

Surroundview-System (1) für ein Fahrzeug (2), aufweisend: - eine erste und eine zweite Kamera (21, 22, 23, 24); und - eine Steuereinheit (10), wobei die erste und die zweite Kamera (21, 22, 23, 24) dazu eingerichtet sind, Bilddaten mit einer Mehrzahl an Pixeln zu erzeugen, wobei die Bilddaten der ersten Kamera (21, 22, 23, 24) eine erste Pixeldichte aufweisen und die Bilddaten der zweiten Kamera (21, 22, 23, 24) eine zweite Pixeldichte aufweisen, wobei die Bilddaten der ersten und der zweiten Kamera (21, 22, 23, 24) wenigstens einen, zumindest teilweise, überlappenden Bildbereich (31, 32, 33, 34) aufweisen, wobei die Steuereinheit (10) dazu eingerichtet ist, für das Zusammenfügen der ersten und der zweiten Bilddaten die Pixel der Bilddaten im überlappenden Bildbereich (31, 32, 33, 34) anhand der Pixeldichte aus den ersten und zweiten Billdaten auszuwählen oder zu gewichten, um ein Surroundview-Bild mit einer möglichst hohen Auflösung zu erzeugen.Surroundview system (1) for a vehicle (2), comprising: a first and a second camera (21, 22, 23, 24); and a control unit (10), wherein the first and second cameras (21, 22, 23, 24) are adapted to generate image data having a plurality of pixels, wherein the image data of the first camera (21, 22, 23, 24) has a first pixel density and the image data of the second camera (21, 22, 23, 24) has a second pixel density, the image data of the first and the second camera (21, 22, 23, 24) having at least one, at least partially, overlapping image area (31, 32, 33, 34), wherein the control unit (10) is arranged to select or weight the pixels of the image data in the overlapping image area (31, 32, 33, 34) based on the pixel density from the first and second bill data for the joining of the first and the second image data create a surroundview image with the highest possible resolution. Surroundview-System (1) gemäß Anspruch 1, wobei die Pixeldichte der Bilddaten der ersten Kamera (21, 22, 23, 24) unterschiedlich ist zur Pixeldichte der Bilddaten der zweiten Kamera (21, 22, 23, 24).Surroundview system (1) according to Claim 1 wherein the pixel density of the image data of the first camera (21, 22, 23, 24) is different from the pixel density of the image data of the second camera (21, 22, 23, 24). Surroundview-System (1) gemäß Anspruch 1 und 2, wobei die Steuereinheit (10) dazu eingerichtet ist, die Pixel der ersten Bilddaten und die korrespondierenden Bilddaten der zweiten Bilddaten für den überlappenden Bildbereich (31, 32, 33, 34) gemäß ihrer jeweiligen Pixeldichte zu gewichten.Surroundview system (1) according to Claim 1 and 2 wherein the control unit (10) is adapted to weight the pixels of the first image data and the corresponding image data of the second image data for the overlapping image area (31, 32, 33, 34) according to their respective pixel density. Surroundview-System (1) gemäß Anspruch 3, wobei die Steuereinheit (10) dazu eingerichtete ist, die jeweiligen Pixel der Bilddaten für den überlappenden Bildbereich (31, 32, 33, 34) anhand der Formel I r e s j = ( 1 − α ) I 1 k + α I 2 l
Figure DE102018201316A1_0003
zu gewichten, wobei α der Gewichtungsparameter der Pixeldichte ist, I1 und I2 die jeweiligen Bilddaten der ersten und der zweiten Kamera (21, 22, 23, 24) sind, k und 1 die jeweilige Position der Pixel in den Bilddaten der ersten und der zweiten Kamera (21, 22, 23, 24) sind und I r e s j
Figure DE102018201316A1_0004
das resultierende Pixel des Surroundview-Bildes ist.Surroundview system (1) according to Claim 3 wherein the control unit (10) is adapted to set the respective pixels of the image data for the overlapping image area (31, 32, 33, 34) according to the formula I r e s j = ( 1 - α ) I 1 k + α I 2 l
Figure DE102018201316A1_0003
 , where α is the weighting parameter of the pixel density, I 1 and I 2 are the respective image data of the first and second cameras (21, 22, 23, 24), k and 1 are the respective positions of the pixels in the image data of the first and second the second camera (21, 22, 23, 24) are and I r e s j
Figure DE102018201316A1_0004
 the resulting pixel of the surroundview image is. Surroundview-System (1) gemäß Anspruch 1 und 2, wobei die Steuereinheit (10) dazu eingerichtet ist, die Pixel für den überlappenden Bildbereich (31, 32, 33, 34) entweder aus den ersten oder den zweiten Bilddaten anhand der jeweiligen Pixeldichten auszuwählen. Surroundview system (1) according to Claim 1 and 2 wherein the control unit (10) is adapted to select the pixels for the overlapping image area (31, 32, 33, 34) from either the first or the second image data based on the respective pixel densities. Surroundview-System (1) gemäß einem der vorhergehenden Ansprüche, wobei die Gewichtung oder die Auswahl der Pixel der Bilddaten im überlappenden Bereich (31, 32, 33, 34) vorbestimmt ist.A surround view system (1) according to any one of the preceding claims, wherein the weighting or selection of the pixels of the image data in the overlapping area (31, 32, 33, 34) is predetermined. Surroundview-System (1) gemäß Anspruch 6, wobei die Vorbestimmung der Pixel im überlappenden Bildbereich (31, 32, 33, 34) von den Eigenschaften der ersten und der zweiten Kamera (21, 22, 23, 24) abhängen. Surroundview system (1) according to Claim 6 in which the predetermination of the pixels in the overlapping image area (31, 32, 33, 34) depends on the properties of the first and the second camera (21, 22, 23, 24). Surroundview-System (1) gemäß einem der Ansprüche 1 bis 5, wobei die Gewichtung oder Auswahl der Pixel der Bilddaten im überlappenden Bildbereich (31, 32, 33, 34) dynamisch anhand der aktuellen Bilddaten der ersten und der zweiten Kamera (21, 22, 23, 24) erfolgt.Surroundview system (1) according to one of Claims 1 to 5 wherein the weighting or selection of the pixels of the image data in the overlapping image area (31, 32, 33, 34) takes place dynamically on the basis of the current image data of the first and the second camera (21, 22, 23, 24). Surroundview-System (1) gemäß Anspruch 8, wobei die dynamische Gewichtung oder Auswahl der Pixel der Bilddaten im überlappenden Bildbereich (31, 32, 33, 34) durch ein Ereignis an der ersten oder der zweiten Kamera (21, 22, 23, 24) ausgelöst wird.Surroundview system (1) according to Claim 8 wherein the dynamic weighting or selection of the pixels of the image data in the overlapping image area (31, 32, 33, 34) is triggered by an event on the first or the second camera (21, 22, 23, 24). Surroundview-System (1) gemäß einem der vorhergehenden Ansprüche, wobei das Surroundview-System (1) wenigstens vier Kameras (21, 22, 23, 24) aufweist, welche in gleichem Winkel zueinander angeordnet sind, wobei jeweils zwei der vier Kameras (21, 22, 23, 24) paarweise einen überlappenden Bildbereich (31, 32, 33, 34) aufweisen.Surroundview system (1) according to one of the preceding claims, wherein the surround view system (1) has at least four cameras (21, 22, 23, 24) which are arranged at the same angle to one another, wherein in each case two of the four cameras (21, 22, 23, 24) in pairs have an overlapping image area (31, 32, 33, 34). Fahrzeug (2) mit einem Surroundview-System (1) gemäß einem der Ansprüche 1 bis 10.Vehicle (2) with a surround view system (1) according to one of Claims 1 to 10 , Verfahren zur Erzeugung eines Surroundview-Bildes, die folgenden Schritte aufweisend: - Erzeugen (S1) von Bilddaten durch wenigstens eine erste und eine zweite Kamera; - Bestimmen (S2) wenigstens eines überlappenden Bildbereichs der erzeugten Bilddaten der ersten und der zweiten Kamera; - Auswählen oder Gewichten (S3) der Pixel der Bilddaten im überlappenden Bildbereich anhand der Pixeldichte; und - Erzeugen (S4) eines Surroundview-Bildes basierend auf den Bilddaten der ersten und der zweiten Kamera und den bestimmten Pixel für den wenigstens einen überlappenden Bildbereich.A method of generating a surround view image, comprising the steps of: Generating (S1) image data by at least a first and a second camera; - determining (S2) at least one overlapping image area of the generated image data of the first and the second camera; - selecting or weighting (S3) the pixels of the image data in the overlapping image area based on the pixel density; and Generating (S4) a surround view image based on the image data of the first and second cameras and the determined pixel for the at least one overlapping image area. Programmelement, das, wenn es auf einer Steuereinheit (10) eines Surroundview-System (1) ausgeführt wird, das Surroundview-System (1) anleitet, das Verfahren gemäß Anspruch 12 durchzuführen.Program element that, when executed on a control unit (10) of a surround view system (1), instructs the surround view system (1), the method according to Claim 12 perform. Computerlesbares Medium, auf dem ein Programmelement gemäß Anspruch 13 gespeichert ist.Computer-readable medium on which a program element according to Claim 13 is stored.
DE102018201316.0A 2018-01-29 2018-01-29 Surroundview system for one vehicle Withdrawn DE102018201316A1 (en)

Priority Applications (4)

Application Number Priority Date Filing Date Title
DE102018201316.0A DE102018201316A1 (en) 2018-01-29 2018-01-29 Surroundview system for one vehicle
EP19701755.1A EP3747188A1 (en) 2018-01-29 2019-01-14 Surround view system for a vehicle
DE112019000138.8T DE112019000138A5 (en) 2018-01-29 2019-01-14 SURROUNDVIEW SYSTEM FOR A VEHICLE
PCT/DE2019/200000 WO2019144999A1 (en) 2018-01-29 2019-01-14 Surround view system for a vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102018201316.0A DE102018201316A1 (en) 2018-01-29 2018-01-29 Surroundview system for one vehicle

Publications (1)

Publication Number Publication Date
DE102018201316A1 true DE102018201316A1 (en) 2019-08-01

Family

ID=65234342

Family Applications (2)

Application Number Title Priority Date Filing Date
DE102018201316.0A Withdrawn DE102018201316A1 (en) 2018-01-29 2018-01-29 Surroundview system for one vehicle
DE112019000138.8T Pending DE112019000138A5 (en) 2018-01-29 2019-01-14 SURROUNDVIEW SYSTEM FOR A VEHICLE

Family Applications After (1)

Application Number Title Priority Date Filing Date
DE112019000138.8T Pending DE112019000138A5 (en) 2018-01-29 2019-01-14 SURROUNDVIEW SYSTEM FOR A VEHICLE

Country Status (3)

Country Link
EP (1) EP3747188A1 (en)
DE (2) DE102018201316A1 (en)
WO (1) WO2019144999A1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100020170A1 (en) * 2008-07-24 2010-01-28 Higgins-Luthman Michael J Vehicle Imaging System
CN103377372A (en) * 2012-04-23 2013-10-30 无锡维森智能传感技术有限公司 Looking-around composite graph overlapping region dividing method and looking-around composite graph representing method
US20160044284A1 (en) * 2014-06-13 2016-02-11 Magna Electronics Inc. Vehicle vision system with panoramic view
DE102016224905A1 (en) * 2016-12-14 2018-06-14 Conti Temic Microelectronic Gmbh Apparatus and method for fusing image data from a multi-camera system for a motor vehicle

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011037964A1 (en) * 2009-09-22 2011-03-31 Tenebraex Corporation Systems and methods for correcting images in a multi-sensor system
US9509909B2 (en) * 2013-11-18 2016-11-29 Texas Instruments Incorporated Method and apparatus for a surround view camera system photometric alignment
EP3142066A1 (en) * 2015-09-10 2017-03-15 KNORR-BREMSE Systeme für Nutzfahrzeuge GmbH Image synthesizer for a surround monitoring system
JP6459016B2 (en) * 2016-07-22 2019-01-30 パナソニックＩｐマネジメント株式会社 Imaging system and moving body system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100020170A1 (en) * 2008-07-24 2010-01-28 Higgins-Luthman Michael J Vehicle Imaging System
CN103377372A (en) * 2012-04-23 2013-10-30 无锡维森智能传感技术有限公司 Looking-around composite graph overlapping region dividing method and looking-around composite graph representing method
US20160044284A1 (en) * 2014-06-13 2016-02-11 Magna Electronics Inc. Vehicle vision system with panoramic view
DE102016224905A1 (en) * 2016-12-14 2018-06-14 Conti Temic Microelectronic Gmbh Apparatus and method for fusing image data from a multi-camera system for a motor vehicle

Also Published As

Publication number Publication date
EP3747188A1 (en) 2020-12-09
WO2019144999A1 (en) 2019-08-01
DE112019000138A5 (en) 2020-07-02

Similar Documents

Publication Publication Date Title
DE202013012537U1 (en) Visual system for a commercial vehicle for the representation of legally prescribed fields of view of a main mirror and a main mirror and a wide-angle mirror
DE102009050368A1 (en) Method for automatically calibrating a virtual camera
DE102014116199B4 (en) Image distortion compensation apparatus and method of operation therefor
WO2016162245A1 (en) Method for displaying an area surrounding a vehicle
EP1770635A1 (en) Iterative image interpolation method
DE112012005531T5 (en) Display controller
DE102018203590A1 (en) Surroundview system with adapted projection surface
DE102018214198A1 (en) System for evaluating an image, operation assistance method and control unit for a working device and working device
WO2021121491A2 (en) Converting input image data from a plurality of vehicle cameras of a surround-view system into optimised output image data
DE102020127000A1 (en) GENERATION OF COMPOSITE PICTURES USING INTERMEDIATE SURFACES
DE102019105630A1 (en) Display control device, vehicle environment display system and computer program
EP3292535B1 (en) Method for producing an overall image of a vehicle environment of a vehicle and corresponding device
EP3073446B1 (en) Method for representing the surroundings of a vehicle
DE102015105529A1 (en) A method of transforming an image of a virtual camera, computer program product, display system and motor vehicle
DE102014218059A1 (en) Surround view system for vehicles with attachments
DE112014003174T5 (en) An image forming apparatus, an image forming method, and a non-volatile computer-readable storage medium
DE102018201316A1 (en) Surroundview system for one vehicle
DE102013020952A1 (en) Method for setting a parameter relevant to the brightness and / or the white balance of an image representation in a camera system of a motor vehicle, camera system and motor vehicle
DE102020107949A1 (en) Field of view assist image generation apparatus and image conversion method
EP3106349A1 (en) Vision system for a commercial vehicle for the display of the statutory fields of view of a main mirror and a wide-angle mirror
EP3973511A1 (en) Method for generating an image of vehicle surroundings, and apparatus for generating an image of vehicle surroundings
EP3465608B1 (en) Method and device for determining a transfer between two display images, and vehicle
DE102018100211A1 (en) A method for generating a representation of an environment by moving a virtual camera towards an interior mirror of a vehicle; as well as camera setup
DE102021112646A1 (en) CREATING A COMBINED IMAGE FROM CAMERA DATA
DE102016225073A1 (en) DEVICE FOR PROVIDING AN IMPROVED OBSTACLE IDENTIFICATION

Legal Events

Date Code Title Description
R163 Identified publications notified
R118 Application deemed withdrawn due to claim for domestic priority