DE102012219735A1 - Method for image processing of data of images detected by cameras arranged at e.g. outer side of vehicle, involves adapting image data to be signaled such that hidden object is perceptible on image to be signaled - Google Patents

Method for image processing of data of images detected by cameras arranged at e.g. outer side of vehicle, involves adapting image data to be signaled such that hidden object is perceptible on image to be signaled Download PDF

Info

Publication number
DE102012219735A1
DE102012219735A1 DE201210219735 DE102012219735A DE102012219735A1 DE 102012219735 A1 DE102012219735 A1 DE 102012219735A1 DE 201210219735 DE201210219735 DE 201210219735 DE 102012219735 A DE102012219735 A DE 102012219735A DE 102012219735 A1 DE102012219735 A1 DE 102012219735A1
Authority
DE
Germany
Prior art keywords
image
signaled
image data
environment model
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
DE201210219735
Other languages
German (de)
Inventor
Thomas Reicher
Guenter Bauer
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Bayerische Motoren Werke AG
Original Assignee
Bayerische Motoren Werke AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Bayerische Motoren Werke AG filed Critical Bayerische Motoren Werke AG
Priority to DE201210219735 priority Critical patent/DE102012219735A1/en
Publication of DE102012219735A1 publication Critical patent/DE102012219735A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)

Abstract

The method involves determining environment model image data of an environment model image based on image data of detected images. Image data to be signaled of an image to be signaled is determined based on the model image data from a view of a virtual camera (VKAM) on the model image. Obstacles (H), which is imaged in the image to be signaled and the model image and hides an object (OBJ) from a view of the camera, are determined. The image data to be signaled is adapted such that the hidden object is perceptible on the image to be signaled. An independent claim is also included for a device for image processing of data of images detected by cameras arranged at a vehicle.

Description

Die Erfindung betrifft ein Verfahren und eine Vorrichtung zur Bildverarbeitung von Bilddaten jeweiliger Bilder, die von mehreren Kameras erfasst werden, die an einem Fahrzeug angeordnet sind.The invention relates to a method and a device for image processing of image data of respective images, which are detected by a plurality of cameras, which are arranged on a vehicle.

Fahrzeuge werden zunehmend mit mehreren Kameras ausgestattet, die außen, also an der Peripherie des Fahrzeugs, angebracht sind. So kann eine derartige Kamera beispielsweise an einem Außenspiegel eines Fahrzeugs angeordnet sein. Eine derartige Kamera kann beispielsweise auch an einer Fahrzeugfront oder an dem Heck des Fahrzeugs angeordnet sein. Derartige Kameras können den Fahrzeugführer unterstützen bei der Wahrnehmung des Außenbereichs des Fahrzeugs.Vehicles are increasingly being equipped with several cameras, which are mounted on the outside, ie at the periphery of the vehicle. For example, such a camera can be arranged on an exterior mirror of a vehicle. Such a camera can also be arranged, for example, on a vehicle front or at the rear of the vehicle. Such cameras may assist the driver in sensing the exterior of the vehicle.

Die Aufgabe, die der Erfindung zugrunde liegt, ist ein Verfahren und eine Vorrichtung zu schaffen, das bzw. die dazu beiträgt, dass ein zu signalisierendes Bild aus einer für einen Fahrzeugführer eingängigen Sicht ermittelt wird.The object on which the invention is based is to provide a method and a device which contributes to the fact that an image to be signaled is determined from a view that is catchy for a vehicle driver.

Die Aufgabe wird gelöst durch die Merkmale der unabhängigen Patentansprüche. Vorteilhafte Ausgestaltungen sind in den Unteransprüchen gekennzeichnet.The object is solved by the features of the independent claims. Advantageous embodiments are characterized in the subclaims.

Die Erfindung zeichnet sich aus durch ein Verfahren und eine korrespondierende Vorrichtung zur Bildverarbeitung von Bilddaten jeweiliger Bilder, die von mehreren Kameras erfasst werden, die an einem Fahrzeug angeordnet sind. Abhängig von den Bilddaten der erfassten Bilder werden Umgebungsmodellbilddaten eines Umgebungsmodellbildes ermittelt. Abhängig von den Umgebungsmodellbilddaten werden zu signalisierende Bilddaten eines zu signalisierenden Bildes aus Sicht einer virtuellen Kamera auf das Umgebungsmodellbild ermittelt. Es wird ein in dem zu signalisierenden Bild abgebildetes Hindernis ermittelt, das aus Sicht der virtuellen Kamera ein Objekt verdeckt, das in dem Umgebungsmodellbild abgebildet ist. Die zu signalisierenden Bilddaten werden so angepasst, dass das verdeckte Objekt auf dem zu signalisierenden Bild wahrnehmbar ist.The invention is characterized by a method and a corresponding device for image processing of image data of respective images captured by a plurality of cameras arranged on a vehicle. Depending on the image data of the captured images, environmental model image data of an environment model image is determined. Depending on the environment model image data to be signaled image data of a signal to be signaled from the perspective of a virtual camera on the environment model image is determined. An obstacle imaged in the image to be signalized is detected, which, from the view of the virtual camera, obscures an object which is imaged in the environment model image. The image data to be signaled are adjusted so that the hidden object is perceptible on the image to be signaled.

Bei der Sicht der virtuellen Kamera handelt es sich vorzugsweise um eine für einen Fahrzeugführer hilfreiche Sicht.The view of the virtual camera is preferably a view helpful to a driver.

Indem überprüft wird, ob in dem zu signalisierenden Bild ein Hindernis ist, das aus Sicht der virtuellen Kamera ein oder mehrere Objekte verdeckt, die in dem Umgebungsmodellbild abgebildet sind, kann dies bei dem Erstellen des zu signalisierenden Bildes berücksichtigt werden. So können beispielsweise Hindernisse, die Objekte verdecken, transparent dargestellt werden, so dass ein Fahrzeugführer des Fahrzeugs die Objekte aus einer hilfreichen Sicht wahrnimmt. So erhält der Fahrzeugführer eine zusätzliche Hilfe in dem zu signalisierenden Bild. Auf dieser Weise kann beispielsweise ein Querverkehr aus einer für den Fahrzeugführer eingängigen Sicht wahrgenommen werden, obwohl der Querverkehr eigentlich durch ein Hindernis verdeckt ist.By checking whether there is an obstacle in the image to be signaled, which, as seen by the virtual camera, obscures one or more objects imaged in the environment model image, this can be taken into account when creating the image to be signaled. For example, obstacles obscuring objects can be displayed transparently so that a driver of the vehicle perceives the objects from a helpful point of view. Thus, the driver receives additional help in the image to be signaled. In this way, for example, a cross traffic can be perceived from a driver's point of view, although the cross traffic is actually obscured by an obstacle.

Gemäß einer vorteilhaften Ausgestaltung wird eine Geometrie eines dreidimensionalen Umgebungsmodells bereitgestellt. Die Umgebungsmodellbilddaten werden durch Projizieren der Bilddaten der jeweiligen Bilder der verschiedenen Kameras auf die Oberfläche des dreidimensionalen Umgebungsmodells ermittelt. Durch die Projektion auf ein dreidimensionales Umgebungsmodell ist es gegebenenfalls mit wenig Rechenaufwand möglich die Umgebungsmodellbilddaten zu ermitteln. Aus diesen dreidimensionalen Umgebungsmodellbilddaten lässt sich gegebenenfalls einfach das Hindernis ermitteln.According to an advantageous embodiment, a geometry of a three-dimensional environment model is provided. The environment model image data is obtained by projecting the image data of the respective images of the various cameras onto the surface of the three-dimensional environment model. By projection onto a three-dimensional environment model, it may be possible with little computational effort to determine the environment model image data. From these three-dimensional environment model image data, if necessary, the obstacle can be easily determined.

Gemäß einer weiteren vorteilhaften Ausgestaltung wird die Geometrie des dreidimensionalen Umgebungsmodells ermittelt abhängig von einem Messsignal eines Abstandssensors des Fahrzeugs. Hierdurch lässt sich gegebenenfalls einfach und kostengünstig ein dreidimensionales Umgebungsmodell ermitteln. Ein solcher Abstandssensor ist beispielsweise ein Ultraschallsensor.According to a further advantageous embodiment, the geometry of the three-dimensional environment model is determined depending on a measurement signal of a distance sensor of the vehicle. As a result, a three-dimensional environment model can optionally be determined simply and inexpensively. Such a distance sensor is for example an ultrasonic sensor.

Gemäß einer weiteren vorteilhaften Ausgestaltung wird die Geometrie des dreidimensionalen Umgebungsmodells ermittelt abhängig von den Bilddaten der erfassten Bilder. Auf dieser Weise ist es gegebenenfalls möglich, das Umgebungsmodell ohne zusätzliche Sensorik zu ermitteln.According to a further advantageous embodiment, the geometry of the three-dimensional environment model is determined depending on the image data of the captured images. In this way it may be possible to determine the environment model without additional sensors.

Gemäß einer weiteren vorteilhaften Ausgestaltung werden die zu signalisierenden Bilddaten mittels Alpha Blending angepasst. Hiermit ist es gegebenenfalls einfach und mit wenig Rechenaufwand realisierbar, die verdeckten Objekte anzuzeigen.According to a further advantageous embodiment, the image data to be signaled are adjusted by means of alpha blending. This makes it possible, if necessary, simple and with little computational effort feasible to display the hidden objects.

Gemäß einer weiteren vorteilhaften Ausgestaltung wird zusätzlich eine zu signalisierende Zusatzinformation zu den zu signalisierenden Bilddaten hinzugefügt. Hierdurch können beispielsweise die verdeckten Objekte hervorgehoben und/oder markiert und/oder Zusatzinformationen zu den verdeckten Objekten eingeblendet werden.According to a further advantageous embodiment, an additional information to be signaled is additionally added to the image data to be signaled. As a result, for example, the hidden objects can be highlighted and / or marked and / or additional information about the hidden objects can be displayed.

Ausführungsbeispiele der Erfindung sind im Folgenden anhand der schematischen Zeichnungen näher erläutert. Es zeigen:Embodiments of the invention are explained in more detail below with reference to the schematic drawings. Show it:

1, ein Fahrzeug mit einer Steuervorrichtung und 1 , a vehicle with a control device and

2, ein Ablaufdiagram eines Programms, das in der Steuervorrichtung abgearbeitet wird. 2 , A flow chart of a program that is executed in the control device.

Elemente gleicher Konstruktion oder Funktion sind figurenübergreifend mit den gleichen Bezugszeichen gekennzeichnet. Elements of the same construction or function are identified across the figures with the same reference numerals.

Ein Fahrzeug 1 weist verschiedene Kameras KAM1, KAM2, KAM3, KAM4 auf. Die jeweilige Kamera KAM1, KAM2, KAM3, KAM4 ist dazu ausgebildet und angeordnet zumindest einen Teil einer Umgebung des Fahrzeugs 1 zu erfassen. Eine erste Kamera KAM1 ist beispielsweise an der Front des Fahrzeugs 1 angeordnet, so zum Beispiel im Bereich des Kühlergrills. Eine zweite und dritte Kamera KAM2, KAM3 sind beispielsweise an den Außenspiegeln 3, 4 des Fahrzeugs 1 angeordnet. Eine vierte Kamera KAM4 ist beispielsweise im Heckbereich des Fahrzeugs 1 angeordnet. Durch eine geeignete Anordnung der Kameras, also insbesondere der ersten bis vierten Kamera KAM1, KAM2, KAM3, KAM4, kann die gesamte Umgebung des Fahrzeugs 1, also insbesondere eine Rundumsicht, erfasst werden.A vehicle 1 has several cameras KAM1, KAM2, KAM3, KAM4. The respective camera KAM1, KAM2, KAM3, KAM4 is designed and arranged at least part of an environment of the vehicle 1 capture. A first camera KAM1 is, for example, at the front of the vehicle 1 arranged, for example in the area of the radiator grille. A second and third camera KAM2, KAM3 are, for example, on the exterior mirrors 3 . 4 of the vehicle 1 arranged. A fourth camera KAM4 is, for example, in the rear area of the vehicle 1 arranged. By a suitable arrangement of the cameras, ie in particular the first to fourth camera KAM1, KAM2, KAM3, KAM4, the entire environment of the vehicle 1 , So in particular a panoramic view to be detected.

In der Umgebung des Fahrzeugs 1 befinden sich ein oder mehrere Hindernisse H. Die erste Kamera KAM1 weist einen ersten Öffnungswinkel W1 auf, der den Bildbereich der ersten Kamera KAM1 eingrenzt. Das Hindernis H verdeckt einen verdeckten Bereich VB aus Sicht einer virtuellen Kamera VKAM. Der verdeckte Bereich VB wird von der ersten Kamera KAM1 erfasst, da er innerhalb des ersten Öffnungswinkels W1 liegt.In the environment of the vehicle 1 There are one or more obstacles H. The first camera KAM1 has a first opening angle W1, which limits the image area of the first camera KAM1. The obstacle H covers a hidden area VB from the point of view of a virtual camera VKAM. The hidden area VB is detected by the first camera KAM1 because it is within the first opening angle W1.

Er liegt zusätzlich innerhalb eines virtuellen Öffnungswinkels WV der virtuellen Kamera VKAM, der den Bildbereich der virtuellen Kamera VKAM eingrenzt. In dem verdeckten Bereich VB befindet sich ein Objekt OBJ.It is additionally within a virtual opening angle WV of the virtual camera VKAM, which limits the image area of the virtual camera VKAM. In the hidden area VB is an object OBJ.

Das Fahrzeug 1 weist ferner eine Steuervorrichtung 11 auf, die mit den verschiedenen Kameras KAM1, KAM2, KAM3, KAM4 derart signaltechnisch gekoppelt ist, dass sie Bilddaten DAT von durch die jeweilige Kamera KAM1, KAM2, KAM3, KAM4 erfassten Bildern P_i empfangen kann. Darüber hinaus kann die Steuervorrichtung 11 auch noch mit weiteren Sensoren, die dem Fahrzeug 1 zugeordnet sind, signaltechnisch gekoppelt sein. Derartige Sensoren können beispielsweise ein Abstandsensor sein, der beispielsweise ultraschallbasiert ist.The vehicle 1 further comprises a control device 11 which is signal-coupled with the various cameras KAM1, KAM2, KAM3, KAM4 in such a way that it can receive image data DAT from images P_i acquired by the respective camera KAM1, KAM2, KAM3, KAM4. In addition, the control device 11 even with other sensors that the vehicle 1 are assigned to be signal technically coupled. Such sensors may for example be a distance sensor, which is for example ultrasound-based.

Die Steuervorrichtung 11 weist einen Daten- und Programmspeicher auf und weist ferner eine Recheneinheit auf, in der Programme während des Betriebs des Fahrzeugs 1 abgearbeitet werden, die insbesondere in dem Daten- und Programmspeicher gespeichert sind. Darüber hinaus weist die Steuervorrichtung 11 bevorzugt eine Ausgabeschnittstelle auf, über die sie signaltechnisch gekoppelt ist, beispielsweise mit einer optischen Ausgabeeinheit. Auf diese Weise kann ein zu signalisierendes Bild mittels zu signalisierender Bilddaten PS signalisiert werden und zwar insbesondere einem Fahrzeugführer.The control device 11 has a data and program memory and further comprises a computing unit, in the programs during operation of the vehicle 1 be processed, which are stored in particular in the data and program memory. In addition, the control device 11 preferably has an output interface via which it is signal-technically coupled, for example with an optical output unit. In this way, an image to be signaled can be signaled by means of image data PS to be signaled, specifically to a vehicle driver.

Die Steuervorrichtung 11 kann auch als Vorrichtung zur Bildverarbeitung bezeichnet werden.The control device 11 may also be referred to as an image processing device.

Ein Programm zur Bildverarbeitung, das in der Steuervorrichtung 11 abgearbeitet wird, wird in einem Schritt S1 (2) gestartet, in dem gegebenenfalls Variablen initialisiert werden können.A program for image processing, in the control device 11 is processed, in a step S1 ( 2 ), in which variables can be initialized if necessary.

In einem Schritt S3 werden Bilddaten DAT der jeweiligen Bilder P_i, die von den verschiedenen Kameras KAM1, KAM2, KAM3, KAM4 erfasst wurden, bereitgestellt. Es werden somit die Bilddaten DAT eines Bildes P1, das von der ersten Kamera KAM1 erfasst wurde, eines Bildes P_i das von der zweiten Kamera KAM2 erfasst wurde, eines Bildes P_i das von der dritten Kamera KAM3 erfasst wurde und eines Bildes P_i das von der vierten Kamera KAM4 erfasst wurde, zur weiteren Verarbeitung in den nachfolgenden Schritten bereitgestellt.In a step S3, image data DAT of the respective images P_i detected by the various cameras KAM1, KAM2, KAM3, KAM4 are provided. Thus, the image data DAT of an image P1 acquired by the first camera KAM1, an image P_i detected by the second camera KAM2, an image P_i detected by the third camera KAM3, and an image P_i are those of the fourth Camera KAM4 was detected, provided for further processing in the subsequent steps.

In einem Schritt S5 wird eine Geometrie eines dreidimensionalen Umgebungsmodells UM bereitgestellt. Das dreidimensionale Umgebungsmodell UM grenzt einen Umgebungsraum UR dreidimensional ein, der auch das Fahrzeug 1 umfasst.In a step S5, a geometry of a three-dimensional environment model UM is provided. The three-dimensional environment model UM adjoins an ambient space UR in three dimensions, which also includes the vehicle 1 includes.

Das dreidimensionale Umgebungsmodell UM wird beispielsweise abhängig von einem Messsignal eines Abstandssensors des Fahrzeugs 1 ermittelt und/oder mittels Bildverarbeitung.The three-dimensional environment model UM, for example, depends on a measurement signal of a distance sensor of the vehicle 1 determined and / or by image processing.

In einem Schritt S7 werden Umgebungsmodellbilddaten PU durch Projizieren der Bilddaten DAT der jeweiligen Bilder P_i der verschiedenen Kameras KAM1, KAM2, KAM3, KAM4 auf die Oberfläche des dreidimensionalen Umgebungsmodells UM ermittelt.In a step S7, environment model image data PU are determined by projecting the image data DAT of the respective images P_i of the different cameras KAM1, KAM2, KAM3, KAM4 onto the surface of the three-dimensional environment model UM.

In einem Schritt S9 wird eine Position POS der virtuellen Kamera VKAM und eine Sichtrichtung der virtuellen Kamera VKAM bereitgestellt. Diese können beispielsweise durch den Fahrzeugführer vorgegeben werden und zwar im Sinne einer Auswahl verschiedener angebotenen Positionen POS und/oder von einer anderen Einheit innerhalb der Steuervorrichtung 11 ermittelt werden.In a step S9, a position POS of the virtual camera VKAM and a viewing direction of the virtual camera VKAM are provided. These can be predetermined, for example, by the vehicle driver in the sense of a selection of various offered positions POS and / or of another unit within the control device 11 be determined.

In einem Schritt S11 werden zu signalisierenden Bilddaten PS eines zu signalisierenden Bildes aus Sicht der virtuellen Kamera VKAM auf das Umgebungsmodellbild abhängig von den Umgebungsmodellbilddaten PU ermittelt.In a step S11, image data PS to be signaled of an image to be signaled are determined from the perspective of the virtual camera VKAM on the environment model image depending on the environment model image data PU.

In einem Schritt S13 wird ein in dem zu signalisierenden Bild abgebildetes Hindernis H ermittelt, dass aus Sicht der virtuellen Kamera VKAM ein Objekt OBJ verdeckt, das in dem Umgebungsmodellbild abgebildet ist.In a step S13, an obstacle H depicted in the image to be signalized is determined that, from the perspective of the virtual camera VKAM, obscures an object OBJ mapped in the environment model image.

Da das zu signalisierende Bild das Umgebungsmodellbild aus Sicht der virtuellen Kamera VKAM abbildet, ist auf dem zu signalisierendem Bild das Hindernis H abgebildet und nicht der verdeckte Bereich VB und das Objekt OBJ, die aus Sicht der virtuellen Kamera VKAM hinter dem Hindernis H liegen. So kann die abgebildete Fläche des Hindernisses H gegebenenfalls einfach detektiert werden, da es sich dabei um den Bildbereich des zu signalisierenden Bildes handelt, auf dem der verdeckte Bereich VB und das Objekt OBJ abgebildet wäre.Since the image to be signaled images the environment model image from the perspective of the virtual camera VKAM, the obstacle H is displayed on the image to be signaled and not the hidden area VB and the object OBJ which are behind the obstacle H from the point of view of the virtual camera VKAM. Thus, the imaged area of the obstacle H may possibly be easily detected, since this is the image area of the image to be signaled, on which the hidden area VB and the object OBJ would be imaged.

In einem Schritt S15 werden die zu signalisierenden Bilddaten PS so angepasst, dass das verdeckte Objekt OBJ auf dem zu signalisierenden Bild wahrnehmbar ist. Dies kann beispielsweise mittels Alpha Blending realisiert werden. So können die zu signalisierenden Bilddaten PS beispielsweise derart angepasst werden, dass der Teil des abgebildeten Hindernis H, der innerhalb des virtuellen Öffnungswinkels WV liegt, mit dem verdeckten Bereich VB mittels Alpha Blending überlagert wird. Alternativ oder zusätzlich kann auch der der Teil des abgebildeten Hindernis H, der innerhalb des virtuellen Öffnungswinkels WV liegt, ausgeblendet werden.In a step S15, the image data PS to be signaled are adapted such that the hidden object OBJ is perceptible on the image to be signaled. This can be realized for example by means of alpha blending. For example, the image data PS to be signaled can be adapted in such a way that the part of the imaged obstacle H lying within the virtual opening angle WV is superimposed on the hidden area VB by means of alpha blending. Alternatively or additionally, the part of the imaged obstacle H that lies within the virtual opening angle WV can also be hidden.

Auf solcher Weise ist es möglich dass ein Objekt OBJ, das eigentlich durch das Hindernis H aus Sicht der virtuellen Kamera VKAM verdeckt wird, auf dem zu signalisierenden Bild angezeigt wird, damit ein Fahrzeugführer es wahrnehmen kann.In this way, it is possible that an object OBJ, which is actually obscured by the obstacle H from the viewpoint of the virtual camera VKAM, is displayed on the image to be signaled, so that a driver can perceive it.

In einem Schritt S17 wird das Programm beendet und kann gegebenenfalls wieder in dem Schritt S1 gestartet werden.In a step S17, the program is ended and may optionally be started again in step S1.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

11
Fahrzeugvehicle
3, 43, 4
AußenspiegelMirrors
1111
Steuervorrichtungcontrol device
DATDAT
Bilddatenimage data
HH
Hindernisobstacle
KAM1–KAM4CAMERA 1-KAM4
Kamerascameras
OBJOBJ
Objektobject
P_iPi
Bildimage
POSPOS
Position der virtuellen KameraPosition of the virtual camera
PSPS
zu signalisierende Bilddatento be signaled image data
PUPU
UmgebungsmodellbilddatenEnvironment Model image data
UMAROUND
Umgebungsmodellenvironment model
URUR
Umgebungsraumsurrounding space
VBVB
verdeckter Bereichcovered area
VKAMVKAM
virtuelle Kameravirtual camera
W1W1
erster Öffnungswinkelfirst opening angle
WVWV
virtueller Öffnungswinkelvirtual opening angle

Claims (7)

Verfahren zur Bildverarbeitung von Bilddaten (DAT) jeweiliger Bilder (P_i), die von mehreren Kameras (KAM1, KAM2, KAM3, KAM4) erfasst werden, die an einem Fahrzeug (1) angeordnet sind, bei dem – abhängig von den Bilddaten (DAT) der erfassten Bilder (P_i) Umgebungsmodellbilddaten (PU) eines Umgebungsmodellbildes ermittelt werden, – abhängig von den Umgebungsmodellbilddaten (PU) zu signalisierende Bilddaten (PS) eines zu signalisierenden Bildes aus Sicht einer virtuellen Kamera (VKAM) auf das Umgebungsmodellbild ermittelt werden, – ein in dem zu signalisierenden Bild abgebildetes Hindernis (H) ermittelt wird, das aus Sicht der virtuellen Kamera (VKAM) ein Objekt (OBJ) verdeckt, das in dem Umgebungsmodellbild abgebildet ist und – die zu signalisierenden Bilddaten (PS) so angepasst werden, dass das verdeckte Objekt (OBJ) auf dem zu signalisierenden Bild wahrnehmbar ist.Method for image data processing (DAT) of respective images (P_i) acquired by a plurality of cameras (KAM1, KAM2, KAM3, KAM4) mounted on a vehicle ( 1 ), in which - depending on the image data (DAT) of the captured images (P_i) environment model image data (PU) of an environment model image are determined, - depending on the environment model image data (PU) to be signalized image data (PS) of an image to be signaled from a point of view a virtual camera (VKAM) can be determined on the environment model image, an obstacle (H), which is depicted in the image to be signalized and which, from the viewpoint of the virtual camera (VKAM), obscures an object (OBJ) which is depicted in the environment model image, and the image data (PS) to be signaled are adapted such that the hidden object (OBJ) is perceptible on the image to be signaled. Verfahren nach Anspruch 1, bei dem – eine Geometrie eines dreidimensionalen Umgebungsmodells (UM) bereitgestellt wird und – die Umgebungsmodellbilddaten (PU) durch Projizieren der Bilddaten (DAT) der jeweiligen Bilder (P_i) der verschiedenen Kameras (KAM1, KAM2, KAM3, KAM4) auf die Oberfläche des dreidimensionalen Umgebungsmodells (UM) ermittelt werden.The method of claim 1, wherein - a geometry of a three-dimensional environment model (UM) is provided and - The environment model image data (PU) by projecting the image data (DAT) of the respective images (P_i) of the different cameras (KAM1, KAM2, KAM3, KAM4) are determined on the surface of the three-dimensional environment model (UM). Verfahren nach Anspruch 2, bei dem die Geometrie des dreidimensionalen Umgebungsmodells (UM) ermittelt wird abhängig von einem Messsignal eines Abstandssensors des Fahrzeugs (1).Method according to Claim 2, in which the geometry of the three-dimensional environment model (UM) is determined as a function of a measurement signal of a distance sensor of the vehicle ( 1 ). Verfahren nach Anspruch 2 oder 3, bei dem die Geometrie des dreidimensionalen Umgebungsmodells (UM) ermittelt wird abhängig von den Bilddaten (DAT) der erfassten Bilder (P_i).The method of claim 2 or 3, wherein the geometry of the three-dimensional environment model (UM) is determined depending on the image data (DAT) of the captured images (P_i). Verfahren nach einem der vorhergehenden Ansprüche, bei dem die zu signalisierenden Bilddaten (PS) mittels Alpha Blending angepasst werden.Method according to one of the preceding claims, in which the image data (PS) to be signaled are adapted by means of alpha blending. Verfahren nach einem der vorhergehenden Ansprüche, bei dem zusätzlich eine zu signalisierende Zusatzinformation zu den zu signalisierenden Bilddaten (PS) hinzugefügt wird.Method according to one of the preceding claims, in which additional information to be signaled is added to the image data (PS) to be signaled. Vorrichtung zur Bildverarbeitung von Bilddaten (DAT) jeweiliger Bilder (P_i), die von mehreren Kameras (KAM1, KAM2, KAM3, KAM4) erfasst werden, die an einem Fahrzeug (1) angeordnet sind, wobei die Vorrichtung dazu ausgebildet ist – Umgebungsmodellbilddaten (PU) eines Umgebungsmodellbildes abhängig von den Bilddaten (DAT) zu ermitteln, – zu signalisierende Bilddaten (PS) eines zu signalisierenden Bildes aus Sicht einer virtuellen Kamera (VKAM) auf das Umgebungsmodellbild abhängig von den Umgebungsmodellbilddaten (PU) zu ermitteln, – ein in dem zu signalisierendem Bild abgebildetes Hindernis (H) zu ermitteln, das aus Sicht der virtuellen Kamera (VKAM) ein Objekt (OBJ) verdeckt, das in dem Umgebungsmodellbild abgebildet ist und – die zu signalisierenden Bilddaten (PS) so anzupassen, dass das verdeckte Objekt (OBJ) auf dem zu signalisierenden Bild wahrnehmbar ist.Device for image data processing (DAT) of respective images (P_i) acquired by a plurality of cameras (KAM1, KAM2, KAM3, KAM4) mounted on a vehicle ( 1 ), the device being designed to determine ambient model image data (PU) of an environment model image as a function of the image data (DAT), image data (PS) to be signaled of an image to be signaled from the perspective of a virtual camera (VKAM) on the environment model image to determine from the environment model image data (PU), to determine an obstacle (H) imaged in the image to be signaled, which from the point of view of Virtual camera (VKAM) obscured an object (OBJ), which is mapped in the environment model image and - to adjust the image data (PS) to be signaled so that the hidden object (OBJ) on the image to be signaled is perceptible.
DE201210219735 2012-10-29 2012-10-29 Method for image processing of data of images detected by cameras arranged at e.g. outer side of vehicle, involves adapting image data to be signaled such that hidden object is perceptible on image to be signaled Pending DE102012219735A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE201210219735 DE102012219735A1 (en) 2012-10-29 2012-10-29 Method for image processing of data of images detected by cameras arranged at e.g. outer side of vehicle, involves adapting image data to be signaled such that hidden object is perceptible on image to be signaled

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE201210219735 DE102012219735A1 (en) 2012-10-29 2012-10-29 Method for image processing of data of images detected by cameras arranged at e.g. outer side of vehicle, involves adapting image data to be signaled such that hidden object is perceptible on image to be signaled

Publications (1)

Publication Number Publication Date
DE102012219735A1 true DE102012219735A1 (en) 2014-04-30

Family

ID=50479666

Family Applications (1)

Application Number Title Priority Date Filing Date
DE201210219735 Pending DE102012219735A1 (en) 2012-10-29 2012-10-29 Method for image processing of data of images detected by cameras arranged at e.g. outer side of vehicle, involves adapting image data to be signaled such that hidden object is perceptible on image to be signaled

Country Status (1)

Country Link
DE (1) DE102012219735A1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014008687A1 (en) * 2014-06-12 2015-12-17 GM Global Technology Operations LLC (n. d. Ges. d. Staates Delaware) Method for displaying vehicle surroundings information of a motor vehicle
WO2016198059A1 (en) 2015-06-11 2016-12-15 Conti Temic Microelectronic Gmbh Method for generating a virtual image of vehicle surroundings
DE102016220894A1 (en) * 2016-10-25 2018-04-26 Conti Temic Microelectronic Gmbh A method and apparatus for generating a vehicle environment view in a vehicle
DE102017205194A1 (en) * 2017-03-28 2018-10-04 Bayerische Motoren Werke Aktiengesellschaft Method and device for providing 3D image information in a driver assistance system of a motor vehicle

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19947766A1 (en) * 1999-10-02 2001-05-10 Bosch Gmbh Robert Device for monitoring the surroundings of a parking vehicle
DE102006061230A1 (en) * 2006-12-22 2008-06-26 Robert Bosch Gmbh A method of displaying a map detail in a navigation system and navigation system therefor
DE102009007395A1 (en) * 2008-03-25 2009-10-01 Volkswagen Ag Motor vehicle i.e. car, environment map based representation providing method, involves modifying determined evidence information based on contradiction to actually determined evidence information before fusion into modified information
DE102009020300A1 (en) * 2009-05-07 2010-11-11 Bayerische Motoren Werke Aktiengesellschaft Method for displaying partially automatically determined surrounding of vehicle for user of vehicle from outlook of passenger, involves detecting automatically surrounding of vehicle with one or multiple object recognition devices
DE102009027755A1 (en) * 2009-07-16 2011-01-20 Robert Bosch Gmbh Method for assisting driving of vehicle e.g. cab vehicle, involves indicating instantaneous position of obstacle to driver of vehicle, and encrusting obstacle by analog contact display unit in vision field of driver
DE102011014699A1 (en) * 2011-03-22 2012-09-27 Audi Ag Method for operating driver assistance system for protection of motor car, involves determining recording locations of object from different positions of motor car based on three-dimensional positional data and endangerment value

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE19947766A1 (en) * 1999-10-02 2001-05-10 Bosch Gmbh Robert Device for monitoring the surroundings of a parking vehicle
DE102006061230A1 (en) * 2006-12-22 2008-06-26 Robert Bosch Gmbh A method of displaying a map detail in a navigation system and navigation system therefor
DE102009007395A1 (en) * 2008-03-25 2009-10-01 Volkswagen Ag Motor vehicle i.e. car, environment map based representation providing method, involves modifying determined evidence information based on contradiction to actually determined evidence information before fusion into modified information
DE102009020300A1 (en) * 2009-05-07 2010-11-11 Bayerische Motoren Werke Aktiengesellschaft Method for displaying partially automatically determined surrounding of vehicle for user of vehicle from outlook of passenger, involves detecting automatically surrounding of vehicle with one or multiple object recognition devices
DE102009027755A1 (en) * 2009-07-16 2011-01-20 Robert Bosch Gmbh Method for assisting driving of vehicle e.g. cab vehicle, involves indicating instantaneous position of obstacle to driver of vehicle, and encrusting obstacle by analog contact display unit in vision field of driver
DE102011014699A1 (en) * 2011-03-22 2012-09-27 Audi Ag Method for operating driver assistance system for protection of motor car, involves determining recording locations of object from different positions of motor car based on three-dimensional positional data and endangerment value

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102014008687A1 (en) * 2014-06-12 2015-12-17 GM Global Technology Operations LLC (n. d. Ges. d. Staates Delaware) Method for displaying vehicle surroundings information of a motor vehicle
US9802540B2 (en) 2014-06-12 2017-10-31 GM Global Technology Operations LLC Process for representing vehicle surroundings information of a motor vehicle
WO2016198059A1 (en) 2015-06-11 2016-12-15 Conti Temic Microelectronic Gmbh Method for generating a virtual image of vehicle surroundings
DE102016220894A1 (en) * 2016-10-25 2018-04-26 Conti Temic Microelectronic Gmbh A method and apparatus for generating a vehicle environment view in a vehicle
DE102017205194A1 (en) * 2017-03-28 2018-10-04 Bayerische Motoren Werke Aktiengesellschaft Method and device for providing 3D image information in a driver assistance system of a motor vehicle

Similar Documents

Publication Publication Date Title
DE102012219810B4 (en) Method and device for image processing of image data
EP2478510B1 (en) Method and device for representing obstacles in a parking assistance system of motor vehicles
DE102015223176A1 (en) Method and device for determining occlusion areas in the vehicle environment of a vehicle
DE102011121616A1 (en) Method for controlling a display device of a motor vehicle
DE102014208664A1 (en) METHOD AND DEVICE FOR DISABLING DISPLAYING A VEHICLE ENVIRONMENT ENVIRONMENT
DE102008031784A1 (en) Method and apparatus for distortion correction and image enhancement of a vehicle rearview system
DE102011079913A1 (en) Visual assistance system for a driver and vehicle with such a system
DE102011087901A1 (en) Method for displaying a vehicle environment
DE102012219735A1 (en) Method for image processing of data of images detected by cameras arranged at e.g. outer side of vehicle, involves adapting image data to be signaled such that hidden object is perceptible on image to be signaled
DE102012208288A1 (en) Method for representing vehicle environment on display, involves detecting camera around vehicle, and determining environmental information from image of camera, where determined environmental information is stored and outputted on display
DE102014201158A1 (en) Method and device for checking a relevant object detected by an object recognition
DE102015202863A1 (en) Method and device for the distortion-free display of a vehicle environment of a vehicle
DE102015209764A1 (en) Extrinsic calibration of an image capture device of a vehicle
DE102012204541A1 (en) Method and device for image processing of image data
DE112016007407T5 (en) DISPLAY CONTROL DEVICE, DISPLAY SYSTEM AND DISPLAY CONTROL METHOD
WO2014029596A2 (en) Operating a head-up display of a vehicle and image determining system for the head-up display
DE102018102047A1 (en) A method of representing a surrounding area of a motor vehicle with virtual, elongated distance markings in an image, computer program product, and display system
EP3327698A1 (en) Method for assisting a driver of a motor vehicle when parking the motor vehicle in a parking lot, driver assistance system and motor vehicle
DE102010033786A1 (en) Method for detecting and displaying areas laterally and laterally behind a vehicle and vehicle with several image acquisition units for detecting areas located laterally next to and laterally behind the vehicle
EP3409541A1 (en) Device for securing drive path
DE102012200762A1 (en) Method for signaling traffic condition in environment of vehicle, involves recording surrounding area of vehicle using sensor, and indicating recognized sensitive object on display arranged in rear view mirror housing of vehicle
DE102006047629A1 (en) Method for determining object parameters of a pedestrian
DE102012203523A1 (en) Method for processing image data of cameras mounted in vehicle, involves determining image data to be signaled from view of virtual camera on surface of three-dimensional environment model
DE102016224574A1 (en) Method and device for detecting an inadmissible parking space and parking system
EP3069934A1 (en) Method for generating a combined image of the surroundings of a vehicle and corresponding device

Legal Events

Date Code Title Description
R163 Identified publications notified
R012 Request for examination validly filed