DE102012010156A1 - Method for generating and displaying virtual image of environment of motor vehicle, involves combining data of environment at front and behind vehicle to generate virtual image, and presenting virtual image to driver of vehicle - Google Patents

Method for generating and displaying virtual image of environment of motor vehicle, involves combining data of environment at front and behind vehicle to generate virtual image, and presenting virtual image to driver of vehicle Download PDF

Info

Publication number
DE102012010156A1
DE102012010156A1 DE102012010156A DE102012010156A DE102012010156A1 DE 102012010156 A1 DE102012010156 A1 DE 102012010156A1 DE 102012010156 A DE102012010156 A DE 102012010156A DE 102012010156 A DE102012010156 A DE 102012010156A DE 102012010156 A1 DE102012010156 A1 DE 102012010156A1
Authority
DE
Germany
Prior art keywords
vehicle
environment
virtual image
objects
behind
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE102012010156A
Other languages
German (de)
Inventor
Christoph Rößing
Axel Reker
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
Daimler AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimler AG filed Critical Daimler AG
Priority to DE102012010156A priority Critical patent/DE102012010156A1/en
Publication of DE102012010156A1 publication Critical patent/DE102012010156A1/en
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/31—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing stereoscopic vision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/27—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view providing all-round vision, e.g. using omnidirectional cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/107—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using stereoscopic cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/304—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing using merged images, e.g. merging camera image with stored images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/60—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective
    • B60R2300/607—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by monitoring and displaying vehicle exterior scenes from a transformed perspective from a bird's eye viewpoint

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

The method involves detecting information of environment in front of the vehicle (F), and information of environment located behind the vehicle using the environment sensor systems (1,2). A virtual image (A1) is generated from the combined environmental data, and output to the driver of the vehicle. The virtual image is presented such that focus of the objects located at lesser distance to vehicle is greater than the focus of objects located at a considerable distance to the vehicle.

Description

Die Erfindung betrifft ein Verfahren zum Erzeugen und zur Anzeige eines virtuellen Abbildes einer Umgebung eines Fahrzeugs, wobei mittels einer ersten Umgebungssensorik erste Umgebungsinformationen einer in Längsausdehnung vor dem Fahrzeug befindlichen Umgebung erfasst und in Abhängigkeit von Odometriedaten des Fahrzeugs in eine hinter dem Fahrzeug befindliche Umgebung propagiert werden, wobei zweite Umgebungsinformationen der hinter dem Fahrzeug befindlichen Umgebung mittels einer zweiten Umgebungssensorik erfasst werden und mit den propagierten ersten Umgebungsinformationen fusioniert werden.The invention relates to a method for generating and displaying a virtual image of an environment of a vehicle, wherein detected by means of a first environment sensor first environment information of a longitudinal extent in front of the vehicle surroundings and propagated depending on odometry data of the vehicle in an environment located behind the vehicle wherein second surroundings information of the environment located behind the vehicle is detected by means of a second environment sensor system and fused with the propagated first environment information.

Die Erfindung betrifft weiterhin eine Verwendung eines mittels eines solchen Verfahrens erzeugten virtuellen Abbildes und erfassten ersten und zweiten Umgebungsinformationen.The invention further relates to a use of a virtual image generated by means of such a method and detected first and second environmental information.

Aus der DE 10 2010 054 221 A1 ist ein Verfahren zur Assistenz eines Fahrers eines Kraftfahrzeugs bei Spurwechseln bekannt, bei dem eine vor dem Kraftfahrzeug liegende Fahrspur erfasst wird. Die erfasste Fahrspur wird gespeichert und es wird ein zurückliegender Fahrtweg des Kraftfahrzeugs erfasst. Aus der erfassten Fahrspur und aus dem zurückliegenden Fahrtweg wird ein Fahrspurverlauf des zurückliegenden Fahrtweges ermittelt wird, wobei dem Fahrer der Fahrspurverlauf der zurückliegenden Fahrstrecke grafisch angezeigt wird. Die Anzeige erfolgt dabei in einem Rückspiegel und einem Monitor des Kraftfahrzeugs.From the DE 10 2010 054 221 A1 a method for assisting a driver of a motor vehicle in lane changes is known, in which a lying in front of the motor vehicle lane is detected. The detected lane is stored and it is detected a past travel path of the motor vehicle. From the detected lane and from the previous travel lane course of the previous travel is determined, the driver of the lane course of the previous route is displayed graphically. The display takes place in a rearview mirror and a monitor of the motor vehicle.

Weiterhin ist aus der DE 10 2006 040 333 A1 ein Verfahren für eine Spurerfassung mit einem Fahrerassistenzsystem eines Fahrzeugs bekannt, bei dem in einem vor dem Fahrzeug liegenden Bereich eines Verkehrsraums Fahrspurmarkierungen erfasst werden.Furthermore, from the DE 10 2006 040 333 A1 a method for a track detection with a driver assistance system of a vehicle is known in which lane markings are detected in a lying in front of the vehicle area of a traffic area.

Aus einer Lage der Fahrspurmarkierungen wird ein Verlauf von Fahrspurmarkierungen und Fahrspuren in einem hinter dem Fahrzeug liegenden Bereich des Verkehrsraums rekonstruiert. Dabei werden den rekonstruierten Fahrspuren Objekte des Verkehrsraums zugeordnet.From a position of the lane markings, a course of lane markings and lanes is reconstructed in a region of the traffic space lying behind the vehicle. In this case, objects of the traffic space are assigned to the reconstructed lanes.

Der Erfindung liegt die Aufgabe zugrunde, ein gegenüber dem Stand der Technik verbessertes Verfahren zum Erzeugen und zur Anzeige eines virtuellen Abbildes einer Umgebung eines Fahrzeugs und eine Verwendung eines mittels eines solchen Verfahrens erzeugten virtuellen Abbildes und erfassten ersten und zweiten Umgebungsinformationen anzugeben.The invention has for its object to provide a comparison with the prior art improved method for generating and displaying a virtual image of an environment of a vehicle and a use of a virtual image generated by such a method and detected first and second environmental information.

Hinsichtlich des Verfahrens wird die Aufgabe erfindungsgemäß durch die im Anspruch 1 angegebenen Merkmale und hinsichtlich der Verwendung durch die im Anspruch 9 angegebenen Merkmale gelöst.With regard to the method, the object is achieved by the features specified in claim 1 and in terms of the use by the features specified in claim 9.

Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.Advantageous embodiments of the invention are the subject of the dependent claims.

In einem Verfahren zum Erzeugen und zur Anzeige eines virtuellen Abbildes einer Umgebung eines Fahrzeugs werden mittels einer ersten Umgebungssensorik erste Umgebungsinformationen einer in Längsausdehnung vor dem Fahrzeug befindlichen Umgebung erfasst und in Abhängigkeit von Odometriedaten des Fahrzeugs in eine hinter dem Fahrzeug befindliche Umgebung propagiert, wobei zweite Umgebungsinformationen der hinter dem Fahrzeug befindlichen Umgebung mittels einer zweiten Umgebungssensorik erfasst werden und mit den propagierten ersten Umgebungsinformationen fusioniert werden.In a method for generating and displaying a virtual image of an environment of a vehicle, first surroundings information of a longitudinally in front of the vehicle surroundings are detected by means of a first environmental sensor and propagated in dependence on odometry data of the vehicle in a behind-the-vehicle environment, wherein second environmental information the surroundings located behind the vehicle are detected by means of a second environment sensor and are fused with the propagated first environment information.

Unter Odometriedaten werden dabei Daten verstanden, welche eine Bewegung des Fahrzeugs beschreiben und insbesondere Messgrößen eines Fahrwerks, eines Antriebsstrangs, einer Lenkung sowie Messgrößen einer Navigationsvorrichtung des Fahrzeugs umfassen.In this case, odometry data is understood as meaning data describing a movement of the vehicle and in particular comprising measured variables of a chassis, a drive train, a steering system and measured variables of a navigation device of the vehicle.

Erfindungsgemäß wird das virtuelle Abbild aus den fusionierten ersten und zweiten Umgebungsdaten erzeugt und einem Fahrer des Fahrzeugs optisch ausgegeben, wobei bei der optischen Ausgabe eine künstliche Tiefenunschärfe im virtuellen Abbild derart erzeugt wird, dass in geringerer Entfernung zum Fahrzeug befindliche Objekte mit einer größeren Schärfe als in größerer Entfernung zum Fahrzeug befindliche Objekte dargestellt werden.According to the invention, the virtual image is generated from the fused first and second environmental data and optically output to a driver of the vehicle, wherein the optical output generates an artificial depth of field in the virtual image such that objects located closer to the vehicle have a greater sharpness than in be displayed at a greater distance to the vehicle objects.

Das erfindungsgemäße Verfahren nutzt in besonders vorteilhafter Weise den Umstand, dass bei einer Rekonstruktion der hinter dem Fahrzeug befindlichen Umgebung, d. h. des so genannten Fahrzeug-Rückraumes, das Fahrzeug die zu betrachtende Strecke bereits befahren hat. Durch das Propagieren der mittels der ersten Umgebungssensorik ermittelten Umgebungsinformation sind bereits alle statischen Merkmale des gesamten Fahrzeug-Rückraums bereits bekannt und muss lediglich um im Fahrzeug-Rückraum befindliche dynamische, d. h. bewegliche Objekte, ergänzt werden. Dadurch wird eine erforderliche Sensordichte und Sensorqualität der zweiten Umgebungssensorik verringert. Die mittels des erfindungsgemäßen Verfahrens gewonnenen Umgebungsinformationen sind neben der Visualisierung mittels des virtuellen Abbildes zusätzlich auch in einer Fahrerassistenzvorrichtung, insbesondere zur Warnung des Fahrers vor gefährlichen Verkehrssituationen in der Umgebung des Fahrzeugs verwendbar.The inventive method uses in a particularly advantageous manner the fact that in a reconstruction of the environment behind the vehicle, d. H. of the so-called vehicle rear space, the vehicle has already traveled the route to be considered. By propagating the environmental information determined by means of the first environmental sensor system, all the static characteristics of the entire vehicle rear space are already known and only have to be detected by dynamic, that is, in the vehicle rear space. H. movable objects, to be supplemented. This reduces a required sensor density and sensor quality of the second environmental sensor system. In addition to the visualization by means of the virtual image, the environmental information obtained by means of the method according to the invention can also be used in a driver assistance device, in particular to warn the driver of dangerous traffic situations in the surroundings of the vehicle.

Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert. Embodiments of the invention are explained in more detail below with reference to drawings.

Dabei zeigen:Showing:

1 schematisch ein virtuelles Abbild einer Umgebung eines Fahrzeugs und 1 schematically a virtual image of an environment of a vehicle and

2 schematisch weiteres virtuelles Abbild der Umgebung des Fahrzeugs gemäß 1. 2 schematically another virtual image of the environment of the vehicle according to 1 ,

Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.Corresponding parts are provided in all figures with the same reference numerals.

1 zeigt ein virtuelles Abbild A1 einer Umgebung eines in 2 näher dargestellten Fahrzeugs F. 1 shows a virtual image A1 of an environment of an in 2 detailed vehicle F.

Das Fahrzeug F umfasst eine erste Umgebungssensorik 1, welche vorzugsweise bildgebende und distanzmessende Sensoren, beispielsweise Kameras, Radarsensoren und/oder Ultraschallsensoren umfasst. Bei der Kamera handelt es sich beispielsweise um eine Stereokamera. Als erste Umgebungssensorik 1 werden beispielsweise bereits im Fahrzeug F vorhandene Sensoren einer Spurerkennung verwendet.The vehicle F comprises a first environmental sensor system 1 , which preferably comprises imaging and distance-measuring sensors, for example cameras, radar sensors and / or ultrasound sensors. For example, the camera is a stereo camera. As the first environment sensor 1 For example, sensors already present in the vehicle F are used for lane detection.

Mittels der ersten Umgebungssensorik 1 werden erste Umgebungsinformationen einer in Längsausdehnung vor dem Fahrzeug F befindlichen Umgebung erfasst. Als erste Umgebungsinformationen werden insbesondere statische Objekte O1 und O2 erfasst. Die statischen Objekte O1, O2 umfassen im dargestellten Ausführungsbeispiel Fahrspurmarkierungen und in nicht näher dargestellter Weise weiterhin Randbebauungen, wie zum Beispiel Randsteine und Schutzplanken.By means of the first environment sensor 1 First environmental information of a longitudinally located in front of the vehicle F environment are detected. The first environment information in particular static objects O1 and O2 are detected. The static objects O1, O2 include in the illustrated embodiment lane markers and in a manner not shown further edge structures, such as curbs and crash barriers.

Weiterhin umfasst das Fahrzeug F eine zweite Umgebungssensorik 2, mittels welcher zweite Umgebungsinformationen der hinter dem Fahrzeug F befindlichen Umgebung erfasst werden, d. h. es wird eine aktuelle Fahrsituation hinter dem Fahrzeug F erfasst. Als zweite Umgebungsinformationen werden insbesondere dynamische Objekte O3 bis O5 erfasst, wobei es sich bei den dynamischen Objekten O3 bis O5 im dargestellten Ausführungsbeispiel um Fahrzeuge handelt. In nicht näher dargestellter Weise können als dynamische Objekte O3 bis O5 auch Fußgänger, Radfahrer und weitere sich bewegende Objekte erfasst werden. Hierzu umfasst die zweite Umgebungssensorik 2 zumindest einen bildgebenden und/oder distanzmessenden Sensor, wobei es sich bei dem Sensor um eine Kamera, beispielsweise eine Monokamera oder Stereokamera, einen Radarsensor oder Ultraschallsensor handelt.Furthermore, the vehicle F comprises a second environmental sensor system 2 , by means of which second environmental information of the environment located behind the vehicle F are detected, ie a current driving situation behind the vehicle F is detected. In particular, dynamic objects O3 to O5 are detected as second environment information, wherein the dynamic objects O3 to O5 in the exemplary embodiment shown are vehicles. In a manner not shown, pedestrians, cyclists and other moving objects can be detected as dynamic objects O3 to O5. For this purpose, the second environment sensor system comprises 2 at least one image-forming and / or distance-measuring sensor, wherein the sensor is a camera, for example a monocamera or stereo camera, a radar sensor or an ultrasound sensor.

Durch die Fusion werden die Umgebungsinformationen verfeinert und es können die beweglichen, d. h. die dynamischen Objekte O3 bis O5 in die statischen ersten Umgebungsinformationen eingefügt werden. Zu einer weiteren Verfeinerung der Umgebungsinformationen wird bei einer Verwendung einer Stereokameraanordnung als erste Umgebungssensorik für eine Stereobildauswertung von mittels der Stereokameraanordnung erfassten Bildern der Umgebung des Fahrzeugs F eine virtuelle optische Linse festgelegt. Die Festlegung erfolgt dabei in der Art, dass insbesondere auch in großen Entfernungen befindliche Randbereiche einer Fahrbahn, auf welcher sich das Fahrzeug bewegt, aus den erfassten Bildern bestimmt und in dem virtuellen Abbild dargestellt werden.The merger refines the environmental information and allows the moving, d. H. the dynamic objects O3 to O5 are inserted into the static first environment information. For a further refinement of the environmental information, when a stereo camera arrangement is used, a virtual optical lens is defined as a first environmental sensor system for a stereo image analysis of images of the surroundings of the vehicle F recorded by means of the stereo camera arrangement. The determination takes place in such a way that especially located at great distances edge regions of a roadway on which the vehicle moves, determined from the captured images and displayed in the virtual image.

Zur Erzeugung des dargestellten virtuellen Abbildes A1 der hinter dem Fahrzeug F befindlichen Umgebung werden die ersten Umgebungsinformationen in Abhängigkeit von Odometriedaten des Fahrzeugs F in die hinter dem Fahrzeug F befindliche Umgebung propagiert und mit den propagierten ersten Umgebungsinformationen fusioniert. Zur Erfassung der rückwärtigen Umgebung des Fahrzeugs F ist dabei in besonders vorteilhafter Weise lediglich ein Sensor erforderlich, mittels welchem die dynamischen Objekte O3 bis O5 erfasst werden und zur Ergänzung der ersten, insbesondere statischen Umgebungsinformationen, verwendet werden. Somit umfasst das virtuelle Abbild A1 reelle und errechnete, d. h. so genannte gerenderte, Umgebungsinformationen. Dadurch wird eine gute Wiedererkennbarkeit der Objekte O1 bis O5 sichergestellt, wobei die dargestellten Objekte O1 bis O5 beispielsweise die gleiche Farbe wie in der Realität aufweisen, jedoch ansonsten synthetisch erzeugt sind. Auch die dargestellte Fahrbahn ist synthetisch erzeugt.In order to generate the represented virtual image A1 of the environment behind the vehicle F, the first environment information is propagated in dependence on odometry data of the vehicle F in the environment behind the vehicle F and fused with the propagated first environment information. To detect the rear environment of the vehicle F, only one sensor is required in a particularly advantageous manner, by means of which the dynamic objects O3 to O5 are detected and used to supplement the first, in particular static environmental information. Thus, the virtual image A1 comprises real and calculated, ie. H. so-called rendered, environmental information. This ensures good recognizability of the objects O1 to O5, wherein the illustrated objects O1 to O5, for example, have the same color as in reality, but are otherwise produced synthetically. The roadway shown is produced synthetically.

Das virtuelle Abbild A1 wird einem Fahrer des Fahrzeugs F optisch ausgegeben. Die Ausgabe erfolgt dabei auf zumindest einem Display des Fahrzeugs. Bei dem Display handelt es sich beispielsweise um eine optische Ausgabeeinheit eines so genannten Kamera-Monitor-Rückspiegel-Ersatz-Systems. Bei einer weiteren Ausgestaltungsform kann das Display auch in einen Fahrzeugspiegel integriert sein.The virtual image A1 is optically output to a driver of the vehicle F. The output takes place on at least one display of the vehicle. The display is, for example, an optical output unit of a so-called camera-monitor rear-view mirror replacement system. In a further embodiment, the display can also be integrated in a vehicle mirror.

Bei der optischen Ausgabe wird eine künstliche Tiefenunschärfe derart im virtuellen Abbild A1 erzeugt, dass in geringerer Entfernung zum Fahrzeug F befindliche Objekte O3 bis O5, wie beispielsweise das Objekt O3 mit einer größeren Schärfe als in größerer Entfernung zum Fahrzeug befindliche Objekte O3 bis O5, wie beispielsweise das Objekt O5, dargestellt werden. Gleichzeitig werden die in dem virtuellen Abbild A1 dargestellten Objekte O1 bis O5 in Abhängigkeit ihrer Entfernung zum Fahrzeug F, einer Objektgeschwindigkeit und/oder in Abhängigkeit einer von den Objekten O1 bis O5 ausgehenden Gefahr für das Fahrzeug F unterschiedlich dargestellt. Insbesondere werden in geringerer Entfernung zum Fahrzeug befindliche Objekte O1 bis O5, wie beispielsweise das Objekt O3, Objekte O3 bis O5 mit hoher Objektgeschwindigkeit und/oder Objekte O3 bis O5, von welchen eine große Gefahr ausgeht, optisch hervorgehoben und/oder markiert. Somit kann der Fahrer des Fahrzeugs F insbesondere vor von hinten mit großer Geschwindigkeit herannahenden gewarnt und dessen Aufmerksamkeit auf die entsprechenden Fahrzeuge gelenkt werden.In the optical output, an artificial depth of field blur is generated in the virtual image A1 such that objects O3 to O5 located closer to the vehicle F, such as the object O3 with a greater sharpness than objects O3 to O5 located at a greater distance to the vehicle, such as For example, the object O5, are displayed. At the same time, the objects O1 to O5 shown in the virtual image A1 are dependent on their distance from the vehicle F, an object speed and / or in Dependence of a danger emanating from the objects O1 to O5 for the vehicle F shown differently. In particular, objects O1 to O5 located at a closer distance from the vehicle, such as the object O3, objects O3 to O5 with high object speed and / or objects O3 to O5, from which a great danger originates, are optically highlighted and / or marked. Thus, the driver of the vehicle F can be warned in particular against approaching from behind at great speed and its attention be directed to the corresponding vehicles.

2 zeigt ein weiteres virtuelles Abbild A2 der Umgebung des Fahrzeugs F. Das weitere virtuelle Abbild A2 zeigt die Umgebung des Fahrzeugs F, insbesondere die hinter dem Fahrzeug F befindliche Umgebung, aus einer teilsynthetischen virtuellen Vogelperspektive. Die Ausgabe dieses weiteren virtuellen Abbildes A2 erfolgt insbesondere auf einer in Innenraum des Fahrzeugs F angeordneten optischen Ausgabeeinheit. 2 shows another virtual image A2 of the surroundings of the vehicle F. The further virtual image A2 shows the surroundings of the vehicle F, in particular the environment located behind the vehicle F, from a partially synthetic virtual bird's-eye view. The output of this further virtual image A2 takes place, in particular, on an optical output unit arranged in the interior of the vehicle F.

Zur Erzeugung des weiteren virtuellen Abbildes A2 werden alle zur Erzeugung des ersten virtuellen Abbildes A1 erfassten und ermittelten Informationen, insbesondere das erste virtuelle Abbild A1 selbst sowie die ersten und zweiten Umgebungsinformationen verwendet.To generate the further virtual image A2, all information acquired and determined for generating the first virtual image A1, in particular the first virtual image A1 itself, and the first and second environmental information are used.

Dabei werden dem Fahrer Spur- und Bewegungsinformationen der hinter dem Fahrzeug F befindlichen Objekte O3 bis O5 dargestellt, wobei die Spur- und Bewegungsinformationen relative Positionen sowie eine jeweilige Spur und Geschwindigkeit der Objekte O3 bis O5 umfassen. Weiterhin sind auch geplante Fahrspurwechsel eines automatischen Fahrspurwechsel-Assistenten des Fahrzeugs F in dem weiteren virtuellen Abbild A2 darstellbar.In this case, the driver track and motion information of the objects located behind the vehicle F O3 to O5 are shown, wherein the track and motion information relative positions and a respective track and speed of the objects O3 to O5 include. Furthermore, planned lane changes of an automatic lane change assistant of the vehicle F can be displayed in the further virtual image A2.

Das auf dem weiteren virtuellen Abbild A2 dargestellte so genannte Surround-View-Bild ist zusätzlich in besonders vorteilhafter Weise auch zur Darstellung von Parkszenarien aus einer Vogelperspektive verwendbar.The so-called surround view image displayed on the further virtual image A2 can also be used in a particularly advantageous manner to display parking scenarios from a bird's eye view.

Auch das weitere virtuelle Abbild A2 umfasst reelle und errechnete, d. h. so genannte gerenderte, Umgebungsinformationen. Dadurch wird ebenfalls eine gute Wiedererkennbarkeit der Objekte O1 bis O5 sichergestellt, wobei die dargestellten Objekte O1 bis O5 beispielsweise die gleiche Farbe wie in der Realität aufweisen, jedoch ansonsten synthetisch erzeugt sind. Auch die dargestellte Fahrbahn ist synthetisch erzeugt.The further virtual image A2 includes real and calculated, d. H. so-called rendered, environmental information. This also ensures a good recognizability of the objects O1 to O5, wherein the illustrated objects O1 to O5, for example, have the same color as in reality, but are otherwise produced synthetically. The roadway shown is produced synthetically.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

11
erste Umgebungssensorikfirst environment sensor
22
zweite Umgebungssensoriksecond environment sensor
A1, A2A1, A2
virtuelles Abbildvirtual image
FF
Fahrzeugvehicle
O1 bis O5O1 to O5
Objektobject

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • DE 102010054221 A1 [0003] DE 102010054221 A1 [0003]
  • DE 102006040333 A1 [0004] DE 102006040333 A1 [0004]

Claims (10)

Verfahren zum Erzeugen und zur Anzeige eines virtuellen Abbildes (A1) einer Umgebung eines Fahrzeugs (F), wobei mittels einer ersten Umgebungssensorik (1) erste Umgebungsinformationen einer in Längsausdehnung vor dem Fahrzeug (F) befindlichen Umgebung erfasst und in Abhängigkeit von Odometriedaten des Fahrzeugs (F) in eine hinter dem Fahrzeug (F) befindliche Umgebung propagiert werden, wobei zweite Umgebungsinformationen der hinter dem Fahrzeug (F) befindlichen Umgebung mittels einer zweiten Umgebungssensorik (2) erfasst werden und mit den propagierten ersten Umgebungsinformationen fusioniert werden, dadurch gekennzeichnet, dass das virtuelle Abbild (A1) aus den fusionierten ersten und zweiten Umgebungsdaten erzeugt wird und einem Fahrer des Fahrzeugs (F) optisch ausgegeben wird, wobei bei der optischen Ausgabe eine künstliche Tiefenunschärfe derart im virtuellen Abbild (A1) erzeugt wird, dass in geringerer Entfernung zum Fahrzeug (F) befindliche Objekte (O1 bis O5) mit einer größeren Schärfe als in größerer Entfernung zum Fahrzeug (F) befindliche Objekte (O1 bis O5) dargestellt werden.Method for generating and displaying a virtual image (A1) of an environment of a vehicle (F), wherein by means of a first environmental sensor system (A1) 1 ) First environmental information detected in a longitudinal extent in front of the vehicle (F) environment detected and propagated as a function of odometry data of the vehicle (F) in a behind the vehicle (F) environment, where second environmental information behind the vehicle (F) environment by means of a second environment sensor system ( 2 ) and fused to the propagated first environment information, characterized in that the virtual image (A1) is generated from the merged first and second environment data and optically output to a driver of the vehicle (F), wherein the optical output is an artificial one Depth of field is generated in such a virtual image (A1) that at a lower distance to the vehicle (F) located objects (O1 to O5) with a greater sharpness than at a greater distance to the vehicle (F) located objects (O1 to O5) are shown. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass als erste Umgebungsinformationen statische Objekte (O1, O2) in der vor dem Fahrzeug (F) befindlichen Umgebung erfasst werden.Method according to Claim 1, characterized in that static objects (O1, O2) in the environment in front of the vehicle (F) are detected as first environmental information. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass als zweite Umgebungsinformationen dynamische Objekte (O3 bis O5) in der hinter dem Fahrzeug (F) befindlichen Umgebung erfasst werden.Method according to Claim 1 or 2, characterized in that dynamic objects (O3 to O5) in the environment located behind the vehicle (F) are detected as second environment information. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das virtuelle Abbild (A1) reelle und errechnete Umgebungsinformationen umfasst.Method according to one of the preceding claims, characterized in that the virtual image (A1) comprises real and calculated environmental information. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die in dem virtuellen Abbild (A1) dargestellten Objekte (O1 bis O5) in Abhängigkeit ihrer Entfernung zum Fahrzeug (F), einer Objektgeschwindigkeit und/oder in Abhängigkeit einer von den Objekten (O1 bis O5) ausgehenden Gefahr für das Fahrzeug (F) unterschiedlich dargestellt werden, wobei in geringerer Entfernung zum Fahrzeug (F) befindliche Objekte (O1 bis O5), Objekte (O1 bis O5) mit hoher Objektgeschwindigkeit und/oder Objekte (O1 bis O5), von welchen eine große Gefahr ausgeht, optisch hervorgehoben und/oder markiert werden.Method according to one of the preceding claims, characterized in that the objects (O1 to O5) represented in the virtual image (A1) are dependent on their distance from the vehicle (F), an object speed and / or in dependence on one of the objects (O1 to O5) O5) outgoing danger to the vehicle (F) are shown differently, wherein at a smaller distance to the vehicle (F) located objects (O1 to O5), objects (O1 to O5) with high object speed and / or objects (O1 to O5), from which a great danger emanates, be highlighted and / or highlighted. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass das virtuelle Abbild (A1) auf zumindest einem Display des Fahrzeugs (F) optisch ausgegeben wird.Method according to one of the preceding claims, characterized in that the virtual image (A1) is output optically on at least one display of the vehicle (F). Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass zumindest als erste Umgebungssensorik (1) eine Stereokameraanordnung verwendet wird, wobei für eine Stereobildauswertung von mittels der Stereokameraanordnung erfassten Bildern der Umgebung des Fahrzeugs (F) eine virtuelle optische Linse festgelegt wird.Method according to one of the preceding claims, characterized in that at least as the first environmental sensor system ( 1 ), a stereo camera arrangement is used, wherein for a stereo image analysis of captured by means of the stereo camera arrangement images of the environment of the vehicle (F) a virtual optical lens is set. Verfahren nach Anspruch 7, dadurch gekennzeichnet, dass die virtuelle optische Linse derart festgelegt wird, dass Randbereiche einer Fahrbahn, auf welcher sich das Fahrzeug (F) bewegt, aus den erfassten Bildern bestimmt und in dem virtuellen Abbild (A1) dargestellt werden.A method according to claim 7, characterized in that the virtual optical lens is set such that edge regions of a road on which the vehicle (F) moves, determined from the captured images and displayed in the virtual image (A1). Verwendung des mittels des Verfahrens nach einem der vorhergehenden Ansprüche erzeugten virtuellen Abbildes (A1) und der erfassten ersten und zweiten Umgebungsinformationen zum Erzeugen eines weiteren virtuellen Abbildes (A2) der Umgebung, wobei das weitere virtuelle Abbild (A2) die Umgebung des Fahrzeugs (F) aus einer teilsynthetischen Vogelperspektive zeigt.Use of the virtual image (A1) generated by the method according to one of the preceding claims and the acquired first and second environmental information for generating a further virtual image (A2) of the environment, the further virtual image (A2) representing the surroundings of the vehicle (F) from a partially synthetic bird's eye view. Verwendung nach Anspruch 9, dadurch gekennzeichnet, dass in dem weiteren virtuellen Abbild Spur- und Bewegungsinformationen von hinter dem Fahrzeug (F) befindlichen Objekten (O1 bis O5) dargestellt werden.Use according to claim 9, characterized in that in the further virtual image track and motion information from behind the vehicle (F) located objects (O1 to O5) are displayed.
DE102012010156A 2012-05-24 2012-05-24 Method for generating and displaying virtual image of environment of motor vehicle, involves combining data of environment at front and behind vehicle to generate virtual image, and presenting virtual image to driver of vehicle Withdrawn DE102012010156A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE102012010156A DE102012010156A1 (en) 2012-05-24 2012-05-24 Method for generating and displaying virtual image of environment of motor vehicle, involves combining data of environment at front and behind vehicle to generate virtual image, and presenting virtual image to driver of vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE102012010156A DE102012010156A1 (en) 2012-05-24 2012-05-24 Method for generating and displaying virtual image of environment of motor vehicle, involves combining data of environment at front and behind vehicle to generate virtual image, and presenting virtual image to driver of vehicle

Publications (1)

Publication Number Publication Date
DE102012010156A1 true DE102012010156A1 (en) 2012-11-29

Family

ID=47140517

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102012010156A Withdrawn DE102012010156A1 (en) 2012-05-24 2012-05-24 Method for generating and displaying virtual image of environment of motor vehicle, involves combining data of environment at front and behind vehicle to generate virtual image, and presenting virtual image to driver of vehicle

Country Status (1)

Country Link
DE (1) DE102012010156A1 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013206435A1 (en) 2013-04-11 2014-10-16 Bayerische Motoren Werke Aktiengesellschaft Visualization system and device for generating and displaying a virtual image of a vehicle environment
GB2540527A (en) * 2014-12-17 2017-01-25 Continental Automotive Systems Perspective shifting parking camera system
CN108202668A (en) * 2016-12-20 2018-06-26 丰田自动车株式会社 Image display device
DE102018002955A1 (en) 2017-04-20 2018-10-25 Scania Cv Ab PROCESS AND CONTROL ARRANGEMENT FOR ENVIRONMENTAL PERCEPTION
DE102021119266A1 (en) 2021-07-26 2023-01-26 Bayerische Motoren Werke Aktiengesellschaft Camera system for a vehicle

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006040333A1 (en) 2006-08-29 2008-03-06 Robert Bosch Gmbh Lane detection method for use in driver assistance system, has reconstructing course of driving lane markings and/or driving lanes in section of driving area from position of driving lane markings, where section lies behind vehicle
DE102010054221A1 (en) 2010-12-11 2011-08-25 Daimler AG, 70327 Method for assisting driver of motor car during lane change, involves determining lane course of past travel path from information of lane and past travel path, and graphically displaying lane course of past travel distance to driver

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102006040333A1 (en) 2006-08-29 2008-03-06 Robert Bosch Gmbh Lane detection method for use in driver assistance system, has reconstructing course of driving lane markings and/or driving lanes in section of driving area from position of driving lane markings, where section lies behind vehicle
DE102010054221A1 (en) 2010-12-11 2011-08-25 Daimler AG, 70327 Method for assisting driver of motor car during lane change, involves determining lane course of past travel path from information of lane and past travel path, and graphically displaying lane course of past travel distance to driver

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013206435A1 (en) 2013-04-11 2014-10-16 Bayerische Motoren Werke Aktiengesellschaft Visualization system and device for generating and displaying a virtual image of a vehicle environment
GB2540527A (en) * 2014-12-17 2017-01-25 Continental Automotive Systems Perspective shifting parking camera system
CN108202668A (en) * 2016-12-20 2018-06-26 丰田自动车株式会社 Image display device
CN108202668B (en) * 2016-12-20 2021-06-29 丰田自动车株式会社 Image display device
DE102018002955A1 (en) 2017-04-20 2018-10-25 Scania Cv Ab PROCESS AND CONTROL ARRANGEMENT FOR ENVIRONMENTAL PERCEPTION
DE102021119266A1 (en) 2021-07-26 2023-01-26 Bayerische Motoren Werke Aktiengesellschaft Camera system for a vehicle

Similar Documents

Publication Publication Date Title
EP2583263B1 (en) Method for combining a road sign recognition system and a lane detection system of a motor vehicle
EP2805183B1 (en) Method and device for visualizing the surroundings of a vehicle
DE102016208025B4 (en) Method for detecting traffic signs
DE102008028303A1 (en) Display system and program
EP1931538A1 (en) Night vision device for a motor vehicle
DE102012111740A1 (en) Method for supporting a traffic light phase assistant detecting a traffic light of a vehicle
DE102013010818A1 (en) Method for inserting textures in road surface diagram and/or in view field of driver of vehicle, involves determining a situation in front of vehicle road surface and inserting textures in determined road surface on display device
DE102008042825A1 (en) Driver assistance system for motor vehicles
DE102014116037A1 (en) Method for operating a driver assistance system of a motor vehicle, driver assistance system and motor vehicle
DE102013210729A1 (en) Method and device for signaling a visually at least partially hidden traffic object for a driver of a vehicle
DE102015003847A1 (en) Method and driver assistance system for detecting and signaling light signals from at least one light signal device of a alternating light signaling system
DE102011080928A1 (en) Method for assisting driver of motor vehicle e.g. car for planned lane change adjacent to vehicle track, involves determining whether object is driven in adjacent track and issuing warning to driver, when object is on adjacent track
DE102012010156A1 (en) Method for generating and displaying virtual image of environment of motor vehicle, involves combining data of environment at front and behind vehicle to generate virtual image, and presenting virtual image to driver of vehicle
DE102012208288A1 (en) Method for representing vehicle environment on display, involves detecting camera around vehicle, and determining environmental information from image of camera, where determined environmental information is stored and outputted on display
EP2888623B1 (en) Operating a head-up display of a vehicle and image determining system for the head-up display
DE102015006640A1 (en) Presentation of augmented navigation elements by a head-up display system
DE102015015676A1 (en) A method for automatically connecting an environmental image on a display unit of a vehicle
DE102013016249A1 (en) Method for displaying navigation instructions on display of navigation system, involves determining representation of image of background of display and determining degradation stage based on additional information
DE102006037600B4 (en) Method for the resolution-dependent representation of the environment of a motor vehicle
DE102016122756A1 (en) A method for assisting a driver of a motor vehicle when parking the motor vehicle on a parking area, driver assistance system and motor vehicle
DE102012200127A1 (en) Depth image calculation with a monocamera through a defined trajectory
DE102011106173A1 (en) Method for assisting rider of multi-unit vehicle in e.g. bridge, involves outputting driving instruction indicating whether collision-free drive of vehicle while passing through throat position is possible, based on kinematic model
DE102010049214A1 (en) Method for determining lane course for vehicle for e.g. controlling lane assistance device, involves determining global surrounding data from fusion of lane course data with card data, and determining lane course of vehicle from global data
DE102014214506A1 (en) Method for creating an environment model of a vehicle
DE102017217091B4 (en) Method for assisting a driver in staying in lane

Legal Events

Date Code Title Description
R230 Request for early publication
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee

Effective date: 20141202