DE102011087901A1

DE102011087901A1 - Method for displaying a vehicle environment

Info

Publication number: DE102011087901A1
Application number: DE102011087901A
Authority: DE
Inventors: Karsten Muehlmann; Henning Von Zitzewitz; Jan Egelhaaf; Raphael Cano; Leo Vepa
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2011-12-07
Filing date: 2011-12-07
Publication date: 2013-06-13
Also published as: IN2014DN03438A; CN103959341A; EP2788957A1; WO2013083364A1

Abstract

Die Erfindung betrifft Fahrerassistenzsysteme (12), die zur Ausgabe von Darstellungen einer Fahrzeugumgebung an einen Fahrer ausgebildet sind. Die Erfindung betrifft ferner ein Verfahren in einem derartigen Fahrerassistenzsystem, das die folgenden Schritte umfasst: Erfassen von Umfelddaten mit Hilfe von Umfeldsensorik (16, 18, 20, 22, 26); Bestimmen einer situationsabhängigen virtuellen Kameraperspektive (28); Erzeugen einer Umfelddarstellung, wobei die Umfelddaten aus Sicht einer virtuellen Kamera (29) auf eine mindestens zweischichtige Ebene (36, 38) projiziert werden; und Ausgabe der Umfelddarstellung auf einer Anzeigevorrichtung der Mensch-Maschine-Schnittstelle (16). Zudem wird ein Computerprogramm zur Durchführung des Verfahrens vorgeschlagen.The invention relates to driver assistance systems (12), which are designed to output representations of a vehicle environment to a driver. The invention further relates to a method in such a driver assistance system, comprising the following steps: acquiring environmental data with the aid of environment sensors (16, 18, 20, 22, 26); Determining a situation-dependent virtual camera perspective (28); Generating an environment representation, wherein the environment data from the perspective of a virtual camera (29) on a least two-layer plane (36, 38) are projected; and outputting the environment representation on a display device of the man-machine interface (16). In addition, a computer program for carrying out the method is proposed.

Description

Stand der TechnikState of the art

Die Erfindung betrifft ein Verfahren zur Darstellung eines Fahrzeugumfeldes auf einer Mensch-Maschine-Schnittstelle in einem Fahrzeug. Zudem betrifft die Erfindung ein Fahrerassistenzsystem und ein Computerprogrammprodukt zur Durchführung des Verfahrens.The invention relates to a method for representing a vehicle environment on a man-machine interface in a vehicle. In addition, the invention relates to a driver assistance system and a computer program product for carrying out the method.

Fahrerassistenzsysteme sind Zusatzeinrichtungen in einem Fahrzeug, die der Unterstützung des Fahrers in bestimmten Fahrsituationen dienen. Dazu umfasst ein Fahrerassistenzsystem mehrere Subsysteme wie einen Einparkassistenten, eine Totwinkelüberwachung oder einen Spurwechselassistenten. Typischerweise nutzen diese Subsysteme Daten von am Fahrzeug verbauter Umfeldsensorik, die durch Sensoren, wie optischen Sensoren, Ultraschallsensoren oder dergleichen, das Umfeld des Fahrzeuges überwachen. Eine typische Funktionalität von Fahrerassistenzsystemen beinhaltet, dem Fahrer das Fahrzeugumfeld auf der Anzeige einer Mensch-Maschine-Schnittstelle darzustellen. Hierbei werden typischerweise Daten der Umfeldsensorik in eine Darstellung transformiert, die das Fahrzeug und dessen Umfeld aus der Vogelperspektive zeigen. Driver assistance systems are additional devices in a vehicle that serve to assist the driver in certain driving situations. For this purpose, a driver assistance system comprises a plurality of subsystems, such as a parking assistant, blind spot monitoring or a lane change assistant. Typically, these subsystems use data from on-vehicle environment sensors that monitor the environment of the vehicle through sensors such as optical sensors, ultrasonic sensors, or the like. A typical functionality of driver assistance systems involves presenting the vehicle environment to the driver on the display of a man-machine interface. In this case, data from the environment sensors are typically transformed into a representation that shows the vehicle and its surroundings from a bird's eye view.

Aus dem DE 10 2008 046 544 A1 ist ein Verfahren zur Überwachung einer Umgebung eines Fahrzeuges bekannt, in dem die Umgebung mittels einer Kamera erfasst wird und aus den erfassten Einzelbildern anhand einer Bildverarbeitungseinheit ein Gesamtbild erzeugt wird. Dieses Gesamtbild zeigt das Fahrzeug und dessen Umgebung aus der Vogelperspektive. Dabei wird das Fahrzeug in dem Gesamtbild in Abhängigkeit von dessen Bewegungsrichtung positioniert und ein Ausschnitt des Gesamtbilds mittels einer Anzeigeeinheit ausgegeben. Neben der Auswahl eines Ausschnittes aus dem Gesamtbild kann eine virtuelle Kameraposition in Abhängigkeit von der Bewegungsrichtung des Fahrzeuges oder der Fahrzeuggeschwindigkeit so verschoben werden, dass aus Perspektive der virtuellen Kameraposition das Fahrzeug und dessen Umgebung abgebildet werden.From the DE 10 2008 046 544 A1 a method for monitoring an environment of a vehicle is known, in which the environment is detected by means of a camera and from the captured individual images by means of an image processing unit an overall image is generated. This overall picture shows the vehicle and its surroundings from a bird's eye view. In this case, the vehicle is positioned in the overall image as a function of its direction of movement and a section of the overall image is output by means of a display unit. In addition to the selection of a section of the overall image, a virtual camera position depending on the direction of movement of the vehicle or the vehicle speed can be moved so that the vehicle and its surroundings are displayed from the perspective of the virtual camera position.

Aus DE 10 2009 035 422 A1 ist ein Verfahren zur geometrischen Transformation von Bildern bekannt, in dem zunächst durch eine Kamera ein Quellbild erzeugt wird, dann in der Umgebung des Fahrzeuges ein Objekt durch Abstandssensoren, insbesondere ultraschallbasierte Abstandssensoren, detektiert wird und der Abstand des Fahrzeuges zu dem Objekt bestimmt wird. In Abhängigkeit von dem Abstand wird eine gewünschte virtuelle Bildaufnahmeperspektive bestimmt und das Quellbild wird in ein virtuelles Ergebnisbild geometrisch transformiert, welches scheinbar aus einer virtuellen Bildaufnahmeperspektive aufgenommen ist. Insbesondere bei einem Linksabbiegevorgang wird die virtuelle Bildaufnahmeperspektive so gewählt, dass dem Fahrer im Fahrzeuginnern ein Ergebnisbild dargestellt wird, durch welches dem Fahrer das Herannahen eines Fremdfahrzeuges angezeigt wird.Out DE 10 2009 035 422 A1 a method for the geometric transformation of images is known in which a source image is first generated by a camera, then in the environment of the vehicle an object by distance sensors, in particular ultrasound-based distance sensors, is detected and the distance of the vehicle is determined to the object. Depending on the distance, a desired virtual imaging perspective is determined and the source image is geometrically transformed into a virtual result image, which is apparently taken from a virtual imaging perspective. In particular, in a left turn process, the virtual image capture perspective is selected so that the driver inside the vehicle, a result image is displayed by which the driver is approaching a foreign vehicle displayed.

DE 10 2007 044 536 A1 beschreibt eine Vorrichtung und ein Verfahren zum Überwachen der Umgebung eines Kraftfahrzeuges, wobei Aufnahmemittel Bilder der Umgebung aufnehmen und eine Anzeigeeinheit einen Bildausschnitt wiedergibt. Dabei wird der wiedergegebene Bildausschnitt selbsttätig verändert, um den dargestellten Umgebungsausschnitt anzupassen. Dies kann durch Verschwenken der Kamera, Umschalten auf eine andere Kamera oder Anpassen des hierbei gegebenen Bildausschnitts erreicht werden. DE 10 2007 044 536 A1 describes a device and a method for monitoring the surroundings of a motor vehicle, recording means taking pictures of the surroundings and a display unit reproducing a picture section. In this case, the reproduced image section is automatically changed in order to adapt the displayed environmental detail. This can be achieved by panning the camera, switching to another camera or adjusting the image section given here.

Bekannte Verfahren zur Nutzung virtueller Perspektiven in der Überwachung der Umgebung eines Kraftfahrzeugs und/oder zur Nutzung virtueller Perspektiven bei der Darstellung von Bildern der Fahrzeugumgebung im Fahrzeuginneren weisen oft noch Nachteile auf, insbesondere bei der Darstellung komplexer dreidimensionaler Objektkonstellationen. So ist bei der Darstellung komplexer dreidimensionaler Objektkonstellationen ein hoher verarbeitungstechnischen Aufwand notwendig und Vereinfachungen derartiger Algorithmen können beispielsweise dazu führen, dass Abstände zu Objekten in dem Fahrzeugumfeld in der Wahrnehmung des Fahrers nicht korrekt dargestellt werden. Dies wiederum führt zu Fehleinschätzungen, die die Unfallgefahr erhöhen.Known methods for using virtual perspectives in monitoring the surroundings of a motor vehicle and / or for using virtual perspectives in displaying images of the vehicle environment in the vehicle interior often have disadvantages, in particular when displaying complex three-dimensional object constellations. Thus, in the representation of complex three-dimensional object constellations, a high level of processing complexity is necessary and simplifications of such algorithms can, for example, result in distances to objects in the vehicle environment not being displayed correctly in the driver's perception. This in turn leads to misjudgments that increase the risk of accidents.

Offenbarung der ErfindungDisclosure of the invention

Die Erfindung betrifft ein Verfahren zur Darstellung eines Fahrzeugumfeldes auf einer Mensch-Maschine-Schnittstelle eines Fahrerassistenzsystems in einem Fahrzeug mit folgenden Schritten:

– Erfassen von Umfelddaten mit Hilfe von Umfeldsensorik;
– Bestimmen einer situationsabhängigen virtuellen Kameraperspektive;
– Erzeugen einer Umfelddarstellung, wobei die Umfelddaten aus Sicht einer virtuellen Kamera auf eine mindestens zweischichtige Ebene projiziert werden; und
– Ausgabe der Umfelddarstellung auf einer Anzeigevorrichtung der Mensch-Maschine-Schnittstelle.

The invention relates to a method for representing a vehicle environment on a man-machine interface of a driver assistance system in a vehicle, comprising the following steps:

- Capture environmental data using environmental sensors;
Determining a situation-dependent virtual camera perspective;
- Generating an environment representation, wherein the environment data is projected from the perspective of a virtual camera on a least two-layered plane; and
- Output of the environment representation on a display device of the man-machine interface.

Ein Fahrerassistenzsystem bezeichnet eine elektronische, in einem Fahrzeug integrierte Zusatzeinrichtung, die den Fahrer in verschiedenen Fahrsituationen unterstützt. Fahrerassistenzsysteme umfassen üblicherweise verschiedene Subsysteme, die insbesondere zur Steigerung der Sicherheit oder des Komforts des Fahrzeuges eingesetzt werden. Beispielsweise kann ein Fahrerassistenzsystem einen Einparkassistenten, eine Totwinkelüberwachung oder dergleichen umfassen. Zur Ausgabe von Informationen an den Fahrer umfasst ein Fahrerassistenzsystem üblicherweise eine Mensch-Maschine-Schnittstelle (HMI), die Informationen in haptischer, optischer und/oder akustischer Form ausgeben kann. Beispielsweise entsprechen Ruckeln am Lenkrad, Darstellen von Bildern auf einem Display oder Ausgeben von Tönen über einen Lautsprecher solchen Ausgaben.A driver assistance system refers to an electronic, integrated in a vehicle option that supports the driver in different driving situations. Driver assistance systems typically include various subsystems, particularly for increasing safety or security the comfort of the vehicle are used. For example, a driver assistance system may include a parking assistant, blind spot monitoring, or the like. To output information to the driver, a driver assistance system usually comprises a human-machine interface (HMI), which can output information in haptic, optical and / or acoustic form. For example, jerking on the steering wheel, displaying images on a display, or outputting sounds through a speaker correspond to such outputs.

Zur Charakterisierung des Fahrzeugumfeldes umfasst das Fahrerassistenzsystem Umfeldsensorik, die Umfelddaten erfasst. Die Umfeldsensorik kann beispielsweise ein Kamerasystem mit einer oder mehreren Kameras umfassen. Zusätzlich oder alternativ können aber auch ein Ultraschallsystem, Radarsystem, etc. eingesetzt werden, um Umfelddaten zu sammeln.To characterize the vehicle environment, the driver assistance system comprises environment sensors that record environmental data. The environment sensor system may include, for example, a camera system with one or more cameras. Additionally or alternatively, however, an ultrasound system, radar system, etc. can be used to collect environmental data.

Die Umfelddarstellung vereinigt die erfassten Umfelddaten zur Ausgabe auf einer Anzeigevorrichtung. So kann die Umfelddarstellung etwa auf dem Kamerasystem basierende Videoansichten des Fahrzeugumfeldes zur Ausgabe auf einer Anzeigevorrichtung umfassen. Weiterhin kann die Umfelddarstellung Visualisierungen von Ultraschalldaten, Radardaten, etc. enthalten. The environment representation combines the acquired environment data for output on a display device. For example, the environment representation may include camera system-based video views of the vehicle surroundings for output on a display device. Furthermore, the environment representation may include visualizations of ultrasound data, radar data, etc.

Unter dem Ausdruck virtuelle Kameraperspektive ist im vorliegenden Zusammenhang eine Ansicht auf das Fahrzeugumfeld zu verstehen, die reale Kameras liefern würde. Die virtuelle Kameraperspektive entspricht also der Ansicht auf das Fahrzeugumfeld, die eine virtuelle Kamera liefert, wobei die Umfelddarstellung in der virtuellen Kameraperspektive aus Umfelddaten, insbesondere Bildern von realen Kameras, erzeugt wird.The term virtual camera perspective in the present context means a view of the vehicle environment that would provide real cameras. The virtual camera perspective thus corresponds to the view of the vehicle environment that supplies a virtual camera, wherein the environment representation in the virtual camera perspective is generated from environmental data, in particular images from real cameras.

In einer Implementierung des erfindungsgemäßen Verfahrens wird die virtuelle Kameraperspektive in Abhängigkeit von Objekten im Fahrzeugumfeld und/oder in Abhängigkeit von Zustandsvariablen des Fahrzeuges bestimmt. Dabei können Objekte im Fahrzeugumfeld anhand der Umfelddaten identifiziert werden. Beispielsweise ermöglichen Verfahren zur Bildverarbeitung, wie Segmentierung oder Histogrammierung, die Erkennung von Objekten aus den Videoansichten eines Kamerasystems. Zusätzlich oder alternativ können auch ein Ultraschall, Radar- oder LIDAR-Daten zur Objekterkennung verwendet werden. Die virtuelle Kamera kann dann auf mindestens eines der erkannten Objekte, etwa auf Hindernisse im Fahrschlauch des Fahrzeuges, ausgerichtet werden, so dass die virtuelle Kameraperspektive das mindestens eine erkannte Objekt beinhaltet.In one implementation of the method according to the invention, the virtual camera perspective is determined as a function of objects in the vehicle environment and / or as a function of state variables of the vehicle. In the process, objects in the vehicle environment can be identified on the basis of the environmental data. For example, image processing techniques, such as segmentation or histogramming, allow the recognition of objects from the video views of a camera system. Additionally or alternatively, an ultrasound, radar or LIDAR data can be used for object recognition. The virtual camera can then be aligned with at least one of the detected objects, such as obstacles in the driving tube of the vehicle, so that the virtual camera perspective includes the at least one detected object.

Neben der objektabhängigen Bestimmung der virtuellen Kameraperspektive ist es möglich Zustandsvariablen des Fahrzeuges einzubeziehen. So kann die virtuelle Kameraperspektive in Abhängigkeit von der Eigengeschwindigkeit, dem Lenkwinkel oder der Fahrtrichtung gewählt werden.In addition to the object-dependent determination of the virtual camera perspective, it is possible to include state variables of the vehicle. Thus, the virtual camera angle can be selected depending on the airspeed, the steering angle or the direction of travel.

Nach Bestimmen der virtuellen Kameraperspektive kann aus den Umfelddaten eine Umfelddarstellung erzeugt werden, die eine Ansicht auf das Fahrzeugumfeld wiedergibt, welche eine reale Kamera in der Position der virtuellen Kamera liefern würden. Derartige Umfelddarstellungen werden in einer weiteren Implementierung des erfindungsgemäßen Verfahrens mit sich bewegender virtueller Kamera erzeugt. So kann sich die virtuelle Kamera beispielsweise entlang einer horizontalen oder einer vertikalen Linie bewegen, wobei die virtuelle Kameraperspektive im Wesentlichen identisch bleibt. Alternativ oder zusätzlich kann die virtuelle Kamera auch verschwenkt werden, wobei die virtuelle Kameraperspektive im Wesentlichen identisch bleibt. Die erzeugten Umfelddarstellungen können dann im Bezug auf die Bewegung repetitiv ausgegeben werden, um einen Tiefeneindruck zu bewirken.After determining the virtual camera perspective, an environment representation representing a view of the vehicle environment that would provide a real camera in the position of the virtual camera can be generated from the surrounding data. Such environment representations are generated in a further implementation of the method according to the invention with a moving virtual camera. For example, the virtual camera may move along a horizontal or vertical line, with the virtual camera perspective remaining substantially identical. Alternatively or additionally, the virtual camera can also be pivoted, with the virtual camera perspective remaining substantially identical. The generated environment representations can then be output repetitively in relation to the movement in order to produce a depth impression.

In einer weiteren Implementierung des erfindungsgemäßen Verfahrens wird ein Bereich der Umfelddarstellung in der virtuellen Kameraperspektive ausgewählt und rektifiziert. Eine derartige Auswahl ist insbesondere dann vorteilhaft, wenn Videoansichten eines Kamerasystems durch das in die Kameras integrierte Linsensystem, etwa durch Weitwinkellinsen, verzerrt sind. Die Verzerrung der Videoansicht nimmt dabei entsprechend des optischen Abbildungsfehlers der Linse vom Zentrum der Videoansicht zum Rand hin zu. Daher können insbesondere solche Bereiche der Umfelddarstellung ausgeschlossen werden, die durch den Abbildungsfehler des Linsensystems stark beeinflusst sind. Diese Bereiche befinden sich üblicherweise am Rand der Videoansicht. Durch Rektifizierung können Verzerrungen in der überbleibenden Videoansicht eliminiert werden.In a further implementation of the method according to the invention, a region of the environment representation in the virtual camera perspective is selected and rectified. Such a selection is particularly advantageous when video views of a camera system are distorted by the lens system integrated in the cameras, for example by wide-angle lenses. The distortion of the video view increases according to the optical aberration of the lens from the center of the video view towards the edge. Therefore, in particular those areas of the environmental representation can be excluded, which are strongly influenced by the aberration of the lens system. These areas are usually at the edge of the video view. By rectification, distortions in the surviving video view can be eliminated.

Zur Erzeugung der Umfelddarstellung werden die Umfelddaten aus Sicht der virtuellen Kamera auf eine mindestens zweischichtige Ebene projiziert. Die Projektionsebene kann dabei in Ihrer Form beliebig gewählt werden. So können insbesondere auf dem Kamerasystem basierende Videoansichten, die unterschiedliche Ausschnitte des Fahrzeugumfeldes zeigen, in einer Ebenen zusammengeführt werden. Dabei können das Fahrzeug und dessen Umfeld so dargestellt werden, dass das Fahrzeug beispielsweise im Zentrum mit dem um das Fahrzeug herum liegende Umfeld wiedergegeben wird. Die erzeugte Umfelddarstellung kann zumindest einem Teilbereich oder einen Rundumblick des realen Umfeldes des Fahrzeuges wiedergeben.In order to generate the environment representation, the environment data is projected from the point of view of the virtual camera on at least a two-layered plane. The projection level can be chosen arbitrarily in your form. In particular, video views based on the camera system, which show different sections of the vehicle environment, can be brought together in one plane. In this case, the vehicle and its surroundings can be displayed such that the vehicle is reproduced, for example, in the center with the environment around the vehicle. The generated environment representation can reflect at least a partial area or an all-round view of the real environment of the vehicle.

Bevorzugt werden die Umfelddaten auf eine Freiformfläche, etwa eine flache oder eine schüsselförmige Ebene, projiziert. Im Falle einer schüsselförmigen Projektionsebene kann der Übergang zwischen horizontalem Bereich und vertikalem Bereich der Ebene so gewählt werden, dass dieser mit dem Übergang zwischen flachen Bereichen, wie der Straße, und erhabenen Objekten, beispielsweise Gebäuden, übereinstimmt. Preferably, the environmental data are projected onto a free-form surface, such as a flat or a bowl-shaped plane. In the case of a bowl-shaped projection plane, the transition between the horizontal area and the vertical area of the plane may be chosen to match the transition between flat areas such as the street and raised objects such as buildings.

In einer Realisierung des erfindungsgemäßen Verfahrens umfasst die Ebene eine Objektschicht, eine Hintergrundschicht und ggf. eine Übergangsschicht. Dabei kann die Objektschicht ausgebildet werden, indem Bereiche der Ebene, in die erkannte Objekte projiziert werden, gegenüber der Hintergrundschicht hervorgehoben werden. Beispielsweise können bei einer flachen Ebene die Bereiche, in die Objekte projiziert werden, herausgelöst werden und in Richtung der virtuellen Kamera versetzt werden. Dadurch ergibt sich eine Staffelung der Ebene in Hintergrundschicht und Objektschicht.In an implementation of the method according to the invention, the plane comprises an object layer, a background layer and optionally a transition layer. In this case, the object layer can be formed by highlighting areas of the plane in which detected objects are projected, relative to the background layer. For example, in a flat plane, the areas into which objects are projected may be detached and moved toward the virtual camera. This results in a staggering of the layer in the background layer and the object layer.

In einer weiteren Realisierung des erfindungsgemäßen Verfahrens wird die Objektschicht für einzelne Objekte an den Abstand des Objekts von der virtuellen Kamera und/oder die Objektkontur angepasst ist. Hierbei können der Abstand des Objekts von der virtuellen Kamera und die Objektkontur beispielsweise aus Umfelddaten wie Ultraschall-, Radar- oder LIDAR-Daten bestimmt werden.In a further realization of the method according to the invention, the object layer for individual objects is adapted to the distance of the object from the virtual camera and / or the object contour. In this case, the distance of the object from the virtual camera and the object contour can be determined, for example, from environmental data such as ultrasound, radar or LIDAR data.

Zwischen der Objektschicht und der Hintergrundschicht kann weiterhin eine flache oder gekrümmte Übergangsschicht ausgebildet sein, die einen kontinuierlichen Übergang zwischen Objektschicht und Hintergrundschicht schafft. Auf die Übergangsschicht können insbesondere aus Bildsequenzen rekonstruierte Umfelddarstellungen projiziert werden, wobei die Umfelddarstellung die jeweilige Perspektive berücksichtigt und dadurch die dreidimensionale Wahrnehmung unterstützt. Dies kann insbesondere mittels der Warping-Gleichung erfolgen, die beispielsweise zu einem Bild gehörige Tiefenwerte verwendet, um das Bild von einem anderen Blickpunkt aus gesehen zu darzustellen.Between the object layer and the background layer, a flat or curved transition layer can furthermore be formed, which creates a continuous transition between the object layer and the background layer. On the transition layer reconfigured environment representations can be projected in particular from image sequences, wherein the environment representation takes into account the respective perspective and thereby supports the three-dimensional perception. This can be done, in particular, by means of the warping equation, which, for example, uses depth values associated with an image in order to display the image from a different point of view.

Erfindungsgemäß wird weiterhin ein Computerprogramm vorgeschlagen, gemäß dem eines der hierin beschriebenen Verfahren durchgeführt wird, wenn das Computerprogramm auf einer programmierbaren Computereinrichtung ausgeführt wird. Bei der Computereinrichtung kann es sich beispielsweise um ein Modul zur Implementierung eines Fahrerassistenzsystems, oder eines Subsystems hiervon, in einem Fahrzeug handeln. Das Computerprogramm kann auf einem maschinenlesbaren Speichermedium gespeichert werden, etwa auf einem permanenten oder wiederbeschreibbaren Speichermedium oder in Zuordnung zu einer Computereinrichtung oder auf einer entfernbaren CD-ROM, DVD oder einem USB-Stick. Zusätzlich oder alternativ kann das Computerprogramm auf einer Computereinrichtung wie etwa einem Server zum Herunterladen bereitgestellt werden, z.B. über ein Datennetzwerk wie etwa das Internet oder eine Kommunikationsverbindung wie etwa eine Telefonleitung oder eine drahtlose Verbindung.According to the invention, a computer program is also proposed according to which one of the methods described herein is performed when the computer program is executed on a programmable computer device. The computer device may be, for example, a module for implementing a driver assistance system, or a subsystem thereof, in a vehicle. The computer program may be stored on a machine-readable storage medium, such as on a permanent or rewritable storage medium or in association with a computer device or on a removable CD-ROM, DVD or USB stick. Additionally or alternatively, the computer program may be provided for download on a computing device, such as a server, e.g. via a data network such as the Internet or a communication connection such as a telephone line or a wireless connection.

Schließlich wird erfindungsgemäß ein Fahrerassistenzsystem zur Darstellung eines Fahrzeugumfeldes auf einer Mensch-Maschine-Schnittstelle in einem Fahrzeug vorgeschlagen, das vorzugsweise zur Durchführung des vorstehend beschriebenen Verfahrens dient. Das erfindungsgemäße Fahrerassistenzsystem umfasst dazu folgende Komponenten:

– Umfeldsensorik zum Erfassen von Umfelddaten;
– mindestens eine Komponente zum Bestimmen einer situationsabhängigen virtuellen Kameraperspektive;
– mindestens eine Komponente zum Erzeugen einer Umfelddarstellung, wobei die Umfelddaten aus Sicht einer virtuellen Kamera auf eine mindestens zweischichtige Ebene projiziert werden; und
– eine Anzeigevorrichtung zur Ausgabe der Umfelddarstellung als Teil der Mensch-Maschine Schnittstelle.

Finally, the invention proposes a driver assistance system for displaying a vehicle environment on a man-machine interface in a vehicle, which is preferably used to carry out the method described above. The driver assistance system according to the invention comprises the following components:

- Environment sensors for detecting environmental data;
At least one component for determining a situation-dependent virtual camera perspective;
At least one component for generating an environment representation, the environment data being projected from the perspective of a virtual camera onto an at least two-layered plane; and
- A display device for outputting the environment representation as part of the man-machine interface.

Die Umfeldsensorik kann beispielsweise ein Kamerasystem mit einer oder mehreren Kameras umfassen. Zusätzlich oder alternativ können aber auch ein Ultraschallsystem, Radarsystem, etc. eingesetzt werden, um Umfelddaten zu sammeln.The environment sensor system may include, for example, a camera system with one or more cameras. Additionally or alternatively, however, an ultrasound system, radar system, etc. can be used to collect environmental data.

Die Bestimmung der situationsabhängigen virtuellen Kameraperspektive sowie die Erzeugung der Umfelddarstellung beispielsweise in der Vogelperspektive können durch eine oder unterschiedliche Komponenten des Fahrerassistenzsystems erfolgen. So kann beispielsweise ein Steuergerät des Fahrerassistenzsystems ausgebildet sein, diese Verfahrensschritte durchzuführen.The determination of the situation-dependent virtual camera perspective as well as the generation of the environment representation, for example in a bird's-eye view, can be done by one or different components of the driver assistance system. For example, a control unit of the driver assistance system can be designed to carry out these method steps.

Vorteile der ErfindungAdvantages of the invention

Die Erfindung ermöglicht es, insbesondere dreidimensionale Objektkonstellationen in natürlicher und intuitiver Weise darzustellen. Denn durch die Projektion der Umfelddaten auf eine mindestens zweischichtige Ebene kann ein Tiefeneindruck bewirkt werden, der dem Betrachter, insbesondere dem Fahrer eines Fahrzeuges, einen klaren Eindruck hinsichtlich der Anordnung und Ausdehnung von Objekten und deren Abstand zum Fahrzeug vermittelt. Dies nimmt der Darstellung des Fahrzeugumfeldes ihren artifiziellen Charakter und vermittelt dem Fahrer einen natürlichen Eindruck seiner unmittelbaren Umgebung. Dadurch wird eine verbesserte Verständlichkeit der Darstellung des Fahrzeugumfeldes erreicht. Zusätzlich wird durch die situationsabhängige virtuelle Kameraperspektive die Aufmerksamkeit des Fahrers auf relevante Bereiche des Fahrzeugumfeldes gelenkt.The invention makes it possible in particular to present three-dimensional object constellations in a natural and intuitive manner. This is because the projection of the environmental data onto an at least two-layer plane can produce a depth impression that gives the viewer, in particular the driver of a vehicle, a clear impression of the arrangement and extent of objects and their distance from the vehicle. This takes the representation of the vehicle environment their artificial character and gives the driver a natural impression of its immediate environment. As a result, an improved comprehensibility of the representation of the vehicle environment is achieved. In addition, the situation-dependent virtual camera perspective draws the attention of the Driver to relevant areas of the vehicle environment.

Der erhöhten Systemverfügbarkeit steht dabei kein zusätzlicher Montageaufwand gegenüber, da keine zusätzlichen Sensoren, Module oder sonstige Komponenten verbaut werden müssen. Die meisten Fahrzeuge verfügen heute über eine Umfeldsensorik mit optischen Sensoren in unterschiedlichen Positionen am Fahrzeug. In der Regel sind daher Umfelddaten und insbesondere Videoansichten des Fahrzeugumfeldes einfach bereitstellbar oder sind ohnehin bereits verfügbar, so dass für die Erfindung im Wesentlichen zusätzliche Auswertungsalgorithmen zu implementieren sind. Das erfindungsgemäße Verfahren kann daher einfach und kostengünstig nachgerüstet werden.The increased system availability is no additional installation effort, since no additional sensors, modules or other components must be installed. Most vehicles today have an environment sensor system with optical sensors in different positions on the vehicle. In general, environment data and in particular video views of the vehicle environment are therefore readily available or already available anyway, so that essentially additional evaluation algorithms have to be implemented for the invention. The inventive method can therefore be retrofitted easily and inexpensively.

Kurze Beschreibung der ZeichnungenBrief description of the drawings

Weitere Aspekte und Vorteile der Erfindung werden nunmehr anhand der beigefügten Figuren eingehender beschrieben.Further aspects and advantages of the invention will now be described in more detail with reference to the accompanying figures.

Hierbei zeigen:Hereby show:

1 ein mit einem erfindungsgemäßen Fahrerassistenzsystem ausgerüstetes Fahrzeug in einer beispielhaften Fahrsituation; 1 a vehicle equipped with a driver assistance system according to the invention in an exemplary driving situation;

2a, b schematische Darstellung einer Freiformfläche zur Erzeugung einer Umfelddarstellung aus einer virtuellen Kameraperspektive; 2a , b is a schematic representation of a free-form surface for generating an environment representation from a virtual camera perspective;

3a, b schematische Darstellung der Freiformfläche zur Erzeugung einer Umfelddarstellung aus der virtuellen Kameraperspektive mit Hindernissen; 3a , b schematic representation of the free-form surface for generating an environment representation from the virtual camera angle with obstacles;

4a–d schematische Darstellung zur situationsabhängigen Platzierung einer virtuellen Kamera; und 4a -D schematic representation of the situation-dependent placement of a virtual camera; and

5 in Form eines Flussdiagramms einer Arbeitsweise des Fahrerassistenzsystems gemäß der 1. 5 in the form of a flowchart of an operation of the driver assistance system according to the 1 ,

Ausführungsformen der ErfindungEmbodiments of the invention

In 1 ist eine beispielhafte Fahrsituation angedeutet, in der ein Fahrer sich mit seinem Fahrzeug 10 in einem Umfeld mit Hindernissen 24 befindet. Die Hindernisse 24 liegen in der gezeigten Fahrsituation vor und neben dem Fahrzeug 10. Um eine Kollision mit derartigen Hindernissen 24 zu vermeiden, muss der Fahrer das Fahrzeugumfeld korrekt einschätzen und entsprechend rangieren. Derartige Fahrsituationen können beispielsweise beim Ein- oder Ausparken auftreten, wobei Hindernisse 24, wie Säulen oder Mauern, die Parklücke begrenzen. Auch während der Fahrt auf einer Straße können Hindernisse 24, beispielsweise andere Fahrzeuge oder Fußgänger, in den Fahrschlauch des Fahrzeuges 10 eintreten. Erfindungsgemäß ausgestaltetes Fahrerassistenzsystem 12 hilft dem Fahrer, insbesondere in derartigen Situationen, Hindernisse 24 zu erkennen und diese sicher zu umfahren.In 1 an exemplary driving situation is indicated, in which a driver is familiar with his vehicle 10 in an environment with obstacles 24 located. The obstacles 24 are in the driving situation shown in front of and next to the vehicle 10 , To collide with such obstacles 24 To avoid this, the driver must correctly assess the vehicle environment and maneuver accordingly. Such driving situations can occur, for example, when entering or leaving a parking space, with obstacles 24 , such as columns or walls, limit the parking space. Even while driving on a road can be obstacles 24 For example, other vehicles or pedestrians, in the driving tube of the vehicle 10 enter. Driver assistance system designed according to the invention 12 Helps the driver, especially in such situations, obstacles 24 to recognize and to avoid these safely.

Das erfindungsgemäße Fahrerassistenzsystem 12 umfasst dazu Umfeldsensorik, die das Umfeld des Fahrzeuges 10 überwacht. In der in 1 gezeigten Ausführungsform sind an dem Fahrzeug 10 eine Kamerasystem 18, 20, 22 sowie Ultraschallsensorik 26 verbaut. Das Kamerasystem 18, 20, 22 liefert über Front-, Seiten- und Rückkameras Umfelddaten, die das Umfeld rundum das Fahrzeug 10 überwachen. Die Kameras 18, 20, 22 können dabei beispielsweise als Mono- oder Stereokameras mit Weitwinkellinsen ausgestaltet sein. Zusätzlich sind Ultraschallsensoren 26 in unterschiedlichen Positionen am Fahrzeug 10 vorgesehen, die Umfelddaten aus Ultraschalllaufzeitmessungen liefern.The driver assistance system according to the invention 12 includes environment sensors, which surround the vehicle 10 supervised. In the in 1 shown embodiment are on the vehicle 10 a camera system 18 . 20 . 22 as well as ultrasonic sensors 26 installed. The camera system 18 . 20 . 22 provides environment data about the front, side and rear cameras surrounding the vehicle 10 monitor. The cameras 18 . 20 . 22 can be configured for example as a mono or stereo cameras with wide-angle lenses. In addition, there are ultrasonic sensors 26 in different positions on the vehicle 10 provided that provide environmental data from ultrasonic transit time measurements.

In anderen Ausführungsformen kann das Fahrerassistenzsystem 12 weitere Sensoren, etwa LIDAR- oder Radarsensoren, umfassen, die weitere Umfelddaten zur Überwachung des Fahrzeugumfeldes liefern.In other embodiments, the driver assistance system 12 other sensors, such as LIDAR or radar sensors, which provide additional environmental data for monitoring the vehicle environment.

Damit der Fahrer die Fahrsituation besser einschätzen kann, werden die von der Umfeldsensorik 18, 20, 22, 26 aufgezeichneten Daten auf einem Display 16 eines dem Fahrerassistenzsystem 12 zugeordneten HMI dargestellt. Dazu werden die Umfelddaten in eine Umfelddarstellung transformiert, die dem Fahrer situationsabhängig relevante Ausschnitte oder eine Rundumansicht auf das Fahrzeugumfeld darstellt. Zur Verarbeitung der Umfelddaten umfasst das Fahrerassistenzsystem 12 weiterhin ein Steuergerät 14, das ausgebildet ist, eine Umfelddarstellung zur Anzeige auf dem Display 16 des dem Fahrerassistenzsystem 12 zugeordneten HMIs zu erzeugen.So that the driver can better assess the driving situation, those of the environment sensors 18 . 20 . 22 . 26 recorded data on a display 16 a driver assistance system 12 assigned HMI shown. For this purpose, the environment data is transformed into an environment representation, which represents the driver depending on the situation relevant excerpts or a panoramic view of the vehicle environment. The driver assistance system includes the environment data processing 12 furthermore a control unit 14 , which is formed, an environment representation for display on the display 16 of the driver assistance system 12 to generate assigned HMIs.

Um die Umfelddarstellung aus Videoansichten des Kamerasystems 18, 20, 22 zu generieren, werden einzelne Videoansichten des relevanten Umfeldes oder des gesamten Umfeldes in eine Umfelddarstellung transformiert. Die Transformation erfolgt, indem eine virtuelle Freiformfläche als Ebene 30 generiert wird, auf die die Videoansichten projiziert werden. Dabei wird sowohl die Form der Ebene 30 als auch die virtuelle Kameraperspektive 28 situationsabhängig so gewählt, dass Objekte, wie Hindernisse 24, in der Umfelddarstellung für den Fahrer intuitive erkennbar sind und die Aufmerksamkeit des Fahrers auf potentielle Hindernisse 24 gelenkt wird.To the environment representation from video views of the camera system 18 . 20 . 22 To generate individual video views of the relevant environment or the entire environment are transformed into an environment representation. The transformation takes place by creating a virtual freeform surface as a layer 30 is generated, on which the video views are projected. In doing so, both the shape of the plane 30 as well as the virtual camera perspective 28 Depending on the situation chosen so that objects, such as obstacles 24 , in the environment representation for the driver are intuitively recognizable and the driver's attention to potential obstacles 24 is steered.

Im Bezug auf die Ebene 30 kann eine verbesserte Darstellung dadurch erreicht werden, dass die Ebene in eine Hintergrundschicht 38 und eine Objektschicht 36 aufgeteilt wird. So werden Objekte, die potentielle Hindernisse 24 sein können, aus den Umfelddaten bestimmt. Beispielsweise werden die Videoansichten durch Bildverarbeitungsverfahren und/oder Ultraschalldaten auf Objekte 24 hin untersucht. Hierbei wird die Projektionsebene 30 in den Bereichen, in die Objekte 24 projiziert werden, hervorgehoben. Dazu wird die Ebene 30 in diesem Bereich zur virtuellen Kamera 29 hin versetzt und somit eine Objektschicht 36 ausgebildet, die gegenüber der Hintergrundschicht 38 versetzt ist.In terms of the level 30 An improved representation can be achieved by placing the layer in a background layer 38 and a object layer 36 is split. Thus, objects become potential obstacles 24 can be determined from the environmental data. For example, the video views become objects through image processing methods and / or ultrasound data 24 examined. This becomes the projection plane 30 in the fields, in the objects 24 projected, highlighted. This is the level 30 in this area to the virtual camera 29 offset and thus an object layer 36 formed against the background layer 38 is offset.

Zusätzlich kann zwischen der Objektschicht 36 und der Hintergrundschicht 38 eine Übergangsschicht 40 ausgebildet sein, um scharfe Bildkanten zwischen der Objekt- und Hintergrundschicht 36, 38 zu vermeiden. In der Umfelddarstellung, die dem Fahrer bereitgestellt wird, erscheint somit die Videoansicht des Objekts 24 versetzt gegenüber der Hintergrundschicht 38 und dem Fahrer kann eine Tiefenstaffelung vermittelt werden, die die Wahrnehmung des Objekts, insbesondere potentieller Hindernisse 24, erleichtert.Additionally, between the object layer 36 and the background layer 38 a transitional layer 40 be formed to sharp edges between the object and the background layer 36 . 38 to avoid. In the environment representation provided to the driver, the video view of the object thus appears 24 offset from the background layer 38 and the driver can be taught a depth graduation, the perception of the object, in particular potential obstacles 24 , facilitated.

In 2a und 2b sind beispielhaft eine Schnittansicht und eine Draufsicht einer Freiformfläche gezeigt, die als schüsselförmige Projektionsebene 30 ausgestaltet ist, auf die Videoansichten des Fahrzeugumfeldes projiziert werden. Dabei wird der Übergang zwischen dem horizontalen Bereich 32 und dem Flankenbereich 34 der schüsselförmigen Ebene 30 möglichst so gewählt, dass dieser mit dem Übergang zwischen flachen Bereichen 32, wie der Straße auf der sich das Fahrzeug 10 befindet, und erhabenen Objekten, wie Hindernisse 24, im Umfeld des Fahrzeuges 10 übereinstimmen. 2c zeigt eine virtuelle Kamera 29 mit virtueller Kameraperspektive (angedeutet durch Bezugszeichen 28) und die Projektionsebene, wobei sich keine Objekte oder Hindernisse in der virtuellen Kameraperspektive 28 befinden. Die Projektionsebene 30 ist in der dargestellten Ausführungsform schüsselförmig rundum das Fahrzeug 10 gewählt, wobei das Fahrzeug 10 in das Zentrum der schüsselförmigen Ebene 30 projiziert wird. Diese Form ermöglicht es, die Straße vor dem Fahrzeug 10 auf den flachen Teil 32 und etwaige Objekte 24 auf die Flanken 34 der Ebene 30 zu projizieren. So kann dem Fahrer ein natürlich wirkendes Bild des Fahrzeugumfeldes vermittelt werden, auf dem der Fahrer intuitiv Objekte oder Hindernisse 24 im Umfeld erkennen kann. Auf diese Weise entsteht in der auf dem Display angezeigten Umfelddarstellung ein realer Eindruck, der für den Fahrer intuitiver zu beurteilen ist.In 2a and 2 B By way of example, a sectional view and a plan view of a freeform surface shown as a bowl-shaped projection plane 30 is designed to be projected onto the video views of the vehicle environment. This will be the transition between the horizontal area 32 and the flank area 34 the bowl-shaped plane 30 preferably chosen so that this with the transition between flat areas 32 how the road on which the vehicle is 10 located, and raised objects, such as obstacles 24 , in the environment of the vehicle 10 to match. 2c shows a virtual camera 29 with virtual camera perspective (indicated by reference numeral 28 ) and the projection plane, with no objects or obstacles in the virtual camera perspective 28 are located. The projection plane 30 is in the illustrated embodiment bowl-shaped around the vehicle 10 chosen, the vehicle 10 in the center of the bowl-shaped plane 30 is projected. This shape allows the road in front of the vehicle 10 on the flat part 32 and any objects 24 on the flanks 34 the level 30 to project. Thus, the driver can be given a natural-looking picture of the vehicle environment, on which the driver intuitively objects or obstacles 24 can recognize in the environment. In this way, the environment displayed on the display creates a real impression that is more intuitive to the driver.

In den 3a und 3b ist beispielhaft die Aufteilung der Projektionsebene 30 in unterschiedliche Schichten verdeutlicht. 3a zeigt die virtuelle Kamera 29 und die Projektionsebene 30, wobei sich Objekte oder Hindernisse 24 in der virtuellen Kameraperspektive 28 befinden. In diesem Fall wird die Projektionsebene 30 in eine Hintergrundschicht 38 und eine Objektschicht 36 unterteilt. Dabei wird in den Bereichen, in die Objekte 24 projiziert werden, eine Objektschicht 36 ausgebildet, die gegenüber der Hintergrundschicht 38 zur Position der virtuellen Kamera 29 hin versetzt. Dadurch wird eine Tiefenstaffelung erreicht, die Objekte 24 versetzt zu dem restlichen Umfeld auf der Hintergrundschicht 38 darstellt. So können Objekte und insbesondere solche, die ein potentielles Hindernis 24 sein können, hervorgehoben und damit besser für den Fahrer erfassbar dargestellt werden. Zusätzlich kann durch die Tiefenstaffelung eine dreidimensionale Wirkung erreicht werden, die die Darstellung natürlicher erscheinen lässt.In the 3a and 3b is an example of the distribution of the projection plane 30 illustrated in different layers. 3a shows the virtual camera 29 and the projection plane 30 , being objects or obstacles 24 in the virtual camera perspective 28 are located. In this case, the projection plane becomes 30 in a background layer 38 and an object layer 36 divided. It is in the areas in which objects 24 be projected, an object layer 36 formed against the background layer 38 to the position of the virtual camera 29 offset. This achieves a depth graduation, the objects 24 offset to the rest of the environment on the background layer 38 represents. Thus, objects and especially those that are a potential obstacle 24 can be highlighted, and thus made more visible to the driver. In addition, the depth staggering can achieve a three-dimensional effect that makes the depiction more natural.

3b zeigt ebenfalls die virtuelle Kamera 29 und die Projektionsebene 30, wobei sich Objekte oder Hindernisse 24 in der virtuellen Kameraperspektive 29 befinden. Im Unterschied zu der Ausführungsform nach 3a sind hier eine Objekt-, eine Hintergrund- und eine Übergangsschicht 36, 38, 40 vorgesehen. Die Übergangsschicht 40 ist zwischen der Objektschicht 36 und der Hintergrundschicht 38 ausgebildet. Um scharfe Bildkanten zwischen der Objekt- und Hintergrundschicht 36, 38 zu vermeiden, werden auf die Übergangsschicht 40 Ansichten des Objekts 24 projiziert, die aus Sequenzen von Videoansichten generiert werden. Die Übergangsschicht wird dazu so aufgefüllt, dass ein natürlicher Übergang zwischen Objektschicht und Hintergrundschicht entsteht. Dies kann beispielsweise durch die Projektion einer Umfelddarstellung mit der entsprechenden Perspektive erfolgen. 3b also shows the virtual camera 29 and the projection plane 30 , being objects or obstacles 24 in the virtual camera perspective 29 are located. Unlike the embodiment according to 3a Here are an object layer, a background layer, and a transition layer 36 . 38 . 40 intended. The transitional layer 40 is between the object layer 36 and the background layer 38 educated. For sharp edges between the object and background layers 36 . 38 To avoid being on the transitional layer 40 Views of the object 24 projected, which are generated from sequences of video views. The transitional layer is filled to a natural transition between the object layer and the background layer. This can be done, for example, by the projection of an environment representation with the corresponding perspective.

Neben der Hervorhebung von Objekten 24 bei der Projektion der Videoansichten auf eine Projektionsebene 30 zur Darstellung des Fahrzeugumfeldes wird die virtuelle Kameraperspektive 28, aus der das Umfeld dargestellt wird, situationsabhängig gewählt. Dies kann automatisch in Abhängigkeit von den detektierten Objekten, die ein potentielles Hindernis 24 darstellen, oder Zustandsvariablen des Fahrzeuges 10 geschehen. Beispielsweise kann die virtuelle Kameraperspektive 28 in Abhängigkeit von der Fahrtrichtung 42, der Eigengeschwindigkeit oder dem Lenkwinkel festgelegt werden.In addition to the highlighting of objects 24 when projecting the video views onto a projection plane 30 The virtual camera perspective is used to represent the vehicle environment 28 , from which the environment is displayed, depending on the situation chosen. This can be done automatically depending on the detected objects, which is a potential obstacle 24 represent, or state variables of the vehicle 10 happen. For example, the virtual camera perspective 28 depending on the direction of travel 42 , the own speed or the steering angle are set.

In den 4a bis 4d ist beispielhaft die situationsabhängige Wahl der virtuellen Kameraperspektive 28 verdeutlicht. In der in 4a gezeigten Ausführungsform befindet sich beispielsweise ein Objekt 24 im Umfeld des Fahrzeuges 10. Die virtuelle Kamera 29 wird dabei auf das Objekt 24 ausgerichtet, so dass die virtuelle Kameraperspektive 28, aus der das Umfeld in der Umfelddarstellung gezeigt wird, das Objekt 24 umfasst.In the 4a to 4d is an example of the situation-dependent choice of the virtual camera perspective 28 clarified. In the in 4a shown embodiment, for example, is an object 24 in the environment of the vehicle 10 , The virtual camera 29 is doing on the object 24 aligned so that the virtual camera perspective 28 , from which the environment is shown in the environment representation, the object 24 includes.

In den in den 4b bis 4d gezeigten Ausführungsformen wird die virtuelle Kamera 28 in Abhängigkeit von der Fahrtrichtung, der Eigengeschwindigkeit und/oder dem Lenkwinkel 42 gewählt. In 4b ist die virtuelle Kamera 29 so ausgerichtet, dass die virtuelle Kameraperspektive 28 das Fahrzeugumfeld in Fahrtrichtung 42 umfasst. Um auch das Fahrzeug 10 selbst und dessen Position im Fahrzeugumfeld darstellen zu können, wird die Position der virtuellen Kamera 29, wie in 4c gezeigt, hinter dem Fahrzeug 10 gewählt. Auch der Lenkwinkel 42 kann in die Wahl der virtuellen Kamera eingehen. Wie in 4d gezeigt, wird in dieser Ausführungsform die Ausrichtung der virtuellen Kamera dem Lenkwinkel angepasst, wobei der Lenkwinkel über Sensoren, wie Potentiometer, optische Messverfahren oder magnetische Sensoren, insbesondere Hall-Sensoren, bestimmt werden kann. In the in the 4b to 4d the embodiments shown, the virtual camera 28 depending on the direction of travel, the airspeed and / or the steering angle 42 selected. In 4b is the virtual camera 29 aligned so that the virtual camera perspective 28 the vehicle environment in the direction of travel 42 includes. To the vehicle too 10 Being able to represent themselves and their position in the vehicle environment becomes the position of the virtual camera 29 , as in 4c shown behind the vehicle 10 selected. Also the steering angle 42 can go into the choice of the virtual camera. As in 4d In this embodiment, the alignment of the virtual camera is adapted to the steering angle, wherein the steering angle can be determined via sensors, such as potentiometers, optical measuring methods or magnetic sensors, in particular Hall sensors.

Neben den genannten Ausführungsformen kann die virtuelle Kamera 29 auch so gewählt werden, dass die transformierte Darstellung einem Zoom in einen bestimmten Bildbereich entspricht. In 4e ist dies beispielhaft anhand einer Videoansicht 42 aufgenommen mit einer Weitwinkellinse gezeigt. Insbesondere bei Weitwinkellinsen ergibt sich durch den Abbildungsfehler der Linse eine Verzerrung der Videoansicht 42, die vom Zentrum 44 zum Rand 46 der Videoansicht 42 hin zunimmt. Durch eine Wahl der virtuellen Kamera 29, deren virtuelle Kameraperspektive 28 nur einen Teil 48 um das Zentrum 44 der Videoansicht 42 umfasst, können derartige Verzerrungen minimiert werden. Dieser Teil 48 der Videoansicht 42 kann auch zur Weiterverarbeitung genutzt werden, um eine Rundumansicht auf das Fahrzeugumfeld zu generierenIn addition to the aforementioned embodiments, the virtual camera 29 also be chosen so that the transformed representation corresponds to a zoom in a certain image area. In 4e this is exemplified by a video view 42 taken with a wide-angle lens shown. Especially with wide-angle lenses results from the aberration of the lens distortion of the video view 42 from the center 44 to the edge 46 the video view 42 increases. By choosing the virtual camera 29 , whose virtual camera angle 28 only a part 48 around the center 44 the video view 42 such distortions can be minimized. this part 48 the video view 42 can also be used for further processing to generate a 360 ° view of the vehicle environment

5 zeigt ein Flussdiagramm 50, anhand dessen die Erzeugung der Umfelddarstellung für den Fahrer, erläutert wird. In Schritt 52 werden Umfeldaten durch Umfeldsensorik 18, 20, 22, 26 gesammelt, die das Umfeld des Fahrzeuges 10 charakterisieren. Als Umfeldsensorik 18, 20, 22, 26 wird insbesondere ein Kamerasystem 18, 20, 22 oder ein System aus Laufzeitmesssensoren 26 eingesetzt. Laufzeitsensoren 26 basieren beispielsweise auf der Messung von Ultraschall-, Laser- oder Funksignalen, die mittels Ultraschall-, LIDAR- oder Radarsensoren detektiert werden. Die Umfelddaten werden einem Steuergerät 14 des Fahrerassistenzsystems 14 bereitgestellt, in dem die Verarbeitung der Daten und insbesondere die Bestimmung der virtuellen Kameraperspektive 28 sowie die Erzeugung der Umfelddarstellung erfolgt. 5 shows a flowchart 50 , on the basis of which the generation of the environment representation for the driver, is explained. In step 52 Surroundings are caused by environment sensors 18 . 20 . 22 . 26 collected the environment of the vehicle 10 characterize. As environment sensor 18 . 20 . 22 . 26 in particular a camera system 18 . 20 . 22 or a system of transit time sensors 26 used. Transit Time Sensors 26 are based, for example, on the measurement of ultrasound, laser or radio signals which are detected by means of ultrasound, LIDAR or radar sensors. The environment data become a control unit 14 of the driver assistance system 14 in which the processing of the data and in particular the determination of the virtual camera perspective 28 as well as the generation of the environment representation takes place.

In Schritt 54 wird in Abhängigkeit von den Umfelddaten situationsabhängig die virtuelle Kameraperspektive 28 gewählt. Dazu wird die Position und die Ausrichtung einer virtuellen Kamera 29 bestimmt, aus deren Sicht die Umfelddarstellung generiert wird. Dabei werden Objekte 24 im Fahrzeugumfeld und/oder Fahrzustandsvariablen, wie der Lenkwinkel oder die Fahrtrichtung 42, berücksichtigt.In step 54 Depending on the environment data, the virtual camera perspective becomes situation-dependent 28 selected. This will be the location and orientation of a virtual camera 29 determines from whose view the environment representation is generated. In the process, objects become objects 24 in the vehicle environment and / or driving state variables, such as the steering angle or the direction of travel 42 , considered.

In Schritt 56 wird die Umfelddarstellung aus der Sicht der virtuellen Kamera 29 auf das Fahrzeugumfeld erzeugt. Als Basis dafür dienen die gesammelten Umfelddaten. So werden die Umfelddaten, die Videoansichten des Kamerasystems 18, 20, 22 und die Visualisierung von Laufzeitmesssensoren 26 umfasst, entsprechend der virtuellen Kameraperspektive 28 transformiert. Zu dieser Transformation gehört unter anderem die Projektion der Umfelddaten auf eine Projektionsebene 30. In Schritt 58 wird die Umfelddarstellung auf dem Display 16 des dem Fahrerassistenzsystem 12 zugeordneten HMIs angezeigt.In step 56 becomes the environment representation from the point of view of the virtual camera 29 generated on the vehicle environment. The collected environment data serves as the basis for this. This is how the environment data become, the video views of the camera system 18 . 20 . 22 and the visualization of transit time sensors 26 includes, according to the virtual camera angle 28 transformed. Part of this transformation is the projection of the environmental data onto a projection level 30 , In step 58 is the environment representation on the display 16 of the driver assistance system 12 assigned HMIs are displayed.

Die Erfindung ist nicht auf die hier beschriebenen Ausführungsbeispiele und die darin hervorgehobenen Aspekte beschränkt. Vielmehr ist innerhalb des durch die anhängigen Ansprüche angegeben Bereiches ist eine Vielzahl von Abwandlungen möglich, die im Rahmen fachmännischen Handels liegen. The invention is not limited to the embodiments described herein and the aspects highlighted therein. Rather, within the scope of the appended claims, a variety of modifications are possible that are within the scope of expert trade.

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

DE 102008046544 A1 [0003]
DE 102009035422 A1 [0004]
DE 102007044536 A1 [0005]

Claims

Method for displaying a vehicle environment on a human-machine interface ( 16 ) of a driver assistance system ( 12 ) in a vehicle ( 10 ) comprising the following steps: acquiring environmental data using environmental sensors ( 18 . 20 . 22 . 26 ); Determining a situation-dependent virtual camera perspective ( 28 ); Generating an environment representation, wherein the environment data from the perspective of a virtual camera ( 29 ) to an at least two-layered level ( 36 . 38 ) are projected; and output of the environment representation on a display device of the man-machine interface ( 16 ).

Method according to claim 1, wherein the environmental sensor system ( 18 . 20 . 22 . 26 ) a camera system with one or more cameras ( 18 . 20 . 22 ) and the environment representation comprises video system based on the camera system video views of the vehicle environment.

Method according to one of claims 1 or 2, wherein the virtual camera perspective ( 28 ) depending on objects ( 24 ) in the vehicle environment and / or depending on state variables ( 42 ) of the vehicle ( 10 ) is determined.

Method according to one of claims 1 to 3, wherein environment representations with moving virtual camera perspective ( 28 ) and the generated environment representations are repetitively output in relation to the movement.

Method according to one of claims 1 to 4, wherein an area ( 48 ) of the environment representation in the virtual camera perspective ( 28 ) is selected and rectified.

Method according to one of claims 1 to 5, wherein the environmental data are stored on a freeform surface ( 32 . 34 . 36 ) are projected.

Method according to one of claims 1 to 6, wherein the plane ( 32 . 34 . 36 ) an object layer ( 36 ), a background layer ( 38 ) and possibly a transition layer ( 40 ).

Method according to claim 7, wherein the object layer ( 36 ) by creating areas into which objects ( 24 ), compared to the background layer ( 38 ).

Method according to one of claims 7 or 8, wherein the object layer ( 36 ) for individual objects ( 24 ) to the distance of the object from the virtual camera ( 29 ) and / or the object contour is adjusted.

Method according to one of claims 7 to 9, wherein transition layer ( 40 ) comprises a flat or curved plane that provides a continuous transition between the object layer ( 36 ) and background layer ( 38 ) creates.

Computer program for carrying out a method according to one of the preceding claims, when the computer program is executed on a programmable computer device.

Driver assistance system ( 12 ) for displaying a vehicle environment on a man-machine interface ( 16 ) in a vehicle ( 10 ), comprising: - environmental sensor system for acquiring environmental data ( 18 . 20 . 22 . 26 ); At least one component for determining a situation-dependent virtual camera perspective ( 28 ); At least one component for generating an environment representation, the environment data being viewed from the perspective of a virtual camera ( 29 ) to an at least two-layered level ( 36 . 38 ) are projected; and - a display device for outputting the environment representation as part of the human-machine interface ( 16 ).