DE102014013408A1 - Method for displaying environmental information of a vehicle - Google Patents

Method for displaying environmental information of a vehicle Download PDF

Info

Publication number
DE102014013408A1
DE102014013408A1 DE201410013408 DE102014013408A DE102014013408A1 DE 102014013408 A1 DE102014013408 A1 DE 102014013408A1 DE 201410013408 DE201410013408 DE 201410013408 DE 102014013408 A DE102014013408 A DE 102014013408A DE 102014013408 A1 DE102014013408 A1 DE 102014013408A1
Authority
DE
Germany
Prior art keywords
vehicle
image data
virtual image
movements
environment information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE201410013408
Other languages
German (de)
Inventor
Christian Grünler
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
Daimler AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimler AG filed Critical Daimler AG
Priority to DE201410013408 priority Critical patent/DE102014013408A1/en
Publication of DE102014013408A1 publication Critical patent/DE102014013408A1/en
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3626—Details of the output of route guidance instructions
    • G01C21/365—Guidance using head up displays or projectors, e.g. virtual vehicles or arrows projected on the windscreen or on the road itself
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3697—Output of additional, non-guidance related information, e.g. low fuel level
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/307—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene
    • B60R2300/308—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing virtually distinguishing relevant parts of a scene from the background of the scene by overlaying the real scene, e.g. through a head-up display on the windscreen
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Instrument Panels (AREA)

Abstract

Die Erfindung betrifft ein Verfahren zur Darstellung von Umgebungsinformationen (U) eines Fahrzeugs (1), wobei optische Umgebungsinformationen (U) mittels zumindest einer Anzeigeeinheit (2) derart dargestellt werden, dass reale optische Umgebungsinformationen (U) mit virtuellen Bilddaten (B) überlagert werden. Erfindungsgemäß wird mittels zumindest einer am oder im Fahrzeug (1) angeordneten Erfassungseinheit (3) eine in Fahrtrichtung vor dem Fahrzeug (1) befindliche Fahrbahnoberfläche (F) erfasst und zumindest ein Höhenverlauf (H) der Fahrbahnoberfläche (F) anhand mittels der Erfassungseinheit (3) erfasster Umgebungsinformationen (U) erkannt, wobei in Abhängigkeit des Höhenverlaufs (H) eine zukünftige Eigenbewegung des Fahrzeugs (1) prädiziert wird und in Abhängigkeit der zukünftigen Eigenbewegung die virtuellen Bilddaten (B) lagerichtig den realen optischen Umgebungsinformationen (U) überlagert dargestellt werden.The invention relates to a method for displaying environmental information (U) of a vehicle (1), wherein optical environment information (U) is displayed by at least one display unit (2) such that real optical environment information (U) is superimposed with virtual image data (B) , According to the invention, a road surface (F) located in front of the vehicle (1) is detected by means of at least one detection unit (3) arranged in or on the vehicle (1) and at least one height profile (H) of the road surface (F) is determined by means of the detection unit (3) detected ambient information (U) detected, depending on the altitude curve (H) a future intrinsic motion of the vehicle (1) is predicted and depending on the future proper movement of the virtual image data (B) in the correct position the real optical environment information (U) are shown superimposed.

Description

Die Erfindung betrifft ein Verfahren zur Darstellung von Umgebungsinformationen eines Fahrzeugs, wobei optische Umgebungsinformationen mittels zumindest einer Anzeigeeinheit derart dargestellt werden, dass reale optische Umgebungsinformationen mit virtuellen Bilddaten überlagert werden.The invention relates to a method for displaying environmental information of a vehicle, wherein optical environment information is displayed by means of at least one display unit such that real optical environment information is superimposed with virtual image data.

Virtuelle Bilddaten, welche auf einer Oberfläche, wie beispielsweise einer Windschutzscheibe eines Fahrzeugs oder auf einem Bildschirm, dargestellt werden und mit einer computergenerierten Zusatzinformation als Einblendung oder Überlagerung ergänzt werden, werden auch als erweiterte Realität oder Augmented Reality bezeichnet.Virtual image data displayed on a surface such as a windshield of a vehicle or on a screen and supplemented with computer-generated additional information as an overlay or overlay are also referred to as augmented reality or augmented reality.

Bei aus dem Stand der Technik bekannten Verfahren zur Darstellung von Umgebungsinformationen eines Fahrzeugs, welche insbesondere im Rahmen von Navigationsanwendungen verwendet werden, werden optische Umgebungsinformationen des Fahrzeugs mittels einer Anzeigeeinheit dargestellt. Hierbei werden reale optische Umgebungsinformationen mit virtuellen Bilddaten überlagert.In known from the prior art method for displaying environmental information of a vehicle, which are used in particular in the context of navigation applications, optical environment information of the vehicle are displayed by means of a display unit. In this case, real optical environment information is overlaid with virtual image data.

Die Darstellung der Umgebungsinformation erfolgt beispielsweise mittels eines so genannten Head-up-Displays, welches eine Anzeigeeinheit mit einem Projektionsschirm umfasst, auf welchen mittels einer bildgebenden Einheit und gegebenenfalls mittels eines Optikmoduls Informationen projiziert werden. Der Projektionsschirm ist dabei transparent ausgebildet und im Sichtfeld eines Fahrers des Fahrzeugs angeordnet. Der Projektionsschirm kann dabei integraler Bestandteil einer Windschutzscheibe des Fahrzeugs sein.The presentation of the environmental information is carried out, for example, by means of a so-called head-up display, which comprises a display unit with a projection screen, on which information is projected by means of an imaging unit and optionally by means of an optical module. The projection screen is transparent and arranged in the field of view of a driver of the vehicle. The projection screen can be an integral part of a windshield of the vehicle.

Im Hinblick auf einen hohen Fahrkomfort ist es von Vorteil, dass Positionen von virtuellen Bilddaten zeitsynchron der Fahrzeugeigenbewegung angepasst dargestellt werden. Mit Sensoren, beispielsweise einem Beschleunigungssensor, ist die Erkennung von Eigenbewegungen des Fahrzeugs, beispielsweise von Nickbewegungen, Rollbewegungen oder Gierbewegungen, möglich. Hierbei ist bekannt, dass bei einer überlagerten Darstellung eines Videobildes mit virtuellen Bilddaten zur zeitsynchron korrekten Einblendung der virtuellen Bilddaten eine Verarbeitungszeit von Videodaten zur Erzeugung des Videobildes genutzt wird, um währenddessen eine Lageschätzung des Fahrzeugs durchzuführen.With regard to a high level of ride comfort, it is advantageous for positions of virtual image data to be displayed in a time-synchronized manner to the vehicle's own motion. With sensors, for example an acceleration sensor, it is possible to detect intrinsic movements of the vehicle, for example pitching movements, rolling movements or yawing movements. It is known that in the case of a superimposed display of a video image with virtual image data for the time-synchronously correct insertion of the virtual image data, a processing time of video data for generating the video image is used in order to carry out a position estimation of the vehicle.

Aus der DE 10 2012 001 950 A1 ist ein Verfahren zum Betreiben einer Kameraanordnung für ein Fahrzeug bekannt, bei welchem auf einer Oberfläche wenigstens eine Bildinformation dargestellt wird. In Abhängigkeit von einer Eigenbewegung der Oberfläche wird die wenigstens eine Bildinformation derart verändert, dass die Eigenbewegung der Oberfläche zumindest weitgehend kompensiert wird. Von einer Kamera der Kameraanordnung werden hierfür wenigstens zwei aufeinanderfolgende Bilder aufgenommen, wobei wenigstens ein Bezugsobjekt identifiziert wird, welches in beiden aufeinanderfolgenden Bildern vorhanden ist. Die wenigstens eine Bildinformation wird während der Eigenbewegung der Oberfläche relativ zu dem wenigstens einen Bezugsobjekt fixiert.From the DE 10 2012 001 950 A1 For example, a method for operating a camera arrangement for a vehicle is known, in which at least one image information is displayed on a surface. Depending on a natural movement of the surface, the at least one image information is changed in such a way that the proper motion of the surface is at least largely compensated. For this purpose, at least two consecutive images are taken by a camera of the camera arrangement, whereby at least one reference object is identified, which is present in both successive images. The at least one image information is fixed during the proper movement of the surface relative to the at least one reference object.

Der Erfindung liegt die Aufgabe zu Grunde, ein gegenüber dem Stand der Technik verbessertes Verfahren zur Darstellung von Umgebungsinformationen eines Fahrzeugs anzugeben.The invention is based on the object to provide a comparison with the prior art improved method for displaying environmental information of a vehicle.

Die Aufgabe wird erfindungsgemäß durch die im Anspruch 1 angegebenen Merkmale gelöst.The object is achieved by the features specified in claim 1.

Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.Advantageous embodiments of the invention are the subject of the dependent claims.

Bei dem Verfahren zur Darstellung von Umgebungsinformationen eines Fahrzeugs werden optische Umgebungsinformationen mittels zumindest einer Anzeigeeinheit derart dargestellt, dass reale optische Umgebungsinformationen mit virtuellen Bilddaten überlagert werden. Erfindungsgemäß wird mittels zumindest einer am oder im Fahrzeug angeordneten Erfassungseinheit eine in Fahrtrichtung vor dem Fahrzeug befindliche Fahrbahnoberfläche erfasst und zumindest ein Höhenverlauf der Fahrbahnoberfläche anhand mittels der Erfassungseinheit erfasster Umgebungsinformationen erkannt. In Abhängigkeit des Höhenverlaufs wird eine zukünftige Eigenbewegung des Fahrzeugs prädiziert und in Abhängigkeit der zukünftigen Eigenbewegung werden die virtuellen Bilddaten lagerichtig den realen optischen Umgebungsinformationen überlagert dargestellt.In the method for displaying environmental information of a vehicle, optical environment information is displayed by means of at least one display unit in such a way that real ambient optical information is superposed with virtual image data. According to the invention, a road surface located in front of the vehicle in the direction of travel is detected by means of at least one detection unit arranged on or in the vehicle and at least one height profile of the road surface is detected on the basis of the environmental information detected by the detection unit. Depending on the course of the altitude, a future proper movement of the vehicle is predicted, and depending on the future proper motion, the virtual image data are displayed in the correct position superimposed on the real optical environment information.

Eigenbewegungen des Fahrzeugs, wie beispielsweise Nickbewegungen, Wankbewegungen und Gierbewegungen, welche sich aufgrund von Unebenheiten der Fahrbahnoberfläche ergeben, können dazu führen, dass die projizierten virtuellen Bilddaten auf der Anzeigeeinheit verschoben und somit nicht lagerichtig dargestellt werden.Own movements of the vehicle, such as pitching movements, rolling movements and yawing movements, which result from unevenness of the road surface, can lead to the projected virtual image data being displaced on the display unit and thus not displayed in the correct position.

Im Gegensatz zu einer überlagerten Darstellung von Videobildern steht bei einer überlagerten Darstellung von realen optischen Umgebungsinformationen, insbesondere mittels eines so genannten Head-up-Displays, keine Verarbeitungszeit zur Ermittlung der Eigenbewegung des Fahrzeugs zur Verfügung.In contrast to a superimposed display of video images, there is no processing time for determining the intrinsic motion of the vehicle in the case of a superimposed display of real optical surroundings information, in particular by means of a so-called head-up display.

Mittels des erfindungsgemäßen Verfahrens ist es dagegen aufgrund der durchgeführten Prädiktion in vorteilhafter Weise möglich, virtuelle Bilddaten in Echtzeit angepasst an Eigenbewegungen des Fahrzeugs mittels der Anzeigeeinheit lagerichtig den realen optischen Umgebungsinformationen darzustellen.By means of the method according to the invention, on the other hand, due to the prediction carried out, it is advantageously possible to adapt virtual image data in real time to proper motions the vehicle by means of the display unit in the correct position to represent the real optical environment information.

Um die Darstellung der virtuellen Bilddaten, beispielsweise ein Richtungspfeil einer Navigationsanwendung, lagerichtig den realen optischen Umgebungsinformationen überlagert darzustellen, werden die erfassten Umgebungsinformationen beispielsweise mittels einer Auswerteeinheit in ein physikalisches Modell des Fahrwerks überführt. Somit kann besonders einfach und exakt eine Prädiktion der zukünftigen Eigenbewegungen des Fahrzeugs erstellt werden. Aus der Durchführung der Prädiktion resultiert eine ausreichende Vorlaufzeit für eine weitere Verarbeitungskette, beispielsweise einer Fusion und Übermittlung von Sensorwerten, und die an die Eigenbewegungen des Fahrzeugs angepasste Darstellung der virtuellen Bilddaten wird ermöglicht. Somit wird beispielsweise der Richtungspfeil bei Nickbewegungen des Fahrzeugs, bei welchen die realen optischen Umgebungsinformationen im Sichtfeld des Betrachters nach unten verschoben werden, in einer verringerten Höhe dargestellt als vor der Eigenbewegung des Fahrzeugs. Somit ist die Darstellung an die verschobene Darstellung der realen optischen Umgebungsinformationen im Sichtfeld des Betrachters angepasst.In order to display the representation of the virtual image data, for example a directional arrow of a navigation application, superimposed in the correct position on the real optical environment information, the detected environmental information is transferred, for example, by means of an evaluation unit into a physical model of the chassis. Thus, a prediction of the future intrinsic movements of the vehicle can be created particularly easily and accurately. The execution of the prediction results in a sufficient lead time for a further processing chain, for example a fusion and transmission of sensor values, and the representation of the virtual image data adapted to the proper movements of the vehicle is made possible. Thus, for example, the directional arrow during pitching movements of the vehicle, in which the real optical environment information is shifted downward in the field of view of the observer, is displayed at a reduced height than before the proper movement of the vehicle. Thus, the representation is adapted to the shifted representation of the real optical environment information in the field of view of the viewer.

Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.Embodiments of the invention are explained in more detail below with reference to drawings.

Dabei zeigen:Showing:

1 schematisch ein Fahrzeug auf einer Fahrbahnoberfläche, 1 schematically a vehicle on a road surface,

2 schematisch eine Darstellung von Umgebungsinformationen einer Anzeigeeinheit in einem ersten Zustand, und 2 schematically a representation of environmental information of a display unit in a first state, and

3 schematisch eine Darstellung von Umgebungsinformationen einer Anzeigeeinheit in einem zweiten Zustand. 3 schematically a representation of environmental information of a display unit in a second state.

Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.Corresponding parts are provided in all figures with the same reference numerals.

1 zeigt ein Fahrzeug 1 auf einer Fahrbahnoberfläche F, beispielsweise einer Straße. 2 zeigt eine Darstellung von Umgebungsinformationen U der Anzeigeeinheit 2 in einem ersten Zustand. 3 zeigt eine Darstellung von Umgebungsinformationen U der Anzeigeeinheit 2 in einem zweiten Zustand. Mögliche Ausführungsbeispiele der Erfindung werden im Weiteren anhand aller Figuren gemeinsam beschrieben. 1 shows a vehicle 1 on a road surface F, for example, a road. 2 shows a representation of environmental information U of the display unit 2 in a first state. 3 shows a representation of environmental information U of the display unit 2 in a second state. Possible embodiments of the invention will be described below together with reference to all figures.

Das Fahrzeug 1 umfasst eine Anzeigeeinheit 2, beispielsweise ein Head-up-Display, zum Projizieren von Bildern in einen Sichtbereich eines Fahrzeuginsassen. Mittels der als Head-up-Display ausgebildeten Anzeigeeinheit 2 werden dem Fahrzeuginsassen virtuelle Bilddaten B ausgegeben, welche in dessen Blickrichtung hinter der Anzeigeeinheit 2 befindlichen realen optischen Umgebungsinformationen U lagerichtig überlagert dargestellt werden.The vehicle 1 includes a display unit 2 For example, a head-up display for projecting images in a field of view of a vehicle occupant. By means of the designed as a head-up display display unit 2 the vehicle occupant virtual image data B are output, which in the viewing direction behind the display unit 2 located real optical environment information U are shown superimposed superimposed.

Um eine realistische Darstellung der virtuellen Bilddaten B zu ermöglichen, müssen Eigenbewegungen des Fahrzeugs 1 bei der lagerichtig überlagerten Darstellung der virtuellen Bilddaten B berücksichtigt werden. Eigenbewegungen des Fahrzeugs 1, wie beispielsweise Nickbewegungen, Wankbewegungen und Gierbewegungen, welche sich aufgrund von Unebenheiten der Fahrbahnoberfläche F ergeben, können dazu führen, dass die projizierten virtuellen Bilddaten B auf der Anzeigeeinheit 2 verschoben und somit nicht lagerichtig dargestellt werden.In order to enable a realistic representation of the virtual image data B, proper movements of the vehicle have to be performed 1 be considered in the correct position overlaid representation of the virtual image data B. Own movements of the vehicle 1 , such as pitching motions, roll motions and yaw motions resulting from unevenness of the road surface F, may cause the projected virtual image data B on the display unit 2 shifted and thus not shown in the correct position.

Zur Prädiktion dieser Eigenbewegungen umfasst das Fahrzeug 1 eine Erfassungseinheit 3 zum Erfassen von Umgebungsinformationen U, insbesondere eines Höhenverlaufs H einer Fahrbahnoberfläche F. In Abhängigkeit des Höhenverlaufs H wird eine zukünftige Eigenbewegung des Fahrzeugs 1 insbesondere anhand einer Überführung der erfassten Umgebungsinformationen in ein physikalisches Modell eines Fahrwerks des Fahrzeugs 1 prädiziert und in Abhängigkeit der zukünftigen Eigenbewegung werden die virtuellen Bilddaten B lagerichtig den realen optischen Umgebungsinformationen U überlagert dargestellt.The vehicle includes the prediction of these proper movements 1 a detection unit 3 for detecting environmental information U, in particular a height curve H of a road surface F. Depending on the height curve H, a future proper motion of the vehicle 1 in particular based on a transfer of the detected environment information into a physical model of a chassis of the vehicle 1 predicted and depending on the future proper movement, the virtual image data B are displayed in the correct position superimposed on the real optical environment information U.

Beispielsweise werden als virtuelle Bilddaten B Richtungspfeile B1 einer Navigationsanwendung den realen Umgebungsinformationen U überlagert dargestellt. Beim Überfahren von Unebenheiten der Fahrbahnoberfläche F kann es bei Nichtanwendung des erfindungsgemäßen Verfahrens aufgrund der Eigenbewegungen des Fahrzeugs 1 dazu kommen, dass die Richtungspfeile B1 nicht lagerichtig ausgegeben werden. Diese nicht lagerichtige Darstellung ist mittels des Richtungspfeiles B2 im Vergleich zur lagerichtigen Darstellung des in 2 mit durchgezogener Linie und in 3 gestrichelt dargestellten Richtungspfeils B1 gezeigt.For example, as virtual image data B, directional arrows B1 of a navigation application are superimposed on the real environmental information U. When driving over unevenness of the road surface F, it may be due to the intrinsic movements of the vehicle when not using the method according to the invention 1 come to the fact that the directional arrows B1 are not issued in the correct position. This non-correct representation is by means of the directional arrow B2 in comparison to the correct position representation of in 2 with a solid line and in 3 dashed shown direction arrow B1 shown.

In einem möglichen Ausführungsbeispiel führt das Fahrzeug 1 beim Überfahren des Höhenverlaufs H, beispielsweise einer Unebenheit, eine Eigenbewegung aus. Die projizierten Bilder müssen dieser Bewegung angepasst werden. Eine Eigenbewegung des Fahrzeugs 1 ist beispielsweise eine Nickbewegung, wobei eine Fahrzeugfront eine Bewegung nach unten ausführt. Aufgrund der Eigenbewegung verschieben sich die virtuellen Bilddaten B gemeinsam mit der Anzeigeeinheit 2 relativ zu den realen optischen Umgebungsinformationen U nach unten. Um die Darstellung virtueller Bilddaten B lagerichtig den realen optischen Umgebungsinformationen U überlagert darzustellen, werden die erfassten Umgebungsinformationen U beispielsweise mittels einer Auswerteeinheit 4 in das physikalisches Modell eines Fahrwerks des Fahrzeugs 1 überführt und es wird eine Prädiktion der zukünftigen Eigenbewegungen des Fahrzeugs 1 durchgeführt. Aufgrund der Prädiktion steht genügend Zeit für eine weitere Verarbeitungskette zur Verfügung und eine angepasste Darstellung von virtuellen Bilddaten B an Eigenbewegungen des Fahrzeugs 1 wird ermöglicht. Die virtuellen Bilddaten B werden dabei unter Berücksichtigung der Eigenbewegung lagerichtig den realen optischen Umgebungsinformationen U überlagert dargestellt.In one possible embodiment, the vehicle leads 1 when driving over the height curve H, for example, a bump, a proper motion. The projected images must be adapted to this movement. A self-movement of the vehicle 1 is, for example, a pitching movement, with a vehicle front making a downward movement. Due to the self-motion, the virtual image data B moves together with the display unit 2 relative to the real optical environment information U down. In order to display the representation of virtual image data B in the correct position superimposed on the real optical environment information U, the acquired environmental information U is obtained, for example, by means of an evaluation unit 4 in the physical model of a chassis of the vehicle 1 and it becomes a prediction of the future proper motions of the vehicle 1 carried out. Due to the prediction, there is sufficient time available for a further processing chain and an adapted presentation of virtual image data B to proper movements of the vehicle 1 is possible. Taking into account the proper movement, the virtual image data B are shown superimposed on the real optical environment information U in the correct position.

Hierbei werden die virtuellen Bilddaten B insbesondere wenigstens in eine Hochrichtung und/oder in eine Querrichtung auf der Anzeigeeinheit 2 verschoben, um so die lagerichtige Darstellung zu ermöglichen.In this case, the virtual image data B are in particular at least in a vertical direction and / or in a transverse direction on the display unit 2 moved so as to allow the correct position representation.

Eine vorteilhafte Weiterbildung sieht vor, dass die Darstellung der virtuellen Bilddaten B in Echtzeit erfolgt, um Positionen von virtuellen Bilddaten B zeitsynchron der Eigenbewegungen des Fahrzeugs 1 anzupassen.An advantageous development provides that the representation of the virtual image data B takes place in real time in order to synchronize positions of virtual image data B with the proper movements of the vehicle 1 adapt.

Um weiterhin eine Korrektur der Vorhersagegenauigkeit im Nachhinein zu ermöglichen, werden in einer möglichen Ausgestaltung mittels einer Regelschleife die prädizierten Eigenbewegungen des Fahrzeugs 1 mit beispielsweise sensorisch erfassten realen Daten verglichen und unter Berücksichtigung des Vergleichs Prädiktionsparameter der Prädiktion angepasst. Beispielsweise werden die vor einer ausgeführten Eigenbewegung des Fahrzeugs 1 vorhergesagte Beschleunigungswerte und jene Beschleunigungswerte, die während der Eigenbewegung des Fahrzeugs 1 sensorisch erfasst werden, verglichen. Dieser Vergleich kann Differenzen aufzeigen, welche anschließend genutzt werden, um die Parameter der Vorhersage an die Realität anzupassen.In order to further enable a correction of the prediction accuracy in retrospect, in a possible embodiment by means of a control loop the predicted proper movements of the vehicle 1 compared with, for example, sensory acquired real data and adapted taking into account the comparison prediction parameters of the prediction. For example, before an executed self-motion of the vehicle 1 predicted acceleration values and those acceleration values during the self-propulsion of the vehicle 1 sensory are compared. This comparison can show differences, which are then used to adjust the prediction parameters to reality.

Auch ist es möglich den Vergleich mittels eines adaptiven maschinellen Lernalgorithmus durchzuführen, wobei die Vorhersagegenauigkeit ohne menschliche Einwirkungen optimiert wird.It is also possible to perform the comparison by means of an adaptive machine learning algorithm, wherein the prediction accuracy is optimized without human intervention.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

11
Fahrzeugvehicle
22
Anzeigeeinheitdisplay unit
33
Erfassungseinheitacquisition unit
44
Auswerteeinheitevaluation
BB
Bilddatenimage data
B1B1
Richtungspfeilarrow
B2B2
Richtungspfeilarrow
FF
Fahrbahnoberflächeroad surface
HH
Höhenverlaufheight profile
UU
UmgebungsinformationArea information

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • DE 102012001950 A1 [0006] DE 102012001950 A1 [0006]

Claims (6)

Verfahren zur Darstellung von Umgebungsinformationen (U) eines Fahrzeugs (1), – wobei optische Umgebungsinformationen (U) mittels zumindest einer Anzeigeeinheit (2) derart dargestellt werden, dass – reale optische Umgebungsinformationen (U) mit virtuellen Bilddaten (B) überlagert werden, dadurch gekennzeichnet, dass – mittels zumindest einer am oder im Fahrzeug (1) angeordneten Erfassungseinheit (3) zumindest eine in Fahrtrichtung vor dem Fahrzeug (1) befindliche Fahrbahnoberfläche (F) erfasst wird und – zumindest ein Höhenverlauf (H) der Fahrbahnoberfläche (F) anhand mittels der Erfassungseinheit (3) erfasster Umgebungsinformation (U) erkannt wird, – wobei in Abhängigkeit des Höhenverlaufs (H) eine zukünftige Eigenbewegung des Fahrzeugs (1) prädiziert wird und – in Abhängigkeit der zukünftigen Eigenbewegung die virtuellen Bilddaten (B) lagerichtig den realen optischen Umgebungsinformationen (U) überlagert dargestellt werden.Method for displaying environmental information (U) of a vehicle ( 1 ), - wherein optical environment information (U) by means of at least one display unit ( 2 ) are displayed in such a way that - real optical environment information (U) is superimposed with virtual image data (B), characterized in that - by means of at least one on or in the vehicle ( 1 ) arranged detection unit ( 3 ) at least one in the direction of travel in front of the vehicle ( 1 ) is detected and at least one height profile (H) of the road surface (F) by means of the detection unit ( 3 ) detected ambient information (U) is detected, - depending on the height profile (H) a future proper motion of the vehicle ( 1 ) and - as a function of the future proper movement, the virtual image data (B) are displayed in the correct position superimposed on the real optical environment information (U). Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass die virtuellen Bilddaten (B) in Abhängigkeit der zukünftigen Eigenbewegung wenigstens in eine Hochrichtung und/oder in eine Querrichtung auf der Anzeigeeinheit (2) verschoben werden.A method according to claim 1, characterized in that the virtual image data (B) in dependence on the future proper movement at least in a vertical direction and / or in a transverse direction on the display unit ( 2 ) are moved. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Darstellung der virtuellen Bilddaten (B) in Echtzeit erfolgt.A method according to claim 1 or 2, characterized in that the representation of the virtual image data (B) takes place in real time. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass als Eigenbewegungen des Fahrzeugs (1) Nickbewegungen und/oder Wankbewegungen und/oder Gierbewegungen prädiziert werden.Method according to one of the preceding claims, characterized in that as proper movements of the vehicle ( 1 ) Pitching movements and / or rolling movements and / or yawing movements are predicted. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass mittels einer Regelschleife die prädizierten Eigenbewegungen des Fahrzeugs (1) mit erfassten realen Daten verglichen werden und unter Berücksichtigung des Vergleichs Prädiktionsparameter der Prädiktion angepasst werden.Method according to one of the preceding claims, characterized in that by means of a control loop the predicted proper movements of the vehicle ( 1 ) are compared with acquired real data and are adjusted, taking into account the comparison, prediction parameters of the prediction. Verfahren nach Anspruch 5, dadurch gekennzeichnet, dass der Vergleich mittels eines adaptiven maschinellen Lernalgorithmus durchgeführt wird.A method according to claim 5, characterized in that the comparison is performed by means of an adaptive machine learning algorithm.
DE201410013408 2014-09-10 2014-09-10 Method for displaying environmental information of a vehicle Withdrawn DE102014013408A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE201410013408 DE102014013408A1 (en) 2014-09-10 2014-09-10 Method for displaying environmental information of a vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE201410013408 DE102014013408A1 (en) 2014-09-10 2014-09-10 Method for displaying environmental information of a vehicle

Publications (1)

Publication Number Publication Date
DE102014013408A1 true DE102014013408A1 (en) 2015-04-02

Family

ID=52673184

Family Applications (1)

Application Number Title Priority Date Filing Date
DE201410013408 Withdrawn DE102014013408A1 (en) 2014-09-10 2014-09-10 Method for displaying environmental information of a vehicle

Country Status (1)

Country Link
DE (1) DE102014013408A1 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102018200312A1 (en) 2018-01-10 2019-07-11 Volkswagen Aktiengesellschaft A method, apparatus and computer readable storage medium having instructions for controlling a display of an augmented reality head-up display device for a motor vehicle
DE102018201769A1 (en) * 2018-02-06 2019-08-08 Volkswagen Aktiengesellschaft A method, apparatus and computer readable storage medium having instructions for controlling a display of an augmented reality head-up display device for a motor vehicle
WO2019233687A1 (en) * 2018-06-04 2019-12-12 Volkswagen Aktiengesellschaft Concept for providing correction values for displaying augmented reality content on a head-up display for a motor vehicle
WO2020224873A1 (en) * 2019-05-08 2020-11-12 Volkswagen Aktiengesellschaft Method for operating a motor vehicle
US11049320B2 (en) 2017-02-13 2021-06-29 Volkswagen Aktiengesellschaft Method, device, and computer-readable storage medium with instructions for controlling a display of an augmented reality head-up display device

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012001950A1 (en) 2012-02-02 2013-08-08 Daimler Ag Method for operating a camera arrangement for a vehicle and camera arrangement

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102012001950A1 (en) 2012-02-02 2013-08-08 Daimler Ag Method for operating a camera arrangement for a vehicle and camera arrangement

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11049320B2 (en) 2017-02-13 2021-06-29 Volkswagen Aktiengesellschaft Method, device, and computer-readable storage medium with instructions for controlling a display of an augmented reality head-up display device
DE102018200312A1 (en) 2018-01-10 2019-07-11 Volkswagen Aktiengesellschaft A method, apparatus and computer readable storage medium having instructions for controlling a display of an augmented reality head-up display device for a motor vehicle
DE102018200312B4 (en) 2018-01-10 2023-11-30 Volkswagen Aktiengesellschaft Method, device and computer-readable storage medium with instructions for controlling a display of an augmented reality head-up display device for a motor vehicle and motor vehicle with such a device
DE102018201769A1 (en) * 2018-02-06 2019-08-08 Volkswagen Aktiengesellschaft A method, apparatus and computer readable storage medium having instructions for controlling a display of an augmented reality head-up display device for a motor vehicle
WO2019233687A1 (en) * 2018-06-04 2019-12-12 Volkswagen Aktiengesellschaft Concept for providing correction values for displaying augmented reality content on a head-up display for a motor vehicle
WO2020224873A1 (en) * 2019-05-08 2020-11-12 Volkswagen Aktiengesellschaft Method for operating a motor vehicle
DE102019206573A1 (en) * 2019-05-08 2020-11-12 Volkswagen Aktiengesellschaft Method for operating a motor vehicle
CN113767026A (en) * 2019-05-08 2021-12-07 大众汽车股份公司 Method for operating a motor vehicle
DE102019206573B4 (en) 2019-05-08 2022-09-08 Volkswagen Aktiengesellschaft Method for operating a motor vehicle

Similar Documents

Publication Publication Date Title
DE102014019579B4 (en) System and method for operating a display device
DE102014117854A1 (en) Device and method for displaying information of a head-up display (HUD)
DE102012001951A1 (en) A display device for a vehicle and method for operating a display device
DE102014214516A1 (en) Apparatus and method for reproducing data in augmented reality for an occupant of a vehicle
DE102018129741A1 (en) Device and method for controlling a display of a vehicle
DE102014013408A1 (en) Method for displaying environmental information of a vehicle
DE102015206477A1 (en) Method for displaying a vehicle environment of a vehicle
DE102016223179A1 (en) Coordinate adjustment device for a head-up display
DE102014013221A1 (en) Apparatus and method for calibrating an image display unit of a vehicle
DE102014206202A1 (en) Sun visor with an electronic image display device and method for its operation
DE102017220268A1 (en) Detection and visualization of system uncertainty when displaying augmented image content in head-up displays
DE102019220040A1 (en) Method and device for preventing kinetosis when viewing an image content displayed on a screen in a moving vehicle, in particular a highly automated vehicle
DE102015216403A1 (en) A protection arrangement for protecting an occupant of a vehicle from motion sickness, a vehicle with the protection arrangement, and a method of protecting an occupant of a vehicle from motion sickness
DE102016225261A1 (en) Method and device for operating a display system with data glasses
DE102014000495A1 (en) Device for projection of navigation information in vehicle environment in e.g. gas station, has evaluation unit, where pre-distortion of information to be projected is carried out by unit independent of determined surface structure
EP3296795B1 (en) Method for displaying an image object in a vehicle on a display seen inside and outside the vehicle
DE102014016612A1 (en) Method and device for displaying environmental information in a vehicle and vehicle
DE102015208738B4 (en) Head-up display for a vehicle
DE102016005452A1 (en) A method of correcting a position of an augmented reality object projected on a display of a vehicle due to an obstructed landing gear of the vehicle
DE102011082601A1 (en) Method and device for displaying traffic sign information
DE102015205868A1 (en) Method and device for operating a display device in a motor vehicle
DE102017011558A1 (en) Method for the camera-based determination of a proper movement and / or a rotational movement about a vehicle vertical axis of a vehicle
DE102014018419A1 (en) Method for generating a depth image
DE102016000412A1 (en) Method for low-latency compensation of a self-motion of a vehicle in a display area of a head-up display
DE102020003921A1 (en) Method for calibrating a head-up display and a vehicle with such a head-up display

Legal Events

Date Code Title Description
R230 Request for early publication
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee