DE102013016251A1 - Method for augmented representation of additional information in image in e.g. vehicle environment, involves changing additional information in dependence on current driving and surrounding situation - Google Patents

Method for augmented representation of additional information in image in e.g. vehicle environment, involves changing additional information in dependence on current driving and surrounding situation Download PDF

Info

Publication number
DE102013016251A1
DE102013016251A1 DE201310016251 DE102013016251A DE102013016251A1 DE 102013016251 A1 DE102013016251 A1 DE 102013016251A1 DE 201310016251 DE201310016251 DE 201310016251 DE 102013016251 A DE102013016251 A DE 102013016251A DE 102013016251 A1 DE102013016251 A1 DE 102013016251A1
Authority
DE
Germany
Prior art keywords
additional information
image
background
output
environment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
DE201310016251
Other languages
German (de)
Inventor
Christian Grünler
Wilhelm Wilke
Tobias Tropper
Adam Schatton
Markus Hammori
Qing Rao
Lars Lütze
Marc Necker
Dirk Olszewski
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mercedes Benz Group AG
Original Assignee
Daimler AG
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daimler AG filed Critical Daimler AG
Priority to DE201310016251 priority Critical patent/DE102013016251A1/en
Publication of DE102013016251A1 publication Critical patent/DE102013016251A1/en
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/006Mixed reality
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01CMEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34Route searching; Route guidance
    • G01C21/36Input/output arrangements for on-board computers
    • G01C21/3626Details of the output of route guidance instructions
    • G01C21/3647Guidance involving output of stored or live camera images or video streams
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2012Colour editing, changing, or manipulating; Use of colour codes
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/09Arrangements for giving variable traffic instructions
    • G08G1/0962Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
    • G08G1/0968Systems involving transmission of navigation instructions to the vehicle
    • G08G1/0969Systems involving transmission of navigation instructions to the vehicle having a display in the form of a map

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Architecture (AREA)
  • Traffic Control Systems (AREA)

Abstract

The method involves displaying a digital image (Bd) and a real image (Br) on a background portion (H-A,H-Br) of a display unit (2). The additional information (Z1-Zx) is changed in dependence on current driving and surrounding situation, such that color and animation are superimposed and issued in the background portion. An independent claim is included for a device for augmented representation of additional information in image in vehicle environment.

Description

Die Erfindung betrifft ein Verfahren zur augmentierten Darstellung mindestens einer Zusatzinformation in mindestens einem Bild einer Umgebung, insbesondere einer Fahrzeugumgebung. Des Weiteren betrifft die Erfindung eine Vorrichtung zur Durchführung des Verfahrens.The invention relates to a method for augmented presentation of at least one additional information in at least one image of an environment, in particular a vehicle environment. Furthermore, the invention relates to a device for carrying out the method.

Vorrichtungen für eine augmentierte Darstellung bringen eine erzeugte Zusatzinformation in Überlagerung mit einer aufgenommenen und wahrnehmbaren Umgebung. Dabei werden die Zusatzinformationen lagerichtig in den Umgebungsbildern dargestellt, wobei die Umgebungsbilder im Hintergrund ausgegeben werden. Solche Vorrichtungen sind beispielsweise teildurchsichtige Anzeigeeinheiten, wie eine HUP-Anzeigeeinheit (HUP = Head-Up-Display), eine HMD-Anzeigeeinheit (HMD = Head Mounted Display), oder undurchsichtige Anzeigeeinheiten, zum Beispiel ein herkömmlicher Bildschirm.Devices for augmented presentation superimpose generated additional information with a recorded and perceptible environment. The additional information is displayed in the correct position in the surrounding images, whereby the surrounding images are output in the background. Such devices are, for example, partially transparent display units, such as a HUP display unit (HUP), an HMD display unit (HMD = Head Mounted Display), or opaque display units, for example a conventional screen.

Eine solche Vorrichtung zur augmentierten Darstellung ist beispielsweise aus der DE 10 2011 115 739 A1 bekannt.Such a device for augmented representation is for example from the DE 10 2011 115 739 A1 known.

Der Erfindung liegt die Aufgabe zu Grunde, ein verbessertes Verfahren und eine verbesserte Vorrichtung zur augmentierten Darstellung von mindestens einer Zusatzinformation anzugeben.The invention is based on the object to provide an improved method and an improved device for augmented presentation of at least one additional information.

Hinsichtlich des Verfahrens wird die Aufgabe erfindungsgemäß gelöst durch die Merkmale des Anspruchs 1. Hinsichtlich der Vorrichtung wird die Aufgabe erfindungsgemäß gelöst durch die Merkmale des Anspruchs B.With regard to the method, the object is achieved by the features of claim 1. With regard to the device, the object is achieved by the features of claim B.

Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.Advantageous embodiments of the invention are the subject of the dependent claims.

Beim erfindungsgemäßen Verfahren zur augmentierten Darstellung mindestens einer Zusatzinformation in mindestens einem Bild einer Umgebung, insbesondere einer Fahrzeugumgebung eines Fahrzeugs, bildet das Bild einen Hintergrund einer Anzeige, wobei die Zusatzinformation in Abhängigkeit von mindestens einer momentanen Fahr- und/oder Umgebungssituation farblich geändert und/oder animiert im Hintergrund überlagert ausgegeben wird.In the method according to the invention for augmented presentation of at least one additional information in at least one image of an environment, in particular a vehicle environment of a vehicle, the image forms a background of a display, the additional information being changed in color as a function of at least one momentary driving and / or surrounding situation and / or animated in the background is superimposed output.

Mit anderen Worten: Die Einblendung oder Überlagerung der Zusatzinformation wird situationsabhängig in mindestens einer Eigenschaft und/oder einem Parameter, wie der Farbe, Größe, Form und/oder Position geändert und ausgegeben. Eine solche situationsabhängige Bearbeitung und Einblendung der Zusatzinformation in das Ausgabebild ermöglicht dem Betrachter, eine sich verändernde Situation klar und intuitiv wahrzunehmen.In other words, the insertion or superposition of the additional information is changed and output depending on the situation in at least one property and / or a parameter, such as the color, size, shape and / or position. Such situation-dependent processing and display of additional information in the output image allows the viewer to perceive a changing situation clearly and intuitively.

Eine Ausführungsform der Erfindung sieht vor, dass als Zusatzinformation eine virtuelle Fahrspur in den Hintergrund und somit in das vorausliegende Verkehrsumfeld eingeblendet wird.An embodiment of the invention provides that a virtual lane is superimposed in the background and thus in the traffic environment ahead as additional information.

Die Erfindung ist anwendbar im Fahrzeug zur Erfassung und Darstellung einer Fahrzeugumgebung. Darüber hinaus ist die Erfindung auch für mobile Geräte, wie einem Mobiltelefon, eine Datenbrille, und/oder für virtuelle Anzeigen, wie einem Projektionsbildschirm und für weitere Zwecke, wie Werbung, Fußgängernavigation oder für Anzeigen in Transportmitteln, wie Bus, Bahn, Flugzeug und Schiff, anwendbar. Dabei erfolgt eine Anpassung der überlagernden Zusatzinformationen ereignis- und/oder situationsabhängig.The invention is applicable in the vehicle for detecting and displaying a vehicle environment. Moreover, the invention is also applicable to mobile devices, such as a mobile phone, smart glasses, and / or for virtual displays, such as a projection screen and for other purposes, such as advertising, pedestrian navigation or for displays in means of transport, such as bus, train, plane and ship , applicable. In this case, the overlaying additional information is adapted to the event and / or situation.

Eine mögliche Ausführungsform sieht vor, dass die Zusatzinformation in Abhängigkeit vom Hintergrund lagerichtig positioniert im Hintergrund ausgegeben wird. Hierbei wird die Zusatzinformation erkennungsoptimiert einem zugehörigen Hintergrundbereich und/oder einem realen Objekt im Hintergrund zugeordnet und entsprechend nah an diesen zugehörigen Hintergrundbereich bzw. an dieses reale Objekt zu dessen näheren Spezifizierung positioniert im Hintergrund dargestellt. Dies stellt eine positionsgenaue und/oder richtungsgenaue Darstellung der aufgenommenen Umgebung und eine intuitiv erfassbare Informationsvermittlung zu den in der Umgebung liegenden Objekten dar.A possible embodiment provides that the additional information is output in the background in the correct position as a function of the background. In this case, the additional information is assigned to an associated background area and / or a real object in the background in a manner optimized for the purpose of identification, and positioned in the background correspondingly close to this associated background area or to this real object for its closer specification. This represents a position-accurate and / or directionally accurate representation of the recorded environment and an intuitively detectable information transfer to the surrounding objects.

Hinsichtlich der Vorrichtung zur Durchführung eines Verfahrens umfasst diese mindestens eine Aufnahmeeinheit zur Aufnahme oder Erfassung eines Bildes einer Umgebung, wobei das Bild einen Hintergrund einer Anzeige bildet, mindestens eine Verarbeitungseinheit zur grafischen Verarbeitung eines aufgenommenen digitalen Bildes und Transformation des digitalen Bildes in ein Ausgabebild sowie zur Erzeugung und Überlagerung mindestens einer Zusatzinformation in den Hintergrund und mindestens eine Ausgabeeinheit zur Ausgabe der Zusatzinformation in den Hintergrund.With regard to the apparatus for carrying out a method, it comprises at least one recording unit for capturing or capturing an image of an environment, wherein the image forms a background of a display, at least one processing unit for graphic processing of a captured digital image and transformation of the digital image into an output image and Creation and superposition of at least one additional information in the background and at least one output unit for outputting the additional information in the background.

Bei der Aufnahmeeinheit handelt es sich insbesondere um eine oder mehrere Kameras, insbesondere ein Stereo-Kamerasystem, eine omnidirektionale Kamera, eine Infrarot-Kamera, eine Laser-Scan-Einheit, ein Radar, ein Lidar oder eine Kombination von vergleichbaren Erfassungseinheiten. Die Verarbeitungseinheit kann in die Aufnahmeeinheit integriert oder separat ausgebildet sein. Die Verarbeitungseinheit kann eine integrierte Schaltung oder ein Steuergerät oder eine andere geeignete Bildverarbeitungseinheit sein. Die Ausgabeeinheit kann ein klassischer Bildschirm, eine HUP-Anzeigeeinheit (HUP = Head-Up-Display), eine HMD-Anzeigeeinheit (HMD = Head Mounted Display) oder eine andere geeignete Anzeigeeinheit sein.In particular, the recording unit is one or more cameras, in particular a stereo camera system, an omnidirectional camera, an infrared camera, a laser scan unit, a radar, a lidar or a combination of comparable detection units. The processing unit may be integrated in the receiving unit or formed separately. The processing unit may be an integrated circuit or a controller or other suitable image processing unit. The output unit may be a classic screen, a head-up display (HUP) unit, a HMD (HMD) display unit or other suitable display unit.

Die mit der Erfindung erzielten Vorteile bestehen insbesondere darin, dass eine situationsbedingte Veränderung der Anzeige der augmentierten Zusatzinformation relativ zum Hintergrund in einfacher Art und Weise eine Hervorhebung und somit bessere Erkennbarkeit der augmentierten Zusatzinformationen und demzufolge der auslösenden Situation ermöglicht. Dabei kann eine Anpassung der eingeblendeten Zusatzinformationen in folgenden Situationen erfolgen:

  • – die Zusatzinformation wird in Abhängigkeit von einer momentanen angezeigten Fahrberechtigungserlaubnis einer Lichtsignalanlage im Hintergrund überlagert ausgegeben (erste Umgebungssituation);
  • – die Zusatzinformation wird in Abhängigkeit von einer Fahrzeuggeschwindigkeit ausgegeben;
  • – als Zusatzinformation wird mindestens ein Warnhinweis zu einem sich annähernden Kollisionsobjekt, zur Befahrbarkeit benachbarter und/oder entgegenkommender Fahrspuren und/oder zu einem vorausliegenden Abbiegevorgang und/oder einem Fahrbahnwechsel ausgegeben;
  • – als Zusatzinformation wird mindestens ein Fahrhinweis zum ökologischen Fahren ausgegeben.
The advantages achieved by the invention are, in particular, that a situation-related change in the display of the augmented additional information relative to the background in a simple manner allows emphasis and thus better visibility of the augmented additional information and consequently the triggering situation. In this case, an adaptation of the additional information displayed in the following situations:
  • - The additional information is output as a function of a currently displayed driving permission permission of a traffic signal superimposed in the background (first environment situation);
  • The additional information is output as a function of a vehicle speed;
  • - As additional information at least one warning is issued to an approaching collision object, the trafficability of adjacent and / or oncoming lanes and / or a forward turn and / or a lane change;
  • - as additional information at least one driving instruction for ecological driving is issued.

Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.Embodiments of the invention are explained in more detail below with reference to drawings.

Dabei zeigen:Showing:

1 schematisch eine Vorrichtung zur augmentierten Darstellung einer Zusatzinformation in einem Hintergrund, 1 schematically a device for augmented presentation of additional information in a background,

2 schematisch ein Ausführungsbeispiel für einen Hintergrund mit überlagerten Zusatzinformationen zu einer vorausliegenden eigenen Fahrspur, 2 1 schematically an embodiment for a background with superimposed additional information to a preceding own lane,

3 schematisch ein Ausführungsbeispiel für einen Hintergrund mit überlagerten Zusatzinformationen zu einer vorausliegenden eigenen Fahrspur und einer benachbarten Fahrspur, 3 FIG. 2 schematically, an exemplary embodiment of a background with superimposed additional information about a preceding own lane and an adjacent traffic lane, FIG.

4 schematisch ein Ausführungsbeispiel für einen Hintergrund mit überlagerten Navigationshinweise als Zusatzinformationen zu einer vorausliegenden Fahrsituation, 4 1 schematically an exemplary embodiment of a background with superimposed navigation instructions as additional information on a driving situation lying ahead;

5 schematisch verschiedene Ausführungsbeispiele für Zusatzinformationen, 5 schematically different embodiments for additional information,

6 schematisch ein Ausführungsbeispiel für einen Hintergrund mit überlagerten Navigationshinweise und Straßenhinweise als Zusatzinformationen zu einer vorausliegenden Fahrsituation, 6 schematically an embodiment of a background with superimposed navigation instructions and road information as additional information to a driving situation ahead,

7 schematisch ein weiteres Ausführungsbeispiel für einen Hintergrund mit überlagerten Navigationshinweise und Straßenhinweise als Zusatzinformationen zu einer vorausliegenden Fahrsituation, und 7 schematically a further embodiment of a background with superimposed navigation instructions and road directions as additional information to a driving situation ahead, and

8 schematisch ein Ausführungsbeispiel für einen Hintergrund mit überlagerten Navigationshinweise und Straßenhinweise als Zusatzinformationen zu einer vorausliegenden Fahrsituation. 8th schematically an embodiment of a background with superimposed navigation instructions and road information as additional information to a driving situation ahead.

Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.Corresponding parts are provided in all figures with the same reference numerals.

1 zeigt schematisch eine Vorrichtung 1 zur augmentierten Darstellung mindestens einer, insbesondere virtuellen Zusatzinformation Z1 bis Zx in einem Bild, das einen Hintergrund H(Br), H(A) bildet, oder in einer Folge von solchen Bildern auf einer Ausgabeeinheit 2. 1 schematically shows a device 1 for the augmented representation of at least one, in particular virtual additional information Z1 to Zx in an image forming a background H (Br), H (A) or in a sequence of such images on an output unit 2 ,

Das Bild kann dabei ein reales Bild Br einer im Sichtfeld des Benutzers liegenden Umgebung U sein oder ein digital aufgenommenes Bild Bd der vorausliegenden Umgebung U.The image may be a real image Br of an environment U lying in the field of vision of the user, or a digitally recorded image Bd of the preceding environment U.

Mit anderen Worten: Das den Hintergrund H(Br) bildende Bild Br ist in einer Ausführungsform die reale vorausliegende Umgebung U. In einer alternativen Ausführungsform, welche hier näher beschrieben wird, wird als Bild ein digitales Bild Bd der realen vorausliegenden Umgebung U aufgenommen und in ein Ausgabebild A transformiert, das den Hintergrund H(A) auf der Ausgabeeinheit 2 bildet.In other words, the image Br forming the background H (Br) is the real preceding environment U in one embodiment. In an alternative embodiment, which will be described in more detail here, a digital image Bd of the real preceding environment U is taken as an image and recorded in FIG an output image A which transforms the background H (A) on the output unit 2 forms.

Die Vorrichtung 1 umfasst eine Aufnahmeeinheit 3, welche ein digitales Bild Bd oder fortlaufend digitale Bilder Bd der Umgebung U in Art einer Videosequenz aufnimmt. Die digitalen Bilder Bd werden einer Verarbeitungseinheit 4 zur Verarbeitung und Erzeugung eines daraus resultierenden Ausgabebildes A bzw. einer Sequenz von Ausgabebildern An zugeführt. Das erzeugte und ausgegebene Ausgabebild A bildet in dieser Ausführungsform den Hintergrund H(A). Zusätzlich erzeugt die Verarbeitungseinheit 4 virtuelle Zusatzinformationen Z1 bis Zx, die im Hintergrund H(A) oder H(Br) überlagert eingeblendet werden.The device 1 includes a receiving unit 3 which captures a digital image Bd or continuous digital images Bd of the environment U in the manner of a video sequence. The digital images Bd become a processing unit 4 for processing and generating a resulting output image A or a sequence of output images An supplied. The generated and output output image A in this embodiment forms the background H (A). In addition, the processing unit generates 4 virtual additional information Z1 to Zx, which are superimposed in the background H (A) or H (Br) superimposed.

Die Vorrichtung 1 ist beispielsweise in einem nicht näher dargestellten Fahrzeug integriert und dient dort der Erfassung der Umgebung U des Fahrzeugs, insbesondere der Erfassung einer in Fahrrichtung vorausliegenden Fahrzeugumgebung. Das Fahrzeug umfasst beispielsweise als Aufnahmeeinheit 3 mindestens eine fahrzeugeigene Kamera, die insbesondere im Frontbereich angeordnet ist. Die Aufnahmeeinheit 3 ist dabei derart ausgeführt, dass diese zwei- oder mehrdimensionale digitale Bilder Bd mit oder ohne Tiefeninformation aufnimmt.The device 1 For example, it is integrated in a vehicle, not shown, where it serves to detect the environment U of the vehicle, in particular the detection of a vehicle environment ahead in the direction of travel. The vehicle includes, for example, as a receiving unit 3 at least one on-board camera, which is arranged in particular in the front area. The recording unit 3 is designed such that it receives two-dimensional or multidimensional digital images Bd with or without depth information.

Die Verarbeitungseinheit 4 ist insbesondere ein separates Steuergerät und/oder eine Bildverarbeitungseinheit, die in einem anderen Steuergerät und/oder Fahrassistenzsystem integriert sein kann. The processing unit 4 is in particular a separate control unit and / or an image processing unit, which may be integrated in another control unit and / or driver assistance system.

Die Ausgabeeinheit 2 ist insbesondere eine Anzeige in Form eines Bildschirms im Armaturenbereich und/oder eines Projektionsbildschirms im Frontscheibenbereich. Bei Ausbildung der Ausgabeeinheit 2 als Bildschirm wird im Hintergrund H(A) das erzeugte digitale Ausgabebild A ausgegeben, in welchem die virtuelle Zusatzinformationen Z1 bis Zx eingeblendet werden. Bei Ausbildung der Ausgabeeinheit 2 als Projektionsbildschirm oder Head-up-Display bildet die reale vorausliegende Umgebung U den Hintergrund H(Br), auf welchem die virtuellen Zusatzinformationen Z1 bis Zx eingeblendet werden. Die Ausgabeeinheit 2 wird nachfolgend Anzeige 2 genannt.The output unit 2 is in particular a display in the form of a screen in the dashboard area and / or a projection screen in the windscreen area. In training the output unit 2 the generated digital output image A, in which the additional virtual information Z1 to Zx is superimposed, is output as a screen in the background H (A). In training the output unit 2 as a projection screen or head-up display, the real underlying environment U forms the background H (Br) on which the virtual additional information Z1 to Zx are superimposed. The output unit 2 will be displayed below 2 called.

Nachfolgend wird die Erfindung für eine Ausführung der Anzeige 2 als ein Bildschirm beschrieben und somit mit einem aus einem aufgenommenen digitalen Bild Bd transformierten Ausgabebild A, welches den (digitalen) Hintergrund H(A) bildet. Das beschriebene Verfahren zur augmentierten Darstellung der Zusatzinformationen Z1 bis Zx auf einem Bildschirm und somit in einem digitalen Hintergrund H(A) ist analog zur augmentierten Darstellung der Zusatzinformationen Z1 bis Zx auf einem Projektionsbildschirm oder Head-up-Display anwendbar, wobei dort der reale Hintergrund H(Br) durch das reale Bild Br der vorausliegenden Umgebung U mit den realen Objekten O1 bis Oz gebildet ist.Hereinafter, the invention for an embodiment of the display 2 described as a screen and thus with an output image A transformed from a captured digital image Bd, which forms the (digital) background H (A). The described method for the augmented presentation of the additional information Z1 to Zx on a screen and thus in a digital background H (A) is analogous to the augmented representation of the additional information Z1 to Zx on a projection screen or head-up display applicable, where the real background H (Br) is formed by the real image Br of the preceding environment U with the real objects O1 to Oz.

Die Vorrichtung 1, insbesondere die Verarbeitungseinheit 4 ist derart ausgebildet, dass das aufgenommene digitale Bild Bd der Umgebung U in das Ausgabebild A der Anzeige 2 als Hintergrund H(A) transformiert wird, wobei die Zusatzinformation Z1 bis Zx situationsabhängig, insbesondere in Abhängigkeit von mindestens einer momentanen Fahr- und/oder Umgebungssituation farblich geändert und/oder animiert im Ausgabebild An und somit verändert in diesem überlagert ausgegeben wird.The device 1 , in particular the processing unit 4 is formed so that the captured digital image Bd of the environment U in the output image A of the display 2 is transformed as a background H (A), wherein the additional information Z1 to Zx depending on the situation, in particular as a function of at least one momentary driving and / or surrounding situation changed color and / or animated in the output image An and thus changed in this superimposed output.

Mit anderen Worten: Die Hinweise und Empfehlungen darstellende Zusatzinformationen Z1 bis Zx erfolgen stets in Form einer augmentierten Darstellung, entweder in einem Headup-Display mit dem realen Hintergrund H(Br) oder in der Live-Kameraansicht beispielsweise in Kombi- oder Zentralanzeige mit dem digitalen Hintergrund H(A). Die Augmentierung erfolgt dabei möglichst kontaktanalog.In other words, the additional information Z1 to Zx, which provides information and recommendations, always takes the form of an augmented representation, either in a head-up display with the real background H (Br) or in the live camera view, for example in a combined or central display with the digital one Background H (A). The augmentation takes place as contact-analogous as possible.

Das heißt, durch einfache situationsabhängige Anpassung oder Veränderung der virtuellen einzublendenden Zusatzinformation Z1 bis Zx kann diese optisch hervorgehoben im Ausgabebild An und somit vor dem Hintergrund H(A) erscheinen, so dass die veränderte oder sich zukünftig ändernde Situation vom Betrachter intuitiv wahrgenommen werden kann.That is, by simple situation-dependent adaptation or modification of the additional information Z1 to Zx to be overlaid, it can appear visually highlighted in the output image An and thus against the background H (A), so that the changed or future changing situation can be intuitively perceived by the viewer.

2 zeigt ein mögliches Ausführungsbeispiel, bei welchem anhand des beispielsweise als Farbbild aufgenommenen digitalen Bildes Bd einer ein Verkehrsumfeld repräsentierenden Umgebung U in Vogelperspektive als Ausgabebild A und somit Hintergrund H(A) eine vorausliegende Fahrstrecke auf der Anzeige 2 erzeugt und ausgegeben wird. Das erfasste digitale Bild Bd dieser Umgebung U wurde beispielsweise als ein 24-bit dreikanaliges (RGB – Rot-Grün-Blau) Farbbild mit je Bildpixel einem RGB-Wert oder als ein Infrarot-Bild in einem für den Menschen nicht wahrnehmbaren Wellenbereich aufgenommen. 2 shows a possible embodiment in which on the basis of, for example, recorded as a color image digital image Bd of a traffic environment representing environment U in bird's eye view as output image A and thus background H (A) a driving route ahead on the display 2 is generated and output. For example, the captured digital image Bd of this environment U was taken as a 24-bit three-channel (RGB) image with an RGB pixel per pixel, or as an infrared image in a human-imperceptible waveband.

Das Ausgabebild A zeigt in 2 eine Fahrbahn 5 mit zwei virtuelle Fahrspuren 5.1, 5.2 und ein Fahrzeug F auf der Fahrspur 5.1 fahrend. Bei dem Fahrzeug F handelt es sich um das eigene Fahrzeug.The output image A shows in 2 a roadway 5 with two virtual lanes 5.1 . 5.2 and a vehicle F on the lane 5.1 propelled. The vehicle F is the own vehicle.

Das erfindungsgemäße Verfahren ermöglicht es, dass situationsabhängig als Zusatzinformation Z1 bis Zx mindestens ein Navigations- und/oder Fahrhinweis auf der Fahrbahn 5 eingeblendet wird.The inventive method makes it possible, depending on the situation, as additional information Z1 to Zx, at least one navigation and / or driving instruction on the roadway 5 is displayed.

2 zeigt als Ausführungsbeispiel, dass die eigene Fahrspur 5.1 zur Einblendung von fahrzeugeigenen, situationsabhängigen Zusatzinformationen Z1 bis Zx genutzt wird, um dem Fahrer eine Rückmeldung über sein Fahrverhalten zu geben oder ihn vor Gefahren zu warnen, ohne dass er vom Verkehr abgelenkt wird. Ist das eigene Fahrzeug F zu schnell unterwegs und eine vorgegebene maximal zulässige Fahrzeuggeschwindigkeit überschritten, kann die eigene Fahrspur 5.1 beispielsweise durch eine Signalfarbe oder sich ändernde Farbe hervorgehoben werden. 2 shows as an embodiment that own lane 5.1 is used for the display of vehicle-specific, situation-dependent additional information Z1 to Zx in order to give the driver feedback about his driving behavior or to warn him against dangers, without being distracted from traffic. If one's own vehicle F is traveling too fast and has exceeded a predefined maximum permissible vehicle speed, the driver's own lane can 5.1 for example, be highlighted by a signal color or changing color.

In 2 ist in die eigene Fahrspur 5.1 als Zusatzinformation Z ein Balken Z1 spurgenau eingeblendet und selektiv durch entsprechende grafische Ausgestaltung, wie verschiedene, insbesondere gestufte Einfärbungen, hervorgehoben.In 2 is in your own lane 5.1 As additional information Z, a bar Z1 is superimposed with a precise trace and selectively highlighted by corresponding graphic design, such as different, in particular stepped, colorings.

Der Balken Z1 umfasst beispielsweise drei unterschiedlich gekennzeichnete Bereiche Z1.1 bis Z1.3. Der erste Bereich Z1.1 ist beispielsweise grün als Fahrhinweis gekennzeichnet und zeigt dem Betrachter an, dass die momentane Fahrzeuggeschwindigkeit im zulässigen Bereich ist. Der zweite Bereich Z1.2 ist beispielsweise gelb als Warnhinweis gekennzeichnet und zeigt dem Betrachter an, dass die momentane Fahrzeuggeschwindigkeit bei Beibehaltung dieser in einem vorkritischen Bereich ist. Der dritte Bereich Z1.3 ist beispielsweise rot gekennzeichnet als weiterer Warn- und Signalhinweis und zeigt dem Betrachter an, dass bei Beibehaltung der momentanen Fahrzeuggeschwindigkeit das Fahrzeug F in einen kritischen Zustand kommen kann.The bar Z1 comprises, for example, three differently marked areas Z1.1 to Z1.3. The first area Z1.1 is marked, for example, green as a driving instruction and indicates to the viewer that the current vehicle speed is within the permissible range. For example, the second area Z1.2 is marked yellow as a warning and indicates to the viewer that the current vehicle speed while maintaining it is in a precritical range. For example, the third area Z1.3 is marked red as a further warning and signal indication and indicates to the viewer that the vehicle F can come into a critical state while maintaining the instantaneous vehicle speed.

Mit anderen Worten: Im Ausführungsbeispiel nach 2 wird eine Kurve 5.3 in der vorausliegenden Fahrspur 5.1 selektiv hervorgehoben, da in der Kurve 5.3 die infolge der Fahrzeuggeschwindigkeit zu erwartenden Fliehkräfte als zu hoch eingeschätzt werden. In other words, according to the exemplary embodiment 2 becomes a curve 5.3 in the lane ahead 5.1 selectively highlighted, as in the curve 5.3 the expected due to the vehicle speed centrifugal forces are estimated as too high.

Die Erfindung ermöglicht, dass Rückmeldungen von einem oder mehreren Fahrassistenzsystemen, wie dem Geschwindigkeits- und Spurhalteassistenten oder einem Navigationssystem, aufgrund der augmentierten Darstellung von Zusatzinformationen Z, Z1.1 bis Z1.3 besser visualisiert werden. Darüber hinaus ergeben sich neue Assistenzmöglichkeiten und Anwendungen.The invention makes it possible to better visualize feedback from one or more driver assistance systems, such as the speed and lane departure warning system or a navigation system, due to the augmented display of additional information Z, Z1.1 to Z1.3. In addition, there are new assistance options and applications.

Die Überschreitung der maximal zulässigen Fahrzeuggeschwindigkeit kann anhand von verschiedenen Größen ermittelt werden. Beispielsweise wird ein Überschreiten der Fahrzeuggeschwindigkeit anhand eines Vergleichs der momentanen Fahrzeuggeschwindigkeit mit einer von der Aufnahmeeinheit 3 erfassten und/oder von Kartendaten ermittelten Geschwindigkeitsbegrenzung ermittelt.Exceeding the maximum permissible vehicle speed can be determined on the basis of different sizes. For example, exceeding the vehicle speed based on a comparison of the current vehicle speed with one of the receiving unit 3 detected and / or determined by map data speed limit.

Zusätzlich oder alternativ zur Identifizierung einer Überschreitung der Geschwindigkeitsbegrenzung kann eine zu hohe Kurvengeschwindigkeit ermittelt werden und analog zur Balkendarstellung der Fahrzeuggeschwindigkeit entsprechend mit mehreren verschiedenen Farben dargestellt werden.In addition to or as an alternative to identifying an exceeding of the speed limit, too high a cornering speed can be determined and, corresponding to the bar graph of the vehicle speed, correspondingly displayed with several different colors.

Zusätzlich oder alternativ zur Einblendung der Überschreitung der Geschwindigkeitsbegrenzung und/oder Kurvengeschwindigkeit anhand von Zusatzinformationen Z mit entsprechender Einblendung des Balkens Z1 mit den Bereichen Z1.2, Z1.3 kann als weiteres Kriterium ein zu geringer Abstand zu einem vorausfahrenden Fahrzeug V und ein entsprechender Balken Z2, wie in 3 dargestellt, angezeigt werden. Die Länge als auch die Veränderung des Balkens Z2 korrespondiert dabei mit dem realen Abstand bzw. der Änderung des Abstandes.Additionally or alternatively to the display of the exceeding of the speed limit and / or the cornering speed on the basis of additional information Z with a corresponding overlaying of the bar Z1 with the areas Z1.2, Z1.3, as a further criterion too small a distance to a preceding vehicle V and a corresponding bar Z2, as in 3 displayed. The length and the change of the bar Z2 corresponds with the real distance or the change of the distance.

Um den Energie-/Kraftstoffverbrauch zu reduzieren, kann die Fahrspur 5.1 modifiziert, insbesondere durch farbliche Änderungen hervorgehoben werden, um dem Fahrer zu signalisieren, ob er beschleunigen, abbremsen oder ausrollen lassen sollte. Sind insbesondere Ampelphasen von Ampeln an der vorausliegenden Fahrspur 5.1 bekannt, kann ein verbesserter Verkehrsfluss erreicht und gleichzeitig der Energie-/Kraftstoffverbrauch verringert werden, indem eine unnötige Beschleunigung vermieden wird. Ohne eine intuitive Informationsübermittlung wäre eine solche ständige Interaktion bei gleichzeitiger Wahrung der Aufmerksamkeit des Fahrers nicht möglich.In order to reduce the energy / fuel consumption, the lane can 5.1 modified, in particular highlighted by color changes, to signal the driver whether he should accelerate, decelerate or roll out. Are in particular traffic light phases of traffic lights on the lane ahead 5.1 As is known, an improved traffic flow can be achieved and at the same time the energy / fuel consumption can be reduced by avoiding unnecessary acceleration. Without an intuitive transfer of information, such constant interaction would not be possible while maintaining the driver's attention.

3 zeigt darüber hinaus als weitere Zusatzinformation Z eines entgegenkommenden Fahrzeugs F1 einen augmentierten Balken Z3, welcher anzeigt, mit welcher Geschwindigkeit, insbesondere Relativgeschwindigkeit das entgegenkommende Fahrzeug F1 fährt. Hierzu werden mittels einer Folge von aufgenommenen digitalen Bildern Bd und/oder Parametern anderer Sensoren die Relativgeschwindigkeit des entgegenkommenden Fahrzeugs F1 ermittelt und mittels Vergleich mit der eigenen Fahrzeuggeschwindigkeit ermittelt, ob es sich um ein entgegenkommendes oder ein stehendes Fahrzeug F1 handelt. 3 shows in addition as further additional information Z of an oncoming vehicle F1 an augmented bar Z3, which indicates the speed, in particular relative speed, the oncoming vehicle F1 drives. For this purpose, the relative speed of the oncoming vehicle F1 is determined by means of a sequence of recorded digital images Bd and / or parameters of other sensors and determined by comparison with the own vehicle speed, whether it is an oncoming or a stationary vehicle F1.

Alternativ zur Balkendarstellung kann die befahrene und/oder nicht befahrene und vorausliegende und/oder benachbarte Fahrspur 5.1 bzw. 5.2 augmentiert und beispielsweise farblich hervorgehoben werden.As an alternative to the bar graph, the busy and / or unused and preceding and / or adjacent lane 5.1 respectively. 5.2 augmented and highlighted, for example, in color.

Dabei kann die Hervorhebung der Fahrspuren 5.1, 5.2 auch ohne Navigationsziel erfolgen. Insbesondere werden die aktuelle eigene Fahrspur 5.1 sowie andere sichtbare Fahrspuren 5.2 in unterschiedlichen Farbtönen markiert.It can highlight the lanes 5.1 . 5.2 also without navigation target. In particular, the current own lane 5.1 as well as other visible lanes 5.2 Marked in different shades.

Die Spurmarkierung durch die eingeblendeten Balken Z1 bis Z3 eignet sich nicht nur zur Navigation, sondern bietet eine geeignete Basis für eine intuitive Vermittlung zusätzlicher Informationen, etwa durch Färbung oder Animation, um den Fahrer zu unterstützen und Zustände und/oder Hinweise und/oder Informationen von Fahrassistenzsystemen zu visualisieren.The lane marking by the bars Z1 to Z3 displayed is not only suitable for navigation, but also provides a suitable basis for an intuitive transmission of additional information, such as coloring or animation, to assist the driver and states and / or instructions and / or information To visualize driver assistance systems.

Die 2 und 3 zeigen eine Augmentierung der Fahrspuren 5.1, 5.2 durch die Zusatzinformationen Z1 bis Zx in dem digitalen Ausgabebild A und somit im Hintergrund H(A) aus der Vogelperspektive.The 2 and 3 show an augmentation of the lanes 5.1 . 5.2 by the additional information Z1 to Zx in the digital output image A and thus in the background H (A) from a bird's eye view.

Die nachfolgenden 4, 6 bis 8 zeigen die Augmentierung eines vorausliegenden Verkehrsumfeldes aus der Fahrerperspektive in einem virtuellen, realitätsnahen Hintergrund H(A). Dieses Ausführungsbeispiel ist auch für eine Augmentierung des vorausliegenden Verkehrsumfeldes in einem realen Hintergrund H(Br) anwendbar, in welchem lediglich die Zusatzinformationen Z1 bis Zx in den realen Hintergrund H(Br) augmentiert werden.The following 4 . 6 to 8th show the augmentation of an underlying traffic environment from the driver's perspective in a virtual, realistic background H (A). This embodiment is also applicable to an augmentation of the forward traffic environment in a real background H (Br) in which only the additional information Z1 to Zx are augmented into the real background H (Br).

4 zeigt ein weiteres Ausführungsbeispiel der Erfindung. Dabei wird das aufgenommene Bild B in das Ausgabebild A als Hintergrund H(A) derart transferiert, dass in dem Ausgabebild A die Umgebung U, d. h. im aufgenommenen digitalen Bild Bd identifizierte reale Objekte O1 bis Oz, wie Gebäude, Fahrbahnbegrenzungen, entgegenkommendes Fahrzeug F1, unverändert oder verändert, z. B. undurchsichtig oder teildurchsichtig, optisch verfremdet, insbesondere unscharf, weich gezeichnet, ausgegeben werden bzw. wird (in 4, 6 bis 8 – durch gestrichelte Linien dargestellt). 4 shows a further embodiment of the invention. In this case, the recorded image B is transferred to the output image A as a background H (A) such that in the output image A the environment U, ie real objects O1 to Oz identified in the recorded digital image Bd, such as buildings, lane boundaries, oncoming vehicle F1, unchanged or changed, z. B. opaque or partially transparent, visually alienated, especially out of focus, softly drawn, issued or becomes (in 4 . 6 to 8th - shown by dashed lines).

Zur Unterstützung des Betrachters, insbesondere eines Fahrers oder Beifahrers, können zu gewünschten oder relevanten Objekten O1 bis Oz zusätzliche Informationen als virtuelle Zusatzinformationen Z1 bis Zx eingeblendet werden, welche relativ zu dem jeweils zugehörigen Objekt O1 bis Oz positionsgenau/-analog und perspektivisch korrekt, nur positionsgenau/-analog oder nur richtungsgenau/-analog und/oder unabhängig und somit frei vom Hintergrund H(A) (dem Ausgabebild A oder der durchscheinenden Umgebung U) im Ausgabebild A eingeblendet werden.To assist the viewer, in particular a driver or front passenger, additional information can be superimposed on desired or relevant objects O1 to Oz as additional virtual information Z1 to Zx, which relative to the respectively associated object O1 to Oz position-accurate / -analog and perspective correct, only position-accurate / -analog or only directionally accurate / -analog and / or independent and thus freely from the background H (A) (the output image A or the translucent environment U) are displayed in the output image A.

Eine solche Darstellung ermöglicht eine ablenkungsarme, intuitive, einfach zu bedienende und graphisch ansprechende Anzeige 2.Such a representation allows a distraction-poor, intuitive, easy-to-use and graphically appealing display 2 ,

In 4 sind beispielhaft als Objekte O1 bis Oz ein Parkhaus O1, ein abbiegendes Fahrzeug O2, Fahrbahnbegrenzungen O3 im Ausgabebild A dargestellt. Das Ausgabebild A kann eine einzelne momentane Bildausgabe oder eine Abfolge von mehreren momentan aufgenommenen digitalen Bildern Bd in Art einer Videosequenz sein, welche die Umgebung U bei der Fahrt des eigenen Fahrzeugs F entlang der eigenen Fahrspur 5.1 zeigt.In 4 are exemplified as objects O1 to Oz a parking garage O1, a turning vehicle O2, lane boundaries O3 shown in the output image A. The output image A may be a single instantaneous image output or a sequence of a plurality of currently captured digital images Bd in the manner of a video sequence representing the environment U in driving the own vehicle F along its own lane 5.1 shows.

Über diese reale Wiedergabe der Umgebung U im Ausgabebild A kann dieses mit virtuellen Zusatzinformationen Z1 bis Zx überlagert werden. Die in 4 gezeigten Zusatzinformationen Z sind Navigationspfeile Z4 und Z5, welche anhand von Navigationsdaten eines nicht dargestellten Navigationssystems ermittelt und im Ausgabebild A eingeblendet werden. Dabei können die Zusatzinformationen Z4 und Z5 als 2D- und/oder 3D-Darstellungen eingeblendet.This real reproduction of the environment U in the output image A can be superimposed with additional virtual information Z1 to Zx. In the 4 shown additional information Z are navigation arrows Z4 and Z5, which are determined based on navigation data of a navigation system, not shown, and displayed in the output image A. The additional information Z4 and Z5 can be displayed as 2D and / or 3D representations.

Die Fahrbahnhervorhebungen durch Augmentierung anhand von eingeblendeten Zusatzinformationen Z1 bis Zx können dabei in verschiedenen Formen erfolgen, wie in 5 gezeigt:
Die Fahrspur 5.1 ist die eigene reale Fahrspur, auf welcher das eigene Fahrzeug fährt und welche im Hintergrund H(A) virtuell dargestellt wird.
The roadway enhancements by augmentation on the basis of superimposed additional information Z1 to Zx can take place in various forms, as in 5 shown:
The lane 5.1 is the own real lane on which the own vehicle drives and which is shown in the background H (A) virtually.

Die virtuellen Zusatzinformationen Z1 bis Zx können in Form eines Teppichs (= Z8 (6), Z9 (7), Z13 (8)), einer Aneinanderreihung von Pfeilen (= Z4, Z5 (4), Z6, Z7 (6), Z10, Z11 (7)), einem über der Fahrbahn schwebenden Kabels oder dergleichen ausgebildet sein. Zudem kann die Hervorhebung dem Fahrer sowohl für reale Objekte Oz im Ausgabebild A als auch für die virtuellen eingeblendeten Zusatzinformationen Z1 bis Zx angezeigt werden.The additional virtual information Z1 to Zx may be in the form of a carpet (= Z8 ( 6 ), Z9 ( 7 ), Z13 ( 8th )), a sequence of arrows (= Z4, Z5 ( 4 ), Z6, Z7 ( 6 ), Z10, Z11 ( 7 )), a hovering over the roadway cable or the like. In addition, the highlighting can be displayed to the driver both for real objects Oz in the output image A and for the virtual additional information Z1 to Zx displayed.

Auch Sicherheitswarnungen, wie ein vorausliegendes Stauende oder eine Unfallstelle können durch Einblendungen von Zusatzinformationen Z1 bis Zx beispielsweise in Form von virtuellen Straßenverkehrszeichen Z8.1, Z8.2 (6) rechtzeitig vorangekündigt werden, ohne den Fahrer vom Straßenverkehr abzulenken.Safety warnings, such as a jam end or an accident site, can also be displayed by inserting additional information Z1 to Zx, for example in the form of virtual road signs Z8.1, Z8.2 (FIG. 6 ) are pre-announced in good time without distracting the driver from the traffic.

Zusätzlich kann eine Empfehlung für zukünftige Fahrhandlungen visualisiert werden, beispielsweise um die eigene Fahrspur 5.1 zu wechseln. Gründe hierfür können ein liegengebliebenes Fahrzeug sein oder ein Rückstau von Abbiegern auf der eigenen Fahrspur 5.1.In addition, a recommendation for future driving actions can be visualized, for example around one's own lane 5.1 switch. Reasons for this may be a stagnant vehicle or a backwater of turning on their own lane 5.1 ,

Neben der eigenen Fahrspur 5.1 können auch andere Fahrspuren 5.2 mit zusätzlichen Informationen versehen werden. Bei mehrspurigen Straßen kann gekennzeichnet werden, welche Fahrspuren 5.1, 5.2 gerade befahrbar sind und welche zum Gegenverkehr gehören. Weiterhin kann visualisiert werden, ob aktuell auf der eigenen Fahrspur 5.1 überholt werden kann oder nicht. Unterstützt werden kann eine solche Darstellung über eine Hervorhebung der Fahrbahnmarkierungen (= Z5.3 in 3).Next to your own lane 5.1 can also have other lanes 5.2 be provided with additional information. In multi-lane roads can be marked, which lanes 5.1 . 5.2 are just passable and which belong to oncoming traffic. Furthermore, it can be visualized, whether currently on its own lane 5.1 can be overhauled or not. Such a representation can be supported by a highlighting of the lane markings (= Z5.3 in 3 ).

Eine Weiterbildung der Erfindung sieht vor, dass die Hervorhebung der eigenen Fahrspur 5.1 zu Navigationszwecken genutzt werden kann. Besonders in scharfen Kurven 5.3 stößt ein solches Verfahren aber an seine Grenzen, da die Navigationsanweisung implizit ist und erst spät erkannt werden kann.A development of the invention provides that the emphasis on own lane 5.1 can be used for navigation purposes. Especially in sharp turns 5.3 However, such a method reaches its limits since the navigation instruction is implicit and can only be recognized late.

Um diesen Nachteil zu kompensieren, können als Zusatzinformationen Z1 bis Zx virtuelle Leitplanken (nicht näher dargestellt) verwendet werden, deren Opazität in Abhängigkeit der Ausrichtung der Fahrspur 5.1 relativ zum Fahrzeug F geregelt wird. Befindet sich das Fahrzeug F auf einer Geraden, ist keine Einblendung von virtuellen Leitplanken nötig, da eine konventionelle Hervorhebung der eigenen Fahrspur 5.1 ausreicht. Aber je stärker die Richtung der vorausliegenden eigenen Fahrspur 5.1 von der aktuellen Fahrrichtung des eigenen Fahrzeugs F abweicht, desto opaker wird die Leitplanke, um den Fahrer auf die kommende Kurve 5.3 vorzubereiten.To compensate for this disadvantage, virtual guardrails (not shown in detail) can be used as additional information Z1 to Zx whose opacity depends on the orientation of the traffic lane 5.1 is regulated relative to the vehicle F. If the vehicle F is on a straight line, it is not necessary to insert virtual crash barriers, since conventional highlighting of one's own lane 5.1 sufficient. But the stronger the direction of the leading own lane 5.1 deviates from the current direction of travel of your own vehicle F, the more opaque the guard rail will be to the driver on the upcoming corner 5.3 prepare.

Gleichfalls kann die Darstellung der Zusatzinformation in Abhängigkeit der Genauigkeit einer Poseschätzung erfolgen. Beispielsweise kann die Darstellung einer Zusatzinformation mit zunehmender Ungenauigkeit einer Poseschätzung transparenter erscheinen. Ebenso kann bei zunehmender Ungenauigkeit einer Poseschätzung eine andere Form der Visualisierung von Zusatzinformation erfolgen. Beispielsweise können bei ungenauer Poseschätzung Navigationshinweise dargestellt werden die keine spurgenaue Positionierung erfordern, beispielsweise herkömmliche Navigationspfeile.Likewise, the representation of the additional information in dependence on the accuracy of a Poseschätzung done. For example, the presentation of additional information may appear more transparent with increasing inaccuracy of a position estimate. Likewise, with increasing inaccuracy of a Poseschätzung another form of visualization of additional information can be done. For example, in the case of inaccurate position estimation, navigation instructions can be displayed that do not require precise positioning, for example conventional navigation arrows.

6 bis 8 zeigen weitere Ausführungsformen der Erfindung. 6 to 8th show further embodiments of the invention.

So ist ferner vorgesehen, wie in 6 gezeigt, dass bei einem Heranfahren an eine unübersichtliche Kreuzung oder einen Kreisverkehr mit mehreren Fahrspuren 5.1, 5.2, 5.4, 5.5 und zusätzlicher Fahrbahn 6 für andere Verkehrsteilnehmer, z. B. eine Straßenbahn, dem insbesondere ortsunkundigen Fahrer durch Einblendungen von Zusatzinformationen Z6 bis Z8.2, in Form von Pfeilen Z6, Z7, Fahrteppich Z8 und Verkehrszeichen Z8.1, Z8.2 eine Orientierung gegeben wird.Thus, it is further provided, as in 6 shown that when approaching a confusing intersection or a roundabout with multiple lanes 5.1 . 5.2 . 5.4 . 5.5 and additional carriageway 6 for other road users, eg. B. a tram, in particular the location-unaware driver by inserting additional information Z6 to Z8.2, in the form of arrows Z6, Z7, carpet Z8 and traffic signs Z8.1, Z8.2 orientation is given.

Insbesondere werden Zusatzinformationen Z6 bis Z8.2 auch dann eingeblendet, wenn keine aktive Routenführung und entsprechende Empfehlungen für eine optimale Streckenwahl angezeigt werden. Somit ermöglicht die Erfindung mit oder ohne Routenführung, eine aktive Führung des eigenen Fahrzeugs F durch augmentierte Hinweise auf etwaige Fahrverbote und auf erlaubte und verbotene Fahrspuren 5.1 bis 5.4 zu unterstützen.In particular, additional information Z6 to Z8.2 are also displayed if no active route guidance and corresponding recommendations for optimal route selection are displayed. Thus, with or without route guidance, the invention enables an active guidance of the own vehicle F by augmented indications of possible driving restrictions and on permitted and prohibited lanes 5.1 to 5.4 to support.

Die Erfindung gibt dem Fahrer somit auch ohne aktive Routenführung in Kreuzungen, Kreisverkehren, Plätzen oder anderen Abbiegesituationen mittels richtungs- oder kontaktanaloger Augmentierung von Zusatzinformationen Z6 und Z7 Empfehlungen für Fahrspuren 5.4 und 5.5, in welche er einfahren darf. Analog dazu werden als Zusatzinformationen Z8.1, Z8.2 Verbotshinweise bei Fahrspuren 5.2 und Fahrbahn 6, in welche der Fahrer nicht einfahren darf, beispielsweise weil es sich um eine Gegenfahrbahn oder um eine Fahrbahn anderer Verkehrsteilnehmer handelt, augmentiert dargestellt. Die Ausgestaltung der Augmentierung kann sich dabei, je nachdem, ob es sich um eine Empfehlung oder ein Verbot handelt, unterscheiden, beispielsweise in der Form- und/oder Farbgebung. Zusätzlich können entsprechende Symbole wie z. B. Warnhinweise eingeblendet werden, wie in 6 beispielhaft dargestellt.The invention thus also gives the driver recommendations for lanes without active route guidance in intersections, roundabouts, squares or other turning situations by means of directional or contact-analogous augmentation of additional information Z6 and Z7 5.4 and 5.5 into which he may enter. Similarly, as additional information Z8.1, Z8.2 prohibition notices for lanes 5.2 and roadway 6 in which the driver may not enter, for example, because it is an oncoming lane or to a lane of other road users, shown augmented. The design of the augmentation may differ, depending on whether it is a recommendation or a ban, for example in the form and / or coloring. In addition, corresponding symbols such. B. warnings are displayed as in 6 exemplified.

In einer weiteren Ausgestaltung der Erfindung wird der Fahrer bei Abbiegemanövern über eine Gegenfahrbahn durch entsprechend augmentierte Hinweise Z9 bis Z13 eines augmentierten Abbiegeassistent (= Abbiegeassistenzfunktion der Verarbeitungseinheit 4) unterstützt, wie in 7 und 8 gezeigt.In a further embodiment of the invention, the driver is in turning maneuvers on an oncoming lane by appropriately augmented notes Z9 to Z13 of an augmented turn assistant (= Abbaee assistance function of the processing unit 4 ), as in 7 and 8th shown.

Das Vorhaben des Fahrers für ein solches Abbiegemanöver oder zumindest die Wahrscheinlichkeit wird beispielsweise dadurch erkannt, dass der Fahrer beginnt, innerhalb seiner aktuellen Fahrspur 5.1 ohne unmittelbare sonstige Notwendigkeit abzubremsen und/oder sich an der dem Gegenverkehr zugeordneten Seite seiner Fahrspur 5.1 einzuordnen beginnt (also z. B. in Deutschland der linke Rand der rechten Fahrspur) und/oder beginnt, in Fahrtrichtung der Gegenfahrbahn zu blinken.The driver's intention for such a turning maneuver, or at least the likelihood, is recognized, for example, by the driver starting within his current lane 5.1 without any further immediate need to brake and / or on the side of its traffic lane allocated to oncoming traffic 5.1 begin to classify (ie, for example, in Germany, the left edge of the right lane) and / or begins to blink in the direction of travel of the opposite lane.

Eine weitere einfache Möglichkeit, zu erkennen, dass ein solches Abbiegemanöver bevorsteht, basiert auf der aktiven Routenführung. Sobald das Fahrzeug F sich der Abbiegesituation nähert, kann hier bereits mit einer bestimmten Vorlaufzeit der Abbiegeassistent aktiviert oder zumindest „scharfgeschaltet” werden.Another easy way to detect that such a turn is imminent is based on active route guidance. As soon as the vehicle F approaches the turn-off situation, the turn-off assistant can already be activated or at least "armed" with a certain lead time.

Sobald der Abbiegeassistent mit einer bestimmten Wahrscheinlichkeit erkannt hat, dass ein Abbiegemanöver über die Gegenfahrbahn bevorsteht, wird die Verkehrssituation hinsichtlich des abbiegebedingten Gefahrenpotentials bewertet und dem Fahrer augmentiert dargestellt.As soon as the turn assistant has recognized with a certain probability that a turn maneuver is imminent via the oncoming lane, the traffic situation with regard to the turn-related hazard potential is evaluated and displayed augmented to the driver.

Falls z. B. das Abbiegemanöver durch nahenden Gegenverkehr gefährdet sein sollte, kann dementsprechend vor dieser Gefahr durch Einblendung einer Zusatzinformation Z12.1 gewarnt werden. Auch kann beispielsweise die angenommene Trajektorie des eigenen Fahrzeugs F augmentiert dargestellt werden, z. B. durch eine transparente oder opake Überlagerung/Einblendung der Zusatzinformationen Z9, Z10 und Z13, die perspektivisch korrekt auf der betreffenden Fahrspuroberfläche liegen, wie in 7 und 8 dargestellt.If z. B. the turning maneuver should be endangered by approaching oncoming traffic, can be warned accordingly against this danger by inserting additional information Z12.1. Also, for example, the assumed trajectory of the own vehicle F can be displayed augmented, z. B. by a transparent or opaque superimposition / display of the additional information Z9, Z10 and Z13, which are in perspective correctly on the lane surface in question, as in 7 and 8th shown.

Sobald ein entgegenkommendes Fahrzeug F1 oder ein anderes Hindernis den virtuellen Ort der Einblendungen einnehmen, kann zusätzlich mittels Verdeckungsrechnung der Transparenzgrad der Einblendung erhöht werden, um eine perspektivisch korrekte Darstellungsform zu unterstützen, wie in 7 beispielhaft gezeigt.In addition, as soon as an oncoming vehicle F1 or another obstacle occupies the virtual location of the overlays, the degree of transparency of the overlay can be increased by means of concealment, in order to support a perspectively correct display form, as in FIG 7 shown by way of example.

Zusätzlich können verschiedene Symbole eingeblendet werden wie z. B. Warnhinweise (= Z11 (Gegenverkehr), Z12.1 (Verkehrshinweis) oder eine virtuelle Stopplinie (= Z12), hinter der gerade noch keine Gefahr durch den Gegenverkehr besteht, siehe 7. Darüber hinaus können auch entgegenkommende Fahrzeuge F1 markiert und mit augmentierten Warnhinweisen versehen werden.In addition, various symbols can be displayed such. For example, warnings (= Z11 (oncoming traffic), Z12.1 (traffic information) or a virtual stop line (= Z12) behind which there is currently no danger from oncoming traffic, see 7 , In addition, oncoming vehicles F1 can be marked and provided with augmented warnings.

Sobald ein gefahrloses Abbiegen nach Einschätzung des Abbiegeassistenten möglich ist, beispielsweise sobald kein Gegenverkehr mehr vorhanden ist, verschwinden die Warnhinweise. Anschließend können verschiedene Symbole als Zusatzinformation Z10 eingeblendet werden, die dem Fahrer ein gefahrloses Abbiegen illustrieren.As soon as a safe turning off is possible according to the turn-off assistant, for example when there is no oncoming traffic, the warnings disappear. Subsequently, various symbols can be displayed as additional information Z10, which illustrate the driver a safe turn.

Ebenso kann die Ausgestaltung der augmentierten Fahrtrajektorie variiert werden, z. B. kann die Trajektorie bei Gefahr rot (7) und ohne Gefahr grün (8) eingefärbt werden.Likewise, the configuration of the augmented driving trajectory can be varied, for. For example, the trajectory may be red ( 7 ) and without danger green ( 8th ) are dyed.

In einer weiteren Ausprägung der Erfindung können generell Fahrbahnen 6 augmentiert hervorgehoben werden, die bestimmten Verkehrsteilnehmern vorbehalten sind, z. B.:

  • – dem öffentlichen Nahverkehr, wie Bus, Straßenbahn;
  • – Rad- und Fußwege;
  • – Rad- und Fußgängerüberwege, Zebrastreifen, Rad- und Fußgängerampeln;
  • – Notfahrspuren (Emergency Lanes);
  • – Fahrgemeinschaftsspuren mit Mindestbesetzungen an Mitfahrern (HOV Lanes).
In a further embodiment of the invention can generally lanes 6 be highlighted, which are reserved for certain road users, eg B .:
  • - public transport, such as bus, tram;
  • - cycling and walking paths;
  • - bicycle and pedestrian crossings, zebra crossings, bicycle and pedestrian traffic lights;
  • - emergency lanes;
  • - Car pool lanes with minimum number of occupants (HOV lanes).

Besonders in Abbiegesituationen können derartige Fahrspuren 5.1 bis 5.4, Fahrbahnen 5, 6 oder Überwege gesondert augmentiert werden, um den Fahrer auf eine besondere Beachtung und Aufmerksamkeit hinzuweisen.Especially in turning situations such lanes 5.1 to 5.4 , Roadways 5 . 6 or to be separately augmented to alert the driver to special attention and attention.

In diesem Zusammenhang ist auch eine augmentierte Hinweisgebung möglich, beispielsweise kann der Fahrer in Abbiegesituationen generell durch eine augmentierte Visualisierung darauf hingewiesen werden, dass in der vorliegenden Abbiegesituation besonders auf Fußgänger und/oder Radfahrer, beispielsweise besonders seitlich neben dem eigenen Fahrzeug F, geachtet werden sollte.In this context, an augmented hinting is possible, for example, the driver in turn situations generally by an augmented visualization to be noted that in the present turn situation especially on pedestrians and / or cyclists, for example, especially laterally next to the own vehicle F, should be respected ,

In einer weiteren Ausprägung kann eine augmentierte Warnung erfolgen, sobald in einer Abbiegesituation beispielsweise seitlich neben dem eigenen Fahrzeug F Fußgänger und/oder Radfahrer detektiert werden. Zur Detektierung selbst können verschiedene Sensoriken wie z. B. Radar, Lidar, Ultraschall oder auch entsprechende Kameras unter Zuhilfenahme von Algorithmen der Bilderkennung verwendet werden.In a further embodiment, an augmented warning can take place as soon as, for example, pedestrians and / or cyclists are detected in a turning situation laterally next to their own vehicle F. To detect itself, various sensors such. As radar, lidar, ultrasound or even corresponding cameras with the aid of algorithms of image recognition can be used.

BezugszeichenlisteLIST OF REFERENCE NUMBERS

11
Vorrichtungcontraption
22
Ausgabeeinheit (Anzeige)Output unit (display)
33
Aufnahmeeinheitrecording unit
44
Verarbeitungseinheitprocessing unit
55
Fahrbahnroadway
5, 5.1 bis 5.55, 5.1 to 5.5
Fahrspurlane
66
Fahrbahnroadway
A, AnA, to
Ausgabebildoutput image
Bdbd
digitales Bilddigital picture
Brbr
reales Bildreal picture
FF
eigenes FahrzeugOwn vehicle
F2F2
entgegenkommendes Fahrzeugoncoming vehicle
H(Br), H(A)H (Br), H (A)
Hintergrundbackground
O1 bis OzO1 to Oz
Objektobject
UU
UmgebungSurroundings
VV
Vorausfahrendes FahrzeugPreceding vehicle
Z1 bis ZxZ1 to Zx
ZusatzinformationenFurther information

ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION

Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.

Zitierte PatentliteraturCited patent literature

  • DE 102011115739 A1 [0003] DE 102011115739 A1 [0003]

Claims (8)

Verfahren zur augmentierten Darstellung mindestens einer Zusatzinformation (Z1 bis Zx) in mindestens einem Bild (Br, Bd) einer Umgebung (U), insbesondere einer Fahrzeugumgebung, dadurch gekennzeichnet, dass das Bild (Br, Bd) einen Hintergrund (H(Br), H(A)) einer Anzeige (2) bildet, wobei die Zusatzinformation (Z1 bis Zx) in Abhängigkeit von mindestens einer momentanen Fahr- und/oder Umgebungssituation farblich geändert und/oder animiert im im Hintergrund (H(Br), H(A)) überlagert ausgegeben wird.Method for augmented presentation of at least one additional information (Z1 to Zx) in at least one image (Br, Bd) of an environment (U), in particular a vehicle environment, characterized in that the image (Br, Bd) has a background (H (Br), H (A)) of an ad ( 2 ), wherein the additional information (Z1 to Zx) depending on at least one current driving and / or surrounding situation changed color and / or animated in the background (H (Br), H (A)) is superimposed output. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass als Zusatzinformation (Z1 bis Zx) mindestens eine virtuelle Fahrspur (Z1 bis Z5) und/oder eine virtuelle Fahrbahn in den Hintergrund (H(Br), H(A)) eingeblendet wird.A method according to claim 1, characterized in that as additional information (Z1 to Zx) at least one virtual lane (Z1 to Z5) and / or a virtual roadway in the background (H (Br), H (A)) is displayed. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Zusatzinformation (Z1 bis Zx) in Abhängigkeit von einer momentanen angezeigten Fahrberechtigungserlaubnis einer Lichtsignalanlage im Hintergrund (H(Br), H(A)) überlagert ausgegeben wird.Method according to Claim 1 or 2, characterized in that the additional information (Z1 to Zx) is output in the background (H (Br), H (A)) in the background as a function of a currently displayed driving authorization permission. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Zusatzinformation (Z1 bis Zx) in Abhängigkeit von einer Fahrzeuggeschwindigkeit farblich geändert ausgegeben wird, insbesondere bei Überschreiten einer maximal zulässigen Fahrzeuggeschwindigkeit.Method according to one of the preceding claims, characterized in that the additional information (Z1 to Zx) is output in color as a function of a vehicle speed, in particular when a maximum permissible vehicle speed is exceeded. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass als Zusatzinformationen (Z1 bis Zx) Warnhinweise zu einem sich annähernden Kollisionsobjekt, zur Befahrbarkeit benachbarter und/oder entgegenkommender Fahrspuren (5.2 bis 5.4) und/oder zu einem vorausliegenden Abbiegevorgang und/oder einem Fahrbahnwechsel ausgegeben werden.Method according to one of the preceding claims, characterized in that as additional information (Z1 to Zx) warnings to an approaching collision object, the trafficability of adjacent and / or oncoming lanes ( 5.2 to 5.4 ) and / or output to a forward turn and / or a lane change. Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass als Zusatzinformationen (Z1 bis Zx) Fahrhinweise zum ökologischen Fahren ausgegeben werden.Method according to one of the preceding claims, characterized in that driving information for ecological driving is output as additional information (Z1 to Zx). Verfahren nach einem der vorhergehenden Ansprüche, dadurch gekennzeichnet, dass die Zusatzinformation (Z1 bis Zx) positionsabhängig unterschiedlich bearbeitet wird, so dass die Zusatzinformation (Z1 bis Zx) im Hintergrund (H(Br), H(A)) hinsichtlich mindestens einer Bildeigenschaft verändert ausgegeben wird.Method according to one of the preceding claims, characterized in that the additional information (Z1 to Zx) is processed differently depending on position, so that the additional information (Z1 to Zx) changes in the background (H (Br), H (A)) with regard to at least one image property is issued. Vorrichtung (1) zur Durchführung eines Verfahrens nach einem der Ansprüche 1 bis 7, umfassend: – mindestens eine Aufnahmeeinheit (3) zur Aufnahme und Erfassung eines Bildes (Br, Bd) einer Umgebung (U) eines vorausliegenden Verkehrsumfeldes, wobei das Bild (Br, Bd) einen Hintergrund (H(Br), H(A)) einer Anzeige bildet, – mindestens eine Verarbeitungseinheit (4) zur grafischen Verarbeitung eines aufgenommenen digitalen Bildes (Bd) und Transformation des digitalen Bildes (Bd) in ein Ausgabebild (A) sowie zur Erzeugung und Überlagerung mindestens einer Zusatzinformation (Z1 bis Zx) in den Hintergrund (H(Br), H(A)) und – mindestens eine Ausgabeeinheit (2) zur Ausgabe der Zusatzinformation (Z1 bis Zx) in dem Hintergrund (H(Br), H(A)).Contraption ( 1 ) for carrying out a method according to one of claims 1 to 7, comprising: - at least one receiving unit ( 3 ) for capturing and capturing an image (Br, Bd) of an environment (U) of a traffic environment ahead, the image (Br, Bd) forming a background (H (Br), H (A)) of a display, - at least one processing unit ( 4 ) for the graphic processing of a recorded digital image (Bd) and transformation of the digital image (Bd) into an output image (A) and for generating and superimposing at least one additional information (Z1 to Zx) in the background (H (Br), H (A )) and - at least one output unit ( 2 ) for outputting the additional information (Z1 to Zx) in the background (H (Br), H (A)).
DE201310016251 2013-10-01 2013-10-01 Method for augmented representation of additional information in image in e.g. vehicle environment, involves changing additional information in dependence on current driving and surrounding situation Withdrawn DE102013016251A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE201310016251 DE102013016251A1 (en) 2013-10-01 2013-10-01 Method for augmented representation of additional information in image in e.g. vehicle environment, involves changing additional information in dependence on current driving and surrounding situation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
DE201310016251 DE102013016251A1 (en) 2013-10-01 2013-10-01 Method for augmented representation of additional information in image in e.g. vehicle environment, involves changing additional information in dependence on current driving and surrounding situation

Publications (1)

Publication Number Publication Date
DE102013016251A1 true DE102013016251A1 (en) 2014-06-26

Family

ID=50878770

Family Applications (1)

Application Number Title Priority Date Filing Date
DE201310016251 Withdrawn DE102013016251A1 (en) 2013-10-01 2013-10-01 Method for augmented representation of additional information in image in e.g. vehicle environment, involves changing additional information in dependence on current driving and surrounding situation

Country Status (1)

Country Link
DE (1) DE102013016251A1 (en)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015006640A1 (en) 2015-05-22 2016-03-10 Daimler Ag Presentation of augmented navigation elements by a head-up display system
DE102016003019A1 (en) * 2016-03-12 2017-09-14 Audi Ag Display system for a motor vehicle and method for operating a display system of a motor vehicle
DE102016220647A1 (en) 2016-10-20 2018-04-26 Audi Ag A method of presenting at least one supplementary difference lane equipment
WO2019011812A1 (en) * 2017-07-10 2019-01-17 Audi Ag Method for operating an output device of a motor vehicle, driver assistance device, and motor vehicle
DE102017217852A1 (en) * 2017-10-06 2019-04-11 Bayerische Motoren Werke Aktiengesellschaft Optical-acoustic assistance when turning
DE102018201769A1 (en) 2018-02-06 2019-08-08 Volkswagen Aktiengesellschaft A method, apparatus and computer readable storage medium having instructions for controlling a display of an augmented reality head-up display device for a motor vehicle
WO2019166222A1 (en) * 2018-03-02 2019-09-06 Volkswagen Aktiengesellschaft Method for calculating an ar-overlay of additional information for a display on a display unit, device for carrying out the method, as well as motor vehicle and computer program
DE102018116067A1 (en) * 2018-07-03 2020-01-09 Deutsches Zentrum für Luft- und Raumfahrt e.V. Procedure for supporting a vehicle driver as well as assistance device, vehicle, computer program and system therefor
DE102020200902A1 (en) 2020-01-27 2021-07-29 Volkswagen Aktiengesellschaft Method and device for displaying additional information in the field of vision of the driver of a vehicle and vehicle
DE102021202246A1 (en) 2021-03-09 2022-09-15 Volkswagen Aktiengesellschaft Improved visualization with an AR HUD
DE102021211942A1 (en) 2021-10-22 2023-04-27 Volkswagen Aktiengesellschaft Method for operating a control device for a motor vehicle, control device and motor vehicle
US11731509B2 (en) 2017-11-30 2023-08-22 Volkswagen Aktiengesellschaft Method for displaying the course of a trajectory in front of a transportation vehicle or an object by a display unit, and device for carrying out the method
WO2023165775A1 (en) * 2022-03-04 2023-09-07 Audi Ag Method for representing surroundings of a vehicle
WO2023198366A1 (en) * 2022-04-13 2023-10-19 Bayerische Motoren Werke Aktiengesellschaft Method for displaying prepared route data in an animated manner by means of a head-up display, computing device, computer-readable (storage) medium, assistance system for a vehicle

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011115739A1 (en) 2011-10-11 2013-04-11 Daimler Ag Method for integrating virtual objects in vehicle displays

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102011115739A1 (en) 2011-10-11 2013-04-11 Daimler Ag Method for integrating virtual objects in vehicle displays

Cited By (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102015006640A1 (en) 2015-05-22 2016-03-10 Daimler Ag Presentation of augmented navigation elements by a head-up display system
DE102016003019A1 (en) * 2016-03-12 2017-09-14 Audi Ag Display system for a motor vehicle and method for operating a display system of a motor vehicle
DE102016220647A1 (en) 2016-10-20 2018-04-26 Audi Ag A method of presenting at least one supplementary difference lane equipment
WO2019011812A1 (en) * 2017-07-10 2019-01-17 Audi Ag Method for operating an output device of a motor vehicle, driver assistance device, and motor vehicle
DE102017217852A1 (en) * 2017-10-06 2019-04-11 Bayerische Motoren Werke Aktiengesellschaft Optical-acoustic assistance when turning
US11731509B2 (en) 2017-11-30 2023-08-22 Volkswagen Aktiengesellschaft Method for displaying the course of a trajectory in front of a transportation vehicle or an object by a display unit, and device for carrying out the method
DE102018201769B4 (en) 2018-02-06 2023-08-24 Volkswagen Aktiengesellschaft Method, device and computer-readable storage medium with instructions for controlling a display of an augmented reality head-up display device for a motor vehicle and motor vehicle
WO2019154673A1 (en) 2018-02-06 2019-08-15 Volkswagen Aktiengesellschaft Method, device and computer-readable storage medium with instructions for controlling a display of an augmented-reality head-up display device for a motor vehicle
DE102018201769A1 (en) 2018-02-06 2019-08-08 Volkswagen Aktiengesellschaft A method, apparatus and computer readable storage medium having instructions for controlling a display of an augmented reality head-up display device for a motor vehicle
US11904688B2 (en) 2018-03-02 2024-02-20 Volkswagen Aktiengesellschaft Method for calculating an AR-overlay of additional information for a display on a display unit, device for carrying out the method, as well as motor vehicle and computer program
CN111937044A (en) * 2018-03-02 2020-11-13 大众汽车股份公司 Method for calculating an AR fade-in for additional information for display on a display unit, device for carrying out the method, motor vehicle and computer program
CN111937044B (en) * 2018-03-02 2024-10-15 大众汽车股份公司 Method for calculating AR fades into additional information for display on a display unit, device for carrying out said method, motor vehicle and computer program
WO2019166222A1 (en) * 2018-03-02 2019-09-06 Volkswagen Aktiengesellschaft Method for calculating an ar-overlay of additional information for a display on a display unit, device for carrying out the method, as well as motor vehicle and computer program
DE102018116067A1 (en) * 2018-07-03 2020-01-09 Deutsches Zentrum für Luft- und Raumfahrt e.V. Procedure for supporting a vehicle driver as well as assistance device, vehicle, computer program and system therefor
DE102020200902A1 (en) 2020-01-27 2021-07-29 Volkswagen Aktiengesellschaft Method and device for displaying additional information in the field of vision of the driver of a vehicle and vehicle
DE102021202246A1 (en) 2021-03-09 2022-09-15 Volkswagen Aktiengesellschaft Improved visualization with an AR HUD
DE102021202246B4 (en) 2021-03-09 2024-08-08 Volkswagen Aktiengesellschaft Improved visualization with an AR HUD
WO2023066647A1 (en) 2021-10-22 2023-04-27 Volkswagen Aktiengesellschaft Method for operating a control device for a motor vehicle, control device, and motor vehicle
DE102021211942A1 (en) 2021-10-22 2023-04-27 Volkswagen Aktiengesellschaft Method for operating a control device for a motor vehicle, control device and motor vehicle
WO2023165775A1 (en) * 2022-03-04 2023-09-07 Audi Ag Method for representing surroundings of a vehicle
WO2023198366A1 (en) * 2022-04-13 2023-10-19 Bayerische Motoren Werke Aktiengesellschaft Method for displaying prepared route data in an animated manner by means of a head-up display, computing device, computer-readable (storage) medium, assistance system for a vehicle

Similar Documents

Publication Publication Date Title
DE102013016251A1 (en) Method for augmented representation of additional information in image in e.g. vehicle environment, involves changing additional information in dependence on current driving and surrounding situation
EP3426535B1 (en) Method for operating a driver assistance system, and driver assistance system
EP3055650B1 (en) Method and device for augmented display
EP3543059B1 (en) Method for calculating the insertion of additional information for display on a display unit, device for carrying out the method, motor vehicle and computer program
EP1405124B1 (en) Head-up display system and method for projecting a marking of a road sign with regard to the viewing direction of the driver
DE112015006458B4 (en) Display control device, display system, display control method and display control program
EP1916154B1 (en) Method for displaying information
EP3765324B1 (en) Method, device and computer-readable storage medium with instructions for controlling a display of an augmented reality display device for a motor vehicle
DE102015006612B4 (en) Method for operating data glasses in a motor vehicle and system with data glasses
WO2019170387A1 (en) Overlaying additional information on a display unit
EP1995116B1 (en) Display device for assisting the driver of an automobile
DE102013016242A1 (en) Method and device for supporting at least one driver assistance system
EP1916153A2 (en) Method for displaying information
DE102018203121B4 (en) Method for calculating an AR overlay of additional information for a display on a display unit, device for carrying out the method, motor vehicle and computer program
DE10245334A1 (en) navigation device
WO2015000882A1 (en) Assistance system and assistance method for support when controlling a motor vehicle
DE102008028374A1 (en) Method for combined output of an image and local information, and motor vehicle therefor
DE102014208310A1 (en) Driver assistance system for displaying an augmented reality
DE102012220100A1 (en) Method for displaying driver formation on head-up display for vehicle, involves selecting display levels of head-up display, and outputting display levels as display icon to represent driver information on head-up display
DE102010003851A1 (en) Destination marking method for motor vehicle driver, involves determining position of destination relative to vehicle, and embedding virtual object in real vehicle environment that is visible to vehicle occupant on head-up display
DE102011082609A1 (en) Method for marking e.g. building for driver of vehicle e.g. passenger car, involves generating display signal for displaying mark in display mode as contact analog virtual representation related to position
DE102013016249A1 (en) Method for displaying navigation instructions on display of navigation system, involves determining representation of image of background of display and determining degradation stage based on additional information
DE102012210375B4 (en) Method and device for operating a head-up display for a vehicle
DE102015007131B4 (en) A method of operating a display system and display system
DE102017205935A1 (en) Method for operating a display device

Legal Events

Date Code Title Description
R230 Request for early publication
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee