DE102013016251A1 - Method for augmented representation of additional information in image in e.g. vehicle environment, involves changing additional information in dependence on current driving and surrounding situation - Google Patents
Method for augmented representation of additional information in image in e.g. vehicle environment, involves changing additional information in dependence on current driving and surrounding situation Download PDFInfo
- Publication number
- DE102013016251A1 DE102013016251A1 DE201310016251 DE102013016251A DE102013016251A1 DE 102013016251 A1 DE102013016251 A1 DE 102013016251A1 DE 201310016251 DE201310016251 DE 201310016251 DE 102013016251 A DE102013016251 A DE 102013016251A DE 102013016251 A1 DE102013016251 A1 DE 102013016251A1
- Authority
- DE
- Germany
- Prior art keywords
- additional information
- image
- background
- output
- environment
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3626—Details of the output of route guidance instructions
- G01C21/3647—Guidance involving output of stored or live camera images or video streams
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
- G08G1/0969—Systems involving transmission of navigation instructions to the vehicle having a display in the form of a map
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Architecture (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
Die Erfindung betrifft ein Verfahren zur augmentierten Darstellung mindestens einer Zusatzinformation in mindestens einem Bild einer Umgebung, insbesondere einer Fahrzeugumgebung. Des Weiteren betrifft die Erfindung eine Vorrichtung zur Durchführung des Verfahrens.The invention relates to a method for augmented presentation of at least one additional information in at least one image of an environment, in particular a vehicle environment. Furthermore, the invention relates to a device for carrying out the method.
Vorrichtungen für eine augmentierte Darstellung bringen eine erzeugte Zusatzinformation in Überlagerung mit einer aufgenommenen und wahrnehmbaren Umgebung. Dabei werden die Zusatzinformationen lagerichtig in den Umgebungsbildern dargestellt, wobei die Umgebungsbilder im Hintergrund ausgegeben werden. Solche Vorrichtungen sind beispielsweise teildurchsichtige Anzeigeeinheiten, wie eine HUP-Anzeigeeinheit (HUP = Head-Up-Display), eine HMD-Anzeigeeinheit (HMD = Head Mounted Display), oder undurchsichtige Anzeigeeinheiten, zum Beispiel ein herkömmlicher Bildschirm.Devices for augmented presentation superimpose generated additional information with a recorded and perceptible environment. The additional information is displayed in the correct position in the surrounding images, whereby the surrounding images are output in the background. Such devices are, for example, partially transparent display units, such as a HUP display unit (HUP), an HMD display unit (HMD = Head Mounted Display), or opaque display units, for example a conventional screen.
Eine solche Vorrichtung zur augmentierten Darstellung ist beispielsweise aus der
Der Erfindung liegt die Aufgabe zu Grunde, ein verbessertes Verfahren und eine verbesserte Vorrichtung zur augmentierten Darstellung von mindestens einer Zusatzinformation anzugeben.The invention is based on the object to provide an improved method and an improved device for augmented presentation of at least one additional information.
Hinsichtlich des Verfahrens wird die Aufgabe erfindungsgemäß gelöst durch die Merkmale des Anspruchs 1. Hinsichtlich der Vorrichtung wird die Aufgabe erfindungsgemäß gelöst durch die Merkmale des Anspruchs B.With regard to the method, the object is achieved by the features of
Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.Advantageous embodiments of the invention are the subject of the dependent claims.
Beim erfindungsgemäßen Verfahren zur augmentierten Darstellung mindestens einer Zusatzinformation in mindestens einem Bild einer Umgebung, insbesondere einer Fahrzeugumgebung eines Fahrzeugs, bildet das Bild einen Hintergrund einer Anzeige, wobei die Zusatzinformation in Abhängigkeit von mindestens einer momentanen Fahr- und/oder Umgebungssituation farblich geändert und/oder animiert im Hintergrund überlagert ausgegeben wird.In the method according to the invention for augmented presentation of at least one additional information in at least one image of an environment, in particular a vehicle environment of a vehicle, the image forms a background of a display, the additional information being changed in color as a function of at least one momentary driving and / or surrounding situation and / or animated in the background is superimposed output.
Mit anderen Worten: Die Einblendung oder Überlagerung der Zusatzinformation wird situationsabhängig in mindestens einer Eigenschaft und/oder einem Parameter, wie der Farbe, Größe, Form und/oder Position geändert und ausgegeben. Eine solche situationsabhängige Bearbeitung und Einblendung der Zusatzinformation in das Ausgabebild ermöglicht dem Betrachter, eine sich verändernde Situation klar und intuitiv wahrzunehmen.In other words, the insertion or superposition of the additional information is changed and output depending on the situation in at least one property and / or a parameter, such as the color, size, shape and / or position. Such situation-dependent processing and display of additional information in the output image allows the viewer to perceive a changing situation clearly and intuitively.
Eine Ausführungsform der Erfindung sieht vor, dass als Zusatzinformation eine virtuelle Fahrspur in den Hintergrund und somit in das vorausliegende Verkehrsumfeld eingeblendet wird.An embodiment of the invention provides that a virtual lane is superimposed in the background and thus in the traffic environment ahead as additional information.
Die Erfindung ist anwendbar im Fahrzeug zur Erfassung und Darstellung einer Fahrzeugumgebung. Darüber hinaus ist die Erfindung auch für mobile Geräte, wie einem Mobiltelefon, eine Datenbrille, und/oder für virtuelle Anzeigen, wie einem Projektionsbildschirm und für weitere Zwecke, wie Werbung, Fußgängernavigation oder für Anzeigen in Transportmitteln, wie Bus, Bahn, Flugzeug und Schiff, anwendbar. Dabei erfolgt eine Anpassung der überlagernden Zusatzinformationen ereignis- und/oder situationsabhängig.The invention is applicable in the vehicle for detecting and displaying a vehicle environment. Moreover, the invention is also applicable to mobile devices, such as a mobile phone, smart glasses, and / or for virtual displays, such as a projection screen and for other purposes, such as advertising, pedestrian navigation or for displays in means of transport, such as bus, train, plane and ship , applicable. In this case, the overlaying additional information is adapted to the event and / or situation.
Eine mögliche Ausführungsform sieht vor, dass die Zusatzinformation in Abhängigkeit vom Hintergrund lagerichtig positioniert im Hintergrund ausgegeben wird. Hierbei wird die Zusatzinformation erkennungsoptimiert einem zugehörigen Hintergrundbereich und/oder einem realen Objekt im Hintergrund zugeordnet und entsprechend nah an diesen zugehörigen Hintergrundbereich bzw. an dieses reale Objekt zu dessen näheren Spezifizierung positioniert im Hintergrund dargestellt. Dies stellt eine positionsgenaue und/oder richtungsgenaue Darstellung der aufgenommenen Umgebung und eine intuitiv erfassbare Informationsvermittlung zu den in der Umgebung liegenden Objekten dar.A possible embodiment provides that the additional information is output in the background in the correct position as a function of the background. In this case, the additional information is assigned to an associated background area and / or a real object in the background in a manner optimized for the purpose of identification, and positioned in the background correspondingly close to this associated background area or to this real object for its closer specification. This represents a position-accurate and / or directionally accurate representation of the recorded environment and an intuitively detectable information transfer to the surrounding objects.
Hinsichtlich der Vorrichtung zur Durchführung eines Verfahrens umfasst diese mindestens eine Aufnahmeeinheit zur Aufnahme oder Erfassung eines Bildes einer Umgebung, wobei das Bild einen Hintergrund einer Anzeige bildet, mindestens eine Verarbeitungseinheit zur grafischen Verarbeitung eines aufgenommenen digitalen Bildes und Transformation des digitalen Bildes in ein Ausgabebild sowie zur Erzeugung und Überlagerung mindestens einer Zusatzinformation in den Hintergrund und mindestens eine Ausgabeeinheit zur Ausgabe der Zusatzinformation in den Hintergrund.With regard to the apparatus for carrying out a method, it comprises at least one recording unit for capturing or capturing an image of an environment, wherein the image forms a background of a display, at least one processing unit for graphic processing of a captured digital image and transformation of the digital image into an output image and Creation and superposition of at least one additional information in the background and at least one output unit for outputting the additional information in the background.
Bei der Aufnahmeeinheit handelt es sich insbesondere um eine oder mehrere Kameras, insbesondere ein Stereo-Kamerasystem, eine omnidirektionale Kamera, eine Infrarot-Kamera, eine Laser-Scan-Einheit, ein Radar, ein Lidar oder eine Kombination von vergleichbaren Erfassungseinheiten. Die Verarbeitungseinheit kann in die Aufnahmeeinheit integriert oder separat ausgebildet sein. Die Verarbeitungseinheit kann eine integrierte Schaltung oder ein Steuergerät oder eine andere geeignete Bildverarbeitungseinheit sein. Die Ausgabeeinheit kann ein klassischer Bildschirm, eine HUP-Anzeigeeinheit (HUP = Head-Up-Display), eine HMD-Anzeigeeinheit (HMD = Head Mounted Display) oder eine andere geeignete Anzeigeeinheit sein.In particular, the recording unit is one or more cameras, in particular a stereo camera system, an omnidirectional camera, an infrared camera, a laser scan unit, a radar, a lidar or a combination of comparable detection units. The processing unit may be integrated in the receiving unit or formed separately. The processing unit may be an integrated circuit or a controller or other suitable image processing unit. The output unit may be a classic screen, a head-up display (HUP) unit, a HMD (HMD) display unit or other suitable display unit.
Die mit der Erfindung erzielten Vorteile bestehen insbesondere darin, dass eine situationsbedingte Veränderung der Anzeige der augmentierten Zusatzinformation relativ zum Hintergrund in einfacher Art und Weise eine Hervorhebung und somit bessere Erkennbarkeit der augmentierten Zusatzinformationen und demzufolge der auslösenden Situation ermöglicht. Dabei kann eine Anpassung der eingeblendeten Zusatzinformationen in folgenden Situationen erfolgen:
- – die Zusatzinformation wird in Abhängigkeit von einer momentanen angezeigten Fahrberechtigungserlaubnis einer Lichtsignalanlage im Hintergrund überlagert ausgegeben (erste Umgebungssituation);
- – die Zusatzinformation wird in Abhängigkeit von einer Fahrzeuggeschwindigkeit ausgegeben;
- – als Zusatzinformation wird mindestens ein Warnhinweis zu einem sich annähernden Kollisionsobjekt, zur Befahrbarkeit benachbarter und/oder entgegenkommender Fahrspuren und/oder zu einem vorausliegenden Abbiegevorgang und/oder einem Fahrbahnwechsel ausgegeben;
- – als Zusatzinformation wird mindestens ein Fahrhinweis zum ökologischen Fahren ausgegeben.
- - The additional information is output as a function of a currently displayed driving permission permission of a traffic signal superimposed in the background (first environment situation);
- The additional information is output as a function of a vehicle speed;
- - As additional information at least one warning is issued to an approaching collision object, the trafficability of adjacent and / or oncoming lanes and / or a forward turn and / or a lane change;
- - as additional information at least one driving instruction for ecological driving is issued.
Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.Embodiments of the invention are explained in more detail below with reference to drawings.
Dabei zeigen:Showing:
Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.Corresponding parts are provided in all figures with the same reference numerals.
Das Bild kann dabei ein reales Bild Br einer im Sichtfeld des Benutzers liegenden Umgebung U sein oder ein digital aufgenommenes Bild Bd der vorausliegenden Umgebung U.The image may be a real image Br of an environment U lying in the field of vision of the user, or a digitally recorded image Bd of the preceding environment U.
Mit anderen Worten: Das den Hintergrund H(Br) bildende Bild Br ist in einer Ausführungsform die reale vorausliegende Umgebung U. In einer alternativen Ausführungsform, welche hier näher beschrieben wird, wird als Bild ein digitales Bild Bd der realen vorausliegenden Umgebung U aufgenommen und in ein Ausgabebild A transformiert, das den Hintergrund H(A) auf der Ausgabeeinheit
Die Vorrichtung
Die Vorrichtung
Die Verarbeitungseinheit
Die Ausgabeeinheit
Nachfolgend wird die Erfindung für eine Ausführung der Anzeige
Die Vorrichtung
Mit anderen Worten: Die Hinweise und Empfehlungen darstellende Zusatzinformationen Z1 bis Zx erfolgen stets in Form einer augmentierten Darstellung, entweder in einem Headup-Display mit dem realen Hintergrund H(Br) oder in der Live-Kameraansicht beispielsweise in Kombi- oder Zentralanzeige mit dem digitalen Hintergrund H(A). Die Augmentierung erfolgt dabei möglichst kontaktanalog.In other words, the additional information Z1 to Zx, which provides information and recommendations, always takes the form of an augmented representation, either in a head-up display with the real background H (Br) or in the live camera view, for example in a combined or central display with the digital one Background H (A). The augmentation takes place as contact-analogous as possible.
Das heißt, durch einfache situationsabhängige Anpassung oder Veränderung der virtuellen einzublendenden Zusatzinformation Z1 bis Zx kann diese optisch hervorgehoben im Ausgabebild An und somit vor dem Hintergrund H(A) erscheinen, so dass die veränderte oder sich zukünftig ändernde Situation vom Betrachter intuitiv wahrgenommen werden kann.That is, by simple situation-dependent adaptation or modification of the additional information Z1 to Zx to be overlaid, it can appear visually highlighted in the output image An and thus against the background H (A), so that the changed or future changing situation can be intuitively perceived by the viewer.
Das Ausgabebild A zeigt in
Das erfindungsgemäße Verfahren ermöglicht es, dass situationsabhängig als Zusatzinformation Z1 bis Zx mindestens ein Navigations- und/oder Fahrhinweis auf der Fahrbahn
In
Der Balken Z1 umfasst beispielsweise drei unterschiedlich gekennzeichnete Bereiche Z1.1 bis Z1.3. Der erste Bereich Z1.1 ist beispielsweise grün als Fahrhinweis gekennzeichnet und zeigt dem Betrachter an, dass die momentane Fahrzeuggeschwindigkeit im zulässigen Bereich ist. Der zweite Bereich Z1.2 ist beispielsweise gelb als Warnhinweis gekennzeichnet und zeigt dem Betrachter an, dass die momentane Fahrzeuggeschwindigkeit bei Beibehaltung dieser in einem vorkritischen Bereich ist. Der dritte Bereich Z1.3 ist beispielsweise rot gekennzeichnet als weiterer Warn- und Signalhinweis und zeigt dem Betrachter an, dass bei Beibehaltung der momentanen Fahrzeuggeschwindigkeit das Fahrzeug F in einen kritischen Zustand kommen kann.The bar Z1 comprises, for example, three differently marked areas Z1.1 to Z1.3. The first area Z1.1 is marked, for example, green as a driving instruction and indicates to the viewer that the current vehicle speed is within the permissible range. For example, the second area Z1.2 is marked yellow as a warning and indicates to the viewer that the current vehicle speed while maintaining it is in a precritical range. For example, the third area Z1.3 is marked red as a further warning and signal indication and indicates to the viewer that the vehicle F can come into a critical state while maintaining the instantaneous vehicle speed.
Mit anderen Worten: Im Ausführungsbeispiel nach
Die Erfindung ermöglicht, dass Rückmeldungen von einem oder mehreren Fahrassistenzsystemen, wie dem Geschwindigkeits- und Spurhalteassistenten oder einem Navigationssystem, aufgrund der augmentierten Darstellung von Zusatzinformationen Z, Z1.1 bis Z1.3 besser visualisiert werden. Darüber hinaus ergeben sich neue Assistenzmöglichkeiten und Anwendungen.The invention makes it possible to better visualize feedback from one or more driver assistance systems, such as the speed and lane departure warning system or a navigation system, due to the augmented display of additional information Z, Z1.1 to Z1.3. In addition, there are new assistance options and applications.
Die Überschreitung der maximal zulässigen Fahrzeuggeschwindigkeit kann anhand von verschiedenen Größen ermittelt werden. Beispielsweise wird ein Überschreiten der Fahrzeuggeschwindigkeit anhand eines Vergleichs der momentanen Fahrzeuggeschwindigkeit mit einer von der Aufnahmeeinheit
Zusätzlich oder alternativ zur Identifizierung einer Überschreitung der Geschwindigkeitsbegrenzung kann eine zu hohe Kurvengeschwindigkeit ermittelt werden und analog zur Balkendarstellung der Fahrzeuggeschwindigkeit entsprechend mit mehreren verschiedenen Farben dargestellt werden.In addition to or as an alternative to identifying an exceeding of the speed limit, too high a cornering speed can be determined and, corresponding to the bar graph of the vehicle speed, correspondingly displayed with several different colors.
Zusätzlich oder alternativ zur Einblendung der Überschreitung der Geschwindigkeitsbegrenzung und/oder Kurvengeschwindigkeit anhand von Zusatzinformationen Z mit entsprechender Einblendung des Balkens Z1 mit den Bereichen Z1.2, Z1.3 kann als weiteres Kriterium ein zu geringer Abstand zu einem vorausfahrenden Fahrzeug V und ein entsprechender Balken Z2, wie in
Um den Energie-/Kraftstoffverbrauch zu reduzieren, kann die Fahrspur
Alternativ zur Balkendarstellung kann die befahrene und/oder nicht befahrene und vorausliegende und/oder benachbarte Fahrspur
Dabei kann die Hervorhebung der Fahrspuren
Die Spurmarkierung durch die eingeblendeten Balken Z1 bis Z3 eignet sich nicht nur zur Navigation, sondern bietet eine geeignete Basis für eine intuitive Vermittlung zusätzlicher Informationen, etwa durch Färbung oder Animation, um den Fahrer zu unterstützen und Zustände und/oder Hinweise und/oder Informationen von Fahrassistenzsystemen zu visualisieren.The lane marking by the bars Z1 to Z3 displayed is not only suitable for navigation, but also provides a suitable basis for an intuitive transmission of additional information, such as coloring or animation, to assist the driver and states and / or instructions and / or information To visualize driver assistance systems.
Die
Die nachfolgenden
Zur Unterstützung des Betrachters, insbesondere eines Fahrers oder Beifahrers, können zu gewünschten oder relevanten Objekten O1 bis Oz zusätzliche Informationen als virtuelle Zusatzinformationen Z1 bis Zx eingeblendet werden, welche relativ zu dem jeweils zugehörigen Objekt O1 bis Oz positionsgenau/-analog und perspektivisch korrekt, nur positionsgenau/-analog oder nur richtungsgenau/-analog und/oder unabhängig und somit frei vom Hintergrund H(A) (dem Ausgabebild A oder der durchscheinenden Umgebung U) im Ausgabebild A eingeblendet werden.To assist the viewer, in particular a driver or front passenger, additional information can be superimposed on desired or relevant objects O1 to Oz as additional virtual information Z1 to Zx, which relative to the respectively associated object O1 to Oz position-accurate / -analog and perspective correct, only position-accurate / -analog or only directionally accurate / -analog and / or independent and thus freely from the background H (A) (the output image A or the translucent environment U) are displayed in the output image A.
Eine solche Darstellung ermöglicht eine ablenkungsarme, intuitive, einfach zu bedienende und graphisch ansprechende Anzeige
In
Über diese reale Wiedergabe der Umgebung U im Ausgabebild A kann dieses mit virtuellen Zusatzinformationen Z1 bis Zx überlagert werden. Die in
Die Fahrbahnhervorhebungen durch Augmentierung anhand von eingeblendeten Zusatzinformationen Z1 bis Zx können dabei in verschiedenen Formen erfolgen, wie in
Die Fahrspur
The lane
Die virtuellen Zusatzinformationen Z1 bis Zx können in Form eines Teppichs (= Z8 (
Auch Sicherheitswarnungen, wie ein vorausliegendes Stauende oder eine Unfallstelle können durch Einblendungen von Zusatzinformationen Z1 bis Zx beispielsweise in Form von virtuellen Straßenverkehrszeichen Z8.1, Z8.2 (
Zusätzlich kann eine Empfehlung für zukünftige Fahrhandlungen visualisiert werden, beispielsweise um die eigene Fahrspur
Neben der eigenen Fahrspur
Eine Weiterbildung der Erfindung sieht vor, dass die Hervorhebung der eigenen Fahrspur
Um diesen Nachteil zu kompensieren, können als Zusatzinformationen Z1 bis Zx virtuelle Leitplanken (nicht näher dargestellt) verwendet werden, deren Opazität in Abhängigkeit der Ausrichtung der Fahrspur
Gleichfalls kann die Darstellung der Zusatzinformation in Abhängigkeit der Genauigkeit einer Poseschätzung erfolgen. Beispielsweise kann die Darstellung einer Zusatzinformation mit zunehmender Ungenauigkeit einer Poseschätzung transparenter erscheinen. Ebenso kann bei zunehmender Ungenauigkeit einer Poseschätzung eine andere Form der Visualisierung von Zusatzinformation erfolgen. Beispielsweise können bei ungenauer Poseschätzung Navigationshinweise dargestellt werden die keine spurgenaue Positionierung erfordern, beispielsweise herkömmliche Navigationspfeile.Likewise, the representation of the additional information in dependence on the accuracy of a Poseschätzung done. For example, the presentation of additional information may appear more transparent with increasing inaccuracy of a position estimate. Likewise, with increasing inaccuracy of a Poseschätzung another form of visualization of additional information can be done. For example, in the case of inaccurate position estimation, navigation instructions can be displayed that do not require precise positioning, for example conventional navigation arrows.
So ist ferner vorgesehen, wie in
Insbesondere werden Zusatzinformationen Z6 bis Z8.2 auch dann eingeblendet, wenn keine aktive Routenführung und entsprechende Empfehlungen für eine optimale Streckenwahl angezeigt werden. Somit ermöglicht die Erfindung mit oder ohne Routenführung, eine aktive Führung des eigenen Fahrzeugs F durch augmentierte Hinweise auf etwaige Fahrverbote und auf erlaubte und verbotene Fahrspuren
Die Erfindung gibt dem Fahrer somit auch ohne aktive Routenführung in Kreuzungen, Kreisverkehren, Plätzen oder anderen Abbiegesituationen mittels richtungs- oder kontaktanaloger Augmentierung von Zusatzinformationen Z6 und Z7 Empfehlungen für Fahrspuren
In einer weiteren Ausgestaltung der Erfindung wird der Fahrer bei Abbiegemanövern über eine Gegenfahrbahn durch entsprechend augmentierte Hinweise Z9 bis Z13 eines augmentierten Abbiegeassistent (= Abbiegeassistenzfunktion der Verarbeitungseinheit
Das Vorhaben des Fahrers für ein solches Abbiegemanöver oder zumindest die Wahrscheinlichkeit wird beispielsweise dadurch erkannt, dass der Fahrer beginnt, innerhalb seiner aktuellen Fahrspur
Eine weitere einfache Möglichkeit, zu erkennen, dass ein solches Abbiegemanöver bevorsteht, basiert auf der aktiven Routenführung. Sobald das Fahrzeug F sich der Abbiegesituation nähert, kann hier bereits mit einer bestimmten Vorlaufzeit der Abbiegeassistent aktiviert oder zumindest „scharfgeschaltet” werden.Another easy way to detect that such a turn is imminent is based on active route guidance. As soon as the vehicle F approaches the turn-off situation, the turn-off assistant can already be activated or at least "armed" with a certain lead time.
Sobald der Abbiegeassistent mit einer bestimmten Wahrscheinlichkeit erkannt hat, dass ein Abbiegemanöver über die Gegenfahrbahn bevorsteht, wird die Verkehrssituation hinsichtlich des abbiegebedingten Gefahrenpotentials bewertet und dem Fahrer augmentiert dargestellt.As soon as the turn assistant has recognized with a certain probability that a turn maneuver is imminent via the oncoming lane, the traffic situation with regard to the turn-related hazard potential is evaluated and displayed augmented to the driver.
Falls z. B. das Abbiegemanöver durch nahenden Gegenverkehr gefährdet sein sollte, kann dementsprechend vor dieser Gefahr durch Einblendung einer Zusatzinformation Z12.1 gewarnt werden. Auch kann beispielsweise die angenommene Trajektorie des eigenen Fahrzeugs F augmentiert dargestellt werden, z. B. durch eine transparente oder opake Überlagerung/Einblendung der Zusatzinformationen Z9, Z10 und Z13, die perspektivisch korrekt auf der betreffenden Fahrspuroberfläche liegen, wie in
Sobald ein entgegenkommendes Fahrzeug F1 oder ein anderes Hindernis den virtuellen Ort der Einblendungen einnehmen, kann zusätzlich mittels Verdeckungsrechnung der Transparenzgrad der Einblendung erhöht werden, um eine perspektivisch korrekte Darstellungsform zu unterstützen, wie in
Zusätzlich können verschiedene Symbole eingeblendet werden wie z. B. Warnhinweise (= Z11 (Gegenverkehr), Z12.1 (Verkehrshinweis) oder eine virtuelle Stopplinie (= Z12), hinter der gerade noch keine Gefahr durch den Gegenverkehr besteht, siehe
Sobald ein gefahrloses Abbiegen nach Einschätzung des Abbiegeassistenten möglich ist, beispielsweise sobald kein Gegenverkehr mehr vorhanden ist, verschwinden die Warnhinweise. Anschließend können verschiedene Symbole als Zusatzinformation Z10 eingeblendet werden, die dem Fahrer ein gefahrloses Abbiegen illustrieren.As soon as a safe turning off is possible according to the turn-off assistant, for example when there is no oncoming traffic, the warnings disappear. Subsequently, various symbols can be displayed as additional information Z10, which illustrate the driver a safe turn.
Ebenso kann die Ausgestaltung der augmentierten Fahrtrajektorie variiert werden, z. B. kann die Trajektorie bei Gefahr rot (
In einer weiteren Ausprägung der Erfindung können generell Fahrbahnen
- – dem öffentlichen Nahverkehr, wie Bus, Straßenbahn;
- – Rad- und Fußwege;
- – Rad- und Fußgängerüberwege, Zebrastreifen, Rad- und Fußgängerampeln;
- – Notfahrspuren (Emergency Lanes);
- – Fahrgemeinschaftsspuren mit Mindestbesetzungen an Mitfahrern (HOV Lanes).
- - public transport, such as bus, tram;
- - cycling and walking paths;
- - bicycle and pedestrian crossings, zebra crossings, bicycle and pedestrian traffic lights;
- - emergency lanes;
- - Car pool lanes with minimum number of occupants (HOV lanes).
Besonders in Abbiegesituationen können derartige Fahrspuren
In diesem Zusammenhang ist auch eine augmentierte Hinweisgebung möglich, beispielsweise kann der Fahrer in Abbiegesituationen generell durch eine augmentierte Visualisierung darauf hingewiesen werden, dass in der vorliegenden Abbiegesituation besonders auf Fußgänger und/oder Radfahrer, beispielsweise besonders seitlich neben dem eigenen Fahrzeug F, geachtet werden sollte.In this context, an augmented hinting is possible, for example, the driver in turn situations generally by an augmented visualization to be noted that in the present turn situation especially on pedestrians and / or cyclists, for example, especially laterally next to the own vehicle F, should be respected ,
In einer weiteren Ausprägung kann eine augmentierte Warnung erfolgen, sobald in einer Abbiegesituation beispielsweise seitlich neben dem eigenen Fahrzeug F Fußgänger und/oder Radfahrer detektiert werden. Zur Detektierung selbst können verschiedene Sensoriken wie z. B. Radar, Lidar, Ultraschall oder auch entsprechende Kameras unter Zuhilfenahme von Algorithmen der Bilderkennung verwendet werden.In a further embodiment, an augmented warning can take place as soon as, for example, pedestrians and / or cyclists are detected in a turning situation laterally next to their own vehicle F. To detect itself, various sensors such. As radar, lidar, ultrasound or even corresponding cameras with the aid of algorithms of image recognition can be used.
BezugszeichenlisteLIST OF REFERENCE NUMBERS
- 11
- Vorrichtungcontraption
- 22
- Ausgabeeinheit (Anzeige)Output unit (display)
- 33
- Aufnahmeeinheitrecording unit
- 44
- Verarbeitungseinheitprocessing unit
- 55
- Fahrbahnroadway
- 5, 5.1 bis 5.55, 5.1 to 5.5
- Fahrspurlane
- 66
- Fahrbahnroadway
- A, AnA, to
- Ausgabebildoutput image
- Bdbd
- digitales Bilddigital picture
- Brbr
- reales Bildreal picture
- FF
- eigenes FahrzeugOwn vehicle
- F2F2
- entgegenkommendes Fahrzeugoncoming vehicle
- H(Br), H(A)H (Br), H (A)
- Hintergrundbackground
- O1 bis OzO1 to Oz
- Objektobject
- UU
- UmgebungSurroundings
- VV
- Vorausfahrendes FahrzeugPreceding vehicle
- Z1 bis ZxZ1 to Zx
- ZusatzinformationenFurther information
ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES INCLUDE IN THE DESCRIPTION
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.This list of the documents listed by the applicant has been generated automatically and is included solely for the better information of the reader. The list is not part of the German patent or utility model application. The DPMA assumes no liability for any errors or omissions.
Zitierte PatentliteraturCited patent literature
- DE 102011115739 A1 [0003] DE 102011115739 A1 [0003]
Claims (8)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE201310016251 DE102013016251A1 (en) | 2013-10-01 | 2013-10-01 | Method for augmented representation of additional information in image in e.g. vehicle environment, involves changing additional information in dependence on current driving and surrounding situation |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE201310016251 DE102013016251A1 (en) | 2013-10-01 | 2013-10-01 | Method for augmented representation of additional information in image in e.g. vehicle environment, involves changing additional information in dependence on current driving and surrounding situation |
Publications (1)
Publication Number | Publication Date |
---|---|
DE102013016251A1 true DE102013016251A1 (en) | 2014-06-26 |
Family
ID=50878770
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE201310016251 Withdrawn DE102013016251A1 (en) | 2013-10-01 | 2013-10-01 | Method for augmented representation of additional information in image in e.g. vehicle environment, involves changing additional information in dependence on current driving and surrounding situation |
Country Status (1)
Country | Link |
---|---|
DE (1) | DE102013016251A1 (en) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102015006640A1 (en) | 2015-05-22 | 2016-03-10 | Daimler Ag | Presentation of augmented navigation elements by a head-up display system |
DE102016003019A1 (en) * | 2016-03-12 | 2017-09-14 | Audi Ag | Display system for a motor vehicle and method for operating a display system of a motor vehicle |
DE102016220647A1 (en) | 2016-10-20 | 2018-04-26 | Audi Ag | A method of presenting at least one supplementary difference lane equipment |
WO2019011812A1 (en) * | 2017-07-10 | 2019-01-17 | Audi Ag | Method for operating an output device of a motor vehicle, driver assistance device, and motor vehicle |
DE102017217852A1 (en) * | 2017-10-06 | 2019-04-11 | Bayerische Motoren Werke Aktiengesellschaft | Optical-acoustic assistance when turning |
DE102018201769A1 (en) | 2018-02-06 | 2019-08-08 | Volkswagen Aktiengesellschaft | A method, apparatus and computer readable storage medium having instructions for controlling a display of an augmented reality head-up display device for a motor vehicle |
WO2019166222A1 (en) * | 2018-03-02 | 2019-09-06 | Volkswagen Aktiengesellschaft | Method for calculating an ar-overlay of additional information for a display on a display unit, device for carrying out the method, as well as motor vehicle and computer program |
DE102018116067A1 (en) * | 2018-07-03 | 2020-01-09 | Deutsches Zentrum für Luft- und Raumfahrt e.V. | Procedure for supporting a vehicle driver as well as assistance device, vehicle, computer program and system therefor |
DE102020200902A1 (en) | 2020-01-27 | 2021-07-29 | Volkswagen Aktiengesellschaft | Method and device for displaying additional information in the field of vision of the driver of a vehicle and vehicle |
DE102021202246A1 (en) | 2021-03-09 | 2022-09-15 | Volkswagen Aktiengesellschaft | Improved visualization with an AR HUD |
DE102021211942A1 (en) | 2021-10-22 | 2023-04-27 | Volkswagen Aktiengesellschaft | Method for operating a control device for a motor vehicle, control device and motor vehicle |
US11731509B2 (en) | 2017-11-30 | 2023-08-22 | Volkswagen Aktiengesellschaft | Method for displaying the course of a trajectory in front of a transportation vehicle or an object by a display unit, and device for carrying out the method |
WO2023165775A1 (en) * | 2022-03-04 | 2023-09-07 | Audi Ag | Method for representing surroundings of a vehicle |
WO2023198366A1 (en) * | 2022-04-13 | 2023-10-19 | Bayerische Motoren Werke Aktiengesellschaft | Method for displaying prepared route data in an animated manner by means of a head-up display, computing device, computer-readable (storage) medium, assistance system for a vehicle |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102011115739A1 (en) | 2011-10-11 | 2013-04-11 | Daimler Ag | Method for integrating virtual objects in vehicle displays |
-
2013
- 2013-10-01 DE DE201310016251 patent/DE102013016251A1/en not_active Withdrawn
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102011115739A1 (en) | 2011-10-11 | 2013-04-11 | Daimler Ag | Method for integrating virtual objects in vehicle displays |
Cited By (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102015006640A1 (en) | 2015-05-22 | 2016-03-10 | Daimler Ag | Presentation of augmented navigation elements by a head-up display system |
DE102016003019A1 (en) * | 2016-03-12 | 2017-09-14 | Audi Ag | Display system for a motor vehicle and method for operating a display system of a motor vehicle |
DE102016220647A1 (en) | 2016-10-20 | 2018-04-26 | Audi Ag | A method of presenting at least one supplementary difference lane equipment |
WO2019011812A1 (en) * | 2017-07-10 | 2019-01-17 | Audi Ag | Method for operating an output device of a motor vehicle, driver assistance device, and motor vehicle |
DE102017217852A1 (en) * | 2017-10-06 | 2019-04-11 | Bayerische Motoren Werke Aktiengesellschaft | Optical-acoustic assistance when turning |
US11731509B2 (en) | 2017-11-30 | 2023-08-22 | Volkswagen Aktiengesellschaft | Method for displaying the course of a trajectory in front of a transportation vehicle or an object by a display unit, and device for carrying out the method |
DE102018201769B4 (en) | 2018-02-06 | 2023-08-24 | Volkswagen Aktiengesellschaft | Method, device and computer-readable storage medium with instructions for controlling a display of an augmented reality head-up display device for a motor vehicle and motor vehicle |
WO2019154673A1 (en) | 2018-02-06 | 2019-08-15 | Volkswagen Aktiengesellschaft | Method, device and computer-readable storage medium with instructions for controlling a display of an augmented-reality head-up display device for a motor vehicle |
DE102018201769A1 (en) | 2018-02-06 | 2019-08-08 | Volkswagen Aktiengesellschaft | A method, apparatus and computer readable storage medium having instructions for controlling a display of an augmented reality head-up display device for a motor vehicle |
US11904688B2 (en) | 2018-03-02 | 2024-02-20 | Volkswagen Aktiengesellschaft | Method for calculating an AR-overlay of additional information for a display on a display unit, device for carrying out the method, as well as motor vehicle and computer program |
CN111937044A (en) * | 2018-03-02 | 2020-11-13 | 大众汽车股份公司 | Method for calculating an AR fade-in for additional information for display on a display unit, device for carrying out the method, motor vehicle and computer program |
CN111937044B (en) * | 2018-03-02 | 2024-10-15 | 大众汽车股份公司 | Method for calculating AR fades into additional information for display on a display unit, device for carrying out said method, motor vehicle and computer program |
WO2019166222A1 (en) * | 2018-03-02 | 2019-09-06 | Volkswagen Aktiengesellschaft | Method for calculating an ar-overlay of additional information for a display on a display unit, device for carrying out the method, as well as motor vehicle and computer program |
DE102018116067A1 (en) * | 2018-07-03 | 2020-01-09 | Deutsches Zentrum für Luft- und Raumfahrt e.V. | Procedure for supporting a vehicle driver as well as assistance device, vehicle, computer program and system therefor |
DE102020200902A1 (en) | 2020-01-27 | 2021-07-29 | Volkswagen Aktiengesellschaft | Method and device for displaying additional information in the field of vision of the driver of a vehicle and vehicle |
DE102021202246A1 (en) | 2021-03-09 | 2022-09-15 | Volkswagen Aktiengesellschaft | Improved visualization with an AR HUD |
DE102021202246B4 (en) | 2021-03-09 | 2024-08-08 | Volkswagen Aktiengesellschaft | Improved visualization with an AR HUD |
WO2023066647A1 (en) | 2021-10-22 | 2023-04-27 | Volkswagen Aktiengesellschaft | Method for operating a control device for a motor vehicle, control device, and motor vehicle |
DE102021211942A1 (en) | 2021-10-22 | 2023-04-27 | Volkswagen Aktiengesellschaft | Method for operating a control device for a motor vehicle, control device and motor vehicle |
WO2023165775A1 (en) * | 2022-03-04 | 2023-09-07 | Audi Ag | Method for representing surroundings of a vehicle |
WO2023198366A1 (en) * | 2022-04-13 | 2023-10-19 | Bayerische Motoren Werke Aktiengesellschaft | Method for displaying prepared route data in an animated manner by means of a head-up display, computing device, computer-readable (storage) medium, assistance system for a vehicle |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE102013016251A1 (en) | Method for augmented representation of additional information in image in e.g. vehicle environment, involves changing additional information in dependence on current driving and surrounding situation | |
EP3426535B1 (en) | Method for operating a driver assistance system, and driver assistance system | |
EP3055650B1 (en) | Method and device for augmented display | |
EP3543059B1 (en) | Method for calculating the insertion of additional information for display on a display unit, device for carrying out the method, motor vehicle and computer program | |
EP1405124B1 (en) | Head-up display system and method for projecting a marking of a road sign with regard to the viewing direction of the driver | |
DE112015006458B4 (en) | Display control device, display system, display control method and display control program | |
EP1916154B1 (en) | Method for displaying information | |
EP3765324B1 (en) | Method, device and computer-readable storage medium with instructions for controlling a display of an augmented reality display device for a motor vehicle | |
DE102015006612B4 (en) | Method for operating data glasses in a motor vehicle and system with data glasses | |
WO2019170387A1 (en) | Overlaying additional information on a display unit | |
EP1995116B1 (en) | Display device for assisting the driver of an automobile | |
DE102013016242A1 (en) | Method and device for supporting at least one driver assistance system | |
EP1916153A2 (en) | Method for displaying information | |
DE102018203121B4 (en) | Method for calculating an AR overlay of additional information for a display on a display unit, device for carrying out the method, motor vehicle and computer program | |
DE10245334A1 (en) | navigation device | |
WO2015000882A1 (en) | Assistance system and assistance method for support when controlling a motor vehicle | |
DE102008028374A1 (en) | Method for combined output of an image and local information, and motor vehicle therefor | |
DE102014208310A1 (en) | Driver assistance system for displaying an augmented reality | |
DE102012220100A1 (en) | Method for displaying driver formation on head-up display for vehicle, involves selecting display levels of head-up display, and outputting display levels as display icon to represent driver information on head-up display | |
DE102010003851A1 (en) | Destination marking method for motor vehicle driver, involves determining position of destination relative to vehicle, and embedding virtual object in real vehicle environment that is visible to vehicle occupant on head-up display | |
DE102011082609A1 (en) | Method for marking e.g. building for driver of vehicle e.g. passenger car, involves generating display signal for displaying mark in display mode as contact analog virtual representation related to position | |
DE102013016249A1 (en) | Method for displaying navigation instructions on display of navigation system, involves determining representation of image of background of display and determining degradation stage based on additional information | |
DE102012210375B4 (en) | Method and device for operating a head-up display for a vehicle | |
DE102015007131B4 (en) | A method of operating a display system and display system | |
DE102017205935A1 (en) | Method for operating a display device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
R230 | Request for early publication | ||
R119 | Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee |