-
Die Erfindung betrifft ein Verfahren zur augmentierten Darstellung mindestens einer Zusatzinformation in mindestens einem Bild einer Umgebung, insbesondere einer Fahrzeugumgebung. Des Weiteren betrifft die Erfindung eine Vorrichtung zur Durchführung des Verfahrens.
-
Vorrichtungen für eine augmentierte Darstellung bringen eine erzeugte Zusatzinformation in Überlagerung mit einer aufgenommenen und wahrnehmbaren Umgebung. Dabei werden die Zusatzinformationen lagerichtig in den Umgebungsbildern dargestellt, wobei die Umgebungsbilder im Hintergrund ausgegeben werden. Solche Vorrichtungen sind beispielsweise teildurchsichtige Anzeigeeinheiten, wie eine HUP-Anzeigeeinheit (HUP = Head-Up-Display), eine HMD-Anzeigeeinheit (HMD = Head Mounted Display), oder undurchsichtige Anzeigeeinheiten, zum Beispiel ein herkömmlicher Bildschirm.
-
Eine solche Vorrichtung zur augmentierten Darstellung ist beispielsweise aus der
DE 10 2011 115 739 A1 bekannt.
-
Der Erfindung liegt die Aufgabe zu Grunde, ein verbessertes Verfahren und eine verbesserte Vorrichtung zur augmentierten Darstellung von mindestens einer Zusatzinformation anzugeben.
-
Hinsichtlich des Verfahrens wird die Aufgabe erfindungsgemäß gelöst durch die Merkmale des Anspruchs 1. Hinsichtlich der Vorrichtung wird die Aufgabe erfindungsgemäß gelöst durch die Merkmale des Anspruchs B.
-
Vorteilhafte Ausgestaltungen der Erfindung sind Gegenstand der Unteransprüche.
-
Beim erfindungsgemäßen Verfahren zur augmentierten Darstellung mindestens einer Zusatzinformation in mindestens einem Bild einer Umgebung, insbesondere einer Fahrzeugumgebung eines Fahrzeugs, bildet das Bild einen Hintergrund einer Anzeige, wobei die Zusatzinformation in Abhängigkeit von mindestens einer momentanen Fahr- und/oder Umgebungssituation farblich geändert und/oder animiert im Hintergrund überlagert ausgegeben wird.
-
Mit anderen Worten: Die Einblendung oder Überlagerung der Zusatzinformation wird situationsabhängig in mindestens einer Eigenschaft und/oder einem Parameter, wie der Farbe, Größe, Form und/oder Position geändert und ausgegeben. Eine solche situationsabhängige Bearbeitung und Einblendung der Zusatzinformation in das Ausgabebild ermöglicht dem Betrachter, eine sich verändernde Situation klar und intuitiv wahrzunehmen.
-
Eine Ausführungsform der Erfindung sieht vor, dass als Zusatzinformation eine virtuelle Fahrspur in den Hintergrund und somit in das vorausliegende Verkehrsumfeld eingeblendet wird.
-
Die Erfindung ist anwendbar im Fahrzeug zur Erfassung und Darstellung einer Fahrzeugumgebung. Darüber hinaus ist die Erfindung auch für mobile Geräte, wie einem Mobiltelefon, eine Datenbrille, und/oder für virtuelle Anzeigen, wie einem Projektionsbildschirm und für weitere Zwecke, wie Werbung, Fußgängernavigation oder für Anzeigen in Transportmitteln, wie Bus, Bahn, Flugzeug und Schiff, anwendbar. Dabei erfolgt eine Anpassung der überlagernden Zusatzinformationen ereignis- und/oder situationsabhängig.
-
Eine mögliche Ausführungsform sieht vor, dass die Zusatzinformation in Abhängigkeit vom Hintergrund lagerichtig positioniert im Hintergrund ausgegeben wird. Hierbei wird die Zusatzinformation erkennungsoptimiert einem zugehörigen Hintergrundbereich und/oder einem realen Objekt im Hintergrund zugeordnet und entsprechend nah an diesen zugehörigen Hintergrundbereich bzw. an dieses reale Objekt zu dessen näheren Spezifizierung positioniert im Hintergrund dargestellt. Dies stellt eine positionsgenaue und/oder richtungsgenaue Darstellung der aufgenommenen Umgebung und eine intuitiv erfassbare Informationsvermittlung zu den in der Umgebung liegenden Objekten dar.
-
Hinsichtlich der Vorrichtung zur Durchführung eines Verfahrens umfasst diese mindestens eine Aufnahmeeinheit zur Aufnahme oder Erfassung eines Bildes einer Umgebung, wobei das Bild einen Hintergrund einer Anzeige bildet, mindestens eine Verarbeitungseinheit zur grafischen Verarbeitung eines aufgenommenen digitalen Bildes und Transformation des digitalen Bildes in ein Ausgabebild sowie zur Erzeugung und Überlagerung mindestens einer Zusatzinformation in den Hintergrund und mindestens eine Ausgabeeinheit zur Ausgabe der Zusatzinformation in den Hintergrund.
-
Bei der Aufnahmeeinheit handelt es sich insbesondere um eine oder mehrere Kameras, insbesondere ein Stereo-Kamerasystem, eine omnidirektionale Kamera, eine Infrarot-Kamera, eine Laser-Scan-Einheit, ein Radar, ein Lidar oder eine Kombination von vergleichbaren Erfassungseinheiten. Die Verarbeitungseinheit kann in die Aufnahmeeinheit integriert oder separat ausgebildet sein. Die Verarbeitungseinheit kann eine integrierte Schaltung oder ein Steuergerät oder eine andere geeignete Bildverarbeitungseinheit sein. Die Ausgabeeinheit kann ein klassischer Bildschirm, eine HUP-Anzeigeeinheit (HUP = Head-Up-Display), eine HMD-Anzeigeeinheit (HMD = Head Mounted Display) oder eine andere geeignete Anzeigeeinheit sein.
-
Die mit der Erfindung erzielten Vorteile bestehen insbesondere darin, dass eine situationsbedingte Veränderung der Anzeige der augmentierten Zusatzinformation relativ zum Hintergrund in einfacher Art und Weise eine Hervorhebung und somit bessere Erkennbarkeit der augmentierten Zusatzinformationen und demzufolge der auslösenden Situation ermöglicht. Dabei kann eine Anpassung der eingeblendeten Zusatzinformationen in folgenden Situationen erfolgen:
- – die Zusatzinformation wird in Abhängigkeit von einer momentanen angezeigten Fahrberechtigungserlaubnis einer Lichtsignalanlage im Hintergrund überlagert ausgegeben (erste Umgebungssituation);
- – die Zusatzinformation wird in Abhängigkeit von einer Fahrzeuggeschwindigkeit ausgegeben;
- – als Zusatzinformation wird mindestens ein Warnhinweis zu einem sich annähernden Kollisionsobjekt, zur Befahrbarkeit benachbarter und/oder entgegenkommender Fahrspuren und/oder zu einem vorausliegenden Abbiegevorgang und/oder einem Fahrbahnwechsel ausgegeben;
- – als Zusatzinformation wird mindestens ein Fahrhinweis zum ökologischen Fahren ausgegeben.
-
Ausführungsbeispiele der Erfindung werden im Folgenden anhand von Zeichnungen näher erläutert.
-
Dabei zeigen:
-
1 schematisch eine Vorrichtung zur augmentierten Darstellung einer Zusatzinformation in einem Hintergrund,
-
2 schematisch ein Ausführungsbeispiel für einen Hintergrund mit überlagerten Zusatzinformationen zu einer vorausliegenden eigenen Fahrspur,
-
3 schematisch ein Ausführungsbeispiel für einen Hintergrund mit überlagerten Zusatzinformationen zu einer vorausliegenden eigenen Fahrspur und einer benachbarten Fahrspur,
-
4 schematisch ein Ausführungsbeispiel für einen Hintergrund mit überlagerten Navigationshinweise als Zusatzinformationen zu einer vorausliegenden Fahrsituation,
-
5 schematisch verschiedene Ausführungsbeispiele für Zusatzinformationen,
-
6 schematisch ein Ausführungsbeispiel für einen Hintergrund mit überlagerten Navigationshinweise und Straßenhinweise als Zusatzinformationen zu einer vorausliegenden Fahrsituation,
-
7 schematisch ein weiteres Ausführungsbeispiel für einen Hintergrund mit überlagerten Navigationshinweise und Straßenhinweise als Zusatzinformationen zu einer vorausliegenden Fahrsituation, und
-
8 schematisch ein Ausführungsbeispiel für einen Hintergrund mit überlagerten Navigationshinweise und Straßenhinweise als Zusatzinformationen zu einer vorausliegenden Fahrsituation.
-
Einander entsprechende Teile sind in allen Figuren mit den gleichen Bezugszeichen versehen.
-
1 zeigt schematisch eine Vorrichtung 1 zur augmentierten Darstellung mindestens einer, insbesondere virtuellen Zusatzinformation Z1 bis Zx in einem Bild, das einen Hintergrund H(Br), H(A) bildet, oder in einer Folge von solchen Bildern auf einer Ausgabeeinheit 2.
-
Das Bild kann dabei ein reales Bild Br einer im Sichtfeld des Benutzers liegenden Umgebung U sein oder ein digital aufgenommenes Bild Bd der vorausliegenden Umgebung U.
-
Mit anderen Worten: Das den Hintergrund H(Br) bildende Bild Br ist in einer Ausführungsform die reale vorausliegende Umgebung U. In einer alternativen Ausführungsform, welche hier näher beschrieben wird, wird als Bild ein digitales Bild Bd der realen vorausliegenden Umgebung U aufgenommen und in ein Ausgabebild A transformiert, das den Hintergrund H(A) auf der Ausgabeeinheit 2 bildet.
-
Die Vorrichtung 1 umfasst eine Aufnahmeeinheit 3, welche ein digitales Bild Bd oder fortlaufend digitale Bilder Bd der Umgebung U in Art einer Videosequenz aufnimmt. Die digitalen Bilder Bd werden einer Verarbeitungseinheit 4 zur Verarbeitung und Erzeugung eines daraus resultierenden Ausgabebildes A bzw. einer Sequenz von Ausgabebildern An zugeführt. Das erzeugte und ausgegebene Ausgabebild A bildet in dieser Ausführungsform den Hintergrund H(A). Zusätzlich erzeugt die Verarbeitungseinheit 4 virtuelle Zusatzinformationen Z1 bis Zx, die im Hintergrund H(A) oder H(Br) überlagert eingeblendet werden.
-
Die Vorrichtung 1 ist beispielsweise in einem nicht näher dargestellten Fahrzeug integriert und dient dort der Erfassung der Umgebung U des Fahrzeugs, insbesondere der Erfassung einer in Fahrrichtung vorausliegenden Fahrzeugumgebung. Das Fahrzeug umfasst beispielsweise als Aufnahmeeinheit 3 mindestens eine fahrzeugeigene Kamera, die insbesondere im Frontbereich angeordnet ist. Die Aufnahmeeinheit 3 ist dabei derart ausgeführt, dass diese zwei- oder mehrdimensionale digitale Bilder Bd mit oder ohne Tiefeninformation aufnimmt.
-
Die Verarbeitungseinheit 4 ist insbesondere ein separates Steuergerät und/oder eine Bildverarbeitungseinheit, die in einem anderen Steuergerät und/oder Fahrassistenzsystem integriert sein kann.
-
Die Ausgabeeinheit 2 ist insbesondere eine Anzeige in Form eines Bildschirms im Armaturenbereich und/oder eines Projektionsbildschirms im Frontscheibenbereich. Bei Ausbildung der Ausgabeeinheit 2 als Bildschirm wird im Hintergrund H(A) das erzeugte digitale Ausgabebild A ausgegeben, in welchem die virtuelle Zusatzinformationen Z1 bis Zx eingeblendet werden. Bei Ausbildung der Ausgabeeinheit 2 als Projektionsbildschirm oder Head-up-Display bildet die reale vorausliegende Umgebung U den Hintergrund H(Br), auf welchem die virtuellen Zusatzinformationen Z1 bis Zx eingeblendet werden. Die Ausgabeeinheit 2 wird nachfolgend Anzeige 2 genannt.
-
Nachfolgend wird die Erfindung für eine Ausführung der Anzeige 2 als ein Bildschirm beschrieben und somit mit einem aus einem aufgenommenen digitalen Bild Bd transformierten Ausgabebild A, welches den (digitalen) Hintergrund H(A) bildet. Das beschriebene Verfahren zur augmentierten Darstellung der Zusatzinformationen Z1 bis Zx auf einem Bildschirm und somit in einem digitalen Hintergrund H(A) ist analog zur augmentierten Darstellung der Zusatzinformationen Z1 bis Zx auf einem Projektionsbildschirm oder Head-up-Display anwendbar, wobei dort der reale Hintergrund H(Br) durch das reale Bild Br der vorausliegenden Umgebung U mit den realen Objekten O1 bis Oz gebildet ist.
-
Die Vorrichtung 1, insbesondere die Verarbeitungseinheit 4 ist derart ausgebildet, dass das aufgenommene digitale Bild Bd der Umgebung U in das Ausgabebild A der Anzeige 2 als Hintergrund H(A) transformiert wird, wobei die Zusatzinformation Z1 bis Zx situationsabhängig, insbesondere in Abhängigkeit von mindestens einer momentanen Fahr- und/oder Umgebungssituation farblich geändert und/oder animiert im Ausgabebild An und somit verändert in diesem überlagert ausgegeben wird.
-
Mit anderen Worten: Die Hinweise und Empfehlungen darstellende Zusatzinformationen Z1 bis Zx erfolgen stets in Form einer augmentierten Darstellung, entweder in einem Headup-Display mit dem realen Hintergrund H(Br) oder in der Live-Kameraansicht beispielsweise in Kombi- oder Zentralanzeige mit dem digitalen Hintergrund H(A). Die Augmentierung erfolgt dabei möglichst kontaktanalog.
-
Das heißt, durch einfache situationsabhängige Anpassung oder Veränderung der virtuellen einzublendenden Zusatzinformation Z1 bis Zx kann diese optisch hervorgehoben im Ausgabebild An und somit vor dem Hintergrund H(A) erscheinen, so dass die veränderte oder sich zukünftig ändernde Situation vom Betrachter intuitiv wahrgenommen werden kann.
-
2 zeigt ein mögliches Ausführungsbeispiel, bei welchem anhand des beispielsweise als Farbbild aufgenommenen digitalen Bildes Bd einer ein Verkehrsumfeld repräsentierenden Umgebung U in Vogelperspektive als Ausgabebild A und somit Hintergrund H(A) eine vorausliegende Fahrstrecke auf der Anzeige 2 erzeugt und ausgegeben wird. Das erfasste digitale Bild Bd dieser Umgebung U wurde beispielsweise als ein 24-bit dreikanaliges (RGB – Rot-Grün-Blau) Farbbild mit je Bildpixel einem RGB-Wert oder als ein Infrarot-Bild in einem für den Menschen nicht wahrnehmbaren Wellenbereich aufgenommen.
-
Das Ausgabebild A zeigt in 2 eine Fahrbahn 5 mit zwei virtuelle Fahrspuren 5.1, 5.2 und ein Fahrzeug F auf der Fahrspur 5.1 fahrend. Bei dem Fahrzeug F handelt es sich um das eigene Fahrzeug.
-
Das erfindungsgemäße Verfahren ermöglicht es, dass situationsabhängig als Zusatzinformation Z1 bis Zx mindestens ein Navigations- und/oder Fahrhinweis auf der Fahrbahn 5 eingeblendet wird.
-
2 zeigt als Ausführungsbeispiel, dass die eigene Fahrspur 5.1 zur Einblendung von fahrzeugeigenen, situationsabhängigen Zusatzinformationen Z1 bis Zx genutzt wird, um dem Fahrer eine Rückmeldung über sein Fahrverhalten zu geben oder ihn vor Gefahren zu warnen, ohne dass er vom Verkehr abgelenkt wird. Ist das eigene Fahrzeug F zu schnell unterwegs und eine vorgegebene maximal zulässige Fahrzeuggeschwindigkeit überschritten, kann die eigene Fahrspur 5.1 beispielsweise durch eine Signalfarbe oder sich ändernde Farbe hervorgehoben werden.
-
In 2 ist in die eigene Fahrspur 5.1 als Zusatzinformation Z ein Balken Z1 spurgenau eingeblendet und selektiv durch entsprechende grafische Ausgestaltung, wie verschiedene, insbesondere gestufte Einfärbungen, hervorgehoben.
-
Der Balken Z1 umfasst beispielsweise drei unterschiedlich gekennzeichnete Bereiche Z1.1 bis Z1.3. Der erste Bereich Z1.1 ist beispielsweise grün als Fahrhinweis gekennzeichnet und zeigt dem Betrachter an, dass die momentane Fahrzeuggeschwindigkeit im zulässigen Bereich ist. Der zweite Bereich Z1.2 ist beispielsweise gelb als Warnhinweis gekennzeichnet und zeigt dem Betrachter an, dass die momentane Fahrzeuggeschwindigkeit bei Beibehaltung dieser in einem vorkritischen Bereich ist. Der dritte Bereich Z1.3 ist beispielsweise rot gekennzeichnet als weiterer Warn- und Signalhinweis und zeigt dem Betrachter an, dass bei Beibehaltung der momentanen Fahrzeuggeschwindigkeit das Fahrzeug F in einen kritischen Zustand kommen kann.
-
Mit anderen Worten: Im Ausführungsbeispiel nach 2 wird eine Kurve 5.3 in der vorausliegenden Fahrspur 5.1 selektiv hervorgehoben, da in der Kurve 5.3 die infolge der Fahrzeuggeschwindigkeit zu erwartenden Fliehkräfte als zu hoch eingeschätzt werden.
-
Die Erfindung ermöglicht, dass Rückmeldungen von einem oder mehreren Fahrassistenzsystemen, wie dem Geschwindigkeits- und Spurhalteassistenten oder einem Navigationssystem, aufgrund der augmentierten Darstellung von Zusatzinformationen Z, Z1.1 bis Z1.3 besser visualisiert werden. Darüber hinaus ergeben sich neue Assistenzmöglichkeiten und Anwendungen.
-
Die Überschreitung der maximal zulässigen Fahrzeuggeschwindigkeit kann anhand von verschiedenen Größen ermittelt werden. Beispielsweise wird ein Überschreiten der Fahrzeuggeschwindigkeit anhand eines Vergleichs der momentanen Fahrzeuggeschwindigkeit mit einer von der Aufnahmeeinheit 3 erfassten und/oder von Kartendaten ermittelten Geschwindigkeitsbegrenzung ermittelt.
-
Zusätzlich oder alternativ zur Identifizierung einer Überschreitung der Geschwindigkeitsbegrenzung kann eine zu hohe Kurvengeschwindigkeit ermittelt werden und analog zur Balkendarstellung der Fahrzeuggeschwindigkeit entsprechend mit mehreren verschiedenen Farben dargestellt werden.
-
Zusätzlich oder alternativ zur Einblendung der Überschreitung der Geschwindigkeitsbegrenzung und/oder Kurvengeschwindigkeit anhand von Zusatzinformationen Z mit entsprechender Einblendung des Balkens Z1 mit den Bereichen Z1.2, Z1.3 kann als weiteres Kriterium ein zu geringer Abstand zu einem vorausfahrenden Fahrzeug V und ein entsprechender Balken Z2, wie in 3 dargestellt, angezeigt werden. Die Länge als auch die Veränderung des Balkens Z2 korrespondiert dabei mit dem realen Abstand bzw. der Änderung des Abstandes.
-
Um den Energie-/Kraftstoffverbrauch zu reduzieren, kann die Fahrspur 5.1 modifiziert, insbesondere durch farbliche Änderungen hervorgehoben werden, um dem Fahrer zu signalisieren, ob er beschleunigen, abbremsen oder ausrollen lassen sollte. Sind insbesondere Ampelphasen von Ampeln an der vorausliegenden Fahrspur 5.1 bekannt, kann ein verbesserter Verkehrsfluss erreicht und gleichzeitig der Energie-/Kraftstoffverbrauch verringert werden, indem eine unnötige Beschleunigung vermieden wird. Ohne eine intuitive Informationsübermittlung wäre eine solche ständige Interaktion bei gleichzeitiger Wahrung der Aufmerksamkeit des Fahrers nicht möglich.
-
3 zeigt darüber hinaus als weitere Zusatzinformation Z eines entgegenkommenden Fahrzeugs F1 einen augmentierten Balken Z3, welcher anzeigt, mit welcher Geschwindigkeit, insbesondere Relativgeschwindigkeit das entgegenkommende Fahrzeug F1 fährt. Hierzu werden mittels einer Folge von aufgenommenen digitalen Bildern Bd und/oder Parametern anderer Sensoren die Relativgeschwindigkeit des entgegenkommenden Fahrzeugs F1 ermittelt und mittels Vergleich mit der eigenen Fahrzeuggeschwindigkeit ermittelt, ob es sich um ein entgegenkommendes oder ein stehendes Fahrzeug F1 handelt.
-
Alternativ zur Balkendarstellung kann die befahrene und/oder nicht befahrene und vorausliegende und/oder benachbarte Fahrspur 5.1 bzw. 5.2 augmentiert und beispielsweise farblich hervorgehoben werden.
-
Dabei kann die Hervorhebung der Fahrspuren 5.1, 5.2 auch ohne Navigationsziel erfolgen. Insbesondere werden die aktuelle eigene Fahrspur 5.1 sowie andere sichtbare Fahrspuren 5.2 in unterschiedlichen Farbtönen markiert.
-
Die Spurmarkierung durch die eingeblendeten Balken Z1 bis Z3 eignet sich nicht nur zur Navigation, sondern bietet eine geeignete Basis für eine intuitive Vermittlung zusätzlicher Informationen, etwa durch Färbung oder Animation, um den Fahrer zu unterstützen und Zustände und/oder Hinweise und/oder Informationen von Fahrassistenzsystemen zu visualisieren.
-
Die 2 und 3 zeigen eine Augmentierung der Fahrspuren 5.1, 5.2 durch die Zusatzinformationen Z1 bis Zx in dem digitalen Ausgabebild A und somit im Hintergrund H(A) aus der Vogelperspektive.
-
Die nachfolgenden 4, 6 bis 8 zeigen die Augmentierung eines vorausliegenden Verkehrsumfeldes aus der Fahrerperspektive in einem virtuellen, realitätsnahen Hintergrund H(A). Dieses Ausführungsbeispiel ist auch für eine Augmentierung des vorausliegenden Verkehrsumfeldes in einem realen Hintergrund H(Br) anwendbar, in welchem lediglich die Zusatzinformationen Z1 bis Zx in den realen Hintergrund H(Br) augmentiert werden.
-
4 zeigt ein weiteres Ausführungsbeispiel der Erfindung. Dabei wird das aufgenommene Bild B in das Ausgabebild A als Hintergrund H(A) derart transferiert, dass in dem Ausgabebild A die Umgebung U, d. h. im aufgenommenen digitalen Bild Bd identifizierte reale Objekte O1 bis Oz, wie Gebäude, Fahrbahnbegrenzungen, entgegenkommendes Fahrzeug F1, unverändert oder verändert, z. B. undurchsichtig oder teildurchsichtig, optisch verfremdet, insbesondere unscharf, weich gezeichnet, ausgegeben werden bzw. wird (in 4, 6 bis 8 – durch gestrichelte Linien dargestellt).
-
Zur Unterstützung des Betrachters, insbesondere eines Fahrers oder Beifahrers, können zu gewünschten oder relevanten Objekten O1 bis Oz zusätzliche Informationen als virtuelle Zusatzinformationen Z1 bis Zx eingeblendet werden, welche relativ zu dem jeweils zugehörigen Objekt O1 bis Oz positionsgenau/-analog und perspektivisch korrekt, nur positionsgenau/-analog oder nur richtungsgenau/-analog und/oder unabhängig und somit frei vom Hintergrund H(A) (dem Ausgabebild A oder der durchscheinenden Umgebung U) im Ausgabebild A eingeblendet werden.
-
Eine solche Darstellung ermöglicht eine ablenkungsarme, intuitive, einfach zu bedienende und graphisch ansprechende Anzeige 2.
-
In 4 sind beispielhaft als Objekte O1 bis Oz ein Parkhaus O1, ein abbiegendes Fahrzeug O2, Fahrbahnbegrenzungen O3 im Ausgabebild A dargestellt. Das Ausgabebild A kann eine einzelne momentane Bildausgabe oder eine Abfolge von mehreren momentan aufgenommenen digitalen Bildern Bd in Art einer Videosequenz sein, welche die Umgebung U bei der Fahrt des eigenen Fahrzeugs F entlang der eigenen Fahrspur 5.1 zeigt.
-
Über diese reale Wiedergabe der Umgebung U im Ausgabebild A kann dieses mit virtuellen Zusatzinformationen Z1 bis Zx überlagert werden. Die in 4 gezeigten Zusatzinformationen Z sind Navigationspfeile Z4 und Z5, welche anhand von Navigationsdaten eines nicht dargestellten Navigationssystems ermittelt und im Ausgabebild A eingeblendet werden. Dabei können die Zusatzinformationen Z4 und Z5 als 2D- und/oder 3D-Darstellungen eingeblendet.
-
Die Fahrbahnhervorhebungen durch Augmentierung anhand von eingeblendeten Zusatzinformationen Z1 bis Zx können dabei in verschiedenen Formen erfolgen, wie in 5 gezeigt:
Die Fahrspur 5.1 ist die eigene reale Fahrspur, auf welcher das eigene Fahrzeug fährt und welche im Hintergrund H(A) virtuell dargestellt wird.
-
Die virtuellen Zusatzinformationen Z1 bis Zx können in Form eines Teppichs (= Z8 (6), Z9 (7), Z13 (8)), einer Aneinanderreihung von Pfeilen (= Z4, Z5 (4), Z6, Z7 (6), Z10, Z11 (7)), einem über der Fahrbahn schwebenden Kabels oder dergleichen ausgebildet sein. Zudem kann die Hervorhebung dem Fahrer sowohl für reale Objekte Oz im Ausgabebild A als auch für die virtuellen eingeblendeten Zusatzinformationen Z1 bis Zx angezeigt werden.
-
Auch Sicherheitswarnungen, wie ein vorausliegendes Stauende oder eine Unfallstelle können durch Einblendungen von Zusatzinformationen Z1 bis Zx beispielsweise in Form von virtuellen Straßenverkehrszeichen Z8.1, Z8.2 (6) rechtzeitig vorangekündigt werden, ohne den Fahrer vom Straßenverkehr abzulenken.
-
Zusätzlich kann eine Empfehlung für zukünftige Fahrhandlungen visualisiert werden, beispielsweise um die eigene Fahrspur 5.1 zu wechseln. Gründe hierfür können ein liegengebliebenes Fahrzeug sein oder ein Rückstau von Abbiegern auf der eigenen Fahrspur 5.1.
-
Neben der eigenen Fahrspur 5.1 können auch andere Fahrspuren 5.2 mit zusätzlichen Informationen versehen werden. Bei mehrspurigen Straßen kann gekennzeichnet werden, welche Fahrspuren 5.1, 5.2 gerade befahrbar sind und welche zum Gegenverkehr gehören. Weiterhin kann visualisiert werden, ob aktuell auf der eigenen Fahrspur 5.1 überholt werden kann oder nicht. Unterstützt werden kann eine solche Darstellung über eine Hervorhebung der Fahrbahnmarkierungen (= Z5.3 in 3).
-
Eine Weiterbildung der Erfindung sieht vor, dass die Hervorhebung der eigenen Fahrspur 5.1 zu Navigationszwecken genutzt werden kann. Besonders in scharfen Kurven 5.3 stößt ein solches Verfahren aber an seine Grenzen, da die Navigationsanweisung implizit ist und erst spät erkannt werden kann.
-
Um diesen Nachteil zu kompensieren, können als Zusatzinformationen Z1 bis Zx virtuelle Leitplanken (nicht näher dargestellt) verwendet werden, deren Opazität in Abhängigkeit der Ausrichtung der Fahrspur 5.1 relativ zum Fahrzeug F geregelt wird. Befindet sich das Fahrzeug F auf einer Geraden, ist keine Einblendung von virtuellen Leitplanken nötig, da eine konventionelle Hervorhebung der eigenen Fahrspur 5.1 ausreicht. Aber je stärker die Richtung der vorausliegenden eigenen Fahrspur 5.1 von der aktuellen Fahrrichtung des eigenen Fahrzeugs F abweicht, desto opaker wird die Leitplanke, um den Fahrer auf die kommende Kurve 5.3 vorzubereiten.
-
Gleichfalls kann die Darstellung der Zusatzinformation in Abhängigkeit der Genauigkeit einer Poseschätzung erfolgen. Beispielsweise kann die Darstellung einer Zusatzinformation mit zunehmender Ungenauigkeit einer Poseschätzung transparenter erscheinen. Ebenso kann bei zunehmender Ungenauigkeit einer Poseschätzung eine andere Form der Visualisierung von Zusatzinformation erfolgen. Beispielsweise können bei ungenauer Poseschätzung Navigationshinweise dargestellt werden die keine spurgenaue Positionierung erfordern, beispielsweise herkömmliche Navigationspfeile.
-
6 bis 8 zeigen weitere Ausführungsformen der Erfindung.
-
So ist ferner vorgesehen, wie in 6 gezeigt, dass bei einem Heranfahren an eine unübersichtliche Kreuzung oder einen Kreisverkehr mit mehreren Fahrspuren 5.1, 5.2, 5.4, 5.5 und zusätzlicher Fahrbahn 6 für andere Verkehrsteilnehmer, z. B. eine Straßenbahn, dem insbesondere ortsunkundigen Fahrer durch Einblendungen von Zusatzinformationen Z6 bis Z8.2, in Form von Pfeilen Z6, Z7, Fahrteppich Z8 und Verkehrszeichen Z8.1, Z8.2 eine Orientierung gegeben wird.
-
Insbesondere werden Zusatzinformationen Z6 bis Z8.2 auch dann eingeblendet, wenn keine aktive Routenführung und entsprechende Empfehlungen für eine optimale Streckenwahl angezeigt werden. Somit ermöglicht die Erfindung mit oder ohne Routenführung, eine aktive Führung des eigenen Fahrzeugs F durch augmentierte Hinweise auf etwaige Fahrverbote und auf erlaubte und verbotene Fahrspuren 5.1 bis 5.4 zu unterstützen.
-
Die Erfindung gibt dem Fahrer somit auch ohne aktive Routenführung in Kreuzungen, Kreisverkehren, Plätzen oder anderen Abbiegesituationen mittels richtungs- oder kontaktanaloger Augmentierung von Zusatzinformationen Z6 und Z7 Empfehlungen für Fahrspuren 5.4 und 5.5, in welche er einfahren darf. Analog dazu werden als Zusatzinformationen Z8.1, Z8.2 Verbotshinweise bei Fahrspuren 5.2 und Fahrbahn 6, in welche der Fahrer nicht einfahren darf, beispielsweise weil es sich um eine Gegenfahrbahn oder um eine Fahrbahn anderer Verkehrsteilnehmer handelt, augmentiert dargestellt. Die Ausgestaltung der Augmentierung kann sich dabei, je nachdem, ob es sich um eine Empfehlung oder ein Verbot handelt, unterscheiden, beispielsweise in der Form- und/oder Farbgebung. Zusätzlich können entsprechende Symbole wie z. B. Warnhinweise eingeblendet werden, wie in 6 beispielhaft dargestellt.
-
In einer weiteren Ausgestaltung der Erfindung wird der Fahrer bei Abbiegemanövern über eine Gegenfahrbahn durch entsprechend augmentierte Hinweise Z9 bis Z13 eines augmentierten Abbiegeassistent (= Abbiegeassistenzfunktion der Verarbeitungseinheit 4) unterstützt, wie in 7 und 8 gezeigt.
-
Das Vorhaben des Fahrers für ein solches Abbiegemanöver oder zumindest die Wahrscheinlichkeit wird beispielsweise dadurch erkannt, dass der Fahrer beginnt, innerhalb seiner aktuellen Fahrspur 5.1 ohne unmittelbare sonstige Notwendigkeit abzubremsen und/oder sich an der dem Gegenverkehr zugeordneten Seite seiner Fahrspur 5.1 einzuordnen beginnt (also z. B. in Deutschland der linke Rand der rechten Fahrspur) und/oder beginnt, in Fahrtrichtung der Gegenfahrbahn zu blinken.
-
Eine weitere einfache Möglichkeit, zu erkennen, dass ein solches Abbiegemanöver bevorsteht, basiert auf der aktiven Routenführung. Sobald das Fahrzeug F sich der Abbiegesituation nähert, kann hier bereits mit einer bestimmten Vorlaufzeit der Abbiegeassistent aktiviert oder zumindest „scharfgeschaltet” werden.
-
Sobald der Abbiegeassistent mit einer bestimmten Wahrscheinlichkeit erkannt hat, dass ein Abbiegemanöver über die Gegenfahrbahn bevorsteht, wird die Verkehrssituation hinsichtlich des abbiegebedingten Gefahrenpotentials bewertet und dem Fahrer augmentiert dargestellt.
-
Falls z. B. das Abbiegemanöver durch nahenden Gegenverkehr gefährdet sein sollte, kann dementsprechend vor dieser Gefahr durch Einblendung einer Zusatzinformation Z12.1 gewarnt werden. Auch kann beispielsweise die angenommene Trajektorie des eigenen Fahrzeugs F augmentiert dargestellt werden, z. B. durch eine transparente oder opake Überlagerung/Einblendung der Zusatzinformationen Z9, Z10 und Z13, die perspektivisch korrekt auf der betreffenden Fahrspuroberfläche liegen, wie in 7 und 8 dargestellt.
-
Sobald ein entgegenkommendes Fahrzeug F1 oder ein anderes Hindernis den virtuellen Ort der Einblendungen einnehmen, kann zusätzlich mittels Verdeckungsrechnung der Transparenzgrad der Einblendung erhöht werden, um eine perspektivisch korrekte Darstellungsform zu unterstützen, wie in 7 beispielhaft gezeigt.
-
Zusätzlich können verschiedene Symbole eingeblendet werden wie z. B. Warnhinweise (= Z11 (Gegenverkehr), Z12.1 (Verkehrshinweis) oder eine virtuelle Stopplinie (= Z12), hinter der gerade noch keine Gefahr durch den Gegenverkehr besteht, siehe 7. Darüber hinaus können auch entgegenkommende Fahrzeuge F1 markiert und mit augmentierten Warnhinweisen versehen werden.
-
Sobald ein gefahrloses Abbiegen nach Einschätzung des Abbiegeassistenten möglich ist, beispielsweise sobald kein Gegenverkehr mehr vorhanden ist, verschwinden die Warnhinweise. Anschließend können verschiedene Symbole als Zusatzinformation Z10 eingeblendet werden, die dem Fahrer ein gefahrloses Abbiegen illustrieren.
-
Ebenso kann die Ausgestaltung der augmentierten Fahrtrajektorie variiert werden, z. B. kann die Trajektorie bei Gefahr rot (7) und ohne Gefahr grün (8) eingefärbt werden.
-
In einer weiteren Ausprägung der Erfindung können generell Fahrbahnen 6 augmentiert hervorgehoben werden, die bestimmten Verkehrsteilnehmern vorbehalten sind, z. B.:
- – dem öffentlichen Nahverkehr, wie Bus, Straßenbahn;
- – Rad- und Fußwege;
- – Rad- und Fußgängerüberwege, Zebrastreifen, Rad- und Fußgängerampeln;
- – Notfahrspuren (Emergency Lanes);
- – Fahrgemeinschaftsspuren mit Mindestbesetzungen an Mitfahrern (HOV Lanes).
-
Besonders in Abbiegesituationen können derartige Fahrspuren 5.1 bis 5.4, Fahrbahnen 5, 6 oder Überwege gesondert augmentiert werden, um den Fahrer auf eine besondere Beachtung und Aufmerksamkeit hinzuweisen.
-
In diesem Zusammenhang ist auch eine augmentierte Hinweisgebung möglich, beispielsweise kann der Fahrer in Abbiegesituationen generell durch eine augmentierte Visualisierung darauf hingewiesen werden, dass in der vorliegenden Abbiegesituation besonders auf Fußgänger und/oder Radfahrer, beispielsweise besonders seitlich neben dem eigenen Fahrzeug F, geachtet werden sollte.
-
In einer weiteren Ausprägung kann eine augmentierte Warnung erfolgen, sobald in einer Abbiegesituation beispielsweise seitlich neben dem eigenen Fahrzeug F Fußgänger und/oder Radfahrer detektiert werden. Zur Detektierung selbst können verschiedene Sensoriken wie z. B. Radar, Lidar, Ultraschall oder auch entsprechende Kameras unter Zuhilfenahme von Algorithmen der Bilderkennung verwendet werden.
-
Bezugszeichenliste
-
- 1
- Vorrichtung
- 2
- Ausgabeeinheit (Anzeige)
- 3
- Aufnahmeeinheit
- 4
- Verarbeitungseinheit
- 5
- Fahrbahn
- 5, 5.1 bis 5.5
- Fahrspur
- 6
- Fahrbahn
- A, An
- Ausgabebild
- Bd
- digitales Bild
- Br
- reales Bild
- F
- eigenes Fahrzeug
- F2
- entgegenkommendes Fahrzeug
- H(Br), H(A)
- Hintergrund
- O1 bis Oz
- Objekt
- U
- Umgebung
- V
- Vorausfahrendes Fahrzeug
- Z1 bis Zx
- Zusatzinformationen
-
ZITATE ENTHALTEN IN DER BESCHREIBUNG
-
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
-
Zitierte Patentliteratur
-
- DE 102011115739 A1 [0003]
