DE102008042397A1

DE102008042397A1 - Navigationssystem mit kontaktanaloger Anzeige

Info

Publication number: DE102008042397A1
Application number: DE102008042397A
Authority: DE
Inventors: Yiwen Yang; Lutz Bersiner; Mario Mueller-Frahm; Moez Selem; Peter Vogel; Gerrit De Boer; Andreas Engelsberg; Holger Modler
Original assignee: Robert Bosch GmbH
Current assignee: Robert Bosch GmbH
Priority date: 2008-09-26
Filing date: 2008-09-26
Publication date: 2010-04-01

Abstract

Vorgeschlagen wird ein Navigationssystem mit kontaktanaloger, ortskorrekter Anzeige für einen Nutzer, das tragbar ausgebildet ist, wobei ein Head-Up Display System ein auf dem Kopf des Nutzers getragenes Head-Mounted Display (4) umfasst und wobei eine Einrichtung zur Bestimmung der Blickrichtung des Nutzers (1) vorgesehen ist. Die im Display (4) dargestellten Anzeigeelemente umfassen eine menschenähnliche digitale Figur oder eine Teilfigur, die sich im Sichtfeld des Nutzers (1) derart bewegt, dass sie die vom Nutzer zu unternehmenden Handlungen in der Art eines virtuellen Führers (Avatar) (3) vorgibt.

Description

Stand der Technik
Die Erfindung betrifft ein Navigationssystem für einen Nutzer, mit Mitteln zur Erfassung einer Position des Nutzers und mit einem Head-Up Display System zur kontaktanalogen, ortskorrekten Darstellung von Anzeigeelementen, die einen Bezug zu den vom Nutzer zu unternehmenden Handlungen haben.
Ein derartiges Navigationssystem ist z. B. aus der DE 101 31 720 A1 bekannt.
Es sind tragbare Navigationsgeräte bekannt, die einen Fußgänger bei der Navigation z. B. in Innenstadtbereichen oder auch in Gebäuden unterstützen sollen. Derartige Geräte verfügen über eine auf GPS und einer digitalen Karte basierende Ortungseinrichtung sowie über eine Einheit, die die Route zu einem vom Nutzer gewählten Zielort berechnet. Die Route wird über eine Nutzerschnittstelle (z. B. visuell über den Bildschirm und/oder akustisch über Sprachausgabe) ausgegeben. Nachteilig hierbei ist, dass der Nutzer seinen Blick beziehungsweise seine Aufmerksamkeit kurzfristig von der realen Umgebung abwenden muss, um die entsprechenden Informationen aufzunehmen. Ferner müssen die Informationen, z. B. ein Abbiegepfeil und eine Entfernungsangabe, interpretiert werden, das heißt, der Nutzer muss einen Zusammenhang der Navigationsvorgaben mit der realen Umgebung herstellen.
Aus der DE 100 36 440 C2 ist ein tragbares Navigationsgerät bekannt, das eine Ausrichtungsermittlungseinrichtung zum Ermitteln der Ausrichtung des Gerätes relativ zu einer bekannten geographischen Richtung aufweist, so dass auf einem Bild schirm ein Pfeil erzeugt wird, der von der Position des Gerätes zum Zielort zeigt und somit leicht interpretierbar ist.
Bekannt sind außerdem Head-Up Displays (HUDs), bei denen insbesondere im Automobilbereich Informationen (z. B. Tachometer, Navigationshinweise), über einen geeigneten durchlässigen Spiegel (dem so genannten Combiner, das kann z. B. auch die Windschutzscheibe sein) ins Sichtfeld projiziert werden. Ein geeigneter Combiner kann aber auch durch das Glas einer Brille, die vom Nutzer getragen wird, realisiert werden. Solche Einrichtungen findet man z. B. bei Jetpiloten (auch Helmet Mounted Display genannt). In einfachen Ausführungen ist das Display selbst in das Brillenglas integriert. Solche sogenannten AR (Augmented Reality-) oder HUD-Brillen sind z. B. für Computerspiele erhältlich. Wird für beide Augen ein unterschiedliches Bild erzeugt, so kann man ein stereoskopisches Bild darstellen.
Die im HUD darzustellenden Informationen werden meist alphanumerisch oder durch Symbole dargestellt. Eine räumliche Beziehung zur im Sichtfeld liegenden Szene wird erst durch sogenannte „kontaktanaloge” Darstellungen, wie sie beim oben genannten gattungsgemäßen Stand der Technik realisiert sind, erreicht. Das aus der DE 101 31 720 A1 bekannte Navigationssystem ist in einem Fahrzeug eingebaut und blendet als Anzeigeelemente beispielsweise eine Markierung für eine Straße, in die abgebogen werden soll, so in die Windschutzscheibe ein, dass die Markierung ortskorrekt mit eben der Straße überlagert wird. Als ortskorrekte Darstellung wird demnach die korrekte Überlagerung der projizierten Objekte mit der realen Umgebung (Fahrzeugaußenraum) bezeichnet, d. h. die Darstellungen der Objekte werden genau an den Orten in das Blickfeld des Fahrers eingeblendet, wo das jeweilige reale Objekt zu sehen ist. Dabei ist es auch bekannt, die jeweilige Position des Fahrers, die jeweilige Kopfposition und/oder die Position der Augen und der Blickrichtung zu erfassen, um eine ortskor rekte Darstellung auch dann liefern zu können, wenn der Fahrer die Kopfposition ändert.
Offenbarung der Erfindung
Das erfindungsgemäße Navigationssystem für einen Nutzer ist in Anspruch 1 gekennzeichnet. Weiterbildungen und bevorzugte Maßnahmen ergeben sich aus den Unteransprüchen.
Bei dem erfindungsgemäßen Navigationssystem ist, über die gattungsgemäßen Merkmale hinaus, vorgesehen, dass das Navigationssystem tragbar ausgebildet ist, wobei das Head-Up Display System ein auf dem Kopf des Nutzers getragenes Head-Mounted Display aufweist, und wobei eine Einrichtung zur Bestimmung der Blickrichtung des Nutzers vorgesehen ist. Weiterhin erfindungsgemäß ist vorgesehen, dass die Anzeigeelemente eine menschenähnliche digitale Figur oder eine Teilfigur umfassen, die sich im Sichtfeld des Nutzers derart bewegt, dass sie die vom Nutzer zu unternehmenden Handlungen in der Art eines virtuellen Führers (Avatar) vorgibt. Der virtuelle Führer wird dem Nutzer also als Augmented Reality-Einblendung in die reale Welt projiziert.
Der Vorteil der Erfindung besteht zunächst darin, dass der Nutzer nicht auf das Display eines Navigationsgerätes schauen muss, um sich zu orientieren, beziehungsweise, dass der Nutzer in lauten Umgebungen nicht auf akustische Hinweise angewiesen ist. Der Nutzer sieht und versteht vielmehr unmittelbar, in welche Richtung er gehen, beziehungsweise welche Handlungen er zum Erreichen seines Zieles unternehmen muss. Die Interpretation eines akustischen Hinweises (z. B. ”Demnächst rechts abbiegen”) oder eines grafischen Symbols (z. B. Abbiegepfeil mit Entfernungsangabe) entfällt.
Gemäß einer vorteilhaften Ausführungsform der Erfindung zeigt der Avatar die Navigationsvorgaben mittels zielführender Ges ten an, beispielsweise durch Winken, oder durch das Ausstrecken eines Arms.
Gemäß einer als besonders vorteilhaft angesehenen Ausführungsform der Erfindung bewegt sich der Avatar vor dem Nutzer derart, beispielsweise einige Schritte weit, durch das Sichtfeld des Nutzers, dass er den Weg zu einem Ziel vorgibt.
Bei einer vereinfachten Ausführungsform ist der Avatar als Hand, also als menschenähnliche digitale Teilfigur, ausgebildet.
Die Einrichtung zur Bestimmung der Blickrichtung des Nutzers kann gemäß einer vorteilhaften Ausführungsform der Erfindung eine am Head-Mounted Display angeordnete Kamera, eine Speichereinheit, in der georeferenzierte Merkmale in Form von Bilddaten gespeichert sind, sowie eine Recheneinheit zur Orientierungsschätzung umfassen, wobei die Recheneinheit aus den Bildern der Kamera Bildmerkmale extrahiert und mit den gespeicherten georeferenzierten Merkmalen vergleicht und daraus die Blickrichtung des Nutzers ermittelt. Gemäß einer Weiterbildung dieser Ausführungsformen kann die Einrichtung zur Bestimmung der Blickrichtung zusätzlich wenigstens jeweils einen Beschleunigungs- und Neigungssensor aufweisen. Dadurch wird erreicht, dass der Avatar unabhängig von einer Veränderung der Blickrichtung nach vorheriger Blickrichtungsbestimmung mittels Kamera lagerichtig projiziert wird.
Es ist vorteilhaft, dass in Blickrichtung des Nutzers ein Hinweis eingeblendet wird, falls der Avatar in dieser Blickrichtung nicht kontaktanalog in das Sichtfeld hineinpassend darstellbar ist.
Kurze Beschreibung der Zeichnungen
1 zeigt eine Darstellung eines virtuellen Führers aus Sicht des Nutzers,
2 zeigt in einem Blockdiagramm den Aufbau des erfindungsgemäßen Navigationssystems.
1 zeigt eine Ausführungsform der Erfindung, bei der ein Nutzer 1 (Fußgänger), der eine auf seinem Kopf angeordnete HUD-Brille 4 trägt, in Richtung einer Straße 5 blickt, die eine Abzweigung nach rechts aufweist. Die Abzweigung führt zum in das Navigationssystem eingegebenen Zielort führt. Durch die HUD-Brille 4 hindurch blickend sieht der Nutzer 1 zum einen die vor ihm liegende reale Szene mit der Straße 5 und zum anderen, im aktiven Bereich des HUD 4, ein virtuelles Bild 2, in dem als Anzeigeelement ein virtueller Führer beziehungsweise Avatar 3 auftaucht. Wie in 1 erkennbar, wird der virtuelle Führer 3 der realen Szene derart überlagert, dass sich die richtige räumliche Beziehung zwischen dem Erscheinungsort des Avatars 3 im Blickfeld und der intendierten Navigationsvorgabe ergibt. Im gezeigten Beispiel scheint der Avatar 3 an der vom Nutzer 1 demnächst zu nehmenden Abzweigung zu stehen. Erkennbar ist außerdem die in die abzweigende Straße hinein weisende Geste, die der Avatar 3 mit seinem linken Arm ausführt.
2 zeigt in einem Blockdiagramm den Aufbau des erfindungsgemäßen Navigationssystems, das im Wesentlichen aus einem tragbaren Navigationsgerät 19 und einer HUD-Brille 4 besteht, die ein stereoskopisches Bild in der vom Nutzer 1 wahrgenommenen realen Szene anzeigen kann.
Über die Eingabeeinheit 14 gibt der Nutzer sein Ziel ein. Über einen Bildschirm beziehungsweise eine Sprachausgabe 11 können Informationen in konventioneller Weise ausgegeben werden. Mit Hilfe einer Ortungseinheit 6 wird aus GPS 17 und den Informationen weiterer Sensoren (Koppelnavigation, gegebenenfalls auch Mapmatching) die Position des Nutzers 1 geschätzt. Zusammen mit dem gewünschten Ziel kann nun in der Einheit 10 anhand digitaler Kartendaten 12 die Route in an sich bekannter Weise berechnet werden.
Aus den Routeninformationen wird berechnet, wie der virtuelle Führer 3 sich in der Szene bewegen soll. Der virtuelle Führer 3 ist eine menschenähnliche digitale Figur (Avatar), die nach Nutzergeschmack auch vom Nutzer 1 zu gestalten sein kann. Dieser Avatar 3 zeigt mit Gesten an, wenn der Nutzer z. B. abbiegen soll oder ein sonstiges Manöver durchführen soll (umkehren, einen Lift oder anderes Fortbewegungsmittel benutzen, „Ziel erreicht”, usw.). Der Avatar 3 kann auch virtuell, ein paar Schritte vor dem Nutzer 1, durch die Szene schreiten und so ebenfalls den Weg vorgeben.
Damit der Avatar 3 dem Nutzer 1 an der richtigen Position in der realen Welt erscheint, muss bekannt sein, in welche Richtung der Nutzer 1 blickt. Diese Orientierungsschätzung 18 geschieht gemäß dem hier dargestellten Ausführungsbeispiel auf der Basis eines an sich bekannten Bilderkennungsverfahrens, das zyklisch durchgeführt wird und mindestens eine robuste Schätzung der Blickrichtung liefert. Aus den Bildern einer in die HUD-Brille 4 integrierten Kamera 8 werden Bildmerkmale der Umgebung extrahiert. Geeignete Merkmale sind z. B. Ecken und Kanten statischer Objekte wie z. B. Häuser. Diese Bildmerkmale werden mit georeferenzierten Merkmalen, die in einer Datenbank 13 abgelegt sind, verglichen. Werden identische Merkmale gefunden, so kann daraus die Blickrichtung bestimmt werden. Zur Anpassung der projizierten Anzeigeelemente an die momentane, geänderte Blickrichtung können von Beschleunigungs- und Neigungssensoren 9 gelieferte Daten dienen.
Mit der so in der Ortungseinheit 6 ermittelten Position und Orientierung des Nutzers 1 kann nun der Avatar 3 vom Renderer (Zeicheneinheit) 16 lagerichtig in den Projektionseinheiten (Displays) 7 der AR-Brille 4 gezeichnet werden. Die Zeicheneinheit 16 ist des Weiteren mit einer Einheit 15 verbunden, die, in Abhängigkeit von der Routenberechnung 10, für die Animation des Avatars 3 sorgt.
Zusätzlich zum Avatar 3 können auch Symbole für die anstehenden Manöver kontaktanalog angezeigt werden, z. B. Richtungspfeile. Alternativ oder zusätzlich zu Symbolen kann auch die Route farblich markiert werden, so dass z. B. die Straßenoberfläche in einer markanten Farbe erscheint oder mit einer virtuellen Textur belegt wird.
Zusätzlich zu den genannten kontaktanalogen Anzeigeelementen können textuelle oder symbolische Informationen in die AR-Brille 4 eingeblendet werden. Die Informationen können sich auf die Route oder auch auf Objekte in der Szene beziehen, z. B. Hindernisse, Sehenswürdigkeiten, Zeit- und Entfernungsangaben, Straßennamen und so weiter.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

- DE 10131720 A1 [0002, 0006]
- DE 10036440 C2 [0004]

Claims

Navigationssystem für einen Nutzer, mit Mitteln (17) zur Erfassung einer Position des Nutzers (1) und mit einem Head-Up Display System zur kontaktanalogen, ortskorrekten Darstellung von Anzeigeelementen, die einen Bezug zu den vom Nutzer (1) zu unternehmenden Handlungen haben, dadurch gekennzeichnet, – dass das Navigationssystem tragbar ausgebildet ist, wobei das Head-Up Display System ein auf dem Kopf des Nutzers getragenes Head-Mounted Display (4) aufweist, und wobei eine Einrichtung zur Bestimmung der Blickrichtung des Nutzers (1) vorgesehen ist, – dass die Anzeigeelemente eine menschenähnliche digitale Figur oder eine Teilfigur umfassen, die sich im Sichtfeld des Nutzers (1) derart bewegt, dass sie die vom Nutzer zu unternehmenden Handlungen in der Art eines virtuellen Führers (Avatar) (3) vorgibt.
Navigationssystem nach Anspruch 1, dadurch gekennzeichnet, dass der Avatar (3) die Navigationsvorgaben mittels Gesten anzeigt.
Navigationssystem nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass der Avatar (3) sich derart durch das Sichtfeld des Nutzers (1) bewegt, dass er den Weg zu einem Ziel vorgibt.
Navigationssystem nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die Einrichtung zur Bestimmung der Blickrichtung des Nutzers eine am Head-Mounted Display (4) angeordnete Kamera (8), eine Speichereinheit (13), in der georeferenzierte Merkmale in Form von Bilddaten gespeichert sind, sowie eine Recheneinheit (18) zur Orientierungsschätzung umfasst, wobei die Recheneinheit (18) aus den Bildern der Kamera (8) Bildmerkmale extrahiert und mit den gespeicherten georeferenzierten Merkmalen vergleicht und daraus die Blickrichtung des Nutzers (1) ermittelt.
Navigationssystem nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die Einrichtung zur Bestimmung der Blickrichtung wenigstens jeweils einen Beschleunigungs- und Neigungssensor (9) aufweist.
Navigationssystem nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass in Blickrichtung des Nutzers (1) ein Hinweis eingeblendet wird, falls der Avatar (3) in dieser Blickrichtung nicht kontaktanalog in das Sichtfeld hineinpassend darstellbar ist.
Navigationssystem nach einem der Ansprüche 1 bis 6, dadurch gekennzeichnet, dass die Anzeigeelemente zusätzlich wenigstens ein kontaktanalog dargestelltes Symbol umfassen, das einen Bezug zu den vom Nutzer (1) zu unternehmenden Handlungen hat.
Navigationssystem nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass die Anzeigeelemente zusätzlich wenigstens eine kontaktanalog mit dem Sichtfeld synchronisierte Einblendung umfassen, die den Nutzer (1) bei der Ausführung der Navigationsvorgaben unterstützt.
Navigationssystem nach der Anspruch 8, dadurch gekennzeichnet, dass die Einblendung in einer flächigen Markierung eines vom Nutzer (1) zu beschreitenden Weges besteht.
Navigationssystem nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, dass weitere Informationen über die Route oder besondere Objekte in der Umgebung der Route in textueller oder symbolischer Form in das Head-Mounted Display (4) eingeblendet werden.