DE102018222265A1

DE102018222265A1 - Verfahren zur Berechnung der Bewegungsdaten einer Datenbrille, Datenbrille sowie Fahrzeug zur Verwendung bei dem Verfahren

Info

Publication number: DE102018222265A1
Application number: DE102018222265.7A
Authority: DE
Inventors: Sebastian Lampe; Kevin Thiel; Sarah Brauns; Dirk Koriath
Original assignee: Volkswagen AG
Current assignee: Volkswagen AG
Priority date: 2018-12-19
Filing date: 2018-12-19
Publication date: 2020-06-25

Abstract

Der Vorschlag betrifft ein Verfahren zur Berechnung der Bewegungsdaten einer Datenbrille (300) die ein Insasse eines Fahrzeuges (10) trägt, nachfolgend Kopfpose genannt. Mit der Datenbrille (300) werden Zusatzinformationen in das Sichtfeld des Insassen eingeblendet. Die Datenbrille (300) ist mit wenigstens einer Brillen-Messeinheit (322) ausgestattet, die die Kopfpose überlagert mit den Fahrzeugbeschleunigungen erfasst. Das Fahrzeug (10) ist mit einer Fahrzeug-Messeinheit (170) ausgestattet ist, die wenigstens die Beschleunigungen des Fahrzeuges (10) erfasst. In einer Recheneinheit (332) werden die Bewegungsdaten von Brillen-Messeinheit (322), korrigiert um die Bewegungsdaten der Fahrzeug-Messeinheit (170), mit den Bewegungsdaten einer weiteren fahrzeugseitig installierten Brillen-Messeinheit fusioniert, die die Kopfpose unbeeinflusst von den Fahrzeugbeschleunigungen erfasst.

Description

Der Vorschlag betrifft das technische Gebiet von Fahrerinformationssystemen, die auch unter dem Begriff Infotainmentsystem bekannt sind. Dabei geht es im Besonderen um den Einsatz einer Datenbrille zur Anzeige von Zusatzinformationen. Solche Systeme sollen zukünftig auch in Fahrzeugen eingesetzt werden. Der Vorschlag betrifft weiterhin eine entsprechend ausgelegte Datenbrille und ein entsprechend ausgelegtes Fahrzeug zur Verwendung bei dem Verfahren.
Zur Zeit wird intensiv an Technologien gearbeitet, die später ein autonomes Fahren ermöglichen sollen. Ein erster Ansatz ist dabei, den Fahrer nicht komplett von seinen Aufgaben zu entlasten, sondern dafür Sorge zu tragen, dass der Fahrer jederzeit die Steuerung des Fahrzeuges übernehmen kann. Der Fahrer nimmt außerdem Überwachungsfunktionen wahr. Durch neuere Technologien im Bereich der Fahrerinformationssysteme wie Head-Up Display (HUD) und Datenbrillen ist es möglich, den Fahrer besser über das Geschehen im Umfeld seines Fahrzeuges zu informieren.
Für die nahe Zukunft ist deshalb davon auszugehen, dass systemseitig durch den Einsatz neuerer Technologien (Fahrzeug-zu-Fahrzeug-Kommunikation, Einsatz von Datenbanken, Backend-Anbindung, Cloud-Dienste, Server-Einsatz, Fahrzeugsensorik, etc.) umfassende Informationen über Objekte (insb. Fahrzeuge) im sichtbaren und verdeckten / nicht sichtbaren Umfeld des eigenen Fahrzeugs verfügbar sein werden. Im Bereich Fahrzeugsensorik werden insbesondere die folgenden Komponenten genannt, die eine Umfeldbeobachtung ermöglichen: RADAR-Geräte entsprechend Radio Detection and Ranging, LIDAR-Geräte, entsprechend Light Detection and Ranging, hauptsächlich für den Bereich Abstandserfassung / -warnung, und Kameras mit entsprechender Bildverarbeitung für den Bereich der Objekterkennung. Diese Daten über die Umwelt können somit als Basis für systemseitige Fahrempfehlungen, Warnungen, etc. herangezogen werden. Beispielsweise sind so Anzeigen/Warnungen darüber denkbar, in welche Richtung (möglicherweise in die eigene Trajektorie) ein anderes, umgebendes Fahrzeug abbiegen will.
Die Fahrzeug-zu-Fahrzeug-Kommunikation ist mittlerweile auch mittels Mobilkommunikation mit Systemen wie LTE entsprechend Long Term Evolution möglich. Hier wurde von der Organisation 3GPP eine Spezifikation mit Namen LTE V2X verabschiedet. Als Alternative stehen auf WLAN-Technologie beruhende Systeme für die Fahrzeug-Direktkommunikation zur Verfügung, insbesondere das System nach WLAN p. Solche Systeme sind relevant für das Gebiet des „autonomen Fahrens“. Der Begriff „autonomes Fahren“ wird in der Literatur teilweise unterschiedlich benutzt.
Zur Klärung dieses Begriffs wird deshalb hier noch folgender Einschub präsentiert. Unter autonomem Fahren (manchmal auch automatisches Fahren, automatisiertes Fahren oder pilotiertes Fahren genannt) ist die Fortbewegung von Fahrzeugen, mobilen Robotern und fahrerlosen Transportsystemen zu verstehen, die sich weitgehend autonom verhalten. Es gibt verschiedene Abstufungen des Begriffs autonomes Fahren. Dabei wird auf bestimmten Stufen auch dann von autonomen Fahren gesprochen, wenn noch ein Fahrer im Fahrzeug befindlich ist, der ggfs. nur noch die Überwachung des automatischen Fahrvorgangs übernimmt. In Europa haben die verschiedenen Verkehrsministerien (in Deutschland war die Bundesanstalt für Straßenwesen beteiligt) zusammengearbeitet und die folgenden Autonomiestufen definiert.

• Level 0: „Driver only“, der Fahrer fährt selbst, lenkt, gibt Gas, bremst etc.
• Level 1: Bestimmte Assistenzsysteme helfen bei der Fahrzeugbedienung (u.a. ein Abstandsregelsystem - Automatic Cruise Control ACC).
• Level 2: Teilautomatisierung. U.a. automatisches Einparken, Spurhaltefunktion, allgemeine Längsführung, Beschleunigen, Abbremsen etc. werden von den Assistenzsystemen übernommen (u.a. Stauassistent).
• Level 3: Hochautomatisierung. Der Fahrer muss das System nicht dauernd überwachen. Das Fahrzeug führt selbstständig Funktionen wie das Auslösen des Blinkers, Spurwechsel und Spurhalten durch. Der Fahrer kann sich anderen Dingen zuwenden, wird aber bei Bedarf innerhalb einer Vorwarnzeit vom System aufgefordert, die Führung zu übernehmen. Diese Form der Autonomie ist auf Autobahnen technisch machbar. Der Gesetzgeber arbeitet darauf hin, Level 3-Fahrzeuge zuzulassen. Die gesetzlichen Rahmenbedingungen wurden dafür bereits geschaffen.
• Level 4: Vollautomatisierung. Die Führung des Fahrzeugs wird dauerhaft vom System übernommen. Werden die Fahraufgaben vom System nicht mehr bewältigt, kann der Fahrer aufgefordert werden, die Führung zu übernehmen.
• Level 5: Kein Fahrer erforderlich. Außer dem Festlegen des Ziels und dem Starten des Systems ist kein menschliches Eingreifen erforderlich.

Automatisierte Fahrfunktionen ab Stufe 3 nehmen dem Fahrer die Verantwortung für die Steuerung des Fahrzeugs ab. Von der Society of Automotive Engineers SAE gibt es eine ähnliche Definition der verschiedenen Autonomiestufen, die stattdessen verwendet werden kann.
Aufgrund der derzeitigen Entwicklung hin zu höheren Autonomiestufen, wo aber viele Fahrzeuge nach wie vor noch vom Fahrer gesteuert werden, ist davon auszugehen, dass entsprechende zusätzliche Informationen mittelfristig bereits für manuell geführte Fahrzeuge und nicht erst langfristig für hochautomatisierte Systeme genutzt werden können.
Für die Fahrer-Fahrzeug-Interaktion stellt sich hierbei die Frage, wie diese Informationen so dargestellt werden können, dass ein echter Mehrwert für den menschlichen Fahrer entsteht und er die bereitgestellten Informationen auch schnell, respektive intuitiv, verorten kann. Folgende Lösungen in diesem Bereich sind dabei schon aus dem Stand der Technik bekannt.
Eine Zukunftsvision in der Automobilbranche ist es, die Windschutzscheibe des eigenen Fahrzeugs mit virtuellen Elementen bespielen zu können, um dem Fahrer einige Vorteile zu ermöglichen. Genutzt wird die sogenannte „Augmented Reality“-Technologie (AR) oder „Mixed Reality“ (MR)-Technologie. Weniger geläufig ist der entsprechende deutschsprachige Begriff der „erweiterten Realität“ bzw. „gemischten Realität“. Dabei wird die reale Umgebung mit virtuellen Elementen angereichert. Das hat mehrere Vorteile: Der Blick nach unten, auf andere Displays als der Windschutzscheibe, entfällt, da viele relevante Informationen beim Blick durch die Windschutzscheibe erscheinen. So muss der Fahrer seinen Blick nicht von der Fahrbahn abwenden. Außerdem ist durch die positionsgenaue Verortung der virtuellen Elemente in der realen Umwelt ein geringerer kognitiver Aufwand seitens des Fahrers wahrscheinlich, da keine Interpretation einer Grafik auf einem gesonderten Display erfolgen muss. Hinsichtlich des automatischen Fahrens kann ebenfalls ein Mehrwert erzeugt werden. Diesbezüglich wird auf den Artikel „3D-FRC: Depiction of the future road course in the Head-Up-Display“ von C.A. Wiesner, M. Ruf D. Sirim und G. Klinker in 2017 IEEE International Symposium on Mixed and Augmented Reality hingewiesen, in dem diese Vorteile genauer erläutert werden.
Da die technologischen Mittel heutzutage entsprechend begrenzt sind, kann davon ausgegangen werden, dass mittelfristig keine voll bespielbaren Windschutzscheiben in Fahrzeugen anzutreffen sein werden. Zurzeit werden Head-Up Displays in den Fahrzeugen eingesetzt. Diese haben auch den Vorteil, dass das Bild des HUD näher an der realen Umwelt erscheint. Bei diesen Displays handelt es sich eigentlich um Projektionseinheiten, die ein Bild auf die Windschutzscheibe projizieren. Dieses Bild befindet sich jedoch aus der Sicht des Fahrers je nach Bauart des Moduls wenige Meter bis 15 Meter vor dem Fahrzeug.
Ein großer Vorteil der bisher bekannten „Augmented Reality“-Anzeigen (AR-Anzeigen) besteht darin, die entsprechenden Anzeigen direkt innerhalb bzw. als Teil der Umwelt darzustellen. Relativ naheliegende Beispiele beziehen sich meist auf den Bereich der Navigation. Während klassische Navigationsanzeigen (in herkömmlichen HUD) in der Regel schematische Darstellungen anzeigen (z.B. einen rechtwinklig verlaufenden Pfeil nach rechts als Zeichen dafür, dass bei nächster Gelegenheit rechts abgebogen werden soll, bieten AR-Anzeigen wesentlich effektivere Möglichkeiten. Da die Anzeigen als „Teil der Umwelt“ dargestellt werden können, sind äußerst schnelle und intuitive Interpretationen für den Nutzer möglich.
Solche Head-Up Displays haben noch den Nachteil, dass bei ihnen die HUD Einblendungen nur in einem Ausschnitt des realen Sichtfeldes des Fahrers möglich sind. Ein Problem besteht auch darin, dass wenn der Fahrer den Kopf dreht oder neigt, der Ausschnitt, in dem die HUD Einblendungen sichtbar sind, sich aus dem zentralen Blickbereich des Fahrers herausbewegt, so dass es für den Fahrer schwieriger wird, die eingeblendeten Informationen zu erfassen.
Zur Lösung dieser Probleme gibt es den Ansatz der Verwendung von Datenbrillen für Fahrerassistenzsysteme. Bei diesen kann das gesamte Sichtfeld des Fahrers mit virtuellen Einblendungen bespielt werden.
Zur Zeit sind Head-Mounted Displays (HMDs) nicht für den Einsatz in „bewegten Räumen“ konzipiert, z.B. in einem Fahrzeug oder anderen Verkehrsmitteln. Kommerziell verfügbare Systeme nutzen einen Ansatz bei dem z.B. zwei sogenannte Trackingsysteme zusammenarbeiten, von denen eines die Position des HMD im Raum und das andere die Orientierung bestimmen. Die (absolute) Position und Orientierung wird mit optischen Trackingverfahren bestimmt, die sich durch eine hohe Genauigkeit in der Positionsbestimmung aber insgesamt durch eine geringe Geschwindigkeit (samples per second) auszeichnen. Um die Genauigkeit der Orientierungsbestimmung zu erhöhen und die Geschwindigkeit zu steigern, werden zusätzlich inertiale Trackingverfahren benötigt. In statischen Räumen ist dieser Ansatz praktikabel, sehr robust und gut zur Darstellung von virtuellen Inhalten (mittels Virtual Reality [VR] HMD wie z.B. HTC Vive, Markenname des Unternehmens HTC) oder auch zur Überlagerung von physischen durch virtuelle Inhalte (mittels Augmented Reality [AR] HMD wie z.B. Microsoft HoloLens, Markenname des Unternehmens Microsoft) geeignet. Bewegt sich aber der Raum in dem sich der Benutzer eines dieser HMDs befindet, wie es z.B. in einem fahrenden Fahrzeug oder bei anderen Verkehrsmitteln der Fall ist, so passen die Informationen der beiden Trackingsysteme nicht mehr zueinander. Durch die Kräfte die bei einer Beschleunigung oder in Kurvenfahrten auftreten, registriert das inertiale Trackingsystem eine Bewegung, während das optische System davon unbeeinflusst bleibt und z.B. die Position des Benutzers als statisch annimmt. Dadurch entsteht ein starkes Schwimmen/Driften der Darstellung, wodurch der örtliche Bezug zwischen der Darstellung und der physischen Umgebung verloren geht. Außerdem kann es hierdurch schnell zu Übelkeitsgefühlen wie „Motion Sickness“ kommen.
Aus der DE 102014206626 A1 ist das Prinzip einer solchen Datenbrille für den Einsatz im Fahrzeug als Fahrerassistenzsystem bekannt. Die Brille ist mit einer elektronischen Sensor- und Recheneinheit ausgestattet. Diese beherbergt eine Einheit zur Messung von Drehraten- und Beschleunigungswerten. Ebenfalls weist die Datenbrille ein Kommunikationsmodul zur drahtlosen Kommunikation gemäß Bluetooth-Standard auf. Über das Kommunikationsmodul sendet die Brille die Messdaten an eine externe Steuereinheit. Die externe Steuereinheit empfängt fortlaufend Messdaten zum Lenkwinkeleinschlag sowie zur Beschleunigung des Fahrzeuges. Aus diesen Daten errechnet die Steuereinheit die Beschleunigung und Drehrate des Fahrzeuges. Die externe Steuereinheit subtrahiert die jeweils zum gleichen Zeitpunkt errechneten Beschleunigungen und Drehraten des Fahrzeuges von den Beschleunigungs- und Drehratenwerten die in der Brille gemessen wurden. Die Brille ist auch mit wenigstens einer Kamera ausgestattet. Aus der Änderung der Abbildung von Gegenständen im Fahrzeuginnenraum kann auf die Bewegung der Datenbrille, also auf die Kopfbewegung rückgeschlossen werden. Die Datenbrille wird zur Müdigkeitserkennung des Fahrers eingesetzt.
Aus der EP 2 660 645 A1 ist eine HMD-Brille bekannt, die mit Bewegungsdetektor ausgestattet ist. Damit wird die Kopfbewegung erfasst. Mit einem Hochpassfilter werden schnelleren Bewegungen des Kopfes ermittelt. Die Bildausgabe wird für solche schnelleren Bewegungen korrigiert.
Bei dem HMD, das aus der US 5,742,264 bekannt ist, ist zusätzlich noch ein „eye tracker“ vorhanden, der die Augenbewegungen und damit die eigentliche Blickrichtung erfasst. Dieser beeinflusst ebenfalls die Bildausgabe.
Aus der DE 10 2015 118 520 A1 ist eine HM D-Anzeigevorrichtung bekannt, die einen Stabilisator zur Stabilisierung der Einblendungsposition der virtuellen Bildinhalte gegenüber den realen Bildinhalten bei einer Bewegung der Anzeigevorrichtung umfasst. Dadurch kann einerseits die Latenzzeit zwischen der Erfassung einer Bewegung der Anzeigevorrichtung und der Stabilisierung der Einblendungsposition durch den Stabilisator minimiert werden. Der Stabilisator kann rein mechanisch oder als elektromechanischer Aktuator realisiert werden.
Von der Firma Microsoft ist die HoloLens-Datenbrille bekannt geworden. HOLOLENS ist eine eingetragene Marke des Unternehmens Microsoft. Diese Brille enthält auch eine Spezialrecheneinheit (Holographie Processing Unit HPU), die die Berechnung der Kopfpose durchführt basierend auf den Messwerten einer IMU-Einheit (Inertial Measurement Unit) die die Drehraten- und Beschleunigungssensoren der Datenbrille enthält sowie basierend auf den Videobildern die von den Videokameras, mit denen die Brille ausgestattet ist, geliefert werden. Mit den Videokameras wird die Umgebung der Brille aufgenommen. Was die Kameras aufnehmen, entspricht einem wesentlich größeren Bereich als dem, was für den Träger der Brille sichtbar ist. Der Ausschnitt, der bespielt wird, wird eben mit Hilfe der berechneten Kopfpose festgelegt. Die anzuzeigenden Bilder werden über eine grafische Prozessoreinheit GPU berechnet. Daneben ist auch eine Zentraleinheit CPU Teil der Brille, auf der bestimmte Anwendungsprogramme abgearbeitet werden. Es erfolgt noch eine Ausschnittanpassung bei den von der GPU berechneten und ausgegebenen Einblend-Bildern bevor sie tatsächlich zur Anzeige gebracht werden. Hierdurch erhöht sich die Genauigkeit der Bildausgabe, weil die Berechnung der auszugebenden Bilder eine gewisse Latenz bedingt und durch die fortgeführte Kopfbewegung sonst eine Ungenauigkeit bei der Bildausgabe resultieren würde. Bei der HoloLens-Brille geschieht das Anzeigen durch Darstellung auf speziellen Bildausgabe-Displays.
Die Vorteile und Gründe zur Nutzung von Augmented Reality (AR)- und Virtual Reality (VR)-HMDs in Fahrzeugen zur Personenbeförderung sind vielfältig.
Schon heute kann damit der Design- und Entwicklungsprozess beschleunigt und vereinfacht werden, indem Displays wie z.B. Head-up Displays (HUD) in frühen Phasen eines Fahrzeugprojekts in einem HMD visualisiert und erlebt/erfahren/getestet werden können, obwohl die Zielhardware noch nicht vorhanden ist. Während der Entwicklungsphase können so Prototypen bewertet werden und die Entwicklung der Display-Hardware und die der Einblendung von Zusatzinformationen parallel durchgeführt werden.
Ein weiterer Anwendungsbereich für solche HMD-Brillen sind professionelle Fahrer, wie z.B. LKW- oder auch Rennfahrer. Mithilfe dieser Technologie können dem Benutzer wichtige Informationen im direkten Bezug zur Umwelt angezeigt werden, wie z.B. die Ideallinie, Gefahrenstellen oder das Sichtbarmachen von Blindspots. Da aus Design- und Platzgründen in diesen Fahrzeugen keine HUDs verbaut werden können, wäre diese Art der Unterstützung der Fahrer zunächst nur durch den Einsatz von AR-HMDs möglich.
Der dritte Anwendungsbereich richtet sich an die Fahrer oder allgemein an die Passagiere aktueller und zukünftiger Fahrzeuge und Verkehrsmittel. Durch den Einsatz von AR-HMDs könnten die Bereiche aktueller Displays erweitert werden, ohne die Hardware zu verändern. Zukünftig könnte der Einsatz von physischen Displays reduziert werden, da viele der Anzeigen über das HMD geschehen können. In der Übergangsphase vom manuellen zum autonomen Fahren könnte z.B. durch die Anzeige von geplanten Manövern oder von Sensordaten des autonomen Fahrzeugs das Vertrauen in das Fahrzeug gestärkt werden, da der Fahrer diese Anzeigen im direkten Kontext zur Umwelt nachvollziehen kann.
Weiterhin könnten AR- und VR-HMDs zu Unterhaltungszwecken, z.B. zum Spielen von Computerspielen, Abspielen von Filmen etc. eingesetzt werden.
Bei der Verwendung von HMDs ist es wichtig, dass die Anzeigegeschwindigkeit hoch und die Latenz zwischen einer vom System erkannten Bewegung bis zur Anpassung der Darstellung auf dem Display gering ist. Wenn es nicht gegeben ist, kann dies zu den genannten Problemen wie Reisekrankheit (Motion Sickness) und Fehlausrichtungen zwischen physischer und virtueller Welt führen.
Die bekannten Lösungen sind mit verschiedenen Nachteilen behaftet. Dies wurde im Rahmen der Erfindung erkannt. Bei den heute bekannten Datenbrillen für den Einsatz im Fahrerassistenzbereich besteht das Problem, dass Kopfbewegung und Fahrzeugbewegung überlagert sind. Es kommt daher zu fehlerhaften Berechnungen der Kopfpose, wenn das Fahrzeug entlang einer oder mehrerer Richtungen positiv oder negativ beschleunigt (auch bei Kurvenfahrten oder bei Bodenunebenheiten). Da die Datenbrillen einen Bildausschnitt berechnen, wo die virtuellen Elemente eingeblendet werden, kann es durchaus passieren, dass der angezeigte Bildausschnitt fehlerhaft gewählt wird, selbst wenn Kopfbewegung und Fahrzeugbewegung erfasst werden.
Es besteht also der Bedarf für weitere Verbesserungen bei der Konstruktion von solchen Datenbrillen, insbesondere bei der hochgenauen Berechnung der Kopfpose unter Berücksichtigung der Fahrzeugbewegungen.
Die Erfindung setzt sich zur Aufgabe, einen solchen Ansatz zu finden. Diese Aufgabe wird durch ein Verfahren zur Berechnung der Bewegungsdaten der Datenbrille eines Insassen eines Fahrzeuges gemäß Anspruch 1, eine Datenbrille zur Verwendung des Verfahrens gemäß Anspruch 9 sowie ein Fahrzeug zur Verwendung bei dem Verfahren gemäß Anspruch 15 gelöst.
Die abhängigen Ansprüche beinhalten vorteilhafte Weiterbildungen und Verbesserungen der Erfindung entsprechend der nachfolgenden Beschreibung dieser Maßnahmen.
Die Lösung besteht in einem Verfahren zur Berechnung der Positions- und/oder Bewegungsdaten der Datenbrille eines Insassen eines Fahrzeuges, nachfolgend Kopfpose genannt. Der Insasse ist Träger der Datenbrille die dazu dient Zusatzinformationen in das Sichtfeld des Insassen einzublenden. Die Datenbrille ist mit wenigstens einer Brillen-Messeinheit ausgestattet, die die Bewegungen des Kopfes des Insassen erfasst. Das Fahrzeug ist mit einer Fahrzeug-Messeinheit ausgestattet, die wenigstens die Beschleunigungen des Fahrzeuges entlang der drei Translationsachsen und drei Winkelgeschwindigkeiten für die Drehraten entlang der Rotationsachsen erfasst. Nach dem Verfahren werden die Bewegungsdaten von Brillen-Messeinheit, um die Bewegungsdaten der Fahrzeug-Messeinheit korrigiert. Sodann erfolgt eine Datenfusion, mit den Bewegungsdaten einer weiteren fahrzeugseitig installierten Brillen-Messeinheit, die die Kopfpose unbeeinflusst von den Fahrzeugbeschleunigungen erfasst. Es findet also eine unabhängige Messung der Kopfpose durch eine fahrzeugseitig installierte Messeinheit statt. Bevorzugt kann es sich um ein optisches Messsystem handeln. Dadurch, dass ein unabhängiges Messsystem zur Messung der Kopfpose im Fahrzeug vorhanden ist, kann der Einfluss der Drift der Messwerte der Brillen-Messeinheit unterbunden, zumindest aber abgeschwächt werden.
Eine besonders vorteilhafte Erweiterung des Verfahrens besteht darin, dass eine Prädiktion der Kopfpose basierend auf einer Anzahl von aufeinanderfolgenden Kopfposenberechnungen erfolgt, wobei der Zeitpunkt, für den die Kopfpose prädiziert wird, dem Zeitpunkt der Anzeige der Einblendung der Zusatzinformationen durch die Datenbrille entspricht. Mit dieser Lösung kann das Latenzproblem von Datenbrillen verbessert werden, das dadurch entsteht, dass die Berechnung der Bilddaten einige Zeit früher geschieht als die tatsächliche Anzeige der Bilddaten, weil die Bilddaten erst zwischengespeichert werden müssen bevor sie in den Videospeicher geschrieben werden. Die Latenzen wirken sich so aus, dass die Einblendung nicht stabil an der Stelle im Sichtfeld des Insassen bleibt für die sie berechnet worden ist. Die Kopfbewegung wird ja typischerweise noch fortgeführt nach dem das Bild berechnet wurde bis zur Anzeige des Bildes. Dadurch ergeben sich Ungenauigkeiten bei der Einblendung der Zusatzinformationen.
Für die Verbesserung des Latenzproblems wird für die Berechnung der Bilder zur Erzeugung der Einblendung der Zusatzinformationen ein „Front Buffer Rendering“-Prozess durchgeführt wird, bei dem das Bild direkt in den Videospeicher der Anzeigeeinheit gerendert wird. Beim „Front Buffer Rendering“ kann die GPU die Pufferspeicher außerhalb des Bildschirms umgehen und direkt in den Videospeicher rendern, aus dem die Anzeige liest, um die Latenzzeit zu reduzieren. Das Rendern in den „Front Buffer“ erfordert eine sorgfältige Synchronisierung mit der Anzeige, um sicherzustellen, dass die GPU immer in die Speicherzellen schreibt, bevor die Anzeigeeinheit sie aus dem Videospeicher ausliest.
Eine weitere Verbesserung des Latenzproblems bringt die Maßnahme, dass für die Erzeugung der Einblendung der Zusatzinformationen wenigstens eine Anzeigeeinheit der Datenbrille in einem „Low Persistence“-Anzeigemode betrieben wird, bei dem die Anzeige des Bildes während des Schreibens von Daten in den Videospeicher dunkel getastet wird und die Anzeige des Bildes nach dem Schreiben der Daten in einer kurzen Periode bis zum Starten des nächsten Schreibvorgangs erfolgt.
In einer bevorzugten Variante wird für die Realisierung des „Low Persistence“-Anzeigemodes wenigstens eine LCD-Anzeigeeinheit verwendet, deren Hintergrundbeleuchtung während des Schreibens von Daten in den Videospeicher ausgeschaltet wird, und während der kurzen Anzeigeperiode eingeschaltet wird. Hier ist es vorteilhaft, dass die Hintergrundbeleuchtung als LED-Backlight-Hintergrundbeleuchtung realisiert wird.
Eine andere Anzeigeeinheit, die eingesetzt werden kann ist ein OLED-Display. OLED-Displays sind selbstleuchtende Displays, die ohne Hintergrundbeleuchtung betrieben werden. Die Leuchtphase der OLED-Displays kann variabel gesteuert werden, so dass eine Dunkeltastung während des Schreibens der Daten in den Videospeicher ebenfalls möglich ist.
Für das Verfahren ist es weiterhin von Vorteil, wenn die Korrektur der Bewegungsdaten der wenigstens einen Brillen-Messeinheit dadurch geschieht, dass der Anteil der Bewegungsdetektion, der auf der Fahrzeug-Beschleunigung beruht, von den Messwerten, die die wenigstens eine Brillen-Messeinheit ausgibt, abgezogen wird. So wird der Einfluss der Fahrzeugbewegung auf die Messwerte der Brillen-Messeinheit eliminiert. Es hat sich aber gezeigt, dass eine vollständige Eliminierung über einen längeren Zeitraum so nicht möglich, ist weil doch eine Drift der Messwerte auftritt.
In einer vorteilhaften Ausführungsform ist es vorgesehen, dass die weitere fahrzeugseitig installierte Brillen-Messeinheit die Kopfpose dadurch ermittelt, dass eine Anzahl von im Fahrzeug installierten Kameras die Position von einer Anzahl von Leuchtflecken ermittelt, die durch entsprechende Lichtquellen, die an der Datenbrille angebracht sind, erzeugt werden. Die Position der Leuchtflecken wird je nach Kopfpose unterschiedlich sein, so dass daran die Kopfpose bestimmt werden kann.
Diese Varianten haben auch den Vorteil, dass die weitere fahrzeugseitig installierte Brillen-Messeinheit dafür benutzt werden kann um im Stillstand des Fahrzeuges den Versatz zu messen, der sich aus der Differenz der Positions- und Bewegungsdaten, die die Brillen-Messeinheit ermittelt, und der fahrzeugseitig installierten Brillen-Messeinheit ergibt. Der Versatz kann dann zur Eichung der Brillen-Messeinheit benutzt werden.
Für eine Datenbrille die bei dem Verfahren verwendet werden kann, ist es vorteilhaft, dass sie eine Anzeigeeinheit aufweist, mit der virtuelle Zusatzinformationen in das Sichtfeld des Insassen eines Fahrzeuges eingeblendet werden können. Zusätzlich wird die Datenbrille mit wenigstens einer Brillen-Messeinheit ausgestattet, die die Bewegungen des Kopfes eines Insassen, nachfolgend Kopfpose genannt, erfasst. Die Datenbrille wird auch mit einer Schnittstelle für die drahtgebundene oder drahtlose Kommunikation mit einem Kommunikationsmodul des Fahrzeuges ausgestattet, wobei die Datenbrille über die Schnittstelle die Daten einer im Fahrzeug vorhandenen Fahrzeug-Messeinheit zur Messung von wenigstens den Fahrzeugbeschleunigungen empfängt. Zusätzlich ist vorgesehen, dass die Datenbrille über die Schnittstelle ebenfalls die Daten von einer fahrzeugseitig installierten Brillen-Messeinheit empfängt, und dass die Datenbrille eine Recheneinheit aufweist, in der die Bewegungsdaten von Brillen-Messeinheit, korrigiert um die Bewegungsdaten der Fahrzeug-Messeinheit, mit den Bewegungsdaten der fahrzeugseitig installierten Brillen-Messeinheit fusioniert werden. So kann der Einfluss der Drift der Messwerte verringert werden, wie dies bereits im Zusammenhang mit dem vorgeschlagenen Verfahren erklärt wurde.
In einer Variante ist es vorgesehen, dass die Datenbrille eine Anzahl von Lichtquellen aufweist, die zumindest zeitweise zum Leuchten gebracht werden. Die Positionen dieser Lichtquellen können von der fahrzeugseitig installierten Brillen-Messeinheit detektiert werden um die Kopfpose unabhängig von Einflüssen der Fahrzeugbewegung zu messen.
Die Lichtquellen können in einer bevorzugten Variante Infrarot-Leuchtdioden betreffen. Diese sind robust, können schnell geschaltet werden und benötigen weniger Energie.
Typischerweise wird die Brillen-Messeinheit als IMU-Sensoreinheit, entsprechend Inertial Measurement Unit ausgeführt. Solche Messeinheiten sind preisgünstig und genau, sie haben aber das Problem, dass die Kopfbewegung nicht unabhängig von den Fahrzeugbewegungen erfasst werden kann, weil das Messprinzip Trägheitseffekten unterliegt.
In einer besonders bevorzugten Variante weist die Datenbrille eine Recheneinheit auf, die eine Implementierung eines Prädiktionsalgorithmus aufweist, mit dem eine Prädiktion der Kopfpose basierend auf einer Anzahl von aufeinanderfolgenden Kopfposenberechnungen erfolgt, wobei der Zeitpunkt, für den die Kopfpose prädiziert wird, dem Zeitpunkt der Anzeige der Einblendung von Zusatzinformationen auf der wenigstens einen Anzeigeeinheit der Datenbrille entspricht. Dadurch kann das Latenzproblem bei der Anzeige der Zusatzeinblendungen verbessert werden. Dabei wird die die Recheneinheit der Datenbrille ausgelegt das Bild für die Einblendung der Zusatzinformation in Abhängigkeit von der prädizierten Kopfpose zu berechnen.
Für ein Fahrzeug zur Verwendung bei dem Verfahren ist es vorteilhaft, dass das Fahrzeug mit einer Fahrzeug-Messeinheit ausgestattet ist, die wenigstens die Beschleunigungen des Fahrzeuges erfasst. Des Weiteren wird das Fahrzeug mit einem Kommunikationsmodul für die drahtlose oder drahtgebundene Kommunikation mit einer Datenbrille ausgestattet, und es werden die Daten der Fahrzeug-Messeinheit über das Kommunikationsmodul an die Datenbrille übertragen. Eine Besonderheit besteht noch darin, dass das Fahrzeug eine zusätzliche Brillen-Messeinheit aufweist, die die Kopfpose unbeeinflusst von den Fahrzeugbeschleunigungen erfasst und an die Datenbrille überträgt.
Ausführungsbeispiele der Erfindung sind in den Zeichnungen dargestellt und werden nachfolgend anhand der Figuren näher erläutert.
Es zeigen:

1 eine Darstellung des Cockpits des Fahrzeuges mit Sensoren zur Erfassung von Kopfposen;
2 ein Blockschaltbild des Infotainment-Systems des Fahrzeuges;
3 eine Prinzipdarstellung für das Outside-In Tracking zur Erfassung der Kopfposen;
4 eine Darstellung der Sicht durch die Datenbrille wie sie sich für den Fahrer ergibt mit AR-Einblendungen;
5 eine Explosionsdarstellung der Datenbrille mit einigen Komponenten;
6 ein Blockschaltbild für eine Recheneinheit der Datenbrille;
7 eine Darstellung der typischen Arbeitsweise einer Datenbrille; und
8 eine Darstellung einer verbesserten Arbeitsweise einer Datenbrille gemäß des Vorschlages.

Die vorliegende Beschreibung veranschaulicht die Prinzipien der erfindungsgemäßen Offenbarung. Es versteht sich somit, dass Fachleute in der Lage sein werden, verschiedene Anordnungen zu konzipieren, die zwar hier nicht explizit beschrieben werden, die aber Prinzipien der erfindungsgemäßen Offenbarung verkörpern und in ihrem Umfang ebenfalls geschützt sein sollen.
1 zeigt das typische Cockpit eines Fahrzeuges 10. Dargestellt ist ein Personenkraftwagen Pkw. Als Fahrzeug 10 kämen allerdings beliebige andere Fahrzeuge ebenfalls in Betracht. Beispiele von weiteren Fahrzeugen sind: Busse, Nutzfahrzeuge, insbesondere Lastkraftwagen Lkw, Landmaschinen, Baumaschinen, Schienenfahrzeuge usw. Der Einsatz der Erfindung wäre allgemein bei Landfahrzeugen, Schienenfahrzeugen, Wasserfahrzeugen und Luftfahrzeugen inklusive Flugzeugen möglich.
In dem Cockpit sind zwei Anzeigeeinheiten eines Infotainment-Systems dargestellt. Es handelt sich um einen berührungsempfindlichen Bildschirm 30, der in der Mittelkonsole angebracht ist und das Kombiinstrument 110, welches im Armaturenbrett angebracht ist. Bei der Fahrt liegt die Mittelkonsole nicht im Sichtfeld des Fahrers. Deshalb werden die Zusatzinformationen während der Fahrt nicht auf der Anzeigeeinheit 30 eingeblendet.
Der berührungsempfindliche Bildschirm 30 dient dabei insbesondere zur Bedienung von Funktionen des Fahrzeugs 10. Beispielsweise können darüber ein Radio, ein Navigationssystem, eine Wiedergabe von gespeicherten Musikstücken und/oder eine Klimaanlage, andere elektronische Einrichtungen oder andere Komfortfunktionen oder Applikationen des Fahrzeugs 10 gesteuert werden. Zusammengefasst wird häufig von einem „Infotainment-System“ gesprochen. Ein Infotainment-System bezeichnet bei Kraftfahrzeugen, speziell Pkw, die Zusammenführung von Autoradio, Navigationssystem, Freisprecheinrichtung, Fahrerassistenzsystemen und weiterer Funktionen in einer zentralen Bedieneinheit. Der Begriff Infotainment ist ein Kofferwort, zusammengesetzt aus den Worten Information und Entertainment (Unterhaltung). Zur Bedienung des Infotainment-Systems wird hauptsächlich der berührungsempfindliche Bildschirm 30 („Touchscreen“) benutzt, wobei dieser Bildschirm 30 insbesondere von einem Fahrer des Fahrzeugs 10, aber auch von einem Beifahrer des Fahrzeugs 10 gut eingesehen und bedient werden kann. Unterhalb des Bildschirms 30 können zudem mechanische Bedienelemente, beispielsweise Tasten, Drehregler oder Kombinationen hiervon, wie beispielsweise Drückdrehregler, in einer Eingabeeinheit 50 angeordnet sein. Typischerweise ist auch eine Lenkradbedienung von Teilen des Infotainmentsystems möglich. Diese Einheit ist nicht separat dargestellt, sondern wird als Teil der Eingabeeinheit 50 betrachtet. Mit der Bezugszahl 152 sind IR-Detektoren bezeichnet, die bei dem Armaturenbrett angebracht sind. Diese Detektoren sind Teil des Outside-In Tracking Systems, mit dem der Fahrer oder der Beifahrer beobachtet wird. Ziel ist es die genaue Kopfpose des Fahrers oder Beifahrers zu erfassen. Das geschieht dadurch, dass mit den IR-Detektoren 152 die Intensität der IR-Strahlung gemessen wird, die von den Infrarot-Lichtquellen abgestrahlt wird, die an der HMD-Brille 300 angebracht sind. Bei jeder Kopfdrehung wird eine andere Intensität der IR-Strahlung gemessen. Aus den gemessenen Intensitätswerten kann auf die Kopfpose zurückgeschlossen werden.
2 zeigt schematisch ein Blockschaltbild des Infotainment-Systems 200 sowie beispielhaft einige Teilsysteme oder Applikationen des Infotainment-Systems. So umfasst die Bedienungs-Vorrichtung die berührungsempfindliche Anzeigeeinheit 30, eine Recheneinrichtung 40, eine Eingabeeinheit 50 und einen Speicher 60. Die Anzeigeeinheit 30 umfasst sowohl eine Anzeigefläche zum Anzeigen veränderlicher grafischer Informationen als auch eine über der Anzeigefläche angeordnete Bedienoberfläche (berührungssensitive Schicht) zum Eingeben von Befehlen durch einen Benutzer.
Die Anzeigeeinheit 30 ist über eine Datenleitung 70 mit der Recheneinrichtung 40 verbunden. Die Datenleitung kann nach dem LVDS-Standard ausgelegt sein, entsprechend Low Voltage Differential Signalling. Über die Datenleitung 70 empfängt die Anzeigeeinheit 30 Steuerdaten zum Ansteuern der Anzeigefläche des Touchscreens 30 von der Recheneinrichtung 40. Über die Datenleitung 70 werden auch Steuerdaten der eingegebenen Befehle von dem Touchscreen 30 zu der Recheneinrichtung 40 übertragen. Mit der Bezugszahl 50 ist die Eingabeeinheit bezeichnet. Ihr zugehörig sind die schon erwähnten Bedienelemente wie Tasten, Drehregler, Schieberegler, oder Drehdrückregler, mit deren Hilfe die Bedienperson über die Menüführung Eingaben machen kann. Unter Eingabe wird allgemein das Anwählen einer ausgewählten Menüoption verstanden, wie auch das Ändern eines Parameters, das Ein- und Ausschalten einer Funktion usw. Die Speichereinrichtung 60 ist über eine Datenleitung 80 mit der Recheneinrichtung 40 verbunden.
Die weiteren Teile des Infotainment-Systems Kamera 150, Radio 140, Navigationsgerät 130, Telefon 120 und Kombiinstrument 110 sind über den Datenbus 100 mit der Vorrichtung zur Bedienung des Infotainment-Systems verbunden. Als Datenbus 100 kommt die Highspeed-Variante des CAN-Bus nach ISO Standard 11898-2 in Betracht. Alternativ käme z.B. auch der Einsatz eines auf Ethernet-Technologie beruhenden Bussystems wie BroadR-Reach in Frage. Auch Bussysteme, bei denen die Datenübertragung über Lichtwellenleiter geschieht, sind einsetzbar. Als Beispiele werden genannt der MOST Bus (Media Oriented System Transport) oder der D2B Bus (Domestic Digital Bus). An den Datenbus 100 ist auch eine Fahrzeug-Messeinheit 170 angeschlossen. Diese Fahrzeug-Messeinheit 170 dient der Erfassung der Bewegung des Fahrzeuges, insbesondere der Erfassung der Beschleunigungen des Fahrzeuges. Sie kann als konventionelle IMU-Einheit, entsprechend Inertial Measurement Unit, ausgebildet sein. In einer IMU-Unit finden sich typischerweise Beschleunigungssensoren und Drehratensensoren wie ein Laser-Gyroskop, oder ein Magnetometer-Gyroskop. Hier wird noch erwähnt, dass die Kamera 150 als konventionelle Videokamera ausgelegt sein kann. In diesem Fall nimmt sie 25 Vollbilder/s auf, was bei dem Interlace-Aufnahmemodus 50 Halbbildern/s entspricht. Alternativ kann eine Spezialkamera eingesetzt werden, die mehr Bilder/s aufnimmt, um die Genauigkeit der Objekterkennung bei sich schneller bewegenden Objekten zu erhöhen oder die Licht in einem anderen als dem sichtbaren Spektrum aufnimmt. Es können mehrere Kameras zur Umfeldbeobachtung eingesetzt werden. Daneben könnten auch RADAR- oder LIDAR-Systeme ergänzend oder alternativ eingesetzt werden, um die Umfeldbeobachtung durchzuführen oder zu erweitern. Für die drahtlose Kommunikation nach innen und außen ist das Fahrzeug 10 mit einem Kommunikationsmodul 160 ausgestattet. Dieses Modul wird oft auch als On-Board Connectivity Unit OCU bezeichnet. Es kann für die Mobilfunk-Kommunikation, z.B. nach LTE Standard, entsprechend Long Term Evolution, ausgelegt sein. Ebenfalls kann es für WLAN-Kommunikation, entsprechend Wireless LAN, und Bluetooth-Kommunikation ausgelegt sein, sei es für die Kommunikation zu Geräten der Insassen im Fahrzeug oder für die Fahrzeug-zu-Fahrzeug Kommunikation etc. Mit der Bezugszahl 152 sind die IR-Detektoren bezeichnet, die im Bereich des Armaturenbretts angebracht sind. Sie können als IR-Kameras ausgebildet sein. Die Kameras erzeugen ein Bild, das keine sehr große Auflösung haben muss. Eine Auflösung von 382 x 288 Pixel ist vollkommen ausreichend für diesen Anwendungszweck. Auch die Bildauswertung kann bereits in der Kamera stattfinden. Es werden dabei die Koordinaten der verschiedenen Leuchtflecken bestimmt, die die IR-Kamera aufnimmt. Dies wird jetzt im Zusammenhang mit der der Datenbrille beschrieben.
3 zeigt eine Ansicht des Kopfes des Fahrers des Fahrzeuges 10, der eine Datenbrille 300 trägt. Die IR-Detektoren 152, die im Fahrzeug 10 angebracht sind, sind auf der linken Seite gezeigt. An der Brille 300 angebracht sind einige IR-Lichtquellen 342, die bevorzugt als IR-Leuchtdioden ausgeführt sind. Der prinzipielle Aufbau der Datenbrille 300 ist ebenfalls gezeigt. Sie ist so aufgebaut, dass sie eine Anzeigeeinheit 315 beinhaltet, die die Bilder für die Einblendungen der Zusatzinformationen anzeigt. Diese Bilder werden über einen halbdurchlässigen Spiegel 352 in das Sichtfeld der Person projiziert. Dazu befinden sich die Gläser 354 der Brille 300 im Strahlengang, die das entstehende Bild zu den Augen zurückspiegeln. Die Lichtflecken, die die IR-Detektoren 152 erfassen, stammen von den IR-Lichtquellen 342. Je nachdem, wie die Person ihren Kopf dreht, wird ein anderes Bild mit Lichtflecken von den IR-Detektoren 152 erfasst. Daraus kann die Kopfpose sehr genau, unbeeinflusst von Fahrzeugbewegungen, ermittelt werden. Die IR-Detektoren 152 liefern die Koordinaten der Leuchtflecken an die Recheneinheit 40 ab. Die Berechnung der Kopfpose erfolgt in der Recheneinheit 40 durch Auswertung der Koordinatenmuster. Dafür können in der Recheneinrichtung Look-Up Tabellen benutzt werden, die in der Speichereinheit 60 abgespeichert sind. Von dort werden sie per Kabel 326 an die Datenbrille 300 übertragen.
Da es sich um eine transparente Brille mit „Gläsern“ aus Glas oder Kunststoff oder einem anderen Material handelt, gestaltet sich die Sicht durch die Datenbrille wie in 4 gezeigt. Der Fahrer sieht die Straße auf der er fährt und die Umwelt des Fahrzeuges 10 durch die Scheiben des Fahrzeuges 10. Ebenso liegen in seinem Sichtfeld weite Teile des Cockpits, wie Lenkrad, Kombiinstrument 110, berührungsempfindliche Anzeigeeinheit 30 und die Bedieneinheit 50. In dem dargestellten Fall sind zwei AR-Einblendungen dargestellt, zum Einen wird ein bestimmtes Routen-Ziel auf der Straße markiert, zum Anderen ein Bedienungshinweis, der sich auf die Bedienungseinheit 50 unterhalb der Anzeigeeinheit 30 bezieht. Da beide Zusatzeinblendungen weit auseinander liegen, wäre eine derartige Darstellung mit einem Head-Up-Display z.Z. nicht möglich, weil diese nur einen bestimmten Teil des Sichtfeldes des Fahrers „bespielen“ können.
5 zeigt ein Blockschaltbild der erfindungsgemäßen Datenbrille 300. Die gezeigte Brille ist noch mit Kabelanschluss mit dem Bordrechner 40 verbunden. Die Daten werden ihr über verschieden Kabel 326, z.B. USB-Kabel zugeführt. Es sind zwei separate Anzeigeeinheiten 315 in der Brille 300 vorgesehen von denen jedes das Bild für ein Auge erzeugt. Die Anzeigeeinheiten sind direkt an dem Grundträger 310 der Datenbrille 300 montiert. Sie werden über Flachbandkabel an die Hauptplatine 330 angeschlossen. Darüber befindet sich ein Kunststoffträger auf dem die wiederaufladbaren Batterien 320 angebracht sowie eine Inertialmesseinheit IMU 322 und die Ansteuerelektronik 324 für die IR-Lichtquellen 342. Die Ansteuerelektronik 324 bringt die IR-Lichtquellen 342 in einem definierten Rhythmus zum Leuchten. Als Beispiel wird ein Rhythmus von 300 Hz genannt. Darüber ist die Hauptplatine 330 mit den Mikroprozessoren 332 und 334 gezeigt. Mit Bezugszahl 332 ist eine Zentraleinheit CPU bezeichnet die Steuerung der Komponenten der Datenbrille 300 übernimmt und für die Datenein- und -ausgabe wie auch für die Berechnung der Kopfpose und der Bilder zuständig ist. Weiterhin ist eine Grafikprozessoreinheit GPU 334 vorhanden, die für die Justierung der von der CPU 332 berechneten Bilder für die Einblendung der Zusatzinformationen zuständig ist. Darüber ist noch der Gehäusedeckel 340 gezeigt, wo an bestimmten Positionen 6 IR-Leuchtdioden angebracht sind. Weitere IR-Leuchtdioden 342 können am unteren Rand des Grundträgers 310 angebracht sein. Die Daten der IMU-Messeinheit 170 werden ebenfalls an die Datenbrille 300 über Verbindungskabel 326 übertragen. Die Daten werden dort mit den Daten der IMU-Messeinheit 322 der Brille verrechnet. Dazu kann eine Kalman-Filtereinheit eingesetzt werden, wie sie aus der parallelen Patentanmeldung der Anmelderin K25008 bekannt ist. Die IMU-Messeinheit 322 der Datenbrille 300 gibt Messwerte mit einer Rate von 600 Hz ab. Es kann dadurch die Kopfpose mit hoher Zeitauflösung gemessen werden. Allerdings sind die Messwerte ja verfälscht, weil auch die Beschleunigungen durch die Fahrzeugbewegungen mit erfasst werden. Zwar misst die IMU-Messeinheit 170 die Fahrzeugbeschleunigungen, und es kann eine Korrektur der Messwerte der Brillen IMU-Messeinheit 322 wie bei der K25008 beschrieben, erfolgen, trotzdem hat sich gezeigt, dass noch eine Drift der Messwerte verbleibt. Dies kann daran liegen, dass die Fahrzeug IMU-Messeinheit 170 die Fahrzeugbeschleunigungen typischerweise mit einer Frequenz von 600 bis 1000 Hz misst. Aus diesem Grund wird die Einführung eines zusätzlichen optischen Outside-In Tracking vorgeschlagen. Dieses wird benutzt, um das System der Messwertekorrektur von der IMU-Messeinheit 322 immer wieder zurückzusetzen, um die Drift der Messwerte zu verhindern. Dies kann so erfolgen, dass ein Kalman-Filter eingesetzt wird, der in 6 gezeigt ist.
Als Grundlage für die Berechnung der Kopfpose dienen auch die Daten, die von der IR-Detektoren 152 geliefert werden. Wie bereits erwähnt, wird die Lage der Leuchtpunkte, die von der Abstrahlung der IR-Leuchtdioden resultieren, durch Bildauswertung ermittelt. Da die Brille von 3 IR-Kameras beobachtet wird, kann die Orientierung der Datenbrille 300 im Raum hochgenau ermittelt werden. In 6 ist dargestellt, dass die Kopfpose, die von dem optischen Outside-In Tracking über die IR-Detektoren 152 geliefert wird, direkt an das Kalman-Filter 3328 in der Datenbrille 300 weitergeleitet wird. In dem gleichen Koordinatensystem wird eine zweite Kopfpose berechnet über die Daten, die die IMU-Messeinheit 322 der Brille liefert. Deren Daten werden in einer Filtereinheit 3322 geglättet. Parallel dazu werden die Daten der IMU-Messeinheit 170 in einer zweiten Filtereinheit 3324 geglättet. Durch Subtraktion in der Subtraktionsstufe 3326 wird der Einfluss der Bewegungskomponente des Fahrzeuges 10 in den Messdaten der IMU-Messeinheit 322 der Brille eliminiert. Bezüglich der unterschiedlichen Messraten von Brillen-Messeinheit 322 und Fahrzeug-Messeinheit 170 kann wie folgt vorgegangen werden. Das Fahrzeug-Messintervall ist wie beschrieben länger als das Brillen-Messintervall. Deshalb kann so vorgegangen werden, dass der zuletzt registrierte Messwert, den die Verarbeitung im Zweig der Fahrzeug-Messeinheit 170 geliefert hat, jeweils von jedem folgenden Messwert, im Zweig der Brillen-Messeinheit 314 abgezogen wird, bis ein neuer Messwert im Zweig der Fahrzeug-Messeinheit 170 eintrifft. In einer anderen Variante können Zwischenwerte durch Extrapolation der Messwerte berechnet werden. Dies kann in einer weiteren Stufe nach der Filterung der Daten in Filtereinheit 3324 erfolgen. Die Extrapolation kann auf der Fortführung des historischen Verlaufs beruhen. Die so kombinierten Messdaten von Fahrzeug-Messeinheit 170 und Brillen Messeinheit 322 ergeben eine Messung der Kopfpose. Diese Kopfposen-Messwerte werden in der nachfolgenden Kalman-Filtereinheit 3328 zusammen mit den Kopfposen-Messwerten, die von den IR-Detektoren 152 geliefert werden, fusioniert. Am Ausgang des Kalman-Filters 3328 wird die fusionierte Kopfpose ausgegeben. Die Kopfpose kann im allgemeinen Fall aus den Angaben für die 6 Freiheitsgrade (3 Ortskoordinaten für die translatorische Position plus 3 Rotationswinkel für die Orientierung) bestehen.
Die Position der Bilddaten an denen die Einblendung der Zusatzinformationen stattfinden soll wird in CPU 332 basierend auf den Angaben für die fusionierte Kopfpose berechnet.
Am Anfang muss allerdings eine genaue Registrierung der Lage der IMU-Messeinheit 322 innerhalb der Brille erfolgen. Das ist mit Hilfe des optischen Outside-In Tracking ebenfalls möglich. Dafür kann an der Brille ein spezielles Target angebracht werden, dessen Position über Bildauswertung erfasst wird. Dann wird der Versatz errechnet, der sich für die Auswertung der Daten der IMU-Messeinheit 322 der Brille ergibt. Während der Installation ist das Fahrzeug 10 unbeweglich, so dass keine Korrektur der Daten der IMU-Messeinheit 322 der Brille erforderlich ist. Dies braucht nur einmalig bei Installation durchgeführt werden. Die Einmessung kann an verschiedenen Stellen durch Bewegen der Brille erfolgen. Die Position der Fahrzeug IMU 170 kann als bekannt vorausgesetzt werden, weil die IMU-Messeinheit 170 an einem festen Verbauort im Fahrzeug 10 positioniert ist.
7 zeigt den Verarbeitungszyklus der verschiedenen Komponenten einer Datenbrille. Entlang der Abszisse ist die Zeit aufgeführt. In der oberen Zeile sind zwei aufeinanderfolgende Tracking-Vorgänge für die Brillen IMU-Messeinheit dargestellt. Eine Zeile darunter sind zwei Arbeitszyklen des Anwendungsprogramms gezeigt, das von der CPU abgearbeitet wird. Durch das Anwendungsprogramm werden die Daten für die Einblendung der Zusatzinformationen von der Fahrzeugelektronik übernommen, und es findet das Rendering des nächsten einzublendenden Bildes statt bei dem das Bild berechnet wird und in einem Speicher zwischengespeichert wird. In der dritten Zeile werden die zwischengespeicherten Daten durch die GPU bearbeitet. Es ist so, dass ein Versatz vorhanden ist. Erst schreibt die CPU das fertige Bild in den Zwischenspeicher, erst dann kann die GPU das Bild bearbeiten und in den Bildspeicher der Anzeigeeinheit schreiben. In der vierten Zeile sind die Phasen gezeigt wo von den Anzeigeeinheiten das Bild angezeigt wird. Dabei laufen die Tracking-Zyklen unsynchronisiert zu den Zyklen von Anwendungsprogramm und GPU. Dies führt zu dem Problem, dass das Anwendungsprogramm nicht unbedingt mit den aktuellen Ergebnissen des Tracking-Zyklus arbeiten kann und daher mit den älteren Tracking-Ergebnissen arbeiten muss. Schon dadurch wird die Genauigkeit der Einblendung der Zusatzinformationen verschlechtert. Zusätzlich kann es vorkommen, dass auch ein Anzeigezyklus verpasst wird, und sich dadurch die Ungenauigkeiten bei der Einblendung der Zusatzinformationen noch vergrößern.
8 zeigt jetzt den Verarbeitungszyklus in verbesserter Form, wie vorgeschlagen. Die Zeilenaufteilung ist genauso wie in 7. Zusätzlich sind die Tracking-Zyklen über die entsprechende Auslegung der Ansteuerelektronik 324 synchronisiert mit den Arbeitszyklen von CPU 332 und GPU 334. Der Vorgang des Rendering des von der CPU 332 zwischengespeicherten Bildes findet direkt im Anschluss durch die CPU 332 statt. Das Tracking wird verbessert. Es wird nämlich aus der ermittelten Kopfpose und einer oder mehreren vorhergehenden Kopfpose/n eine Kopfpose prädiziert. Es geht also darum abzuschätzen, wie die Kopfbewegung fortgeführt wird um dann das anzuzeigende Bild so vorzubereiten, dass es der vorhergesagten Kopfpose entspricht. Denn durch die Verarbeitungsweise liegen Trackingergebnis und Bildanzeige nicht zum gleichen Zeitpunkt vor. Das Trackingergebnis, dass zum Zeitpunkt t_T vorliegt, wird für den Zeitpunkt t_D prädiziert, wo auch das Bild angezeigt wird. Die GPU 334 führt mit dem fertig gerenderten Bild eine Late Latching und eine Time Warp Operation durch, beides Techniken, die aus der Virtual Reality Technologie bekannt sind. Danach erfolgt das Schreiben des geänderten Bildes in den Bildspeicher. Da das Schreiben zeilenweise erfolgt, und eine gewisse Zeit in Anspruch nimmt, wird ein Low Persistence-Anzeigemode eingesetzt, bei dem durch Abschalten des LED-Backlights der Anzeigeeinheiten 315 das Bild dunkel getastet wird, bis der Bildspeicher vollgeschrieben ist. Dann wird es nur noch in kurzer Zeit angezeigt. Dadurch erscheint zwar das Bild dunkler, aber es können keine Bewegungsartefakte auftreten. In einem Beispiel wird bei einem 90 Hz Display, bei dem ein Vollbild 11 ms dauert, das Bild in 9 ms in den Videospeicher geschrieben und nur während 2 ms angezeigt.
Wie beschrieben werden die Daten der IMU-Messeinheit 170 an die Datenbrille 300 übertragen. Statt diese Daten per Kabel 326 zu übertragen, kann in der Datenbrille 300 noch eine Drahtlos-Kommunikationseinheit vorgesehen werden. Die Drahtlos-Kommunikationseinheit kann als konventionelles WLAN-Modul für die Kommunikation nach WLAN n Standard oder WLAN ac Standard, entsprechend IEEE 802.11 n, ac ausgebildet sein. Alternativ könnte das Kommunikationsmodul nach einem anderen Kommunikationsstandard zur Drahtloskommunikation wie Bluetooth, entsprechend IEEE 802.15.1 Standard, Zigbee entsprechend IEEE 802.15.4 Standard oder UWB, entsprechend einer Variante der Ultra Wide Band Kommunikation ausgelegt sein. Die Variante mit einer Ultra Wide Band Kommunikation hätte den Vorteil der sehr energieeffizienten Übertragung der Daten, so dass der Akku der Datenbrille 300 weniger belastet werden würde. Auch sind da Beeinträchtigungen anderer drahtloser Übertragungen, wie sie in modernen Fahrzeugen vielfach stattfinden, z.B. für die Fahrzeug-zu-Fahrzeug-Kommunikation nicht zu erwarten. Dies liegt daran, dass die anderen Kommunikationen in schmalen Kanälen mit starker Energiekonzentration stattfinden, während die UWB-Kommunikation sehr breitbandig mit schwacher Energiekonzentration ist.
In einer anderen Variante können einige der oben beschriebenen Funktionen statt in der Datenbrille 300 von dem Bordrechner 40 im Fahrzeug berechnet werden. Insbesondere die Funktion der Berechnung der Kopfpose kann dort stattfinden. Dafür würden die Daten der IMU-Messeinheit 322 der Datenbrille 300 an den Bordrechner 40 übertragen. Dies kann drahtgebunden oder drahtlos erfolgen. Auch die Berechnung der Bilder für die Einblendungen von Zusatzinformationen in Abhängigkeit von der berechneten Kopfpose kann im Bordrechner 40 stattfinden. Dann ist es umgekehrt erforderlich, dass die berechneten Bilddaten zur Datenbrille 300 übertragen werden müssen.
Alle hierin erwähnten Beispiele wie auch bedingte Formulierungen sind ohne Einschränkung auf solche speziell angeführten Beispiele zu verstehen. So wird es zum Beispiel von Fachleuten anerkannt, dass das hier dargestellte Blockdiagramm eine konzeptionelle Ansicht einer beispielhaften Schaltungsanordnung darstellt. In ähnlicher Weise ist zu erkennen, dass ein dargestelltes Flussdiagramm, Zustandsübergangsdiagramm, Pseudocode und dergleichen verschiedene Varianten zur Darstellung von Prozessen darstellen, die im Wesentlichen in computerlesbaren Medien gespeichert und somit von einem Computer oder Prozessor ausgeführt werden können. Das in den Patentansprüchen genannte Objekt kann ausdrücklich auch eine Person sein.
Es sollte verstanden werden, dass das vorgeschlagene Verfahren und die zugehörigen Vorrichtungen in verschiedenen Formen von Hardware, Software, Firmware, Spezialprozessoren oder einer Kombination davon implementiert werden können. Spezialprozessoren können anwendungsspezifische integrierte Schaltungen (ASICs), Reduced Instruction Set Computer (RISC) und/oder Field Programmable Gate Arrays (FPGAs) umfassen. Vorzugsweise wird das vorgeschlagene Verfahren und die Vorrichtung als eine Kombination von Hardware und Software implementiert. Die Software wird vorzugsweise als ein Anwendungsprogramm auf einer Programmspeichervorrichtung installiert. Typischerweise handelt es sich um eine Maschine auf Basis einer Computerplattform, die Hardware aufweist, wie beispielsweise eine oder mehrere Zentraleinheiten (CPU), einen Direktzugriffsspeicher (RAM) und eine oder mehrere Eingabe/Ausgabe (I/O) Schnittstelle(n). Auf der Computerplattform wird typischerweise außerdem ein Betriebssystem installiert. Die verschiedenen Prozesse und Funktionen, die hier beschrieben wurden, können Teil des Anwendungsprogramms sein oder ein Teil, der über das Betriebssystem ausgeführt wird.
Die Offenbarung ist nicht auf die hier beschriebenen Ausführungsbeispiele beschränkt. Es gibt Raum für verschiedene Anpassungen und Modifikationen, die der Fachmann aufgrund seines Fachwissens als auch zu der Offenbarung zugehörend in Betracht ziehen würde.
Die Erfindung wird in den Ausführungsbeispielen am Beispiel des Einsatzes in Fahrzeugen genauer erläutert. Hier wird auch auf die Einsatzmöglichkeit bei Flugzeugen und Helikoptern zum Beispiel bei Landemanövern oder Sucheinsätzen etc. hingewiesen.
Die Technologie kann z.B. auch in Fahrgeschäften im Freizeitpark zum Einsatz kommen. Weiterhin sind generell Anwendungen in Bahn, Schiff, Flugzeug oder auch in zukünftigen Fortbewegungsmitteln vorstellbar, wie z.B. dem Konzept des Hyperloop. Generell in allen erdenklichen Transportmitteln, mit denen Menschen befördert werden.
Bezugszeichenliste

10: Fahrzeug
30: berührungsempfindliche Anzeigeeinheit
40: Recheneinheit
50: Eingabeeinheit
60: Speichereinheit
70: Datenleitung zur Anzeigeeinheit
80: Datenleitung zur Speichereinheit
90: Datenleitung zur Eingabeeinheit
100: Datenbus
110: Kombiinstrument
120: Telefon
130: Navigationsgerät
140: Radio
150: Kamera
152: IR-Kamera
160: Kommunikationsmodul
170: Fahrzeug-Messeinheit
200: Infotainment-System
300: Datenbrille
310: Brillengehäuse
315: Brillen-Anzeigeeinheit
320: Batterie
322: Brillen-Messeinheit
324: Ansteuerelektronik
326: Kabel
330: Brillen-Hauptplatine
332: Hauptprozessor
334: Grafikprozessor
340: Gehäusedeckel
342: IR-Lichtquellen
352: halbdurchlässiger Spiegel
354: Brillengläser
3322: 1. Filtereinheit
3324: 2. Filtereinheit
3326: Subtraktionsstufe
3328: Kalman-Filter

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102014206626 A1 [0015]
EP 2660645 A1 [0016]
US 5742264 [0017]
DE 102015118520 A1 [0018]

Zitierte Nicht-Patentliteratur

ISO Standard 11898-2 [0052]

Claims

Verfahren zur Berechnung der Bewegungsdaten einer Datenbrille (300) eines Insassen eines Fahrzeuges, nachfolgend Kopfpose genannt, mit der Zusatzinformationen in das Sichtfeld des Insassen eingeblendet werden, wobei die Datenbrille (300) mit wenigstens einer Brillen-Messeinheit (322) ausgestattet ist, die die Bewegungen des Kopfes des Fahrers erfasst, wobei das Fahrzeug (10) mit einer Fahrzeug-Messeinheit (170) ausgestattet ist, die wenigstens die Beschleunigungen des Fahrzeuges (10) erfasst, dadurch gekennzeichnet, dass die Bewegungsdaten von Brillen-Messeinheit (322), korrigiert um die Bewegungsdaten der Fahrzeug-Messeinheit (170), mit den Bewegungsdaten einer weiteren fahrzeugseitig installierten Brillen-Messeinheit (152) fusioniert werden, die die Kopfpose unbeeinflusst von den Fahrzeugbeschleunigungen erfasst.
Verfahren nach Anspruch 1, wobei eine Prädiktion der Kopfpose basierend auf einer Anzahl von aufeinanderfolgenden Kopfposenberechnungen erfolgt, wobei der Zeitpunkt, für den die Kopfpose prädiziert wird, dem Zeitpunkt der Anzeige der Einblendung der Zusatzinformationen durch die Datenbrille (300) entspricht.
Verfahren nach Anspruch 1 oder 2, wobei für die Berechnung der Bilder zur Erzeugung der Einblendung der Zusatzinformationen ein Front Buffer Rendering-Prozess durchgeführt wird, bei dem das Bild direkt in den Videospeicher der Anzeigeeinheit gerendert wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei für die Erzeugung der Einblendung der Zusatzinformationen wenigstens eine Anzeigeeinheit (315) der Datenbrille (300) in einem „Low Persistence“-Anzeigemode betrieben wird, bei dem die Anzeige des Bildes während des Schreibens von Daten in den Videospeicher dunkel getastet wird und die Anzeige des Bildes nach dem Schreiben der Daten in einer kurzen Periode bis zum Starten des nächsten Schreibvorgangs erfolgt. wobei für die Realisierung des „Low Persistence“-Anzeigemodes entweder ein LCD-Display verwendet wird, dessen Hintergrundbeleuchtung während des Schreibens von Daten in den Videospeicher ausgeschaltet wird, und während der kurzen Anzeigeperiode eingeschaltet wird oder ein OLED-Display dessen Leuchtphase so gesteuert wird, dass sie nur während der kurzen Anzeigeperiode zum Leuchten gebracht wird.
Verfahren nach Anspruch 4, wobei die Hintergrundbeleuchtung als LED-Backlight-Hintergrundbeleuchtung realisiert wird.
Verfahren nach Anspruch 5, wobei die Korrektur der Bewegungsdaten der wenigstens einen Brillen-Messeinheit (322) dadurch geschieht, dass der Anteil der Bewegungsdetektion, der auf der Fahrzeug-Beschleunigung beruht, von den Messwerten, die die wenigstens eine Brillen-Messeinheit (322) ausgibt, abgezogen wird.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die weitere fahrzeugseitig installierte Brillen-Messeinheit die Kopfpose dadurch ermittelt, dass eine Anzahl von im Fahrzeug (10) installierten Kameras (152) die Position von einer Anzahl von Leuchtflecken ermittelt, die durch entsprechende Lichtquellen, die an der Datenbrille (300) angebracht sind, erzeugt werden.
Verfahren nach einem der vorhergehenden Ansprüche, wobei die weitere fahrzeugseitig installierte Brillen-Messeinheit dafür benutzt wird um im Stillstand des Fahrzeuges (10) den Versatz zu messen, der sich aus der Differenz der Positions- und Bewegungsdaten, die die Brillen-Messeinheit (322) ermittelt, und die fahrzeugseitig installierte Brillen-Messeinheit ergibt, der Versatz zur Eichung der Brillen-Messeinheit (322) benutzt wird.
Datenbrille zur Verwendung bei dem Verfahren nach einem der vorhergehenden Ansprüche, aufweisend wenigstens eine Anzeigeeinheit (20), mit der virtuelle Zusatzinformationen in das Sichtfeld des Fahrers eines Fahrzeuges (10) eingeblendet werden können, mit wenigstens einer Brillen-Messeinheit (322), die die Bewegungen des Kopfes eines Insassen, nachfolgend Kopfpose genannt, erfasst, wobei die Datenbrille (300) eine Schnittstelle für die drahtgebundene oder drahtlose Kommunikation mit einem Kommunikationsmodul (160) des Fahrzeuges (10) aufweist, wobei die Datenbrille (300) über die Schnittstelle die Daten einer im Fahrzeug vorhandenen Fahrzeug-Messeinheit (170) zur Messung von wenigstens den Fahrzeugbeschleunigungen empfängt, dadurch gekennzeichnet, dass die Datenbrille (300) über die Schnittstelle ebenfalls die Daten von einer fahrzeugseitig installierten Brillen-Messeinheit empfängt, dass die Datenbrille eine Recheneinheit (332) aufweist, in der die Bewegungsdaten von Brillen-Messeinheit (322), korrigiert um die Bewegungsdaten der Fahrzeug-Messeinheit (170), mit den Bewegungsdaten der fahrzeugseitig installierten Brillen-Messeinheit fusioniert werden.
Datenbrille nach Anspruch 9, wobei die Datenbrille (300) eine Anzahl von Lichtquellen (342) aufweist, die zumindest zeitweise zum Leuchten gebracht werden deren Licht von der fahrzeugseitig installierten Brillen-Messeinheit detektiert werden soll.
Datenbrille nach Anspruch 9 oder 10, wobei die Lichtquellen (342) Infrarot-Leuchtdioden betreffen.
Datenbrille nach einem der Ansprüche 9 bis 11, wobei die wenigstens eine Brillen-Messeinheit (322) wenigstens aus einer IMU-Sensoreinheit, entsprechend Inertial Measurement Unit besteht.
Datenbrille nach einem der Ansprüche 9 bis 12, wobei die Recheneinheit (332) eine Implementierung eines Prädiktionsalgorithmus aufweist, mit dem eine Prädiktion der Kopfpose basierend auf einer Anzahl von aufeinanderfolgenden Kopfposenberechnungen erfolgt, wobei der Zeitpunkt, für den die Kopfpose prädiziert wird, dem Zeitpunkt der Anzeige der Einblendung von Zusatzinformationen auf der wenigstens einen Anzeigeeinheit (315) der Datenbrille (300) entspricht.
Datenbrille nach Anspruch 13, wobei die Recheneinheit (332) ausgelegt ist das Bild für die Einblendung der Zusatzinformation in Abhängigkeit von der prädizierten Kopfpose zu berechnen.
Fahrzeug zur Verwendung bei dem Verfahren nach einem der Ansprüche 1 bis 8, wobei das Fahrzeug (10) mit einer Fahrzeug-Messeinheit (170) ausgestattet ist, die wenigstens die Beschleunigungen des Fahrzeuges (10) erfasst, wobei das Fahrzeug (10) mit einem Kommunikationsmodul (160) für die drahtlose oder drahtgebundene Kommunikation mit einer Datenbrille (300) ausgestattet ist, und die Daten der Fahrzeug-Messeinheit (170) über das Kommunikationsmodul (160) an die Datenbrille (300) übertragen werden, dadurch gekennzeichnet, dass das Fahrzeug (10) eine zusätzliche Brillen-Messeinheit aufweist, die die Kopfpose unbeeinflusst von den Fahrzeugbeschleunigungen erfasst und an die Datenbrille (300) überträgt.