DE102019116089A1

DE102019116089A1 - Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille

Info

Publication number: DE102019116089A1
Application number: DE102019116089.8A
Authority: DE
Inventors: Eric Reum
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2019-06-13
Filing date: 2019-06-13
Publication date: 2020-12-17

Abstract

Die Erfindung betrifft ein Verfahren zum Betreiben eines Anzeigesystems mit einer Datenbrille in einem Kraftfahrzeug vorgesehen, mit folgenden Schritten:- Erfassen einer Brillenbewegungsinformation mit einer Brillenbewegungsangabe durch die Datenbrille;- Ermitteln einer aktuellen Brillenposenangabe in der Datenbrille abhängig von der Brillenbewegungsangabe;- Bereitstellen einer Korrekturinformation, die einen Richtungsvektor der Ausrichtung der Datenbrille bezüglich eines Fahrzeugkoordinatensystems angibt;- Korrigieren der Brillenposenangabe abhängig von der Brillenbewegungsangabe und der Korrekturinformation.

Description

Technisches Gebiet
Die Erfindung betrifft Datenbrillen, insbesondere zum Einsatz in einem Kraftfahrzeug. Die Erfindung betrifft weiterhin Maßnahmen zum Bereitstellen einer genauen Poseninformation in einer Datenbrille.
Technischer Hintergrund
Es sind Datenbrillen, auch Head-mounted Displays genannt, bekannt, die mithilfe einer Anzeigevorrichtung eine Abbildung auf einer oder zwei Anzeigeflächen im Blickfeld des Trägers der Datenbrille anzeigen können. Die Anzeigeflächen können Reflexionsflächen entsprechen, die Abbildungen in das Auge des Trägers der Datenbrille richten. Die Sichtöffnungen der Datenbrille sind transparent, so dass durch die Datenbrille die reale Umgebung in gewöhnlicher Weise wahrgenommen werden kann. Die Anzeigeflächen liegen in den Sichtöffnungen, so dass eine anzuzeigende Information, wie beispielsweise Text, Symbole, Graphiken, Videoanzeigen und dergleichen, die Wahrnehmung der Umgebung überlagernd angezeigt werden kann.
Die Informationen werden dem Träger der Datenbrille in der Regel kontaktanalog dargestellt, d.h. so dargestellt, dass diese als Objektinformation einem bestimmten zugeordneten Objekt in der Realumgebung überlagert ist bzw. an diesem orientiert ist oder dass die anzuzeigende Objektinformation in einer bestimmten Ausrichtung der Datenbrille bzw. deren Trägers angezeigt wird. Weiterhin kann die kontaktanaloge Objektinformation so dargestellt werden, dass sie in Bezug auf das Objekt in der Realumgebung perspektivisch korrekt erscheint, d.h. die Illusion entsteht, dass das Objekt der Realumgebung tatsächlich um das zusätzliche Merkmal der visuellen Objektinformation ergänzt wurde.
Um die Objektinformation entsprechend kontaktanalog auf den Anzeigeflächen der Datenbrille anzuzeigen, ist es notwendig, die Position des Objektes in der Umgebung und die Blickrichtung des Benutzers zu kennen. Die Blickrichtung des Benutzers ist beim Tragen der Datenbrille fest deren Pose zugeordnet, d.h. der 3D-Position als auch die 3D-Ausrichtung der Datenbrille.
Zur Bestimmung der Pose der Datenbrille kann z.B. in der Datenbrille eine Posenerkennungseinheit vorgesehen werden. Die Posenerkennungseinheit weist in der Regel eine Kamera und Recheneinrichtung, z.B. in Form eines Mikroprozessors auf. Mithilfe der Kamera aufgezeichnete Abbildungen der Umgebung des Trägers der Datenbrille kann basierend auf hinterlegten Abbildungen bzw. Strukturen des Fahrzeuginnenraums die Pose der Datenbrille im Fahrzeuginnenraum festgestellt werden. Diesen Vorgang nennt man auch Tracking.
So ist aus der Druckschrift DE 10 2014 206 623 A1 eine Vorrichtung zum Bestimmen der Pose einer Datenbrille bekannt, die eine Anzeige und eine Kamera umfasst. Die Vorrichtung ist ausgebildet, um Aufnahmen der Umgebung der Datenbrille mithilfe der Kamera zu erstellen, die Abbildung eines gespeicherten und vordefinierten Bereiches der Umgebung in den Aufnahmen der Kamera zu erkennen, ein Merkmal in der erkannten Abbildung des Bereiches zu erkennen und die Pose der Datenbrille unter Berücksichtigung des bestimmten Merkmals in den Aufnahmen zu bestimmen.
Derartige in der Datenbrille integrierte Posenerkennungseinheiten, die zur Erfassung der absoluten Pose ausgebildet sind, benötigen eine hohe Prozessorleistung und sind daher aufwändig zu realisieren. Dies führt zu einem hohen Baugewicht und/oder Bauvolumen der Datenbrille und das Bereitstellen der benötigten elektrischen Energie ist aufwändig zu realisieren.
Weiterhin kann die Pose einer Datenbrille auch durch eine externe Posenerkennungseinheit bestimmt werden, bei der eine Innenraumkamera den Kopf des Trägers der Datenbrille erfasst und durch Auswertung des Kamerabildes entweder die Pose des Kopfes ermittelt und davon die Pose der Datenbrille abgeleitet wird oder die Pose der Datenbrille direkt ermittelt wird. Bei diesen so genannten Outside-In-Tracking-Systemen besteht eine Schwierigkeit darin, die außerhalb der Datenbrille ermittelte absolute Posenangabe insbesondere bei einer drahtlosen Kommunikationsverbindung mit einer ausreichend geringen Latenz an die Datenbrille zu übermitteln, so dass die Datenbrille entsprechend kontaktanaloge Darstellungen verzögerungsfrei bzw. einer nicht störenden Verzögerung ausgeben kann. Außerdem kann aus der Pose des Kopfes des Trägers der Datenbrille nicht zuverlässig die Pose der Datenbrille ermittelt werden, da diese bezüglich des Kopfes variierende Orientierungen annehmen kann.
Rein kamerabasierte Tracking-Verfahren sind zudem stark abhängig von der Belichtungssituation im Fahrzeuginnenraum und benötigen zusätzliche Vorkehrungen und weitere Sensorik für den Betrieb bei Nacht und bei starkem Sonnenlicht.
Es sind nicht-kamerabasierte Posenerkennungseinheiten in Datenbrillen bekannt, die einen Beschleunigungssensor in der Datenbrille nutzen. Die Pose der Datenbrille wird dann durch Integration und Akkumulieren von Bewegungen der Datenbrille inkrementell ermittelt. Bei einem solchen Ansatz besteht eine Schwierigkeit darin, dass bei Tragen der Datenbrille innerhalb eines sich bewegenden Kraftfahrzeugs die Beschleunigungssensoren nur eine Gesamtbeschleunigung relativ zur Umgebung/Umwelt erfassen und daraus lediglich Bewegungsgeschwindigkeiten relativ zur Umgebung/Umwelt ermitteln können. Anhand der Messung der Beschleunigung innerhalb der Datenbrille ist die Bewegung der Datenbrille relativ zu einem Fahrzeugkoordinatensystem nicht ohne Weiteres ermittelbar.
Da bei der ausschließlichen Verwendung eines Beschleunigungssensors zur Posenermittlung nur relative Bewegungen seit der letzten Verfügbarkeit einer absoluten Posenangabe ausgewertet werden, unterliegt die Posenbestimmung basierend auf Beschleunigungssensoren aufgrund der notwendigen Integrationsoperationen einer Drift über der Zeit, so dass die ermittelte Pose immer ungenauer wird, je länger keine absolute Posenangabe als Referenz bereitgestellt wird.
Für die kontaktanaloge Darstellung ist jedoch eine möglichst genaue Kenntnis der Pose der Datenbrille in Bezug zu dem Fahrzeugkoordinatensystem notwendig. Abweichungen zwischen der tatsächlichen Pose und der ermittelten Posenangabe führen zu einer Fehldarstellung von kontaktanalogen Informationsobjekten in der Datenbrille, was ggfs zu Übelkeit des Benutzers führen kann.
Aus der Druckschrift DE 10 2015 208 737 A1 ein Head-up-Display für ein Fahrzeug bekannt, wobei das Head-up-Display ausgestaltet ist, um eine Relativbewegung des Kopfes des Fahrers zu dem Head-up-Display auszugleichen, um eine Relativbewegung zwischen dem virtuellen Bild und dem Kopf des Fahrers zu verringern. Die Relativbewegung zwischen der Projektionseinheit und einem Kopf des Fahrers wird mithilfe eines Gyrosensors erfasst.
Es ist Aufgabe der vorliegenden Erfindung, eine Datenbrille und ein Anzeigesystem mit einer Datenbrille zur Verfügung zu stellen, bei der eine Posenangabe der Datenbrille in ressourcenschonender Weise und mit höherer Genauigkeit bereitgestellt werden kann. Insbesondere ist es eine Aufgabe, das die für die Posenerkennung benötigte Rechenkapazität zu reduzieren und/oder den Bedarf an elektrischer Energie zu begrenzen/verri ngern.
Offenbarung der Erfindung
Diese Aufgabe wird durch das Verfahren zum Betreiben einer Datenbrille gemäß Anspruch 1 sowie durch das Verfahren zum Betreiben eines Anzeigesystems, eine Datenbrille und ein Anzeigesystem gemäß den nebengeordneten Ansprüchen gelöst.
Weitere Ausgestaltungen sind in den abhängigen Ansprüchen angegeben.
Gemäß einem ersten Aspekt ist ein Verfahren zum Betreiben eines Anzeigesystems mit einer Datenbrille in einem Kraftfahrzeug vorgesehen, mit folgenden Schritten:

- Erfassen einer Brillenbewegungsinformation mit einer Brillenbewegungsangabe durch die Datenbrille;
- Ermitteln einer aktuellen Brillenposenangabe in der Datenbrille abhängig von der Brillenbewegungsangabe;
- Bereitstellen einer Korrekturinformation, die einen Richtungsvektor der Ausrichtung der Datenbrille bezüglich eines Fahrzeugkoordinatensystems darstellt;
- Korrigieren der Brillenposenangabe abhängig von der Brillenbewegungsangabe und der Korrekturinformation.

Weiterhin kann die Korrekturinformation ermittelt werden, indem eine Fahrzeugbewegungsinformation mit einer Fahrzeugbewegungsangabe bereitgestellt wird und indem der Richtungsvektor der Ausrichtung der Datenbrille aus der Fahrzeugbewegungsinformation bestimmt wird, wobei die Korrekturinformation abhängig von dem Richtungsvektor der Ausrichtung der Datenbrille.
Das obige Verfahren zum Betreiben der Datenbrille dient zur Bereitstellung einer aktuellen Brillenposenangabe, die einer absoluten Pose der Datenbrille in Bezug zu einem Fahrzeugkoordinatensystem entspricht, in der Datenbrille. Das Verfahren korrigiert eine über eine Brillenbewegungsinformation ermittelte Brillenposenangabe über die Pose der Datenbrille mithilfe einer Fahrzeugbewegungsinformation über eine Bewegung des Kraftfahrzeugs, in dem sich der Benutzer der Datenbrille befindet.
Das Verfahren kann einen in der Datenbrille vorgesehenen Beschleunigungssensor nutzen, um durch Integration Bewegungsgeschwindigkeitsinkremente der Datenbrille relativ zur Umgebung zu ermitteln und ermöglicht so eine Bestimmung der Brillenpose durch Akkumulation der Bewegungsgeschwindigkeitsinkremente. Dies ermöglicht das Bereitstellen einer Brillenposenangabe ohne aufwändige, in der Datenbrille angeordnete Einrichtungen, so dass ein energieeffizienter Betrieb für die Posenermittlung möglich ist. Die so erhaltene Brillenposenangabe wird nun durch eine extern ermittelte Fahrzeugbewegungsinformation korrigiert, so dass Fehler und Ungenauigkeiten der Bestimmung der Brillenposenangabe, die sich aufgrund der inkrementellen Ermittlung der Brillenposenangabe über der Zeit verstärken, reduziert werden.
Insbesondere erlaubt das obige Verfahren, auf eine Kamera oder eine sonstige optische Detektoreinrichtung für eine Posenerkennung in der Datenbrille zu verzichten. Durch den Wegfall einer Kamera in der Datenbrille sind die technischen Anforderungen hinsichtlich Bauvolumen, Baugewicht, Rechenleistung und Energieversorgung in der Datenbrille deutlich geringer, so dass gegebenenfalls auch Datenbrillen unterschiedlicher Hersteller und auch mehrere Datenbrillen gleichzeitig in einem solchen Anzeigesystem unterstützt werden können.
Weiterhin kann das Korrigieren basierend auf zu gleichen Zeitpunkten erfassten Brillenbewegungsangaben und Fahrzeugbewegungsangaben durchgeführt werden.
Insbesondere kann die Brillenbewegungsinformation einen Zeitstempel umfassen der einem Zeitpunkt des Erfassens der durch die Brillenbewegungsangabe angegebenen relativen Bewegung der Datenbrille bezüglich der Fahrzeugumgebung entspricht, wobei die Fahrzeugbewegungsinformation einen Zeitstempel umfasst, der einem Zeitpunkt des Erfassens der durch die Fahrzeugbewegungsangabe angegebenen relativen Bewegung des Kraftfahrzeugs bezüglich der Fahrzeugumgebung entspricht, wobei die gleichen Zeitpunkte der erfassten Brillenbewegungsangabe und der erfassten Fahrzeugbewegungsangabe basierend auf den Zeitstempeln ermittelt wird.
Gemäß einer Ausführungsform kann in der Datenbrille eine Kommunikationsverzögerungsangabe bereitgestellt werden, die die Zeitdauer zwischen dem Erfassen der Fahrzeugbewegungsangabe und der Brillenbewegungsangabe angibt, so dass das Korrigieren weiterhin basierend auf der Kommunikationsverzögerung durchgeführt wird.
Insbesondere kann die Kommunikationsverzögerungsangabe als ein zeitlicher Versatz bestimmt werden, der sich durch Anwenden einer Autokorrelationsfunktion zwischen Verläufen einer Fahrzeugbewegungsangabe und einer Brillenbewegungsangabe ergibt.
Es kann vorgesehen sein, dass die Brillenbewegungsangabe mit einer erfassten Beschleunigung der Datenbrille in einer oder mehreren Raumrichtungen bestimmt wird und/oder wobei die Fahrzeugbewegungsangabe aus einer erfassten Beschleunigung des Kraftfahrzeugs in einer oder mehreren Raumrichtungen bestimmt wird.
Weiterhin kann das Korrigieren durchgeführt werden, indem ein Fahrzeugbeschleunigungsrichtungsvektor in Raumrichtung aus der Fahrzeugbewegungsangabe bestimmt wird, wobei die Brillenposenangabe abhängig von dem Fahrzeugbeschleunigungsrichtungsvektor korrigiert wird.
Insbesondere kann das Korrigieren durchgeführt werden, indem die Brillenbewegungsangabe tiefpassgefiltert wird und ein Brillenbeschleunigungsrichtungsvektor aus der tiefpassgefilterten Brillenbewegungsangabe ermittelt wird, wobei der Brillenbeschleunigungsrichtungsvektor mit dem Fahrzeugbeschleunigungsrichtungsvektor gleichgesetzt wird oder durch diesen inkrementell angepasst wird, um die korrigierte Brillenposenangabe zu erhalten.
Gemäß einem weiteren Aspekt ist eine Datenbrille in einem Anzeigesystem in einem Kraftfahrzeug vorgesehen, umfassend:

- eine Kommunikationseinheit, die ausgebildet ist, um eine Fahrzeugbewegungsinformation mit einer Fahrzeugbewegungsangabe zu empfangen;
- eine Brillenbewegungssensorik, um eine Brillenbewegungsinformation mit einer Brillenbewegungsangabe zu erfassen;
- eine Steuereinheit, die ausgebildet ist, um eine aktuelle Brillenposenangabe in der Datenbrille abhängig von der Brillenbewegungsangabe zu ermitteln, um eine Korrekturinformation bereitzustellen, die einen Richtungsvektor der Ausrichtung der Datenbrille angibt und um die Brillenposenangabe abhängig von der Brillenbewegungsangabe und der Korrekturinformation zu korrigieren.

Figurenliste
Ausführungsformen werden nachfolgend anhand der beigefügten Zeichnungen näher erläutert. Es zeigen:

1 eine schematische Darstellung eines Anzeigesystems mit einer Datenbrille und einer Assistenzeinrichtung zum Einsatz in einem Kraftfahrzeug;
2 eine Draufsicht auf ein Kraftfahrzeug zum schematischen Darstellen einer Abweichung zwischen den Richtungen der Beschleunigungsvektoren; und
3 ein Flussdiagramm zur Veranschaulichung eines Verfahrens zum Betreiben des Anzeigesystems.

Beschreibung von Ausführungsformen
1 zeigt eine schematische Darstellung eines Anzeigesystems 1 insbesondere zum Einsatz in einem Kraftfahrzeug. Das Anzeigesystem 1 umfasst eine Assistenzeinrichtung 2, das in Kommunikationsverbindung 4 mit einer Datenbrille 3 steht. Die Kommunikationsverbindung 4 ist als ein Datenübertragungskanal ausgebildet, z.B. in Form einer drahtlosen Kommunikationsverbindung oder einer drahtgebundenen Kommunikationsverbindung. Die Kommunikationsverbindung 4 ist in der Lage, jegliche Art von Daten und Informationen zwischen der Assistenzeinrichtung 2 und der Datenbrille 3 zu übermitteln, beispielsweise basierend auf einer paketgebundenen Datenübertragung. Die Kommunikationsverbindung 4 kann beispielsweise auf WiFi, Bluetooth, Bluetooth Low Energy oder einem vergleichbaren standardisierten Funkprotokoll basieren.
Die Datenbrille 3 umfasst zwei transparente Sichtscheiben 32, die in einem Rahmen 31 in an sich bekannter Weise eingefasst sind. Der Rahmen 31 ist mit Brillenbügeln 33 versehen, so dass die Datenbrille 3 am Kopf eines Benutzers in an sich bekannter Weise getragen werden kann.
Eine oder beide Sichtscheiben 32 (Brillengläser) sind weiterhin mit einer transparenten Anzeigefläche 35 versehen, durch die durch eine geeignete Einrichtung, wie zum Beispiel eine an dem Rahmen 31 angeordnete Anzeigeeinrichtung 36, ein Anzeigebild zur Darstellung von virtuellen Informationsobjekten ins Auge des Trägers der Datenbrille 3 projiziert werden kann. Die Anzeigeeinrichtung 36 kann einen Mikroprozessor oder eine vergleichbare Recheneinheit und eine Anzeigeeinheit, wie z.B. eine Projektionseinrichtung oder dergleichen, aufweisen. Die Anzeigeeinheit kann ausgebildet sein, das elektronisch generierte Anzeigebild auf die Anzeigefläche 35 zu richten und dort abzubilden/darzustellen.
Durch die transparente Ausbildung der Anzeigefläche 35 kann das elektronisch generierte Bild die durch die Anzeigefläche 35 wahrnehmbare Realumgebung überlagern. Mithilfe der Anzeigeeinrichtung 36 kann eine Information, wie beispielsweise einen Text, ein Symbol, eine Videoinformation, eine Graphik oder dergleichen, auf einer oder beiden Anzeigeflächen 35 dargestellt werden.
Die Datenbrille 3 kann wie eine typische Sehhilfe an dem Kopf des Benutzers getragen werden, wobei die Datenbrille 3 mit dem Rahmen 31 auf der Nase des Benutzers aufliegt und die Bügel 33 an dem Kopf des Benutzers seitlich anliegen. Die Blickrichtung des Benutzers in Geradeausrichtung erfolgt dann durch die Sichtscheiben 32 im Wesentlichen durch die transparenten Anzeigeflächen 35, so dass die Blickrichtung des Benutzers der Ausrichtung der Datenbrille 3 entspricht oder z.B. basierend auf einem Kalibrierprozess davon abgeleitet werden kann. Hierin wird davon ausgegangen, dass die Position der Datenbrille 3 relativ zu den Augen des Benutzers festgelegt und vorbekannt ist. Bei Erstbenutzung kann hierzu ein Kalibrierungsvorgang durch den Benutzer der Datenbrille 3 ausgeführt werden, bei dem die relative Pose der Datenbrille 3 relativ zum Kopf des Benutzers bestimmt wird.
Weiterhin kann die Datenbrille 3 mit einer Steuereinheit 37 versehen sein. Die Steuereinheit 37 kann separat ausgebildet sein oder gemeinsam mit dem Mikroprozessor der Anzeigeeinrichtung 36 ausgebildet sein. Die Steuereinheit 37 kann in geeigneter Weise ausgebildet sein, um Datenbrillenfunktionen und Funktionen des Anzeigesystems 1 ausführen oder zu unterstützen. Dazu kann die Assistenzeinrichtung 2 mit der Datenbrille 3 in Verbindung stehen, um Anzeigeinformationen betreffend kontaktanalog oder nicht-kontaktanalog anzuzeigenden Informationsobjekten an die Datenbrille 3 zu übermitteln. Die Anzeigeinformationen definieren die Position und Darstellung der Informationsobjekte in Bezug auf das Kraftfahrzeug, d.h. in einem Fahrzeugkoordinatensystem (Bezugsystem des Kraftfahrzeugs).
So kann die Steuereinheit 37 der Datenbrille eine Posenerkennungsfunktion in Form eines Tracking-Prozesses ausführen, um eine Pose des Kopfes bzw. der Datenbrille 3 in einem Fahrzeuginnenraum festzustellen. Die Pose einer Datenbrille 3 bezeichnet hierin die räumliche Position der Datenbrille 3 in dem Fahrzeugkoordinatensystem sowie deren dreidimensionale Ausrichtung im Raum. Die Pose der Datenbrille 3 repräsentiert die Blickrichtung des Benutzers und dessen Blickbereich, da die Datenbrille 3 eine feste relative Position am Kopf des Benutzers hat.
Dazu umfasst die Datenbrille 3 eine Brillenbewegungssensorik 38 (Inertialsensorik), die eine Brillenbewegungsinformation bereitstellt. Die Brillenbewegungsinformation umfasst eine Brillenbewegungsangabe und einen zugordneten Zeitstempel. Die Brillenbewegungsangabe kann Beschleunigungen der Datenbrille 3 in drei Raumrichtungen und Winkelbeschleunigungen oder Winkelgeschwindigkeiten um drei verschiedene Schwenkachsen angeben. Die Brillenbewegungsangaben werden kontinuierlich der Steuereinheit 37 bereitgestellt.
Weiterhin kann eine Kommunikationseinheit 39 vorgesehen sein, die eine Kommunikation mit der Assistenzeinrichtung 2 ermöglicht.
Die Assistenzeinrichtung 2 kann Teil eines Fahrzeugassistenzsystems sein und insbesondere fahrzeugfest in dem Kraftfahrzeug vorgesehen sein. Die Assistenzeinrichtung 2 kann mit einer Kommunikationseinheit 21 ausgestattet sein, die die Kommunikationsverbindung 4 zwischen Datenbrille 3 und Assistenzeinrichtung 2 ermöglicht.
Weiterhin umfasst die Assistenzeinrichtung 2 einen Fahrzeugbewegungssensor 24 oder ist mit einem solchen z. B. über den CAN-Bus verbunden, um eine Fahrzeugbewegungsangabe zu erhalten. Die Fahrzeugbewegungsangabe kann eine Fahrzeugbeschleunigung mit Beschleunigungen in drei Raumrichtungen sowie Winkelbeschleunigungen oder Winkelgeschwindigkeiten um drei Schwenkachsen angeben. Alternativ kann die Fahrzeugbewegungsangabe als die Fahrzeugbeschleunigung erfasst werden oder als zeitlicher Verlauf einer Fahrzeuggeschwindigkeit und Fahrrichtungsänderung angegebenen werden.
Die Fahrzeugbewegungsangabe kann in der Assistenzeinrichtung 2 verarbeitet werden und als Fahrzeugbewegungsinformation an die Datenbrille 3 übermittelt werden. Die Fahrzeugbewegungsinformation kann zudem mehrere zeitlich nacheinander erfasste Fahrzeugbewegungsangaben umfassen, so dass ein Verlauf der Fahrzeugbewegungsangaben als Fahrzeugbewegungsinformation bereitgestellt wird.
Die Kommunikationseinheit 21 ist ausgebildet, die Fahrzeugbewegungsinformation als über die Kommunikationsverbindung 4 zu geeigneten Zeitpunkten oder sobald verfügbar an die Datenbrille 3 zu übertragen.
In der Steuereinheit 37 der Datenbrille 3 wird die Brillenbewegungsangabe ausgewertet und durch inkrementelles Anpassen einer Brillenposenangabe stets eine aktuelle Brillenposenangabe ermittelt. Dies kann durch zweimaliges Integrieren der Beschleunigungen in den Raumrichtungen und den Drehrichtungen um die Schwenkachsen erfolgen, um inkrementelle Positions- und Ausrichtungsänderungen als relative Posenangaben der Datenbrille 3 zu erhalten. Werden statt der Winkelbeschleunigung nur Winkelgeschwindigkeiten um die Schwenkachsen erfasst, so erhält man die entsprechenden Posenangaben durch einfache Integration der Winkelgeschwindigkeit. Die relativen Posenangaben werden entsprechend aufaddiert, um ausgehend von einer bekannten Startposition die aktuelle Brillenposenangabe zu ermitteln. Diese umfasst Positionsangaben und Ausrichtungsangaben der Datenbrille 3. Die Brillenposenangabe gibt eine Ausrichtung eines Brillenkoordinatensystems bezogen auf ein Fahrzeugkoordinatensystem an.
Die Beschleunigungen des Kraftfahrzeugs in den Raumrichtungen und um die Schwenkachsen sind in der Brillenbewegungsinformation enthalten, da sich der Benutzer der Datenbrille 3 im Kraftfahrzeug befindet und die Bewegungen des Kraftfahrzeugs mitmacht. Die zweifache Integration führt ohne Korrektur zu zunehmenden Fehlern und Ungenauigkeiten der Bestimmung der Brillenposenangabe. Daher wird die Fahrzeugbewegungsinformation genutzt die Brillenposenangabe zu korrigieren.
In 2 ist schematisch die Abweichung zwischen dem Fahrzeugkoordinatensystem und dem Brillenkoordinatensystem dargestellt. Diese Abweichung soll korrigiert werden, da die Brillenpose bezogen auf das Fahrzeugkoordinatensystem bekannt sein muss, um posenabhängige Anzeigen in der Datenbrille 3 zu realisieren. Die Brillenpose wird durch die Ausrichtung des Brillenkoordinatensystems zum Fahrzeugkoordinatensystem bestimmt.
Zwischen beiden Bezugssystemen (Koordinatensystemen) erhöht sich aufgrund der Integration der Fehler ohne Korrektur kontinuierlich, so dass eine Nachjustierung zu regelmäßigen Zeiten durchgeführt wird. 2 zeigt schematisch in einer Draufsicht auf ein Kraftfahrzeug 5 beispielhaft die Abweichung zwischen den Richtungen der gemessenen Beschleunigungsrichtungsvektoren a_Brille, a_Fzg aufgrund derselben Fahrzeugbewegung. Aufgrund der festen Positionierung der Datenbrille 3 an dem Kopf eines Fahrzeuginsassen wird die Fahrzeugbeschleunigung a_Fzg auch als Brillenbeschleunigung a_Brille durch die Bewegungssensorik der Datenbrille 3 erfasst, so dass ein Abgleich zwischen den Bewegungsangaben von Datenbrille 3 und Kraftfahrzeug 5 stattfinden kann.
Die Korrektur erfolgt durch Anpassen der Ausrichtung des Bezugssystems der Datenbrille 3 durch Analysieren der Verläufe der niederfrequenten Komponenten der Brillenbewegungsangabe. Diese werden mit den entsprechenden Komponenten der Fahrzeugbewegungsangaben korrigiert. Die Korrektur erfolgt durch Anpassung des Brillenkoordinatensystems an das Fahrzeugkoordinatensystem. Die Korrektur der Brillenbewegungsangabe erfolgt basierend auf der Beobachtung, dass Bewegungsänderungen des Fahrzeugs viel niederfrequenter auftreten als Bewegungen des Kopfes bzw. der Datenbrille 3. Daher kann durch eine Erkennung, welche der Bewegungsanteile der Datenbrille 3 der Fahrzeugbewegung zugeordnet werden können, eine Richtungsinformation generiert werden mit der die Ausrichtungsangabe der Datenbrille 3 korrigiert werden kann.
Die Fahrzeugbewegungsinformation, als auch Die Fahrzeugbewegungsangabe gibt Beschleunigungen des Kraftfahrzeugs in den Raumrichtungen und um die Schwenkachsen an. Diese werden miteinander verrechnet, so dass eine Ausrichtung relative Bewegungsangabe der Datenbrille 3 bezüglich eines fahrzeugfesten Koordinatensystems ermittelt wird. Durch Integration der durch die relativen Bewegungsangaben angegebenen relativen Bewegungen in den Raumrichtungen und relativen Drehbewegungen (Winkelgeschwindigkeit bzw. Winkelbeschleunigung) um die Schwenkachsen kann eine relative Bewegungsangabe der Datenbrille 3 und weiter eine relative Posenangabe (Posenänderung) der Datenbrille 3 ausgehend von einem zurückliegenden Zeitpunkt, z. B. einem Zeitpunkt einer zuletzt bekannten absoluten Pose der Datenbrille 3, berechnet werden. Die relative Bewegungsangabe und die relative Posenangabe der Datenbrille 3 sind auf ein Fahrzeugkoordinatensystem bezogen.
Da die Fahrzeugbewegungsangaben nur mit einer durch die Kommunikationsverbindung 4 bewirkten Latenz in der Datenbrille 3 zur Verfügung stehen, werden die Fahrzeugbewegungsangaben entsprechend mit einem Zeitstempel versehen und als Fahrzeugbewegungsinformation an die Datenbrille 3 übermittelt.
Zudem kann die Fahrzeugbewegungsangabe durch weitere Fahrzeugsensorik korrigiert oder präzisiert werden, wobei die weitere Fahrzeugsensorik Aussagen bzw. Prognosen über die Eigenbewegung des Fahrzeugs zulassen. Dies sind insbesondere Geschwindigkeit, Beschleunigung, Raddrehzahlangaben, Bremsinformationen, Lenkwinkel, ESC, Fahrwerkseinstellung sowie weitere Fahrwerksensoren, die Aufschluss z. B. über Schlaglöcher und dergleichen geben sowie Fahrzeugtypinformationen wie Gewicht, Radstand und weitere Informationen, die zur Prädiktion der Fahrzeugbewegung aus den Sensorwerten dienlich sind. Diese können in einer Sensordatenfusion entweder seitens der Assistenzeinrichtung 2 oder seitens der Datenbrille 3 berücksichtigt werden.
Die Übertragung der Fahrzeugbewegungsangaben an die Datenbrille 3 kann die Fahrzeugbeschleunigung umfassen und kann zudem in der Assistenzeinrichtung 2 daraus ermittelte weitere Bewegungsangaben, die aus der Fahrzeugbeschleunigung ermittelt werden, umfassen.
In der Datenbrille 3 werden die Fahrzeugbewegungsinformation, die Brillenposeninformation, die an die Datenbrille übertragen werden, mit der in der Datenbrille 3 erfassten Brillenbewegungsinformation kombiniert.
Insgesamt kann das Anzeigesystem mit der fahrzeugfesten Assistenzeinrichtung 2 und der Datenbrille 3 ein Verfahren ausführen, das in dem Flussdiagramm der 3 skizziert ist.
In Schritt S1 werden in der Datenbrille 3 Brillenbewegungsangaben mit Hilfe der Brillenbewegungssensorik erfasst.
Aus den Brillenbewegungsangaben, die üblicherweise als Beschleunigungsinformation in drei Raumrichtungen und um drei Schwenkachsen angegeben wird, werden in Schritt S2 durch zweimalige Integration Bewegungsinkremente bzw. relative Posenangaben ermittelt, die aufaddiert werden, um eine aktuelle Brillenposenangabe zu erhalten.
In Schritt S3 werden Fahrzeugbewegungsinformationen empfangen, die Fahrzeugbewegungsangaben (Fahrzeugbeschleunigungsangaben) in den Raumrichtungen bezüglich des Kraftfahrzeugs und entsprechende Zeitstempel für diese Fahrzeugbeschleunigungsangaben angeben. Eine Referenz für die Raumrichtungen ist aufgrund der festen Montage des Fahrzeugbeschleunigungssensors 24 bzw. der Fahrzeugbewegungssensorik festgelegt und orientiert sich in der Regel an einer Fahrzeuglängsachse.
In Schritt S4 wird aus der Fahrzeugbewegungsangabe ein Fahrzeugbeschleunigungsrichtungsvektor für die Richtung einer momentanen Beschleunigungsbewegung des Kraftfahrzeugs ermittelt. Dazu werden die translatorischen Beschleunigungsangaben in allen verfügbaren Raumrichtungen ausgewertet.
In Schritt S5 wird aus der Brillenbewegungsangabe ein Brillenbeschleunigungsrichtungsvektor für die Beschleunigungsrichtung einer momentanen Beschleunigung der Datenbrille 3 ermittelt. Dazu werden die translatorischen Beschleunigungsangaben in allen verfügbaren Raumrichtungen zunächst tiefpassgefiltert und anschließend der Brillenbeschleunigungsrichtungsvektor für die Ausrichtung der Datenbrille 3 aus den tiefpassgefilterten Beschleunigungsangaben bestimmt.
Die Tiefpassfilterung dient dazu, den Anteil der Fahrzeugbewegung aus der Brillenbewegung zu extrahieren, um zwischen Kopfbewegungen des Benutzers der Datenbrille 3 und den Fahrzeugbewegungen zu unterscheiden. Die Zeitkonstante der Tiefpassfilterung kann im Bereich von 0,5 bis 3 Sekunden gewählt werden.
In Schritt S6 werden die Komponenten der Brillenposenangabe, die eine Ausrichtung des Brillenkoordinatensystems der Datenbrille 3 angeben, bezüglich des Richtungsversatzes zwischen dem Fahrzeugbeschleunigungsrichtungsvektor und dem Brillenbeschleunigungsrichtungsvektor korrigiert. Dies kann durch Beaufschlagung der Brillenposenangabe mit der Richtungsdifferenz zwischen dem Fahrzeugbeschleunigungsrichtungsvektor und dem Brillenbeschleunigungsrichtungsvektor erfolgen. Alternativ kann die die Ausrichtung angebenden Komponenten der Brillenposenangabe in Richtung des Richtungsversatzes zwischen dem Fahrzeugbeschleunigungsrichtungsvektor und dem Brillenbeschleunigungsrichtungsvektor inkrementell korrigiert werden.
In Schritt S7 wird die korrigierte Brillenposenangabe zur weiteren Verarbeitung in der Datenbrille 3 genutzt. Insbesondere kann diese zur blickrichtungsabhängigen Anzeige von Informationsobjekten in der Datenbrille 3 verwendet werden.
Dieses Verfahren wird zyklisch durch Rücksprung zu Schritt S1 wiederholt und ermöglicht eine möglichst genaue Brillenposenangabe der Datenbrille 3 bei einem verringerten Rechenaufwand in der Datenbrille 3.
Die in dem obigen Verfahren verwendete Fahrzeugbewegungsangabe und die verwendete Brillenbewegungsangabe sind im Wesentlichen zu demselben Zeitpunkt erfasst. In der Datenbrille 3 wird diejenige Brillenbewegungsangabe ausgewählt, die dem Zeitstempel oder dem Erfassungszeitpunkt der Fahrzeugbewegungsangabe entspricht. Dazu kann ein zeitlicher Verlauf der Brillenbewegungsangaben in der Datenbrille 3 gespeichert werden.
Alternativ kann ein zeitlicher Versatz zwischen Verläufen der Fahrzeugbewegungsangaben und der Brillenbewegungsangaben mithilfe einer Autokorrelationsfunktion ermittelt werden, so dass durch Wahl eines geeigneten Zeitpunkts innerhalb des Verlaufs der Fahrzeugbewegungsangabe eine entsprechende Brillenbewegungsangabe, die auf eine Erfassung zum selben Zeitpunkt zurückgeht, für den Vergleich der resultierenden Beschleunigungsangaben verwendet werden kann. Vorzugsweise wird als geeigneter Zeitpunkt ein Zeitpunkt eines Maximalwerts der resultierenden Fahrzeugbeschleunigungsangabe innerhalb des Zeitraums des berücksichtigten Verlaufs angenommen.
Bezugszeichenliste

1: Anzeigesystem
2: Assistenzeinrichtung
21: Kommunikationseinheit
22: Fahrzeugbewegungssensorik
23: Prozessoreinheit
24: Fahrzeugbeschleunigungssensor
3: Datenbrille
31: Rahmen
32: Sichtscheiben
33: Brillenbügel
35: transparente Anzeigefläche
36: Anzeigeeinrichtung
37: Steuereinheit
38: Brillenbewegungssensorik
39: Kommunikationseinheit
4: Kommunikationsverbindung

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102014206623 A1 [0006]
DE 102015208737 A1 [0013]

Claims

Verfahren zum Betreiben eines Anzeigesystems (1) mit einer Datenbrille (3) in einem Kraftfahrzeug (5) vorgesehen, mit folgenden Schritten: - Erfassen (S1) einer Brillenbewegungsinformation mit einer Brillenbewegungsangabe durch die Datenbrille (3); - Ermitteln (S2) einer aktuellen Brillenposenangabe in der Datenbrille (3) abhängig von der Brillenbewegungsangabe; - Bereitstellen (S4, S5) einer Korrekturinformation, die einen Richtungsvektor der Ausrichtung der Datenbrille (3) bezüglich eines Fahrzeugkoordinatensystems angibt; - Korrigieren (S6) der Brillenposenangabe abhängig von der Brillenbewegungsangabe und von der Korrekturinformation.
Verfahren nach Anspruch 1, wobei die Korrekturinformation ermittelt wird, indem eine Fahrzeugbewegungsinformation mit einer Fahrzeugbewegungsangabe bereitgestellt wird und indem der Richtungsvektor der Ausrichtung der Datenbrille (3) aus der Fahrzeugbewegungsinformation bestimmt wird.
Verfahren nach Anspruch 2, wobei das Korrigieren basierend auf zu gleichen Zeitpunkten erfassten Brillenbewegungsangaben und Fahrzeugbewegungsangaben durchgeführt wird.
Verfahren nach Anspruch 3, wobei die Brillenbewegungsinformation einen Zeitstempel umfasst, der einem Zeitpunkt des Erfassens der durch die Brillenbewegungsangabe angegebenen relativen Bewegung der Datenbrille (3) bezüglich der Fahrzeugumgebung entspricht, wobei die Fahrzeugbewegungsinformation einen Zeitstempel umfasst, der einem Zeitpunkt des Erfassens der durch die Fahrzeugbewegungsangabe angegebenen relativen Bewegung des Kraftfahrzeugs (5) bezüglich der Fahrzeugumgebung entspricht, wobei die gleichen Zeitpunkte der erfassten Brillenbewegungsangabe und der erfassten Fahrzeugbewegungsangabe basierend auf den Zeitstempeln ermittelt wird.
Verfahren nach Anspruch 3, wobei in der Datenbrille (3) eine Kommunikationsverzögerungsangabe bereitgestellt wird, die die Kommunikationsverzögerung zwischen dem Erfassen der Fahrzeugbewegungsangabe und der Brillenbewegungsangabe angibt, so dass das Korrigieren weiterhin basierend auf der Kommunikationsverzögerungsangabe durchgeführt wird.
Verfahren nach Anspruch 5, wobei die Kommunikationsverzögerungsangabe als ein zeitlicher Versatz bestimmt wird, der sich durch Anwenden einer Autokorrelationsfunktion zwischen Verläufen einer Fahrzeugbewegungsangabe und einer Brillenbewegungsangabe ergibt.
Verfahren nach einem der Ansprüche 2 bis 6, wobei die Brillenbewegungsangabe mit einer erfassten Beschleunigung der Datenbrille (3) in einer oder mehreren Raumrichtungen bestimmt wird und/oder wobei die Fahrzeugbewegungsangabe aus einer erfassten Beschleunigung des Kraftfahrzeugs (5) in einer oder mehreren Raumrichtungen bestimmt wird.
Verfahren nach einem der Ansprüche 2 bis 7, wobei das Korrigieren durchgeführt wird, indem ein translatorischer Fahrzeugbeschleunigungsrichtungsvektor aus der Fahrzeugbewegungsangabe als Korrekturinformation bestimmt wird, wobei die Brillenposenangabe abhängig von dem Fahrzeugbeschleunigungsrichtungsvektor korrigiert wird.
Verfahren nach Anspruch 8, wobei das Korrigieren durchgeführt wird, indem die Brillenbewegungsangabe tiefpassgefiltert wird und ein Brillenbeschleunigungsrichtungsvektor aus der tiefpassgefilterten Brillenbewegungsangabe ermittelt wird, wobei der Brillenbeschleunigungsrichtungsvektor mit dem Fahrzeugbeschleunigungsrichtungsvektor gleichgesetzt wird oder durch diesen inkrementell angepasst wird, um die korrigierte Brillenposenangabe zu erhalten.
Datenbrille (3) in einem Anzeigesystem (1) in einem Kraftfahrzeug, umfassend: - eine Kommunikationseinheit (21), die ausgebildet ist, um eine Fahrzeugbewegungsinformation mit einer Fahrzeugbewegungsangabe zu empfangen; - eine Brillenbewegungssensorik, die ausgebildet ist, um eine Brillenbewegungsinformation mit einer Brillenbewegungsangabe zu erfassen; - eine Steuereinheit (37), die ausgebildet ist, um eine aktuelle Brillenposenangabe in der Datenbrille (3) abhängig von der Brillenbewegungsangabe zu ermitteln, um eine Korrekturinformation bereitzustellen, die einen Richtungsvektor der Ausrichtung der Datenbrille (3) bezüglich eines Fahrzeugkoordinatensystems angibt, und um die Brillenposenangabe abhängig von der Brillenbewegungsangabe und von der Korrekturinformation zu korrigieren.