DE102019126638A1

DE102019126638A1 - Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille

Info

Publication number: DE102019126638A1
Application number: DE102019126638.6A
Authority: DE
Inventors: Eric Reum
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2019-10-02
Filing date: 2019-10-02
Publication date: 2021-04-08

Abstract

Die Erfindung betrifft ein Verfahren zum Betreiben eines Anzeigesystems mit einer Datenbrille in einem Kraftfahrzeug vorgesehen, mit folgenden Schritten:- Erfassen einer Brillenbewegungsinformation durch die Datenbrille;- Ermitteln einer aktuellen Brillenposenangabe in der Datenbrille abhängig von der Brillenbewegungsinformation;- Bereitstellen einer Korrekturinformation, die von einem Verlauf einer Brillenbewegungsinformation der Datenbrille während eines zurückliegenden vorgegebenen Zeitfensters abhängt; und- Korrigieren der Brillenposenangabe abhängig von der Brillenbewegungsinformation und von der Korrekturinformation.

Description

Technisches Gebiet
Die Erfindung betrifft Datenbrillen, insbesondere zum Einsatz in einem Kraftfahrzeug. Die Erfindung betrifft weiterhin Maßnahmen zum Bereitstellen einer genauen Poseninformation in einer Datenbrille.
Technischer Hintergrund
Es sind Datenbrillen, auch Head-mounted Displays genannt, bekannt, die mithilfe einer Anzeigevorrichtung eine Abbildung auf einer oder zwei Anzeigeflächen im Blickfeld des Trägers der Datenbrille anzeigen können. Die Anzeigeflächen können Reflexionsflächen entsprechen, die Abbildungen in das Auge des Trägers der Datenbrille richten. Die Sichtöffnungen der Datenbrille sind transparent, so dass durch die Datenbrille die reale Umgebung in gewöhnlicher Weise wahrgenommen werden kann. Die Anzeigeflächen liegen in den Sichtöffnungen, so dass eine anzuzeigende Information, wie beispielsweise Text, Symbole, Graphiken, Videoanzeigen und dergleichen, die Wahrnehmung der Umgebung überlagernd angezeigt werden kann.
Die Informationen werden dem Träger der Datenbrille in der Regel kontaktanalog dargestellt, d.h. so dargestellt, dass diese als Informationsobjekt einem bestimmten zugeordneten Objekt in der Realumgebung überlagert ist bzw. an diesem orientiert ist oder dass das anzuzeigende Informationsobjekt in einer bestimmten Orientierung der Datenbrille bzw. deren Trägers angezeigt wird. Weiterhin kann das kontaktanaloge Informationsobjekt so dargestellt werden, dass sie in Bezug auf das Objekt in der Realumgebung perspektivisch korrekt erscheint, d.h. die Illusion entsteht, dass das Objekt der Realumgebung tatsächlich um das zusätzliche Merkmal des visuellen Informationsobjekts ergänzt wurde.
Um das Informationsobjekt entsprechend kontaktanalog auf den Anzeigeflächen der Datenbrille anzuzeigen, ist es notwendig, die Position des Objektes in der Umgebung und die Blickrichtung des Benutzers zu kennen. Die Blickrichtung des Benutzers ist beim Tragen der Datenbrille fest deren Pose zugeordnet, d.h. der 3D-Position als auch die 3D- Orientierung der Datenbrille.
Zur Bestimmung der Pose der Datenbrille kann z.B. in der Datenbrille eine Posenerkennungseinheit vorgesehen werden. Die Posenerkennungseinheit weist in der Regel eine Kamera und Recheneinrichtung, z.B. in Form eines Mikroprozessors auf. Mithilfe der Kamera aufgezeichnete Abbildungen der Umgebung des Trägers der Datenbrille kann basierend auf hinterlegten Abbildungen bzw. Strukturen des Fahrzeuginnenraums die Pose der Datenbrille im Fahrzeuginnenraum festgestellt werden. Diesen Vorgang nennt man auch Tracking.
So ist aus der Druckschrift DE 10 2014 206 623 A1 eine Vorrichtung zum Bestimmen der Pose einer Datenbrille bekannt, die eine Anzeige und eine Kamera umfasst. Die Vorrichtung ist ausgebildet, um Aufnahmen der Umgebung der Datenbrille mithilfe der Kamera zu erstellen, die Abbildung eines gespeicherten und vordefinierten Bereiches der Umgebung in den Aufnahmen der Kamera zu erkennen, ein Merkmal in der erkannten Abbildung des Bereiches zu erkennen und die Pose der Datenbrille unter Berücksichtigung des bestimmten Merkmals in den Aufnahmen zu bestimmen.
Derartige in der Datenbrille integrierte Posenerkennungseinheiten, die zur Erfassung der absoluten Pose ausgebildet sind, benötigen eine hohe Prozessorleistung und sind daher aufwändig zu realisieren. Dies führt zu einem hohen Baugewicht und/oder Bauvolumen der Datenbrille und das Bereitstellen der benötigten elektrischen Energie ist aufwändig zu realisieren.
Weiterhin kann die Pose einer Datenbrille auch durch eine externe Posenerkennungseinheit bestimmt werden, bei der eine Innenraumkamera den Kopf des Trägers der Datenbrille erfasst und durch Auswertung des Kamerabildes entweder die Pose des Kopfes ermittelt und davon die Pose der Datenbrille abgeleitet wird oder die Pose der Datenbrille direkt ermittelt wird. Bei diesen so genannten Outside-In-Tracking-Systemen besteht eine Schwierigkeit darin, die außerhalb der Datenbrille ermittelte absolute Posenangabe insbesondere bei einer drahtlosen Kommunikationsverbindung mit einer ausreichend geringen Latenz an die Datenbrille zu übermitteln, so dass die Datenbrille entsprechend kontaktanaloge Darstellungen verzögerungsfrei bzw. einer nicht störenden Verzögerung ausgeben kann. Außerdem kann aus der Pose des Kopfes des Trägers der Datenbrille nicht zuverlässig die Pose der Datenbrille ermittelt werden, da diese bezüglich des Kopfes variierende Orientierungen annehmen kann.
Rein kamerabasierte Tracking-Verfahren sind zudem stark abhängig von der Belichtungssituation im Fahrzeuginnenraum und benötigen zusätzliche Vorkehrungen und weitere Sensorik für den Betrieb bei Nacht und bei starkem Sonnenlicht.
Es sind nicht-kamerabasierte Posenerkennungseinheiten in Datenbrillen bekannt, die einen Beschleunigungssensor in der Datenbrille nutzen. Die Pose der Datenbrille wird dann durch Integration und Akkumulieren von Bewegungen der Datenbrille inkrementell ermittelt. Bei einem solchen Ansatz besteht eine Schwierigkeit darin, dass bei Tragen der Datenbrille innerhalb eines sich bewegenden Kraftfahrzeugs die Beschleunigungssensoren nur eine Gesamtbeschleunigung relativ zur Umgebung/Umwelt erfassen und daraus lediglich Bewegungsgeschwindigkeiten relativ zur Umgebung/Umwelt ermitteln können. Anhand der Messung der Beschleunigung innerhalb der Datenbrille ist die Bewegung der Datenbrille relativ zu einem Fahrzeugkoordinatensystem nicht ohne Weiteres ermittelbar.
Da bei der ausschließlichen Verwendung eines Beschleunigungssensors zur Posenermittlung nur relative Bewegungen seit der letzten Verfügbarkeit einer absoluten Posenangabe ausgewertet werden, unterliegt die Posenbestimmung basierend auf Beschleunigungssensoren aufgrund der notwendigen Integrationsoperationen einer Drift über der Zeit, so dass die ermittelte Pose immer ungenauer wird, je länger keine absolute Posenangabe als Referenz bereitgestellt wird.
Für die kontaktanaloge Darstellung ist jedoch eine möglichst genaue Kenntnis der Pose der Datenbrille in Bezug zu dem Fahrzeugkoordinatensystem notwendig. Abweichungen zwischen der tatsächlichen Pose und der ermittelten Posenangabe führen zu einer Fehldarstellung von kontaktanalogen Informationsobjekten in der Datenbrille, was ggfs zu Übelkeit des Benutzers führen kann.
Es ist Aufgabe der vorliegenden Erfindung, eine Datenbrille und ein Anzeigesystem mit einer Datenbrille zur Verfügung zu stellen, bei der eine Posenangabe der Datenbrille in ressourcenschonender Weise und mit höherer Genauigkeit bereitgestellt werden kann. Insbesondere ist es eine Aufgabe, die für die Posenerkennung benötigte Rechenkapazität zu reduzieren und/oder den Bedarf an elektrischer Energie zu begrenzen/verringern.
Offenbarung der Erfindung
Diese Aufgabe wird durch das Verfahren zum Betreiben eines Anzeigesystems mit einer Datenbrille gemäß Anspruch 1 sowie durch das Verfahren zum Betreiben eines Anzeigesystems, eine Datenbrille und ein Anzeigesystem gemäß den nebengeordneten Ansprüchen gelöst.
Weitere Ausgestaltungen sind in den abhängigen Ansprüchen angegeben.
Gemäß einem ersten Aspekt ist ein Verfahren zum Betreiben eines Anzeigesystems mit einer Datenbrille in einem Kraftfahrzeug vorgesehen, mit folgenden Schritten:

- Erfassen einer Brillenbewegungsinformation durch die Datenbrille;
- Ermitteln einer aktuellen Brillenposenangabe in der Datenbrille abhängig von der Brillenbewegungsinformation;
- Bereitstellen einer Korrekturinformation, die von einem Verlauf einer Brillenbewegungsinformation der Datenbrille während eines Zeitfensters abhängt;
- Korrigieren der Brillenposenangabe abhängig von der Brillenbewegungsinformation und der Korrekturinformation.

Das obige Verfahren zum Betreiben der Datenbrille dient zur Bereitstellung einer aktuellen Brillenposenangabe, die einer absoluten Pose der Datenbrille in Bezug zu einem Fahrzeugkoordinatensystem entspricht, in der Datenbrille. Das Verfahren korrigiert eine über eine Brillenbewegungsinformation ermittelte Brillenposenangabe über die Pose der Datenbrille mithilfe eines Verlaufs der Brillenbewegungsinformation der Datenbrille während eines vorgegebenen Zeitfensters.
Das Verfahren kann einen in der Datenbrille vorgesehenen Beschleunigungssensor nutzen, um durch Integration Bewegungsgeschwindigkeitsinkremente der Datenbrille relativ zur Umgebung zu ermitteln und ermöglicht so eine Bestimmung der Brillenpose durch Akkumulation der Bewegungsgeschwindigkeitsinkremente ausgehend von einer Referenzpose. Dies ermöglicht das Bereitstellen einer Brillenposenangabe ohne aufwändige, in der Datenbrille angeordnete Einrichtungen, so dass ein energieeffizienter Betrieb für die Posenermittlung möglich ist.
Bei der Posenermittlung durch Integration von Brillenbewegungsinformationen kommt es aufgrund von Drift zu sich verstärkenden Abweichungen der ermittelten Brillenposenangabe von einer tatsächlichen Orientierung der Datenbrille bezüglich eines vorgegebenen Brillenkoordinatensystem. Dazu kann vorgesehen sein, dass wobei von dem Verlauf der Brillenbewegungsinformation ein Verlauf von Orientierungen der Datenbrille um eine oder mehrere Schwenkachsen bestimmt wird, wobei eine Geradeausorientierung aus dem Verlauf der Orientierungen der Datenbrille um mindestens eine Schwenkachse durch Bildung eines Mittelwerts oder eines Medians über das Zeitfenster bestimmt wird, wobei die Korrekturinformation abhängig von der Geradeausorientierung, insbesondere von einer Abweichung der Geradeausorientierung von einer vorgegebenen Referenzorientierung, die einer Geradeaussicht eines Fahrers in einem Kraftfahrzeug entspricht, bestimmt wird. Somit sieht das obige Verfahren vor, eine häufig eingenommene Orientierung bzw. Ausrichtung der Datenbrille als Referenzorientierung anzunehmen und eine entsprechende Referenzpose als Basis für die Posenermittlung durch Mittelung der ermittelten Orientierungen der Brillenposenangaben über eine vorbestimmte Zeitdauer anzunehmen.
Dies ist möglich, da während einer Fahrt mit dem Kraftfahrzeug die vorwiegende Blickrichtung eine Geradeausrichtung ist, die im Wesentlichen parallel zur Fahrzeuglängsachse verläuft. Wendet der Fahrer den Blick ab, so erfolgt dies in der Regel nur für eine sehr kurze Zeitdauer, wie z.B. weniger als 1,5 Sekunden.
Ergibt sich aus den gemittelten Orientierungen der Brillenposenangaben über das vorgegebene zurückliegende Zeitfenster eine Abweichung von der Referenzpose, so wird die aktuelle Brillenposenangabe abhängig von der Abweichung korrigiert.
Dies ermöglicht eine von einem Fahrzeugsystem unabhängige Korrektur einer Brillenposenangabe, die ausschließlich durch eine Bewegungssensorik in der Datenbrille bestimmt worden ist.
Insbesondere erlaubt das obige Verfahren, auf eine Kamera oder eine sonstige optische Detektoreinrichtung für eine Posenerkennung in der Datenbrille zu verzichten. Durch den Wegfall einer Kamera in der Datenbrille sind die technischen Anforderungen hinsichtlich Bauvolumen, Baugewicht, Rechenleistung und Energieversorgung in der Datenbrille deutlich geringer, so dass gegebenenfalls auch Datenbrillen unterschiedlicher Hersteller und auch mehrere Datenbrillen gleichzeitig in einem solchen Anzeigesystem unterstützt werden können.
Die so erhaltene zurückgesetzte Brillenposenangabe kann nun durch eine extern ermittelte Fahrzeugbewegungsinformation weiter korrigiert werden, so dass Fehler und Ungenauigkeiten der Bestimmung der Brillenposenangabe, die sich aufgrund der inkrementellen Ermittlung der Brillenposenangabe über der Zeit verstärken, reduziert werden.
Weiterhin kann die Korrekturinformation ermittelt werden, indem ein Verlauf einer Fahrzeugbewegungsinformation bereitgestellt wird und indem die Korrekturinformation abhängig von dem Verlauf der Fahrzeugbewegungsinformation bestimmt wird.
Insbesondere kann die Korrekturinformation ferner ermittelt werden, indem eine Fahrzeugbewegungsinformation bereitgestellt wird und indem die Brillenposenangabe, insbesondere ein Richtungsvektor einer Orientierung der Datenbrille mithilfe der Fahrzeugbewegungsinformation bestimmt wird.
Gemäß einer Ausführungsform kann das Korrigieren basierend auf zu gleichen Zeitpunkten erfassten Brillenbewegungsangaben und Fahrzeugbewegungsangaben durchgeführt werden.
Es kann vorgesehen sein, dass die Brillenbewegungsinformation mit einer erfassten Beschleunigung der Datenbrille in einer oder mehreren Raumrichtungen bestimmt wird und/oder wobei die Fahrzeugbewegungsinformation aus einer erfassten Beschleunigung des Kraftfahrzeugs in einer oder mehreren Raumrichtungen bestimmt wird.
Weiterhin kann das Korrigieren durchgeführt werden, indem ein translatorischer Fahrzeugbeschleunigungsrichtungsvektor aus der Fahrzeugbewegungsangabe als Korrekturinformation bestimmt wird, wobei die Brillenposenangabe abhängig von dem Fahrzeugbeschleunigungsrichtungsvektor korrigiert wird.
Gemäß einer Ausführungsform kann das Korrigieren durchgeführt werden, indem die Brillenbewegungsangabe tiefpassgefiltert wird und ein Brillenbeschleunigungsrichtungsvektor aus der tiefpassgefilterten Brillenbewegungsangabe ermittelt wird, wobei der Brillenbeschleunigungsrichtungsvektor mit dem Fahrzeugbeschleunigungsrichtungsvektor gleichgesetzt wird oder durch diesen inkrementell angepasst wird, um die korrigierte Brillenposenangabe zu erhalten.
Gemäß einem weiteren Aspekt ist eine Datenbrille in einem Anzeigesystem in einem Kraftfahrzeug vorgesehen, umfassend:

- eine Brillenbewegungssensorik, die ausgebildet ist, um eine Brillenbewegungsinformation zu erfassen;
- eine Steuereinheit, die ausgebildet ist, um eine aktuelle Brillenposenangabe in der Datenbrille abhängig von der Brillenbewegungsinformation zu ermitteln, um eine Korrekturinformation bereitzustellen, die eine Orientierung der Datenbrille bezüglich eines Fahrzeugkoordinatensystems angibt und von einem Verlauf einer Brillenbewegungsinformation der Datenbrille während eines zurückliegenden vorgegebenen Zeitfensters abhängt, und um die Brillenposenangabe abhängig von der Brillenbewegungsinformation und von der Korrekturinformation zu korrigieren.

Figurenliste
Ausführungsformen werden nachfolgend anhand der beigefügten Zeichnungen näher erläutert. Es zeigen:

1 eine schematische Darstellung eines Anzeigesystems mit einer Datenbrille und einer Assistenzeinrichtung zum Einsatz in einem Kraftfahrzeug;
2 eine schematische Abweichung zwischen dem Fahrzeugkoordinatensystem und dem Brillenkoordinatensystem; und
3 ein Flussdiagramm zur Veranschaulichung eines Verfahrens zum Betreiben des Anzeigesystems.

Beschreibung von Ausführungsformen
1 zeigt eine schematische Darstellung eines Anzeigesystems 1 insbesondere zum Einsatz in einem Kraftfahrzeug. Das Anzeigesystem 1 umfasst eine Assistenzeinrichtung 2, das in Kommunikationsverbindung 4 mit einer Datenbrille 3 steht. Die Kommunikationsverbindung 4 ist als ein Datenübertragungskanal ausgebildet, z.B. in Form einer drahtlosen Kommunikationsverbindung oder einer drahtgebundenen Kommunikationsverbindung. Die Kommunikationsverbindung 4 ist in der Lage, jegliche Art von Daten und Informationen zwischen der Assistenzeinrichtung 2 und der Datenbrille 3 zu übermitteln, beispielsweise basierend auf einer paketgebundenen Datenübertragung. Die Kommunikationsverbindung 4 kann beispielsweise auf WiFi, Bluetooth, Bluetooth Low Energy oder einem vergleichbaren standardisierten Funkprotokoll basieren.
Die Datenbrille 3 umfasst zwei transparente Sichtscheiben 32, die in einem Rahmen 31 in an sich bekannter Weise eingefasst sind. Der Rahmen 31 ist mit Brillenbügeln 33 versehen, so dass die Datenbrille 3 am Kopf eines Benutzers in an sich bekannter Weise getragen werden kann.
Eine oder beide Sichtscheiben 32 (Brillengläser) sind weiterhin mit einer transparenten Anzeigefläche 35 versehen, durch die durch eine geeignete Einrichtung, wie zum Beispiel eine an dem Rahmen 31 angeordnete Anzeigeeinrichtung 36, ein Anzeigebild zur Darstellung von virtuellen Informationsobjekten ins Auge des Trägers der Datenbrille 3 projiziert werden kann. Die Anzeigeeinrichtung 36 kann einen Mikroprozessor oder eine vergleichbare Recheneinheit und eine Anzeigeeinheit, wie z.B. eine Projektionseinrichtung oder dergleichen, aufweisen. Die Anzeigeeinheit kann ausgebildet sein, das elektronisch generierte Anzeigebild auf die Anzeigefläche 35 zu richten und dort abzubilden/darzustellen.
Durch die transparente Ausbildung der Anzeigefläche 35 kann das elektronisch generierte Bild die durch die Anzeigefläche 35 wahrnehmbare Realumgebung überlagern. Mithilfe der Anzeigeeinrichtung 36 kann eine Information, wie beispielsweise einen Text, ein Symbol, eine Videoinformation, eine Graphik oder dergleichen, in Form eines Informationsobjekts auf einer oder beiden Anzeigeflächen 35 dargestellt werden.
Die Datenbrille 3 kann wie eine typische Sehhilfe an dem Kopf des Benutzers getragen werden, wobei die Datenbrille 3 mit dem Rahmen 31 auf der Nase des Benutzers aufliegt und die Bügel 33 an dem Kopf des Benutzers seitlich anliegen. Die Blickrichtung des Benutzers in Geradeausrichtung erfolgt dann durch die Sichtscheiben 32 im Wesentlichen durch die transparenten Anzeigeflächen 35, so dass die Blickrichtung des Benutzers der Orientierung der Datenbrille 3 entspricht oder z.B. basierend auf einem Kalibrierprozess davon abgeleitet werden kann. Hierin wird davon ausgegangen, dass die Position der Datenbrille 3 relativ zu den Augen des Benutzers festgelegt und vorbekannt ist. Bei Erstbenutzung kann hierzu ein Kalibrierungsvorgang durch den Benutzer der Datenbrille 3 ausgeführt werden, bei dem die relative Pose der Datenbrille 3 relativ zum Kopf des Benutzers bestimmt wird.
Weiterhin kann die Datenbrille 3 mit einer Steuereinheit 37 versehen sein. Die Steuereinheit 37 kann separat ausgebildet sein oder gemeinsam mit dem Mikroprozessor der Anzeigeeinrichtung 36 ausgebildet sein. Die Steuereinheit 37 kann in geeigneter Weise ausgebildet sein, um Datenbrillenfunktionen und Funktionen des Anzeigesystems 1 ausführen oder zu unterstützen. Dazu kann die Assistenzeinrichtung 2 mit der Datenbrille 3 in Verbindung stehen, um Anzeigeinformationen betreffend kontaktanalog und/oder nichtkontaktanalog/brillenfest anzuzeigenden Informationsobjekten an die Datenbrille 3 zu übermitteln. Die Anzeigeinformationen definieren die Anzeigeposition und Darstellung der Informationsobjekte in Bezug auf das Kraftfahrzeug, d.h. in einem Fahrzeugkoordinatensystem (Bezugsystem des Kraftfahrzeugs) für die Darstellung kontaktanaloger und in Bezug auf die Datenbrille, d.h. an einer Anzeigeposition auf der Anzeigefläche 35 der Datenbrille 3 bei einer brillenfesten Anzeige.
So kann die Steuereinheit 37 der Datenbrille eine Posenerkennungsfunktion in Form eines Tracking-Prozesses ausführen, um eine Pose des Kopfes bzw. der Datenbrille 3 in einem Fahrzeuginnenraum festzustellen. Die Pose einer Datenbrille 3 bezeichnet hierin die räumliche Position der Datenbrille 3 in dem Fahrzeugkoordinatensystem sowie deren dreidimensionale Orientierung im Raum. Die Pose der Datenbrille 3 repräsentiert die Blickrichtung des Benutzers und dessen Blickbereich, da die Datenbrille 3 eine feste relative Position am Kopf des Benutzers hat.
Die Datenbrille 3 umfasst eine Brillenbewegungssensorik 38, die z.B. in Form einer Inertialsensorik ausgebildet sein kann. Die Brillenbewegungssensorik 38 stellt eine Brillenbewegungsinformation zur Verfügung. Die Brillenbewegungsinformation kann beispielsweise Beschleunigungen der Datenbrille 3 in drei Raumrichtungen und als Schwenkbewegungen der Datenbrille 3 Winkelbeschleunigungen oder Winkelgeschwindigkeiten um bis zu drei verschiedene Schwenkachsen angeben. Die Brillenbewegungsinformation wird kontinuierlich der Steuereinheit 37 bereitgestellt.
Weiterhin kann eine Kommunikationseinheit 39 vorgesehen sein, die eine Kommunikation mit der Assistenzeinrichtung 2 ermöglicht.
Die Assistenzeinrichtung 2 kann Teil eines Fahrzeugassistenzsystems sein und insbesondere fahrzeugfest in dem Kraftfahrzeug vorgesehen sein. Die Assistenzeinrichtung 2 kann mit einer Kommunikationseinheit 21 ausgestattet sein, die die Kommunikationsverbindung 4 zwischen Datenbrille 3 und Assistenzeinrichtung 2 ermöglicht.
Weiterhin kann die Assistenzeinrichtung 2 einen Fahrzeugbewegungssensor 24 umfassen oder mit einem solchen z. B. über den CAN-Bus verbunden sein, um eine Fahrzeugbewegungsinformation zu erhalten. Die Fahrzeugbewegungsinformation kann eine Fahrzeugbeschleunigung mit Beschleunigungen in drei Raumrichtungen sowie Winkelbeschleunigungen oder Winkelgeschwindigkeiten Fahrzeugschwenkbewegung um bis zu drei Schwenkachsen angeben. Alternativ kann die Fahrzeugbewegungsinformation direkt als die Fahrzeugbeschleunigung erfasst werden oder aus dem zeitlichen Verlauf einer Fahrzeuggeschwindigkeit und Fahrrichtungsänderung bestimmt werden.
Zudem kann die Fahrzeugbewegungsinformation durch weitere Fahrzeugsensorik korrigiert oder präzisiert werden, wobei die weitere Fahrzeugsensorik Aussagen bzw. Prognosen über die Eigenbewegung des Fahrzeugs zulassen. Dies sind insbesondere Geschwindigkeit, Beschleunigung, Raddrehzahlangaben, Bremsinformationen, Lenkwinkel, ESC, Fahrwerkseinstellung sowie weitere Fahrwerksensoren, die Aufschluss starke Fahrbahnunebenheiten, wie z. B. über Schlaglöcher und dergleichen, geben sowie Fahrzeugtypinformationen wie Gewicht, Radstand und weitere Informationen, die zur Prädiktion der Fahrzeugbewegung aus den Sensorwerten dienlich sind. Diese können in einer Sensordatenfusion entweder seitens der Assistenzeinrichtung 2 oder seitens der Datenbrille 3 berücksichtigt werden.
Die Kommunikationseinheit 21 kann ausgebildet sein, ferner die Fahrzeugbewegungsinformation über die Kommunikationsverbindung 4 zu geeigneten Zeitpunkten oder sobald verfügbar an die Datenbrille 3 zu übertragen. Die Übertragung der Fahrzeugbewegungsinformation an die Datenbrille 3 kann zumindest die Fahrzeugschwenkbewegung umfassen.
In der Steuereinheit 37 der Datenbrille 3 wird die Brillenbewegungsinformation ausgewertet und durch inkrementelles Anpassen einer Brillenposenangabe stets eine aktuelle Brillenposenangabe ermittelt. Dabei wird von einer bekannten anfänglichen Referenzpose ausgegangen. Das inkrementelle Anpassen der Brillenposenangabe kann durch zweimaliges Integrieren der Beschleunigungen in den Raumrichtungen und den Drehrichtungen um die Schwenkachsen erfolgen, um inkrementelle Positions- und Orientierungsänderungen als relative Posenangaben der Datenbrille 3 zu erhalten.
Werden statt der Winkelbeschleunigung nur Winkelgeschwindigkeiten um die Schwenkachsen erfasst, so erhält man die entsprechenden Posenangaben durch einfache Integration der Winkelgeschwindigkeit. Die relativen Posenangaben werden entsprechend aufaddiert, um ausgehend von einer bekannten Referenzposition die jeweils aktuelle Brillenposenangabe zu ermitteln. Diese umfasst Positionsangaben und Orientierungsangaben der Datenbrille 3. Die Brillenposenangabe gibt eine Orientierung eines Brillenkoordinatensystems bezogen auf ein Fahrzeugkoordinatensystem an.
Die Beschleunigungen des Kraftfahrzeugs in den Raumrichtungen und um die Schwenkachsen sind in der Brillenbewegungsinformation enthalten, da sich der Benutzer der Datenbrille 3 im Kraftfahrzeug befindet und die Bewegungen des Kraftfahrzeugs mitmacht. Die zweifache Integration führt ohne Korrektur zu zunehmenden Fehlern und Ungenauigkeiten der Bestimmung der Brillenposenangabe. Diese Fehler und Ungenauigkeiten sollen korrigiert werden, da die Brillenpose bezogen auf das Fahrzeugkoordinatensystem bekannt sein muss, um posenabhängige Anzeigen in der Datenbrille 3 zu realisieren. Die Brillenpose wird durch die Ausrichtung des Brillenkoordinatensystems zum Fahrzeugkoordinatensystem bestimmt.
Nachfolgend beschriebenes Verfahren ermöglicht die Korrektur der Orientierungsangabe der Brillenposenangabe. Das beschriebene Verfahren sieht zum einen eine Korrektur durch den Verlauf der in der Datenbrille 3 ermittelten Orientierungsangaben anhand z.B. einer Mittelung oder Mittelung der Orientierungsangaben um jeweils eine oder mehrere der Schwenkachsen für ein zurückliegendes Zeitfenster vor, um eine Geradeausorientierung zu erhalten. Das Zeitfenster sollte eine Dauer aufweisen, in der ein Geradeausblick des Fahrers die vorherrschende Blickrichtung ist. Da der Fahrer beim Führen des Kraftfahrzeugs den Blick nur stets für kurze Zeitdauern von der Geradeausblickrichtung abwendet, z.B. für weniger als 1,5 Sekunden, sollte das Zeitfenster für die Mittelung deutlich länger sein, z.B. mehr als 10 Sekunden betragen.
Die Mittelung bzw. Medianbildung ergibt bei Nutzung in einem Kraftfahrzeug eine gute Näherung für die Geradeausblickrichtung/ Geradeausorientierung des Fahrers, die einer vorbestimmten Referenzorientierung im Fahrzeugkoordinatensystem zugeordnet ist. Diese Referenzorientierung ist vorgegeben und entspricht einer Geradeaussicht des Fahrers in dem Kraftfahrzeug, die sich in der Regel an der Längsachse des Kraftfahrzeugs orientiert. Daher beziehen sich die Referenzorientierung und die Geradeausorientierung auf ein Fahrzeugkoordinatensystem.
Zum anderen kann optional die Korrektur durch Bereitstellen einer Fahrzeugbewegungsinformation erfolgen.
In 2 ist schematisch die Abweichung zwischen dem Fahrzeugkoordinatensystem und dem Brillenkoordinatensystem dargestellt.
Zwischen beiden Bezugssystemen (Koordinatensystemen) erhöht sich aufgrund der Integration der Fehler ohne Korrektur kontinuierlich, so dass eine Nachjustierung zu regelmäßigen Zeiten durchgeführt wird. 2 zeigt schematisch in einer Draufsicht auf ein Kraftfahrzeug 5 beispielhaft die Abweichung zwischen den Richtungen der gemessenen Beschleunigungsrichtungsvektoren a_Brille, a_Fzg aufgrund derselben Fahrzeugbewegung. Aufgrund der festen Positionierung der Datenbrille 3 an dem Kopf eines Fahrzeuginsassen wird die Fahrzeugbeschleunigung a_Fzg auch als Brillenbeschleunigung a_Brille durch die Bewegungssensorik der Datenbrille 3 erfasst, so dass ein Abgleich zwischen den Bewegungsinformationen von Datenbrille 3 und Kraftfahrzeug 5 stattfinden kann.
Die Korrektur erfolgt durch Anpassen der Ausrichtung des Bezugssystems der Datenbrille 3 durch Analysieren der Verläufe der niederfrequenten Komponenten der Brillenbewegungsinformation. Diese werden mit den entsprechenden Komponenten der Fahrzeugbewegungsinformation korrigiert. Die Korrektur erfolgt durch Anpassung des Brillenkoordinatensystems an das Fahrzeugkoordinatensystem. Die Korrektur der Brillenbewegungsinformation erfolgt basierend auf der Beobachtung, dass Bewegungsänderungen des Fahrzeugs viel niederfrequenter auftreten als Bewegungen des Kopfes bzw. der Datenbrille 3. Daher kann durch eine Erkennung, welche der Bewegungsanteile der Datenbrille 3 der Fahrzeugbewegung zugeordnet werden können, eine Richtungsinformation generiert werden mit der die Orientierungsangabe der Datenbrille 3 korrigiert werden kann.
Für die Brillenposenangabe der Datenbrille ist die Kenntnis über die Orientierungsangaben, d.h. die Ausrichtung der Datenbrille im Fahrzeugkoordinatensystem, erheblich wichtiger als die Position der Datenbrille im Fahrzeugkoordinatensystem. Da die Position des Augenbereichs des Fahrers nur wenig variiert, entstehen durch eine fehlerhafte Positionsermittlung nur geringe Einflüsse auf die posenabhängigen Darstellungen von Informationsobjekten. Jedoch sind Abweichungen der Ermittlung der Orientierung der Datenbrille im Fahrzeugkoordinatensystem erheblich störender.
Die Übertragung der Fahrzeugbewegungsinformation an die Datenbrille 3 kann die translatorische und die Winkelbeschleunigung umfassen und kann zudem in der Assistenzeinrichtung 2 daraus ermittelte weitere Bewegungsangaben, die mit oder zusätzlich zu der Fahrzeugbeschleunigung ermittelt werden, umfassen.
Insgesamt kann das Anzeigesystem 1 mit der fahrzeugfesten Assistenzeinrichtung 2 und der Datenbrille 3 ein Verfahren ausführen, das in dem Flussdiagramm der 3 skizziert ist. Das Verfahren wird in der Steuereinheit 37 der Datenbrille 3 ausgeführt und kann als Software und/oder Hardware implementiert sein.
In Schritt S1 werden in der Datenbrille 3 Brillenbewegungsinformationen mit Hilfe der Brillenbewegungssensorik erfasst.
Aus der Brillenbewegungsinformation, die üblicherweise als Beschleunigungsinformation in drei Raumrichtungen und um drei Schwenkachsen angegeben wird, werden in Schritt S2 durch Integration Bewegungsinkremente bzw. relative Posenangaben für den aktuellen Zeitschritt ermittelt, die aufaddiert werden, um eine aktuelle Brillenposenangabe zu erhalten. Die relativen Posenangaben umfassen Änderungen der Position der Datenbrille und Änderungen der Orientierung der Datenbrille im Fahrzeugkoordinatensystem, wobei für die Posenbestimmung der Datenbrille Orientierungsangaben als Teil der Brillenposenangabe der Datenbrille wesentlich sind.
In Schritt S3 werden für ein zurückliegendes Zeitfenster die ermittelten Brillenorientierungen durch eine Mittelwertbildung oder eine Medianbildung verarbeitet, um eine Geradeausorientierung als Korrekturorientierung/Korrekturinformation zu erhalten. Das zurückliegende Zeitfenster kann zwischen 10 und 30 Sekunden betragen. Die gemittelten Brillenorientierungen jeweils um eine der Schwenkachsen sollte die Geradeausblickrichtung des Fahrers im Kraftfahrzeug bestimmen, der eine Referenzorientierung im Fahrzeugkoordinatensystem zugeordnet ist. Aus der Abweichung der ermittelten Geradeausorientierung zu der Referenzorientierung ergibt sich die Korrekturorientierung.
In Schritt S4 wird die aktuelle Brillenposenangabe durch die Korrekturorientierung (Korrekturinformation) korrigiert. Dazu werden die Orientierungsangaben der Brillenposenangabe mit der Korrekturorientierung beaufschlagt, so dass die Abweichung der Geradeausorientierung zu der Referenzorientierung kompensiert wird. Die Korrekturorientierung kann vor der Beaufschlagung mit einem Gewichtungsfaktor <1 multipliziert werden, um keine sprunghafte Änderung der Brillenposenangabe zu erhalten, die zu Sprüngen bei posenabhängig dargestellten Informationsobjekten führen kann.
In Schritt S5 werden Fahrzeugbewegungsinformationen empfangen, die Fahrzeugbewegungsinformationen (Fahrzeugbeschleunigungsangaben) in den Raumrichtungen bezüglich des Kraftfahrzeugs und entsprechende Zeitstempel für diese Fahrzeugbeschleunigungsangaben angeben. Eine Referenz für die Raumrichtungen ist aufgrund der festen Montage des Fahrzeugbeschleunigungssensors 24 bzw. der Fahrzeugbewegungssensorik festgelegt und orientiert sich in der Regel an einer Fahrzeuglängsachse.
In Schritt S6 wird aus der Fahrzeugbewegungsinformation ein Fahrzeugbeschleunigungsrichtungsvektor für die Richtung einer momentanen Beschleunigungsbewegung des Kraftfahrzeugs ermittelt. Dazu werden die translatorischen Beschleunigungsangaben in allen verfügbaren Raumrichtungen ausgewertet.
In Schritt S7 wird aus der Brillenbewegungsinformation ein Brillenbeschleunigungsrichtungsvektor für die Beschleunigungsrichtung einer momentanen Beschleunigung der Datenbrille 3 ermittelt. Dazu werden die translatorischen Beschleunigungsangaben in allen verfügbaren Raumrichtungen zunächst tiefpassgefiltert und anschließend der Brillenbeschleunigungsrichtungsvektor für die Orientierung der Datenbrille 3 aus den tiefpassgefilterten Beschleunigungsangaben bestimmt.
Die Tiefpassfilterung dient dazu, den Anteil der Fahrzeugbewegung aus der Brillenbewegung zu extrahieren, um zwischen Kopfbewegungen des Benutzers der Datenbrille 3 und den Fahrzeugbewegungen zu unterscheiden. Die Zeitkonstante der Tiefpassfilterung kann im Bereich von 0,5 bis 3 Sekunden gewählt werden.
In Schritt S8 werden die Komponenten der Brillenposenangabe, die eine Orientierung des Brillenkoordinatensystems der Datenbrille 3 angeben, bezüglich des Richtungsversatzes zwischen dem Fahrzeugbeschleunigungsrichtungsvektor und dem Brillenbeschleunigungsrichtungsvektor korrigiert. Dies kann durch Beaufschlagung der Brillenposenangabe mit der Richtungsdifferenz zwischen dem Fahrzeugbeschleunigungsrichtungsvektor und dem Brillenbeschleunigungsrichtungsvektor erfolgen. Alternativ kann die die Orientierung angebenden Komponenten der Brillenposenangabe in Richtung des Richtungsversatzes zwischen dem Fahrzeugbeschleunigungsrichtungsvektor und dem Brillenbeschleunigungsrichtungsvektor inkrementell korrigiert werden.
Alternativ können die Korrekturen der Schritte S4 und S8 kombiniert werden, indem eine kombinierte Korrekturinformation aus der Korrekturorientierung und der Richtungsdifferenz zwischen dem Fahrzeugbeschleunigungsrichtungsvektor und dem Brillenbeschleunigungsrichtungsvektor bestimmt und angewendet wird. Die kombinierte Korrekturinformation kann durch Mittelwertbildung insbesondere der gewichteten Korrekturorientierung und Richtungsdifferenz bestimmt werden.
In Schritt S9 wird die korrigierte Brillenposenangabe zur weiteren Verarbeitung in der Datenbrille 3 genutzt. Insbesondere kann diese zur blickrichtungsabhängigen Anzeige von Informationsobjekten in der Datenbrille 3 verwendet werden.
Dieses Verfahren wird zyklisch durch Rücksprung zu Schritt S1 wiederholt und ermöglicht eine möglichst genaue Brillenposenangabe der Datenbrille 3 bei einem verringerten Rechenaufwand in der Datenbrille 3.
Die Korrekturen der Schritte S3 und S4 sowie der Schritte S5 -S7 können jeweils in jedem Zeitschritt oder nach einer bestimmten Anzahl von Zeitschritten durchgeführt werden. Es können auch Zeitschritte vorgesehen sein, in denen jeweils nur eine der beiden Korrekturen durchgeführt werden.
Die in dem obigen Verfahren verwendete Fahrzeugbewegungsinformation und die verwendete Brillenbewegungsinformation sind im Wesentlichen zu demselben Zeitpunkt erfasst. In der Datenbrille 3 wird diejenige Brillenbewegungsinformation ausgewählt, die dem Zeitstempel oder dem Erfassungszeitpunkt der Fahrzeugbewegungsinformation entspricht. Dazu kann ein zeitlicher Verlauf der Brillenbewegungsinformation in der Datenbrille 3 gespeichert werden.
Bezugszeichenliste

1: Anzeigesystem
2: Assistenzeinrichtung
21: Kommunikationseinheit
22: Fahrzeugbewegungssensorik
23: Prozessoreinheit
24: Fahrzeugbeschleunigungssensor
3: Datenbrille
31: Rahmen
32: Sichtscheiben
33: Brillenbügel
35: transparente Anzeigefläche
36: Anzeigeeinrichtung
37: Steuereinheit
38: Brillenbewegungssensorik
39: Kommunikationseinheit
4: Kommunikationsverbindung

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102014206623 A1 [0006]

Claims

Verfahren, insbesondere computer-implementiertes Verfahren, zum Betreiben eines Anzeigesystems (1) mit einer Datenbrille (3) in einem Kraftfahrzeug (5) vorgesehen, mit folgenden Schritten: - Erfassen (S1) einer Brillenbewegungsinformation durch die Datenbrille (3); - Ermitteln (S2) einer aktuellen Brillenposenangabe in der Datenbrille (3) abhängig von der Brillenbewegungsinformation; - Bereitstellen (S3, S7) einer Korrekturinformation, die von einem Verlauf einer Brillenbewegungsinformation der Datenbrille (3) während eines zurückliegenden vorgegebenen Zeitfensters abhängt; - Korrigieren (S4, S8) der Brillenposenangabe abhängig von der Brillenbewegungsinformation und von der Korrekturinformation.
Verfahren nach Anspruch 1, wobei abhängig von dem Verlauf der Brillenbewegungsinformation ein Verlauf von Orientierungen der Datenbrille (3) um eine oder mehrere Schwenkachsen bestimmt wird (S3), wobei eine Geradeausorientierung aus dem Verlauf der Orientierungen der Datenbrille (3) um mindestens eine Schwenkachse durch Bildung eines Mittelwerts oder eines Medians über das Zeitfenster bestimmt wird, wobei die Korrekturinformation abhängig von der Geradeausorientierung, insbesondere von einer Abweichung der Geradeausorientierung von einer vorgegebenen Referenzorientierung, die einer Geradeaussicht eines Fahrers in einem Kraftfahrzeug entspricht, bestimmt wird.
Verfahren nach Anspruch 2, wobei die Korrekturinformation ferner ermittelt wird, indem eine Fahrzeugbewegungsinformation bereitgestellt wird und indem die Brillenposenangabe, insbesondere ein Richtungsvektor einer Orientierung der Datenbrille (3), mithilfe der Fahrzeugbewegungsinformation bestimmt wird.
Verfahren nach Anspruch 3, wobei das Korrigieren basierend auf zu gleichen Zeitpunkten erfassten Brillenbewegungsangaben und Fahrzeugbewegungsangaben durchgeführt wird.
Verfahren nach einem der Ansprüche 3 bis 4, wobei die Brillenbewegungsinformation mit einer erfassten Beschleunigung der Datenbrille (3) in einer oder mehreren Raumrichtungen bestimmt wird und/oder wobei die Fahrzeugbewegungsinformation aus einer erfassten Beschleunigung des Kraftfahrzeugs (5) in einer oder mehreren Raumrichtungen bestimmt wird.
Verfahren nach einem der Ansprüche 3 bis 5, wobei das Korrigieren durchgeführt wird, indem ein translatorischer Fahrzeugbeschleunigungsrichtungsvektor aus der Fahrzeugbewegungsangabe bestimmt wird, wobei die Brillenposenangabe abhängig von dem Fahrzeugbeschleunigungsrichtungsvektor korrigiert wird.
Verfahren nach Anspruch 6, wobei das Korrigieren durchgeführt wird, indem die Brillenbewegungsangabe tiefpassgefiltert wird und ein Brillenbeschleunigungsrichtungsvektor aus der tiefpassgefilterten Brillenbewegungsangabe ermittelt wird, wobei der Brillenbeschleunigungsrichtungsvektor mit dem Fahrzeugbeschleunigungsrichtungsvektor gleichgesetzt wird oder durch diesen inkrementell angepasst wird, um die korrigierte Brillenposenangabe zu erhalten.
Verfahren nach einem der Ansprüche 1 bis 7, wobei das Korrigieren der Brillenposenangabe in nur einer Schwenkachse oder in mehreren Schwenkachsen durchgeführt wird.
Verfahren nach einem der Ansprüche 1 bis 8, wobei abhängig von der korrigierten Brillenposenangabe Informationsobjekte in der Datenbrille (3) angezeigt werden.
Datenbrille (3) in einem Anzeigesystem (1) in einem Kraftfahrzeug, umfassend: - eine Brillenbewegungssensorik, die ausgebildet ist, um eine Brillenbewegungsinformation zu erfassen; - eine Steuereinheit (37), die ausgebildet ist, um eine aktuelle Brillenposenangabe in der Datenbrille (3) abhängig von der Brillenbewegungsinformation zu ermitteln, um eine Korrekturinformation bereitzustellen, die eine Orientierung der Datenbrille (3) bezüglich eines Fahrzeugkoordinatensystems angibt und von einem Verlauf einer Brillenbewegungsinformation der Datenbrille während eines zurückliegenden vorgegebenen Zeitfensters abhängt, und um die Brillenposenangabe abhängig von der Brillenbewegungsinformation und von der Korrekturinformation zu korrigieren.
Anzeigesystem (1) mit einer Datenbrille (3) nach Anspruch 10 und einer Assistenzeinrichtung (2).