DE102019103360A1

DE102019103360A1 - Verfahren und Vorrichtung zum Betreiben eines Anzeigesystems mit einer Datenbrille

Info

Publication number: DE102019103360A1
Application number: DE102019103360.8A
Authority: DE
Inventors: Wolfgang Haberl; Alan Keim; Philipp Tiefenbacher
Original assignee: Bayerische Motoren Werke AG
Current assignee: Bayerische Motoren Werke AG
Priority date: 2019-02-11
Filing date: 2019-02-11
Publication date: 2020-08-13

Abstract

Die Erfindung betrifft ein Verfahren zum Betreiben eines Anzeigesystems mit einem Assistenzsystem und einer Datenbrille, insbesondere in einem Kraftfahrzeug, mit folgenden Schritten:- Bereitstellen einer Brillenposenangabe, die eine Brillenpose mindestens einer Anzeigefläche der Datenbrille angibt;- Bereitstellen einer Augenposenangabe, die eine Augenpose mindestens eines Auges des Trägers der Datenbrille angibt;- Ermitteln einer Kalibrierinformation, die einen relativen Versatz der mindestens einen Anzeigefläche der Datenbrille zu dem mindestens einem Auge des Trägers der Datenbrille angibt; und- Verwenden der Kalibrierinformation zum Anzeigen eines virtuellen Objekts auf der mindestens einen Anzeigefläche der Datenbrille.

Description

Technisches Gebiet
Die Erfindung betrifft Datenbrillen, insbesondere zum Einsatz in einem Kraftfahrzeug. Die Erfindung betrifft weiterhin Maßnahmen zum Kalibrieren einer Datenbrille für ihren Träger.
Technischer Hintergrund
Es sind Datenbrillen, auch Head-mounted Displays genannt, bekannt, die mithilfe einer Anzeigevorrichtung eine Abbildung auf einer oder zwei Anzeigeflächen im Blickfeld des Trägers der Datenbrille anzeigen können. Die Anzeigeflächen können Reflexionsflächen entsprechen, die Abbildungen in das Auge des Trägers der Datenbrille richten. Die Sichtöffnungen der Datenbrille sind transparent, so dass durch die Datenbrille die reale Umgebung in gewöhnlicher Weise wahrgenommen werden kann. Die Anzeigeflächen liegen in den Sichtöffnungen, so dass eine anzuzeigende Information, wie beispielsweise Text, Symbole, Graphiken, Videoanzeigen und dergleichen, die Wahrnehmung der Umgebung überlagernd angezeigt werden kann.
Die Informationen werden dem Träger der Datenbrille in der Regel kontaktanalog dargestellt, d.h. so dargestellt, dass diese als Objektinformation einem bestimmten zugeordneten Objekt in der Realumgebung überlagert ist bzw. an diesem orientiert ist oder dass die anzuzeigende Objektinformation in einer bestimmten Ausrichtung der Datenbrille bzw. deren Trägers angezeigt wird. Weiterhin kann die kontaktanaloge Objektinformation so dargestellt werden, dass sie in Bezug auf das Objekt in der Realumgebung perspektivisch korrekt erscheint, d.h. die Illusion entsteht, dass das Objekt der Realumgebung tatsächlich um das zusätzliche Merkmal der visuellen Objektinformation ergänzt wurde.
Um die Objektinformation entsprechend kontaktanalog auf den Anzeigeflächen der Datenbrille anzuzeigen, ist es notwendig, die Position des Objektes in der Umgebung und die Blickrichtung des Benutzers zu kennen. Die Blickrichtung des Benutzers ist beim Tragen der Datenbrille fest deren Pose zugeordnet, d.h. der 3D-Position als auch die 3D-Ausrichtung der Datenbrille.
Zur Bestimmung der Pose der Datenbrille kann z.B. in der Datenbrille eine Posenerkennungseinheit vorgesehen werden. Die Posenerkennungseinheit weist in der Regel eine Kamera und Recheneinrichtung, z.B. in Form eines Mikroprozessors auf. Mithilfe der Kamera aufgezeichnete Abbildungen der Umgebung des Trägers der Datenbrille kann basierend auf hinterlegten Abbildungen bzw. Strukturen des Fahrzeuginnenraums die Pose der Datenbrille im Fahrzeuginnenraum festgestellt werden. Diesen Vorgang nennt man auch Tracking.
So ist aus der Druckschrift DE 10 2014 206 623 A1 eine Vorrichtung zum Bestimmen der Pose einer Datenbrille bekannt, die eine Anzeige und eine Kamera umfasst. Die Vorrichtung ist ausgebildet, um Aufnahmen der Umgebung der Datenbrille mithilfe der Kamera zu erstellen, die Abbildung eines gespeicherten und vordefinierten Bereiches der Umgebung in den Aufnahmen der Kamera zu erkennen, ein Merkmal in der erkannten Abbildung des Bereiches zu erkennen und die Pose der Datenbrille unter Berücksichtigung des bestimmten Merkmals in den Aufnahmen zu bestimmen.
Derartige in der Datenbrille integrierte Posenerkennungseinheiten, die zur Erfassung der absoluten Pose ausgebildet sind, benötigen eine hohe Prozessorleistung und sind daher aufwändig zu realisieren. Dies führt zu einem hohen Baugewicht und/oder Bauvolumen der Datenbrille und das Bereitstellen der benötigten elektrischen Energie ist aufwändig zu realisieren.
Weiterhin kann die Pose einer Datenbrille oder eines Kopfes eines Benutzers auch durch eine externe Posenerkennungseinheit bestimmt werden, bei der eine Innenraumkamera den Kopf des Trägers der Datenbrille erfasst und durch Auswertung des Kamerabildes entweder die Pose des Kopfes ermittelt und davon die Pose der Datenbrille abgeleitet wird oder die Pose der Datenbrille direkt ermittelt wird. Bei diesen so genannten Outside-In-Tracking-Systemen besteht eine Schwierigkeit darin, die außerhalb der Datenbrille ermittelte absolute Posenangabe insbesondere bei einer drahtlosen Kommunikationsverbindung mit einer ausreichend geringen Latenz an die Datenbrille zu übermitteln, so dass die Datenbrille entsprechend kontaktanaloge Darstellungen verzögerungsfrei bzw. einer nicht störenden Verzögerung ausgeben kann. Außerdem kann aus der Pose des Kopfes des Trägers der Datenbrille nicht zuverlässig die Pose der Datenbrille ermittelt werden, da diese bezüglich des Kopfes variierende Orientierungen annehmen kann.
Aus der Druckschrift DE 10 2015 208 737 A1 ein Head-up-Display für ein Fahrzeug bekannt, wobei das Head-up-Display ausgestaltet ist, um eine Relativbewegung des Kopfes des Fahrers zu dem Head-up-Display auszugleichen, um eine Relativbewegung zwischen dem virtuellen Bild und dem Kopf des Fahrers zu verringern. Die Relativbewegung zwischen der Projektionseinheit und einem Kopf des Fahrers wird mithilfe eines Gyrosensors erfasst.
Durch die unterschiedlichen Kopfformen des Trägers der Datenbrille, insbesondere der Nasenform, dem Pupillenabstand und dergleichen, ist die Datenbrille beim Tragen am Kopf des Trägers mit einem individuellen Versatz und Ausrichtung bezogen auf die Position und/oder die Blickachsen der Augen des Trägers angeordnet. Dies erfordert daher eine Kalibration, um die Datenbrille an den individuellen Träger anzupassen. Auch kann es während des Tragens der Datenbrille durch Kopfbewegung, Vibrationen oder dergleichen zu einer relativen Verschiebung der Datenbrille am Kopf des Trägers kommen, wodurch eine Nachjustierung erforderlich ist.
Eine fehlende Kalibration bzw. Nachjustierung führt ansonsten dazu, dass die Anzeigepositionen von virtuellen Objekten auf einer Anzeigefläche der Datenbrille nicht mit der gewünschten Anzeigeposition, an der das virtuelle Objekt dargestellt werden soll, übereinstimmt. Dies kann insbesondere beim Taggen, d. h. Bereitstellen von Zusatzinformation für ein reales Objekt bzw. beim Markieren eines Objekts durch Kennzeichnen der wahrgenommenen Objektfläche, zu Störungen kommen, die den Tragekomfort maßgeblich beeinträchtigen.
Zum Kalibrieren einer Datenbrille für einen Benutzer muss dieser bisher ein Kalibrierungsverfahren ausführen, bei dem ein virtuelles Objekt bezüglich eines realen Objekts in Überdeckung gebracht wird. Damit ist es möglich, die relative Pose zum Kopf des Trägers zu ermitteln, um so die Kalibration durchzuführen. Das obige Verfahren benötigt eine aufwändige Benutzerinteraktion und kann insbesondere nicht zum Nachjustieren verwendet werden, wenn die Datenbrille ihre relative Pose zum Kopf des Trägers aufgrund von äußeren Einflüssen geändert hat.
So ist beispielsweise aus der Druckschrift DE 10 2014 213 113 A1 ein Verfahren zur Kalibrierung einer Anzeigesteuerung zur Darstellung eines dreidimensionalen virtuellen Bildbestandteils auf einem transparenten Display bekannt, bei dem ein virtueller Marker auf dem transparenten Display durch einen Benutzer in Überdeckung mit einem realen Marker gebracht werden und bei dem die Lage des Auges relativ zum transparenten Display bestimmt wird.
Es ist Aufgabe der vorliegenden Erfindung, ein verbessertes Verfahren zum Kalibrieren bzw. zum Nachjustieren einer Datenbrille am Kopf eines Trägers bereitzustellen, das automatisch durchgeführt wird und keine Benutzerinteraktion benötigt.
Offenbarung der Erfindung
Diese Aufgabe wird durch das Verfahren zum Betreiben eines Anzeigesystems mit einer Datenbrille gemäß Anspruch 1 sowie durch das Verfahren zum Betreiben einer Datenbrille, das Verfahren zum Betreiben einer ortsfesten Assistenzeinrichtung, eine Datenbrille und ein Anzeigesystem gemäß den nebengeordneten Ansprüchen gelöst.
Weitere Ausgestaltungen sind in den abhängigen Ansprüchen angegeben.
Gemäß einem ersten Aspekt ist ein Verfahren zum Betreiben eines Anzeigesystems mit einem Assistenzsystem und einer Datenbrille, insbesondere in einem Kraftfahrzeug, mit folgenden Schritten:

- Bereitstellen einer Brillenposenangabe, die eine Pose der Datenbrille oder eine Pose mindestens einer Anzeigefläche der Datenbrille angibt;
- Bereitstellen einer Augenposenangabe, die mindestens eines Auges des Trägers der Datenbrille angibt;
- Ermitteln einer Kalibrierinformation, die einen relativen Versatz der mindestens einen Anzeigefläche der Datenbrille zu dem mindestens einen Auge des Trägers der Datenbrille angibt; und
- Verwenden der Kalibrierinformation zum Anzeigen eines virtuellen Objekts auf der mindestens einen Anzeigefläche der Datenbrille.

Eine Idee des obigen Verfahrens besteht darin, die Kalibrierung der Datenbrille hinsichtlich ihrer Positionierung am Kopf des Trägers automatisch durchzuführen. Damit unterscheidet sich das obige Verfahren von dem Stand der Technik dadurch, dass der Träger der Datenbrille bisher aktiv eine Kalibrierungsroutine durchführen musste und gegebenenfalls nach einer Zeitdauer des Tragens nachjustieren musste. Dies wird durch das obige Verfahren jedoch vermieden, da dort automatisch der örtliche Bezug zwischen mindestens einer Anzeigefläche der Datenbrille und mindestens einem Auge des Trägers der Datenbrille automatisch bestimmt wird. Dazu ist vorgesehen, die Augenpose, d.h. die Position und Ausrichtung (Blickachse) des mindestens einen Auges des Trägers der Datenbrille und der mindestens einen Anzeigefläche der Datenbrille separat zu erfassen und den relativen Bezug zwischen Anzeigefläche und zugeordnetem Auge des Trägers als räumliche Posendifferenz als Kalibrierungsinformation anzugeben. Dies ermöglicht es, eine Darstellung eines oder mehrerer virtueller Objekte auf der Anzeigefläche der Datenbrille so auszugeben, dass die wahrgenommene örtliche bzw. räumliche Position mit der gewünschten Anzeigeposition in Übereinstimmung ist.
Durch das obige Verfahren erübrigt sich die aktive Benutzerinteraktion mit einer Kalibrierungsroutine. Stattdessen wird die Kalibrierung automatisch durchgeführt. Durch die automatische Ausführung kann in gleicher Weise auch die Nachkalibrierung durchgeführt werden.
Es kann vorgesehen sein, dass die Augenposenangabe durch das Assistenzsystem durch Feststellen einer Kopfposenangabe, die eine Pose des Kopfes des Trägers der Datenbrille angibt, insbesondere mit Hilfe eines vorgegebenen Augenposenoffsets, bestimmt wird.
Weiterhin kann die Augenposenangabe durch das Assistenzsystem, insbesondere mit Hilfe eines Innenraumkamerasystems basierend auf einem Musterkennungsalgorithmus ermittelt werden.
Gemäß einer Ausführungsform kann die Augenposenangabe an die Datenbrille übertragen werden und die Brillenposenangabe durch ein Inside-out-Tracking in der Datenbrille ermittelt werden, wobei das Ermitteln der Kalibrierinformation in der Datenbrille durchgeführt wird.
Gemäß einer weiteren Ausführungsform kann die Brillenposenangabe durch ein Outside-in-Tracking in dem Assistenzsystem ermittelt werden.
Insbesondere kann die Kalibrierinformation, insbesondere in Form einer Projektionsmatrix, in dem Assistenzsystem ermittelt werden.
Es kann vorgesehen sein, dass die Kalibrierinformation abhängig von einem Posenunterschied zwischen der Kopfpose, die insbesondere basierend auf einem bestimmten Kopfmerkmal festgelegt wird, und der Brillenpose durch insbesondere Differenzbildung ermittelt wird.
Weiterhin kann die Kalibrierinformation eine Verschiebung der Anzeige des virtuellen Objekts auf der Anzeigefläche angeben.
Gemäß einem weiteren Aspekt ist ein Verfahren zum Betreiben eines Assistenzsystems eines Anzeigesystems zur Verwendung mit einer Datenbrille, insbesondere in einem Kraftfahrzeug, vorgesehen, mit folgenden Schritten:

- Ermitteln einer Augenposenangabe, die eine Augenpose mindestens eines Auges des Trägers der Datenbrille angibt; und
- Senden der Augenposenangabe an die Datenbrille.

Weiterhin können weitere folgende Schritte vorgesehen sein:

- Ermitteln einer Brillenposenangabe, die eine Brillenpose mindestens einer Anzeigefläche der Datenbrille angibt;
- Ermitteln einer Kalibrierinformation, die einen relativen Versatz der mindestens einen Anzeigefläche der Datenbrille zu dem mindestens einen Auge des Trägers der Datenbrille angibt; und
- Übermitteln der Kalibrierinformation an die Datenbrille.

Gemäß einem weiteren Aspekt ist ein Verfahren zum Betreiben einer Datenbrille eines Anzeigesystems, insbesondere in einem Kraftfahrzeug, vorgesehen, mit folgenden Schritten:

- Empfangen einer Augenposenangabe, die eine Augenpose mindestens eines der Augen des Trägers der Datenbrille angibt;
- Bereitstellen einer Brillenposenangabe, die eine Brillenpose der mindestens einen Anzeigefläche der Datenbrille angibt;
- Ermitteln einer Kalibrierinformation, die einen relativen Versatz der Brillenpose zu der Augenpose angibt; und
- Verwenden der Kalibrierinformation zum Anzeigen eines virtuellen Objekts auf einer Anzeigefläche der Datenbrille.

Gemäß einem weiteren Aspekt ist ein Anzeigesystem mit einem Assistenzsystem und einer Datenbrille vorgesehen, insbesondere in einem Kraftfahrzeug, wobei das Assistenzsystem oder die Datenbrille ausgebildet ist, um eine Brillenposenangabe, die eine Brillenpose mindestens einer Anzeigefläche der Datenbrille angibt, bereitzustellen. Das Assistenzsystem ist ausgebildet, um eine Augenposenangabe, die eine Augenpose mindestens eines Auges des Trägers der Datenbrille angibt, bereitzustellen. Das Assistenzsystem oder die Datenbrille sind ausgebildet, um eine Kalibrierinformation, die einen relativen Versatz der mindestens einen Anzeigefläche der Datenbrille zu dem mindestens einem Auge des Trägers der Datenbrille angibt, zu ermitteln. Die Datenbrille ist ausgebildet, um die Kalibrierinformation zum Anzeigen eines virtuellen Objekts auf der mindestens einen Anzeigefläche der Datenbrille zu verwenden.
Gemäß einem weiteren Aspekt ist ein Assistenzsystem eines Anzeigesystems zur Verwendung mit einer Datenbrille, insbesondere in einem Kraftfahrzeug, vorgesehen, wobei das Assistenzsystem ausgebildet ist, um eine Augenposenangabe, die eine Augenpose mindestens eines Auges des Trägers der Datenbrille angibt, zu ermitteln und um die Augenposenangabe an die Datenbrille zu senden.
Gemäß einem weiteren Aspekt ist eine Datenbrille 3) für ein Anzeigesystem, insbesondere in einem Kraftfahrzeug, vorgesehen, umfassend:

- eine Kommunikationseinheit, die ausgebildet ist, um eine Augenposenangabe, die eine Augenpose mindestens eines der Augen des Trägers der Datenbrille angibt, zu empfangen; und
- eine Steuereinheit, die ausgebildet ist, um eine Brillenposenangabe, die eine Brillenpose mindestens einer Anzeigefläche der Datenbrille angibt, zu erhalten, um eine Kalibrierinformation, die einen relativen Versatz der Brillenpose zu der Augenpose angibt, zu ermitteln und um die Kalibrierinformation zum Anzeigen eines virtuellen Objekts auf einer Anzeigefläche der Datenbrille zu verwenden.

Figurenliste
Ausführungsformen werden nachfolgend anhand der beigefügten Zeichnungen näher erläutert. Es zeigen:

1 eine schematische Darstellung eines Anzeigesystems mit einer Datenbrille und einer Posenerkennungseinrichtung zum Einsatz in einem Kraftfahrzeug;
2a und 2b eine Darstellung einer Fehlanpassung der Datenbrille zu einem Auge des Trägers; und
3 ein Flussdiagramm zur Veranschaulichung eines Verfahrens zum Betreiben des Anzeigesystems.

Beschreibung von Ausführungsformen
1 zeigt eine schematische Darstellung eines Anzeigesystems 1 insbesondere zum Einsatz in einem Kraftfahrzeug. Das Anzeigesystem 1 umfasst ein Assistenzsystem 2, das in Kommunikationsverbindung 4 mit einer Datenbrille 3 steht. Die Kommunikationsverbindung 4 ist als ein Datenübertragungskanal ausgebildet, z.B. in Form einer drahtlosen Kommunikationsverbindung oder einer drahtgebundenen Kommunikationsverbindung. Die Kommunikationsverbindung 4 ist in der Lage, jegliche Art von Daten und Informationen zwischen dem Assistenzsystem 2 und der Datenbrille 3 zu übermitteln, beispielsweise basierend auf einer paketgebundenen Datenübertragung. Die Kommunikationsverbindung 4 kann beispielsweise auf WiFi, Bluetooth, Bluetooth Low Energy oder einem vergleichbaren standardisierten Funkprotokoll basieren.
Das Assistenzsystem 2 kann Teil eines Fahrzeugassistenzsystems sein und insbesondere ortsfest in dem Kraftfahrzeug vorgesehen sein. Das Assistenzsystem 2 kann mit einer Kommunikationseinheit 21 ausgestattet sein, die die Kommunikationsverbindung 4 zwischen Datenbrille 3 und dem Assistenzsystem 2 ermöglicht.
Das Assistenzsystem 2 kann weiterhin mit einem Umgebungserfassungssystem 22, das eine oder mehrere Kameras aufweist, verbunden sein. Das Umgebungserfassungssystem 22 kann die Umgebung des Kraftfahrzeugs erfassen. Die eine oder die mehreren Kameras können z. B. eine RGB-, IR-, Fisheye-Kamera, einen Dynamic Vision Sensor und dergleichen umfassen.
Das Assistenzsystem 2 kann eine Prozessoreinheit 23 aufweisen, durch die abhängig von einer geografischen Position des Kraftfahrzeugs und abhängig von einer durch das Umgebungserfassungssystem erfassten Umgebungsabbild in an sich bekannter Weise mindestens ein virtuelles Objekt zur Anzeige in der Datenbrille 3 generiert und/oder bestimmt werden. Die Position des mindestens einen virtuellen Objekts wird bezüglich eines fahrzeugfesten Koordinatensystems angegeben. Zur Darstellung in der Datenbrille 3 wird eine Objektinformation generiert, die entsprechend Objektposition, Objektinhalt und Objektart der Darstellung des mindestens einen virtuellen Objekts in der Datenbrille 3 angibt.
Die Datenbrille 3 umfasst zwei transparente Sichtscheiben 32, die in einem Rahmen 31 in an sich bekannter Weise eingefasst sind. Der Rahmen 31 ist mit Brillenbügeln 33 versehen, so dass die Datenbrille 3 am Kopf eines Benutzers in an sich bekannter Weise getragen werden kann.
Eine oder beide Sichtscheiben 32 (Brillengläser) sind weiterhin mit einer transparenten Anzeigefläche 35 versehen, durch die durch eine geeignete Einrichtung, wie zum Beispiel eine an dem Rahmen 31 angeordnete Anzeigeeinrichtung 36, ein Anzeigebild zur Darstellung von virtuellen Objekten ins Auge des Trägers der Datenbrille 3 projiziert werden kann. Die Anzeigeeinrichtung 36 kann einen Mikroprozessor oder eine vergleichbare Recheneinheit und eine Anzeigeeinheit, wie z.B. eine Projektionseinrichtung oder dergleichen, aufweisen. Die Anzeigeeinheit kann ausgebildet sein, das elektronisch generierte Anzeigebild auf die Anzeigefläche 35 zu richten und dort abzubi lden/darzustellen.
Durch die transparente Ausbildung der Anzeigefläche 35 kann das elektronisch generierte Bild die durch die Anzeigefläche 35 wahrnehmbare Realumgebung überlagern. Mithilfe der Anzeigeeinrichtung 36 kann ein virtuelles Objekt, wie beispielsweise einen Text, ein Symbol, eine Videoinformation, eine Graphik oder dergleichen, auf einer oder beiden Anzeigeflächen 35 dargestellt werden.
Die Datenbrille 3 kann wie eine typische Sehhilfe an dem Kopf des Benutzers getragen werden, wobei die Datenbrille 3 mit dem Rahmen 31 auf der Nase des Benutzers aufliegt und die Bügel 33 an dem Kopf des Benutzers seitlich anliegen. Die Blickrichtung des Benutzers in Geradeausrichtung erfolgt dann durch die transparenten Anzeigeflächen 35 der Sichtscheiben 32, so dass die Blickrichtung des Benutzers, die durch eine Augenposition und eine optische Blickachse (Augenachse) vorgegeben ist, einen festen Bezug zur Ausrichtung der Datenbrille 3 aufweist. Dieser Bezug hängt individuell von dem Träger der Datenbrille 3 ab und wird durch eine Kalibrierungsinformation angegeben.
Wie anhand der schematischen Darstellung der 2a und 2b näher erläutert, bewirkt eine Verschiebung der Anzeigefläche 35 bezüglich einer Blickachse B des Auges 5 des Trägers der Datenbrille 3 eine Verschiebung der wahrgenommenen Darstellung eines virtuellen Objektes V. Während in 2b das virtuelle Objekt V auf der Anzeigefläche 35 ein reales Objekt 6 überdeckt, ist bei einer Fahlanpassung der Datenbrille 3 an das Auge 5 des Trägers das virtuelle Objekt V seitlich versetzt, so dass das reale Umgebungsobjekt 6 nicht durch die Darstellung auf der Anzeigefläche 35 überdeckt wird. Die Kalibrierungsinformation bewirkt eine Verschiebung der Anzeige auf der Anzeigefläche um diese Fehlanpassung durch eine entsprechende Verschiebung des virtuellen Objekts V zu kompensieren.
Die Kalibrierungsinformation ermöglicht somit eine Korrektur der Darstellung Anzeige auf jeder der Anzeigeflächen 35, so dass die Darstellung auf einer der Anzeigeflächen 35 mit der optischen Blickachse B des der Anzeigefläche 35 zugeordneten Auges 5 des Trägers der Datenbrille 3 so übereinstimmt, dass ein dargestelltes virtuelles Objekt an der gewünschten Position angezeigt wird. Mit anderen Worten, das virtuelle Objekt wird in Größe und Position so auf der jeweiligen Anzeigefläche 35 dargestellt, dass es bezüglich der Blickachsen B des Trägers an der dem virtuellen Objekt zugeordneten Objektposition erscheint.
Die Kalibrierinformation kann in Form einer Projektionsmatrix P angegeben werden, die im Allgemeinen folgende Form hat: $_{E}^{H} P =^{E} K [\begin{matrix} _{E}^{H} R & _{E}^{H} t \end{matrix}] \in ℝ^{3 \times 4}$
wobei R und t sind dabei die Rotation und Translation von Tracking der mindestens einen Anzeigefläche zu der Augenpose. Die Matrix K nennt man intrinsische Matrix, die dazu dient, das räumliche Koordinatensystem auf das Projektionszentrum (optisches Zentrum auf der Retina des menschlichen Auges) abzubilden. Die intrinsische Matrix beinhaltet Hauptpunkt, den Abstand der Bildebene vom optischen Zentrum und ggfs. eine Scherung.
Die Datenbrille 3 kann mit einer Datenbrillenkamera 38 versehen sein, die in einem festgelegten Bezug zu einer Ausrichtung der Datenbrille 3 an dieser angebracht ist. Beispielsweise kann die Datenbrillenkamera 38 an einem der Brillenbügel 33 angeordnet sein.
Weiterhin kann die Datenbrille 3 mit einer Steuereinheit 37 versehen sein. Die Steuereinheit 37 kann separat ausgebildet sein oder gemeinsam mit dem Mikroprozessor der Anzeigeeinrichtung 36 ausgebildet sein. Die Steuereinheit 37 kann in geeigneter Weise ausgebildet sein, um Datenbrillenfunktionen und Funktionen des Anzeigesystems 1 ausführen oder zu unterstützen. Dazu kann das Assistenzsystem 2 mit der Datenbrille 3 in Verbindung stehen, um die Objektinformation betreffend kontaktanalog oder nicht-kontaktanalog anzuzeigenden virtuellen Objekten an die Datenbrille 3 zu übermitteln. Dazu kann die Datenbrille 3 eine Kommunikationseinheit 39 umfassen, die eine Kommunikation mit dem Assistenzsystem 2 ermöglicht. Die Objektinformation definieren die Objektposition und Darstellung des mindestens einen virtuellen Objekts in Bezug auf das Kraftfahrzeug, d.h. in einem Fahrzeugkoordinatensystem (Bezugsystem des Kraftfahrzeugs).
Beispielsweise kann die Steuereinheit 37 eine Posenerkennungsfunktion in Form eines Tracking-Prozesses (Inside-out-Tracking) ausführen, um eine Brillenpose der Datenbrille 3 in einem Fahrzeuginnenraum festzustellen. Die Brillenpose der Datenbrille 3 bezeichnet hierin die räumliche Position der Datenbrille 3 in dem Fahrzeugkoordinatensystem sowie deren dreidimensionale Ausrichtung im Raum. Die Brillenpose der Datenbrille 3 repräsentiert die Position und Ausrichtung der Anzeigeflächen der Datenbrille 3.
Das Assistenzsystem 2 kann weiterhin mit einem Innenraumkamerasystem 25 versehen sein, das eine oder mehrere Kameras aufweist, die auf den Fahrer des Kraftfahrzeugs und/oder auf sonstige Insassen des Kraftfahrzeugs bzw. allgemein in den Innenraum des Kraftfahrzeugs gerichtet sind. Die eine oder die mehreren Kameras können z. B. eine RGB-, IR-, Fisheye-Kamera, einen Dynamic Vision Sensor und dergleichen umfassen.
Weiterhin kann das Assistenzsystem 2 im Kraftfahrzeug alternativ oder zusätzlich auch ein Objekt-Tracking-Verfahren basierend auf CAD-Daten und/oder visuellen Merkmalen der Datenbrille 3 ausführen, um eine Kontur der Datenbrille 3 auf den Kamerabildern mithilfe eines Musterkennungsalgorithmus zu erkennen und daraus die Brillenpose zu ermitteln, so dass eine Bestimmung der Position und Ausrichtung der Anzeigeflächen 35 möglich ist. Auch kann das Assistenzsystem 2 im Kraftfahrzeug alternativ oder zusätzlich auch mit einem alternativen Trackingsystem zur Posenbestimmung der Datenbrille 3 ausgeführt sein, wie z.B. einem magnetischen Tracker, einem akustischen Tracker, einem auf einer Innenraumkamera basierenden Tracker, einem auf Tiefensensorik basierender Tracker und dergleichen vorgesehen.
Mithilfe der Prozessoreinheit 23 kann das Kamerabild einer oder mehrerer der Kameras des Innenraumkamerasystems 25 ausgewertet werden, um die absolute Kopfpose mindestens einer in dem Fahrzeuginnenraum befindlichen Träger einer Datenbrille 3 zu bestimmen und diese als absolute Posenangabe in dem Assistenzsystem 2 bereitzustellen. Die Prozessoreinheit 23 ist dazu mit einem entsprechenden Musterkennungsalgorithmus programmiert, um die Bildposition des Kopfes des Trägers der Datenbrille 3 aus den erfassten Kamerabildern zu extrahieren und aus der Bildposition, der Ausrichtung und Position der betreffenden Kamera des Innenraumkamerasystems 25 die Kopfpose, d.h. die Position und Ausrichtung des Kopfes des Trägers der Datenbrille 3 bezogen auf das Fahrzeugkoordinatensystem in Form einer absoluten Kopfposenangabe zu ermitteln.
Mithilfe eines vorgegebenen Augenposenoffsets kann aus der Kopfposenangabe eine Augenpose ermittelt werden. Der Augenposenoffset gibt einen Versatz zwischen einer Kopfpose und eines Auges des Trägers der Datenbrille 3 an, so dass sich aus der Kopfpose die Augenpose ermittelt lässt. Soll die Kalibrierung für beide Augen vorgenommen werden, so werden entsprechend Augenposenoffsets für beide Augen vorgegeben.
Zur Kalibrierung kann das Kamerasystem 22 weiterhin verwendet werden, um durch Erkennung der Augenposition des Benutzers die relative Pose der Datenbrille 3 bezüglich der Augen des Trägers der Datenbrille 3 zu ermitteln.
Das Innenraumkamerasystem 25 kann ganz oder teilweise auch für sonstige Fahrzeugassistenzfunktionen verwendet werden. So kann beispielsweise eine Fahrerzustandsüberwachung, wie z. B. eine Müdigkeitserkennung und dergleichen, mithilfe des für das Erfassen der absoluten Brillenpose der Datenbrille 3 verwendete Innenraumkamerasystems 25 durchgeführt werden. Das Assistenzsystem 2 zur Unterstützung der Posenermittlung in der Datenbrille 3 kann auch separat von im Kraftfahrzeug eingebauten Fahrzeugassistenzsystemen vorgesehen werden.
In 3 ist ein Flussdiagramm zur Veranschaulichung eines Verfahrens dargestellt, das in dem Anzeigesystem 1 aus dem Assistenzsystem 2 und der Datenbrille 3 ausgeführt wird.
In Schritt S1 wird zunächst eine Kopfpose des Kopfes des Trägers der Datenbrille 3 erfasst. Dies kann basierend auf Gesichts- bzw. Kopfmerkmalen erfolgen. Dazu wird ein Bild des Kopfes des Trägers der Datenbrille 3 durch das Innenraumkamerasystem 25 erfasst. Die Kopfpose umfasst dabei die räumliche Position des Kopfes in einem fahrzeugfesten Koordinatensystem sowie die Ausrichtung des Kopfes in diesem Koordinatensystem. Diese Information wird als Kopfposenangabe bereitgestellt. Mithilfe des Augenposenoffsets wird eine entsprechende Augenpose für eines oder beide Augen des Trägers der Datenbrille 3 ermittelt. Der Augenposenoffset kann fest oder benutzerindividuell vorgegeben sein. Insbesondere kann der Augenposenoffset nach Identifikation des Benutzers aus einer Datenbank oder einem sonstigen Speicher abgerufen werden. Der Augenposenoffset bzw. die Augenpose kann weiterhin abhängig von einer ermittelten Kopfpose ggfs. unter Berücksichtigung der Kopfform des Trägers der Datenbrille oder eines Kopfmerkmals, beispielsweise der Nasenspitze, durch Schätzung oder sonstigen Erfahrungsdaten oder durch Verfahren des maschinellen Lernens bestimmt werden. Zudem ist es möglich, bei einer Kopfdrehung des Trägers der Datenbrille 3 die Augenpose des dadurch verdeckten Auges zu erfassen, so dass die Augenpose direkt ermittelbar ist und zudem der Augenposenoffset durch Vergleich der Augenpose mit der Kopfpose bestimmbar ist.
In einem Schritt S2 wird eine Brillenpose der Datenbrille 3 im Fahrzeugkoordinatensystem bestimmt. Dies kann durch eine geeignete Posenbestimmungsfunktion in der Datenbrille 3 oder in dem Assistenzsystem 2 vorgenommen werden. Wie zuvor beschrieben, nutzt ein in der Datenbrille 3 ausgeführtes Posenerkennungsverfahren dazu die Datenbrillenkamera 38 und vorbestimmte Strukturen in der Umgebung, über die die Brillenpose der Datenbrille 3 bestimmt werden kann. Dazu können festgelegte Strukturen im Fahrzeuginnenraum, dessen Positionen (im Fahrzeugkoordinatensystem) bekannt sind, durch einen geeigneten Musterkennungsalgorithmus erkannt werden und daraus die Brillenpose der Datenbrille 3 ermittelt werden.
Alternativ kann die Brillenpose der Datenbrille 3 auch über das Assistenzsystem 2 mithilfe des Innenraumkamerasystems erfasst werden. Diese Information wird als Brillenposenangabe bereitgestellt.
In Schritt S3 wird eine Posendifferenz zwischen der Augenpose und die Brillenpose eine Kalibrierungsinformation durch beispielsweise Differenzbildung ermittelt. Die Posendifferenz entspricht den Abstand zwischen den Raumpositionen der Kopfpose und der Brillenpose und die Winkelabweichungen der durch die Kopfpose und die Brillenpose angegebenen Raumrichtungen. Diese Kalibrierungsinformation kann in an sich bekannter Weise durch die o.a. Projektionsmatrix angegeben werden.
Die Kalibrierungsinformation wird in Schritt S4 in der Datenbrille 3 basierend auf der Posendifferenz bereitgestellt. Die Kalibrierungsinformation bestimmt somit bezogen auf eine Referenzangabe eine Abweichung der Brillenpose von einer Augenpose, so dass eine entsprechende Korrektur des angezeigten virtuellen Objekts auf der Anzeigefläche 35 vorgenommen werden kann.
Im Schritt S5 wird die Kalibrierungsinformation bei der Darstellung des darzustellenden virtuellen Objekts auf den Anzeigeflächen 35 verwendet. Insbesondere kann die Kalibrierungsinformation eine Verschiebung der Anzeige des virtuellen Objekts auf der Anzeigefläche 35 angeben. Die Darstellung des virtuellen Objekts wird damit so korrigiert, dass dieses an der Position im Umgebungsraum der Datenbrille 3 wahrgenommen wird, die durch das Assistenzsystem 2 als Objektposition des virtuellen Objekts bezüglich der Realumgebung vorgesehen ist.
Die Schritte S3 und S4 können in verschiedenen Varianten ausgebildet werden. Die Berechnung der Kalibrierungsinformation kann in dem Assistenzsystem 2 erfolgen und anschließend an die Datenbrille 3 übermittelt werden. Dies ist vor allem dann vorteilhaft, wenn die Bestimmung der Brillenposenangabe des Assistenzsystems 2 durch das sogenannte Outside-In-Tracking erfolgt. Alternativ können die Augenposenangabe und gegebenenfalls die Brillenposenangabe, sofern diese in dem Assistenzsystem 2 bestimmt worden ist, an die Datenbrille 3 übertragen werden und dort die Kalibrierungsinformation ermittelt werden.
Gemäß einem weiteren Verfahren ist vorgesehen, die Bestimmung der Kalibrierungsinformation regelmäßig zu wiederholen, um durch eine Änderung der Kalibrierungsinformation ein Verrutschen der Datenbrille 3 an dem Kopf des Trägers zu erkennen. Eine Abweichung zwischen nacheinander erfassten Kalibrierungsinformation kann signalisiert werden und so der Träger der Datenbrille 3 auf etwaige Fehldarstellungen aufmerksam gemacht werden. Insbesondere kann eine solche Nachjustierung der Datenbrille 3 an dem Kopf des Trägers vorgenommen werden, auch während die Datenbrille aktiv in Benutzung ist.
Bezugszeichenliste

1: Anzeigesystem
2: Assistenzsystem
3: Datenbrille
4: Kommunikationsverbindung
21: Kommunikationseinheit
22: Umgebungserfassungssystem
23: Prozessoreinheit
25: Innenraumkamerasystem
31: Rahmen
32: Sichtscheiben
33: Brillenbügel
35: Anzeigefläche
36: Anzeigeeinrichtung
37: Steuereinheit
38: Datenbrillenkamera
39: Kommunikationseinheit
5: Auge
6: Umgebungsobjekt
V: virtuelles Objekt
B: Blickachse

ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

DE 102014206623 A1 [0006]
DE 102015208737 A1 [0009]
DE 102014213113 A1 [0013]

Claims

Verfahren zum Betreiben eines Anzeigesystems (1) mit einem Assistenzsystem (2) und einer Datenbrille (3), insbesondere in einem Kraftfahrzeug, mit folgenden Schritten: - Bereitstellen einer Brillenposenangabe, die eine Brillenpose mindestens einer Anzeigefläche (35) der Datenbrille (3) angibt; - Bereitstellen einer Augenposenangabe, die eine Augenpose mindestens eines Auges des Trägers der Datenbrille (3) angibt; - Ermitteln einer Kalibrierinformation, die einen relativen Versatz der mindestens einen Anzeigefläche (35) der Datenbrille (3) zu dem mindestens einem Auge des Trägers der Datenbrille (3) angibt; und - Verwenden der Kalibrierinformation zum Anzeigen eines virtuellen Objekts auf der mindestens einen Anzeigefläche (35) der Datenbrille (3).
Verfahren nach Anspruch 1, wobei die Augenposenangabe durch das Assistenzsystem (2) durch Feststellen einer Kopfposenangabe, die eine Pose des Kopfes des Trägers der Datenbrille (3) angibt, insbesondere mit Hilfe eines vorgegebenen Augenposenoffsets, bestimmt wird.
Verfahren nach Anspruch 1 oder 2, wobei die Augenposenangabe durch das Assistenzsystem (2), insbesondere mit Hilfe eines Innenraumkamerasystems (25) basierend auf einem Musterkennungsalgorithmus ermittelt wird.
Verfahren nach einem der Ansprüche 1 bis 3, wobei die Augenposenangabe an die Datenbrille (3) übertragen wird und die Brillenposenangabe durch ein Inside-out-Tracking in der Datenbrille (3) ermittelt wird, wobei das Ermitteln der Kalibrierinformation in der Datenbrille (3) durchgeführt wird.
Verfahren nach einem der Ansprüche 1 bis 3, wobei die Brillenposenangabe durch ein Outside-in-Tracking in dem Assistenzsystem (2) ermittelt wird.
Verfahren nach Anspruch 5, wobei die Kalibrierinformation, insbesondere in Form einer Projektionsmatrix, in dem Assistenzsystem (2) ermittelt wird.
Verfahren nach einem der Ansprüche 1 bis 6, wobei die Kalibrierinformation abhängig von einem Posenunterschied zwischen der Augenpose und der Brillenpose durch insbesondere Differenzbildung ermittelt wird.
Verfahren nach einem der Ansprüche 1 bis 7, wobei die Kalibrierinformation eine Verschiebung der Anzeige des virtuellen Objekts auf der Anzeigefläche (35) angibt.
Verfahren zum Betreiben eines Assistenzsystems (2) eines Anzeigesystems (1) zur Verwendung mit einer Datenbrille (3), insbesondere in einem Kraftfahrzeug, mit folgenden Schritten: - Ermitteln einer Augenposenangabe, die eine Augenpose mindestens eines Auges des Trägers der Datenbrille (3) angibt; und - Senden der Augenposenangabe an die Datenbrille (3).
Verfahren nach Anspruch 9, mit folgenden Schritten: - Ermitteln einer Brillenposenangabe, die eine Brillenpose mindestens einer Anzeigefläche (35) einer Datenbrille (3) angibt; - Ermitteln einer Kalibrierinformation, die einen relativen Versatz der mindestens einen Anzeigefläche (35) der Datenbrille (3) zu dem mindestens einen Auge des Trägers der Datenbrille (3) angibt; und - Übermitteln der Kalibrierinformation an die Datenbrille (3).
Verfahren zum Betreiben einer Datenbrille (3) eines Anzeigesystems (1), insbesondere in einem Kraftfahrzeug, mit folgenden Schritten: - Empfangen einer Augenposenangabe, die eine Augenpose mindestens eines der Augen des Trägers der Datenbrille (3) angibt; - Bereitstellen einer Brillenposenangabe, die eine Brillenpose mindestens einer Anzeigefläche (35) der Datenbrille (3) angibt; - Ermitteln einer Kalibrierinformation, die einen relativen Versatz der Brillenpose zu der Augenpose angibt; und - Verwenden der Kalibrierinformation zum Anzeigen eines virtuellen Objekts auf einer Anzeigefläche (35) der Datenbrille (3).
Anzeigesystem (1) mit einem Assistenzsystem (2) und einer Datenbrille (3), insbesondere in einem Kraftfahrzeug, wobei das Assistenzsystem oder die Datenbrille (3) ausgebildet ist, um eine Brillenposenangabe, die eine Brillenpose mindestens einer Anzeigefläche (35) angibt, bereitzustellen; wobei das Assistenzsystem ausgebildet ist, um eine Augenposenangabe, die eine Augenpose mindestens eines Auges des Trägers der Datenbrille (3) angibt, bereitzustellen; wobei das Assistenzsystem (2) oder die Datenbrille (3) ausgebildet ist, um eine Kalibrierinformation, die einen relativen Versatz der mindestens einen Anzeigefläche (35) der Datenbrille (3) zu dem mindestens einem Auge des Trägers der Datenbrille (3) angibt, zu ermitteln; und wobei die Datenbrille (3) ausgebildet ist, um die Kalibrierinformation zum Anzeigen eines virtuellen Objekts auf der mindestens einen Anzeigefläche (35) zu verwenden.
Assistenzsystem (2) eines Anzeigesystems (1) zur Verwendung mit einer Datenbrille (3), insbesondere in einem Kraftfahrzeug, wobei das Assistenzsystem (2) ausgebildet ist, um eine Augenposenangabe, die eine Augenpose mindestens eines Auges des Trägers der Datenbrille (3) angibt, zu ermitteln und um die Augenposenangabe an die Datenbrille (3) zu senden.
Datenbrille (3) für ein Anzeigesystem (1), insbesondere in einem Kraftfahrzeug, umfassend: - eine Kommunikationseinheit (39), die ausgebildet ist, um eine Augenposenangabe, die eine Augenpose mindestens eines der Augen des Trägers der Datenbrille (3) angibt, zu empfangen; und - eine Steuereinheit (37), die ausgebildet ist, um eine Brillenposenangabe, die eine Brillenpose mindestens einer Anzeigefläche (35) der Datenbrille (3) angibt, zu erhalten, um eine Kalibrierinformation, die einen relativen Versatz der Brillenpose zu der Augenpose angibt, zu ermitteln und um die Kalibrierinformation zum Anzeigen eines virtuellen Objekts auf einer Anzeigefläche (35) der Datenbrille (3) zu verwenden.