-
Technisches Gebiet
-
Die Erfindung betrifft Anzeigesysteme für Datenbrillen, insbesondere zum Einsatz in einem Kraftfahrzeug.
-
Technischer Hintergrund
-
Es sind Datenbrillen, auch Head-mounted Displays genannt, bekannt, die mithilfe einer Anzeigevorrichtung eine Abbildung auf einer oder zwei Anzeigeflächen im Blickfeld des Trägers der Datenbrille anzeigen können. Die Anzeigeflächen entsprechen Reflexionsflächen, die Abbildungen in das Auge des Trägers der Datenbrille richten. Die Sichtöffnungen der Datenbrille sind transparent, so dass durch die Datenbrille die reale Umgebung in gewöhnlicher Weise wahrgenommen werden kann. Die Anzeigeflächen liegen in den Sichtöffnungen und können halbtransparent ausgebildet sein, so dass eine anzuzeigende Information, wie beispielsweise Text, Symbole, Graphiken, Videoanzeigen und dergleichen, die Wahrnehmung der Umgebung überlagernd angezeigt werden kann. Darüber hinaus sind auch Datenbrillen bekannt, die eine nicht-transparente Anzeige umfassen.
-
Die Informationen werden dem Träger der Datenbrille in der Regel ganz oder teilweise kontaktanalog dargestellt, d.h. so dargestellt, dass die Information einem bestimmten Objekt in der Realumgebung überlagert ist bzw. an diesem orientiert ist oder dass die anzuzeigende Information in einer bestimmten Blickrichtung der Datenbrille bzw. deren Trägers angezeigt wird. Weiterhin ist es wünschenswert, die Information so darzustellen, dass sie in Bezug auf das Objekt in der Realumgebung perspektivisch korrekt erscheint, d.h. die Illusion entsteht, dass das Objekt der Realumgebung tatsächlich um das zusätzliche Merkmal der visuellen Information ergänzt wurde.
-
Um die Information entsprechend kontaktanalog auf den Anzeigeflächen der Datenbrille anzuzeigen, ist es notwendig, die Position des Objektes in der Umgebung und die Pose der Datenbrille, d.h. die 3D-Position als auch die 3D-Ausrichtung der Datenbrille, in Bezug zum Objekt zu kennen. Zur Bestimmung der Pose der Datenbrille kann in der Datenbrille eine Posenerkennungseinheit vorgesehen. Die Posenerkennungseinheit weist in der Regel eine Kamera und Recheneinrichtung, z.B. in Form eines Mikroprozessors auf. Mithilfe der Kamera aufgezeichnete Abbildungen der Umgebung des Trägers der Datenbrille können basierend auf hinterlegten Abbildungen bzw. Strukturen des Fahrzeuginnenraums die Pose der Datenbrille im Fahrzeuginnenraum festgestellt werden. Diesen Vorgang nennt man auch Tracking.
-
Die anzuzeigenden Informationen können Fahrer- und Fahrzeugzustandsangaben, Warnhinweise, Navigationsinformationen, Menü- und Kontextinformationen sowie Informationen des Entertainmentsystems umfassen. Die Informationen werden in der Regel räumlich, d.h. dreidimensional, dargestellt.
-
Um die Information entsprechend kontaktanalog auf den Anzeigeflächen der Datenbrille anzuzeigen, ist es notwendig, die Position des Objektes in der Umgebung und die Pose der Datenbrille, d.h. die 3D-Position als auch die 3D-Ausrichtung, in Bezug zum Objekt zu kennen.
-
Zur Bestimmung der Pose der Datenbrille kann in der Datenbrille eine Posenerkennungsfunktion vorgesehen werden. Die Posenerkennungsfunktion nutzt in der Regel eine Datenbrillenkamera und eine Recheneinrichtung, z.B. in Form eines Mikroprozessors. Mithilfe der Datenbrillenkamera aufgezeichnete Abbildungen der Umgebung des Trägers der Datenbrille können basierend auf hinterlegten Abbildungen bzw. markanten Strukturen des Fahrzeuginnenraums die Pose der Datenbrille im Fahrzeuginnenraum mithilfe von an sich bekannten Mustererkennungsverfahren festgestellt werden. Diesen Vorgang nennt man auch Tracking.
-
Üblicherweise werden in Datenbrillen mithilfe von zwei Anzeigeflächen Objekte dreidimensional dargestellt. Aufgrund der durch den Augenabstand und die Entfernung des darzustellenden Objekts bestimmten unterschiedlichen Blickrichtungen für beide Anzeigeflächen überlappen sich die Anzeigebereiche, d.h. die Sichtfeldausschnitte, für die die dreidimensionalen Objekte dargestellt werden sollen, nur teilweise (sog. Disparität). An den Randbereichen führt dies dazu, dass nur auf einer Anzeigefläche ein entsprechendes Objekt oder Teilobjekt dargestellt wird, das auf der entsprechend anderen Anzeigefläche aufgrund des bezüglich des betreffenden Auges zu großen Winkels nicht mehr dargestellt wird. D.h. die räumliche Wiedergabe des Objekts wird durch die begrenzten Abmessungen der entsprechend anderen Anzeigefläche verhindert.
-
Insbesondere wenn ein Objekt nur teilweise dreidimensional dargestellt wird und ein Objektteil nur auf einer der Anzeigeflächen entsprechend zweidimensional angezeigt wird, kann dies zu Irritationen und möglicherweise zu Unwohlsein wie Übelkeit des Trägers der Datenbrille führen.
-
-
Es ist daher Aufgabe der vorliegenden Erfindung, Verfahren zur Darstellung von dreidimensionalen Objekten auf Anzeigeflächen einer Datenbrille in einem Anzeigesystem zur Verfügung zu stellen, bei dem für den Träger der Datenbrille unangenehme Effekte an Randbereichen der Anzeigefläche vermieden werden.
-
Offenbarung der Erfindung
-
Diese Aufgabe wird durch das Verfahren zum Betreiben einer Datenbrille gemäß Anspruch 1 sowie durch das Anzeigesystem gemäß dem nebengeordneten Anspruch gelöst.
-
Weitere Ausgestaltungen sind in den abhängigen Ansprüchen angegeben.
-
Gemäß einem ersten Aspekt ist ein Verfahren zum Betreiben einer Datenbrille in einem Kraftfahrzeug vorgesehen, mit folgenden Schritten:
- - Definieren eines Überlappungsbereichs von zwei Sichtbereichen einer Datenbrille abhängig von einer Pose der Datenbrille, wobei die Sichtbereiche Raumbereiche darstellen, die durch äußere Abmessungen von Anzeigeflächen in Sichtöffnungen der Datenbrille und Positionen der Anzeigeflächen und eines der jeweiligen Anzeigefläche zugeordneten Auges des Trägers der Datenbrille bestimmt sind; und
- - Kontaktanaloges Anzeigen eines darzustellenden dreidimensionalen virtuellen Objekts auf den Anzeigeflächen abhängig von einer Position des virtuellen Objekts bezüglich des Überlappungsbereichs.
-
Bei Datenbrillen mit zwei Anzeigeflächen definieren die Sichtbereiche Raumbereiche, die jeweils von der Position eines Auges des Trägers der Datenbrille und der Position und Abmessung der zugeordneten Anzeigefläche abhängen. Durch die Datenbrille anzuzeigende virtuelle Objekte, deren Darstellungsposition sich innerhalb des durch die Sichtbereiche definierten Raumbereichs befinden, werden entsprechend auf mindestens einer der Anzeigeflächen dargestellt. Somit können diese Objekte vom entsprechenden Auge des Trägers der Datenbrille wahrgenommen werden.
-
Naturgemäß überlappen sich die beiden Sichtbereiche jedoch nur teilweise, wobei hierin die sich überlappenden Sichtbereiche als Überlappungsbereich bezeichnet werden. Der Überlappungsbereich betrifft also denjenigen Sichtbereichsausschnitt, in dem kontaktanalog darzustellende Objekte gleichzeitig auf beiden Anzeigeflächen, und damit räumlich, dargestellt werden können. Der Nicht-Überlappungsbereich ist damit als derjenige Raumbereich bestimmt, in dem ein kontaktanalog darzustellendes Objekt nur über eine der Anzeigeflächen darstellbar ist. Die ganz oder teilweise in dem Nicht-Überlappungsbereich darzustellenden Objekte müssen in besonderer Weise behandelt werden, um Brüche zwischen dreidimensionaler und zweidimensionaler Darstellung möglichst zu vermeiden.
-
Insbesondere kann, wenn sich das dreidimensionale virtuellen Objekt innerhalb eines der Sichtbereiche aber außerhalb des Überlappungsbereichs befindet, das Anzeigen des dreidimensionalen virtuellen Objekts unterdrückt oder das dreidimensionale virtuelle Objekt unscharf dargestellt werden.
-
Durch Ausblenden des Anzeigebereichs auf der betreffenden Anzeigefläche oder durch Unscharfzeichnen des betreffenden in dem nicht überlappenden Anzeigebereich darzustellenden Objekt bzw. Objektteils kann ein Bruch zwischen dreidimensionalen und zweidimensionalen Darstellungen vermieden werden und den Fahrer irritierende oder Unwohlsein bewirkende Anzeigen in der Datenbrille vermieden werden. Da in dem Nicht-Überlappungsbereich keine dreidimensionalen Objekte dargestellt werden können, kann zudem vorgesehen sein, für die betreffenden Objekte keine 3D-Darstellungsberechnung vorzunehmen, wodurch der benötigte Rechenaufwand reduziert werden kann.
-
Gemäß einer Ausführungsform kann, wenn sich das virtuelle Objekt teilweise innerhalb des Überlappungsbereichs und innerhalb eines der Sichtbereiche aber außerhalb des Überlappungsbereichs befindet, das Anzeigen des Teils des dreidimensionalen virtuellen Objekts, der außerhalb des Überlappungsbereichs angezeigt werden soll, unscharf dargestellt werden.
-
Es kann vorgesehen sein, dass, wenn sich das dreidimensionale virtuelle Objekt teilweise innerhalb des Überlappungsbereichs und innerhalb eines der Sichtbereiche aber außerhalb des Überlappungsbereichs befindet, überprüft wird, ob die Position des dreidimensionalen virtuellen Objekts so verschiebbar ist, dass das dreidimensionale virtuelle Objekt vollständig innerhalb des Überlappungsbereichs angezeigt wird.
-
Weiterhin kann der Bereich einer der Anzeigeflächen, der einem Abschnitt des betreffenden Sichtbereichs zugeordnet ist, der sich außerhalb des Überlappungsbereichs befindet, zur Anzeige von zweidimensionalen Informationen, insbesondere einer Ladezustandsanzeige, einer Uhrzeit und Textnachrichten genutzt werden.
-
Gemäß einem weiteren Aspekt ist eine Datenbrille für ein Anzeigesystem in einem Kraftfahrzeug vorgesehen, wobei die Datenbrille ausgebildet ist, um
- - einen Überlappungsbereich von zwei Sichtbereichen einer Datenbrille abhängig von einer Pose der Datenbrille zu definieren, wobei die Sichtbereiche durch äußeren Abmessungen von Anzeigeflächen in Sichtöffnungen der Datenbrille und Positionen der Anzeigeflächen und eines der jeweiligen Anzeigefläche zugeordneten Auges des Trägers der Datenbrille bestimmt sind; und
- - mindestens ein darzustellendes dreidimensionale virtuelles Objekt auf den Anzeigeflächen abhängig von der Position des virtuellen Objekts bezüglich des Überlappungsbereichs kontaktanalog darzustellen.
-
Kurzbeschreibung der Zeichnungen
-
Ausführungsformen werden nachfolgend anhand der beigefügten Zeichnungen näher erläutert. Es zeigen:
- 1 eine schematische Darstellung eines Anzeigesystems mit einer Datenbrille zum Einsatz in einem Kraftfahrzeug; und
- 2 eine zweidimensionale Draufsicht auf die Sichtbereiche, die sich abhängig von der Position der Augen des Trägers der Datenbrille und der Anzeigeflächen der Datenbrille ausbilden; und
- 3 ein Flussdiagramm zur Veranschaulichung eines Verfahrens zum Betreiben der Datenbrille.
-
Beschreibung von Ausführungsformen
-
1 zeigt eine schematische Darstellung eines Anzeigesystems 1 insbesondere zum Einsatz in einem Kraftfahrzeug. Das Anzeigesystem 1 umfasst ein Fahrerassistenzsystem 2, das in Kommunikationsverbindung 4 mit einer Datenbrille 3 steht. Die Kommunikationsverbindung 4 ist als ein Datenübertragungskanal 4 ausgebildet, z.B. in Form einer drahtlosen Kommunikationsverbindung oder einer drahtgebundenen Kommunikationsverbindung. Die Kommunikationsverbindung 4 ist in der Lage, jegliche Art von Daten und Informationen zwischen dem Fahrerassistenzsystem 2 und der Datenbrille 3 zu übermitteln, beispielsweise basierend auf einer paketgebundenen Datenübertragung.
-
Die Datenbrille 3 ist mit zwei transparenten Sichtscheiben 32, die in einem Rahmen 31 in an sich bekannter Weise eingefasst sind. Der Rahmen 31 ist mit Brillenbügeln 33 versehen, so dass die Datenbrille 3 am Kopf eines Benutzers in an sich bekannter Weise getragen werden kann.
-
Mindestens eine der Sichtscheiben 32 kann mit einer transparenten Anzeigefläche 35 versehen sein, in der durch eine geeignete Einrichtung, wie zum Beispiel eine an dem Rahmen 31 angeordnete Anzeigeeinrichtung 36, ein Anzeigebild angezeigt werden kann. Die Anzeigeeinrichtung 36 kann eine Projektionseinrichtung oder dergleichen umfassen, die zum Bereitstellen eines Anzeigebilds auf den Anzeigeflächen ausgebildet ist. Weiterhin kann eine Steuereinheit 37 vorgesehen sein, um die Anzeigeinformation an die Anzeigeeinrichtung 36 zur Darstellung auf den Anzeigeflächen 35 zu übermitteln. Die Steuereinheit 37 kann einen Mikroprozessor oder eine vergleichbare Recheneinheit umfassen und über die Kommunikationsverbindung 4 mit dem Fahrerassistenzsystem 2 in Verbindung stehen.
-
Durch die transparente Ausbildung der Anzeigefläche 35 kann das elektronisch generierte Bild die durch die Anzeigefläche 35 wahrnehmbare Realumgebung überlagern. Mithilfe der Anzeigeeinrichtung 36 kann eine visuelle Information, wie beispielsweise einen Text, ein Symbol, eine Videoinformation, eine Graphik oder dergleichen, auf einer oder beiden Anzeigeflächen 35 dargestellt werden. Durch die separate Darstellung der Information auf beiden Anzeigeflächen 35 kann diese räumlich, d.h. dreidimensional dargestellt werden.
-
Die Datenbrille 3 kann wie eine typische Sehhilfe an dem Kopf des Benutzers getragen werden, wobei die Datenbrille 3 mit dem Rahmen 31 auf der Nase des Benutzers aufliegt und die Bügel 33 an dem Kopf des Benutzers seitlich anliegen. Die Blickrichtung des Benutzers in Geradeausrichtung erfolgt dann durch die Sichtscheiben 32 im Wesentlichen durch die transparenten Anzeigeflächen 35, so dass die Blickrichtung des Benutzers der Ausrichtung der Datenbrille 3 entspricht oder davon abgeleitet werden kann.
-
Die Steuereinheit 37 kann in geeigneter Weise ausgebildet sein, um Datenbrillenfunktionen und Funktionen des Anzeigesystems 2 auszuführen. Dazu kann das Fahrerassistenzsystem 2 mit der Datenbrille 3 in Verbindung stehen, um Anzeigeinformationen betreffend kontaktanalog oder nichtkontaktanalog anzuzeigenden virtuellen Objekten an die Datenbrille 3 zu übermitteln. Die Anzeigeinformationen definieren die Position und Darstellung der virtuellen Objekte in Bezug auf das Fahrzeug, d.h. in einem Fahrzeugkoordinatensystem (Bezugsystem des Kraftfahrzeugs).
-
Beispielsweise kann die Steuereinheit 37 eine Posenerkennungsfunktion in Form eines Tracking-Prozesses ausführen, um eine Pose des Kopfes bzw. der Datenbrille in einem Fahrzeuginnenraum festzustellen. Die Pose einer Datenbrille 3 bezeichnet hierin die räumliche Position der Datenbrille 3 in dem Fahrzeugkoordinatensystem sowie deren dreidimensionale Ausrichtung. Die Steuereinheit 37 kann dazu mit einer geeigneten Datenbrillenkamera 38 verbunden sein, die etwa in Blickrichtung des Trägers der Datenbrille 3 gerichtet ist. Die Datenbrillenkamera 38 erfasst regelmäßig Kamerabilder und übermittelt diese an die Steuereinheit 37. Die Steuereinheit 37 wertet die Kamerabilder aus und versucht mithilfe von Mustererkennungsverfahren markante Strukturen des Fahrzeuginnenraums in dem Kamerabild aufzufinden, deren Positionen bekannt sind, und daraus die Pose der Datenbrille 3 zu ermitteln.
-
Durch die Erfassung der Pose der Datenbrille 3 ist es möglich Informationen bzw. Objekte auf den Anzeigeflächen kontaktanalog darzustellen, d.h. einer bestimmten Raumposition zugeordnet, so dass die Anzeige der Information bzw. des Objekts auf den Anzeigeflächen von der Pose der Datenbrille abhängt. D.h. nur wenn die Datenbrille 3 auf die Raumposition ausgerichtet ist, wird die Information bzw. das Objekt auf den Anzeigeflächen 35 dargestellt.
-
In 2 ist eine zweidimensionale Draufsicht auf die Strahlengänge zwischen Augen 11 des Trägers der Datenbrille 3, der Datenbrille 3 und der Umgebung einschließlich von in der Datenbrille 3 darzustellenden virtuellen Objekten 01, 02 gezeigt. Abhängig von den Positionen der Augen 11 des Trägers der Datenbrille 3 bezüglich der Anzeigeflächen 35 der Datenbrille 3 bilden sich Sichtbereiche S1, S2 für jedes Auge 11 aus. Die Sichtbereiche S1, S2 definieren Raumbereiche, in denen die Realumgebung durch ein über die Anzeigeflächen 35 darzustellendes Objekt überlagert werden kann. Die Begrenzung des jeweiligen Sichtbereichs S1, S2 wird durch die äußeren Abmessungen der Die Sichtbereiche S1, S2 überlappen sich in einem Überlappungsbereich U, was bedeutet, dass Objekte, die von beiden Augen 11 des Trägers der Datenbrille 3 wahrgenommen werden können und die dreidimensional über die Anzeigeflächen der Datenbrille 3 angezeigt werden sollen, sich virtuell in dem Überlappungsbereich U befinden müssen. Objekte, die sich außerhalb des Überlappungsbereichs U in einem der Sichtbereiche S1, S2 befinden, können nur durch eine der Anzeigeflächen 35 angezeigt werden.
-
So wird beispielsweise ein Objekt, dessen Position mit O1 im Überlappungsbereich U gekennzeichnet ist, an der entsprechenden Position P11, P12 der Anzeigeflächen 35 dargestellt. Dies ermöglicht eine dreidimensionale Darstellung des Objektes O1.
-
Ein Objekt O2, das sich außerhalb des Überlappungsbereichs U im Sichtbereich S1 befindet, kann auf der rechten Anzeigefläche an der Position P22 dargestellt werden, während sich das Objekt 02 außerhalb des Sichtbereichs S1 der linken Anzeigefläche 35 der Datenbrille 3 befindet und somit nicht auf der linken Anzeigefläche 35 dargestellt werden kann. Dies führt dazu, dass das eigentlich dreidimensional darzustellende Objekt 02 nur von einem Auge des Trägers der Datenbrille 3 wahrgenommen wird und somit nur zweidimensional dargestellt wird. Dies kann insbesondere bei Objekten, die sich vom Überlappungsbereich in einen Nicht-Überlappungsbereich erstrecken, zu Irritationen beim Träger der Datenbrille führen und unter Umständen auch zu Übelkeit führen.
-
Es kann daher vorgesehen sein, dreidimensionale virtuelle Objekte, die aufgrund ihrer Raumposition und ihren Abmessungen ganz oder teilweise in den Nicht-Überlappungsbereich fallen, nicht anzuzeigen. Dazu führt die Steuereinheit ein Verfahren, wie es in dem Flussdiagramm der 3 dargestellt ist, aus.
-
In Schritt S1 wird zunächst eine Kalibrierung der Augen des Benutzers auf die Datenbrille 3 vorgenommen. Dies dient dazu, die räumlichen Erstreckungen der Sichtbereiche, des Überlappungsbereichs U und des innerhalb der Sichtbereiche S1, S2 und außerhalb des Überlappungsbereiches U befindlichen Nicht-Überlappungsbereich zu definieren. Die Kalibrierung kann beispielsweise durch Messen der relativen Position der Anzeigeflächen 35 zu den Augen 11 des Trägers der Datenbrille 3 oder durch Vermessen der Sichtbereiche S1, S2 durch eine entsprechende Abfrage an den Träger der Datenbrille 3 ausgeführt werden.
-
In Schritt S2 wird ein oder mehrere darzustellende dreidimensionale virtuelle Objekte vorgegeben. Die Objekte können durch Anzeigeinformationen definiert sein, die z.B. von dem Fahrerassistenzsystem 2 an die Datenbrille 3 übertragen werden.
-
Weiterhin wird in Schritt S3 die Pose der Datenbrille 3 in der Steuereinheit 37 ermittelt.
-
In Schritt S4 wird das nächste Anzeigebild die Anzeigebilder zur Anzeige auf den Anzeigeflächen 35 abhängig von der zuvor bestimmten Pose der Datenbrille 3 berechnet. Insbesondere ergibt sich daraus die Positionierung der Objekte auf den anzuzeigenden Anzeigebildern.
-
Wird in Schritt S5 festgestellt, dass aufgrund der Pose der Datenbrille 3 das darzustellende dreidimensionale Objekt vollständig oder teilweise in dem Nicht-Überlappungsbereich darzustellen ist (Alternative: Ja), so wird das Verfahren mit Schritt S6 fortgesetzt. Andernfalls (Alternative: Nein) wird zu Schritt S2 zurückgesprungen.
-
In Schritt S6 kann die Anzeige desjenigen Objekts bzw. Objektteils / derjenigen Objekte bzw. Objektteile, die nur auf einer der Anzeigeflächen 35 darstellbar sind, ausgeblendet werden, d.h. die entsprechenden Anzeigebereiche werden schwarz und somit transparent dargestellt. Es ist auch möglich, den Übergang zwischen dem Überlappungsbereich und Nicht-Überlappungsbereich mit einem Transparenzverlauf umzusetzen, d.h. von dem Überlappungsbereich zu dem Nicht-Überlappungsbereich werden die Objekte mit zunehmender Transparenz dargestellt. Alternativ können Objekte, die sich in einem Nicht-Überlappungsbereich befinden, unscharf, weichgezeichnet oder verschwommen dargestellt werden, so dass die nicht-dreidimensionale Darstellung des Objekts bzw. des Objektteils als weniger störend wahrgenommen wird.
-
Alternativ können in den Nicht-Überlappungsbereichen vorwiegend zweidimensionale Objekte dargestellt werden, wie z.B. Ladezustandsanzeigen für Energiespeicher, Uhrzeit oder sonstige Benachrichtigungen, und dadurch als Informationsfeld genutzt werden. Diese zweidimensionalen Objekte können die kontaktanalog darzustellenden dreidimensionalen Objekte überlagern, so dass die nur einseitige Darstellung weniger störend wahrgenommen wird.
-
Alternativ kann in der Steuereinheit 37 versucht werden, dreidimensionale darzustellende Objekte, die ganz oder teilweise aufgrund der Pose der Datenbrille 3 in dem Nicht-Überlappungsbereich liegen würden, zu verschieben, so dass diese vollständig in dem Überlappungsbereich gelangen und dadurch auf beiden Anzeigeflächen 35 dargestellt werden können.
-
Bezugszeichenliste
-
- 1
- Anzeigesystem
- 2
- Fahrerassistenzsystem
- 3
- Datenbrille
- 31
- Rahmen
- 32
- Sichtscheiben
- 33
- Brillenbügel
- 35
- transparente Anzeigefläche
- 36
- Anzeigeeinrichtung
- 37
- Posenerkennungseinheit
- 38
- Datenbrillenkamera
- 4
- Datenübertragungskanal
