DE102014013320B4

DE102014013320B4 - Vorrichtung und Verfahren zum augennahen Anzeigen computergenerierter Bilder

Info

Publication number: DE102014013320B4
Application number: DE102014013320.6A
Authority: DE
Inventors: Patentinhaber gleich
Original assignee: Individual
Current assignee: Individual
Priority date: 2014-09-15
Filing date: 2014-09-15
Publication date: 2022-02-10
Anticipated expiration: 2034-09-16
Also published as: GB2537193B; GB2537193A; GB201516232D0; US20160077336A1; DE102014013320A1; GB2537193A8; US11867903B2

Abstract

Vorrichtung zur Darstellung von Bildern, welche von einem signal- oder informationsverarbeitenden Gerät oder einem Computer generiert werden,die Vorrichtung bestehend entweder aus einem augennahen Display (3) mit einer optischen Anordnung für ein Auge (1) des Betrachter oder aus jeweils einem augennahen Display (3) mit einer optischen Anordnung für jedes der beiden Augen (1) des Betrachters,das Display und die optische Anordnung gekennzeichnet durch:(a) ein Display (3),von dessen Frontseite, welche vom Auge (1) abgewandt ist, Licht (5) in Form eines Lichtmusters, welches ein Bild repräsentiert, emittiert oder reflektiert werden kann,dessen Oberflächenform Teil einer monoton und kontinuierlich um das Auge (1) herum gekrümmten Form ist undwelches zumindest teilweise transparent ist und es damit erlaubt, durch seine dem Auge (1) zugewandte Rückseite hindurch zu sehen;(b) eine optische Anordnung bestehend aus einem einzelnen, nicht transparenten oder teiltransparenten Spiegel (4),welcher die vom Display (3) ausgehenden Lichtmuster zum Auge (1) zurück reflektiert und fokussiert und somit die Betrachtung des vom Display (3) ausgehenden Bildes durch dessen Rückseite hindurch ermöglicht,welcher eine optische Form hat, die unveränderlich und Teil einer monoton und kontinuierlich um das Auge (1) herum gekrümmten Form ist, undwelcher das vom Display (3) ausgehende Bild dem Auge (1) als virtuelles Bild zuführt.

Description

Für Anwendungen der virtuellen oder erweiterten Realität (Virtual und Augmented Reality) sind verschiedene bildgebender Anordnungen bekannt, meist in Form einer Displaybrille oder eines entsprechend ausgestatteten Helms. Helmkonstruktionen haben dabei den Vorteil, relativ große optische Anordnungen zu erlauben. Sie sind im militärischen Bereich als Pilotenhelme seit langem eingeführt und erlauben neben der Darstellung von Daten auch Zusatzfunktionen wie blickgesteuertes Zielen. Die optische Qualität dieser Geräte ist hoch, allerdings auf Kosten von Abmessungen und Gewicht, denn es werden z.B. zur Aufbereitung der Displaybilder aufwändige Anordnungen zahlreicher Linsen eingesetzt. Ein neueres Beispiel für dieses Konstruktionsprinzip ist in [1] beschrieben.
Für zivile und insbesondere für Alltagsanwendungen, wie sie für den Bereich der Augmented Reality seit langem angestrebt werden, sind solche Konstruktionen jedoch ungeeignet. Hier setzt man auf brillenähnliche Konstruktionen mit möglichst einfacher und vor allem möglichst kompakter und leichter Optik.
Bisherige Ausführungsformen solcher Displaybrillen sind in verschiedenen Aspekten nicht optimal. Vorherrschende Probleme sind begrenzte optische Auflösung, begrenztes Sichtfeld und kleine Austrittspupillen, die eine sehr genaue Ausrichtung der optischen Anordnung zum Auge erfordern, was zusätzliche Haltebügel, Gurte etc. nötig macht und der Forderung nach einer angenehm zu tragenden und damit alltagstauglichen Lösung zuwider läuft.
Eine, hinsichtlich Gewicht und Größe vielversprechende Anordnung (gezeigt in 1) bestand zunächst aus einem Display (3a), welches oberhalb oder seitlich des Auges (1a) angeordnet ist, und einem konkaven Spiegel (4a), welcher das Displaybild zum Auge hin fokussiert. Spiegel und Display sind dabei schräg zueinander angeordnet (Off-Axis-Anordnung). Dabei kommt es zu starkem Astigmatismus (Differenz zwischen horizontalem und vertikalem Fokus), dem man durch eine ellipsoidale Formgebung des konkaven Spiegels begegnen kann. Wie sich gezeigt hat (siehe [2], Seite 30), erlaubt diese Anordnung jedoch nur eine Bildauflösung, die wesentlich unter derjenigen des menschlichen Auges von ca. 1 Bogenminute liegt. Auch ein Verzicht auf eine verzerrungsfreie Bildgeometrie (wie sie in [2] noch angestrebt wurde) bringt keine wesentliche Verbesserung.

US 6 215 593 B1 beschreibt eine Vorrichtung zum augennahen Anzeigen computergenerierter Bilder mit einer gekrümmten, sphärischen Displayoberfläche in einer konzentrischen (On-Axis-) Anordnung (u.a. 2A, 3 mit zugehörigem Text). Im Gegensatz zur hier vorgestellten Erfindung wird das Bild direkt in Richtung der Augen projiziert.
US 2004 / 0 108 971 A1 zeigt augenscheinlich eine zum Gegenstand der vorliegenden Erfindung sehr ähnliche Vorrichtung zum augennahen Anzeigen computergenerierter Bilder. Die Ausführungsform, die in 9 gezeigt ist, umfasst eine gekrümmte transparente Displayfläche 10 und einen gekrümmten Spiegel 22. Der Spiegel 22 besteht hier jedoch, wie die Linsenelemente der anderen Ausführungsformen, aus einer Vielzahl adaptiver Elemente, welche für die Bildgenerierung bei der Anzeigevorrichtung gemäss [D3] essenziell sind.
EP 0 580 261 A1 beschreibt eine Vorrichtung zum augennahen Anzeigen computergenerierter Bilder mit einem transparenten Display 6, das das Licht von der augenabgewandten Seite emittiert, und einem Spiegel 7, der das Displaylicht zum Auge projiziert (1, 2 mit zugehörigem Text). Hier ist jedoch das Display planar ausgebildet.

Mit einem planaren Display, selbst in Verbindung mit einem perfekt optimierten Spiegel, kann eine gute Bildschärfe nur in einem kleinen Winkelbereich erreicht werden, welcher für die mit der vorliegenden Erfindung adressierten Anwendungen nicht zufrieden stellt.
Gemäß einem Teilaspekt der vorliegenden Erfindung kann eine Verbesserung durch Verwendung eines nicht ebenen, also gekrümmten Displays erreicht werden. Organische OLED-Displays lassen solche Lösungen in naher Zukunft möglich erscheinen. Zumindest das Biegen der Displays in einer Richtung ist bereits möglich.
Für eine Off-Axis-Anordnung wird hierzu als ideale Form für einen Spiegel ein längliches Rotationsellipsoid vorgeschlagen (siehe 2, (4b)), dessen einer Brennpunkt (8) im Mittelpunkt des Auges (1b) liegt. Von dort ausgehende Strahlen treffen sich dann im anderen Brennpunkt (8) des Ellipsoids, ohne Astigmatismus. Üblicherweise geht man von einer Bildgenerierung aus, bei der die virtuellen Bilder im unendlichen liegen (kollimierte Optik). Es zeigt sich, dass Parallele, vom Auge (1b) ausgehende Strahlen (5b) auf einer Fläche fokussiert werden, die nahezu exakt einem - kleineren - Rotationsellipsoid (3b) entspricht, mit den gleichen Brennpunkten wie dem des Spiegels. Auf dieser Fläche sollten idealerweise die Bildpunkte des Displays angeordnet sein.
Ein dieser Form entsprechendes Display wird von dem Spiegel in einem großen Blickwinkelbereich gleichmäßig relativ scharf angebildet. Allerdings gibt es geometrische Grenzen für die Größe des Displays, denn diese ist durch die Physiognomie des Anwenders begrenzt, und das Display sollte auch möglichst wenig die direkte Sicht beeinträchtigen idem es ins Blickfeld ragt.
Die optische Analyse zeigt zudem, dass solche einfachen Off-Axis-Anordnungen auch im Idealfall nicht die Auflösung des Auges erreichen. Ein Grund hierfür ist, dass sich die Fokuslänge über der Spiegelfläche stark ändert. Bei kollimierter Optik ist die für eine bestimmte Blickrichtung zur Wirkung kommende Spiegelfläche immer etwa so groß wie die wirksame Pupillengröße (2b) des Auges. Von einer Pupillenseite zur anderen ändert sich die Fokuslänge bei der Off-Axis-Anordnung bereits so stark, dass eine Unschärfe resultiert. So lässt sich mit diesem Prinzip ohne das Einfügen weiterer optischer Elemente, wie z.B. Linsen, nur etwa die halbe Augenauflösung realisieren. Das ist zwar eine Leistung, die den meisten bisher erhältlichen zivilen Displays entspricht, kann aber letztlich nicht befriedigen. Eine Verwendung von Linsenoptiken zur Aufbereitung des Strahlengangs wäre jedoch, wie bereits ausgeführt, nachteilig wegen des Platzbedarfs und des Gewichts. Auch weitere Spiegelelemente sind insbesondere wegen des Platzbedarfs (Beispiel: [1]) sowie einer in der Regel resultierenden sehr kleinen Austrittspupille, keine Lösung.
Eine zentrale erfindungsgemäße Überlegung geht nun dahin, dass eine Veränderung des Strahlengangs der Off-Axis-Anordnung in Richtung kleinerer Schrägwinkel, im besten Fall bis hin zu einer koaxialen Anordnung, die beschriebenen Nachteile vermeiden würde. Allerdings gerät dann das Display selbst ins Sichtfeld.
Erfindungsgemäß wird dieses Problem dadurch gelöst (siehe 3), dass ein Display (3) zur Anwendung kommt, welches nur an seiner - dem Auge (1) abgewandten - Vorderseite Licht emittiert und insbesondere von seiner - dem Auge zugewandten - Rückseite her transparent oder zumindest teiltransparent ist, im Sinne einer klaren Durchsichtigkeit mit möglichst geringer Beeinträchtigung von Schärfe oder Kontrast, und mit einem möglichst hohen Transmissionsgrad.
Man kann dann in einer bevorzugten Ausführung sowohl Display (3) wie Spiegel (4) als Kugeln mit Brennpunkt im Mittelpunkt des Auges (1) gestalten. Hiermit ergeben sich für beliebige Blickrichtungen, entsprechend Drehungen des Augapfels, immer gleichbleibende optische Verhältnisse.
Es zeigt sich, dass die Displaykugel vorzugsweise den halben Durchmesser der Spiegelkugel haben sollte, dann ist das Display bei auf unendlich adaptiertem Auge im Fokus. Praktisch definiert dies einen gewissen sinnvollen Größenbereich für Spiegel und Display: Die Spiegel für linkes und rechtes Auge sollten sich bei einer binokularen Brillenkonstruktion nicht überschneiden, und die Displays sollten nicht mit der augennahen Physiognomie kollidieren. Praktisch sinnvoll ist damit z.B. ein Spiegelradius von etwa 4 cm und ein Displayradius von etwa 2 cm. Der Spiegel hat naturgemäß keine chromatische Aberration, und die sphärische Aberration kann hier jene der Augenlinse selbst nicht übersteigen, da die (bei Augenadaption auf unendlich) wirksame Spiegeloberfläche gleich groß wie die Linsenapertur ist, bei annähernd gleicher Fokuslänge (jeweils ca. 20mm; in 3 ist hierzu der Strahlengang (5) für das von einem Displaypunkt (6) emittierte Licht gezeigt).
Die optische Berechnung der besagten Anordnung ergibt dementsprechend eine Auflösung von 1 Bogenminute oder besser, und dies für ein sehr großes, im wesentlichen nur durch die Physiognomie selbst (Nase, Augenbrauen) begrenztes Sichtfeld. Form und Abmessungen sind alltagstauglich, und die Austrittspupille ist relativ groß, was die Verwendung mit einem gewöhnlichen Brillengestell ohne zusätzliche Fixierungen ermöglicht.
Im folgenden werden einige bekannte Realisierungsmöglichkeiten rückseitig transparenter Displays beschrieben. Es sei jedoch hervorgehoben, dass die vorliegende Erfindung nicht auf diese benannten Realisierungsmöglichkeiten beschränkt ist.
Von der Rückseite klar transparente Displays können im Prinzip so realisiert werden, dass die aktiven Bildpunkte inkl. der Ansteuerelektronik auf einem Glassubstrat nur einen Teil der Fläche belegen und man somit durch die Lücken zwischen den Bildpunkten schauen kann. Bei typischen Bildpunktgrößen von weniger als 6 µm für ein Augennahes Display sind die Strukturen so klein, dass sie die Durchsicht kaum stören. Bei schräger Durchsicht könnten bei diesen Strukturgrößen allerdings Diffraktionseffekte auftreten. Dem kann man durch eine leicht unregelmäßige Anordnung der Displaypunkte begegnen.
Die Dicke der Funktionsschichten ist sehr gering (Emissionsschicht von OLED-Displays typisch ab 0,1 µm), sie steht der Realisierung der benötigten Strukturgrößen nicht entgegen.
Rückseitig durchsichtige Displays wurden 2013 von der Firma Toshiba in Form großflächiger Flachbildschirme öffentlich demonstriert (dort „transmissive Displays“ genannt). In diesem Fall wurden nichttransparente Strukturen mit Lücken verwendet. Es existieren allerdings ebenfalls bereits realisierte Beispiele vollständig transparenter OLED-Displays, bei denen man nur die emittierenden Bildpunktflächen einseitig abdecken müsste, um den gleichen Effekt zu erhalten.
Vorzugsweise würde man hierbei spiegelnde Beschichtungen verwenden, um die vorderseitige Emission zu verdoppeln. Auch wellenlängen-selektive, ansonsten transparente Spiegelschichten (dichroitische Spiegel) kämen hier in Frage, was eine weitere Erhöhung der rückseitigen Transparenz erreichen könnte.
Wie in 4 illustriert, ist es ohne weiteres möglich, die Bildpunktfläche (6) kleiner als z.B. ¼ der Displayfläche zu machen und so über 75% Lücken (7) und damit Transparenz zu erhalten. Durch Erhöhung der Intensität der emittierenden Flächen kann man insgesamt die gleiche Displayhelligkeit erreichen wie bei einem vollflächigen Display.
Die Lichtemission zur Vorderseite ist bei einer Anwendung entsprechend 3 für außenstehende sichtbar und könnte irritierend wirken. Allerdings ist bei Augmented-Reality-Anwendungen immer nur ein kleiner Teil des Displays aktiv, zur Darstellung virtueller Objekte, Hinweise etc., denn Andernfalls würde ja die direkte Sicht stark beeinträchtigt. Ebenso werden bei direktem Blickkontakt mit anderen Personen in der Regel keine Objekte gerade in dieser Richtung abgebildet werden. Die frontale Emission sollte somit in der Regel kein Problem darstellen.
Mit einem Display welches beispielsweise nur 3 schmalbrandige Emissionslinien für die Grundfarben rot, grün und blau aufweist, kann man den Spiegel als selektiven, beispielsweise dichroitischen Spiegel ausführen. Dieser würde die Displayemission nahezu hundertprozentig reflektieren und damit vom Umfeld isolieren. Gleichzeitig hätte ein solcher Spiegel, für den gesamten sichtbaren Wellenlängenbereich betrachtet, einen vergleichsweise hohen Transmissionsgrad.
Das vorgestellte Konzept kann erfindungsgemäß für andere Displayformen variiert werden.
Weitere mögliche Ausführungen wären z.B. ein zylindrisches Display mit einem Torusförmigen Spiegel, Variationen des oben beschriebenen Ellipsoidprinzips, oder Mischformen. So zeigten die Berechnungen, dass sich in einigen Fällen selbst sehr geringe Displaykrümmungen bereits optisch Vorteilhaft auswirken können. Des weiteren ist es möglich, den zentralen Bereich der Form auf Schärfe zu optimieren und den Randbereich zugunsten eines größeren Blickwinkels mehr der Physiognomie entsprechend anzupassen.
Alternativ zu selbst emittierenden Matrixdisplays können in einer weiteren Ausführungsform auch Lichtmodulierende Displays mit einer zusätzlichen Lichtquelle in einer erfindungsgemäßen Vorrichtung zur Anwendung kommen.
Eine weitere Ausführungsform beinhaltet die Verwendung einer Matrix aus passiven, Licht streuenden oder reflektierenden Elementen, auf die Bilder mittels einer oder mehrerer bildgebender Projektionseinrichtungen projiziert werden. Gestaltet man diese Matrix entsprechend derjenigen der vorab beschriebenen Display-Punktmatrix, dann verhält sie sich zusammen mit einem passend eingerichteten Mikroprojektor ähnlich einem aktiven Display. Ein besonderer Vorteil dieser Variante ist, dass sich die passive Punktmatrix sehr viel leichter in beliebig gekrümmten Formen realisieren lässt. Da die Projektionseinrichtung inklusive Optiken sehr klein realisiert werden kann, sind hierfür auch komplexe Linsenoptiken möglich, ohne nennenswertes zusätzliches Gewicht.
Abschließend sei eine mögliche Ausführungsform benannt, bei der ein Teil der Displaypunkte durch lichtempfindliche Elemente ersetzt ist, welche zusammen als Kamera-Array wirken. Da die Optik stets auch die Netzhaut des Auges in der Displayfläche scharf abbildet, lässt sich so ein in das Display integrierter Retina-Tracker zur Messung der Augenbewegung realisieren.
Zitierte Literatur

[1] Method of achieving a wide field-of-view head-mounted display with small distortion Jianming Yang, Weiqi Liu, Weizhen Lv, Daliang Zhang, Fei He, Zhonglun Wei and Yusi Kang OPTICS LETTERS June 15, 2013 / Vol. 38, No. 12 / 2035
[2] Optical free-form surfaces in off-axis head-worn display design. O. Cakmakci, S. Vo, S. Vogl, R. Spindelbalker, A. Ferscha, and J. P. Rolland. In: Proceedings of The 7th IEEE and ACM International Symposium on Mixed and Augmented reality, ISMAR, pages 29-32, New York, 2008. Springer. 738

Zitierte Patentdokumente:

[D1] US 6215593 B1 (Bruce) 12.11.1997, 2A, 3 und zugehöriger Text
[D2] EP 0580261 A1 (Kawada) 22.07.1993, 1, 2 und zugehöriger Text
[D3] US 2004/0108971 A1 (Waldern et al.) 3.5.2003, 9 und zugehöriger Text

Bezugszeichenliste

1.: Auge
2.: Pupille
3.: Display
4.: Spiegel
5.: Strahlengang
6.: Display-Pixel
7.: Transparente Lücken
8.: Brennpunkte

Claims

Vorrichtung zur Darstellung von Bildern, welche von einem signal- oder informationsverarbeitenden Gerät oder einem Computer generiert werden, die Vorrichtung bestehend entweder aus einem augennahen Display (3) mit einer optischen Anordnung für ein Auge (1) des Betrachter oder aus jeweils einem augennahen Display (3) mit einer optischen Anordnung für jedes der beiden Augen (1) des Betrachters, das Display und die optische Anordnung gekennzeichnet durch: (a) ein Display (3), von dessen Frontseite, welche vom Auge (1) abgewandt ist, Licht (5) in Form eines Lichtmusters, welches ein Bild repräsentiert, emittiert oder reflektiert werden kann, dessen Oberflächenform Teil einer monoton und kontinuierlich um das Auge (1) herum gekrümmten Form ist und welches zumindest teilweise transparent ist und es damit erlaubt, durch seine dem Auge (1) zugewandte Rückseite hindurch zu sehen; (b) eine optische Anordnung bestehend aus einem einzelnen, nicht transparenten oder teiltransparenten Spiegel (4), welcher die vom Display (3) ausgehenden Lichtmuster zum Auge (1) zurück reflektiert und fokussiert und somit die Betrachtung des vom Display (3) ausgehenden Bildes durch dessen Rückseite hindurch ermöglicht, welcher eine optische Form hat, die unveränderlich und Teil einer monoton und kontinuierlich um das Auge (1) herum gekrümmten Form ist, und welcher das vom Display (3) ausgehende Bild dem Auge (1) als virtuelles Bild zuführt.
Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass das Display (3) aus nicht transparenten Teilflächen (6) mit zumindest teilweise Licht reflektierender oder emittierender Funktion im Sinne eines aktiven, ein Bild darstellenden Matrixdisplays besteht, mit dazwischen liegenden transparenten Teilflächen (7), welche ein Hindurchsehen durch das Display (3) ermöglichen.
Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass die Frontseite des Displays (3) ein Punktmuster aus passiv diffus reflektierenden Teilflächen (6) beinhaltet, welche ein Bild reflektieren, das von zumindest einem Bildprojektor auf die Frontseite des Displays (3) fokussiert projiziert wird, mit dazwischen liegenden transparenten Teilflächen (7), welche ein Hindurchsehen durch das Display (3) ermöglichen..
Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass die Displayoberfläche (3) zumindest teilweise als Teil einer Kugeloberfläche mit dem Zentrum des Auges (1) als Mittelpunkt geformt ist und die optische Form des Spiegels (4) zumindest teilweise Teil einer zweiten Kugeloberfläche ist, welche ebenfalls das Zentrum des Auges (1) als Mittelpunkt hat.
Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass die Displayoberfläche (3b) zumindest teilweise als Teil eines Ellipsoids mit dem Zentrum des Auges (1b) als einem geometrischen Fokuspunkt (8) des Ellipsoids geformt ist und die optische Form des Spiegels (4b) zumindest teilweise teil eines zweiten Ellipsoids ist, welches dieselben geometrischen Fokuspunkte (8) hat wie das Display-Ellipsoid.
Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass das Display zumindest teilweise zylindrisch geformt ist, und die optische Form des Spiegels zumindest teilweise Teil eines Torus ist.
Vorrichtung nach Anspruch 1, dadurch gekennzeichnet, dass die Displayoberfläche (3) auch lichtempfindliche Teilflächen beinhaltet, die zusammen als Kamerasensor arbeiten welcher das Retinamuster des Betrachters aufnimmt, und somit die Implementierung eines Retinatrackers zur Messung der Augenbewegungen erlaubt.
Verfahren zum Anzeigen von Bildern, dadurch gekennzeichnet, dass mittels der Vorrichtung nach Anspruch 1, Bilder beliebiger Art - einschließlich aber nicht beschränkt auf Informationen, mediale Inhalte und simulierte Objekte und Szenen für Virtual-Reality-Anwendungen und Augmented-Reality-Anwendungen - einem oder beiden Augen (1) des Anwenders zugeführt werden.