DE202018101012U1

DE202018101012U1 - Augennahe Anzeige mit erweiterter Akkomodationsbereichsanpassung

Info

Publication number: DE202018101012U1
Application number: DE202018101012.3U
Authority: DE
Original assignee: Google LLC
Current assignee: Google LLC
Priority date: 2017-05-26
Filing date: 2018-02-23
Publication date: 2018-05-22
Anticipated expiration: 2028-02-24
Also published as: TWI720293B; TW201901244A; JP2020521991A; WO2018217252A1; US20210076025A1; KR102389330B1; JP6952123B2; US20180343443A1; US11435576B2; KR20190131021A; US10855977B2

Abstract

Computerlesbares Speichermedium in einem augennahen Anzeigesystem, das Anweisungen enthält, die dann, wenn sie durch einen oder mehrere Prozessoren ausgeführt werden, Operationen implementieren, die Folgendes umfassen:Bestimmen einer ersten Stellung eines Auges eines Anwenders unter Verwendung einer Augenverfolgungskomponente des augennahen Anzeigesystems;Bestimmen eines gewünschten Brennpunkts für ein Feld von Elementarbildern, die einen integralen Lichtfeldrahmen bilden, auf der Grundlage der ersten Stellung des Auges des Anwenders;Ändern der Brennweite von Licht, das aus einem Lenslet-Feld projiziert wird, auf der Grundlage der ersten Stellung des Auges des Anwenders;Rendern des Felds von Elementarbildern an einer Position innerhalb des integralen Lichtfeldrahmens undAnzeigen des integralen Lichtfeldrahmens an einer Anzeigetafel des augennahen Anzeigesystems.

Description

Querverweis auf verwandte Anmeldungen
Diese Anmeldung ist mit der vorläufigen US-Patentanmeldung 62/511,567 mit dem Titel „NEAR-EYE DISPLAY WITH EXTENDED ACCOMMO-DATION RANGE ADJUSTMENT“, eingereicht am 26. Mai 2017, verwandt und hier durch Bezugnahme vollständig mit aufgenommen.
Durch das Gebrauchsmuster und den Gegenstand des Gebrauchsmusters sollen gemäß den Anforderungen des Gebrauchsmustergesetzes nur Vorrichtungen, wie sie in den beigefügten Ansprüchen definiert sind, aber keine Verfahren geschützt werden. Wenn in der Beschreibung auf Verfahren Bezug genommen wird, dienen diese Bezugnahmen lediglich zur Veranschaulichung der Vorrichtung oder Vorrichtungen, für die mit den beigefügten Ansprüchen Schutz angestrebt wird.
Hintergrund
Am Kopf befestigte Anzeigen (HMDs) und andere augennahe Anzeigesysteme können eine integrale Lichtfeldanzeige oder eine andere rechentechnische Anzeige einsetzen, um eine effektive Anzeige von dreidimensionaler Grafik (3D-Grafik) bereitzustellen. Im Allgemeinen setzt die integrale Lichtfeldanzeige eine oder mehrere Anzeigetafeln und ein Feld von Lenslets, sehr kleinen Löchern oder anderen optischen Merkmalen, die die eine oder die mehreren Anzeigetafeln überlagern, ein. Ein Rendering-System rendert ein Feld von Elementarbildern, wobei jedes Elementarbild ein Bild oder eine Ansicht eines Objekts oder einer Szene aus einer entsprechenden Perspektive oder einer Position einer virtuellen Kamera repräsentiert. Solche integralen Lichtfeldanzeigen weisen normalerweise einen Kompromiss zwischen Auflösung und Akkommodationsbereich auf, da die Auflösung proportional zur Dichte von Lenslets ist. Somit weist ein herkömmliches augennahes Anzeigesystem, das eine integrale Lichtfeldanzeige einsetzt, um eine zufriedenstellende Auflösung bereitzustellen, eine geringe Dichte von großflächigen Lenslets auf, was die Anzeigenauflösung begrenzt, oder weist eine hohe Dichte von kleinflächigeren Lenslets auf, die den Akkommodationsbereich begrenzen.
Figurenliste
Die vorliegende Offenbarung kann besser verstanden werden und ihre zahlreichen Merkmale und Vorteile können Fachleuten auf dem Gebiet ersichtlich gemacht werden, indem Bezug auf die beigefügten Zeichnungen genommen wird. Die Verwendung der gleichen Bezugszeichen in unterschiedlichen Zeichnungen gibt ähnliche oder identische Gegenstände an.

1 ist ein Diagramm, das ein augennahes Anzeigesystem darstellt, das eine Augenverfolgung und eine entsprechende Elementarbildverschiebung einsetzt, um eine dynamische Brennweitenanpassung in Übereinstimmung mit einigen Ausführungsformen bereitzustellen.
2 ist ein Diagramm, das ein Beispiel einer dynamischen Brennweitenanpassung in dem augennahen Anzeigesystem von 1 in Übereinstimmung mit einigen Ausführungsformen darstellt.
3 ist ein Diagramm, das ein zusätzliches Beispiel einer dynamischen Brennweitenanpassung in dem augennahen Anzeigesystem von 1 in Übereinstimmung mit einigen Ausführungsformen darstellt.
4 ist ein Ablaufdiagramm, das ein Verfahren zur dynamischen Brennweitenanpassung in dem augennahen Anzeigesystem von 1 in Übereinstimmung mit einigen Ausführungsformen darstellt.
5 ist ein Diagramm, das ein Beispiel einer dynamischen Akkommodationsbereichsanpassung in dem augennahen Anzeigesystem von 1 in Übereinstimmung mit einigen Ausführungsformen darstellt.
6 ist ein Diagramm, das ein beispielhaftes Lenslet-Feld mit variabler Brennweite für eine dynamische Brennweitenanpassung in dem augennahen Anzeigesystem von 1 in Übereinstimmung mit einigen Ausführungsformen darstellt.

Genaue Beschreibung
1-6 stellen beispielhafte Verfahren und Systeme für eine dynamische Brennweiten- und Akkommodationsbereichsanpassung auf der Grundlage einer Anwenderaugenstellung in einem augennahen Anzeigesystem dar. In mindestens einer Ausführungsform setzt das augennahe Anzeigesystem eine rechentechnische Anzeige ein, um einem Anwender integrale Lichtfeldrahmen von bildlicher Darstellung anzuzeigen, um dem Anwender eine eintauchende Erfahrung einer virtuellen Realität (VR) oder einer erweiterten Realität (AR) bereitzustellen. Jeder integrale Lichtfeldrahmen besteht aus einem Feld von Elementarbildern, wobei jedes Elementarbild eine Ansicht eines Objekts oder einer Szene aus einem anderen entsprechenden Standpunkt repräsentiert. Ein Feld von Lenslets überlagert die Anzeigetafel und arbeitet, um dem Anwender das Feld von Elementarbildern als ein einzelnes autostereoskopisches Bild zu präsentieren.
Da die Auflösung einer rechentechnischen Anzeige proportional zu dem Verhältnis von Lenslet-Größe zu Lenslet-Brennweite ist, führt ein Versuch, die Auflösung unter Verwendung von großen Lenslets zu erhöhen, im Allgemeinen zu reduzierten Brennweiten und Akkommodationsbereichen und umgekehrt. Um eine verbesserte Auflösung ohne eine entsprechende Reduzierung des Akkommodationsbereichs bereitzustellen, nutzen die hier beschriebenen augennahen Anzeigesysteme in mindestens einer Ausführungsform eine dynamische Technik, wobei eine Augenverfolgungskomponente genutzt wird, um die aktuelle Stellung (Position und/oder Drehung) des Auges des Anwenders zu bestimmen und auf der Grundlage der aktuellen Stellung eine Spannung zu bestimmen, die an ein Material mit variablem Index angelegt wird, durch das Licht, das aus Lenslets projiziert wird, seine Brennweiten ändert, um zu ändern, wie im Fokus Abschnitte eines Bildes auf der Grundlage der aktuellen Stellung des Auges des Anwenders wahrgenommen werden. Als ein Beispiel kann der Brechungsindex des Material anfangs eingestellt sein, einen ersten Akkommodationsbereich zu erzeugen, in dem Objekte im Fokus wahrgenommen werden können. Anschließend kann der Brechungsindex des Material geändert werden, um einen zweiten Akkommodationsbereich zu erzeugen, in dem Objekte im Fokus wahrgenommen werden können. Da sich der Blick des Anwenders ändert, wird der Brechungsindex des Materials geändert, um den Akkommodationsbereich, in dem Objekte im Fokus wahrgenommen werden, dynamisch anzupassen. Somit sorgen das dynamische Ändern des Brechungsindex und das Verschieben des Akkommodationsbereichs als Antwort auf Änderungen der Stellung des Auges in dem Anwender effektiv für einen großen Akkommodationsbereich, ohne dass eine entsprechende Reduzierung der Auflösung des augennahen Anzeigesystems erforderlich ist.
1 stellt ein augennahes Anzeigesystem 100 dar, das eine dynamische Akkommodationsbereichsanpassung in Übereinstimmung mit mindestens einer Ausführungsform enthält. In dem wiedergegebenen Beispiel umfasst das augennahe Anzeigesystem 100 ein rechentechnisches Anzeigeuntersystem 102, eine Rendering-Komponente 104 und eine oder mehrere Augenverfolgungskomponenten, wie eine oder beide einer Augenverfolgungskomponente 106 zum Verfolgen des linken Auges eines Anwenders und eine Augenverfolgungskomponente 108 zum Verfolgen des rechten Auges des Anwenders. Das rechentechnische Anzeigeuntersystem 102 umfasst eine Anzeige 110 für das linke Auge und eine Anzeige 112 für das rechte Auge, die in eine Vorrichtung 114 (z. B. Schutzbrille, Brille, etc.) montiert sind, die die Anzeigen 110, 112 jeweils vor dem linken und dem rechten Auge des Anwenders platziert.
Wie durch die Ansicht 116 gezeigt ist, umfasst jede der Anzeigen 110, 112 mindestens eine Anzeigetafel 118, um eine Folge oder Abfolge von integralen Lichtfeldrahmen (nachstehend „Lichtfeldrahmen“ zur einfacheren Bezugnahme) anzuzeigen, wobei jeder ein Feld 120 von Elementarbildern 122 umfasst. Zur einfacheren Bezugnahme kann ein Feld 120 von Elementarbildern 122 hier auch als ein Lichtfeldrahmen 120 bezeichnet werden. Jede der Anzeigen 110, 112 umfasst ferner ein Feld 124 von Lenslets 126 (auch allgemein als „Mikrolinsen“ bezeichnet), die die Anzeigetafel 118 überlagern. Normalerweise ist die Anzahl von Lenslets 126 in dem Lenslet-Feld 124 gleich der Anzahl von Elementarbildern 122 in dem Feld 120, aber in anderen Implementierungen kann die Anzahl von Lenslets 126 kleiner oder größer als die Anzahl von Elementarbildern 122 sein. Es ist zu beachten, dass, obwohl das Beispiel von 1 zur einfacheren Darstellung ein 5x4-Feld von Elementarbildern 122 und ein entsprechendes 5x4-Feld 120 von Lenslets 126 darstellt, in einer typischen Implementierung die Anzahl von Elementarbildern 122 in einem Lichtfeldrahmen 120 und die Anzahl von Lenslets 126 in dem Lenslet-Feld 124 normalerweise viel höher ist. Ferner ist in einigen Ausführungsformen eine separate Anzeigetafel 118 für jede der Anzeigen 110, 112 implementiert, wohingegen in anderen Ausführungsformen die Anzeige 110 für das linke Auge und die Anzeige 112 für das rechte Auge 112 gemeinsam eine einzelne Anzeigetafel 118 nutzen, wobei die linke Hälfte der Anzeigetafel 118 für die Anzeige 110 für das linke Auge verwendet wird und die rechte Hälfte der Anzeigetafel 118 für die Anzeige 112 für das rechte Auge verwendet wird.
Querschnitt 128 von 1 gibt eine Querschnittsansicht entlang der Linie A-A des Lenslet-Felds 124 wieder, die die Anzeigetafel 118 überlagert, so dass das Lenslet-Feld 124 die Anzeigeoberfläche 130 der Anzeigetafel 118 überlagert, um zwischen der Anzeigeoberfläche 130 und dem entsprechenden Auge 132 des Anwenders angeordnet zu sein. In dieser Konfiguration fokussiert jedes Lenslet 126 ein entsprechendes Gebiet der Anzeigeoberfläche 130 auf die Pupille 134 des Auges, wobei jedes derartige Gebiet zumindest teilweise ein oder mehrere benachbarte Gebiete überlappt. Somit nimmt in derartigen rechentechnischen Anzeigekonfigurationen dann, wenn ein Feld 120 von Elementarbildern 122 an der Anzeigeoberfläche 130 der Anzeigetafel 118 angezeigt wird und dann durch das Lenslet-Feld 124 betrachtet wird, der Anwender das Feld 120 von Elementarbildern 122 als ein einzelnes Bild einer Szene wahr. Somit ist dann, wenn dieser Prozess parallel sowohl für das linke Auge als auch das rechte Auge des Anwenders durchgeführt wird, wobei die passende Parallaxe dazwischen implementiert ist, das Ergebnis die Präsentation einer autostereoskopischen dreidimensionalen (3D) bildlichen Darstellung für den Anwender.
Wie außerdem in 1 gezeigt, umfasst die Rendering-Komponente 104 einen Satz von einem oder mehreren Prozessoren, wie die dargestellte zentrale Verarbeitungseinheit (CPU) 136 und Grafikverarbeitungseinheiten (GPUs) 138, 140, und eine oder mehrere Speicherkomponenten, wie ein Systemspeicher 142, um Softwareprogramme oder andere ausführbare Anweisungen zu speichern, auf die von den Prozessoren 136, 138, 140 zugegriffen wird und die ausgeführt werden, um den einen oder die mehreren der Prozessoren 136, 138, 140 zu bedienen, verschiedene Aufgaben durchzuführen, wie sie hier beschrieben sind. Derartige Softwareprogramme umfassen zum Beispiel sowohl ein Rendering-Programm 144, das ausführbare Anweisungen für einen Akkommodationsbereichsanpassungsprozess, wie er unten beschrieben ist, umfasst, als auch ein Augenverfolgungsprogramm 146, das ausführbare Anweisungen für einen Augenverfolgungsprozess, wie er auch unten beschrieben ist, umfasst.
Im Betrieb empfängt die Rendering-Komponente 104 Rendering-Informationen 148 von einer lokalen oder entfernten Inhaltsquelle 150, wobei die Rendering-Informationen 148 Grafikdaten, Videodaten oder andere Daten repräsentieren, die für ein Objekt oder eine Szene, die Gegenstand der bildlichen Darstellung ist, das gerendert und an dem Anzeigeuntersystem 102 angezeigt werden soll, repräsentativ sind. Beim Ausführen des Rendering-Programms 144 verwendet die CPU 136 die Rendering-Informationen 148, um Zeichenanweisungen an die GPUs 138, 140 zu senden, die wiederum die Zeichenanweisungen nutzen, um parallel eine Reihe von Lichtfeldrahmen 151 für die Anzeige an der Anzeige 110 für das linke Auge und eine Reihe von Lichtfeldrahmen 153 für die Anzeige an der Anzeige 112 für das rechte Auge unter Verwendung einer Vielfalt von gut bekannten VR/ARrechentechnischen/Lichtfeld-Rendering-Prozessen zu rendern. Als Teil dieses Rendering-Prozesses kann die CPU 136 Stellungsinformationen 150 von einer Trägheitsmanagementeinheit (IMU) 154 empfangen, wodurch die Stellungsinformationen 150 für eine aktuelle Stellung des Anzeigeuntersystems 102 repräsentativ sind, und das Rendern von einem oder mehreren Paaren von Lichtfeldrahmen 151, 153 steuern, um den Standpunkt des Objekts oder der Szene aus der aktuellen Stellung zu reflektieren.
Wie unten ausführlich beschrieben ist, kann die Rendering-Komponente 104 ferner Augenstellungsinformationen von einer oder beiden Augenverfolgungskomponenten 106, 108 verwenden, um die Brennweite von Projektionen von Elementarbildern 122 von dem Lenslet-Feld 124 auf das Auge 132 für den anzuzeigenden Lichtfeldrahmen zu verschieben, und dadurch den Fokus von einem oder mehreren Elementarbildern 122 für den so angezeigten Lichtfeldrahmen anzupassen. Dazu können die Augenverfolgungskomponenten 106, 108 jeweils eine oder mehrere Infrarotlichtquellen (IR-Lichtquellen) (hier als „IR-Leuchten“ bezeichnet), um das entsprechende Auge mit IR-Licht zu beleuchten, eine oder mehrere Bildgebungskameras, um das IR-Licht, das von dem entsprechenden Auge reflektiert wird, als ein entsprechendes Augenbild (Augenbildinformationen 156) aufzunehmen, einen oder mehrere Spiegel, Wellenleiter, Strahlteiler und dergleichen, um das reflektierte IR-Licht auf die Bildgebungskameras zu richten, und einen oder mehrere Prozessoren, um das Augenverfolgungsprogramm 146 auszuführen, um eine aktuelle Position, eine aktuelle Orientierung oder beides (hier einzeln oder gemeinsam als „Stellung“ bezeichnet) des entsprechenden Auges aus dem aufgenommenem Augenbild zu bestimmen, umfassen. Jede einer Vielfalt von gut bekannten Augenverfolgungseinrichtungen und -techniken kann als die Augenverfolgungskomponenten 146, 148 eingesetzt werden, um ein oder beide Augen des Anwenders zu verfolgen.
In einem herkömmlichen rechentechnischen anzeigebasierten System sind die Eigenschaften des Lenslet-Felds, das eine Anzeige überlagert, normalerweise fest (das heißt, die physikalischen Abmessungen und/oder der Materialaufbau der Lenslets sind fest und häufig sind sie die gleichen für alle Lenslets), was wiederum dazu führt, dass die optischen Eigenschaft der Lenslets fest sind. Als eine Folge umfasst das Ändern des Fokus, mit dem der Anwender die angezeigte bildliche Darstellung wahrnimmt, häufig die mechanische Betätigung, um das Lenslet-Feld physikalisch näher zu oder weiter weg von den Augen des Anwenders zu bewegen. In augennahen Anzeigesystemen setzt die kleine Brennweite von Lenslets sie kleinen Linsenanzeigeabstandstoleranzen aus. Als eine Folge können Ungenauigkeiten in der Anfangskonstruktion des Lenslet-Felds oder Ungenauigkeiten der mechanischen Translation während des Betriebs zu unbeabsichtigten Einwirkungen auf die Wahrnehmung des Anwenders der angezeigten bildlichen Darstellung führen, wie Verlust des Fokus oder verschwommene Objekte in der angezeigten bildlichen Darstellung.
Wie hier beschrieben, verbessert das augennahe Anzeigesystem 100 in mindestens einer Ausführungsform die Genauigkeit von Anpassungen an den Fokus der angezeigten bildlichen Darstellung, indem ein Lenslet-Feld mit variabler Brennweite implementiert ist, das konfiguriert ist, die Brennweite von projizierter bildlicher Darstellung anzupassen, sich enger auf die aktuelle Stellung des Auges des Anwenders auszurichten. Dies wird erreicht, indem die Augenverfolgungskomponenten 106, 108 verwendet werden, um ein oder beide Augen des Anwenders zu verfolgen, um die aktuelle Stellung von einem oder beiden Augen für einen entsprechenden anzuzeigenden Lichtfeldrahmen zu bestimmen. Wenn die aktuelle Stellung bestimmt ist, passt die Rendering-Komponente 104 dann die Brennweite von Licht, das von einem oder mehreren Lenslets 126 in dem Lenslet-Feld projiziert wird, elektrisch an, um den Brennpunkt von einem oder mehreren Elementarbildern 122 innerhalb eines Lichtfeldrahmens, der relativ zu dem Auge 132 des Anwenders gerendert wird, zu ändern. Diese Änderung an dem Brennpunkt bringt Objekte, wie sie durch die Anzeigetafel 118 angezeigt werden, aus der Perspektive des Anwenders in oder aus dem Fokus. Auf diese Weise kann die Brennweite bzw. die Brennweiten der Lenslets 126 dynamisch angepasst werden, um die aktuelle Stellung des Auges des Anwenders besser zu akkommodieren.
In einigen Ausführungsformen umfasst das Lenslet-Feld 124 Lenslets, die aus nematischen Flüssigkristallzellen aufgebaut sind. Die nematischen Flüssigkristallzellen sind zum Beispiel unter Verwendung einer Spannungsquelle (nicht gezeigt) elektrisch adressierbar. Änderungen der angelegten Spannung an die Lenslets 126 bewirkt, dass der Brechungsindex des Lenslets geändert wird, wodurch sich die Brennweite der Lenslets ändert. In anderen Ausführungsformen wird anstatt Lenslets zu verwenden, die aus nematischen Flüssigkristallzellen aufgebaut sind, eine Schicht eines Materials 158 mit einem variablem Index (wie aus nematischen Flüssigkristallzellen oder anderen optischen Komponenten mit variablem Fokus, die konfiguriert sind, variable Brennweiten aufzuweisen, aufgebaut) positioniert, um zwischen der Anzeigetafel 118 und dem Lenslet-Feld 124 angeordnet zu sein.
Obwohl es hier nur im Kontext von nematischen Flüssigkristallen beschrieben ist, werden Fachleute auf dem Gebiet anerkennen, dass jedes Material mit variablem Index und/oder jede optische Komponente mit variablem Fokus verwendet werden kann, ohne von dem Umfang dieser Offenbarung abzuweichen. Zum Beispiel können solche optischen Komponenten verformbare Membranspiegel (DMMs), Fluidlinsen, räumliche Lichtmodulatoren (SLMs), elektrooptische Polymere etc. umfassen, sind aber nicht darauf beschränkt. Zusätzlich kann in einigen anderen Ausführungsformen die Brennweite von Licht, das von dem Lenslet-Feld 124 projiziert wird, ferner angepasst werden, indem die Lenslets mit variablem Index oder die Schicht aus Material mit einem variablem Index mit einem mechanischen Aktuator (nicht gezeigt) kombiniert werden, um den physikalischen Abstand zwischen dem Lenslet-Feld 124, der Schicht aus Material 158 mit variablem Index, der Anzeigetafel 118 und dem Auge 132 zu ändern. Zum Beispiel können solche mechanischen Aktuatoren piezoelektrische, Schwingspul- oder elektroaktive Polymeraktuatoren umfassen.
In einer Ausführungsform wird eine Spannung an das Lenslet-Feld 124 oder die Schicht aus Material 158 mit variablem Index als ein ganzes angelegt. Dementsprechend nimmt jedes einzelne Lenslet 126 oder die gesamte Schicht aus Material 158 mit variablem Index die gleiche Spannung zum Anpassen ihres Brechungsindex auf, wodurch die Brennweite von Licht, das von dem gesamten Lenslet-Feld 124 projiziert wird, geändert wird. Dies erreicht den gleichen Effekt wie das mechanische Betätigen und das translatorische Bewegen des Lenslet-Felds 124 näher an oder weiter weg von dem Auge 132 und verbessert ferner die Genauigkeit des Erreichens der gewünschten Brennweite. In einer weiteren Ausführungsform sind alle Lenslets 126 einzeln adressierbar und können eine voneinander unterschiedliche Spannung aufnehmen. Ebenso kann die Schicht aus Material 158 mit variablem Index mit Abmessungen verpixelt werden, die mit dem Lenslet-Feld übereinstimmen; jede der verpixelten Flächen der Schicht aus Material 158 mit variablem Index kann einzeln adressierbar sein. Dies erlaubt eine größere Steuerung der Brennweite des Lichts, das von jedem Lenslet 126 projiziert wird. Dementsprechend ist die Brennweite des Lichts, das von jedem Lenslet 126 projiziert wird, modulierbar und jedes der Elementarbilder 122 kann unterschiedliche Abschnitte eines Bildes mit einem unterschiedlichen Betrachtungsabstand zu Objekten in dem Bild repräsentieren. Um weitere Körnigkeit unter der Kontrolle über Brennpunkte bereitzustellen, kann die Schicht aus einem Material 158 mit variablem Index in einigen Ausführungsformen auf einem Unter-Lenslet-Niveau so mit Abmessungen verpixelt sein, dass unterschiedliche Abschnitte von jedem Elementarbild 122, die jedem Lenslet 126 entsprechen, zu einer eindeutigen Brennweite einzeln adressiert werden können.
Alternativ umfasst das augennahe Anzeigesystem 100, um weitere Körnigkeit unter der Kontrolle über Brennpunkte bereitzustellen, in anderen Ausführungsformen eine optionale Phasenmaske 160, die so positioniert ist, dass sie zwischen der Anzeigetafel 118 und dem Lenslet-Feld 124 angeordnet ist. Zum Beispiel ist, wie in 1 dargestellt, die optionale Phasenmaske 160 ein verpixelter räumlicher Lichtmodulator (SLM), der einfallendes Licht von der Anzeige 118 (oder in einigen Ausführungsformen von dem Material 158 mit variablem Index) empfängt und die Phase des Ausgangslichtstrahls räumlich moduliert. Dementsprechend würde jedes Lenslet 126 einen Einfallsstrahl empfangen, der mehrere räumlich variierende Phasen für unterschiedliche Strahlen aufweist, so dass unterschiedliche Abschnitte von jedem Elementarbild 122 auf unterschiedliche Brennweiten fokussiert sein können.
In anderen Ausführungsformen kann das Lenslet-Feld 124 oder die Schicht aus Material 158 mit variablem Index in zwei oder mehr Partitionen unterteilt sein. Jede Partition kann mit der gleichen Spannung adressiert werden, wodurch nur die Brennweite für diese Partition geändert wird. Zum Beispiel kann das Lenslet-Feld 124 oder die Schicht aus Material 158 mit variablem Index in vier gleiche Quadranten unterteilt sein, die jeweils ein anderes Spannungssignal in individuell adressierbaren Reihen, in individuell adressierbaren Spalten, etc. empfangen. Fachleute auf dem Gebiet werden anerkennen, dass jede Unterteilung des Lenslet-Felds 124 oder der Schicht aus Material 158 mit variablem Index in räumlich variierende adressierbare Partitionen verwendet werden kann, ohne von dem Umfang dieser Offenbarung abzuweichen.
Um dies darzustellen, gibt 2 eine Querschnittsansicht 200 einer rechentechnischen Anzeige, wie die, die in dem augennahen Anzeigesystem 100 unter Verwendung von Lenslets mit variablem Index genutzt werden, wieder. Wie in dieser Ansicht gezeigt, dient jedes der Lenslets 126 des Lenslet-Felds 124 als ein separater „Projektor“ auf das Auge 132, wobei jeder „Projektor“ einen oder mehrere benachbarte Projektoren beim Bilden eines zusammengesetzten virtuellen Bildes 202 aus dem Feld von Elementarbildern, die an der Anzeigetafel 118 angezeigt werden, überlappt. Um dies darzustellen, projiziert das Lenslet 126-1 ein entsprechendes Elementarbild (das durch ein Gebiet 204 repräsentiert wird) von Gebiet 210 des virtuellen Bildes 202, das Lenslet 126-2 projiziert ein entsprechendes Elementarbild (das durch ein Gebiet 206 repräsentiert wird) von Gebiet 212 des virtuellen Bildes 202 und das Lenslet 126-3 projiziert ein entsprechendes Elementarbild (das durch ein Gebiet 208 repräsentiert wird) von Gebiet 214 des virtuellen Bildes 202. Wie durch 2 gezeigt ist, überlappen die Gebiete 210 und 212 in einem Untergebiet 216, die Gebiete 212 und 214 überlappen in Untergebiet 220 und alle drei Gebiete 210, 212, 214 überlappen in Untergebiet 218.
Somit kann unter der Annahme in diesem Beispiel, dass ein Elementarbild, das in einem Gebiet 206 der Anzeigetafel 118 positioniert ist, durch das Auge 132 zu einer ersten Zeit t₁ fokussiert wird, der Brechungsindex des Lenslets 126-2 berechnet werden (z. B. durch die Rendering-Komponente 104) und elektrisch geändert werden, so dass Licht, das Bilddaten enthält, von dem Lenslet 126-2 auf einen ersten Brennpunkt 222 auf der Rückseite des Auges 132 fokussiert wird. Dementsprechend würde es erscheinen, dass der Abschnitt des Gebiets 212 des virtuellen Bildes 202 zur ersten Zeit t₁ im Fokus ist. Anschließend kann unter der Annahme in diesem Beispiel, dass der Anwender zu einer zweiten Zeit t₂ wegblickt, um auf ein Elementarbild zu fokussieren, das in einem Gebiet 204 der Anzeigetafel 118 positioniert ist, um die Änderung zu einer neuen Stellung des Auges des Anwenders zu berücksichtigen, der Brechungsindex des Lenslets 126-2 berechnet werden (z. B. durch die Rendering-Komponente 104) und so elektrisch geändert werden, dass Licht, das Bilddaten enthält, von dem Lenslet 126-2 an einem zweiten Brennpunkt 224 fokussiert ist, so dass der Akkommodationsbereich der Augen des Anwenders solchen Abschnitt des Bildes nicht in den Fokus bringen kann. Dementsprechend würde es erscheinen, dass der Abschnitt des Gebiets 212 des virtuellen Bildes 202 zur zweiten Zeit t₂ aus dem Fokus (z. B. verschwommen) ist.
In einer alternativen Ausführungsform gibt 3 eine Querschnittsansicht 300 einer rechentechnischen Anzeige, wie die, die in dem augennahen Anzeigesystem 100 unter Verwendung einer Schicht aus Material mit variablem Index genutzt werden, wieder. Wie in dieser Ansicht gezeigt, dient jedes der Lenslets 126 des Lenslet-Felds 124 als ein separater „Projektor“ auf das Auge 132, wobei jeder „Projektor“ einen oder mehrere benachbarte Projektoren beim Bilden eines zusammengesetzten virtuellen Bildes 202 aus dem Feld von Elementarbildern, die an der Anzeigetafel 118 angezeigt werden, überlappt. Um dies darzustellen, projiziert das Lenslet 126-1 ein entsprechendes Elementarbild (das durch ein Gebiet 304 repräsentiert wird) von Gebiet 310 des virtuellen Bildes 302, das Lenslet 126-2 projiziert ein entsprechendes Elementarbild (das durch ein Gebiet 306 repräsentiert wird) von Gebiet 312 des virtuellen Bildes 302 und das Lenslet 126-3 projiziert ein entsprechendes Elementarbild (das durch ein Gebiet 308 repräsentiert wird) von Gebiet 314 des virtuellen Bildes 302. Wie durch 3 gezeigt ist, überlappen die Gebiete 310 und 312 in einem Untergebiet 316, die Gebiete 312 und 314 überlappen in Untergebiet 320 und alle drei Gebiete 310, 312, 314 überlappen in Untergebiet 318.
In der Ausführungsform, die in 3 dargestellt ist, ändert die Schicht aus Material 158 mit variablem Index (wie zuvor mit Bezug auf 1 diskutiert ist) ihren Brechungsindex, um den Einfall von Licht auf die Lenslets 126 zu ändern, was wiederum die Brennweite von Licht ändert, das von den Lenslets 126 projiziert wird.
Somit kann unter der Annahme in diesem Beispiel, dass ein Elementarbild, das in einem Gebiet 306 der Anzeigetafel 118 positioniert ist, durch das Auge 132 zu einer ersten Zeit t₁ fokussiert wird, der Brechungsindex der Schicht aus Material 158 mit variablem Index berechnet werden (z. B. durch die Rendering-Komponente 104) und elektrisch geändert werden, so dass Licht, das Bilddaten enthält, das von dem Lenslet 126-2 projiziert wird, auf einen ersten Brennpunkt 322 auf der Rückseite des Auges 132 fokussiert wird. Dementsprechend würde es erscheinen, dass der Abschnitt des Gebiets 312 des virtuellen Bildes 302 zur ersten Zeit t₁ im Fokus ist. Anschließend kann unter der Annahme in diesem Beispiel, dass der Anwender zu einer zweiten Zeit t₂ wegblickt, um auf ein Elementarbild zu fokussieren, das in einem Gebiet 304 der Anzeigetafel 118 positioniert ist, um die Änderung zu einer neuen Stellung des Auges des Anwenders zu berücksichtigen, der Brechungsindex der Schicht aus Material 158 mit variablem Index berechnet werden (z. B. durch die Rendering-Komponente 104) und so elektrisch geändert werden, dass Licht, das Bilddaten enthält, von dem Lenslet 126-2 auf einen zweiten Brennpunkt 324 fokussiert wird, so dass der Akkommodationsbereich der Augen des Anwenders solchen Abschnitt des Bildes nicht in den Fokus bringen kann. Dementsprechend würde es erscheinen, dass der Abschnitt des Gebiets 312 des virtuellen Bildes 302 zur zweiten Zeit t₂ aus dem Fokus (z. B. verschwommen) ist.
4 stellt ein Verfahren 400 zum Betrieb des augennahen Anzeigesystems 100 zum Rendern von Lichtfeldrahmen unter Verwendung von Lenslets mit anpassbaren Brennweiten dar, um dynamische Bildfokusanpassungen in Übereinstimmung mit einigen Ausführungsformen bereitzustellen. Das Verfahren 400 stellt eine Iteration des Prozesses zum Rendern und Anzeigen eines Lichtfeldrahmens für eine der Anzeige 110 für das linke Auge und der Anzeige 112 für das rechte Auge dar und somit wird der dargestellte Prozess wiederholt für jede der Anzeigen 110, 112 durchgeführt, um einen unterschiedlichen Strom oder Folge von Lichtfeldrahmen für jedes Auge zu unterschiedlichen Zeitpunkten zu erzeugen und anzuzeigen, und stellt dem Anwender somit eine 3D-autostereoskopische VR- oder AR-Erfahrung bereit.
Um einen Lichtfeldrahmen zu erzeugen und anzuzeigen, beginnt das Verfahren 400 in Block 402, wonach die Rendering-Komponente 402 den Bildinhalt, der dem entsprechenden Auge des Anwenders angezeigt werden soll, als einen Lichtfeldrahmen identifiziert. In mindestens einer Ausführungsform empfängt die Rendering-Komponente 104 die IMU-Informationen 152, die Daten von verschiedenen stellungsbezogenen Sensoren, wie einem Gyroskop, einem Beschleunigungsmesser, einem Magnetometer, einem Sensor des globalen Positionsbestimmungssystems (GPS) und dergleichen, repräsentieren, und bestimmt aus den IMU-Informationen 150 eine aktuelle Stellung der Einrichtung 114 (z. B. HMD), die verwendet wird, um die Anzeigen 110, 112 in der Nähe der Augen des Anwenders zu montieren. Aus dieser aktuellen Stellung kann die CPU 136, die das Rendering-Programm 144 ausführt, einen entsprechenden aktuellen Standpunkt der Gegenstandsszene oder des Objekts bestimmen und aus diesem Standpunkt und grafischen und räumlichen Beschreibungen der Szene oder des Objekts, die als Rendering-Informationen 148 bereitgestellt sind, die bildliche Darstellung bestimmen, die für die aktuelle Stellung gerendert werden soll.
In Block 404 bestimmt die CPU 136, die das Augenverfolgungsprogramm 146 ausführt, die aktuelle Stellung des entsprechenden Auges des Anwenders. Wie hier erläutert, kann die aktuelle Stellung eines Auges unter Verwendung einer Vielfalt von Augenverfolgungstechniken bestimmt werden. Im Allgemeinen umfassen solche Techniken die Aufnahme von einem oder mehreren Bildern von IR-Licht, das von der Pupille und der Hornhaut des Auges reflektiert wird. Das Augenverfolgungsprogramm 146 kann dann die CPU 136 oder die GPUs 138, 140 bedienen, die Bilder zu analysieren, um die Stellung des Auges auf der Grundlage der entsprechenden Position von einer oder beiden der Pupillenreflexion oder der Hornhautreflexion zu bestimmen. Ferner kann wiederum die Orientierung der Pupille relativ zu der Hornhaut verwendet werden, um die Orientierung des Auges (das heißt die Richtung des Blicks des Auges) zu bestimmen. Es sollte beachtet werden, dass, obwohl Block 404 in 4 als anschließend an Block 404 dargestellt ist, der Prozess von Block 404 vor, während oder nach dem Prozess von Block 402 durchgeführt werden kann.
Wenn die aktuelle Stellung des Auges des Anwenders bestimmt ist, bedient das Rendering-Programm 144 in Block 406 die CPU 136, um auf der Grundlage der aktuellen Stellung des Auges des Anwenders für ein oder mehrere Lenslets 126 in dem Lenslet-Feld 124 eine gewünschte Brennweite (z. B. auf einen gewünschten Brennpunkt oder eine gewünschte Brennebene) zu berechnen. Wie oben erläutert, repräsentiert die Brennweite den Abstand, bei dem der schärfste Fokus erzielt wird, wenn Licht (das Bilddaten trägt), das von dem Lenslet projiziert wird, betrachtet wird. Insbesondere ist die gewünschte Brennweite dafür bestimmt, zu erlauben, dass Bildelemente (z. B. Objekte, Individuen, Szenen und dergleichen in dem virtuellen Bild), auf die der Blick des Auges des Anwenders gerichtet ist, als im Fokus wahrgenommen werden, nachdem sie durch das Lenslet 126 projiziert worden sind. Das heißt, die gewünschte Brennweite dient dazu, den Abstand, in dem Lichtstrahlen, die von den Lenslets projiziert werden, konvergieren, dynamisch anzupassen, um mit der aktuellen Stellung des Auges übereinzustimmen, wodurch der Fokus geändert wird, mit dem unterschiedliche Ansichten des Bildinhalts wahrgenommen werden.
In mindestens einer Ausführungsform basiert die Berechnung der gewünschten Brennweite zumindest zum Teil auf einer Identifizierung eines virtuellen Objekts in dem virtuellen Bild, auf das der Anwender seinen oder ihren Blick richtet, unter Verwendung der aktuellen Stellung des Auges des Anwenders relativ zu der Anzeigetafel 118. Um dies darzustellen, kann bezugnehmend auf ein beispielhaftes Szenario, das durch die Querschnittsansicht 500 von 5 dargestellt ist, das virtuelle Bild eine Anzahl von Objekten umfassen, die dafür bestimmt sind, durch das Auge 132 in unterschiedlichen Tiefen wahrgenommen zu werden. Zum Beispiel umfasst das virtuelle Bild Bilddaten, die eine Kokosnuss 502 und einen Baum 504 repräsentieren, die jeweils in Tiefen d₁ und d₂ innerhalb des virtuellen Bildes positioniert sind. Unter der Annahme in diesem Beispiel, dass die aktuelle Stellung des Auges, wie sie in Block 404 bestimmt ist, bestimmt, dass der Blick des Anwenders auf die Kokosnuss 502 fokussiert ist, kann die gewünschte Brennweite so berechnet werden, dass Licht, das Bilddaten für die Kokosnuss 502 enthält, das von dem Lenslet 126-3 projiziert wird, auf einen ersten Brennpunkt 508 auf der Rückseite des Auges 132 fokussiert wird. Dementsprechend würde es erscheinen, dass die Kokosnuss 502 in dem virtuellen Bild im Fokus ist.
In einigen Ausführungsformen umfasst die Berechnung der gewünschten Brennweite ferner die Bestimmung eines Akkommodationsbereichs, der sich im Allgemeinen auf einen Bereich von Tiefen bezieht, in denen Objekte in dem virtuellen Bild als im Fokus wahrgenommen werden. Objekte, die innerhalb des Akkommodationsbereichs positioniert sind, können als im Fokus wahrgenommen werden, Objekte, die außerhalb des Akkommodationsbereichs (d. h. in einer virtuellen Tiefe zu nah oder zu weit weg von dem Auge) werden sogar dann nicht im Fokus wahrgenommen werden, falls die aktuelle Stellung des Auges direkt auf dieses Objekt außerhalb des Akkommodationsbereichs blickt. Zum Beispiel würde wieder bezugnehmend auf 5 der Baum 504 sogar dann nicht als im Fokus wahrgenommen werden, falls die aktuelle Stellung des Auges direkt auf den Baum 504 blickt, da er außerhalb des Akkommodationsbereichs 506 positioniert ist.
Im Gegensatz dazu könnte es, falls der Akkommodationsbereich 512 bestimmt worden ist, erscheinen, dass sowohl die Kokosnuss 502 als auch der Baum 504 im Fokus zu dem Auge 132 sind. Insbesondere unter der Annahme in diesem Beispiel, dass die aktuelle Stellung des Auges, wie sie in Block 404 bestimmt ist, bestimmt, dass der Blick des Anwenders zu einer ersten Zeit t₁ auf die Kokosnuss 502 fokussiert ist, würde es erscheinen, dass die Kokosnuss 502 in dem virtuellen Bild im Fokus ist, da sie innerhalb des Akkommodationsbereichs 512 positioniert ist. In einigen Ausführungsformen ist der Baum 504 in dem virtuellen Bild zur ersten Zeit t₁ innerhalb des Akkommodationsbereichs 512 positioniert, aber wird nicht im Fokus wahrgenommen, da die aktuelle Stellung des Auges auf die Kokosnuss 502 fokussiert ist. Das heißt, die Bestimmung des Akkommodationsbereichs umfasst ferner das Bestimmen von einer oder mehreren gewünschten Brennweiten, so dass Objekte, die innerhalb des Akkommodationsbereichs positioniert sind, aber nicht durch den Blick des Anwenders fokussiert werden, nicht wahrgenommen werden, vollständig im Fokus zu sein.
Die Brennweiten können bestimmt werden, um eine oder mehrere Fokussierflächen, in denen der gerichtete Blick Objekte im Fokus wahrnimmt, und Defokussierflächen, in denen Defokussierverschwimmen bereitgestellt wird, bereitzustellen, wodurch Akkommodationshinweise in der Form von Netzhautunschärfe bereitgestellt werden, um bei der Simulation einer Tiefenwahrnehmung zu unterstützen. Falls der Blick des Anwenders jedoch zu einer anschließenden Zeit t₂ geändert wird, auf den Baum 504 zu fokussieren, würde es erscheinen, dass der Baum 504 in dem virtuellen Bild im Fokus ist, da er innerhalb des Akkommodationsbereichs 512 positioniert ist. Ebenso ist die Kokosnuss 502 innerhalb des Akkommodationsbereichs 512 positioniert, aber wird nicht wahrgenommen, im Fokus zu sein, da die aktuelle Stellung des Auges zur zweiten Zeit t₂ auf den Baum 504 fokussiert ist.
In anderen Ausführungsformen kann das Berechnen einer gewünschten Brennweite in Block 406 optional einen Ausgleich von bestehenden Brechungsfehlern im Auge des Anwenders (z. B. Myopie, Hyperopie) umfassen. Zum Beispiel kann eine flache Verschiebung auf die gewünschte Brennweite für jeden Abschnitt des integralen Lichtfelds angewendet werden, um eine Kurzsichtigkeit oder eine Weitsichtigkeit des Anwenders zu korrigieren, was ermöglicht, dass das Bild durch einen Anwender, der normalerweise Korrektionsgläser tragen muss (z. B. eine Brille oder Kontaktlinsen), im Fokus betrachtet werden kann, ohne solche Korrektionsgläser zu tragen. Ähnliche Kompensationen können auch angewendet werden, um mechanische/thermische Abwanderung aufgrund von Umweltbedingungen oder Montagetoleranzen aus der Fertigung zu berücksichtigen.
Wenn die gewünschte Brennweite bestimmt ist, bedient das Rendering-Programm 144 in Block 408 die CPU 136, um eine Spannung zu berechnen, die an ein Material mit variablem Index angelegt wird. Als Teil dieses Prozesses weist die CPU 136 auch an, dass die berechnete Spannung angelegt wird, um eine Änderung des Brechungsindex des Materials mit variablem Index zu induzieren, was wiederum eine Änderung der Einfallswinkel des Lichts, das in die hier diskutierten Lenslets eintritt und austritt, bewirkt. Zum Beispiel umfassen bezugnehmend zurück auf 1 und 2 einige Ausführungsformen das Aufbauen der Lenslets aus dem Material mit variablem Index. Dementsprechend ändert das Anlegen der berechneten Spannung an die Lenslets direkt ihre Brechungsindizes und Einfallswinkel des Lichts, das in das Lenslet-Feld eintritt und austritt. In anderen Ausführungsformen kann das Material mit variablem Index, wie mit Bezug auf 3 diskutiert ist, als eine Schicht bereitgestellt sein, die zwischen der Anzeigetafel 118 und dem Lenslet-Feld 124 angeordnet ist. In solchen Ausführungsformen ändert das Anlegen der berechneten Spannung an die Schicht aus Material 158 mit variablem Index nur direkt den Brechungsindex und Einfallswinkel des Lichts, das in die Schicht aus Material 158 mit variablem Index eintritt und austritt. Die Änderung von Einfallswinkeln des Lichts, das in die Schicht mit Material 158 mit variablem Index eintritt und austritt, führt jedoch zu einer Änderung der Einfallswinkel des Lichts, das von dem Lenslet-Feld 124 empfangen wird, wodurch der Brennpunkt und -brennweite der Lenslets 126 geändert wird. Die GPU rendert anschließend in Block 210 den Lichtfeldrahmen und stellt den entsprechenden der rechentechnischen Anzeigen 110, 112 für die Anzeige für das Auge 132 des Anwenders den Lichtfeldrahmen mit der Anpassung der Brennweiten der Blöcke 406 und 408 bereit. Es sollte auch beachtet werden, dass, obwohl Block 410 in 4 dargestellt ist, der letzte Schritt von Verfahren 400 zu sein, der Prozess von Block 410 auch vor, während oder nach dem Prozess von Block 402 durchgeführt werden kann.
Wie oben erläutert, nutzt der hier beschriebene dynamische Prozess der dynamischen Akkommodationsbereichsanpassung und Brennweitenänderung eine Augenverfolgungskomponente (z. B. die Augenverfolgungskomponenten 106, 108), um die aktuelle Stellung eines entsprechenden Auges zu bestimmen. Diese Augenverfolgungskomponente umfasst normalerweise eine oder mehrere IR-Leuchten, um das Auge zu beleuchten, eine Bildgebungskamera, um eine bildliche Darstellung von IR-Reflexionen von dem Auge aufzunehmen, eine oder mehrere Linsen, Wellenleiter oder andere optische Bauteile, um das reflektierte IR-Licht von dem Auge zu der Bildgebungskamera zu leiten, und einen oder mehrere Prozessoren, die ein Softwareprogramm ausführen, um die aufgenommene bildliche Darstellung zu analysieren.
5 stellt eine zusätzliche beispielhafte rechentechnische Anzeige, wie eine, die in dem augennahen Anzeigesystem 100 für die Akkommodationsbereichserweiterung unter Verwendung von Materialien mit variablem Index in Übereinstimmung mit einigen Ausführungsformen genutzt werden, dar. Wie durch die Querschnittsansicht 500 gezeigt ist, dient in dieser Konfiguration jedes der Lenslets 126 des Lenslet-Felds 124 als ein separater „Projektor“ auf das Auge 132, wobei jeder „Projektor“ einen oder mehrere benachbarte Projektoren beim Bilden eines zusammengesetzten virtuellen Bildes aus dem Feld von Elementarbildern, die an der Anzeigetafel 118 angezeigt werden, überlappt.
Wie durch Ansicht 500 gezeigt, kann ein virtuelles Bild eine Anzahl von Objekten umfassen, die dafür bestimmt sind, durch das Auge 132 in unterschiedlichen Tiefen wahrgenommen zu werden. Zum Beispiel umfasst das virtuelle Bild Bilddaten, die eine Kokosnuss 502 und einen Baum 504 repräsentieren, die jeweils in Tiefen d₁ und d₂ innerhalb des virtuellen Bildes positioniert sind. Unter der Annahme in diesem Beispiel, dass eine aktuelle Stellung des Auges 132 bestimmt, dass der Blick des Anwenders zu einer ersten Zeit t₁ auf die Kokosnuss 502 fokussiert ist, kann der Brechungsindex der Schicht aus Material 158 mit variablem Index (z. B. durch die Rendering-Komponente 104) berechnet und elektrisch geändert werden, so dass Licht, das Bilddaten enthält, wie sie von den Lenslets projiziert werden, einem Akkommodationsbereich 506 zugeordnet ist.
Bilddaten für die Kokosnuss 502, die von dem Lenslet 126-3 projiziert werden, werden auf einen ersten Brennpunkt 508 auf der Rückseite des Auges 132 fokussiert. Dementsprechend würde es erscheinen, dass die Kokosnuss 502 in dem virtuellen Bild zur ersten Zeit t₁ im Fokus ist. Auf der Grundlage des Brechungsindex der Schicht aus Material 158 mit variablem Index zur ersten Zeit t₁ wird jedoch Licht, das Bilddaten für den Baum 504 enthält, von dem Lenslet 126-1 auf einen zweiten Brennpunkt 510 fokussiert. Mit anderen Worten, der Baum 504 ist außerhalb des Akkommodationsbereichs 506 positioniert. Dementsprechend würde es erscheinen, dass der Baum 504 in dem virtuellen Bild zur ersten Zeit t₁ aus dem Fokus (z. B. verschwommen) ist. Im Gegensatz dazu würden, falls der Brechungsindex der Schicht aus Material 158 mit variablem Index berechnet worden ist, um einen Akkommodationsbereich 512 zu erzeugen, sowohl die Kokosnuss 502 als auch der Baum 504 im Fokus zu dem Auge 132 sein.
6 ist ein Diagramm, das ein beispielhaftes Lenslet-Feld mit variabler Brennweite für eine dynamische Brennweitenanpassung in dem augennahen Anzeigesystem von 1 in Übereinstimmung mit einigen Ausführungsformen darstellt. Wie durch die Draufsicht 600 gezeigt, umfasst das Lenslet-Feld 124 in dieser Konfiguration ein erstes Feld 602 aus räumlichen Phasenplatten 604 und ein zweites Feld 606 aus räumlichen Phasenplatten 604. Räumliches translatorisches Bewegen des ersten Felds von räumlichen Phasenplatten 602 relativ zu dem zweiten Feld von räumlichen Phasenplatten 604, wie durch die seitliche Verlagerung zwischen den beiden Feldern, wie sie in 6 dargestellt ist, ändert die Brennweite der räumlichen Phasenplatten 604. Durch translatorisches Bewegen der beiden überlagerten räumlichen Phasenfunktionen, wird ein variabler quadratischer Effekt (d. h. mit variabler Brennweite) eingeführt. Ebenso kann das Lenslet-Feld 124 zwei Felder von Freiformphasenplatten, wie Lohmann-Alvarez-Linsen mit variabler Brennweite umfassen, in denen die Brennweite der Linsen durch eine seitliche Verlagerung zwischen den Linsen geändert wird. Dies ermöglicht eine dynamische Brennweitenanpassung durch das Verwenden gut definierter Oberflächenfunktionen. In einigen Ausführungsformen können bestimmte Aspekte der oben beschriebenen Techniken durch einen oder mehrere Prozessoren eines Verarbeitungssystems, das Software ausführt, implementiert sein. Die Software umfasst einen oder mehrere Sätze von ausführbaren Anweisungen, die auf einem nichttransitorischen computerlesbaren Speichermedium gespeichert oder anderweitig körperlich enthalten sind. Die Software kann die Anweisungen und bestimmte Daten enthalten, die dann, wenn sie durch den einen oder die mehreren Prozessoren ausgeführt werden, den einen oder die mehreren Prozessoren bedienen, um einen oder mehrere Aspekte der oben beschriebenen Techniken durchzuführen. Das nichttransitorische computerlesbare Speichermedium kann zum Beispiel eine magnetische oder optische Scheibenspeichervorrichtung, Festkörperspeichervorrichtungen wie Flash-Speicher, einen Cache, Arbeitsspeicher (RAM) oder eine andere nicht flüchtige Speichervorrichtung oder Speichervorrichtungen und dergleichen umfassen. Die ausführbaren Anweisungen, die auf dem nichttransitorischen computerlesbaren Speichermedium gespeichert sind, können Quellcode, Assemblersprachecode, Objektcode oder ein anderes Anweisungsformat, das durch einen oder mehrere Prozessoren interpretiert wird oder anderweitig ausführbar ist, sein.
In einer Ausführungsform umfasst ein augennahes Anzeigesystem eine Anzeigetafel, um einen augennahen Lichtfeldrahmen anzuzeigen, der ein Feld von Elementarbildern umfasst, und eine Augenverfolgungskomponente, um eine Stellung eines Auges eines Anwenders zu verfolgen. Das System umfasst ferner ein Lenslet-Feld und eine Rendering-Komponente, um die Brennpunkte des Felds von Elementarbildern in dem integralen Lichtfeldrahmen auf der Grundlage der Stellung des Auges des Anwenders anzupassen. In einer Ausführungsform umfasst ein Verfahren zum Betrieb des augennahen Anzeigesystems das Bestimmen einer ersten Stellung eines Auges eines Anwenders unter Verwendung einer Augenverfolgungskomponente des augennahen Anzeigesystems und das Bestimmen eines gewünschten Brennpunkts für ein Feld von Elementarbildern, die einen integralen Lichtfeldrahmen bilden, auf der Grundlage der ersten Stellung des Auges des Anwenders. Das Verfahren umfasst ferner das Ändern der Brennweite von Licht, das aus einem Lenslet-Feld projiziert wird, auf der Grundlage der ersten Stellung des Auges des Anwenders.
Ein computerlesbares Speichermedium kann jedes Speichermedium oder eine Kombination von Speichermedien umfassen, die durch ein Computersystem während der Verwendung zugänglich sind, um dem Computersystem Anweisungen und/oder Daten bereitzustellen. Solche Speichermedien können optische Medien (z. B. Compact-Disc (CD), Digital-Versatile-Disc (DVD), Blu-ray-Disc), magnetische Medien (z. B. Floppy-Disc, magnetisches Band oder magnetische Festplatte), flüchtigen Speicher (z. B. Arbeitsspeicher (RAM) oder Cache), nicht flüchtigen Speicher (z. B. Festwertspeicher (ROM) oder Flash-Speicher) oder Speichermedien auf der Basis von mikroelektromechanischen Systemen (MEMS) umfassen, sind aber nicht darauf beschränkt. Das computerlesbare Speichermedium kann in das Rechensystem eingebettet sein (z. B. System-RAM oder -ROM), fest an dem Rechensystem angebracht sein (z. B. eine magnetische Festplatte), entfernbar an dem Rechensystem angebracht sein (z. B. eine optische Platte oder ein Flash-Speicher auf der Basis von universalem seriellen Bus (USB)) oder über ein drahtgebundenes oder drahtloses Netz an das Computersystem gekoppelt sein (z. B. netzgebundener Speicher (NAS)).
Es ist zu beachten, dass nicht alle Aktivitäten oder Bauteile, die oben in der allgemeinen Beschreibung beschrieben sind, erforderlich sind, dass ein Abschnitt einer speziellen Aktivität oder Vorrichtung nicht erforderlich sein kann und dass eine oder mehrere weitere Aktivitäten durchgeführt oder Bauteile enthalten sein können zusätzlich zu denen, die beschrieben sind. Weiterhin ist die Reihenfolge, in der die Aktivitäten aufgelistet sind, nicht notwendigerweise die Reihenfolge, in der sie durchgeführt werden. Außerdem sind die Konzepte mit Bezug auf spezielle Ausführungsformen beschrieben worden. Fachleute auf dem Gebiet werden jedoch anerkennen, dass verschiedene Abwandlungen und Änderungen vorgenommen werden können, ohne von dem Umfang der vorliegenden Offenbarung abzuweichen, wie er unten in den Ansprüchen dargelegt ist. Dementsprechend sind die Patentschrift und die Figuren in einer darstellenden anstatt einer einschränkenden Bedeutung zu betrachten und alle derartigen Abwandlungen sind dafür bestimmt, innerhalb des Umfangs der vorliegenden Offenbarung eingeschlossen zu sein.
Vorzüge, andere Vorteile und Lösungen für Probleme sind oben hinsichtlich spezieller Ausführungsformen beschrieben worden. Die Vorzüge, Vorteile, Lösungen für Probleme und ein Merkmal bzw. Merkmale, die bewirken können, dass ein Vorzug, ein Vorteil oder eine Lösung auftritt oder ausgeprägter wird, sind jedoch nicht als ein kritisches, erforderliches oder wesentliches Merkmal von einem oder allen Ansprüchen auszulegen. Außerdem sind die besonderen oben offenbarten Ausführungsformen nur darstellend, da der offenbarte Gegenstand auf unterschiedliche aber äquivalente Arten, die Fachleuten auf dem Gebiet ersichtlich sind, abgewandelt und ausgeführt werden kann, die den Vorzug der Lehren hier aufweisen. Es sind keine anderen Beschränkungen der hier gezeigten Einzelheiten der Konstruktion oder des Entwurfs beabsichtigt als in den Ansprüchen unten beschrieben ist. Es ist deshalb offensichtlich, dass bestimmte hier offenbarte Ausführungsform geändert oder abgewandelt werden können und alle derartigen Variationen innerhalb des Umfangs des offenbarten Gegenstands zu betrachten sind. Dementsprechend ist der hier angestrebte Schutz, so wie er in den Ansprüchen unten dargelegt ist.
ZITATE ENTHALTEN IN DER BESCHREIBUNG
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen.
Zitierte Patentliteratur

US 62511567 [0001]

Claims

Computerlesbares Speichermedium in einem augennahen Anzeigesystem, das Anweisungen enthält, die dann, wenn sie durch einen oder mehrere Prozessoren ausgeführt werden, Operationen implementieren, die Folgendes umfassen: Bestimmen einer ersten Stellung eines Auges eines Anwenders unter Verwendung einer Augenverfolgungskomponente des augennahen Anzeigesystems; Bestimmen eines gewünschten Brennpunkts für ein Feld von Elementarbildern, die einen integralen Lichtfeldrahmen bilden, auf der Grundlage der ersten Stellung des Auges des Anwenders; Ändern der Brennweite von Licht, das aus einem Lenslet-Feld projiziert wird, auf der Grundlage der ersten Stellung des Auges des Anwenders; Rendern des Felds von Elementarbildern an einer Position innerhalb des integralen Lichtfeldrahmens und Anzeigen des integralen Lichtfeldrahmens an einer Anzeigetafel des augennahen Anzeigesystems.
Computerlesbares Speichermedium nach Anspruch 1, wobei das Bestimmen der ersten Stellung des Auges des Anwenders Folgendes umfasst: Aufnehmen von bildlicher Darstellung des Auges des Anwenders unter Verwendung einer Bildgebungskamera, die zwischen der Anzeigetafel und dem Lenslet-Feld, das die Anzeigetafel überlagert, angeordnet ist.
Computerlesbares Speichermedium nach Anspruch 1 oder 2, wobei das Ändern der Brennweite Folgendes umfasst: Anlegen einer Spannung an ein Material mit variablem Index, das zwischen der Anzeigetafel und dem Lenslet-Feld angeordnet ist, um eine Änderung des Brechungsindex des Materials mit variablem Index zu induzieren, wobei die Änderung des Brechungsindex eine Änderung der Einfallswinkel des Lichts, das in das Lenslet-Feld eintritt und austritt, bewirkt.
Computerlesbares Speichermedium nach Anspruch 1 oder 2, wobei das Ändern der Brennweite Folgendes umfasst: Anlegen einer Spannung an ein oder mehrere Lenslets in dem Lenslet-Feld, das ein Material mit variablem Index umfasst, um eine Änderung des Brechungsindex des einen oder der mehreren Lenslets zu induzieren, wobei die Änderung des Brechungsindex eine Änderung der Einfallswinkel des Lichts, das in das Lenslet-Feld eintritt und austritt, bewirkt.
Computerlesbares Speichermedium nach Anspruch 1 oder 2, wobei das Ändern der Brennweite Folgendes umfasst: Anlegen einer Spannung an ein Material mit variablem Index, das einem ersten Abschnitt des Lenslet-Felds zugeordnet ist, um eine Änderung des Brechungsindex des Materials mit variablem Index zu induzieren, wobei der erste Abschnitt des Lenslet-Felds relativ zu einem zweiten Abschnitt des Lenslet-Felds unabhängig adressierbar ist, und wobei ferner die Änderung des Brechungsindex eine Änderung der Einfallswinkel des Lichts, das in den ersten Abschnitt eintritt und austritt, bewirkt, ohne die Einfallswinkel des Lichts, das in den zweiten Abschnitt des Lenslet-Felds eintritt und austritt, zu ändern.
Computerlesbares Speichermedium nach einem der Ansprüche 1 bis 5, wobei das Bestimmen des gewünschten Brennpunkts für das Feld von Elementarbildern ferner Folgendes umfasst: Bestimmen des gewünschten Brennpunkts, um bestehende Brechungsfehler des Auges des Anwenders auszugleichen.
Computerlesbares Speichermedium nach einem der Ansprüche 1 bis 6, wobei das Bestimmen des gewünschten Brennpunkts für das Feld von Elementarbildern Folgendes umfasst: Identifizieren einer virtuellen Tiefe eines Zielobjekts, auf das durch die erste Stellung des Auges des Anwenders fokussiert wird, relativ zu den virtuellen Tiefen von anderen Objekten innerhalb des integralen Lichtfeldrahmens.
Computerlesbares Speichermedium in einem augennahen Anzeigesystem, das Anweisungen enthält, die dann, wenn sie durch einen oder mehrere Prozessoren ausgeführt werden, Operationen implementieren, die Folgendes umfassen: Bestimmen einer ersten Stellung eines Auges des Anwenders relativ zu einer Anzeigetafel des augennahen Anzeigesystems unter Verwendung einer Augenverfolgungskomponente des augennahen Anzeigesystems zu einer ersten Zeit; Rendern eines integralen Lichtfeldrahmens, das ein Feld von Elementarbildern umfasst; Präsentieren des integralen Lichtfeldrahmens für die Anzeige unter Verwendung eines Lenslet-Felds, das einem ersten Akkommodationsbereich auf der Grundlage der ersten Stellung des Auges des Anwenders zugeordnet ist; Bestimmen einer zweiten Stellung des Auges des Anwenders relativ zu der Anzeigetafel unter Verwendung der Augenverfolgungskomponente zu einer zweiten Zeit, wobei die zweite Stellung von der ersten Stellung verschieden ist, und Anpassen des ersten Akkommodationsbereichs des Lenslet-Felds an einen zweiten Akkommodationsbereich auf der Grundlage der zweiten Stellung des Auges des Anwenders und Präsentieren des integralen Lichtfeldrahmens für die Anzeige unter Verwendung des Lenslet-Felds, wobei der zweite Akkommodationsbereich von dem ersten Akkommodationsbereich verschieden ist.
Computerlesbares Speichermedium nach Anspruch 8, wobei das Anpassen des ersten Akkommodationsbereichs an den zweiten Akkommodationsbereich Folgendes umfasst: Anlegen einer Spannung an ein Material mit variablem Index, das zwischen der Anzeigetafel und dem Lenslet-Feld angeordnet ist, um eine Änderung des Brechungsindex des Materials mit variablem Index zu induzieren, wobei die Änderung des Brechungsindex eine Änderung der Einfallswinkel des Lichts, das in das Lenslet-Feld eintritt und austritt, bewirkt.
Computerlesbares Speichermedium nach Anspruch 8, wobei das Anpassen des ersten Akkommodationsbereichs an den zweiten Akkommodationsbereich Folgendes umfasst: Anlegen einer Spannung an ein oder mehrere Lenslets in dem Lenslet-Feld, das ein Material mit variablem Index umfasst, um eine Änderung des Brechungsindex des einen oder der mehreren Lenslets zu induzieren, wobei die Änderung des Brechungsindex eine Änderung der Einfallswinkel des Lichts, das in das Lenslet-Feld eintritt und austritt, bewirkt.
Computerlesbares Speichermedium nach Anspruch 8, wobei das Anpassen des ersten Akkommodationsbereichs an den zweiten Akkommodationsbereich Folgendes umfasst: Anlegen einer Spannung an ein Material mit variablem Index, das einem ersten Abschnitt des Lenslet-Felds zugeordnet ist, um eine Änderung des Brechungsindex des Materials mit variablem Index zu induzieren, wobei der erste Abschnitt des Lenslet-Felds relativ zu einem zweiten Abschnitt des Lenslet-Felds unabhängig adressierbar ist, und wobei ferner die Änderung des Brechungsindex eine Änderung der Einfallswinkel des Lichts, das in den ersten Abschnitt eintritt und austritt, bewirkt, ohne die Einfallswinkel des Lichts, das in den zweiten Abschnitt des Lenslet-Felds eintritt und austritt, zu ändern.
Computerlesbares Speichermedium nach einem der Ansprüche 8 bis 11, wobei die Operationen ferner Folgendes umfassen: Identifizieren einer virtuellen Tiefe eines Objekts, auf das durch die erste Stellung des Auges des Anwenders fokussiert wird, relativ zu den virtuellen Tiefen von anderen Objekten innerhalb des integralen Lichtfeldrahmens und Berechnen des ersten Akkommodationsbereichs, so dass ein Brechungsindex des Lenslet-Felds andere Objekte in virtuellen Tiefen innerhalb des ersten Akkommodationsbereichs präsentiert, im Fokus zu sein.
Computerlesbares Speichermedium nach Ansprüchen 8 bis 11, wobei die Operationen ferner Folgendes umfassen: Identifizieren einer virtuellen Tiefe eines Zielobjekts, auf das durch die erste Stellung des Auges des Anwenders fokussiert wird, relativ zu den virtuellen Tiefen von anderen Objekten innerhalb des integralen Lichtfeldrahmens und Berechnen des ersten Akkommodationsbereichs, so dass ein Brechungsindex des Lenslet-Felds andere Objekte in virtuellen Tiefen innerhalb des ersten Akkommodationsbereichs präsentiert, aus dem Fokus zu sein, wenn ein Blick des Auges des Anwenders auf das Zielobjekt fokussiert ist.
Augennahes Anzeigesystem, das Folgendes umfasst: eine Anzeigetafel, die einen integralen Lichtfeldrahmen anzeigt, der ein Feld von Elementarbildern umfasst; eine Augenverfolgungskomponente, um eine Stellung eines Auges eines Anwenders zu verfolgen; ein Lenslet-Feld, um dem Auge des Anwenders den integralen Lichtfeldrahmen zu präsentieren, und eine Rendering-Komponente, um die Brennpunkte des Felds von Elementarbildern in dem integralen Lichtfeldrahmen auf der Grundlage der Stellung des Auges des Anwenders anzupassen.
Augennahes Anzeigesystem nach Anspruch 14, wobei die Rendering-Komponente den Brennpunkt des Felds von Elementarbildern anpassen soll, indem: eine virtuelle Tiefe eines Zielobjekts, auf das durch die Stellung des Auges des Anwenders fokussiert wird, relativ zu den virtuellen Tiefen von anderen Objekten innerhalb des integralen Lichtfeldrahmens identifiziert wird und eine Spannung an ein Material mit variablem Index, das dem Lenslet-Feld zugeordnet ist, angelegt wird, um eine Änderung des Brechungsindex des Materials mit variablem Index zu induzieren, um die Einfallswinkel des Lichts, das in das Lenslet-Feld eintritt und austritt, zu ändern.
Augennahes Anzeigesystem nach Anspruch 14 oder 15, wobei das Lenslet-Feld ein Material mit variablem Index umfasst und wobei die Rendering-Komponente den Brennpunkt des Felds von Elementarbildern anpassen soll, indem: eine Spannung an ein oder mehrere Lenslets in dem Lenslet-Feld angelegt wird, um eine Änderung des Brechungsindex des einen oder der mehreren Lenslets zu induzieren, um die Einfallswinkel des Lichts, das in das Lenslet-Feld eintritt und austritt, zu ändern.
Augennahes Anzeigesystem nach einem der Ansprüche 14 bis 16, das ferner Folgendes umfasst: ein Material mit variablem Index, das zwischen der Anzeigetafel und dem Lenslet-Feld angeordnet ist, wobei das Anlegen einer Spannung an das Material mit variablem Index eine Änderung des Brechungsindex des Material mit variablem Index induziert und die Einfallswinkel des Lichts, das in das Lenslet-Feld eintritt und austritt, ändert.
Augennahes Anzeigesystem nach einem der Ansprüche 14 bis 17, wobei die Augenverfolgungskomponente Folgendes umfasst: einen Satz von einer oder mehreren Infrarot-Leuchten (IR-Leuchten), um Licht auf das Auge des Anwenders zu projizieren, und eine Bildgebungskamera, die zwischen dem Lenslet-Feld und der Anzeigetafel angeordnet ist und durch das Lenslet-Feld in Richtung des Auges des Anwenders orientiert ist.
Rendering-System, das Folgendes umfasst: mindestens einen Prozessor; einen Eingang, um Daten von einer Augenverfolgungskomponente zu empfangen, wobei die Daten eine Stellung eines Auges eines Anwenders relativ zu einer augennahen Anzeigetafel angeben, und eine Speicherkomponente, um einen Satz von ausführbaren Anweisungen zu speichern, wobei der Satz von ausführbaren Anweisungen konfiguriert ist, den mindestens einen Prozessor zu bedienen, einen integralen Lichtfeldrahmen zu rendern, der ein Feld von Elementarbildern umfasst, wobei der Satz von ausführbaren Anweisungen ferner konfiguriert ist, den mindestens einen Prozessor zu bedienen, die Brennpunkte des Felds von Elementarbildern in dem integralen Lichtfeldrahmen auf der Grundlage der Stellung des Auges des Anwenders anzupassen.
Rendering-System nach Anspruch 19, wobei der Satz von ausführbaren Anweisung konfiguriert ist, den mindestens einen Prozessor zu bedienen, die Brennpunkte anzupassen, indem: eine virtuelle Tiefe eines Zielobjekts, auf das durch die Stellung des Auges des Anwenders fokussiert wird, relativ zu den virtuellen Tiefen von anderen Objekten innerhalb des integralen Lichtfeldrahmens identifiziert wird und eine Spannung, die an ein Material mit variablem Index, das einem Lenslet-Feld zugeordnet ist, angelegt werden soll, berechnet wird, um eine Änderung des Brechungsindex des Materials mit variablem Index zu induzieren, um die Einfallswinkel des Lichts, das in das Lenslet-Feld eintritt und austritt, zu ändern.