DE202018101818U1

DE202018101818U1 - Augennahe Anzeige mit Einzelbildrendering auf der Grundlage der Analyse einer reflektierten Wellenfront für die Augenchrakterisierung

Info

Publication number: DE202018101818U1
Application number: DE202018101818.3U
Authority: DE
Original assignee: Google LLC
Current assignee: Google LLC
Priority date: 2017-06-15
Filing date: 2018-04-04
Publication date: 2018-07-09
Anticipated expiration: 2028-04-05
Also published as: EP3485632A1; WO2018231303A1; US10629105B2; TWI661229B; KR20190032572A; KR102121513B1; EP3485632B1; JP2020503905A; CN109565554B; CN109565554A; TW201905537A; JP6661832B2; US20180366045A1

Abstract

Augennahes Anzeigesystem, das umfasst:
eine Anordnung von Lenslets;
eine Anzeigetafel, die der Anordnung von Lenslets gegenüberliegt, wobei die Anzeigetafel umfasst:
eine Anordnung Licht projizierender Elemente, wobei jedes Licht projizierende Element koaxial zu einer Achse eines entsprechenden Lenslets der Anordnung von Lenslets ist;
eine Anordnung Licht detektierender Elemente; und
eine Anordnung von Subpixelelementen;
eine Steuerkomponente, die mit der Anzeigetafel gekoppelt ist und die dafür konfiguriert ist, die Anordnung Licht projizierender Elemente zu aktivieren, um ein Muster von Lichtpunkten zu einem Auge eines Nutzers zu projizieren und die Anordnung Licht detektierender Elemente dafür zu steuern, ein Bild zu erfassen, das eine Reflexion des projizierten Musters von Lichtpunkten von dem Auge darstellt; und
eine Analysekomponente zum Bestimmen von Verlagerungen zwischen erwarteten Positionen und tatsächlichen Positionen wenigstens einer Teilmenge von Lichtpunkten in dem erfassten Bild und zum Charakterisieren des Auges auf der Grundlage der Verlagerungen.

Description

QUERVERWEIS AUF VERWANDTE ANMELDUNGEN
Die vorliegende Offenbarung beansprucht die Priorität der vorläufigen US-Patentanmeldung lfd. Nr. 62/520.295 (Aktenzeichen des Anwalts: 1500-G17006-PR) mit dem Titel „Near-Eye Display with Frame Rendering Based on Reflected Wavefront Analysis for Eye Characterization“, eingereicht am 15. Juni 2017, deren Inhalt hier durch Bezugnahme vollständig mit aufgenommen ist.
HINTERGRUND
Gebiet der Offenbarung
In Übereinstimmung mit den Anforderungen des Gebrauchsmustergesetzes sind durch das Gebrauchsmuster zu schützen und Gegenstand des Gebrauchsmusters nur Vorrichtungen, wie sie in den beigefügten Ansprüchen definiert sind, aber keine Verfahren. Falls in der Beschreibung auf Verfahren Bezug genommen wird, dienen diese Bezugnahmen lediglich zur Veranschaulichung der Vorrichtung oder Vorrichtungen, für die mit den beigefügten Ansprüchen Schutz begehrt wird. Die vorliegende Offenbarung bezieht sich allgemein auf augennahe Anzeigen und insbesondere auf das Einzelbildrendering für augennahe Computeranzeigen.
Beschreibung des verwandten Gebiets
Head-mounted displays (HMDs) und andere augennahe Anzeigesysteme können eine augennahe Lichtfeldanzeige oder eine andere Computeranzeige nutzen, um eine effektive Anzeige einer dreidimensionalen Grafik (3D-Grafik) bereitzustellen. Allgemein nutzt die augennahe Lichtfeldanzeige eine oder mehrere Anzeigetafeln und eine Anordnung von Lenslets, Nadellöchern oder anderen optischen Merkmalen, die über der einen oder den mehreren Anzeigetafeln liegt. Ein Renderingsystem rendert eine Anordnung von Elementarbildern, wobei jedes Elementarbild ein Bild oder eine Ansicht eines Objekts oder eine Szene von einer entsprechenden Perspektive oder Position einer virtuellen Kamera darstellt.
Allgemein wird jede Anordnung von Elementarbildern in Bezug auf eine bestimmte Brennebene gerendert und wird sie auf der Grundlage einer Annahme gerendert, dass das Auge des Nutzers frei von wesentlichen Aberrationen ist. Allerdings können die angezeigten Bilder unscharf oder verzerrt erscheinen, falls das Auge des Nutzers Brechungsfehlern oder anderen Aberrationen unterliegt. Um solche Probleme zu vermeiden, könnte die augennahe Anzeige so ausgelegt sein, dass sie zulässt, dass der Nutzer eine Korrekturbrille trägt, wobei der resultierende Formfaktor aber aus Gewichts-, Trägheits- und Größengründen üblicherweise unpraktisch ist. Falls der aktuelle Akkommodationszustand des Auges des Nutzers nicht mit der Brennebene übereinstimmt, für die die Anordnung von Elementarbildern gerendert wird, führt das üblicherweise zu widersprüchlichen Tiefenmarken, die zur kognitiven Ermüdung für den Nutzer führen und somit die Nutzererfahrung beeinträchtigen können.
Figurenliste
Die vorliegende Offenbarung kann besser verstanden werden und ihre zahlreichen Merkmale und Vorteile können für den Fachmann auf dem Gebiet dadurch hervorgehen, dass auf die beigefügten Zeichnungen Bezug genommen wird. Die Verwendung derselben Bezugszeichen in verschiedenen Zeichnungen gibt ähnliche oder gleiche Einzelheiten an.

1 ist eine schematische Darstellung, die ein augennahes Anzeigesystem, das das Lichtfeldeinzelbildrendering auf der Grundlage der Augencharakterisierung über eine Wellenfrontverzerrungsschätzung nutzt, in Übereinstimmung mit einigen Ausführungsformen darstellt.
2 ist eine schematische Darstellung, die eine Anzeigetafel und eine darüberliegende Lenslet-Anordnung des augennahen Anzeigesystems aus 1 in Übereinstimmung mit einigen Ausführungsformen detaillierter darstellt.
3 ist ein Ablaufplan, der ein Verfahren zum Charakterisieren des Auges eines Nutzers auf der Grundlage der Wellenfrontverzerrungsschätzung und des Steuerns eines Bildrenderingprozesses auf der Grundlage der Augencharakterisierung in Übereinstimmung mit einigen Ausführungsformen darstellt.
4 ist eine schematische Darstellung, die eine Querschnittsansicht der Anzeigetafel und der darüberliegenden Lenslet-Anordnung während eines Augencharakterisierungsprozesses in Übereinstimmung mit einigen Ausführungsformen darstellt.
5 ist eine schematische Darstellung, die ein Bild darstellt, das eine Reflexion eines durch die Anzeigetafel aus 2 projizierten Lichtpunktmusters von dem Auge eines Nutzers in Übereinstimmung mit einigen Ausführungsformen erfasst.

AUSFÜHRLICHE BESCHREIBUNG
1-5 stellen beispielhafte Systeme und Techniken zum verbesserten Bildrendering in einem augennahen Anzeigesystem auf der Grundlage der Charakterisierung des Auges eines Nutzers unter Verwendung der Wellenfrontverzerrungsschätzung dar. In wenigstens einer Ausführungsform nutzt das augennahe Anzeigesystem eine Computeranzeige, die aus einer oder mehreren Anzeigetafeln zusammengesetzt ist, um für einen Nutzer augennahe Lichtfeldeinzelbilder von Bildern anzuzeigen, um für den Nutzer eine immersive Virtual-Reality- (VR-) oder Augmented-Reality- (AR-)Erfahrung bereitzustellen. Jedes augennahe Lichtfeldeinzelbild ist aus einer Anordnung von Elementarbildern zusammengesetzt, wobei jedes Elementarbild eine Ansicht eines Objekts oder einer Szene von einem anderen entsprechenden Blickpunkt aus darstellt. Eine Anordnung von Lenslets liegt über jeder Anzeigetafel und arbeitet dafür, die Anordnung von Elementarbildern für den Nutzer als ein einzelnes autostereoskopisches Bild darzustellen.
Außerdem ermöglicht die Anzeigetafel außer dem Anzeigen von AR- oder VR-Videobildern für den Nutzer die Charakterisierung eines oder beider Augen des Nutzers über einen Wellenfrontverzerrungs-Schätzungsprozess. Zu diesem Zweck enthält die Anzeigetafel in wenigstens einer Ausführungsform sowohl eine Anordnung Licht projizierender Elemente (z. B. Licht projizierender Infrarot- (IR-)Dioden), um ein Muster von Lichtpunkten durch die Lenslet-Anordnung in Richtung des Auges zu senden, als auch eine Anordnung Licht detektierender Elemente (z. B. Fotodioden), um eine Reflexion des Lichtpunktmusters von den Strukturen des Auges als ein Musterreflexionsbild zu erfassen.
In einem Auge ohne Aberrationen wäre die Wellenfront, die im Ergebnis der Reflexion des Lichtpunktmusters aus dem Auge austritt, vollständig eben, so dass die Wellenfront geradeaus auf die Lenslets der Lenslet-Anordnung treffen würde. Im Ergebnis würde das Muster von Lichtpunkten in dem erfassten Bild des reflektierten Lichtpunktmusters zu dem Muster von Lichtpunkten in dem durch die Anordnung Licht projizierender Elementen projizierten Lichtpunktmuster passen. Das heißt, in einem idealen Auge würde der tatsächliche Ort eines Lichtpunkts in dem erfassten reflektierten Muster unter der Annahme einer ideal ebenen Wellenfront mit einem erwarteten Ort des entsprechenden Lichtpunkts zusammenfallen. Im Gegensatz dazu stören Unvollkommenheiten der Hornhaut und/oder der Netzhaut und/oder der Form des Auges und/oder andere Augenaberrationen die Wellenfront, die aus dem Auge austritt. Diese Verzerrungen der Wellenfront veranlassen wiederum, dass entsprechende Strahlen der Wellenfront ein entsprechendes Lenslet der Lenslet-Anordnung unter einem Winkel treffen, was wiederum veranlasst, dass sich der tatsächliche Ort des entsprechenden reflektierten Lichtpunkts von dem entsprechenden erwarteten Ort in den Bild des reflektierten Musters verschiebt.
Die Größe der Verlagerung des tatsächlichen Orts von dem erwarteten Ort eines reflektierten Lichtpunkts ist proportional zu der Neigung des Ortsgebiets der Wellenfront bei dem entsprechenden Lenslet, während der Winkel der Verlagerung auf der Richtung oder auf dem Winkel dieser Neigung beruht. Angesichts dieser Prinzipien kann das augennahe Anzeigesystem die Form der Wellenfront aus Verlagerungen des tatsächlichen/erwarteten Orts der reflektierten Lichtpunkte bestimmen. Das augennahe Anzeigesystem kann einige oder alle identifizierten Wellenfrontverzerrungen (d. h. Abweichungen der Form der Wellenfront von einer ebenen Wellenfront) verwenden, um das Auge des Nutzers zu charakterisieren. Diese Charakterisierung des Auges des Nutzers kann z. B. die Identifizierung von Aberrationen, die in dem Auge des Nutzers vorhanden sind, die Identifizierung des aktuellen Akkommodationszustands des Auges des Nutzers und dergleichen enthalten.
Das augennahe Anzeigesystem nutzt die Charakterisierung des Auges, um einen oder mehrere Aspekte des Renderingprozesses für eine Folge von Lichtfeldeinzelbildern, die auf der Anzeigetafel angezeigt werden sollen, zu steuern. Zur Veranschaulichung steuert das augennahe Anzeigesystem in einigen Ausführungsformen das Rendering eines Lichtfeldeinzelbilds, um die detektierten Aberrationen im Auge des Nutzers zu kompensieren. Auf diese Weise kann das augennahe Anzeigesystem für verschiedene Unvollkommenheiten des Auges, die andernfalls erfordern würden, dass ein Nutzer zu Korrekturzwecken eine Brille, Kontaktlinsen oder andere Korrekturlinsen trägt, eine verschreibungspflichtige Korrektur bereitstellen und somit die Notwendigkeit, dass der Nutzer während der Nutzung des augennahen Anzeigesystems solche Korrekturlinsen trägt, beseitigen. Da das augennahe Anzeigesystem somit nicht mehr zu ermöglichen braucht, dass der Nutzer während der Verwendung eine Brille trägt, kann das augennahe Anzeigesystem eine Konfiguration implementieren, die die Lenslet-Anordnung und die Anzeigetafel näher an den Augen des Nutzers anordnet und die somit zu einem kleineren und leichteren Formfaktor führt. Als ein anderes Beispiel rendert das augennahe Anzeigesystem in einigen Ausführungsformen Lichtfeldeinzelbilder auf der Grundlage einer spezifizierten Brennebene, wobei das augennahe Anzeigesystem die Charakterisierung des Auges verwenden kann, um den aktuellen Akkommodationszustand des Auges zu bestimmen und aus diesem aktuellen Akkommodationszustand die geeignete Brennebene, um die Lichtfeldeinzelbilder in der Weise zu rendern, dass dem Nutzer Tiefenmarken in den Lichtfeldeinzelbildern dargestellt werden, die mit dem aktuellen Akkommodationszustand vereinbar sind, auszuwählen und somit für den Nutzer eine effektiv immersive Erfahrung zu ermöglichen.
1 stellt ein augennahes Anzeigesystem 100 dar, das Grafikrendering auf der Grundlage der Augencharakterisierung in Übereinstimmung mit wenigstens einer Ausführungsform enthält. In dem gezeigten Beispiel enthält das augennahe Anzeigesystem 100 ein Computeranzeigeteilsystem 102, eine Renderingkomponente 104 und eine oder mehrere Augencharakterisierungskomponenten wie etwa eine Augencharakterisierungskomponente 106 zur Charakterisierung des linken Auges eines Nutzers und eine Augencharakterisierungskomponente 108 zur Charakterisierung des rechten Auges des Nutzers. Das Computeranzeigeteilsystem 102 enthält eine Anzeige 110 für das linke Auge und eine Anzeige 112 für das rechte Auge, die in einer Vorrichtung 114 (z. B. einer Schutzbrille, einer Brille usw.) montiert sind, die die Anzeigen 110, 112 vor dem linken bzw. vor dem rechten Auge des Nutzers anordnet.
Kurz anhand von 2 ist eine vergrößerte Ansicht der Anzeige 110 in Übereinstimmung mit wenigstens einer Ausführungsform gezeigt. Die Anzeige 112 ist ähnlich konfiguriert. Wie gezeigt ist, enthält die Anzeige 110 wenigstens eine Anzeigetafel 118 zum Anzeigen einer Folge oder Aufeinanderfolge augennaher Lichtfeldeinzelbilder (im Folgenden zur Erleichterung der Referenz „Lichtfeldeinzelbild“), von denen jedes eine Anordnung von Elementarbildern umfasst. Zur Erleichterung der Bezugnahme kann eine Anordnung von Elementarbildern hier auch als ein Lichtfeldeinzelbild bezeichnet sein. Ferner enthält die Anzeige 110 eine Anordnung 120 von Lenslets 206 (üblicherweise auch als „Mikrolinsen“ bezeichnet), die über der Anzeigetafel 118 liegt. Üblicherweise ist die Anzahl der Lenslets 206 in der Lenslet-Anordnung 120 gleich der Anzahl von Elementarbildern in einem Lichtfeldeinzelbild, wobei die Anzahl der Lenslets 206 in anderen Implementierungen aber kleiner oder größer als die Anzahl von Elementarbildern sein kann. Obgleich das Beispiel aus 1 zur Erleichterung der Veranschaulichung eine 5 x 4-Anordnung 120 von Lenslets 206 darstellt, wird angemerkt, dass die Anzahl von Elementarbildern in einem Lichtfeldeinzelbild und die Anzahl der Lenslets 206 in der Lenslet-Anordnung 120 in einer typischen Implementierung üblicherweise viel höher sind. Ferner ist in einigen Ausführungsformen für jede der Anzeigen 110, 112 eine getrennte Anzeigetafel 118 implementiert, während die Anzeige 110 für das linke Auge und die Anzeige 112 für das rechte Auge in anderen Ausführungsformen eine einzige Anzeigetafel 118 gemeinsam nutzen, wobei die linke Hälfte der Anzeigetafel 118 für die Anzeige 110 für das linke Auge verwendet wird und die rechte Hälfte der Anzeigetafel 118 für die Anzeige 112 für das rechte Auge verwendet wird.
Wie in 2 gezeigt ist, implementiert die Anzeigetafel 118 eine Anordnung 202 von Anzeigeelementen 204 (z. B. „Pixeln“), wobei jedes Anzeigeelement 204 ein oder mehrere Farbsubpixel wie etwa eine Menge roter, grüner, blauer und weißer Subpixel umfasst, deren Intensität in der Weise gesteuert wird, dass ihre kombinierte Lichtausgabe durch das Auge als ein einzelnes „Pixel“ mit einer bestimmten Farbe wahrgenommen wird. Auf diese Weise kann die Renderingkomponente 104 die Anordnung 202 zum Anzeigen einer Folge von Lichtfeldeinzelbildern, die Bilder einer Szene darstellen, steuern.
Wie im Folgenden ferner ausführlicher beschrieben wird, projiziert das augennahe Anzeigesystem 100 durch die Lenslet-Anordnung 120 ein Lichtpunktmuster zu einem Auge des Nutzers und erfasst es durch die Lenslet-Anordnung 120 ein Bild der Reflexion des Lichtpunktmusters, um das Auge zur Detektion von Aberrationen, zur Schätzung des Akkommodationszustands oder zur Charakterisierung des Auges auf andere Weise zu analysieren. In wenigstens einer Ausführungsform verwendet das augennahe Anzeigesystem 100 die Anzeigetafel 118 sowohl zum Projizieren des Lichtpunktmusters als auch zum Erfassen eines Bilds des resultierenden reflektierten Lichtpunktmusters. Zu diesem Zweck enthält die Anzeigetafel 118 außerdem eine Menge Licht projizierender Elemente, die, wenn sie aktiviert sind, ein Lichtpunktmuster über die Lenslet-Anordnung 120 zu dem Auge des Nutzers projizieren, und eine Menge Licht detektierender Elemente, die, wenn sie aktiviert sind, zusammen ein Bild erfassen, das die Reflexion des projizierten Lichtpunktmusters von dem Auge des Nutzers durch die Lenslet-Anordnung 120 darstellt.
In wenigstens einer Ausführungsform sind die Menge Licht projizierender Elemente und die Menge Licht detektierender Elemente in der Weise in der Anordnung 202 von Anzeigeelementen 204 enthalten, dass eine Teilmenge der Anzeigeelemente 204 ein Licht projizierendes Element der Menge Licht projizierender Elemente enthält und eine Teilmenge der Anzeigeelemente 204 ein Licht detektierendes Element der Menge Licht detektierender Elemente enthält. Zum Beispiel kann eine Teilmenge der Anzeigeelemente 204 der Anordnung 202 als Anzeigeelemente 204-1 implementiert sein, die, wie durch die vergrößerte Ansicht 208 gezeigt ist, eine Menge von Farbsubpixeln wie etwa ein rotes (R) Subpixel 210, ein grünes (G) Subpixel 212, ein blaues (B) Subpixel 214 und ein weißes (W) Subpixel 216 enthält. Ferner enthalten die Anzeigeelemente 204-1 dieser Teilmenge ein Infrarotsubpixel (IR-Subpixel) 218 (eine Ausführungsform eines Licht projizierenden Elements), das dafür arbeitet, als Teil des projizierten Lichtpunktmusters IR-Licht zu emittieren. Das IR-Subpixel 218 ist z. B. als ein IR-projizierender Oberflächen-emittierender Laser mit Vertikalresonator (VECSEL), als eine IR-Licht projizierende Diode (LED) und dergleichen implementiert. Ferner können einige oder alle der Anzeigeelemente 204-1 eine IR-detektierende Fotodiode (PD) 220 (eine Ausführungsform eines Licht detektierenden Elements) enthalten, die dafür arbeitet, IR-Licht, das auf die Anzeigetafel 118 fällt, und insbesondere eine Reflexion des IR-Lichts, das durch die IR-Subpixel 218 der Anzeigeelemente 204-1 in einem entsprechenden Lichtpunktmuster projiziert wird, zu detektieren. Ferner kann eine andere Teilmenge der Anzeigeelemente 204 der Anordnung 202 als Anzeigeelemente 204-2 implementiert sein, die, wie durch die vergrößerte Ansicht 221 gezeigt ist, eine Menge von Farbsubpixeln wie etwa ein rotes Subpixel 222, grüne Subpixel 224, 226, ein blaues Subpixel 228, ein weißes Subpixel 230 und eine IR-Fotodiode 220 (als eines der Licht detektierenden Elemente) enthalten. Es wird angemerkt, dass die Anordnungen und Typen von Subpixeln in den Anzeigeelementen 204-1 und 204-2 nur beispielhaft sind und dass andere Anordnungen, Organistionen und Kombinationen von Subpixeln implementiert werden können.
Die Anzeigeelemente 204-1 mit IR-projizierenden Fähigkeiten sind in der Weise in einem spezifizierten Muster über die gesamte Anordnung 202 verteilt, dass das resultierende projizierte IR-Licht in einem Muster von Lichtpunkten (z. B. einem rechteckigen oder anderen mehreckigen Gitter regelmäßig beabstandeter Punkte) projiziert wird, wofür ein Beispiel im Folgenden anhand von 5 beschrieben ist, wenn die IR-Subpixel 218 der Anzeigeelemente 204-1 zusammen aktiviert sind. Ferner sind die Anzeigeelemente 204-1, wie im Folgenden beschrieben ist, in der Weise koaxial zu entsprechenden Lenslets 206 der Lenslet-Anordnung 120 angeordnet, dass das projizierte IR-Licht gerade auf das entsprechende Lenslet trifft. Die Anzeigeelemente 204-1 und 204-2 mit IR-detektierenden Fähigkeiten sind auf eine Weise über die gesamte Anordnung 202 verteilt, dass sie ermöglichen, dass die Fotodioden 220 dieser Anzeigeelemente zusammen aktiviert werden, um das IR-Licht, das auf die Bereiche der Anzeigetafel 118, die dem Ort der Fotodioden 220 entsprechen, auftrifft, zu erfassen, wobei die Fotodioden 220 zusammenwirken, um ein Bild dieses reflektierten IR-Lichtpunktmusters zu erfassen, da dieses einfallende IR-Licht zur Zeit der Erfassung hauptsächlich aus einer Reflexion des projizierten IR-Lichtpunktmusters von dem Auge des Nutzers zusammengesetzt wird. Somit wird dieses Bild hier als das „reflektierte Punktmusterbild“ bezeichnet, für das ein Beispiel im Folgenden anhand von 5 beschrieben wird.
Wieder anhand von 1 enthält die Renderingkomponente 104 eine Menge eines oder mehrerer Prozessoren wie etwa die dargestellte Zentraleinheit (CPU) 136 und die dargestellten Grafikverarbeitungseinheiten (GPUs) 138, 140 und eine oder mehrere Speicherkomponenten wie etwa den Systemspeicher 142 zum Speichern von Softwareprogrammen oder anderen ausführbaren Anweisungen, auf die durch die Prozessoren 136, 138, 140 zugegriffen wird und die durch sie ausgeführt werden, um den einen oder die mehreren der Prozessoren 136, 138, 140 dafür zu manipulieren, verschiedene wie hier beschriebene Aufgaben auszuführen. Solche Softwareprogramme enthalten z. B. ein Renderingprogramm 144, das ausführbare Anweisungen für einen Lichtfeld-Einzelbildrenderingprozess, wie er im Folgenden beschrieben ist, umfasst, sowie ein Augencharakterisierungsprogramm 146, das ausführbare Anweisungen zum Charakterisieren eines oder beider Augen des Nutzers auf der Grundlage einer Wellenfrontverzerrungsanalyse, die ebenfalls im Folgenden beschrieben wird, umfasst.
Im Betrieb empfängt die Renderingkomponente 104 von einer lokalen oder fernen Inhaltsquelle 150 Renderinginformationen 148, wobei die Renderinginformationen 148 Grafikdaten, Videodaten oder andere Daten, die ein Objekt oder eine Szene darstellen, die der Gegenstand der Bilder ist, die auf dem Anzeigeteilsystem 102 gerendert und angezeigt werden sollen, darstellen. Bei der Ausführung des Renderingprogramms 144 verwendet die CPU 136 die Renderinginformationen 148, um Zeicheninformationen an die GPUs 138, 140 zu senden, die die Zeicheninformationen wiederum nutzen, um unter Verwendung einer Vielzahl gut bekannter VR/AR-Berechnungs-/Lichtfeldrenderingprozesse eine Reihe von Lichtfeldeinzelbildern 151 zur Anzeige auf der Anzeige 110 für das linke Auge und eine Reihe von Lichtfeldeinzelbildern 153 zur Anzeige auf der Anzeige 112 für das rechte Auge parallel zu rendern. Als Teil dieses Renderingprozesses kann die CPU 136 Pose-Informationen 152 von einer Trägheitsmanagementeinheit (IMU) 154 empfangen, wobei die Pose-Informationen 152 eine Pose des Anzeigeteilsystems 102 darstellen und das Rendering eines oder mehrerer Paare von Lichtfeldeinzelbildern 151, 153 dafür steuern, den Blickpunkt des Objekts oder der Szene von der Pose zu widerspiegeln.
Parallel arbeiten die Augencharakterisierungskomponenten 106, 108 dafür, die Augen des Nutzers unter Verwendung eines hier beschriebenen Wellenfrontverzerrungs-Analyseprozesses dynamisch zu charakterisieren und die bestimmten Augencharakterisierungen als Augencharakterisierungsinformationen 156, 158 für das linke Auge bzw. für das rechte Auge für die Renderingkomponente 104 bereitzustellen. Der Charakterisierungsprozess enthält das Projizieren eines IR-Lichtpunktmusters von der Anzeigetafel 118 durch die Lenslet-Anordnung 120 auf das Auge des Nutzers und daraufhin das Erfassen eines Bilds des reflektierten Lichtmusters über die Anzeigetafel, das Bestimmen von Verlagerungen zwischen dort, wo erwartet wird, dass dort die reflektierten Lichtpunkte in dem erfassten Bild sein sollen, und dort, wo sich die reflektierten Lichtpunkte in dem erfassten Bild tatsächlich befinden. Diese Verlagerungen stellen Verzerrungen der Wellenfront dar, die die Reflexion des Lichtpunktmusters von dem Auge des Nutzers darstellen, und können somit verwendet werden, um Brechungsaberrationen, einen aktuellen Akkommodationszustand oder andere Charakteristiken des Auges, die in den entsprechenden Augencharakterisierungsinformationen 156, 158 dargestellt sind, zu identifizieren.
Um diese Operation zu ermöglichen, implementiert die Augencharakterisierungskomponente 106 eine Steuerkomponente 160 und eine Bildanalysekomponente 162. Die Steuerkomponente 160 arbeitet zum Auslösen der Aktivierung der Menge von Lichtprojektionselementen der Anzeigetafel 118, um das Lichtpunktmuster zu projizieren, und zum Auslösen der Aktivierung der Licht detektierenden Elemente der Anzeigetafel 118, um ein reflektiertes Punktmusterbild 164, das die resultierende Reflexion des projizierten Lichtpunktmusters darstellt, zu erfassen. Die Bildanalysekomponente 162 arbeitet dafür, das Punktmusterbild 164 zu analysieren, um das linke Auge zu charakterisieren, um die Augencharakterisierungsinformationen 156 für die Renderingkomponente 104 zu erzeugen. Ähnlich ist die Augencharakterisierungskomponente 108 mit einer Steuerkomponente und mit einer Bildanalysekomponente zum Erfassen und Analysieren eines reflektierten Punktmusterbilds 166, um die Augencharakterisierungsinformationen 158 für das rechte Auge zu erzeugen, konfiguriert. Die Steuerkomponenten und die Bildanalysekomponenten können als Hardware, als programmierbare Logik, als ein Prozessor, der Software ausführt, oder als eine Kombination davon implementiert werden. Zur Veranschaulichung ist die Steuerkomponente 160 in einer Ausführungsform wenigstens teilweise in der Hardware eines Anzeigecontrollers (nicht gezeigt) für die Anzeigetafel 118 implementiert, während die Bildanalysekomponente 162 durch einen oder mehrere der Prozessoren 136, 138, 140, die eine entsprechende Menge von Anweisungen des Augencharakterisierungsprogramms 146 ausführen, implementiert ist.
Wie im Folgenden ausführlich beschrieben wird, verwendet die Renderingkomponente 104 eine oder beide Augencharakterisierungsinformationen 156, 158 von einer oder beiden Augencharakterisierungskomponenten 106, 108, um verschiedene Aspekte des Lichtfeld-Einzelbildrenderingprozesses beim Erzeugen der Folgen von Lichtfeldeinzelbildern 151, 153 zu steuern. Zur Veranschaulichung können die Augencharakterisierungsinformationen 156 Informationen, die eine oder mehrere Aberrationen in dem linken Auge identifizieren, enthalten, so dass die CPU 136 den Betrieb der GPU 138 dafür steuern kann, das Rendering der Lichtfeldeinzelbilder 151 anzupassen, um diese Aberrationen zu kompensieren und dadurch zu ermöglichen, dass der Nutzer auf das Tragen von Korrekturlinsen verzichtet, während er das augennahe Anzeigesystem 100 verwendet. Als ein anderes Beispiel können die Augencharakterisierungsinformationen 156 Informationen enthalten, die einen aktuellen Akkommodationszustand des Auges identifizieren, und kann die Renderingkomponente 104 diese verwenden, um Lichtfeldeinzelbilder 151 für eine Brennebene, die mit dem aktuellen Akkommodationszustand vereinbar ist, zu rendern.
3 stellt ein beispielhaftes Verfahren 300 für den Betrieb des augennahen Anzeigesystems 100 zum Charakterisieren der Augen des Nutzers und zum dementsprechenden Steuern einer oder mehrerer Renderingoperationen dar. Zur Erleichterung der Veranschaulichung wird das Verfahren 300 anhand von 4, die Querschnittsansichten 400, 402 der Anzeigetafel 118, der darüberliegenden Lenslet-Anordnung 120 und eines gegenüberliegenden Auges 404 des Nutzers entlang der Schnittlinie A-A (2) zeigt, und von 5, die ein Beispiel des reflektierten Punktmusterbilds 164 zeigt, beschrieben. Darüber hinaus wird das Verfahren 300 mit besonderem Bezug auf den Betrieb des augennahen Anzeigesystems 100 in Bezug auf das linke Auge (das Auge 404), das die Augencharakterisierungskomponente 106 enthält, beschrieben. Allerdings kann dieses selbe Verfahren auf den Betrieb des augennahen Anzeigesystems 100 für das rechte Auge mit der Augencharakterisierungskomponente 108 angewendet werden.
Wie durch 3 dargestellt ist, enthält das Verfahren 300 zwei Prozesse, die parallel ausgeführt werden: einen Augencharakterisierungsprozess, der durch die Blöcke 302, 304, 306, 308 dargestellt ist, und einen Lichtfeld-Einzelbildrenderingprozess, der durch die Blöcke 310 dargestellt ist. Zunächst zu dem Augencharakterisierungsprozess übergehend, steuert die Steuerkomponente 160, wie durch den Querschnitt 400 aus 4 dargestellt ist, die Anzeigetafel 118 in dem Block 302, um Fotodioden 220 der Anzeigetafel 118 (einschließlich der in 4 dargestellten Fotodioden 220-1, 220-2, 220-3, 220-4) auszulösen, damit sie in einem über die Lenslet-Anordnung 120 zu dem Auge 404 gerichteten Lichtpunktmuster IR-Licht emittieren. Gleichzeitig mit dem Auslösen der Emission des Lichtpunktmusters aktiviert die Steuerkomponente 160 im Block 304 die Fotodioden 220 der Anzeigetafel 118 (als eine Menge Licht detektierender Elemente), um das reflektierte Punktmusterbild 164, das die Reflexion des projizierten Lichtpunktmusters an dem Auge 404 darstellt und das über die Lenslet-Anordnung 120 auf die Anzeigetafel 118 fokussiert worden ist, zu erfassen.
Wie durch die Querschnittsansicht 400 dargestellt ist, ist jede der Fotodioden 220, die für die Lichtpunktmustererzeugung verwendet werden, üblicherweise im Wesentlichen koaxial zu der optischen Achse eines entsprechenden Lenslets 206 (wobei z. B. die Fotodiode 220-1 koaxial zu der optischen Achse 406 des Lenslets 206-1 in 4 ist), so dass das durch die Fotodiode 220 projizierte IR-Licht gerade auf das entsprechende Lenslet 206 trifft und somit als eine im Wesentlichen ebene Wellenfront 408 von der Lenslet-Anordnung 120 zu dem Auge 404 durchgelassen wird (d. h., so dass das Lichtpunktmuster ohne wesentliche Verzerrung zu dem Auge 404 durchgelassen wird).
Wie durch die Querschnittsansicht 402 dargestellt ist, trifft das so durchgelassene Lichtpunktmuster auf die Pupille, auf die Linse, auf die Hornhaut, auf die Netzhaut und auf andere Strukturen des Auges 404 und wird es als ein durch die Wellenfront 410 dargestelltes reflektiertes Lichtpunktmuster in Richtung der Lenslet-Anordnung 120 und der Anzeigetafel zurück reflektiert. In einem idealen Auge würde die Abwesenheit von Aberrationen dazu führen, dass das reflektierte Lichtpunktmuster keine Verzerrungen aufweist und dass die Wellenfront 410 somit unverzerrt wäre. In einer solchen Situation würde eine unverzerrte reflektierte Wellenfront, die auf die Lenslet-Anordnung 120 auffällt, dazu führen, dass die Lichtstrahlen, die die Punkte innerhalb des reflektierten Lichtmusters darstellen, an erwarteten Orten auf die Anzeigetafel 118 treffen. Zur Veranschaulichung wäre die reflektierte Wellenfront 410 unverzerrt und würde somit zu Strahlen 411, 412, 413, 414 (die entsprechende Punkte in dem reflektierten Lichtpunktmuster darstellen) führen, die in dieser Reihenfolge bei den erwarteten Orten 421, 422, 423, 424 auf die Anzeigetafel 118 auftreffen, falls das Auge 404 ein idealisiertes Auge ohne Aberrationen wäre.
Allerdings führen in einem tatsächlichen Auge wie etwa dem Auge 404 Aberrationen in dem Auge zu lokalisierten Verzerrungen des reflektierten Lichtpunktmusters; d. h., die reflektierte Wellenfront 410 wird durch Aberrationen in dem Auge 404 verzerrt. Die lokalen Verzerrungen der reflektierten Wellenfront 410 veranlassen, dass die verzerrten Gebiete der Wellenfront 410 auf entsprechende Lenslets 206 unter einem Winkel anstatt gerade auftreffen und dass die resultierenden Strahlen auf die Anzeigetafel 118 an anderen Orten als den erwarteten Orten auftreffen. Zur Veranschaulichung weist das Auge 404 in der Querschnittsansicht 402 Aberrationen auf, die die Wellenfront 410 in der Weise verzerren, dass tatsächliche Strahlen 431, 432, 433, 434, die durch die Lenslet-Anordnung 120 durchgelassen werden, bei tatsächlichen Orten 441, 442, 443, 444, die sich von dem erwarteten Ort für den entsprechenden Strahl unterscheiden können, auf die Anzeigetafel 118 treffen. Da die Lenslet-Anordnung 120 eine zur Pupille konjugierte Ebene ist, repräsentiert die Form der Wellenfront 410 die Form der Pupille des Auges 404 und ist die Größe der linearen Verlagerung zwischen dem tatsächlichen Ort und dem erwarteten Ort eines Lichtpunkts in dem erfassten reflektierten Punktmusterbild proportional zu der Neigung des lokalen Gebiets der Wellenfront 410, das auf das entsprechende Lenslet 206 trifft, während die Richtung der linearen Verlagerung die Richtung der Neigung des lokalen Gebiets der Wellenfront 410 repräsentiert. Die Größe und die Richtung der Neigung der lokalen Gebiete der Wellenfront 410 repräsentieren wiederum Charakteristiken des Auges 404 einschließlich irgendwelcher vorhandener Brechungsaberrationen sowie den aktuellen Akkommodationszustand des Auges 404.
Zur Veranschaulichung stellt 5 ein Beispiel des reflektierten Punktmusterbilds 164 dar. Wie gezeigt ist, umfasst das reflektierte Punktmusterbild 164 eine Anordnung 502 von Punkten (z. B. des Punkts 504), wobei jeder Punkt eine tatsächliche Position eines während des Durchlassens des Lichtpunktmusters bei dem Block 302 von dem Auge 404 reflektierten detektierten Lichtpunkts widerspiegelt. Zu Vergleichszwecken enthält 5 außerdem eine Anordnung 506 erwarteter Positionen (z. B. der erwarteten Position 508) der Punkte in Abwesenheit irgendwelcher Aberrationen in dem Auge 404 (d. h., falls das Auge 404 ein ideales Auge wäre). Wie dargestellt ist, stellt die Anordnung 506 erwarteter Positionen unter der Annahme, dass die Anordnung Licht projizierender Elemente der Anzeigetafel 118 in der Weise angeordnet ist, dass sie ein Muster von Lichtpunkten in einem regelmäßigen Muster mit festem Abstand projiziert, gleichfalls ein regelmäßiges Muster mit festem Abstand dar. Da es aber unwahrscheinlich ist, dass das Auge 404 des Nutzers ein ideales Auge ist, verzerren Aberrationen in dem Auge 404 des Nutzers die reflektierte Wellenfront 410 und veranlassen somit, dass die tatsächlichen Orte wenigstens einiger Punkte in dem erfassten Punktmusterbild 164 von ihren erwarteten Orten verlagert sind. Zur Veranschaulichung in Bezug auf die vergrößerte Ansicht 510 hat eine Aberration in dem Auge 404 eine lokale Verzerrung der Wellenfront 410 veranlasst, was wiederum zu einer entsprechenden Registereinstellung des reflektierten Punkts bei einem tatsächlichen Ort 512, der von seinem erwarteten Ort 514 um eine Verlagerung 516 (auch als Verlagerung D(K1) bezeichnet) verlagert ist, geführt hat. Als ein anderes Beispiel hat dieselbe oder eine andere Aberration in dem Auge 404, wie durch die vergrößerte Ansicht 520 dargestellt ist, eine lokale Verzerrung der Wellenfront 410 veranlasst, die eine Registereinstellung des reflektierten Punkts bei einem tatsächlichen Ort 522 veranlasst hat, der von seinem erwarteten Ort 524 um eine Verlagerung 526 (auch als Verlagerung D(K2) bezeichnet) verlagert ist.
Somit repräsentieren die tatsächlichen Orte der reflektierten Punkte in dem reflektierten Punktmusterbild 164 und ihre Verlagerungen von ihren entsprechenden erwarteten Orten bestimmte Charakteristiken des Auges 404. Dementsprechend analysiert die Bildanalysekomponente 162 im Block 308 die Verlagerungen zwischen tatsächlichen und erwarteten Orten der reflektierten Punkte, die in dem reflektierten Punktmusterbild 164 erfasst werden, um das Auge 404 zu charakterisieren und Daten, die die bestimmten Augencharakterisierungen repräsentieren, als Augencharakterisierungsinformationen 156 für die Renderingkomponente 104 bereitzustellen.
Es können irgendwelche einer Vielzahl von Charakteristiken des Auges 404 bestimmt werden und es können irgendwelche einer Vielzahl von Wellenfrontverzerrungs-Analyseprozessen können genutzt werden, um diese Charakteristiken zu bestimmen. Da das reflektierte Punktmusterbild 164 einer verzerrten Wellenfront ähneln kann, die durch einen herkömmlichen Shack-Hartmann-Wellenfrontsensor erfasst wird, können zur Veranschaulichung irgendwelche einer Vielzahl gut bekannter Augenaberrometertechniken, die üblicherweise unter Verwendung solcher herkömmlichen Shack-Hartmann-Wellenfrontsensoren angewendet werden (z. B. die Complete-Ophthalmic-Analysis-System-Technik oder COAS-Technik), ähnlich angepasst und genutzt werden, um Aberrationen niedriger Ordnung und/oder hoher Ordnung in dem Auge 404 zu charakterisieren. Zur Veranschaulichung hängen die Verlagerungen der Punkte, wie angemerkt wurde, mit dem lokalen Gradienten des Wellenfrontfehlers (delta_x = f · [dW/dx]) direkt zusammen, so dass durch räumliches Integrieren der Punktverlagerungskarte die Bildanalysekomponente 162 den Wellenfrontfehler W bis auf einen konstanten Versatz (der unwesentlich ist) wiedergewinnen kann. Die Terme in der Polynomentwicklung des Wellenfrontfehlers entsprechen den verschiedenen Aberrationen (z. B. Defokussierung, Astigmatismus, sphärische usw.). Somit kann die Bildanalysekomponente 164 an den gemessenen Wellenfrontfehler ein Polynom anpassen, um die Koeffizienten oder relativen Gewichte der verschiedenen Aberrationen zu bestimmen oder das Inverse des Wellenfrontfehlers in dem Lichtfeldrendering zu codieren.
Als ein anderes Beispiel kann die Bildanalysekomponente 162 die Verlagerungen in dem reflektierten Punktmusterbild 164 analysieren, um den aktuellen Akkommodationszustand des Auges 404 zu bestimmen. Ähnlich der in dem obigen Abschnitt skizzierten Aberrationsdetektionsvorgehensweise ist der Akkommodationszustand der quadratische Term des Wellenfrontfehlers (d. h. W = W_de-focus · r^2). Somit ermöglicht Astigmatismus einen anderen Betrag von Defokussierung oder quadratischen Koeffizienten entlang der x-y-Richtungen.
Der durch die Blöcke 302, 304, 306, 308 dargestellte Augencharakterisierungsprozess kann auf eine Vielzahl von Arten ausgelöst werden. Zum Beispiel kann der Augencharakterisierungsprozess einmal beim Start ausgelöst werden, um die Aberrationen in den Augen des Nutzers zu charakterisieren, und können die resultierenden Augencharakterisierungsinformationen festgesetzt werden, bis das augennahe Anzeigesystem 100 zurückgesetzt wird oder bis ein anderer Nutzer das augennahe Anzeigesystem 100 zu verwenden beginnt. In anderen Ausführungsformen kann der Augencharakterisierungsprozess, insbesondere in Implementierungen, in denen die Charakterisierung die Bestimmung des aktuellen Akkommodationszustands des Auges oder anderer Parameter des Auges, von denen erwartet wird, dass sie mit einer gewissen Häufigkeit variieren, enthält, auf einer periodischen Grundlage oder auf einer anderen Grundlage wiederholt werden.
Parallel zu dem Augencharakterisierungsprozess führt die Renderingkomponente 104 einen durch den Block 310 dargestellten Renderingprozess aus, wodurch eine Reihe von Lichtfeldeinzelbildern 151 zur Anzeige auf der Anzeigetafel 118 für das linke Auge erzeugt werden (und ähnlich eine Reihe von Lichtfeldeinzelbildern 153 zur Anzeige für das rechte Auge erzeugt werden). Damit ein Lichtfeldeinzelbild erzeugt und angezeigt wird, identifiziert die Renderingkomponente 104 den für das entsprechende Auge des Nutzers als ein Lichtfeldeinzelbild anzuzeigenden Bildinhalt. In wenigstens einer Ausführungsform empfängt die Renderingkomponente 104 die Pose-Informationen 152, die Daten von verschiedenen auf die Pose bezogenen Sensoren wie etwa von einem Gyroskop, von einem Beschleunigungsmesser, von einem Magnetometer, von einem Sensor des globalen Positionsbestimmungssystems (GPS) und dergleichen repräsentieren, und bestimmt sie aus den Pose-Informationen 152 eine Pose der Vorrichtung 114 (z. B. HMD), die verwendet ist, um die Anzeigen 110, 112 in der Nähe der Augen des Nutzers zu montieren. Aus dieser Pose kann die CPU 136, die das Renderingprogramm 144 ausführt, einen entsprechenden aktuellen Blickpunkt der jeweiligen Szene oder des jeweiligen Objekts bestimmen und aus diesem Blickpunkt und aus dieser grafischen und räumlichen Beschreibung der Szene oder des Objekts, die als Renderinginformationen 148 bereitgestellt werden, die für die Pose zu rendernden Bilder bestimmen.
In wenigstens einer Ausführungsform steuern die Prozessoren 136, 138, 140 diesen Renderingprozess auf der Grundlage von im Block 308 der aktuellen Iteration des Augencharakterisierungsprozesses erzeugten Augencharakterisierungsinformationen. Das heißt, die Lichtfeldeinzelbilder werden durch die Renderingkomponente 104 auf der Grundlage einer oder mehrerer identifizierter Charakteristiken der Augen des Nutzers gerendert. Zur Veranschaulichung kann die Renderingkomponente 104 das Rendern eines Lichtfeldeinzelbilds 151 in der Weise anpassen, dass es die identifizierte Aberration kompensiert, wenn die Augencharakterisierungsinformationen 156 für das Auge 404 Daten enthalten, die eine identifizierte Aberration in dem Auge 404 reproduzieren. Zur Veranschaulichung kann die Beziehung zwischen der relativen Verschiebung der Elementarbilder, die das Lichtfeldrendering umfasst, durch die Bildanalysekomponente 164 bestimmt werden (dx = d_lens · f_lens · Phi, wobei W_defocus = Phi/2 ist) und durch die Renderingkomponente 104 implementiert werden, wenn die Lichtfeldeinzelbilder gerendert werden, nachdem der Wellenfrontfehler (z. B. Defokussierung, Akkommodationszustand) gemessen worden ist. Direkter kann die Renderingkomponente 104 während des Renderns der Lichtfeldeinzelbilder das Inverse des Wellenfrontfehlers codieren.
Wie oben angemerkt wurde, können die Augencharakterisierungsinformationen den aktuellen Akkommodationszustand des Auges 404 enthalten. Dieser aktuelle Akkommodationszustand widerspiegelt den aktuellen Brechwert des optischen Systems des Auges und repräsentiert somit die aktuelle Brennweite des Auges 404. Eine Fehlanpassung zwischen der Brennebene des für das Auge 404 angezeigten Lichtfeldbilds und dieser Brennweite kann veranlassen, dass das menschliche Sehsystem beträchtliche kognitive Anstrengung aufwendet, um diese Fehlanpassung oder diesen Konflikt zu berücksichtigen, was den Nutzer wiederum ermüden kann. Dementsprechend nutzt die Renderingkomponente 104 in wenigstens einer Ausführungsform den aktuellen Akkommodationszustand des Auges 404, wie er in den Augencharakterisierungsinformationen 156 repräsentiert ist, um eine Brennweite/Brennebene, die mit dem aktuellen Akkommodationszustand vereinbar ist, zu identifizieren und um auf der Grundlage der identifizierten Brennweite/Brennebene einen nächsten Satz eines oder mehrerer Lichtfeldeinzelbilder 151 zu rendern und um somit die angezeigten Bilder besser an die aktuelle Brennweite des Auges 404 anzupassen und dadurch die die durch den Nutzer beim Betrachten der angezeigten Bilder aufgewendeten kognitiven Anstrengungen zu verringern, um solche Akkommodations-/Brennebenenfehlanpassungen zu minimieren. Zur Veranschaulichung gibt es wenigstens zwei Szenarien, bei denen die Kenntnis des Akkommodationszustands des Auges das Lichtfeldrendering erleichtern kann. Zunächst weisen Lichtfeldanzeigen einen Dynamikbereich von Akkommodationszuständen auf, den sie gleichzeitig darstellen können, der durch die Tiefe des Felds für die Lenslets dPhi = 2c/(d_lens · f_lens) gegeben ist, wobei c die minimale Punkt-/Pixelgröße des Systems ist. Es gibt eine Abwägung zwischen diesem Tiefendynamikbereich und der seitlichen räumlichen Auflösung, so dass der Akkommodationsbereich nicht beliebig groß gemacht werden kann. Um den beschränkten Dynamikbereich zu der Ebene zu verschieben, wo der Nutzer zu focussieren versucht, können Gleitsichttechniken (z. B. LC-Modulatoren der optischen Wegdifferenz, Linse-Anzeige-Entfernungsmodulation) verwendet werden. Das zweite Szenarium bezieht sich auf die Berechnungsbandbreitenanforderungen zum Rendern von Lichtfeldbildern, wobei die Berechnung linear mit der Anzahl N von Ebenen skaliert, die dargestellt werden, was für mobile Plattformen oder für andere Systeme mit verhältnismäßig beschränkten Computerbetriebsmitteln problematisch ist. Somit kann die Renderingkomponente 104 jedes Lichtfeldeinzelbild in einer einzelnen z-Ebene rendern und den gemessenen Akkommodationszustand verwenden, um das Lichtfeldrendering, getrennt oder gemeinsam mit einer Gleitsichtmodalität, in diese Ebene zu verschieben.
In einigen Ausführungsformen können bestimmte Aspekte der oben beschriebenen Techniken durch einen oder mehrere Prozessoren eines Verarbeitungssystems, das Software ausführt, implementiert werden. Die Software umfasst einen oder mehrere Sätze ausführbarer Anweisungen, die in einem nichttransitorischen computerlesbaren Ablagespeichermedium gespeichert oder auf andere Weise konkret verkörpert sind. Die Software kann die Anweisungen und bestimmte Daten enthalten, die, wenn sie durch den einen oder die mehrere Prozessoren ausgeführt werden, den einen oder die mehreren Prozessoren zum Ausführen eines oder mehrerer Aspekte der oben beschriebenen Techniken manipulieren. Das nichttransitorische computerlesbare Ablagespeichermedium kann z. B. eine magnetische oder optische Plattenablagespeichervorrichtung, Festkörperablagespeichervorrichtungen wie etwa Flash-Speicher, einen Cache, Schreib-Lese-Speicher (RAM) oder andere nichtflüchtige Speichervorrichtungen oder Vorrichtungen und dergleichen enthalten. Die ausführbaren Anweisungen, die in dem nichttransitorischen computerlesbaren Ablagespeichermedium gespeichert sind, können in Quellcode, in Assemblersprachencode, in Objektcode oder in einem anderen Anweisungsformat, das durch einen oder mehrere Prozessoren interpretiert wird oder auf andere Weise ausgeführt werden kann, gespeichert sein.
Ein computerlesbares Ablagespeichermedium kann irgendein Ablagespeichermedium oder eine Kombination von Ablagespeichermedien, auf die durch ein Computersystem während der Verwendung zugegriffen werden kann, um Anweisungen und/oder Daten für das Computersystem bereitzustellen, enthalten. Solche Ablagespeichermedien können optische Medien (z. B. Compact Disc (CD), Digital Versatile Disc (DVD), BluRay-Disc), magnetische Medien (z. B. Disketten, Magnetband oder magnetisches Festplattenlaufwerk), flüchtigen Speicher (z. B. Schreib-Lese-Speicher (RAM) oder Cache), nichtflüchtigen Speicher (z. B. Nur-Lese-Speicher (ROM) oder Flash-Speicher) oder Ablagespeichermedien auf der Grundlage mikroelektromechanischer Systeme (MEMS) enthalten, sind darauf aber nicht beschränkt. Das computerlesbare Ablagespeichermedium kann in das Computersystem eingebettet sein (z. B. System-RAM oder System-ROM), an dem Computersystem fest angebracht sein (z. B. ein magnetisches Festplattenlaufwerk), an dem Computersystem lösbar angebracht sein (z. B. eine optische Platte oder ein Flash-Speicher auf der Grundlage von Universal Serial Bus (USB)) oder über ein verdrahtetes oder drahtloses Netz (z. B. einen Network Accessible Storage (NAS)) mit dem Computersystem gekoppelt sein.
Es wird angemerkt, dass nicht alle Aktivitäten oder Elemente, die oben in der allgemeinen Beschreibung beschrieben sind, erforderlich sind, dass ein Teil einer spezifischen Aktivität oder Vorrichtung nicht erforderlich sein kann und dass außer den beschriebenen eine oder mehrere weitere Aktivitäten ausgeführt oder Elemente enthalten sein kann. Nochmals weiter ist die Reihenfolge, in der Aktivitäten aufgeführt sind, nicht notwendig die Reihenfolge, in der sie ausgeführt werden. Außerdem sind die Konzepte in Bezug auf spezifische Ausführungsformen beschrieben worden. Allerdings wird der Durchschnittsfachmann auf dem Gebiet würdigen, dass verschiedene Abwandlungen und Änderungen vorgenommen werden können, ohne von dem wie in den folgenden Ansprüchen dargelegten Schutzumfang der vorliegenden Offenbarung abzuweichen. Dementsprechend sollen die Beschreibung und die Figuren in einem veranschaulichenden anstatt in einem beschränkenden Sinn angesehen werden und sollen alle solche Abwandlungen im Schutzumfang der vorliegenden Offenbarung enthalten sein.
Oben sind Vorzüge, weitere Vorteile und Lösungen für Probleme hinsichtlich spezifischer Ausführungsformen beschrieben worden. Allerdings sind die Vorzüge, Vorteile, Lösungen für Probleme und irgendein oder mehrere Merkmale, die veranlassen können, dass irgendein Vorzug, irgendein Vorteil oder irgendeine Lösung auftritt oder verstärkt wird, nicht als entscheidendes, erforderliches oder wesentliches Merkmal irgendeines oder aller Ansprüche anzusehen. Darüber hinaus sind die bestimmten oben offenbarten Ausführungsformen nur veranschaulichend, da der offenbarte Gegenstand auf andere, aber äquivalente Arten, die für den Fachmann auf dem Gebiet unter Nutzung der vorliegenden Lehren offensichtlich sind, geändert und verwirklicht werden kann. Außer den in den folgenden Ansprüchen beschriebenen sollen den Einzelheiten der Konstruktion oder des Entwurfs, die hier gezeigt sind, keine Beschränkungen auferlegt sein. Somit ist offensichtlich, dass die bestimmten oben offenbarten Ausführungsformen geändert oder abgewandelt werden können und dass alle solche Varianten als im Schutzumfang des offenbarten Gegenstands liegend angesehen werden. Dementsprechend wird wie in den folgenden Ansprüchen dargelegt um Schutz ersucht.
Ein augennahes Anzeigesystem enthält eine Anordnung von Lenslets, die über einer Anzeigetafel liegt. Die Anzeigetafel enthält eine Anordnung Licht projizierender Elemente, wobei jedes Licht projizierende Element koaxial zu einer Achse eines entsprechenden Lenslets ist. Ferner enthält die Anzeigetafel eine Anordnung Licht detektierender Elemente und eine Anordnung von Subpixelelementen. Ferner enthält das System eine Steuerkomponente, die dafür konfiguriert ist, die Anordnung Licht projizierender Elemente zu aktivieren, um ein Muster von Lichtpunkten auf ein Auge des Nutzers zu projizieren, und um die Anordnung Licht detektierender Elemente zu steuern, um ein Bild, das eine Reflexion des projizierten Musters von Lichtpunkten von dem Auge darstellt, zu erfassen. Außerdem enthält das System eine Analysekomponente, um Verlagerungen zwischen erwarteten Positionen und tatsächlichen Positionen wenigstens einer Teilmenge von Lichtpunkten in dem erfassten Bild zu bestimmen und um das Auge auf der Grundlage der Verlagerungen zu charakterisieren.

Claims

Augennahes Anzeigesystem, das umfasst: eine Anordnung von Lenslets; eine Anzeigetafel, die der Anordnung von Lenslets gegenüberliegt, wobei die Anzeigetafel umfasst: eine Anordnung Licht projizierender Elemente, wobei jedes Licht projizierende Element koaxial zu einer Achse eines entsprechenden Lenslets der Anordnung von Lenslets ist; eine Anordnung Licht detektierender Elemente; und eine Anordnung von Subpixelelementen; eine Steuerkomponente, die mit der Anzeigetafel gekoppelt ist und die dafür konfiguriert ist, die Anordnung Licht projizierender Elemente zu aktivieren, um ein Muster von Lichtpunkten zu einem Auge eines Nutzers zu projizieren und die Anordnung Licht detektierender Elemente dafür zu steuern, ein Bild zu erfassen, das eine Reflexion des projizierten Musters von Lichtpunkten von dem Auge darstellt; und eine Analysekomponente zum Bestimmen von Verlagerungen zwischen erwarteten Positionen und tatsächlichen Positionen wenigstens einer Teilmenge von Lichtpunkten in dem erfassten Bild und zum Charakterisieren des Auges auf der Grundlage der Verlagerungen.
Augennahes Anzeigesystem nach Anspruch 1, wobei die Analysekomponente dafür dient, das Auge durch Detektieren von Brechungsaberrationen in dem Auge auf der Grundlage der Verlagerungen zu charakterisieren.
Augennahes Anzeigesystem nach Anspruch 1 oder Anspruch 2, wobei die Analysekomponente dafür dient, das Auge durch Detektieren eines Akkommodationszustands des Auges auf der Grundlage der Verlagerungen zu charakterisieren.
Augennahes Anzeigesystem nach einem der Ansprüche 1 bis 3, wobei das Anzeigesystem ferner umfasst: eine Renderingkomponente, die mit der Anzeigetafel gekoppelt ist und die dafür konfiguriert ist, eine Folge von Lichtfeldeinzelbildern zur Anzeige für den Nutzer über die Anordnung von Subpixelelementen zu rendern.
Augennahes Anzeigesystem nach Anspruch 4, wobei die Renderingkomponente dafür dient, wenigstens einen Aspekt eines Renderingprozesses für die Folge von Lichtfeldeinzelbildern auf der Grundlage der Charakterisierung des Auges anzupassen.
Augennahes Anzeigesystem nach Anspruch 5, wobei: die Analysekomponente dafür dient, das Auge durch Detektieren von Aberrationen des Auges auf der Grundlage der Verlagerungen zu charakterisieren; und die Renderingkomponente dafür dient, die Folge von Lichtfeldeinzelbildern in der Weise zu rendern, dass die detektierten Aberrationen kompensiert werden.
Augennahes Anzeigesystem nach Anspruch 5 oder Anspruch 6, wobei: die Analysekomponente dafür dient, das Auge durch Detektieren eines aktuellen Akkommodationszustands des Auges auf der Grundlage der Verlagerungen zu charakterisieren; und die Renderingkomponente dafür dient, die Folge von Lichtfeldeinzelbildern auf der Grundlage einer aus dem aktuellen Akkommodationszustand bestimmten Brennebene zu rendern.
Augennahes Anzeigesystem nach einem der Ansprüche 1 bis 7, wobei: die Anordnung Licht projizierender Elemente dafür konfiguriert ist, das Muster von Lichtpunkten als ein Muster von Infrarotlichtpunkten zu projizieren.
Augennahes Anzeigesystem nach Anspruch 8, wobei die Anzeigetafel eine Anordnung von Anzeigeelementen umfasst, wobei jedes Anzeigeelement wenigstens ein Subpixelelement der Anordnung von Subpixelelementen umfasst, wobei jedes Anzeigeelement wenigstens einer ersten Teilmenge der Anordnung von Anzeigeelementen ferner ein Licht detektierendes Element der Anordnung Licht detektierender Elemente enthält und wobei jedes Anzeigeelement wenigstens einer zweiten Teilmenge der Anordnung von Anzeigeelementen ferner ein Licht projizierendes Element der Anordnung Licht projizierender Elemente enthält.
Ein oder mehrere nichttransitorische computerlesbare Ablagespeichermedien in einem augennahen Anzeigesystem, wobei die Ablagespeichermedien Anweisungen umfassen, die, wenn sie durch eine oder mehrere Computervorrichtungen ausgeführt werden, veranlassen, dass die eine oder die mehreren Computervorrichtungen Operationen ausführen, die umfassen: Projizieren eines Musters von Lichtpunkten von einer Anordnung Licht projizierender Elemente einer Anzeigetafel zu einem Auge eines Nutzers durch eine Lenslet-Anordnung; Erfassen eines Bilds, das eine Reflexion des Musters von Lichtpunkten von dem Auge darstellt, über eine Anordnung Licht detektierender Elemente der Anzeigetafel; Bestimmen einer Verlagerung zwischen einer erwarteten Position und einer tatsächlichen Position des Lichtpunkts in dem erfassten Bild für jeden Lichtpunkt wenigstens einer Teilmenge von Lichtpunkten des Bilds; und Bestimmen einer oder mehrerer Charakteristiken des Auges auf der Grundlage der Verlagerungen für die Teilmenge der Lichtpunkte.
Ein oder mehrere nichttransitorische computerlesbare Ablagespeichermedien nach Anspruch 10, wobei das Bestimmen einer oder mehrerer Charakteristiken des Auges das Detektieren von Brechungsaberrationen in dem Auge auf der Grundlage der Verlagerungen umfasst.
Ein oder mehrere nichttransitorische computerlesbare Ablagespeichermedien nach Anspruch 10 oder 11, wobei das Bestimmen einer oder mehrerer Charakteristiken des Auges das Detektieren eines Akkommodationszustands des Auges auf der Grundlage der Verlagerungen umfasst.
Ein oder mehrere nichttransitorische computerlesbare Ablagespeichermedien nach einem der Ansprüche 10 bis 12, ferner umfassend: Rendern einer Folge von Lichtfeldeinzelbildern zur Anzeige für den Nutzer über die Anzeigetafel.
Ein oder mehrere nichttransitorische computerlesbare Ablagespeichermedien nach Anspruch 13, ferner umfassend: Anpassen des Renderns der Folge von Lichtfeldeinzelbildern auf der Grundlage der Charakterisierung des Auges.
Ein oder mehrere nichttransitorische computerlesbare Ablagespeichermedien nach Anspruch 14, wobei: das Bestimmen einer oder mehrerer Charakteristiken des Auges das Detektieren von Aberrationen des Auges auf der Grundlage der Verlagerungen umfasst; und das Anpassen des Renderns das Steuern des Renderns der Folge von Lichtfeldeinzelbildern in der Weise, dass die detektierten Aberrationen kompensiert werden, umfasst.
Ein oder mehrere nichttransitorische computerlesbare Ablagespeichermedien nach Anspruch 14 oder Anspruch 15, wobei: das Bestimmen einer oder mehrerer Charakteristiken des Auges das Detektieren eines aktuellen Akkommodationszustands des Auges auf der Grundlage der Verlagerungen umfasst; und das Anpassen des Renderns das Steuern des Renderns der Folge von Lichtfeldeinzelbildern auf der Grundlage einer aus dem aktuellen Akkommodationszustand bestimmten Brennebene umfasst.
Ein oder mehrere nichttransitorische computerlesbare Ablagespeichermedien nach einem der Ansprüche 10 bis 16, wobei: das Projizieren des Musters von Lichtpunkten das Projizieren eines Musters von Infrarotlichtpunkten umfasst.
Verarbeitungssystem, das umfasst: einen Prozessor; und einen Speicher zum Speichern von Daten, die ausführbare Anweisungen repräsentieren, wobei die ausführbaren Anweisungen dafür konfiguriert sind, den Prozessor zu manipulieren zum: Empfangen eines Bilds, das eine Reflexion eines Musters von Lichtpunkten von einem Auge eines Nutzers darstellt; Bestimmen von Verlagerungen zwischen erwarteten Positionen und tatsächlichen Positionen für wenigstens eine Teilmenge der Lichtpunkte des Musters; Bestimmen einer oder mehrerer Charakteristiken des Auges auf der Grundlage der Verlagerungen; und Rendern einer Folge von Lichtfeldeinzelbildern zur Anzeige auf einer augennahen Anzeigetafel auf der Grundlage der einen oder der mehreren Charakteristiken des Auges.
Verarbeitungssystem nach Anspruch 18, wobei: die eine oder die mehreren Charakteristiken des Auges eine oder mehrere Brechungsaberrationen des Auges umfassen; und die Folge von Lichtfeldeinzelbildern gerendert wird, um die eine oder die mehreren Brechungsaberrationen zu kompensieren.
Verarbeitungssystem nach Anspruch 18 oder Anspruch 19, wobei: die eine oder die mehreren Charakteristiken des Auges einen aktuellen Akkommodationszustand des Auges umfassen; und die Folge von Lichtfeldeinzelbildern für eine Brennebene, die auf dem aktuellen Akkommodationszustand beruht, gerendert wird.