DE102020104527A1

DE102020104527A1 - Eine foveated-anzeige für erweiterte realität

Info

Publication number: DE102020104527A1
Application number: DE102020104527.1A
Authority: DE
Inventors: Jonghyun Kim; Youngmo JEONG; Michael Stengel; Morgan McGuire; David Luebke
Original assignee: Nvidia Corp
Current assignee: Nvidia Corp
Priority date: 2019-03-19
Filing date: 2020-02-20
Publication date: 2020-09-24
Anticipated expiration: 2040-02-21
Also published as: DE102020104527B4

Abstract

Ein Anzeigesystem für erweiterte Realität umfasst einen ersten Strahlengang für ein foveales Einfügungsbild auf einem holographischen optischen Element, einen zweiten Strahlengang für ein peripheres Anzeigebild auf dem holographischen optischen Element und eine Pupillenposition-Verfolgungslogik, die Steuersignale erzeugt, um eine Position der fovealen Einfügung einzustellen, wie durch das holographische optische Element wahrgenommen, um das periphere Anzeigebild zu bestimmen und eine bewegbare Bühne zu steuern.

Description

HINTERGRUND
Die Technologie der erweiterten Realität hat sich verbessert, um eine höhere Auflösung, ein größeres Blickfeld, eine höhere Rechenleistung, einen größeren Augenkasten und eine niedrigere Latenz zu erreichen. In diesem Zusammenhang bezieht sich „Augenkasten“ auf einen Bereich, bei dem das Auge vorwärts, rückwärts und von Seite zu Seite positioniert werden kann, während es auf ein Ziel fokussiert bleibt. Der Winkel zwischen diesen beiden Lichtstrahlen, bei dem eine Person die Fähigkeit verliert, zwischen den beiden Lichtern zu unterscheiden, ist 1/60tel eines Grades, auch bekannt als eine Bogenminute; sie spielt eine Hauptrolle beim Verstehen räumlicher Frequenz. Räumliche Frequenz bezieht sich die Stufe von Einzelheiten, die in einem Bild (Reiz) pro Grad von visuellem Winkel vorhanden sind. Ein Buchstabe mit kleinen Einzelheiten und scharfen Rändern enthält eine höhere räumliche Frequenz im Vergleich mit einem vereinfachten Buchstaben mit runden Rändern. Sie wird in der Anzahl von Zyklen von abwechselnd dunklen und hellen Balken (die schwarzen und weißen Teile des Buchstabens im Fall von Schrift) pro Grad visuellem Winkel, ebenfalls als „cpd“ bekannt, ausgedrückt. Menschen können ein maximum von 60 Zyklen pro Grad (cycles per degree; cpd) wahrnehmen und Informationen über diese Grenze hinaus werden ausgefiltert.
Um die Auflösung und das Blickfeld des menschlichen Auges aufeinander abzustimmen, sollte eine Anzeige für erweiterte Realität 60 Zyklen pro Grad und ein Blickfeld von über 180 Grad bereitstellen. Dies erfordert über einundzwanzig Tausend Pixel in jeder Anzeigendimension, was wiederum Datenbandbreite, Leistung und Rechenanforderungen erfordert, was über die Fähigkeiten von aktuellen Systemen hinausgeht.
Figurenliste
Um die Erläuterung über ein bestimmtes Element oder eine bestimmte Aktion leicht zu kennzeichnen, bezieht sich die höchstwertigste Ziffer oder die höchstwertigsten Ziffern eines Bezugszeichens auf die Figur, in der dieses Element erstmalig eingeführt wird.

1 veranschaulicht eine Blickfeldanzeige 100 gemäß einer Ausführungsform.
2 veranschaulicht ein Diagramm 200 gemäß einer Ausführungsform.
3 veranschaulicht eine Foveated-Anzeige 300 gemäß einer Ausführungsform.
4 veranschaulicht eine Foveated-Anzeige 400 gemäß einer Ausführungsform.
5 veranschaulicht ein Anzeigesystem für erweiterte Realität 500 gemäß einer Ausführungsform.
6 veranschaulicht ein Anzeigesystem für erweiterte Realität 500 gemäß einer Ausführungsform.
7 veranschaulicht ein Anzeigesystem für erweiterte Realität 500 gemäß einer Ausführungsform.
8 veranschaulicht ein Anzeigesystem für erweiterte Realität 500 gemäß einer Ausführungsform.
9 veranschaulicht ein Anzeigesystem für erweiterte Realität 500 gemäß einer Ausführungsform.
10 veranschaulicht ein Anzeigesystem für erweiterte Realität 500 gemäß einer Ausführungsform.
11 veranschaulicht eine periphere Anzeigeneinrichtung 1100 gemäß einer Ausführungsform.
12 veranschaulicht ein Foveated-Anzeigeverfahren 1200 gemäß einer Ausführungsform.
13 veranschaulicht ein Blickverfolgungs- und Nutzungsverfahren 1300 gemäß einer Ausführungsform.
14 veranschaulicht ein Foveated-Anzeige-Headset für erweiterte Realität 1400 gemäß einer Ausführungsform.
15 veranschaulicht ferner ein Foveated-Anzeige-Headset für erweiterte Realität 1400 gemäß einer Ausführungsform.
16 veranschaulicht ferner ein Foveated-Anzeige-Headset für erweiterte Realität 1400 gemäß einer Ausführungsform.
17 veranschaulicht ferner ein Foveated-Anzeige-Headset für erweiterte Realität 1400 gemäß einer Ausführungsform.
18 veranschaulicht ein Foveated-Anzeige-Headset für erweiterte Realität 1800 gemäß einer Ausführungsform.
19 veranschaulicht ferner das Foveated-Anzeige-Headset für erweiterte Realität 1800 gemäß einer Ausführungsform.
20 veranschaulicht ferner ein Foveated-Anzeige-Headset für erweiterte Realität 1800 gemäß einer Ausführungsform.
21 ist ein beispielhaftes Blockdiagramm einer Rechenvorrichtung 2100, die Ausführungsformen der vorliegenden Erfindung enthalten kann.

AUSFÜHRLICHE BESCHREIBUNG
Die räumliche Empfindlichkeit der Netzhautzapfenverteilung ist am höchsten in der Region, die Fovearegion genannt wird, die den Bereich der Netzhaut einige Grade um die Blickmitte, typischerweise und näherungsweise 4-10 Grad für die meisten Leute, umfasst. In diesem Zusammenhang bezieht sich die „Fovearegion“ auf die fovea centralis, eine Region von eng gepackten Zapfen in dem Auge. Sie befindet sich in der Mitte der macula lutea der Netzhaut.
Datenbandbreite, Leistung und Rechenressourcen können durch Benutzen von Blickverfolgung und durch Beschränken des Rendering mit hoher Auflösung von Anzeigen für erweiterte Realität und virtuelle Realität auf einen Einfügungsanzeigebereich der Ausgabevorrichtung, der die Fovearegion (die ‚foveale Einfügung‘) des Benutzers darstellt, und durch Benutzen des Rendering mit niedrigerer Auflösung für die Peripherieregionen des Blicks des Benutzers erhalten bleiben. Dieser Prozess wird als ‚Foveated-Rendering‘ bezeichnet und die Ausgabe wird als eine ‚Foveated-Anzeige‘ bezeichnet.
Ein hier offenbartes Foveated-Anzeigesystem für erweiterte Realität umfasst drei Hauptaspekte: eine foveale Einfügung hoher Auflösung, eine Peripherieregion mit großem Blickfeld und eine Blickverfolgung.
Die foveale Einfügung hoher Auflösung kann unter Verwendung einer mikroorganische Leuchtdiodenanzeige implementiert werden, die mit einer Vergrößerungslinse erweitert ist. Die Lichtstrahlen von dem organischen Leuchtdiodenfeld werden durch einen Primärspiegel, einen Halbspiegel und einen konkaven Halbspiegel innerhalb eines Wellenleiters reflektiert. In diesem Zusammenhang bezieht sich „Halbspiegel“ auf einen Spiegel, der auf einer Seite reflektierend und auf der anderen transparent ist. In diesem Zusammenhang bezieht sich „Primärspiegel“ auf einen prinzipiellen oder dominierenden Spiegel in einem Strahlengang. Beide Seiten des konkaven Halbspiegels sind indexangepasst, um sicherzustellen, dass das Bild der Umgebung des Benutzers nicht verzerrt ist. Die Vergrößerungslinse ist reflektierend, um einen großen Augenkasten (z.B. 16 mm horizontal) zu erzielen. Ein fokaler Hinweis bzw. focus cue wird von 40 cm (zum Beispiel) bis ins Unendliche durch axiales Bewegen der mikroorganischen Leuchtdiodenanzeige erzeugt.
Die vergrößerte mikroorganische Leuchtdiodenausgabe stellt fokale Hinweise bzw. focal cues von einer einzigen Ebene bereit. Ein Gleitsichtbetrieb, mit focal cues von 40 cm (zum Beispiel) bis ins Unendliche, kann durch axiales Bewegen der mikroorganische Leuchtdiode erreicht werden. Die Auflösung und das Blickfeld können durch Erhöhen der Auflösung der mikroorganischen Leuchtdiode und/oder durch Benutzen eines dünneren Wellenleiters verbessert werden.
Eine Peripherieregion mit Fovearegion wird durch Benutzen einer dynamischen virtuellen Netzhautanzeige mit einem Bildkombinierer für reflektierende holographische optische Elemente erzeugt (das holographische optische Element ist ebenfalls für das von der Rückseite einfallende Einfügungsbild transparent). In diesem Zusammenhang bezieht sich „holographisches optisches Element“ auf ein Element (wie beispielsweise eine Linse, ein Filter, einen Strahlenteiler oder ein Beugungsgitter), das unter Verwendung von holographischen Bildgebungsprozessen P beispielsweise aus Dichromatgelatine und Photoresists erzeugt wird. In diesem Zusammenhang bezieht sich „Strahlenteiler“ auf eine Vorrichtung zum Teilen eines Lichtstrahls oder anderer elektromagnetischer Strahlung in zwei oder mehrere getrennte Strahlen. Ein MEMS(Mikro-Elektro-Mechanisches System)-basierter Laserprojektor kann für die Bildquelle benutzt werden. In einigen Ausführungsformen kann ein Lenkspiegel eingesetzt werden, um die Ausgangsapertur der peripheren Anzeige zu verschieben, um die Blickposition des Benutzers zu verfolgen. Das holographische optische Element wird jedoch bevorzugter gemäß der Blickposition des Benutzers verschoben. Es ist bevorzugt, eine bewegbare Bühne, um die Position des holographischen optischen Elements zu translatieren und die Position der fovealen Einfügung zu ändern, gegenüber einem Lenkspiegel zu verwenden, weil die vorherige Vorgehensweise einen bedeutend erweiterten Augenkasten erzeugt als es das letztere tut.
Strahlen von dem Projektor werden an dem holographischen optischen Element reflektiert und konvergieren gegen die Pupillenposition, so dass der Benutzer ein großes Blickfeld, „all-in-focus“ Bild, wahrnimmt. Innerhalb der Winkeltoleranz des reflektierenden holographischen optischen Elements kann der Maxwellsche Beobachtungspunkt durch Bewegen des holographischen optischen Elements über eine bewegbare Bühne (oder durch Verwenden eines Lenkspiegels) verschoben werden. In diesem Zusammenhang bezieht sich „Maxwellscher Beobachtungspunkt“ auf eine Lochblendenlinsenkonfiguration, bei welcher der Strahl durch die Augen/das Gehirn immer als scharf eingestellt interpretiert wird, -- z.B. erzeugt eine Anzeige für abgetastetes Licht unter Verwendung eines Strahls von 0,5 mm Durchmesser, um Bilder zu dem Auge abzutasten, einen Maxwellschen Beobachtungspunkt.
Eine Blickverfolgung ist erforderlich, um die foveale Einfügung zu positionieren und die Ausgangsapertur der peripheren Anzeige zu positionieren. Die Foveated-Anzeige für erweiterte Realität kann verschiedene Blickverfolgungstechniken benutzen, die in der Technik bekannt sind. Ein separater Strahlengang kann innerhalb des Wellenleiters benutzt werden. Infrarote (IR) Lichtstrahlen von IR-Leuchtdioden können durch die Hornhaut des Benutzers und einen Strahlenteiler reflektiert werden. Ein Pupillenverfolger erfasst Auf-Achse-Augenbilder durch den Strahlenteiler und wendet die Bilder an, um die aktuelle Blickposition zu bestimmen. Weil die foveale Einfügung von der mikroorganischen Leuchtdiode einen größeren Bereich als die Fovearegion des Benutzers abdeckt, kann die Position des Einfügungsbildes auf der mikroorganischen Leuchtdiode gemäß der Blickposition verschoben werden. Für die Peripherieregion wird die Ausgangsapertur der peripheren Anzeige durch Translatieren des holographischen optischen Elements in mindestens einer Dimension unter Verwendung einer bewegbaren Bühne (oder unter Verwendung eines Lenkspiegels) verschoben, so dass der Benutzer das volle Peripheriebild ohne Vignettierung sieht.
Im Vergleich zu herkömmlichen Anzeigen für erweiterte Realität, die mikroorganische Leuchtdiodenanzeigen benutzen, stellt die offenbarte Anzeige für erweiterte Realität ein größeres Blickfeld mit verbesserter peripherer Anzeige und Blickverfolgung bereit.
Bezugnehmend auf 1 umfasst eine Blickfeldanzeige 100 ein Blickfeld 102, einen verfolgten Blick 104 und ein foveale Einfügungsanzeige 106.
Das Blickfeld 102 kann mehr als etwa 21,6 K Pixel umfassen und einen Bogen von größer als etwa 180° aufweisen. Da das Blickfeld 102 mehr als etwa 21,6 K Pixel aufweisen kann, wird der Rechenaufwand und die Bandbreite erhöht. Um den Rechenaufwand und die benutzte Bandbreite zu verringern, kann der verfolgte Blick 104 benutzt werden, um die Position der fovealen Einfügungsanzeige 106 zu bestimmen. Der verfolgte Blick 104 kann durch Pupillenposition-Verfolgungslogik (einen „Pupillenverfolger“) bestimmt werden, die hier auch als Blickverfolgung bezeichnet wird. Der verfolgte Blick 104 wird benutzt, um den Bereich des Blickfelds 102 zu bestimmen, der anzuzeigen ist. Der Mittelpunkt der foveale Einfügungsanzeige 106 kann durch den verfolgten Blick 104 bestimmt werden und die Größe der fovealen Einfügungsanzeige 106 kann in einigen Ausführungsformen durch eine voreingestellte Gradzahl von dem Mittelpunkt bestimmt werden. Beispielsweise ist in einer Ausführungsform die voreingestellte Gradzahl gleich 30°, was einen Bogen von 60° für die foveale Einfügungsanzeige 106 ergibt. Die Gradzahl kann in einigen Ausführungsformen in jeder axialen Richtung variieren.
Außerdem kann die foveale Einfügungsanzeige 106 unterschiedliche resultierende Formen umfassen, wie beispielsweise rechteckig (wie in 1 anschaulich dargestellt), kreisförmig (wie in 3 und 4 anschaulich dargestellt) usw. Die foveale Einfügungsanzeige 106 wird im Bereich des Blickfelds erzeugt. Die foveale Einfügungsanzeige 106 wird in einer höheren Auflösung als der andere Abschnitt (d.h., das Peripheriebild) des Blickfelds 102 angezeigt.
In einer Ausführungsform wird das Peripheriebild mit einer Auflösung von etwa 5 Pixel pro Grad (ppd) angezeigt, während die foveale Einfügungsanzeige 106 mit einer Auflösung von etwa 70 ppd angezeigt wird. In einer anderen Ausführungsform kann ein unterschiedlicher Anzeigemodus (z.B., 1080p anstatt 780p) höhere Auflösungen für sowohl die foveale Einfügungsanzeige 106 als auch das Peripheriebild erreichen. Noch weitere Ausführungsformen können andere Anzeigenmodi benutzen. Der Benutzer kann Bereiche niedrigerer Auflösung (das Peripheriebild) nicht bemerken, weil sie sich in der Peripherie des Benutzers befinden. Die sich ergebende Foveated-Anzeige wird dann in Richtung des Auges oder der Augen des Benutzers gelenkt.
Bezugnehmend auf 2, umfasst ein Diagramm 200 eine Stäbchenrezeptordichte 202, eine Kegelrezeptordichte 204, eine Fovearegion 206 und eine Sehnervenscheibe 208.
Das Diagramm 200 stellt die Stäbchenrezeptordichte 202 und die Zapfenrezeptordichte 204 als eine Funktion der Netzhautexzentrizität in Graden anschaulich dar. Die Stäbchenrezeptordichte 202 ist am höchsten bei einer Exzentrizität, die ungefähr und größer als die Exzentrizität des Randes der Fovearegion 206 ist. Die Kegelrezeptordichte 204 ist ungefähr am Mittelpunkt der Fovearegion 206 am höchsten. Die Fovearegion 206 ist eine Region des Auges, bei der das Sichtfeld in hoher Auflösung gesehen wird. Wie anschaulich dargestellt, weist die Fovearegion 206 eine Exzentrizität von etwa 15° entweder in der nasalen oder der temporalen Richtung auf. Die Größe der fovealen Einfügungsanzeige kann auf dieser Exzentrizität der Fovearegion 206 basiert sein. Außerdem weist das menschliche Auge eine Sehnervenscheibe 208 auf, den Befestigungspunkt des Sehnervs, bei dem es weder Zapfen noch Stäbchen gibt. Dies führt zu einem blinden Fleck für das menschliche Auge.
Bezugnehmend auf 3 umfasst eine Foveated-Anzeige 300 einen verfolgten Blick 302, eine Fovearegion 304, eine Peripherieregion 306, ein Blickfeld 308, eine foveale Einfügung 310 und eine periphere Anzeige 312.
Der verfolgte Blick 302 wird benutzt, um den Ort der Fovearegion 304 zu bestimmen. Die Fovearegion 304 kann die Mitte des verfolgten Blicks 302 und eine Gradzahl von diesem Mittelpunkt sein. Beispielsweise kann die Fovearegion 304 30° von dem Mittelpunkt sein. Die Peripherieregion 306 kann dann den Abschnitt des verfolgten Blicks 302 umfassen, der nicht die Fovearegion 304 ist.
Die Fovearegion 304 und die Peripherieregion 306 werden benutzt, um die Abschnitte des Blickfelds 308 der Foveated-Anzeige 300 für die foveale Einfügung 310 bzw. die periphere Anzeige 312 zu bestimmen. Der Abschnitt des Blickfelds 308, welcher der Fovearegion 304, das heißt, der fovealen Einfügung 310 entspricht, kann dann mit einer höheren Auflösung, wie beispielsweise etwa 66,9 ppd, angezeigt werden. Der Abschnitt des Blickfelds 308, welcher der Peripherieregion 306, das heißt, der peripheren Anzeige 312 entspricht, kann dann mit einer niedrigeren Auflösung, wie beispielsweise etwa 5,0 ppd, angezeigt werden. In einer anderen Ausführungsform kann ein unterschiedlicher Anzeigemodus (z.B. 1080p anstatt 780p) höhere Auflösungen für eine oder beide von der fovealen Einfügung 310 und der peripheren Anzeige 312 erreichen. Noch weitere Ausführungsformen können andere Anzeigenmodi benutzen.
Bezugnehmend auf 4 umfasst eine Foveated-Anzeige 400 einen verfolgten Blick 402, eine Fovearegion 404, eine Peripherieregion 406, ein Blickfeld 408, eine foveale Einfügung 410 und eine periphere Anzeige 412.
Der verfolgte Blick 402 ist in einer unterschiedlichen Richtung im Vergleich zu dem verfolgtem Blick 302 in 3 anschaulich dargestellt. Der verfolgte Blick 402 wird benutzt, um die Fovearegion 404 und die Peripherieregion 406 zu bestimmen. Die Fovearegion 404 und die Peripherieregion 406 bestimmen die foveale Einfügung 410 bzw. die periphere Anzeige 412 des Blickfelds 408. Die foveale Einfügung 410 ist ein unterschiedlicher Abschnitt des Blickfelds 408 als die foveale Einfügung 310 des Blickfelds 308, obwohl das Blickfeld 408 und das Blickfeld 308 ähnlich sein können (wie anschaulich dargestellt).
Die foveale Einfügung 410 und die periphere Anzeige 412 können dann auf der Foveated-Anzeige 400 bei unterschiedlichen Auflösungen, wie beispielsweise etwa 66,9 ppd bzw. 5,0 ppd, angezeigt werden.
Bezugnehmend auf 5 bis 10 umfasst ein Anzeigesystem für erweiterte Realität 500 eine mikroorganische Leuchtdiodenanzeige 502, einen Primärspiegel 504, einen Halbspiegel 506, einen konkaven Halbspiegel 508, eine Pupillenposition 510, einen Laserprojektor 512, eine konvexe Linse 514, einen peripheren Spiegel 516, einen Lenkspiegel 518, ein holographisches optisches Linsenelement 520, eine Infrarot-Leuchtdiodenvorrichtung 522 und einen Pupillenverfolger 524.
Die anschaulichen Darstellungen in 5 bis 10 sind eine Auftischausführungsform, die nützlich ist, um zu verstehen, wie Lichtstrahlen von dem Peripheriebild und der fovealen Einfügung auf die Pupillenposition gelenkt und gesteuert werden. Headset-Ausgestaltungen werden in späteren Figuren anschaulich dargestellt und werden im Allgemeinen ein holographisches optisches Element auf einer bewegbaren Bühne benutzen, was Vorteile aufweist, wie zuvor beschrieben.
Die mikroorganische Leuchtdiodenanzeige 502 emittiert Licht, das der fovealen Einfügung entspricht, wie beispielsweise das Einfügungsbild 602. Das emittierte Licht kann hochauflösend sein. Die mikroorganische Leuchtdiodenanzeige 502 kann ein Steuersignal empfangen, um den Abschnitt eines Blickfelds eines Bildes zu bestimmen, das der zu emittieren fovealen Einfügung entspricht. Ferner kann ein Steuersignal von der mikroorganischen Leuchtdiodenanzeige 502 empfangen werden, um die Position des Einfügungsbilds zu bewegen. Beispielsweise kann als Antwort darauf, dass der Pupillenverfolger 524, der die Pupillenposition 510 bestimmt, sich in die Pupillenposition 902 ändert, die mikroorganische Leuchtdiodenanzeige 502 ein Steuersignal empfangen, um ein unterschiedliches Einfügungsbild zu emittieren (d.h., das Einfügungsbild 1002 anstatt des Einfügungsbildes 602), das der neuen Position auf dem Blickfeld entspricht, zu dem die Pupillenposition 902 hin gelenkt wird.
Ein Strahlengang für das Einfügungsbild 602 und das Einfügungsbild 1002 wird durch einen Wellenleiter bestimmt, der den Primärspiegel 504, den Halbspiegel 506 und den konkaven Halbspiegel 508 umfasst. Das Einfügungsbild 602 oder das Einfügungsbild 1002 wird in Richtung des Primärspiegels 504 emittiert. Der Primärspiegel 504 empfängt das Einfügungsbild 602 oder das Einfügungsbild 1002 von der mikroorganischen Leuchtdiodenanzeige 502 und lenkt das Einfügungsbild 602 oder das Einfügungsbild 1002 in Richtung des Halbspiegels 506. Der Halbspiegel 506 lenkt dann das Einfügungsbild 602 oder das Einfügungsbild 1002 in Richtung des konkaven Halbspiegels 508 um. Schließlich dispergiert der konkave Halbspiegel 508 das Einfügungsbild 602 oder das Einfügungsbild 1002 in die Pupillenposition 510 bzw. die Pupillenposition 902.
Der Strahlengang (der Primärspiegel 504, der Halbspiegel 506 und der konkave Halbspiegel 508) wirken als eine Vergrößerungslinse für das Einfügungsbild 602 und das Einfügungsbild 1002. Beide Seiten des konkaven Halbspiegels 508 können indexangepasst sein, um sicherzustellen, dass das Bild der Umgebung (d.h., das nicht durch das Anzeigesystem für erweiterte Realität 500 verarbeitete Bild) nicht verzerrt ist. Da die Vergrößerungslinse reflektierend ist, kann ein großer Augenkasten erreicht werden. Beispielsweise kann ein Augenkasten von etwa 10-25 mm horizontal erreicht werden. Außerdem kann die mikroorganische Leuchtdiodenanzeige 502 focal cues von einer einzigen Ebene bereitstellen. Ein Gleitsichtbetrieb kann mit focal cues von etwa 40 cm bis etwa ins Unendliche durch Bewegen der mikroorganische Leuchtdiodenanzeige 502 erreicht werden (z.B., nach oben und nach unten in der Orientierung der mikroorganischen Leuchtdiodenanzeige 502 (in 5 bis 10 anschaulich dargestellt)). Die mikroorganische Leuchtdiodenanzeige 502 kann eine mikroorganische 720p-Leuchtdiode sein. Eine derartige mikroorganische Leuchtdiode kann beispielsweise eine foveale Einfügung mit einer Auflösung von etwa 50-90 ppd und einem Blickfeld von etwa 10-20° erreichen. In anderen Ausführungsformen kann auch eine mikroorganische 1080p-Leuchtdiode benutzt werden, die eine höhere Auflösung und ein größeres Blickfeld für die foveale Einfügung erreichen kann. In noch weiteren Ausführungsformen können andere mikroorganische Leuchtdioden benutzt werden.
Der Laserprojektor 512 emittiert das Peripheriebild 704 oder das Peripheriebild 906, um an der Pupillenposition 510 bzw. der Pupillenposition 902 empfangen zu werden. Der Laserprojektor 512 kann das Peripheriebild mit einer niedrigen Auflösung (z.B., etwa 5 ppd) emittieren. Der Laserprojektor 512 kann ein mikroelektromechanischer (MEM) Laserprojektor sein. Der Strahlengang des Peripheriebildes 704 und des Peripheriebildes 906 wird durch einen Wellenleiter gelenkt, der eine konvexe Linse 514, den peripheren Spiegel 516, den Lenkspiegel 518 und das holographische optische Linsenelement 520 umfasst.
Der Laserprojektor 512 lenkt das Peripheriebild 704 oder das Peripheriebild 906 in Richtung der konvexen Linse 514. Die konvexe Linse 514 bricht das Peripheriebild 704 oder das Peripheriebild 906 zu dem peripheren Spiegel 516, der das Peripheriebild 704 oder das Peripheriebild 906 weiter zu dem Lenkspiegel 518 reflektiert. Der Lenkspiegel 518 kann geneigt werden, um verschiedener Zustände zu erreichen, wie beispielsweise die Lenkspiegelposition 702 oder die Lenkspiegelposition 904.
Die Orientierung des Lenkspiegels 518 verschiebt die Ausgangsapertur der peripheren Anzeige, um die Pupillenposition zu verfolgen (z.B., die Pupillenposition 510 und die Pupillenposition 902). Somit werden der Strahlengang des Peripheriebildes 704 und des Peripheriebildes 906 durch die Orientierung des Lenkspiegels 518 bestimmt. Der Lenkspiegel 518 kann ein Steuersignal empfangen, um die Lenkspiegelposition zu bestimmen. Das Steuersignal kann von dem Pupillenverfolger 524 empfangen werden. Das Peripheriebild 704 oder das Peripheriebild 906 wird an dem Lenkspiegel 518 in Richtung des holographischen optischen Linsenelements 520 reflektiert.
Das holographische optische Linsenelement 520 arbeitet als ein Bildkombinierer für ein reflektierendes holographisches optisches Element (HOE). Von dem Laserprojektor 512 stammende Bildstrahlen werden an dem holographischen optischen Linsenelement 520 reflektiert und konvergieren gegen die Pupillenposition. Licht von der mikroorganischen Leuchtdiodenanzeige 502 läuft durch die Rückseite des holographischen optischen Linsenelements 520 und vereinigt sich mit dem Peripheriebildlicht an der Pupillenposition 510. Ein Beobachter nimmt somit ein großes Blickfeld (Field of View; FOV), „all-in-focus“ Bild war, welches das Peripheriebild und die foveale Einfügung umfasst. In einer Ausführungsform kann ein Anzeigesystem für erweiterte Realität 500 einzelfarbige 60° Sofortbilder eines Blickfelds (FOV) bereitstellen. In anderen Ausführungsformen kann das Anzeigesystem für erweiterte Realität 500 zusätzliche Farben, einschließlich vollfarbige, und/oder breitere Bilder eines Blickfelds (FOV) für die Peripherie bereitstellen.
Die Infrarot-Leuchtdiodenvorrichtung 522 umfasst eine oder mehrere Infrarot-Leuchtdioden (LEDs). Die LEDs können auf der Infrarot-Leuchtdiodenvorrichtung 522 positioniert sein, um das emittierte Infrarot 802 in mehreren Winkeln einem menschlichen Auge bereitzustellen, dass sich nahe der Infrarot-Leuchtdiodenvorrichtung 522 befindet. Das Anzeigesystem für erweiterte Realität 500 benutzt eine Hornhaut des menschlichen Auges als Teil des Strahlengangs des emittierten Infrarots 802 innerhalb des Wellenleiters. Das emittierte Infrarot 802 wird an der Hornhaut in Richtung des Halbspiegels 506 reflektiert, der als ein Strahlenteiler wirkt. Das emittierte Infrarot 802 wird das reflektierte Infrarot 804. Die Position der Hornhaut im Wellenleiter bestimmt den Strahlengang des reflektierten Infrarots 804. Da die Hornhaut mit der Pupille im menschlichen Auge übereinstimmt, kann das reflektierte Infrarot 804 benutzt werden, um die Pupillenposition zu bestimmen (z.B., die Pupillenposition 510 oder die Pupillenposition 902). Der Halbspiegel 506 reflektiert das reflektierte Infrarot 804 in Richtung des Pupillenverfolgers 524. Der Pupillenverfolger 524 empfängt das reflektierte Infrarot 804, das Auf-Achse mit der Hornhaut und der Pupille ist. Der Ort, an dem der Pupillenverfolger 524 das reflektierte Infrarot 804 empfängt, wird dann benutzt, um die Pupillenposition zu bestimmen, da jede Pupillenposition dazu führt, dass der Pupillenverfolger 524 das reflektierte Infrarot 804 an einem unterschiedlichen Ort empfängt. Sobald die Pupillenposition bestimmt ist, können Steuersignale an die mikroorganische Leuchtdiodenanzeige 502 und den Lenkspiegel 518 (oder an einen Controller der bewegbaren Bühne in später beschriebenen Ausführungsformen) gesendet werden.
Die Steuersignale können die foveale Einfügung bestimmen, von der die mikroorganische Leuchtdiodenanzeige 502 emittiert wird, die Position der Emission der foveale Einfügung durch die mikroorganische Leuchtdiodenanzeige 502 bewegen oder die Bildregion ändern, die sie erzeugt, das durch den Laserprojektor 512 emittierte Peripheriebild bestimmen und die Lenkspiegelposition verändern (oder die Position des holographischen optischen Elements in später beschriebenen Ausführungsformen zu bewegen), um die Ausgangsapertur der peripheren Anzeige zu positionieren. Das Verändern der Position der Ausgangsapertur der peripheren Anzeige kann zu verringerter Vignettierung führen.
Bezugnehmend auf 11 umfasst eine periphere Anzeigeneinrichtung 1100 einen Abtastprimärspiegel 1102, einen Maxwellschen Beobachtungspunkt 1104 und eine Augenpupille 1106.
Der Abtastprimärspiegel 1102, ebenfalls als ein Lenkspiegel bezeichnet, reflektiert ein Bild als Teil eines Wellenleiters. Beispielsweise kann das Bild das Peripheriebild sein. Die Reflexion des Bildes durch den Wellenleiter führt zu dem Maxwellschen Beobachtungspunkt 1104. Der Maxwellsche Beobachtungspunkt 1104 kann innerhalb der Winkeltoleranz des reflektierenden holographischen optischen Elements sein, das einen Teil des Wellenleiters für das Bild umfassen kann. Die Orientierung des Abtastprimärspiegels 1102 kann geändert werden, um den Maxwellschen Beobachtungspunkt 1104 einzustellen. Beispielsweise kann der Abtastprimärspiegel 1102 eingestellt werden, so dass sich der Maxwellschen Beobachtungspunkt 1104 mit der Augenpupille 1106 ausrichtet. Der Abtastprimärspiegel 1102 kann ein Steuersignal von einem Pupillenverfolger empfangen, um die Orientierung des Abtastprimärspiegels 1102 zu bestimmen, um somit den Maxwellschen Beobachtungspunkt 1104 zu verschieben. Während sich die Pupillenposition ändert, sendet der Pupillenverfolger zusätzliche Steuersignale, um den Maxwellschen Beobachtungspunkt 1104 zu verändern. Derartige Steuersignale werden erzeugt, um den Maxwellschen Beobachtungspunkt 1104 auf der Augenpupille 1106 beizubehalten.
Bezugnehmend auf 12 empfängt ein Foveated-Anzeigenverfahren 1200 ein Bild (Block 1202). Das Bild kann eine Anzeige für erweiterte Realität sein. Die Blickposition wird dann bestimmt (Block 1204). Das in 13 anschaulich dargestellte Blickverfolgungs- und Nutzungsverfahren 1300 kann benutzt werden. Der Bereich des Bildes für die foveale Einfügung wird bestimmt (Block 1206). Die foveale Einfügung kann eine Gradzahl der Exzentrizität der Blickposition einschließen. Beispielsweise kann die Gradzahl etwa 10-20° sein. Des Weiteren kann die foveale Einfügung verschiedene Formen aufweisen, wie beispielsweise rechteckig (wie in 1 anschaulich dargestellt), kreisförmig (wie in 3 und 4 anschaulich dargestellt) usw. Das Peripheriebild wird ebenfalls bestimmt. Die Informationen des fovealen Einfügungsbildes werden an eine mikroorganische Leuchtdiodenanzeigenvorrichtung (Block 1208) zur Umwandlung in Photonen gesendet. (Andere Arten von Anzeigevorrichtungen könnten stattdessen benutzt werden). Die mikroorganische Leuchtdiodenvorrichtung emittiert das Lichtbild der fovealen Einfügung (Block 1210). Die gesamte oder ein Abschnitt der mikroorganischen Leuchtdiodenvorrichtung kann benutzt werden. Das foveale Einfügungsbild wird vergrößert (Block 1212). Der Strahlengang des fovealen Einfügungsbilds, das von der mikroorganischen Leuchtdiodenvorrichtung emittiert wird, wird durch einen Wellenleiter gelenkt, der Komponenten umfassen kann, die wirken, um das foveale Einfügungsbild zu vergrößern, und läuft durch eine transparente Rückebene eines holographischen optischen Elements. Das Peripheriebild wird bestimmt (Block 1214). In einigen Ausführungsformen ist das Peripheriebild das gesamte verfügbare Bild. In anderen Ausführungsformen ist das Peripheriebild der Abschnitt des Bildes, der nicht das foveale Einfügungsbild ist. Die Peripheriebild-Information wird an einen Laserprojektor gesendet (Block 1216). Das Peripheriebild wird von dem Laserprojektor emittiert (Block 1218) und an dem holographischen optischen Element reflektiert. Das Peripheriebild wird dann mit der fovealen Einfügung an der Ausgabe (Vorderfläche) des holographischen optischen Elements kombiniert (Block 1220).
Das Peripheriebild wird gegen einen Maxwellschen Beobachtungspunkt konvergiert. Das mit dem Peripheriebild kombinierte foveale Einfügungsbild wird an ein Auge des Benutzers gesendet (Block 1222). Das foveale Einfügungsbild und das Peripheriebild weisen jeweils einen separaten Wellenleiter auf, um ihre Strahlengänge zu bestimmen. Diese Strahlengänge können durch Komponenten des Wellenleiters verändert werden. Steuersignale von einem Pupillenverfolger können benutzt werden, um die Komponenten des Wellenleiters zu verändern, wie zuvor beschrieben. Das in 13 anschaulich dargestellte Blickverfolgungs- und Nutzungsverfahren 1300 kann benutzt werden, um die Steuersignale zu erzeugen.
Bezugnehmend auf 13 emittiert ein Blickverfolgungs- und Nutzungsverfahren 1300 Infrarotstrahlung (Block 1302). Die Infrarotstrahlung kann von einer oder mehreren Infrarot-LEDs emittiert werden. Die Infrarot-LEDs können Komponenten einer Infrarot-Leuchtdiodenvorrichtung sein. Das Infrarot kann in mehrere Richtungen emittiert werden. Auf-Achse-Augenbilder werden von einem Strahlenteiler erfasst (Block 1304). Ein Blickverfolger kann benutzt werden, um die Infrarotstrahlung zu empfangen und zu erfassen. Die Infrarotstrahlung kann an einer Hornhaut und einem Strahlenteiler reflektiert worden sein. Der Blickverfolger und die Wellenleiterkomponenten für den Infrarotstrahl können konfiguriert sein, so dass Auf-Achse-Bilder erfasst werden. Ein Auf-Achse-Bild kann benutzt werden, um die Pupillenposition und somit die Blickposition zu bestimmen. Die Augenbilder werden benutzt, um die aktuelle Augenposition zu bestimmen (Block 1306). Unterschiedliche Augenpositionen (d.h., Pupillenposition) führen dazu, dass das Auf-Achse-Bild an einem unterschiedlichen Ort auf dem Blickverfolger erfasst wird.
Andere Ausführungsformen können eine Außer-Achse-Erfassung des Blicks mit einem einzelnen Winkel oder allgemeiner eine mehrfache Außer-Achse-Erfassung oder eine Kombination von Außer- und Auf-Achse-Erfassung benutzen. Die offenbarten Mechanismen sind nicht auf Auf-Achse-Blickerfassungstechniken beschränkt.
Der Blickverfolger oder eine andere Komponente kann konfiguriert sein, um die Pupillenposition aus dem Erfassungsort zu bestimmen. Beispielsweise kann ein an der Mitte des Blickverfolgers erfasstes Bild angeben, dass die Pupillenposition in einer ersten Richtung orientiert ist, wie beispielsweise geradeaus. Andere Bilderfassungsorte können eine Abweichung von dieser ersten Richtung sein. Um das Beispiel weiter zu erläutern, kann eine Pupillenposition, die einem von der geradeaus Position nach rechts blickendem Auge entspricht, dazu führen, dass das Bild auf dem Blickverfolger rechts von der Mitte erfasst wird. Die Größe der Abweichung kann die Größe bestimmen, mit der die Pupillenposition von der geradeaus Position abgewichen ist. Der Blickverfolger kann konfiguriert sein, um jede Pupillenposition für jeden Bilderfassungsort zu bestimmen. Die foveale Einfügung und das Peripheriebild werden dann bestimmt (Block 1308). Der Erfassungsort und somit die Pupillenposition bestimmen den Mittelpunkt einer Blickposition auf einem Bild. Eine Exzentrizität in Graden kann dann von dem Mittelpunkt angewendet werden, um die foveale Einfügung zu erzeugen, die eine Region des Bildes ist, die mit einer höheren Auflösung als das andere Teil des Bildes (d.h., das Peripheriebild) zu projizieren ist. Die Exzentrizität, um die foveale Einfügung zu bestimmen, kann etwa 19,1° sein (dies ist lediglich ein spezifisches Beispiel). Die Position des Einfügungsbilds wird auf einer mikroorganischen Leuchtdiode gemäß der Pupillenposition bewegt (Block 1310). Da die foveale Einfügung von der mikroorganischen Leuchtdiode eine größere Region als die Fovearegion eines Benutzers abdecken kann, kann die Position des Einfügungsbilds auf der mikroorganischen Leuchtdiode bewegt werden. Eine derartige Bewegung kann den Strahlengang des fovealen Einfügungsbilds verändern, das von der mikroorganischen Leuchtdiode emittiert wird.
Die mikroorganische Leuchtdiode kann ein Steuersignal von dem Pupillenverfolger empfangen, um die Position des Einfügungsbildes zu bestimmen. Schließlich wird die Ausgangsapertur des Peripheriebildes eingestellt (Block 1312). Der Blickverfolger kann ein Steuersignal an eine bewegbare Bühne senden, um die Position des holographischen optischen Elements (oder die Orientierung eines Lenkspiegels) einzustellen. Dies stellt den Strahlengang und den Maxwellschen Beobachtungspunkt des Peripheriebildes ein. Der Maxwellsche Beobachtungspunkt kann eingestellt werden, um das Peripheriebild an die Pupillenposition zu senden. Jede Pupillenposition kann eine entsprechende Einstellung aufweisen, um den Maxwellschen Beobachtungspunkt auf die Pupillenposition einzustellen. 18 bis 20 stellen eine Ausführungsform eines Headsets anschaulich dar, bei der kein Lenkspiegel verwendet wird und eine bewegbare Bühne betrieben wird, um die foveale Einfügung zu der Pupillenposition zu lenken.
Wie zuvor hervorgehoben, kann die Verwendung einer bewegbaren Bühne, um die Position des holographischen optischen Elements zu verschieben und den Maxwellschen Beobachtungspunkt zu ändern, allgemein gegenüber der Verwendung eines Lenkspiegels aufgrund der Erzeugung eines deutlich erweiterten Augenkastens vorzuziehen sein.
14 bis 17 veranschaulichen ein Foveated-Anzeige-Headset für erweiterte Realität 1400, für das sich Augenorte 1402 mit einem Blickverfolger 1404 ausrichten. Das Foveated-Anzeige-Headset für erweiterte Realität 1400 umfasst einen Lichtgenerator für die periphere Anzeige 1406, einen Strahlenteiler 1602 und ein holographisches optisches Element 1604. Das Foveated-Anzeige-Headset für erweiterte Realität 1400 umfasst ferner einen Lichtgenerator für die foveale Einfügung 1502 und eine bewegbare Bühne 1408. Die Verwendung dieser Komponenten wird ferner in Verbindung mit 18 bis 20 beschrieben.
18 veranschaulicht ein Foveated-Anzeige-Headset 1800 in einer Ausführungsform. Das Foveated-Anzeige-Headset für erweiterte Realität 1800 umfasst einen Projektor 1802, eine konvexe Linse 1804, ein Prisma 1806, eine Augenverfolgungskamera 1808, ein holographisches optisches Linsenelement 1810, eine mikroorganische Leuchtdiodenanzeige 1812 und eine bewegbare Bühne 1814. Abhängig von der Ausführungsform ermöglicht die bewegbare Bühne 1814 eine Positionierung des holographischen optischen Linsenelements 1810 und der mikroorganische Leuchtdiodenanzeige 1812 horizontal, vertikal und/oder tiefenmäßig. Die Fähigkeit, das holographische optische Linsenelement 1810 und die mikroorganische Leuchtdiodenanzeige 1812 (and somit die Position der fovealen Einfügung) basierend auf der Pupillenverfolgung zu positionieren, kann zu einem größeren Augenkasten führen, als in herkömmlichen Headset-Vorrichtungen möglich ist, beispielsweise eine 10x oder größere Verbesserung im Augenkastenbereich.
Der Projektor 1802 wird verwendet, um die Peripherieregion des Bildes einer erweiterten Realität durch Erzeugen von Lichtstrahlen zu erzeugen, die durch das Prisma 1806 (oder einen Spiegel) auf ein holographisches optisches Linsenelement 1810 gerichtet werden, welches die Strahlen zu der Pupillenposition 1902 reflektiert. Der foveale Einfügungsabschnitt des Bildes einer erweiterten Realität wird von der mikroorganischen Leuchtdiodenanzeige 1812 erzeugt, die Lichtstrahlen zu dem Halbspiegel 2002 lenkt, der die Strahlen zu dem konkaven Halbspiegel 2004 reflektiert, der seinerseits die Strahlen durch das holographische optische Linsenelement 1810 zu der Pupillenposition 1902 reflektiert. Zur Blickverfolgung lenken Infrarot-Leuchtdioden 2006, die auf dem holographischen optischen Linsenelement 1810 positioniert sind, Infrarotlicht zu der Pupillenposition 1902 des Auges des Benutzers. Die Infrarotstrahlen werden an dem Auge des Benutzers durch das holographische optische Linsenelement 1810 zu einer Augenverfolgungskamera 1808 reflektiert. Die Augenverfolgungskamera 1808 gibt die reflektierte Lichtinformation in Logik ein, die eine Position für die mikroorganische Leuchtdiodenanzeige 1812 und/oder das holographische optische Linsenelement 1810 bestimmt und die bewegbare Bühne 1814 betätigt, um die mikroorganische Leuchtdiodenanzeige 1812 und/oder das holographische optische Linsenelement 1810 zu positionieren, um die Positionierung der fovealen Einfügung auf zusammengesetzten Bildern für erweiterte Realität zu verbessern, die von dem Benutzer wahrgenommen werden.
21 ist ein beispielhaftes Blockdiagramm einer Rechenvorrichtung 2100, die Ausführungsformen der vorliegenden Erfindung beinhalten kann. 21 veranschaulicht lediglich ein Maschinensystem, um Aspekte der hier beschriebenen technischen Prozesse auszuführen und begrenzt nicht den Umfang der Ansprüche. Ein Durchschnittsfachmann würde andere Variationen, Modifikationen und Alternativen erkennen. In einer Ausführungsform umfasst die Rechenvorrichtung 2100 typischerweise einen Monitor oder eine graphische Benutzerschnittstelle 2102 (dies kann das holographische optische Element sein), ein Datenverarbeitungssystem 2120, eine Kommunikationsnetzwerkschnittstelle 2112, Eingabevorrichtung(en) 2108, Ausgabevorrichtung(en) 2106 und dergleichen.
Wie in 21 anschaulich dargestellt, kann das Datenverarbeitungssystem 2120 einen oder mehrere Prozessor(en) 2104 umfassen, die mit einer Anzahl von peripheren Vorrichtungen über ein Bussubsystem 2118 kommunizieren. Diese peripheren Vorrichtungen können Eingabevorrichtung(en) 2108, Ausgabevorrichtung(en) 2106, eine Kommunikationsnetzwerkschnittstelle 2112 und ein Speichersubsystem, wie beispielsweise einen flüchtigen Speicher 2110 und einen nichtflüchtigen Speicher 2114, umfassen.
Der flüchtige Speicher 2110 und/oder der nichtflüchtige Speicher 2114 können computerausführbare Anweisungen speichern und somit eine Logik 2122 bilden, die, wenn sie auf den(die) Prozessor(en) 2104 angewendet und von diesem(n ausgeführt werden), Ausführungsformen der hier offenbarten Prozesses implementiert.
Die Eingabevorrichtung(en) 2108 umfasst(en) Vorrichtungen und Mechanismen zum Eingeben von Informationen in das Datenverarbeitungssystem 2120. Diese kann eine Tastatur, ein Tastenfeld, einen in den Monitor integrierten Touchscreen incorporated oder eine graphische Benutzerschnittstelle 2102, Kameras, Audioeingabevorrichtungen, wie beispielsweise Spracherkennungssysteme, Mikrophone und andere Arten von Eingabevorrichtungen umfassen. In verschiedenen Ausführungsformen kann(können) die Eingabevorrichtung(en) 2108 als eine Computermaus, eine Rollkugel, ein Track-Pad, ein Joystick, eine drahtlose Fernbedienung, ein Zeichentablett, ein Sprachbefehlssystem, ein Augenverfolgungssystem und dergleichen verkörpert sein. Die Eingabevorrichtung(en) 2108 ermöglichen typischerweise einem Benutzer, mit Ausgabeelementen zu wechselwirken oder diese zu steuern, die auf dem Monitor oder der graphischen Benutzerschnittstelle 2102 über einen Befehl, wie beispielsweise einen Klick einer Schaltfläche oder dergleichen, erscheinen.
Die Ausgabevorrichtung(en) 2106 umfasst(en) Vorrichtungen und Mechanismen zum Ausgeben von Informationen aus dem Datenverarbeitungssystem 2120. Diese können den Monitor oder die graphische Benutzerschnittstelle 2102, Lautsprecher, Drucker, Infrarot-LEDs und so weiter umfassen, wie es in der Technik verstanden wird.
Die Kommunikationsnetzwerkschnittstelle 2112 stellt eine Schnittstelle zu Kommunikationsnetzwerken (z.B., Kommunikationsnetzwerk 2116) und Vorrichtungen außerhalb des Datenverarbeitungssystems 2120 bereit. Die Kommunikationsnetzwerkschnittstelle 2112 kann als eine Schnittstelle zum Empfangen von Daten von und Übertragen von Daten an andere Systeme dienen. Ausführungsformen der Kommunikationsnetzwerkschnittstelle 2112 können eine Ethernet-Schnittstelle, ein Modem (Telefon, Satellit, Kabel, ISDN), eine (asynchrone) digitale Teilnehmerleitung (DSL), FireWire, USB, eine drahtlose Kommunikationsschnittstelle wie beispielsweise Bluetooth oder Wi-Fi, ein drahtlose Nahfeldkommunikationsschnittstelle, eine Mobilfunkschnittstelle und dergleichen umfassen.
Die Kommunikationsnetzwerkschnittstelle 2112 kann mit dem Kommunikationsnetzwerk 2116 über eine Antenne, ein Kabel oder dergleichen gekoppelt sein. In einigen Ausführungsformen kann die Kommunikationsnetzwerkschnittstelle 2112 physisch auf einer Leiterplatte des Datenverarbeitungssystems 2120 integriert sein oder in einigen Fällen in Software oder Firmware, wie beispielsweise „Softmodems“ oder dergleichen, implementiert sein.
Die Rechenvorrichtung 2100 kann eine Logik umfassen, die Kommunikationen über ein Netzwerk unter Verwendung von Protokollen, wie beispielsweise HTTP, TCP/IP, RTP/RTSP, IPX, UDP und dergleichen ermöglicht.
Der flüchtige Speicher 2110 und der nichtflüchtige Speicher 2114 sind Beispiele von greifbaren Medien, die konfiguriert sind, um computerlesbare Daten und Anweisungen zu speichern, um verschiedene Ausführungsformen der hier beschriebenen Prozesse zum Erzeugen von Foveated-Anzeigen zu implementieren. Andere Arten von greifbaren Medien umfassen Wechselspeicher (z.B. steckbare USB-Speichervorrichtungen, SIM-Karten für mobile Vorrichtungen), optische Speichermedien wie beispielsweise CD-ROMS, DVDs, Halbleiterspeicher wie beispielsweise Flash-Speicher, nicht-flüchtige Nur-Lese-Speicher (ROMS), batteriegepufferte flüchtige Speicher, vernetzte Speichervorrichtungen und dergleichen. Der flüchtige Speicher 2110 und der nichtflüchtige Speicher 2114 können konfiguriert sein, um die grundlegenden Programmier- und Datenkonstrukte zu speichern, welche die Funktionalität der offenbarten Prozesse und anderer Ausführungsformen derselben bereitstellen, die innerhalb des Umfangs der vorliegenden Erfindung fallen.
Die Logik 2122, die hier offenbarte Ausführungsformen der Techniken implementiert, kann in dem flüchtigen Speicher 2110 und/oder dem nichtflüchtigen Speicher 2114 gespeichert werden. Die Logik 2122 kann aus dem flüchtigen Speicher 2110 und/oder dem nichtflüchtigen Speicher 2114 gelesen und von dem(den) Prozessor(en) 2104 ausgeführt werden. Der flüchtige Speicher 2110 und der nichtflüchtige Speicher 2114 können auch ein Repositorium zum Speichern von Daten bereitstellen, das von der Logik 2122 verwendet wird. Beispielsweise kann die Logik 2122 benutzt werden, um das Foveated-Anzeige Verfahren 1200 und/oder das Blickverfolgungs- und Nutzungsverfahren 1300 auszuführen, die in 12 bzw. 13 anschaulich dargestellt sind.
Der flüchtige Speicher 2110 und der nichtflüchtige Speicher 2114 können eine Anzahl von Speichern umfassen, die einen Haupt-Direktzugriffsspeicher (Haupt-RAM) zum Speichern von Anweisungen und Daten während der Programmausführung und einen Nur-Lese-Speicher (ROM) umfassen, in dem nichtflüchtige Nur-Lese-Anweisungen gespeichert sind. Der flüchtige Speicher 2110 und der nichtflüchtige Speicher 2114 können ein Dateispeichersubsystem umfassen, das einen dauerhaften (nichtflüchtigen) Speicher für Programm- und Datendateien bereitstellt. Der flüchtige Speicher 2110 und der nichtflüchtige Speicher 2114 können Wechselspeichersysteme, wie beispielsweise einen wechselbaren Flash-Speicher, umfassen.
Das Bussubsystem 718 stellt einen Mechanismus zur Verfügung, mit dem die verschiedenen Komponenten und Subsysteme des Datenverarbeitungssystems 720 wie vorgesehen miteinander kommunizieren können. Obwohl die Kommunikationsnetzwerkschnittstelle 712 schematisch als ein einzelner Bus dargestellt ist, können einige Ausführungsbeispielen des Bussubsystems 718 mehrere verschiedene Busse benutzen.
Es ist für einen Durchschnittsfachmann leicht zu verstehen, dass die Rechenvorrichtung 2100 eine Vorrichtung wie beispielsweise ein Smartphone, ein Desktop-Computer, ein Laptop-Computer, ein Rack-Computersystem, ein Computer-Server oder eine Tablet-Computer-Vorrichtung sein kann. Wie in der Technik allgemein bekannt, kann die Rechenvorrichtung 2100 als eine Sammlung von mehreren vernetzten Rechenvorrichtungen implementiert werden. Darüber hinaus wird die Rechenvorrichtung 2100 typischerweise eine Betriebssystemlogik (nicht dargestellt) umfassen, deren Art und Beschaffenheit in der Technik wohlbekannt ist.
Die hier verwendeten Begriffe sollten ihrer gewöhnlichen Bedeutung nach dem jeweiligen Stand der Technik oder der Bedeutung, die durch ihre Verwendung im Kontext angezeigt ist, entsprechen. Wenn jedoch eine ausdrückliche Definition bereitgestellt ist, gilt diese Bedeutung.
In dieser Offenbarung können verschiedene Entitäten (die unterschiedlich als „Einheiten“, „Schaltkreise“, andere Komponenten usw. bezeichnet werden können) als „konfiguriert“ beschrieben oder beansprucht werden, um eine oder mehrere Aufgaben oder Operationen auszuführen. Diese Formulierung - [Entität], die konfiguriert ist, [um eine oder mehrere Aufgaben auszuführen] - wird hier verwendet, um sich auf eine Struktur zu beziehen (d.h. etwas physisches, wie beispielsweise eine elektronische Schaltung). Genauer gesagt wird diese Formulierung verwendet, um anzugeben, dass diese Struktur angeordnet ist, um eine oder mehrere Aufgaben während des Betriebs durchzuführen. Eine Struktur kann als „konfiguriert“ bezeichnet werden, um eine Aufgabe durchzuführen, auch wenn die Struktur aktuell nicht betrieben wird. Eine „Kreditverteilungsschaltung, die konfiguriert ist, um Kredite auf eine Vielzahl von Prozessorkernen zu verteilen“, ist beispielsweise bestimmt, eine integrierte Schaltung abzudecken, die Schaltungen aufweist, welche diese Funktion während des Betriebs ausführen, sogar wenn die betreffende integrierte Schaltung aktuell nicht eingesetzt wird (z.B. ist keine Leistungsversorgung damit verbunden). So bezieht sich eine Entität, die als „konfiguriert, um“ beschrieben oder angegeben wird, um eine Aufgabe auszuführen, auf etwas Physisches, wie z.B. eine Vorrichtung, eine Schaltung, einen Speicher, der Programmanweisungen speichert, die ausführbar sind, um die Aufgabe auszuführen, usw. Dieser Ausdruck wird hier nicht verwendet, um sich auf etwas Immaterielles zu beziehen.
Der Begriff „konfiguriert, um“ bedeutet nicht „konfigurierbar, um“. Ein unprogrammiertes FPGA würde beispielsweise nicht als „konfiguriert, um“ angesehen werden, um eine bestimmte Funktion auszuführen, obwohl es „konfigurierbar, um“ sein kann, um diese Funktion nach einer Programmierung auszuführen.
Das Angeben in den beigefügten Ansprüchen, eine Struktur ist „konfiguriert, um“ eine oder mehrere Aufgaben auszuführen, ist ausdrücklich dazu bestimmt, sich nicht auf 35 U.S.C. § 112(f) für dieses Anspruchselement zu berufen. Demengemäß sollten Ansprüche in dieser Anmeldung, die nicht anderweitig das Konstrukt „Mittel zum“ [Ausführen einer Funktion] umfassen, nicht gemäß 35 U.S.C. § 112(f) ausgelegt werden.
Der Begriff „basierend auf“ wird hier verwendet, um einen oder mehrere Faktoren zu beschreiben, die eine Bestimmung beeinflussen. Dieser Begriff schließt nicht die Möglichkeit aus, dass zusätzliche Faktoren die Bestimmung beeinflussen können. Das heißt, eine Bestimmung kann ausschließlich auf bestimmten Faktoren oder auf den bestimmten Faktoren sowie auf anderen, nicht spezifizierten Faktoren beruhen. Es sei der Ausdruck „A abhängig von B bestimmen“ betrachtet. Dieser Ausdruck spezifiziert, dass B ein Faktor ist, der zur Bestimmung von A verwendet wird oder die Bestimmung von A beeinflusst. Dieser Ausdruck schließt nicht aus, dass die Bestimmung von A auch auf einem anderen Faktor basieren kann, wie beispielsweise C. Dieser Ausdruck ist ebenfalls bestimmt, eine Ausführungsform abzudecken, bei der A ausschließlich auf der Grundlage von B bestimmt wird. Wie hier verwendet wird, ist der Ausdruck „basierend auf“ gleichbedeutend mit dem Ausdruck „zumindest teilweise basierend auf“.
Wie hier verwendet wird, beschreibt der Ausdruck „als Antwort auf“ einen oder mehrere Faktoren, die einen Wirkung auslösen. Dieser Ausdruck schließt die Möglichkeit nicht aus, dass zusätzliche Faktoren die Wirkung beeinflussen oder anderweitig auslösen können. Das heißt, eine Wirkung kann ausschließlich als Reaktion auf diese Faktoren oder als Reaktion auf die spezifizierten Faktoren sowie anderen, nicht spezifizierten Faktoren erfolgen. Es sei der Ausdruck „A abhängig von B ausführen“ betrachtet. Dieser Ausdruck spezifiziert, dass B ein Faktor ist, der die Durchführung von A auslöst. Dieser Ausdruck schließt nicht aus, dass das Durchführen von A auch als Antwort auf einen anderen Faktor, wie beispielsweise C, erfolgen kann. Dieser Ausdruck ist ebenfalls bestimmt, eine Ausführungsform abdecken, bei der A ausschließlich als Antwort auf B ausgeführt wird.
Wie hier verwendet, werden die Begriffe „erste(r/s)“, zweite(r/s)“ usw. als Bezeichnungen für Substantive verwendet, denen sie voranstehen, und implizieren keine Art von Reihenfolge (z.B. räumlich, zeitlich, logisch usw.), sofern es nicht anders angegeben ist. So können beispielsweise in einer Registerdatei mit acht Registern die Begriffe „erstes Register“ und „zweites Register“ verwendet werden, um auf zwei beliebige der acht Register und beispielsweise nicht nur auf die logischen Register 0 und 1 zu verweisen.
Wenn in den Ansprüchen verwendet, wird der Begriff „oder“ als ein einschließendes Oder und nicht als ein ausschließendes Oder verwendet. So bedeutet beispielsweise der Ausdruck „mindestens einer von x, y oder z“ einen von x, y und z sowie eine beliebige Kombination davon.
„Logik“ bezieht sich hier auf Speicherschaltungen von Maschinen, nichtflüchtige maschinenlesbare Medien und/oder Schaltungen, die durch ihre Material- und/oder Materialenergiekonfiguration Steuer- und/oder Verfahrenssignale und/oder Einstellungen und Werte (wie Widerstand, Impedanz, Kapazität, Induktivität, Strom/Spannungswerte usw.) umfassen, die angewendet werden können, um den Betrieb einer Vorrichtung zu beeinflussen. Magnetische Medien, elektronische Schaltungen, elektrische und optische Speicher (sowohl flüchtige als auch nichtflüchtige) und Firmware sind Beispiele für eine Logik. Die Logik schließt insbesondere reine Signale oder Software an sich aus (schließt jedoch Maschinenspeicher, die Software umfassen und dadurch Konfigurationen aus Materie ausbilden), nicht aus.

Claims

Anzeigesystem für erweiterte Realität, umfassend: eine Einfügungsanzeige; einen Halbspiegel; einen konkaven Halbspiegel; und einen Wellenleiter, der den Halbspiegel und den konkaven Halbspiegel umfasst, wobei der Wellenleiter ein durch die Einfügungsanzeige erzeugtes Einfügungsbild in eine foveale Einfügung umwandelt.
Anzeigesystem für erweiterte Realität gemäß Anspruch 1, ferner umfassend: ein holographisches optisches Element; und eine bewegbare Bühne, die mit dem holographischen optischen Element gekoppelt ist; wodurch das holographische optische Element in mindestens einer räumlichen Dimension mit der bewegbaren Bühne verschoben werden kann.
Anzeigesystem für erweiterte Realität gemäß Anspruch 1 oder 2, ferner umfassend: einen Projektor, um eine periphere Anzeige zu erzeugen.
Anzeigesystem für erweiterte Realität gemäß Anspruch 3, wobei die Einfügungsanzeige Licht zu der fovealen Einfügung mit einer höheren Auflösung emittiert als eine Auflösung von Licht, das durch den Projektor für die periphere Anzeige emittiert wird.
Anzeigesystem für erweiterte Realität gemäß Anspruch 3 oder 4, das angeordnet ist, so dass der Projektor ein Peripheriebild in Richtung eines Prismas lenkt, wobei das Prisma das Peripheriebild in ein holographisches optisches Element bricht.
Anzeigesystem für erweiterte Realität gemäß einem der Ansprüche 3 bis 5, das angeordnet ist, so dass der konkave Halbspiegel die foveale Einfügung durch ein holographisches optisches Element lenkt.
Anzeigesystem für erweiterte Realität gemäß einem der vorangehenden Ansprüche, wobei die Einfügungsanzeige konfiguriert ist, um auf ein Steuersignal zu antworten, um die foveale Einfügung auf einen Abschnitt eines Blickfelds eines Benutzers des Anzeigesystems für erweiterte Realität einzustellen.
Anzeigesystem für erweiterte Realität gemäß Anspruch 7, wobei die Einfügungsanzeige konfiguriert ist, um auf ein Pupillenverfolger-Steuersignal zu antworten, um eine Position der fovealen Einfügung auf dem Blickfeld einzustellen.
Anzeigesystem für erweiterte Realität gemäß einem der vorangehenden Ansprüche, das angeordnet ist, so dass das Einfügungsbild in Richtung des Halbspiegels emittiert wird, der Halbspiegel das Einfügungsbild in Richtung des konkaven Halbspiegels umlenkt und der konkave Halbspiegel das Einfügungsbild durch den Halbspiegel und ein holographisches optisches Element an eine Pupillenposition eines Benutzers des Anzeigesystems für erweiterte Realität lenkt.
Anzeigesystem für erweiterte Realität gemäß einem der vorangehenden Ansprüche, wobei der Wellenleiter eine reflektierende Vergrößerungslinse für das Einfügungsbild bildet.
Anzeigesystem für erweiterte Realität, umfassend: einen ersten Strahlengang für ein foveales Einfügungsbild, das durch ein holographisches optisches Element projiziert wird, wobei der erste Strahlengang eine reflektierende Vergrößerungslinse bildet; einen zweiten Strahlengang für ein peripheres Anzeigebild auf dem holographischen optischen Element; eine Pupillenposition-Verfolgungslogik; und wobei die Pupillenposition-Verfolgungslogik Steuersignale erzeugt, um eine Position der fovealen Einfügung auf dem holographischen optischen Element einzustellen, um das periphere Anzeigebild zu bestimmen und eine bewegbare Bühne zu steuern, die mit dem holographischen optischen Element gekoppelt ist.
Anzeigesystem für erweiterte Realität gemäß Anspruch 11, wobei die reflektierende Vergrößerungslinse umfasst: einen Halbspiegel und einen konkaven Halbspiegel, wobei beide Seiten des konkaven Halbspiegels indexangepasst sind.
Anzeigesystem für erweiterte Realität gemäß Anspruch 11 oder 12, wobei das foveale Einfügungsbild durch eine Einfügungsanzeige erzeugt wird, wobei ein Gleitsichtbetrieb mit focal cues bis ins Unendliche durch Bewegen der Einfügungsanzeige erreicht wird.
Anzeigesystem für erweiterte Realität gemäß Anspruch 13, wobei die Einfügungsanzeige eine 720p-Anzeige oder eine 1080p-Anzeige ist und das periphere Anzeigebild durch einen Laserprojektor einer niedrigeren Auflösung als die Einfügungsanzeige erzeugt wird.
Anzeigesystem für erweiterte Realität gemäß Anspruch 14, das angeordnet ist, so dass von dem Laserprojektor stammende Bildstrahlen an dem holographischen optischen Element reflektiert werden und gegen die Pupillenposition konvergieren.
Anzeigesystem für erweiterte Realität gemäß einem der Ansprüche 11 bis 15, wobei das holographische optische Element als ein hybrider, reflektierender und transparenter Bildkombinierer betreibbar ist.
Anzeigesystem für erweiterte Realität gemäß einem der Ansprüche 11 bis 16, ferner umfassend eine Infrarot-Leuchtdiodenvorrichtung.
Anzeigesystem für erweiterte Realität gemäß Anspruch 17, das angeordnet ist, so dass emittiertes Infrarotlicht von der Infrarot-Leuchtdiodenvorrichtung an einer Hornhaut eines Benutzers in Richtung eines Halbspiegels reflektiert wird, der als ein Strahlenteiler wirkt.
Anzeigesystem für erweiterte Realität gemäß Anspruch 18, wobei die Pupillenposition-Verfolgungslogik das an der Hornhaut reflektierte Infrarotlicht benutzt, um die Pupillenposition zu bestimmen.
Anzeigesystem für erweiterte Realität gemäß einem der Ansprüche 11 bis 19, das konfiguriert ist, um das foveale Einfügungsbild mit einer höheren Auflösung als das periphere Anzeigebild zu erzeugen.