DE112016005395T5

DE112016005395T5 - Prismenbasierte Augenverfolgung

Info

Publication number: DE112016005395T5
Application number: DE112016005395.9T
Authority: DE
Inventors: Zhibin Zhang; Jerry Carollo
Original assignee: Google LLC
Current assignee: Google LLC
Priority date: 2015-11-25
Filing date: 2016-11-18
Publication date: 2018-08-02
Also published as: KR102078059B1; EP3380883A1; CA2995746A1; AU2016359149B2; KR20180033222A; GB201802305D0; CN108885341A; US10303940B2; CN108885341B; CA2995746C; US20170147859A1; JP6494863B2; JP2018536883A; AU2016359149A1; EP3380883B1; WO2017091477A1; GB2556588A

Abstract

Eine HMD-Vorrichtung (100, 300) umfasst eine Anzeigetafel (102, 308, 310) und einen x-Prismen-Strahlteiler (104), der entlang einer ersten Achse (202) zwischen der Anzeigetafel und einer erwarteten Position eines Auges (112) angeordnet ist. Der x-Prismen-Strahlteiler lenkt einen ersten Lichtstrahl (212) in eine erste Richtung von der Anzeigetafel zu dem Auge entlang der ersten Achse, lenkt einen zweiten Lichtstrahl (216) in eine zweite Richtung entlang einer zweiten Achse (208), die im Wesentlichen senkrecht zu der ersten Achse ist, und lenkt einen dritten Lichtstrahl (222) in die zweite Richtung entlang der zweiten Achse, wobei der zweite Lichtstrahl für den ersten Lichtstrahl repräsentativ ist und der dritte Lichtstrahl für eine Reflexion des ersten Lichtstrahls aus dem Auge repräsentativ ist. Die HMD-Vorrichtung umfasst ferner eine Abbildungskamera (106) zum Aufnehmen eines Kompositbildes (232), das eine Kombination aus sowohl einer Repräsentation des zweiten Lichtstrahls als auch einer Repräsentation des dritten Lichtstrahls umfasst.

Description

Gebiet der Offenbarung
Die vorliegende Offenbarung bezieht sich im Allgemeinen auf am Kopf angebrachte Anzeigesysteme und insbesondere auf die Augenverfolgung in am Kopf angebrachten Anzeigesystemen.
Hintergrund
Am Kopf angebrachte Anzeigevorrichtungen (HMD-Vorrichtungen) verwenden eine Anzeigetafel, die vor den Augen eines Anwenders angebracht ist, um verschiedene Arten von Inhalt anzuzeigen, einschließlich Inhalt mit virtueller Realität (VR-Inhalt), Inhalt mit erweiterter Realität (AR-Inhalt) und dergleichen. Augenverfolgung ist oft in HMD-Systemen implementiert, um verschiedene Funktionalitäten zu ermöglichen, wie z. B. foveale Bildgebung (auch bekannt als blickabhängige Bildgebung), augenbewegungsbasierte Anwendereingabe oder -interaktion und dergleichen. Herkömmliche Augenverfolgungsmechanismen verwenden typischerweise eine komplexe Anordnung von Linsen und Spiegeln, um ein Bild des Auges zu erfassen und aus diesem Bild eine Blickrichtung des Auges abzuschätzen. HMD-Vorrichtungs-Hersteller sind jedoch bestrebt, HMD-Vorrichtungen mit reduzierten Formfaktoren bereitzustellen, und der komplexe optische Mechanismus, der in herkömmlichen Systemen erforderlich ist, um diese Augenverfolgungsfunktion bereitzustellen, ohne die Anzeigetafel zu verdecken, verhindert häufig die Implementierung eines kleinen Formfaktors für die HMD-Vorrichtung. Darüber hinaus sind die Algorithmen, die zum Schätzen des Blicks des Auges auf der Grundlage von herkömmlich erfassten Augenbildem implementiert sind, oft rechenintensiv und somit in HMD-Vorrichtungen in der Praxis nicht ohne ein kostspieliges und energieverbrauchendes Hochleistungsrechensystem implementierbar.
Figurenliste
Durch Bezugnahme auf die begleitenden Zeichnungen wird die vorliegende Offenbarung besser verständlich und ihre zahlreichen Merkmale und Vorteile für Fachleute ersichtlich. Die Verwendung derselben Bezugszeichen in verschiedenen Zeichnungen gibt ähnliche oder identische Elemente an.

1 ist eine Darstellung, die eine Anordnung von Komponenten eines Augenverfolgungssystems, das einen x-Prismen-Strahlteiler verwendet, gemäß mindestens einer Ausführungsform der vorliegenden Offenbarung darstellt.
2 ist eine Darstellung, die eine Querschnittsansicht des Augenverfolgungssystems von 1 gemäß mindestens einer Ausführungsform der vorliegenden Offenbarung darstellt.
3 ist eine Darstellung, die eine Rückansicht einer HMD-Vorrichtung, die das Augenverfolgungssystem von 1 implementiert, gemäß mindestens einer Ausführungsform der vorliegenden Offenbarung darstellt.
4 ist eine Darstellung, die ein Verarbeitungssystem der HMD-Vorrichtung von 3 gemäß mindestens einer Ausführungsform der vorliegenden Offenbarung darstellt.
5 ist eine Darstellung, die zwei Beispiele von Kompositbildern zur Verwendung bei der Augenverfolgung gemäß mindestens einer Ausführungsform der vorliegenden Offenbarung darstellt.

Genaue Beschreibung
Die folgende Beschreibung soll ein gründliches Verständnis der vorliegenden Offenbarung vermitteln, indem eine Anzahl spezifischer Ausführungsformen und Einzelheiten bereitgestellt werden, die HMD-basierte Augenverfolgungssysteme beinhalten. Es versteht sich jedoch, dass die vorliegende Offenbarung nicht auf diese spezifischen Ausführungsformen und Einzelheiten beschränkt ist, die nur Beispiele sind, und der Schutzumfang der Offenbarung soll dementsprechend nur durch die folgenden Ansprüche und deren Äquivalente beschränkt sein. Zur Veranschaulichung können die hier beschriebenen Augenverfolgungssysteme in anderen Systemen neben HMD-basierten Systemen verwendet werden. Es versteht sich ferner, dass der Fachleute angesichts der bekannten Systeme und Verfahren die Nutzung der Offenbarung für ihre beabsichtigten Zwecke und Vorteile in einer beliebigen Anzahl von alternativen Ausführungsformen in Abhängigkeit von dem spezifischen Design und anderen Bedürfnissen erkennen würden.
1 bis 5 zeigen beispielhafte Vorrichtungen und Techniken zur Augenverfolgung in einer HMD-Vorrichtung oder anderen ähnlichen Vorrichtungen. In mindestens einer Ausführungsform ist ein x-Prismen-Strahlteiler entlang einer Sichtachse zwischen einer Anzeigetafel und dem erwarteten Ort eines Auges eines Anwenders positioniert und eine Augenverfolgungskamera ist so positioniert, dass sie auf einen Port des x-Prismen-Strahlteilers fokussiert, die senkrecht zu den zwei Ports des x-Prismen-Strahlteilers ist, die die Sichtachse schneiden. Für Augenverfolgungszwecke wird ein Satz von IR-Leuchten mit einer festen Positionsbeziehung zu der Anzeigetafel ausgelöst oder zum „Blinken“ gebracht, um das Auge des Anwenders durch den x-Prismen-Strahlteiler zu beleuchten. Der x-Prismen-Strahlteiler bewirkt, dass ein Bild oder eine andere Darstellung des Lichts von dem Anzeigeschirm und des IR-Lichts aus dem Satz von IR-Lichtquellen auf die Augenverfolgungskamera projiziert wird, und bewirkt gleichzeitig, dass ein Bild oder eine andere Darstellung der Reflexion des Lichts aus dem Auge des Anwenders und der Umgebung des Auges auf die Augenverfolgungs-Kamera projiziert wird. Die Augenverfolgungskamera kann somit ein Kompositbild erfassen, das die bildliche Darstellung der Anzeigetafel und der IR-Lichtquellen und die die bildliche Darstellung der Reflexion aus dem Auge des Anwenders und der Umgebung umfasst. Dieses Kompositbild kann dann analysiert werden, um die aktuelle Position, Orientierung oder Blickrichtung des Auges des Anwenders zu bestimmen.
1 zeigt ein Augenverfolgungssystem 100 zur Implementierung in einer am Kopf angebrachten Vorrichtung (HMD) oder einem ähnlichen Anzeigesystem gemäß mindestens einer Ausführungsform. Wie gezeigt umfasst das Augenverfolgungssystem 100 eine Anzeigetafel 102, einen x-Prismen-Strahlteiler 104, eine Abbildungskamera 106 und ein Augenverfolgungsverarbeitungs-Untersystem 108. Die Anzeigetafel 102 wird verwendet, um Bilder für einen Anwender anzuzeigen. In einigen Ausführungsformen wird eine einzelne Anzeigetafel 102 verwendet, um zusammen separate Bilder Seite an Seite anzuzeigen, eines für jedes Auge 112 des Anwenders. In anderen Ausführungsformen wird eine separate Anzeigetafel 102 für jedes Auge 112 verwendet. Ferner werden in einigen Ausführungsformen beide Augen des Anwenders verfolgt, wobei in diesem Fall eine separate Augenverfolgungskamera 106 für jedes Auge 112 implementiert ist. Gleichermaßen kann ein separater x-Prismen-Strahlteiler 104 für jedes Auge implementiert sein oder ein einzelner x-Prismen-Strahlteiler 104 mit einer Breite (d. h. in einer Richtung parallel zu der Fläche der Anzeigetafel 102), die sich über beide Augen 112 des Anwenders erstreckt, kann verwendet werden. Eine oder mehrere optische Linsen (nicht gezeigt) können entlang der Sichtachse zwischen der Anzeigetafel 102 und dem x-Prismen-Strahlteiler 104, zwischen dem x-Prismen-Strahlteiler 104 und dem Auge 112 oder in beiden Positionen positioniert sein.
Der x-Prismen-Strahlteiler 104 (im Folgenden zur Erleichterung der Bezugnahme „x-Prisma 104“) ist entlang einer Sichtachse (Sichtachse 202, 2) zwischen der Anzeigetafel 102 und der erwarteten oder vorhergesehenen Position des Auges 112 positioniert. Das x-Prisma 104 umfasst einen Würfel oder ein anderes spatförmiges Prisma mit zwei teilreflektierenden Flächen 114, 115, die im Wesentlichen senkrecht (d. h. 90° +/-10°) zueinander sind und im Wesentlichen nicht-senkrechte Winkel relativ zu der Sichtachse aufweisen. Wie in der Ansicht 116 gezeigt kann das x-Prisma 104 von vier getrennten rechtwinkligen dreieckigen Prismen 117, 118, 119, 120 aufgebaut sein, die miteinander verklebt oder anderweitig mechanisch verbunden sind, um einen Spat-Strahlteiler zu bilden. Die Prismen 117-120 sind so implementiert, dass für jede teilreflektierende Fläche 114, 115 ein einfallender Lichtstrahl teilweise durchgelassen und teilweise reflektiert wird. Zum Beispiel können die Prismen 117-120 unter Verwendung von (für die Wellenlängen von Interesse) transparenten Klebeschichten mit einer Dicke, die auf Wellenlängen von Interesse basiert, aneinander geklebt sein, so dass ein Teil des einfallenden Lichtstrahls (z. B. 50 %) in einem Winkel von 90 Grad relativ zu dem Einfallswinkel reflektiert wird und der verbleibende Anteil des einfallenden Lichts (z. B. 50 %) wird aufgrund des Phänomens der verhinderten internen Totalreflexion, das durch die Grenzfläche zwischen den Prismen und die Dicke der Haftschicht dazwischen verursacht wird, im Wesentlichen entlang seines ursprünglichen Wegs durch das x-Prisma 104 durchgelassen. Als Alternative können die sich zugewandten Seiten von einigen der Prismen 117-120 mit dünnen oder diskontinuierlichen Beschichtungen aus Metall (z. B. Aluminium) oder anderen geeigneten Materialien (z. B. dichroitischen Materialien für IR/sichtbares Licht) beschichtet sein, so dass dann, wenn die Prismen 117-120 zusammengefügt sind, um das x-Prisma 104 zu bilden, die dünnen/diskontinuierlichen Beschichtungen die teilweise reflektierenden Flächen 114, 115 bilden. Zum Beispiel können die Fläche 121 des Prismas 117 und die Fläche 122 des Prismas 119 jeweils eine dünne oder diskontinuierliche Beschichtung aus dem geeigneten Material erhalten, so dass dann, wenn die Prismen 117-120 zusammengefügt sind, die dünnen/diskontinuierlichen Beschichtungen auf den Flächen 121, 122 zusammen die teilweise reflektierende Schicht 115 bilden. In ähnlicher Weise können die Fläche 123 des Prismas 118 und die Fläche 124 des Prismas 120 jeweils eine dünne oder diskontinuierliche Beschichtung aus Material erhalten, so dass dann, wenn die Prismen 117-120 zusammengefügt sind, die dünne/diskontinuierliche Beschichtung auf den Flächen 123 und 124 zusammen die teilweise reflektierende Fläche 114 bilden.
In einigen Ausführungsformen wird Licht außerhalb des sichtbaren Spektrums wie z. B. Infrarotlicht (IR-Licht, und insbesondere Nahinfrarotlicht (NIR-Licht)) sowohl zum Ausleuchten des Auges 112 zum Zwecke der Augenverfolgung als auch als Koordinatensystem-Referenzpunkte für den Augenverfolgungsprozess verwendet. Zur Veranschaulichung kann ein Satz von einer oder mehreren IR-Lichtquellen wie z. B. IR-Lichtquellen 126, 127, 128, 129 in einer festen Positionsbeziehung mit der Anzeigetafel 102 in einem spezifischen Muster implementiert sein. Wie nachstehend beschrieben dienen das spezifische Muster des Satzes von IR-Lichtquellen und ihre feste Beziehung relativ zu der Anzeigetafel 102 als Koordinatensystemreferenz. In einigen Ausführungsformen wird diese feste Positionsbeziehung erhalten, indem die IR-Lichtquellen 126-129 an der Anzeigetafel 102 fixiert werden, etwa an den vier Ecken der Anzeigetafel 102, wie es in 1 dargestellt ist. In anderen Ausführungsformen können die IR-Lichtquellen „virtuell“ in Bezug auf die Anzeigetafel 102 eingebettet sein, beispielsweise durch physisches Positionieren der IR-Lichtquellen in der Nähe des Kameraraums, so dass sie „virtuell“ durch eine oder mehrere Linsen auf der Anzeigetafel 102 positioniert sind. In beiden Ansätzen ändert sich, da die IR-Lichtquellen fixiert sind und die Anzeigetafel 102 jeweils fixiert ist, die relative Position nicht und somit wird eine feste relative Positionsbeziehung zwischen den IR-Lichtquellen und der Anzeigetafel 102 hergestellt. Die IR-Lichtquellen 126-129 können jeweils einen IR-emittierenden Oberflächenemitterlaser mit vertikalem Resonator (VECSEL), eine IR-Leuchtdiode (LED) und dergleichen umfassen.
Der allgemeine Betrieb des Augenverfolgungssystems 100 wird unter Bezugnahme auf 2 besser verständlich. 2 zeigt eine Querschnittsansicht 200 des Augenverfolgungssystems 100 gemäß einigen Ausführungsformen. Wie dargestellt ist das x-Prisma 104 zwischen der Anzeigetafel 102 und der erwarteten Position des entsprechenden Auges 112 des Anwenders entlang einer o einer Sichtachse 202, oder nach dieser ausgerichtet, zwischen der Anzeigetafel 102 und dem Auge 112 positioniert und hat somit einen Port 203, der der Anzeigetafel 102 zugewandt ist, und einen gegenüberliegenden Port 205, der dem Auge 112 zugewandt ist. Eine oder mehrere Linsen oder andere optische Elemente können entlang dieser Sichtachse 202 angeordnet sein, wie etwa eine Vergrößerungslinse 204, die zwischen der Anzeigetafel 102 und dem x-Prisma 104 angeordnet ist, oder eine Vergrößerungslinse 206, die zwischen dem x-Prisma 104 und dem Auge 112 angeordnet ist.
Die Abbildungskamera 106 (im Folgenden „die Augenverfolgungskamera 106“) ist entlang einer optischen Achse 208 (nachfolgend „Reflexionsachse 208“) angeordnet, die im Allgemeinen im Wesentlichen senkrecht zu der Sichtachse 202 ist und die Sichtachse 202 bei dem oder in der Nähe des Schnittpunkts der teilreflektierenden Flächen 114, 115 innerhalb des x-Prismas 104 schneidet. Das heißt, die Augenverfolgungskamera 106 ist auf einen Port 207 fokussiert, der senkrecht zu dem Port 203 ist. Wie in 2 gezeigt umfasst die Augenverfolgungskamera 106 eine Linsenanordnung 210 aus einer oder mehreren Linsen, um einfallendes Licht auf einen Bildsensor 211 zu fokussieren. Wie hierin beschrieben kann IR-Licht zur Augenausleuchtung und Referenzpunkterzeugung zu Zwecken der Augenverfolgung verwendet werden, und somit kann der Bildsensor 211 einen Bildsensor umfassen, der für IR-Licht empfindlich ist oder auf andere Weise IR-Licht-Inhalt erfassen kann, wie etwa einen Bildsensor mit dualen Rot-Grün-Blau-(RGB-) und IR-Fähigkeiten. Ein Beispiel für einen solchen Sensor umfasst den OV4682-RGBIR-Bildsensor, der von OmniVision Technologies Inc. erhältlich ist. Aufgrund des relativ kleinen Formfaktors, der typischerweise in HMD-Vorrichtungen zu finden ist, kann sich die Augenverfolgungskamera 106 relativ nahe an dem Port 207 des x-Prismas 104 befinden, und somit kann die Augenverfolgungskamera 106 mit einer kleinen Blendenzahl implementiert werden, um auf das Auge 112 und die Anzeigetafel 102 durch das x-Prisma 104 mit einer Modulationsübertragungsfunktion (MTF), die von unendlich bis zur Hyperfokuslänge geeignet ist, hyperzufokussieren.
Im normalen Betrieb (d. h., ohne den hierin beschriebenen Augenverfolgungsprozess zu aktivieren) wird die Anzeigetafel 102 durch einen Anzeigecontroller angesteuert, um bildliche Darstellungen in Form von sichtbarem Licht anzuzeigen, das von der Anzeigetafel 102 emittiert wird. Dieses sichtbare Licht wird entlang der Sichtachse 202 an den Port 203 des x-Prismas 104 übertragen. Wenn sich das sichtbare Licht durch das x-Prisma 104 von dem Port 203 zu dem gegenüberliegenden Port 205 fortpflanzt, trifft das sichtbare Licht auf die teilreflektierenden Flächen 114, 115. In mindestens einer Ausführungsform die teilweise reflektierende Fläche 114 ist so ausgelegt, dass sie für das Licht im sichtbaren Lichtspektrum (etwa 400 bis 700 Nanometer (nm)) im Wesentlichen transparent ist, und somit schwächt die teilweise reflektierende Fläche 114 das sichtbare Licht nicht übermäßig ab oder verdeckt es, wenn es sich von dem Port 203 zu dem Port 205 und daraufhin zu dem Auge 112 entlang der Sichtachse 202 fortpflanzt. Im Gegensatz dazu ist in mindestens einer Ausführungsform die teilweise reflektierende Fläche 115 so ausgelegt, dass sie für Licht im sichtbaren Lichtspektrum teilweise reflektierend ist, und somit wird ein Teil des sichtbaren Lichts von der teilweise reflektierenden Fläche 115 in Richtung des und durch den Port 207 entlang der Reflexionsachse 208 reflektiert. Somit dämpft das x-Prisma 104 die vorhandene Intensität oder Ausleuchtung im sichtbaren Licht, wenn es sich durch das x-Prisma 104 zu dem Auge 112 fortpflanzt. Zum Beispiel unter der Annahme eines Transmissionsanteils von 100 % für die teilweise reflektierende Fläche 114 für sichtbares Licht und eines 50%/50%-Verhältnisses zwischen Reflexion und Transmission für die teilweise reflektierende Fläche 115 (und unter der Annahme zur Vereinfachung der Darstellung, dass die Verluste innerhalb des x-Prismas 104 vernachlässigbar sind), würde die Helligkeit des sichtbaren Lichts, die das Auge 112 durch das x-Prisma 104 erreicht, 50 % der Helligkeit des auf den Port 203 einfallenden sichtbaren Lichts betragen. In einer typischen HMD-Anwendung ist die Lichtstärkekapazität der Anzeigetafel 102 mehr als ausreichend, um diesen Verlust zu kompensieren und eine akzeptable Intensität sichtbaren Lichts an das Auge 112 zu liefern.
Bei einem Augenverfolgungsbetrieb wird der Satz von Lichtquellen 126-129 (wobei in der Querschnittsansicht 200 nur Lichtquellen 126 und 129 dargestellt sind) aktiviert und emittiert somit IR-Licht, das mit dem von der Anzeigetafel 102 emittierten sichtbaren Licht kombiniert wird, um einen Lichtstrahl 212 (im Folgenden „der Anfangslichtstrahl 212“) zu bilden, der auf den Port 203 des x-Prismas 104 fokussiert ist. Beim Durchlaufen des x-Prismas 104 trifft der Anfangslichtstrahl 212 auf die teilweise reflektierende Fläche 114 und die teilweise reflektierende Fläche 115. Die teilweise reflektierende Fläche 115 ermöglicht einem Teil (z. B. 50 %) des IR- und sichtbaren Lichts des Anfangslichtstrahls 212 die Transmission entlang der Sichtachse 202 zu dem Port 207 und von dort zu dem Auge 212 als transmittierter Lichtstrahl 214 fortzusetzen, während ein anderer Teil (z. B. 50%) des IR- und sichtbaren Lichts aus dem Anfangslichtstrahl 212 in einem rechten Winkel zu dem Port 207 entlang der Reflexionsachse 208 als reflektierter Lichtstrahl 216 reflektiert wird.
Wie oben angemerkt kann die teilweise reflektierende Fläche 114 so ausgelegt sein, dass sie im Wesentlichen transparent für sichtbares Licht ist, und somit beeinflusst die reflektierende Fläche 114 die Transmission des Gehalts an sichtbaren Licht des Anfangslichtstrahls 212 nicht signifikant. Jedoch kann die teilweise reflektierende Fläche 114 für Licht in dem Infrarotspektrum (z. B. etwa 700 nm bis 850 nm für NIR oder etwa 700 nm bis 1000 nm für Vollspektrum-IR) so ausgelegt sein, dass sie teilweise reflektierend ist, beispielsweise mit einem Verhältnis von Transmission zu Reflexion von 50%/50% für IR-Licht. Beim Auftreffen auf die teilweise reflektierende Fläche 114 wird somit ein Teil (z. B. 50 %) des im Anfangslichtstrahl 212 vorhandenen IR-Lichts zu dem Port 205 und dann zu dem Auge 112 transmittiert, während ein anderer Teil (z. B. 50 %) des IR-Lichts entlang der Reflexionsachse 208 in Richtung eines Ports 209 gegenüber dem Port 207 reflektiert. So würde beispielsweise unter der Annahme eines Reflexionsanteils von 50 % für IR-Licht durch jede der teilweise reflektierenden Flächen 114 und Reflexionsanteilen von 0 % und 50 % für sichtbares Licht durch die teilweise reflektierende Fläche 114 bzw. die teilweise reflektierende Fläche 115 der transmittierte Lichtstrahl 214 50 % des sichtbaren Lichts und 25 % des IR-Lichts aus dem Anfangslichtstrahl 212 enthalten und der reflektierte Lichtstrahl 216 würde 50 % des sichtbaren Lichts und 25 % des IR-Lichts aus dem Anfangslichtstrahl 212 enthalten.
Der transmittierte Lichtstrahl 214 verlässt das x-Prisma 104 über den Port 205 und trifft auf das Auge 112. Ein Teil des IR- und sichtbaren Lichts, das in dem transmittierten Lichtstrahl 214 vorhanden ist, wird von dem Auge 112 und dem umgebenden Bereich zurück zu dem Port 205 reflektiert. Wenn der reflektierte Lichtstrahl 218 das x-Prisma 104 durchläuft, trifft der reflektierte Lichtstrahl 218 auf die teilweise reflektierenden Flächen 114, 115, die einen entsprechenden Teil des IR-Lichts und sichtbaren Lichts, das in dem reflektierten Lichtstrahl 218 vorhanden ist, auf ähnliche Weise wie oben unter Bezugnahme auf den Anfangslichtstrahl 212 beschrieben transmittieren und reflektieren. Somit bewirken die teilweise reflektierenden Flächen 114, 115, dass ein Teil des reflektierten Lichtstrahls 218 durch den Port 203 entlang der Sichtachse 203 als ein transmittierter Lichtstrahl 220 transmittiert wird, und bewirken, dass ein anderer Teil des reflektierten Lichtstrahls 218 in Richtung des Ports 207 als reflektierter Lichtstrahl 222 reflektiert wird. Es ist zu beachten, dass ein anderer Teil des reflektierten Lichtstrahls 218 in Richtung des Ports 209 reflektiert wird, aber dieser Aspekt ist in 2 der Klarheit halber weggelassen.
Aufgrund ihrer partiellen Reflexivität wirken die teilweise reflektierenden Flächen 114, 115 so, dass sie einen Teil des im reflektierten Lichtstrahl 218 vorhandenen IR-Lichts in Richtung des Ports 207 entlang der Reflexionsachse 208 reflektieren. Zur Veranschaulichung sind unter der Annahme, dass die teilweise reflektierenden Flächen 114, 115 beide einen Reflexionsanteil von 50 % für IR-Licht haben, ungefähr 25 % des IR-Lichts, das in dem reflektierten Lichtstrahl 218 vorhanden ist, in dem daraus erzeugten reflektierten Lichtstrahl 222 vorhanden. Da die teilweise reflektierende Fläche 114 für sichtbares Licht im Wesentlichen transparent ist, während die teilweise reflektierende Fläche 115 zumindest einen Teil des einfallenden sichtbaren Lichts reflektiert, wirkt die teilweise reflektierende Fläche 115 ferner so, dass sie einen Teil des in dem reflektierten Lichtstrahl 218 vorhandenen sichtbaren Lichts in Richtung des Ports 209 entlang der Reflexionsachse 208 reflektiert. Beispielsweise sind unter der Annahme eines Reflexionsanteils von 0 % für die teilweise reflektierende Fläche 114 und eines Reflexionsanteils von 50 % für die teilweise reflektierende Fläche oder Ebene für sichtbares Licht, ungefähr 50 % des sichtbaren Lichts, das in dem reflektierten Lichtstrahl 218 vorhanden ist, in dem daraus erzeugten reflektierten Lichtstrahl 222 vorhanden.
Wenn die Augenverfolgungskamera 106 auf den Port 207 fokussiert ist, werden die davon emittierten reflektierten Lichtstrahlen 216, 222 gleichzeitig durch den Bildsensor 211 erfasst. Da der reflektierte Lichtstrahl 216 eine strahlgeteilte Repräsentation des Anfangslichtstrahls 212 ist, repräsentiert der reflektierte Lichtstrahl 216 ein Bild 224 der Anzeigetafel 102 zusammen mit dem IR-Licht, das von dem Satz von IR-Lichtquellen 126-129 bzw. 229 emittiert wird, als IR-Lichtpunkte 226, 227, 228. In ähnlicher Weise ist der reflektierte Lichtstrahl 222 eine strahlgeteilte Repräsentation des reflektierten Lichtstrahls 218, die wiederum eine Repräsentation einer Reflexion der Anzeigetafel 102 und des Satzes von IR-Lichtquellen 126-129 aus dem Auge 112 und der Umgebung des Auges 112 ist. Der reflektierte Lichtstrahl 222 repräsentiert somit ein Bild 230 des Auges 112 und der Umgebung, wie sie durch das IR-Licht aus dem Satz von IR-Lichtquellen 126-129 und dem aus dem Anzeigetafel emittierten sichtbaren Licht beleuchtet werden. Somit führt das gleichzeitige Erfassen der reflektierten Lichtstrahlen 216, 222 durch den Bildsensor 21 dazu, dass der Bildsensor 211 ein Bild 232 erfasst, das ein Komposit oder eine Kombination der Bilder 224 und 230 ist. Dementsprechend enthält das Bild 232 (im Folgenden als „Kompositbild 232“ bezeichnet) das Bild des sichtbaren Lichts, das auf dem Anzeigetafel 102 zu dem Zeitpunkt der Bilderfassung angezeigt wird, das IR-Licht, das von dem Satz von den IR-Lichtquellen 126-129 emittiert wird, in Form von IR-Lichtpunkten 226-229, sichtbares und IR-Licht, das von dem Auge 112 und der Umgebung des Auges des Anwenders reflektiert wird, und Reflexionen von einigen oder allen der IR-Lichtpunkte 226-229 aus dem Auge 112 z. B. in Form von Reflexionspunkten 236, 237, 238, und 239 für IR-Lichtpunkte 226, 227, 228 bzw. 229. Aus der Position der Pupille, Iris, Hornhaut und/oder Lederhaut des Auges 112, wie sie aus dem Kompositbild 232 detektiert werden, kann das Augenverfolgungsverarbeitungs-Untersystem 108 den Blickwinkel oder die Blickrichtung des Auges 112 unter Verwendung einer beliebigen einer Vielzahl von Augenverfolgungsalgorithmen bestimmen. Ferner kann das Vorhandensein der IR-Lichtpunkte 226, 227, 228 und 229 dabei helfen, die Blickrichtung des Auges 112 genauer zu bestimmen, indem sie als Koordinatenreferenzsystem fungieren, das wie hierin genauer beschrieben an die Ecken der Anzeigetafel 102 gebunden ist.
3 zeigt eine beispielhafte HMD-Vorrichtung 300, die dazu ausgelegt ist, das Augenverfolgungssystem 100 aus 1 und 2 gemäß mindestens einer Ausführungsform zu implementieren. Die HMD-Vorrichtung 300 ist an dem Kopf 110 des Anwenders unter Verwendung einer Einrichtung, die an den Kopf 110 des Anwenders geschnallt oder anderweitig an diesem befestigt ist, so angebracht, dass die HMD-Vorrichtung 300 fest in der Nähe des Gesichts des Anwenders positioniert ist und sich somit mit den Bewegungen des Anwenders mitbewegt. Unter bestimmten Umständen kann jedoch ein Anwender einen Tablet-Computer oder eine andere Handvorrichtung an das Gesicht des Anwenders halten und die Bewegung der Handvorrichtung so einschränken, dass die Orientierung der Handvorrichtung relativ zu dem Kopf des Anwenders fest ist, selbst wenn sich der Kopf 110 des Anwenders bewegt. In solchen Fällen kann eine auf diese Weise betriebene Handvorrichtung auch als eine Implementierung der HMD-Vorrichtung 300 angesehen werden, obwohl sie nicht durch eine physische Befestigung an dem Kopf 110 des Anwenders angebracht ist.
Die HMD-Vorrichtung 300 umfasst ein Gehäuse 302 mit einer Oberfläche 304 und einer Gesichtsabdichtung 306 und einem Satz von Gurten oder ein Geschirr (in 3 der Deutlichkeit halber weggelassen), um das Gehäuse 302 an dem Kopf 110 des Anwenders so anzubringen, dass der Anwender der Oberfläche 304 des Gehäuses 302 zugewandt ist. In der dargestellten Ausführungsform ist die HMD-Vorrichtung 300 eine binokulare HMD und weist somit eine linksseitige Anzeige 308 und eine rechtsseitige Anzeige 310 auf, die an der Oberfläche 304 angeordnet sind (mit Anzeigen 308, 310, die kollektiv oder getrennt eine Ausführungsform der Anzeigetafel 102 darstellen). Die Anzeigen 308, 310 können als separate Anzeigetafeln (d. h. unabhängige Anzeigefelder, die durch separate Anzeigeansteuer-Hardwarekomponenten angesteuert werden) implementiert sein oder die Anzeigen 308, 310 können als logisch getrennte Bereiche einer einzelnen Anzeigetafel (z. B. ein einzelnes Anzeigefeld, das logisch in eine linke und rechte „Hälfte“ unterteilt ist) implementiert sein. Das Gehäuse 302 umfasst ferner eine Okularlinse 312, die auf die Anzeige 308 für das linke Auge ausgerichtet ist, und eine Okularlinse 314, die auf die Anzeige 310 für das rechte Auge ausgerichtet ist. Alternativ kann die HMD-Vorrichtung 300 in einigen Ausführungsformen als monokulare HMD implementiert sein, bei der ein einzelnes Bild beiden Augen des Anwenders entweder durch die linke und rechte Okularlinse 312, 314 oder direkt ohne eine dazwischenliegende Linse präsentiert wird.
In dem dargestellten Beispiel umfasst die HMD-Vorrichtung 300 ferner eine separate Implementierung des Augenverfolgungssystems 100 für jedes Auge und umfasst somit ein x-Prisma 316, das zwischen der Linse 312 und der Anzeige 308 für das linke Auge angeordnet ist, und ein x-Prisma 318, das zwischen der Linse 314 und der Anzeige 310 für das rechte Auge angeordnet ist (wobei die x-Prismen 316, 318 Ausführungsformen des x-Prismas 104 umfassen). Ferner umfasst die HMD-Vorrichtung 300 eine Augenverfolgungskamera 320, die unter dem x-Prisma 316 oder alternativ neben oder über dem x-Prisma 316 angeordnet ist, und eine Augenverfolgungskamera 322, die unter, über oder neben dem x-Prisma 318 angeordnet ist (wobei die Augenverfolgungskameras 320, 322 Ausführungsformen der Augenverfolgungskamera 106 sind). Die Augenverfolgungskamera 320 dient dazu, Kompositbilder des linken Auges des Anwenders und der Anzeige 308 über das Erfassen von gleichzeitig reflektierten Lichtstrahlen durch das x-Prisma 316 unter Verwendung der hierin beschriebenen Techniken zu erfassen. In ähnlicher Weise dient die Augenverfolgungskamera 322 dazu, Kompositbilder des rechten Auges des Anwenders und der Anzeige 310 unter Verwendung des x-Prismas 318 auf ähnliche Weise zu erfassen.
4 zeigt eine beispielhafte Hardwarekonfiguration 400 der HMD-Vorrichtung 300 von 3, sowie ein Verfahren 402 des Betriebs der Hardwarekonfiguration 400 zur Implementierung eines Augenverfolgungsprozesses gemäß einigen Ausführungsformen. Die Hardwarekonfiguration 400 umfasst einen Anwendungsprozessor 404, einen Systemspeicher 406, einen Kompositor 408, einen IR-Controller 410, die Anzeigetafel 102 und die Augenverfolgungskamera 106. Die Hardwarekonfiguration 400 umfasst ferner ein Augenverfolgungsmodul 412 (eine Ausführungsform des Augenverfolgungsverarbeitungs-Untersystems 108 von 1), das mit der Augenverfolgungskamera 106 gekoppelt ist. Zur Vereinfachung der Darstellung ist die Hardwarekonfiguration 400 in einer Konfiguration zum Verfolgen eines einzelnen Auges dargestellt. Für Doppel-Augenverfolgungs-Implementierungen würde die Hardwarekonfiguration 400 ferner eine zweite Augenverfolgungskamera 106 für das zweite Auge und in Abhängigkeit von der speziellen Anzeigekonfiguration eine zweite Anzeigetafel 102, einen zweiten Satz von IR-Lichtquellen 126-129 und einen zweiten IR-Controller 410 umfassen, die auf die gleiche Weise wie nachstehend beschrieben arbeiten würden.
Das Augenverfolgungsmodul 412 kann durch Software implementiert sein - das heißt, der Anwendungsprozessor 404 oder ein anderer Prozessor führt einen Satz ausführbarer Befehle (das heißt „Software“), die in dem Systemspeicher 406 oder einem anderen Speicherort gespeichert sind, aus. Alternativ kann das Augenverfolgungsmodul 412 als hartcodierte Logik implementiert sein, beispielsweise über eine anwendungsspezifische integrierte Schaltung (ASIC), programmierbare Logik und dergleichen. Ferner kann das Augenverfolgungsmodul 412 in einigen Ausführungsformen durch eine Kombination von Software und fest codierter Logik implementiert sein. Der Anwendungsprozessor 404 umfasst eine oder mehrere zentrale Verarbeitungseinheiten (CPUs), Grafikverarbeitungseinheiten (GPUs) oder eine Kombination aus einer oder mehreren CPUs und einer oder mehreren GPUs. Das Ein-Chip-System (SoC) Snapdragon TM 810 MSM8994 von Qualcomm Incorporated ist ein Beispiel für eine im Handel erhältliche Implementierung des Anwendungsprozessors 404. Der Kompositor 408 kann beispielsweise als ASIC, programmierbare Logik, als eine oder mehrere GPUs, die Software ausführen, die die eine oder die mehreren GPUs manipuliert, um die beschriebene Funktionalität bereitzustellen, oder eine Kombination davon implementiert sein. Der IR-Controller 410 ist mit dem Satz von IR-Lichtquellen 126-129 der Anzeigetafel 102 gekoppelt und ist über eine Signalleitung 414 mit der Augenverfolgungskamera 106 gekoppelt.
Im Betrieb führt der Anwendungsprozessor 404 eine VR/AR-Anwendung 416 (die zum Beispiel in dem Systemspeicher 406 gespeichert ist) aus, um VR/AR-Funktionalität für einen Anwender bereitzustellen. Als Teil dieses Prozesses manipuliert die VR/AR-Anwendung 416 den Anwendungsprozessor 404 oder den zugehörigen Prozessor, um eine Folge von Bildern zur Anzeige auf der Anzeigetafel 102 zu rendem, wobei die Folge von Bildern eine VR- oder AR-Szene darstellt. Der Kompositor 408 dient dazu, das Anzeigefeld 102 anzusteuern, um die Folge von Bildern oder eine Repräsentation davon anzuzeigen.
Parallel dazu arbeiten die Augenverfolgungskamera 106, der IR-Controller 410 und das Augenverfolgungsmodul 412 zusammen, um die Bewegung, Position und/oder Blickrichtung des entsprechenden Auges 112 zu verfolgen. Das Verfahren 402 veranschaulicht ein Beispiel dieses Prozesses. In mindestens einer Ausführungsform wird die Blickrichtung, Position oder Orientierung des Auges 112 mit einer bestimmten Frequenz oder Rate aktualisiert, die auf der Bildrate der Bilder, die auf der Anzeigetafel 102 angezeigt werden, oder auf einem anderen Faktor basieren kann. Um dementsprechend eine Aktualisierungsiteration zu initiieren, signalisiert die Augenverfolgungskamera 106 in Block 422 dem IR-Controller 410 über eine Aktivierung oder andere Manipulation der Signalleitung 414, und als Antwort darauf löst der IR-Controller 410 den Satz von IR-Lichtquellen 126-129 aus, um kurz IR-Licht auszugeben (d. h. zu „blinken“), um das Auge 112 und die Umgebung zu beleuchten. Zur Veranschaulichung kann in einer Ausführungsform die Augenverfolgungskamera 106 einen globalen Verschluss implementieren, der über ein entsprechendes Vertikalsynchronsignal (VSYNC) ausgelöst wird (das zusammen mit dem Vertikalsynchronsignal für die Anzeigetafel 102 durch den Anwendungsprozessor 404 gesteuert oder auf andere Weise mit diesem koordiniert werden kann), und somit wird jedes Mal, wenn das VSYNC-Signal zum Auslösen des globalen Verschlusses aktiviert wird, die Signalleitung 414 ebenfalls aktiviert, um den IR-Lichtblitz durch den IR-Controller 410 auszulösen. Auf diese Weise können die IR-Lichtblitze mit dem globalen Verschluss der Augenverfolgungskamera 106 synchronisiert werden.
Wie oben beschrieben, durchlaufen das von der Anzeigetafel 102 emittierte Licht und das IR-Licht aus dem Satz von IR-Lichtquellen 126-129 das x-Prisma 104, werden von dem Auge 112 und dem das Auge umgebenden Bereich reflektiert und resultieren sowohl in einer Repräsentation der Anzeigetafel 102 und des Satzes von IR-Lichtquellen 126-129 als auch in einer Repräsentation des Auges 112 und des Umgebungsbereichs, die gleichzeitig durch das x-Prisma 104 auf die Augenverfolgungskamera 106 projiziert werden. Dementsprechend erfasst die Augenverfolgungskamera 106 in Block 424 ein Kompositbild (z. B. das Kompositbild 232, 2) beider Repräsentationen und liefert das Kompositbild zur Verarbeitung an das Augenverfolgungsmodul 412. In Block 426 führt das Augenverfolgungsmodul 412 einen Bildanalyseprozess an dem Kompositbild durch, um die aktuellen Position und/oder Orientierung der Iris/Pupille des Auges 112 zu identifizieren, und aus diesen Informationen kann das Augenverfolgungsmodul 412 die aktuelle Blickrichtung des Auges 112 bestimmen. Beispiele dieses Prozesses sind nachstehend unter Bezugnahme auf 5 beschrieben.
Mit der aktuellen Position der Iris/Pupille, der aktuellen Orientierung der Iris/Pupille und/oder der Blickrichtung des Auges 112 kann das Augenverfolgungsmodul 412 in Block 428 den Betrieb von einem oder mehreren Komponenten der Hardwarekonfiguration 400 entsprechend modifizieren. Zur Veranschaulichung kann in einigen Ausführungsformen die aktuelle Blickrichtung verwendet werden, um eine foveale Anzeige bereitzustellen, und somit kann in solchen Fällen das Augenverfolgungsmodul 412 der VR/AR-Anwendung 416 oder dem Kompositor 408 die aktuelle Blickrichtung signalisieren, um das Rendern des angezeigten Bildes steuern, um eine verbesserte Auflösung in dem Bereich des aktuellen Fokus des Auges 112 bereitzustellen. Als weiteres Beispiel kann in einigen Ausführungsformen die VR/AR-Anwendung 416 oder eine andere Softwareanwendung die Blickrichtung des Anwenders als eine Anwendereingabe verwenden. Zum Beispiel kann die HMD-Vorrichtung 300 eine augenbasierte Mensch-Computer-Interaktion bereitstellen, und somit kann das Augenverfolgungsmodul 412 dieser Anwendung die aktuelle Blickrichtung als Anwenderschnittstelleneingabe bereitstellen; d. h., als eine virtuelle Maus oder für andere augenbasierte „Gesten“-Eingaben. Andere Anwendungen für diese Augenverfolgungsinformationen umfassen zum Beispiel die Verwendung der Augenverfolgungsinformationen zum Aktivieren/Deaktivieren der HMD-Vorrichtung 300, für biometrische Informationen (z. B. zum Authentifizieren des Anwenders über die Augenbewegungen oder zum anderweitigen Identifizieren des Anwenders über Augenverfolgung) und dergleichen.
5 veranschaulicht zwei Beispiele des Verarbeitens eines Kompositbildes, um eine aktuelle Blickrichtung zu bestimmen, gemäß mindestens einer Ausführungsform der vorliegenden Offenbarung. In dem ersten Beispiel wird ein Kompositbild 502 sowohl der Anzeigetafel 102 als auch der aktuellen Position des Auges 112 gemäß den oben beschriebenen Prozessen erfasst. Das Augenverfolgungsmodul 412 identifiziert die aktuelle Position der Pupille 504 und basierend auf der Orientierung der Pupille 504 relativ zu einem Koordinatenreferenzsystem, das durch das Muster von IR-Lichtpunkten 516, 517, 518, 519 aus dem Satz von IR-Lichtquellen 126-129 und durch das Muster von IR-Lichtpunkten 520, 521, 522, 523 aus der Reflexion der IR-Lichtquellen 126-129 aus dem Auge 112 bereitgestellt wird, kann das Augenverfolgungsmodul 412 bestimmen, dass der aktuelle Blick des Auges auf einen Punkt 524 in einem unteren linken Quadranten der Anzeigetafel 102 gerichtet ist.
In dem zweiten Beispiel wird ein Kompositbild 532 von sowohl der Anzeigetafel 102 als auch der aktuellen Position des Auges 112 gemäß den oben beschriebenen Prozessen aufgenommen. Das Augenverfolgungsmodul 412 identifiziert die aktuelle Position der Pupille 504 und basierend auf der Orientierung der Pupille 504 relativ zu einem Koordinatenreferenzsystem, das durch das Muster der IR-Lichtpunkte 546, 547, 548, 549 aus dem Satz von IR-Lichtquellen 126-129 und durch das Muster der IR-Lichtpunkte 550, 551, 552, 553 aus der Reflexion der IR-Lichtquellen 126-129 aus dem Auge 112 heraus bereitgestellt wird, kann das Augenverfolgungsmodul 412 bestimmen, dass der aktuelle Blick des Auges auf einen Punkt 554 in einem oberen rechten Quadranten der Anzeigetafel 102 gerichtet ist.
Ein beliebiger einer Vielzahl von Augenverfolgungsalgorithmen kann verwendet werden, um die aktuelle Blickrichtung des Auges 112 aus dem Kompositbild 532 heraus zu verfolgen, bei geeigneter Modifikation im Hinblick auf das Koordinatenreferenzsystem, das durch die Lichtquellen in dem Kompositbild bereitgestellt wird. Zur Veranschaulichung können die IR-Lichtquellen in einer Implementierung mit einer einzelnen Augenverfolgungskamera als Punktquellen fungieren und basierend auf ihrer relativen Intensität kann der Abstand zu dem Auge 112 bestimmt werden. Ferner kann basierend auf der Triangulation (unter Verwendung der Entfernung) aus den vielen Punktquellen, die durch die IR-Lichtquellen repräsentiert werden, ein 3D-Modell des Auges 112 konstruiert werden und aus diesem 3D-Modell kann die optische Achse und somit die Blickrichtung bestimmt werden. In einer Dual-Augenverfolgungs-Implementierung kann das 3D-Modell des Auges 112 über das Parallaxenphänomen konstruiert werden, das durch die Verwendung von zwei Kameras geliefert wird. Ferner ist diese Vorgehensweise im Allgemeinen nicht für Umgebungslicht empfindlich und daher können sichtbare Lichtquellen anstelle der oben beschriebenen IR-Lichtquellen verwendet werden, um das Auge 112 zu beleuchten.
Ein Großteil der erfinderischen Funktionalität und viele der oben beschriebenen erfinderischen Prinzipien sind gut geeignet für die Implementierung mit oder in integrierten Schaltungen (ICs) wie etwa anwendungsspezifischen ICs (ASICs). Es wird erwartet, dass Durchschnittsfachleute, ungeachtet möglicher signifikanter Anstrengungen und vieler Gestaltungsoptionen, die beispielsweise durch verfügbare Zeit, aktuelle Technologie und wirtschaftliche Überlegungen motiviert sind, ohne weiteres in der Lage sind, solche ICs mit minimalem Experimentieren zu erzeugen, wenn sie durch die hierin offenbarten Konzepte und Prinzipien angeleitet werden. Im Interesse der Kürze und Minimierung jeglicher Gefahr der Verschleierung der Prinzipien und Konzepte gemäß der vorliegenden Offenbarung wird daher eine weitere Diskussion solcher Software und ICs, falls überhaupt vorgenommen, auf das Wesentliche in Bezug auf die Prinzipien und Konzepte innerhalb der bevorzugten Ausführungsformen beschränkt sein.
In einigen Ausführungsformen können bestimmte Aspekte der oben beschriebenen Techniken durch einen oder mehrere Prozessoren eines Verarbeitungssystems implementiert sein, das Software ausführt. Die Software umfasst einen oder mehrere Sätze von ausführbaren Befehlen, die auf einem nichttransitorischen computerlesbaren Speichermedium gespeichert oder auf andere Weise konkret verkörpert sind. Die Software kann die Befehle und bestimmte Daten enthalten, die, wenn sie von dem einen oder den mehreren Prozessoren ausgeführt werden, den einen oder die mehreren Prozessoren manipulieren, um einen oder mehrere Aspekte der oben beschriebenen Techniken auszuführen. Das nichttransitorische computerlesbare Speichermedium kann beispielsweise eine magnetische oder optische Plattenspeichervorrichtung, Festkörperspeichervorrichtungen wie etwa einen Flash-Speicher, einen Cache, einen Direktzugriffsspeicher (RAM) oder andere nichtflüchtige Speichervorrichtungen oder Vorrichtungen und dergleichen umfassen. Die ausführbaren Befehle, die auf dem nichttransitorischen computerlesbaren Speichermedium gespeichert sind, können in Quellcode, Assemblersprachcode, Objektcode oder einem anderen Befehlsformat vorliegen, das von einem oder mehreren Prozessoren interpretiert wird oder auf andere Weise ausführbar ist.
In diesem Dokument können relationale Ausdrücke wie erste/r/s und zweite/r/s und dergleichen lediglich verwendet sein, um eine Entität oder Aktion von einer anderen Entität oder Aktion zu unterscheiden, ohne notwendigerweise eine tatsächliche solche Beziehung oder Reihenfolge zwischen solchen Entitäten oder Aktionen zu erfordern oder implizieren. Die Ausdrücke „umfasst“, „umfassen“ oder jede andere Variation davon sollen eine nicht ausschließliche Einbeziehung abdecken, so dass ein Prozess, ein Verfahren, ein Gegenstand oder eine Vorrichtung, die eine Liste von Elementen umfasst, nicht nur diese Elemente umfasst, sondern auch andere Elemente umfassen kann, die nicht ausdrücklich aufgelistet sind oder einem solchen Prozess, Verfahren, Gegenstand oder einer solchen Vorrichtung innewohnen. Ein Element, dem „umfasst... ein/e“ vorangestellt ist, schließt nicht ohne weitere Einschränkungen die Existenz zusätzlicher identischer Elemente in dem Prozess, dem Verfahren, dem Gegenstand oder der Vorrichtung, der/die das Element umfasst, aus. Der Ausdruck „ein weiterer“, wie er hier verwendet wird, ist als mindestens ein zweiter oder mehr definiert. Die Begriffe „einschließlich“ und/oder „mit“, wie sie hierin verwendet werden, sind als umfassend definiert. Der Begriff „gekoppelt“, wie er hierin unter Bezugnahme auf die elektrooptische Technologie verwendet wird, ist als verbunden definiert, wenn auch nicht notwendigerweise direkt und nicht notwendigerweise mechanisch. Der Begriff „Programm“, wie er hier verwendet wird, ist als eine Folge von Befehlen definiert, die zur Ausführung auf einem Computersystem ausgelegt sind. Eine „Anwendung“ oder „Software“ kann eine Subroutine, eine Funktion, eine Prozedur, ein Objektverfahren, eine Objektimplementierung, eine ausführbare Anwendung, ein Applet, ein Servlet, einen Quellcode, einen Objektcode, eine gemeinsam genutzte Bibliothek/dynamisch geladene Bibliothek und/oder eine andere Folge von Befehlen, die zur Ausführung auf einem Computersystem ausgelegt sind, umfassen.
Die Beschreibung und die Zeichnungen sollten nur als Beispiele betrachtet werden und der Umfang der Offenbarung soll dementsprechend nur durch die folgenden Ansprüche und deren Äquivalente beschränkt sein. Es ist zu beachten, dass nicht alle der oben in der allgemeinen Beschreibung beschriebenen Aktivitäten oder Elemente erforderlich sind, dass ein Teil einer bestimmten Aktivität oder einer Vorrichtung möglicherweise nicht benötigt wird und dass eine oder mehrere weitere Aktivitäten durchgeführt werden können oder zusätzlich Elemente enthalten sein können als die beschriebenen. Darüber hinaus ist die Reihenfolge, in der Aktivitäten aufgeführt sind, nicht notwendigerweise die Reihenfolge, in der sie ausgeführt werden. Die Schritte der oben dargestellten Ablaufdiagramme können in beliebiger Reihenfolge sein, sofern es nicht anders angegeben ist, und Schritte können je nach Implementierung entfernt, wiederholt und/oder hinzugefügt werden. Die Konzepte sind auch unter Bezugnahme auf spezifische Ausführungsformen beschrieben worden. Fachleute erkennen jedoch, dass verschiedene Abwandlungen und Änderungen vorgenommen werden können, ohne vom Schutzbereich der vorliegenden Offenbarung abzuweichen, wie er in den nachfolgenden Ansprüchen dargelegt ist. Dementsprechend sind die Beschreibung und die Figuren eher in einem veranschaulichenden als in einem einschränkenden Sinne zu verstehen und alle derartigen Abwandlungen sollen unter den Umfang der vorliegenden Offenbarung fallen.
Nutzen, andere Vorteile und Lösungen für Probleme sind oben in Bezug auf spezifische Ausführungsformen beschrieben worden. Der Nutzen, die Vorteile und die Lösungen für Probleme und alle Merkmale, die dazu führen können, dass Nutzen, Vorteile oder Lösungen auftreten oder deutlicher werden, sind jedoch nicht als kritisches, erforderliches oder wesentliches Merkmal eines oder aller Ansprüche zu verstehen.

Claims

Am Kopf angebrachte Anzeigevorrichtung (HMD-Vorrichtung) (100, 300), die umfasst: eine Anzeigetafel (102, 308, 310) zum Anzeigen von Bildern; einen x-Prismen-Strahlteiler (104), der entlang einer ersten Achse (202) zwischen dem Anzeigefeld und einer erwarteten Position eines Auges (112) eines Anwenders angeordnet ist, wobei der x-Prismen-Strahlteiler dazu ausgelegt ist, einen ersten Lichtstrahl (212) in einer ersten Richtung von der Anzeigetafel zu dem Auge entlang der ersten Achse zu lenken, einen zweiten Lichtstrahl (216) in einer zweiten Richtung entlang einer zweiten Achse (208), die im Wesentlichen senkrecht zu der ersten Achse ist, zu lenken und einen dritten Lichtstrahl (222) in der zweiten Richtung entlang der zweiten Achse zu lenken, wobei der zweite Lichtstrahl den ersten Lichtstrahl repräsentiert, und der dritte Lichtstrahl eine Reflexion des ersten Lichtstrahls aus dem Auge repräsentiert; und eine Abbildungskamera (106) mit einer optischen Achse, die mit der zweiten Achse gleichgerichtet ist, wobei die Abbildungskamera dazu ausgelegt ist, ein Kompositbild (232), das eine Kombination aus sowohl einer Repräsentation des zweiten Lichtstrahls als auch einer Repräsentation des dritten Lichtstrahls umfasst, aufzunehmen.
HMD-Vorrichtung nach Anspruch 1, die ferner umfasst: einen Satz von einer oder mehreren Infrarotlichtquellen (IR-Lichtquellen) (126, 127, 128, 129), die an entsprechenden Positionen im Zusammenhang mit der Anzeigetafel angeordnet sind; und wobei der erste Lichtstrahl IR-Licht enthält, das von dem Satz von einer oder mehreren IR-Lichtquellen emittiert wird.
HMD-Vorrichtung nach Anspruch 2, wobei: die Abbildungskamera eine IR-Kamera mit einem globalen Verschluss umfasst; und wobei der Satz von einer oder mehreren IR-Lichtquellen basierend auf einem Vertikalsynchronisationssignal des globalen Verschlusses ausgelöst wird.
HMD-Vorrichtung nach Anspruch 2, die ferner umfasst: ein Augenverfolgungsmodul (412) zum Bestimmen einer Position des Auges, einer Orientierung des Auges und/oder einer Blickrichtung des Auges basierend auf dem Kompositbild.
HMD-Vorrichtung nach Anspruch 4, wobei: das Augenverfolgungsmodul dazu ausgelegt ist, basierend auf der Verwendung des IR-Lichts aus dem Satz von einer oder mehreren IR-Lichtquellen, das in dem Kompositbild vorhanden ist, als Referenzkoordinatensystem eine Position des Auges, eine Orientierung des Auges und/oder eine Blickrichtung des Auges zu bestimmen.
HMD-Vorrichtung nach Anspruch 2, wobei: der x-Prismen-Strahlteiler umfasst: eine erste teilweise reflektierende Fläche (114), die in einem ersten Winkel relativ zu der ersten Achse angeordnet ist; eine zweite teilweise reflektierende Fläche (115), die in einem zweiten Winkel relativ zu der ersten Achse angeordnet ist, wobei der zweite Winkel im Wesentlichen senkrecht zu dem ersten Winkel ist; und wobei die erste teilweise reflektierende Fläche sowohl sichtbares Licht als auch IR-Licht teilweise reflektiert und die zweite teilweise reflektierende Fläche IR-Licht teilweise reflektiert und für sichtbares Licht im Wesentlichen transparent ist.
HMD-Vorrichtung nach Anspruch 2, wobei: der Satz von einer oder mehreren IR-Lichtquellen einen Satz von einem oder mehreren Oberflächenemitterlasern mit vertikalem Resonator umfasst.
HMD-Vorrichtung nach Anspruch 1, die ferner umfasst: ein Augenverfolgungsmodul (412) zum Bestimmen einer Position des Auges, einer Orientierung des Auges und/oder einer Blickrichtung des Auges basierend auf dem Kompositbild.
HMD-Vorrichtung nach Anspruch 8, wobei: mindestens eine Komponente (404, 408) der HMD-Vorrichtung basierend auf der bestimmten Position des Auges, Orientierung des Auges oder Blickrichtung des Auges gesteuert wird.
Verfahren in einer am Kopf angebrachten Anzeigevorrichtung (HMD-Vorrichtung) (100, 300), das umfasst: Transmittieren eines ersten Lichtstrahls (212) entlang einer ersten Achse (202) von einer Anzeigetafel (102, 308, 310) zu einem Auge (112) eines Anwenders durch einen x-Prismen-Strahlteiler (104); Transmittieren eines zweiten Lichtstrahls (216) von dem x-Prismen-Strahlteiler zu einer Abbildungskamera (106) entlang einer zweiten Achse (208), die im Wesentlichen senkrecht zu der ersten Achse ist, wobei der zweite Lichtstrahl den ersten Lichtstrahl repräsentiert; Transmittieren eines dritten Lichtstrahls (222) von dem x-Prismen-Strahlteiler zu der Abbildungskamera entlang der zweiten Achse, wobei der dritte Lichtstrahl eine Reflexion des ersten Lichtstrahls aus dem Auge des Anwenders repräsentiert; und Erfassen eines Kompositbildes (232), das eine Kombination aus sowohl einer Repräsentation des zweiten Lichtstrahls als auch einer Repräsentation des dritten Lichtstrahls umfasst, an der Abbildungskamera.
Verfahren nach Anspruch 10, wobei der erste Lichtstrahl IR-Licht enthält, das von einem Satz von einer oder mehreren IR-Lichtquellen (126, 127, 128, 129) emittiert wird, die an entsprechenden Positionen im Zusammenhang mit der Anzeigetafel angeordnet sind.
Verfahren nach Anspruch 11, das ferner umfasst: Auslösen des Satzes von einer oder mehreren IR-Lichtquellen basierend auf einem Vertikalsynchronisationssignal eines globalen Verschlusses der Abbildungskamera.
Verfahren nach Anspruch 11, das ferner umfasst: Bestimmen einer Position des Auges, einer Orientierung des Auges und/oder einer Blickrichtung des Auges basierend auf dem Kompositbild in einem Verarbeitungsmodul (412) der HMD-Vorrichtung.
Verfahren nach Anspruch 13, wobei: das Bestimmen einer Position des Auges, einer Orientierung des Auges und/oder einer Blickrichtung des Auges ein Verwenden des IR-Lichts aus dem Satz von einer oder mehreren IR-Lichtquellen, das in dem Kompositbild vorhanden ist, als Referenzkoordinatensystem umfasst.
Verfahren nach Anspruch 11, das ferner umfasst: Bestimmen einer Position des Auges, einer Orientierung des Auges und/oder einer Blickrichtung des Auges basierend auf dem Kompositbild in einem Verarbeitungsmodul (412) der HMD-Vorrichtung.
Verfahren nach Anspruch 15, das ferner umfasst: Steuern eines Betriebs mindestens einer Komponente (404, 408) der HMD-Vorrichtung basierend auf der bestimmten Position des Auges, Orientierung des Auges oder Blickrichtung des Auges.
Verfahren in einer am Kopf angebrachten Anzeigevorrichtung (HMD-Vorrichtung) (100, 300), das umfasst: Empfangen bei einem Verarbeitungsmodul (412) der HMD-Vorrichtung eines Kompositbildes (232) von einer Abbildungskamera (106) der HMD-Vorrichtung, wobei das Kompositbild sowohl einen ersten Lichtstrahl (216) als auch einen zweiten Lichtstrahl (222) repräsentiert, die von einem Port (207) eines x-Prismen-Strahlteilers (104) konkurrent empfangen werden, wobei der erste Lichtstrahl eine Reflexion eines Lichtstrahls (212), der von einer Anzeigetafel (102, 308, 310) der HMD-Vorrichtung emittiert wird, repräsentiert und der zweite Lichtstrahl eine Reflexion des Lichtstrahls, der von der Anzeigetafel aus einem Auge (112) eines Anwenders emittiert wird, repräsentiert; und Bestimmen bei dem Verarbeitungsmodul einer Position des Auges und/oder einer Orientierung des Auges und/oder einer Blickrichtung des Auges anhand des Kompositbildes.
Verfahren nach Anspruch 17, das ferner umfasst: Steuern eines Betriebs wenigstens einer Komponente (404, 408) der HMD-Vorrichtung anhand der bestimmten Position des Auges oder der Orientierung des Auges oder der Blickrichtung des Auges.
Verfahren nach Anspruch 17, wobei: der Lichtstrahl, der von der Anzeigetafel emittiert wird, Infrarotlicht (IR-Licht) enthält, das von einem Satz aus einer oder mehreren IR-Lichtquellen (126, 127, 128, 129), die an entsprechenden Positionen auf der Anzeigetafel angeordnet sind, emittiert wird.
Verfahren nach Anspruch 19, wobei: das Bestimmen einer Position des Auges und/oder einer Orientierung des Auges und/oder einer Blickrichtung des Auges das Verwenden des IR-Lichts von dem Satz aus einer oder mehreren IR-Lichtquellen, die in dem Kompositbild als ein Referenzkoordinatensystem vorhanden sind, umfasst.