DE212018000158U1

DE212018000158U1 - Augenblickverfolgung

Info

Publication number: DE212018000158U1
Application number: DE212018000158.8U
Authority: DE
Original assignee: Analog Devices Global ULC
Current assignee: Analog Devices International ULC
Priority date: 2017-02-17
Filing date: 2018-02-16
Publication date: 2019-10-22
Anticipated expiration: 2028-02-17
Also published as: US20180235465A1; CN110300976A; CN110300976B; US10485420B2; WO2018149992A1

Abstract

Wearable-System zur Augenblickverfolgung, das nativen Inhalt nutzt, wobei das Wearable-System Folgendes aufweist:eine Anzeigevorrichtung mit einer nativen Auflösung zum Projizieren eines Bilds zu einem Auge eines Trägers;ein photoempfindliches Element, das im Sichtfeld des Trägers von dem projizierten Bild angeordnet ist, zum Empfangen einer verzerrten Reflexion des Bilds von nativen Inhalt von dem Auge des Benutzers; undeinen Prozessor, ausgebildet zum Bestimmen einer Augenblickstellung auf der Grundlage der verzerrten Reflexion des Bilds.

Description

TECHNISCHES GEBIET
Diese Offenbarung betrifft Bestimmen der Augenblickrichtung zumindest teilweise auf der Grundlage von Reflexionen von einem Auge.
HINTERGRUND
Augenverfolgungsanwendungen verwenden die Stellung des Auges zum Bestimmen einer Richtung, in welche ein Benutzer schaut. Dies ist in vielen Anwendungen von Nutzen, wie etwa für Headsets für Virtuelle Realität (VR) und Erweiterte Realität (AR - Augmented Reality). Visionsbasierte Lösungen, bei denen ein Sensor (z. B. eine Kamera oder ein Satz von Kameras) in dem Rahmen enthalten ist, können zum Bestimmen des Augenblicks verwendet werden. Ein Profil des Auges kann anhand von Bildern des Auges, die mit Kameras oder ähnlichen Sensoren aufgenommen werden, rekonstruiert werden. Alternativ können Leuchtdioden (LEDs) im nahen Infrarot verwendet werden zum Erzeugen eines Beleuchtungsmusters zum Untersuchen der Position des Glitzerns auf dem Auge und dann Ableiten der Blickrichtung.
KURZDARSTELLUNG
Aspekte der Ausführungsformen richten sich auf ein Wearable-System, aufweisend eine projizierende Oberfläche zum Projizieren eines Bilds zu einem Auge eines Trägers; ein photoempfindliches Element zum Empfangen einer verzerrten Reflexion des Bilds von dem Auge des Benutzers; und einen Prozessor zum Bestimmen einer Augenblickstellung auf der Grundlage der verzerrten Reflexion des Bilds.
Aspekte der Ausführungsformen richten sich auf ein Wearable-Gerät, aufweisend ein Mittel zum Projizieren eines Bild zu einem Auge eines Trägers; ein Mittel zum Detektieren einer verzerrten Reflexion des Bilds von dem Auge des Trägers; und ein Prozessormittel zum Bestimmen einer Augenblickstellung, zumindest teilweise auf der Grundlage der verzerrten Reflexion des projizierten Bilds von dem Auges des Trägers.
Aspekte der Ausführungsformen richten sich auf ein Verfahren, aufweisend Projizieren einer Form von einer Anzeigevorrichtung; Empfangen einer verzerrten Reflexion der projizierten Form von einem Anteil eines Auges eines Benutzers; und Identifizieren einer Augenblickrichtung, zumindest teilweise auf der Grundlage der verzerrten Reflexion des projizierten Bilds.
Figurenliste

1 ist ein schematisches Diagramm einer beispielhaften Systemarchitektur für Augenblickverfolgung, gemäß Ausführungsformen der vorliegenden Offenbarung.
2A ist ein schematisches Diagramm einer ersten Scanstellung eines beispielhaften Kalibrierprozesses, gemäß Ausführungsformen der vorliegenden Offenbarung.
2B ist ein schematisches Diagramm einer ersten Scanstellung eines beispielhaften Kalibrierprozesses, gemäß Ausführungsformen der vorliegenden Offenbarung.
2C ist ein schematisches Diagramm eines beispielhaften Kalibrierprozesses, gemäß Ausführungsformen der vorliegenden Offenbarung.
3 ist ein schematisches Diagramm der Systemarchitektur von 1, das eine Änderung der Augenstellung veranschaulicht, gemäß Ausführungsformen der vorliegenden Offenbarung.
4A-B sind schematische Diagramme der Systemarchitektur von 1, die Beispiele für Einfallswinkel und Reflexionen veranschaulichen, gemäß Ausführungsformen der vorliegenden Offenbarung.
5 ist ein schematisches Diagramm einer Hornhaut, die Licht von einer Punktquelle auf einer Anzeigevorrichtung zu einem Punkt auf einer Anzeigevorrichtung reflektiert, gemäß Ausführungsformen der vorliegenden Offenbarung.
6A ist ein Diagramm, das ein Beispiel für Reflexionen eines Bildschirms von einer Hornhaut veranschaulicht, gemäß Ausführungsformen der vorliegenden Offenbarung.
6B ist ein Diagramm, das ein weiteres Beispiel für Reflexionen eines Bildschirms von einer Hornhaut veranschaulicht, gemäß Ausführungsformen der vorliegenden Offenbarung.
7 ist ein Prozessflussdiagramm zum Bestimmen einer Augenblickstellung, gemäß Ausführungsformen der vorliegenden Offenbarung.
8 ist ein Prozessflussdiagramm zum Verfolgen eines Augenblicks, gemäß Ausführungsformen der vorliegenden Offenbarung.
9 ist ein schematisches Diagramm eines Beispiels für ein Virtuelle-Realität-Headset, gemäß Ausführungsformen der vorliegenden Offenbarung.

AUSFÜHRLICHE BESCHREIBUNG
Aspekte der Ausführungsformen richten sich auf ein System, das einen Photodetektor, einen Satz von Photodetektoren und/oder ein Kamerasystem zur Augenverfolgung aufweist. In einer ersten Beispielanwendung kann eine Umgebung für Virtuelle Realität (VR) (z. B. ein VR-Headset) einen Anzeigebildschirm aufweisen, der visuelle Informationen für einen Träger bereitstellen kann. Ein Beispiel-VR-Headset ist ferner in 9 beschrieben. Das VR-Headset kann die Augen eines Trägers abdecken. Das VR-Headset kann einen Anzeigebildschirm beinhalten, der es dem Träger erlaubt, Bilder zu sehen, die durch das VR-Headset angezeigt werden. Das VR-Headset kann auch eine Kamera, einen Photodetektor (oder ein Array von Photodetektoren) oder andere Arten von Lichtsensor aufweisen, der Licht detektieren kann, das von den Augen des Trägers reflektiert wird.
Die Reflexionen der Anzeigevorrichtung und/oder die Reflexionen von der Anzeigevorrichtung (z. B. angezeigte Objekte) können von der Oberfläche des Auges detektiert werden. Wenn sich die Augenblickstellung ändert, verschiebt sich die Reflexion der auf der Anzeigevorrichtung gezeigten Objekte oder der Anzeigevorrichtung selbst, da sich der Einfallswinkel zwischen der Hornhautoberfläche und der Anzeigevorrichtung ändert.
Aspekte der Ausführungsformen verwenden das reflektierte Bild eines Anzeigebildschirms eines VR-Headsets (z. B. das VR-Headset), um eine Kalibrierung ohne zusätzliche Leuchtdioden (LEDs) und extra Stromverbrauch durchzuführen. Das System kann einen Bildsensor mit einem hochdynamischen Empfindlichkeitsbereich (und/oder einer logarithmischen Empfindlichkeit) verwenden, der einen großen Dynamikbereich liefert und die Detektion der Hornhautreflexion des Bildschirms erleichtert.
Bei Ausführungsformen können Frames mit einfachen Festmustern in den durch den VR-Headset-Bildschirm angezeigten Videostrom eingesetzt werden. Die Festmuster können durch den Bildsensor detektiert werden, der für Kalibrierung verwendet werden kann. Diese Muster können in dem sichtbaren Bereich des Spektrums liegen, werden aber von dem Benutzer nicht bemerkt, da diese nur für Millisekunden oder weniger eingeschaltet sein werden. Das Einsetzen dieser Muster kann zufällig sein, von dem Augenverfolgungssystem angefordert werden und es kann mit dem Videoprojektionssubsystem synchronisiert sein oder auch nicht.
Bei einer anderen Ausführungsform können wir Einsetzen von Festmustern vermeiden und die Kenntnis verwenden, die wir über das auf den VR- oder AR-Brillen angezeigte Bild haben. Ein Beispiel wäre Verwendung der bekannten Größe des Rahmens der in der AR-Anwendung dargestellten Informationen.
1 ist ein schematisches Diagramm einer beispielhaften Systemarchitektur 100 für Augenblickverfolgung, gemäß Ausführungsformen der vorliegenden Offenbarung. Die Beispielsystemarchitektur 100 kann ein Virtuelle-Realität-Headset oder eine andere Systemarchitektur sein, die einen Anzeigebildschirm 102 aufweist. Der Anzeigebildschirm 102 kann Bilder für einen Benutzer/Träger anzeigen. Der Anzeigebildschirm 102 kann sich bei einer bekannten Distanz von dem Träger, oder insbesondere, von einem Auge des Trägers befinden. Die bekannte Distanz kann im Falle von VR-Headset-Implementationen und AR-Headset-Implementationen eine im Wesentlichen feste Distanz vom Träger sein.
Die Systemarchitektur 100 kann einen Bildsensor 104 aufweisen. Der Bildsensor 104 kann Reflexionen vom Auge 106 detektieren. Der Bildsensor kann eine logarithmische Empfindlichkeit aufweisen, die einen großen Dynamikbereich liefert und eine Detektion einer Hornhautreflexion des Anzeigebildschirms 102 ohne dedizierte Beleuchtung erleichtert. Das Auge 106 weist eine Hornhaut 108 auf. Die Hornhaut 108 kann von dem Anzeigebildschirm 102 emittiertes Licht reflektieren. Das reflektierte Licht kann durch den Bildsensor 104 detektiert werden. Ein Prozessor 110 kann die Formen verwenden, wie von der Hornhaut 108 reflektiert, zum Bestimmen von deren Position und daher der Richtung, in die das Auge zeigt (d. h. eine Augenblickrichtung).
Vom Anbeginn kann eine Kalibrierung verwendet werden, um die Geometrie der Systemarchitektur 100 im Hinblick auf die externe Welt in einer AR-Anwendung zu beziehen und die Auswirkungen der kleinen Geometrieänderungen in dem System sowohl in AR- als auch in VR-Anwendungen zu kalibrieren. Kalibrierung erlaubt eine schnelle, autonome, unüberwachte Neukalibrierung zu beliebiger Zeit, wenn ein Benutzer das Headset wieder aufsetzt oder es während deren Verwendung Brillenbewegungen gibt. Anders ausgedrückt kann der hier beschriebene Kalibrierungsprozess beim Aufstarten für jeden Träger durchgeführt werden und kann periodisch (oder bei Bedarf) während des Betriebs des Headsets durchgeführt werden.
2A-2C sind schematische Diagramme eines beispielhaften Kalibrierprozesses, gemäß Ausführungsformen der vorliegenden Offenbarung. Der Kalibrierungsprozess verwendet dieselbe oder eine ähnliche Systemarchitektur, wie die in 1 gezeigte. Die Anzeigevorrichtung 102 kann einen einzelnen Punkt 202 für einen Träger anzeigen, der für die Dauer der Kalibrierung auf den einzelnen Punkt 202 blicken muss. Eine Referenzlinie oder eine andere Form wird über den Bildschirm gescannt, während der Augenblick auf den Punkt 202 fixiert ist. Scannen kann durch Erzeugen eines (strahlend farbigen oder weißen) Linienmusters 204 auf dem (schwarzen oder dunklen) Bildschirm 102 und Bewegen des Linienmusters 204 über den Bildschirm 102 hinweg durchgeführt werden. Das durch das Linienmuster 204 emittierte Licht kann von der Hornhaut 108 des Auges 106 (der Prozess kann für jedes Auge des Trägers durchgeführt werden) wegreflektiert werden. Reflexionen 204' des Linienmusters 204 werden durch den Sensor 104 detektiert, wenn das Linienmuster 204 über den Bildschirm 102 scannt. Beispielsweise kann die Reflexion 204' durch den Sensor 104 detektiert werden. Bei Ausführungsformen kann eine Reflexion 202' von Blickpunkt 204 auch durch den Sensor 104 detektiert werden. Ein Prozessor, wie etwa der Prozessor 110 kann eine 3D-Struktur des Auges ausbilden, wenn es auf den Blickpunkt 202 blickt. Durch Hinzufügen von mehr Blickpunkten kann die Genauigkeit verbessert werden. Beispielsweise kann der Träger für einen ersten Kalibrierungszyklus zuerst auf einen ersten Blickpunkt blicken. Dann kann der Träger auf einen zweiten Blickpunkt blicken und ein Linienmuster kann über die Anzeigevorrichtung gescannt werden. Von dem Auge reflektierte Reflexionen des Linienmusters, während das Auge auf den zweiten Blickpunkt blickt (z. B. befindet sich das Auge in einer zweiten Blickstellung), können durch den Sensor 104 detektiert werden. Der Prozessor kann aus den detektierten Reflexionen der Linienmuster für die zweite Augenblickstellung eine 3D-Struktur ausbilden. Dieser Prozess kann für so viele Blickpunkte wie implementiert sind, wiederholt werden (z. B. auf der Grundlage eines durch die Implementationswahl gewünschten Genauigkeitsniveaus).
Die 3D-Struktur des Auges kann als eine Grundlinie für Kalibrierungszwecke verwendet werden. Die Augenoberflächenkonturen können kartiert werden und die Konturen können unter Verwendung des Blickmusters und gescannter Muster mit einer Augenstellung korreliert werden.
Bei Ausführungsformen kann ein zweidimensionales Muster verwendet werden, im Gegensatz zu (oder zusätzlich zu) einem linearen Muster. Ein zweidimensionales Muster kann eine rechteckige Form sein, die in Abhängigkeit von der Augenblickstellung verzerrt ist. Die Verzerrung eines rechteckigen Musters kann mit einer Augenblickstellung korreliert werden. Das System kann darüber lernen, wie das rechteckige Muster verzerrt wird und solche Verzerrungen können zum Trainieren des Systems verwendet werden. Andere Muster können ebenfalls verwendet werden.
3 ist ein schematisches Diagramm der Systemarchitektur von 1, das eine Änderung der Augenstellung veranschaulicht, gemäß Ausführungsformen der vorliegenden Offenbarung. 3 zeigt das Auge 106 in einer ersten Stellung 302. In der ersten Stellung 302 kann die Hornhaut 108 Licht 304 von der Anzeigevorrichtung 102 an einem Punkt 306 auf oder nahe der Hornhaut 108 (d. h. die Lederhaut ist mit der Hornhaut kontinuierlich) empfangen. Das Licht 304 wird zu einem ersten Punkt 322 auf dem Bildsensor 104 reflektiert (gezeigt als reflektiertes Licht 304'). Das reflektierte Licht 304' kann in ein Bild, das den Bildschirm 104 repräsentiert, aufgelöst werden und die Form des aufgelösten Bilds kann zum Bestimmen einer Augenblickstellung verwendet werden.
Wenn sich die Augenblickstellung in eine zweite Stellung 308 ändert, trifft Licht 310, das von der Anzeigevorrichtung 102 emittiert wird auf einen Punkt 312 auf oder nahe der Hornhaut 108 auf. Reflektiertes Licht 310' wird am Bildsensor 104 an einem Punkt 324, der sich vom Punkt 322 unterscheidet, empfangen. Das empfangene reflektierte Licht 310' kann in ein Bild des Anzeigebildschirms 102 aufgelöst werden und die Form des aufgelösten Bilds kann zum Bestimmen einer anderen Augenblickstellung verwendet werden.
4A ist ein schematisches Diagramm der Systemarchitektur von 1, das Beispiele für Einfallswinkel und Reflexionen veranschaulicht, gemäß Ausführungsformen der vorliegenden Offenbarung. 4B ist ein schematisches Diagramm einer Nahansicht der Systemarchitektur von 4A, das Beispiele für Einfallswinkel und Reflexionen veranschaulicht, gemäß Ausführungsformen der vorliegenden Offenbarung. Licht von der Anzeigevorrichtung 102, das den Bildschirmrahmen, eine angezeigte Szenerie, einen oder mehrere Kalibrierungspunkte usw. repräsentiert, wird von einem Anzeigebildschirm 102 (oder einer reflektierenden AR-Linse) emittiert, der sich in einer bekannten Distanz von dem Träger befindet (mit einem gewissen prozentualen Fehler). Ein Sensor 104 befindet sich in einer bekannten Distanz von dem Träger und von der Anzeigevorrichtung 102. Licht, wie etwa das Licht 402 oder das Licht 404, wird von der Anzeigevorrichtung 102 emittiert. Da die Hornhaut 108 eine Sphäre ist oder nahezu sphärisch ist (in einer 2D-Vereinfachung als ein Kreis gezeigt), weisen einfallende und reflektierte Lichtstrahlen denselben Winkel (α) bezüglich einer Linie (L) von dem Zentrum des Kreises zu dem Einfallspunkt auf. Das reflektierte Licht 402' und 404' wird an dem Sensor 104 unter einem bekannten Winkel (β1 und β2) relativ zu einer Normalen zu dem Sensor empfangen, nachdem es auf der Hornhaut 108 reflektiert wurde. Die Einfallswinkel β1 und β2 sind ausführlicher in 4B gezeigt.
5 ist ein schematisches Diagramm einer Hornhaut 108, die Licht von einer Punktquelle 502 auf einer Anzeigevorrichtung zu einem Punkt 504 auf einem Bildsensor reflektiert, gemäß Ausführungsformen der vorliegenden Offenbarung. 5 stellt physiometrisch ein Beispielszenarium zum Auflösen einer Form und Größe der Reflexion von der Hornhaut 108 bereit. Eine Beziehung zwischen dem Winkel der Lichtemission a und dem Winkel des Lichtempfangs an dem Bildsensor β kann folgendermaßen bestimmt werden:
$90 - α - η = 90 - β + η \to α = β - 2 * η$
Diese Beziehungen für das α und das β kann weiter in räumliche Dimensionen aufgelöst werden:
$sin (α) * d 1 - sin (β) * d 2 = Δ y$

$cos (α) * d 1 + cos (β) * d 2 = Δ x$

$sin (β) * d 2 + cos (η) * R = Y$

$cos (β) * d 2 + sin (η) * R = X$
Der Bildsensorpunkt kann als ein Ursprung (0,0) angesehen werden. Eine Augenblickverschiebung kann den Fokus der Hornhaut auf einen Punkt (X,Y) platzieren. Der Wert von R kann durch einen Wert von zwischen 6 und 7 mm, wie etwa 6,7 mm angenähert werden.
Dieses Beispiel nimmt eine einzige Punktquelle von Lichtemission von der Anzeigevorrichtung 104 an. Die Beziehungen können für mehr als eine Punktquelle von Lichtemission auf eine ähnliche Weise aufgelöst werden und können Auflösung verschiedener Aspekte des aufgelösten, aus dem empfangenen reflektierten Licht erzeugten Bilds verbessern.
Ein 3D-Modell des Auges kann gebildet werden, um die Augenblickstellung zu bestimmen (z. B. auf der Grundlage einer Korrelation aus der Kalibrierung).
6A ist ein Diagramm 600, das Beispielbilder von Reflexionen eines Bildschirms von einer Hornhaut veranschaulicht, gemäß Ausführungsformen der vorliegenden Offenbarung. Wie zuvor erwähnt wurde kann eine Reflexion eines Anzeigebildschirms von einer Hornhaut 602 zum Bilden eines Bildes 604 des Anzeigebildschirms (oder einer auf dem Anzeigebildschirm gezeigten Szene oder anderen Anzeigebildschirmmerkmalen, wie etwa einem Rahmen des Bildschirms) verwendet werden. In Bildern 601a-601c ist das Auge gezeigt, wie es seinen Blick auf der Seite nach rechts bewegt. In Bild 601a blickt das Auge beispielsweise im Wesentlichen nach vorne. Das Anzeigebildschirmbild 604 kann eine Form aufweisen, die anzeigt, dass das Auge nach vorne schaut. In Bild 601b hat sich die Augenblickstellung zur Linken des Trägers und zur Rechten des Beobachters verschoben. Das Anzeigebildschirmbild 604b wird als sich vom Bild 604a unterscheidend gezeigt. Die Form des Bilds 604b kann auf eine ähnliche Weise wie die in 4A-B und 5 charakterisiert werden, um die Augenblickstellung zu bestimmen. Gleichermaßen hat sich in Bild 601c die Augenblickstellung weiter zur Linken des Trägers und zur Rechten des Beobachters verschoben. Das Anzeigebildschirmbild 604c wird als sich von den Bildern 604a und 604b unterscheidend gezeigt.
Die Blickrichtung kann dadurch identifiziert werden, wie ein rechteckiger Rahmen (z. B. ein Rahmen einer Anzeigevorrichtung oder ein angezeigtes Bild) verzerrt wird. In Abhängigkeit von der Krümmung des Auges im Reflexionsgebiet wird sich die Verzerrung des rechteckigen Rahmens unterscheiden (wie oben in 6A beschrieben wurde). Die Verzerrung kann verwendet werden zum Erhalten der Blickrichtung und/oder zum Trainieren eines Systems.
6B ist ein Diagramm 650, das ein Beispiel für Reflexionen eines Bildschirms von einer Hornhaut veranschaulicht, gemäß Ausführungsformen der vorliegenden Offenbarung. Zusätzlich zur Abbildung der Reflexion des Anzeigebildschirms können andere Reflexionen zum Charakterisieren der Richtung des Augenblicks verwendet werden. Im Bild 651a ist beispielsweise eine Reflexion des Umrisses der Hornhaut 602 in ein Bild 656a aufgelöst. Das Umrissbild 656a kann verwendet werden zum Vergleichen der relativen Position des Anzeigebilds 654a. Eine Distanz 660 zwischen dem Umrissbild 656a und dem Bild des Anzeigebildschirms 654a kann bestimmt werden, um eine Richtung des Augenblicks zu identifizieren. In Bild 651b hat sich der Augenblick zur Rechten des Trägers und zur Linken des Beobachters verschoben. Die Distanz 662 zwischen dem Umrissbild 656b und dem Anzeigebildschirmbild 654b hat abgenommen. Gleichermaßen hat sich in Bild 651c der Augenblick zur Rechten des Trägers und zur Linken des Beobachters verschoben. Die Distanz 664 zwischen dem Umrissbild 656c und dem Anzeigebildschirmbild 654c hat weiter abgenommen. Die relative Position der Reflexionen des Anzeigebildschirms gegenüber den Umrissbildern kann zum Erhalten der Augenblickrichtung verwendet werden.
7 ist ein Prozessflussdiagramm zum Bestimmen einer Augenblickrichtung, gemäß Ausführungsformen der vorliegenden Offenbarung. Vom Beginn an kann ein Bild auf einem Bildschirm angezeigt werden (702). Der Bildschirm kann ein Anzeigebildschirm eines VR-Headsets, eines AR-Headsets, eines Computerbildschirms, eines Smartphones usw. sein. Das Bild kann ein Kalibrierungsbild, ein derzeitiges VR-Bild oder ein anderes Bild sein. Ein Bildsensor, wie etwa der einer Kamera oder eines anderen Bildgebungssystems kann eine Reflexion des von dem Anzeigebildschirm emittierten Lichts, das von einer Hornhaut eines Auges des Benutzers/Trägers reflektiert wird, detektieren (704). Eine Form des detektierten reflektierten Lichts kann in ein Bild aufgelöst werden (706). Eine Augenblickrichtung kann zumindest teilweise auf der Grundlage der Form des detektierten reflektierten Lichts bestimmt werden (708).
8 ist ein Prozessflussdiagramm zum Verfolgen eines Augenblicks, gemäß Ausführungsformen der vorliegenden Offenbarung. Vom Beginn an kann ein Bild auf einem Bildschirm angezeigt werden (802). Ein Bildsensor, wie etwa der einer Kamera oder eines anderen Bildgebungssystems kann eine Reflexion des von dem Anzeigebildschirm emittierten Lichts, das von einer Hornhaut eines Auges des Benutzers/Trägers reflektiert wird, detektieren (804). Der Bildsensor kann auch von der Anzeigevorrichtung emittiertes Licht detektieren, das von anderen Gebieten des Auges reflektiert wurde, und kann Merkmale, wie etwa den Umriss der Iris detektieren (810). Eine Form des detektierten reflektierten Lichts kann in ein Bild aufgelöst werden (806). Das reflektierte Licht von dem Umriss der Iris kann auch in ein Bild aufgelöst werden (812). Eine relative Position zwischen dem Irisumrissbild und dem reflektierten Bildschirmbild kann bestimmt werden (808). Eine Augenblickrichtung kann zumindest teilweise auf der Grundlage der relativen Position des reflektierten Bildschirmbilds und des Umrissbilds der Iris bestimmt werden (814).
9 ist ein schematisches Diagramm eines Beispiels für ein Virtuelle-Realität-Headset 900, gemäß Ausführungsformen der vorliegenden Offenbarung. Das VR-Headset 900 weist einen Rahmen 902 auf, der ein Anzeigevorrichtungsgehäuse 904 und ein oder mehrere Photodetektorelemente 908 trägt. Das Anzeigevorrichtungsgehäuse 904 kann Anzeigeeinheiten 906a und 906b beherbergen, die ausgebildet sind zum Anzeigen oder Projizieren von Bildern zu einem Träger. Das Photodetektorelement 908 kann reflektiertes Licht von den Augen des Trägers 920 detektieren. Das Photodetektorelement 908 kann ein Bildsensor sein, wie etwa ein Bildsensor mit einem hochdynamischen Empfindlichkeitsbereich. Das VR-Headset kann auch ein Linsengehäuse 910 aufweisen, das angezeigtes Licht zu den Augen des Trägers 920 richtet und fokussiert. Das Linsengehäuse 910 kann eine oder mehrere Linsen 912 aufweisen. Das VR-Headset kann einen Prozessor 914 aufweisen, wie etwa eine Hardware-Verarbeitungseinheit. Der Prozessor 914 kann einen Zentralprozessor, einen Graphikprozessor, Speicher usw. aufweisen. Der Prozessor 914 kann die Anzeigevorrichtung ansteuern zum Projizieren von Augenblickkalibrierungspunkten oder -gittern oder Mustern für Kalibrierung, VR-Inhalten usw. Der Prozessor 914 kann auch unregelmäßig Kalibrierungsmuster innerhalb von Frames von VR-Inhalten für gelegentliche Neukalibrierung projizieren.
Der Prozessor 914 kann auch durch den Bildsensor empfangenes reflektiertes Licht verarbeiten, um einen Augenblick zu bestimmen. Der Prozessor 914 kann den Augenblick durch Bestimmen einer Verzerrung eines Musters bestimmen, wie etwa eines zweidimensionalen Musters, das von dem Auge 920 reflektiert wird. Das zweidimensionale Muster kann der Rahmen der Anzeigevorrichtung 906a, ein von der Anzeigevorrichtung 906a projiziertes Bild usw. sein.
Der Prozessor 914 kann auch auf der Grundlage der auf dem Bildsensor empfangenen Reflexionen von Mustern dreidimensionale Modelle des Auges bilden. Die dreidimensionalen Modelle des Auges können gebildet werden zum Erhöhen der Genauigkeit der Augenblickstellungsschätzung durch Kartieren der Konturen des Auges. Das dreidimensionale Modell des Auges des Trägers kann dazu verwendet werden, zu verstehen, wie eine Reflexion eines linearen Musters oder einer zweidimensionalen Form verzerrt wird, wenn das Auge die Blickstellung ändert.

Claims

Wearable-System zur Augenblickverfolgung, das nativen Inhalt nutzt, wobei das Wearable-System Folgendes aufweist: eine Anzeigevorrichtung mit einer nativen Auflösung zum Projizieren eines Bilds zu einem Auge eines Trägers; ein photoempfindliches Element, das im Sichtfeld des Trägers von dem projizierten Bild angeordnet ist, zum Empfangen einer verzerrten Reflexion des Bilds von nativen Inhalt von dem Auge des Benutzers; und einen Prozessor, ausgebildet zum Bestimmen einer Augenblickstellung auf der Grundlage der verzerrten Reflexion des Bilds.
Wearable-System nach Anspruch 1, wobei das Wearable-System ein Headset für Virtuelle-Realität aufweist.
Wearable-System nach Anspruch 1 oder Anspruch 2, wobei die Anzeigevorrichtung einen Virtuelle-Realität-Anzeigebildschirm aufweist.
Wearable-System nach einem der Ansprüche 1 bis 3, wobei das Wearable-System ein Headset für Erweiterte Realität aufweist.
Wearable-System nach einem der Ansprüche 1 bis 4, wobei der Prozessor ausgebildet ist zum: Ansteuern der projizierenden Oberfläche zum Anzeigen eines Kalibrierungsmusters; Verarbeiten einer empfangenen Reflexion des Kalibrierungsmusters von einer Hornhaut eines Trägers; und Modellieren der Form des Auges des Trägers auf der Grundlage der empfangenen Reflexion des Kalibrierungsmusters.
Wearable-System nach einem der Ansprüche 1 bis 5, wobei der Prozessor ausgebildet ist zum: unregelmäßigen Einsetzen eines Neukalibrierungsbilds in einen Inhaltsstrom, der dem Träger angezeigt wird; und Neukalibrieren einer Augenblickstellung zumindest teilweise auf der Grundlage des unregelmäßig eingesetzten Neukalibrierungsbilds.
Wearable-System nach einem der Ansprüche 1 bis 6, wobei der Prozessor ausgebildet ist zum: Verarbeiten einer empfangenen Reflexion einer Form, die zu dem Träger von der projizierenden Oberfläche projiziert wird; Bestimmen einer Verzerrung der Form; und Bestimmen einer Augenblickstellung zumindest teilweise auf der Grundlage der Verzerrung der Form.
Wearable-System nach Anspruch 7, wobei das photoempfindliche Element ausgebildet ist zum Empfangen einer Reflexion von Licht von einer Iris des Auges; und wobei der Prozessor ausgebildet ist zum: Vergleichen einer relativen Position zwischen einer Kante einer Reflexion von der Iris des Auges mit einer Kante der Form; und Bestimmen einer Augenblickstellung auf der Grundlage der relativen Position der Kante der Reflexion von der Iris des Auges und der Kante der Form.
Wearable-System nach einem der Ansprüche 1 bis 8, wobei das photoempfindliche Element einen Bildsensor mit einem hohen Dynamikbereich aufweist.
Wearable-Gerät zur Augenblickverfolgung, das nativen Inhalt einer Anzeigevorrichtung nutzt, wobei das Wearable-Gerät Folgendes aufweist: ein Mittel zum Projizieren eines Bilds von der Anzeigevorrichtung zu einem Auge eines Trägers, wobei die Anzeigevorrichtung einen zusammenhängenden Block von Pixeln aufweist, die eine native Auflösung definieren; ein Mittel zum Detektieren einer verzerrten Reflexion des Bilds von dem Auge des Trägers an einem Sensor; und ein Prozessormittel zum Bestimmen einer Augenblickstellung, zumindest teilweise auf der Grundlage der verzerrten Reflexion des projizierten Bilds von dem Auges des Trägers.
Wearable-Gerät nach Anspruch 10, wobei das Mittel zum Projizieren von Licht einen Virtuelle-Realität-Anzeigebildschirm oder einen Erweiterte-Realität-Headset-Projektor aufweist.
Wearable-Gerät nach entweder Anspruch 10 oder Anspruch 11, wobei das Mittel zum Detektieren von Licht einen Bildsensor mit einem hohen Dynamikbereich aufweist.
Wearable-Gerät nach einem der Ansprüche 10 bis 12, wobei das Prozessormittel ausgebildet ist zum: Verarbeiten einer Form einer Reflexion von einem Auge, wobei die Form durch das Mittel zum Projizieren projiziert wird; Bestimmen einer Verzerrung der Form; und Bestimmen einer Augenblickstellung zumindest teilweise auf der Grundlage der Verzerrung.