ES2562063T3 - Dispositivo y método para determinar la dirección de la mirada - Google Patents

Dispositivo y método para determinar la dirección de la mirada Download PDF

Info

Publication number
ES2562063T3
ES2562063T3 ES08718518.7T ES08718518T ES2562063T3 ES 2562063 T3 ES2562063 T3 ES 2562063T3 ES 08718518 T ES08718518 T ES 08718518T ES 2562063 T3 ES2562063 T3 ES 2562063T3
Authority
ES
Spain
Prior art keywords
light
grid
eye
substrate
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES08718518.7T
Other languages
English (en)
Inventor
Toni JÄRVENPÄÄ
Tapani Levola
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nokia Technologies Oy
Original Assignee
Nokia Technologies Oy
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nokia Technologies Oy filed Critical Nokia Technologies Oy
Application granted granted Critical
Publication of ES2562063T3 publication Critical patent/ES2562063T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement

Abstract

Un aparato (200, 500) que comprende: - una unidad de formacion de imagenes (400) configurada para adquirir una imagen (401) de un ojo (E1), - un sustrato conductor de ondas sustancialmente plano (7), - una fuente de luz (350) configurada para proporcionar un primer haz de luz (B4), estando dicho primer haz de luz (B4) sustancialmente colimado, - una rejilla de acoplamiento (210) configurada para difractar la luz de dicho haz de luz (B4) en dicho sustrato (7) y para formar un primer haz acoplado (B5) y un segundo haz acoplado (B6) que se propagan en direcciones diferentes dentro de dicho sustrato (7), - una primera porcion de rejilla de expansion (221) configurada para proporcionar un primer haz interno expandido (B7) mediante la difraccion de la luz de dicho primer haz acoplado (B5), - una segunda porcion de rejilla de expansion (222) configurada para proporcionar un segundo haz interno expandido (B8) mediante la difraccion de la luz de dicho segundo haz acoplado (B6), - una primera porcion de rejilla de desacoplamiento (230) configurada para formar un primer haz de iluminacion (B11) sustancialmente colimado por la difraccion de la luz de dicho primer haz interno expandido (B7) fuera de dicho sustrato (7), - una segunda porcion de rejilla de desacoplamiento (230) para formar un segundo haz de iluminacion (B12) sustancialmente colimado por la difraccion de la luz de dicho segundo haz interno expandido (B8) fuera de dicho sustrato (7), teniendo dichos haces de iluminacion (B11, B12) direcciones diferentes de tal manera que dicho primer haz de iluminacion (B11) proporcione un primer punto de reflexion cuando se refleje la luz desde la superficie del ojo (E1), y que dicho segundo haz de iluminacion (B12) proporcione un segundo punto de reflexion (G2) cuando se refleje la luz desde la superficie de dicho ojo (E1), apareciendo dichos puntos de reflexion en dicha imagen (401), y - una unidad de procesamiento de datos (550) configurada para determinar la direccion de la mirada (GZD) del ojo (E1) con respecto a dicho aparato (200, 500) basandose en la posicion de dicho primer punto de reflexion (G1) en dicha imagen (401), en la posicion de dicho segundo punto de reflexion (G2) en dicha imagen (401), en la posicion de la pupila (P) y/o el iris (IRI) del ojo (E1) en dicha imagen (401), y en las direcciones de los haces de luz de iluminacion (B11, B12).

Description

5
10
15
20
25
30
35
40
45
50
55
60
65
DESCRIPCIÓN
Dispositivo y método para determinar la dirección de la mirada Antecedentes de la invención
La presente invención se refiere a la determinación de la dirección de mirada de un ojo.
Antecedentes
La dirección de la mirada de una persona se puede utilizar para seleccionar opciones mostradas en una pantalla de ordenador. Por lo tanto, puede utilizarse un dispositivo de seguimiento de los ojos que proporcione información sobre la dirección de la mirada, por ejemplo, como dispositivo de indicación y selección en lugar de un ratón informático.
Cuando la luz incide sobre el ojo, se producen varias reflexiones en los límites del cristalino, córnea y retina. Estas reflexiones proporcionan puntos de reflexión conocidos como las imágenes de Purkinje. La reflexión desde la superficie corneal exterior proporciona la primera imagen de Purkinje, también denominada brillo. La orientación del ojo puede determinarse basándose en la posición de la pupila con respecto a la posición de la primera Imagen de Purkinje.
La solicitud de patente PCT/FI2006/050043 da a conocer un dispositivo de seguimiento de los ojos que comprende un expansor de haz difractivo para proporcionar dos haces de iluminación. El uso de dos imágenes de Purkinje hace que la determinación sea sustancialmente independiente de la distancia entre el ojo y el dispositivo de seguimiento. Dicha solicitud también da a conocer que el dispositivo de seguimiento de los ojos puede utilizarse en combinación con una unidad de visualización virtual, en el que dicha unidad de vlsualización virtual está dispuesta para representar visualmente imágenes virtuales.
Sumario
Un objeto de la presente invención es proporcionar un dispositivo y un método para determinar la dirección de la
mirada.
De acuerdo con un primer aspecto de la invención, se proporciona un dispositivo para determinar la dirección de la mirada de un ojo, comprendiendo dicho dispositivo:
- una primera unidad de formación de imágenes para adquirir una imagen de dicho ojo, un sustrato conductor de ondas sustancialmente plano,
- una fuente de luz para proporcionar un primer haz de luz, estando dicho primer haz de luz sustancialmente
colimado,
- una rejilla de acoplamiento para difractar la luz de dicho haz de luz en dicho sustrato y para formar un primer haz acoplado y un segundo haz acoplado que se propagan en direcciones diferentes dentro de dicho sustrato,
- una primera porción de rejilla de expansión para proporcionar un primer haz interno expandido mediante la difracción de la luz de dicho primer haz acoplado,
- una segunda porción de rejilla de expansión para proporcionar un segundo haz interno expandido mediante la difracción de la luz de dicho segundo haz acoplado,
- una primera porción de rejilla de desacoplamiento para formar un primer haz de iluminación sustancialmente colimado por la difracción de la luz de dicho primer haz interno fuera de dicho sustrato,
- una segunda porción de rejilla de desacoplamiento para formar un segundo haz de iluminación sustancialmente colimado por la difracción de la luz de dicho segundo haz interno fuera de dicho sustrato, teniendo dichos haces de iluminación direcciones diferentes con respecto a dicho dispositivo de tal manera que dicho primer haz de iluminación proporcione un primer punto de reflexión cuando se refleje la luz desde la superficie del ojo, y que dicho segundo haz de iluminación proporcione un segundo punto de reflexión cuando se refleje la luz desde la superficie de dicho ojo, apareciendo dichos puntos de reflexión en dicha imagen, y
- una unidad de procesamiento de datos para determinar la dirección de la mirada del ojo con respecto a dicho dispositivo basándose en la posición de dicho primer punto de reflexión en dicha imagen, en la posición de dicho segundo punto de reflexión en dicha imagen, en la posición de la pupila y / o el iris del ojo en dicha imagen, y en las direcciones de los haces de luz de iluminación.
De acuerdo con un segundo aspecto de la invención, se proporciona un método para determinar la dirección de la mirada de un ojo, comprendiendo dicho método:
- adquirir una imagen de dicho ojo usando una primera unidad de formación de imágenes,
- proporcionar un primer haz de luz sustancialmente colimado usando una fuente de luz,
- difractar la luz de dicho haz de luz usando una rejilla de acoplamiento para formar un primer haz acoplado y un segundo haz acoplado que se propagan en direcciones diferentes dentro de un sustrato conductor de ondas
5
10
15
20
25
30
35
40
45
50
55
60
65
sustancialmente plano,
- difractar la luz de dicho primer haz expandido mediante una primera porción de rejilla de expansión para proporcionar un primer haz interno acoplado expandido que se propague dentro de dicho sustrato,
- difractar la luz de dicho segundo haz expandido mediante una segunda porción de rejilla de expansión para proporcionar un segundo haz interno acoplado expandido que se propague dentro de dicho sustrato,
- difractar la luz de dicho primer haz interno expandido fuera de dicho sustrato mediante una primera porción de rejilla de desacoplamiento para formar un primer haz de iluminación sustancialmente colimado,
- difractar la luz de dicho segundo haz interno expandido fuera de dicho sustrato mediante una segunda porción de rejilla de desacoplamiento para formar un segundo haz de iluminación sustancialmente colimado, teniendo dichos haces de iluminación direcciones diferentes de tal manera que dicho primer haz de iluminación proporcione un primer punto de reflexión cuando se refleje la luz desde la superficie del ojo, y que dicho segundo haz de iluminación proporcione un segundo punto de reflexión cuando se refleje la luz desde la superficie de dicho ojo, apareciendo dichos puntos de reflexión en dicha imagen, y
- determinar la dirección de la mirada del ojo basándose en la posición de dicho primer punto de reflexión en dicha imagen, en la posición de dicho segundo punto de reflexión en dicha imagen, en la posición de la pupila y / o el iris del ojo en dicha imagen, y en las direcciones de los haces de luz de iluminación.
La división de un único haz colimado mediante la rejilla de acoplamiento en al menos dos partes proporciona una
manera sencilla y estable para disponer la iluminación del ojo.
En una realización, el dispositivo comprende también un motor óptico y un expansor de haz difractivo adicional para
representar visualmente imágenes virtuales. Puede utilizarse la misma rejilla de desacoplamiento para proporcionar
los haces de iluminación y una imagen virtual.
En una realización, el dispositivo comprende también un motor óptico y un expansor de haz difractivo adicional para representar visualmente imágenes virtuales. El primer expansor de haz difractivo de la unidad de seguimiento de los ojos y el segundo expansor de haz difractivo para representar visualmente imágenes virtuales pueden implementarse sobre el mismo sustrato. Las características de difracción de la rejilla de salida del primer expansor de haz difractivo pueden ser sustancialmente perpendiculares a las características de difracción de la rejilla de desacoplamiento del segundo expansor de haz difractivo. En consecuencia, solo una mínima cantidad de luz de iluminación desacoplada del sustrato por la rejilla de salida del segundo expansor de haz difractivo y / o la luz de iluminación desacoplada del sustrato por la rejilla de salida del segundo expansor de haz difractivo se propagan en direcciones que no perturban la determinación de la dirección de la mirada.
Breve descripción de los dibujos
En los siguientes ejemplos, se describirán en más detalle las realizaciones de la invención con referencia a los dibujos adjuntos, en los cuales
La Fig. 1a
LaFig. 1b
La Fig. 2
La Fig. 3 La Fig. 4 La Fig. 5a
La Fig. 5b
La Fig. 6a
La Fig. 6b La Fig. 6c La Fig. 7a
muestra, en una vista tridimensional, la dirección de la mirada de un ojo con respecto a un sistema de coordenadas de referencia
muestra, en una vista tridimensional, la dirección del eje óptico del ojo con respecto al sistema de coordenadas de referencia de la Fig. 1a,
muestra, en una vista lateral, un dispositivo de seguimiento de los ojos para determinar la dirección de la mirada,
muestra, en una vista lateral, la reflexión de rayos de luz desde la superficie corneal,
muestra una imagen del ojo, comprendiendo dicha imagen dos puntos de reflexión,
muestra, en una vista lateral, un expansor de haz difractivo adaptado para proporcionar un primer haz de iluminación colimado y un segundo haz de iluminación colimado,
muestra, en una vista tridimensional, un expansor de haz difractivo adaptado para proporcionar un primer haz de iluminación colimado y un segundo haz de iluminación colimado,
muestra, en una vista tridimensional, un dispositivo de seguimiento de los ojos que comprende un expansor de haz difractivo,
muestra el expansor de haz difractivo de la Fig. 6a,
muestra la orientación de características de difracción en el expansor de haz difractivo de la Fig. 6a, muestra un expansor de haz difractivo,
5
10
15
20
25
30
35
40
45
50
55
60
65
La Fig. 7b muestra la orientación de características de difracción en el expansor de haz difractivo de la Fig. 7a,
La Fig. 7c muestra, en una vista tridimensional, un dispositivo de seguimiento de los ojos que comprende el
expansor de haz difractivo de la Fig. 7a,
La Fig. 7d muestra, en una vista tridimensional, una rejilla de acoplamiento dispuesta para difractar la luz al menos en tres direcciones diferentes,
La Fig. 8a La Fig. 8b La Fig. 9
La Fig. 10a La Fig. 10b La Fig. 11a
La Fig. 11b
La Fig. 11c
La Fig. 12a
La Fig. 12b
La Fig. 12c
La Fig. 13
La Fig. 14
La Fig. 15a
La Fig. 15b
La Fig. 15c
La Fig. 16a La Fig. 16b La Fig. 16c
La Fig. 17 La Fig. 18
muestra un expansor de haz difractivo,
muestra la orientación de características de difracción en el expansor de haz difractivo de la Fig. 8a,
muestra, en una vista tridimensional, un dispositivo de representación virtual que comprende un expansor de haz difractivo,
muestra, en una vista lateral, el dispositivo de representación virtual de la Fig. 9, muestra una imagen generada por una micro pantalla,
muestra, en una vista tridimensional, los ángulos cenital y acimutal de un rayo de luz o de un haz de
luz,
muestra, en una vista superior, el ángulo acimutal de un haz acoplado y el ángulo acimutal de un haz desacoplado,
muestra, en una vista tridimensional, el ángulo cenital de un haz en acoplado y el ángulo cenital de un haz desacoplado,
muestra, en una vista superior, un expansor de haz difractivo que comprende porciones intermedias de rejilla de desviación y restauración,
muestra, en una vista superior, la orientación de características de difracción en el expansor de haz difractivo de la Fig. 12a,
muestra, en una vista superior, la orientación de características de difracción en el expansor de haz difractivo de la Fig. 12a,
muestra, en una vista superior, un expansor de haz difractivo que comprende porciones intermedias
de rejilla de desviación y restauración,
muestra, en una vista tridimensional, la propagación de haces de luz en el expansor de haz difractivo
de la Fig. 13,
muestra, en una vista superior, un expansor de haz difractivo para la representación visual de imágenes virtuales,
muestra, en una superior, un expansor de haz difractivo para proporcionar dos haces de luz colimados de iluminación,
muestra, en una vista superior, un sustrato que comprende un primer expansor de haz difractivo para proporcionar dos haces de luz colimados de iluminación y un segundo expansor de haz difractivo para la representación visual de imágenes virtuales,
muestra, en una vista superior, un expansor de haz difractivo para proporcionar dos haces de luz colimados de iluminación,
muestra, en una vista superior, un expansor de haz difractivo para la representación visual de imágenes virtuales,
muestra, en una vista superior, un sustrato que comprende un primer expansor de haz difractivo para proporcionar dos haces de luz colimados de iluminación y un segundo expansor de haz difractivo para la representación visual de imágenes virtuales,
muestra un dispositivo de seguimiento de los ojos,
muestra un expansor de haz difractivo biocular,
5
10
15
20
25
30
35
40
45
50
55
60
65
LaFig. 19 La Fig. 20
La Fig. 21
La Fig. 22
muestra un dispositivo de representación virtual biocular,
muestra un dispositivo de representación virtual biocular que comprende una unidad de detección de ojos,
muestra una imagen virtual vista a través de la abertura de visualización de un dispositivo de representación virtual, y
muestra un dispositivo de seguimiento de los ojos para determinar la dirección de la mirada con respecto a objetos externos.
Descripción detallada
Con referencia a la Fig. 1a, la dirección de la mirada GZD del ojo E1 puede expresarse por el ángulo cenital 01 y el ángulo azimutal cp1 de la dirección de la mirada GZD con respecto a las direcciones SX, SY, SZ y un sistema de coordenadas de referencia. La dirección SZ define la dirección vertical y la dirección SX define la dirección horizontal del sistema de coordenadas de referencia. Las direcciones SX, SY, y SZ son ortogonales. Véase la Fig. 11a para la definición de los ángulos cenital y azimutal.
Una porción de la retina del ojo E1, denominada fóvea FV, es responsable de la visión más nítida. La dirección de la mirada GZD puede estar definida por una línea que pase a través del centro de la fóvea FV y del punto principal del cristalino LNS del ojo E1.
Una línea de referencia REF1 es paralela a la dirección SY del sistema de coordenadas de referencia. La posición del ojo E1 puede moverse en las direcciones SX, SY, y / o SZ.
En general, la línea de referencia REF1 no pasa por el centro O del ojo E1.
Unos objetos 1002, 1003 están situados a una distancia considerable o infinita con respecto al ojo E1. Los objetos 1002, 1003 pueden ser objetos físicos (por ejemplo, cuerpos), imágenes representadas en una pantalla de visualización remota, o imágenes representadas por una pantalla virtual.
Debe asumirse que las coordenadas angulares de los objetos 1002, 1003 son conocidas con respecto a un punto C en la línea de referencia REF1, y que la distancia entre el ojo E1 y los objetos 1002, 1003 es larga cuando se compara con la distancia entre el punto C y el centro O del ojo. La relación de las distancias pueden ser, por ejemplo, superior o igual a diez. Por lo tanto, los objetos 1002, 1003 pueden asociarse a las direcciones de la mirada GZD. En consecuencia, si se conoce el ángulo cenital 01 y el ángulo acimutal tplde la dirección de la mirada GZD, se puede determinar qué objeto está mirando el ojo E1, por ejemplo, si el ojo E1 está mirando la estrella 1002 o el hexágono 1003.
Con referencia a la Fig. 1b, la forma real del ojo E1 es ligeramente no esférica, pero la forma de la córnea puede aproximarse a una superficie esférica. En el presente documento, el centro O del ojo E1 se refiere al centro de una esfera de ajuste óptimo, estando equipada dicha esfera con la superficie corneal. En este caso, el radio R del ojo E1 se refiere al radio de dicha esfera de ajuste óptimo.
La dirección del eje óptico DOA del ojo E1 se define por una línea que pasa a través del centro O del ojo E1 y del centro de mejor ajuste de la pupila P.
La pupila está rodeada por el Iris IRI. La determinación del centro de mejor ajuste de la pupila P también puede determinarse parcial o totalmente basándose en la ubicación del iris IRI.
La dirección de la mirada GZD normalmente se desvía de 3 a 5 grados con respecto a la dirección del eje óptico DOA. La relación entre los ángulos cenital y azimutal 01’, cp1' de la dirección DOA y los ángulos cenital y azimutal 01, (p1 de la dirección de la mirada GZD puede establecerse, por ejemplo, mediante medidas de calibración. Dicha relación se puede expresar, por ejemplo, como ecuaciones de regresión.
Con referencia a la Fig. 2, el ángulo cenital 01’ y el ángulo azimutal cp1 ’ de la dirección del eje óptico DOA puede, a su vez, determinarse mediante un dispositivo de seguimiento de los ojos 200. El dispositivo de seguimiento de los ojos 200 puede comprender una o más rejillas de desacoplamiento o porciones de rejilla 230 y una unidad de formación de imágenes 400. Las rejillas de desacoplamiento 230 proporcionan al menos dos haces de luz B11, B12 sustancialmente colimados, que se dirigen hacia el ojo E1, y dichos haces B11, B12 tienen direcciones diferentes. La unidad de formación de imágenes 400 proporciona una imagen del ojo E1.
La dirección del primer haz de iluminación B11 puede identificarse por el ángulo cenital tpn y el ángulo acimutal 0n de dicho haz B11. La dirección del segundo haz de iluminación B12 puede identificarse por el ángulo cenital (pi2 y el ángulo azimutal 012 de dicho haz B11. En la Fig. 2 solo se muestran los ángulos cenital 0n y 012. Los haces B11 y
5
10
15
20
25
30
35
40
45
50
55
60
65
B12 se propagan en direcciones diferentes, es decir, 0n * 812 y/o (pn * (pi2. L1 denota la distancia entre la unidad de formación de imágenes 400 y la pupila P del ojo E1.
La unidad de formación de imágenes 400 comprende óptica de formación de imagen para enfocar la luz sobre un sensor de imagen, que puede ser, por ejemplo un dispositivo de carga acoplada (CCD) o un sensor de imagen CMOS. La unidad de formación de imágenes 400 puede comprender medios de enfoque automático.
Con referencia a la Fig. 3, la luz del haz B11 se refleja desde la superficie corneal proporcionando una pluralidad de rayos reflejados, que se propagan en varias direcciones diferentes. La abertura de la unidad de formación de imágenes 400 recibe un abanico estrecho de rayos de luz reflejados. En este caso dicho abanico está representado por un solo rayo NC, que es el promedio ponderado de dicho abanico. El rayo NC se refleja desde un punto de reflexión N sobre la superficie del ojo E1 al punto principal C de la óptica de formación de imágenes de la unidad de formación de imágenes 400.
También el segundo haz de iluminación B12 (no mostrado en la Fig. 3) se refleja desde la superficie corneal hacia la unidad de formación de imágenes 400. El segundo haz de iluminación B12 se refleja desde un punto M (no mostrado) sobre la superficie del ojo E1 al punto principal C de la óptica de formación de imágenes de la unidad de formación de imágenes 400.
La Fig. 4 muestra una imagen 401 del ojo E1 adquirida por la unidad de formación de imágenes 400. El primer haz de iluminación B11 se dirige hacia el ojo E1 de tal manera que la reflexión del primer haz B11 proporcione un primer punto de reflexión G1 que aparece en la imagen 401. El segundo haz de iluminación B12 se dirige hacia el ojo E1 de tal manera que la reflexión del segundo haz B12 proporcione un segundo punto de reflexión G2 que aparece en la imagen 401. Pueden aplicarse algoritmos de análisis de imagen para determinar las coordenadas X1, Z1, X2, Z2 de los puntos de reflexión G1, G2, y las coordenadas X3, Z3 de la pupila P en la imagen 401. Los puntos de reflexión G1, G2, es decir las primeras imágenes de Purkinje, deberán distinguirse de las otras imágenes de Purkinje originadas en el interior del ojo E1.
La pupila se refiere a la zona transparente circular en el centro del iris IRI. Es la posición de esta zona negra la que puede determinarse mediante la cámara 400 dispuesta para ver el ojo E1.
La posición angular del primer punto de reflexión G1 puede definirse mediante un ángulo horizontal y un ángulo vertical entre la dirección de referencia REF1 y una línea trazada desde el punto C de la óptica de formación de imágenes hasta el centro del punto de reflexión G1, es decir hasta el punto N mostrado en la Fig. 3. Las posiciones angulares de los puntos de reflexión G1, G2 y de la pupila P pueden determinarse basándose en la imagen adquirida 401. La relación entre la posición de un píxel en la imagen adquirida y la posición angular de una característica captada sobre dicho píxel puede calcularse basándose en la distancia conocida entre la óptica de formación de imágenes y el sensor de imagen. La relación también puede determinarse experimentalmente en un banco de pruebas.
Cuando se cambia la dirección de la mirada, la pupila P se mueve con respecto a los puntos de reflexión G1, G2.
La diferencia angular correspondiente a la diferencia entre las posiciones de los puntos de reflexión G1, G2 establece un patrón, lo que hace que la determinación de la dirección de la mirada sea sustancialmente independiente de la distancia L1 entre la óptica de formación de imágenes 400 y el ojo E1.
El algoritmo para la determinación de la dirección de la mirada GZD y / o la dirección del eje óptico DOA, basándose en las posiciones de los puntos de reflexión G1, G2 y de la pupila P1 se ha descrito, por ejemplo, en la solicitud de patente W02007085682 A1.
La determinación de la dirección de la mirada GZD y / o la dirección del eje óptico DOA puede comprender:
- determinar las posiciones angulares de los puntos N, M de reflexión en la superficie del ojo E1 basándose en las coordenadas de los puntos de reflexión G1, G2 en la imagen 401 adquirida por la unidad de formación de imágenes 400,
- calcular las direcciones de las normales N1, N2 a la superficie en dichos puntos N, M de reflexión basándose en las direcciones de los haces de iluminación B11, B12, y las direcciones de los vectores CN y CM trazadas desde el punto principal C de la óptica de formación de imágenes hasta dichos puntos N y M, siendo dichas normales N1, N2 a la superficie perpendiculares a la superficie del ojo E1,
- determinar un vector auxiliar GH que sea perpendicular a las normales N1 y N2,
- calcular las longitudes de los vectores GH, CM y CN,
- aproximar la posición del centro O del ojo por el punto medio de dicho vector auxiliar GH,
- determinar la dirección de un vector CP desde el punto principal C hasta el centro de la pupila P basándose en las coordenadas de la pupila P y/o el iris en la imagen adquirida 401,
- calcular la posición del centro de la pupila P, y
- calcular la dirección de un vector OP desde el centro O del ojo E1 hasta el centro de la pupila P, siendo la
5
10
15
20
25
30
35
40
45
50
55
60
65
dirección de dicho vector OP la dirección del eje óptico DOA del ojo E1.
Debe observarse que la pupila y el cristalino del ojo E1 no están en la superficie del ojo E1, sino dentro del ojo E1. La relación entre la dirección de la mirada GZD y la dirección del eje óptico DOA establecida por el algoritmo anterior puede determinarse por calibración (véase el análisis en el contexto de la Fig. 21). Por lo tanto, la dirección de la mirada GZD puede determinarse basándose en la dirección del eje óptico DOA del ojo E1 mediante el uso de una o más ecuaciones de regresión.
Con referencia a la Fig. 5a, un dispositivo de seguimiento de los ojos 200 puede comprender una fuente de luz 350 y un expansor de haz difractivo 207 para proporcionar al menos dos haces de iluminación B11, B12 sustancialmente colimados. El dispositivo de seguimiento de los ojos 200 comprende también una unidad de formación de imágenes 400 y una unidad de procesamiento de datos 550 (véase la Fig. 17).
La fuente de luz 350 puede ser, por ejemplo, un láser que esté adaptado para emitir, por ejemplo, luz infrarroja. La unidad de formación de imágenes 400 es sensible a la longitud de onda de la fuente de luz 350. La unidad de formación de imágenes 400 puede comprender filtros ópticos para rechazar la luz en otras longitudes de onda.
El expansor de haz difractivo puede comprender una rejilla de acoplamiento 210 y rejillas de desacoplamiento 230. Las rejillas 230 también pueden ser porciones de la misma rejilla. Las rejillas 210, 230 pueden implementarse sobre un sustrato transparente 7 sustancialmente plano. El sustrato 7 tiene una primera superficie sustancialmente plana y una segunda superficie sustancialmente plana que es sustancialmente paralela a dicha primera superficie plana.
El substrato 7 guía las ondas, lo que significa que la luz acoplada puede propagarse dentro de dicho sustrato 7 de manera que dicha luz de propagación pueda quedar confinada a dicho sustrato 7 por las reflexiones internas totales (TIR).
La fuente de luz 350 puede proporcionar un haz estrecho de luz B4. El haz estrecho B4 incide en la rejilla de acoplamiento 210 que difracta la luz de dicho haz estrecho en al menos dos direcciones diferentes. La rejilla de acoplamiento actúa como un divisor del haz difractivo que proporciona un primer haz acoplado B5 y un segundo haz acoplado B6. Los haces B5 y B6 que se propagan dentro del sustrato 7 quedan confinados al sustrato 7 por las reflexiones internas totales.
El primer haz acoplado B5 puede corresponder sustancialmente al orden -1 de difracción reflectante o transmisiva y el segundo haz acoplado B6 puede corresponder sustancialmente al orden +1 de difracción reflectante o transmisiva.
La luz de los haces B5 y B6 puede desacoplarse del sustrato 7 mediante las rejillas de desacoplamiento 230. Las rejillas de desacoplamiento 230 proporcionan los haces de iluminación B11, B12.
La patente US 6.580.529 da a conocer un expansor de haz difractivo para expandir un haz de luz en dos dimensiones.
Con referencia a la Fig. 5b, el expansor de haz difractivo 207 puede comprender además una primera rejilla de expansión 221 y una segunda rejilla de expansión 222. La primera rejilla de expansión 221 puede proporcionar un primer haz interno B7 mediante la difracción de la luz del primer haz acoplado B5. La segunda rejilla de expansión 221 puede proporcionar un segundo haz interno B8 mediante la difracción de la luz del segundo haz acoplado B5. Los haces internos B7, B8 se han expandido en la dirección SX en comparación con el haz estrecho B4 original proporcionado por la fuente de luz 350.
El haz estrecho B4 puede ser sustancialmente perpendicular a la rejilla de acoplamiento 210.
La rejillas de desacoplamiento, las rejillas de desacoplamiento o las porciones de rejilla de desacoplamiento 230 pueden proporcionar los haces de iluminación B11, B12 mediante la difracción de la luz de los haces internos B7, B8 fuera del sustrato 7. Los haces de iluminación B11, B12 pueden dirigirse de tal modo, y el dispositivo de seguimiento 200 puede posicionarse con respecto al ojo E1 de tal modo que los haces de iluminación B11, B12 incidan sobre la superficie de la córnea del ojo E1. La rejilla de desacoplamiento 230 puede proporcionar la expansión del haz en la dirección SZ. En consecuencia, ahora pueden expandirse los haces de iluminación B11, B12 en las direcciones SXy SZ en comparación con las dimensiones del haz estrecho B4.
Las rejillas 210, 221, 222 y 230 pueden tener características de difracción sustancialmente lineales, por ejemplo una pluralidad de nervios y/o ranuras. Las características de difracción de la rejilla de acoplamiento 210 pueden ser sustancialmente paralelas a la dirección SZ. Las características de difracción de la rejilla de desacoplamiento 230 pueden ser sustancialmente paralelas a la dirección SX. La orientación de características de difracción en las rejillas de expansión se puede seleccionar de manera que los haces de iluminación B11, B12 tengan diferentes ángulos acimutales. Por lo tanto, la difracción de los haces B11, B12 en la rejilla de desacoplamiento 230 proporciona los haces de iluminación B11 y B12 que se propagan en direcciones diferentes, aunque la orientación de características
5
10
15
20
25
30
35
40
45
50
55
60
de difracción en una primera porción de rejilla que interactúa con el haz B7 es la misma que la orientación de características de difracción en una segunda porción de rejilla que interactúa con el haz B8. En consecuencia, puede incluso utilizarse la misma porción de rejilla 230 para difractar la luz en la dirección del haz B11 y en la dirección del haz B12. Incluso el mismo punto de la rejilla 230 puede difractar la luz en la dirección del haz B11 y en la dirección del haz B12. Esto facilita la provisión de los haces de iluminación B11, B12 con un solapamiento casi completo a una distancia predeterminada con respecto al expansor de haz 207, es decir a la distancia preferida entre el expansor y el ojo E1. La distancia preferida en el caso de un dispositivo de tipo gafas (véase la Fig. 19) puede estar, por ejemplo, en el intervalo de 5 a 50 mm
La Fig. 6a muestra una vista tridimensional de un dispositivo de seguimiento de los ojos 200. La unidad de formación de imágenes 400 puede estar dispuesta para monitorizar el ojo E1 a través del sustrato 7 del expansor de haz difractivo 207.
La Fig. 6b muestra las posiciones de las rejillas en el expansor de haz difractivo 207 del dispositivo de seguimiento de los ojos 200 de la Fig. 6a.
La Fig. 6c muestra la orientación de características de difracción de las rejillas 210, 221, 222, y 230 en el dispositivo de seguimiento de los ojos 200 de la Fig. 6a. Las rejillas 210, 221, 222, y 230 pueden estar en un plano definido por las direcciones SX y SZ. Las características de difracción de la rejilla de acoplamiento 210 pueden ser sustancialmente paralelas a la dirección SZ. Las características de difracción de la rejilla de desacoplamiento 230 pueden ser sustancialmente paralelas a la dirección SZ. Los periodos dnt y d222 de rejilla de las rejillas de expansión 221, 222 y los ángulos P221, P222 de orientación de las características de difracción de las rejillas de expansión 221, 222 pueden seleccionarse de manera que los haces de iluminación B11, B12 se propaguen en direcciones diferentes azimutales dentro del sustrato 7.
La Fig. 7a muestra otra disposición de las rejillas 210, 221, 222, 230. La luz B8 difractada desde la rejilla de expansión 221 puede incidir nuevamente en la misma rejilla 221, proporcionando de ese modo un haz B5’ auxiliar que se propague en la misma dirección que el haz acoplado B5 original. La luz del haz B5’ auxiliar puede proporcionar rayos de luz adicionales que se propagan en la dirección del haz interno B7. La rejilla de expansión 222 puede proporcionar uno o más haces B6’ auxiliares de manera similar. Por lo tanto, las rejillas de expansión 221, 222 proporcionan haces B7, B8 internos que se han expandido en la dirección SZ.
El haz estrecho B4 emitido desde la fuente de luz 350 puede estar inclinado con respecto a la rejilla de acoplamiento 210 de modo que los haces acoplados B5, B6 no se propaguen en direcciones opuestas dentro del sustrato 7. El ángulo azimutal del haz B5 puede estar, por ejemplo, en el intervalo de -90 a -45 grados y el ángulo azimutal del haz B6 puede estar, por ejemplo, en el intervalo de 45 a 90 grados.
Los patrones de sombreado en la Fig. 7b muestran esquemáticamente la orientación de las características de difracción en las rejillas 210, 221, 222, 230. La orientación de las características de difracción en las rejillas 221 y 222 se puede seleccionar, por ejemplo, de acuerdo con la ecuación (1):
imagen1
imagen2
eos f> +sen tfB4sen p
(1)
donde 0B4 es el ángulo cenital del haz B4 fuera del sustrato 7, p es el ángulo entre la orientación de las características de difracción de la rejilla 210 y las características de difracción de la rejilla 221, A indica la longitud de onda, d22i indica el periodo de rejilla de la rejilla 221, y d2io denota el periodo de rejilla de la rejilla 210. El ángulo p de las líneas 222 y 221 de rejilla puede estar, por ejemplo, en el intervalo de 10 a 30 grados.
La Fig. 7c muestra en una vista tridimensional el dispositivo de seguimiento de los ojos 200 de las Figs. 7a y 7b.
Con referencia a la Fig. 7d, la rejilla de acoplamiento puede difractar la luz del haz B4 en tres o más direcciones diferentes. Por ejemplo, los haces acoplados B5 y B6 pueden formarse por difracciones en los órdenes -1 y +1 de difracción, y un tercer haz B9 se puede formar por difracción en el orden cero de difracción. Los haces acoplados B5 y B6 se propagan dentro del sustrato 7 hacia la rejilla de desacoplamiento 230 y/o hacia las porciones de rejilla de expansión 221, 222, con el fin de formar haces de iluminación B11, B12 desacoplados del sustrato 7.
El tercer haz B9 correspondiente al orden cero de difracción incide en el plano opuesto del sustrato en un ángulo tal que no esté limitado al sustrato 7 por reflexión interna total. Por lo tanto, el haz B9 se transmite a través del sustrato 7 y se desacopla del sustrato 7.
5
10
15
20
25
30
35
40
45
50
55
60
65
La rejilla de acoplamiento también puede difractar la luz del haz B4, por ejemplo, en el orden 2 de difracción con el fin de proporcionar un haz acoplado B10 adicional que pueda propagarse dentro del sustrato 7 hacia la rejilla de desacoplamiento 230 y / o hacia porciones de rejilla de expansión adicionales (no mostradas) con el fin de formar un tercer haz de iluminación (no mostrado), desacoplado a del sustrato 7 hacia el ojo. También puede proporcionarse un haz acoplado adicional por difracción en el orden -2 de difracción.
La dirección de la mirada puede determinarse usando tres o más diferentes haces de iluminación que se propagan en direcciones diferentes. En el caso de tres haces de iluminación, se puede usar tres veces el algoritmo de detección de dirección de la mirada desarrollado para dos haces. La primera vez utilizando el primer haz de iluminación y un segundo haz de iluminación, la segunda vez utilizando el primer haz de iluminación y un tercer haz de iluminación, y la tercera vez utilizando el segundo haz de Iluminación y el tercer haz de iluminación. Con el fin de mejorar la precisión, por ejemplo, pueden promediarse los ángulos cenitales de las tres direcciones de la mirada determinadas. Con el fin de mejorar la precisión, por ejemplo, pueden promediarse los ángulos acimutales de las tres direcciones de la mirada determinadas.
La Fig. 8a muestra otra disposición más de un expansor de haz difractivo 207 en el que el perímetro de las rejillas de expansión 221, 222 está inclinado con respecto a la dirección de las características de difracción de la rejilla de desacoplamiento 230. El haz estrecho B4 emitido desde la fuente de luz 350 puede inclinarse con respecto a la rejilla de acoplamiento 210 para proporcionar haces de acoplamiento B5, B6 que estén inclinados con respecto a la dirección de las características de difracción de la rejilla de desacoplamiento 230. Las rejillas de expansión 221, 222 alargadas pueden alinearse sustancialmente con las direcciones de los haces acoplados B5, B6.
Los patrones de sombreado de la Fig. 8b muestran la orientación aproximada de las características de difracción en las rejillas 210, 221, 222, 230 del dispositivo de la Fig. 8a.
La Fig. 9 muestra un dispositivo de representación virtual 100. El dispositivo de representación virtual 200 puede comprender un motor óptico 150 y un expansor de haz difractivo 107. El motor óptico 150 puede comprender una micro pantalla 170 y una óptica de formación de imágenes 160 (Fig. 10a). La óptica de formación de imágenes 160 convierte una imagen real 605 (Fig. 10b) formada en la micro pantalla 170 en una imagen virtual 1002 (Fig. 19), que puede observarse a través de una abertura de visualización 35 del expansor de haz difractivo 107.
El expansor de haz difractivo 107 puede comprender una rejilla de entrada 10, al menos una porción de desviación de haz 21a, 22a, al menos una porción de restauración de dirección 21 b, 22b y una rejilla de salida 30. Las rejillas 10, 30 y las porciones 21a, 21b, 22a, 22b pueden implementarse en un sustrato conductor de ondas sustancialmente plano 7.
El motor óptico proporciona un haz de entrada B0. El haz de entrada B0 que incide sobre la rejilla de entrada 10 puede acoplarse en el sustrato 7 de tal manera que un correspondiente haz acoplado B1 se propague dentro de dicho sustrato hacia las porciones de desviación de haz 21a, 22a.
Las superficies planas del sustrato conductor de ondas 7 están en planos definidos por las direcciones SX y SZ.
Una parte del haz acoplado B1 incide sobre una primera porción de rejilla de desviación de haz 21a, que difracta la luz hacia una primera porción de rejilla de restauración de dirección 21b proporcionando un primer haz de luz desviado U1. La porción de restauración 21b difracta la luz del haz U1 proporcionando un primer haz de luz restaurado V1. El haz restaurado V1 está desplazado con respecto al haz acoplado B1 original y se propaga sustancialmente en la misma dirección que el haz acoplado B1 original.
Una parte del haz acoplado B1 puede incidir sobre una segunda porción de rejilla de desviación de haz 22a, que puede difractar la luz hacia la segunda porción de rejilla de restauración de dirección 22b proporcionando un segundo haz de luz desviado U2. La porción de restauración 22b difracta la luz del haz U2 proporcionando un segundo haz de luz restaurado V2. También el segundo haz restaurado V2 está desplazado con respecto al haz acoplado B1 original y se propaga sustancialmente en la misma dirección que el haz acoplada B1 original.
Una parte del haz acoplado B1 original puede propagarse dentro del sustrato 7 sin ser difractado por las porciones 21a, 21b, 22a 22b.
La parte no difractada del haz B1, el haz restaurado V1 y/o el haz restaurado V2 pueden formar juntas un haz ampliado que se propague en la misma dirección que el haz original acoplado B1.
Posteriormente, la rejilla de salida 30 puede desacoplar del sustrato 7 el haz ampliado para proporcionar un haz de salida B2 que se expanda en dos direcciones SX y SZ en comparación con las dimensiones del haz de entrada B0. El haz de salida B2 puede estar dispuesto para incidir en el ojo E1 de un observador.
La altura H2 del haz de salida B2 es mayor que la altura H0 del haz de entrada B0. Por lo tanto, el expansor de haz difractivo 107 proporciona expansión del haz en la dirección SZ. La anchura W2 del haz de salida B2 puede ser
5
10
15
20
25
30
35
40
45
50
55
60
65
mayor que la anchura W0 del haz de entrada BO. La altura máxima H2 y la anchura máxima W2 del haz de salida B2 están limitadas por las dimensiones de la abertura de visualización 35. La altura y la anchura de la rejilla de entrada 10 puede seleccionarse para ser sustancialmente igual o mayor que las dimensiones del haz de entrada BO, con el fin de maximizar la eficiencia de acoplamiento de la luz en el sustrato 7.
Las rejillas y las porciones de rejilla son elementos de difracción. Las rejillas y las porciones de rejilla pueden ser, por ejemplo, rejillas de relieve superficial implementadas mediante moldeo o estampado en cualquiera de las superficies planas 41, 42 (Fig. 10a). El perfil de las rejillas puede ser, por ejemplo, sinusoidal, rectangular binario o dentada en sierra. Aún así, el perfil de las rejillas puede ser binario inclinado o sinusoidal inclinado. En el sustrato 7 pueden estar embebidas una o más rejillas y/o porciones. Las rejillas 10, 30 y las porciones de rejilla 21a, 21 b, 22a, 22b pueden estar en uno o más planos definidos por las direcciones SX y SY.
El sustrato 7 puede comprender o consistir en, por ejemplo, pol¡carbonato, metacrilato de polimetilo (PMMA), o vidrio.
Con referencia a la Fig. 10a, el motor óptico 150 puede comprender una micro pantalla 170 y una óptica de formación de imágenes 160. La óptica de formación de imágenes 160 puede comprender uno o más elementos ópticos tales como lentes, espejos, prismas o elementos de difracción. Los rayos de luz transmitidos desde un punto PX1 de la micro pantalla 170 son sustancialmente colimados por la óptica de formación de imágenes 160 para formar rayos de luz paralelos que constituyan el haz B0 proporcionado por el motor óptico 150. La distancia L3 entre la micro pantalla 170 y la óptica de formación de imágenes 160 se establece de tal manera que los píxeles de la micro pantalla 170 queden sustancialmente a la distancia focal de la óptica de formación de imágenes 160. Se proporciona una pluralidad de haces B0 con el fin de representar una imagen virtual, que consiste en una pluralidad de píxeles.
Al menos un haz B0 transmitido desde la abertura de salida 151 del motor óptico 150 incide sobre la rejilla de entrada 10 del expansor de haz difractivo 107. La luz del haz de entrada B0 se acopla en el sustrato conductor de ondas 7 por la rejilla de entrada 10. La luz acoplada se propaga dentro del sustrato 7 como el haz acoplado B1. Una parte del haz acoplado B1 interactúa con la primera porción de rejilla de desviación 21a proporcionando el haz desviado U1. Una parte del haz desviado U1 interactúa con la porción de rejilla de restauración 21b proporcionando el primer haz restaurado V1. Una parte del haz acoplado B1 puede permanecer sin difractar (no se muestra en la Fig. 10a). La salida de rejilla 30 difracta el haz expandido de salida B2 hacia el ojo E1 del observador.
Los haces B2 de luz ampliados proporcionados por el expansor de haz difractivo 107 proporcionan a un usuario la impresión de una imagen virtual 1002 representada a una distancia infinita con respecto al usuario. Sin embargo, a modo de fenómeno, los usuarios humanos normalmente perciben la imagen virtual 1002 como si se mostrada a solo unos metros de ellos, a pesar de la distancia infinita. La imagen virtual 1002 puede ser, por ejemplo, un patrón de estrella como se muestra en la Fig. 19.
El expansor de haz difractivo 107 puede ser monocular, es decir, puede tener solo una salida de rejilla 30. La rejilla de entrada 10, la rejilla de salida 30 y/o las porciones de rejilla 21a, 21b, 22a, 22b pueden ser rejillas de relieve superficial inclinadas o dentadas en sierra con el fin de maximizar la eficiencia de acoplamiento de la luz en el sustrato 7 y fuera del sustrato 7. El expansor de haz difractivo 107 puede comprender una o más estructuras 80 ópticamente absorbentes para eliminar la luz dispersa.
El sustrato 7 tiene una primera superficie sustancialmente plana 41 y una segunda superficie sustancialmente plana 42, que es sustancialmente paralela a dicha primera superficie plana 41. Las rejillas 10, 30 y las porciones 21a, 21b, 22a, 22b pueden estar en la misma superficie plana 41,42, o en superficies opuestas 41, 42. El haz de entrada B0 también se puede transmitir a través del sustrato 7 antes de incidir en la rejilla de entrada 10.
La micro pantalla 170 puede ser por ejemplo una pantalla de cristal líquido, un conjunto de espejos micromecánicos móviles, un conjunto de diodos emisores de luz, o una unidad que comprenda al menos un punto emisor de luz móvil y modulable.
La Fig. 10b muestra una imagen real 605 formada en la micro pantalla 170. La imagen real puede estar formada por pixeles PX1 emisores de luz o por puntos emisores de luz.
El motor óptico 150 también puede comprender un punto emisor de luz para proporcionar un haz de luz y una unidad de orientación del haz para variar rápidamente la dirección de dicho haz, en el que la potencia óptica proporcionada por dicho punto emisor de luz se puede modular basándose en la dirección de dicho haz. La unidad de orientación del haz puede comprender, por ejemplo, uno o más reflectores giratorios para cambiar la dirección del haz. En otras palabras, el motor óptico 150 también puede proporcionar directamente una imagen virtual mediante el uso de un método de escaneado.
La Fig. 11a muestra el ángulo azimutal cpi_Ri de un rayo LR1 de luz y el ángulo cenital 0lri en el sistema de coordenadas definido por las direcciones SX-SY-SZ. En general, el ángulo cenital es un ángulo entre la dirección de
5
10
15
20
25
30
35
40
45
50
55
60
65
un rayo o un haz de luz y la dirección -SY. La dirección -SY es opuesta a la dirección SY. El ángulo acimutal es un ángulo entre la proyección PRO y la dirección SX, en el que dicha proyección PRO es la proyección de la dirección del rayo LR1 de luz en un plano definido por las direcciones SX y SZ. La proyección PRO forma el lado izquierdo del ángulo azimutal.
Con referencia a la Fig. 11b, la proyección del haz de entrada B0 en el plano SZ-SX tiene un ángulo acimutal tpiN con respecto a la dirección SX. Las proyecciones del haz acoplado B1 y los haces restaurados V1, V2 tienen un ángulo acimutal con respecto a la dirección SX. La proyección del haz de salida B2 tiene un ángulo acimutal tpouT con respecto a la dirección SX.
Una rejilla intermedia 21 puede comprender la porción de desviación 21a y una porción de restauración de 21b. Una segunda rejilla intermedia 22 puede comprender la porción de desviación 22a y una porción de restauración 22b.
Con referencia a la Fig. 11c, la dirección del haz de entrada B0 tiene un ángulo cenital 0in con respecto a la dirección -SY. La dirección del haz de salida B2 tiene un ángulo cenital 0out con respecto a la dirección -SY.
La orientación de las características de difracción de las rejillas 10, 30 y las porciones de rejilla 21a, 21 b, 22a, 22b y los periodos de rejilla de las rejillas 10, 30 y las porciones de rejilla 21a, 21b, 22a, 22b se puede seleccionar de tal modo que el ángulo cenital 0in del haz de entrada B0 sea sustancialmente igual al ángulo cenital Oout del haz de salida B2, y de tal modo que el ángulo acimutal cpiN del haz de entrada B0 sea sustancialmente igual al ángulo acimutal (pouT del haz de salida B2.
En principio, el haz de salida B2 también puede desacoplarse del sustrato 7 hacia arriba en la dirección SY. La orientación de las características de difracción de las rejillas 10, 30 y de las porciones de rejilla 21a, 21b, 22a, 22b y los periodos de rejilla de las rejillas 10, 30 y de las porciones de rejilla 21a, 21b, 22a, 22b se pueden seleccionar de tal modo que la dirección del haz de entrada B0 sea sustanclalmente paralela a la dirección del haz de salida B2.
Debido a que se conserva la dirección de los haces de luz correspondientes a la imagen virtual 1002 representada, el expansor de haz 107 puede expandir la pupila de salida del motor óptico 150. La pluralidad de haces de luz B2 que inciden en el ojo E1 del usuario crean una impresión de la misma imagen virtual que cuando se visualiza la imagen virtual proporcionada por el motor óptico 150 sin el expansor de haz 107. Sin embargo, gracias al expansor de haz 107, el usuario tiene una libertad considerable para mover su ojo E1 con respecto a la unidad de representación virtual 200 la en las direcciones SX, SZ y SY.
A continuación, se analizarán algunas alternativas para implementar un expansor de haz difractivo 107 adecuado para expandir una pupila de salida de una pantalla virtual.
Con referencia a la Fig. 12a, el expansor de haz difractivo 107 puede comprender una rejilla de entrada 10, las porciones de desviación 21a, 22a, las porciones de restauración 21b, 22b, y una rejilla de salida 30. Los patrones sombreados en la Fig. 12b muestran la orientación aproximada de las características de difracción de las rejillas 10, 30 y de las porciones de rejilla 21 a, 21b, 22a 22b. Las rejillas 10, 30 y las porciones de rejilla 21a, 21b, 22a, 22b pueden comprender características de difracción sustancialmente lineales, por ejemplo, una pluralidad de surcos y/o rebordes microscópicos. Las características F10 de la rejilla 10 y las características F30 de la rejilla 30 pueden ser sustancialmente paralelas a la dirección SZ. El periodo de rejilla de la rejilla de entrada 10 y de la rejilla de salida 30 es do. Con referencia a la Fig. 12c, las porciones 21a, 21b, 22a, 22b tienen unas características de difracción F2ia, F2ib, F22a, F22b sustancialmente lineales, que presentan unos periodos de rejilla d2ia, d2ib, d22a, d22b y unos ángulos de orientación p2ia, P2ib, p22a, P22b, respectivamente. Un ángulo de orientación define en el presente documento la dirección de las características de difracción con respecto a la dirección de las características de difracción de la rejilla 10.
La primera porción de rejilla de desviación 21a tiene una pluralidad de características de difracción F2ia, que tienen un ángulo p2ia con respecto a la dirección SZ. La primera porción de rejilla de desviación 21a tiene un periodo de rejilla d2ia.
La segunda porción de rejilla de desviación 22a tiene una pluralidad de características de difracción F22a, que tienen un ángulo p22a con respecto a la dirección SZ. La segunda porción de rejilla de desviación 22a tiene un periodo de rejilla d22a.
La primera porción de rejilla de restauración 21b tiene una pluralidad de características de difracción F2ib, que tienen un ángulo p2ib con respecto a la dirección SZ. La primera porción de rejilla de restauración 21b tiene un periodo de rejilla d2ib.
La segunda porción de rejilla de 22b tiene una pluralidad de características de difracción F22b, que tienen un ángulo P22b con respecto a la dirección SZ. La segunda porción de rejilla de 22b tiene un periodo de rejilla d22b.
La relación entre el ángulo p de orientación de las características de difracción y el periodo de rejilla de dichas
5
10
15
20
25
30
35
40
45
50
55
60
características viene dada por
d = ad° . (2)
AqCosp
donde do es el periodo de rejilla de la rejilla 10, y Ao es una constante que tiene un valor en el intervalo de 1,8 a 2,2. En particular, la constante Ao puede ser sustancialmente igual a dos. Los periodos de rejilla de las porciones de rejilla 21a, 21b, 22a, 22b, 21c, 22c ahora se puede resolver usando la ecuación (2).
Los periodos de rejilla de las porciones de rejilla 21a, 21b, 22a, 22b, 21c, 22c se pueden seleccionar usando la ecuación (2) de tal modo que solo se permita la difracción en los modos de difracción de orden cero y primer orden. El signo del primer orden de difracción depende de las coordenadas elegidas.
El ángulo p2ia entre la dirección de las características de difracción F2ia de dicha primera porción de rejilla de desviación 21a y la dirección SZ de las características de difracción Fio de dicha rejilla de entrada 10 puede estar en el intervalo de 55 a 65 grados. En particular, el ángulo p2ia de orientación puede ser sustancialmente igual a 60 grados. El ángulo p22a de orientación puede ser sustancialmente igual a 120 grados, respectivamente.
La primera porción de desviación 21 a y la primera porción de restauración 21b pueden tener la misma orientación de características de difracción y el mismo periodo de rejilla. La segunda porción de desviación 22a y la segunda porción de restauración 22b pueden tener la misma orientación de características de difracción y el mismo periodo de rejilla. La primera porción reflectante auxiliar 21c (Véase la Fig. 15a) y la primera porción de restauración 21b pueden tener la misma orientación de características de difracción y el mismo periodo de rejilla. La segunda porción reflectante auxiliar 22c (Véase la Fig. 15a) y la segunda porción de restauración 22b pueden tener la misma orientación de características de difracción y el mismo periodo de rejilla.
Con referencia a la Fig. 13, una línea AX1 puede intersecar la rejilla de entrada 10 y la rejilla de salida 30. En particular, la línea AX puede pasar a través del centro de la rejilla de entrada 10 y a través del centro de la rejilla de salida 30. La porción de desviación 21a y la porción de restauración 21b pueden estar en diferentes lados de la línea AX1. También la porción de desviación 22a y la porción de restauración 22b pueden estar en diferentes lados de la línea AX1. En consecuencia, los haces desviados U1 y U2 cruzan la línea AX1.
Con referencia a la Fig. 14, la línea AX1 es, de hecho, una proyección de un plano PLN1. La porción de desviación 21 y la porción de restauración 21b pueden estar en diferentes lados del plano PLN1 definido por las direcciones SX y SY. También la porción de desviación 22a y la porción de restauración 22b pueden estar en diferentes lados del plano PLN 1. En consecuencia, los haces desviados U1 y U2 pasan a través del plano PLN 1.
Así, el expansorde haz difractivo 107 puede comprender:
- un sustrato conductor de ondas sustancialmente plano 7,
- una rejilla de entrada 10 para proporcionar un haz acoplado B1 que se propague dentro de dicho sustrato 7 por difracción de la luz de un haz de entrada B0 al interior de dicho sustrato 7,
- una primera porción de rejilla de desviación 21a para proporcionar un primer haz desviado U1 por difracción de una parte de dicho haz acoplado B1 de tal modo que la diferencia entre el ángulo acimutal de dicho primer haz desviado U1 y el ángulo acimutal de dicho haz acoplado B1 sea negativa, comprendiendo dicha primera porción de rejilla de desviación 21a características de difracción sustancialmente lineales,
- una segunda porción de rejilla de desviación 22a para proporcionar un segundo haz desviado U2 por difracción de una parte de dicho haz acoplado B1 de tal modo que la diferencia entre el ángulo acimutal de dicho segundo haz desviado U2 y el ángulo acimutal de dicho haz acoplado B1 sea positiva, comprendiendo dicha segunda porción de rejilla de desviación 22a características de difracción sustancialmente lineales, teniendo las características de difracción de dicha segunda porción de rejilla de desviación una orientación diferente a las características de difracción de dicha primera porción de rejilla de desviación 21a,
- una primera porción de restauración 21b de rejilla para proporcionar un primer haz restaurado V1 por difracción de la luz de dicho primer haz desviado U1,
- una segunda porción de rejilla de restauración 22b para proporcionar un segundo haz restaurado V2, siendo dicho segundo haz restaurado V2 sustancialmente paralelo a dicho primer haz restaurado V1, y
- una rejilla de salida 30 para proporcionar un haz desacoplado B2 por difracción de la luz de dicho primer haz restaurado V1 y dicho segundo haz restaurado V2 de dicho sustrato 7, siendo dicho haz de salida B2 sustancialmente paralelo a dicho haz de entrada B0.
Dicha primera porción de rejilla de desviación 21a y dicha segunda porción de rejilla de restauración 22b pueden estar en un primer lado del plano de referencia PLN1, y dicha segunda porción de rejilla de desviación 22a y dicha primera porción de rejilla de restauración 21b pueden estar en un segundo lado de dicho plano de referencia PLN1, siendo dicho plano de referencia PLN1 sustancialmente perpendicular al plano de dicha rejilla de entrada 10.
5
10
15
20
25
30
35
40
45
50
55
60
65
Con referencia a la Fig. 15a, el expansor de haz difractivo 107 puede comprender una rejilla de entrada 10, una rejilla de salida 30, unas porciones de desviación 21a, 22a, y unas porciones de restauración 21b, 22b. Además, el expansor de haz 107 puede tener unas porciones de desviación auxiliares 21c, 22c. La primera porción de desviación auxiliar difracta la luz del haz acoplado B1 hacia la primera porción de rejilla de restauración 21b. La segunda porción de desviación auxiliar difracta la luz del haz acoplado B1 hacia la segunda porción de rejilla de 22b. Las porciones de restauración 21b, 22b difractan de nuevo la luz, proporcionando unos haces auxiliares restaurados V1 c y V2c que son sustancialmente paralelos al haz acoplado B1 original y a los haces restaurados V1 y V2.
Las porciones 21a, 22b y 22c pueden estar en un primer lado de un plano PLN1, y las porciones 22a, 21b, y 21c pueden estar en un segundo lado de dicho plano PLN, siendo dicho plano PLN1 sustancialmente perpendicular al plano de dicha rejilla de entrada 10. La línea AX1 es la proyección de dicho plano PLN1 (véase la Fig. 14).
Con referencia a la Fig. 15b, el sustrato 7 de la Fig. 15a también puede comprender una rejilla de acoplamiento 210, unas rejillas de ampliación 221, 222, y una rejilla de desacoplamiento 230 para proporcionar los haces de luz B11, B12 de iluminación necesarios para el seguimiento de los ojos. Las rejillas 210, 221, 222 y 230 forman un segundo expansor de haz difractivo 207 que divide un haz colimado estrecho que incide sobre la rejilla de acoplamiento 210 en al menos dos partes y proporciona los dos haces ampliados B11, B12, que se propagan en direcciones diferentes (véanse también Figs. 5b y 7c).
El sombreado en la Fig. 15c muestra, a manera de ejemplo, la orientación de las características de difracción en las rejillas y las porciones de rejilla 10, 21a, 21b, 21c, 22a, 22b, 22c, 30, 210, 221,222 y 230.
En particular, las características de difracción de la rejilla de salida 30 pueden ser sustancialmente paralelas a las características de difracción de la rejilla 230 de desacoplamiento. La rejilla de salida 30 también puede tener sustancialmente el mismo periodo de rejilla que la rejilla de desacoplamiento 230. En consecuencia, la rejilla de salida 30 y la rejilla de desacoplamiento 230 pueden constituir juntas una sola rejilla 30. Una porción CPR común de la rejilla de salida 30 y la rejilla de desacoplamiento 230 puede contribuir simultáneamente a los haces de iluminación B1, B12, así como a la pluralidad de haces B2 correspondientes a la imagen virtual representada.
La unidad de formación de imágenes 400 puede estar dispuesta para monitorizar el ojo E1 a través de una porción del sustrato 7 que no comprenda características de difracción. Tal porción obstruida puede residir, por ejemplo, entre las porciones de rejilla 21 a y 21 b.
Las Figs. 16a, 16b y 16c muestran otra forma de implementar las rejillas y las porciones de rejilla 10, 21a, 21b, 22a, 22b, 30, 210, 221, 222, 230 en el mismo sustrato 7. El sombreado en la Fig. 16c muestra la orientación de las características de difracción en las rejillas y las porciones de rejilla 10, 21a, 21b, 21c, 22a, 22b, 22c, 30, 210, 221, 222 y 230. En particular, las características de difracción de la rejilla de salida 30 pueden ser sustancialmente perpendiculares a las características de difracción de la rejilla 230. En consecuencia, la rejilla de salida 30 desacopla una cantidad mínima de luz de iluminación del sustrato 7 a pesar de que los haces internos B7 y B8 pueden incidir en la rejilla de salida 30 varias veces antes de alcanzar la rejilla de salida 230 en sí. Pueden evitarse sustancialmente los haces de luz, en particular los haces infrarrojos, que iluminarían el ojo E1 desde direcciones no deseadas.
La rejilla de salida 30 puede ser transparente para la luz Infrarroja, al menos parcialmente. La unidad de formación de imágenes 400 puede estar dispuesta para monitorizar el ojo, por ejemplo, a través de la rejilla de salida 30.
Con referencia a la Fig. 17, un dispositivo de seguimiento de los ojos 200 puede comprender una unidad de formación de imágenes 400 para adquirir una imagen del ojo E1, una fuente de luz 350 para proporcionar un primer haz de luz B0 sustancialmente colimado, un primer expansor de haz difractivo 207 para expandir la luz de dicho primer haz de luz B0 y para proporcionar al menos dos haces ampliados de iluminación B11, B12 sustancialmente colimados. El dispositivo de seguimiento de los ojos 200 puede comprender una unidad de procesamiento de datos 550 para determinar la dirección de la mirada GZD basándose en la Imagen 401 adquirida por la unidad de formación de imágenes 400. El dispositivo de seguimiento de los ojos 200 puede comprender una interfaz de comandos 570 y una unidad de comunicaciones 560.
La interfaz de comandos 570 puede ser un dispositivo de botón, una palanca de mando o teclado, que permita a un usuario enviar comandos al dispositivo 700. La interfaz de comandos 570 también puede ser un dispositivo de comando de voz o un dispositivo de reconocimiento de gestos. La unidad de comunicaciones 560 puede ser un módulo de interfaz para la comunicación con un ordenador o dispositivo móvil. La unidad de comunicaciones 560 también puede ser un transmisor / receptor óptico o de radio frecuencia, que permita la comunicación a través de Internet o de una red de radio.
El dispositivo de seguimiento de los ojos 200 puede comprender un sensor 580 de posición para determinar la posición del dispositivo 200 con respecto a al menos una referencia externa. La referencia externa puede ser, por ejemplo, un objeto real o una imagen representada en una pantalla. El sensor 580 de posición puede ser, por ejemplo, una cámara. El sensor de posición también puede ser un sensor de posición inercial que comprenda uno o
5
10
15
20
25
30
35
40
45
50
55
60
65
más giroscopios y/o acelerómetros.
Un dispositivo de representación virtual 500 puede comprender un motor óptico 150 y un expansor de haz difractivo 107 adicional. El primer expansor de haz difractivo 207 para el seguimiento de la dirección de la mirada y el segundo expansor de haz difractivo 107 para la representación de imágenes virtuales pueden implementarse en el mismo sustrato 7.
El dispositivo de seguimiento de los ojos 200 o el dispositivo de representación virtual 500 puede ser un dispositivo compacto, portátil y ligero.
El segundo expansor de haz difractivo 107 puede estar dispuesto para expandir la pupila de salida del motor óptico 150 tal como un expansor dado a conocer en la solicitud de patente US 2006/0126182.
El segundo expansor de haz difractivo 107 puede estar dispuesto para expandir la pupila de salida del motor óptico 150 tal como un expansor dado a conocer en la solicitud de patente PCT / FI2007 / 050322.
El segundo expansor de haz difractivo 107 puede estar dispuesto para expandir la pupila de salida del motor óptico 150 tal como un expansor dado a conocer en la solicitud de patente PCT / FI2006 / 050590.
Con referencia a la Fig. 18, el mismo sustrato 7 puede comprender rejillas o áreas de rejilla 10, 21, 21', 30, 30', 210, 221, 222, 230 para implementar un expansor de haz binocular 107 adecuado para la representación de imágenes virtuales en ambos ojos de un usuario, y un expansor de haz binocular 207 para proporcionar los haces de iluminación B11, B12 con el fin de realizar un seguimiento de la dirección de la mirada de al menos un ojo de dicho usuario.
El expansor de haz binocular 107 se puede usar para implementar un dispositivo de representación virtual 500 mostrado en la Fig. 19. Los haces de salida B2 proporcionados por las rejillas de salida 30, 30’ a los ojos E1, E2 de un usuario proporcionan al usuario una impresión de una imagen virtual 1002 representada a una distancia infinita con respecto al usuario. La imagen virtual 1002 puede ser, por ejemplo, un patrón de estrella como se muestra en la Fig. 19, correspondiente a una imagen real 605 generada por una micro pantalla 170 (Fig. 10b). La imagen virtual 1002 puede ser, por ejemplo, gráficos y/o texto.
El dispositivo de representación virtual 500 puede comprender además la unidad de seguimiento de los ojos 200 para controlar la dirección de la mirada del ojo E1.
El dispositivo de representación visual de la Fig. 19 puede comprender además unos accesorios para oreja 589 que pueden colocarse en las orejas del usuario con el fin de facilitar el posicionamiento del dispositivo de representación virtual 500 frente a los ojos E1, E2 del usuario. El dispositivo 500 de representación también puede estar unido a un accesorio para la cabeza, por ejemplo, a un casco.
Con referencia a la Fig. 20, el dispositivo de representación virtual 500 puede comprender unos expansores de haz 107 apilados con el fin de representar imágenes en color. Un primer expansor de haz difractivo 107 implementado en un primer sustrato 7 puede estar dispuesto para representar componentes rojos B2R de una imagen virtual. Un segundo expansor de haz difractivo 107 implementado en un segundo sustrato 7b puede estar dispuesto para mostrar componentes azules B2G y verdes B2B de la imagen virtual a través del primer expansor de haz. Un tercer expansor de haz difractivo 107 implementado en un tercer sustrato 7’ puede estar dispuesto para representar componentes rojos B2R de una imagen virtual para el ojo izquierdo de un usuario. Un cuarto expansor de haz difractivo 107 implementado en un cuarto sustrato 7b' puede estar dispuesto para mostrar componentes verdes B2G y azules B2B de la imagen virtual a través del tercer expansor de haz. Cada uno de los expansores de haz 107 puede tener su propia rejilla de entrada 10, 10b, 10', 10b' y rejilla de salida 30, 30b, 30', 30b'. Un quinto expansor de haz 207 puede estar implementado en el primer sustrato 7 para proporcionar los haces de iluminación B11, B12. La fuente de luz 350 también puede estar en el mismo lado del sustrato 7 que el ojo supervisado E1.
El uso de sustratos separados para el ojo izquierdo E2 y el ojo derecho E1 permite más espacio para la nariz del usuario y un mejor equilibrio del peso que un expansor 107, de haz binocular 207 implementado en un único sustrato recto 7.
Con referencia a la Fig. 21, el ojo E1 de un usuario puede observar una imagen virtual 1000 representada a través de la abertura de salida 35 de la pantalla virtual 100, 500. La imagen virtual 1000 puede comprender objetos representados 1002, 1003, 1004, 1005, por ejemplo una estrella 1002, un hexágono 1003, un símbolo de "OK" 1005 y un signo de interrogación "?" 1004.
Los objetos o ubicaciones de la imagen virtual 1000 están asociados ventajosamente a las direcciones de la mirada. Por lo tanto, cuando el ojo E1 está mirando un objeto o ubicación decidido por el usuario, se puede determinar basándose en la dirección de la mirada qué objeto o ubicación está mirando el ojo E1. Además, cada objeto o ubicación puede estar asociado a una opción, y el usuario puede seleccionar una opción al ver el objeto o la
5
10
15
20
25
30
35
40
45
ubicación respectivos. El usuario puede confirmar la selección, por ejemplo, pulsando un botón de la interfaz de comandos 570 (Fig. 17). El usuario también puede confirmar la selección mediante el parpadeo del ojo, o mirando a un objeto o ubicación predeterminado durante un periodo prolongado.
Por ejemplo, el usuario puede elegir entre las opciones representadas por el objeto 1002 (estrella) o el objeto 1003 (hexágono) mediante el direccionamiento de su mirada. Si se elige el hexágono, el dispositivo 500 puede proporcionar retroalimentación visual mediante parpadeo después de la selección. El usuario puede confirmar la selección, por ejemplo, mirando al símbolo "OK". Sin embargo, el usuario puede solicitar más información mirando el signo de interrogación "?".
Los objetos 1002, 1003, 1004, 1005 de la imagen virtual 1000 pueden estar asociados a las direcciones de la mirada a nivel de software y/o de hardware, por ejemplo, mediante la conversión de las coordenadas de píxel de los objetos en coordenadas angulares. Las coordenadas angulares de un objeto representado se pueden comparar con la dirección de la mirada para determinar si el usuario está mirando a dicho objeto o no.
Un cursor 1001 visible o invisible puede estar adaptado para moverse sobre la imagen virtual 1000, siguiendo la dirección determinada de la mirada del ojo E1. El cursor 1001 ayuda al usuario a comprender que el dispositivo de seguimiento está realmente siguiendo su mirada. En otras palabras, el cursor 1001 proporciona retroalimentación visual al usuario.
La dirección de la mirada detectada puede calibrarse, por ejemplo, moviendo un cursor parpadeante 1001 sobre la imagen virtual 1000, y pidiendo al usuario que mire al cursor 1001. Además, puede solicitarse al usuario que pulse el botón de la interfaz de comandos 570 cuando realmente esté mirando el cursor 1001.
Con referencia a la Fig. 22, el usuario también puede mirar unos objetos físicos 901 (una casa), 902 (un automóvil) a través del expansor de haz 107, 207. La posición del dispositivo 500 se puede fijar con respecto a los objetos 901, 902, o el dispositivo 500 puede comprender un sensor de posición 580 (Fig. 17) para monitorizar la posición del dispositivo 500 con respecto a al menos un objeto 901, 902. Por lo tanto, los objetos 901, 902, las ubicaciones de los objetos, y/o las características de un paisaje pueden asociarse a las direcciones de la mirada. Por ejemplo, puede determinarse si el usuario está mirando la casa 901 o el coche 902. Además, los objetos 901, 902 pueden asociarse a opciones de modo que pueda seleccionarse una opción mirando el objeto en cuestión.
El dispositivo 200, 500 puede comprender además, por ejemplo, una unidad de procesamiento de datos, una unidad de memoria y comunicaciones para proporcionar acceso a una red de telefonía móvil, internet o red de área local. El dispositivo 200, 500 puede seleccionarse, por ejemplo, de la siguiente lista: un módulo de representación visual conectable a un dispositivo adicional, un dispositivo portátil, un dispositivo con capacidades inalámbricas de telecomunicación, un dispositivo de formación de imágenes, un teléfono móvil, un dispositivo de juegos, un dispositivo de grabación / reproducción de música (basado, por ejemplo, en el formato MP3), un transmisor o receptor de control remoto, un instrumento de navegación, un instrumento de medición, un dispositivo localizador, un dispositivo de puntería, un dispositivo de navegación, un asistente digital personal (PDA), un comunicador, un aparato de internet portátil, un ordenador portátil, accesorios para un teléfono móvil.
Para los expertos en la técnica resultará evidente que son perceptibles modificaciones y variaciones de los dispositivos y los métodos de acuerdo con la presente invención. Los dibujos son esquemáticos. Las realizaciones particulares anteriormente descritas con referencia a los dibujos adjuntos solo son ilustrativas y no pretenden limitar el alcance de la invención, que está definida por las reivindicaciones adjuntas.

Claims (15)

  1. 5
    10
    15
    20
    25
    30
    35
    40
    45
    50
    55
    60
    65
    REIVINDICACIONES
    1. Un aparato (200, 500) que comprende:
    - una unidad de formación de imágenes (400) configurada para adquirir una imagen (401) de un ojo (E1),
    - un sustrato conductor de ondas sustancialmente plano (7),
    - una fuente de luz (350) configurada para proporcionar un primer haz de luz (B4), estando dicho primer haz de luz (B4) sustancialmente colimado,
    - una rejilla de acoplamiento (210) configurada para difractar la luz de dicho haz de luz (B4) en dicho sustrato (7) y para formar un primer haz acoplado (B5) y un segundo haz acoplado (B6) que se propagan en direcciones diferentes dentro de dicho sustrato (7),
    - una primera porción de rejilla de expansión (221) configurada para proporcionar un primer haz interno expandido (B7) mediante la difracción de la luz de dicho primer haz acoplado (B5),
    - una segunda porción de rejilla de expansión (222) configurada para proporcionar un segundo haz interno expandido (B8) mediante la difracción de la luz de dicho segundo haz acoplado (B6),
    - una primera porción de rejilla de desacoplamiento (230) configurada para formar un primer haz de iluminación (B11) sustancialmente colimado por la difracción de la luz de dicho primer haz interno expandido (B7) fuera de dicho sustrato (7),
    - una segunda porción de rejilla de desacoplamiento (230) para formar un segundo haz de iluminación (B12) sustancialmente colimado por la difracción de la luz de dicho segundo haz interno expandido (B8) fuera de dicho sustrato (7), teniendo dichos haces de iluminación (B11, B12) direcciones diferentes de tal manera que dicho primer haz de iluminación (B11) proporcione un primer punto de reflexión cuando se refleje la luz desde la superficie del ojo (E1), y que dicho segundo haz de iluminación (B12) proporcione un segundo punto de reflexión (G2) cuando se refleje la luz desde la superficie de dicho ojo (E1), apareciendo dichos puntos de reflexión en dicha imagen (401), y
    - una unidad de procesamiento de datos (550) configurada para determinar la dirección de la mirada (GZD) del ojo (E1) con respecto a dicho aparato (200, 500) basándose en la posición de dicho primer punto de reflexión (G1) en dicha imagen (401), en la posición de dicho segundo punto de reflexión (G2) en dicha imagen (401), en la posición de la pupila (P) y/o el iris (IRI) del ojo (E1) en dicha imagen (401), y en las direcciones de los haces de luz de iluminación (B11, B12).
  2. 2. El aparato (200, 500) de la reivindicación 1, en el que dicho primer haz acoplado (B5) se corresponde sustancialmente con el orden -1 de difracción reflectante o transmisiva y dicho segundo haz acoplado (B6) se corresponde sustancialmente con el orden +1 de difracción reflectante o transmisiva.
  3. 3. El aparato (200, 500) de la reivindicación 2, en el que dicha rejilla de acoplamiento (210) está configurada además para difractar la luz de dicho haz de luz (B4) en el orden 2 o -2 de difracción con el fin de formar un tercer haz acoplado (B10) que se propague dentro de dicho sustrato (7).
  4. 4. El aparato (200, 500) de acuerdo con cualquiera de las reivindicaciones anteriores 1 a 3, en el que las características de difracción de dicha primera porción de rejilla de desacoplamiento (230) son sustancialmente paralelas a las características de difracción de dicha segunda porción de rejilla de desacoplamiento (230).
  5. 5. El aparato (200, 500) de la reivindicación 4, en el que dicha primera porción de rejilla de desacoplamiento (230) solapa dicha segunda porción de rejilla de desacoplamiento (230).
  6. 6. El aparato (200, 500) de acuerdo con cualquiera de las reivindicaciones anteriores 1 a 5, que comprende además una unidad de detección de la posición (580) para determinar la posición de dicho aparato (500) con respecto a al menos una referencia externa (901).
  7. 7. El aparato (200, 500) de acuerdo con cualquiera de las reivindicaciones anteriores 1 a 6, que está adaptado para asociar un objeto real (901) o una ubicación a una dirección de la mirada.
  8. 8. El aparato (500) de cualquiera de las reivindicaciones anteriores 1 a 7, que comprende además un motor óptico (150) configurado para proporcionar al menos un haz de luz (B0), y un expansor de haz difractivo (107) para expandir dicho al menos un haz de luz (B0) de tal manera que pueda observarse visualmente una imagen virtual (1001) a través de una abertura de visualización (35) de dicho expansor de haz difractivo (107).
  9. 9. El aparato (500) de la reivindicación 8, en el que una porción de rejilla de salida (30) de dicho expansor de haz difractivo (107) solapa dicha primera porción de desacoplamiento (230).
  10. 10. El aparato (500) de la reivindicación 8, en el que una porción de rejilla de salida (30) de dicho expansor de haz difractivo (107) es sustancialmente perpendicular a dicha primera porción de desacoplamiento (230).
  11. 11. El aparato (500) de cualquiera de las reivindicaciones anteriores 8 a 10, que está adaptado para asociar un objeto virtual (1001) a una dirección de la mirada.
    5
    10
    15
    20
    25
    30
    35
    40
  12. 12. Un método que comprende:
    - adquirir una imagen (401) de un ojo (E1) usando una unidad de formación de imágenes (400),
    - proporcionar un primer haz de luz sustancialmente colimado (B4) usando una fuente de luz (350),
    - difractar la luz de dicho haz de luz (B4) usando una rejilla de acoplamiento (210) para formar un primer haz acoplado (B5) y un segundo haz acoplado (B6) que se propagan en direcciones diferentes dentro de un sustrato conductor de ondas sustancialmente plano (7),
    - difractar la luz de dicho primer haz acoplado (B5) mediante una primera porción de rejilla de expansión (221) para proporcionar un primer haz interno expandido (B7) que se propague dentro de dicho sustrato (7),
    - difractar la luz de dicho segundo haz acoplado (B6) mediante una segunda porción de rejilla de expansión (222) para proporcionar un segundo haz interno expandido (B8) que se propague dentro de dicho sustrato (7),
    - difractar la luz de dicho primer haz interno expandido (B7) fuera de dicho sustrato (7) mediante una primera porción de rejilla de desacoplamiento (230) para formar un primer haz de iluminación (B11) sustancialmente colimado,
    - difractar la luz de dicho segundo haz interno expandido (B8) fuera de dicho sustrato (7) mediante una segunda porción de rejilla de desacoplamiento (230) para formar un segundo haz de iluminación (B12) sustancialmente colimado, teniendo dichos haces de iluminación (B11, B12) direcciones diferentes de tal manera que dicho primer haz de iluminación (B11) proporcione un primer punto de reflexión (G1) cuando se refleje la luz desde la superficie del ojo (E1), y que dicho segundo haz de iluminación (B12) proporcione un segundo punto de reflexión (G2) cuando se refleje la luz desde la superficie de dicho ojo (E1), apareciendo dichos puntos (401) de reflexión en dicha imagen (401), y
    - determinar la dirección de la mirada (GZD) del ojo (E1) basándose en la posición de dicho primer punto de reflexión (G1) en dicha imagen (401), en la posición de dicho segundo punto de reflexión (G2) en dicha imagen (401), en la posición de la pupila (P) y / o el iris (IRI) del ojo (E1) en dicha imagen (401), y en las direcciones de los haces de luz de iluminación (B11, B12).
  13. 13. El método de la reivindicación 12, en el que las características de difracción de dicha primera porción de rejilla de desacoplamiento (230) son sustancialmente paralelas a las características de difracción de dicha segunda porción de rejilla de desacoplamiento (230).
  14. 14. El método de la reivindicación 13, en el que dicha primera porción de rejilla de desacoplamiento (230) solapa dicha segunda porción de rejilla de desacoplamiento (230).
  15. 15. El método de acuerdo con cualquiera de las reivindicaciones 12 a 14, que comprende además:
    - proporcionar al menos un haz de luz (B0) usando un motor óptico (150),
    - representar visualmente una imagen virtual (1001) mediante la expansión de dicho al menos un haz de luz (B0) mediante el uso de un expansor de haz difractivo (107), pudiendo observarse dicha imagen virtual (100) a través de una abertura de visualización (35) de dicho expansor de haz difractivo (107).
ES08718518.7T 2008-02-14 2008-02-14 Dispositivo y método para determinar la dirección de la mirada Active ES2562063T3 (es)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/FI2008/050065 WO2009101238A1 (en) 2008-02-14 2008-02-14 Device and method for determining gaze direction

Publications (1)

Publication Number Publication Date
ES2562063T3 true ES2562063T3 (es) 2016-03-02

Family

ID=40956684

Family Applications (1)

Application Number Title Priority Date Filing Date
ES08718518.7T Active ES2562063T3 (es) 2008-02-14 2008-02-14 Dispositivo y método para determinar la dirección de la mirada

Country Status (6)

Country Link
US (1) US8494229B2 (es)
EP (1) EP2242419B1 (es)
CN (1) CN101945612B (es)
ES (1) ES2562063T3 (es)
PL (1) PL2242419T3 (es)
WO (1) WO2009101238A1 (es)

Families Citing this family (184)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10039445B1 (en) 2004-04-01 2018-08-07 Google Llc Biosensors, communicators, and controllers monitoring eye movement and methods for using them
GB0522968D0 (en) 2005-11-11 2005-12-21 Popovich Milan M Holographic illumination device
GB0718706D0 (en) 2007-09-25 2007-11-07 Creative Physics Ltd Method and apparatus for reducing laser speckle
US9335604B2 (en) 2013-12-11 2016-05-10 Milan Momcilo Popovich Holographic waveguide display
US11726332B2 (en) 2009-04-27 2023-08-15 Digilens Inc. Diffractive projection apparatus
CA2765116C (en) 2009-06-23 2020-06-16 Nokia Corporation Method and apparatus for processing audio signals
US8233204B1 (en) 2009-09-30 2012-07-31 Rockwell Collins, Inc. Optical displays
US11320571B2 (en) 2012-11-16 2022-05-03 Rockwell Collins, Inc. Transparent waveguide display providing upper and lower fields of view with uniform light extraction
US11300795B1 (en) 2009-09-30 2022-04-12 Digilens Inc. Systems for and methods of using fold gratings coordinated with output couplers for dual axis expansion
US10795160B1 (en) 2014-09-25 2020-10-06 Rockwell Collins, Inc. Systems for and methods of using fold gratings for dual axis expansion
US8659826B1 (en) 2010-02-04 2014-02-25 Rockwell Collins, Inc. Worn display system and method without requiring real time tracking for boresight precision
US8890946B2 (en) 2010-03-01 2014-11-18 Eyefluence, Inc. Systems and methods for spatially controlled scene illumination
WO2011121484A1 (en) * 2010-03-31 2011-10-06 Koninklijke Philips Electronics N.V. Head-pose tracking system
US9274349B2 (en) 2011-04-07 2016-03-01 Digilens Inc. Laser despeckler based on angular diversity
KR101773845B1 (ko) * 2011-05-16 2017-09-01 삼성전자주식회사 휴대용 단말기에서 입력 처리 방법 및 장치
US8885877B2 (en) 2011-05-20 2014-11-11 Eyefluence, Inc. Systems and methods for identifying gaze tracking scene reference locations
US8911087B2 (en) 2011-05-20 2014-12-16 Eyefluence, Inc. Systems and methods for measuring reactions of head, eyes, eyelids and pupils
EP2581034B1 (en) * 2011-10-11 2016-02-17 Tobii AB Eye-tracker illumination
WO2016020630A2 (en) 2014-08-08 2016-02-11 Milan Momcilo Popovich Waveguide laser illuminator incorporating a despeckler
EP2995986B1 (en) 2011-08-24 2017-04-12 Rockwell Collins, Inc. Data display
US10670876B2 (en) 2011-08-24 2020-06-02 Digilens Inc. Waveguide laser illuminator incorporating a despeckler
US8634139B1 (en) 2011-09-30 2014-01-21 Rockwell Collins, Inc. System for and method of catadioptric collimation in a compact head up display (HUD)
US9366864B1 (en) 2011-09-30 2016-06-14 Rockwell Collins, Inc. System for and method of displaying information without need for a combiner alignment detector
US9507150B1 (en) 2011-09-30 2016-11-29 Rockwell Collins, Inc. Head up display (HUD) using a bent waveguide assembly
US9715067B1 (en) 2011-09-30 2017-07-25 Rockwell Collins, Inc. Ultra-compact HUD utilizing waveguide pupil expander with surface relief gratings in high refractive index materials
WO2013064914A1 (en) * 2011-10-31 2013-05-10 Sony Ericsson Mobile Communications Ab Amplifying audio-visual data based on user's head orientation
US8970452B2 (en) 2011-11-02 2015-03-03 Google Inc. Imaging method
US8929589B2 (en) 2011-11-07 2015-01-06 Eyefluence, Inc. Systems and methods for high-resolution gaze tracking
DE102011055967B4 (de) * 2011-12-02 2016-03-10 Seereal Technologies S.A. Messverfahren und Vorrichtung zur Durchführung des Messverfahrens
CN103164017B (zh) * 2011-12-12 2016-03-30 联想(北京)有限公司 一种眼控输入方法及电子设备
WO2013102759A2 (en) 2012-01-06 2013-07-11 Milan Momcilo Popovich Contact image sensor using switchable bragg gratings
US20130241805A1 (en) * 2012-03-15 2013-09-19 Google Inc. Using Convergence Angle to Select Among Different UI Elements
US9523852B1 (en) 2012-03-28 2016-12-20 Rockwell Collins, Inc. Micro collimator system and method for a head up display (HUD)
CN103376554B (zh) * 2012-04-24 2017-12-26 联想(北京)有限公司 手持电子设备和显示方法
EP2842003B1 (en) 2012-04-25 2019-02-27 Rockwell Collins, Inc. Holographic wide angle display
US9423870B2 (en) * 2012-05-08 2016-08-23 Google Inc. Input determination method
WO2013167864A1 (en) 2012-05-11 2013-11-14 Milan Momcilo Popovich Apparatus for eye tracking
US9148537B1 (en) * 2012-05-18 2015-09-29 hopTo Inc. Facial cues as commands
US9395826B1 (en) 2012-05-25 2016-07-19 hopTo Inc. System for and method of translating motion-based user input between a client device and an application host computer
EP2709060B1 (en) * 2012-09-17 2020-02-26 Apple Inc. Method and an apparatus for determining a gaze point on a three-dimensional object
US9933684B2 (en) * 2012-11-16 2018-04-03 Rockwell Collins, Inc. Transparent waveguide display providing upper and lower fields of view having a specific light output aperture configuration
US9612656B2 (en) 2012-11-27 2017-04-04 Facebook, Inc. Systems and methods of eye tracking control on mobile device
US9265458B2 (en) 2012-12-04 2016-02-23 Sync-Think, Inc. Application of smooth pursuit cognitive testing paradigms to clinical drug development
DE102013003047A1 (de) 2013-02-22 2014-08-28 Audi Ag Verfahren und System zum blickrichtungsabhängigen Steuern einer Funktionseinheit
US9380976B2 (en) 2013-03-11 2016-07-05 Sync-Think, Inc. Optical neuroinformatics
US9674413B1 (en) 2013-04-17 2017-06-06 Rockwell Collins, Inc. Vision system and method having improved performance and solar mitigation
US10209517B2 (en) 2013-05-20 2019-02-19 Digilens, Inc. Holographic waveguide eye tracker
TWI507762B (zh) * 2013-05-31 2015-11-11 Pixart Imaging Inc 眼球追跡裝置及其光學組件
US9329682B2 (en) * 2013-06-18 2016-05-03 Microsoft Technology Licensing, Llc Multi-step virtual object selection
US9727772B2 (en) 2013-07-31 2017-08-08 Digilens, Inc. Method and apparatus for contact image sensing
US10914951B2 (en) * 2013-08-19 2021-02-09 Qualcomm Incorporated Visual, audible, and/or haptic feedback for optical see-through head mounted display with user interaction tracking
US9244281B1 (en) 2013-09-26 2016-01-26 Rockwell Collins, Inc. Display system and method using a detached combiner
CN103500012A (zh) * 2013-10-17 2014-01-08 中国科学技术大学 头戴式眼动数据获取装置
JP2015121623A (ja) * 2013-12-20 2015-07-02 カシオ計算機株式会社 電子機器、表示制御方法及びプログラム
US10180716B2 (en) 2013-12-20 2019-01-15 Lenovo (Singapore) Pte Ltd Providing last known browsing location cue using movement-oriented biometric data
US10732407B1 (en) 2014-01-10 2020-08-04 Rockwell Collins, Inc. Near eye head up display system and method with fixed combiner
WO2015107792A1 (ja) * 2014-01-14 2015-07-23 三菱電機株式会社 半導体レーザ装置
US9519089B1 (en) 2014-01-30 2016-12-13 Rockwell Collins, Inc. High performance volume phase gratings
JP2015153302A (ja) * 2014-02-18 2015-08-24 ソニー株式会社 表示制御装置、表示制御方法および記録媒体
US9244280B1 (en) 2014-03-25 2016-01-26 Rockwell Collins, Inc. Near eye display system and method for display enhancement or redundancy
CN106455974B (zh) * 2014-06-20 2018-12-14 拉姆伯斯公司 用于有透镜和无透镜的光学感测的系统和方法
GB2529003B (en) * 2014-08-03 2020-08-26 Wave Optics Ltd Optical device
WO2016020632A1 (en) 2014-08-08 2016-02-11 Milan Momcilo Popovich Method for holographic mastering and replication
US9489739B2 (en) * 2014-08-13 2016-11-08 Empire Technology Development Llc Scene analysis for improved eye tracking
CN104253944B (zh) * 2014-09-11 2018-05-01 陈飞 基于目光连接的声音命令下达装置和方法
US10241330B2 (en) 2014-09-19 2019-03-26 Digilens, Inc. Method and apparatus for generating input images for holographic waveguide displays
US10088675B1 (en) 2015-05-18 2018-10-02 Rockwell Collins, Inc. Turning light pipe for a pupil expansion system and method
US9715110B1 (en) 2014-09-25 2017-07-25 Rockwell Collins, Inc. Automotive head up display (HUD)
WO2016046514A1 (en) 2014-09-26 2016-03-31 LOKOVIC, Kimberly, Sun Holographic waveguide opticaltracker
US9946339B2 (en) * 2014-10-08 2018-04-17 Microsoft Technology Licensing, Llc Gaze tracking through eyewear
EP3245551B1 (en) 2015-01-12 2019-09-18 DigiLens Inc. Waveguide light field displays
CN107873086B (zh) 2015-01-12 2020-03-20 迪吉伦斯公司 环境隔离的波导显示器
JP6867947B2 (ja) 2015-01-20 2021-05-12 ディジレンズ インコーポレイテッド ホログラフィック導波路ライダー
US9632226B2 (en) 2015-02-12 2017-04-25 Digilens Inc. Waveguide grating device
EP3062142B1 (en) 2015-02-26 2018-10-03 Nokia Technologies OY Apparatus for a near-eye display
JP6887953B2 (ja) 2015-03-16 2021-06-16 マジック リープ，インコーポレイティド 健康を損う疾病を診断して治療する方法及びシステム
US10459145B2 (en) 2015-03-16 2019-10-29 Digilens Inc. Waveguide device incorporating a light pipe
US10591756B2 (en) 2015-03-31 2020-03-17 Digilens Inc. Method and apparatus for contact image sensing
US10437327B2 (en) * 2015-05-08 2019-10-08 Apple Inc. Eye tracking device and method for operating an eye tracking device
US11366316B2 (en) 2015-05-18 2022-06-21 Rockwell Collins, Inc. Head up display (HUD) using a light pipe
US10126552B2 (en) 2015-05-18 2018-11-13 Rockwell Collins, Inc. Micro collimator system and method for a head up display (HUD)
US10247943B1 (en) 2015-05-18 2019-04-02 Rockwell Collins, Inc. Head up display (HUD) using a light pipe
JP6877363B2 (ja) * 2015-05-19 2021-05-26 マジック リープ， インコーポレイテッドＭａｇｉｃ Ｌｅａｐ，Ｉｎｃ． 照明器
US10108010B2 (en) 2015-06-29 2018-10-23 Rockwell Collins, Inc. System for and method of integrating head up displays and head down displays
US9910276B2 (en) 2015-06-30 2018-03-06 Microsoft Technology Licensing, Llc Diffractive optical elements with graded edges
US10670862B2 (en) * 2015-07-02 2020-06-02 Microsoft Technology Licensing, Llc Diffractive optical elements with asymmetric profiles
US10038840B2 (en) 2015-07-30 2018-07-31 Microsoft Technology Licensing, Llc Diffractive optical element using crossed grating for pupil expansion
US9864208B2 (en) 2015-07-30 2018-01-09 Microsoft Technology Licensing, Llc Diffractive optical elements with varying direction for depth modulation
US10073278B2 (en) 2015-08-27 2018-09-11 Microsoft Technology Licensing, Llc Diffractive optical element using polarization rotation grating for in-coupling
US10016130B2 (en) 2015-09-04 2018-07-10 University Of Massachusetts Eye tracker system and methods for detecting eye parameters
US10007117B2 (en) * 2015-09-10 2018-06-26 Vuzix Corporation Imaging light guide with reflective turning array
CN108474945B (zh) 2015-10-05 2021-10-01 迪吉伦斯公司 波导显示器
US10429645B2 (en) 2015-10-07 2019-10-01 Microsoft Technology Licensing, Llc Diffractive optical element with integrated in-coupling, exit pupil expansion, and out-coupling
US10241332B2 (en) * 2015-10-08 2019-03-26 Microsoft Technology Licensing, Llc Reducing stray light transmission in near eye display using resonant grating filter
US10466780B1 (en) * 2015-10-26 2019-11-05 Pillantas Systems and methods for eye tracking calibration, eye vergence gestures for interface control, and visual aids therefor
WO2017075100A1 (en) * 2015-10-26 2017-05-04 Pillantas Inc. Systems and methods for eye vergence control
US9946072B2 (en) 2015-10-29 2018-04-17 Microsoft Technology Licensing, Llc Diffractive optical element with uncoupled grating structures
US10234686B2 (en) 2015-11-16 2019-03-19 Microsoft Technology Licensing, Llc Rainbow removal in near-eye display using polarization-sensitive grating
US20170176747A1 (en) * 2015-12-21 2017-06-22 Tuomas Heikki Sakari Vallius Multi-Pupil Display System for Head-Mounted Display Device
WO2017112662A1 (en) * 2015-12-21 2017-06-29 Eyelock Llc Reflected optic camera module for iris recognition in a computing device
CN109073909B (zh) * 2016-01-06 2021-10-08 伊奎蒂公司 具有反射转向阵列的成像光导
US10598932B1 (en) 2016-01-06 2020-03-24 Rockwell Collins, Inc. Head up display for integrating views of conformally mapped symbols and a fixed image source
US10983340B2 (en) 2016-02-04 2021-04-20 Digilens Inc. Holographic waveguide optical tracker
JP6895451B2 (ja) * 2016-03-24 2021-06-30 ディジレンズ インコーポレイテッド 偏光選択ホログラフィー導波管デバイスを提供するための方法および装置
AU2017246901B2 (en) 2016-04-08 2022-06-02 Magic Leap, Inc. Augmented reality systems and methods with variable focus lens elements
CN109154717B (zh) 2016-04-11 2022-05-13 迪吉伦斯公司 用于结构光投射的全息波导设备
KR102450386B1 (ko) 2016-08-22 2022-09-30 매직 립, 인코포레이티드 웨어러블 디스플레이 디바이스를 위한 디더링 방법들 및 장치
AU2017363078B2 (en) 2016-11-18 2022-09-29 Magic Leap, Inc. Waveguide light multiplexer using crossed gratings
EP4307031A3 (en) * 2016-11-30 2024-03-20 Molecular Imprints, Inc. Generating a virtual content display
WO2018102834A2 (en) 2016-12-02 2018-06-07 Digilens, Inc. Waveguide device with uniform output illumination
US10650552B2 (en) 2016-12-29 2020-05-12 Magic Leap, Inc. Systems and methods for augmented reality
EP4300160A2 (en) 2016-12-30 2024-01-03 Magic Leap, Inc. Polychromatic light out-coupling apparatus, near-eye displays comprising the same, and method of out-coupling polychromatic light
US10545346B2 (en) 2017-01-05 2020-01-28 Digilens Inc. Wearable heads up displays
US10108014B2 (en) * 2017-01-10 2018-10-23 Microsoft Technology Licensing, Llc Waveguide display with multiple focal depths
CN110462460B (zh) * 2017-01-23 2022-10-14 奇跃公司 用于虚拟、增强或混合现实系统的目镜
US10295824B2 (en) 2017-01-26 2019-05-21 Rockwell Collins, Inc. Head up display with an angled light pipe
US10690919B1 (en) 2017-02-17 2020-06-23 Facebook Technologies, Llc Superluminous LED array for waveguide display
WO2018156784A1 (en) 2017-02-23 2018-08-30 Magic Leap, Inc. Variable-focus virtual image devices based on polarization conversion
CN110431471B (zh) * 2017-03-21 2023-06-23 奇跃公司 用于具有宽视野的波导投影仪的方法和系统
JP7118084B2 (ja) * 2017-03-22 2022-08-15 マジック リープ， インコーポレイテッド 複合視野を利用するウェアラブルディスプレイデバイス
US10185393B2 (en) 2017-04-03 2019-01-22 Facebook Technologies, Llc Waveguide display with spatially switchable grating
US10969585B2 (en) * 2017-04-06 2021-04-06 Microsoft Technology Licensing, Llc Waveguide display with increased uniformity and reduced cross-coupling between colors
CN107145224B (zh) * 2017-04-07 2019-10-29 清华大学 基于三维球面泰勒展开的人眼视线跟踪方法和装置
US10248197B2 (en) 2017-04-27 2019-04-02 Imam Abdulrahman Bin Faisal University Systems and methodologies for real time eye tracking for electronic device interaction
FI128831B (en) * 2017-05-03 2021-01-15 Dispelix Oy Display element, personal display unit, procedure for producing an image on a personal display and use
US10578870B2 (en) 2017-07-26 2020-03-03 Magic Leap, Inc. Exit pupil expander
US20190094549A1 (en) * 2017-09-28 2019-03-28 Thalmic Labs Inc. Systems, devices, and methods for waveguide-based eyebox expansion in wearable heads-up displays
WO2019067751A1 (en) * 2017-09-28 2019-04-04 Magic Leap, Inc. METHODS AND APPARATUSES FOR REDUCING PARASITIC LIGHT EMISSION OF AN OCULAR OF AN OPTICAL IMAGING SYSTEM
WO2019079350A2 (en) 2017-10-16 2019-04-25 Digilens, Inc. SYSTEMS AND METHODS FOR MULTIPLYING THE IMAGE RESOLUTION OF A PIXÉLISÉ DISPLAY
US11280937B2 (en) 2017-12-10 2022-03-22 Magic Leap, Inc. Anti-reflective coatings on optical waveguides
IL274977B2 (en) 2017-12-15 2023-10-01 Magic Leap Inc Eyepieces for an augmented reality display system
WO2019126331A1 (en) 2017-12-20 2019-06-27 Magic Leap, Inc. Insert for augmented reality viewing device
FI129400B (en) 2017-12-22 2022-01-31 Dispelix Oy Diffractive waveguide element and diffractive waveguide display
CN111566571B (zh) 2018-01-08 2022-05-13 迪吉伦斯公司 波导单元格中全息光栅高吞吐量记录的系统和方法
WO2019136476A1 (en) 2018-01-08 2019-07-11 Digilens, Inc. Waveguide architectures and related methods of manufacturing
US10867174B2 (en) 2018-02-05 2020-12-15 Samsung Electronics Co., Ltd. System and method for tracking a focal point for a head mounted device
US10755676B2 (en) 2018-03-15 2020-08-25 Magic Leap, Inc. Image correction due to deformation of components of a viewing device
CN112088332A (zh) 2018-03-16 2020-12-15 迪吉伦斯公司 包含双折射控制的全息波导及用于它们的制造的方法
FI130178B (en) * 2018-03-28 2023-03-29 Dispelix Oy Waveguide element and waveguide stack for display use
CN108519824B (zh) * 2018-04-13 2021-02-05 京东方科技集团股份有限公司 一种虚拟现实显示装置、设备及视线角度计算方法
US10702147B2 (en) * 2018-04-16 2020-07-07 Welch Allyn, Inc. Method and apparatus for controlling accommodation and pupil size during an eye examination
US10901229B2 (en) * 2018-05-22 2021-01-26 Microsoft Technology Licensing, Llc Systems and methods of providing visual information with one dimensional pupil expansion
WO2019232282A1 (en) 2018-05-30 2019-12-05 Magic Leap, Inc. Compact variable focus configurations
JP7319303B2 (ja) 2018-05-31 2023-08-01 マジック リープ， インコーポレイテッド レーダ頭部姿勢位置特定
CN112400157A (zh) 2018-06-05 2021-02-23 奇跃公司 观看系统的基于单应性变换矩阵的温度校准
EP3803545A4 (en) 2018-06-08 2022-01-26 Magic Leap, Inc. AUGMENTED REALITY VIEWER WITH AUTOMATED SURFACE SELECTION PLACEMENT AND CONTENT ALIGNMENT PLACEMENT
WO2019238894A1 (de) * 2018-06-15 2019-12-19 Continental Automotive Gmbh Vorrichtung zum anzeigen eines bildes
GB2566788A (en) * 2018-06-28 2019-03-27 Wave Optics Ltd Device for augmented reality or virtual reality display
US11579441B2 (en) 2018-07-02 2023-02-14 Magic Leap, Inc. Pixel intensity modulation using modifying gain values
WO2020010226A1 (en) 2018-07-03 2020-01-09 Magic Leap, Inc. Systems and methods for virtual and augmented reality
US11856479B2 (en) 2018-07-03 2023-12-26 Magic Leap, Inc. Systems and methods for virtual and augmented reality along a route with markers
WO2020023543A1 (en) 2018-07-24 2020-01-30 Magic Leap, Inc. Viewing device with dust seal integration
JP7426982B2 (ja) 2018-07-24 2024-02-02 マジック リープ， インコーポレイテッド 移動検出デバイスの温度依存較正
WO2020023779A1 (en) 2018-07-25 2020-01-30 Digilens Inc. Systems and methods for fabricating a multilayer optical structure
CN112740665A (zh) 2018-08-02 2021-04-30 奇跃公司 基于头部运动的瞳孔间距离补偿的观察系统
CN116820239A (zh) 2018-08-03 2023-09-29 奇跃公司 图腾在用户交互系统中的融合姿势的基于未融合姿势的漂移校正
US11141645B2 (en) 2018-09-11 2021-10-12 Real Shot Inc. Athletic ball game using smart glasses
US11103763B2 (en) 2018-09-11 2021-08-31 Real Shot Inc. Basketball shooting game using smart glasses
GB2577327A (en) * 2018-09-24 2020-03-25 Wave Optics Ltd Device for augmented reality or virtual reality display
JP7100567B2 (ja) * 2018-11-14 2022-07-13 株式会社日立エルジーデータストレージ 導光板および画像表示装置
US10914949B2 (en) 2018-11-16 2021-02-09 Magic Leap, Inc. Image size triggered clarification to maintain image sharpness
EP3884337A4 (en) 2018-11-20 2022-08-17 Magic Leap, Inc. EYEPIECES FOR AN AUGMENTED REALITY DISPLAY SYSTEM
CN113678053A (zh) * 2019-01-14 2021-11-19 伊奎蒂公司 大衍射光栅图案的数字写入
US11150394B2 (en) * 2019-01-31 2021-10-19 Facebook Technologies, Llc Duty cycle range increase for waveguide combiners
EP3921720A4 (en) 2019-02-06 2022-06-29 Magic Leap, Inc. Target intent-based clock speed determination and adjustment to limit total heat generated by multiple processors
EP3924759A4 (en) 2019-02-15 2022-12-28 Digilens Inc. METHODS AND APPARATUS FOR MAKING A HOLOGRAPHIC WAVEGUIDE DISPLAY WITH INTEGRATED GRIDINGS
GB201903037D0 (en) * 2019-03-07 2019-04-24 Wave Optics Ltd Display for augmented realityor virtual reality
EP3939030A4 (en) 2019-03-12 2022-11-30 Magic Leap, Inc. REGISTRATION OF LOCAL CONTENT BETWEEN FIRST AND SECOND VIEWERS OF AUGMENTED REALITY
JP2022525165A (ja) 2019-03-12 2022-05-11 ディジレンズ インコーポレイテッド ホログラフィック導波管バックライトおよび関連する製造方法
KR102375853B1 (ko) * 2019-04-25 2022-03-17 주식회사 엘지화학 회절 도광판 및 회절 도광판의 제조 방법
CN114127837A (zh) 2019-05-01 2022-03-01 奇跃公司 内容提供系统和方法
TWI756691B (zh) * 2019-05-30 2022-03-01 美商蘋果公司 光學系統，頭戴式裝置，及顯示系統
EP3980825A4 (en) 2019-06-07 2023-05-03 Digilens Inc. WAVEGUIDES INCORPORATING TRANSPARENT AND REFLECTIVE GRATINGS AND METHODS OF MAKING THEREOF
CN114286962A (zh) 2019-06-20 2022-04-05 奇跃公司 用于增强现实显示系统的目镜
CN114174895A (zh) 2019-07-26 2022-03-11 奇跃公司 用于增强现实的系统和方法
JP2022543571A (ja) 2019-07-29 2022-10-13 ディジレンズ インコーポレイテッド 画素化されたディスプレイの画像解像度および視野を乗算するための方法および装置
EP4022370A4 (en) 2019-08-29 2023-08-30 Digilens Inc. VACUUM BRAGG GRATINGS AND METHODS OF MANUFACTURING
JP2023502927A (ja) 2019-11-15 2023-01-26 マジック リープ， インコーポレイテッド 外科手術環境において使用するための視認システム
US10962787B1 (en) * 2019-11-25 2021-03-30 Shanghai North Ocean Photonics Co., Ltd. Waveguide display device
US10935730B1 (en) * 2019-11-25 2021-03-02 Shanghai North Ocean Photonics Co., Ltd. Waveguide display device
JP2021086072A (ja) * 2019-11-29 2021-06-03 セイコーエプソン株式会社 補正用光学部材及びヘッドマウントディスプレイ
CN111240015B (zh) * 2020-01-17 2020-12-18 北京理工大学 双侧对射出光均匀的衍射波导
CN115480335A (zh) * 2021-05-31 2022-12-16 华为技术有限公司 衍射波导、光学组件和电子设备
CN114979483B (zh) * 2022-05-24 2023-05-05 河南工业贸易职业学院 一种基于数字摄像机的焦点跟踪方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2315858A (en) * 1996-08-01 1998-02-11 Sharp Kk System for eye detection and gaze direction determination
JPH11259226A (ja) * 1998-03-13 1999-09-24 Canon Inc 視線入力意思伝達装置、視線入力意思伝達方法および記憶媒体
US6152563A (en) * 1998-02-20 2000-11-28 Hutchinson; Thomas E. Eye gaze direction tracker
AUPP697398A0 (en) * 1998-11-06 1998-12-03 Lions Eye Institute Of Western Australia Incorporated, The Eye tracker for refractive surgery
SE524003C2 (sv) * 2002-11-21 2004-06-15 Tobii Technology Ab Förfarande och anläggning för att detektera och följa ett öga samt dess blickvinkel
US20060126181A1 (en) * 2004-12-13 2006-06-15 Nokia Corporation Method and system for beam expansion in a display device
ES2605367T3 (es) * 2006-01-26 2017-03-14 Nokia Technologies Oy Dispositivo de seguimiento ocular

Also Published As

Publication number Publication date
CN101945612A (zh) 2011-01-12
US8494229B2 (en) 2013-07-23
PL2242419T3 (pl) 2016-05-31
EP2242419A1 (en) 2010-10-27
EP2242419B1 (en) 2016-01-13
CN101945612B (zh) 2013-09-25
US20110019874A1 (en) 2011-01-27
WO2009101238A1 (en) 2009-08-20
EP2242419A4 (en) 2013-03-13

Similar Documents

Publication Publication Date Title
ES2562063T3 (es) Dispositivo y método para determinar la dirección de la mirada
ES2605367T3 (es) Dispositivo de seguimiento ocular
CN110476105B (zh) 均匀性提高并且颜色之间的交叉耦合减少的波导显示器
CN108292048B (zh) 在使用宽谱成像器的近眼显示器中的扩大视野
KR102416401B1 (ko) 볼륨 브래그 격자를 사용하는 도파관 눈 추적
US9759913B2 (en) Eye tracking apparatus, method and system
EP3197339B1 (en) Waveguide eye tracking employing switchable diffraction gratings
US20100277803A1 (en) Display Device Having Two Operating Modes
US10712576B1 (en) Pupil steering head-mounted display
KR20170065631A (ko) 시스루 디스플레이 광학 구조
JP7356183B2 (ja) 小型反射部を用いたカメラモジュール及びこれを用いた拡張現実用光学装置
CN105212890B (zh) 眼睛跟踪器设备
KR102595778B1 (ko) 후방 산란된 레이저 스페클 패턴들의 광학 흐름을 추적함으로써 움직임의 6개의 자유도들을 검출하기 위한 시스템