ES2327633T3 - Instalacion para ver y seguir un ojo y la direccion de la mirada del mismo. - Google Patents

Abstract

Una instalación para la detección de ojos que comprende: una o más fuentes (2, 3) de luz para emitir luz en direcciones hacia la cabeza de un usuario, un detector (4) para recibir luz desde la cabeza de un usuario y para captar repetidamente imágenes de la misma, y una unidad (6) de evaluación conectada al detector (4) para determinar la posición y/o dirección de mirada de un ojo, y dispuesta para determinar, en una imagen captada por el detector (4), un área en la que estén localizadas una imagen de un ojo o unas imágenes de ojos. caracterizada porque la unidad (6) de evaluación está dispuesta para, tras haber determinado el área, controlar el detector (4) para enviar a la unidad (6) de evaluación la información acerca de las imágenes sucesivas que sólo corresponde al área determinada de la imagen captada por el detector (4), y el detector (4) está dispuesto para leer información únicamente de la porción de la superficie del detector (4) que corresponde al área determinada, y por lo tanto los datos que luego han de ser enviados a la unidad (6) de evaluación.

Description

Instalación para ver y seguir un ojo y la dirección de la mirada del mismo.

Campo técnico

La presente invención se refiere a una instalación para detectar y seguir los ojos y los ángulos/direcciones de la mirada. Tal sistema puede usarse por ejemplo para observar o determinar la posición en un monitor o pantalla que un usuario de ordenador está mirando.

Antecedentes

La monitorización o el seguimiento de movimientos del ojo y puntos de la mirada pueden usarse en muchos contextos diferentes. La información acerca de la posición hacia la que una persona está mirando puede usarse para analizar el comportamiento y la conciencia de la persona. Puede usarse tanto para evaluar el objeto al que la persona está mirando como para evaluar a la persona respectiva. Los campos de utilización son muchos y pueden mencionarse entre ellos estudios sobre la usabilidad de software y diferentes tipos de interfaces, evaluaciones de páginas principales, publicidad y anuncios, medios para educar a pilotos en entornos de simulación, investigación en psicología, ciencias del comportamiento y percepción humana y diagnosis de varios tipos de defectos visuales y enfermedades.

Adicionalmente a estas aplicaciones existen también aplicaciones interactivas que emplean información acerca del lugar al que una persona está mirando para responder o reaccionar de formas distintas. Una persona físicamente discapacitada puede, por ejemplo, interactuar con un ordenador por el procedimiento por el cual se activan esos objetos en el monitor del ordenador al cual está mirando. En un juego de máquinas recreativas puede aumentarse mucho la experiencia del juego mediante el procedimiento por el que se hace que aquellos objetos a los que una persona mire queden centrados en la imagen, o por el procedimiento por el que se permite a la persona apuntar un arma usando sus ojos. De la misma manera el anuncio o pantalla en el escaparate de una tienda en Navidad puede reaccionar al hecho de que una persona esté mirándolo. Las interfaces para, por ejemplo, un ordenador podrían utilizar información continua acerca de la posición a la que un usuario está mirando para mejorar la capacidad de mostrar visualmente el objeto en el que un usuario está interesado, y para adaptar de una forma inteligente diferentes comportamientos del usuario. Un automóvil que recibe información acerca de la posición a la que el conductor está mirando podría disparar una alarma en el caso de que el conductor esté cansado, distraído o intoxicado. También se han desarrollado aplicaciones militares para apuntar armas o para conducir vehículos usando movimientos oculares. Este es sólo un pequeño número de campos de utilización que pueden ser de interés para una instalación que pueda detectar y seguir ojos y ángulos de mirada.

Existen muchas tecnologías diferentes que pueden usarse para seguir un ojo y el ángulo de la mirada en el mismo. Una primera tecnología consiste en usar un fotosensor y una fuente de luz, cuya luz se refleja en la córnea y en el cristalino de un ojo y provoca en los mismos cuatro reflejos diferentes. El reflejo de éstos con la intensidad de luz más fuerte es el reflejo de la córnea externa o glint, también llamado el primer reflejo de Purkinje. Después siguen el segundo, el tercer y el cuarto reflejo de Purkinje, que corresponden a reflejos en la superficie interna de la córnea, la superficie externa de el cristalino y la superficie interna del cristalino. El primer y cuarto reflejos de Purkinje están localizados en el mismo plano focal y la relación de las posiciones de estos dos reflejos varía con la rotación del ojo.

Una segunda tecnología para seguir un ojo y el ángulo de la mirada en el mismo es detectar, usando algún tipo de fotosensor, la línea de demarcación entre el blanco o esclera y el iris de un ojo. Una tercera tecnología consiste en detectar la cara de una persona usando una cámara y deducir indirectamente, mediante la observación de cómo se mueven los ojos en relación a la cara, la dirección en la que la persona está mirando. Una cuarta tecnología consiste en aprovechar que la córnea y la retina tienen potenciales eléctricos diferentes para medir la rotación en un ojo. Una quinta tecnología consiste en usar una lente de contacto dotada de dispositivos adecuados capaces de medir cómo gira la lente y por lo tanto también el ojo. Una sexta tecnología consiste en medir, usando un fotosensor, la elipticidad de la pupila o del iris cuando el ojo gira. Una séptima tecnología consiste en usar un diodo y dos o más transistores ópticos montados en un par de gafas. Cuando la luz procedente del diodo se refleja en la córnea incide luego sobre un transistor óptico, las señales proporcionadas por el transistor varían de acuerdo a la distancia recorrida por la luz desde el diodo a través de la córnea y hasta el transistor. Una octava tecnología consiste en usar un fotosensor para detectar el reflejo de una fuente de luz en la córnea, y entonces observar cómo está relacionada la posición de la misma con el centro de la pupila o iris. Puede hacerse en este caso que la pupila sea más fácilmente observable usando unos dispositivos de iluminación, montados cerca del fotosensor, que iluminan la retina del ojo y causan por lo tanto un efecto brillante en el ojo, o mediante la iluminación del ojo de modo que el iris se vuelva brillante mientras que la pupila permanece oscura.

En el documento de patente estadounidense 5,861,940 se describe un sistema para detectar ojos y para seguir los ángulos de la mirada. El sistema incluye fuentes de luz que comprenden un láser infrarrojo de tipo 2 que está provisto de un sistema óptico adecuado y que emite un rayo de luz convergente con un foco enfrente del ojo, y dos láseres infrarrojos o diodos de infrarrojos de tipo 9, 10 que emiten alternativamente rayos de luz divergentes. Mediante la detección del reflejo en la retina usando un detector sensitivo de posición se obtiene información sobre la posición del ojo. Mediante la detección de los reflejos en la córnea de una pluralidad de fuentes de luz se determina la distancia entre el ojo y la videocámara. Los dos láseres infrarrojos anteriores están colocados en el borde de la base de un monitor 1 de ordenador. Otros sistemas están descritos en los documentos de patente estadounidenses 6,079,829, 6,152,563 y 6,246,779.

Específicamente, en la patente estadounidense 6,152,563 está descrito un seguidor de dirección de la mirada que incluye una fuente de luz infrarroja, una cámara, una pantalla de ordenador y un ordenador. Se provee un software en el ordenador para evaluar las fotos tomadas por la cámara.

En sistemas automáticos que emplean una videocámara puede ser difícil determinar las posiciones en una imagen captada, en la que están situados los reflejos de las fuentes de luz en los ojos de un usuario. Esto depende entre otras cosas del hecho de que el usuario puede mover la cabeza, desplazarla lateralmente o colocarla a menor o mayor distancia de la cámara. El sistema automático puede contener rutinas complejas de procesado de imagen y reconocimiento de imagen para determinar aquellas áreas en donde están localizadas imágenes de ojos. Por lo tanto existe la necesidad de procedimientos para facilitar tales determinaciones de áreas en una imagen captada en la que están localizados reflejos e imágenes de ojos. Adicionalmente, al determinar el punto de interés en una superficie tal que un monitor, siempre debe determinarse la distancia entre los ojos del usuario y el monitor y por lo tanto se requieren procedimientos eficientes para tal determinación.

Resumen de la invención

Un objetivo de la invención, que se define en la reivindicación 1, consiste en proveer una instalación eficiente para detectar y seguir ojos y ángulos/direcciones de la mirada.

En un dispositivo para detectar ojos y ángulos/direcciones de la mirada se usa un fotosensor tal como una unidad CCD o CMOS provistas de un sistema óptico adecuado o una videocámara, una o más fuentes de luz y una unidad de cálculo y control. Para determinar la posición por ejemplo en un monitor, a la que una persona está mirando, deben conocerse la posición de los ojos de la persona, tanto en la dirección en profundidad como en las direcciones laterales, vistas desde el monitor, y la dirección en la que está mirando el ojo. Si sólo se conocen el ángulo y la posición bidimensional, aparecerá una distorsión de paralaje cuando el ojo se mueva en la dirección en profundidad. Esta distorsión de paralaje es a menudo significativamente mayor de lo aceptable en muchas aplicaciones.

Para determinar la posición de un ojo, es decir, la posición del mismo con respecto a un fotosensor o un monitor, se ilumina el ojo usando dos o más fuentes de luz dispuestas a una distancia entre sí. Las imágenes de los reflejos de estas fuentes de luz en la córnea de la persona sobre el fotosensor dependerán entonces del lugar, en el campo de visión del fotosensor, en el que esté situada la persona. Las imágenes de los reflejos sobre el fotosensor proveen toda la información requerida para determinar exactamente el lugar en el que está localizada la persona en el campo de visión del fotosensor. Si se asume que la córnea del ojo es esférica, esta función está definida inequívocamente y es reversible incluso en el caso en que el número de fuentes de luz sea sólo de dos, pero usando hipótesis más avanzadas también se obtiene una buena precisión y fiabilidad en la determinación del lugar en el que están localizados los ojos mediante la evaluación de todo el patrón formado por los reflejos de una pluralidad de fuentes de luz, es decir, las posiciones de los reflejos en relación entre sí y con la foto completa. En un caso sencillo sólo se determinan el tamaño del patrón y la posición del mismo en la imagen captada.

Por lo tanto, se usan un fotosensor para crear una imagen bidimensional de la realidad y generalmente una o más fuentes de luz. La/s fuente/s de luz iluminan los posibles ojos dentro del campo visual del fotosensor, de modo que las superficies reflectantes difusas se vuelven más fácilmente observables para el fotosensor, y de modo que la luz de la/s fuente/s de luz que alcanza las córneas causa reflejos que son interpretados por el fotosensor como puntos brillantes discretos.

La imagen bidimensional creada por el fotosensor se analiza usando un procesamiento de imagen complejo para determinar la posición en la imagen en la que están localizados posibles ojos y reflejos. Se usa entonces esta información para determinar dónde están localizados los ojos y/o en qué dirección están mirando, lo que a su vez puede usarse por ejemplo, para determinar la posición en un monitor a la que está mirando un usuario de ordenador.

Se buscan pupilas y/o irises en la imagen bidimensional. Puede hacerse la imagen de la pupila más fácilmente observable iluminándola con una o más fuentes de luz. La luz de la/s fuente/s de luz puede colocarse a cierta distancia del sistema óptico que enfoca la imagen bidimensional en el fotosensor. Esto significa que sólo una pequeña porción de la luz que ilumina entra en el ojo y por lo tanto que la pupila aparece más oscura que la cara circundante. De esta manera la línea de demarcación entre la pupila y el iris puede detectarse más fácilmente que en el caso de no usar iluminación.

Una alternativa a la iluminación mencionada anteriormente comprende colocar la/s fuente/s de luz en el, o muy cerca del, sistema óptico que enfoca la imagen bidimensional sobre el fotosensor. El campo difuso de la/s fuente/s de luz corresponde entonces al campo de visión del fotosensor, y para un ojo que esté localizado dentro del campo de visión del fotosensor el punto de la retina que está iluminado por la/s fuente/s de luz será el mismo, o al menos parcialmente el mismo punto que está reproducido en el fotosensor. Esto significa que la pupila parece ser más brillante que los alrededores de la misma. El fenómeno es el mismo que hace que los ojos en las imágenes parezcan tener un color rojizo.

Para conseguir el efecto de ojo más brillante posible se montan la/s fuente/s de luz lo más cerca posible del eje visual del fotosensor sin interferir con el campo de visión del sensor. La porción de la retina de un ojo que ve el fotosensor coincide entonces en gran parte con la porción de la retina que está iluminada por la/s fuente/s de luz. Teniendo en cuenta que la/s fuente/s de luz han de colocarse enfrente del sistema óptico que enfoca la imagen sobre el fotosensor, un fuente de luz que tenga un agujero central de la misma forma que el fotosensor es una buena manera de colocar la/s fuente/s de luz lo más cerca del eje visual del fotosensor sin interferir con el campo visual del mismo. Cuanto más lejos del sistema óptico se coloque la fuente de, mayor ha de ser el agujero para no interferir con el campo visual del fotosensor. Por lo tanto es deseable poder colocar la fuente de luz tan cerca del sistema óptico como sea posible en el caso en que se pretenda un efecto de brillo de ojo.

Usar un efecto de brillo de ojo para determinar la dirección de los ojos, al mismo tiempo que se determinan las posiciones de los ojos usando una pluralidad de fuentes de luz reflejadas, puede causar problemas. El efecto de brillo de ojo se consigue usando un dispositivo de iluminación/fuente de luz colocado tan cerca del fotosensor como sea posible. Un dispositivo de iluminación colocado a cierta distancia de esta fuente de luz iluminará todo, además de la pupila del ojo que está colocada dentro del campo visual del fotosensor, y por lo tanto reduce el contraste entre la pupila y el iris en las imágenes captadas por el fotosensor. Adicionalmente hay una alta probabilidad de que el reflejo de esta fuente de luz adicional sobre la imagen estará localizado precisamente en la línea de demarcación entre la pupila y el iris, lo cual hace aún más difícil la búsqueda de esta transición. Visto desde la perspectiva opuesta, de donde debe determinarse la posición del ojo, el efecto de brillo de ojo que se usa para destacar o aumentar la pupila hace que el contraste de la región de transición de la imagen, entre la pupila y un reflejo de la córnea enfrente de la pupila, disminuye en comparción con el caso en el que la pupila no se iluminó la pupila usando el efecto de brillo de ojo. Por lo tanto, existe el riesgo de que podría ser difícil observar reflejos localizados en imágenes de la pupila iluminada. Para evitar estos problemas pueden alternarse entre sí dos disposiciones de luz, una para determinar la dirección y otra para determinar la posición, de modo que sólo una está activa por cada imagen captada. Esto implica que no pueden ser determinadas a un mismo tiempo la dirección y la posición en cada imagen, pero por otro lado aumenta la robustez del sistema.

Si por el contrario se coloca/n la/s fuente/s de luz a una distancia del eje óptico del fotosensor, se obtiene una pupila oscura mientras que la cara de alrededor se vuelve más brillante cuanto más fuerte irradia/n la/s fuente/s de luz. Se prefiere esta disposición de luz en el caso en que haya de encontrarse el iris, y también tiene la ventaja de que la luz difusa de los alrededores no disminuye o empeora el contraste entre la pupila y el iris como es el caso en un sistema basado en el efecto de brillo de ojo.

Para no molestar a la persona que es iluminada por la/s fuente/s de luz puede/n usarse la/s fuente/s de luz para emitir luz que tenga una longitud de onda que no sea visible para el ojo humano pero que pueda ser detectada por el fotosensor. Por ejemplo, puede usarse luz de rango NIR (NIR=infrarrojo próximo) es decir, luz que tiene una longitud de onda algo más larga que la que puede ser percibida por el ojo humano. Tal luz puede ser detectada por casi todos los fotosensores diseñados para detectar luz visible.

El fotosensor utilizado puede ser ventajosamente del tipo de alta resolución/definición. Esto significa que se obtiene una gran cantidad de información cuando está expuesta la totalidad del fotosensor. Para reducir los recursos usados en el procesamiento, pueden seleccionarse los datos a procesar en una sóla área concreta de interés (AOI). Por lo tanto, para reducir la carga sobre el enlace de comunicación entre el fotosensor y la unidad de cálculo, la unidad de cálculo puede seleccionar solicitar al fotosensor que provea sólo aquella información que viene de la actual AOI. De esta manera, tanto los recursos de cálculo como los de comunicación pueden liberarse para otros propósitos. Para poder seleccionar una AOI adecuada para una exposición del fotosensor se utiliza ventajosamente la información sobre las posiciones en las que estaba localizado el ojo en las imágenes inmediatamente precedentes.

La ventaja máxima se obtiene si se descarta la mayor cantidad posible de la información innecesaria de la imagen y lo antes posible durante el procedimiento. Si se hace que el fotosensor sólo exponga o envíe a la unidad de evaluación una parte de la información de la superficie del sensor, aparecen nuevas posibilidades que no eran posibles previamente. De esta manera pueden usarse fotosensores de muy alta resolución sin provocar la ralentización del procedimiento. En vez de interfaces de cámara que son avanzados, difíciles de iniciar y costosos, pueden usarse buses de pc estandarizados para obtener una tasa de transmisión suficiente desde el fotosensor a la unidad de evaluación. También la simple exposición y la lectura de datos del fotosensor requiere en muchas ocasiones un periodo más corto de tiempo si sólo se expone una parte seleccionada del sensor. Esto significa que puede obtenerse una mayor velocidad en la determinación del punto de mirada para el ojo que se sigue. Esto es valioso en muchas aplicaciones tal como, por ejemplo, en estudios de psicología.

En la siguiente descripción se establecerán objetivos y ventajas adicionales de la invención, y serán en parte obvios a partir de la descripción, o pueden aprenderse mediante la práctica de la invención.

Breve descripción de los dibujos

Aunque la invención está definida en las reivindicaciones adjuntas, puede obtenerse un completo entendimiento de la invención, tanto en organización como en contenido, así como de las características anteriores y otras, y la invención será mejor apreciada a partir de una consideración de la siguiente descripción detallada de realizaciones no limitantes presentadas a continuación con referencia a los dibujos adjuntos, en los cuales:

- La Fig. 1 es una imagen esquemática frontal de una realización de una instalación para detectar y seguir ojos y ángulos de mirada,

- La Fig. 2 es un diagrama esquemático de la dependencia, en una imagen bidimensional captada por un fotosensor, de la distancia entre dos fuentes de luz reflejadas en una córnea con respecto a la distancia de la córnea hasta el fotosensor,

- Las Figs. 3a y 3b son imágenes esquemáticas frontales de un ejemplo de una realización de un dispositivo de iluminación que es coaxial con el campo visual del fotosensor para lograr un efecto de brillo de ojo cuando se encienden y se apagan distintos diodos,

- La Fig. 4a es una imagen de un ojo capturada usando un fotosensor e iluminada para hacer posible la determinación del ángulo de mirada del ojo y el lugar en el cual está localizada sobre el sistema de coordenadas bidimensionales del fotosensor,

- La Fig. 4b es una imagen obtenida usando análisis de líneas de demarcación de la imagen de la Fig. 4a,

- La Fig. 5a es una imagen de un ojo similar a la Fig. 4a pero iluminada para hacer posible la determinación de la distancia del ojo hasta el fotosensor,

- La Fig. 5b es una imagen obtenida usando análisis de líneas de demarcación de la imagen de la Fig. 5a,

- La Fig. 6 es un diagrama de secuencias que ilustra etapas de procesamiento de la información acerca de los ojos encontrados en una imagen bidimensional para determinar cuál es el ojo derecho y el izquierdo de un usuario, y

- La Fig. 7 es un diagrama de secuencias del procedimiento completo que se ejecuta en una instalación para determinar la dirección de la mirada y la posición de un ojo.

Descripción detallada

En la Fig. 1 se muestra una instalación para determinar el punto de un monitor al que está mirando/observando un usuario de un ordenador. La determinación es ejecutada mediante el seguimiento de los ojos del usuario y en particular mediante la determinación de los ángulos de mirada de los ojos y la distancia de los ojos al monitor. La instalación incluye el monitor 1, tres fuentes idénticas 2 de luz montadas a lo largo de una línea recta en el borde superior del monitor 1, un fotosensor 4 colocado en el centro del borde inferior del monitor y provisto de un sistema óptico adecuado, no mostrado, que está localizado en frente del fotosensor para filtrar la luz indeseada y a la vez enfocar una imagen sobre la superficie sensible a la luz del fotosensor, y una fuente 3 de luz colocada coaxialmente al eje óptico del fotosensor, es decir colocada alrededor y a todos los lados de la superficie sensible a la luz del fotosensor. La superficie sensible a la luz puede, como se ha mostrado, tener una forma rectangular. La fuente 1 de luz coaxial incluye, véanse las Figs. 3a y 3b, una pluralidad de elementos 3', 3'' emisores de luz, dispuestos en dos grupos, un primer grupo interior y un segundo grupo exterior. En el grupo interior los elementos 3' emisores de luz están colocados cerca de los bordes o lados de la superficie sensible a la luz. En la realización mostrada que incluye un área sensible a la luz rectangular, se colocan tres elementos en cada lado largo de la forma rectangular y dos elementos en cada lado corto del mismo. En el grupo exterior los elementos 3'' emisores de luz están colocados a una distancia mayor del área sensible a la luz, por fuera de los elementos del grupo interior según se mire desde el centro del área sensible a la luz. En la realización mostrada hay tantos elementos en el grupo exterior como en el grupo interior y cada elemento del grupo exterior está colocado entre dos elementos del grupo interior según se mire desde el centro del área sensible a la luz.

En una realización práctica de la instalación de acuerdo a la Fig. 1, las tres fuentes idénticas 2 de luz comprenden cada una siete diodos NIR, HSDL 4230, que incluyen seis diodos dispuestos simétricamente alrededor de un diodo central. Los mismos tipos de diodos se usan como elementos 3', 3'' emisores de luz en la unidad 3 de iluminación diseñada de acuerdo a las Figs. 3a y 3b.

Adicionalmente a estos componentes sólo se provee una unidad coordinadora de cálculo y control, indicada por un 6, para llevar a cabo el control y evaluación correspondientes y los cálculos. Por lo tanto, la unidad de cálculo y control controla el encendido y apagado de las fuentes de luz. Adicionalmente lleva a cabo el procesamiento de las imágenes captadas por el fotosensor 4, en particular la determinación de líneas de demarcación, es decir, las líneas entre los campos de las imágenes que tienen diferentes colores o intensidades en la escala de grises. En la imagen de un ojo se determina entre otras cosas la línea de demarcación que delimita la pupila y a partir de la misma se obtiene el centro de la pupila. Esto último puede hacerse, por ejemplo, mediante la adaptación de un círculo o elipse a la línea de demarcación que se ha decidido para delimitar la pupila. La unidad 6 de cálculo y control puede también controlar, como se describirá a continuación, la salida de datos desde el fotosensor 4, es decir, determinar los elementos de una imagen captada para los que se va a enviar información desde el fotosensor a la unidad de cálculo y control.

En las Figs. 3a y 3b se ve cómo los elementos de la fuente 3 de luz están colocados alrededor del fotosensor 4 para poder iluminar el ojo de dos maneras distintas, encendiendo o apagando los elementos emisores de luz del grupo interior o exterior. Una disposición de luz, que se ve en la Fig. 3, y en la que sólo están encendidos los elementos del grupo interior, causa un efecto de brillo de ojo fácilmente observable en la pupilas que son detectadas por el fotosensor, mientras que la otra disposición, que se muestra en la Fig. 3b y en la que sólo están encendidos los elementos del grupo exterior, causa reflejos en las córneas sin causar ningún efecto de brillo de ojo fácilmente observable.

Cuando la instalación de la Fig. 1 está funcionando, alterna entre las dos disposiciones de luz. La disposición (i) de luz es provista para determinar la dirección en la que un usuario está mirando. En la disposición (ii) de luz se determina la distancia de los ojos del usuario hasta el fotosensor. En ambas posiciones de ajuste de luz también se obtiene información acerca del sitio en el que están colocados el ojo u ojos del usuario, tal como se ve en el sistema de coordenadas bidimensional.

Cuando la instalación está en la disposición (i) de luz los elementos 3' interiores de la fuente 3 de luz, que están dispuestos coaxialmente con el campo de visión del fotosensor 4, están encendidos en la disposición que se muestra en la Fig.3a y crea un fuerte efecto de brillo de ojo en todas las pupilas dentro del campo de visión del fotosensor. En esta disposición de luz las tres fuentes 2 de luz colocadas sobre el monitor 1 están apagadas, es decir, sólo los elementos del grupo interior están encendidos. La imagen de una pupila dentro del campo visual del fotosensor 2 tendrá el aspecto con el que aparece en la Fig. 4a en la que la pupila 5, comparada con la Fig. 4b, está iluminada debido al efecto de brillo de ojo y el reflejo de la fuente 3 de luz en la córnea se ve como un reflejo 3'a en forma de punto. La imagen captada es analizada por la unidad 6 de cálculo y las líneas de demarcación son determinadas de acuerdo con la Fig. 4b. En la imagen captada para el efecto de brillo de ojo hay un contraste particularmente grande entre los campos de imagen que corresponden a la pupila y el iris, en comparación con la Fig. 5a que está captada usando una iluminación diferente, y por lo tanto la línea de demarcación entre esos dos campos puede ser calculada con una buena precisión. Esta línea de demarcación determinada con precisión delimita la pupila, y a partir de ella puede determinarse entonces el centro de la pupila, consecuentemente también con una buena precisión. Para la determinación del centro, como se ha mencionado anteriormente, puede adaptarse una elipsis a la línea de demarcación, lo cual es de particular importancia en el caso de que la pupila sea visible sólo parcialmente en la foto. Adicionalmente, se determinan en la imagen la posición de un reflejo 3'a y particularmente el centro del reflejo. Finalmente se calcula el vector desde el centro del reflejo 3'a hasta el centro de la pupila 5.

Para determinar la dirección de la mirada, es decir, la dirección en la cual está mirando el usuario, se usa el vector determinado de acuerdo a la descripción anterior. La dirección de este vector indica la dirección en la que el usuario está mirando, tomada desde el eje óptico de la cámara, y la magnitud del vector indica el ángulo en el que mira el usuario, también interpretado con relación al eje óptico de la cámara. Adicionalmente, el centro del reflejo 3'a provee información acerca de la posición del ojo del usuario vista en dos dimensiones.

Cuando el sistema está en la disposición (ii) de luz, los elementos 3'' del grupo exterior de la fuente 3 de luz, que es coaxial con el campo visual del fotosensor, se encuentran en la disposición de luz de acuerdo a la Fig. 3b, que no produce ningún efecto de brillo de ojo claramente observable. Al mismo tiempo las tres fuentes 2 de luz colocadas en el borde superior del monitor están encendidas en esta disposición de luz. La Fig. 5a ilustra cómo un ojo puede ser reflejado en el fotosensor 4 en esta disposición con un contraste relativamente bajo entre los campos de imagen que corresponden a diferentes porciones del ojo. También se analiza esta imagen para obtener líneas de demarcación, tal como se ilustra en la Fig. 5b, y la precisión de las lineas de demarcación determinadas de los campos correspondientes a diferentes porciones del ojo puede ser más baja que la de la linea que delimita la pupila de acuerdo a la Fig. 4b. Sin embargo, en la imagen de acuerdo a la Fig. 5b los diferentes reflejos aparecen muy claramente. En 3'b, véase la imagen analizada en la Fig. 5b, se ilustra por lo tanto el reflejo en la córnea de la fuente 3 de luz, que está encendida de acuerdo con el caso que aparece en la Fig. 3b, y en 2' se muestran los reflejos en la córnea de las fuentes 2 de luz colocadas en el extremo superior del monitor. Se determinan en la imagen las posiciones de, y las distancias entre, los diferentes reflejos y esta determinación puede ser hecha entonces con una buena precisión. Se evalúa el patrón de los cuatro reflejos, es decir, principalmente las posiciones de los diferentes reflejos en relación entre sí, para determinar la distancia del ojo al fotosensor 4. El tamaño del patrón formado por los cuatro reflejos en 2', 3'b depende particularmente de la distancia del ojo al fotosensor. Cuanto más lejos del fotosensor está situado el ojo, más pequeñas son las dimensiones del patrón. De esa manera se obtiene una medida de la distancia a la que está el monitor 1 del ojo del usuario. En este caso también se obtiene información bidimensional acerca del lugar en el que está colocado el ojo del usuario, a partir del reflejo de la fuente coaxial 3 de luz en 3'b.

Por lo tanto, cuando el sistema de la Fig. 1 está operativo, alterna entre la disposición (i) de luz y la disposición (ii) de luz. Se requiere información de estas dos posiciones de ajuste de luz para poder indicar la posición en un monitor al que está mirando un usuario. En la disposición (i) de luz se detecta la dirección de la mirada del usuario y en la disposición (ii) de luz se detecta la posición del usuario. En un usuario de ordenador los movimientos oculares son normalmente significativamente mucho más rápidos que los movimientos de la cabeza. Esto significa que es más importante tener información actualizada recientemente acerca del ángulo de mirada del usuario que acerca de la posición del usuario en la dirección de profundidad del fotosensor 4, para obtener una buena precisión en la determinación del punto del monitor al que está mirando un usuario. Ciertos experimentos indican que se obtiene un sistema que con una buena precisión cuando se analizan cuatro imágenes captadas en la disposición (i) de luz, por cada imagen captada en la posición (ii) de ajuste de luz. Para determinar el punto de mirada siempre se usa información de la última imagen captada en la disposición de luz (i) y de la última imagen captada en la disposición (ii) de luz.

En la Fig. 2 se ilustra esquemáticamente cómo la distancia entre las imágenes de los reflejos de dos fuentes de luz depende de la distancia de la superficie reflectante hasta las fuentes de luz y el detector, que supuestamente están localizados en el mismo plano. La distancia entre la superficie reflectante y el plano que pasa por las fuentes de luz es aproximadamente inversamente proporcional a la raíz cuadrada de la distancia entre las imágenes. Tal relación o una relación algo más exacta, como aparece en la Fig. 2, puede usarse, junto a los valores absolutos obtenidos en una calibración individual de la instalación de cada usuario, para dar una determinación de la distancia suficientemente precisa, por ejemplo, para controlar un cursor en el monitor cuando la cabeza del usuario está moviéndose.

El fotosensor usado en la instalación descrita anteriormente es del tipo de alta resolución. De esta manera se permite al usuario tener una mayor movilidad de la cabeza sin producir una degradación en la precisión. Para reducir la carga en la unidad de cálculo y aumentar la velocidad de muestreo del sistema, no se usan datos del fotosensor más que cuando es necesario. La unidad de cálculo usa información acerca de las posiciones en que se han encontrado los ojos en fotos anteriores para seleccionar la porción de la superficie sensible a la luz del fotosensor que vaya a exponerse antes de captar cada nueva imagen que va a usarse, o en cada nueva imagen, y controla el fotosensor de acuerdo a la misma. Si se encuentran los ojos del usuario en la imagen precedente sólo se usa una pequeña porción de los elementos de imagen de la superficie sensible a la luz del fotosensor. Sólo en el caso de no haberse encontrado ningún ojo se usan los datos de todos los elementos de imagen de la superficie sensible a la luz, o en algún caso los datos que representen toda la superficie de imagen, obtenidos, por ejemplo, por una baja operación de muestreo de datos de todo el área de imagen. De esa manera se obtiene un sistema que es relativamente lento en la detección de los ojos y de la distancia de los ojos en la dirección en profundidad, pero que puede seguir los ojos y en particular la dirección de la mirada a una gran velocidad una vez que se han encontrado los ojos.

Un ojo tiene características físicas únicas que, junto a la posición del ojo y la dirección de la mirada, controlan qué aspecto tendrá una imagen, como se muestra en las Fig. 4a o 5a. Para poder determinar la posición a la que una persona está mirando a partir de los datos que pueden obtenerse de estas imágenes, el sistema puede calibrarse individualmente, si se requiere, para la persona que está sentada enfrente del monitor. Adicionalmente el sistema ha de saber cuál es cada ojo, es decir, si las líneas de demarcación calculadas de acuerdo a las Figs. 4b y 5b están asociadas al ojo izquierdo o al derecho del usuario.

Cuando los dos ojos de un usuario son visibles para el fotosensor 4 es fácil decir qué ojo es el izquierdo y qué ojo es el derecho, pero en el caso en que sólo se haya encontrado un ojo se requiere otro procedimiento para determinar qué ojo es. Tal procedimiento se describirá a continuación y las diferentes etapas del mismo están también ilustradas en el diagrama de secuencias de la Fig. 6.

En la Fig. 7 se muestra un diagrama de secuencias de las distintas etapas que se llevan a cabo para determinar y seguir los ojos y la dirección de la mirada de una persona. En una primera etapa 71 se capta una imagen con la iluminación en la disposición (i) de luz, es decir cuando sólo los elementos 3' están encendidos. Se determinan en la imagen las pupilas, es decir sus lineas de demarcación, y los descartes de la fuente de luz. En el siguiente bloque 73 se ejecuta el procedimiento de acuerdo a la Fig. 6 para determinar cuál es cada ojo. Entonces en la etapa 75 se decide si se han encontrado dos ojos en la imagen. Si es así, se ejecuta un bloque 77 en el que se capta una imagen con la iluminación en la disposición (ii), es decir con los elementos 3'' encendidos y los diodos 2 activados. De esta imagen sólo se envía información a la unidad 6 acerca de las áreas alrededor de los ojos. Se determinan los reflejos y por tanto las imágenes de los ojos en la imagen. A continuación, en un bloque 79 se ejecuta nuevamente el procedimiento de acuerdo a la Fig. 6 para determinar cuál es cada ojo. En la siguiente etapa 83 se lleva a cabo en la unidad 6 un cálculo del punto observado por los ojos. Entonces se ejecuta un bloque 85 en el que se capta una imagen con la iluminación en la disposición (i) de luz, es decir con sólo los elementos 3' encendidos. De la imagen captada sólo se transmite información a la unidad 6 de las áreas alrededor de los ojos encontrados. Se determinan las pupilas y los reflejos de la fuente de luz a partir de la información de imagen restringida, de la misma manera que en la etapa 71. Entonces en un bloque 87 se ejecuta otra vez el procedimiento de acuerdo a la Fig. 6 para determinar cuál es cada ojo. En la siguiente etapa 89 se decide si se han encontrado dos ojos en la imagen. De ser así, en un bloque 91 se ejecuta un cálculo del punto observado o mirado por los ojos, de la misma manera que en el bloque 83. A continuación en un bloque 93 se decide si las últimas cuatro imágenes captadas fueron captadas con la iluminación en la disposición (ii) de luz. De no ser así, se ejecuta otra vez el bloque 85 y de lo contrario el bloque 77. Si se determina en cualquiera de los bloques 75, 81 y 89 que no se han encontrado dos ojos se ejecuta otra vez el bloque 71.

Aunque se han descrito e ilustrado realizaciones específicas de la invención, se reconoce que a los expertos en la técnica se les ocurrirán fácilmente numerosas ventajas adicionales, modificaciones y cambios. Por lo tanto, la invención en sus aspectos más amplios no está limitada a los detalles específicos, dispositivos representativos y ejemplos ilustrados, mostrados y descritos aquí. En consecuencia, pueden hacerse diversas modificaciones sin alejarse del alcance de la invención tal como está definido por las reivindicaciones adjuntas.

Claims (10)

1. \global\parskip0.960000\baselineskip

   1. Una instalación para la detección de ojos que comprende:

   una o más fuentes (2, 3) de luz para emitir luz en direcciones hacia la cabeza de un usuario,

   un detector (4) para recibir luz desde la cabeza de un usuario y para captar repetidamente imágenes de la misma, y

   una unidad (6) de evaluación conectada al detector (4) para determinar la posición y/o dirección de mirada de un ojo, y dispuesta para determinar, en una imagen captada por el detector (4), un área en la que estén localizadas una imagen de un ojo o unas imágenes de ojos.

   caracterizada porque

   la unidad (6) de evaluación está dispuesta para, tras haber determinado el área, controlar el detector (4) para enviar a la unidad (6) de evaluación la información acerca de las imágenes sucesivas que sólo corresponde al área determinada de la imagen captada por el detector (4), y

   el detector (4) está dispuesto para leer información únicamente de la porción de la superficie del detector (4) que corresponde al área determinada, y por lo tanto los datos que luego han de ser enviados a la unidad (6) de evaluación.
2. 2. La instalación de detección de ojos de acuerdo a la reivindicación 1, caracterizada porque en el caso en que la unidad (6) de evaluación no pueda ejecutar la determinación a partir de la información enviada, esté dispuesta la unidad (6) de evaluación para controlar el detector (4) para que envíe, de la siguiente imagen, información acerca de una porción mayor del detector (4) alrededor del área determinada previamente.
3. 3. La instalación de detección de ojos de acuerdo a cualquiera de las reivindicaciones 1 ó 2, caracterizada porque la unidad (6) de evaluación está dispuesta:

   para decidir dentro de una imagen actual captada por el detector (4) si la imagen contiene imágenes de los dos ojos de un usuario, y

   en el caso en que la unidad (6) de evaluación decida que existe una imagen de sólo un ojo en la imagen actual, para determinar que este ojo tiene una posición en la imagen actual que es suficientemente cercana a la posición de la imagen del ojo en la imagen captada anteriormente.

4. 4. La instalación de detección de ojos de acuerdo a la reivindicación 3, caracterizada porque en el caso en que la unidad (6) de evaluación decida que existe una imagen de sólo un ojo en la imagen actual, que la posición de la imagen del ojo en la imagen actual no corresponde o no está suficientemente cercana a la posición de cualquier ojo en una o más imágenes captadas previamente, y que la posición de la imagen del ojo en la imagen actual es tal que la distancia lateral desde un extremo de la imagen actual es menor que una distancia correspondiente a la distancia entre los ojos del usuario, pero la distancia lateral desde el otro extremo es mayor, la unidad (6) de evaluación está dispuesta para considerar al ojo, del que existe una imagen en la imagen actual, como el ojo que significa que una imagen del otro ojo del usuario estaría localizada fuera de la imagen actual.
5. 5. La instalación de detección de ojos de acuerdo a cualquiera de las reivindicaciones 1 a 4, caracterizada porque

   al menos dos fuentes (2, 3) de luz se proveen y son colocadas a una distancia entre sí para emitir al menos dos rayos de luz que se reflejen en la córnea de un ojo de un usuario, y

   la unidad (6) de evaluación está dispuesta para usar las posiciones de las imágenes de los reflejos de las fuentes (2, 3) de luz en una imagen captada para determinar la localización del ojo con respecto al detector (4).
6. 6. La instalación de detección de ojos de acuerdo a la reivindicación 5, caracterizada porque la unidad (6) de evaluación está dispuesta para determinar en una imagen captada la distancia entre las imágenes de los reflejos de las fuentes (2, 3) de luz para determinar a partir de ahí la distancia del ojo al detector.
7. 7. La instalación de detección de ojos de acuerdo con la reivindicación 5, caracterizada porque se proveen al menos tres fuentes (2, 3) de luz en un patrón definido, estando la unidad (6) de evaluación dispuesta para determinar las posiciones de las imágenes de los reflejos de las fuentes (2, 3) de luz y para usar todas las posiciones determinadas para determinar la localización del ojo con respecto al detector (4).
8. 8. La instalación de detección de ojos de acuerdo con la reivindicación 5, caracterizada porque las fuentes (2, 3) de luz están divididas en grupos, un primer grupo (3) que está dispuesto para emitir luz adecuada para determinar, en imágenes captadas sólo con iluminación de este grupo (3), la dirección de mirada del ojo, y un segundo grupo (2) que está dispuesto para emitir luz adecuada para determinar, en imágenes captadas sólo con iluminación de este grupo (2), la distancia del ojo al detector (4), estando la unidad de control dispuesta para encender bien uno o ambos de estos grupos al captar cada imagen.

   \global\parskip1.000000\baselineskip

9. 9. La instalación de detección de ojos de acuerdo a la reivindicación 5, caracterizada porque una de las fuentes (2, 3) de luz está dispuesta para emitir luz en un rayo de luz coaxial con el eje óptico del detector (4).
10. 10. La instalación de detección de ojos de acuerdo a la reivindicación 5, caracterizada porque las fuentes (2, 3) de luz están divididas en dos grupos, un primer grupo (3) que se ha dispuesto para emitir luz que causa un efecto de brillo de ojo y por lo tanto es adecuado para determinar, a partir de imágenes captadas sólo con iluminación de este grupo (3), la dirección de mirada del ojo, y un segundo grupo (2) que se ha dispuesto para emitir luz adecuada para determinar, a partir de imágenes captadas sólo con iluminación de este grupo(2), la distancia del ojo al detector (4), estando dispuesta la unidad de control para activar bien uno o ambos de estos grupos captados en cada imagen.