ES2814201T3 - Oculómetro que tiene un tramo prolongado de distancias de funcionamiento - Google Patents

Oculómetro que tiene un tramo prolongado de distancias de funcionamiento Download PDF

Info

Publication number
ES2814201T3
ES2814201T3 ES06784210T ES06784210T ES2814201T3 ES 2814201 T3 ES2814201 T3 ES 2814201T3 ES 06784210 T ES06784210 T ES 06784210T ES 06784210 T ES06784210 T ES 06784210T ES 2814201 T3 ES2814201 T3 ES 2814201T3
Authority
ES
Spain
Prior art keywords
eye
data
transfer function
light
primary data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES06784210T
Other languages
English (en)
Inventor
Mårten Skogö
John Elvesjö
Bengt Rehnström
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tobii AB
Original Assignee
Tobii AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tobii AB filed Critical Tobii AB
Priority claimed from PCT/SE2006/050296 external-priority patent/WO2007043954A1/en
Application granted granted Critical
Publication of ES2814201T3 publication Critical patent/ES2814201T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Optics & Photonics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Input (AREA)
  • Image Analysis (AREA)

Abstract

Un sistema para registrar y seguir automáticamente al menos un ojo (101; 102) de al menos una persona (100), que comprende: un sistema óptico (110) que incluye un sensor (130) de imagen adaptado para registrar luz distribuida espacialmente y producir datos primarios (DS) resultantes, y una estructura (111, 112) de lente adaptada para recibir luz entrante (LS) reflejada desde una escena que contiene la al menos una persona (100) y dirigir al menos una parte de la luz entrante (LS) hacia el sensor (130) de imagen, teniendo el sistema óptico (110) una función de transferencia óptica básica, y una unidad (140) de procesamiento adaptada para obtener datos de seguimiento de ojos (DEYE) basados en los datos primarios (DS), en donde el sistema óptico (110) comprende además una máscara (120) que está dispuesta entre la al menos una persona (100) y el sensor (130) de imagen, la máscara (120) está adaptada para alterar la función de transferencia óptica básica en una función de transferencia óptica mejorada que está adaptada para propagar una imagen desde un punto en el espacio sobre más de un elemento sensor en una superficie del sensor del sensor (130) de imagen, y la función de transferencia óptica mejorada es sustancialmente menos sensible a variaciones (Δ) de una distancia desconocida (R) entre el sistema óptico (110) y la al menos una persona (100) que la función de transferencia óptica básica, la unidad (140) de procesamiento está adaptada para recibir los datos primarios (DS), y procesar los datos primarios (DS) para producir datos de seguimiento de ojos (DEYE) resultantes que representan al menos una de una estimación de posición del al menos un ojo (101; 102) y una dirección de mirada para el al menos un ojo (101; 102), y el sensor (130) de imagen está adaptado para transferir exclusivamente una fracción de gran relevancia de los datos primarios (DS) a la unidad (140) de procesamiento, siendo la fracción de gran relevancia seleccionada por la unidad (140) de procesamiento basándose en al menos uno de los datos de seguimiento de ojos (DEYE) obtenidos previamente y datos registrados por uno o más sensores auxiliares conectados al sistema, caracterizado por que la unidad (140) de procesamiento también está adaptada para hacer coincidir los datos primarios (DS) con una forma objetivo que representa una forma de ojo típica transformada por la función de transferencia óptica mejorada.

Description

DESCRIPCIÓN
Oculómetro que tiene un tramo prolongado de distancias de funcionamiento
Antecedentes de la invención y técnica anterior
La presente invención se refiere, generalmente, al seguimiento de ojos automático, en donde la precisión de seguimiento se mejora basándose en una máscara que modifica la función de transferencia óptica, que permite que el oculómetro funcione dentro de un intervalo de distancias relativamente grande. Más especialmente, la invención se refiere a un sistema según el preámbulo de la reivindicación 1 y un método según la reivindicación 12. La invención también se refiere a un programa informático según la reivindicación 19 y un medio legible por ordenador según la reivindicación 20.
El concepto de seguimiento de ojos es muy conocido en la técnica y se han desarrollado varias técnicas diferentes para lograr el seguimiento automático de los ojos y la mirada. En el área de seguimiento de ojos no invasivo a distancia, los diseños más usados están basados en métodos de pupil center corneal reflection (centro pupilar / reflexión corneal -PCCR). La idea básica detrás de este método es utilizar al menos una fuente de luz y, por medio de una cámara, capturar una serie de imágenes del ojo. En cada imagen se identifica la reflexión de la fuente de luz, el destello, en la córnea y la pupila. Un vector definido desde el destello hasta el centro de la pupila se utiliza después para calcular la dirección de la mirada. Además, dentro del campo de seguimiento de ojos por PCCR existen dos estrategias principales para identificar la pupila en las imágenes mencionadas anteriormente. La fuente de luz puede colocarse lo más cerca posible del eje óptico de la cámara. Esto ocasiona que una parte de la retina del ojo iluminada por la fuente de luz refleje luz de vuelta a la cámara y, por tanto, la pupila aparezca brillante en las imágenes registradas. Por tanto, las soluciones de seguimiento basadas en esta estrategia son categorizadas como PCCR de bright-pupil (pupila brillante -BP). De forma alternativa, la fuente de luz puede colocarse a una distancia del eje óptico de la cámara. Como resultado, prácticamente ninguna luz procedente de la fuente de luz se reflejará a través de la retina a la cámara, y la pupila aparece oscura en las imágenes registradas. Por tanto, las soluciones de seguimiento basadas en esta estrategia son categorizadas como PCCR de dark-pupil (pupila oscura - DP).
Que sea preferible el PCCR de BP o DP depende de, entre otros, las condiciones de iluminación ambiente, la edad de la persona y su género, ya que estos factores influyen en la zona de la pupila. Además, la respuesta BP está muy influida por el grupo étnico de la persona cuyos ojos se están siguiendo. Por ejemplo, se ha averiguado que los hispanos tienen generalmente una respuesta BP muy fuerte y los caucásicos tienen una respuesta BP algo más débil, aunque todavía suficientemente fuerte. Sin embargo, los asiáticos tienen una respuesta BP adecuada en muchos casos. Por consiguiente, con el fin de garantizar un seguimiento de ojo fiable, a menudo es conveniente una combinación de seguimiento PCCR de BP y DP.
La Solicitud de Patente Internacional publicada WO 2004/045399 describe un sistema en donde se detectan y se siguen las posiciones de los ojos y las direcciones de la mirada. El sistema incluye una cámara y un número de fuentes de luz, que están distribuidas alrededor de un indicador, por ejemplo, una pantalla de ordenador. Al iluminar secuencialmente a una persona que observa la pantalla con luz desde diferentes fuentes de luz, es posible detectar, alternativamente, la posición de los ojos y la dirección de la mirada. Sin embargo, con el fin de realizar esta evaluación, la cámara deberá generar datos con alta calidad de imagen. Esto requiere a su vez óptica de gran calidad, un sensor de imagen de alto rendimiento y/o condiciones de luz muy controladas. También es muy importante que los ojos de la persona permanezcan enfocados durante el procedimiento de seguimiento. Para este fin, la cámara debe estar provista de un dispositivo de autoenfoque, o funcionar con un sistema óptico que tenga una apertura numérica comparativamente pequeña (es decir, un número F alto) para lograr una profundidad de campo suficientemente grande. La primera alternativa hace que la cámara resulte compleja, pesada y costosa, mientras que la última alternativa aumenta aún más los requisitos de rendimiento en el sensor de imagen, que es un parámetro que también se traduce en costes.
La patente US-5.748.371 describe un sistema para aumentar la profundidad de campo y disminuir la sensibilidad de la longitud de onda y las irregularidades que producen un mal enfoque de la lente de un sistema óptico incoherente. Esta técnica se denomina codificación de frente de onda. Aquí, se incluye una máscara óptica de uso especial en el sistema óptico incoherente. La máscara altera la función de transferencia óptica, de manera que permanece prácticamente constante dentro de algún intervalo desde la posición de enfoque del sistema inalterado. El procesamiento de la señal de una imagen intermedia resultante deshace los efectos modificadores de la transferencia óptica de la máscara, lo que proporciona una imagen de enfoque sobre una mayor profundidad de campo. Aunque este sistema es eficiente en términos de permitir un intervalo de enfoque largo basado en ópticas y sensores de bajo coste y relativamente sencillos, el diseño no es adecuado para la implementación directa en un sistema de seguimiento de ojos automático. Específicamente, aquí, los parámetros de imagen específicos de seguimiento de ojos, tales como las posiciones de los ojos y las direcciones de la mirada, tienen que poder obtenerse con una precisión muy elevada, mientras que prácticamente pueden descartarse todos los demás datos de imágenes. Por ejemplo, cuando se ha hecho una estimación aproximada de la posición de los ojos, la cámara de seguimiento de ojos normalmente se acerca (óptica o digitalmente) hacia esta posición, y/o selecciona una denominada región de interés (ROI) en el sensor de imagen alrededor de esta posición, para mejorar la precisión de seguimiento de la mirada y/o reducir la velocidad de transmisión de datos al procesador de imágenes. Sin embargo, actualmente no hay ningún diseño basado en la codificación de frente de onda, que está adaptado para permitir cualquier operación de este tipo.
El documento US 2004/0005083 describe una solución para una detección y un seguimiento del ojo en tiempo real no invasivos. Aquí, el análisis de iluminación activa se utiliza para generar una imagen de diferencia de la persona, en donde se pueden detectar los ojos de la persona. En la imagen de diferencia, el efecto de pupila brillante intensifica el aspecto de las pupilas de la persona. Se puede usar un análisis de componentes para identificar un conjunto de candidatos de pupilas a partir de la imagen de diferencia. Un análisis basado en aspectos se puede aplicar a los candidatos de pupilas para identificar los ojos de la persona del ruido de fondo que puede producirse en diversas condiciones de iluminación. Después de detectar los ojos de la persona, se describe un proceso de seguimiento de múltiples etapas para detectar movimientos del ojo en tiempo real. También se describe un aparato de adquisición de imágenes que reduce interferencias de iluminación externas.
El artículo Dowski E. R. y col.., “ Extended Depth of Field Through Wavefront Coding” , Applied Optics, Optical Society of America, Estados Unidos, vol. 34, N.° 11, 10 de abril de 1995, págs. 1859-1866, XP00497512, ISSN: 0003 - 6935, DOI: 10.1364/AO.34.001859 describe un sistema óptico digital que suministra un rendimiento de formación de imágenes limitado de difracción cercana con una gran profundidad de campo. Aquí, un sistema óptico incoherente convencional se modifica mediante una máscara de fase y la imagen intermedia resultante se procesa digitalmente. La máscara de fase altera el frente de onda incoherente recibido de manera que la función de dispersión de puntos y la función de transferencia óptica no cambian perceptiblemente como una función de mal enfoque. El filtrado digital independiente del enfoque de la imagen intermedia se utiliza para producir un sistema óptico digital combinado que tiene una profundidad de campo extendida de alta resolución.
Sumario de la invención
Por lo tanto, el objeto de la presente invención es proporcionar una solución sólida y rentable, que mitigue los problemas anteriores y permita así un seguimiento del ojo automático fiable en un intervalo relativamente largo de distancias al usuario, y que también permita variaciones comparativamente grandes en las condiciones de luz ambiente.
Según la invención, el objeto se consigue mediante el sistema descrito inicialmente, en donde el sistema óptico incluye además una máscara, que está dispuesta entre la al menos una persona y el sensor de imagen. La máscara se adapta para alterar la función de transferencia óptica básica a una función de transferencia óptica mejorada, que está adaptada para propagar una imagen desde un punto en el espacio sobre más de un elemento sensor en una superficie de sensor del sensor de imagen. La función de transferencia óptica mejorada también es sustancialmente menos sensible a las variaciones de una distancia desconocida entre el sistema óptico y la al menos una persona que la función de transferencia óptica básica. Además, la unidad de procesamiento está adaptada para recibir los datos primarios y procesar estos datos para producir datos de seguimiento de ojos resultantes que, a su vez, representan una estimación de posición del al menos un ojo y/o una dirección de mirada para el al menos un ojo.
Las ventajas importantes de este sistema son que el sensor de imagen puede hacerse relativamente sencillo. El sistema también es relativamente sólido con respecto al ruido en los datos registrados por el sensor de imagen. Además, los requisitos de calidad de la estructura de la lente pueden ser comparativamente bajos, lo que garantiza un coste reducido,
El sensor de imagen está adaptado para transferir exclusivamente una fracción de gran relevancia de los datos primarios a la unidad de procesamiento. A su vez, la unidad de procesamiento está adaptada para seleccionar la fracción de gran relevancia basada en datos de seguimiento de ojos obtenidos anteriormente y/o datos registrados por uno o más sensores auxiliares conectados al sistema. Por lo tanto, los recursos de la unidad de procesamiento pueden utilizarse más eficazmente.
La función de transferencia óptica mejorada está adaptada para proyectar luz reflejada desde un solo punto en la escena sobre un número de elementos sensores de una superficie del sensor en el sensor de imagen. De ese modo, se emula un nivel de resolución que es mayor que un nivel de resolución básica dada por la función de transferencia óptica básica y una densidad de elemento sensor físico de la superficie del sensor. Además, la unidad de procesamiento está adaptada para procesar los datos primarios, de manera que los datos de seguimiento de ojos se obtienen a una precisión que es superior a una precisión máxima que puede alcanzarse basándose exclusivamente en datos de seguimiento de ojos obtenidos de datos primarios en el nivel de resolución básica de un sistema de enfoque clásico. Naturalmente, esto es una mejora muy conveniente de la calidad de los datos. Por ejemplo, se mejora el resultado de cualquier operación de acercamiento digital con respecto a los datos de seguimiento de ojos. Además, la influencia negativa de cualquier elemento sensor defectuoso en el sensor de imagen se puede reducir considerablemente.
Según la invención, la unidad de procesamiento está adaptada para hacer coincidir los datos primarios con una forma objetivo que representa una forma de ojo típica transformada por la función de transferencia óptica. Así, los candidatos de ojos se pueden detectar eficazmente en la escena.
Según otra modalidad preferida más de este aspecto de la invención, la unidad de procesamiento está adaptada para seleccionar una fracción de los datos primarios que representa una respectiva región de interés sobre la superficie del sensor alrededor de cada conjunto de elementos sensores que tiene una correlación con la forma objetivo por encima de un nivel umbral de coincidencia. Por lo tanto, solo los datos de imágenes que representan información potencialmente interesante se suministran a la unidad de procesamiento para un procesamiento adicional. Evidentemente, esto es eficaz en cuanto a la utilización de la capacidad de procesamiento de la unidad de procesamiento.
Según otra modalidad preferida de este aspecto de la invención, la unidad de procesamiento está adaptada para determinar posiciones de elementos en la escena que representan candidatos de ojos, es decir, posiciones de ojos preliminares. Después, tras haber determinado un conjunto de candidatos de posición, la unidad de procesamiento se adapta para hacer coincidir subconjuntos de datos de los datos primarios que representan cada uno de los candidatos de posiciones con un modelo de ojo que representa una forma de ojo ideal transformada por la función de transferencia óptica para obtener un conjunto de valores de prueba de correlación. Posteriormente, basándose en los valores de prueba de correlación, la unidad de procesamiento se adapta para seleccionar al menos un candidato de posición del conjunto de candidatos de posición para representar al menos un ojo. Preferentemente, la unidad de procesamiento aquí selecciona candidatos de posición que tienen valores de prueba de correlación por encima de un nivel umbral. Por lo tanto, los ojos del usuario se pueden identificar rápidamente, de modo que el seguimiento puede iniciarse después.
Según otra modalidad preferida de este aspecto de la invención, el sistema incluye al menos una primera y al menos una segunda fuente de luz. La al menos una primera fuente de luz está dispuesta relativamente próxima a un eje óptico del sistema óptico, y está orientada de forma que un haz de luz principal emitido desde la fuente de luz coincide prácticamente con el eje óptico. La energía lumínica de la al menos una primera fuente de luz se distribuye principalmente dentro de un primer intervalo de longitud de onda. La al menos una segunda fuente de luz está adaptada para emitir luz principalmente dentro de un segundo intervalo de longitud de onda, prácticamente separado del primer intervalo de longitud de onda, hacia la al menos una persona. La al menos una segunda fuente de luz está dispuesta a una distancia del eje óptico del dispositivo de formación de imágenes, de manera que un haz de luz principal emitido desde allí esté colocado fuera del eje con respecto a este eje óptico. En consecuencia, la al menos una primera fuente de luz crea un efecto de pupila brillante y la al menos una segunda fuente de luz crea un efecto de pupila oscura.
Según otra modalidad preferida más de este aspecto de la invención, la máscara está adaptada para realizar una primera función de transferencia óptica con respecto a la luz dentro del primer intervalo de longitud de onda, y la luz directa dentro de este intervalo a una primera área en una superficie del sensor del sensor de imagen. La máscara también está adaptada para realizar una segunda función de transferencia óptica con respecto a la luz dentro del segundo intervalo de longitud de onda, y la luz directa dentro de este intervalo a una segunda área en la superficie del sensor. La unidad de procesamiento está adaptada para producir un parámetro de seguimiento de ojos de pupila brillante basado en un primer subconjunto de los datos primarios registrados por elementos sensores dentro de la primera área, y/o producir de manera correspondiente un parámetro de seguimiento de ojos de pupila oscura basado en un segundo subconjunto de los datos primarios registrados por elementos sensores dentro de la segunda área. Por consiguiente, la persona puede iluminarse constantemente tanto por medio de la primera como de la segunda fuente de luz, mientras que la unidad de procesamiento obtiene los parámetros de seguimiento de ojos de pupila brillante y oscura en paralelo. Esto proporciona una gran calidad de seguimiento en amplios intervalos de circunstancias y condiciones.
Según otra modalidad preferida más de este aspecto de la invención, el detector sensor de imagen incluye en su lugar un primer y un segundo conjunto de elementos sensores. Cada elemento del primer conjunto está adaptado para detectar luz dentro del primer intervalo de longitud de onda, y cada elemento en el segundo conjunto está adaptado para detectar luz dentro del segundo intervalo de longitud de onda. Análogamente a lo anterior, la unidad de procesamiento está adaptada aquí para producir un parámetro de seguimiento de ojos de pupila brillante basado en un primer subconjunto de los datos primarios registrados por el primer conjunto de elementos sensores, y producir un parámetro de seguimiento de ojos de pupila oscura basado en un segundo subconjunto de los datos primarios registrados por el segundo conjunto de elementos sensores. También en este caso, la persona puede iluminarse constantemente tanto por medio de la primera como de la segunda fuente de luz, mientras que el parámetro de seguimiento de ojos de pupila brillante y oscura se obtienen en paralelo. Preferentemente, cada elemento del primer conjunto de elementos sensores limita con al menos un elemento en el segundo conjunto de elementos sensores. Por ejemplo, los elementos del primer y segundo conjuntos de elementos sensores pueden disponerse en un patrón cuadriculado. La resolución perdida en los datos primarios mediante esta configuración puede compensarse en cierta medida en los datos de seguimiento de ojos por medio de la función de transformación descrita anteriormente, que está adaptada para producir datos a un nivel de resolución de imagen aumentado.
Específicamente, según una modalidad preferida de este aspecto de la invención, la función de transferencia óptica mejorada está adaptada para proyectar luz reflejada desde un solo punto en la escena sobre un número de elementos en el primer y segundo conjuntos de elementos sensores. De ese modo, se posibilita la emulación de un nivel de resolución que es mayor que un nivel de resolución básica dada por la función de transferencia óptica básica y una densidad de elemento sensor físico de la superficie del sensor. La unidad de procesamiento está adaptada para procesar los datos primarios, de manera que los datos de seguimiento de ojos se obtienen a una precisión que es superior a una precisión máxima que puede alcanzarse basándose exclusivamente en datos de seguimiento de ojos obtenidos de datos primarios en el nivel de resolución básica de un sistema óptico de enfoque clásico.
Según otra modalidad preferida de este aspecto de la invención, la unidad de procesamiento está adaptada para producir los datos de seguimiento de ojos basados en los parámetros de seguimiento de ojos de pupila brillante y/u oscura, por ejemplo, mediante una representación compuesta intermedia. Nuevamente, esto garantiza solidez y una gran calidad de seguimiento en amplios intervalos de circunstancias y condiciones.
Según otro aspecto de la invención, el objeto se logra mediante un método informatizado para registrar y seguir automáticamente al menos un ojo de al menos una persona. Aquí se supone que se registran datos primarios, que representan luz distribuida espacialmente. También se supone que la luz se ha transmitido desde una escena que contiene la al menos una persona a través de un sistema óptico, que incluye una estructura de lente y una máscara, a un sensor de imagen, donde se registran los datos primarios. La máscara está adaptada para alterar una función de transferencia óptica básica de la estructura de lente y el sensor de imagen en una función de transferencia óptica mejorada, que es sustancialmente menos sensible a variaciones de una distancia desconocida entre el sistema óptico y la al menos una persona que la función de transferencia óptica básica. El método implica recibir los datos primarios y procesar los datos primarios para producir datos de seguimiento de ojos resultantes, que representan una estimación de posición del al menos un ojo y/o una dirección de mirada para el al menos un ojo
Las ventajas de este método, así como sus modalidades preferidas, son evidentes a partir de la discusión anterior con referencia al sistema propuesto.
Según otro aspecto adicional de la invención, el objeto se logra mediante un programa informático, que puede cargarse directamente en la memoria interna de un ordenador, e incluye software para controlar el método propuesto anteriormente cuando dicho programa se ejecuta en un ordenador.
Según otro aspecto de la invención, el objeto se logra mediante un medio legible por ordenador, que tiene un programa grabado en el mismo, donde el programa es para controlar un ordenador para realizar el método propuesto anteriormente.
La invención es adecuada para todo tipo de aplicaciones de seguimiento de ojos, es decir, para controlar ordenadores y programas informáticos, dentro de evaluaciones de psicología e investigación de la visión, facilidad de uso y publicidad, por ejemplo, los denominados sensores de atención en ventanas de almacenes. La invención también tiene aplicación médica en el diagnóstico de diversas enfermedades oculares y la enfermedad de Alzheimer, así como al practicar cirugía láser ocular. Además, la invención se puede usar en pantallas autoestereoscópicas, simuladores y diversas aplicaciones automotrices y aviónicas.
Otras ventajas, características y aplicaciones ventajosas de la presente invención se pondrán de manifiesto a partir de la siguiente descripción y de las reivindicaciones dependientes.
Breve descripción de los dibujos
La presente invención se explicará a continuación más detenidamente por medio de modalidades preferidas, que se describen como ejemplos, y con referencia a los dibujos adjuntos.
La Figura 1 muestra una ilustración esquemática de un sistema de seguimiento de ojos según la invención;
la Figura 2 muestra una visión de conjunto de un sistema según una modalidad de la invención;
la Figura 3 ilustra detalles adicionales de una disposición de dispositivo de iluminación y formación de imágenes según una modalidad de la invención;
la Figura 4 es un diagrama que ilustra la relación entre dos intervalos de longitud de onda usados según modalidades de la invención;
la Figura 5 ilustra el principio de funcionamiento de una máscara según una primera modalidad de la invención;
la Figura 6 ilustra una configuración de un área de sensor de un sensor de imagen según una segunda modalidad de la invención;
las Figuras 7a-c ilustran cómo pueden emplearse imágenes de pupila brillante y oscura según las modalidades primera y segunda de la invención para determinar una base para una estimación de posición para el ojo de una persona; y
la Figura 8 ilustra, mediante un diagrama de flujo, un método general.
Descripción de modalidades preferidas de la invención
Inicialmente se hace referencia a la Figura 1, que muestra una imagen esquemática de un sistema de seguimiento de ojos según la invención para registrar y seguir automáticamente al menos un ojo 101 y 102 de al menos una persona, por ejemplo, un usuario de un sistema informático. El sistema de seguimiento de ojos incluye un sistema óptico 110 y una unidad 140 de procesamiento.
El sistema óptico 110 está adaptado para recibir y registrar luz entrante reflejada desde una escena que contiene al menos una persona 100. Para ello, el sistema 110 incluye un sensor 130 de imagen, que está adaptado para registrar datos primarios Ds representados por luz distribuida espacialmente.
El sistema óptico 110 también incluye una estructura de lente, representada aquí por un par esquemático de lentes 111 y 112, y una máscara 120. Según la invención, el orden específico de la estructura 111; 112 de lente y la máscara 120 puede variar. Por ejemplo, la máscara 120 puede estar situada delante o detrás de toda la estructura 111; 112 de lente, o como se muestra en la Figura 1, entre algunos de los elementos en su interior.
La máscara 120 influye en la manera en que la luz entrante LS desde la escena se proyecta sobre el sensor 130 de imagen. Específicamente, se entiende que un sistema óptico básico que incluye la estructura de lente 111; 112 y el sensor de imagen tiene una función de transferencia óptica básica. La máscara 120 está adaptada para alterar esta función básica de transferencia óptica en una función de transferencia óptica mejorada, que es sustancialmente menos sensible a variaciones A de una distancia desconocida R entre el sistema óptico 110 y la al menos una persona 100 que la función de transferencia óptica básica.
Dicho de otro modo, al incluir la máscara 120 en el sistema óptico 110 se amplía el intervalo operativo del sistema propuesto. Por ejemplo, en una aplicación típica de seguimiento de ojos, en donde la distancia R se encuentra en el orden de 60 cm, el intervalo operativo puede extenderse sobre un intervalo de distancias A de aproximadamente 80 cm, de manera que los ojos 101 y 102 pueden estar situados en cualquier parte dentro de 20 cm a 100 cm desde el sistema óptico 110.
No obstante, puesto que los datos primarios Ds registrados por el sensor 130 de imagen no representan como tales el contenido de la imagen en el enfoque, los datos primarios DS deben procesarse posteriormente para lograr la mejora antes mencionada del intervalo operativo. Por consiguiente, la unidad 140 de procesamiento está adaptada para recibir los datos primarios Ds y procesar estos datos para que se produzcan datos de seguimiento de ojos resultantes Deye que representan una estimación de posición del al menos un ojo 101; 102 y/o una dirección de mirada para el al menos un ojo 101; 102.
Por motivos de eficacia, es conveniente que la unidad 140 de procesamiento esté adaptada para hacer coincidir los datos primarios DS con una forma objetivo que representa una forma de ojo típica, que ha sido transformada por la función de transferencia óptica. Así, puede realizarse una posible selección anterior de datos relevantes, es decir, prácticamente antes de que la unidad 140 realice cualquier otro procesamiento. Es preferible especialmente que la unidad 140 de procesamiento esté adaptada para seleccionar una fracción de los datos primarios Ds, que representan una respectiva ROI (región de interés) en la superficie del sensor alrededor de cada conjunto de elementos sensores que tiene una correlación con la forma objetivo por encima de un nivel umbral de coincidencia.
Siempre que una superficie del sensor del sensor 130 de imagen tenga una densidad de elemento sensor físico, un nivel de resolución básica viene dado por el número de elementos sensores sobre los que la función de transferencia óptica básica proyecta un rayo de luz de enfoque reflejado desde un objeto en la escena grabada.
Sin embargo, según una realización preferida de la invención, la función de transferencia óptica mejorada está adaptada para proyectar luz reflejada desde un solo punto en la escena sobre un número relativamente grande de los elementos sensores del sensor 130 de imagen. Esto hace posible emular un nivel de resolución más alto que el que viene dado por la función de transferencia óptica básica y la densidad del elemento sensor físico. Específicamente, la unidad 140 de procesamiento está adaptada para procesar los datos primarios Ds de manera que los datos de seguimiento de ojos DEYE se obtienen a una precisión, que es superior a una precisión máxima que puede alcanzarse si el procesamiento se hubiese basado exclusivamente en datos primarios Ds en el nivel de resolución básica de un sistema óptico de enfoque tradicional.
A continuación se explicará más detenidamente el razonamiento que hay detrás de esto. En un sistema óptico clásico la imagen de una pequeña pieza de un objeto enfocado se forma en un “ solo” punto pequeño en el sensor de imagen. Sin embargo, según la presente invención, la máscara propuesta modifica la función de transferencia óptica para que sea menos sensible a variaciones de distancia a los objetos cuya imagen se está tomando, que la de un sistema de formación de imágenes clásico (es decir, viene dado por la función de transferencia óptica básica). La función de transferencia óptica mejorada propuesta está adaptada para formar la imagen de una pequeña pieza de un objeto sobre un área de la superficie del sensor que es más grande que el área de la correspondiente área de imagen en un sistema de formación de imágenes clásico. Por ejemplo, la función de transferencia óptica mejorada puede propagar la imagen de un punto de un objeto sobre varios elementos sensores del área del sensor del sensor 130 de imagen, mientras que la función de transferencia óptica básica proyecta este punto sobre un solo elemento sensor.
En el sistema óptico clásico a veces es problemático determinar la posición exacta de objetos pequeños, por ejemplo, un destello reflejado en la córnea de un ojo. De forma típica, la imagen de dicho destello se forma sobre un píxel, o muy pocos píxeles. El tamaño del objeto cuya imagen se forma, en este caso un destello, restringe en última instancia lo bien que puede determinarse el centro de masa del objeto. Especialmente al determinar el centro de masa de imágenes de un objeto pequeño, el resultado depende en gran medida de variaciones en la respuesta de los píxeles, un factor de llenado inferior al 100 % y el riesgo de alcanzar un elemento sensor defectuoso (es decir, un “ píxel muerto” ). En aplicaciones de seguimiento de ojos, dichas fluctuaciones pueden degradar severamente el rendimiento del sistema. Especialmente, para una distancia operativa típica, un oculómetro que coloca mal repetidamente un destello por un píxel puede provocar fácilmente un error de varios centímetros con respecto a una posición de mirada estimada, por ejemplo, en una pantalla de ordenador. Naturalmente, esto no es aceptable.
Como se mencionó anteriormente, según una modalidad preferida de la invención, la función de transferencia óptica mejorada está adaptada para propagar la imagen desde un punto en el espacio sobre más de un elemento sensor en la superficie del sensor. Por lo tanto, en el caso de un destello reflejado en la córnea de un ojo, un punto en el espacio donde está situado el destello se proyecta en forma de un patrón que cubre múltiples elementos sensores en la superficie del sensor del sensor 130 de imagen. Esto significa que un patrón matemático de un destello ideal que atraviesa la función de transferencia óptica mejorada se puede alinear con los datos del sensor de imagen con el fin de encontrar un mejor ajuste de patrón. Dado que el patrón de un destello ideal que atraviesa la función de transferencia óptica mejorada no es un patrón distinto, sino una función continua, siempre es matemáticamente posible determinar una posición más precisa de un pequeño destello de lo que es posible en imágenes capturadas en el enfoque de un sistema de formación de imágenes clásico. Por lo tanto, la estrategia de diseño según la invención también es menos sensible a las variaciones en la respuesta de los píxeles, los factores de llenado inferiores al 100 % y el riesgo de tener “ píxeles muertos” mencionados anteriormente.
De forma adicional, el hecho de que la función de transferencia óptica sea una función continua (es decir, no un patrón distinto) se puede utilizar al revés. Información, que en un sistema de formación de imágenes de enfoque clásico no se registraría, o “ se ocultaría entre píxeles” (debido a que los rayos de luz correspondientes se enfocaron entre dos elementos sensores), pueden registrarse según una modalidad preferida de la invención. Para lograrlo, puede variarse la alineación de la función de transferencia óptica mejorada y los datos primarios Ds registrados por el sensor de imágenes 130. Debido a la densidad del elemento sensor, físicamente es necesario que los datos primarios Ds sean muestreados a intervalos de píxeles completos. Sin embargo, la función de transferencia óptica mejorada no debe estar alineada con una posición particular del elemento sensor/píxel, o incluso una posición de subpíxel particular. Por el contrario, el origen de esta función puede colocarse en cualquier posición en cada respectiva dimensión, X e Y, por ejemplo, en X = 0,345. En ese caso, la función de transferencia óptica mejorada se muestreará en X = 0,345, X = 1,345, X = 2,345, y así sucesivamente. Por supuesto, lo mismo también se aplica para la dirección Y. Esto hace posible producir una imagen clásica de un destello a una resolución muchas veces más alta que lo que admite la densidad del elemento sensor del sensor 130 de imagen si se usa en un diseño de enfoque clásico. La mejora de resolución se logra simplemente muestreando la función de transferencia óptica mejorada a intervalos de subpíxeles. El mismo concepto se puede usar al diseñar los algoritmos, que extraen los datos de seguimiento de ojos de los datos primarios Ds. El concepto puede utilizarse para conseguir datos de seguimiento de ojos DEYE de gran precisión, aunque no necesariamente creando una imagen clásica como una etapa.
Naturalmente, las mejoras de calidad descritas anteriormente son aplicables a todos los tipos de principios de seguimiento de ojos, es decir, seguimiento PCCR de DP, seguimiento PCCR de BP y cualesquiera combinaciones de los mismos.
Volviendo ahora brevemente a la Figura 7c, se observa una representación esquemática de una pupila que tiene una posición en la escena, que viene dada por un par de coordenadas x, y. Según una modalidad preferida de la invención, la unidad 140 de procesamiento está adaptada para determinar inicialmente al menos un candidato de posición para el al menos uno de los ojos 101 y 102, es decir, estimaciones aproximadas x e y.
Después, tras haber determinado un conjunto de candidatos de posición x, y, la unidad 140 de procesamiento se adapta para hacer coincidir distintos subconjuntos de los datos primarios DS, que representan cada uno de los candidatos de posición x, y contra un modelo de ojo que describe una forma de ojo ideal, que ha sido transformada por la función de transferencia óptica. Como resultado, se obtiene un conjunto de valores de prueba de correlación. Posteriormente, basándose en los valores de prueba de correlación, la unidad de procesamiento se adapta para seleccionar al menos un candidato de posición del conjunto de candidatos de posición para representar al menos un ojo, por ejemplo, por medio de un nivel umbral.
La Figura 2 muestra una visión general de un sistema según una modalidad de la invención, y la Figura 3 ilustra detalles adicionales de cómo una persona 100 y sus ojos 101 y 102 pueden iluminarse según esta modalidad.
Además de las unidades 110 y 140 descritas anteriormente con referencia a la Figura 1, el sistema incluye al menos una primera fuente de luz L1 y al menos una segunda fuente de luz L2a y L2b respectivamente. Cada una de la al menos una primera fuente de luz L1 está dispuesta relativamente próxima a un eje óptico Ac del sistema óptico 110. Además, la/s fuente/s de luz L1 está/n orientada/s de manera que un respectivo haz de luz principal B1 emitido desde allí coincida prácticamente con el eje óptico Ac. Así, el haz de luz B1 se adapta para producir un efecto de pupila brillante con respecto a imágenes registradas por una cámara en la que está integrado el sistema óptico 110.
La Figura 4 muestra un diagrama que representa una longitud de onda A a lo largo del eje horizontal y una intensidad espectral Is a lo largo del eje vertical. La energía lumínica de la al menos una primera fuente de luz L1 se distribuye principalmente dentro de un primer intervalo de longitud de onda Aal-Aau. Según la invención, aquí puede concebirse prácticamente cualquier luz visible o invisible. Sin embargo, el primer intervalo de longitud de onda se extiende preferentemente entre una longitud de onda inferior Aal de aproximadamente 900 nm a 950 nm y una longitud de onda superior Aau de aproximadamente 1000 nm.
Cada una de la al menos una segunda fuente de luz L2a y L2B está adaptada para emitir luz principalmente dentro de un segundo intervalo de longitud de onda Abl-Abu hacia la persona 100. Al contrario de la al menos una primera fuente de luz L1, la al menos una segunda fuente de luz L2a y L2b está dispuesta a una distancia dL2 del eje óptico Ac del dispositivo 110 de formación de imágenes, de manera que un respectivo haz de luz principal B2 emitido desde allí esté colocado fuera del eje con respecto a este eje óptico Ac. Así, el haz de luz B2 se adapta para producir un efecto de pupila oscura con respecto a imágenes registradas por la cámara en la que está integrado el sistema óptico 110.
Dados los valores Aal y Aau especificados anteriormente, el segundo intervalo de longitud de onda se extiende preferentemente entre una longitud de onda inferior Abl de aproximadamente 400 nm a 800 nm y una longitud de onda superior Abu de aproximadamente 800 nm a 950 nm. En cualquier caso, el segundo intervalo de longitud de onda Abl a Abu está prácticamente separado del primer intervalo de longitud de onda Aal a Aau. Esto significa que es aceptable un solape de poca importancia de los intervalos, tal como se ilustra en el diagrama.
La Figura 5 muestra cómo puede utilizarse una máscara 120 según una primera modalidad de la invención para beneficiarse de los efectos de pupila brillante y oscura mencionados anteriormente logrados por la al menos una primera fuente de luz L1 y la al menos una segunda fuente de luz L2a y L2b respectivamente en el procesamiento realizado por el dispositivo 140 de procesamiento propuesto.
En este ejemplo, la máscara 120 y una lente 113 están adaptadas para realizar una primera función de transferencia óptica con respecto a luz dentro del primer intervalo de longitud de onda Aal-Aau, y realizar una segunda función de transferencia óptica con respecto a luz dentro del segundo intervalo de longitud de onda Abl-Abu. Como resultado, la luz dentro del primer intervalo de longitud de onda Aal-Aau está dirigida hacia una primera área A1 en una superficie del sensor del sensor 130 de imagen, y luz directa dentro del segundo intervalo de longitud de onda Abl-Abu está dirigida hacia una segunda área A2 sobre la superficie del sensor.
Por razones de una presentación clara, la primera y segunda funciones de transferencia óptica están simbolizadas aquí por dos volúmenes separados 121 y 122, respectivamente, en la máscara 120. En la práctica, sin embargo, estos volúmenes pueden ocupar perfectamente el mismo espacio en la máscara 120.
Además, las áreas primera y segunda A1 y A2 pueden estar físicamente separadas entre sí (como se muestra en la Figura 5), o estas áreas pueden solaparse más o menos. Siempre que las funciones de transferencia óptica primera y segunda representen bases ortogonales, las áreas A1 y A2 pueden solaparse entre sí completamente.
La unidad 140 de procesamiento está adaptada para producir un parámetro de seguimiento de ojos de pupila brillante basado en un primer subconjunto de los datos primarios DS, que han sido registrados por elementos sensores dentro de la primera área A1. De manera análoga, la unidad 140 de procesamiento está adaptada para producir un parámetro de seguimiento de ojos de pupila oscura basado en un segundo subconjunto de los datos primarios Ds, que han sido registrados por elementos sensores dentro de la segunda área A2.
La Figura 6 ilustra cómo se configura un área del sensor de un sensor 130 de imagen según una segunda modalidad de la invención. También en esta modalidad, el diseño tiene por objeto permitir que el procesamiento realizado por el dispositivo 140 de procesamiento se beneficie de los efectos de pupila brillante y oscura logrados por la al menos una primera fuente de luz L1 y la al menos una segunda fuente de luz L2a y L2b respectivamente.
Aquí, sin embargo, el sensor 130 tiene dos tipos de elementos sensores, especialmente un primer conjunto de elementos 130a en donde cada elemento (simbolizado por medio de un cuadrado blanco) está adaptado para detectar luz dentro del primer intervalo de longitud de onda Aal-Aau, y un segundo conjunto de elementos sensores 130b en donde cada elemento (simbolizado por medio de un cuadrado oscuro) está adaptado para detectar luz dentro del segundo intervalo de longitud de onda Abl-Abu. Así, el primer conjunto de elementos sensores 130a registra un primer subconjunto de los datos primarios Ds que representan información de pupila brillante, y el segundo conjunto de elementos sensores 130b registra un segundo subconjunto de los datos primarios Ds que representan información de pupila oscura.
Según una modalidad preferida de la invención, el área de detección de luz del sensor 115 de imagen está configurada de manera que cada elemento del primer conjunto de elementos sensores 130a limita al menos con un elemento en el segundo conjunto de elementos sensores 130b. Por consiguiente, como un caso especial de esta modalidad, los elementos en los conjuntos primero y segundo de elementos sensores 130a y 130b se pueden disponer en un patrón cuadriculado, como se ilustra en la Figura 6.
En cualquier caso, la unidad 140 de procesamiento está adaptada para producir un parámetro de seguimiento de ojos de pupila brillante basado en el primer subconjunto de los datos primarios DS, y producir un parámetro de seguimiento de ojos de pupila oscura basado en el segundo subconjunto de los datos primarios DS.
Para ilustrar adicionalmente cómo pueden emplearse imágenes de pupila brillante y oscura según las modalidades primera y segunda de la invención para determinar una base para una estimación de posición x, y para el ojo de una persona, a continuación se hace referencia a las Figuras 7a, b y c.
La Figura 7a muestra un ojo 101 que tiene una pupila brillante 710. Aquí, la pupila 710 del ojo 101 aparece relativamente brillante debido a un fuerte reflejo retiniano de la al menos una primera fuente de luz L1. También puede haber uno o más destellos 715 resultantes de la al menos una fuente de luz L1.
La Figura 7b muestra otro ojo, que tiene una pupila 710 que aparece oscura en ausencia de un reflejo retiniano. Sin embargo, puede haber uno o más destellos 725 resultantes de la al menos una segunda fuente de luz L2a y L2b.
Dado que los datos primarios Ds registrados por el sensor 130 de imagen no están enfocados, ninguna de las imágenes en la Figura 7a o 7b están registradas como tales aquí. Sin embargo, los datos primarios DS contienen información equivalente, que se puede separar en un subconjunto primero y segundo, como se ha descrito anteriormente (es decir, representando los parámetros de seguimiento de ojos de pupila brillante y oscura, respectivamente). Por lo tanto, según una modalidad preferida de la invención, la unidad 140 de procesamiento está adaptada para producir los datos de seguimiento de ojos Deye basándose en los parámetros de seguimiento de ojos de pupila brillante y oscura. La Figura 7c ilustra esto por medio de una imagen compuesta que representa una resta del contenido de la imagen representado por la imagen de la pupila oscura en la Figura 7b del contenido de la imagen representado por la imagen de la pupila brillante en la Figura 7a. Por consiguiente, la imagen compuesta incluye datos 715' de destellos del primer subconjunto así como datos de destellos 725' del segundo subconjunto de los datos primarios Ds. Evidentemente, la imagen compuesta en la Figura 7c sólo necesita existir como una representación abstracta en la unidad 140 de procesamiento (es decir, no como una imagen real) para que sea posible determinar la estimación de la posición x, y para el ojo 101.
En resumen, el método general para registrar y seguir automáticamente al menos un ojo de al menos una persona se describirá ahora con referencia al diagrama de flujo de la Figura 8.
Una etapa inicial 810 recibe luz entrante de una escena que contiene la al menos una persona y, por tanto, supuestamente también el al menos un ojo. A continuación, una etapa 820 transforma la luz entrante por medio de un sistema óptico que tiene una función de transferencia óptica mejorada, que es sustancialmente menos sensible a variaciones de una distancia desconocida entre el sistema óptico propuesto y la al menos una persona que una función de transferencia óptica básica de un sistema óptico equivalente. Específicamente, el sistema óptico propuesto incluye una estructura de lente y una máscara, en donde la máscara está adaptada para alterar la función de transferencia óptica básica a la función de transferencia óptica mejorada como se ha descrito anteriormente.
Después de haber pasado el sistema óptico una etapa 830 registra la luz transformada distribuida espacialmente por medio de un sensor de imagen y, por lo tanto, logra datos primarios Ds.
Posteriormente, una etapa 840 procesa los datos primarios Ds para producir datos de seguimiento de ojos Deye resultantes. A su vez, estos datos representan una estimación de posición del al menos un ojo y/o una dirección de mirada para el al menos un ojo.
Todas las etapas del proceso, así como cualquier subsecuencia de etapas, descritas con referencia a la Figura 8 anterior pueden controlarse por medio de un aparato informático programado. Además, aunque las modalidades de la invención descritas anteriormente con referencia a los dibujos comprenden aparatos y procesos informáticos realizados en aparatos informáticos, la invención también se extiende a programas informáticos, particularmente programas informáticos en un soporte, adaptados para poner en práctica la invención. El programa puede tener la forma de código fuente, código objeto, una fuente intermedia de código y código objeto tal como en forma parcialmente compilada, o en cualquier otra forma adecuada para su uso en la implementación del proceso según la invención. El programa puede formar parte de un sistema operativo o ser una aplicación separada. El portador puede ser cualquier entidad o dispositivo capaz de portar el programa. Por ejemplo, el soporte puede comprender un medio de almacenamiento, tal como una memoria Flash, una ROM (Read Only Memory - Memoria de sólo lectura), por ejemplo, un DVD (Digital Versatile/Video Disc - Disco Versátil/de Vídeo Digital), un CD (Compact Disc -Disco Compacto) o una ROM de semiconductor, una EPROM (Erasable Programmable Read-Only Memory - Memoria de Solo Lectura Programable Borrable), una EEPROM (Electrically Erasable Programmable Read-Only Memory - Memoria de Solo Lectura Programable Borrable Eléctricamente), o un medio de registro magnético, por ejemplo, un disquete o disco duro. Además, el soporte puede ser un soporte transmisible tal como una señal eléctrica u óptica que puede transmitirse a través de un cable eléctrico u óptico o por radio o por otros medios. Cuando el programa está realizado en una señal que puede transmitirse directamente por un cable u otro dispositivo o medio, el soporte puede estar constituido por dicho cable o dispositivo o medio. Alternativamente, el soporte puede ser un circuito integrado en el que esté incorporado el programa, estando adaptado el circuito integrado para realizar los procesos relevantes, o para su uso en el rendimiento de los mismos.
Al usarse en esta memoria descriptiva, se interpreta que el término “ comprende/que comprende” especifica la presencia de características, elementos integrantes, etapas o componentes indicados. sin embargo, el término no excluye la presencia o adición de una o más características adicionales, elementos integrantes, etapas o componentes o grupos de los mismos.
La referencia a cualquier técnica anterior en esta memoria descriptiva no es, ni debe interpretarse, como un reconocimiento o cualquier sugerencia de que la técnica anterior referenciada forma parte del conocimiento general común en Australia.
La invención no está limitada a las modalidades descritas en las figuras, sino a las reivindicaciones.

Claims (1)

  1. REIVINDICACIONES
    1. Un sistema para registrar y seguir automáticamente al menos un ojo (101; 102) de al menos una persona (100), que comprende:
    un sistema óptico (110) que incluye un sensor (130) de imagen adaptado para registrar luz distribuida espacialmente y producir datos primarios (Ds) resultantes, y una estructura (111, 112) de lente adaptada para recibir luz entrante (LS) reflejada desde una escena que contiene la al menos una persona (100) y dirigir al menos una parte de la luz entrante (LS) hacia el sensor (130) de imagen, teniendo el sistema óptico (110) una función de transferencia óptica básica, y
    una unidad (140) de procesamiento adaptada para obtener datos de seguimiento de ojos (Deye) basados en los datos primarios (DS),
    en donde
    el sistema óptico (110) comprende además una máscara (120) que está dispuesta entre la al menos una persona (100) y el sensor (130) de imagen, la máscara (120) está adaptada para alterar la función de transferencia óptica básica en una función de transferencia óptica mejorada que está adaptada para propagar una imagen desde un punto en el espacio sobre más de un elemento sensor en una superficie del sensor del sensor (130) de imagen, y la función de transferencia óptica mejorada es sustancialmente menos sensible a variaciones (A) de una distancia desconocida (R) entre el sistema óptico (110) y la al menos una persona (100) que la función de transferencia óptica básica,
    la unidad (140) de procesamiento está adaptada para recibir los datos primarios (Ds), y procesar los datos primarios (Ds ) para producir datos de seguimiento de ojos (Deye) resultantes que representan al menos una de una estimación de posición del al menos un ojo (101; 102) y una dirección de mirada para el al menos un ojo (101; 102),
    y
    el sensor (130) de imagen está adaptado para transferir exclusivamente una fracción de gran relevancia de los datos primarios (Ds) a la unidad (140) de procesamiento, siendo la fracción de gran relevancia seleccionada por la unidad (140) de procesamiento basándose en al menos uno de los datos de seguimiento de ojos (Deye) obtenidos previamente y datos registrados por uno o más sensores auxiliares conectados al sistema, caracterizado por que la unidad (140) de procesamiento también está adaptada para hacer coincidir los datos primarios (Ds) con una forma objetivo que representa una forma de ojo típica transformada por la función de transferencia óptica mejorada.
    2. El sistema según la reivindicación 1, caracterizado por que la función de transferencia óptica mejorada está adaptada para proyectar luz reflejada desde un solo punto en la escena sobre un número de elementos sensores de una superficie del sensor en el sensor (130) de imagen emulando así un nivel de resolución más alto que un nivel de resolución básica dada por la función de transferencia óptica básica y una densidad del elemento sensor físico de la superficie del sensor, y
    la unidad (140) de procesamiento está adaptada para procesar los datos primarios (Ds) de manera que los datos de seguimiento de ojos (DEYE) se obtienen a una precisión que es superior a una precisión máxima que puede alcanzarse basándose exclusivamente en datos de seguimiento de ojos (DEYE) obtenidos de datos primarios (Ds) en el nivel de resolución básica de un sistema óptico de enfoque clásico.
    3. El sistema según la reivindicación 1 o 2, caracterizado por que la unidad (140) de procesamiento está adaptada para seleccionar una fracción de los datos primarios (Ds) que representan una respectiva región de interés sobre la superficie del sensor alrededor de cada conjunto de elementos sensores que tiene una correlación con la forma objetivo por encima de un nivel umbral de coincidencia.
    4. El sistema según una cualquiera de las reivindicaciones anteriores, caracterizado por que la unidad (140) de procesamiento está adaptada para determinar al menos un candidato de posición para el al menos un ojo (101; 102), y después de haber determinado un conjunto de candidatos de posición (x, y), la unidad (140) de procesamiento está adaptada para:
    hacer coincidir subconjuntos de datos de los datos primarios (Ds) que representan cada uno de los candidatos de posiciones (x, y) con un modelo de ojo que representa una forma de ojo ideal transformada por la función de transferencia óptica para obtener un conjunto de valores de prueba de correlación, y seleccionar, basándose en los valores de prueba de correlación, al menos un candidato de posición del conjunto de candidatos de posición para representar al menos un ojo.
    5. El sistema según una cualquiera de las reivindicaciones anteriores, caracterizado por que el sistema comprende:
    al menos una primera fuente de luz (L1) dispuesta relativamente próxima a un eje óptico (Ac) del sistema óptico (110), estando la al menos una primera fuente de luz (L1) orientada de manera que un haz de luz principal (B1) emitido desde allí coincida prácticamente con el eje óptico (AC), estando la energía lumínica procedente de la al menos una primera fuente de luz (L1) distribuida principalmente dentro de un primer intervalo de longitud de onda (Aal-Aau), y
    al menos una segunda fuente de luz (L2a, L2b) adaptada para emitir luz principalmente dentro de un segundo intervalo de longitud de onda (Abl-Abu) hacia la al menos una persona (100), estando el segundo intervalo de longitud de onda (Abl-Abu) prácticamente separado del primer intervalo de longitud de onda (Aal-Aau), y estando la al menos una segunda fuente de luz (L2a, L2b) dispuesta a una distancia (dL2) desde el eje óptico (Ac) del dispositivo (110) de formación de imágenes de manera que un haz de luz principal (B2) emitido desde allí esté colocado fuera del eje con respecto a este eje óptico (Ac).
    6. El sistema según la reivindicación 5, caracterizado por que la máscara (120) está adaptada para realizar una primera función de transferencia óptica con respecto a la luz dentro del primer intervalo de longitud de onda (Aal-Aau) y la luz directa dentro de este intervalo a una primera área (A1) en una superficie del sensor del sensor (130) de imagen, y
    realizar una segunda función de transferencia óptica con respecto a la luz dentro del segundo intervalo de longitud de onda (Abl-Abu) y la luz directa dentro de este intervalo a una segunda área (A2) en la superficie del sensor, y
    la unidad (140) de procesamiento está adaptada para producir al menos uno de:
    un parámetro de seguimiento de ojos de pupila brillante basado en un primer subconjunto de los datos primarios (Ds) registrados por elementos sensores dentro de la primera área (A1), y
    un parámetro de seguimiento de ojos de pupila oscura basado en un segundo subconjunto de los datos primarios (Ds) registrados por elementos sensores dentro de la segunda área (A2).
    7. El sistema según la reivindicación 5, caracterizado por que el sensor (130) de imagen comprende:
    un primer conjunto de elementos sensores (130a) en donde cada elemento está adaptado para detectar luz dentro del primer intervalo de longitud de onda (Aal-Aau), y
    un segundo conjunto de elementos sensores (130b) en donde cada elemento está adaptado para detectar luz dentro del segundo intervalo de longitud de onda (Abl-Abu), y
    la unidad (140) de procesamiento está adaptada para:
    producir un parámetro de seguimiento de ojos de pupila brillante basado en un primer subconjunto de los datos primarios (Ds) registrados por el primer conjunto de elementos sensores (130a), y
    producir un parámetro de seguimiento de ojos de pupila oscura basado en un segundo subconjunto de los datos primarios (Ds) registrados por el segundo conjunto de elementos sensores (130b).
    8. El sistema según la reivindicación 7, caracterizado por que cada elemento del primer conjunto de elementos sensores (130a) limita con al menos un elemento en el segundo conjunto de elementos sensores (130b).
    9. El sistema según la reivindicación 8, caracterizado por que los elementos del primer y segundo conjuntos de elementos sensores (130a; 130b) están dispuestos en un patrón cuadriculado.
    10. El sistema según una cualquiera de las reivindicaciones 8 o 9, caracterizado por que la función de transferencia óptica mejorada está adaptada para proyectar luz reflejada desde un solo punto en la escena sobre un número de los elementos en el primer y segundo conjuntos de elementos sensores (130a; 130b) emulando así un nivel de resolución mayor que un nivel de resolución básica dada por la función de transferencia óptica básica y una densidad de elemento sensor físico de la superficie del sensor, y la unidad (140) de procesamiento está adaptada para procesar los datos primarios (Ds) de manera que los datos de seguimiento de ojos (Deye) se obtienen a una precisión que es superior a una precisión máxima que puede alcanzarse basándose exclusivamente en datos de seguimiento de ojos (Deye) obtenidos de datos primarios (Ds) en el nivel de resolución básica de un sistema óptico de enfoque clásico.
    11. El sistema según una cualquiera de las reivindicaciones 5 a 10, caracterizado por que la unidad (140) de procesamiento está adaptada para producir los datos de seguimiento de ojos (Deye) basándose en al menos uno de los parámetros de seguimiento de ojos de pupila brillante y oscura.
    12. Un método implementado por ordenador para registrar y seguir automáticamente al menos un ojo (101;
    102) de al menos una persona (100), en donde se registran datos primarios (Ds) que representan luz distribuida espacialmente, habiendo sido transmitida la luz desde una escena que contiene la al menos una persona (100) a través de un sistema óptico (110) que comprende una estructura (111, 112) de lente y una máscara (120) a un sensor (130) de imagen, estando la máscara (120) adaptada para alterar una función de transferencia óptica básica de la estructura (111, 112) de lente y el sensor (130) de imagen en una función de transferencia óptica mejorada que es sustancialmente menos sensible a variaciones (A) de una distancia desconocida (R) entre el sistema óptico (110) y la al menos una persona (100) que la función de transferencia óptica básica, y comprendiendo el método:
    recibir los datos primarios (Ds),
    procesar los datos primarios (Ds) para producir datos de seguimiento de ojos (Deye) resultantes que representan al menos una de una estimación de posición del al menos un ojo (101; 102) y una dirección de mirada para el al menos un ojo (101; 102), implicando el procesamiento hacer coincidir los datos primarios (Ds) con una forma objetivo que representa una forma de ojo típica que ha sido transformada por la función de transferencia óptica mejorada, y
    procesar exclusivamente una fracción de gran relevancia de los datos primarios (Ds) para producir los datos de seguimiento de ojos (Deye); comprendiendo el método seleccionar la fracción de gran relevancia basándose en al menos uno de los datos de seguimiento de ojos obtenidos previamente (Deye) y datos registrados por uno o más sensores auxiliares.
    13. El método según la reivindicación 12, caracterizado por que la función de transferencia óptica mejorada está adaptada para proyectar luz reflejada desde un solo punto en la escena sobre un número de elementos sensores de una superficie del sensor en el sensor (130) de imagen emulando así un nivel de resolución más alto que un nivel de resolución básica dada por la función de transferencia óptica básica y una densidad del elemento sensor físico de la superficie del sensor, y comprendiendo el método procesar los datos primarios (Ds) de manera que los datos de seguimiento de ojos (Deye) se obtienen a una precisión que es superior a una precisión máxima que puede alcanzarse basándose exclusivamente en datos de seguimiento de ojos (Deye) obtenidos de datos primarios (Ds) en el nivel de resolución básica de un sistema óptico de enfoque clásico.
    14. El método según la reivindicación 12 o 13, caracterizado por la selección de una fracción de los datos primarios (Ds) para representar una respectiva región de interés para cada subconjunto de los datos primarios (Ds) que tiene una correlación con la forma objetivo por encima de un nivel umbral de coincidencia.
    15. El método según una cualquiera de las reivindicaciones 12 a 14, caracterizado por determinar al menos un candidato de posición para el al menos un ojo (101; 102), posteriormente
    hacer coincidir, para cada uno del al menos un candidato de posición, un respectivo subconjunto de datos de los datos primarios (Ds) que representan el candidato de posición (x, y) con un modelo de ojo que representa una forma de ojo ideal transformada por la función de transferencia óptica para obtener un respectivo valor de prueba de correlación, y
    seleccionar, basándose en los valores de prueba de correlación, al menos un candidato de posición del conjunto de candidatos de posición para representar al menos un ojo.
    16. El método según una cualquiera de las reivindicaciones 12 a 15, caracterizado por:
    iluminar la escena por medio de al menos una primera fuente de luz (L1) dispuesta relativamente próxima a un eje óptico (Ac) del sistema óptico (110), estando la al menos una primera fuente de luz (L1) orientada de manera que un haz de luz principal (B1) emitido desde allí coincida prácticamente con el eje óptico (Ac), emitiendo la al menos una primera fuente de luz (L1) energía lumínica principalmente dentro de un primer intervalo de longitud de onda (Aal-Aau), e
    iluminar la escena por medio de al menos una segunda fuente de luz (L2a, L2b) dispuesta a una distancia (dL2) desde el eje óptico (Ac) del dispositivo (110) de formación de imágenes de manera que un haz de luz principal (B2) emitido desde allí esté colocado fuera del eje con respecto a este eje óptico (Ac), emitiendo la al menos una segunda fuente de luz (L2a, L2b) luz principalmente dentro de un segundo intervalo de longitud de onda (Abl-Abu) que está prácticamente separado del primer intervalo de longitud de onda (Aal-Aau).
    17. El método según la reivindicación 16, caracterizado por que la máscara (120) está adaptada para transformar la luz entrante (LS) desde la escena de manera que:
    la luz dentro del primer intervalo de longitud de onda (Aal-Aau) está dirigida hacia una primera área (A1) en una superficie del sensor, y
    la luz dentro del segundo intervalo de longitud de onda (Abl-Abu) está dirigida hacia una segunda área (A2) en la superficie del sensor, y comprendiendo el método producir al menos uno de:
    un parámetro de seguimiento de ojos de pupila brillante basado en un subconjunto de los datos primarios (Ds) registrados por elementos sensores dentro de la primera área (A1), y
    un parámetro de seguimiento de ojos de pupila oscura basado en un subconjunto de los datos primarios (Ds) registrados por elementos sensores dentro de la segunda área (A2).
    18. El método según la reivindicación 17, caracterizado por que produce los datos de seguimiento de ojos (Deye) basándose en al menos uno de los parámetros de seguimiento de ojos de pupila brillante y oscura.
    19. Un programa informático que puede cargarse directamente en la memoria interna de un ordenador, que comprende software para controlar las etapas de cualquiera de las reivindicaciones 12 a 18 cuando dicho programa se ejecuta en el ordenador.
    20. Un medio (145) legible por ordenador, que tiene un programa grabado en el mismo, donde el programa hace que un ordenador controle las etapas de cualquiera de las reivindicaciones 12 a 18.
ES06784210T 2005-10-10 2006-08-28 Oculómetro que tiene un tramo prolongado de distancias de funcionamiento Active ES2814201T3 (es)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
SE0502228A SE529763C2 (sv) 2005-10-10 2005-10-10 Ögonrörelseföljare med ett utökat omfång av arbetsavstånd
US72606505P 2005-10-12 2005-10-12
PCT/SE2006/050296 WO2007043954A1 (en) 2005-10-10 2006-08-28 Eye tracker having an extended span of operating distances

Publications (1)

Publication Number Publication Date
ES2814201T3 true ES2814201T3 (es) 2021-03-26

Family

ID=38007650

Family Applications (1)

Application Number Title Priority Date Filing Date
ES06784210T Active ES2814201T3 (es) 2005-10-10 2006-08-28 Oculómetro que tiene un tramo prolongado de distancias de funcionamiento

Country Status (3)

Country Link
CN (1) CN100589752C (es)
ES (1) ES2814201T3 (es)
SE (1) SE529763C2 (es)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2010281494B2 (en) * 2009-07-29 2015-01-22 Alcon Inc. Optical system for ophthalmic surgical laser
EP2499962B1 (en) * 2011-03-18 2015-09-09 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Optical measuring device and method for capturing at least one parameter of at least one eye wherein an illumination characteristic is adjustable
CN102756689A (zh) * 2011-04-29 2012-10-31 昆达电脑科技(昆山)有限公司 消去车辆驾驶者的视觉死角的方法及系统
EP2712541B1 (en) 2012-09-27 2015-12-30 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Tiled image based scanning for head and/or eye position for eye tracking
US9612656B2 (en) 2012-11-27 2017-04-04 Facebook, Inc. Systems and methods of eye tracking control on mobile device
JP6175945B2 (ja) * 2013-07-05 2017-08-09 ソニー株式会社 視線検出装置及び視線検出方法
TWI505260B (zh) * 2013-07-30 2015-10-21 Univ Nat Chiao Tung 頭戴式人眼追蹤系統
US10557943B2 (en) * 2016-08-22 2020-02-11 Apple Inc. Optical systems
US20190331334A1 (en) * 2017-01-03 2019-10-31 Signify Holding B.V. Camera sensor hidden behind luminaire optics

Also Published As

Publication number Publication date
CN100589752C (zh) 2010-02-17
CN101282680A (zh) 2008-10-08
SE0502228L (sv) 2007-04-11
SE529763C2 (sv) 2007-11-20

Similar Documents

Publication Publication Date Title
ES2814201T3 (es) Oculómetro que tiene un tramo prolongado de distancias de funcionamiento
US8066375B2 (en) Eye tracker having an extended span of operating distances
US10282610B2 (en) Tile image based scanning for head position for eye and gaze tracking
US10976814B2 (en) Method and system for eye tracking with glint space recalibration on wearable heads-up display
US7682025B2 (en) Gaze tracking using multiple images
ES2661287T3 (es) Aparato y procedimiento para rastreo ocular/de mirada robusto
US9179838B2 (en) Eye/gaze tracker and method of tracking the position of an eye and/or a gaze point of a subject
US9398848B2 (en) Eye gaze tracking
US20150269403A1 (en) Barcode reader having multiple sets of imaging optics
WO2011105004A1 (ja) 瞳孔検出装置及び瞳孔検出方法
US7881599B2 (en) Measurement device and method, imaging device, and program
US9420950B2 (en) Retro-reflectivity array for enabling pupil tracking
JP3450801B2 (ja) 瞳孔位置検出装置及び方法、視点位置検出装置及び方法、並びに立体画像表示システム
ES2939003T3 (es) Método y sistema para estimación de posición 3D de la córnea
JP2012015642A (ja) 撮像装置
US20200064914A1 (en) System and method for real-time high-resolution eye-tracking
JP2019501720A (ja) 視線追跡のためのシステムおよび装置
JPH06148513A (ja) 視線検出装置
ES2900248T3 (es) Determinación del contorno superficial ocular utilizando queratometría multifocal
KR102257998B1 (ko) 세포 계수 장치 및 방법
JP2003241073A5 (es)
WO2019167381A1 (ja) 情報処理装置、情報処理方法、およびプログラム
KR20200017270A (ko) 디지털 필터를 이용한 검출 방법 및 장치
JP2016045707A (ja) 特徴点検出システム、特徴点検出方法、および特徴点検出プログラム