ES2921299T3 - Método y sistema para la identificación de reflejos/reflexiones - Google Patents

Método y sistema para la identificación de reflejos/reflexiones Download PDF

Info

Publication number
ES2921299T3
ES2921299T3 ES18730671T ES18730671T ES2921299T3 ES 2921299 T3 ES2921299 T3 ES 2921299T3 ES 18730671 T ES18730671 T ES 18730671T ES 18730671 T ES18730671 T ES 18730671T ES 2921299 T3 ES2921299 T3 ES 2921299T3
Authority
ES
Spain
Prior art keywords
image
reflections
reflection
eye
identified
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES18730671T
Other languages
English (en)
Inventor
Rana Pravin Kumar
Yimu Wang
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tobii AB
Original Assignee
Tobii AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tobii AB filed Critical Tobii AB
Application granted granted Critical
Publication of ES2921299T3 publication Critical patent/ES2921299T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/163—Wearable computers, e.g. on a belt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/19—Sensors therefor
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0179—Display position adjusting means not related to the information to be displayed
    • G02B2027/0187—Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye

Abstract

Se revela un método para identificar reflexiones a partir de las disposiciones ópticas en un sistema de seguimiento ocular y un sistema de seguimiento ocular correspondiente. Se recibe una imagen de un ojo de un usuario de un sensor de imagen, la imagen resultante del sensor de imagen de detección de luz de uno o más iluminadores reflejados desde el ojo del usuario y se refleja en las disposiciones ópticas ubicadas entre uno o más iluminadores y el ojo del usuario, en el que las disposiciones ópticas comprenden características que tienen un patrón conocido. En la imagen se identifican dos o más brillos en la imagen, en la que un destello es una representación en la imagen de un reflejo de luz de una córnea del ojo del usuario y/o de una característica de las disposiciones ópticas. Se determinan las posiciones relativas en la imagen de los destellos identificados, y con la condición de que las posiciones relativas en la imagen de los destellos identificados se ajusten con el patrón conocido de las características de las disposiciones ópticas, al menos un brillo de los destellos identificados se identifica como ser una representación en la imagen de una reflexión de una característica de las disposiciones ópticas. (Traducción automática con Google Translate, sin valor legal)

Description

d e s c r ip c ió n
Método y sistema para la identificación de reflejos/reflexiones
Campo técnico
La presente descripción se refiere en general al campo de seguimiento ocular. En concreto, la presente descripción se refiere a sistemas y métodos para su uso en la identificación de reflexiones procedentes de disposiciones ópticas en un sistema de seguimiento ocular.
Antecedentes
En aplicaciones de seguimiento ocular, se obtienen imágenes digitales de los ojos de un usuario y las imágenes digitales se analizan para estimar la dirección de la mirada del usuario. Existen diferentes métodos para lograr dicha estimación. En algunos métodos, cuando se obtienen imágenes de los ojos del usuario se utiliza la luz ambiental y, en otros métodos, se utilizan fuentes de luz adicionales (iluminadores) para iluminar los ojos para obtener imágenes de los ojos del usuario. En general, la estimación de la mirada se basa en la identificación de las pupilas de los ojos del usuario, junto con la identificación de reflejos (reflexiones corneales) en los ojos del usuario.
Un método conocido de seguimiento ocular incluye el uso de luz infrarroja y un sensor de imágenes. La luz infrarroja se dirige hacia la pupila de un usuario y la reflexión de la luz se captura por un sensor de imágenes. Mediante el análisis del punto de reflexión, puede calcularse la dirección de la mirada del usuario. Uno de estos sistemas se describe en US-7.572.008.
También se han descrito previamente dispositivos de seguimiento ocular portátiles o ponibles. Un sistema de seguimiento ocular de este tipo se describe en US-9.041.787. Se describe un dispositivo de seguimiento ocular ponible que utiliza iluminadores y sensores de imágenes para determinar la dirección de la mirada.
US 2016/103484 describe un rastreador ocular configurado para diferenciar las reflexiones oculares de las reflexiones de gafas utilizando imágenes oculares obtenidas a diferentes niveles de iluminación. El brillo de la reflexión ocular debería ser proporcional al brillo de la iluminación, mientras que las reflexiones de la lente son más intensas y saturan los píxeles del sensor de imágenes, de modo que el brillo de estas reflexiones no sea proporcional a la iluminación por encima de una determinada intensidad.
En aplicaciones de seguimiento ocular para dispositivos de seguimiento ocular portátiles o móviles, tales como en dispositivos de realidad virtual (RV), donde se usan dispositivos montados en la cabeza que incluyen un sistema de seguimiento ocular que determina la dirección ocular y/o dirección de la mirada en función del centro de la pupila y de los reflejos procedentes de los iluminadores que iluminan los ojos de un usuario, pueden surgir problemas, por ejemplo, para un usuario que lleva un par de gafas de ver bajo las gafas de RV. Por ejemplo, una o más reflexiones procedentes de una disposición óptica del par de gafas de ver, causadas por el uno o más de los iluminadores, pueden generar una situación en la que la pupila no se pueda identificar con precisión o en la que no se puedan identificar o se identifiquen muy pocos reflejos para el seguimiento ocular. En tales situaciones, será difícil o imposible determinar la dirección del ojo y/o la dirección de mirada y/o la dirección del ojo o al menos no con la fiabilidad deseable.
Sería deseable proporcionar una tecnología de seguimiento ocular que tuviera en cuenta dichas situaciones en las que las reflexiones procedentes de las gafas puestas bajo las gafas de RV reducen la precisión del seguimiento ocular o hacen que sea difícil o imposible determinar la dirección del ojo y/o la dirección de la mirada para el seguimiento ocular.
Sumario
Un objetivo de la presente descripción es abordar los problemas de los sistemas y métodos conocidos.
Según un primer aspecto, se proporciona un método para identificar reflexiones procedentes de disposiciones ópticas en un sistema de seguimiento ocular. El método comprende recibir una imagen de un ojo de un usuario desde un sensor de imágenes. La imagen es el resultado de que el sensor de imágenes detecte la luz procedente de uno o más iluminadores reflejada desde el ojo del usuario y reflejada desde disposiciones ópticas ubicadas entre el uno o más iluminadores y el ojo del usuario. Las disposiciones ópticas comprenden características que tienen un patrón conocido. Se identifican dos o más reflejos en la imagen, en donde un reflejo es una representación en la imagen de una reflexión de luz desde la córnea del ojo del usuario y/o desde una característica de las disposiciones ópticas. Después, se determinan las posiciones relativas en la imagen de los reflejos identificados. Siempre y cuando las posiciones relativas en la imagen de los reflejos identificados se adecúen al patrón conocido de las características de las disposiciones ópticas, al menos un reflejo de los reflejos identificados se identifica como una representación en la imagen de una reflexión procedente de una característica de las disposiciones ópticas.
Como se indica en los antecedentes, algunos factores que pueden provocar potencialmente dificultades para la determinación de la dirección de la mirada se encuentran en el método y los sistemas conocidos basados en la identificación de las pupilas de los ojos del usuario junto con la identificación de reflejos. En los sistemas de seguimiento ocular se usan diferentes disposiciones ópticas, por ejemplo, para dirigir la luz iluminada hacia un ojo de un usuario y hacia un sensor de imágenes para producir una imagen para su uso en el seguimiento ocular. Además, puede haber otras disposiciones ópticas que no estén conectadas directamente al sistema de seguimiento ocular, tal como una lente/cristal de un par de gafas de ver utilizadas por el usuario del sistema de seguimiento ocular. En algunas situaciones, las disposiciones ópticas del sistema de seguimiento ocular y otras, juntas, darán como resultado reflexiones que se representarán como reflejos en imágenes capturadas para su uso en los sistemas de seguimiento ocular. Estos reflejos, por lo general, no son útiles para el seguimiento ocular y más bien corren el riesgo de ser confundidos con las reflexiones corneales utilizadas en el seguimiento ocular y, por lo tanto, suponen el riesgo de introducir errores. Por ejemplo, en una situación en la que las representaciones de las reflexiones procedentes de características de disposiciones ópticas ubicadas entre la pluralidad de iluminadores y el ojo del usuario aparecen en la imagen, además de la representación de las reflexiones procedentes del ojo del usuario, de modo que el riesgo de reflexiones introduzca errores en el algoritmo de seguimiento ocular, será difícil o imposible determinar la dirección del ojo y/o la dirección de la mirada o al menos no con la precisión deseable. Identificar un reflejo que sea una representación de una reflexión procedente de una característica de las disposiciones ópticas reduce el riesgo de introducción de errores en el sistema de seguimiento ocular, identificando erróneamente dichos reflejos como representaciones de reflexiones corneales.
El sistema puede ser un sistema portátil (sistema montado en la cabeza), tal como un sistema de realidad virtual (RV) donde se usan los anteojos de realidad virtual (gafas) dispuestos en la cabeza del usuario, de modo que los iluminadores dispuestos en el sistema montado en la cabeza se moverán junto con la cabeza del usuario y, por lo tanto, los iluminadores quedarán fijos respecto a los ojos del usuario cuando el usuario utilice el sistema. Los iluminadores quedan fijos respecto a los ojos del usuario siempre que el dispositivo de RV no se mueva respecto a la cabeza durante el uso.
El sensor de imágenes puede ser cualquier tipo adecuado de sensor de imágenes.
El ojo, por ejemplo, puede iluminarse con una pluralidad de iluminadores que, por ejemplo, pueden ser fuentes de luz tales como diodos emisores de luz y la luz emitida puede ser luz visible o luz infrarroja.
Que las posiciones relativas en la imagen de los reflejos identificados se adecúen al patrón conocido de las características de las disposiciones ópticas, por ejemplo, puede significar que los reflejos identificados están dispuestos en relación entre sí en la imagen en términos de las distancias, ángulos, patrón, etc., que se esperarían para los reflejos resultantes de las reflexiones, dado el patrón conocido de las características de la disposición óptica.
En algunas realizaciones, las disposiciones ópticas comprenden una lente de Fresnel, y las características que tienen un patrón conocido son una pluralidad de anillos Fresnel concéntricos de la lente de Fresnel que tienen distancias conocidas entre anillos de Fresnel consecutivos. Las distancias conocidas pueden ser uniformes, es decir, la distancia entre dos anillos consecutivos puede ser la misma entre los dos anillos consecutivos. Las distancias conocidas también pueden diferir en función de la distancia desde el centro de la lente de Fresnel, por ejemplo, de manera que la distancia entre dos anillos consecutivos se vuelva mayor o menor cuanto más lejos del centro de la lente estén ubicados los anillos, por ejemplo, de manera que la distancia es uniforme con una primera distancia desde el centro hasta una distancia dada desde el centro de la lente y luego uniforme con una segunda distancia (mayor o menor) respecto a la distancia dada y más lejos del centro de la lente. Todas las funciones son factibles siempre que se conozca la función.
En algunas realizaciones, determinar las posiciones relativas de los reflejos identificados comprende determinar una distancia en la imagen entre un primer reflejo y un segundo reflejo de los reflejos identificados. Las posiciones relativas en la imagen de los reflejos identificados se adecúan al patrón conocido de las características de las disposiciones ópticas siempre y cuando la distancia en la imagen entre el primer reflejo y el segundo reflejo de los reflejos identificados se adecúe a las distancias conocidas entre anillos de Fresnel consecutivos de la pluralidad de anillos de Fresnel concéntricos de la lente de Fresnel.
Las reflexiones de los anillos de Fresnel provendrán, en general, de porciones correspondientes de diferentes anillos de Fresnel. Por lo tanto, dada una distancia conocida entre dos anillos de Fresnel consecutivos, la distancia entre las reflexiones de dos anillos consecutivos será sustancialmente la misma que la distancia entre los anillos consecutivos. Esto dará como resultado en reflexiones en la imagen con una distancia en la imagen correspondiente a la distancia entre los anillos. La distancia correspondiente puede calcularse dada la configuración actual del sistema de seguimiento ocular que comprende el sensor de imágenes que captura la imagen y la lente de Fresnel. En algunas realizaciones en las que las disposiciones ópticas comprenden una lente de Fresnel, se determina la posición de la pupila de una representación en la imagen de una pupila del ojo, y se determinan distancias en la imagen desde la posición de la pupila hasta los reflejos identificados. El al menos un reflejo se identifica como una representación de una reflexión desde un anillo de Fresnel de la lente de Fresnel siempre y cuando, también, la distancia en la imagen desde la posición de la pupila hasta el al menos un reflejo sea mayor que un valor umbral predeterminado.
Los reflejos resultantes de las reflexiones corneales más útiles para el seguimiento ocular son los que resultan de reflexiones corneales dentro de una distancia desde la posición de la pupila donde la córnea puede aproximarse como una superficie esférica. Con el fin de evitar la identificación errónea de tales reflejos en la imagen, resultantes de las reflexiones corneales, deben ser útiles para el seguimiento ocular como reflejos resultantes de las reflexiones procedentes de las características de las disposiciones ópticas (anillos de Fresnel), la identificación de los reflejos resultantes de las reflexiones procedentes de las características de las disposiciones ópticas se realiza solo para los reflejos con una distancia desde la pupila que sea mayor que el valor umbral predeterminado. El valor umbral predeterminado puede establecerse, por ejemplo, en (o basarse en) la distancia en la imagen correspondiente a la distancia desde la posición de la pupila donde la córnea puede aproximarse como una superficie esférica.
En algunas realizaciones donde las disposiciones ópticas comprenden una lente de Fresnel y donde se identifican al menos tres reflejos, determinar las posiciones relativas en la imagen de los reflejos identificados comprende determinar una distancia en la imagen entre el primer reflejo y el segundo reflejo, y determinar una distancia en la imagen entre el segundo reflejo y el tercer reflejo. Las posiciones relativas en la imagen de los reflejos identificados se adecúan al patrón conocido de las características de las disposiciones ópticas siempre y cuando la distancia determinada en la imagen entre el primer reflejo y el segundo reflejo y la distancia determinada entre el segundo reflejo y el tercer reflejo se adecúen a las distancias conocidas entre anillos de Fresnel consecutivos de la pluralidad de anillos de Fresnel concéntricos de la lente de Fresnel, y el primer reflejo, el segundo reflejo y el tercer reflejo se sitúen en una línea recta en la imagen.
Las reflexiones de los anillos de Fresnel provendrán, en general, de porciones correspondientes de diferentes anillos de Fresnel. Por lo tanto, dada una distancia conocida entre dos anillos de Fresnel consecutivos, la distancia entre las reflexiones de dos anillos consecutivos será sustancialmente la misma que la distancia entre los anillos consecutivos. Esto dará como resultado en reflexiones en la imagen con una distancia en la imagen correspondiente a la distancia entre los anillos. La distancia correspondiente puede calcularse dada la configuración actual del sistema de seguimiento ocular que comprende el sensor de imágenes que captura la imagen y la lente de Fresnel. Además, como las reflexiones de los anillos de Fresnel provendrán generalmente de porciones correspondientes de diferentes anillos de Fresnel, las reflexiones aparecerán generalmente en una línea recta que comienza desde el centro de la lente de Fresnel. Por lo tanto, los reflejos en la imagen resultantes de las reflexiones de los anillos de Fresnel aparecerán generalmente en una línea recta en la imagen, que comienza desde una posición en la imagen correspondiente al centro de la lente de Fresnel en la configuración actual del sistema de seguimiento ocular que comprende el sensor de imágenes que captura la imagen y la lente de Fresnel.
En algunas realizaciones en las que las disposiciones ópticas comprenden una lente de Fresnel y donde las distancias conocidas entre los anillos de Fresnel consecutivos de la pluralidad de anillos de Fresnel concéntricos de la lente de Fresnel es una función de una distancia desde un centro de la lente de Fresnel, se determinan las posiciones de los reflejos identificados en la imagen y se determinan las distancias desde el centro de la lente de Fresnel correspondientes a las posiciones de los reflejos identificados en la imagen.
En una configuración determinada del sistema de seguimiento ocular que comprende el sensor de imágenes que captura la imagen y la lente de Fresnel, se puede determinar una posición en la imagen correspondiente al centro de la lente de Fresnel y se puede determinar una distancia en la imagen correspondiente a una distancia en la lente de Fresnel. Por lo tanto, una distancia esperada en la imagen entre reflejos resultantes de las reflexiones de los anillos de Fresnel puede determinarse en función de la función.
En algunas realizaciones, se define una región of interest (región de interés - ROI) que incluye la representación de la pupila en la imagen. Además, solo se identifican los reflejos en la ROI.
La región de interés se define de modo que las reflejos resultantes de las reflexiones desde un ojo de un usuario fuera de la región de interés no son adecuados para su uso en un algoritmo de seguimiento ocular, mientras que los reflejos resultantes de las reflexiones de un ojo de un usuario dentro de la región de interés pueden ser adecuados para su uso en un algoritmo de seguimiento ocular. La región de interés puede tener cualquier forma adecuada, tal como de rectángulo, cuadrado, círculo, elipse, etc.
Opcionalmente, no se identifican los reflejos en la imagen fuera de la región de interés o al menos no se procesan adicionalmente. Esto es cierto tanto para los reflejos resultantes de una reflexión de luz procedente de una córnea del ojo del usuario como para los reflejos resultantes de una reflexión de luz procedente de una característica de las disposiciones ópticas. Al limitar los reflejos identificados y/o procesados adicionalmente a cualquier reflejo en la región de interés, se habilita una reducción de la cantidad de procesamiento requerida. Al mismo tiempo, el hecho de no procesar los reflejos fuera de la región de interés, o al menos solo en cierta medida, no afectará a la posibilidad de identificar la representación de la pupila y/o los reflejos en la imagen dependiendo de la definición de la región de interés.
En algunas realizaciones, los uno o más iluminadores están dispuestos en posiciones sustancialmente fijas respecto a un ojo de un usuario cuando se utiliza el sistema.
En algunas realizaciones, las disposiciones ópticas ubicadas entre la pluralidad de iluminadores y el ojo del usuario cuando el usuario está utilizando el sistema de seguimiento ocular pueden comprender una disposición óptica que converge o diverge la luz, tal como una lente/cristal de un par de gafas de ver que lleve puesto el usuario, además de y separada del sistema de seguimiento ocular.
Según un segundo aspecto, se proporciona un sistema de seguimiento ocular que comprende un receptor para recibir una imagen de un ojo de un usuario desde un sensor de imágenes, generándose la imagen desde el sensor de imágenes que detecta la luz de uno o más iluminadores reflejada desde el ojo del usuario y reflejada desde disposiciones ópticas ubicadas entre los uno o más iluminadores y el ojo del usuario, en donde las disposiciones ópticas comprenden características que tienen un patrón conocido. El sistema de seguimiento ocular comprende además un sistema de circuitos de procesamiento para identificar dos o más reflejos en la imagen, en donde un reflejo es una representación en la imagen de una reflexión de luz desde la córnea del ojo del usuario o desde una característica de las disposiciones ópticas, determinar las posiciones relativas en la imagen de los reflejos identificados y siempre y cuando las posiciones relativas en la imagen de los reflejos identificados se adecúen al patrón conocido de las características de la disposición óptica, identificando al menos un reflejo de los reflejos identificados como una representación de una reflexión de una característica de las disposiciones ópticas.
Las disposiciones ópticas ubicadas entre la pluralidad de iluminadores y el ojo del usuario cuando el usuario está utilizando el sistema de seguimiento ocular puede ser cualquier disposición óptica que converja o desvíe luz, tal como una lente/cristal de un par de gafas de ver que lleve puesto el usuario además de y separada del sistema de seguimiento ocular.
En realizaciones del sistema de seguimiento ocular, las disposiciones ópticas comprenden una lente de Fresnel, y las características que tienen un patrón conocido son una pluralidad de anillos Fresnel concéntricos de la lente de Fresnel que tienen distancias conocidas entre anillos de Fresnel consecutivos.
Según un tercer aspecto, un sistema de seguimiento ocular que comprende un sistema de circuitos configurado para llevar a cabo uno cualquiera de los métodos del primer aspecto y las realizaciones del primer aspecto.
Las realizaciones del sistema de seguimiento ocular según el tercer aspecto pueden incluir, por ejemplo, características que corresponden a las características de cualquiera de las realizaciones del método según el primer aspecto. Según un cuarto aspecto, se proporcionan uno o más medios de almacenamiento legibles por ordenador que almacenan instrucciones ejecutables por ordenador que, cuando son ejecutadas por un sistema de seguimiento ocular, hacen que el sistema de seguimiento ocular lleve a cabo un método según el primer aspecto.
Las realizaciones del uno o más medios de almacenamiento legibles por ordenador según el cuarto aspecto pueden incluir, por ejemplo, características que corresponden a las características de cualquiera de las realizaciones del método según el primer aspecto.
El uno o más medios legibles por ordenador pueden ser por ejemplo uno o más medios legibles por ordenador no transitorios.
Cabe señalar que las realizaciones de la invención se refieren a todas las combinaciones posibles de características mencionadas en las reivindicaciones.
Breve descripción de Ios dibujos
A continuación, se describirán realizaciones ilustrativas con referencia a las figuras adjuntas:
la Figura 1 muestra una vista esquemática de un sistema de seguimiento ocular, en el que se pueden implementar las realizaciones;
la Figura 2 muestra una imagen de ejemplo de un ojo;
la Figura 3a muestra una vista de partes seleccionadas de un dispositivo montado en la cabeza;
la Figura 3b muestra una vista lateral de partes seleccionadas de un dispositivo montado en la cabeza;
la Figura 3c muestra una vista en despiece n simplificada de partes seleccionadas de un dispositivo montado en la cabeza;
la Figura 4 muestra una vista simplificada de una imagen de un ojo;
la Figura 5 muestra una imagen de un ojo;
la Figura 6 es un diagrama de flujo de un ejemplo de un método para identificar reflexiones de disposiciones ópticas en un sistema de seguimiento ocular.
Todas las figuras son esquemáticas y, generalmente, solo muestran partes que son necesarias para dilucidar las realizaciones respectivas, mientras que otras partes pueden omitirse o simplemente sugerirse.
Descripción detallada
La Figura 1 muestra una vista simplificada de un sistema 100 de seguimiento ocular (que también puede denominarse sistema de seguimiento de la mirada) en un dispositivo montado en la cabeza en forma de un dispositivo de realidad virtual (RV) o gafas de RV. El sistema 100 comprende los iluminadores 110-119, para iluminar los ojos de un usuario, y un sensor 120 de luz para capturar imágenes de los ojos del usuario. Los iluminadores 110­ 119 pueden ser, por ejemplo, diodos emisores de luz que emiten luz en la banda de frecuencia del infrarrojo o en la banda de frecuencia del infrarrojo cercano. El sensor 120 de luz puede ser, por ejemplo, un sensor de imágenes de cualquier tipo, tal como un sensor de imágenes de complementary metal oxide semiconductor (semiconductor de óxido metálico complementario - CMOS) o un sensor de imágenes con charged coupled device (dispositivo de carga acoplada - CCD). El sensor de imágenes puede consistir en un circuito integrado que contiene una matriz de sensores de píxeles, conteniendo cada píxel un fotodetector y un amplificador activo. El sensor de imágenes es capaz de convertir la luz a señales digitales. En realidad, como ejemplo, este podría ser
• un sensor de imágenes infrarrojo o sensor de imágenes de IR
• un sensor RGB
• un sensor RGBW
• un sensor RGB o RGBW con filtro de IR
El sistema de seguimiento ocular 100 comprende también el sistema 125 de circuitos que incluye, por ejemplo, un receptor 126 y un sistema 127 de circuitos de procesamiento para recibir y procesar las imágenes capturadas por el sensor 120 de luz. El sistema 125 de circuitos puede conectarse, por ejemplo, al sensor 120 de luz y a los iluminadores 110-119 a través de una conexión por cable o inalámbrica y ubicarse junto al sensor 120 de luz y los iluminadores 110-119 o ubicarse a una distancia, por ejemplo, en un dispositivo diferente. En otro ejemplo, el sistema 125 de circuitos puede proporcionarse en una o más capas apiladas debajo de la superficie fotosensible del sensor 120 de luz.
Cabe observar que la ubicación del sensor 120 de imágenes en la Figura 1 es solo con fines ilustrativos. La ubicación del sensor para un ojo en un dispositivo de RV está generalmente alejada de la línea de visión del usuario para no ocultar una pantalla de RV dispuesta en el dispositivo de RV para ese ojo. Esto, por ejemplo, se permite mediante los denominados espejos calientes que reflejan una parte de la luz y hacen que el resto de la luz pase, por ejemplo, se refleja la luz infrarroja y se deja pasar la luz visible.
En el sistema de seguimiento ocular descrito con referencia a la Figura 1, los iluminadores 110-119 se disponen en un módulo de seguimiento ocular a lo largo de la periferia de un círculo. Esta disposición solo sirve como ejemplo. Se apreciará que pueden emplearse, más o menos, cualquier número de iluminadores y sensores de luz para el seguimiento ocular, y que dichos iluminadores y sensores de luz pueden distribuirse de muchas formas distintas. La Figura 2 muestra un ejemplo simplificado de una imagen de un ojo 200 capturada por el sensor 120 de luz de la Figura 1. El sistema 125 de circuitos puede emplear, por ejemplo, procesamiento de imágenes (tal como procesamiento de imágenes digitales) para extraer las características de la imagen. El sistema 125 de circuitos puede emplear, por ejemplo, un seguimiento ocular por reflexión entre la córnea y el pupil center cornea reflection (centro de la pupila - PCCR) para determinar dónde está mirando el ojo 200. En el seguimiento ocular PCCR, la posición del centro de la pupila 210 y la posición del centro de los reflejos 220 en el ojo 200 se estiman en el sistema 125 de circuitos. Los reflejos 220 los provoca el reflexión de la luz procedente de la pluralidad de iluminadores 110­ 119. El sistema 125 de circuitos calcula dónde está el ojo del usuario en el espacio utilizando las reflexiones 220 y dónde está apuntando el ojo 200 del usuario utilizando la pupila 210. Puesto que de forma típica existe un desplazamiento entre el centro óptico del ojo 200 y la fóvea, el sistema 125 de circuitos realiza la calibración del desvío de la fóvea para poder determinar dónde está mirando el usuario. Las direcciones de mirada obtenidas del ojo izquierdo y del ojo derecho pueden combinarse entonces para formar una dirección de mirada estimada combinada (o dirección de visión).
Cada una de las Figuras 3a-c muestra una vista separada de partes seleccionadas de un dispositivo montado en la cabeza en forma de un dispositivo de realidad virtual (RV) 300 (gafas de RV) que incluye un sistema de seguimiento ocular en el que pueden implementarse realizaciones.
La Figura 3a muestra una vista de partes seleccionadas de un dispositivo montado en la cabeza en forma de las gafas 300 de RV que incluyen un sistema de seguimiento ocular en el que pueden implementarse realizaciones. Además de las gafas 300 de RV, se muestran los ojos 302 y una cabeza 304 de un usuario. La porción de RV de las gafas 300 de RV mostradas comprende dos pantallas 305 de RV y dos lentes 330 de RV, una pantalla 305 de RV y una lente 330 de RV para cada ojo 302. Las pantallas 305 de RV se colocan delante de los ojos 302 y las lentes 330 de RV se colocan entre los ojos 302 y las pantallas 305 de RV. De forma alternativa a dos pantallas 305 de RV, se pueden usar dos regiones de una única pantalla de RV. La porción de seguimiento ocular de las gafas de RV 300 comprende dos espejos calientes 335 y dos cámaras 320. Para capturar imágenes de los ojos 302 para su uso en el seguimiento ocular, los espejos calientes 335 se disponen entre las pantallas 305 de RV y las lentes 330 de RV. Generalmente, por ejemplo, para reducir el peso y el tamaño de las gafas 300 de RV, las lentes 330 de RV son las denominadas lentes de Fresnel.
Además, los iluminadores (no mostrados) se disponen sobre o en las gafas de RV 300 de tal forma que los rayos de iluminación se dirijan hacia los ojos 302. Las reflexiones procedentes de los ojos 302 de los rayos de iluminación hacia los espejos calientes 335 se reflejarán hacia las cámaras 320 en las que se detectan los rayos de iluminación para producir una imagen del ojo. Por ejemplo, los espejos calientes 335 pueden ser de un tipo, de tal forma que reflejarán la luz en la banda de frecuencias del infrarrojo, pero serán transparentes para la luz en la banda de frecuencias visibles. Los iluminadores (no mostrados) utilizados podrían producir, a continuación, rayos de iluminación en la banda de frecuencias del infrarrojo y las cámaras 320 incluirán sensores de imágenes capaces de detectar luz en la banda de frecuencias del infrarrojo.
La Figura 3b muestra una vista lateral de partes seleccionadas de las gafas 300 de RV. Los rayos de iluminación desde los iluminadores (no mostrados) hacia el ojo 302 se reflejarán de vuelta y pasarán a través de la lente 330 de RV hacia el espejo caliente 335 y se reflejarán hacia la cámara 320 en la que se detectan los rayos de iluminación para producir una imagen del ojo.
La Figura 3c muestra una vista en despiece de partes seleccionadas de las gafas 300 de RV. Se muestran partes seleccionadas para un ojo que incluyen una cubierta 324 de iluminador, iluminadores en forma de diodos emisores de luz (LED) 310-319, la cámara 320 que incluye un sensor de imágenes, la lente 330 de RV, una copa de lente o tubo 326 de lente, el espejo caliente 335, la pantalla 305 de RV y una placa electrónica 328. La Figura 3c muestra una disposición de ejemplo de los iluminadores en forma de los l Ed 310-319, donde los LED 310-319 se disponen a lo largo de la periferia de la lente de RV 330 para producir un patrón cuando se ilumine el ojo 302. Los rayos de iluminación de los LED 310-319 reflejados desde el ojo y el espejo caliente 335 se detectan en la cámara 320 para producir una imagen del ojo.
Los dispositivos montados en la cabeza, tales como en gafas 300 de RV pueden mejorarse incluyendo el seguimiento ocular portátil utilizando iluminadores y uno o más sensores 320 de luz dispuestos en el dispositivo montado en la cabeza para determinar la dirección del ojo y/o la dirección de la mirada en función de la estimación de una posición del centro de la pupila y una posición del centro de una o más reflexiones en el ojo desde los iluminadores. Un problema que puede surgir en tales dispositivos cuando una disposición óptica adicional converge o diverge luz, tales como las gafas de ver (gafas) que lleva el usuario bajo las gafas 300 de RV, es que la luz de los iluminadores puede reflejarse gracias a una lente/cristal de las gafas de ver junto con las características de la lente de RV 330, tales como los anillos de Fresnel en el caso de que la lente 330 de RV sea una lente de Fresnel, sobre el sensor 320 de imágenes. Los reflejos en una imagen del ojo usado para el seguimiento ocular, correspondientes a dichas reflexiones, pueden hacer que sea difícil o imposible determinar la dirección del ojo y/o la dirección de la mirada o al menos no con la precisión deseable.
Disponer los iluminadores fijos en las gafas de RV en las Figuras 3a-c dará como resultado que los iluminadores queden dispuestos en posiciones sustancialmente fijas respecto a un ojo de un usuario cuando se utilice el sistema, siempre que las gafas de RV no se muevan respecto al ojo del usuario durante el uso.
Sin embargo, como las características de las disposiciones ópticas, tales como anillos de Fresnel de una lente de Fresnel, generalmente tienen un patrón conocido, las reflexiones de tales características producirán en general reflejos en una imagen que se adecúen al patrón conocido. Por lo tanto, estudiando los reflejos identificados en la imagen y si se adecúan al patrón conocido, se pueden identificar los reflejos resultantes de las reflexiones procedentes de las características de las disposiciones ópticas, tales como los anillos de Fresnel de una lente de Fresnel. Después de la identificación, estos reflejos se pueden enmascarar frente a su uso adicional en un algoritmo de seguimiento ocular utilizado.
La Figura 4 muestra una vista simplificada de una imagen 400 de un ojo de un usuario respecto a las realizaciones cuyos ejemplos se describen a continuación.
La imagen se captura en un sistema montado en la cabeza, tal como las gafas de RV descritas respecto a las Figuras 3a-c, incluyendo lentes de RV que son lentes de Fresnel.
La imagen 400 se refiere a una situación en la que el usuario, además de las gafas de RV, también lleve un par de gafas de ver. La imagen 400 es esquemática. Para una imagen más detallada, se hace referencia a la Figura 5.
Para el seguimiento ocular, el ojo del usuario se ilumina por medio de una pluralidad de iluminadores. La imagen 400 es el resultado de un sensor de imágenes que detecta la luz procedente de la pluralidad de iluminadores reflejada desde el ojo del usuario y reflejada desde una lente de las gafas de ver junto con los anillos de Fresnel de una lente de Fresnel de las gafas de RV. La lente de las gafas de ver está ubicada entre la pluralidad de iluminadores y el ojo del usuario y también entre la lente de Fresnel y el ojo del usuario. A continuación, la imagen 400 del ojo del usuario es recibida en un sistema de circuitos de procesamiento del sensor de imágenes.
Como se ilustra en la Figura 4, los reflejos 430 resultantes de la luz procedente de la pluralidad de iluminadores reflejada desde la córnea del ojo del usuario aparecen en la imagen 400. Así mismo, también aparecen en la imagen 400 los reflejos 440 resultantes de la luz procedente de la pluralidad de iluminadores que se refleja desde la lente de las gafas de ver junto con los anillos de Fresnel de la lente de Fresnel de las gafas de RV. La lente de Fresnel en relación con la Figura 4 tiene un patrón conocido que, en el caso específico, es que los anillos de Fresnel sean concéntricos y que se conozca la distancia entre dos anillos de Fresnel consecutivos para los dos anillos de Fresnel consecutivos. Por ejemplo, la distancia entre dos anillos de Fresnel consecutivos puede ser uniforme, es decir, la misma entre dos anillos de Fresnel consecutivos, independientemente de a qué distancia estén los dos anillos de Fresnel consecutivos del centro de la lente de Fresnel. Como alternativa, la distancia puede variar según una función de la distancia desde el centro de la lente de Fresnel. La ubicación de los reflejos 440 se adecúa al patrón conocido de la lente de Fresnel de las gafas de RV. Para una distancia uniforme, los reflejos 440 aparecen en líneas rectas con la misma distancia entre los dos reflejos consecutivos, donde las líneas rectas van desde un punto en la imagen correspondiente a un centro de la lente de Fresnel. Será posible determinar la distancia esperada entre dos reflejos consecutivos 440 en la imagen en vista de la distancia conocida entre dos anillos de Fresnel consecutivos de la lente de Fresnel en la configuración dada. Para una distancia variable, los reflejos 440 aparecen en líneas rectas con una distancia entre los reflejos 440 consecutivos que varía según la función donde las líneas rectas van desde el punto de la imagen correspondiente al centro de la lente de Fresnel. Será posible determinar la distancia esperada entre dos reflejos consecutivos 440 a una cierta distancia en la imagen desde la ubicación en la imagen correspondiente al centro de la lente de Fresnel en vista de la distancia conocida entre dos anillos de Fresnel consecutivos de la lente de Fresnel a una distancia correspondiente desde el centro de la lente de Fresnel en la configuración dada.
La Figura 5 muestra una imagen 500 de un ojo de un usuario respecto a las realizaciones cuyos ejemplos se describen a continuación. La imagen se captura en un sistema montado en la cabeza, tal como las gafas de RV descritas respecto a las Figuras 3a-c, incluyendo una lente de RV que es una lente de Fresnel.
La imagen 500 es el resultado de un sensor de imágenes que detecta la luz procedente de una pluralidad de iluminadores reflejada desde el ojo del usuario y reflejada desde una lente de las gafas de ver junto con anillos de Fresnel de una lente de Fresnel de las gafas de RV. La lente de las gafas de ver está ubicada entre la pluralidad de iluminadores y el ojo del usuario y también entre la lente de Fresnel y el ojo del usuario. A continuación, la imagen 500 del ojo del usuario es recibida en un sistema de circuitos de procesamiento del sensor de imágenes.
Como se ilustra en la Figura 5, los reflejos 530 resultantes de la luz procedente de la pluralidad de iluminadores reflejada desde la córnea del ojo del usuario aparecen en la imagen. Así mismo, también aparecen en la imagen los reflejos 540 resultantes de la luz procedente de la pluralidad de iluminadores que se refleja desde la lente de las gafas de ver junto con los anillos de Fresnel de la lente de Fresnel de las gafas de RV. La lente de Fresnel en relación con la Figura 5 tiene un patrón conocido que, en el caso específico, es que los anillos de Fresnel sean concéntricos y que se conozca la distancia entre dos anillos de Fresnel consecutivos para los dos anillos de Fresnel consecutivos. Por ejemplo, la distancia entre dos anillos de Fresnel consecutivos puede ser uniforme, es decir, la misma entre dos anillos de Fresnel consecutivos, independientemente de a qué distancia estén los dos anillos de Fresnel consecutivos del centro de la lente de Fresnel. Como alternativa, la distancia puede variar según una función de la distancia desde el centro de la lente de Fresnel. La ubicación de los reflejos 540 se adecúa al patrón conocido de la lente de Fresnel de las gafas de RV. Para una distancia uniforme, los reflejos 540 aparecen en líneas rectas con la misma distancia entre los dos reflejos consecutivos donde las líneas rectas van desde un punto en la imagen correspondiente a un centro de la lente de Fresnel. Será posible determinar la distancia esperada entre dos reflejos consecutivos 540 en la imagen en vista de la distancia conocida entre dos anillos de Fresnel consecutivos de la lente de Fresnel en la configuración dada. Para una distancia variable, los reflejos 540 aparecen en líneas rectas con una distancia entre los reflejos 540 consecutivos que varían según la función donde las líneas rectas van desde el punto de la imagen correspondiente al centro de la lente de Fresnel. Será posible determinar la distancia esperada entre dos reflejos consecutivos 540 a una cierta distancia en la imagen desde la ubicación en la imagen correspondiente al centro de la lente de Fresnel en vista de la distancia conocida entre dos anillos de Fresnel consecutivos de la lente de Fresnel a una distancia correspondiente desde el centro de la lente de Fresnel en la configuración dada.
Además, aparecen manchas 550 en la imagen[SEi] 500, donde las manchas 550 son la luz procedente de la pluralidad de iluminadores que se refleja desde la lente de las gafas de ver. Las manchas 550 no se deben a la lente de Fresnel[SE2] y son distintas a los reflejos 540 resultantes de la luz de la pluralidad de iluminadores que se refleja desde la lente de las gafas de ver junto con los anillos de Fresnel de la lente de Fresnel de las gafas de RV.
Los reflejos 530 resultantes de la reflexión de la córnea del ojo del usuario que son útiles para el seguimiento ocular aparecerán en la imagen 500 dentro de una distancia específica desde la posición de la pupila 510 en la imagen. Cualquier reflejo 530 que resulte de una reflexión de la córnea que sea útil en el seguimiento ocular no debería confundirse por un reflejo 540 resultante de una reflexión desde la lente de las gafas de ver junto con los anillos de Fresnel de la lente de Fresnel de las gafas de RV. Así, se puede establecer un valor umbral predeterminado en relación con la distancia específica y solo si la distancia en la imagen desde la posición de la pupila hasta un reflejo 540 es mayor que el valor umbral predeterminado, el reflejo 540 se identifica como una representación de una reflexión desde un anillo de Fresnel de la lente de Fresnel.
Se puede definir una región de interés, ROI, 570. La ROI 570 se ilustra en la Figura 5 en forma de líneas discontinuas cuadradas pero puede tener cualquier otra forma adecuada, tal como de rectángulo, círculo, elipse, etc. La ROI 570 es una porción de la imagen que incluye la representación en la imagen de la pupila 510. La región de interés 570 se define preferiblemente como la región mínima que incluye todos los reflejos 530 resultantes de las reflexiones desde la córnea del ojo del usuario que sean útiles para el seguimiento ocular. Solo se identifican los reflejos que aparecen en la ROI. Cualquier reflejo fuera de la ROI 570 no se identifica o al menos no se procesa adicionalmente. Al limitar las manchas de los reflejos identificadas y procesadas adicionalmente a cualquier reflejo 530, 540 en la ROI 570, como se ha definido anteriormente, se puede reducir la cantidad de procesamiento requerida. Al mismo tiempo, el hecho de no procesar los reflejos fuera de la ROI 570 no tiene por qué afectar, o solo en cierta medida, a la posibilidad de identificar la representación de la pupila 550 y/o los reflejos 530 en la imagen 500.
La Figura 6 muestra un ejemplo de un método para identificar las reflexiones procedentes de disposiciones ópticas en un sistema de seguimiento ocular. El método comprende recibir 610 una imagen de un ojo de un usuario desde un sensor de imágenes. La imagen es el resultado de que el sensor de imágenes detecte la luz procedente de uno o más iluminadores reflejada desde el ojo del usuario y reflejada desde disposiciones ópticas ubicadas entre el uno o más iluminadores y el ojo del usuario. El uno o más iluminadores pueden disponerse en posiciones sustancialmente fijas respecto a un ojo de un usuario cuando se utiliza el sistema. Las disposiciones ópticas comprenden características que tienen un patrón conocido. Por ejemplo, las disposiciones ópticas pueden comprender una lente de Fresnel en donde las características que tienen un patrón conocido son una pluralidad de anillos Fresnel concéntricos de la lente de Fresnel que tienen distancias conocidas entre anillos de Fresnel consecutivos. Las distancias conocidas entre anillos de Fresnel consecutivos de la pluralidad de anillos de Fresnel concéntricos de la lente de Fresnel pueden ser iguales entre los dos anillos de Fresnel consecutivos o pueden variar en función de una distancia desde un centro de la lente de Fresnel.
El uno o más iluminadores pueden disponerse en posiciones sustancialmente fijas respecto a un ojo de un usuario cuando se utiliza el sistema.
El método comprende además identificar 620 dos o más reflejos en la imagen. Un reflejo es una representación en la imagen de una reflexión de luz desde la córnea del ojo del usuario y/o desde una característica de las disposiciones ópticas. Por ejemplo, cuando las disposiciones ópticas comprenden una lente de Fresnel, la reflexión de la luz puede estar relacionada con un anillo de Fresnel de la lente de Fresnel.
El método comprende además determinar 630 las posiciones relativas en la imagen de los reflejos identificados, e identificar 640, siempre y cuando las posiciones relativas en la imagen de los reflejos identificados se adecúen al patrón conocido de las características de las disposiciones ópticas, al menos un reflejo de los reflejos identificados como una representación en la imagen de una reflexión de una característica de las disposiciones ópticas. Por ejemplo, cuando las disposiciones ópticas comprenden una lente de Fresnel en donde las características que tienen un patrón conocido son una pluralidad de anillos de Fresnel concéntricos de la lente de Fresnel que tienen distancias conocidas entre anillos de Fresnel consecutivos, se determina una distancia en la imagen entre un primer reflejo y un segundo reflejo de los reflejos identificados. Además, las posiciones relativas en la imagen de los reflejos identificados se adecúan al patrón conocido de las características de las disposiciones ópticas siempre y cuando la distancia en la imagen entre el primer reflejo y el segundo reflejo de los reflejos identificados se adecúe a las distancias conocidas entre anillos de Fresnel consecutivos de la pluralidad de anillos de Fresnel concéntricos de la lente de Fresnel. Las disposiciones ópticas pueden comprender además una lente de un par de gafas de ver que lleve puesto el usuario.
En caso de que las distancias conocidas entre anillos de Fresnel consecutivos sean uniformes, es decir, iguales para los dos anillos de Fresnel consecutivos, la distancia en la imagen entre el primer reflejo y el segundo reflejo se adecúa a las distancias conocidas entre anillos de Fresnel consecutivos si la distancia entre el primer reflejo y el segundo reflejo es la que se esperaría para representar las reflexiones procedentes de dos anillos de Fresnel consecutivos en vista de la distancia conocida entre anillos de Fresnel consecutivos.
En un caso en el que las distancias conocidas entre anillos de Fresnel consecutivos sean una función de una distancia desde el centro de la lente de Fresnel, el método comprende además determinar las posiciones de los reflejos identificados en la imagen y determinar las distancias desde el centro de la lente de Fresnel correspondientes a las posiciones de los reflejos identificados en la imagen. La distancia en la imagen entre el primer reflejo y el segundo reflejo de los reflejos identificados se adecúa a las distancias conocidas entre anillos de Fresnel consecutivos si la distancia entre el primer reflejo y el segundo reflejo es la que se esperaría para la representación de las reflexiones procedentes de dos anillos de Fresnel consecutivos en vista de la distancia conocida entre anillos de Fresnel consecutivos a la distancia determinada desde el centro de la lente de Fresnel.
El método puede comprender además determinar una posición de la pupila de una representación en la imagen de una pupila del ojo y determinar las distancias en la imagen desde la posición de la pupila hasta los reflejos identificados. En tal caso, solo los reflejos con una distancia en la imagen desde la posición de la pupila hasta el al menos un reflejo que sea mayor que un valor umbral predeterminado pueden identificarse como una representación de una reflexión desde un anillo de Fresnel de la lente de Fresnel.
El método cuando las disposiciones ópticas comprenden una lente de Fresnel en donde las características que tienen un patrón conocido son una pluralidad de anillos de Fresnel concéntricos de la lente de Fresnel que tienen distancias conocidas entre anillos de Fresnel consecutivos pueden comprender identificar al menos tres reflejos y determinar una distancia adicional en la imagen entre el segundo reflejo y el tercer reflejo. Para tal caso, las posiciones relativas en la imagen de los reflejos identificados se adecúan al patrón conocido de las características de las disposiciones ópticas siempre y cuando la distancia determinada en la imagen entre el primer reflejo y el segundo reflejo y la distancia determinada entre el segundo reflejo y el tercer reflejo se adecúen a las distancias conocidas entre anillos de Fresnel consecutivos, y el primer reflejo, el segundo reflejo y el tercer reflejo se sitúen en una línea recta en la imagen.
El método puede comprender además definir una región de interés, ROI, que incluye la representación de la pupila en la imagen, en donde solo se identifican reflejos en la ROI.
La persona experta en la técnica es consciente de que la presente invención no se limita de ninguna manera a las realizaciones preferidas descritas anteriormente. Por el contrario, son posibles varias modificaciones y variaciones dentro del alcance de las reivindicaciones adjuntas. Por ejemplo, la persona experta en la técnica es consciente de que los métodos descritos en el presente documento pueden realizarse con otros sistemas de seguimiento ocular/mirada que el sistema de seguimiento ocular/mirada 100 de ejemplo que se muestra en la Figura 1, por ejemplo, cualquier sistema de seguimiento ocular/mirada en el que la ubicación de los iluminadores esté fija respecto a los ojos de un usuario cuando se utilice el sistema y en sistemas de seguimiento ocular/mirada en los que la ubicación de los iluminadores no esté fija respecto a los ojos del usuario cuando se utilice el sistema.
Además, las descripciones se han realizado respecto a un ojo. Sin embargo, una persona experta en la técnica es consciente de que los métodos y sistemas pueden llevarse a cabo también para los dos ojos.
De forma adicional, las personas expertas en la técnica pueden entender y efectuar variaciones de las realizaciones descritas al poner en práctica la invención reivindicada, a partir de un estudio de los dibujos, la descripción y las reivindicaciones adjuntas. En las reivindicaciones, la expresión “que comprende” no excluye otros elementos o etapas, y el artículo indefinido “un” o “una” no excluye una pluralidad. La división de tareas entre unidades funcionales referidas en la presente descripción no corresponde necesariamente a la división en unidades físicas; por el contrario, un componente físico puede tener múltiples funcionalidades, y una tarea puede llevarse a cabo de manera distribuida, por varios componentes físicos en cooperación. Se puede almacenar/distribuir un programa informático en un medio no transitorio adecuado, tal como un medio de almacenamiento óptico o un medio en estado sólido suministrado junto con o como parte de otro hardware, pero también puede distribuirse de otras formas, tales como a través de Internet u otros sistemas de telecomunicaciones alámbricos o inalámbricos. El mero hecho de que determinadas medidas/características se mencionen en reivindicaciones dependientes diferentes entre sí no indica que una combinación de estas medidas/características no pueda utilizarse ventajosamente. No es necesario que las etapas del método se realicen en el orden en el que aparecen en las reivindicaciones o en las realizaciones descritas en la presente memoria, a menos que se describa explícitamente que se requiere un cierto orden. No deberá interpretarse que cualquier signo de referencia en las reivindicaciones está limitando el alcance.

Claims (13)

  1. r e iv in d ic a c io n e s
    i. Un método para identificar reflexiones procedentes de disposiciones ópticas en un sistema de seguimiento ocular, comprendiendo el método:
    usar un receptor, que recibe una imagen de un ojo de un usuario desde un sensor de imágenes, generándose la imagen desde el sensor de imágenes que detecta luz de uno o más iluminadores reflejada desde el ojo del usuario y reflejada desde disposiciones ópticas ubicadas entre el uno o más iluminadores y el ojo del usuario, en donde las disposiciones ópticas comprenden características que tienen un patrón conocido;
    usar un sistema de circuitos de procesamiento, que identifica dos o más reflejos en la imagen recibida, en donde un reflejo es una representación en la imagen de una reflexión de luz procedente de una córnea del ojo del usuario y/o de una característica de las disposiciones ópticas;
    estando el método caracterizado por el hecho de que, utilizando el sistema de circuitos de procesamiento:
    se determinan las posiciones relativas en la imagen de los reflejos identificados; y siempre y cuando las posiciones relativas en la imagen de los reflejos identificados se adecúen al patrón conocido de las características de las disposiciones ópticas, identificando al menos un reflejo de los reflejos identificados como una representación en la imagen de una reflexión procedente de una característica de las disposiciones ópticas.
  2. 2. El método de la reivindicación 1, en donde las disposiciones ópticas comprenden una lente de Fresnel, y en donde las características que tienen un patrón conocido son una pluralidad de anillos de Fresnel concéntricos de la lente de Fresnel que tienen distancias conocidas entre anillos de Fresnel consecutivos.
  3. 3. El método de la reivindicación 2, en donde determinar posiciones relativas de los reflejos identificados comprende:
    determinar una distancia en la imagen entre un primer reflejo y un segundo reflejo de los reflejos identificados, y en donde las posiciones relativas en la imagen de los reflejos identificados se adecúen al patrón conocido de las características de las disposiciones ópticas siempre y cuando la distancia en la imagen entre el primer reflejo y el segundo reflejo de los reflejos identificados se adecúe a las distancias conocidas entre anillos de Fresnel consecutivos de la pluralidad de anillos de Fresnel concéntricos de la lente de Fresnel.
  4. 4. El método de la reivindicación 3, que comprende además:
    determinar una posición de la pupila de una representación en la imagen de una pupila del ojo; y determinar distancias en la imagen desde la posición de la pupila hasta los reflejos identificados; en donde el al menos un reflejo se identifica como una representación de una reflexión desde un anillo de Fresnel de la lente de Fresnel siempre y cuando, también, la distancia en la imagen desde la posición de la pupila hasta el al menos un reflejo sea mayor que un valor umbral predeterminado.
  5. 5. El método de la reivindicación 2, en donde se identifican al menos tres reflejos, y en donde determinar posiciones relativas en la imagen de los reflejos identificados comprende:
    determinar una distancia en la imagen entre el primer reflejo y el segundo reflejo; y determinar una distancia en la imagen entre el segundo reflejo y el tercer reflejo;
    en donde las posiciones relativas en la imagen de los reflejos identificados se adecúan al patrón conocido de las características de las disposiciones ópticas siempre y cuando:
    la distancia determinada en la imagen entre el primer reflejo y el segundo reflejo y la distancia determinada entre el segundo reflejo y el tercer reflejo se adecúen a las distancias conocidas entre anillos de Fresnel consecutivos de la pluralidad de anillos de Fresnel concéntricos de la lente de Fresnel; y
    el primer reflejo, el segundo reflejo y el tercer reflejo se dispongan en una línea recta en la imagen.
  6. 6. El método de una cualquiera de las reivindicaciones 2-5, en donde las distancias conocidas entre anillos de Fresnel consecutivos de la pluralidad de anillos de Fresnel concéntricos de la lente de Fresnel es una función de una distancia desde un centro de la lente de Fresnel, que comprende además:
    determinar posiciones de los reflejos identificados en la imagen; y
    determinar distancias desde el centro de la lente de Fresnel correspondientes a las posiciones de los reflejos identificados en la imagen.
  7. 7. El método de una cualquiera de las reivindicaciones anteriores, que comprende además:
    definir una región de interés, ROI, que incluye la representación de la pupila en la imagen, en donde solo se identifican reflejos en la ROI.
  8. 8. El método de una cualquiera de las reivindicaciones anteriores, en donde el uno o más iluminadores están dispuestos en posiciones sustancialmente fijas respecto a un ojo de un usuario cuando se utiliza el sistema.
  9. 9. El método de la reivindicación 1, en donde las disposiciones ópticas comprenden además una lente de un par de gafas de ver.
  10. 10. Un sistema (100) de seguimiento ocular que comprende:
    un receptor (126) para recibir una imagen de un ojo de un usuario desde un sensor de imágenes, generándose la imagen desde el sensor (120) de imágenes, que detecta la luz de uno o más iluminadores (110-119) reflejada desde el ojo del usuario y reflejada desde disposiciones ópticas ubicadas entre el uno o más iluminadores y el ojo del usuario, en donde las disposiciones ópticas comprenden características que tienen un patrón conocido;
    sistema (125, 127) de circuitos de procesamiento para:
    identificar dos o más reflejos (220) en la imagen, en donde un reflejo es una representación en la imagen de una reflexión de luz desde una córnea del ojo del usuario o desde una característica de las disposiciones ópticas;
    estando el sistema de seguimiento ocular caracterizado por el sistema de circuitos de procesamiento para: determinar posiciones relativas en la imagen de los reflejos identificados; y siempre y cuando las posiciones relativas en la imagen de los reflejos identificados se adecúen al patrón conocido de las características de la disposición óptica, identificando al menos un reflejo de los reflejos identificados como una representación de una reflexión procedente de una característica de las disposiciones ópticas.
  11. 11. El sistema de seguimiento ocular de la reivindicación 1, en donde las disposiciones ópticas comprenden una lente de Fresnel, y en donde las características que tienen un patrón conocido son una pluralidad de anillos de Fresnel concéntricos de la lente de Fresnel que tienen distancias conocidas entre anillos de Fresnel consecutivos.
  12. 12. El sistema de seguimiento ocular de la reivindicación 10, en donde el sistema de circuitos está configurado para hacer que el sistema realice el método de una de las reivindicaciones 1 -9.
  13. 13. Uno o más medios de almacenamiento legibles por ordenador que almacenan instrucciones ejecutables por ordenador que, cuando son ejecutadas por el sistema de circuitos de procesamiento del sistema de seguimiento ocular de la reivindicación 10, hacen que el sistema de seguimiento ocular realice el método de una de las reivindicaciones 1-9.
ES18730671T 2018-05-31 2018-05-31 Método y sistema para la identificación de reflejos/reflexiones Active ES2921299T3 (es)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/EP2018/064377 WO2019228634A1 (en) 2018-05-31 2018-05-31 Method and system for glint/reflection identification

Publications (1)

Publication Number Publication Date
ES2921299T3 true ES2921299T3 (es) 2022-08-23

Family

ID=62597447

Family Applications (1)

Application Number Title Priority Date Filing Date
ES18730671T Active ES2921299T3 (es) 2018-05-31 2018-05-31 Método y sistema para la identificación de reflejos/reflexiones

Country Status (4)

Country Link
EP (1) EP3801196B1 (es)
CN (1) CN112165894A (es)
ES (1) ES2921299T3 (es)
WO (1) WO2019228634A1 (es)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE2051433A1 (en) * 2020-12-08 2022-06-09 Tobii Ab Method and system for glint classification

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1476730A (zh) * 2001-07-27 2004-02-18 皇家菲利浦电子有限公司 具有观看者跟踪系统的自动立体图像显示装置
SE524003C2 (sv) 2002-11-21 2004-06-15 Tobii Technology Ab Förfarande och anläggning för att detektera och följa ett öga samt dess blickvinkel
US7773111B2 (en) * 2005-03-16 2010-08-10 Lc Technologies, Inc. System and method for perceived image processing in a gaze tracking system
CN105212890B (zh) * 2006-01-26 2017-04-26 诺基亚公司 眼睛跟踪器设备
US8998414B2 (en) * 2011-09-26 2015-04-07 Microsoft Technology Licensing, Llc Integrated eye tracking and display system
CN108209857B (zh) 2013-09-03 2020-09-11 托比股份公司 便携式眼睛追踪设备
EP2886041A1 (en) * 2013-12-17 2015-06-24 ESSILOR INTERNATIONAL (Compagnie Générale d'Optique) Method for calibrating a head-mounted eye tracking device
US9465991B2 (en) * 2014-08-11 2016-10-11 Microsoft Technology Licensing, Llc Determining lens characteristics
US9946339B2 (en) * 2014-10-08 2018-04-17 Microsoft Technology Licensing, Llc Gaze tracking through eyewear
JP6606773B2 (ja) * 2015-01-29 2019-11-20 株式会社トーメーコーポレーション 眼科装置
CN206178658U (zh) * 2016-08-10 2017-05-17 北京七鑫易维信息技术有限公司 视频眼镜的眼球追踪模组

Also Published As

Publication number Publication date
EP3801196B1 (en) 2022-06-01
EP3801196A1 (en) 2021-04-14
CN112165894A (zh) 2021-01-01
WO2019228634A1 (en) 2019-12-05

Similar Documents

Publication Publication Date Title
ES2909057T3 (es) Seguimiento ocular que utiliza la posición del centro del globo ocular
US10032074B2 (en) Systems and methods for high-resolution gaze tracking
US9213406B2 (en) Head-mount eye tracking system with improved determination of gazing position
US11243607B2 (en) Method and system for glint/reflection identification
US10698482B2 (en) Gaze tracking using non-circular lights
KR102561991B1 (ko) 아이웨어 장착 가능 안구 추적 디바이스
US20170249509A1 (en) Adaptive camera and illuminator eyetracker
ES2327633T3 (es) Instalacion para ver y seguir un ojo y la direccion de la mirada del mismo.
US10481403B2 (en) Contact lens with retinal camera
ES2936093T3 (es) Fiabilidad de los datos de seguimiento de la mirada para el ojo izquierdo y derecho
KR100949743B1 (ko) 고글 형태를 갖는 착용형 시선 추적 장치 및 방법
ES2887976T3 (es) Compensación del radio de la pupila
JP6631951B2 (ja) 視線検出装置及び視線検出方法
US10452911B2 (en) Gaze-tracking system using curved photo-sensitive chip
ES2916408T3 (es) Método y sistema de seguimiento ocular para proporcionar una distancia de convergencia de mirada aproximada de un usuario
US20200187774A1 (en) Method and system for controlling illuminators
US11675429B2 (en) Calibration, customization, and improved user experience for bionic lenses
US10288879B1 (en) Method and system for glint/reflection identification
ES2921299T3 (es) Método y sistema para la identificación de reflejos/reflexiones
WO2019185136A1 (en) Method and system for controlling illuminators
KR101780669B1 (ko) 단일 카메라를 이용한 양안 촬영 장치
US20230013134A1 (en) Electronic device
JP6687195B2 (ja) 眼部画像処理装置