ES2926361T3

ES2926361T3 - Calibración continua basada en características de la pupila

Info

Publication number: ES2926361T3
Application number: ES19217008T
Authority: ES
Inventors: Eric Linden
Original assignee: Tobii AB
Current assignee: Tobii AB
Priority date: 2018-12-21
Filing date: 2019-12-17
Publication date: 2022-10-25
Anticipated expiration: 2039-12-17
Also published as: EP3683658A1; CN111539984A; EP3683658B1

Abstract

Se describe un método para formar un modelo compensado. El modelo de desplazamiento representa un desplazamiento estimado entre el centro del limbo del ojo del usuario y el centro de la pupila del ojo del usuario en función del tamaño de la pupila. El enfoque incluye el muestreo de un conjunto de valores del centro del limbo, el muestreo de un conjunto de valores del centro de la pupila y el muestreo de un conjunto de valores del radio. El modelo de compensación se forma comparando una diferencia entre el conjunto de valores del centro del limbo y el conjunto de valores del centro de la pupila en cada uno de los valores del radio. También se describen un sistema y un dispositivo de almacenamiento legible por computadora configurado para realizar dicho método. (Traducción automática con Google Translate, sin valor legal)

Description

DESCRIPCIÓN

Calibración continua basada en características de la pupila

Campo técnico

Esta solicitud se refiere al seguimiento de la mirada y, en particular, a un sistema y método implementado por ordenador para formar un desvío que describe un desvío estimado entre un centro del limbo y un centro de la pupila.

Antecedentes

El seguimiento de la mirada puede ser realizado midiendo dónde está la pupila ubicada en relación con la córnea. La pupila, sin embargo, no está físicamente fijada en relación con la córnea. Por tanto, cuando la pupila se expande y se contrae, ésta se mueve con respecto a la córnea. Este movimiento puede resultar en un seguimiento ocular inexacto. Esto ocurre especialmente en diferentes condiciones de luz (p. ej., cuando la luz ambiental oscila entre intensa y tenue).

Los antecedentes tecnológicos para la solución descrita pueden hallarse asimismo en el documento de BARRY JEAN-CYRIAQUE Y COL: “ Limbus versus pupil center for ocular alignment measurement with corneal reflexes” , INVESTIGATIVE OPHTHALMOLOGY & VISUAL SCIENCE, ASSOCIATION FOR RESEARCH IN VISION AND OPHTHALMOLOGY, EE. UU., vol. 38, n.° 12, noviembre de 1997 (11/1997), páginas 2597-2607, ISSN: 0146 0404.

Breve resumen

La invención se expone en el conjunto de reivindicaciones anexas.

Un sistema de uno o más ordenadores puede configurarse para realizar operaciones o acciones particulares en virtud de disponer de software, firmware, hardware o una combinación de los mismos instalada en el sistema que, en funcionamiento, hace o hacen que el sistema realice las acciones. Uno o más programas informáticos pueden configurarse para realizar operaciones o acciones particulares en virtud de incluir instrucciones que, cuando son ejecutadas por el aparato de procesamiento de datos, hacen que el aparato realice las acciones.

Un aspecto general incluye un método implementado por ordenador, que incluye: determinar, según una frecuencia de muestreo, un conjunto de valores del centro del limbo de un limbo de un ojo de usuario. El método implementado por ordenador incluye asimismo determinar, según la frecuencia de muestreo, un conjunto de valores del centro de la pupila de una pupila del ojo de usuario. El método implementado por ordenador incluye asimismo determinar, según la frecuencia de muestreo, un conjunto de valores del radio de la pupila. El método implementado por ordenador incluye asimismo formar un modelo de desvío basándose en (i) el conjunto de valores del centro del limbo, (ii) el conjunto de valores del centro de la pupila, y (iii) el conjunto de valores del radio, describiendo el modelo de desvío un desvío estimado entre un centro del limbo y un centro de la pupila en función del tamaño de la pupila. Otros ejemplos de este aspecto incluyen sistemas informáticos, aparatos y programas informáticos correspondientes grabados en uno o más dispositivos de almacenamiento informático, cada uno configurado para realizar las acciones de los métodos.

Las implementaciones pueden incluir una o más de las siguientes características. El método implementado por ordenador donde: determinar el conjunto de valores del centro del limbo incluye medir un primer valor del centro del limbo en un primer momento y medir un segundo valor del centro del limbo en un segundo momento. El método implementado por ordenador puede incluir asimismo la determinación del conjunto de valores del centro de la pupila, que incluye medir un primer valor del centro de la pupila en el primer momento y medir un segundo valor del centro de la pupila en el segundo momento. El método implementado por ordenador puede incluir asimismo determinar el conjunto de valores del radio midiendo un primer valor del radio en el primer momento y midiendo un segundo valor del radio en el segundo momento. El método implementado por ordenador donde la determinación del conjunto de valores del centro del limbo, la determinación del conjunto de valores del centro de la pupila y la determinación del conjunto de valores del radio se realizan al menos mientras un sistema de seguimiento ocular hace un seguimiento del ojo del usuario. El método implementado por ordenador donde: el modelo de desvío incluye una función lineal. El método implementado por ordenador puede incluir asimismo formar el modelo de desvío estimando uno o más valores constantes de la función lineal basándose en una técnica de regresión lineal. El método implementado por ordenador donde: un primer valor constante del uno o más valores constantes corresponde a un parámetro k de la función lineal que representa una pendiente de la función lineal. El método implementado por ordenador puede incluir asimismo donde un segundo valor constante del uno o más valores constantes corresponde a un parámetro m de la función lineal, donde el parámetro m representa un punto de intersección de la función lineal. El método implementado por ordenador donde: el método incluye además determinar un conjunto de valores de desvío comparando el conjunto de valores del centro del limbo con el conjunto de valores del centro de la pupila, representando cada valor de desvío un desvío entre una respectiva posición de la pupila con respecto a una respectiva posición del limbo. El método implementado por ordenador puede incluir asimismo formar el modelo de desvío basándose además en el conjunto de valores de desvío. El método implementado por ordenador donde formar el modelo de desvío incluye actualizar uno o más valores constantes de un modelo de desvío existente para definir el modelo de desvío. El método implementado por ordenador puede incluir además usar un algoritmo de seguimiento ocular para hacer un seguimiento del ojo del usuario basándose en el modelo de desvío. Las implementaciones de las técnicas descritas pueden incluir hardware, un método o proceso, o software informático en un medio accesible por ordenador.

Un aspecto general incluye un sistema, que incluye: una memoria configurada para almacenar instrucciones ejecutables por ordenador; y un procesador configurado para acceder a la memoria y ejecutar las instrucciones ejecutables por ordenador para al menos: determinar un conjunto de valores del centro del limbo de un limbo de un ojo de usuario, determinar un conjunto de valores del centro de la pupila de una pupila del ojo de usuario, determinar un conjunto de valores del radio de la pupila, y formar un modelo de desvío basándose en (i) el conjunto de valores del centro del limbo, (ii) el conjunto de valores del centro de la pupila, y (iii) el conjunto de valores del radio, describiendo el modelo de desvío un desvío estimado entre un centro del limbo y un centro de la pupila en función del tamaño de la pupila. Otros ejemplos de este aspecto incluyen sistemas informáticos, aparatos y programas informáticos correspondientes grabados en uno o más dispositivos de almacenamiento informático, cada uno configurado para realizar las acciones de los métodos.

Las implementaciones pueden incluir una o más de las siguientes características. El sistema donde: determinar el conjunto de valores del centro del limbo incluye medir un primer valor del centro del limbo en un primer momento y medir un segundo valor del centro del limbo en un segundo momento. El sistema puede incluir asimismo determinar el conjunto de valores del centro de la pupila midiendo un primer valor del centro de la pupila en el primer momento y midiendo un segundo valor del centro de la pupila en el segundo momento. El sistema puede incluir asimismo determinar el conjunto de valores del radio midiendo un primer valor del radio en el primer momento y midiendo un segundo valor del radio en el segundo momento. El sistema donde: el procesador está configurado además para determinar un conjunto de valores de desvío comparando el conjunto de valores del centro del limbo con el conjunto de valores del centro de la pupila, representando cada valor de desvío un desvío entre una respectiva posición de la pupila con respecto a una respectiva posición del limbo. El sistema puede incluir asimismo formar el modelo de desvío basándose además en el conjunto de valores de desvío. El sistema donde la determinación del conjunto de valores del centro del limbo, la determinación del conjunto de valores del centro de la pupila, y la determinación del conjunto de valores del radio se realizan en una frecuencia de muestreo. El sistema donde: el modelo de desvío incluye una función lineal. El sistema puede incluir asimismo formar el modelo de desvío estimando uno o más valores constantes de la función lineal basándose en una técnica de regresión lineal. El sistema donde: un primer valor constante del uno o más valores constantes corresponde a un parámetro k de la función lineal que representa una pendiente de la función lineal. El sistema puede incluir asimismo un segundo valor constante del uno o más valores constantes que corresponde a un parámetro m de la función lineal, donde el parámetro m representa un punto de intersección de la función lineal. Las implementaciones de las técnicas descritas pueden incluir hardware, un método o proceso, o software informático en un medio accesible por ordenador.

Un aspecto general incluye uno o más dispositivos de almacenamiento legibles por ordenador que incluyen instrucciones ejecutables por ordenador que, cuando son ejecutadas por uno o más procesadores, hacen que el uno o más procesadores realicen operaciones que incluyen: determinar un conjunto de valores del centro del limbo de un limbo de un ojo del usuario, determinar un conjunto de valores del centro de la pupila de una pupila del ojo del usuario, determinar un conjunto de valores del radio de la pupila, y formar un modelo de desvío basándose en (i) el conjunto de valores del centro del limbo, (ii) el conjunto de valores del centro de la pupila, y (iii) el conjunto de valores del radio, describiendo el modelo de desvío un desvío estimado entre un centro del limbo y un centro de la pupila en función del tamaño de la pupila. Otros ejemplos de este aspecto incluyen sistemas informáticos, aparatos y programas informáticos correspondientes grabados en uno o más dispositivos de almacenamiento informático, cada uno configurado para realizar las acciones de los métodos.

Las implementaciones pueden incluir una o más de las siguientes características. El uno o más dispositivos de almacenamiento legibles por ordenador donde las operaciones incluyen además determinar un conjunto de valores de desvío comparando el conjunto de valores del centro del limbo con el conjunto de valores del centro de la pupila, representando cada valor de desvío un desvío entre un respectivo valor del centro de la pupila con respecto a un respectivo valor del centro del limbo. El uno o más dispositivos de almacenamiento legibles por ordenador donde las operaciones incluyen además, antes de formar el modelo de desvío, estimar uno o más valores para uno o más parámetros constantes de un algoritmo de seguimiento ocular mediante al menos: representar gráficamente el conjunto de valores de desvío y el conjunto de valores del radio, y estimar el uno o más valores para el uno o más parámetros constantes basándose en una aproximación lineal del conjunto de valores de desvío y del conjunto de valores del radio. El uno o más dispositivos de almacenamiento legibles por ordenador donde: determinar el conjunto de valores del centro del limbo incluye medir un primer valor del centro del limbo en un primer momento y medir un segundo valor del centro del limbo en un segundo momento. El uno o más dispositivos de almacenamiento legibles por ordenador pueden incluir asimismo la determinación del conjunto de valores del centro de la pupila, que incluye, medir un primer valor del centro de la pupila en el primer momento y medir un segundo valor del centro de la pupila en el segundo momento. El uno o más dispositivos de almacenamiento legibles por ordenador pueden incluir asimismo determinar el conjunto de valores del radio midiendo un primer valor del radio en el primer momento y midiendo un segundo valor del radio en el segundo momento. El uno o más dispositivos de almacenamiento legibles por ordenador donde la determinación del conjunto de valores del centro del limbo, la determinación del conjunto de valores del centro de la pupila y la determinación del conjunto de valores del radio se realizan al menos mientras un sistema de seguimiento ocular hace un seguimiento del ojo del usuario. El uno o más dispositivos de almacenamiento legibles por ordenador donde las operaciones incluyen además utilizar un algoritmo de seguimiento ocular para hacer un seguimiento del ojo del usuario basándose en el modelo de desvío. Las implementaciones de las técnicas descritas pueden incluir hardware, un método o proceso, o software informático en un medio accesible por ordenador.

Breve descripción de los dibujos

Junto con las figuras adjuntas se describen ejemplos de la presente descripción:

La FIG. 1 muestra un sistema de seguimiento ocular según un ejemplo de la presente descripción;

La FIG. 2 muestra una imagen de ejemplo de un ojo;

La FIG. 3 es una vista en sección transversal de una parte de un ojo;

Las FIGS. 4a-4b son vistas en perspectiva de un ojo que tiene un primer tamaño de la pupila, y teniendo el ojo un segundo tamaño de la pupila;

Las FIGS. 5-7 son diagramas de flujo de métodos según ejemplos de la presente descripción;

La FIG. 8 es un diagrama de bloques de un sistema informático especializado que puede utilizarse en al menos alguna porción de los aparatos o sistemas de la presente descripción, o implementar al menos alguna porción de los métodos de la presente descripción;

Las FIGS. 9a-9b son vistas de perfil y vistas frontales de un ojo que tiene características dimensionales variables;

Las FIGS. 10a-10d son gráficos que muestran diversos datos recopilados utilizando las técnicas de la presente descripción;

La FIG.11 es un diagrama de flujo de métodos según los ejemplos de la presente descripción; y

La FIG. 12 es un diagrama de flujo de métodos según los ejemplos de la presente descripción.

Todas las figuras son esquemáticas y, generalmente, solo muestran partes que son necesarias para dilucidar los ejemplos respectivos, mientras que otras partes pueden omitirse o simplemente sugerirse.

Descripción detallada

La descripción que sigue proporciona únicamente ejemplos ilustrativos, y no pretende limitar el alcance, la aplicabilidad ni la configuración de la descripción. Más bien, la siguiente descripción de los ejemplos ilustrativos proporcionará a los expertos en la técnica una descripción habilitante para implementar uno o más ejemplos ilustrativos. Se entiende que pueden hacerse varios cambios en la función y disposición de los elementos sin alejarse del alcance de la descripción tal como se expone en la presente memoria.

Por ejemplo, cualquier detalle analizado con respecto a un ejemplo puede estar presente o no en todas las versiones contempladas de ese ejemplo. De la misma manera, cualquier detalle analizado con respecto a un ejemplo puede estar presente o no en todas las versiones contempladas de otros ejemplos analizados en la presente memoria. Finalmente, la ausencia del análisis de cualquier detalle con respecto al ejemplo de la presente memoria será un reconocimiento implícito de que tal detalle puede estar presente o no en cualquier versión de cualquier ejemplo analizado en la presente memoria.

En la siguiente descripción, se dan detalles específicos para proporcionar una comprensión completa de los ejemplos. Sin embargo, un experto en la técnica entenderá que los ejemplos pueden ponerse en práctica sin estos detalles específicos. Por ejemplo, los circuitos, sistemas, redes, procesos y otros elementos de la descripción pueden mostrarse como componentes en forma de diagrama de bloques para no complicar los ejemplos con detalles innecesarios. En otros casos, los circuitos, procesos, algoritmos, estructuras y técnicas muy conocidos pueden mostrarse sin detalles innecesarios para evitar complicar los ejemplos.

Además, cabe señalar que pueden describirse ejemplos individuales como un proceso que se ilustra como un flujograma, un diagrama de flujo, un diagrama de flujo de datos, un diagrama estructural o un diagrama de bloques. Aunque un diagrama de flujo puede describir las operaciones como un proceso secuencial, muchas de las operaciones pueden realizarse en paralelo o al mismo tiempo. Además, se puede reorganizar el orden de las operaciones. Un proceso puede terminarse cuando se completen sus operaciones, pero podría tener etapas adicionales no analizadas o incluidas en una figura. Es más, no todas las operaciones de cualquier proceso particularmente descrito pueden ocurrir en todos los ejemplos. Un proceso puede corresponder a un método, una función, un procedimiento, una subrutina, un subprograma, etc. Cuando un proceso corresponde a una función, su terminación corresponde a un retorno de la función a la función de llamada o a la función principal.

La expresión “ medio legible por máquina” o similar incluye, pero no se limita a, dispositivos de almacenamiento transitorios y no transitorios, portátiles o fijos, dispositivos ópticos de almacenamiento, canales inalámbricos y otros diversos medios capaces de almacenar, contener o portar una o más instrucciones y/o datos. Un segmento de código o instrucciones ejecutables por máquina pueden representar un procedimiento, una función, un subprograma, un programa, una rutina, una subrutina, un módulo, un paquete de software, una clase o cualquier combinación de instrucciones, estructuras de datos o sentencias de programa. Un segmento de código puede acoplarse a otro segmento de código o a un circuito de hardware al pasar y/o recibir información, datos, argumentos, parámetros o contenido de memoria. La información, los argumentos, los parámetros, los datos, etc. pueden pasarse, enviarse o transmitirse a través de cualquier medio adecuado que incluye compartir la memoria, pasar el mensaje, pasar el identificador, transmisión de red, etc.

Es más, pueden implementarse ejemplos de la descripción, al menos en parte, de modo manual o automático. Pueden ejecutarse implementaciones manuales o automáticas, o al menos asistidas, mediante el uso de máquinas, hardware, software, firmware, software personalizado, microcódigo, lenguajes descriptivos de hardware, o cualquier combinación de los mismos. Cuando se implementan en software, firmware, software personalizado o microcódigo, el código de programa o los segmentos de código para realizar las tareas necesarias pueden almacenarse en un medio legible por máquina. Uno o más procesadores pueden realizar las tareas necesarias.

La presente descripción se refiere en general al campo de seguimiento ocular. En particular, la presente descripción se refiere a métodos y sistemas para generar y/o utilizar información de seguimiento de la mirada que indica una dirección de la mirada de un ojo.

En la técnica, se conocen varias tecnologías diferentes de seguimiento ocular. Tales tecnologías pueden emplearse por ejemplo para permitir que un usuario indique una ubicación en un sistema de representación visual mirando hacia esa ubicación. El seguimiento ocular puede realizarse por ejemplo por medio de un sistema que captura imágenes del rostro del usuario y extrae características clave del rostro del usuario, tales como por ejemplo el centro de la pupila y los destellos de iluminadores que iluminan el rostro del usuario. Las características extraídas pueden emplearse después para determinar dónde está mirando el usuario en el sistema de representación. Naturalmente, se desean factores tales como la precisión, velocidad y fiabilidad/robustez del seguimiento ocular para lograr una experiencia positiva del usuario. Por lo tanto, se han propuesto varios esquemas para mitigar los efectos negativos de diferentes tipos de errores o imprecisiones que podrían ocurrir en los sistemas de seguimiento ocular.

Uno de tales ejemplos se describe en el documento US-2010/0328444, que propone un oculómetro que incluye al menos un iluminador para iluminar un ojo, al menos dos cámaras para formar imágenes del ojo y un controlador. La configuración del uno o más iluminadores y de las cámaras es tal que al menos una cámara no es coaxial con un iluminador de referencia. El controlador está adaptado para seleccionar la cámara en función de un factor de calidad de la imagen. Al realizar repetidamente la selección de la cámara, el seguimiento ocular puede basarse en la una de las dos cámaras que produce la métrica de mejor calidad. De esta manera, el seguimiento ocular se vuelve menos vulnerable a perturbaciones tales como objetos que oscurecen la vista.

Si bien tales tecnologías pueden proporcionar un seguimiento del ojo más robusto y preciso, persiste la necesidad de sistemas y métodos de seguimiento ocular mejorados.

Un objetivo de la presente descripción es proporcionar una tecnología que permita métodos, sistemas y dispositivos de seguimiento ocular que tengan un rendimiento mejorado. Los objetos adicionales y alternativos pueden entenderse a partir de los siguientes.

La presente descripción se refiere a una tecnología en la que puede obtenerse un desvío angular entre la dirección ocular y la dirección de la mirada del ojo de un usuario, p. ej., durante un procedimiento de calibración, y emplearse para el seguimiento posterior de los movimientos del ojo. La dirección ocular puede entenderse como un vector tridimensional definido por la posición relativa de la córnea y de la pupila del ojo. Por lo tanto, la dirección ocular puede entenderse como la dirección relativa del ojo en el espacio, y también puede denominarse eje óptico del ojo. Por otra parte, la dirección de la mirada puede entenderse como el eje visual, o la línea de visión, representados por un vector tridimensional definido por el punto de observación del usuario y la región foveal del ojo. La dirección de la mirada frecuentemente se desvía de la dirección ocular mediante un desvío angular que puede depender del ojo/sujeto. Por lo tanto, el desvío angular puede determinarse, p. ej., en un procedimiento de calibración, en el cual el usuario visualiza un patrón de calibración animado o estático que tiene uno o varios puntos (es decir, puntos de observación) que tienen una posición conocida o una trayectoria de movimiento, mientras que se mide la dirección ocular observando por ejemplo la ubicación de la pupila y los destellos de los iluminadores que iluminan el rostro del usuario. A continuación, puede compararse la dirección ocular medida con la dirección de la mirada conocida del usuario que visualiza por ejemplo un patrón de calibración.

Por consiguiente, según un primer aspecto, se proporciona un método que comprende las etapas de obtener un primer desvío angular entre una primera dirección ocular y una primera dirección de la mirada de un ojo que tiene un primer tamaño de la pupila, obtener un segundo desvío angular entre una segunda dirección ocular y una segunda dirección de la mirada del ojo que tiene un segundo tamaño de la pupila, y formar, basándose en el primer desvío angular y el segundo desvío angular, un modelo de compensación que describe un desvío angular estimado en función del tamaño de la pupila.

Según un segundo aspecto, se proporciona un sistema que comprende un sistema de circuitos configurado para realizar las etapas del método según el primer aspecto, es decir, para obtener un primer desvío angular entre una primera dirección ocular y una primera dirección de la mirada de un ojo que tiene un primer tamaño de la pupila, obtener un segundo desvío angular entre una segunda dirección ocular y una segunda dirección de la mirada del ojo que tiene un segundo tamaño de la pupila, y formar, basándose en el primer desvío angular y el segundo desvío angular, un modelo de compensación que describe un desvío angular estimado en función del tamaño de la pupila.

La dirección ocular puede determinarse observando la posición de la pupila, tal como la ubicación del centro estimado de una pupila, en relación con el centro estimado de una córnea. Estas dos posiciones dan la dirección ocular o eje visual del ojo. Sin embargo, existe el problema de que a medida que el iris se dilata y se contrae, la pupila típicamente no se abre y se cierra por completo concéntricamente alrededor de un punto fijo del ojo. En otras palabras, la posición estimada del centro de la pupila puede variar con el tamaño de la pupila de una manera que puede depender del ojo o del sujeto. Como resultado, la dirección estimada del ojo y, por lo tanto, su desvío angular con respecto a la dirección de la mirada puede variar en función del tamaño de la pupila. Por lo tanto, formando un modelo de compensación que describe el desvío angular estimado en función del tamaño de la pupila, puede compensarse este efecto y mejorarse la precisión del seguimiento ocular. En particular, esto permite un seguimiento de la mirada que es menos sensible a errores y desviaciones asociadas con diversas condiciones de iluminación que afectan al tamaño de la pupila. Por lo tanto, el concepto de la presente invención es de particular interés en aplicaciones que utilizan por ejemplo brillo dinámico de representación (tal como, p. ej., aplicaciones de realidad virtual) o utilizadas en la iluminación ambiental (tal como, p. ej., aplicaciones de realidad aumentada).

En lo anterior, el modelo de compensación se basa en dos puntos medidos, es decir, el primer desvío angular para el primer tamaño de la pupila y el segundo desvío angular para el segundo tamaño de la pupila. Sin embargo, se aprecia que esto es simplemente un ejemplo ilustrativo, y que el modelo puede basarse igualmente en conjuntos de datos que comprenden dos o más puntos medidos. Además, el modelo de compensación puede actualizarse en procesos de calibración posteriores, teniendo en cuenta desvíos angulares adicionales asociados con tamaños de la pupila adicionales. Por lo tanto, la presente descripción no se limita a un modelo de compensación formado a partir de dos puntos de datos o formado en un punto específico en el tiempo. También puede ser un modelo dinámico que se actualice cada vez que se capturen datos relevantes o a petición de un usuario o proveedor.

Como ya se ha mencionado, el modelo de compensación puede utilizarse para mejorar el seguimiento de la mirada adaptando dinámicamente el cálculo de la dirección de la mirada al tamaño real de la pupila. Por consiguiente, según un ejemplo, el método puede comprender además obtener una tercera dirección ocular del ojo que tenga un tercer tamaño de la pupila, y determinar, basándose en el modelo de compensación, un desvío angular estimado asociado con el tercer tamaño de la pupila. A continuación, este desvío angular puede utilizarse para determinar, basándose en la tercera dirección ocular, una tercera dirección de la mirada del ojo que tiene el tercer tamaño de la pupila. Por lo tanto, el presente ejemplo puede representar el método o sistema durante el funcionamiento, es decir, cuando se utiliza la tecnología de seguimiento ocular para determinar la dirección de la mirada del usuario. En ese caso, las etapas descritas anteriormente para obtener la tercera dirección ocular y determinar la dirección de la mirada basándose en el desvío angular del tamaño en particular de la pupila, pueden realizarse repetidamente durante el funcionamiento.

Según algunos ejemplos, la primera dirección ocular y el primer tamaño de la pupila pueden obtenerse a partir de una primera imagen del ojo que tenga el primer tamaño de la pupila, en donde la segunda dirección ocular y el segundo tamaño de la pupila pueden obtenerse a partir de una segunda imagen del ojo que tenga el segundo tamaño de la pupila. En un ejemplo, el método puede incluir las etapas de capturar la primera imagen y la segunda imagen del ojo. Estas imágenes pueden obtenerse, p. ej., de uno o varios sensores de imagen incluidos en el sistema, o de cualquier otra parte. El tamaño de la pupila en las respectivas imágenes puede determinarse como el tamaño de la pupila como se representa en la imagen o como el tamaño real de la pupila. El uso del tamaño real de la pupila es ventajoso, porque el tamaño puede no depender de la distancia entre el ojo y el sensor de imagen o la cámara.

Según un ejemplo, la primera imagen se puede capturar a una primera intensidad de iluminación, y la segunda imagen a una segunda intensidad de iluminación, diferente de la primera intensidad de iluminación. La intensidad de iluminación, por ejemplo, puede cambiarse activamente cuando se captura la segunda imagen, por ejemplo al cambiar un brillo del sistema de representación, para obtener datos de calibración para diferentes tamaños de la pupila. Por lo tanto, el cambio de la intensidad de iluminación puede incluirse como una etapa activa de un proceso de calibración. En otro ejemplo, la captura de la segunda imagen puede activarse por un cambio predeterminado en la intensidad de iluminación, es decir, cuando se detecta un cambio predeterminado en la intensidad de iluminación o cuando se detecta un cambio predeterminado en el tamaño de la pupila.

Según un ejemplo, la dirección ocular puede determinarse basándose en una posición relativa entre un centro estimado de la córnea y un centro estimado de la pupila. Esto se puede lograr por ejemplo iluminando el ojo con un iluminador, tal como, p. ej., un iluminador infrarrojo o infrarrojo cercano, que provoque al menos dos reflejos o destellos en el ojo. A continuación, se puede capturar una imagen bidimensional y analizarse para determinar las posiciones de la imagen en las que se ubican los reflejos. Si se supone que la córnea tiene una forma esférica, es decir, de modo que la parte de la superficie observada de la córnea puede aproximarse a un segmento de una esfera, las posiciones de los reflejos pueden utilizarse para obtener un centro esférico estimado de la córnea en el ojo. El centro estimado de la pupila puede obtenerse de una imagen del ojo, por ejemplo, basándose en el análisis de una imagen en el que el límite entre el iris y la pupila. La pupila, identificada en la imagen, puede proyectarse sobre un modelo de la córnea para determinar un centro estimado de la pupila en el ojo real. La primera dirección ocular y la segunda dirección ocular pueden determinarse después basándose en la ubicación del centro esférico estimado de la córnea y en una ubicación del centro estimado de la pupila.

La dirección de la mirada puede estar definida por un vector en el espacio que apunta al objeto que el usuario observa. En otras palabras, la dirección de la mirada puede definirse por el punto de observación y la posición de la región foveal de la retina. Según un ejemplo, la primera dirección de la mirada y la segunda dirección de la mirada pueden determinarse basándose en el punto de observación del ojo y en la ubicación del centro esférico estimado de la córnea. Ventajosamente, el punto de observación puede ser un punto conocido en el espacio, tal como, p. ej., una estructura de calibración que tenga una ubicación conocida con respecto, p. ej., al sensor de imagen que visualiza el ojo.

La expresión “tamaño de la pupila” puede referirse al tamaño de la pupila como se representa en una imagen del ojo, o al tamaño real de la pupila o abertura del ojo definida por el iris. Sin embargo, también pueden concebirse otras definiciones, tales como el tamaño de la pupila captada cuando se proyecta sobre una esfera que representa la curvatura de la córnea o similares. Los píxeles del borde de la pupila en la imagen pueden utilizarse para estimar la posición del centro de la pupila, el borde de la pupila y el tamaño de la pupila (que, por ejemplo, pueden determinarse en términos de un radio de la pupila).

Según un ejemplo, los datos de seguimiento de la mirada asociados con los ojos que tienen el primer tamaño de la pupila y el segundo tamaño de la pupila, respectivamente, pueden almacenarse en un área de almacenamiento. El área de almacenamiento puede, por ejemplo, formar parte del sistema descrito anteriormente o estar conectada de manera comunicativa al sistema, pero no incluida en el mismo. Al almacenarse los datos de seguimiento de la mirada, tales como, por ejemplo, imágenes de los ojos, a partir de los cuales se puede haber recuperado la dirección ocular y el tamaño de la pupila, estos datos pueden reutilizarse en la calibración o el ajuste posteriores del modelo de compensación. Los datos almacenados también podrían denominarse datos sin procesar.

Por consiguiente, según un ejemplo, el método puede comprender las etapas adicionales de obtener un desvío angular adicional entre una dirección ocular adicional y una dirección de la mirada adicional del ojo que tenga un tamaño de la pupila adicional, y actualizar el modelo de compensación basándose en los datos de seguimiento de la mirada almacenados, el tamaño de la pupila adicional y el desvío angular adicional.

Según un ejemplo, el sistema de seguimiento ocular puede comprender al menos un iluminador para iluminar el ojo, y al menos un sensor de imagen, o cámara, para capturar imágenes del ojo. El iluminador puede comprender, por ejemplo, al menos dos fuentes de luz, tales como diodos emisores de luz, dispuestas para generar al menos dos destellos en la córnea del ojo. La luz emitida por el iluminador puede ser, en algunos ejemplos, luz infrarroja o de infrarrojo cercano.

Según un tercer aspecto, se describe un dispositivo adaptado a ser usado por un usuario. El dispositivo puede ser, p. ej., auriculares de realidad virtual o un par de gafas de realidad aumentada. El dispositivo puede comprender al menos un iluminador para iluminar un ojo del usuario, al menos una cámara para capturar imágenes del ojo y un sistema de circuitos. El sistema de circuitos puede configurarse para obtener un primer desvío angular entre una primera dirección ocular y una primera dirección de la mirada del ojo que tiene un primer tamaño de la pupila, obtener un segundo desvío angular entre una segunda dirección ocular y una segunda dirección de la mirada del ojo que tiene un segundo tamaño de la pupila, y formar, basándose en el primer desvío angular y el segundo desvío angular, un modelo de compensación que describe un desvío angular estimado en función del tamaño de la pupila.

Los ejemplos del método del primer aspecto pueden realizarse mediante el sistema de cualquiera de los ejemplos del segundo aspecto, o mediante el dispositivo del tercer aspecto o mediante el sistema de circuitos comprendido en tales sistemas/dispositivos.

Según un cuarto aspecto, se describe un producto de programa informático que comprende una o más instrucciones ejecutables por ordenador que, cuando son ejecutadas por un sistema informático que implementa el procesamiento de datos oculares/de mirada, hacen que el sistema informático realice un método. El método puede ser, por ejemplo, el método según el primer aspecto.

Los ejemplos del uno o más medios de almacenamiento legibles por ordenador según el tercer aspecto pueden incluir, por ejemplo, características que corresponden a las características de cualquiera de los ejemplos del sistema según el segundo aspecto o el dispositivo según el tercer aspecto.

El uno o más medios legibles por ordenador pueden ser por ejemplo uno o más medios legibles por ordenador no transitorios.

Cabe señalar que los ejemplos de la descripción se refieren a todas las combinaciones posibles de características mencionadas en las reivindicaciones.

La presente descripción se refiere a una tecnología en la que un desvío posicional de la pupila de un usuario con respecto al centro del limbo del ojo puede muestrearse de manera continua o muestrearse periódicamente, p. ej., durante un procedimiento de calibración tal como uno que soporte la calibración continua de un sistema de seguimiento ocular mientras este sistema está siendo utilizado realmente por un usuario final, y empleado para el seguimiento posterior de los movimientos del ojo. Las técnicas descritas en la presente memoria definen un sistema de coordenadas que está fijado en el ojo, con el origen en el centro del ojo y un eje que apunta en la dirección del ojo (p. ej., una dirección del ojo). Por ejemplo, el origen puede ubicarse en el centro de una representación esférica supuesta de la córnea y el eje z puede extenderse a través del centro del limbo. El centro de la pupila puede identificarse dentro de este sistema de coordenadas y representarse por un vector tridimensional. El centro de la pupila difiere del centro del limbo y puede ser exagerado en ciertas condiciones de iluminación y/o depender del sujeto. A medida que cambia el tamaño de la pupila, la posición del centro de la pupila dentro del ojo se desvía con respecto al sistema de coordenadas fijado en el ojo. En particular, el ojo puede desviarse o moverse hacia abajo y hacia el interior en la dirección de la parte inferior de la nariz. Las técnicas descritas en la presente memoria miden este movimiento y producen un modelo o parámetros de desvío para que el modelo de calibración tenga en cuenta dicho movimiento.

Por ejemplo, las técnicas descritas en la presente memoria pueden tener en cuenta esta diferencia a medida que cambia con el tiempo con respecto a un radio de la pupila. Ante todo, las mediciones del centro del limbo, del centro de la pupila y del radio de la pupila pueden obtenerse en una cierta frecuencia de muestreo. Estas mediciones se utilizan a continuación para formar un modelo de desvío que representa el cambio en la ubicación de la pupila y el radio de la pupila. Los parámetros del modelo de desvío se utilizan mediante un algoritmo de seguimiento ocular para compensar este cambio. El modelo de desvío, como se describe en la presente memoria, tiene características similares al modelo de compensación descrito en la presente memoria.

El muestreo puede realizarse en cualquier frecuencia adecuada y los parámetros pueden actualizarse en la misma frecuencia o en una frecuencia diferente. Las técnicas descritas en la presente memoria se pueden realizar en un segundo plano mientras un sistema de seguimiento ocular hace un seguimiento de los ojos del sujeto. En la mayoría de los casos, el sujeto ni siquiera sabrá que esta técnica de calibración constante y continua está ocurriendo. Debido a que la calibración se realiza de manera constante y continua, hay menos interrupciones para el sujeto, en comparación con los enfoques de calibración dedicados. Esto da como resultado un proceso más eficiente con menos fricción en comparación con los enfoques de calibración dedicados. Esto se debe a que no se requiere que el sujeto realice ninguna selección, haga clic en ningún botón, navegue a través de ninguna interfaz de usuario o siga alguna rutina predeterminada, cualquiera de los cuales constituye interrupciones en la experiencia del sujeto con el sistema de seguimiento ocular.

De manera adicional, la función del sistema de seguimiento ocular mejora puesto que la calibración constante proporciona un conjunto de datos más rico y completo, en comparación con los enfoques de calibración dedicados, lo que da como resultado un mejor control del usuario de un sistema informático por medio del sistema de seguimiento ocular. El conjunto de datos no solo es más completo, sino que asimismo tiene en cuenta el contexto, p. ej., específico del sujeto y las condiciones actuales tales como la luz ambiental y la orientación del sistema de seguimiento ocular con respecto al sujeto. Por lo tanto, a medida que se recopilan datos de calibración actualizados, la calibración del sistema de seguimiento ocular también se actualiza para tener en cuenta las condiciones actuales.

Las mejoras descritas en la presente memoria constituyen mejoras en la tecnología informática puesto que los sistemas de seguimiento ocular pueden utilizarse como medios de interfaz para un ordenador.

Por consiguiente, según un primer aspecto, se describe en la presente memoria un método que incluye las operaciones que incluyen, al menos, determinar, según una frecuencia de muestreo, un conjunto de valores del centro del limbo de un limbo de un ojo del usuario, determinar, según la frecuencia de muestreo, un conjunto de valores del centro de la pupila de una pupila del ojo del usuario, determinar, según la frecuencia de muestreo, un conjunto de valores del radio de la pupila, y formar un modelo de desvío basándose en (i) el conjunto de valores del centro del limbo, (ii) el conjunto de valores del centro de la pupila, y (iii) el conjunto de valores del radio, describiendo el modelo de desvío un desvío estimado entre un centro del limbo y un centro de la pupila en función del tamaño de la pupila.

Según un segundo aspecto, se proporciona un sistema que incluye un sistema de circuitos configurado para realizar un proceso como se describe en el primer aspecto.

Según un tercer aspecto, se proporciona un dispositivo que está adaptado para ser usado por un usuario. El dispositivo puede ser, por ejemplo, auriculares de realidad virtual o un par de gafas de realidad aumentada. El dispositivo puede incluir al menos un iluminador para iluminar un ojo del usuario, al menos una cámara para capturar imágenes del ojo y un sistema de circuitos. El sistema de circuitos puede configurarse para realizar el proceso descrito con respecto al primer aspecto.

Según un cuarto aspecto, se proporciona un dispositivo de almacenamiento legible por ordenador configurado para almacenar instrucciones para realizar un proceso como se describe en el primer aspecto.

Lo anterior, así como los objetivos, las características y las ventajas adicionales de la presente descripción, se entenderán mejor a través de la siguiente descripción detallada ilustrativa y no limitante, con referencia a los dibujos adjuntos. En los dibujos, se utilizarán números de referencia iguales para elementos iguales salvo que se indique lo contrario.

La FIG. 1 muestra un sistema 100 de seguimiento ocular (que también puede denominarse sistema de seguimiento de la mirada) según un ejemplo. El sistema 100 puede comprender iluminadores 111, 112 para iluminar un ojo de un usuario, y un sensor 113 de imagen (que también se puede denominar sensor de luz) para capturar imágenes del ojo del usuario. Los iluminadores 111, 112 pueden ser por ejemplo diodos emisores de luz que emiten luz en la banda de frecuencia del infrarrojo o en la banda de frecuencia del infrarrojo cercano. El sensor 113 de luz puede ser por ejemplo una cámara, tal como una cámara de complementary metal oxide semiconductor (semiconductor de óxido metálico complementario - CMOS) o una cámara con charged coupled device (dispositivo de carga acoplada -CCD).

Puede disponerse un primer iluminador 111 coaxialmente con el (o cerca del) sensor 113 de imagen, de manera que el sensor 113 de imagen pueda capturar imágenes de la pupila brillante del ojo del usuario. Debido a la disposición coaxial del primer iluminador 111 y del sensor 113 de imagen, la luz reflejada desde la retina del ojo regresa a través de la pupila hacia el sensor 113 de imagen, de manera que la pupila pueda parecer más brillante que el iris que la rodea en imágenes donde el primer iluminador 111 ilumina el ojo. Un segundo iluminador 112 se puede disponer no coaxialmente con el (o más lejos del) sensor 113 de imagen para capturar imágenes de pupilas oscuras. Debido a la disposición no coaxial del segundo iluminador 112 y del sensor 113 de imagen, la luz reflejada desde la retina del ojo no alcanza el sensor 113 de imagen, y la pupila puede parecer más oscura que el iris que lo rodea en imágenes donde el segundo iluminador 112 ilumina el ojo. Los iluminadores 111 y 112 pueden por ejemplo turnarse para iluminar el ojo, de manera que cada segunda imagen sea una imagen de la pupila brillante y cada segunda imagen sea una imagen de la pupila oscura.

El sistema 100 de seguimiento ocular puede comprender además un sistema 120 de circuitos (por ejemplo que incluya uno o más procesadores) para procesar las imágenes capturadas por el sensor 113 de imagen. El sistema 120 de circuitos puede estar conectado por ejemplo al sensor 113 de imagen y a los iluminadores 111, 112 mediante una conexión alámbrica o inalámbrica. En otro ejemplo, el sistema 120 de circuitos en forma de uno o más procesadores puede proporcionarse en una o más capas apiladas debajo de la superficie sensible a la luz del sensor 113 de imagen.

La FIG. 2 muestra un ejemplo de una imagen de un ojo 200, capturada por el sensor 113 de imagen según se describe en relación con el sistema 100 de la figura 1. El sistema 120 de circuitos puede emplear, por ejemplo, procesamiento de imágenes (tal como procesamiento de imágenes digitales) para extraer las características de la imagen. El sistema 120 de circuitos puede configurarse por ejemplo para estimar un tamaño de la pupila 210, p. ej., en términos de un radio, y la posición de un centro de la pupila. El sistema 120 de circuitos puede configurarse además para estimar la posición del centro de los destellos 120 provocados por el reflejo de la luz desde los iluminadores 111, 112, y calcular a partir de estas posiciones hacia donde está apuntando el ojo 200 del usuario. Dado que típicamente hay un desvío entre el centro óptico del ojo 200 y la fóvea, el procesador realiza la calibración del desvío de la fóvea para ser capaz de determinar dónde está mirando el usuario. Esto se describirá en mayor detalle con referencia a las Figuras 3 y 4.

En los ejemplos descritos con referencia a las Figuras 1 y 2, los iluminadores 111, 112 se pueden disponer en un módulo 110 de seguimiento ocular colocado debajo de un sistema de representación observado por el usuario. Esta disposición solo sirve como ejemplo. Se apreciará que, más o menos, puede emplearse cualquier número de iluminadores y sensores de imagen para el seguimiento ocular, y que tales iluminadores y sensores de imagen se pueden distribuir de muchas maneras diferentes con respecto al usuario y cualquier escena o sistema de representación observado por el usuario. Se apreciará que el esquema de seguimiento ocular descrito en la presente descripción puede emplearse por ejemplo para el seguimiento ocular remoto (por ejemplo en un ordenador personal, un teléfono inteligente o integrado en un vehículo) o para el seguimiento ocular portátil (tal como en gafas de realidad virtual o gafas de realidad aumentada).

Ahora se describirá un ejemplo de cómo determinar la dirección ocular y el desvío angular entre la dirección ocular y la dirección de la mirada con referencia a la Figura 3. La FIG. 3 muestra una sección transversal de diferentes partes de un ojo 300. La córnea 310 tiene una región central 311 que generalmente puede tener una curvatura tridimensional que puede ser cercana a la esférica y una región externa 312 que puede ser menos esférica. Por lo tanto, la córnea 310 puede aproximarse a una parte de la superficie de la esfera 330 (ilustrada por una línea discontinua en la presente figura), que tenga un punto 314 central y tridimensional estimado ubicado dentro del ojo. En otras palabras, al menos una parte de la superficie de la córnea del ojo puede aproximarse a una forma que puede inscribirse en, o adaptarse a, una parte de una superficie de una esfera imaginaria 330. El punto central también puede denominarse centro 314 esférico de la córnea y puede calcularse a partir de la posición de los destellos 220 sobre la superficie de la córnea. El centro 314 esférico de la córnea y la ubicación estimada del centro 350 de la pupila (también determinada a partir de datos de imagen) definen el eje óptico, también denominado Dirección Ocular DO del ojo 300. Como se ilustra en la Figura 3, el eje óptico DO puede extenderse desde la retina a través del centro 314 esférico de la córnea, el centro 350 de la pupila y la córnea. Como el eje óptico puede obtenerse a partir del centro 314 esférico estimado de la córnea y del centro 350 de la pupila, también puede variar a medida que varía la ubicación del centro 350 de la pupila.

Entretanto, el eje visual, también denominado Dirección DM de la Mirada, se extiende desde la fóvea 313, a través del centro 314 esférico de la córnea. Por lo tanto, el eje visual puede determinarse por la ubicación física de la parte foveal de la retina y la configuración de la córnea y, por lo tanto, puede ser menos sensible a las variaciones del tamaño y de la ubicación de la pupila. La orientación del eje visual, o la dirección DM de la mirada, puede determinarse durante la calibración del sistema, cuando el usuario observa un punto de observación que tiene una posición conocida.

Como se ilustra, el eje visual DM puede desviarse del eje óptico DO mediante un desvío angular a. Este desvío puede determinarse por medio de un proceso de calibración, en el que se compare la dirección DM de la mirada conocida con la dirección ocular DO. Aunque el ejemplo ilustrado muestra un desvío angular en el plano del papel, se comprenderá que el desvío también puede orientarse en una dirección normal a ese plano o en cualquier combinación de las mismas. Por consiguiente, el desvío angular a entre la dirección ocular DO y la dirección DM de la mirada puede estar representado por un vector que indique el desvío por ejemplo en las direcciones medial-lateral y craneal-caudal del globo ocular.

La FIG. 3 también muestra una esclerótica 320, un limbo 315 y un iris 322 del ojo 300. El limbo 315 es la ubicación en el ojo 300 donde la esclerótica 320 interseca el iris 322. En otras palabras, el limbo 315 representa el perímetro del iris 322. El limbo 315 está fijado relativamente dentro del ojo 300. La pupila 31 El punto en el ojo donde la esclerótica 320 se encuentra con el 324, sin embargo, se mueve considerablemente dentro del ojo 300. Como se describe con referencia a otras figuras, el centro 350 de la pupila puede compararse con un centro 360 del limbo (que aparece alineado en la vista mostrada en la FIG. 3) con el fin de formar el modelo de desvío descrito en la presente memoria.

La FIG. 4a muestra vistas en perspectiva de un ojo 400 en donde la pupila 410 tiene un primer tamaño, o radio, R1. La FIG. 4b es una vista en perspectiva del mismo ojo 400 que tiene un segundo tamaño R2 de la pupila. El tamaño de la pupila puede variar, por ejemplo, con la intensidad de iluminación, donde se sabe que un aumento de la intensidad hace que el iris 410 se contraiga, y una reducción de la intensidad puede hacer que el iris 420 se dilate. Este es un efecto conocido para aplicaciones en las que el ojo se expone por ejemplo a la luz ambiental, tales como aplicaciones de realidad aumentada, o a un brillo dinámico de un sistema de representación.

La ubicación del centro 451, 452 de la pupila puede desplazarse con el cambio de tamaño de la pupila, lo que puede afectar a la dirección ocular DO estimada y, por consiguiente, al desvío angular utilizado para calcular la dirección DM de la mirada. En las presentes figuras, el desplazamiento en la posición medial/lateral del centro de la pupila del ojo se indica por el desvío angular a1, a2, lo que sugiere que el centro de la pupila del presente ejemplo se desplaza hacia arriba (en la dirección craneal) con respecto a un punto central c del ojo a medida que el tamaño de la pupila se reduce desde el primer tamaño R1 hasta el segundo tamaño R2.

En la Figura 4a, el ojo 400 tiene un primer tamaño R1 de la pupila dilatada, con el primer desvío angular a1 entre la primera dirección ocular DO1 y la primera dirección DM1 de la mirada. Si la ubicación del centro 451 de la pupila se desplaza, por ejemplo debido a una constricción del iris 410, la dirección ocular DO1 estimada puede cambiar como se ilustra en la Figura 4b, que muestra que el ojo 400 tiene un segundo tamaño R2 de la pupila contraída dando lugar a un segundo desvío angular a2 entre la segunda dirección ocular DO2 y la segunda dirección DM2 de la mirada. Por lo tanto, se observará que la primera y la segunda dirección ocular DO1, DO2 pueden diferir entre sí debido al desplazamiento en la posición central de la pupila, mientras que la primera y la segunda dirección DM1, DM2 de la mirada (que, en este ejemplo pueden estar definidas por el punto central c) pueden verse menos afectadas por el desplazamiento en la posición de la pupila. En algunos ejemplos, puede suponerse que la dirección DM1, DM2 de la mirada es la misma para ambos tamaños R1, R2 de la pupila.

Por consiguiente, el desplazamiento de la ubicación 451,452 del centro de la pupila puede producir un cambio en el desvío angular desde un primer desvío angular a1 hasta un segundo desvío angular a2. Esta relación permite la cartografía del desvío angular a1, a2 frente a diferentes tamaños R1, R2 de la pupila durante por ejemplo una calibración del sistema, es decir, cuando el usuario observa un punto en el espacio que tiene una ubicación conocida. Basándose en esta información, puede formarse un modelo de compensación que describe el desvío angular estimado en función del tamaño de la pupila. Alternativa o adicionalmente, se puede unir la intensidad de iluminación al desvío angular a1, a2 para formar un modelo similar del desvío en función de la intensidad de iluminación. Preferiblemente, tal modelo debe calibrarse para cada usuario individual, ya que se puede suponer que el iris de diferentes usuarios reacciona de manera diferente a diferentes intensidades de iluminación.

En un ejemplo, puede estimarse el desvío angular a para un tamaño de la pupila específico mediante una aproximación lineal. Dicho de otra manera, el desvío angular puede describirse mediante la siguiente expresión:

donde a es el desvío angular entre la dirección DM de la mirada y la dirección ocular DO, R es el radio de la pupila (preferiblemente obtenido a partir de una imagen del ojo) y k y m son constantes configuradas por ejemplo durante la calibración. El modelo puede determinarse basándose en al menos dos puntos medidos, p. ej., un primer y un segundo tamaño de la pupila, y un primer y segundo valor de desvío angular correspondiente. Sin embargo, se apreciará que la presente descripción no se limita bajo ningún concepto a aproximaciones lineales basadas en dos mediciones. Pueden utilizarse otros modelos, tales como aproximaciones polinómicas de orden superior, junto con un conjunto de datos que comprenda tres o más tamaños de la pupila y desvíos angulares diferentes. La siguiente relación matemática es un ejemplo de un modelo polinómico de orden superior:

i - n

a(R) = ^ atR l

i = 0

eran R es el radio de la pupila, n, el grado (u orden) polinómico, y a el conjunto de parámetros determinado durante la calibración.

La FIG. 5 es un diagrama de flujo de un método según un ejemplo de la presente descripción. El método puede realizarse por ejemplo mediante el sistema 100 de seguimiento ocular descrito anteriormente con referencia a la Figura 1, o el sistema 120 de circuitos comprendido en el sistema 100 de seguimiento ocular.

El método comprende obtener 510 un primer desvío angular a1 entre una primera dirección ocular DO1 y una primera dirección DM1 de la mirada de un ojo 300 que tiene un primer tamaño R1 de la pupila; obtener 520 un segundo desvío angular a2 entre una segunda dirección ocular DO2 y una segunda dirección DM2 de la mirada del ojo 300 que tiene un segundo tamaño R2 de la pupila; y formar 530, basándose en el primer desvío angular a1 y el segundo desvío angular a2, un modelo de compensación que describe un desvío angular a estimado en función del tamaño R de la pupila.

El sistema 120 de circuitos del sistema 100 de seguimiento ocular puede realizar una o varias de las etapas anteriores 510, 520, 530. Se apreciará que el sistema 120 de circuitos puede estar integrado en una sola unidad o distribuido entre varias unidades físicamente distintas que pueden disponerse en diferentes ubicaciones. Por lo tanto, según un ejemplo, el primer y segundo desvíos angulares a1, a2 pueden obtenerse en una primera unidad de sistema de circuitos y, después, transmitirse a una segunda unidad de sistema de circuitos en la que se procesen los datos para formar el modelo de compensación.

El primer y segundo desvíos angulares ai, a2 pueden obtenerse a partir de datos de seguimiento de la mirada para el ojo 300 que, a su vez, pueden recuperarse de una imagen del ojo 300. Los datos de seguimiento de la mirada pueden comprender, p. ej., información a partir de la cual puedan obtenerse el centro 350 de la pupila, el tamaño R de la pupila (tal como, p. ej., radio o diámetro) y el centro 314 de la córnea preferiblemente, pero no necesariamente, de una manera similar a la descrita por ejemplo en relación con las Figuras 3a y b. Estas imágenes pueden obtenerse por ejemplo de un sensor de imagen, tal como una cámara, como se describe en relación con la Figura 1. El sensor de imagen se puede disponer para capturar imágenes del ojo 300 que reflejen los destellos de uno o varios iluminadores 111, 112. Las imágenes pueden capturarse a diferentes intensidades de iluminación, por ejemplo en diferentes condiciones de luz ambiental, para obtener información que represente diferentes tamaños R1, R2 de la pupila. En un ejemplo, las imágenes pueden obtenerse durante un procedimiento de calibración en el que el usuario observe posiciones conocidas por ejemplo sobre un sistema de representación. El procedimiento de calibración puede ser por ejemplo un procedimiento de calibración de nueve puntos, en el que el/los ojo/s del usuario se capture/n cuando el usuario observe cada uno de los nueve puntos separados físicamente sobre el sistema de representación.

La FIG. 6 es un diagrama de flujo de un método según un ejemplo, que puede ser similar al método según el ejemplo descrito con referencia a la Figura 5. En el presente ejemplo, puede capturarse 612 una primera imagen, p. ej., mediante un sensor de imagen de un sistema según un ejemplo similar al descrito anteriormente en relación con la Figura 1, del ojo que tiene un primer tamaño R1 de la pupila. La imagen capturada puede analizarse para determinar 614 la primera dirección ocular DO1 basándose en la ubicación del centro 314 esférico estimado de la córnea y la ubicación del centro 350 estimado de la pupila, y para determinar 616 la primera dirección DM1 de la mirada basándose en un punto de observación conocido (por ejemplo, obtenido de un patrón de calibración) y el centro 314 esférico estimado de la córnea. Además, el tamaño R1 de la pupila puede determinarse 618 a partir de la misma imagen. La primera dirección DM1 de la mirada y la primera dirección ocular DO1 pueden utilizarse después para determinar 619 (p. ej., por medio de un procesador o sistema de circuitos) el desvío angular a1 entre las dos direcciones, y para asociar el desvío angular a1 con el tamaño R1 específico de la pupila del ojo cuando se capturó la imagen.

Las etapas anteriores 612-619 pueden repetirse para una segunda imagen del ojo, preferiblemente, que tiene un segundo tamaño R2 de pupila diferente del primer tamaño R1 de la pupila. Por lo tanto, el método puede comprender las etapas de capturar 622 una segunda imagen del ojo, analizar la segunda imagen para determinar 624 la segunda dirección ocular DO2 basándose en la ubicación del centro 314 esférico estimado de la córnea (esta ubicación puede determinarse basándose en la segunda imagen, o recuperarse de una medición previa, tal como, p. ej., datos de calibración almacenados previamente o de la primera imagen), y la ubicación del centro 350 estimado de la pupila (que puede suponerse que difiere del centro estimado de la pupila de la primera imagen, dado que el radio de la pupila varía entre las dos imágenes). Además, el método puede comprender las etapas de determinar 626 la segunda dirección DM2 de la mirada basándose en un punto de observación conocido (que puede ser el mismo punto que para la primera imagen, o un punto en el espacio diferente) y el centro 314 esférico estimado de la córnea. A continuación, puede determinarse 629 el desvío angular a2 entre la segunda dirección DM2 de la mirada y la segunda dirección ocular DO2 y asociarse con el segundo tamaño de la pupila R2, que puede determinarse 628 a partir de la misma imagen.

El primer desvío angular a1, el segundo desvío angular a2 y los tamaños R1, R2 de la pupila respectivos pueden utilizarse en una etapa posterior para formar 630 el modelo de compensación que describa el desvío angular a en función del tamaño R de la pupila. El modelo puede ser por ejemplo un modelo lineal, una aproximación polinómica o una curva s, o un conjunto de entradas de una tabla de búsqueda. El modelo puede almacenarse 640 en un área de almacenamiento del sistema, o enviarse a un área de almacenamiento a la que tiene acceso el sistema (o sistema de circuitos). El área de almacenamiento puede adaptarse además para almacenar 650 las imágenes utilizadas para obtener los desvíos angulares durante el procedimiento de calibración o para almacenar datos sin procesar recuperados de las imágenes para un uso posterior. En caso de obtenerse 660 un desvío angular adicional entre una dirección ocular adicional y una dirección de la mirada adicional del ojo, que tiene un tamaño de la pupila adicional, a partir de una imagen adicional del ojo, este desvío angular adicional puede emplearse para actualizar 670 el modelo de compensación basándose en los datos sin procesar almacenados previamente, el tamaño de la pupila adicional y el desvío angular adicional.

Por lo tanto, se apreciará que el concepto de la presente invención no se limita a métodos en donde solo se utilizan dos imágenes para determinar desvíos angulares, radios de la pupila y el modelo de compensación. Por el contrario, el modelo de compensación puede formarse basándose en datos de seguimiento ocular obtenidos a partir de tres o más imágenes y además puede actualizarse dinámicamente durante el uso del sistema de seguimiento ocular.

La FIG. 7 es un diagrama de flujo de un método según un ejemplo, que puede ser similar a los ejemplos descritos en relación con las Figuras 5 y 6 anteriores. En consecuencia, el método puede comprender las etapas de obtener 710 un primer desvío angular a1 entre una primera dirección ocular DO1 y una primera dirección DM1 de la mirada de un ojo que tiene un primer tamaño R1 de la pupila, obtener 720 un segundo desvío angular a2 entre una segunda dirección ocular DO2 y una segunda dirección DM2 de la mirada del ojo cuando el ojo tiene un segundo tamaño R2 de la pupila, y formar 730, basándose en el primer desvío angular a1 y el segundo desvío angular a2, un modelo de compensación del desvío angular a estimado en función del tamaño R de la pupila para el ojo.

En una parte posterior del método, el modelo de compensación puede emplearse para seguir la mirada durante el uso. Por lo tanto, el método según el presente ejemplo puede comprender las etapas adicionales de obtener 740 una tercera dirección ocular DO3, determinar 742 el tamaño R3 de la pupila y utilizar el modelo de compensación para determinar 750 el desvío angular a asociado con el tamaño R3 de la pupila determinado. A continuación, puede utilizarse el desvío angular a para calcular 760 la tercera dirección DM3 de la mirada del ojo. Las etapas descritas anteriormente, es decir, las etapas de obtener 740 la tercera dirección ocular, determinar el tamaño 742 de la pupila, determinar el desvío angular 750 y aplicar el desvío a la tercera dirección ocular DO3 para obtener el tercer punto de observación DM3 pueden realizarse repetidamente para lograr un seguimiento activo de la mirada durante el uso del sistema.

La FIG. 8 es un diagrama de bloques que ilustra un sistema 800 informático especializado en donde pueden implementarse ejemplos de la presente descripción. Este ejemplo ilustra un sistema 800 informático especializado tal como el que puede utilizarse, en su totalidad, en parte o con diversas modificaciones, para proporcionar las funciones de los componentes descritos en la presente memoria.

Se muestra un sistema 800 informático especializado que comprende elementos de hardware que pueden estar acoplados eléctricamente a través de un bus 890. Los elementos de hardware pueden incluir una o más unidades 810 de procesamiento central, uno o más dispositivos 820 de entrada (p. ej., un ratón, un teclado, un dispositivo de seguimiento ocular, etc.) y uno o más dispositivos 830 de salida (p. ej., un dispositivo de visualización, una impresora, etc.). El sistema 800 informático especializado también puede incluir uno o más dispositivo 840 de almacenamiento. A modo de ejemplo, el dispositivo o los dispositivos 840 de almacenamiento pueden ser unidades de disco, dispositivos de almacenamiento óptico, dispositivo de almacenamiento en estado sólido tales como una memoria de acceso aleatorio (RAM) y/o una memoria de solo lectura (ROM), que pueden ser programables, actualizables por memoria flash y/o similares.

El sistema 800 informático especializado puede incluir de forma adicional un lector 850 de medios de almacenamiento legibles por ordenador, un sistema 860 de comunicaciones (p. ej., un módem, una tarjeta de red (inalámbrica o por cable), un dispositivo de comunicación infrarroja, un dispositivo Bluetooth™, un dispositivo de comunicación celular, etc.) y una memoria funcional 880, que puede incluir dispositivos RAM y ROM, como se ha descrito anteriormente. En algunos ejemplos, el sistema 800 informático especializado puede incluir también una unidad 870 de aceleración de procesamiento, que puede incluir un procesador de señales digitales, un procesador de propósito especial y/o similares.

El lector 850 de medios de almacenamiento legibles por ordenador puede conectarse además a un medio de almacenamiento legible por ordenador, representando juntos (y, opcionalmente, en combinación con uno o más dispositivos 840 de almacenamiento) de manera exhaustiva dispositivos de almacenamiento remotos, locales, fijos y/o extraíbles más medios de almacenamiento para contener de manera temporal y/o más permanente información legible por ordenador. El sistema 860 de comunicaciones puede permitir que los datos se intercambien con una red, un sistema, un ordenador y/u otro componente descrito anteriormente.

El sistema 800 informático especializado también puede comprender elementos de software, que se muestran situados actualmente dentro de una memoria funcional 880, que incluye un sistema operativo 884 y/u otro código 888. Debe apreciarse que los ejemplos alternativos del sistema 800 informático especializado pueden admitir numerosas variaciones con respecto a los descritos anteriormente. Por ejemplo, también podría utilizarse hardware personalizado y/o podrían implementarse elementos particulares en hardware, software (incluido software portátil, tal como applets) o ambos. Además, también puede producirse la conexión a otros dispositivos informáticos, tales como dispositivos de entrada/salida de red y de captación de datos.

El software del sistema 800 informático especializado puede incluir un código 888 para implementar cualquiera o la totalidad de las funciones de los diversos elementos de la arquitectura como se ha descrito en la presente memoria. Por ejemplo, software, almacenado en y/o ejecutado por un sistema informático especializado, tal como el sistema 800 informático especializado, puede proporcionar las funciones de los componentes de la descripción, tales como las descritas anteriormente. Los métodos implementables mediante software en algunos de estos componentes se han analizado anteriormente con mayor detalle.

Las FIGS. 9a y 9b muestran vistas 902A y 902B de perfil lateral y vistas frontales 904A y 904B de un ojo 900. El ojo 900 incluye una córnea 910, una esclerótica 914 y un limbo 916. La córnea 910 del ojo 900 está representada por una esfera, con un eje tridimensional que tiene un punto 912 de origen en el centro de la córnea 910. En este ejemplo, un eje del eje tridimensional se extiende a través de un centro del limbo 916, que tiene un centro del limbo en 918A y 918B, respectivamente.

Como se describe en la presente memoria, la posición de una pupila 906 con respecto al limbo 916 puede desviarse a medida que cambia el tamaño 906 de la pupila. Generalmente, la dirección de desviación promedio de la pupila 906 es hacia abajo y hacia el plano nasal. Por ejemplo, después de que la pupila 906 se exponga a una luz brillante (dando como resultado la contracción de la pupila), la pupila 906 puede desviarse hacia abajo y hacia la nariz.

En la FIG. 9a, la pupila 906A tiene un primer tamaño de la pupila, o radio, R1. En la FIG. 9b, la pupila 906B del mismo ojo 900 tiene un segundo tamaño de la pupila, o radio, R2. Además, la posición de un centro 908 de la pupila ha cambiado entre las vistas ilustradas en las FIGS. 9a y 9b con respecto al centro 918 del limbo. En particular, en la FIG.

9a, el centro 908A de la pupila está alineado con el centro 918A del limbo (p. ej., ubicado en la misma posición). En la FIG. 9b, el centro 908B de la pupila está situado debajo y a la izquierda del centro 918B del limbo, lo que significa que la pupila 906 se ha movido o desviado hacia una porción izquierda inferior del ojo 900. El movimiento de las pupilas 906 entre las FIGS. 9a y 9b se ha exagerado para ilustrar el principio de la desviación de la pupila descrito en la presente memoria.

El tamaño de la pupila puede variar, por ejemplo, con la intensidad de la iluminación. Este es un efecto conocido para aplicaciones en las que el ojo se expone por ejemplo a la luz ambiental, tales como aplicaciones de realidad aumentada, o a un brillo dinámico de un sistema de representación.

Las FIGS. 9a y 9b muestran un ejemplo de datos oculares (p. ej., los centros 918 del limbo, los centros 908 de la pupila y los tamaños 906 de la pupila) que pueden medirse en dos instantes de tiempo, p. ej., la FIG. 9a en un primer momento y la FIG. 9b en un segundo momento. Debe entenderse que los datos oculares pueden medirse de manera continua (p. ej., medirse en muchos instantes de tiempo según una cierta frecuencia de muestreo), almacenarse en memoria o accederse a los mismos sobre la marcha, y utilizarse para formar el modelo de desvío. En algunos ejemplos, los datos oculares se obtienen según una frecuencia de muestreo. La frecuencia de muestreo puede corresponder a alguna otra frecuencia a la que se capturan datos acerca del ojo. Por ejemplo, la frecuencia de muestreo puede corresponder a la frecuencia de imagen a la que se capturan imágenes del ojo mediante un dispositivo de captura de imágenes que forma parte de un sistema de seguimiento ocular. Un mecanismo de compartimentación puede ser empleado para dividir los intervalos del radio de la pupila en compartimentos y limitar el número de muestras de cada compartimento. Las muestras también pueden limitarse a encuadres con un ángulo de observación moderado, donde la córnea se coloca de manera más fiable.

Un modelo de desvío para compensar los cambios entre los centros 908 de la pupila con respecto a los centros 918 del limbo en función del tamaño 906 de la pupila puede definirse de la siguiente manera. Supongamos que Cp = el centro 908 de la pupila y c = el centro 918 del limbo en el sistema de coordenadas ocular representado en las FIGS.

9a y 9b. Para medir el desvío entre el centro 908 de la pupila y el centro 918 del limbo, supóngase que y = Cp - c. El modelo de desvío supone que este desvío es una función lineal del tamaño 906 de la pupila, medido como un radio y(r) = kr + m, donde k y m son constantes (con valor vectorial). Un algoritmo de seguimiento ocular observará el tamaño 906 de la pupila y utilizará este desvío, y(r), para estimar la orientación del eje z en el ojo. Un objetivo de muestrear los datos oculares es estimar parámetros de k y m utilizando la función lineal descrita en la presente memoria.

Ante todo, los datos oculares se utilizan para formar un conjunto de muestras de datos (y, r), donde y = Cp - c¡ y r = tamaño 906 de la pupila en términos de un radio de la pupila, Cp = centro 908 de la pupila, y ci = centro 918 del limbo. En este ejemplo, la muestra (y, r) puede corresponder a un vector que tiene tres componentes ([x, y, z], r).

Los datos oculares pueden ser obtenidos utilizando cualquier técnica adecuada de seguimiento ocular y/o análisis ocular. Por ejemplo, los centros 908 de la pupila y los tamaños 906 de la pupila pueden obtenerse de un algoritmo de seguimiento ocular que estima la posición de la córnea en el espacio tridimensional y la orientación del ojo 900. Utilizando la salida de este algoritmo (p. ej., ubicación y orientación de la córnea), se utiliza un modelo de la topología de la superficie de la córnea para proyectar el limbo observado sobre esa superficie. Utilizando esta proyección y un algoritmo que detecta el limbo (p. ej., el borde del iris) en una imagen, se puede obtener la posición del centro 918 del limbo.

Los datos oculares pueden utilizarse para formar y/o ajustar un conjunto de parámetros (k y m) de un modelo de desvío. A medida que los datos oculares continúan creciendo (p. ej., a medida que se miden más muestras a lo largo del tiempo), las muestras de (y, r) continuarán creciendo. Pueden utilizarse métodos estadísticos para determinar cuándo ajustar un modelo de desvío activo. Por ejemplo, un momento apropiado para ajustar el modelo de desvío activo puede ser cuando se pueda determinar con un alto grado de probabilidad que los valores de k y m implícitos por las muestras recogidas (y, r) son diferentes de las estimaciones de k y m en el modelo de desvío activo.

La estimación de k y m puede realizarse mediante un ajuste de mínimos cuadrados en las muestras recogidas. El ajuste puede realizarse asimismo en una forma de a-posterior máxima, si se conoce una antes del valor esperado de los parámetros. Esto puede ser especialmente importante para las componentes z del desvío, qué tan “ profunda” está la pupila dentro del ojo.

En algún punto, el usuario calibrará el algoritmo de seguimiento ocular. La calibración puede compensar un desvío incorrecto de la pupila, pero solo si el desvío es constante. Para abordar este problema, cualquier actualización del modelo de desvío y(r) puede cambiar el valor del desvío que estaba activo durante la calibración. Dado que el radio de la pupila puede variar durante la calibración, este requisito no puede cumplirse exactamente, por lo que se aplica en un sentido de mínimos cuadrados. Supongamos que k y m son los parámetros estimados, km y mc los parámetros que estaban activos durante la calibración y {rc| el conjunto de radios durante la calibración. Entonces la estimación de m se ajusta de la siguiente manera:

m :=argmín^msuma_{r^c}((kr^c+ m) - ( k r + m^¿))A2

Las FIGS. 10a-10c ilustran gráficos de ejemplo que representan componentes (p. ej., componentes x, y, y z) de vectores de posición correspondientes al centro 908 de la pupila y al centro 918 del limbo. La FIG. 10d ilustra un ejemplo de un enfoque de regresión lineal para representar gráficamente el modelo de desvío como una función lineal, y(r) = kr + m.

En la FIG. 10a, la posición en el eje x (del eje tridimensional representado en la FIG. 9 , que es un sistema de coordenadas fijado en el ojo) se compara con el radio de la pupila. La posición del centro del limbo, representada por “+” , permanece más o menos igual a medida que aumenta el valor del radio. La posición del centro de la pupila en el eje x, representada por la “x” , cambia a medida que aumenta el valor del radio.

En la FIG. 10b, la posición en el eje y (del eje tridimensional representado en la FIG. 9) se compara con el radio de la pupila. La posición del centro del limbo, representada por “+” , permanece más o menos igual a medida que aumenta el valor del radio. La posición del centro de la pupila en el eje y, representada por la “x” , cambia a medida que aumenta el valor del radio.

En la FIG. 10c, la posición en el eje z (del eje tridimensional representado en la FIG. 9) se compara con el radio de la pupila. La posición del centro del limbo, representada por “+” , permanece más o menos igual a medida que aumenta el valor del radio. La posición del centro de la pupila en el eje z, representada por la “x” , cambia a medida que aumenta el valor del radio.

En la FIG. 10d, se representan gráficamente las componentes de los vectores de posición. En resumen, la FIG.

10d representa una combinación de los gráficos de las FIGS. 10a-10c. Se ha utilizado una técnica de regresión lineal para la línea de gráfico 1010. La línea 1010 corresponde a la función lineal que es un ejemplo del modelo de desvío descrito en la presente memoria.

Las FIGS. 11 y 12 ilustran un diagrama de flujo de ejemplo que muestra los procesos 1100 y 1200, según al menos unos pocos ejemplos. Estos procesos, y cualquier otro proceso descrito en la presente memoria, se ilustran como diagramas de flujo lógico, donde cada operación de los cuales representa una secuencia de operaciones que puede implementarse en hardware, instrucciones informáticas o una combinación de los mismos. En el contexto de las instrucciones informáticas, las operaciones pueden representar instrucciones ejecutables por ordenador almacenadas en uno o más medios de almacenamiento legibles por ordenador no transitorios que, cuando son ejecutadas por uno o más procesadores, realizan las operaciones mencionadas. Generalmente, las instrucciones ejecutables por ordenador incluyen rutinas, programas, objetos, componentes, estructuras de datos y similares que realizan funciones particulares o implementan tipos particulares de datos. El orden en el que se describen las operaciones no pretende interpretarse como una limitación, y cualquier número de las operaciones descritas puede combinarse en cualquier orden y/o en paralelo para implementar los procesos.

Adicionalmente, algunos, cualquiera o todos los procesos descritos en la presente memoria pueden realizarse bajo el control de uno o más sistemas informáticos configurados con instrucciones ejecutables específicas y pueden implementarse como código (p. ej., instrucciones ejecutables, uno o más programas informáticos, o una o más aplicaciones), ejecutándose conjuntamente en uno o más procesadores, mediante hardware o combinaciones de los mismos. Como se ha señalado anteriormente, el código puede almacenarse en un medio de almacenamiento legible por ordenador no transitorio, por ejemplo, en forma de un programa informático que incluye una pluralidad de instrucciones ejecutables por uno o más procesadores.

La FIG. 11 ilustra un diagrama de flujo de ejemplo que muestra el proceso 1100 para formar un modelo de desvío, según al menos un ejemplo. El proceso 1100 puede realizarse por el sistema informático 800 y/o el sistema 100 de seguimiento ocular.

El proceso 1100 puede comenzar en 1102 determinando un conjunto de valores del centro del limbo de un limbo de un ojo del usuario. El conjunto de valores del centro del limbo puede determinarse en una frecuencia de muestreo. En algunos ejemplos, el conjunto de valores del centro del limbo se determina en un conjunto predefinido de valores de tiempo (p. ej., cada 20 milisegundos, cada 10 milisegundos, o incluso mucho más rápido). El conjunto de valores del centro del limbo puede determinarse con respecto a un sistema de coordenadas tridimensional con un punto de origen en un centro estimado de una córnea del ojo del usuario. El conjunto de valores del centro del limbo puede corresponder a la ubicación de un punto central del limbo a medida que se proyecta en una superficie exterior del ojo del usuario (p. ej., dentro de la córnea) o aún más dentro del ojo. En algunos ejemplos, el conjunto de valores del centro del limbo se determina para los dos ojos del usuario. Cada valor del centro del limbo puede representarse como un vector que tiene tres componentes, una componente x, una componente y, y una componente z. En algunos ejemplos, los valores del centro del limbo pueden corresponder a c en la ecuación y = Cp - c.

En 1104, el proceso 1100 incluye determinar un conjunto de valores del centro de la pupila de una pupila del ojo del usuario. El conjunto de valores del centro de la pupila puede determinarse según la frecuencia de muestreo, p. ej., la misma frecuencia de muestreo a la que se determina el conjunto de valores del centro del limbo. El conjunto de valores del centro de la pupila puede determinarse con respecto al sistema de coordenadas tridimensional descrito en la presente memoria. El conjunto de valores del centro de la pupila puede representar la ubicación de un punto central de la pupila en una superficie exterior del ojo o dentro del ojo. En algunos ejemplos, el conjunto de valores del centro de la pupila se determina para los dos ojos del usuario. Cada valor del centro de la pupila puede representarse como un vector que tiene tres componentes, una componente x, una componente y, y una componente z. En algunos ejemplos, los valores del centro de la pupila pueden corresponder a Cp en la ecuación y = Cp - c.

En 1106, el proceso 1100 incluye determinar un conjunto de valores del radio de la pupila. El conjunto de valores del radio puede determinarse según la frecuencia de muestreo, p. ej., la misma frecuencia de muestreo a la que se determinan el conjunto de valores del centro del limbo y el conjunto de valores del centro de la pupila. De esta manera, los valores del radio individuales pueden medirse al mismo tiempo que se miden los valores del centro del limbo y los valores del centro de la pupila correspondientes. El conjunto de valores del radio representa tamaños de la pupila. En algunos ejemplos, los valores del radio pueden corresponder a r descrito en la presente memoria.

En 1108, el proceso 1100 incluye formar un modelo de desvío. La formación del modelo de desvío puede incluirse de manera tal que se base en (i) el conjunto de valores del centro del limbo, (ii) el conjunto de valores del centro de la pupila, y (iii) el conjunto de valores del radio. Por ejemplo, la formación del modelo de desvío puede incluir el uso del conjunto de valores del centro del limbo, el conjunto de valores del centro de la pupila, y el conjunto de valores del radio para determinar una línea que se ajusta a estos datos en la forma y(r) = kr + m. En algunos ejemplos, el modelo de desvío describe un desvío estimado entre un centro del limbo y un centro de la pupila en función del tamaño de la pupila.

En un ejemplo, determinar el conjunto de valores del centro del limbo incluye medir un primer valor del centro del limbo en un primer momento y medir un segundo valor del centro del limbo en un segundo momento. En este ejemplo, determinar el conjunto de valores del centro de la pupila incluye medir un primer valor del centro de la pupila en el primer momento y medir un segundo valor del centro de la pupila en el segundo momento. En este ejemplo, determinar el conjunto de valores del radio incluye medir un primer valor del radio en el primer momento y medir un segundo valor del radio en el segundo momento.

En algunos ejemplos, la determinación del conjunto de valores del centro del limbo, la determinación del conjunto de valores del centro de la pupila y la determinación del conjunto de valores del radio se realizan al menos mientras un sistema de seguimiento ocular hace un seguimiento del ojo del usuario. De esta manera, el proceso 1100 para formar el modelo de desvío se puede realizar para una calibración continua del sistema de seguimiento ocular.

En un ejemplo, el modelo de desvío incluye una función lineal. En este ejemplo, la formación del modelo de desvío incluye estimar uno o más valores constantes de la función lineal basándose en una técnica de regresión lineal. En estos ejemplos, un primer valor constante del uno o más valores constantes corresponde al parámetro k de la función lineal que representa una pendiente de la función lineal. En este ejemplo, un segundo valor constante del uno o más valores constantes corresponde al parámetro m de la función lineal. El parámetro m puede representar un punto de intersección de la función lineal.

En un ejemplo, el proceso 1100 incluye además determinar un conjunto de valores de desvío comparando el conjunto de valores del centro del limbo con el conjunto de valores del centro de la pupila. En este ejemplo, cada valor de desvío representa un desvío entre una respectiva posición de la pupila con respecto a una respectiva posición del limbo. En este ejemplo, la formación del modelo de desvío se basa además en el conjunto de valores de desvío. La comparación del conjunto de valores del centro del limbo con el conjunto de valores del centro de la pupila puede incluir restar el conjunto de valores del centro del limbo al conjunto de valores del limbo y de la pupila (p. ej., y = Cp - c).

En algunos ejemplos, la formación del modelo de desvío incluye actualizar uno o más valores constantes de un modelo de desvío existente para definir el modelo de desvío.

En algunos ejemplos, el proceso 1100 incluye además utilizar un algoritmo de seguimiento ocular para hacer un seguimiento del ojo del usuario basándose en el modelo de desvío. En algunos ejemplos, el algoritmo de seguimiento ocular puede ser implementado en un dispositivo de seguimiento ocular tal como el dispositivo 100 de seguimiento ocular.

En algunos ejemplos, antes de formar el modelo de desvío, el proceso 1100 incluye además estimar uno o más valores para uno o más parámetros constantes de un algoritmo de seguimiento ocular mediante al menos: representar gráficamente el conjunto de valores de desvío y el conjunto de valores del radio, y estimar el uno o más valores para el uno o más parámetros constantes basándose en una aproximación lineal del conjunto de valores de desvío y del conjunto de valores del radio. Por ejemplo, tal estimación puede incluir el uso de una forma de mínimos cuadrados de aproximación lineal para definir una línea de la forma y(r) = kr + m.

La FIG. 12 ilustra un diagrama de flujo de ejemplo que muestra el proceso 1200 para formar un modelo de desvío, según al menos un ejemplo. El proceso 1200 puede ser realizado por el sistema informático 800 y/o el sistema 100 de seguimiento ocular.

El proceso 1200 puede comenzar en 1202 determinando una pluralidad de posiciones del limbo de un centro del limbo de un limbo de un ojo a medida que cambia una posición de limbo del limbo durante un primer momento.

En 1204, el proceso 1200 incluye determinar una pluralidad de posiciones de la pupila de un centro de la pupila de una pupila del ojo a medida que cambia una posición de pupila de la pupila durante el primer momento.

En 1206, el proceso 1200 incluye determinar una pluralidad de valores de desvío comparando la pluralidad de posiciones del limbo con la pluralidad de posiciones de la pupila, representando cada valor de desvío un desvío entre una respectiva posición de la pupila con respecto a una respectiva posición del limbo.

En 1208, el proceso 1200 incluye determinar una pluralidad de valores del radio de la pupila a medida que cambia un valor del radio de la pupila durante el primer momento.

En 1210, el proceso 1200 incluye estimar uno o más valores para uno o más parámetros constantes de un algoritmo de seguimiento ocular. Esto puede realizarse mediante al menos: representar gráficamente la pluralidad de valores de desvío y la pluralidad de valores del radio, y estimar el uno o más valores para el uno o más parámetros constantes basándose en una aproximación lineal de la pluralidad de valores de desvío y de la pluralidad de valores del radio.

En 1212, el proceso 1200 incluye formar, basándose en el uno o más valores, un modelo de compensación que describe un desvío estimado entre un centro de limbo del limbo y un centro de pupila de la pupila en función del tamaño de la pupila.

El experto en la técnica es consciente de que la presente descripción no se limita de ninguna manera a los ejemplos preferidos descritos anteriormente. Por el contrario, varias modificaciones y variaciones son posibles dentro del alcance de las reivindicaciones adjuntas. Por ejemplo, el experto en la técnica es consciente de que los métodos de seguimiento ocular/de la mirada descritos en la presente descripción se pueden realizar mediante muchos otros sistemas de seguimiento ocular/de la mirada distintos al sistema 100 de seguimiento ocular/de la mirada que se muestra en la Figura 1, por ejemplo utilizando varios iluminadores y varias cámaras.

De forma adicional, los expertos en la técnica pueden comprender y efectuar la variación de los ejemplos descritos al poner en práctica la descripción reivindicada, a partir de un estudio de los dibujos, la descripción y las reivindicaciones adjuntas. En las reivindicaciones, la expresión “que comprende” no excluye otros elementos o etapas, y el artículo indefinido “un” o “una” no excluye una pluralidad. La división de tareas entre unidades funcionales referidas en la presente descripción no corresponde necesariamente a la división en unidades físicamente distintas; por el contrario, un componente físico puede tener múltiples funcionalidades, y una tarea puede llevarse a cabo de manera distribuida, por varios componentes físicos en cooperación. Se puede almacenar/distribuir un programa informático en un medio no transitorio adecuado, tal como un medio de almacenamiento óptico o un medio en estado sólido suministrado junto con o como parte de otro hardware, pero también puede distribuirse de otras formas, tales como a través de Internet u otros sistemas de telecomunicaciones alámbricos o inalámbricos.

El mero hecho de que determinadas medidas/características se mencionen en reivindicaciones dependientes diferentes entre sí no indica que una combinación de estas medidas/características no pueda utilizarse ventajosamente. No es necesario que las etapas del método se realicen en el orden en el que aparecen en la reivindicación o en los ejemplos descritos en la presente memoria, a menos que se describa explícitamente que se requiere un cierto orden. No deberá interpretarse que cualquier signo de referencia en las reivindicaciones está limitando el alcance.

Claims

REIVINDICACIONES

1. Un método (1100) implementado por ordenador, que comprende:

determinar (1102), según una frecuencia de muestreo, un conjunto de valores del centro (918) del limbo de un limbo de un ojo del usuario, en donde determinar el conjunto de valores del centro del limbo comprende medir un primer valor del centro (918A) del limbo en un primer momento y medir un segundo valor del centro (918B) del limbo en un segundo momento; determinar (1104), según la frecuencia de muestreo, un conjunto de valores del centro (908) de la pupila de una pupila del ojo del usuario, en donde determinar el conjunto de valores del centro de la pupila comprende medir un primer valor del centro (908A) de la pupila en el primer momento y medir un segundo valor del centro (908B) de la pupila en el segundo momento; determinar (1106), según la frecuencia de muestreo, un conjunto de valores del radio de la pupila, en donde determinar el conjunto de valores del radio comprende medir un primer valor del radio en el primer momento y medir un segundo valor del radio en el segundo momento; y formar (1108) un modelo de desvío basándose en (i) el conjunto de valores del centro del limbo, (ii) el conjunto de valores del centro de la pupila, y (iii) el conjunto de valores del radio, describiendo el modelo de desvío un desvío estimado entre un centro (918) del limbo y un centro (908) de la pupila en función del tamaño de la pupila, en donde el modelo de desvío está compensando los cambios entre los centros de la pupila con respecto a los centros del limbo en función del tamaño de la pupila;

utilizar un algoritmo de seguimiento ocular para hacer un seguimiento del ojo del usuario basándose en el modelo de desvío.

2. El método implementado por ordenador de la reivindicación 1, en donde la determinación del conjunto de valores del centro del limbo, la determinación del conjunto de valores del centro de la pupila y la determinación del conjunto de valores del radio se realizan al menos mientras un sistema de seguimiento ocular hace un seguimiento del ojo del usuario.

3. El método implementado por ordenador de la reivindicación 1, en donde: el modelo de desvío comprende una función lineal; y formar el modelo de desvío comprende estimar uno o más valores constantes de la función lineal basándose en una técnica de regresión lineal.

4. El método implementado por ordenador de la reivindicación 3, en donde:

un primer valor constante del uno o más valores constantes corresponde al parámetro “ k” de la función lineal que representa una pendiente de la función lineal; y

un segundo valor constante del uno o más valores constantes corresponde al parámetro “ m” de la función lineal, donde el parámetro “ m” representa un punto de intersección de la función lineal.

5. El método implementado por ordenador de la reivindicación 1, en donde:

el método comprende además determinar un conjunto de valores de desvío comparando el conjunto de valores del centro del limbo con el conjunto de valores del centro de la pupila, representando cada valor de desvío un desvío entre una respectiva posición de la pupila con respecto a una respectiva posición del limbo; y

formar el modelo de desvío se basa además en el conjunto de valores de desvío.

6. El método implementado por ordenador de la reivindicación 1, en donde formar el modelo de desvío comprende actualizar uno o más valores constantes de un modelo de desvío existente para definir el modelo de desvío.

7. Un sistema, que comprende:

una memoria configurada para almacenar instrucciones ejecutables por ordenador; y

un procesador configurado para acceder a la memoria y ejecutar las instrucciones ejecutables por ordenador para al menos:

determinar un conjunto de valores del centro (918) del limbo de un limbo de un ojo del usuario, en donde determinar el conjunto de valores del centro del limbo comprende medir un primer valor del centro (918A) del limbo en un primer momento y medir un segundo valor del centro (918B) del limbo en un segundo momento;

determinar un conjunto de valores del centro (908) de la pupila de una pupila del ojo del usuario, en donde determinar el conjunto de valores del centro de la pupila comprende medir un primer valor del centro (908A) de la pupila en el primer momento y medir un segundo valor del centro (908B) de la pupila en el segundo momento;

determinar un conjunto de valores del radio de la pupila, en donde determinar el conjunto de valores del radio comprende medir un primer valor del radio en el primer momento y medir un segundo valor del radio en el segundo momento; y

formar un modelo de desvío basándose en (i) el conjunto de valores del centro del limbo, (ii) el conjunto de valores del centro de la pupila, y (iii) el conjunto de valores del radio, describiendo el modelo de desvío un desvío estimado entre un centro (918) del limbo y un centro (908) de la pupila en función del tamaño de la pupila, en donde el modelo de desvío está compensando los cambios entre los centros de la pupila con respecto a los centros del limbo en función del tamaño de la pupila;

8. El sistema de la reivindicación 7, en donde:

determinar el conjunto de valores del centro del limbo comprende medir un primer valor del centro del limbo en un primer momento y medir un segundo valor del centro del limbo en un segundo momento;

determinar el conjunto de valores del centro de la pupila comprende medir un primer valor del centro de la pupila en el primer momento y medir un segundo valor del centro de la pupila en el segundo momento; y

determinar el conjunto de valores del radio comprende medir un primer valor del radio en el primer momento y medir un segundo valor del radio en el segundo momento.

9. El sistema de la reivindicación 7, en donde:

el procesador está configurado además para determinar un conjunto de valores de desvío comparando el conjunto de valores del centro del limbo con el conjunto de valores del centro de la pupila, representando cada valor de desvío un desvío entre una respectiva posición de la pupila con respecto a una respectiva posición del limbo; y

10. El sistema de la reivindicación 7, en donde la determinación del conjunto de valores del centro del limbo, la determinación del conjunto de valores del centro de la pupila, y la determinación del conjunto de valores del radio se realizan en una frecuencia de muestreo.

11. El sistema de la reivindicación 7, en donde:

el modelo de desvío comprende una función lineal; y

formar el modelo de desvío comprende estimar uno o más valores constantes de la función lineal basándose en una técnica de regresión lineal.

12. El sistema de la reivindicación 11, en donde:

13. Uno o más dispositivos de almacenamiento legibles por ordenador que comprenden instrucciones ejecutables por ordenador que, cuando son ejecutadas por uno o más procesadores, hacen que el uno o más procesadores realicen operaciones que comprenden: