ES2883563T3 - Método y aparato de estimación de la mirada - Google Patents

Abstract

Método para estimar una dirección de la mirada en la que está mirando un usuario, que comprende antes de una fase de prueba (b): a1) una etapa de recuperación de un modelo geométrico de por lo menos un ojo de un usuario, definido por un conjunto de parámetros (U); a2) recuperar un modelo de observación de imagen (f) que expresa la probabilidad de que una imagen dada o un conjunto de imágenes del ojo teniendo en cuenta dicho modelo geométrico para cada configuración de valores del conjunto de parámetros (U); y a continuación, durante la fase de prueba (b): b1) obtener unos datos de observación (X, L) a partir de por lo menos una imagen, incluyendo cada imagen por lo menos un ojo de un usuario; b3-b4) utilizar el modelo de observación de imagen, cuyos parámetros (U) incluyen el eje visual y/u óptico del ojo (o, v), que determina el eje visual y/u óptico del ojo (o, v) que es más probable que produzca dichos datos de observación; b5) utilizar dicho eje visual y/u óptico para recuperar dicha dirección de la mirada.

Description

DESCRIPCIÓN

Método y aparato de estimación de la mirada

Campo de la invención

La presente invención se refiere a un método y a un aparato para estimar la mirada, es decir, la dirección en 3D a la que está mirando actualmente un usuario.

Descripción de la técnica relacionada

Como demostración de atención e interés, la mirada es una señal fundamental para entender las actividades, los comportamientos y el estado de ánimo de las personas, y desempeña un papel importante en muchas aplicaciones y campos de investigación. En psicología y sociología, la información sobre la mirada ayuda a deducir los estados mentales de las personas o su intención y a entender mejor la interacción entre individuos. En particular, la mirada desempeña un papel principal en el proceso de comunicación, tal como para mostrar atención al locutor o indicar a quién se está dirigiendo, lo cual hace que la mirada sea altamente relevante para la interacción humano-robot (HRI). En otro sentido, en interfaces hombre-ordenador (HCI) la información sobre la mirada coordinada con otras entradas de usuario puede conducir al desarrollo de sistemas intuitivos beneficiosos, por ejemplo, para personas con movilidad corporal limitada, o de manera más general para introducir órdenes en sistemas informáticos. Por estos motivos, se ha estudiado bien la estimación de la mirada basada en visión informática.

Algunas técnicas precisas se basan en la geometría de ojo y en reflexiones centro de pupila-córnea con iluminación infrarroja, por ejemplo. Estos métodos requieren hardware de infrarrojos especializado y habitualmente costoso. También se han descrito métodos basados en métodos de luz natural. Algunos métodos incluyen una etapa de extracción de características geométricas de los ojos, por ejemplo, una elipse ajustada a la pupila o formas más complejas que incorporan los párpados. Estos métodos se basan en pequeñas características de la imagen, tales como la posición del centro del iris o la forma exacta de la pupila. Por tanto, requieren imágenes de alto contraste y alta resolución con el fin de distinguir y extraer de manera fiable esas características.

A. Villanueva et al. divulgan, en “A geometric approach to remote eye tracking (Universal Access in the Information Society, Springer, 2009), un método de estimación de la mirada que se basa en un modelo geométrico. El método implica una etapa de aplicación de algoritmos de refracción y proyección a la imagen de la pupila.

D. Witzner et al. resumen, en “ In the Eye of the Beholder: A survey of Modelsfor Eyes and Gaze “(IEEE Transactions on pattern analysis and machine intelligence, vol. 32, n.° 3, 2010), una lista de modelos de ojo adecuados para la detección ocular que pueden utilizarse para la estimación de la mirada.

A. Villanueva et al. divulgan, en “A Novel Gaze Estimation System With One Calibration Point”, publicado en IEEE Transactions on systems, man and cybernetics - parte B (vol. 38, n.° 4, 2008), el diseño de un sistema de seguimiento de la mirada basado en un modelo geométrico. El modelo geométrico se basa en posiciones de reflejos y elipse de la pupila en la imagen captada.

Para evitar esta dificultad de seguimiento de pequeñas características de imagen, también se conocen métodos basados en la apariencia. Estos métodos aprenden un mapeo directo entre una imagen de ojo y los parámetros de la mirada y, por tanto, evitan el seguimiento de características locales. Por ejemplo, se han entrenado redes neuronales para detectar la mirada a partir de una imagen. Estos sistemas requieren habitualmente miles de muestras de entrenamiento o entrenamiento en sesión para funcionar de manera fiable. Por tanto, un inconveniente de los métodos basados en apariencia existentes es que requieren grandes conjuntos de datos de entrenamiento para gestionar variaciones de imagen de ojo debido a la apariencia específica de una persona, postura de la cabeza, escala, iluminación y movimientos de los párpados cuando se aprende un mapeo general, o requieren (menos) datos de entrenamiento por sesión dando como resultado un sobreajuste a la persona y condiciones utilizadas durante la fase de entrenamiento.

Por tanto, un objetivo de la presente invención es resolver o mitigar los inconvenientes de soluciones de la técnica anterior.

En particular, se necesita un método de seguimiento ocular que no se base en hardware especial o cámara de alta resolución. Por ejemplo, con el fin de minimizar la intrusión y adaptarse al movimiento del usuario, se preferirán cámaras remotas con amplio campo de visión, pero conducirán a la dificultad de obtención de imágenes de baja resolución.

Más generalmente, sería ventajoso un método de seguimiento ocular basado en hardware de consumo.

Otro objetivo de la presente invención es proporcionar un método y un aparato que no se basen en la identificación y el seguimiento de características de imagen, pudiendo por tanto abordar detección de baja resolución al tiempo que se mantiene una alta precisión para una resolución de media a alta.

Otro objetivo de la presente invención es proporcionar un método y un aparato que no requieran grandes cantidades de datos de entrenamiento.

Otro objetivo de la presente invención es proporcionar un método y aparato de estimación de la mirada más precisos.

Otro objetivo de la presente invención es proporcionar un método y un aparato que se basen en un modelo geométrico del ojo y, por tanto, puedan adaptarse más fácilmente a nuevos usuarios o nuevas condiciones ambientales, mediante extrapolación a partir de datos existentes.

Otro objetivo de la presente invención es proporcionar un método y un aparato que puedan adaptarse al usuario y a las condiciones dadas a partir de un esfuerzo mínimo o nulo por parte del usuario.

Breve sumario de la invención

Según la invención, estos objetivos se alcanzan por medio de un método para estimar una dirección de la mirada en la que está mirando un usuario, que comprende antes de una fase de prueba (b):

a1) una etapa de recuperación de un modelo geométrico de por lo menos un ojo de un usuario, definido por un conjunto de parámetros (U);

a2) recuperar un modelo de observación de imagen (f) que expresa la probabilidad de que una imagen dada o un conjunto de imágenes del ojo teniendo en cuenta dicho modelo geométrico para cada configuración de valores del conjunto de parámetros (U);

y a continuación, durante la fase de prueba:

b1) obtener datos de observación (X, A) a partir de por lo menos una imagen, incluyendo cada imagen por lo menos un ojo de un usuario;

b3-b4) utilizar el modelo de observación de imagen, cuyos parámetros (U) incluyen el eje visual y/u óptico del ojo (o, v), que determina el eje visual y/u óptico del ojo (o, v) que es más probable que produzca dichos datos de observación;

b5) utilizar dicho eje visual y/u óptico para recuperar dicha dirección de la mirada.

Este modelo geométrico puede comprender información o datos estadísticos adicionales, tales como la desviación estándar del tamaño de globo ocular para una población dada.

Según otro aspecto del método, el modelo geométrico del ojo puede describirse con parámetros específicos del usuario.

Los parámetros específicos del usuario pueden determinarse, por ejemplo, durante una fase de calibración. Los parámetros específicos de usuario pueden derivarse a partir de parámetros geométricos independientes de la persona y/o los datos de calibración.

El método puede comprender además una etapa de recuperación, antes de dicha fase de prueba, de un modelo de observación de imagen que expresa la probabilidad de que una imagen dada o conjunto de imágenes del ojo teniendo en cuenta dicho modelo geométrico.

El modelo de observación de imagen puede ser predefinido.

El modelo de observación de imagen puede definirse durante una fase de calibración supervisada, semisupervisada o no supervisada, basándose en una pluralidad de imágenes de entrenamiento de ojos.

El modelo de observación de imagen puede adaptarse durante la fase de prueba.

Los parámetros de apariencia en el modelo de observación de imagen pueden depender del modelo geométrico. El método no se basa en la identificación de características de imágenes específicas (tal como centro del iris o ajuste de elipse de iris), sino en un ajuste global de un modelo geométrico de ojo dado a los datos de observación (correspondientes a la imagen captada y/o versiones filtradas de la misma) a través del modelo de observación de imagen. Puede haberse hecho que un subconjunto del modelo geométrico sea específico del usuario durante la fase de calibración (tal como el tamaño de globo ocular específico del usuario). Por tanto, este método evita la necesidad de estimación de características locales que, hasta ahora, ha sido un requisito para métodos basados en geometría.

Por tanto, de manera similar a los métodos basados en apariencia, el método utiliza la imagen de ojo captada completa para deducir los parámetros de mirada. Sin embargo, en vez de utilizar un mapeo directo de la imagen de ojo con respecto a parámetros de mirada, interpreta los datos visuales utilizando un modelo de observación de imagen que permite evaluar lo bien que se ajusta una configuración geométrica dada (por ejemplo, tamaño de globo ocular, orientación de ojo, etc.) a los datos visuales. Dicho de otro modo, el método utiliza por tanto un procedimiento generativo geométrico de apariencia para modelar imágenes de ojo.

Por tanto, el método encuentra una configuración geométrica adecuada, incluyendo la dirección de la mirada (definida por la orientación del eje visual y/u óptico), optimizando el modelo de observación de imagen sobre los datos (imagen y/o versiones filtradas de la misma).

Esta formulación evita la detección de características locales, que se requieren en métodos anteriores basados en geometría.

El método presenta importantes ventajas:

(i) puede adaptarse a un usuario dado a partir de menos muestras de entrenamiento. Las muestras de entrenamiento solo se necesitan para establecer un modelo del ojo específico del usuario. Puede haberse establecido un modelo geométrico independiente de usuario a partir de muestras de entrenamiento de diferentes individuos y/o a partir de informes estadísticos para una población dada. A continuación, puede adaptarse este modelo geométrico independiente de usuario a un usuario específico y hacerse que sea específico del usuario.

(ii) En una forma de realización, el método puede adaptarse a diferentes condiciones de iluminación dado que las observaciones de color real pasan a ser independientes de la geometría. Con el fin de lograr esto, una segmentación paramétrica de la imagen del ojo puede ser un elemento del modelo de observación de imagen.

(iii) El método puede gestionar mejor la obtención de imágenes de baja resolución en comparación con un método de seguimiento de características (por ejemplo, ajuste de elipse) al tiempo que proporciona buenos resultados con una resolución media.

(iv ) El método, dado que se basa en la descripción geométrica del globo ocular, puede gestionar direcciones de la mirada no observadas en la fase de calibración. Por tanto, puede extrapolar a partir de los datos de calibración permitiendo procedimientos de calibración menos restrictivos.

Por tanto, el método está bien adaptado para la detección de la mirada y el seguimiento de la mirada a partir de imágenes captadas con cámaras de consumo, incluyendo, por ejemplo, cámaras de RGB-D de consumo.

El modelo geométrico ojo puede comprender una pluralidad de parámetros, por ejemplo, todos los parámetros, de la siguiente lista:

el centro de rotación del globo ocular (p^c );

la desviación del eje visual (k);

la distancia del punto nodal desde p^c (d);

el radio del globo ocular (r^e);

el radio de la córnea (r^c);

las esquinas del ojo izquierdo y/o derecho (k^l, k^r).

El conjunto de parámetros que definen el modelo geométrico del ojo del usuario puede determinarse durante una fase de calibración supervisada, semisupervisada o no supervisada, basándose en una pluralidad de imágenes de entrenamiento de ojos.

Las imágenes de entrenamiento del ojo del usuario pueden comprender o estar asociadas de otro modo con información adicional, tal como el punto exacto considerado, o datos adicionales que pueden utilizarse para deducir la probabilidad de que un usuario esté mirando a un punto dado. Por ejemplo, las imágenes de entrenamiento del ojo del usuario pueden estar asociadas con otras imágenes, datos de audio, interacción con un ordenador, datos externos, etc., que pueden utilizarse para definir una probabilidad de mirar a determinados puntos. Por ejemplo, es probable que una persona mire a otra en momentos clave, mientras la segunda persona está hablando.

En un ejemplo, los parámetros específicos del usuario se basan en una pluralidad de imágenes en 3D, tales como, por ejemplo, imágenes RGB-D, captadas con un sensor de RGB-D tal como, por ejemplo, un sensor Kinect, Asus Xtion Pro Live o Carmine 1.09 de PrimeSense.

Pueden utilizarse otros tipos de imágenes que incluyen información de profundidad, incluyendo, por ejemplo, imágenes estereoscópicas, plenópticas o en 3d verdaderas.

Por tanto, la determinación de la dirección de la mirada del usuario en la imagen de prueba captada durante la fase en línea implica un ajuste de los datos de observación (incluyendo, por ejemplo, una imagen de prueba y/o datos extraídos, asociados o filtrados a partir de la imagen, tales como bordes) con un caso específico del modelo geométrico, correspondiente a una orientación particular del eje óptico y/o visual del ojo. El ajuste se lleva a cabo evaluando en los datos, utilizando el modelo de observación de imagen, lo adecuada que es una configuración geométrica dada que incluye la orientación del globo ocular.

En una forma de realización preferida, la configuración geométrica que mejor se ajusta a los datos de observación se recupera utilizando un procedimiento de optimización del modelo de observación de imagen evaluado en los datos.

En una forma de realización, la abertura de párpado también se utiliza como parámetros en el modelo.

Este método basado en un modelo generativo está bien adaptado para la detección de la mirada del ojo en imágenes de baja calidad y/o en condiciones variables de captación.

Este método también es más fácil de adaptar a usuarios diferentes y requiere menos entrenamiento que métodos de la técnica anterior basados en aprendizaje automático.

En una forma de realización preferida, el ajuste del modelo geométrico a los datos de observación utiliza una segmentación paramétrica del ojo del usuario en una pluralidad de regiones semánticas. La segmentación paramétrica establece un enlace entre la geometría del globo ocular y las coordenadas de dominio de imagen observadas.

Una segmentación semántica significa, en este contexto, una segmentación de la imagen para dar regiones dependiendo de su diferenciación de función o apariencia. Por ejemplo, las regiones semánticas pueden incluir una pluralidad de regiones de un grupo que incluye la córnea, la esclerótica (blanco del ojo) y la piel (incluyendo el párpado).

La utilización de regiones semánticas permite desacoplar el proceso de mirada y la geometría de usuario con respecto a las condiciones ambientales (apariencia de color - balance de blancos).

La utilización de regiones semánticas, como subproducto del modelo de observación de imagen, evita adicionalmente la difícil tarea de identificar o realizar un seguimiento de características específicas, por ejemplo, el centro del iris.

La segmentación depende del nivel de escala de grises o color observado en cada una de dichas regiones semánticas.

El color de cada píxel de las regiones semánticas en el modelo del ojo puede depender de esa segmentación. Por ejemplo, el color de cada región puede depender de la sesión, o incluso modelos de color dependientes de imagen, es decir modelos de colores determinados a partir de la imagen captada durante la fase de prueba. Esto permite un ajuste del modelo geométrico específico del usuario con la imagen captada que es más independiente de las condiciones de iluminación durante la captación en línea y, por tanto, más fiable. Por tanto, las condiciones ambientales están desacopladas de la geometría específica de usuario.

En una forma de realización preferida, la fase de prueba incluye una rectificación de la imagen captada, con el fin de producir una imagen rectificada como si se hubiera visto desde una postura de cabeza canónica, tal como una postura de la cabeza frontal. Esto resuelve el problema de la apariencia de ojo dependiente de la postura de la cabeza y hace que sea posible deducir la mirada independientemente de la postura de la cabeza y facilita la definición de la función de segmentación de imagen de ojo paramétrica.

La rectificación puede incluir una etapa de ajustar un modelo facial en 3D específico del usuario con la imagen captada durante la fase de prueba y distorsionar la textura según este modelo y la postura de la cabeza estimada mediante el ajuste.

Alternativamente, la etapa de rectificación puede incluir distorsionar la imagen según medidas de profundidad y una estimación de la postura de la cabeza.

El modelo de observación de imagen puede definirse como un modelo probabilístico generativo en el que la configuración geométrica, incluyendo la orientación del globo ocular, son variables latentes probabilísticas. La estimación de la probabilidad de que una imagen dada o conjunto de imágenes se haya generado mediante una configuración geométrica dada se define mediante la distribución posterior de los parámetros geométricos dados los datos observados.

Este modelo probabilístico generativo también puede comprender parámetros de apariencia como variables latentes. Estos pueden incluir parámetros de las distribuciones de color asociadas con las regiones semánticas dentro de la segmentación, por tanto, la deducción también determina los parámetros de modelo de color por imagen asociados con las regiones de segmentación semántica.

El ajuste del modelo geométrico a los datos de observación puede realizarse mediante una optimización del modelo de observación de imagen, para encontrar una configuración geométrica adecuada. Esto puede comprender una metodología de deducción aproximada para encontrar la distribución posterior sobre las variables latentes o los valores específicos, tales como la configuración geométrica y/o parámetros de apariencia máximos a posteriori o de máxima probabilidad.

La deducción aproximada puede comprender una técnica de deducción de variaciones de tal manera que se encuentra una aproximación de la distribución posterior.

El método para la optimización del modelo de imagen puede proporcionar una noción de incertidumbre sobre los parámetros geométricos estimados.

El ajuste de los datos de observación con un caso particular del modelo geométrico mirando en una dirección particular puede implicar una etapa de ajustar la abertura de los párpados y la orientación del eje óptico del ojo. El método puede comprender una etapa de determinar el eje visual y/u óptico del ojo que es más probable que produzca dichos datos de observación que utiliza imágenes que incluyen los dos ojos, y una restricción sobre la relación entre los movimientos de los dos ojos.

El método puede comprender una etapa de determinar el eje visual y/u óptico del ojo en una imagen utilizando un conocimiento de este eje visual y/u óptico en imágenes anteriores o futuras de una misma secuencia.

La invención también se refiere a un aparato para estimar la dirección de la mirada de un usuario, que comprende los siguientes componentes:

una cámara para captar la cara de un usuario;

una base de datos que almacena parámetros faciales y oculares específicos del usuario;

un sistema informático que comprende una memoria que presenta almacenado en la misma un programa informático que comprende un algoritmo que puede llevar a cabo el método descrito en la presente solicitud. La invención también se refiere a un medio de almacenamiento legible por ordenador que presenta grabado en el mismo un programa informático, comprendiendo el programa informático un algoritmo que puede llevar a cabo el método descrito en la presente solicitud.

Breve descripción de los dibujos

A continuación, se entenderá mejor la invención con la ayuda de la descripción de una forma de realización facilitada a título de ejemplo e ilustrada por las figuras, en las que:

La figura 1 es un diagrama de flujo que muestra las principales etapas de un método según la invención. La figura 2 es un diagrama de flujo que muestra las principales etapas de una fase de prueba según la presente invención.

La figura 3 es un diagrama de flujo que detalla la etapa de rectificación según la presente invención.

La figura 4 representa e ilustra esquemáticamente ejemplos de imágenes que pueden utilizarse en diversas etapas de la invención. La parte a) de la figura muestra imágenes utilizadas durante la fase de calibración, es decir, fuera de línea, mientras que la parte b) muestra un ejemplo de imágenes utilizadas durante la fase de prueba (en línea).

La figura 5 ilustra una etapa de generar imágenes segmentadas, específicas de usuario, de un ojo de un usuario.

La figura 6 ilustra esquemáticamente la geometría de un ojo.

La figura 7 ilustra la dirección del vector de mirada o en un sistema de coordenadas de tres ejes.

Descripción detallada de posibles formas de realización de la invención

La figura 1 es un diagrama de flujo que ilustra esquemáticamente dos etapas principales, a y b, del método según una realización de la invención. La etapa a es una fase durante la cual se recupera un modelo geométrico de por lo menos un ojo de un usuario; este modelo geométrico puede estar definido por un conjunto de parámetros U. Además, pueden recuperarse los parámetros (tales como A) de un modelo de observación de imagen f que expresa lo probable que es una imagen dada o conjunto de imágenes del ojo teniendo en cuenta dicho modelo geométrico.

Estas etapas iniciales en la fase a pueden realizarse fuera de línea, preferiblemente para cada usuario. En una realización, el modelo geométrico y el modelo de observación de imagen pueden recuperarse a partir de un conjunto de imágenes del ojo de usuario mirando a una dirección conocida, por ejemplo, durante una sesión de calibración explícita. La calibración puede estar supervisada, no supervisada o parcialmente supervisada.

Alternativamente, esas etapas iniciales a pueden realizarse de manera implícita sin que el usuario lo sepa o realice una acción explícita. El modelo geométrico de usuario y/o el modelo de observación de imagen también pueden recuperarse a partir de imágenes del ojo del usuario captadas durante la sesión en línea, es decir, sin ninguna sesión de calibración explícita.

El modelo geométrico del ojo del usuario también puede recuperarse sin ninguna imagen del ojo del usuario; por ejemplo, puede utilizarse inicialmente un modelo independiente de usuario, por ejemplo, un modelo generado a partir de una pluralidad de imágenes de ojo a partir de diferentes usuarios. En una forma de realización, el modelo geométrico se genera interpolando modelos a partir de diferentes usuarios que comparten algunas características comunes con el usuario (por ejemplo, sexo, edad, etnia; etc.). En otra forma de realización, el modelo geométrico es independiente de usuario y está definido por un conjunto de datos estadísticos geométricos, que pueden recuperarse a partir de estudios anteriores o a partir de los datos de entrenamiento para un conjunto de usuarios.

De manera similar, los parámetros de un modelo de observación de imagen pueden recuperarse a partir de imágenes del ojo del usuario, o sin ninguna imagen del ojo del usuario; por ejemplo, las distribuciones de color de diferentes regiones semánticas de los ojos pueden aprenderse fuera de línea a partir de una pluralidad de imágenes de ojo de otras personas.

El modelo de ojo de este usuario está caracterizado y definido por parámetros específicos del usuario u = {pc,re,rc,k,d,kir} que definen la geometría de ojo fija. Las notaciones se definen en la tabla 1:

Tabla 1

La figura 6 ilustra la geometría del ojo y la definición del eje óptico y visual o, v cuando el ojo está mirando a un objetivo p. El proceso de mirar a un objetivo visual p consiste en hacer rotar el globo ocular alrededor del punto pc de tal manera que el eje visual v intersecta p. El eje visual v es la línea que conecta la fóvea (es decir, el punto de mayor agudeza visual en la retina) y el punto óptico nodal N. Difiere del eje óptico o que es la línea que conecta el centro de la rotación pc y el centro de la pupila. Los dos ejes o, v están parametrizados por los ángulos ^ y 0 en el sistema de coordenadas x, y, z tal como se muestra en la figura 7. Dado que el ojo es un cuerpo rígido, la diferencia entre estos ejes es fija y puede representarse mediante los ángulos dependientes de la persona k = (fa, Qk) tal como v = o k.

Por tanto, si se conocen los parámetros axiales a = (k, d), entonces puede definirse la rotación ocular o como una función específica de usuario de la posición del objetivo p.

En esta forma de realización, se define un modelo de observación de imagen a partir de un procedimiento generativo probabilístico que depende del modelo geométrico. El procedimiento generativo es de la siguiente manera:

i) en primer lugar, se extrae una geometría de ojo específica de usuario (definida por los parámetros U) a partir de un modelo geométrico independiente de usuario definido como una distribución de probabilidades a lo largo de las posibles geometrías de globo ocular humano probables;

ii) a continuación, por cada imagen de muestra, se extrae una orientación de ojo (o, v) y abertura de párpado (u^e , l^e) a partir de una distribución anterior. La orientación de globo ocular estará restringida por la posición p del objetivo visual, si está disponible. La abertura de párpados también puede estar restringida por la orientación de globo ocular extraída;

iii) se extrae si un píxel es un dato aberrante (debido, por ejemplo, a oclusiones o datos que faltan) a partir de una distribución de Bernoulli;

iv) dada la geometría extraída (incluyendo parámetros geométricos específicos del usuario, mirada y abertura de párpados) e indicador de datos aberrantes, se calcula una segmentación semántica de la imagen del ojo a partir de la función de segmentación paramétrica;

v) dada la segmentación, para cada píxel, se extrae un valor de color a partir de la distribución de color definida para la región semántica a la que pertenece el píxel.

Obsérvese que la distribución de color está parametrizada por los parámetros A. En el contexto, estos parámetros también pueden extraerse (en el sentido probabilístico) a partir de distribuciones anteriores.

Los modelos de observación de imagen anteriores permiten definir una probabilidad de imagen (a partir de las probabilidades de color de píxeles individuales) y, por tanto, definir lo bien que se ajusta una configuración de ojo geométrica a los datos, o más generalmente, lo bien que se ajustan algunos parámetros (del modelo geométrico, del modelo de apariencia) a los datos, suponiendo que los demás parámetros vengan dados.

La bondad de ajuste final del modelo de observación de imagen puede definirse combinando la probabilidad de imagen con conocimiento anterior a lo largo de parámetros, por ejemplo, mediante distribuciones a lo largo de los parámetros geométricos. Es decir, la bondad de ajuste del modelo de observación de imagen está definida por la distribución posterior de los parámetros (de geometría) dados los datos de observación. El modelo de observación de imagen puede evaluar la geometría para más de una imagen de manera conjunta, de tal manera que se comparte información entre las imágenes para encontrar soluciones más adecuadas.

Por tanto, el modelo específico del usuario del ojo del usuario puede determinarse a partir de un número suficiente de imágenes de entrenamiento del ojo adquiridas durante la fase de calibración. Dado que la distribución posterior es difícil de derivar de manera analítica, puede utilizarse una formulación de Bayes de variaciones como técnica de deducción aproximada que encuentra la configuración geométrica óptima (parámetros V) que explica de la mejor manera los datos en cuanto a observaciones y distribuciones anteriores tal como se explicó anteriormente.

El procedimiento de deducción también puede beneficiarse de conocer la ubicación de objetivo correspondiente p para un conjunto de imágenes de entrenamiento. Por tanto, se añade la ubicación de objetivo conocida a una parte de los datos observados.

La etapa inicial a, en esta forma de realización, también incluye preferentemente una etapa de generación, a partir de unas pocas imágenes, por ejemplo, imágenes en 3D, de un modelo de malla en 3D de la cabeza del usuario. Este modelo facial se utilizará para la identificación y seguimiento de la postura de la cabeza, tal como se describirá más adelante.

Esta generación de un modelo facial en 3D específico del usuario 5 se ilustra esquemáticamente en la figura 4a. Las 3D se generan a partir de una pluralidad de imágenes, tales como imágenes RGB-D 1, de la cara del usuario vista desde diversas posiciones. Este procedimiento puede implicar un ajuste de un modelo de transformación en 3D (3DMM) a datos en RGB-D lo cual también puede basarse en puntos correspondientes en los múltiples casos (3). Esto da como resultado una malla de forma facial específica de usuario (imagen 3).

La figura 2 es un diagrama de flujo que ilustra algunas etapas de una fase de prueba b según una forma de realización de la presente invención. Esta fase de prueba se lleva a cabo en línea; su propósito es deducir la dirección del eje óptico o (u orientación del globo ocular) y, finalmente, la dirección en 3D a la que está mirando el usuario, basándose en la calibración anterior, postura de la cabeza y en imágenes captadas del usuario.

De manera más precisa, esta fase de prueba b permite recuperar parámetros específicos de imagen V = {o, ue, le] relacionados con la actividad de mirada real: cuál es la orientación del ojo de la persona (caracterizada por o y/o v) y cómo están abiertos los párpados (u^e, l^e). Los parámetros ^A de un modelo de distribución de color pueden definirse para la sesión dada, obtenerse a partir de la fase de calibración o recuperarse (estimarse) a partir de la imagen específica, dado que depende de las condiciones ambientales tales como el balance de blancos y el brillo, por ejemplo

Durante la etapa b1, se capta por lo menos una imagen de la cara del usuario con una cámara, tal como, sin limitación, una cámara de RGB-D tal como una cámara Microsoft Kinect, Asus Xtion Pro Live o Carmine 1.09 de PrimeSense. La imagen incluye por lo menos un ojo de un usuario, o preferiblemente ambos ojos del usuario. La imagen se representa por datos de observación X', por ejemplo, por un archivo de imagen o conjunto de datos en un formato de RGB-D. La imagen puede ser una imagen fija o una trama como parte de una secuencia de vídeo. ^A indica los parámetros de distribución de color de esta imagen.

En la etapa b2, esta imagen se rectifica para recuperar una imagen independiente de la postura de la cabeza, representada por los datos de observación (rectificados) X'. Esta etapa es opcional. Se describirá con mayor detalle con respecto a la figura 3. En resumen, el objetivo de esta etapa es producir, a partir de los datos de imagen X, una imagen facial rectificada como si la cabeza estuviera estática y delante de la cámara, es decir, tal como se observa a partir de una postura de la cabeza frontal. Esto se realiza ajustando, trama a trama, la plantilla de malla en 3D personalizada obtenida durante la fase de calibración a datos de profundidad en X', utilizando puntos más cercanos iterativos. Esto da como resultado, para cada trama t, un vector de rotación en 3D y traslación p^t={R^t, t^t}. La imagen facial rectificada se obtiene transformando los datos en RGB-D X en una malla en 3D texturizada y después volviendo a representar la textura utilizando los parámetros de postura de la cabeza inversos p^t-1 = {R^tT , -R^tTt^t}.

A continuación, en las etapas b3 y b4, pueden determinarse parámetros específicos de imagen V = {o, ue, le}, incluyendo la orientación del eje óptico o relacionados con el sistema de coordenadas de cabeza, a partir de este modelo de malla en 3D rectificado representado por X'.

De manera más precisa, en la etapa b3, se utiliza la técnica de Bayes de variaciones para optimizar el modelo de observación de imagen y encontrar los parámetros geométricos que explican de la mejor manera los datos X'. Los parámetros encontrados son V = {o, ue, le}.

El modelo específico del usuario desacopla la geometría con respecto a las condiciones ambientales, gracias a la segmentación semántica y las distribuciones de color. La segmentación separa una imagen de ojo para dar regiones semánticas (o clases), preferiblemente para dar tres regiones: la córnea (compuesta por la pupila y el iris), la esclerótica (o el blanco del ojo) y la piel. También puede considerarse un número diferente de regiones, por ejemplo, distinguiendo entre pupila e iris, y entre el párpado y la piel alrededor del ojo, por ejemplo, si se dispone de imágenes de alta resolución.

El rectángulo 9 en la figura 5 ilustra el procedimiento de segmentación paramétrica: suponiendo que se conoce un modelo de ojo específico del usuario 10 definido por los parámetros geométricos de ojo del usuario U, entonces cada orientación de ojo o define una segmentación 12 de córnea 111 - esclerótica 110, obtenida como proyección ortogonal 11 del contorno de córnea en 3D en el plano xy, seguido por una transformación a coordenadas de imagen uv. La referencia 112 designa la región de piel, incluyendo los párpados.

Para definir la segmentación de la región de piel, es posible basarse en un subconjunto de los parámetros U que caracterizan a la estructura de párpados (esquinas del ojo k^l y k^r) y otro conjunto que controla la abertura de párpados. En una forma de realización, los párpados superior e inferior se modelan con curvas cuadráticas de Bezier que comparten las comisuras de los párpados. La posición vertical de los puntos de control u^e y l^e define la abertura de los párpados y, por tanto, la segmentación de piel.

Por tanto, es posible generar imágenes segmentadas específicas de usuario, tales como las imágenes 13 en la figura 5, de un ojo de un usuario que mira a cualquier dirección particular definida con el parámetro v y con diversas aberturas de párpados definidas por u^e, l^e .

Los datos de observación correspondientes a la imagen captada pueden incluir una cuarta clase ^X de región, correspondiente a datos aberrantes, tales como, por ejemplo, datos que faltan, oclusiones y reflejos especulares.

La distribución de color X asociada con una clase puede definirse como p(c|^{A l}). La probabilidad de un píxel de color en los datos de observación X' se define entonces simplemente como la probabilidad dada su clase (o bien un dato aberrante o bien una de las tres clases de región de ojo).

Esta segmentación se utiliza para generar imágenes de ojo a color 14 en la figura 5 combinando el modelo segmentado 13 con distribuciones de modelo de color dependiente de imagen A para definir el color de cada región. Por ejemplo, pueden adquirirse muestras de color a partir de una o varias imágenes con el fin de estimar los parámetros de modelo de color que se utilizarán para esas imágenes o para una sesión completa. Esto permite la adaptación a diferentes condiciones de iluminación y contraste.

La tabla 2 ilustra un ejemplo de algoritmo para la estimación de la mirada generativa geométrica. Puede describirse como una extensión estocástica del proceso de mirar hasta la generación de imágenes de ojo específicas de usuario y específicas de condiciones ambientales, en la que algunos parámetros geométricos se definen como variable aleatoria. Puede designarse con

£ - Af(lLx .<Tx)

una variable aleatoria x que se extrae a partir de una distribución gaussiana con una media y desviación estándar CTx, y la notación de “sombrero” (A) para representar los hiperparámetros de una distribución anterior.

Tabla 2

En una forma de realización, el párpado superior se correlaciona con el ángulo de elevación del ojo por medio de un modelo gaussiano lineal. Esto codifica el efecto del párpado superior siguiendo la orientación vertical del ojo.

Las distribuciones anteriores presentan una interpretación semántica y/o anatómica. Por tanto, los hiperparámetros se fijan a valores que pueden encontrarse en la bibliografía (por ejemplo, re “ 12 mm) o son una consecuencia del procesamiento de rectificación de postura (por ejemplo, se sabe dónde se espera que estén las esquinas del ojo a partir del recorte de imagen del ojo).

En la etapa b4 de la figura 2, se deducen el eje visual v y/o el eje óptico o para una imagen captada dada, descrita mediante los parámetros rectificados X. Tal como ya se indicó, el eje óptico o y el eje visual v están relacionados mediante una relación fija dependiente de usuario.

Sea Z las variables latentes que van a deducirse en el método de la tabla 2. Tal como ya se mencionó, X describe los datos observados. Puede que no sea posible o rápido estimar de manera analítica la distribución posterior p(Z|X). Por tanto, en una realización, se utiliza un método de Bayes de variaciones para aproximar Z, utilizando una distribución q(Z).

Esto conduce a la definición del límite inferior de variaciones ‘ • “ J, una función cuya maximización con respecto a q es equivalente a una minimización de la divergencia de Kullback-Leibler entre q(Z) y p(Z|X). Entonces se utiliza el q*(Z) óptimo como sustituto del posterior. Puede utilizarse la siguiente distribución q(Z), utilizando la forma paramétrica:

Todas las variables continuas pueden definirse como gaussianas univariantes. La motivación para este q(Z) es que

es posible calcular las derivadas de con respecto a los parámetros gaussianos. Entonces, pueden calcularse las derivadas utilizando expectativas de Monte Cario para abordar las complejas relaciones en el

presente modelo. Un g(Z) factorizado también permite optimizar de una manera iterativa, en la que se

_{optimiza un factor cada vez, conduciendo a un aumento de} £(q] hasta la convergencia global.

Durante esta fase de prueba, no hay ningún conocimiento sobre la posición de la ubicación de objetivo visual p, pero se conocen los parámetros V que definen la geometría del ojo. En este caso, el propósito del algoritmo de deducción es deducir los parámetros o (eje óptico) y ue, le (abertura de párpado superior e inferior), dadas una o una pluralidad de imágenes captadas.

Finalmente, en la etapa b5 de la figura 2, se recupera la dirección de la mirada en un sistema mundial de coordenadas transformando el eje óptico o en el sistema de coordenadas de la cabeza, utilizando los parámetros de rotación y traslación pt={Rt, tt}.

La figura 3 ilustra una forma de realización de la etapa b2 para rectificar la imagen aptada y generar una imagen independiente de la postura de la cabeza definida por un conjunto de parámetros X y un vector de postura pt. Durante la fase de captación, el método implica recuperar, en la etapa b21, un conjunto de información de profundidad específica de imagen a partir de los datos de observación no rectificados X'. En la etapa b22, se recupera un modelo facial en 3D específico del usuario 5 (generado durante la fase de calibración), tal como un modelo de malla en 3D (3DMM). En la etapa 23, se registra la información de profundidad en datos de observación X' en cada instante con este modelo, utilizando métodos de registro conocidos, tal como se ilustra con la imagen 6 en la figura 4b. Por tanto, es posible, en la etapa b24, recuperar el ángulo de postura de la cabeza Rt y la traslación tt. Se utilizan estos parámetros en la etapa b25 para producir una imagen rectificada 7, definida mediante datos de observación rectificados X, correspondientes a una imagen distorsionada en vista frontal. A continuación, puede recortarse la parte 70 de la imagen rectificada 7 que incluye los ojos en la etapa b26.

Por tanto, el método de rectificación descrito con respecto a la figura 3 se basa en información de profundidad en los datos de observación X' con el fin de ajustar un modelo de malla en 3D. En otra realización, puede utilizarse un elemento de seguimiento de la postura de la cabeza en 3D basándose únicamente en datos de imagen (no en profundidad), por ejemplo, utilizando modelos de apariencia activos. Por tanto, el método puede utilizarse cuando no se dispone de datos de profundidad, es decir, para cámaras monoculares convencionales. En este caso, puede utilizarse una función de segmentación paramétrica dependiente de la postura de la cabeza para medir la probabilidad de imagen, pero todavía deducirá los parámetros geométricos del globo ocular con respecto al sistema de coordenadas fijo de la cabeza.

Con el fin de deducir y/o realizar un seguimiento de la dirección de la mirada de usuarios desconocidos (es decir, nuevos usuarios que no han realizado una etapa de calibración), es posible sustituir la utilización de imágenes de usuario durante la fase de calibración y utilizar en su lugar un conjunto de modelos de apariencia de mirada previamente recopilados a partir de diferentes usuarios, que, en combinación, pueden definir un modelo geométrico independiente de usuario, basándose en datos estadísticos de entre el conjunto de usuarios.

Por ejemplo, puede considerarse una interpolación de la apariencia de un usuario desconocido para el sistema a partir de modelos existentes. En una realización, se utiliza un subconjunto de modelos adecuados para el usuario actual, ignorando el resto y, por tanto, dando como resultado un cálculo más rápido.

El método anterior puede utilizarse para deducir la dirección de la mirada a partir de imágenes de un único ojo o, de manera más fiable, utilizando imágenes que incluyen los dos ojos. En este último caso, puede utilizarse una restricción sobre los movimientos oculares (el ojo izquierdo y derecho miran siempre a un único punto) con el fin de realizar una estimación de la mirada más rápida y precisa.

De manera similar, puede aprovecharse información temporal de dinámica de mirada para mejorar la precisión de las estimaciones de mirada. La distribución de movimientos oculares (fijaciones, sacudidas oculares, etc.) se conoce a partir de otros trabajos y puede utilizarse como dato previo para mejorar la precisión de mirada en observaciones temporales. Por ejemplo, la probabilidad de una ubicación de objetivo visual particular p para una trama dada puede depender de la ubicación de p en tramas anteriores y futuras.

En lugar de utilizar una posición determinista del objetivo visual p, otra realización puede basarse en una fase de calibración en la que p es una variable aleatoria que modela la probabilidad de mirar a un punto de entre un conjunto de ubicaciones de objetivos visuales posibles. La distribución de probabilidades puede definirse a partir de información externa, tal como mapas de atención visual, actividad de habla a partir de la interacción entre un grupo de usuarios, a partir de puntos previstos de atención visual de un usuario hacia un robot, etc.

La figura 7 ilustra esquemáticamente un aparato para estimar una dirección de la mirada en la que está mirando un usuario. El aparato puede incluir un sistema informático 20, tal como un ordenador personal, un servidor, un teléfono inteligente, un ordenador portable, un elemento de visualización óptico montado en la cabeza (tal como el dispositivo Google Glass, por ejemplo), un ordenador de tipo tableta, una TV o cualquier tipo de sistema basado en microprocesador. Un elemento de captación de imágenes 22, tal como una cámara, una cámara web, un sensor de RGB-D, una cámara plenóptica o cualquier clase de sensor basado en la captación de imágenes, está conectado o integrado a este sistema informático para producir imágenes de un usuario incluyendo su cara con porciones de ojos. Además, se utiliza una base de datos 21 como parte del sistema informático 21, o está conectada a este sistema informático, para almacenar parámetros específicos del usuario, tales como un modelo de malla en 3D de su fase y un modelo geométrico de por lo menos uno de sus ojos. Esta base de datos puede almacenarse de manera local en el sistema informático o de manera remota, por ejemplo, en un servidor remoto. En su forma más sencilla, esta base de datos puede comprender un único archivo con parámetros específicos del usuario, tales como un archivo de texto o XML, o formar parte de un sistema de base de datos más complejo, tal como una base de datos de SQL, por ejemplo. El sistema informático 20 incluye además un medio de almacenamiento legible por ordenador que presenta grabado en el mismo un programa informático, comprendiendo el programa informático un algoritmo que puede realizar el método anteriormente descrito.

Debe reconocerse que, dependiendo de la forma de realización, determinadas acciones o acontecimientos de cualquiera de los métodos descritos en la presente memoria pueden realizarse en una secuencia diferente, pueden añadirse, fusionarse u omitirse completamente (por ejemplo, no todas las acciones o acontecimientos descritos son necesarios para la puesta en práctica del método). Además, en determinadas formas de realización, pueden realizarse acciones o acontecimientos de manera simultánea, por ejemplo, mediante procesamiento de múltiples hilos, procesamiento por interrupciones o múltiples procesadores, en vez de secuencialmente.

Diversas modificaciones y variaciones de las formas de realización descritas de la invención se pondrán claramente de manifiesto para los expertos en la materia sin apartarse del alcance de la invención tal como se define en las reivindicaciones adjuntas. Aunque la invención se ha descrito en relación con formas de realización específicas preferidas, debe entenderse que la invención tal como se reivindica no debe limitarse excesivamente a tal realización específica.

Claims (15)

REIVINDICACIONES

1. Método para estimar una dirección de la mirada en la que está mirando un usuario, que comprende antes de una fase de prueba (b):

a1) una etapa de recuperación de un modelo geométrico de por lo menos un ojo de un usuario, definido por un conjunto de parámetros (U);

a2) recuperar un modelo de observación de imagen (f) que expresa la probabilidad de que una imagen dada o un conjunto de imágenes del ojo teniendo en cuenta dicho modelo geométrico para cada configuración de valores del conjunto de parámetros (U);

y a continuación, durante la fase de prueba (b):

b1) obtener unos datos de observación (X, A) a partir de por lo menos una imagen, incluyendo cada imagen por lo menos un ojo de un usuario;

b3-b4) utilizar el modelo de observación de imagen, cuyos parámetros (U) incluyen el eje visual y/u óptico del ojo (o, v), que determina el eje visual y/u óptico del ojo (o, v) que es más probable que produzca dichos datos de observación;

b5) utilizar dicho eje visual y/u óptico para recuperar dicha dirección de la mirada.

2. Método según la reivindicación 1, en el que dicho modelo de observación de imagen (f) se adapta durante dicha fase de prueba (b).

3. Método según la reivindicación 1 o 2, en el que por lo menos un subconjunto de dichos parámetros (U) se determina durante una fase de calibración supervisada, semisupervisada o no supervisada, basándose en una pluralidad de imágenes de entrenamiento de ojos.

4. Método según la reivindicación 3, en el que dichas imágenes de entrenamiento comprenden o están asociadas con información adicional utilizada para deducir la probabilidad de que un usuario esté mirando a un punto dado.

5. Método según una de las reivindicaciones 1 a 4, que utiliza una segmentación implícita o explícita de la imagen de ojo de un usuario en una pluralidad de regiones semánticas; preferentemente, incluyendo dichas regiones semánticas una pluralidad de regiones de entre un grupo que incluye la córnea, la esclerótica y la piel; preferentemente, en el que el nivel de escala de grises o color observado en cada una de dichas regiones semánticas del ojo depende de dicha segmentación.

6. Método según una de las reivindicaciones 1 a 5, que comprende asimismo:

b2) rectificar dicha imagen como si se hubiera visto desde una postura de cabeza canónica; preferentemente, incluyendo dicha etapa de rectificación ajustar un modelo facial en 3D específico del usuario con dicha imagen.

7. Método según una de las reivindicaciones 1 a 6, siendo dicha imagen que incluye por lo menos un ojo de un usuario una imagen RGB-D, estereoscópica, plenóptica o en 3D.

8. Método según una de las reivindicaciones 1 a 7, comprendiendo dicho conjunto de parámetros (U) una pluralidad de parámetros de entre:

el centro de rotación del globo ocular (p^c );

la desviación del eje visual (k);

la distancia del punto nodal desde p^c (d);

el radio del globo ocular (r^e);

el radio de la córnea (r^c);

las esquinas del ojo izquierdo y/o derecho (k^l, k^r).

9. Método según una de las reivindicaciones 1 a 8, en el que dicha etapa de determinación del eje visual y/u óptico más probable comprende una determinación de las aberturas de párpados superior y/o inferior más probables.

10. Método según una de las reivindicaciones 1 a 9, en el que dicho modelo de observación se basa en un modelo probabilístico o estadístico.

11. Método según una de las reivindicaciones 1 a 10, en el que se hace que dicho conjunto de parámetros (U) que definen un modelo geométrico de por lo menos un ojo sea específico del usuario basándose en una pluralidad de imágenes de entrenamiento del ojo de dicho usuario.

12. Método según una de las reivindicaciones 1 a 11, en el que dicha etapa de determinación del eje visual y/u óptico del ojo (o, v) que es más probable que produzca dichos datos de observación utiliza imágenes que incluyen los dos ojos, y una restricción sobre la relación entre los movimientos de los dos ojos.

13. Método según una de las reivindicaciones 1 a 12, en el que dicha etapa de determinación del eje visual y/u óptico (o, v) del ojo en una imagen implica un conocimiento de este eje visual y/u óptico en imágenes anteriores o futuras de una misma secuencia.

14. Aparato para estimar la dirección de la mirada de un usuario, que comprende los siguientes componentes: una cámara (22) para captar la cara de un usuario;

una base de datos que almacena parámetros faciales y oculares específicos del usuario (21);

un sistema informático (20) que comprende una memoria que tiene almacenado en la misma un programa informático que comprende un algoritmo capaz de llevar a cabo el método según cualquiera de las reivindicaciones 1 a 13.

15. Medio de almacenamiento legible por ordenador que tiene grabado en el mismo un programa informático, comprendiendo el programa informático un algoritmo que puede llevar a cabo el método según cualquiera de las reivindicaciones 1 a 13.