ES2912310T3 - Corrección de la mirada en imágenes multivista - Google Patents

Abstract

Procedimiento de ajuste de imágenes multivista de una cabeza para corregir la mirada, comprendiendo el procedimiento en cada imagen (31), identificar áreas de imagen (S2) que contienen los ojos izquierdo y derecho de la cabeza, respectivamente; con respecto a las áreas (33) de imagen que contienen el ojo izquierdo de la cabeza en cada imagen de las imágenes multivista, y también con respecto a las áreas de imagen que contienen el ojo derecho de la cabeza en cada imagen de las imágenes multivista, llevar a cabo las etapas de: obtener (S3) un vector de características a partir de varios descriptores de imagen locales del área (33) de imagen en por lo menos una imagen (31) de las imágenes multivista; y obtener (S4) un campo vectorial de desplazamiento que representa una transformación de un área (33) de imagen, utilizando el vector de características obtenido (34) para buscar datos de referencia (35) que comprendan campos vectoriales de desplazamiento de referencia asociados con posibles valores del vector de características (34); y ajustar (S5) cada imagen de las imágenes multivista transformando las áreas (33) de imagen que contienen los ojos izquierdo y derecho de la cabeza según los campos vectoriales de desplazamiento obtenidos (37).

Description

DESCRIPCIÓN

Corrección de la mirada en imágenes multivista

SECTOR TÉCNICO

La presente solicitud se refiere al procesamiento de imagen de imágenes multivista de una cabeza, por ejemplo, un par estereoscópico de imágenes de una cabeza, en relación con la mirada percibida de los ojos de la cabeza.

ESTADO DE LA TÉCNICA ANTERIOR

En muchos sistemas, un par estereoscópico de imágenes, o, de forma más general, imágenes multivista, de una cabeza se pueden capturar en un dispositivo y presentar en un dispositivo diferente para su visualización por un observador. Un ejemplo no limitativo es un sistema para realizar teleconferencia entre dos dispositivos de telecomunicaciones. En ese caso, cada dispositivo puede capturar un par estereoscópico de imágenes, o, de forma más general, imágenes multivista, de la cabeza del observador de ese dispositivo y transmitirlas al otro dispositivo sobre una red de telecomunicaciones para su presentación y visualización por el observador del otro dispositivo. Cuando un par estereoscópico de imágenes, o, de forma más general, imágenes multivista, de una cabeza se capturan y se presentan, la mirada de la cabeza en el par estereoscópico de imágenes, o, de forma más general, en las imágenes multivista presentadas, puede no estar dirigida al observador. Esto puede estar causado, por ejemplo, porque la mirada de la cabeza no se dirija al sistema de cámaras utilizado para capturar el par estereoscópico de imágenes, por ejemplo, debido a que el usuario cuya cabeza se representa está observando una pantalla en el mismo dispositivo que el sistema de cámaras y el sistema de cámaras está desplazado por encima (o por debajo) de esa pantalla. En ese caso, se percibirá que la mirada en las imágenes presentadas se dirige hacia abajo (o hacia arriba). El sistema visual humano ha desarrollado una alta sensibilidad a la mirada durante la interacción social, utilizando señales obtenidas de la posición relativa del iris y la esclerótica blanca de otros observadores. Por tanto, dichos errores en la mirada percibida son desconcertantes. Por ejemplo, en un sistema para realizar teleconferencia, los errores en la mirada percibida pueden crear interacciones no naturales entre los usuarios.

BREVE RESUMEN

La presente invención se refiere a una técnica de procesamiento de imagen para ajustar el par estereoscópico de imágenes, o, de forma más general, imágenes multivista, de una cabeza para corregir la mirada percibida.

Según un primer aspecto de la presente invención, se da a conocer un procedimiento de ajuste de imágenes multivista de una cabeza para corregir la mirada, comprendiendo el procedimiento: en cada imagen de las imágenes multivista, identificar áreas de imagen que contienen los ojos izquierdo y derecho de la cabeza, respectivamente; con respecto a las áreas de imagen que contienen el ojo izquierdo de la cabeza en cada imagen de las imágenes multivista, y también con respecto a las áreas de imagen que contienen el ojo derecho de la cabeza en cada imagen de las imágenes multivista, llevar a cabo las etapas de: obtener un vector de características a partir de varios descriptores de imagen locales del área de imagen en por lo menos una imagen de las imágenes multivista; y obtener un campo vectorial de desplazamiento que representa una transformación de un área de imagen, utilizando el vector de características obtenido para buscar datos de referencia que comprendan campos vectoriales de desplazamiento de referencia asociados con posibles valores del vector de características; y ajustar cada imagen de las imágenes multivista transformando las áreas de imagen que contienen los ojos izquierdo y derecho de la cabeza según el campo vectorial de desplazamiento obtenido.

En este procedimiento, se identifican y se transforman las áreas de imagen que contienen los ojos izquierdo y derecho de la cabeza. Para obtener un campo vectorial de desplazamiento que represente la transformación, se obtiene un vector de características a partir de varios descriptores de imagen locales del área de imagen en por lo menos una imagen de las imágenes multivista, y se utiliza para buscar datos de referencia que comprendan campos vectoriales de desplazamiento de referencia asociados con posibles valores del vector de características. La forma del vector de características se puede obtener con antelación a partir de los datos de referencia utilizando aprendizaje automático. Este procedimiento permite corregir la mirada, reduciendo por tanto el efecto desconcertante de una mirada incorrecta cuando las imágenes multivista se presentan subsiguientemente.

Son posibles varios enfoques para obtener y utilizar campos vectoriales de desplazamiento, como sigue.

En un primer enfoque, los campos vectoriales de desplazamiento se pueden obtener con respecto a las áreas de imagen en cada imagen de las imágenes multivista de forma independiente. Esto permite corregir la mirada, pero existe el riesgo de que los campos vectoriales de desplazamiento con respecto a cada imagen puedan ser inconsistentes entre sí, con el resultado de que se lleven a cabo transformaciones en conflicto que pueden distorsionar el efecto estereoscópico y/o reducir la calidad de la imagen.

Sin embargo, los siguientes enfoques alternativos solucionan este problema.

Un segundo enfoque posible es como sigue. En el segundo enfoque, los varios descriptores de imagen locales utilizados en el procedimiento son varios descriptores de imagen locales en ambas imágenes de las imágenes multivista. En este caso, los datos de referencia comprenden campos vectoriales de desplazamiento de referencia para cada imagen de las imágenes multivista, campos vectoriales de desplazamiento de referencia que están asociados con posibles valores del vector de características. Esto permite obtener un campo vectorial de desplazamiento a partir de los datos de referencia para cada imagen de las imágenes multivista. Por definición, los campos vectoriales de desplazamiento obtenidos para cada imagen de las imágenes multivista son inherentemente coherentes.

Una desventaja potencial de este segundo enfoque es que puede requerir que los datos de referencia se obtengan a partir de imágenes estereoscópicas, o, de forma más general, de imágenes multivista, cuya obtención puede no ser conveniente. Sin embargo, los siguientes enfoques permiten obtener los datos de referencia a partir de imágenes monoscópicas.

Un tercer enfoque posible es como sigue. En el tercer enfoque, los varios descriptores de imagen locales son varios descriptores de imagen locales en una imagen de las imágenes multivista, y los campos vectoriales de desplazamiento se obtienen como sigue. Se obtiene un campo vectorial de desplazamiento que representa una transformación del área de imagen en dicha una imagen de las imágenes multivista, utilizando el vector de características obtenido para buscar datos de referencia que comprendan campos vectoriales de desplazamiento de referencia asociados con posibles valores del vector de características. A continuación, se obtiene un campo vectorial de desplazamiento que representa una transformación del área de imagen en la otra o las otras imágenes multivista transformando el campo vectorial de desplazamiento obtenido que representa una transformación del área de imagen en dicha una imagen de las imágenes multivista, según una estimación del flujo óptico entre las áreas de imagen en la una imagen y en la otra o las otras imágenes multivista.

Por tanto, en el tercer enfoque, los campos vectoriales de desplazamiento obtenidos con respecto a cada imagen son coherentes, porque solo se obtiene un campo vectorial de desplazamiento a partir de los datos de referencia, y el otro campo vectorial de desplazamiento se obtiene a partir del mismo utilizando una transformación según una estimación del flujo óptico entre las áreas de imagen en las imágenes de las imágenes multivista.

Un cuarto enfoque posible es como sigue. En el cuarto enfoque, los varios descriptores de imagen locales son varios descriptores de imagen locales en ambas imágenes de las imágenes multivista, y los campos vectoriales de desplazamiento se obtienen como sigue. Se obtiene un campo vectorial de desplazamiento inicial que representa una transformación nocional de un área de imagen nocional en una imagen nocional que tiene una ubicación de cámara nocional con respecto a las ubicaciones de cámara de las imágenes de las imágenes multivista, utilizando el vector de características obtenido para buscar datos de referencia que comprendan campos vectoriales de desplazamiento de referencia asociados con posibles valores del vector de características. A continuación, se obtienen campos vectoriales de desplazamiento que representan una transformación de las áreas de imagen en cada imagen de las imágenes multivista transformando el campo vectorial de desplazamiento inicial según una estimación de los flujos ópticos entre las áreas de imagen nocionales en las imágenes nocionales y las áreas de imagen en las imágenes de las imágenes multivista.

Por tanto, en el cuarto enfoque, los campos vectoriales de desplazamiento obtenidos con respecto a cada imagen son coherentes, porque solo se obtiene un campo vectorial de desplazamiento a partir de los datos de referencia, representando esto una transformación nocional de un área de imagen nocional en una imagen nocional que tiene una ubicación de cámara nocional con respecto a las ubicaciones de cámara de las imágenes de las imágenes multivista. Los campos vectoriales de desplazamiento respectivos utilizados para transformar las dos imágenes de las imágenes multivista se obtienen de las mismas utilizando una transformación según una estimación del flujo óptico entre las áreas de imagen nocionales en las imágenes nocionales y las imágenes de las imágenes multivista. Un quinto enfoque posible es como sigue. En el quinto enfoque, se obtienen campos vectoriales de desplazamiento con respecto a las áreas de imagen en cada imagen de las imágenes multivista, pero, a continuación, se obtiene a partir de los mismos un campo vectorial de desplazamiento combinado y se utiliza para transformar las áreas de imagen que contienen los ojos izquierdo y derecho de la cabeza. En este caso, los campos vectoriales de desplazamiento para cada imagen son coherentes porque son iguales.

La combinación se puede llevar a cabo de alguna forma apropiada. Por ejemplo, la combinación puede ser un promedio sencillo o puede ser un promedio que se pondera mediante un valor de confianza asociado con cada campo vectorial de desplazamiento obtenido. Dicho valor de confianza se puede obtener durante el aprendizaje automático.

Según un segundo aspecto de la presente invención, se da a conocer un aparato configurado para llevar a cabo un procedimiento similar al primer aspecto de la invención.

BREVE DESCRIPCIÓN DE LOS DIBUJOS

Se muestran realizaciones no limitativas por medio de ejemplos en las figuras adjuntas, en las que los números de referencia iguales indican partes similares, y en las que:

la FIGURA 1 es una vista esquemática, en perspectiva, de un dispositivo que captura un par estereoscópico de imágenes;

la FIGURA 2 es una vista esquemática, en perspectiva, de un dispositivo que presenta el par estereoscópico de imágenes;

la FIGURA 3 es un diagrama de flujo de un procedimiento de ajuste de un par estereoscópico de imágenes;

la FIGURA 4 es un diagrama que ilustra el procesamiento del par estereoscópico de imágenes en el procedimiento de la FIGURA 3;

la FIGURA 5 es un diagrama de flujo de una etapa de extracción de un área de imagen;

la FIGURA 6 y la FIGURA 7 son diagramas de flujo de etapas de obtención de campos vectoriales de desplazamiento según dos enfoques alternativos;

la FIGURA 8 y la FIGURA 9 son diagramas de flujo de dos alternativas para una etapa de ajuste de una imagen; la FIGURA 10 es un diagrama de flujo de una etapa de transformación dentro de la etapa de ajuste de una imagen en los procedimientos mostrados en la FIGURA 8 y en la FIGURA 9; y

la FIGURA 11 es un diagrama de un sistema de telecomunicaciones en el que se puede implementar el procedimiento.

DESCRIPCIÓN DETALLADA

La FIGURA 1 y la FIGURA 2 ilustran cómo se percibe una mirada incorrecta cuando un par estereoscópico de imágenes de una cabeza es capturado por el dispositivo 10 mostrado en la FIGURA 1, el cual se denominará dispositivo de origen 10, y presentado en un dispositivo diferente 20 mostrado en la FIGURA 2, el cual se denominará dispositivo de destino 20.

El dispositivo de captura 10 incluye una pantalla 11 y un sistema 12 de cámaras que comprende dos cámaras 13 utilizadas para capturar el par estereoscópico de imágenes de la cabeza de un observador de origen 14. El observador de origen 14 ve la pantalla 11 a lo largo de la línea 15. Las cámaras 13 del sistema 12 de cámaras están desplazadas de la pantalla 11, estando, en este caso, por encima de la pantalla 11. Por tanto, las cámaras 13 en la práctica miran al observador de origen 14 desde arriba a lo largo de la línea 16.

El dispositivo 20 de pantalla incluye una pantalla 21 que es una pantalla estereoscópica de cualquier tipo conocido, por ejemplo, una pantalla autoestereoscópica de cualquier tipo conocido. La pantalla 21 presenta el par estereoscópico de imágenes capturado por el dispositivo de captura 10. Un observador de destino 24 ve la pantalla 21. Si el observador de destino 24 se encuentra en una posición de visualización normal perpendicular al centro de la pantalla 21, tal como se muestra mediante el contorno sólido del observador de destino 24, entonces el observador de destino 24 percibe que la mirada del observador de origen 14 está hacia abajo, en lugar de mirando hacia el observador de destino 24, porque las cámaras 13 del dispositivo de origen 10 miran al observador de origen 14 desde arriba.

Aunque las cámaras 13 están por encima de la pantalla 11 en este ejemplo, las cámaras 13, en general, podrían estar en cualquier ubicación adyacente a la pantalla 11, y la mirada del observador de origen 14 percibida por el observador de destino 24 sería correspondientemente incorrecta.

Si el observador de destino 24 se encuentra en una posición de visualización desplazada, tal como se muestra mediante el contorno punteado del observador de destino 24, de modo que el observador de destino 24 ve la pantalla 21 a lo largo de la línea 26, entonces el desplazamiento del observador de destino 24 crea un error adicional en la mirada del observador de origen 14 percibida por el observador de destino 24. Un error adicional similar en la mirada percibida del observador de origen 14 se produce si el observador de destino 24 se encuentra en la posición de visualización normal a lo largo de la línea 25, pero el par estereoscópico de imágenes se presenta en la pantalla 25 en una posición desplazada del centro de la pantalla 25.

Un par estereoscópico de imágenes es un ejemplo de imágenes multivista en el que hay dos imágenes. Aunque la FIGURA 1 ilustra un ejemplo en el que el sistema 12 de cámaras incluye dos cámaras 13 que capturan un par estereoscópico de imágenes, alternativamente el sistema de cámaras puede incluir más de dos cámaras 13 que capturan más de dos imágenes multivista, en cuyo caso existen problemas similares de mirada percibida incorrecta en la presentación.

La FIGURA 3 ilustra un procedimiento de ajuste de imágenes multivista para corregir dichos errores en la mirada percibida. Por simplicidad, este procedimiento se describirá con respecto al ajuste de imágenes multivista que comprenden un par estereoscópico de imágenes. El procedimiento se puede generalizar a imágenes multivista que comprenden más de dos imágenes, sencillamente llevando a cabo un procesamiento similar en un número mayor de imágenes.

El procedimiento se puede llevar a cabo en un procesador 30 de imagen. El procesador 30 de imagen se puede implementar mediante un procesador que ejecuta un programa informático apropiado o mediante hardware dedicado o mediante alguna combinación de software y hardware. Si se utiliza un programa informático, el programa informático puede comprender instrucciones en cualquier lenguaje apropiado y se puede almacenar en un medio de almacenamiento legible por ordenador, que puede ser de cualquier tipo, por ejemplo: un medio de grabación que es insertable en una unidad del sistema informático y que puede almacenar información de forma magnética, óptica u optomagnética; un medio de grabación fijo del sistema informático, tal como una unidad de disco duro; o una memoria de ordenador.

El procesador 30 de imagen se puede disponer en el dispositivo de origen 10, el dispositivo de destino 10 o en cualquier otro dispositivo, por ejemplo, un servidor en una red de telecomunicaciones, lo que puede ser apropiado en caso de que el dispositivo de origen 10 y el dispositivo de destino 10 se comuniquen sobre dicha red de telecomunicaciones.

El par estereoscópico de imágenes 31 se captura mediante el sistema 12 de cámaras. Aunque en la FIGURA 1 se ilustra que el sistema 12 de cámaras incluye dos cámaras 13, esto no es limitativo, y, de forma más general, el sistema 13 de cámaras puede tener las siguientes propiedades.

El sistema de cámaras comprende un conjunto de cámaras 13, con por lo menos dos cámaras 13. Habitualmente, las cámaras están separadas una distancia menor de la distancia intrapupilar humana promedio. En la alternativa de que el procedimiento se aplique a más de dos imágenes multivista, entonces hay más de dos cámaras 13, es decir, una imagen de cámaras 13.

Las cámaras 13 están relacionadas espacialmente entre sí y con la pantalla 11. La relación espacial entre las propias cámaras 13 y entre las cámaras 13 y la pantalla 11 se conoce con antelación. Se pueden aplicar procedimientos conocidos para encontrar la relación espacial, por ejemplo, un procedimiento de calibración que utiliza una imagen de referencia, o una especificación a priori.

Las cámaras 13 se orientan en la misma dirección que la pantalla 11. Por tanto, cuando el observador de origen 14 está viendo la pantalla 11, entonces las cámaras 13 se orientan hacia el observador de origen 14 y el par estereoscópico de imágenes capturado son imágenes de la cabeza del observador de origen 14. Las cámaras en el sistema de cámaras pueden tener diferentes campos de visión.

El sistema 12 de cámaras puede incluir cámaras 13 que tengan diferentes modalidades de detección, incluyendo luz visible e infrarrojos.

La salida principal del sistema 13 de cámaras es un par estereoscópico de imágenes 31 que habitualmente son imágenes de vídeo emitidas a una tasa de vídeo. La salida del sistema 13 de cámaras también puede incluir datos que representan la relación espacial entre las cámaras 13 y la pantalla 11, la naturaleza de las modalidades de detección y los parámetros internos de las cámaras 13 (por ejemplo, longitud focal, eje óptico), que se pueden utilizar para la localización angular.

El procedimiento llevado a cabo sobre el par estereoscópico de imágenes 31 es como sigue. Para ilustrar el procedimiento, también se hace referencia a la FIGURA 4, que muestra un ejemplo del par estereoscópico de imágenes 31 en varias etapas del procedimiento.

En la etapa S1, el par estereoscópico de imágenes 31 se analiza para detectar la ubicación de la cabeza y, en particular, de los ojos del observador de origen 14 dentro del par estereoscópico de imágenes 31. Esto se lleva a cabo detectando la presencia de la cabeza, haciendo un seguimiento de la cabeza y localizando los ojos de la cabeza. La etapa S1 se puede llevar a cabo utilizando diversas técnicas que son conocidas en la técnica.

Una técnica posible para detectar la presencia de la cabeza es utilizar cascadas de características de Haar, por ejemplo, tal como se describe en el documento de Viola y Jones, "Rapid Object Detection using a Boosted Cascade of Simple Features", CVPR 2001, págs. 1-9.

Una técnica posible para hacer un seguimiento de la cabeza es utilizar el enfoque de modelos de apariencia activa para proporcionar la posición de la cabeza del sujeto, así como la ubicación de los ojos, por ejemplo, tal como se describe en el documento de Cootes et al., "Active shape models - their training and application", Computer Vision and Image Understanding, 61(1):38-59, enero de 1995 y en el documento de Cootes et al. "Active appearance models", IEEE Trans. Pattern Analysis and Machine Intelligence, 23(6):681-685, 2001.

En la etapa S1, habitualmente, un conjunto de puntos individuales ("puntos de referencia") se ajustan a regiones de la cara, habitualmente los ojos, por ejemplo, las esquinas del ojo, las ubicaciones de los párpados superior e inferior, etc., localizando, por tanto, los ojos.

En la etapa S2, las áreas de imagen que contienen los ojos izquierdo y derecho de la cabeza, se identifican respectivamente en cada imagen 31 del par estereoscópico. La FIGURA 4 muestra las áreas de imagen identificadas 32 del ojo derecho en cada imagen 31 (omitiéndose las áreas de imagen para el ojo izquierdo en la FIGURA 4 por claridad).

La etapa S2 se puede llevar a cabo tal como se muestra en la FIGURA 5 como sigue.

En la etapa S2-1, las áreas 32 de imagen que contienen los ojos izquierdo y derecho de la cabeza se identifican en cada imagen 31 del par estereoscópico. Esto se realiza identificando un área 39 de imagen en cada imagen 31 ubicada alrededor de los puntos identificados ("puntos de referencia") correspondientes a características de un ojo, como se muestra, por ejemplo, en la FIGURA 4.

En la etapa S2-2, las áreas 32 de imagen identificadas en la etapa S2-1 se transforman en un sistema de coordenadas normalizado, siendo el mismo sistema de coordenadas normalizado que el utilizado en el proceso de aprendizaje automático que se describe adicionalmente más adelante. La transformación se elige para alinear los puntos ("puntos de referencia") del ojo dentro de las áreas de imagen que se identificaron en la etapa S1, con ubicaciones predeterminadas en el sistema de coordenadas normalizado. La transformación puede incluir traslación, rotación y escalado, en las cantidades apropiadas para conseguir esa alineación. La salida de la etapa S2-2 son áreas de imagen identificadas 33 del ojo derecho en cada imagen en el sistema de coordenadas normalizado, tal como se muestra, por ejemplo, en la FIGURA 4.

Las siguientes etapas se llevan a cabo de forma independiente (a) con respecto a las áreas de imagen que contienen el ojo izquierdo de la cabeza en cada imagen 31 del par estereoscópico, y (b) con respecto a las áreas de imagen que contienen el ojo derecho de la cabeza en cada imagen 31 del par estereoscópico. Por brevedad, la siguiente descripción se referirá sencillamente a áreas de imagen y ojos sin especificar el ojo izquierdo o derecho, pero teniendo en cuenta que se llevan a cabo las mismas etapas para los ojos izquierdo y derecho.

En la etapa S3, se obtiene un vector de características 34 a partir de varios descriptores de imagen locales de un área de imagen 33 en por lo menos una imagen 31 del par estereoscópico. Dependiendo del enfoque y, tal como se describe adicionalmente más adelante, puede ser un área de imagen en una única imagen 31 del par estereoscópico o pueden ser ambas imágenes 31 del par estereoscópico. Por tanto, los descriptores de imagen locales son descriptores de imagen locales obtenidos en el sistema de coordenadas normalizado.

Los vectores de características 34 son representaciones de las áreas de imagen 33 que son apropiadas para su utilización en la búsqueda de datos de referencia 35 que comprenden campos vectoriales de desplazamiento de referencia que representan transformaciones del área de imagen y están asociados con posibles valores del vector de características.

Los datos de referencia 35 se obtienen y analizan con antelación utilizando una técnica de aprendizaje automático que obtiene la forma de los vectores de características 34 y asocia los campos vectoriales de desplazamiento de referencia con los posibles valores del vector de características. Por consiguiente, a continuación, se describirá la técnica de aprendizaje automático antes de volver al procedimiento de la FIGURA 3.

La entrada de entrenamiento para la técnica de aprendizaje automático son dos conjuntos de imágenes, que pueden ser pares estereoscópicos de imágenes o imágenes monoscópicas, tal como se analiza adicionalmente más adelante. Cada conjunto comprende imágenes de la cabeza del mismo grupo de individuos, pero capturadas con cámaras en diferentes ubicaciones con respecto a la mirada, de modo que la mirada percibida difiere entre ellas. El primer conjunto son imágenes de entrada, siendo imágenes de cada individuo con una mirada incorrecta, donde el error se conoce a priori. En particular, las imágenes en el primer conjunto se pueden capturar mediante por lo menos una cámara en una ubicación de cámara conocida donde la mirada del individuo está en una dirección conocida diferente. Por ejemplo, en el caso del dispositivo de origen de la FIGURA 1, la ubicación de cámara puede ser la ubicación de la cámara 13 y la mirada del individuo representado es hacia el centro de la pantalla 11.

El segundo conjunto son imágenes de salida, siendo imágenes de cada individuo con la mirada correcta para una ubicación del observador predeterminada con respecto a la ubicación de pantalla en la que se va a presentar la imagen. En el caso más sencillo, la ubicación del observador es una posición de visualización normal perpendicular al centro de la ubicación de pantalla, por ejemplo, como se muestra mediante el contorno sólido del observador de destino 24 en el caso del dispositivo de destino 20 de la FIGURA 2.

Para cada imagen en los dos conjuntos, la imagen se analiza para detectar la ubicación de la cabeza, y, en particular, de los ojos utilizando la misma técnica utilizada en la etapa S1 descrita anteriormente, y, a continuación, las áreas de imagen que contienen los ojos izquierdo y derecho de la cabeza se identifican, respectivamente, utilizando la misma técnica utilizada en la etapa S2 descrita anteriormente. A continuación, las siguientes etapas se llevan a cabo de forma independiente (a) con respecto a las áreas de imagen que contienen el ojo izquierdo de la cabeza en cada imagen, y (b) con respecto a las áreas de imagen que contienen el ojo derecho de la cabeza en cada imagen. Por brevedad, la siguiente descripción se referirá sencillamente a áreas de imagen y ojos sin especificar el ojo izquierdo o derecho, pero teniendo en cuenta que se llevan a cabo las mismas etapas para los ojos izquierdo y derecho.

Cada área de imagen se transforma en el mismo sistema de coordenadas normalizado utilizado en la etapa S2 descrita anteriormente. Tal como se ha descrito anteriormente, la transformación se elige para alinear puntos ("puntos de referencia") del ojo con ubicaciones predeterminadas en el sistema de coordenadas normalizado. La transformación puede incluir traslación, rotación y escalado, en las cantidades apropiadas para conseguir esa alineación.

Por tanto, las áreas de imagen de las imágenes de entrada y de salida de cada individuo se alinean en el sistema de coordenadas normalizado.

A partir de una imagen de entrada y de salida de cada individuo, se obtiene un campo vectorial de desplazamiento que representa la transformación del área de imagen en la imagen de entrada requerida para obtener el área de imagen de la imagen de salida, por ejemplo, como sigue. Definiendo posiciones en las áreas de imagen mediante (x, y), el campo vectorial de desplazamiento F viene dado por

F = [u(x,y),v(x,y)}

donde u y v definen las componentes horizontal y vertical del vector en cada posición (x, y).

El campo vectorial de desplazamiento F se elige de modo que el área de imagen de la imagen de salida O(x, y) se obtiene a partir del área de imagen de la imagen de entrada I(x, y) como

0(x ,y) = l(x u(x,y ) ,y v(x,y ))

Para datos de imagen desde más de una cámara, el sistema entrega un campo vectorial de desplazamiento para la imagen de entrada desde cada cámara.

El campo vectorial de desplazamiento F para una imagen de entrada y de salida de un individuo se puede obtener utilizando un proceso en el que un vector de características de prueba F' = {u', v'} se modifica para minimizar el error, opcionalmente en un proceso iterativo, por ejemplo, según:

Por medio de un ejemplo no limitativo, el campo vectorial de desplazamiento F se puede obtener tal como se describen en el documento de Kononenko et al., "Learning To Look Up: Realtime Monocular Gaze Correction Using Machine Learning", Computer Vision and Pattern Recognition, 2015, págs. 4667-4675, en el que el campo vectorial de desplazamiento F se denomina "campo de flujo".

Se utiliza una técnica de aprendizaje automático para obtener una correspondencia entre el campo vectorial de desplazamiento F de cada individuo y vectores de características respectivos obtenidos a partir de varios descriptores de imagen locales del área de imagen de la imagen de entrada.

Los descriptores locales capturan información relevante de una parte local del área de imagen de la imagen de entrada, y el conjunto de descriptores normalmente forma una salida vectorial continua.

Los descriptores de imagen locales introducidos en el proceso de aprendizaje automático son de los tipos esperados para proporcionar una discriminación entre diferentes individuos, aunque los descriptores de imagen locales específicos se seleccionan y optimizan mediante el propio proceso de aprendizaje automático. En general, los descriptores de imagen locales pueden ser de cualquier tipo apropiado, siendo como sigue algunos ejemplos no limitativos que se pueden aplicar en cualquier combinación.

Los descriptores de imagen locales pueden incluir valores de píxeles individuales o una combinación lineal de los mismos. Dicha combinación lineal puede ser, por ejemplo, la diferencia entre los píxeles en dos puntos, un núcleo obtenido dentro de una máscara en una ubicación arbitraria, o una diferencia entre dos núcleos en ubicaciones diferentes.

Los descriptores de imagen locales pueden incluir distancias de una ubicación de píxel desde la posición de un punto de ojo ("punto de referencia").

Los descriptores de imagen locales pueden incluir características SIFT (características de transformación de características de escala invariante), por ejemplo, tal como se describe en el documento de Lowe, "Distinctive Image Features from Scale-Invariant Keypoints", International Journal of Computer Vision 60 (2), págs. 91 -110.

Los descriptores de imagen locales pueden incluir características HOG (características de histograma de gradientes orientados), por ejemplo, tal como se describe en el documento de Dalal et al. "Histograms of Oriented Gradients for Human Detection", Computer Vision and Pattern Recognition, 2005, págs. 886-893.

La obtención del vector de características a partir de varios descriptores de imagen locales depende del tipo de aprendizaje automático aplicado.

En un primer tipo de técnica de aprendizaje automático, el vector de características puede comprender características que son valores obtenidos a partir de los descriptores de imagen locales en un espacio discreto, siendo valores binarios o valores discretizados en más de dos valores posibles. En este caso, la técnica de aprendizaje automático asocia un campo vectorial de desplazamiento de referencia F obtenido a partir de la entrada de entrenamiento con cada valor posible del vector de características en el espacio discreto, de modo que los datos de referencia 35 son esencialmente una tabla de búsqueda. Esto permite seleccionar un campo vectorial de desplazamiento de referencia F sencillamente a partir de los datos de referencia 35 basándose en el vector de características 34 obtenido en la etapa S3, tal como se describe a continuación.

En caso de que el vector de características comprenda características que son valores binarios obtenidos a partir de los descriptores de imagen locales, el vector de características tiene una representación binaria. Dichos valores binarios se pueden obtener de varias formas a partir de los valores de los descriptores, por ejemplo, comparando el valor de un descriptor con un umbral, comparando el valor de dos descriptores, o comparando la distancia de una ubicación de píxel desde la posición de un punto de ojo ("punto de referencia").

Alternativamente, el vector de características puede comprender características que son valores discretizados de los descriptores de imagen locales. En este caso, son posibles más de dos valores discretos de cada característica. Se puede aplicar cualquier técnica de aprendizaje automático apropiada, por ejemplo, utilizar un árbol de decisión, un bosque de decisión, un helecho de decisión o un conjunto o una combinación de los mismos.

A modo de ejemplo, una técnica de aprendizaje automático apropiada que utiliza un vector de características que comprende características que son valores binarios obtenidos comparando un conjunto de píxeles del individuo o una combinación lineal de los mismos con un umbral, se describe en el documento de Ozuysal et al. "Fast Keypoint Recognition in Ten Lines of Code", Computer Vision and Pattern Recognition, 2007, págs. 1-8.

A modo otro ejemplo adicional, una técnica de aprendizaje automático apropiada que utiliza la distancia de una ubicación de píxel con la posición de un punto de referencia de ojo se describe en el documento de Kononenko et al., "Learning To Look Up: Realtime Monocular Gaze Correction Using Machine Learning", Computer Vision and Pattern Recognition, 2015, págs. 4667-4675.

A modo otro ejemplo adicional, una técnica de aprendizaje automático apropiada que utiliza un bosque de decisión aleatorio se describe en el documento de Ho, "Random Decision Forests", Proceedings of the 3rd International Conference on Document Analysis and Recognition, Montreal, QC, 14-16 de agosto de 1995, págs. 278-282.

En un segundo tipo de técnica de aprendizaje automático, el vector de características puede comprender características que son valores discretos de los descriptores de imagen locales en un espacio continuo. En este caso, la técnica de aprendizaje automático asocia un campo vectorial de desplazamiento de referencia F obtenido a partir de la entrada de entrenamiento con valores discretos posibles del vector de características en el espacio continuo. Esto permite obtener un campo vectorial de desplazamiento F a partir de los datos de referencia 35 mediante interpolación de los campos vectoriales de desplazamiento de referencia, basándose en la relación entre el vector de características 34 obtenido en la etapa S3 y los valores del vector de características asociados con los campos vectoriales de desplazamiento de referencia.

Se puede aplicar cualquier técnica de aprendizaje automático apropiada, por ejemplo, utilizar regresión de vectores de soporte.

A modo de ejemplo, una técnica de aprendizaje automático apropiada que utiliza regresión de vectores de soporte se describe en el documento de Drucker et al. "Support Vector Regression Machines", Advances in Neural Information Processing Systems 9, NIPS 1996, 155-161. La salida de la técnica es un conjunto continuamente variable de direcciones de interpolación que forman parte de los datos de referencia 35 y se utilizan en la interpolación.

La técnica de aprendizaje automático, independientemente de su tipo, también obtiene inherentemente la forma de los vectores de características 34 que se utiliza para obtener los campos vectoriales de desplazamiento de referencia F. Se trata de la forma de los vectores de características 34 que se obtiene en la etapa S3.

Opcionalmente, la salida de la técnica de aprendizaje automático se puede aumentar para proporcionar valores de confianza asociados con la obtención de un campo vectorial de desplazamiento a partir de los datos de referencia 35.

En caso de que el vector de características comprenda características que son valores en un espacio discreto, se obtiene un valor de confianza para cada campo vectorial de desplazamiento de referencia.

Un ejemplo de obtención de un valor de confianza es mantener, para cada índice resultante (valor del vector de características) en la tabla de búsqueda resultante, la distribución de la parte correspondiente de la imagen de entrada en los datos de entrenamiento. En este caso, el valor de confianza puede ser la cantidad de datos de entrenamiento que finalizaron con el mismo índice, dividida por el número total de ejemplares de datos de entrenamiento.

Otro ejemplo de obtención de un valor de confianza es ajustar una Gaussiana en la distribución de imágenes de entrada en los datos de entrenamiento en cada tramo indexado, y utilizar la traza de la matriz de covarianza alrededor del valor medio como el valor de confianza.

En caso de que el vector de características comprenda características que son valores discretos de los descriptores de imagen locales en un espacio continuo, los valores de confianza se pueden obtener según el procedimiento de aprendizaje automático utilizado. Por ejemplo, cuando se utiliza regresión de vectores de soporte, los valores de confianza pueden ser la inversa de la distancia máxima hasta los vectores de soporte.

Si se utilizan, los valores de confianza se almacenan como parte de los datos de referencia.

A continuación, la descripción vuelve al procedimiento de la FIGURA 3.

En la etapa S4, por lo menos un campo vectorial de desplazamiento 37 que representa una transformación de un área de imagen se obtiene utilizando el vector de características 34 obtenido en la etapa S3 para buscar los datos de referencia 35. Debido a la obtención del campo vectorial de desplazamiento 37 a partir de los datos de referencia 35, la transformación representada por el mismo corrige la mirada que se percibirá cuando se presente el par estereoscópico de imágenes 31.

En caso de que el vector de características 34 comprenda características que son valores en un espacio discreto y los campos vectoriales de desplazamiento de referencia de los datos de referencia 35 comprendan un campo vectorial de desplazamiento de referencia asociado con cada valor posible del vector de características en el espacio discreto, entonces el campo vectorial de desplazamiento para el área de imagen se obtiene seleccionando el campo de desplazamiento de referencia asociado con el valor real del vector de características obtenido 34.

En caso de que el vector de características 34 comprenda características que son valores discretos de los descriptores de imagen locales en un espacio continuo, entonces el campo vectorial de desplazamiento para el área de imagen se obtiene interpolando un campo vectorial de desplazamiento a partir de los campos vectoriales de desplazamiento de referencia, basándose en la relación entre el valor real del vector de características obtenido 34 y los valores de los vectores de características asociados con los campos vectoriales de desplazamiento de referencia. En caso de que la técnica de aprendizaje automático sea regresión de vectores de soporte, esto se puede hacer utilizando direcciones de interpolación que forman parte de los datos de referencia 35.

A continuación, se describirán algunos enfoques diferentes para la obtención del campo vectorial de desplazamiento 37 en la etapa S4.

En un primer enfoque, en la etapa S4, el campo vectorial de desplazamiento 37 se obtiene con respecto a las áreas de imagen en cada imagen 31 del par estereoscópico de forma independiente. Este primer enfoque se puede aplicar cuando los datos de referencia 35 se obtuvieron a partir de imágenes monoscópicas. Este enfoque proporciona la corrección de la mirada, pero existe el riesgo de que los campos vectoriales de desplazamiento 37 con respecto a cada imagen puedan ser inconsistentes entre sí, con el resultado de que se lleven a cabo subsiguientemente transformaciones en conflicto que pueden distorsionar el efecto estereoscópico y/o reducir la calidad de la imagen. Otros enfoques que solucionan este problema son como sigue.

En un segundo enfoque posible, los varios descriptores de imagen locales utilizados para obtener el vector de características 34 en la etapa S3 son varios descriptores de imagen locales en ambas imágenes del par estereoscópico. En este caso, los datos de referencia 35 comprenden de manera similar pares de campos vectoriales de desplazamiento de referencia para cada imagen 31 del par de imágenes estereoscópicas, siendo estos los pares de campos vectoriales de desplazamiento de referencia que están asociados con posibles valores del vector de características 34.

Este segundo enfoque permite obtener un par de campos vectoriales de desplazamiento 35 a partir de los datos de referencia 35, que es un campo vectorial de desplazamiento para cada imagen 31 del par estereoscópico. Por definición, los campos vectoriales de desplazamiento obtenidos para cada imagen 31 del par estereoscópico son inherentemente coherentes, ya que se obtienen en conjunto a partir de los pares coherentes de campos vectoriales de desplazamiento de referencia en los datos de referencia 35.

La desventaja de este segundo enfoque es que requiere que los datos de referencia 35 se obtengan a partir de la entrada de entrenamiento para la técnica de aprendizaje automático, que son pares estereoscópicos de imágenes. Esto no crea ninguna dificultad técnica, pero puede crear algunos inconvenientes prácticos, ya que las imágenes monoscópicas están disponibles más comúnmente. En consecuencia, se pueden aplicar los siguientes enfoques cuando los datos de referencia 35 se obtienen a partir de una entrada de entrenamiento para la técnica de aprendizaje automático que sean imágenes monoscópicas.

En un tercer enfoque posible, se obtiene un vector de características 34 a partir de varios descriptores de imagen locales que son varios descriptores de imagen locales obtenidos a partir de una imagen del par estereoscópico. En ese caso, los campos vectoriales de desplazamiento 37 se obtienen tal como se muestra en la FIGURA 6, como sigue.

En la etapa S4-1, se obtiene un primer campo vectorial de desplazamiento 37 que representa una transformación del área de imagen en dicha una imagen 31 del par estereoscópico (que puede ser cualquiera de las dos imágenes 31). Esto se realiza utilizando el vector de características obtenido 34 para buscar los datos de referencia 35.

En la etapa S4-2, se obtiene un campo vectorial de desplazamiento 37 que representa una transformación del área de imagen en la otra imagen 31 del par estereoscópico. Esto se realiza transformando el campo vectorial de desplazamiento obtenido en la etapa S4-1 según una estimación del flujo óptico entre las áreas de imagen en las imágenes 31 del par estereoscópico.

El flujo óptico representa el efecto de las diferentes ubicaciones de cámara entre las imágenes 31 del par estereoscópico. Dicho flujo óptico es conocido por sí mismo y se puede estimar utilizando técnicas conocidas, por ejemplo, tal como se describe en el documento de Zach et al., "A Duality Based Approach for Realtime TV-LI Optical Flow", Pattern Recognition (Proc. DAGM), 2007, págs. 214-223.

A modo de ejemplo, si el primer campo vectorial de desplazamiento 37 obtenido en la etapa S4-1 es para la imagen izquierda Lo, Li (donde los subíndices o e i representan, respectivamente, las imágenes de entrada y de salida), y el flujo óptico para la imagen derecha Ro se representa mediante un campo vectorial de desplazamiento G dado por G = {s (x ,y ) , í(x ,y ) }

entonces el segundo campo vectorial de desplazamiento 37 se puede obtener según

R0(x,y) = L0{x s (x ,y ) ,y í ( x ,y ) ) = L¿(x s u{x + s ,y í , y í v(x s, y í) ) Por tanto, en el tercer enfoque, los campos vectoriales de desplazamiento 37 obtenidos con respecto a cada imagen 31 del par estereoscópico son coherentes, porque solo se obtiene un campo vectorial de desplazamiento a partir de los datos de referencia 35, y el otro campo vectorial de desplazamiento se obtiene a partir del mismo utilizando una transformación que mantiene la coherencia porque se obtiene según una estimación del flujo óptico entre las áreas de imagen en las imágenes 31 del par estereoscópico.

En un cuarto enfoque posible, se obtiene un vector de características 34 a partir de varios descriptores de imagen locales que son varios descriptores de imagen locales obtenidos a partir de ambas imágenes del par estereoscópico. En ese caso, los campos vectoriales de desplazamiento 37 se obtienen tal como se muestra en la FIGURA 7, como sigue.

En la etapa S4-3, un campo vectorial de desplazamiento inicial representa una transformación nocional de un área de imagen nocional en una imagen nocional que tiene una ubicación de cámara nocional en una ubicación predeterminada con respecto a las ubicaciones de cámara de las imágenes 31, en este ejemplo entre las ubicaciones de cámara de las imágenes 31. Se puede pensar en esto como un ojo ciclópeo. Esto se realiza utilizando el vector de características obtenido 34 para buscar los datos de referencia 35 que comprenden campos vectoriales de desplazamiento de referencia asociados con posibles valores del vector de características. Esto significa que los datos de referencia 35 están correspondientemente estructurados, pero todavía pueden obtenerse a partir de la entrada de entrenamiento que comprende imágenes monoscópicas.

En la etapa S4-4, se obtienen campos vectoriales de desplazamiento 37 que representan transformaciones de las áreas de imagen en cada imagen 31 del par estereoscópico. Esto se realiza transformando el campo vectorial de desplazamiento inicial obtenido en la etapa S4-3 según una estimación del flujo óptico entre las áreas de imagen nocionales en las imágenes nocionales y las áreas de imagen en las imágenes 31 del par estereoscópico.

El flujo óptico representa el efecto de las diferentes ubicaciones de cámara entre la imagen nocional y las imágenes 31 del par estereoscópico. Dicho flujo óptico es conocido por sí mismo y se puede estimar utilizando técnicas conocidas, por ejemplo, tal como se describe en el documento de Zach et al., "A Duality Based Approach for Realtime TV-L1 Optical Flow", Pattern Recognition (Proc. DAGM), 2007, págs. 214-223 (citado anteriormente). A modo de ejemplo, si el flujo óptico desde la imagen izquierda L hasta la imagen derecha R se representa mediante un campo vectorial de desplazamiento G dado por

G = (s (x ,y ) , t(x ,y ) }

entonces la transformación que obtiene la imagen nocional C viene dada por

Por tanto, en este ejemplo, el campo vectorial de desplazamiento inicial F obtenido en la etapa S4-3 para esta imagen nocional C se transforma en la etapa S4-4 para obtener los campos de flujo Frc y Flc para las imágenes derecha e izquierda según

Por tanto, en el cuarto enfoque, los campos vectoriales de desplazamiento 37 obtenidos con respecto a cada imagen 31 del par estereoscópico son coherentes, porque solo se obtiene un campo vectorial de desplazamiento a partir de los datos de referencia 35, representando esto una transformación nocional de un área de imagen nocional en una imagen nocional, y los campos vectoriales de desplazamiento para las imágenes izquierda y derecha se obtienen a partir de los mismos utilizando una transformación que mantiene la coherencia porque se obtiene según una estimación del flujo óptico entre las áreas de imagen en la imagen nocional y en las imágenes 31 del par estereoscópico.

En la etapa S5, cada imagen 31 del par estereoscópico se ajusta transformando las áreas de imagen que contienen los ojos izquierdo y derecho de la cabeza según los campos vectoriales de desplazamiento obtenidos 37. Esto produce un par estereoscópico de imágenes ajustado 38, tal como se muestra en la FIGURA 4, en la que la mirada se ha corregido. En particular, el ajuste se puede llevar a cabo utilizando dos procedimientos alternativos, como sigue.

Un primer procedimiento para llevar a cabo la etapa S5 se muestra en la FIGURA 8 y se lleva a cabo como sigue. En la etapa S5-1, el área de imagen se transforma en el sistema de coordenadas normalizado según el campo vectorial de desplazamiento correspondiente 37 con respecto a la misma imagen, corrigiendo de este modo la mirada. Tal como se ha descrito anteriormente, para un campo vectorial de desplazamiento F la transformación del área de imagen de la imagen de entrada I(x, y) proporciona la imagen de salida O(x, y) según

0 (x ,y ) = / ( x w (x ,y ),y v (x ,y ))

En la etapa S5-2, el área de imagen transformada entregada en la etapa S5-1 se transforma desde el sistema de coordenadas normalizado, de vuelta al sistema de coordenadas original de la imagen correspondiente 31. Esto se realiza utilizando la transformación inversa a la aplicada en la etapa S2-2.

En la etapa S5-3, el área de imagen transformada entregada en la etapa S5-2 se superpone sobre la imagen correspondiente 31. Esto se puede realizar con una sustitución completa dentro de la región del ojo correspondiente al propio ojo, y una transición suavizada entre el área de imagen transformada y la imagen original 31 sobre una región de límite alrededor de la región del ojo. La anchura de la región de límite puede ser de tamaño fijo o un porcentaje del tamaño del área de imagen en la imagen original 31.

Un segundo procedimiento para llevar a cabo la etapa S5 se muestra en la FIGURA 9 y se lleva a cabo como sigue. En este segundo procedimiento alternativo, volver a realizar la transformación al sistema de coordenadas de la imagen correspondiente 31 se produce antes de la transformación del área de imagen según el campo vectorial de desplazamiento transformado F.

En la etapa S5-4, el campo vectorial de desplazamiento F se transforma desde el sistema de coordenadas normalizado, de vuelta al sistema de coordenadas original de la imagen correspondiente 31. Esto se realiza utilizando la transformación inversa a la aplicada en la etapa S2-2.

En la etapa S5-5, el área 32 de imagen en el sistema de coordenadas de la imagen 31 se transforma según el campo vectorial de desplazamiento F que se ha transformado al mismo sistema de coordenadas en la etapa S5-4. Tal como se ha descrito anteriormente, para un campo vectorial de desplazamiento F la transformación del área de imagen de la imagen de entrada I(x, y) proporciona la imagen de salida O(x, y) según

0(x,y) = l (x u(x ,y) ,y v( x ,y ))

pero ahora esto se lleva a cabo en el sistema de coordenadas de la imagen original 31.

La etapa S5-6 es la misma que la S5-3. Por tanto, en la etapa S5-6, el área de imagen transformada entregada en la etapa S5-5 se superpone sobre la imagen correspondiente 31. Esto se puede realizar con una sustitución completa dentro de una región del ojo correspondiente al propio ojo, y una transición suavizada entre el área de imagen transformada y la imagen original 31 sobre una región de límite alrededor de la región del ojo. La anchura de la región de límite puede ser de tamaño fijo o un porcentaje del tamaño del área de imagen en la imagen original 31. A continuación, se analizarán los campos vectoriales de desplazamiento 37 utilizados en la etapa S5.

Una opción es que los campos vectoriales de desplazamiento 37 obtenidos en la etapa S4 con respecto a las imágenes izquierda y derecha se utilicen directamente en la etapa S5. Es decir, el área de imagen con respecto a cada imagen 31 del área estereoscópica se transforma según el campo vectorial de desplazamiento 37 con respecto a esa imagen 31. Esto es apropiado si los campos vectoriales de desplazamiento 37 son lo suficientemente precisos, por ejemplo, porque se han obtenido a partir de datos de referencia 35 que se obtienen en sí mismos a partir de imágenes estereoscópicas según el segundo enfoque descrito anteriormente.

Una opción alternativa según un quinto enfoque es que se obtenga y se utilice un campo vectorial de desplazamiento combinado 39. Esto se puede aplicar en combinación con cualquiera del primer al cuarto enfoques analizados anteriormente. En este caso, la etapa S5 incluye adicionalmente la etapa S5-a, tal como se muestra en la FIGURA 10, que se lleva a cabo antes de la etapa S5-1 en el primer procedimiento de la FIGURA 8 o antes de la etapa S5-4 en el segundo procedimiento de la FIGURA 9. En la etapa S5-a, se obtiene un campo vectorial de desplazamiento combinado 39 a partir de los campos vectoriales de desplazamiento 37 obtenidos en la etapa S4 con respecto a las áreas de imagen en cada imagen 31 del par estereoscópico.

El resto de la etapa S5 se lleva a cabo a continuación utilizando el campo vectorial de desplazamiento combinado 39 con respecto a cada imagen 31. Es decir, en el primer procedimiento de la FIGURA 8, el área de imagen 33 con respecto a cada imagen 31 del par estereoscópico se transforma en la etapa S5-1 según el campo vectorial de desplazamiento combinado 39. De manera similar, en el segundo procedimiento de la FIGURA 9, en la etapa S5-4 se transforma el campo vectorial de desplazamiento combinado 39 y en la etapa S5-5 se transforma el área de imagen 33 con respecto a cada imagen 31 del par estereoscópico según ese campo vectorial de desplazamiento combinado 39.

En este caso, los campos vectoriales de desplazamiento para cada imagen son coherentes porque son iguales. La combinación en la etapa S5-la se puede llevar a cabo de cualquier forma apropiada.

En un ejemplo, la combinación en la etapa S5-la puede ser un promedio sencillo de los campos vectoriales de desplazamiento 37 obtenidos en la etapa S4.

En otro ejemplo, la combinación en la etapa S5-la puede ser un promedio que se pondera mediante un valor de confianza asociado con cada campo vectorial de desplazamiento obtenido 37. En este caso, los valores de confianza forman parte de los datos de referencia 35, de la manera descrita anteriormente, y en la etapa S4 se obtienen los valores de confianza a partir de los datos de referencia 35, junto con el campo vectorial de desplazamiento obtenido 37.

A modo de ejemplo, denotando el campo vectorial de desplazamiento obtenido 37 como Fi, el campo vectorial de desplazamiento combinado 39 como Favg y los valores de confianza como ai, entonces el campo vectorial de desplazamiento combinado 39 se puede obtener como

p = 1 aiFi

avB l a ,

En el ejemplo descrito anteriormente, la mirada se corrige para un observador de destino 24 en una ubicación del observador que es una posición de visualización normal perpendicular al centro de la ubicación de pantalla, por ejemplo, como se muestra mediante el contorno sólido del observador de destino 24 en el caso del dispositivo de destino 20 de la FIGURA 2. Esto es suficiente en muchas situaciones. Sin embargo, a continuación, se describirá una modificación opcional que permite corregir la mirada para un observador de destino 24 en una ubicación del observador diferente, por ejemplo, como se muestra mediante el contorno punteado del observador de destino 24 en el caso del dispositivo de destino 20 de la FIGURA 2.

En este caso, el procedimiento comprende, además, utilizar datos de ubicación 40 que representan la ubicación del observador con respecto a la ubicación de pantalla del par estereoscópico de imágenes 31. Estos datos de ubicación 40 se pueden obtener en el dispositivo de destino 20, por ejemplo, tal como se describe a continuación. En ese caso, si el procedimiento no se lleva a cabo en el dispositivo de destino 20, entonces los datos de ubicación 40 se transmiten al dispositivo en el que se lleva a cabo el procedimiento.

La ubicación relativa del observador puede tener en cuenta la ubicación del observador con respecto a la pantalla 21. Esto se puede determinar utilizando un sistema de cámaras en el dispositivo de destino 20 y un módulo de seguimiento de cabeza apropiado para detectar la ubicación del observador de destino 24.

La ubicación relativa del observador puede suponer que la imagen se muestra centrada en la pantalla 21. Alternativamente, la ubicación relativa del observador puede tener en cuenta la ubicación del observador con respecto a la pantalla 21 y la ubicación de la imagen presentada en la pantalla 21. En este caso, la ubicación de la imagen presentada en la pantalla 21 se puede obtener a partir de la geometría de la pantalla (por ejemplo, la posición y el área de la ventana de pantalla y el tamaño de la pantalla 21).

Para tener en cuenta diferentes ubicaciones de observador, los datos de referencia 34 comprenden varios conjuntos de campos vectoriales de desplazamiento de referencia, estando asociado cada conjunto con ubicaciones de observador diferentes. Esto se consigue haciendo que la entrada de entrenamiento para la técnica de aprendizaje automático comprenda varios segundos conjuntos de imágenes de salida, siendo cada segundo conjunto imágenes de cada individuo con la mirada correcta para una ubicación del observador respectiva, predeterminada, con respecto a la ubicación de pantalla en la que se va a presentar la imagen. Por tanto, en la etapa S4, los campos vectoriales de desplazamiento 37 se obtienen buscando el conjunto de campos vectoriales de desplazamiento de referencia asociados con la ubicación del observador representada por los datos de ubicación.

Tal como se ha descrito anteriormente, el procedimiento se puede implementar en un procesador 30 de imagen proporcionado en diversos dispositivos diferentes. A modo de ejemplo no limitativo, a continuación, se describirá una implementación particular en un sistema de telecomunicaciones que se muestra en la FIGURA 11 y se dispone como sigue.

En esta implementación, el dispositivo de origen 10 y el dispositivo de destino 10 se comunican sobre dicha red de telecomunicaciones 50. Para la comunicación sobre la red de telecomunicaciones 50, el dispositivo de origen 10 incluye una interfaz de telecomunicaciones 17 y el dispositivo de destino 20 incluye una interfaz de telecomunicaciones 27.

En esta implementación, el procesador 30 de imagen está dispuesto en el dispositivo de origen 10 y recibe el par estereoscópico de imágenes directamente desde el sistema 12 de cámaras. La interfaz de telecomunicaciones 17 se dispone para transmitir el par estereoscópico de imágenes ajustado 38 sobre la red de telecomunicaciones 50 al dispositivo de destino 20 para presentarlo en el mismo.

El dispositivo de destino 20 incluye un módulo 28 de presentación de imágenes que controla la pantalla 26. El par estereoscópico de imágenes ajustado 38 se recibe en el dispositivo de destino 20 mediante la interfaz de telecomunicaciones 27 y se proporciona al módulo 28 de presentación de imágenes, lo que hace que se muestre en la pantalla 26.

Los siguientes elementos del dispositivo de destino 20 se incluyen opcionalmente en caso de que el procedimiento corrija la mirada para un observador de destino 24 en una ubicación del observador distinta de la posición de visualización normal perpendicular al centro de la ubicación de pantalla. En este caso, el dispositivo de destino 20 incluye un sistema de cámaras 23 y un módulo de ubicación del observador 29. El sistema de cámaras 23 captura una imagen del observador de destino 24. El módulo de ubicación del observador 29 obtiene los datos de ubicación 40. El módulo de ubicación del observador 29 incluye un módulo de seguimiento de cabeza que utiliza la salida del sistema de cámaras 23 para detectar la ubicación del observador de destino 24. El módulo de la ubicación de observador 29. Si la ubicación relativa del observador también tiene en cuenta la ubicación de la imagen mostrada en la pantalla 21, el módulo de la ubicación de observador 29 obtiene del módulo 28 de presentación de imagen la ubicación de la imagen mostrada en la pantalla 21. La interfaz de telecomunicaciones 17 está dispuesta para transmitir los datos de ubicación 40 sobre la red de telecomunicaciones 50 al dispositivo de origen 10 para su utilización por el mismo.

Aunque la descripción anterior se refiere a un procedimiento aplicado a imágenes proporcionadas desde un dispositivo de origen 10 a un dispositivo de destino 20, el procedimiento puede aplicarse igualmente a imágenes proporcionadas en el sentido opuesto desde el dispositivo de destino 20 al dispositivo de origen 10, en cuyo caso el dispositivo de destino 20 se convierte en la práctica en el "dispositivo de origen" y el dispositivo de origen 10 se convierte en la práctica en el "dispositivo de destino". Si las imágenes se proporcionan bidireccionalmente, las etiquetas "origen" y "destino" se pueden aplicar a ambos dispositivos, dependiendo del sentido de comunicación que se considere.

Aunque anteriormente se han descrito diversas realizaciones según los principios dados a conocer en la presente memoria, se debe entender que se han presentado solo a modo de ejemplo, y no de limitación. Por tanto, la extensión y el alcance de la presente invención no se deben limitar por ninguna de las realizaciones ejemplares descritas anteriormente, sino que deben definirse únicamente según las reivindicaciones adjuntas.

Asimismo, las ventajas y características anteriores se dan a conocer en las realizaciones descritas, pero no deben limitar la aplicación de dichas reivindicaciones a procesos y estructuras que consigan alguna o todas las ventajas anteriores.

Claims (15)

REIVINDICACIONES

1. Procedimiento de ajuste de imágenes multivista de una cabeza para corregir la mirada, comprendiendo el procedimiento

en cada imagen (31), identificar áreas de imagen (S2) que contienen los ojos izquierdo y derecho de la cabeza, respectivamente;

con respecto a las áreas (33) de imagen que contienen el ojo izquierdo de la cabeza en cada imagen de las imágenes multivista, y también con respecto a las áreas de imagen que contienen el ojo derecho de la cabeza en cada imagen de las imágenes multivista, llevar a cabo las etapas de:

obtener (S3) un vector de características a partir de varios descriptores de imagen locales del área (33) de imagen en por lo menos una imagen (31) de las imágenes multivista; y

obtener (S4) un campo vectorial de desplazamiento que representa una transformación de un área (33) de imagen, utilizando el vector de características obtenido (34) para buscar datos de referencia (35) que comprendan campos vectoriales de desplazamiento de referencia asociados con posibles valores del vector de características (34); y

ajustar (S5) cada imagen de las imágenes multivista transformando las áreas (33) de imagen que contienen los ojos izquierdo y derecho de la cabeza según los campos vectoriales de desplazamiento obtenidos (37).

2. Procedimiento, según la reivindicación 1, en el que

dichos varios descriptores de imagen locales son varios descriptores de imagen locales en cada imagen (31) de las imágenes multivista, y

dichos datos de referencia (35) comprenden pares de campos vectoriales de desplazamiento de referencia para cada imagen de las imágenes multivista, los pares de campos vectoriales de desplazamiento de referencia que están asociados con posibles valores del vector de características (34).

3. Procedimiento, según la reivindicación 1, en el que

dichos varios descriptores de imagen locales son varios descriptores de imagen locales en una imagen (31) de las imágenes multivista,

dicha etapa de obtener (S4) campos vectoriales de desplazamiento comprende:

obtener un campo vectorial de desplazamiento que representa una transformación del área (33) de imagen en dicha una imagen de las imágenes multivista, utilizando el vector de características obtenido para buscar datos de referencia (35) que comprendan campos vectoriales de desplazamiento de referencia asociados con posibles valores del vector de características (34); y

obtener un campo vectorial de desplazamiento (37) que representa una transformación del área (33) de imagen en la otra o las otras imágenes multivista transformando el campo vectorial de desplazamiento obtenido (37) que representa una transformación del área (33) de imagen en dicha una imagen (31) de las imágenes multivista, según una estimación del flujo óptico entre las áreas de imagen en dicha una imagen (31) de las imágenes multivista y en la otra o las otras imágenes multivista.

4. Procedimiento, según la reivindicación 1, en el que

dichos varios descriptores de imagen locales son varios descriptores de imagen locales en ambas imágenes (31) del par estereoscópico,

dicha etapa de obtener (S4) campos vectoriales de desplazamiento comprende:

obtener un campo vectorial de desplazamiento inicial (37) que representa una transformación nocional de un área de imagen nocional en una imagen nocional que tiene una ubicación de cámara nocional con respecto a las ubicaciones de cámara de las imágenes multivista, utilizando el vector de características obtenido (34) para buscar datos de referencia (35) que comprendan campos vectoriales de desplazamiento de referencia asociados con posibles valores del vector de características (34); y

obtener campos vectoriales de desplazamiento (37) que representan una transformación de las áreas (33) de imagen en cada imagen (31) de las imágenes multivista transformando el campo vectorial de desplazamiento inicial según una estimación de los flujos ópticos entre las áreas de imagen nocionales en las imágenes nocionales y las áreas de imagen en las imágenes de las imágenes multivista.

5. Procedimiento, según la reivindicación 4, en el que las imágenes multivista son un par estereoscópico de imágenes (31) y la ubicación de cámara nocional está entre las ubicaciones de cámara de las imágenes del par estereoscópico.

6. Procedimiento, según cualquiera de las reivindicaciones anteriores, en el que

la etapa de obtener (S4) un campo vectorial de desplazamiento comprende obtener campos vectoriales de desplazamiento (37) con respecto a las áreas (33) de imagen en cada imagen (31) de las imágenes multivista, y la etapa (S5) de transformar las áreas de imagen que contienen los ojos izquierdo y derecho de la cabeza se lleva a cabo según los campos vectoriales de desplazamiento (37) obtenidos con respecto a las áreas (33) de imagen en cada imagen (31) de las imágenes multivista,

7. Procedimiento, según cualquiera de las reivindicaciones 1 a 5, en el que

la etapa (S4) de obtener un campo vectorial de desplazamiento comprende obtener campos vectoriales de desplazamiento (37) con respecto a las áreas (33) de imagen en cada imagen (31) de las imágenes multivista, y, además, obtener un campo vectorial de desplazamiento combinado (39) a partir de los campos vectoriales de desplazamiento (37) obtenidos con respecto a las áreas (33) de imagen en cada imagen (31) de las imágenes multivista, y

la etapa (S5) de transformar las áreas de imagen que contienen los ojos izquierdo y derecho de la cabeza se lleva a cabo según el campo vectorial de desplazamiento combinado (39).

8. Procedimiento, según la reivindicación 7, en el que

los campos vectoriales de desplazamiento de referencia se asocian, además, con valores de confianza, la etapa de obtener campos vectoriales de desplazamiento (S4) con respecto a las áreas (33) de imagen en cada imagen (31) de las imágenes multivista comprende, además, obtener un valor de confianza asociado con cada campo vectorial de desplazamiento obtenido (37), y

el campo vectorial de desplazamiento combinado (39) es un promedio de los campos vectoriales de desplazamiento (37) obtenidos con respecto a las áreas (33) de imagen en cada imagen (31) de las imágenes multivista, ponderado por los valores de confianza obtenidos.

9. Procedimiento, según cualquiera de las reivindicaciones anteriores, en el que

el procedimiento utiliza datos de ubicación (40) que representan una ubicación del observador con respecto a una ubicación de pantalla de las imágenes multivista,

dichos datos de referencia (35) comprenden varios conjuntos de campos vectoriales de desplazamiento de referencia asociados con posibles valores del vector de características (34), conjuntos que están asociados con diferentes ubicaciones de observador, y

dicha etapa (S4) de obtener campos vectoriales de desplazamiento que representan una transformación de un área (33) de imagen se lleva a cabo utilizando el vector de características obtenido para buscar el conjunto de campos vectoriales de desplazamiento de referencia asociado con la ubicación del observador representada por los datos de ubicación (40).

10. Procedimiento, según cualquiera de las reivindicaciones anteriores, en el que

el vector de características (34) comprende características que son valores obtenidos de los descriptores de imagen locales en un espacio discreto,

los campos vectoriales de desplazamiento de referencia comprenden un campo vectorial de desplazamiento de referencia asociado con cada posible valor del vector de características (34) en el espacio discreto, y

la etapa (S4) de obtener un campo vectorial de desplazamiento para el área (33) de imagen comprende seleccionar el campo de desplazamiento de referencia asociado con el valor real del vector de características obtenido (34).

11. Procedimiento, según cualquiera de las reivindicaciones 1 a 9, en el que

el vector de características (34) comprende características que son valores discretos de los descriptores de imagen locales en un espacio continuo, y

la etapa (S4) de obtener un campo vectorial de desplazamiento para el área (33) de imagen comprende interpolar un campo vectorial de desplazamiento (37) a partir de los campos vectoriales de desplazamiento de referencia basándose en la relación entre el valor real del vector de características obtenido (34) y los valores de los vectores de características asociados con los campos vectoriales de desplazamiento de referencia.

12. Programa informático capaz de ejecutarse mediante un procesador (30) y dispuesto en su ejecución para hacer que el procesador (30) lleve a cabo el procedimiento según cualquiera de las reivindicaciones anteriores.

13. Dispositivo para ajustar imágenes multivista de una cabeza para corregir la mirada, comprendiendo el dispositivo un procesador (30) de imagen dispuesto para procesar las imágenes multivista de una cabeza del siguiente modo: en cada imagen (31), identificar áreas (33) de imagen que contienen los ojos izquierdo y derecho de la cabeza, respectivamente;

con respecto a las áreas (33) de imagen que contienen el ojo izquierdo de la cabeza en cada imagen de las imágenes multivista, y también con respecto a las áreas (33) de imagen que contienen el ojo derecho de la cabeza en cada imagen de las imágenes multivista, llevar a cabo las etapas de:

obtener (S3) un vector de características a partir de varios descriptores de imagen locales del área (33) de imagen en por lo menos una imagen (31) de las imágenes multivista; y

obtener (S4) un campo vectorial de desplazamiento que representa una transformación del área (33) de imagen, utilizando el vector de características obtenido (34) para buscar datos de referencia (35) que comprendan campos vectoriales de desplazamiento de referencia asociados con posibles valores del vector de características (34); y ajustar (S5) cada imagen de las imágenes multivista transformando las áreas (33) de imagen que contienen los ojos izquierdo y derecho de la cabeza según los campos vectoriales de desplazamiento obtenidos (37).

14. Dispositivo, según la reivindicación 13, que comprende, además, un sistema (23) de cámaras dispuesto para capturar las imágenes multivista y/o una interfaz de telecomunicaciones dispuesta para transmitir las imágenes ajustadas sobre una red de telecomunicaciones (50) a un dispositivo de destino para su presentación en el mismo.

15. Dispositivo, según la reivindicación 13 o 14, en el que las imágenes multivista son un par estereoscópico de imágenes.