ES2460541T3 - Corrección de campo de vectores de movimiento - Google Patents

Abstract

Unidad (200) de corrección de vectores de movimiento para corregir un campo (Mn) de vectores de movimiento que comprende vectores de movimiento de regiones respectivas de una imagen (102), comprendiendo la unidad de corrección de vectores de movimiento: - un analizador (210) dispuesto para analizar contenido de imagen de una región (R0) de oclusión y contenido de imagen de varias regiones (R1, R2) de no oclusión en un entorno espacial de la región de oclusión de la imagen (102) y para obtener valores de propiedad de imagen respectivos de la región de oclusión (R) y las regiones (R1, R2) de no oclusión; - un evaluador (220) dispuesto para evaluar valores de similitud que se basan en un valor de propiedad de imagen de la región (R0) de oclusión y valores de propiedad de imagen adicionales de las regiones (R1, R2) de no oclusión respectivas; - un selector (230) dispuesto para seleccionar una región (R2) de no oclusión particular a partir de las diversas regiones (R1, R2) de no oclusión basándose en el valor de similitud correspondiente; y - una unidad (240) de sustitución de vector dispuesta para sustituir el vector de movimiento de la región (R0) de oclusión por el vector de movimiento de la región (R2) de no oclusión particular seleccionada

Description

Corrección de campo de vectores de movimiento

La invención se refiere a una unidad de corrección de vectores de movimiento para corregir un campo de vectores de movimiento que comprende vectores de movimiento de regiones respectivas de una imagen.

La invención se refiere además a un aparato de procesamiento de imágenes que comprende una unidad de corrección de vectores de movimiento de este tipo, a un método para corregir un campo de vectores de movimiento que comprende vectores de movimiento de regiones respectivas de una imagen y a un producto de programa informático que va a cargarse por una disposición informática, que comprende instrucciones para corregir un campo de vectores de movimiento que comprende vectores de movimiento de regiones respectivas de una imagen.

Un vector de movimiento de una región indica normalmente un sentido y una magnitud de movimiento de la región de una imagen a la siguiente o de la siguiente imagen a la previa en una secuencia de imágenes. Un campo de vectores de movimiento que comprende un conjunto de vectores de movimiento puede usarse para definir sustancialmente todos los movimientos en una imagen de entrada. El campo de vectores de movimiento es útil para predecir la siguiente imagen a partir de la imagen previa en una secuencia de imágenes que implican un movimiento de objetos en una escena, para por ejemplo una secuencia de vídeo. Cuando hay un movimiento de un objeto en primer plano, que está más próximo a la cámara frente a objetos de fondo, algunas regiones de los objetos de fondo están cubiertas y algunas otras regiones de los objetos de fondo no están cubiertas. Las regiones de cobertura y de no cobertura se denominan generalmente regiones de oclusión.

La estimación de un campo de vectores de movimiento mediante una unidad de estimación de movimiento diseñada para estimar vectores de movimiento basándose en comparar valores de píxel de pares de imágenes se conoce a partir del artículo “True-motion estimation with 3D-recursive Search Block Matching”, por G. de. Haan et. al en IEEE Transactions on Circuits and Systems for Video Technology, vol. 3, n.º 5, octubre de 1993, páginas 368-379. Otras unidades de estimación de vectores de movimiento también son posibles. Una unidad de estimación de movimiento, que estima un movimiento entre dos imágenes consecutivas de una secuencia de vídeo no puede funcionar bien en regiones de oclusión, puesto que es habitual en estas regiones que algunas partes de información de fondo estén disponibles en alguna de las dos imágenes. Por tanto, un campo de vectores de movimiento estimado podría comprender vectores de movimiento erróneos provocados por regiones de cobertura y/o de no cobertura.

Estimar y asignar los vectores de movimiento correctos a regiones de oclusión, es decir corregir el campo de vectores de movimiento de una imagen, es un área de investigación activa. Asignación correcta de vectores de movimiento significa asignar el vector de movimiento del objeto de fondo a la región de cobertura en la imagen previa y asignar el vector de movimiento del objeto de fondo a la región de no cobertura en la siguiente imagen. Asignar el vector de movimiento del objeto en primer plano a la región de no cobertura en la imagen previa y asignar el vector de movimiento del objeto en primer plano a la región de cobertura en la siguiente imagen también se consideran como asignación correcta. Un vector de movimiento asignado erróneamente puede provocar artefactos tales como “efecto halo” en los márgenes de los objetos, cuando se predice una imagen siguiente a partir de la imagen previa o se interpola a partir de dos imágenes consecutivas para, por ejemplo, en conversión ascendente en el tiempo.

En la técnica anterior se conocen un método y una unidad para determinar los vectores de movimiento correctos en regiones de oclusión de una imagen actual eligiendo vectores de movimiento apropiados estimados de la imagen actual a la previa y de la actual a la siguiente. Una realización de un método de este tipo se describe en una solicitud de patente publicada con el número WO 03/067523. En esta solicitud de patente se describe un método para asignar un vector de movimiento estimado de la imagen actual a la previa para un área de cobertura en la imagen actual y asignar un vector de movimiento estimado de la imagen actual a la siguiente a un área de no cobertura en la imagen actual. Por consiguiente, se requieren tres imágenes consecutivas para asignar un vector de movimiento correcto a una región de oclusión de una imagen, lo que da como resultado una latencia mayor en comparación con una estimación y corrección de movimiento con dos imágenes consecutivas. Una latencia mayor no es deseable en algunas aplicaciones de consumo para, por ejemplo, televisión en la que el sonido tiene que ser sincrónico con el flujo de vídeo.

El documento “Motion compensating interpolation considering occluding, appearing and disappearing areas”, por P. Robert, Signal Processing of HDTV III, 1992 Elsevier Science Publishers B.V., describe un método para corregir un vector de movimiento en una región de oclusión usando interpolación a partir de vectores de movimiento del entorno.

Un objeto de la invención es proporcionar una unidad de corrección de vectores de movimiento tal como se menciona en el párrafo inicial con una latencia reducida en comparación con la unidad descrita en la técnica anterior.

Este objeto se consigue porque la unidad de corrección de vectores de movimiento comprende:

-

un analizador dispuesto para analizar contenido de imagen de una región de oclusión y contenido de imagen de varias regiones de no oclusión en un entorno espacial de la región de oclusión de la imagen y obtener valores de propiedad de imagen respectivos de la región de oclusión y las regiones de no oclusión;

-

un evaluador dispuesto para evaluar valores de similitud que se basan en un valor de propiedad de imagen de la región de oclusión y valores de propiedad de imagen adicionales de las regiones de no oclusión respectivas;

-

un selector dispuesto para seleccionar una región de no oclusión particular a partir de las diversas regiones de no oclusión basándose en el valor de similitud correspondiente; y

-

una unidad de sustitución de vector dispuesta para sustituir el vector de movimiento de la región de oclusión por el vector de movimiento de la región de no oclusión particular seleccionada.

La unidad de corrección de vectores de movimiento según la invención puede corregir un campo de vectores de movimiento estimado usando dos imágenes consecutivas. Corregir un vector de movimiento significa sustituir el vector de movimiento erróneo asignado previamente a la región de oclusión por el vector de movimiento correcto más probable. En otras palabras, corregir el campo de vectores de movimiento significa sustituir el vector de movimiento de la región de cobertura por el vector de movimiento del objeto de fondo en la imagen previa y sustituir el vector de movimiento de la región de no cobertura por el vector de movimiento del objeto de fondo en la imagen actual. En caso de que la región de cobertura se produzca en la imagen actual, tiene que asignarse el vector de movimiento del objeto en primer plano. Un campo de vectores de movimiento estimado con regiones de oclusión detectadas se pone a disposición en la entrada de la unidad de corrección de vectores de movimiento según la invención. El libro “Video processing for multimedia systems” por G. de. Haan, University Press Eindhoven, 2000, ISBN, 90-9014015-8, en el capítulo 4, describe métodos para la detección de regiones de oclusión y para la clasificación de cobertura/no cobertura que se usan preferiblemente. Sin embargo, también pueden emplearse otros métodos de estimación de campo de vectores de movimiento a partir de dos imágenes consecutivas, dados a conocer en la bibliografía.

Los vectores de movimiento que se calculan para una región de oclusión comprenden normalmente un vector de movimiento que corresponde al movimiento en primer plano, es decir el vector de movimiento en primer plano y un vector de movimiento que corresponde al movimiento del fondo, es decir el vector de movimiento de fondo. Sin embargo, no se conoce inicialmente qué vector de movimiento corresponde al objeto de fondo o al objeto en primer plano. La invención proporciona una solución a este problema proporcionando un analizador para analizar el contenido de imagen de una región de oclusión y de varias regiones de no oclusión en el entorno de la región de oclusión para extraer un valor de propiedad de imagen de cada región. Un evaluador calcula valores de similitud basándose en el valor de propiedad de imagen de la región de oclusión con cada una de las regiones de no oclusión. Un selector selecciona la región de no oclusión que mejor coincide basándose en los valores de similitud. Una unidad de sustitución de vector sustituye el vector de movimiento erróneo de la región de oclusión por el vector de movimiento de la región de no oclusión particular que ha selecciona el selector.

La invención se basa en la percepción de que el contenido de imagen de la región de cobertura en una imagen coincide sustancialmente con el contenido de imagen del objeto de fondo de la imagen previa y las propiedades de imagen de la región de no cobertura coincide sustancialmente con las regiones de fondo de la imagen actual. Por tanto, es posible seleccionar la región de no oclusión que mejor coincide dentro de un entorno predefinido de una región de oclusión. Una unidad de sustitución de vector sustituye el vector de movimiento de la región de oclusión por vectores de movimiento de la región de no oclusión seleccionada. De esta manera, la unidad de corrección de vectores de movimiento según la invención asigna correctamente el vector de movimiento de fondo a la región de cobertura en la imagen previa y el vector de movimiento de fondo a la región de no cobertura en la imagen actual. La estimación de vectores de movimiento, la detección de oclusión y la clasificación puede realizarse en un par de imágenes. Por tanto, la unidad de corrección de vectores de movimiento requiere normalmente dos imágenes consecutivas de una secuencia de imágenes y, por tanto, funciona con latencia reducida en comparación con la unidad de la técnica anterior que requiere tres imágenes consecutivas.

En una realización de la unidad de corrección de vectores de movimiento según la invención, el analizador está dispuesto para obtener un parámetro de textura como valor de propiedad de imagen.

Un valor de propiedad de imagen que indica una medición de textura de una región puede obtenerse analizando el contenido de la región. Un valor de similitud basado en el contenido de textura de la imagen es una medida útil para comparar regiones con el objetivo de seleccionar la mejor región que mejor coincide. Una cualquiera de las medidas de propiedad de textura, tales como coeficientes de DCT, coeficientes de la transformada de Hadamard o medidas estadísticas tales como promedio, varianza, picos de densidad y/o la dirección y/o la intensidad de bordes detectados, se usan preferiblemente como valores de similitud.

En una realización de la unidad de corrección de vectores de movimiento según la invención, el analizador está

dispuesto para obtener un parámetro de luminancia como valor de propiedad de imagen.

Un valor de propiedad de imagen basado en los valores de luminancia de píxeles pueden calcularse fácilmente a partir de una región. Los valores de luminancia de píxeles representados en uno de los formatos conocidos tales como RGB, HIS o YUV pueden usarse para la comparación. Una propiedad de luminancia sencilla y útil de una región es la saturación de matiz y/o color promedio.

En la unidad de corrección de vectores de movimiento según la invención, el entorno es un entorno espacial.

Se selecciona un conjunto de regiones de no oclusión en el entorno de la región de oclusión como regiones candidatas para contribuir al vector de movimiento correcto. Es muy probable que la región de no oclusión más similar pueda encontrarse dentro de un entorno espacial de la región de oclusión.

En una realización de la unidad de corrección de vectores de movimiento según la invención, la unidad de corrección de vectores de movimiento está dispuesta para localizar una de las diversas regiones de no oclusión en el entorno espacial de la región de oclusión basándose en una combinación de un vector de movimiento de la región de oclusión y un vector de movimiento adicional de la región de oclusión para analizar, evaluar y seleccionar la región de no oclusión particular.

La selección de vectores de movimiento que se consideran para la región de oclusión comprende un vector de movimiento de fondo y un vector de movimiento en primer plano, V1 y V2. La unidad de corrección de vectores de movimiento según la invención está dispuesta para usar estos vectores de movimiento para seleccionar varias regiones de no oclusión en el entorno. Partiendo de la región de oclusión y proyectando una combinación de los vectores de movimiento de fondo y en primer plano, por ejemplo Vc1 = V1 - V2 como primera combinación y Vc2 = V2 -V1 como segunda combinación, pueden seleccionarse normalmente dos regiones de no oclusión para un análisis adicional de contenido de imagen. La combinación de estos vectores de movimiento y su retroproyección sobre la imagen ayuda ventajosamente a identificar fácilmente un entorno fuera de la región de oclusión.

A continuación, entorno temporal significa el entorno considerado en una imagen adyacente en el tiempo a la imagen que se está considerando. Es decir, la imagen previa o la siguiente a partir de una secuencia de imágenes. Se consideran varias regiones de no oclusión a partir de una imagen adyacente en el tiempo. Aparentemente, las regiones de no oclusión pueden no estar disponibles en las mismas coordenadas, sino en un entorno espacial de la imagen temporal debido al movimiento. Se espera que las características de imagen de tales regiones estén sustancialmente cerca de la región que está considerándose.

En una realización de la unidad de corrección de vectores de movimiento según la invención, la unidad de corrección de vectores de movimiento está dispuesta para localizar una de las diversas regiones de no oclusión en el entorno temporal que comprende la imagen y una imagen adicional, siendo la imagen y la imagen adicional imágenes consecutivas de una secuencia de imágenes, basándose en un vector de movimiento de la región de oclusión para analizar, evaluar y seleccionar la región de no oclusión particular.

El vector de movimiento de fondo y el vector de movimiento en primer plano, V1 y V2, calculados normalmente para la región de oclusión se retroproyectan sobre la imagen adyacente en el tiempo para seleccionar un entorno temporal. Por tanto, se cumple el requisito de seleccionar una región fuera de la región de oclusión, que esté en el entorno temporal de la región de oclusión. Las regiones seleccionadas pueden encontrarse normalmente en el entorno espacial de la imagen temporal.

En una realización de la unidad de corrección de vectores de movimiento según la invención, el evaluador está dispuesto para evaluar valores de similitud adicionales que se basan en un segundo valor de propiedad de imagen de la región de oclusión y valores de propiedad de imagen correspondientes de las regiones de no oclusión respectivas, basándose en una petición del selector.

Puede producirse una situación en la que dos o más valores de similitud sean sustancialmente iguales y el selector no pueda seleccionar la región de no oclusión que mejor coincide. Si el conjunto de valores de similitud basados en un valor de propiedad de imagen no es suficiente para discriminar y seleccionar la región de no oclusión particular, el selector envía una señal al evaluador para que calcule un segundo conjunto de valores de similitud basándose en un segundo valor de propiedad de imagen. La ventaja de este método es que si el conjunto de valores de similitud no es suficiente para seleccionar una región de no oclusión particular debido a valores sustancialmente iguales, puede calcularse un segundo conjunto de valores de similitud mediante el sistema, evitando de ese modo ambigüedad de selección de la región de no oclusión particular.

Un objeto adicional de la invención es proporcionar un aparato de procesamiento de imágenes del tipo descrito en el párrafo inicial que comprende una unidad de corrección de vectores de movimiento para corregir el vector de movimiento de las regiones de oclusión en un campo de vectores de movimiento estimado con una latencia

reducida. Este objeto de la invención se consigue porque el aparato de procesamiento de imágenes comprende:

-

un receptor para recibir una señal que representa una secuencia de imágenes que comprende una imagen;

-

un estimador de movimiento para estimar un campo de vectores de movimiento de la imagen;

-

un detector de oclusión para detectar regiones de oclusión de la imagen;

-

una unidad de corrección de vectores de movimiento para corregir el campo de vectores de movimiento estimado según la invención; y

-

una unidad de procesamiento de imágenes con compensación de movimiento para compensar el movimiento de la imagen basándose en el campo de vectores de movimiento corregido.

La unidad de corrección de vectores de movimiento según la invención recibe dos imágenes consecutivas de una secuencia de imágenes, analiza el contenido de imagen de regiones de no oclusión del entorno de una región de oclusión y extrae valores de propiedad de imagen y, basándose en los valores de similitud calculados a partir del valor de propiedad de imagen, selecciona una región de no oclusión. El vector de movimiento de la región de no oclusión seleccionada se asigna a la región de oclusión corrigiendo de ese modo el campo de vectores de movimiento estimado. El aparato de procesamiento de imágenes está dispuesto para llevar a cabo un procesamiento con compensación de movimiento de la secuencia de imágenes basándose en el campo de vectores de movimiento corregido.

El aparato de procesamiento de imágenes puede estar dispuesto para soportar uno o más de los siguientes tipos de procesamiento de imagen:

-

Desentrelazado: Entrelazado significa formato de difusión de vídeo común para transmitir de manera alterna las líneas de imagen enumeradas pares o impares. Desentrelazado significa intentar restablecer la resolución vertical completa es decir, calcular líneas pares e impares disponibles simultáneamente para cada imagen.

-

Conversión ascendente de velocidad de imagen: A partir de una serie de imágenes de entrada originales se calcula una serie más grande de imágenes de salida. Las imágenes de salida están ubicadas en el tiempo entre dos imágenes de entrada originales. Se produce una conversión ascendente en el tiempo de una secuencia de imágenes.

-

Conversión de imagen en múltiples vistas: A partir de una secuencia de imágenes de entrada en 2-D, se calcula una secuencia de imágenes en 3-D. Estas imágenes en 3-D son vistas interpoladas que corresponden a varias de las posiciones de cámara orientadas de una escena en 3-D representada por la secuencia de entrada de imágenes.

-

Reducción de ruido: Se lleva a cabo una reducción de ruido de procesamiento para la secuencia original de imágenes de entrada. Las imágenes se procesan para una reducción de ruido espacial-temporal.

El aparato de procesamiento de imágenes puede comprender componentes adicionales para, por ejemplo, un dispositivo de visualización para visualizar las imágenes de salida o puede suministrar imágenes a una pantalla conectada. El aparato de procesamiento de imágenes puede soportar uno o más de los siguientes tipos de aparato de consumo y profesionales incorporando medios adicionales: una televisión, un módulo decodificador, un VCR/VCP, un sintonizador de satélite, un reproductor/grabador de DVD. Opcionalmente, el aparato de procesamiento de imágenes comprende medios de almacenamiento tales como un disco duro o medios para almacenar en medios extraíbles tales como discos ópticos. El aparato de procesamiento de imágenes también podría ser un sistema aplicado por un estudio cinematográfico o una productora audiovisual o una agencia de retransmisión.

Un objeto adicional de la invención es proporcionar un método para corregir un campo de vectores de movimiento con una latencia reducida. Este objeto de la invención se consigue porque el método para corregir un campo de vectores de movimiento de una imagen que comprende vectores de movimiento de regiones respectivas de una imagen comprende:

-

analizar contenido de imagen de una región de oclusión y el contenido de imagen de varias regiones de no oclusión en un entorno espacial de la región de oclusión de la imagen y obtener valores de propiedad de imagen respectivos de la región de oclusión y las regiones de no oclusión;

-

evaluar valores de similitud que se basan en un valor de propiedad de imagen de la región de oclusión y valores de propiedad de imagen adicionales de las regiones de no oclusión respectivas;

-

seleccionar una región de no oclusión particular a partir de las diversas regiones de no oclusión basándose en el valor de similitud correspondiente; y

-

sustituir el vector de movimiento de la región de oclusión por el vector de movimiento de la región de no oclusión particular seleccionada.

El método según la invención corrige un campo de vectores de movimiento a partir de la imagen que está considerándose. Para estimar el campo de vectores de movimiento, encontrar las regiones de oclusión y clasificarlas, pueden usarse normalmente dos imágenes consecutivas. Por tanto, el método puede llevar a cabo el proceso de corrección de vectores de movimiento normalmente usando dos imágenes y, por tanto, funciona con una latencia reducida en comparación con el método de la técnica anterior.

Un objeto adicional de la invención es proporcionar un producto de programa informático para ordenar a un ordenador que realice el método según la invención.

Modificaciones de la unidad de corrección de vectores de movimiento, y variaciones de las mismas, pueden corresponder a modificaciones y variaciones de las mismas del aparato de procesamiento de imágenes, el método y el producto de programa informático descritos.

Estos y otros aspectos de la unidad de corrección de vectores de movimiento, del método, del aparato de procesamiento de imágenes y del producto de programa informático según la invención resultarán evidentes a partir de y se dilucidarán con respecto a las implementaciones y realizaciones descritas a continuación en el presente documento y con referencia a los dibujos adjuntos, en los que:

la figura 1A muestra esquemáticamente un par de imágenes consecutivas que comprenden un objeto en movimiento;

la figura 1B muestra esquemáticamente una representación en 2-D de la situación representada en la figura 1A;

la figura 2 muestra esquemáticamente una realización de la unidad de corrección de vectores de movimiento según la invención;

la figura 3 muestra esquemáticamente una ilustración de regiones de no oclusión en un entorno espacial de una región de oclusión;

la figura 4 muestra esquemáticamente una ilustración de regiones de no oclusión en un entorno temporal de una región de oclusión;

la figura 5 muestra esquemáticamente un concepto del método según la invención; y

la figura 6 muestra esquemáticamente una realización del aparato de procesamiento de imágenes según la invención.

La figura 1A muestra esquemáticamente un par de imágenes 100, 102 consecutivas que comprenden un objeto 104 en movimiento. Se muestran dos imágenes 100 y 102 de entrada consecutivas con un objeto 104 formado de manera elíptica en un primer punto en el tiempo n-1 y en un punto posterior en el tiempo n, respectivamente. Las coordenadas verticales corresponden al eje 110 y las coordenadas horizontales corresponden al eje 130. También se muestra el eje 120 temporal que corresponde al tiempo. El objeto 104 formado de manera elíptica se mueve de izquierda a derecha en primer plano tal como se indica por la trayectoria 124. Simultáneamente, el fondo se mueve en sentido opuesto con una trayectoria tal como se indica mediante la flecha 126.

La figura 1B muestra esquemáticamente una representación en 2-D de la situación representada en la figura 1A. La figura 1B se ha rotado de manera que el eje 120 temporal y el eje 130 horizontal sean visibles. El objeto 104 en primer plano en movimiento se muestra como rectángulos negros en las imágenes 100 y 102. Al vector 126 de objeto de fondo se le asigna una velocidad V1 y al vector 124 de objeto en primer plano se le asigna una velocidad V2. Los campos Mn y Mn-1 de vectores de movimiento se han calculado para la imagen 100 y la imagen 102 respectivamente. Las áreas de oclusión mostradas como triángulos grises aparecen debido al movimiento de los objetos de fondo y en primer plano. En estas áreas, los vectores de movimiento normalmente no son correctos puesto que la información no está presente en una de las dos imágenes. En el caso de la región Ru de no cobertura, aparece información nueva en la imagen 102 en el instante n, que no estaba presente en la imagen 100 en el instante n-1. En el caso de la región Rc de cobertura, información presente en la imagen 100 en el instante n-1 desaparece en la imagen 102 en el instante n. En ambos casos, el campo Mn de vectores de movimiento es erróneo en las regiones de oclusión. La regiones de oclusión se han detectado y clasificado como regiones de cobertura y de no cobertura.

La figura 2 muestra esquemáticamente una realización de la unidad de corrección de vectores de movimiento según la invención. La unidad 200 de corrección de vectores de movimiento comprende un analizador 210, un evaluador 220, un selector 230 y una unidad 240 de sustitución de vectores de movimiento. Se suministra una secuencia de imágenes al conector 201 de entrada. El campo de vectores de movimiento y las regiones de oclusión clasificadas se suministran también a las regiones respectivas en la entrada input 201. En general, puede estimarse un campo de vectores de movimiento para un grupo de píxeles o regiones comparando regiones de dos imágenes. Una unidad de estimación de movimiento de este tipo se describe en el artículo “True motion estimation with 3-D Recursive Search Block Matching” por G. de Haan et. al. en IEEE Transactions on circuits and systems for video technology, vol. 3, n.º 5, octubre de 1993, páginas 368-379. Un vector de movimiento pertenece a una región o a un bloque de píxeles que está considerándose.

El libro “Video processing for multimedia systems”, por G. de. Haan, University Press Eindhoven, 2000, ISBN 909014015-8, capítulo 4, describe un método para la detección de regiones de oclusión y para la clasificación de cobertura/no cobertura. Para cada región de oclusión, se calculan normalmente un conjunto de vectores de movimiento que comprenden, por ejemplo, un vector de movimiento en primer plano y un vector de movimiento de fondo. Sin embargo, no se conoce directamente cuál del conjunto corresponde al de primer plano o al de fondo. La unidad de corrección de vectores de movimiento según la invención está prevista para detectar un vector de movimiento de fondo y asignarlo a la región correspondiente, por ejemplo una región de cobertura en la imagen previa y detectar un vector de movimiento de fondo y asignarlo a la región correspondiente, por ejemplo una región de no cobertura en la imagen actual. El campo de vectores de movimiento estimado y las regiones de oclusión clasificadas se ponen a disposición como entradas en la unidad de corrección de vectores de movimiento según la invención. En algunos casos, en una búsqueda recurrente de estimación de vectores de movimiento, algunas de las regiones pueden no converger en un vector de movimiento particular. La invención puede ser útil para resolver la asignación del vector de movimiento más probablemente correcto en tales casos.

El analizador 210 está dispuesto para analizar el contenido de imagen de una región de oclusión y varias regiones de no oclusión en el entorno de la región de oclusión y calcular valores de propiedad de imagen de regiones respectivas. Se calcula un valor de propiedad de imagen a partir de los valores de píxel en el dominio espacial o en un dominio transformado tal como el dominio de frecuencia. La propiedad de imagen puede ser un parámetro de textura o un parámetro de luminancia. El parámetro de luminancia puede derivarse de una o más de las componentes de valores de intensidad de los píxeles de la región representada en algunos formatos convencionales, para, por ejemplo, RGB, HIS o YUV. Una medida de propiedad de imagen puede derivarse de uno

o más de los valores de intensidad tales como, promedio de una o más de las componentes Y, U y V, varianza de las componentes Y o U o V. El valor de similitud basado en la textura puede obtenerse a partir de una comparación de histograma de Y o YUV, coeficientes de transformada de coseno discreta o coeficientes de transformada de Fourier. Otra manera de calcular un parámetro de textura es modelando la textura en la región usando un modelo estocástico y estimando los parámetros del modelo.

El evaluador 220 está dispuesto para recibir los valores de propiedad de imagen de las regiones respectivas y calcular una medida de similitud del valor de propiedad de imagen de la región de oclusión con el valor de propiedad de imagen de cada una de las regiones de no oclusión. El evaluador 220 puede emplear un método de coincidencia

o un método de diferencia para obtener un valor de similitud. Puede usarse una selección de varios valores de propiedad de imagen para cada región en la evaluación de un valor de similitud de una región. Si se usa más de un valor de propiedad de imagen en el cálculo del valor de similitud, puede ser una medida comparativa tal como la suma de diferencias absolutas o la suma de diferencias al cuadrado.

El selector 230 está dispuesto para seleccionar la región de no oclusión particular que mejor coincide con la región de oclusión, basándose en el valor de similitud correspondiente. Si el valor de similitud se basa en una medida de error, un valor mínimo de la medida de similitud corresponde a la región de no oclusión que mejor coincide. Si la medida de similitud es una puntuación de coincidencia tal como un producto escalar de vectores, un valor máximo corresponde a la región de no oclusión que mejor coincide. Si el selector no puede encontrar las regiones de no oclusión que mejor coinciden con el valor de similitud disponible, envía al evaluador una petición 250 para que vuelva a calcularse un nuevo conjunto de valores de similitud basándose en medidas de propiedad de imagen adicionales.

La unidad 240 de sustitución de vector sustituye el vector de movimiento de la región de oclusión por el vector de movimiento de la región de no oclusión particular seleccionada. El vector de movimiento pertenece a la región o bloque de píxeles que está considerándose. El campo de vectores de movimiento corregido de la imagen de entrada se proporciona al conector 241 de salida para un control de un procesamiento adicional.

La figura 3 muestra esquemáticamente una ilustración de regiones de no oclusión en un entorno espacial de una región de oclusión. Las imágenes 100 y 102 en las instancias de tiempo n-1 y n se muestran con un objeto 104 en movimiento. La velocidad 124 de objeto en primer plano se muestra como V2 y la velocidad 126 de objeto de fondo se muestra como V1. Una vez detectadas las regiones de oclusión, una de las regiones de oclusión, por ejemplo R0, puede tener el vector V2 asignado a la misma o todavía debe asignarse a la región R0 uno de los vectores de entre

los vectores V1 y V2 candidatos. Normalmente, mientras se estiman los vectores de movimiento, dos vectores de movimiento pueden volverse fuertes competidores para una única región y el proceso iterativo puede no converger. La invención puede aplicarse para resolver tales situaciones de conflicto. Se selecciona un entorno espacial con respecto a una región de oclusión, el entorno comprende regiones que se sitúan obviamente fuera de la región R0 de oclusión y dentro de los márgenes de la imagen. Un método para seleccionar un entorno espacial de este tipo es combinar los dos vectores V1 y V2 de movimiento disponibles para la región V2 de oclusión y retroproyectar la combinación sobre la imagen seleccionando dos regiones de no oclusión como regiones candidatas para analizar el contenido. En otras palabras, el vector V2 se retroproyecta para alcanzar una región R3 de fondo en la imagen 100 y, a partir de la región de fondo, se identifica otro vector V1. Usando el vector V1, la región R2 se identifica como una de las regiones candidatas cuyo vector de movimiento puede usarse para sustituir el vector asignado erróneamente de la región R0. Existen dos posibilidades para combinar los vectores para alcanzar dos regiones diferentes en la imagen 102, tal como se muestra a continuación:

Tal como se ilustra en la figura 3, por ejemplo una combinación de V1 - V2 identifica la región R2 y una combinación de V2 - V1 identifica la región R1 para un análisis adicional. En este ejemplo, R1 resulta ser una región en primer plano. Ambas de estas regiones se analizan, se calculan los valores de propiedad de imagen y se selecciona la región que coincide mejor con la región de oclusión. En este ejemplo, la región que coincide mejor puede ser, por ejemplo, la región R2. Por tanto, el vector de movimiento de la región R2 que es el vector de movimiento de fondo, que sustituye el vector de movimiento erróneo de la región R0 de no cobertura. Aunque en esta ilustración se representa la corrección del vector de movimiento de una región de no cobertura en la imagen 102, un esquema idéntico puede aplicarse para corregir el vector de movimiento de una región de cobertura en la imagen 100 también. Un experto en la técnica, siguiendo el mismo procedimiento, puede asignar el vector de movimiento correcto, por ejemplo de fondo, a la región de cobertura en la imagen previa. También se deduce que en caso de que la región de cobertura se produzca en la imagen actual, el vector de movimiento más probablemente correcto, por ejemplo el de primer plano, puede asignarse mediante un esquema similar.

La figura 4 muestra esquemáticamente una ilustración de regiones de no oclusión ubicadas en un entorno temporal de una región de oclusión. Se muestran las imágenes 102 y 100 con un objeto 104 en movimiento en instancias de tiempo n y n-1. Las regiones de no oclusión en el entorno temporal pueden considerarse para un análisis de contenido de imagen. La región R0 es el área de oclusión. Inicialmente, a la región R0 se le puede asignar erróneamente, por ejemplo, el vector V2 o, en el momento de la estimación, pueden identificarse dos vectores V1 y V2 candidatos pero puede no asignarse uno de los dos debido a la incertidumbre. Usando V1 y V2, pueden identificarse regiones candidatas en la imagen 100. Los vectores V1 y V2 de movimiento se retroproyectan sobre la imagen 100 para identificar dos regiones en el entorno temporal, concretamente R1 y R2. La imagen es temporal pero las regiones son adyacentes en el espacio. Se analiza el contenido de imagen de R0, R1 y R2, se calculan los valores de propiedad de imagen respectivos y se calculan los valores de similitud para seleccionar la región de no oclusión coincidente para la región R0 de no cobertura. Se espera que el valor de propiedad de imagen de la región R2 coincida bien con el de R0. Por tanto, puede implementarse una realización alternativa para identificar regiones candidatas.

Cuando una región de oclusión es sustancialmente similar a una región de no oclusión en el entorno espacial o temporal, existe la posibilidad de seleccionar una región de no oclusión errónea mediante el selector. En algunos casos, los valores de similitud pueden ser sustancialmente iguales entre sí y el selector puede encontrar un problema al seleccionar una región de no oclusión particular. La unidad de corrección de vectores de movimiento proporciona dos esquemas para resolver tales situaciones ambiguas. En el primer esquema, el selector envía una señal 20 de retroalimentación al evaluador 220 para evaluar un nuevo conjunto de valores de similitud basándose en medidas de propiedad de imagen adicionales de cada una de las regiones de oclusión y de no oclusión. Se espera que el nuevo conjunto de valores de similitud tenga una mejor discriminación para decidir cuál es la región de no oclusión que mejor coincide. En el segundo esquema, puede seleccionarse un nuevo conjunto de regiones de no oclusión extendiendo los vectores en primer plano y de fondo. Cada vector se incrementa en una fracción decidida previamente de su valor respectivo. El incremento en el vector dará como resultado conjuntos diferentes de regiones de no oclusión que se seleccionan como regiones candidatas. El incremento es lo más pequeño posible con el fin de mantener una correlación espacial, pero lo suficientemente grande para que pueda identificarse una región de no oclusión nueva en la que se espera que el valor de propiedad de imagen calculado proporcione un valor de similitud para una mejor discriminación y selección. Los vectores pueden incrementarse de manera iterativa hasta que se obtenga un valor de similitud discriminatorio. Si el número de incrementos excede un número asignado previamente, la unidad 240 de corrección de vector, para sustituir el vector de movimiento de la región de oclusión puede usar una

región de no oclusión seleccionada previamente. De manera similar, en caso de que se produzca una región de cobertura en la imagen actual, la asignación del vector de movimiento más probablemente correcto, por ejemplo en primer plano, puede llevarse a cabo siguiendo un procedimiento similar.

La figura 5 muestra esquemáticamente una ilustración de un aparato de procesamiento de imágenes según la invención que comprende:

-

un receptor 510 para recibir una señal que representa una secuencia de imágenes que comprende una imagen;

-

un estimador 520 de movimiento para estimar un campo de vectores de movimiento de la imagen;

-

un detector 530 de oclusión para detectar regiones de oclusión de la imagen;

-

una unidad 540 de corrección de vectores de movimiento para corregir el campo de vectores de movimiento estimado basándose en el análisis de contenido de imagen de regiones de oclusión y de no oclusión, evaluación de valores de similitud basándose en el valores de propiedad de imagen, selección de una región de no oclusión particular basándose en los valores de similitud y sustitución del vector de movimiento erróneo de la región de oclusión por el de la región de no oclusión particular seleccionada; y

-

una unidad 550 de procesamiento de imágenes con compensación de movimiento para compensar el movimiento de la imagen basándose en el campo de vectores de movimiento corregido.

Puede suministrarse una secuencia de imágenes como entrada al aparato en el conector 501 de entrada y puede obtenerse una salida desde el conector 551 de salida para un uso adicional.

La figura 6 muestra esquemáticamente el método según la invención. En el método 600, en la etapa 610 de análisis se recibe una secuencia de imágenes junto con sus campos de vectores de movimiento y regiones de oclusión clasificadas. La salida de la etapa 610 de análisis comprende valores de propiedad de imagen de las respectivas regiones de oclusión y de no oclusión y estos valores se usan en la etapa 620 de evaluación para calcular valores de similitud. En la etapa 630 de selección se selecciona la región de no oclusión que mejor coincide basándose en los valores de similitud. El vector de movimiento de la región de no oclusión particular seleccionada sustituye, en la etapa 640 de sustitución de vector, al vector de movimiento de la región de oclusión. En caso de valores de similitud que no tengan suficiente discriminación para seleccionar un valor particular, el selector 630 envía una petición 650 al evaluador con el fin de evaluar un segundo conjunto de valores de similitud basándose en un segundo valor de propiedad de imagen de las regiones respectivas.

El producto de programa informático puede gestionarse en un almacenamiento extraíble o integrado convencional, por ejemplo memoria flash o disco duro. El producto de programa informático puede estar incorporado en un dispositivo, tal como un circuito integrado o una máquina informática, como software incrustado o mantenerse cargado previamente o cargado desde uno de los dispositivos de memoria o almacenamiento convencionales. El producto de programa informático puede presentarse en uno cualquiera de los códigos conocidos tales como códigos de nivel de máquina o lenguajes de ensamblado o lenguajes de nivel superior y realizarse para que funcione en cualquiera de las plataformas disponibles, tales como dispositivos portátiles u ordenadores personales o servidores.

Debe observarse que las realizaciones mencionadas anteriormente ilustran, en más que limitan, la invención y los expertos en la técnica podrán diseñar realizaciones alternativas sin apartarse del alcance de las reivindicaciones adjuntas. En las reivindicaciones, cualquier símbolo de referencia colocado entre paréntesis no se interpretará como que limita la reivindicación. La expresión “que comprende/comprendiendo” no excluye la presencia de elementos o etapas no enumerados en una reivindicación. La palabra “un” o “una” precediendo a un elemento no excluye la presencia de una pluralidad de tales elementos. La invención puede implementarse por medio de un ordenador programado adecuado. En las reivindicaciones unitarias que enumeran varios medios, varios de estos medios pueden implementarse mediante un único elemento de hardware.

Claims (14)

1. REIVINDICACIONES

   1. Unidad (200) de corrección de vectores de movimiento para corregir un campo (Mn) de vectores de movimiento que comprende vectores de movimiento de regiones respectivas de una imagen (102), comprendiendo la unidad de corrección de vectores de movimiento:

   -

   un analizador (210) dispuesto para analizar contenido de imagen de una región (R0) de oclusión y contenido de imagen de varias regiones (R1, R2) de no oclusión en un entorno espacial de la región de oclusión de la imagen

   (102) y para obtener valores de propiedad de imagen respectivos de la región de oclusión (R) y las regiones (R1, R2) de no oclusión;

   -

   un evaluador (220) dispuesto para evaluar valores de similitud que se basan en un valor de propiedad de imagen de la región (R0) de oclusión y valores de propiedad de imagen adicionales de las regiones (R1, R2) de no oclusión respectivas;

   -

   un selector (230) dispuesto para seleccionar una región (R2) de no oclusión particular a partir de las diversas regiones (R1, R2) de no oclusión basándose en el valor de similitud correspondiente; y

   -

   una unidad (240) de sustitución de vector dispuesta para sustituir el vector de movimiento de la región (R0) de oclusión por el vector de movimiento de la región (R2) de no oclusión particular seleccionada.

2. 2.

   Unidad (200) de corrección de vectores de movimiento según la reivindicación 1, en la que el analizador (210) está dispuesto para obtener un parámetro de textura como valor de propiedad de imagen.

3. 3.

   Unidad (200) de corrección de vectores de movimiento según la reivindicación 1, en la que el analizador (210) está dispuesto para obtener un parámetro de luminancia como valor de propiedad de imagen.

4. 4.

   Unidad (200) de corrección de vectores de movimiento según la reivindicación 1, en la que la unidad (200) de corrección de vectores de movimiento está dispuesta para localizar una de las diversas regiones (R1, R2) de no oclusión en el entorno espacial de la región (R0) de oclusión basándose en una combinación de un vector (V1) de movimiento de la región (R0) de oclusión y un vector (V2) de movimiento adicional de la región (R0) de oclusión para analizar, evaluar y seleccionar la región de no oclusión particular.

5. 5.

   Unidad (200) de corrección de vectores de movimiento según la reivindicación 1, en la que la unidad de corrección de vectores de movimiento está dispuesta para localizar una de las diversas regiones (R1, R2) de no oclusión en un entorno temporal que comprende la imagen (102) y una imagen (100) adicional, siendo la imagen

   (102) y la imagen (100) adicional imágenes consecutivas de una secuencia de imágenes, basándose en un vector (-V1, -V2) de movimiento de la región (R0) de oclusión para analizar, evaluar y seleccionar la región de no oclusión particular.

6. 6.

   Unidad (200) de corrección de vectores de movimiento según la reivindicación 1, en la que el evaluador (220) está dispuesto para evaluar valores de similitud adicionales que se basan en un segundo valor de propiedad de imagen de la región (R0) de oclusión y valores de propiedad de imagen correspondientes de las regiones (R1, R2) de no oclusión respectivas, basándose en una petición del selector (230).

7. 7.

   Aparato (500) de procesamiento de imágenes que comprende:

   -

   un receptor (510) para recibir una señal que representa una secuencia de imágenes que comprende una imagen;

   -

   un estimador (520) de movimiento para estimar un campo de vectores de movimiento de la imagen;

   -

   un detector (530) de oclusión para detectar regiones de oclusión de la imagen;

   -

   una unidad (540) de corrección de vectores de movimiento para corregir el campo de vectores de movimiento estimado según una cualquiera de las reivindicaciones 1 a 6; y

   -

   una unidad (550) de procesamiento de imágenes con compensación de movimiento para compensar el movimiento de la imagen basándose en el campo de vectores de movimiento corregido.

8. 8.

   Aparato (500) de procesamiento de imágenes según la reivindicación 7, en el que la unidad (550) de procesamiento de imágenes con compensación de movimiento está dispuesta para desentrelazar la secuencia de imágenes recibida basándose en el campo de vectores de movimiento corregido.

9. 9.

   Aparato (500) de procesamiento de imágenes según la reivindicación 7, en el que la unidad (550) de procesamiento de imágenes con compensación de movimiento está dispuesta para convertir ascendentemente en el tiempo la secuencia de imágenes recibida basándose en el campo de vectores de movimiento corregido.

10. 10.

    Aparato (500) de procesamiento de imágenes según la reivindicación 7, en el que la unidad (550) de

    5 procesamiento de imágenes con compensación de movimiento está dispuesta para convertir la secuencia de imágenes en una secuencia de imágenes en múltiples vistas basándose en el campo de vectores de movimiento corregido.
11. 11. Aparato (500) de procesamiento de imágenes según la reivindicación 7, en el que la unidad (550) de

    procesamiento de imágenes con compensación de movimiento está dispuesta para reducir ruido en la secuencia de 10 imágenes recibida basándose en el campo de vectores de movimiento corregido.

12. 12.

    Aparato (500) de procesamiento de imágenes según una cualquiera de las reivindicaciones 7 a 11, que comprende además un dispositivo de visualización para visualizar la imagen con compensación de movimiento.

13. 13.

    Método (600) para corregir un campo de vectores de movimiento de una imagen que comprende vectores de movimiento de regiones respectivas de una imagen, comprendiendo el método:

    15 - analizar (610) contenido de imagen de una región (R0) de oclusión y contenido de imagen de varias regiones (R1, R2) de no oclusión en un entorno espacial de la región (R0) de oclusión de la imagen (102) y obtener valores de propiedad de imagen respectivos de la región (R0) de oclusión y las regiones (R1, R2) de no oclusión;

    -

    evaluar (620) valores de similitud que se basan en un valor de propiedad de imagen de la región (R0) de oclusión y valores de propiedad de imagen adicionales de las regiones (R1, R2) de no oclusión respectivas;

    20 - seleccionar (630) una región (R2) de no oclusión particular a partir de las diversas regiones (R1, R2) de no oclusión basándose en el valor de similitud correspondiente; y

    -

    sustituir (640) el vector de movimiento de la región (R0) de oclusión por el vector de movimiento de la región (R2) de no oclusión particular seleccionada.

14. 14. Producto (700) de programa informático para ordenar a un ordenador que realice el método según la 25 reivindicación 13.