ES2359985T3

ES2359985T3 - Un método y un aparato para la interpolación de imágenes.

Info

Publication number: ES2359985T3
Application number: ES06252798T
Authority: ES
Inventors: Huseyin Vestek Elektronik Ar-Ge A.S. Ozdemir
Original assignee: Vestel Elektronik Sanayi ve Ticaret AS
Current assignee: Vestel Elektronik Sanayi ve Ticaret AS
Priority date: 2006-05-31
Filing date: 2006-05-31
Publication date: 2011-05-30
Anticipated expiration: 2026-05-31
Also published as: DE602006019699D1; EP1863283B1; ATE496485T1; EP1863283A1

Abstract

Un método para interpolar imágenes o fotogramas para una secuencia de vídeo, que comprende generar un fotograma de vídeo interpolado para su colocación entre unos primer y segundo imágenes o fotogramas en una secuencia de vídeo, apareciendo el segundo fotograma después del primer fotograma en la secuencia de vídeo, comprendiendo el método: a) identificar uno o más objetos móviles en el primer fotograma; b) segmentar el o cada uno de los objetos móviles identificados; c) determinar parámetros de movimiento para cada uno de los segmentos de los objetos segmentados; d) generar dicho fotograma de vídeo interpolado en función de dichos parámetros de movimiento determinados; y e) predecir la posición de objetos dentro de un tercer fotograma, apareciendo el tercer fotograma después del segundo fotograma en la secuencia de vídeo, donde dichas predicciones dependen sólo de los parámetros de movimiento determinados en el paso c para el primer fotograma interpolado, comprobando dichas predicciones según el tercer fotograma para conseguir una precisión predeterminada y, si existe dicha precisión, utilizar sólo dichos parámetros de movimiento para el primer fotograma interpolado para generar un segundo fotograma interpolado para su disposición entre el segundo fotograma y el tercer fotograma en la secuencia de vídeo, en caso de no conseguir la precisión repetir los pasos a a d con el segundo y tercer imágenes o fotogramas, donde el primer, segundo y tercer imágenes o fotogramas son consecutivos.

Description

La presente invención se refiere a un método y a un aparato para la interpolación de imágenes o fotogramas. Realizaciones de la invención también se refieren a una televisión que incluye un aparato para la interpolación de imágenes o fotogramas.

Un vídeo está hecho de una pluralidad de imágenes o fotogramas, siendo cada fotograma una imagen fija, donde el efecto de mostrar imágenes o fotogramas consecutivos es dar una impresión de movimiento. La velocidad de fotograma de los vídeos es generalmente lo suficientemente alta como para que un espectador no pueda percibir los imágenes o imágenes o fotogramas individuales, sino que perciba una imagen en movimiento continuo.

En algunas televisiones es deseable aumentar la velocidad de fotograma a valores superiores a aquellos en los que se capturó el vídeo que se está mostrando. Esto puede ser debido a un requisito de aumento de la velocidad de imágenes o fotogramas para la visualización de acuerdo con un estándar diferente a aquel en el que se capturó el vídeo.

Además, muchas de las televisiones más actuales, particularmente aquellas versiones con pantalla grande y pantalla panorámica (formato 16:9), utilizan una velocidad de refresco de pantalla de 100 Hz en lugar de la velocidad de refresco convencional de 50 Hz. Esto es principalmente para evitar el parpadeo de la pantalla, que es más perceptible y molesto para el espectador a medida que el tamaño de la pantalla aumenta. Sin embargo, las transmisiones de televisión estándar contienen sólo 50 imágenes o fotogramas por segundo. Por tanto, se desea ver la televisión en una de las televisiones más modernas, es necesario multiplicar por dos de algún modo la velocidad de fotograma.

A este aumento en la velocidad de fotograma se hace referencia como conversión ascendente de la velocidad de fotograma. La conversión ascendente de la velocidad de fotograma se utiliza para eliminar grandes áreas de parpadeo en una pantalla de televisión. La oscilación del movimiento es un problema que puede surgir en tales situaciones con algunos tipos de conversiones ascendentes que se emplean actualmente.

Cuando se realiza una conversión ascendente, es decir, se somete a un vídeo a una conversión ascendente, se añaden imágenes o fotogramas interpolados a la secuencia de vídeo original o fuente. Típicamente, se determina un fotograma de interpolación y se añade temporalmente entre dos imágenes

o fotogramas existentes. Un método conocido para conseguir esta conversión ascendente o interpolación de imágenes o fotogramas es mostrar cada fotograma original dos veces. Esta es una solución aceptable en regiones estáticas, pero se producen problemas en áreas de movimiento del vídeo mostrado. Los problemas se conocen con el nombre de "oscilación de movimiento" y visión borrosa y provocan una degradación de la calidad visual indeseable.

Un método conocido para la interpolación de imágenes o fotogramas se describe en el artículo titulado “Real-time 2-3 pull-down elimination applying motion estimation/compensation in a programmable device, de R.J. Schutten y G. de Hann de Phillips Research Laboratories, Eindhoven, Holanda. En este documento, se describe un método de interpolación de imágenes o fotogramas en la que se utiliza una estimación de movimiento para permitir la visualización de material visual sin oscilación. El método descrito utiliza un algoritmo complejo mediante el cual se consigue la estimación del movimiento tomando sub-muestras de los imágenes o fotogramas originales de un vídeo que se va a someter a la conversión ascendente.

El movimiento de un objeto en el fotograma se describe utilizando un modelo traslacional simple y se estiman parámetros para el modelo para obtener una descripción útil de un objeto en la imagen. Los parámetros del movimiento se seleccionan entonces de varios candidatos identificados basándose en el análisis de una función de coste. Por último, se lleva a cabo una segmentación. Este paso se describe como un paso extremadamente importante en el algoritmo. Su tarea es asignar un modelo de movimiento a cada grupo de píxeles. Esto se consigue asignando el modelo que mejor se ajusta a cada grupo de píxeles, que tiene típicamente un tamaño de 8x8 píxeles.

El algoritmo es extremadamente complejo y computacionalmente caro.

El documento US-A-2003/0194151 describe un método para la integración temporal de una secuencia de imágenes utilizando análisis de imágenes basado en objetos. El método comprende las operaciones de segmentación de imagen para particionar una imagen conocida en objetos, estimación de movimiento, procesamiento de campo de movimientos basado en objetos, determinación del orden de profundidad de los objetos y degradación y degradación cuidadosa para mitigar artefactos visibles.

De acuerdo con un primer aspecto de la invención, se proporciona un método para la interpolación de imágenes o fotogramas para una secuencia de vídeo que comprende generar un fotograma de vídeo interpolado para su colocación entre un primer y un segundo imágenes o fotogramas en una secuencia de vídeo, apareciendo el segundo fotograma después del primer fotograma en la secuencia de vídeo, el método comprendiendo: a) identificar uno o más objetos móviles en el primer fotograma; b) segmentar el o los objetos móviles identificados; y, c) determinar los parámetros de movimiento para cada uno de los segmentos de los objetos segmentados; d) generar dicho fotograma de vídeo interpolado dependiendo de dichos parámetros de movimiento determinados; e) predecir la posición de los objetos de un tercer fotograma, apareciendo el tercer fotograma después del segundo fotograma en la secuencia de vídeo, donde dichas predicciones dependen sólo de los parámetros de movimiento determinados en la operación c para el primer fotograma interpolado, comprobando dichas predicciones con el tercer fotograma en función de una precisión predeterminada, y si es preciso, utilizar sólo dichos parámetros de movimiento para el primer fotograma interpolado para generar un segundo fotograma interpolado para su colocación entre el segundo fotograma y el tercer fotograma de la secuencia de vídeo, en caso contrario, si no es preciso, repetir las operaciones a hasta d con los imágenes o fotogramas segundo y tercero, donde los imágenes o fotogramas primero, segundo y tercero son consecutivos.

El método requiere las operaciones de segmentar el o cada uno de los objetos móviles identificados y una vez que se ha hecho esto determinar los parámetros de movimiento de cada uno de los objetos identificados. En contraste con los métodos convencionales de interpolación de imágenes o fotogramas donde los parámetros de movimiento de los objetos se determinan antes de la segmentación utilizando métodos basados en bloques o píxeles (se determina un parámetro de movimiento para cada píxel o bloque), en realizaciones de la presente invención, la estimación de parámetros de movimiento se lleva a cabo después de la segmentación. Esto permite conseguir una reducción de la complejidad de la estimación de los parámetros de movimiento, ya que hay menos segmentos de objetos que píxeles o bloques de píxeles.

Por supuesto, dentro de cada fotograma individual cualquier objeto es estacionario. Puede moverse realmente sólo cuando el fotograma se observa en secuencia con otros imágenes o fotogramas. En el presente documento, un objeto "móvil” dentro de cualquier fotograma particular es un objeto que se movería si el fotograma en cuestión se observase en secuencia con los otros imágenes o fotogramas.

El método se puede utilizar en todos los tipos de pantallas progresivas cuando se necesita una conversión ascendente de la velocidad de fotograma libre de oscilaciones. También se puede utilizar como un método de conversión descendente, es decir, la conversión de película de cine a material de vídeo. También se puede proporcionar una implementación de software como parte de un paquete de software de procesamiento de imágenes basado en un ordenador o PC.

Preferiblemente, el paso de determinar parámetros de movimiento para el o cada uno de los segmentos comprende identificar para al menos uno de los segmentos del primer fotograma uno correspondiente en el segundo fotograma. Preferiblemente, una vez que se ha encontrado un par de segmentos correspondientes, se determinan los parámetros de movimiento para el segmento. En una realización preferida, se determina la posición de un segmento correspondiente en el fotograma interpolado en función de los parámetros de movimiento determinados para el segmento del primer fotograma.

Preferiblemente, la operación de segmentar un objeto comprende la operación de determinar los valores de luminancia para píxeles del objeto y segmentar el objeto en función de los valores de luminancia determinados.

En métodos conocidos de interpolación de imágenes o fotogramas que emplean la segmentación de objetos, la segmentación se lleva a cabo utilizando los parámetros de movimiento del objeto. Esto es computacionalmente caro e indeseable. Este problema se resuelve mediante una realización preferida de la presente invención en la que la segmentación de los objetos se lleva a cabo basándose en los valores de luminancia de los píxeles de un objeto. También se podrían utilizar otros parámetros de imagen, adicionalmente o en sustitución, para segmentar un objeto.

Además, en algunos métodos, como el descrito en US-A-2003/0194151, un proceso denominado de “segmentación” requiere el análisis de cada fotograma completo para identificar los vectores de movimiento para todos y cada uno de los píxeles de la imagen. Esto es complejo y computacionalmente caro. Por el contrario, en una realización de la presente invención la segmentación sólo se produce con relación a objetos móviles de un objeto. Así, el algoritmo utilizado para llevar a cabo el procesado de la imagen es más simple y computacionalmente eficiente.

De acuerdo con un segundo aspecto de la presente invención, se proporciona un método de un método de conversión ascendente de la velocidad de fotograma de una primera secuencia de vídeo, generando así una segunda secuencia de vídeo procesada, comprendiendo el método:

recibir una primera secuencia de vídeo a una primera velocidad de fotograma;

generar imágenes o fotogramas interpolados para colocar temporalmente entre pares de imágenes o fotogramas de la primera secuencia de vídeo;

intercalar los imágenes o fotogramas de la primera secuencia de vídeo con los imágenes o fotogramas interpolados generados para producir la segunda secuencia de vídeo procesada que tiene una velocidad de fotograma mayor que la velocidad de fotograma de la primera secuencia de vídeo, donde la operación de generar imágenes o fotogramas interpolados comprende un método de interpolación de imágenes o fotogramas de acuerdo con el primer aspecto de la presente invención.

De acuerdo con un tercer aspecto de la presente invención, se proporciona un aparato para la interpolación de imágenes o fotogramas de una secuencia de vídeo, comprendiendo el aparato: un procesador para extraer un primer y segundo imágenes o fotogramas de una primera secuencia de vídeo, apareciendo el segundo fotograma después del primer fotograma en la secuencia de vídeo, y generar un fotograma interpolado para su colocación temporal entre el primer y el segundo imágenes o fotogramas e una segunda secuencia de vídeo, teniendo el procesador a) un identificador para identificar uno o más objetos en el primer fotograma; b) un segmentador para segmentar el o cada uno de los objetos identificados; c) un determinador para determinar parámetros de movimiento para cada uno de los objetos segmentados; d) un generador para generar dicho fotograma de vídeo interpolado en función de dichos parámetros de movimiento determinados; y, e) un predictor para predecir la posición de los objetos de un tercer fotograma, apareciendo el tercer fotograma después del segundo fotograma en la secuencia de vídeo, donde dichas predicciones sólo dependen de los parámetros de movimiento determinados en la operación c para el primer fotograma interpolado, comparando dichas predicciones con el tercer fotograma para obtener una precisión predeterminada, y si es preciso, utilizar sólo dichos parámetros determinados en la operación c para el primer fotograma interpolado para generar un segundo fotograma interpolado para colocarlo entre el segundo fotograma y el tercer fotograma en la secuencia de vídeo, o por el contrario si no es preciso, repetir los pasos llevados a cabo en b hasta d con los segundo y tercer imágenes o fotogramas, donde los imágenes o fotogramas primero, segundo y tercero son consecutivos.

De acuerdo con un cuarto aspecto de la presente invención, se proporciona un conversor ascendente de velocidad de imágenes o fotogramas para la conversión ascendente de la velocidad de imágenes o fotogramas de una primera señal de vídeo, estando dispuesto el conversor ascendente de velocidad de imágenes o fotogramas para recibir la primera señal de vídeo y generar imágenes o fotogramas interpolados para intercalar con los imágenes o fotogramas de la primera señal de vídeo, incluyendo el conversor ascendente de velocidad de imágenes o fotogramas un aparato de acuerdo con el tercer aspecto de la invención.

En una realización de la presente invención, se proporciona un método de interpolación de imágenes o fotogramas, comprendiendo el método: recibir un primer y segundo imágenes o fotogramas de una secuencia de vídeo de entrada; generar un fotograma interpolado para su disposición entre el primer y el segundo imágenes o fotogramas en una secuencia de vídeo procesada de modo que la segunda secuencia de vídeo tiene una velocidad de imágenes o fotogramas mayor que la secuencia de vídeo de entrada, donde generar el fotograma interpolado comprende: identificar uno o más objetos móviles en el primer fotograma; segmentar el o cada objeto identificado; y, determinar parámetros de movimiento para cada uno de los objetos segmentados.

A continuación se describirán con detalle ejemplos de la presente invención haciendo referencia a los dibujos adjuntos, en los que:

La Figura 1 es un diagrama de flujo esquemático de las operaciones de un método de acuerdo con una realización particular de la presente invención;

La Figura 2 es un diagrama esquemático de dos imágenes o fotogramas consecutivos de una secuencia de vídeo original;

La Figura 3 es un diagrama de un sistema de coordenadas cartesiano utilizado en la generación de un fotograma interpolado;

La Figura 4 es una representación esquemática que muestra regiones de interés de los imágenes o fotogramas de la Figura 2;

La Figura 5 es una representación esquemática de un cuerpo rígido en cada uno de los imágenes o fotogramas de la Figura 2;

La Figura 6 muestra dos imágenes o fotogramas en los que se muestra la posición de un cuerpo rígido móvil;

La Figura 7 es una representación esquemática de una posición interpolada de un cuerpo rígido en un fotograma;

La Figura 8 muestra dos imágenes o fotogramas consecutivos en los que se muestra la posición de un cuerpo rígido rotatorio;

La Figura 9 muestra las fases de movimiento del cuerpo rotatorio de los imágenes o fotogramas de la Figura 8 junto con una fase de movimiento interpolada;

La Figura 10 muestra un fotograma interpolado para su inserción entre los imágenes o fotogramas de la Figura 2;

La Figura 11 muestra un fotograma con un cuerpo móvil; y

La Figura 12 muestra una representación esquemática de una televisión.

La Figura 1 es un diagrama de flujo esquemático de las operaciones de un método de acuerdo con una realización particular de la presente invención. Inicialmente, en la operación 2, se extraen dos imágenes o fotogramas consecutivos de una primera secuencia de vídeo a procesar. A continuación, en la operación 4, se define un sistema de coordenadas para los imágenes o fotogramas extraídos, como un sistema de coordenadas cartesiano. A continuación, en las operaciones 6 y 8, se detectan áreas móviles de los imágenes o fotogramas consecutivos extraídos y las regiones de los imágenes o fotogramas extraídos en las que están situados los píxeles móviles se identifican como regiones de interés ROI. En la operación 10, se lleva a cabo la detección de objetos en los ROIs para identificar cuerpos rígidos dentro de los ROIs. No es necesario que un cuerpo rígido sea un elemento diferenciado con relación al resto del fotograma. Se trata de un sistema de partículas o partes componentes en los que la distancia relativa entre las partículas o partes componentes no varía.

En la operación 14 se lleva a cabo la segmentación de objetos y la extracción de características. Los cuerpos detectados son segmentados en partes más pequeñas denominadas como “regiones características” (FRs). Esto se puede basar en luminancia media, color medio e índices de forma. En cualquier caso, estos parámetros se calculan para cada cuerpo rígido y se identifican así las regiones características. Se determinan entonces los centros geométricos para cada región característica identificada.

En la operación 16, se efectúa la correspondencia de regiones características de cada uno de los dos imágenes o fotogramas consecutivos. Para cada región característica del fotograma (N), se busca una correspondencia en el fotograma (N+1). Para buscar la correspondencia de una región característica del fotograma (N) con una del fotograma (N+1), se utiliza un coeficiente de correspondencia de un par de regiones características. Como se explicará más adelante, el coeficiente de correspondencia se puede calcular utilizando la diferencia de luminancia media, la diferencia de color media y la diferencia de índices de forma para regiones características.

A continuación, en la operación 18 se lleva a cabo la estimación de movimiento. Para cada región característica, se identifica y estima el tipo de movimiento de la región característica. Preferiblemente, el movimiento se puede categorizar como movimiento rotacional puro, movimiento traslacional puro o una mezcla de los dos. Para el movimiento traslacional y el movimiento rotacional, se calculan la distancia y el ángulo de rotación para cada región característica. Como parte de la estimación de movimiento, en la operación 19, para cada región característica los parámetros de movimiento (vector de movimiento, ángulo de rotación) son suavizados, como se explicará con mayor detalle más adelante.

A continuación, en la operación 20, se crea un fotograma vacío entre los dos imágenes o fotogramas (N) y (N+1). En el dominio temporal, el fotograma vacío se sitúa entre el fotograma (N) y el fotograma (N+1). El fotograma vacío es de las mismas dimensiones físicas (anchura y altura) que los imágenes o fotogramas (N) y (N+1). El fotograma vacío se debe reconstruir y situar dentro de una secuencia de vídeo de salida para proporcionar un puente o enlace entre los imágenes o fotogramas (N) y (N+1).

Se puede hacer referencia al nuevo fotograma como un “fotograma interpolado”, ya que al usar datos de las imágenes de los imágenes o fotogramas (N) y (N+1) la imagen contenida en el nuevo fotograma es una interpolación. El fotograma interpolado se debe reconstruir. Para hacer esto, se copian regiones inicialmente estáticas de los imágenes o fotogramas originales (N) y (N+1), es decir, regiones no identificadas como regiones de interés, al fotograma interpolado. A continuación, en la operación 22, se calculan las nuevas posiciones de las regiones características y se forma el fotograma recién calculado o interpolado. El método se describirá ahora en detalle haciendo referencia a las Figuras 2 a 11.

La Figura 2 es un diagrama esquemático de dos imágenes o fotogramas consecutivos, el fotograma (N) y el fotograma (N+1), de una secuencia de vídeo original. Como se describirá a continuación, se debe calcular un fotograma interpolado (I) para su colocación temporalmente entre el fotograma (N) y el fotograma (N+1) en una secuencia de vídeo de salida o procesado.

Haciendo referencia a la Figura 2, se pueden ver varios objetos obj-1 a obj3 en el fotograma (N) y el fotograma (N+1). Dado que los objetos están en posiciones u orientaciones diferentes en el fotograma (N+1) en comparación con el fotograma (N), los objetos están en movimiento en el vídeo. Inicialmente, como se muestra en la Figura 3, se define un sistema de coordenadas cartesiano para los imágenes o fotogramas que tiene un origen en la esquina superior izquierda del fotograma. Por supuesto, esto se hace por conveniencia y de hecho el origen se puede definir en cualquier posición en los imágenes o fotogramas.

Para cada píxel de los imágenes o fotogramas, se lleva a cabo una determinación acerca de si el píxel es móvil o estacionario.

Esto se puede hacer de cualquier manera conveniente pero preferiblemente se realiza como sigue:

Se define un píxel que tiene las coordenadas (i, j) en el sistema de coordenadas cartesiano descrito anteriormente y mostrado en la Figura 3. La luminancia del píxel en (i, j) del fotograma (N) se define como Y(N)(i, j). Se realiza una comparación de los valores de luminancia de estos píxeles. Si la diferencia absoluta entre Y(N)(i, j) e Y(N+1)(i, j) es mayor que algún umbral definido, entonces el píxel es identificado como un píxel móvil y se asigna a una región móvil de cada uno de los imágenes o fotogramas. El proceso se repite para cada píxel para todos los valores de i y j entre 0 y los límites definidos por el tamaño de los imágenes o fotogramas.

El nivel de luminancia umbral se puede determinar empíricamente. Claramente, variando el nivel del umbral, se modifica la sensibilidad del algoritmo de detección. Si se utiliza un espacio de color YUV en el que Y es la componente de luminancia y U y V son los componentes de crominancia, se puede utilizar un sistema de 8 bits. Esto significa que el rango disponible para cada uno de los parámetros Y, U y V es de 0 a 255. Dentro de este rango, se selecciona un umbral de 30, que se ha comprobado que produce resultados satisfactorios.

Haciendo referencia a la Figura 4, las regiones móviles se seleccionan dibujando rectángulos u otras formas adecuadas alrededor de ellas. Las regiones de interés para ambos imágenes o fotogramas

(N) y (N+1) son las mismas. Se hace referencia a los rectángulos como regiones de interés (ROI) y se aplican los mismos ROIs a ambos imágenes o fotogramas. En este ejemplo, hay cuatro regiones de interés, ROI-1 a ROI-4 en cada uno de los imágenes o fotogramas (N) y (N+1).

La Figura 5 muestra con detalle un ejemplo de una región de interés de dos imágenes o fotogramas consecutivos de un vídeo. La región de interés 24 es la misma en cada uno de los imágenes o fotogramas (N) y (N+1), pero el cuerpo de la región de interés claramente se ha movido. En efecto, es el movimiento del cuerpo en la región de interés 24 lo que define la ubicación de la región de interés.

A continuación, se detectan las fronteras entre regiones móviles y estacionarias dentro de una región de interés. Inicialmente, se crea una imagen binaria para la región de interés mediante la asignación a píxeles móviles de un valor de 1 y a píxeles estacionarios de un valor de 0 dentro de la región de interés. A continuación, se aplica la dilatación a la imagen binaria, que tiene el efecto de quitar huecos de las partes internas de la región móvil. La dilatación se puede aplicar a una imagen completa o a parte de una imagen. En el presente caso, se utiliza la dilatación para quitar huecos dentro de regiones móviles. Para llevar a cabo la dilatación se utiliza un elemento estructural, como un cuadrado. Se aplica entonces la detección de bordes para identificar una frontera que separa las regiones móviles y estacionarias. La Figura 5A muestra los cuerpos rígidos de los imágenes o fotogramas (N) y (N+1).

A continuación, como se ha explicado antes con referencia a la Figura 1, se lleva a cabo la segmentación en la operación 14. Los cuerpos dentro de las regiones de interés se segmentan en partes más pequeñas, preferiblemente basándose en los valores de luminancia de píxeles dentro de los cuerpos. Cada cuerpo segmentado se identifica como una región característica FR. Si un cuerpo no tiene regiones características basándose en valores de luminancia (o de cualquier otro modo que sirva para identificar regiones características), entonces el cuerpo es uniforme. Con el propósito de siguientes operaciones del presente método, se trata el cuerpo completo como si fuese una única región característica.

Haciendo referencia de nuevo a la Figura 5, se puede observar que hay dos regiones características dentro de la ROI 24 en el fotograma (N), que están numeradas como 261 y 262. Similarmente, dentro de la región de interés 24 en el fotograma (N+1) las dos regiones características se numeran como 281 y 282. Utilizando el sistema de coordenadas cartesianas descrito anteriormente con referencia a la Figura 3, para cada región característica, la longitud del contorno se determina contando los píxeles del contorno. A continuación, se calcula el centro geométrico de los píxeles de contorno utilizando un algoritmo adecuado. Se hace referencia al centro geométrico como el punto característico (FP) de la región característica. A continuación, se determina la luminancia media de cada región característica. La magnitud del vector color medio también se calcula para cada región característica. Para conseguir esto, se pueden utilizar las siguientes sumas:

Se denota el número de píxeles de una FR particular como n;

Sean (i, j) las coordenadas de un píxel dentro del contorno de FR, y (en el espacio YUV) la luminancia de dicho píxel igual a Y(i, j). Esto resulta entonces en:

1

Lu min ancia _ Media  Yi, j 

n

ij

 2 2 

 

 

Magnitud _Vector _ Color _ Medio  U i, j  1  V i, j  1  ij  ij 

n n

 

donde:

V(i, j) = componente de cromaticidad V de un píxel en un espacio de color YUV; y

5 U(i, j) = componente de cromaticidad U de un píxel en un espacio de color YUV.

Para el cálculo de la longitud de la frontera de una región característica, se pueden implementar diferentes métodos. Como un ejemplo, se puede determinar la longitud del contorno contando los píxeles del contorno.

10 A continuación, como se ha descrito anteriormente con referencia a la operación 16 de la Figura 1, se buscan regiones características correspondientes entre los imágenes o fotogramas (N) y (N+1). Para buscar regiones correspondientes, se deben definir criterios de correspondencia adecuados. Según un ejemplo, la luminancia media, la magnitud media del vector de color y el índice de forma se pueden utilizar como criterios de correspondencia entre regiones características, estando definido el índice de forma

15 como sigue:

Índice de forma = P/Q

donde

P = Longitud de frontera de la FR; y

Q = Línea más larga de la frontera de la FR.

20 Como se explicará con mayor detalle, la determinación de la “línea más larga de la frontera de la región característica” se explicará más adelante. Se establece entonces un umbral para la diferencia de cada uno de estos criterios y se utiliza para procesar las imágenes según se explicará más adelante cuando el método de correspondencia se describe con mayor detalle.

Se definen tres parámetros según sigue.

25 Umbral de diferencia de luminancia media: lumathr

Umbral de diferencia de magnitud media del vector de color: chromathr

Umbral de la diferencia del índice de forma: shinthr

Cuando se encuentra una correspondencia para una región característica en un fotograma (N), los criterios se comparan con aquellos de las regiones características del fotograma (N+1). La diferencia

30 de cada uno de estos tres parámetros debería ser menor que un umbral definido para que se trate de una correspondencia. Los umbrales se pueden definir de cualquier manera adecuada pero típicamente se pueden determinar empíricamente.

Se describirá a continuación un método de correspondencia de una región característica con referencia a la tabla 1 siguiente.

imagen1

Número FR: Luminancia Media Mag. Media Vector Color Índices Forma

FR(N)-1: 100 59 2,8

FR(N)-2: 28 69 4,3

FR(N)-3: 45 24 1,5

…
…
…
…

FR(N)-n: 75 56 3,6

TABLA 1

5

10

15

20

25

30

35

40

Se establece una tabla para cada uno de los imágenes o fotogramas (N) y (N+1). En el ejemplo mostrado anteriormente, la tabla es para el fotograma (N) pero se entenderá que se establece una tabla correspondiente para el fotograma (N+1). Para cada una de las regiones características 1 a n se calculan los valores medios de la luminancia y de la magnitud del vector de color según se ha descrito. Además, se determina un valor para el índice de forma.

La correspondencia de las regiones características se pueden llevar a cabo entonces como sigue. La primera región característica en la tabla de regiones características del fotograma (N) se denota como FR(N)-1. Además, se identifican como FR(N+1)-n regiones características en el fotograma (N+1).

Entonces cada FR(N+1)-n se inspeccionan y se calculan o determinan según se ha explicado anteriormente los valores de la media de los parámetros para la luminancia, magnitud del vector color e índice de forma. Se realizan las diferencias en luminancia media, color medio e índice de forma entre FR(N)-1 y todos los FR(N+1)-ns. Para un par particular, si la diferencia para cada uno de los tres parámetros es menor que los umbrales correspondientes establecidos anteriormente, entonces este FR(N+1)-n puede ser una correspondencia para FR(N)-1. Como este par de regiones características puede ser una correspondencia, se debe determinar el coeficiente de correspondencia para el par. Esto se consigue utilizando la siguiente ecuación:

Coeficiente de Correspondencia = ΔAL. ΔCVM. ΔSI

donde: ΔAL = Diferencia de luminancia media;

ΔCVM = Diferencia de magnitud de vector color medio

ΔSI = Diferencia de índice de forma

El proceso se repite y se identifican todas las posibles correspondencias y se calcula un coeficiente de correspondencia respectivo. El FR(N+1)-n con el coeficiente de correspondencia más bajo se toma como la correspondencia para la región característica FR(N)-1. Entonces se puede repetir el proceso para FR(N)-2 y así sucesivamente hasta FR(N)-n.

Si no se puede encontrar una correspondencia para una región característica del fotograma (N), entonces sus parámetros de movimiento se deben encontrar en la operación de suavización de parámetros de movimiento que se describirá con detalle más adelante. Si no se puede encontrar una correspondencia para una región característica en el fotograma (N+1) entonces no se lleva a cabo ninguna acción.

A continuación, una vez se han establecido las correspondencias de las regiones características en los imágenes o fotogramas (N) y (N+1), es necesario determinar el movimiento que ha sufrido la región característica. En primer lugar, el punto característico de cada región característica correspondiente en el fotograma (N) y en el fotograma (N+1) se calculan utilizando el sistema de coordenadas cartesianas descritas anteriormente. Seguidamente, se calcula el punto característico de una región característica correspondiente a formar en el fotograma interpolado de acuerdo con la siguiente ecuación.

FP o FR en el fotograma interpolado es igual a x , yi , donde

i

xi x1  x2 /2

yi y1  y2 /2

donde:

-: FP de la FR en el fotograma (N) = x1, y1 

-: FP de la FR correspondiente en el fotograma (N+1) = x2, y2 

El vector de movimiento para esta región característica es por tanto:

 x2  x1   

 y2  y1 

Haciendo referencia a las Figuras 6 y 7, el efecto de este proceso se puede ver claramente. En la Figura 6, se muestran las posiciones del cuerpo rígido 2 en cada uno de los imágenes o fotogramas (N) y (N+1) respectivamente como fases de movimiento 1 y 3. A continuación, en la fase de movimiento 2, se muestra la posición del cuerpo rígido en el fotograma interpolado. Haciendo referencia a la Figura 7, se puede ver que la posición del cuerpo rígido con relación a la posición en los imágenes o fotogramas (N) y (N+1) está a mitad de camino entre los dos, como se esperaría utilizando las ecuaciones descritas anteriormente.

Cuando también se produce el movimiento rotacional de una región característica, la posición de la región característica del fotograma interpolado se puede determinar como sigue. Haciendo referencia a la Figura 8, se muestra un cuerpo rígido en cada uno de los imágenes o fotogramas (N) y (N+1). En primer lugar, se utilizan líneas para determinar los cuatro puntos que están más cerca del contorno de la región de interés. A lo largo de estos cuatro puntos, se utilizan los dos que están más alejados para definir una línea. Haciendo referencia al fotograma (N), esto se muestra como la línea 30, que se denota como “línea de referencia". El método también se utiliza para encontrar la línea más larga en la frontera de la región característica.

Para la región característica correspondiente en el fotograma (N+1), de nuevo se identifican los cuatro puntos en el contorno de la región característica que están más cerca del contorno de la región de interés. Entre estos cuatro puntos, se utilizan los dos que están más lejos uno de otro para definir una línea a la que se hace referencia como "línea de correspondencia" 32. El ángulo de rotación del objeto es el ángulo entre la línea de correspondencia y la línea de referencia. Por tanto, el ángulo de rotación de la región característica del fotograma (N) al fotograma (N+1) es determinado y se le asigna el valor de 2a grados. Por tanto, para determinar el ángulo de rotación de la región característica entre el fotograma (N) y el fotograma interpolado, se asigna un ángulo de rotación a la línea de referencia 30 de a grados.

Si hay más de un punto a la misma distancia de una línea de frontera, entonces de nuevo se toman los dos puntos que están más alejados uno de otro para determinar la línea de correspondencia o la línea de referencia.

Haciendo referencia a la Figura 9, se puede ver cómo el movimiento rotacional del cuerpo rígido 1 en el fotograma (N) existe en las tres fases del movimiento 1 a 3. Como se muestra, en el fotograma interpolado se asigna una fase de movimiento 2 al cuerpo de modo que el ángulo de rotación con relación al ángulo de rotación del fotograma (N) es la mitad de la magnitud del ángulo rotacional entre los imágenes o fotogramas (N) y (N+1).

En esta etapa, se han determinado los vectores de movimiento y ángulos rotacionales para cada región característica y por tanto es posible ahora crear un fotograma que se podría posicionar temporalmente entre el fotograma (N) y el fotograma (N+1). Sin embargo, antes de generar el fotograma interpolado, es preferente llevar a cabo un suavizado de los parámetros de movimiento. Los parámetros de movimiento son el vector de movimiento y el ángulo rotacional. En el proceso de suavizado, los parámetros de movimiento de una región característica y aquellos de las regiones características vecinas se tienen en cuenta para determinar unos parámetros de movimiento suavizados para cada región característica.

El objeto del proceso de suavizado es eliminar o reducir errores en la estimación de movimiento. Preferiblemente, en el proceso de suavizado los parámetros de movimiento de una región característica se evalúan con relación a aquellos de una o más regiones características vecinas. Como típicamente se espera que regiones características vecinas permanezcan cercanas unas de otras, si el suavizado estima que una región característica se está moviendo de manera extraña, se pueden corregir sus parámetros de movimiento.

Para encontrar los parámetros de movimiento suavizados para una región característica, se suman los parámetros respectivos de las regiones características vecinas y de la región características de la región bajo consideración. Se toma una simple media dividiendo la suma entre el número de vecinos más uno (para tener en cuenta la región característica bajo consideración). Si la región característica bajo consideración es una región característica sin correspondencia, entonces sus parámetros de movimiento originales se toman como cero y la suma se divide entre el número de vecinos solamente.

Se proporcionará a continuación un ejemplo en el que se aplica el suavizado a una región característica para determinar los valores de los parámetros de movimiento para la región característica para permitir que su posición en el fotograma interpolado se calcule de manera precisa.

Denotar una muestra de FR como sFR y suponer que tiene 3 vecinos

Denotar el primer FR vecino como n1FR

Denotar el segundo FR vecino como n2FR Denotar el tercer FR vecino como n3FR

5

10

15

20

25

30

35

40

Denotar la componente x del vector de movimiento de una FR como FR(x) Denotar la componente y del vector de movimiento de una FR como FR(y)

La componente x suavizada del vector de movimiento de sFR es:

sFR(x) = (sFR(x) + n1FR(x) + n2FR(x) + n3FR(x)) / 4

La componente y suavizada del vector de movimiento de sFR es:

sFR(y) = (sFR(y) + n1FR(y) + n2FR(y) + n3FR(y)) / 4

El ángulo rotacional suavizado de sFR es:

sFR(a) = (sFR(a) + n1FR(a) + n2FR(a) + n3FR(a)) / 4

Si sFR es un FR sin correspondencia, entonces

sFR(x) = sFR(y) = sFR(a) = 0

y la fórmula para encontrar la componente x suavizada

sFR(x) = (n1FR(x) + n2FR(x) + n3FR(x)) / 3

la fórmula para encontrar la componente y suavizada

sFR(y) = (n1FR(y) + n2FR(y) + n3FR(y)) / 3

la fórmula para encontrar el ángulo rotacional suavizado

sFR(a) = (n1FR(a) + n2FR(a) + n3FR(a)) / 3

Una vez se ha completado el suavizado, se comienza la interpolación mediante la creación de un fotograma vacío con las mismas dimensiones que el fotograma (N) y el (N+1), como se muestra en la operación 20 de la Figura 1. El fotograma interpolado (fotograma i) estará entre el fotograma (N) y el fotograma (N+1) en el dominio temporal. En este momento hay dos fases de movimiento para cada región característica, una en el fotograma (N) y otra en el fotograma (N+1). Inicialmente, se debe encontrar la fase de movimiento para la región característica en el fotograma interpolado. Si el movimiento de la región característica es puramente traslacional, entonces como se ha descrito anteriormente se utiliza la nueva posición geométrica del punto característico para determinar la posición de la región característica en el fotograma interpolado. Si el movimiento es puramente rotacional, entonces se utiliza el ángulo de rotación “a” para determinar la orientación de la región característica en el fotograma interpolado. Si el movimiento de la región característica incluye tanto componentes traslacionales como rotacionales, entonces se deben aplicar ambos procedimientos.

Se calcula el vector de movimiento traslacional y se mueve el punto característico de la región característica a una nueva posición en el fotograma interpolado determinado como se ha descrito anteriormente. Entonces se actualizan las coordenadas de los otros píxeles en la región característica utilizando parámetros de movimiento traslacional. Como siguiente paso, se aplica una operación de rotación a los píxeles FR actualizados. El procedimiento es como sigue:

Las coordenadas del punto característico del fotograma i (eje rotación):

(x0, y0)

Las coordenadas del píxel en el fotograma (N):

(xN, yN)

Las coordenadas del píxel en el fotograma i:

(xi, yi)

La componente x del vector de movimiento traslacional: tm(x)

La componente y del vector de movimiento traslacional: tm(y)

El ángulo de rotación del fotograma (N) al fotograma i: a

Para el movimiento traslacional:

xN = xN + tm(x)

yN = yN + tm(y)

Entonces, para el movimiento rotacional:

xi = (xN-x0)·cos(a) – (yN-y0)·sen(a) + x0

yi = (xN-x0)·sen(a) – (yN-y0)·cos(a) + y0

La fórmula rotacional puede producir coordenadas que no son enteros. Entonces, puede haber píxeles vacíos o “puntos en blanco” al final de la operación de rotación. Para generar la intensidad de los píxeles en cada posición se puede utilizar un filtrado de mediana sólo para esos puntos negros.

Para generar el fotograma interpolado para situar entre los imágenes o fotogramas (N) y (N+1), las áreas dentro de las regiones de interés diferentes de cuerpos rígidos, es decir, las regiones de fondo, son copiadas de los imágenes o fotogramas (N) y (N+1) al fotograma interpolado. Entonces, las regiones de los imágenes o fotogramas fuera de las regiones de interés se copian de los imágenes o fotogramas

(N) o (N+1) al fotograma interpolado. Como se muestra en la Figura 10, una vez se han situado las regiones características en el fotograma interpolado, se genera un fotograma completo que se puede situar temporalmente entre el fotograma (N) y el fotograma (N+1) en una secuencia de vídeo de salida.

La distancia y dirección de movimiento de una región característica es conocida y por tanto se puede predecir su velocidad y posición para imágenes o fotogramas sucesivos. La capacidad de predecir la posición de una región característica disminuye la complejidad computacional. La segmentación de los cuerpos sólo es necesaria cuando se produce un cambio de escena o cuando entre un cuerpo nuevo en la escena. En otras palabras, en lugar de segmentar y calcular las coordenadas de todos los cuerpos de cada fotograma, se pueden realizar predicciones y se pueden comprobar. De hecho, es posible hacer predicciones para imágenes o fotogramas posteriores al fotograma (N+1).

La Figura 11 muestra un ejemplo de una situación en la que, de acuerdo con el método, se estima que un punto característico móvil particular aparece realmente fuera de las fronteras del fotograma (N+1).

En un ejemplo, la estimación de la posición de los objetos o regiones características de un fotograma se puede utilizar para determinar la posición del objeto correspondiente o región característica en un fotograma interpolado siguiente. Por tanto, se puede reducir la intensidad computacional.

Consideremos un ejemplo en el que hay tres imágenes o fotogramas sucesivos existentes de una primera secuencia de vídeo, es decir, de una secuencia de vídeo a una primera velocidad de fotograma, fotograma1, fotograma2, fotograma3. Para aumentar la velocidad de fotograma, se deberían añadir imágenes o fotogramas interpolados entre estos tres imágenes o fotogramas. Un fotograma interpolado se añadirá entre el fotograma1 y el fotograma2, otro fotograma interpolado se añadirá entre el fotograma2 y el fotograma3.

Para llevar a cabo la primera interpolación, inicialmente se toman el fotograma1 y el fotograma2 y se procesan según se ha descrito anteriormente, es decir, segmentación, correspondencia de regiones características, estimación de movimiento, etc., de modo que se crea un fotograma interpolado correspondiente.

A continuación, en un ejemplo se podría repetir el mismo proceso para determinar o calcular el fotograma interpolado que va entre el fotograma2 y el fotograma3. En otras palabras, se pueden repetir las operaciones de segmentación, correspondencia de regiones características, estimación de movimiento entre el fotograma2 y el fotograma3 para crear un fotograma interpolado correspondiente.

Preferiblemente, todo este proceso no tiene que ser repetido. De hecho, típicamente las operaciones no tienen que volver a repetirse, a no ser que se produzca un cambio de escena o que un objeto cambie su dirección de movimiento, los FRs en el fotograma1, fotograma2 y fotograma3 serán idénticos o al menos muy similares. Mientras se lleva a cabo la interpolación para determinar el fotograma para posicionar entre el fotograma1 y el fotograma2, se ha determinado la velocidad, dirección de movimiento y ángulo rotacional de estos FRs utilizando el par fotograma1-fotograma2. Se pueden hacer ahora predicciones acerca de las ubicaciones de estos FRs en el fotograma3 y estas predicciones se pueden comprobar. Si las predicciones son correctas, entonces no son necesarias las operaciones computacionalmente intensivas utilizadas en la interpolación. Por supuesto, si las predicciones son falsas, entonces puede ser requerido un ciclo completo del método de interpolación de imágenes o fotogramas para determinar un fotograma interpolado para su posicionamiento temporal entre el fotograma2 y el fotograma3.

La Figura 12 muestra una representación esquemática de una televisión que incluye un conversor ascendente de velocidad de imágenes o fotogramas para convertir la velocidad de fotograma de una señal de vídeo recibida en una velocidad más alta. La televisión incluye un receptor para recibir una primera señal de vídeo. Se proporciona un procesador para recibir una entrada del receptor y procesar la señal recibida de la manera descrita anteriormente para generar imágenes o fotogramas interpolados. Los imágenes o fotogramas interpolados se disponen temporalmente según una secuencia deseada en la primera señal de vídeo para formar una segunda señal de vídeo procesada que tiene una velocidad de imágenes o fotogramas mayor que la de la primera señal. Como se ha explicado anteriormente, para ciertas televisiones de alta definición y/o formatos de pantalla panorámica tal aparato es altamente deseable.

La televisión comprende un sintonizador 33 en comunicación con una unidad 34 de operaciones de mejora frontal. Se proporciona un conversor ascendente de velocidad de imágenes o fotogramas que está dispuesto para recibir una secuencia de vídeo a una primera velocidad de imágenes o fotogramas. El conversor 36 ascendente de velocidad de imágenes o fotogramas se dispone para generar imágenes o fotogramas interpolados y proporcionar una secuencia de vídeo de salida a una velocidad de imágenes o fotogramas aumentada. En el ejemplo mostrado, la primera secuencia de vídeo recibida por el conversor ascendente de velocidad de imágenes o fotogramas está a una frecuencia de N Hz y la segunda secuencia de vídeo está a una frecuencia de 2N Hz.

La unidad 34 de operaciones de mejora frontal está configurada para aplicar varias operaciones a una señal recibida y proporcionar la señal mejorada o procesada al conversor ascendente de velocidad de imágenes o fotogramas como la primera secuencia de vídeo. Las operaciones ejecutadas por la unidad 34 de operaciones de mejora frontal pueden incluir todas o cualquiera de entre filtrado de OAS, eliminación de ruidos, nitidez, mejora de contraste, o cualquier otra operación de mejora apropiada. La señal mejorada se envía entonces al conversor 36 ascendente de velocidad de imágenes o fotogramas como la primera secuencia de vídeo.

Haciendo referencia ahora al conversor ascendente de velocidad de imágenes o fotogramas, incluye típicamente un capturador 38 de imágenes o fotogramas que se utiliza para capturar imágenes o fotogramas de la secuencia de vídeo, almacenándose los imágenes o fotogramas capturados en memoria, y luego las operaciones las lleva a cabo un identificador 40, un segmentador 42 y un determinador 44. El identificador 40 está configurado para identificar uno o más objetos móviles en un fotograma. El segmentador 42 está configurado para segmentar el o cada uno de los objetos móviles identificados y el determinador 44 está configurado para determinar parámetros de movimiento para cada uno de los segmentos de los objetos segmentados. Se proporciona una memoria de fotograma adicional para almacenar un fotograma interpolado generado para su disposición temporal entre dos imágenes o fotogramas apropiados. Por último, se proporciona una pantalla 46 para mostrar el vídeo codificado en el segundo vídeo de salida del conversor ascendente de velocidad de imágenes o fotogramas a una frecuencia de 2N Hz.

La televisión de la Figura 12 podría ser cualquier tipo de televisión adecuado que tenga el conversor ascendente de velocidad de imágenes o fotogramas incorporado. El conversor ascendente de velocidad de imágenes o fotogramas se proporciona típicamente como un chip para su configuración en la televisión. Puede construirse en la televisión o alternativamente puede formar una unidad separada para su conexión entre una salida aérea para recibir una señal de televisión de una fuente externa y el vídeo de entrada de la televisión. Se puede proporcionar como software para su almacenamiento en un microprocesador o chip que forma parte de una televisión o una unidad separada para su conexión entre una salida aérea para recibir una señal de televisión de una fuente externa y la entrada de vídeo de la televisión.

Claims

REIVINDICACIONES

1. Un método para interpolar imágenes o fotogramas para una secuencia de vídeo, que comprende generar un fotograma de vídeo interpolado para su colocación entre unos primer y segundo imágenes o fotogramas en una secuencia de vídeo, apareciendo el segundo fotograma después del primer fotograma en la secuencia de vídeo, comprendiendo el método:

a) identificar uno o más objetos móviles en el primer fotograma;

b) segmentar el o cada uno de los objetos móviles identificados;

c) determinar parámetros de movimiento para cada uno de los segmentos de los objetos segmentados;

d) generar dicho fotograma de vídeo interpolado en función de dichos parámetros de movimiento determinados; y

e) predecir la posición de objetos dentro de un tercer fotograma, apareciendo el tercer fotograma después del segundo fotograma en la secuencia de vídeo, donde dichas predicciones dependen sólo de los parámetros de movimiento determinados en el paso c para el primer fotograma interpolado, comprobando dichas predicciones según el tercer fotograma para conseguir una precisión predeterminada y, si existe dicha precisión, utilizar sólo dichos parámetros de movimiento para el primer fotograma interpolado para generar un segundo fotograma interpolado para su disposición entre el segundo fotograma y el tercer fotograma en la secuencia de vídeo, en caso de no conseguir la precisión repetir los pasos a a d con el segundo y tercer imágenes o fotogramas, donde el primer, segundo y tercer imágenes o fotogramas son consecutivos.
2.

Un método de acuerdo con la reivindicación 1, donde el paso de determinar los parámetros de movimiento para el o cada uno de los segmentos comprende identificar para al menos uno de los segmentos del primer fotograma una correspondencia en el segundo fotograma.
3.

Un método de acuerdo con la reivindicación 2, donde una vez se ha encontrado un par de segmentos correspondientes, se determinan los parámetros de movimiento para el segmento.
4.

Un método de acuerdo con la reivindicación 3, donde la posición de un segmento correspondiente en el fotograma interpolado se determina en función de los parámetros de movimiento determinados para el segmento del primer fotograma.
5.

Un método de acuerdo con cualquiera de las reivindicaciones 1 a 3, donde la segmentación se lleva a cabo en función de los valores de luminancia de los píxeles de el o cada uno de los objetos móviles.
6.

Un método de acuerdo con cualquiera de las reivindicaciones 2 a 5, donde identificar para el menos uno de los segmentos del primer fotograma una correspondencia en el segundo fotograma comprende identificar todas las correspondencias posibles y llevar a cabo un análisis de los posibles pares para determinar una correspondencia real.
7.

Un método de acuerdo con cualquiera de las reivindicaciones 2 a 6, donde después de que se ha establecido una correspondencia de entre todos los posibles pares de segmentos correspondientes, se suavizan los valores de los parámetros visuales de los segmentos interpolados.
8.

Un método de conversión ascendente de la velocidad de imágenes o fotogramas de una primera secuencia de vídeo generando así una segunda secuencia de vídeo procesada, comprendiendo el método:

recibir una primera secuencia de vídeo a una primera velocidad de imágenes o fotogramas;

generar imágenes o fotogramas interpolados para disponer temporalmente entre pares de imágenes o fotogramas en la primera secuencia de vídeo;

intercalar los imágenes o fotogramas de la primera secuencia de vídeo con los imágenes o fotogramas interpolados generados para producir una segunda secuencia de vídeo que tiene una velocidad de imágenes o fotogramas mayor que la velocidad de imágenes o fotogramas de la primera secuencia de vídeo, donde el paso de generar imágenes o fotogramas interpolados comprende un método para interpolar imágenes o fotogramas de acuerdo con las reivindicaciones 1 a 7.
9.

Un método de acuerdo con la reivindicación 8, donde la primera secuencia de vídeo tiene una velocidad de imágenes o fotogramas de N Hz y la segunda secuencia de vídeo tiene una velocidad de imágenes o fotogramas de 2N Hz.
10.

Un aparato para la interpolación de imágenes o fotogramas de una secuencia de vídeo, comprendiendo el aparato:

un procesador para extraer un primer y segundo imágenes o fotogramas de una primera secuencia de vídeo, apareciendo el segundo fotograma después del primer fotograma en la secuencia de vídeo, y para generar un fotograma interpolado para su disposición temporal entre el primer y segundo imágenes o fotogramas en una segunda secuencia de vídeo, teniendo el procesador

a) un identificador para identificar uno o más objetos en el primer fotograma;

b) un segmentador para segmentar el o cada uno de los objetos identificados;

c) un determinador para determinar los parámetros de movimiento para cada uno de los objetos segmentados;

d) un generador para generar dicho fotograma de vídeo interpolado en función de dichos parámetros de movimiento determinados; y

e) un predictor para predecir la posición de objetos en un tercer fotograma, apareciendo el tercer fotograma después del segundo fotograma en la secuencia de vídeo, donde dichas predicciones dependen solamente de los parámetros de movimiento determinados en el paso c para el primer fotograma interpolado, comprobar dichas predicciones según el tercer fotograma para conseguir una precisión predeterminada y, si se consigue la precisión, utilizar sólo dichos parámetros determinados en el paso c para el primer fotograma interpolado para generar un segundo fotograma interpolado para su disposición entre el segundo fotograma y el tercer fotograma en la secuencia de vídeo, y si no tiene la precisión, repetir los pasos llevados a cabo de b a d con el segundo y tercer imágenes o fotogramas, donde el primer, segundo y tercer imágenes o fotogramas son consecutivos.
11.

Un conversor ascendente de imágenes o fotogramas para realizar la conversión ascendente de la velocidad de imágenes o fotogramas de una primera señal de vídeo, estando dispuesto el conversor ascendente de velocidad de imágenes o fotogramas para recibir la primera señal de vídeo y generar imágenes o fotogramas interpolados para su disposición con los imágenes o fotogramas de la primera señal de vídeo, incluyendo el conversor ascendente de velocidad de imágenes o fotogramas un aparato de acuerdo con la reivindicación 10.
12.

Un aparato de acuerdo con la reivindicación 10 u 11, que está configurado para ejecutar el método de cualquiera de las reivindicaciones 1 a 9.
13. Una televisión, que comprende:

un receptor para recibir una señal de televisión a una primera velocidad de imágenes o fotogramas;

un conversor ascendente de velocidad de imágenes o fotogramas para procesar la señal de televisión recibida, siendo el conversor ascendente de velocidad de imágenes o fotogramas un conversor ascendente de velocidad de imágenes o fotogramas de acuerdo con la reivindicación
10.