ES2386327T3

ES2386327T3 - Método y aparato para aumentar la frecuencia de trama de una señal de video

Info

Publication number: ES2386327T3
Application number: ES09150341T
Authority: ES
Inventors: Engin Turetken; Abdullah Aydin Alatan
Original assignee: Vestel Elektronik Sanayi ve Ticaret AS
Current assignee: Vestel Elektronik Sanayi ve Ticaret AS
Priority date: 2008-08-21
Filing date: 2009-01-09
Publication date: 2012-08-17
Anticipated expiration: 2029-01-09
Also published as: US20100079667A1; EP2157800B1; US8194184B2; EP2157800A1; ATE554602T1

Abstract

Un método de aumentar la frecuencia de trama de una señal de video de entrada interpolando tramas de videoentre las tramas de video originales o la señal de video de entrada e insertando tramas de video interpoladas entrelas tramas de video originales de la señal de video de entrada para producir una señal de video de salida que tieneuna mayor frecuencia de trama que la señal de entrada, comprendiendo el método:para cada una de las diferentes regiones de una primera trama (Ft) de una señal de video de entrada y lasdiferentes regiones correspondientes de una segunda trama (Ft+1) de la señal de video de entrada:(A) estimar seis parámetros afines del modelo afín del arte que representan el movimiento relativoentre una región de una primera trama de una señal de video de entrada y una correspondiente regiónen una segunda trama de la señal de video de entrada;(B) descomponer los citados seis parámetros afines para la región en seis parámetros de movimientobidimensional para la región;(C) interpolar los seis parámetros de movimiento bidimensional para un instante de tiempo entre lastramas primera y segunda con el fin de obtener parámetros de movimiento bidimensional interpoladosque representan el movimiento desde una región en una trama interpolada hasta al menos una de (i) lacitada región en la primera trama e (ii) la citada región en la segunda trama, donde la trama interpoladadebe ser insertada entre las tramas primera y segunda y donde la citada región en la trama interpoladacorresponde a las citadas regiones en las tramas primera y segunda;(D) obtener, a partir de los citados parámetros de movimiento bidimensional interpolados seisparámetros afines que representan (i) el movimiento desde la citada región en la trama interpoladahasta la citada región en la primera trama en el caso de que los citados parámetros de movimientobidimensional representen el movimiento desde la región en la trama interpolada hasta la citada regiónen la primera trama y/o (ii) el movimiento desde la citada región en la trama interpolada hasta la citadaregión en la segunda trama en el caso de que los citados parámetros de movimiento bidimensionalinterpolados representen el movimiento desde la región en la trama interpolada hasta la citada regiónen la segunda trama; y,(E) para la o cada región de píxel, situar una posición en (i) la primera trama en el caso de que loscitados parámetros de movimiento bidimensional interpolados representen el movimiento desde laregión en la trama interpolada hasta la citada región en la primera trama, y/o (ii) la segunda trama en elcaso de que los citados parámetros de movimiento bidimensional interpolados representen elmovimiento desde la región en la trama interpolada hasta la citada región en la segunda trama,correspondiendo la citada posición a un píxel en la citada región de la trama interpolada y siendosituados utilizando los respectivos seis parámetros afines obtenidos en la etapa (D), y obteniendo unaintensidad del citado píxel en la citada región de la trama interpolada como función de las intensidadesen la citada posición (s); y,habiendo interpolado mediante (E) varias regiones que constituyen la trama interpolada de manera que toda la tramainterpolada ha sido obtenida, insertando la citada trama interpolada entre las citadas tramas primera y segunda.

Description

Método y aparato para aumentar la frecuencia de trama de una señal de video.

La presente invención se refiere a un método de y aparato para aumentar la frecuencia de trama de una señal de video.

La conversión ascendente de frecuencia de trama (FRUC – Frame rate up-conversion, en inglés), o conversión ascendente de frecuencia de rastreo/campo, puede ser considerada como una técnica de aumentar la frecuencia de trama de una señal de video insertando una o más tramas interpoladas entre sucesivas trama de la señal original. La FRUC tiene varias aplicaciones. Por ejemplo, FRUC puede utilizarse para convertir hacia arriba la frecuencia de trama de una señal de emisión típica para visualizadores del tipo de retención (Hold, en inglés). Los visualizadores del tipo de retención, tales como los visualizadores de cristal líquido (LCD – Liquid Crystal Display, en inglés) y los visualizadores de electro-luminiscencia (ELD – Electro-Luminiscence Displays, en inglés), se sabe que tienen la característica de retener la trama mostrada de una señal de video hasta que está escrita la siguiente trama. Esta propiedad hace que los objetos en movimiento aparezcan borrosos porque los ojos predicen la siguiente trama en un intervalo que es menor que el periodo de visualización entre tramas de una secuencia original y tratan de seguir al objeto en movimiento. Por lo tanto, para una mejor calidad de la imagen percibida, se requiere que la FRUC convierta hacia arriba una señal de video de baja frecuencia (que es típicamente 25 tramas por segundo (fps – Tramas Por Segundo, en inglés) para sistemas PAL o SECAM y (nominalmente) 30 fps para sistemas de NTSC) a una señal de mayor frecuencia (tal como 50, 60, 100 ó 120 fps). Como otro ejemplo, la FRUC puede ser utilizada para convertir señales de video en formato de PAL o SECAM (a 25 fps) a formato de NTSC (a 30 fps). Como otro ejemplo más, la FRUC puede ser utilizada para convertir señales de imagen en movimiento (“película”) (a 24 fps) en formatos de una frecuencia de trama mayor (tales como para formatos de PAL o SECAM, o a las frecuencias de trama mayores que se acaban de mencionar).

Se utilizan comúnmente dos técnicas de FRUC: duplicación/repetición de trama y esquemas de compensación de movimiento.

Las técnicas basadas en duplicación/repetición de trama simplemente insertan una copia de un par de tramas entre las dos tramas. Esto requiere poca potencia de cálculo pero generalmente conduce a resultados relativamente malos, especialmente en escenas complejas, donde por ejemplo una cámara que captura una escena, que puede tener una elevada variación de profundidad experimenta movimiento o hay objetos en movimiento en la escena. Por otro lado, los planteamientos basados en la compensación del movimiento conducen a resultados más satisfactorios en muchas situaciones complejas, aunque con el coste de una mayor complejidad de cálculo y de implementación.

Como etapa inicial, la mayoría de las técnicas basadas en la compensación de movimiento conocidas estiman vectores de movimiento entre las sucesivas tramas de una secuencia de video original utilizando un mecanismo de búsqueda o utilizando gradientes de imagen espacio-temporales. Típicamente, esos vectores de movimiento son a continuación interpolados para situar posiciones correspondientes en la trama “virtual” que van a ser interpoladas e insertadas entre las sucesivas tramas de la secuencia de video original. Muchas de estas técnicas, tales como las descritas en los documentos WO-A-2007/123759, US-A-2008/0069221, US-A-2008/0031338, US-A-2007/0140346 y US-A-2006/0222077, se basan en la idea de interpolar lineal o simétricamente los vectores de movimiento entre las tramas sucesivas originales para estimar los vectores de movimiento que representan el movimiento entre la trama interpolada y las tramas originales. Como ejemplo, en realizaciones específicas de estos métodos, se encuentra un vector de movimiento de la primera trama a la segunda trama (que están separadas en el tiempo) de una secuencia de video original. A continuación se realiza una asunción simple de que un vector de movimiento que representa al movimiento desde una trama interpolada que está a medio camino entre las tramas primera y segunda de la secuencia original hasta la segunda trama de la secuencia original tiene la mitad de magnitud y la misma dirección que el vector de movimiento desde la primera trama hasta la segunda trama de la secuencia original. No obstante, este planteamiento tiene limitaciones. Por ejemplo, no tiene en cuenta el movimiento en 3D verdadero de la cámara y por lo tanto puede conducir a resultados erróneos en el caso de un movimiento de la imagen en 2D inducido por una cámara grande...

Como alternativa al esquema de interpolación lineal de los vectores de movimiento entre un par de tramas sucesivas, los parámetros de un modelo paramétrico que describe el movimiento intermedio pueden ser estimados e interpolados. Por ejemplo, el documento US-B-6229570 explica un método que describe el campo de movimiento entre tramas originales de una señal de video de entrada mediante una transformación afín. En este método, se encuentra a continuación una función polinómica que representa los desplazamientos de píxeles entre tramas en la secuencia original, y esa función polinómica es a continuación interpolada para encontrar las ubicaciones de los píxeles en la trama interpolada. Además, en este método, el modelo afín se utiliza para representar sólo el movimiento bidimensional y los parámetros del modelo afín no son interpolados para describir el movimiento entre la trama virtual y las tramas originales. En otros ejemplos, lis documentos US-A-5966178 y JP-A-03/109677 describe dos métodos para estimar e interpolar modelos afines de 4 parámetros y de 6 parámetros respectivamente. No obstante, en estos métodos de la técnica anterior, primero, se detecta el perfil de un posible objeto en movimiento, asumiéndose implícitamente que la región de fondo es estacionaria (es decir, se asume que no hay movimiento de cámara). Los parámetros de la transformación afín son a continuación calculados sólo para las regiones que se determina que incluyen objetos en movimiento. Otra limitación de estos métodos de la técnica anterior es su relativamente simplista interpolación de los factores de escala para los parámetros afines. Por ejemplo, se utiliza una interpolación lineal de los parámetros de escala Locales, pero este planteamiento no produce resultados satisfactorios, particularmente en el caso de un movimiento de objeto-cámara de acercamiento o alejamiento y relativo en la dirección del eje principal de la cámara. Esto es a pesar del hecho de que los modelos de transformación afín realizan bastante bien un acercamiento o alejamiento.

El documento US-A-2004/252759 describe una técnica para el control de la calidad en la interpolación de tramas y el análisis del movimiento. La técnica utiliza selectivamente la síntesis de tramas para aumentar la frecuencia de trama y la calidad en circunstancias normales, pero evita el uso de la síntesis de tramas cuando no va a proporcionar una mejora adecuada de la calidad. El dispositivo utiliza reducción selectiva de imágenes fantasma y suavizado de borde de imagen selectivo para reducir las aberraciones en las tramas sintetizadas. En un ejemplo, se utilizan transformaciones afines para permitir el movimiento de objetos entre pares de tramas de fuente. Un mapeo afín transforma la trama en el tiempo T1 en la trama en el tiempo T2 de manera que se minimiza una medida de error.

El documento US-A-2007/071100 describe un Codificador Asistido. El sistema de Conversión Ascendente de frecuencia de trama utiliza varios modelos de movimiento, tales modo modelos afines, además de operaciones de codificación de video y de pre-procesamiento en el codificador de video para aprovechar el procesamiento con FRUC que tendrá lugar en el descodificador con el fin de mejorar la modelización de los objetos en movimiento, la eficiencia de la compresión y la calidad del video reconstruido. Además, los objetos son identificados de una manera que reduce la cantidad de información necesaria para la codificación con el fin de componer los objetos en el dispositivo descodificador.

De acuerdo con un primer aspecto de la invención, se proporciona un método de aumentar la frecuencia de trama de una señal de video de entrada interpolando tramas de video originales de la señal de video de entrada e insertando tramas de video interpoladas entre las tramas de video originales de la señal de video de entrada para producir una señal de video de salida que tiene una frecuencia de trama mayor que la señal de entrada, comprendiendo el método:

para cada una de las diferentes regiones de una primera trama (Ft) de una señal de video de entrada y las diferentes regiones correspondientes de una segunda trama (Ft+1) de la señal de video de entrada:

(A): estimar seis parámetros afines de un modelo afín que representan el movimiento relativo entre una región de una primera trama de una señal de video de entrada y una región correspondiente de una segunda trama de una señal de video de entrada;

(B): descomponer los citados seis parámetros afines para la región en seis parámetros de movimiento bidimensional para la región;

(C): interpolar los seis parámetros de movimiento bidimensional para un instante del tiempo entre las tramas primera y segunda con el fin de obtener parámetros de movimiento bidimensional interpolados que representan el movimiento desde una región en una trama interpolada hasta al menos una de (i) la citada región en la primera trama y (ii) la citada región en la segunda trama, donde la trama interpolada debe ser insertada entre las tramas primera y segunda y donde la citada región en la trama interpolada corresponde a las citadas regiones en las tramas primera y segunda;

(D): obtener, a partir de los citados parámetros de movimiento bidimensional interpolados, seis parámetros afines que representan (i) el movimiento desde la citada región en la trama interpolada hasta la citada región en la primera trama en el caso de que los citados parámetros de movimiento bidimensional interpolados representen el movimiento desde la región en la trama interpolada hasta la citada región en la primera trama y o (ii) el movimiento desde la citada segunda trama en el caso de que los citados parámetros del movimiento bidimensional interpolados representen el movimiento desde la región en la trama interpolada hasta la citada región en la segunda trama; y,

(E): para el o cada píxel en la región, situar una posición en (i) la primera trama en el caso de que los citados parámetros de movimiento bidimensional interpolados representen el movimiento desde la región en la trama interpolada hasta la citada región en la primera trama, y o (ii) la segunda trama en el caso de que los citados parámetros de movimiento bidimensional interpolados representen el movimiento desde la región en la trama interpolada hasta la citada región en la segunda trama, correspondiendo la citada posición a un píxel en la citada región de la trama interpolada y siendo situada utilizando los respectivos seis parámetros afines obtenidos en la etapa (D), y obteniendo una intensidad del citado píxel en la citada región de la trama interpolada como función de las intensidades en la citada posición o las citadas posiciones; y

obteniendo mediante (E) regiones plurales interpoladas que constituyen la trama interpolada de tal manera que toda la trama interpolada ha sido obtenida, insertando la citada trama interpolada entre las citadas tramas primera y segunda.

Este aspecto utiliza la transformación afín para mapear puntos entre las tramas originales de la secuencia de video y para situar un sub-píxel, posiciones exactas de píxeles en una de las dos tramas originales que corresponden a posiciones de píxeles en la trama virtual. La descomposición de los seis parámetros afines en los seis parámetros de movimiento bidimensional y la subsiguiente interpolación de esos seis parámetros de movimiento bidimensional para

5 la trama virtual son etapas importantes en este aspecto para alcanzar una interpolación natural y realista de tramas entre las tramas originales de una secuencia de video.

La segunda trama puede ser subsiguiente a la primera trama y a la interpolación de parámetro llevada a cabo en una dirección hacia adelante. Alternativa y/o adicionalmente la interpolación de parámetro puede ser hacia atrás, o puede ser tanto hacia atrás como hacia adelante.

En una realización,

(C) comprende interpolar los seis parámetros de movimiento bidimensional para un instante de tiempo entre las tramas primera y segunda con el fin de obtener parámetros de movimiento bidimensional interpolados

15 que representan el movimiento desde una región en una trama interpolada hasta la citada región en la primera trama;

(D) comprende obtener a partir de los citados parámetros de movimiento bidimensional interpolados un primer conjunto de seis parámetros afines que representan el movimiento desde la citada región en la trama interpolada hasta la citada región en la primera trama, y obtener un segundo conjunto de seis parámetros afines que representan el movimiento desde la citada región en la trama interpolada hasta la citada región en la segunda trama del citado primer conjunto de seis parámetros afines que representan el movimiento desde la citada región en la trama interpolada hasta la citada región en la primera trama y los citados seis parámetros afines que representan el movimiento relativo entre la citada región en la primera trama y la citada región correspondiente en la citada segunda trama; y,

25 (E) comprende obtener la región interpolada de la trama interpolada: situando la posición de sub-píxel en la primera trama que corresponde a un píxel en la citada región de la trama interpolada utilizando el citado primera conjunto de seis parámetros afines obtenidos en la etapa (D), situar la posición de sub-píxel en la segunda trama que corresponde a un píxel en la citada región de la trama interpolada utilizando el citado segundo conjunto de seis parámetros afines obtenidos en la etapa (D), y obtener una intensidad interpolada del citado píxel en la citada región de la trama interpolada como función de las intensidades en las citadas posiciones en las tramas primera y segunda.

Esta realización “mira” desde los píxeles en la trama interpolada a los píxeles tanto en la trama “hacia atrás” (por ejemplo, la primera trama) como en la trama “hacia adelante” (por ejemplo, la segunda trama), lo que tiende

35 inevitablemente a producir resultados visiblemente mejores para la trama interpolada. Esto se logra sin contar con el problema del “agujero” o el problema del “doblado” con que se cuenta en algunas de las técnicas anteriores que utilizan vectores de movimiento desde las tramas originales a la trama virtual, donde cada uno de los vectores de movimiento pasa a través de la misma ubicación de píxel en la trama virtual.

En una realización, los seis parámetros afines en (A) son a 11, a12, a21, a22, b1, b2 donde la matriz afín A y el vector de

traslación están definidos por:

y , 45 los seis parámetros de movimiento bidimensional en (B) son A1, A2, e, c, b1 y b2, donde:

y:

y los parámetros de movimiento bidimensional interpolados que representan el movimiento desde una región en una trama interpolada a la citada región en la primera trama son A1b, A2b, eb, c b, b1b y b2b y se obtienen en (C) como:

donde Lt es el intervalo de tiempo desde la primera trama hasta la trama interpolada donde las tramas primera y segunda están en los tiempos t y t+1 en unidades arbitrarias y 0 < Lt < 1.

En una realización, en (D) el primer conjunto de seis parámetros afines que representan el movimiento desde la citada región en la trama interpolada hasta la citada región en la primera trama son a11b, a12b, a21b, a22b, b1b, b2b, donde:

y Ab se obtiene utilizando la fórmula:

y el citado segundo conjunto de seis parámetros afines que representan el movimiento desde la citada región en la trama interpolada a la citada región en la segunda trama son a11f, a12f, a21f, a22f, b1f, b2f, donde:

que se obtienen utilizando las fórmulas:

donde A-1 es la inversa de la matriz afín A.

En esta realización, habiendo obtenido el primer conjunto de parámetros afines (“de atrás”) para la primera trama, es relativamente sencillo obtener el segundo conjunto de parámetros (“de delante”) para la segunda trama.

En una realización, la citada región de la trama interpolada contiene varios píxeles, y en (E) se lleva a cabo la ubicación de la posición o de las posiciones y la obtención de una intensidad interpolada con respecto a cada uno de los citados varios píxeles.

En una realización, se determina que las respectivas regiones en la primera trama, la segunda trama y la trama interpolada se corresponden si están en la misma ubicación con respecto al origen de coordenadas de sus respectivas tramas y abarcan el mismo espacio.

En una realización, en (C):

dos de los parámetros de movimiento bidimensional tienen en cuenta la traslación de una región desde una trama a otra y son interpolados linealmente; uno de los parámetros de movimiento bidimensional tiene en cuenta la rotación de una región de una trama a otra y es interpolado linealmente; y, los tres parámetros de movimiento bidimensional restantes tienen en cuenta el escalado y recortado de una región de una trama a otra, siendo uno de los citados tres parámetros de movimiento bidimensional restantes interpolado linealmente y siendo los otros dos de los citados tres parámetros de movimiento bidimensional restantes interpolados no linealmente.

De acuerdo con un segundo aspecto de la presente invención, se proporciona un método de aumentar la frecuencia de trama de una señal de video de entrada interpolando tramas de video entre las tramas de video originales de la señal de video de entrada e insertando las tramas de video interpoladas entre las tramas de video originales de la señal de video de entrada para producir una señal de video de salida que tiene una frecuencia de trama mayor que la señal de video, comprendiendo el método:

para cada una de las diferentes regiones en una primera trama (Ft) de una señal de video de entrada y varias regiones correspondientes de una segunda trama (Ft+1) de una señal de video de entrada:

(A): estimar ocho parámetros homográficos de un modelo de homografía que representan el movimiento relativo entre una región en una primera trama de una señal de video de entrada y una región correspondiente en una segunda trama de la señal de video de entrada;

(B): interpolar los citados ocho parámetros homográficos para un instante del tiempo entre las tramas primera y segunda con el fin de obtener ocho parámetros homográficos interpolados que representan el movimiento desde una región en una trama interpolada hasta al menos una de (i) la citada región en la primera trama y (ii) la citada región en la segunda trama, donde la trama interpolada debe ser insertada entre las tramas primera y segunda y donde la citada región en la trama interpolada corresponde a las citadas regiones en las tramas primera y segunda; y,

(C): para cada uno o cada píxel en la región, situar una posición en (i) la primera trama en el caso de que los citados parámetros homográficos representen el movimiento desde la región en la trama interpolada hasta la citada región en la primera trama, y o (ii) la segunda trama en el caso de que los citados parámetros homográficos interpolados representen el movimiento desde la región en la trama interpolada hasta la citada región en la segunda trama, correspondiendo la citada posición con un píxel en la citada región de la trama interpolada y siendo situada utilizando los respectivos ocho parámetros homográficos obtenidos en la etapa (B), y obtener una intensidad interpolada del citado píxel en la citada región de la trama interpolada como función de las intensidades en la citada posición o las citadas posiciones; y,

teniendo mediante (C) varias regiones interpoladas que constituyen la trama interpolada de manera que toda la trama interpolada ha sido obtenida, insertando la citada trama interpolada entre las citadas tramas primera y segunda.

Este aspecto utiliza la transformación homográfica para mapear puntos entre las tramas originales de la secuencia de video y para situar las posiciones de sub-píxel en una o las dos de las tramas originales que se corresponden con las posiciones de píxeles en la trama virtual. Se cree que la transformación homográfica no ha sido utilizada previamente en la conversión ascendente de la frecuencia de trama, en gran medida debido a la complejidad de interpolar los parámetros homográficos que ha sido difícil lograr en tiempo real a un coste razonable en equipos de abonado domésticos, por ejemplo. A continuación se describen con más detalle varias técnicas para solucionar este problema.

Como previamente, la segunda trama puede ser subsiguiente a la primera trama y la interpolación de parámetro llevada a cabo en una dirección hacia adelante. Alternativamente, y/o adicionalmente la interpolación de parámetro puede ser hacia atrás o puede ser hacia atrás y hacia adelante.

En una realización,

(B): comprende interpolar los citados ocho parámetros homográficos para un instante de tiempo entre las tramas primera y segunda con el fin de obtener un primer conjunto de parámetros homográficos interpolados que representen el movimiento desde una región en una trama interpolada hasta la citada región en la primera trama, e interpolar los citados ocho parámetros homográficos para el citado instante de tiempo entre las tramas primera y segunda con el fin de obtener un segundo conjunto de parámetros homográficos interpolados que representen el movimiento desde una región en una trama interpolada a la citada región en la segunda trama; y,

(C): comprende obtener la región interpolada de la trama interpolada: situando la posición de sub-píxel en la primera trama que corresponde a un píxel en la citada región de la trama interpolada utilizando el citado primera conjunto de respectivos parámetros homográficos obtenidos en la etapa (B), situar la posición de subpíxel en la segunda trama que corresponde a un píxel en la citada región de la trama interpolada utilizando el citado segundo conjunto de respectivos parámetros homográficos obtenidos en la etapa (B), y obtener una intensidad interpolada de cada píxel en la citada región de la trama interpolada como función de las intensidades en las citadas posiciones en las tramas primera y segunda.

En una realización, la citada región de la trama interpolada contiene varios píxeles, y la situación de la posición o las posiciones y la obtención de una intensidad son llevadas a cabo con respecto a cada uno de los citados diferentes píxeles.

En una realización, se determina que las regiones respectivas en la primera trama, la segunda trama y la trama interpolada se corresponden si están en la misma ubicación con respecto al origen de coordenadas de sus respectivas tramas y abarcan el mismo espacio.

En una realización:

(B) comprende interpolar los citados ocho parámetros homográficos para un instante de tiempo entre las tramas primera y segunda con el fin de obtener ocho parámetros homográficos interpolados que representen el movimiento desde una región en una trama interpolada hasta la citada región correspondiente en la primera trama utilizando la fórmula:

donde:

Gp es la matriz de homografía de proyección que contiene los ocho parámetros homográficos que representan el movimiento desde la citada región en la segunda trama de la señal de video de entrada a la citada región correspondiente en la primera trama de la señal de video de entrada, Lt es el intervalo de tiempo desde la primera trama a la trama interpolada donde las tramas primera y segunda están en los tiempos t y t+1 en unidades arbitrarias y 0 < Lt < 1, Gpb es la matriz de homografía de proyección que contiene los ocho parámetros homográficos que representan el movimiento desde la citada región en la trama interpolada a la correspondiente región en la primera trama, e I es la matriz de identidad; y,

(C) comprende obtener la región interpolada de la trama interpolada situando la posición de sub-píxel en la primera trama que corresponde a un píxel en la citada región de la trama interpolada utilizando los parámetros homográficos interpolados en Gpb y obtener una intensidad interpolada del citado píxel en la citada región de la trama interpolada como función de la intensidad en la citada posición.

Esta realización particular es especialmente útil cuando las llamadas matrices de calibración de cámara no son conocidas. Se basa en la asunción de ángulos de rotación pequeños entre las tramas originales de la secuencia de video y nada de acercamiento o alejamiento entre las tramas originales de la secuencia de video, que son asunciones razonables en muchos casos. Esta realización no sólo evita la necesidad de conocer las matrices de calibración de cámara sino que también evita la necesidad de descomponer la matriz de homografía de proyección para estimar los parámetros homográficos interpolados, lo cual es típicamente un proceso complejo.

En una realización, la matriz de homografía de proyección Gpf que contiene los ocho parámetros homográficos interpolados que representan el movimiento desde la citada región en la trama interpolada a la siguiente región correspondiente en la segunda trama se obtiene utilizando la fórmula:

donde:

Gp-1 es la matriz inversa de Gp, y s es un factor de escala; y,

(C) comprende obtener la región interpolada de la trama interpolada situando la posición de sub-píxel en la primera trama que corresponde a un píxel en la citada región de la trama interpolada utilizando los parámetros homográficos interpolados en Gpb; situar la posición de sub-píxel en la segunda trama que corresponde al citado píxel en la citada región de la trama interpolada utilizando los parámetros homográficos interpolados en Gpf; y obtener una intensidad interpolada del citado píxel en la citada región de la trama interpolada como función de las intensidades en las respectivas posiciones en las tramas primera y segunda.

En una realización:

(B) comprende interpolar los citados ocho parámetros homográficos para un instante de tiempo entre las tramas primera y segunda con el fin de obtener ocho parámetros homográficos interpolados que representen el movimiento desde una región en una trama interpolada a la correspondiente región en la primera trama:

(B1) obtener los parámetros de la matriz de homografía Euclidiana He donde:

donde:

Gp es la matriz de homografía de proyección que contiene los citados ocho parámetros homográficos que representan el movimiento desde la citada región en la segunda trama de la señal de video de entrada a la citada correspondiente región en la primera trama de la señal de video de entrada, (kt)-1 es la inversa de la matriz de calibración de cámara en el tiempo t+1 correspondiente a la segunda trama; y Kt+1 es la matriz de calibración de cámara en el tiempo t=1 correspondiente a la segunda trama;

(B2) descomponer los citados parámetros homográficos Euclidianos en parámetros de rotación, traslación y estructura utilizando la fórmula:

donde:

R es una matriz de rotación,

es un vector de traslación normalizado desde el tiempo t+1 a t, y n es una normal a la superficie;

(B3) seleccionar una de las soluciones para R, t y

proporcionados por la descomposición en B2; (B4) obtener un ángulo de rotación e de la matriz de rotación R de la solución seleccionada en B3; (B5) calcular un factor c de acercamiento o alejamiento de cámara entre las tramas primera y segunda; (B6) interpolar el ángulo de rotación e obtenido en B4, el vector de traslación t normalizado seleccionado en B3 y el factor c de acercamiento o alejamiento de cámara calculado en B5 como sigue: donde:

Lt es el intervalo de tiempo desde la primera trama a la trama interpolada, donde las tramas primera y segunda están en los tiempos t y t+1 en unidades arbitrarias y 0 < Lt < 1

b

y e,

y cb son el ángulo de rotación, el vector de traslación t normalizado y el factor de acercamiento o alejamiento de cámara respecto al movimiento de la citada región en la citada trama interpolada a la correspondiente región en la primera trama; y, (B7) obtener los citados ocho parámetros homográficos interpolados que representan el movimiento desde la región en la trama interpolada hasta la correspondiente región en la

primera trama de eb, y cb con el fin de obtener con ello la matriz de homografía de proyección Gpb que contiene los citados ocho parámetros homográficos interpolados; y,

(C) comprende obtener la región interpolada de la trama interpolada situando la posición de sub-píxel en la primera trama que corresponde a un píxel en la citada región de la trama interpolada utilizando los parámetros homográficos interpolados en Gpb y obteniendo una intensidad interpolada del citado píxel en cada región de la trama interpolada como función de las intensidades en la citada posición.

Esta realización particular es especialmente útil cuando las llamadas matrices de calibración de cámara son conocidas, puesto que lleva a resultados de aspecto más realista y natural.

En una realización, la matriz de homografía de proyección Gpf que contiene los ocho parámetros homográficos interpolados que representan el movimiento desde la citada región en la trama interpolada hasta la citada región correspondiente en la segunda trama se obtiene utilizando la fórmula:

donde:

Gp-1 es la matriz inversa de Gp, y

s es un factor de escala; y,

(C) comprende obtener la región interpolada de la trama interpolada situando la posición de sub-píxel en la primera trama que corresponde a un píxel en la citada región de la trama interpolada utilizando los parámetros homográficos interpolados en Gpb; situando la posición de sub-píxel en la primera trama que corresponde al citado píxel en la citada región de la trama interpolada utilizando los parámetros homográficos interpolados en Gpf; y obteniendo una intensidad interpolada del citado píxel en cada región de la trama interpolada como función de las intensidades en las citadas respectivas posiciones en las tramas primera y segunda.

En una realización, en B3, la una de las soluciones para R,

y

proporcionadas por la descomposición en B2 es seleccionada minimizando una función de coste que relaciona los valores de R, y

entre varios pares de tramas.

La presente invención se extiende también al aparato construido y dispuesto para llevar a cabo métodos como los descritos anteriormente.

El aparato y/o los métodos preferidos pueden ser incorporados en cualquier aparato y/o métodos que se utilizan para mostrar o generar una secuencia de video, incluyendo por ejemplo un procesador de imagen utilizado en un aparato de televisión o similar, cámaras de video digitales, software de procesamiento de imagen digital que puede ser utilizado en muchas aplicaciones, etc., etc. La presente invención tiene particular aplicación en aplicaciones de transmisión en tiempo real de televisión y de video, incluyendo servidores de video de Internet y de red, reproductores de medios portátiles y sistemas de codificación, descodificación y transcodificación de video. La presente invención puede ser implementada a un coste razonable en un sistema “sobre la marcha” implementado en equipos de usuario. Los métodos descritos en esta memoria pueden ser llevados a cabo mediante software apropiado que se ejecuta en un equipo de ordenador apropiado. El software puede estar integrado en un circuito integrado, estando el circuito integrado adaptado para utilizarlo, o para su uso en la ejecución de procesos relevantes. Muchas de las etapas de procesamiento pueden ser llevadas a cabo utilizando software, hardware dedicado (tal como ASICs), o una combinación.

Realizaciones de la presente invención se describirán ahora, a modo de ejemplo, con referencia a los dibujos que se acompañan, en los cuales:

La Figura 1 muestra esquemáticamente los principales componentes de un ejemplo de una realización de la presente invención para el caso en el que no esté disponible la matriz de calibración de cámara; la Figura 2 muestra esquemáticamente los principales componentes de un ejemplo de una realización de la presente invención para el caso en el que esté disponible una matriz de calibración de cámara; la Figura 3 muestra esquemáticamente la relación entre una región rectangular predefinida en una trama virtual y las correspondientes regiones (distorsionadas) en las tramas hacia atrás y hacia adelante respectivamente tal como las empleadas en las realizaciones de la presente invención; la Figura 4 muestra esquemáticamente las direcciones de mapeos de región a región entre la trama virtual y las tramas hacia atrás y hacia adelante tal como las empleadas en las realizaciones de la presente invención; y, la Figura 5 muestra esquemáticamente un plano mundial y el movimiento de cámara entre sucesivas tramas en el tiempo t y t+1 con el fin, principalmente, de ilustrar la notación utilizada en la descripción de algunas realizaciones de la presente invención que se muestran a continuación.

Las realizaciones preferidas de la presente invención proporcionan un método y aparato para convertir hacia arriba la frecuencia de trama de una secuencia de imágenes mediante interpolación inter-trama, óptimamente en dos direcciones (más específicamente, hacia atrás de la trama “virtual” o “interpolada” a la trama previa de la secuencia original, y hacia adelante de la trama interpolada a la siguiente trama de la secuencia original). El uso de dos modelos paramétricos particulares se describe en esta memoria, a saber la transformación afín de 6 parámetros y la transformación homográfica (de 8 parámetros). Estos modelos son bien conocidos por sí mismos, teniendo aplicación en gráficos de ordenador y en visión computarizada/robótica por ejemplo, y proporcionan una descripción matemática de transformaciones de región a región. En otras palabras, los modelos proporcionan una descripción matemática del movimiento relativo de una región entre dos imágenes (tales como un par de trama de una secuencia de video). En el presente contexto y en términos amplios, estos modelos se utilizan como sigue. Los parámetros del modelo que representa el campo del movimiento entre sucesivas tramas originales se calculan en primer lugar. Para ponerlo de forma simple, estos parámetros proporcionan una descripción del movimiento relativo entre objetos en una escena entre una región en una primera trama original y una correspondiente región en una segunda trama original. A continuación los respectivos parámetros del modelo hacia atrás y hacia adelante que corresponden a la trama que va a ser interpolada son calculados a partir de esos parámetros de modelo respecto a las tramas originales. Los esquemas de interpolación específicos, incluyendo ciertos esquemas de descomposición de parámetro donde se requiera, para alcanzar esta etapa particular se describen con detalle a continuación. A continuación los parámetros del modelo hacia atrás y hacia adelante se utilizan para identificar las ubicaciones en las tramas hacia atrás y hacia adelante respectivamente que corresponden a los píxeles en la trama virtual. Finalmente, la trama virtual es “interpolada” obteniendo la intensidad de los píxeles en la trama virtual como función de la intensidad de los píxeles correspondientes en las trama hacia atrás y hacia adelante. En un sentido, los píxeles en la trama virtual “obtienen” sus intensidades a partir de los correspondientes píxeles en las tramas hacia atrás y hacia adelante, siendo las ubicaciones de esos píxeles obtenidas utilizando las técnicas de descomposición e interpolación de parámetros preferidas que se explican con más detalle a continuación. En las realizaciones preferidas explicadas con más detalle a continuación, el efecto del movimiento relativo de objeto-cámara se tiene en cuenta mejor para conseguir resultados de aspecto más natural y realista con menos aberraciones no deseadas en las tramas interpoladas.

En referencia a las Figuras 1 y 2, las realizaciones preferidas de la presente invención comprenden tres unidades principales, a saber, una unidad de estimación de parámetros del modelo 10, una unidad de interpolación de parámetros del modelo 20 y una unidad de interpolación de tramas basada en el modelo 30. La función de estas unidades se resumirá brevemente ahora y su operación detallada se discutirá con más detalle a continuación. En la mayor parte de la siguiente descripción, por simplicidad, se proporcionará principalmente una explicación en relación con la interpolación y la inserción de una única trama entre un par de tramas de una secuencia de video original. Debe comprenderse bien, no obstante, que en general esto se repetirá con el fin de obtener respectivas tramas interpoladas para insertar entre todos los pares de tramas de la secuencia de video original. Más de una trama, correspondiente a varios instantes de tiempo, pueden ser interpoladas e insertadas entre cada par de tramas de la secuencia de video original. De manera similar, la descripción será principalmente proporcionada con respecto a una única región en la trama virtual, y las correspondientes únicas regiones en el par de tramas de la secuencia de video original, y se comprenderá que esto se repite preferiblemente para varias regiones de manera que toda la trama virtual sea interpolada correctamente.

1.: Unidad de Estimación de Parámetros del Modelo 10 La unidad de estimación de parámetros del modelo 10 calcula los parámetros del modelo paramétrico seleccionado entre todos los pares de correspondientes regiones en el par de tramas de entrada de la secuencia de video original. En la realización preferida, esto se basa en una malla predefinida de regiones que están en la misma ubicación con respecto a cada origen de coordenadas de la trama y abarcan el mismo espacio, es decir, el mismo tamaño y la misma forma. En general, las regiones pueden tener cualquier tamaño, desde tan pequeñas como un píxel hasta tan grandes como la propia trama completa, y pueden tener una forma que es regular (tal como triangular, cuadrada, rectangular o de cualquier otra forma regular) o irregular, y pueden superponerse o no superponerse.

En general, pueden utilizarse varios métodos para calcular los parámetros del modelo paramétrico seleccionado entre todos los pares de regiones correspondientes en el par de tramas de entrada. El método utilizado puede ser uno que es conocido por sí mismo en la técnica anterior. En el contexto de las realizaciones preferidas, los parámetros que son calculados son los parámetros de una transformación afín o de una transformación homográfica que proporcionan un mapeo entre las respectivas regiones en el par de tramas de entrada.

2.: Unidad de Interpolación de Parámetros del Modelo 20 Dados los parámetros del modelo entre las regiones de un par de tramas de entrada tal como las calculadas por la unidad de estimación de parámetros del modelo 10, la unidad de estimación de parámetros del modelo 20 calcula uno de los dos parámetros hacia adelante y hacia atrás del modelo paramétrico para un punto del tiempo (si se va a interpolar e insertar una única trama entre cada uno de los pares de tramas de entrada o para más de un punto del tiempo (si se van a interpolar e insertar varias entre cada uno de los pares de tramas de entrada) entre las regiones del par de tramas de entrada. Como se ha mencionado anteriormente, en este contexto y en relación con las realización preferidas, “hacia atrás” es desde la trama virtual o interpolada hasta la trama previa de la secuencia original (es decir la más temprana de un par de tramas de entrada), y “hacia adelante” es desde la trama interpolada hasta la siguiente trama de la secuencia original (es decir, la última del par de tramas de entrada). En la notación utilizada en esta memoria, el par de tramas de entrada están en los tiempos t y t+1 respectivamente, y la trama virtual está en el punto del tiempo t+�t, donde 0 < �t < 1.

Este elemento de las realizaciones preferidas es un contribuidor particularmente importante a la efectividad de las realizaciones preferidas en producir resultados de aspecto más natural y realista con menores aberraciones no deseables en las tramas interpoladas.

3.: Unidad de Interpolación de Tramas basada en el Modelo 30 La unidad de interpolación de tramas basada en el modelo 30 interpola la trama virtual para todas las regiones utilizando parámetros del modelo (hacia atrás o hacia adelante, o tanto hacia atrás como hacia adelante) que fueron calculados en la interpolación de parámetros del modelo 20. La intensidad de píxeles en la trama interpolada se obtiene mirando a las intensidades de píxeles correspondientes en una o en las dos tramas hacia atrás y hacia adelante, como puede ser el caso, y tomando una media ponderada.

Las realizaciones preferidas hacen uso bien de la transformación afín de 6 parámetros o, particularmente en el caso de que la llamada matriz de calibración de cámara esté disponible, de la transformación homográfica (de 8 parámetros).

Transformaciones Afín y Homográfica Se dará ahora una breve explicación de las transformaciones afín y homográfica.

Como es conocido per se, dadas las coordenadas de un punto

en una imagen, la transformación afín

(2D) de 6 parámetros mapea un punto

a otra ubicación

con respecto al mismo origen de imagen como sigue:

donde:

donde a11, a12, a21, a22, b1 y b2 son los 6 parámetros afines. A se llama comúnmente matriz afín y tiene en cuenta transformaciones lineales (es decir, rotación escalado y recortado) y

es un vector que tiene en cuenta la

traslación.

Como es conocido per se, las coordenadas homogéneas permiten que las transformaciones afines sean fácilmente representadas en forma de matriz. En coordenadas homogéneas, la transformación afín puede ser representada como:

Debe observarse que cada elemento de un punto de entrada

depende linealmente de los elementos del

punto de salida :

En general, una transformación afín está compuesta por cuatro transformaciones lineales: rotación, escalado, recortado y traslación. Puede observarse que:

(i): para una traslación pura de un punto a otro:

(ii): para una rotación alrededor del centro:

(iii) para escalado puro:

(iv): y para recortado puro:

(recortado vertical)

: o bien

(recortado horizontal).

35 Varias propiedades no varían bajo una transformación afín, tal como el paralelismo, la relación de áreas y la relación de longitudes de líneas paralelas.

Por lo que respecta al uso de la transformación afín en las realizaciones preferidas de la presente invención, es

40 decir, particularmente dado que en general hay un movimiento de cámara y cambios de la estructura de la escena entre sucesivas tramas de una secuencia de video, el modelo afín es adecuado para acomodar el giro de cámara, acercamiento o alejamiento de cámara y el uso de una cámara con una gran distancia focal (como aproximación a una cámara afín) para capturar una escena en un plano.

La transformación de homografía proporciona otra manera de mapear desde un punto en una ubicación a otra. La transformación homográfica entre dos puntos o en los respectivos de un par de imágenes en coordenadas homogéneas puede ser representada como:

donde:

(a): la matriz

es la matriz de homografía

(b): s es el factor de escala, y

son la fuente y las ubicaciones de la imagen mapeada en coordenadas homogéneas respectivamente.

15 Aunque la matriz de homografía tiene 9 elementos, sólo la relación de estos elementos es significativa. Así, en realidad la transformación homográfica tiene 8 grados de libertad, y el elemento final de H, h33, está convencionalmente normalizado a 1.

20 Debe observarse que cada elemento de un punto de entrada

depende de manera no lineal de los

elementos del punto de salida :

25 Por lo que respecta al uso de transformaciones homográficas en las realizaciones preferidas de la presente invención, el modelo homográfico es adecuado para modelizar el campo del movimiento en 2D inducido cuando hay sólo rotación de cámara y/o zoom; y/o cuando la escena capturada es plana o casi plana (o al menos una parte de la escena para la cual se calculará una homografía), y/o cuando la distancia focal de la cámara es mucho mayor que la variación en la profundidad de la escena. De manera similar al caso afín, la transformación homográfica puede ser

30 descompuesta en una rotación de cámara alrededor de un eje con algún ángulo, un plano normal y una traslación de cámara normalizada, que constituyen la estructura de la escena y el movimiento de la cámara.

Se originará ahora una descripción detallada de ejemplos de las realizaciones preferidas de la presente invención.

35 Estimación de Parámetros Afines y Homográficos Como se ha observado anteriormente, la unidad de estimación de parámetros del modelo 10 estima o calcula los parámetros del modelo paramétrico seleccionado entre todos los pares de regiones correspondientes en el par de tramas de entrada de la secuencia de video original. En general, en las realizaciones preferidas, puede utilizarse cualquier método para lograr esto. En las realizaciones preferidas, esto se realiza con respecto al movimiento

40 relativo desde la segunda (última) trama hasta la primera (más temprana) trama (estimación hacia atrás), aunque es posible llevar a cabo este procedimiento con respecto al movimiento relativo desde la primera (la más temprana) trama a la segunda (última) trama (estimación hacia adelante).

Se conocen varios planteamientos para estimar los parámetros del modelo afín en la técnica anterior y en principio 45 puede utilizarse cualquiera para este aspecto de esta realización. Entre ellos, los dos más comúnmente utilizados son métodos basados en características o en región y métodos basados en el gradiente.

En el modo de correspondencia basado en características, la unidad de estimación de parámetros del modelo 10 calcula los parámetros del modelo afines estimando primero el movimiento entre las trama de entrada originales. La estimación del movimiento puede ser llevada a cabo en puntos dispersos extrayendo características y rastreándolas de manera que se construye un conjunto de correspondencias entre las dos tramas. Como ejemplo, esto puede ser llevado a cabo encontrando en primer lugar los puntos de esquina en la primera trama con un algoritmo de detección de esquina, tal como un “detector de Harris”, que es conocido per se, y a continuación rastreándolos a medida que se mueven con respecto a la segunda trama con un rastreador, tal como el “rastreador de Kanade-Lucas” (KLT -Kanade-Lucas tracker, en inglés), que es también conocido per se. Alternativamente, pueden extraerse características de las dos tramas utilizando un algoritmo detector de característica, tal como una “transformación de características invariables con la escala” (SIFT – Scale-Invariant Feature Transform, en inglés), que es conocida per se, y a continuación son cotejadas con una distancia o métrica de correlación. Con el fin de disminuir la complejidad de cálculo, otra alternativa más es estimar un campo de movimiento denso en bloques con algoritmos basados en la coincidencia de bloques o en el dominio de la frecuencia tales como una búsqueda hexagonal y la correlación de fase, que es conocida per se. Tras la etapa de estimación del movimiento, la unidad de estimación de parámetros del modelo 10 calcula 6 parámetros afines utilizando por ejemplo un método de optimización de mínimos cuadrados

o un algoritmo robusto, tal como “RANSAC” (RANdom SAmple Consensus) o PROSAC (PROgressive SAmple Consensus).

Por otro lado, en el modo de gradientes espacio temporales, la unidad de estimación de parámetros del modelo 10 calcula los parámetros de movimiento afines directamente a partir de los gradientes espacio-temporales de las tramas de entrada (véase por ejemplo J. Shi y C. Tomasi, “Good Features To Track”, in Proc. IEEE International Conf. Computer Vision and Pattern Recognition (CVPR). IEEE Press, 1994).

De manera similar, se conocen varios planteamientos en la técnica anterior para estimar los parámetros del modelo homográfico y en principio cualquiera de éstos pueden ser utilizados para este aspecto de esta realización. En una realización preferida, de manera similar al modo de correspondencia basado en características para estimar los parámetros del modelo afín explicado anteriormente, la unidad de estimación de parámetros del modelo 10 calcula los parámetros del modelo homográfico calculando primero un campo de correspondencia de puntos entre las dos tramas originales y a continuación llevando a cabo un proceso de optimización para estimar los 8 parámetros del modelo homográfico (véase por ejemplo Richard Hartley, Andrew Zisserman, “Multiple View Geometry in Computer Vision”, Cambridge University Press, New York, NY, 2003).

Cada una de estas alternativas para estimar los parámetros afines y homográficos puede ser implementada en la misma unidad de estimación de parámetros del modelo 10 y al usuario u operador puede dársele la opción de seleccionarlos.

Como se ha observado, dados los parámetros del modelo entre las regiones de un par de tramas de entrada tal como las calculadas mediante la unidad de estimación de parámetros del modelo 10, la unidad de interpolación de parámetros del modelo 20 calcula uno o los dos de los parámetros hacia adelante y hacia atrás del modelo paramétrico para un punto del tiempo (si una única trama debe ser interpolada e insertada entre cada uno de los pares de tramas de entrada) o para más de un punto en el tiempo (si varias tramas deben ser interpoladas e insertadas entre cada uno de los pares de tramas de entrada) entre las regiones del par de tramas de entrada. Así, la entrada a la unidad de interpolación de parámetros del modelo 20 son los parámetros del modelo de la trama en el tiempo t+1 de nuevo a la trama en el tiempo t para todas las regiones que están calculadas por la unidad de estimación de parámetros del modelo 10.

Por facilidad de explicación, la operación de la unidad de interpolación de parámetros del modelo se describirá ahora sólo para un punto del tiempo (es decir sólo una única trama va a ser interpolada) y sólo para una región de la imagen. Adicionalmente, las regiones se representan por bloques, incluso aunque la definición de una región no esté restringida a un bloque. El mismo procedimiento puede realmente ser aplicado para todas las regiones en más de una trama de interpolación, y para todos los posibles ejemplos de regiones.

Sean las tramas en el tiempo t y t+1 denotadas por Ft y Ft+1 respectivamente. La trama virtual que va a ser generada (es decir interpolada) en el tiempo t+Lt puede ser denotada de manera similar por Ft+Lt, donde 0 < Lt < 1. Sea también la matriz de parámetros hacia atrás para el bloque en ubicación de la fila iésima 120 y jésima de la última

trama original Ft+1 a la primera trama original Ft denotada por . Los correspondientes parámetros del modelo hacia atrás (desde la trama virtual Ft+Lt a la primera trama original Ft) y los parámetros del modelo hacia adelante (desde la trama virtual Ft+Lt a la última trama original Ft+1) de la trama virtual Ft+Lt son a continuación calculados mediante un procedimiento de descomposición de parámetros. En términos generales, el procedimiento de descomposición de parámetros puede ser expresado como:

-t+Lt�t -

es la matriz de parámetros para el campo hacia atrás (es decir desde la trama Ft+Lt a Ft),

es la matriz de parámetros para el campo hacia adelante (es decir desde la trama Ft+Lt a Ft+1), y g y f son las funciones de descomposición para las direcciones hacia atrás y hacia adelante respectivamente. La figura 3

muestra esquemáticamente la relación entre una región rectangular definida en la trama virtual (Ft+Lt) y las

correspondientes regiones (distorsionadas)

y

en las tramas hacia atrás (Ft) y hacia adelante (Ft+1)10 respectivamente. Con propósitos ilustrativos, las esquinas de las tres regiones respectivas están conectadas con

líneas sólo aunque los mapeos subyacentes

y

de cada punto que pertenece a no son lineales en el tiempo. La Figura 4 muestra esquemáticamente las direcciones utilizadas de los mapeos de región a región para componer la trama virtual, a saber (i) desde la última trama original a la primera trama virtual, (ii) desde la trama virtual a la última trama original y (iii) desde la trama virtual a la primera trama original. De nuevo, con

15 propósitos ilustrativos, se muestra una matriz de bloques rectangulares no superpuestos y el esquema de composición que se ilustra utiliza tanto los parámetros hacia atrás como hacia adelante desde la trama original.

Las matrices de parámetros hacia atrás y hacia adelante se forman simplemente concatenando los parámetros de los modelos de transformación seleccionados. Por lo tanto, las longitudes de estas matrices de parámetros para los

20 mapeos afín y homográfico son diferentes. Por ejemplo, la matriz de parámetros de un mapeo afín

puede ser definida como: y la matriz de parámetros

de un mapeo de homografía

puede ser definida

como:

5 Las funciones de descomposición g y f que vienen dadas en las ecuaciones 3 y 4 anteriores son diferentes para las transformaciones afín y homográfica, como se describirá ahora.

Interpolación de Parámetros Afínes

10 Con el fin de calcular un conjunto de parámetros afines significativos para definir el flujo o el movimiento entre la trama virtual Ft+Lt y las dos tramas originales, no es apropiado simplemente interpolar todos los parámetros afines entre las propias tramas originales (tal como las obtenidas anteriormente). Esto es porque algunos de estos parámetros (es decir, a11, a12, a21, a22) no se corresponden directamente con los parámetros reales del movimiento (tales como la rotación en 2D y el escalado en 2D para eluna transformación afín entre las

15 correspondientes regiones. De acuerdo con esto, es necesario expresar , la matriz de parámetros hacia atrás desde la última trama original Ft+1 hasta la primera trama original Ft, en términos de algunos otros parámetros de movimiento inducido, que proporcionan una representación mucho mejor del movimiento real. Esto puede lograrse mediante la descomposición de parámetros afines, donde los 6 parámetros afines relativos al movimiento afín entre las dos tramas originales son descompuestos en 6 parámetros de movimiento en 2D entre las dos

20 correspondientes regiones de las tramas originales. Como se ha mencionado previamente, estos parámetros de movimiento son rotación, escalado, recortado y traslación. Puede observarse que la descomposición se requiere

sólo para los cuatro parámetros afines, es decir, los contenidos en la matriz , puesto que los parámetros de traslación b1, b2 están ya en forma descompuesta.

25 Para lograr esto en una realización preferida, la matriz afín A se descompone de manera única en dos transformaciones fundamentales, a saber, rotación y escalado no isotrópico:

30 (véase, por ejemplo, Richard Hartley, Andrew Zisseman, “Multiple View Geometry in Computer Vision”, Cambridge University Press, New York, NY, 2003), donde R(e) y R(O) son matrices de rotación en 2D:

35 y L es una matriz diagonal:

En esta descomposición, R(e) tiene en cuenta la rotación y R(e)LR(c) tiene en cuenta tanto el escalado no isotrópico

, por supuesto).

La descomposición puede ser llevada a cabo mediante la “descomposición de valor singular” (una técnica conocida per se) de la matriz A:

como el recortado (siendo la traslación tenida en cuenta mediante el vector de traslación

Como resultado de la descomposición de SVD, se obtienen dos matrices ortogonales UVT y VT y una matriz diagonal D correspondientes a las matrices R(e), R(c) y L de los parámetros descompuestos. Debe observarse que los elementos de UVT y VT pueden no coincidir con la forma dada en la Ecuación 6. En otras palabras, las matrices ortogonales UVT y VT (que pueden tener un determinante de 1 ó de -1) pueden no ser en forma de una matriz de 15 rotación (que tiene un determinante de 1). Para convertirlas en las formas dadas en las ecuaciones (6), puede ser necesario llevar a cabo una operación de intercambio o de negación en las columnas de UVT y VT, y en los elementos de la diagonal de D. Debe observarse que, puesto que la afinidad puede ser de cambio de orientación, los elementos de la diagonal de la matriz L no son necesariamente positivos y por ello los elementos de D pueden ser negativos para expresar UVT y VT en la forma de matriz de rotación requerida. Estas técnicas en sí mismas son

20 todas bien conocidas.

En la realización más preferida relativa al uso del modelo de transformación afín, los parámetros A1, A2, e y c que están descompuestos mediante el procedimiento anterior junto con los elementos de traslación b1 y b2 pueden ser interpolados en el instante de tiempo t+Lt (0 < Lt < frecuencia de trama) como sigue:

Las ecuaciones anteriores se siguen a partir de las asunciones de velocidades angular y de traslación constantes dentro del intervalo de tiempo de (t+1) – (t). Adicionalmente, para los factores de escala (A1 y A2), se asume que la 30 tasa de cambio en la distancia focal entre las tramas originales es constante y que el cambio es mucho menor que la distancia focal, que es bastante razonable para los casos en los que la distancia focal de la cámara cambia (caso isotrópico) o la cámara/objeto se mueve a lo largo de la dirección del eje principal. Puede observarse que los 6 de los parámetros descompuestos de movimiento en 2D son interpolados de manera no lineal, lo que proporciona una mejor, más exacta estimación para estos parámetros, mientras que los otros parámetros son interpolados

35 linealmente, lo que es computacionalmente más sencillo y suficientemente exacto en el presente contexto. En principio, pueden aplicarse otros esquemas de interpolación para interpolar estos 6 parámetros de movimiento en 2D.

Teniendo en cuenta que la unidad de estimación de parámetros de modelo 10 preferida calcula los parámetros

40 afines con respecto al movimiento relativo de la segunda (última) trama Ft+1 a la primera (inicial) trama Ft, los parámetros de movimiento en 2D interpolados que son extraídos mediante este método tal como se implementa en la unidad de interpolación de parámetros de modelo 20 son representativos de la transformación de la región o bloque en la ubicación (i, j) hacia atrás desde la trama virtual e a la trama original inicial Ft y hacia adelante desde la trama virtual Ft+Lt hasta la última trama original Ft+1 .

5 Teniendo en cuenta que lo que se está enseñando en esta realización preferida son los parámetros afines que se refieren al movimiento entre la trama virtual y las tramas originales tanto primera como última, la Ecuación 5 puede

ahora ser utilizada para extraer los parámetro afines hacia atrás

que se refieren al movimiento desde la trama virtual hasta la primera trama original a partir de los parámetros de movimiento en 2D interpolados como sigue:

. De manera similar, los elementos de traslación de

transformación es:

Sea también

un punto en la última trama original Ft+1. Transformar este punto de Ft+1 a Ft es equivalente a transformarlo primero desde Ft+1 a Ft+Lt y a continuación desde Ft+Lt a Ft:

Tras alguna simplificación, la matriz afín hacia adelante Af y el vector de traslación

de los parámetros

puede entonces ser expresada como:

De esta manera, se obtienen los parámetros afines relativos al movimiento entre la trama virtual y las dos tramas originales primera y última.

5 Interpolación de Parámetros Homográficos con Calibración de Cámara desconocida Como es conocido per se y explicado a grandes rasgos anteriormente, el mapeo homográfico es una técnica conocida para expresar el movimiento de una cámara que captura una escena en un plano o la rotación/acercamiento o alejamiento de una cámara que captura una escena arbitraria. Supóngase que la cámara

10 observa una escena en un plano (o, más específicamente, supóngase que sólo los puntos de la escena proyectados en el bloque o región de interés están en un plano, puesto que sólo se considera aquí un bloque) o la cámara experimenta un movimiento de rotación entre los instantes de tiempo t y t+1. Dos puntos correspondientes

, que pertenecen a los bloques correspondientes en la ubicación (i, j) en el respectivo par de tramas originales Ft y Ft+1, están relacionados mediante: 15

Donde Gp es la matriz de homografía de proyección de los parámetros de homografía

y s es un factor de escala.

La matriz de homografía de proyección Gp puede ser también expresada en términos de matrices de calibración de cámara Kt en el tiempo t y Kt+1 en el tiempo t+1 y la matriz de homografía Euclidiana He como sigue:

La calibración de cámara y las matrices de calibración de cámara son bien conocidas en sí mismas. Brevemente, la calibración de cámara se refiere al mundo tridimensional real que es visto por una cámara para el plano de imagen bidimensional para el cual es capturada la imagen o es mapeada por la cámara.

30 A continuación, supóngase que el plano del mundo observado tiene coordenadas , donde es el plano normal y d es la distancia ortogonal del plano de la cámara en el tiempo t+1. A continuación, como se conoce por ejemplo de Richard Hartley, Andrew Zisseman, “Multiple View Geometry in Computer Vision”, Cambridge University Press, New York, NY, 2003, la matriz de homografía Euclidiana He puede ser descompuesta en elementos de estructura y movimiento como sigue:

donde R es la matriz de rotación y

es el vector de traslación del tiempo t+1 a t. Esto se muestra

esquemáticamente en la Figura 5.

El vector de traslación normalizado

se define como

y por lo tanto la Ecuación 12 puede ser reescrita

como:

De paso, debe observarse que puede verse a partir de la Ecuación 13 que, como caso especial, la matriz de homografía de proyección de una cámara puramente giratoria está compuesta sólo por la matriz de rotación R (es

decir, porque no hay traslación) y es un ejemplo del mapeo homográfico infinito.

Ahora, se conocen varios planteamientos en la técnica anterior para resolver el problema de descomposición enunciado anteriormente (es decir, el cálculo o la estimación de la matriz de rotación R, el vector de traslación

normalizado

y la normal a la superficie ). Aunque por ejemplo se dispone de soluciones analíticas, la descomposición de la matriz de homografía Euclidiana introduce una complejidad de cálculo significativa, lo que

5 hace a estos métodos de la técnica anterior difíciles o no prácticos de implementar a coste razonable en un sistema “sobre la marcha” implementado en un equipo de un consumidor, y también requiere que la matriz de calibración de cámara interna esté disponible. Se mostrará en lo que sigue que la descomposición puede ser evitada mediante una aproximación de rotación de ángulo pequeño y una asunción de que no hay acercamiento o alejamiento o distancia focal constante entre las trama originales en los tiempos t y t+1.

En el momento actual, como se ha observado anteriormente, sean los parámetros descompuestos R, t y

para la matriz de rotación, el vector de traslación normalizado y la normal a la superficie respectivamente.

Como se ha explicado por ejemplo en Richard Hartley, Andrew Zisserman, “Multiple View Geometry in Computer 15 Vision”, Cambridge University Press, New York, NY, 2003, la rotación R puede ser expresada como una rotación en

un ángulo e alrededor de un eje representado por el vector unidad , que se denomina la representación de ángulo-eje de la rotación. Entonces, la fórmula de rotación de Rodrigues para una matriz de rotación:

donde I es la matriz identidad.

El eje del vector unidad

puede encontrarse resolviendo

(es decir, encontrando el espacio nulo de R-I) y el ángulo de rotación e puede ser calculado a partir de las siguientes relaciones utilizando una función arco tangente 25 de dos argumentos (es decir, una función arco tangente de todo el intervalo o de cuatro cuadrantes):

De manera similar a la Ecuación 9 en la interpolación de parámetros afines preferida descrita anteriormente, bajo la

Ahora, bajo la aproximación de ángulo pequeño, la representación de la matriz de rotación dada en la Ecuación 14 simplifica a:

Volviendo a la discusión de la descomposición homográfica, la matriz de homografía de proyección en la Ecuación 45 12 puede ser re-expresada bajo la aproximación de ángulo pequeño y utilizando las Ecuaciones 13 y 17 como sigue:

En aras de la simplicidad, se asume también que no hay ninguna operación de acercamiento o alejamiento entre el tiempo t y t+1 (es decir, Kt+1 = Kt). Bajo estas asunciones, la matriz de homografía de proyección hacia atrás Gbp de

los parámetros de homografía interpolados

que representan la transformación del bloque en la ubicación (i, j) de la trama virtual Ft+Lt para la primera trama original Ft es:

Como puede verse a partir de una inspección de la Ecuación 18, utilizando estas asunciones de ángulos pequeños y distancia focal constante, no hay necesidad de descomponer la matriz de homografía Euclidiana He ni de saber la matriz de calibración de cámara K con el fin de obtener la matriz de homografía de proyección hacia atrás Gbp del flujo hacia atrás (desde la trama virtual Ft+Lt hasta la primera trama original Ft) para un punto en el tiempo t+Lt. Por el

10 contrario, dada la matriz de homografía de proyección Gbp que representa el campo de movimiento entre las dos tramas originales Ft y Ft+1, la matriz de homografía de proyección hacia atrás Gbp del flujo hacia atrás (desde la trama virtual Ft+Lt hasta la primera trama original Ft) para un punto del tiempo t+Lt puede ser encontrada directamente utilizando el esquema de ponderación lineal simple mostrado en la Ecuación 18.

pueden ser fácilmente calculados a partir de los parámetros

Sea la matriz de homografía hacia adelante de los parámetros hacia adelante

. Sea también un punto en la última trama original Ft+1. De la misma manera que se ha descrito anteriormente para la interpolación 20 de los parámetros afines, transformar este punto desde Ft+1a Ft es equivalente a transformarla desde Ft+1a Ft+Lt y a continuación desde Ft+Lt a Ft. Esto conduce a:

donde s = s1s2/s3 es un factor de escala.

Interpolación de Parámetros Homográficos con Calibración de Cámara Conocidos

30 Como se ha explicado anteriormente y demostrado mediante las Ecuaciones 12 y 13, la descomposición de la matriz de homografía Euclidiana He (y por ello la matriz de homografía de proyección Gp) requiere que las matrices de calibración de cámara Kt en el momento t y Gt+1 en el tiempo t+1 sean conocidas (recordándose que este requisito de descomposición y conocimiento de estas matrices homográficos Euclidianas y las matrices de calibración de cámara sea evitado utilizando las asunciones de ángulos pequeños y distancia focal constante entre las tramas

35 originales).

Como se ha mencionado anteriormente, se conocen varios planteamientos en la técnica anterior para resolver este problema de descomposición. Por ejemplo, en E. Malis y M. Vargas, “Deeper Understanding of the Homografy Decomposition for Vision-Based Control”, Institut National de Recherche en Informatique et en Automatique, ISS 40 0249-6399 ISRN INRIA/RR—6303—FR+ENG. 2007 se explica un método analítico adecuado. Independientemente del método real utilizado, la descomposición proporciona una única solución para los casos en los que la cámara se traslada a lo largo del plano normal o experimenta una rotación pura. Para otros casos, no obstante, la descomposición proporciona cuatro soluciones matemáticamente válidas, sólo dos de las cuales son físicamente

válidas. Cuando la matriz de calibración de cámara es conocida, la restricción de visibilidad de punto de referencia explicada en el informe de investigación por E. Malis y M. Vargas puede ser utilizada para extraer estas dos soluciones físicamente válidas. Una selección entonces tiene que ser realizada entre estas dos soluciones físicamente válidas. Una ley de control basada en medio para esto se presenta en el mismo informe de investigación

5 por E. Malis y M. Vargas. No obstante, este planteamiento de la técnica anterior es complejo y difícil de implementar a un coste razonable en un sistema “sobre la marcha” implementado en el equipo del usuario.

En aras de la simplicidad, por lo tanto, con el fin de seleccionar entre las dos soluciones físicamente válidas, se emplea una regla de decisión de 4 tramas (es decir, una regla basada en cuatro tramas de la secuencia de video

10 original) basándose en la dirección normal a la superficie constante en la realización preferida que utiliza la transformación homográfica y cuando las matrices de calibración de cámara son conocidas.

En particular, sean los pares de soluciones físicamente válidas para las transformaciones entre tres pares de tramas desde el tiempo t a t-1 (par previo), t+1 a t (par actual) y t+2 a t+1 (siguiente par):

20 y

respectivamente, donde los vectores normales n a la superficie están normalizados para tener una longitud de 25 unidad y el último elemento es siempre positivo. La coincidencia correcta (k, l, m) satisface las relaciones:

Basándose en la constancia del vector normal n a través de tres pares de tramas sucesivas, una manea de 30 encontrar la mejor coincidencia para la transformación desde el tiempo t+1 a t es minimizar la función de objetivo siguiente:

35 Para la primera trama en un disparo de la secuencia de video, puede utilizarse una versión de un par de 2 tramas (de t+1 a t y de t+2 a t+1) del mismo objetivo.

40 El resultado de esto es una estimación de los parámetros homográficos descompuestos R, y para la matriz de rotación, del vector de traslación normalizado y de la normal a la superficie respectivamente relativas al movimiento

entre la última de las tramas originales y la primera de las tramas originales.

Otro problema importante relativo a este ejemplo en el que la matriz de calibración de cámara es conocida es la interpolación del factor de acercamiento o alejamiento. Supóngase que las matrices de calibración de cámara Kt en el tiempo t y Kt+1 en el tiempo t+1 no son iguales y, por ello, que existe una operación de acercamiento o alejamiento de c entre las tramas originales. Para una cámara de proyección infinita, la relación entre las respectivas matrices de calibración de cámara puede ser escrita como sigue:

Idealmente, se espera que cx = cy. No obstante, debido al proceso y al ruido de observación, las dos entradas

10 diagonales cx y cy pueden no ser iguales. De acuerdo con esto, en una realización preferida, el factor de acercamiento o alejamiento c puede ser calculado como la medio de los primeros dos elementos diagonales del producto (Kt)-Kt+1. A continuación, además de utilizar la Ecuación 15 con el fin de obtener el ángulo de rotación e a partir de la matriz de rotación R y de las relaciones en la Ecuación 16 para la interpolación del ángulo de rotación e y el vector de traslación t, el factor de acercamiento o alejamiento puede ser también interpolado en un tiempo

15 constante t+Lt (0 < Lt < 1) bajo la asunción de una tasa constante de cambio en la distancia focal como sigue:

Finalmente, utilizando la representación del eje del ángulo de la rotación y de manera similar a la Ecuación 18, la

20 matriz de homografía hacia atrás Gbp de los parámetros homográficos interpolados

de la trama virtual

en t + Lt hasta la primera trama original y t puede ser obtenido como sigue:

25 donde la matriz de calibración de cámara en el punto interpolado t + Lt es

El cálculo de los parámetros hacia adelante

de la matriz de homografía hacia adelante Gfp es el mismo establecido en la derivación de la Ecuación 19 anterior para el caso de que la matriz de calibración de cámara no sea conocida.

30 De esta manera, se obtienen los parámetros homográficos relativos al movimiento entre la trama virtual y tanto las tramas originales primera y última.

Interpolación de Tramas Basada en Modelo 35 Como última etapa del sistema de conversión hacia arriba de la frecuencia de trama la unidad de interpolación de

tramas basada en modelo 30 interpola tramas, región a región, en puntos del tiempo utilizando al menos uno de los parámetros de modelo hacia atrás y hacia adelante.

Para que una trama virtual sea interpolada en el instante de tiempo t+ t, se hace uso de la misma matriz definida 40 previamente de regiones regulares o irregulares y superpuestas o no superpuestas para las cuales los parámetros

de modelo en las dos direcciones opuestas ( ) han sido obtenidas. Dependiendo del

modo seleccionado, que preferiblemente utiliza la transformación afín de la Ecuación 1 ó la transformación homográfica de la Ecuación 2, se encuentran las correspondientes posiciones en Ft y Ft+1 para cada píxel en una región de la trama virtual que utiliza los respectivos parámetros hacia atrás o hacia adelante obtenidos como se ha descrito anteriormente. En términos generales, la intensidad de cada píxel en la trama interpolada se obtiene como función de la intensidad de los píxeles en las correspondientes posiciones se encuentran en Ft y Ft+1. (Puede observarse que para video en escala de grises, la “intensidad” de un píxel es el vector 3x1 de valores de color del píxel. Si, por ejemplo, se utiliza el sistema de RGB, los valores de color son los valores de RGB, cada uno de ellos entre 0 y 255). Si cualquiera de esas posiciones correspondientes en Ft y Ft+1 es una ubicación de sub-píxel (es decir, una posición que no está situada precisamente en una ubicación de píxel en las tramas originales primera o última), un valor de intensidad efectivo en esa ubicación de sub-píxel puede ser obtenido mediante interpolación de los valores de intensidad en las ubicaciones de píxel vecinas. Cualquier método de interpolación puede ser utilizado para esto, tal como el bilineal, bicúbico y métodos basados en spline.

En un ejemplo de esto, sea el vector de intensidad en una ubicación de píxel entera

en la trama virtual Ft+ t

denotado como , y los vectores de intensidad en las correspondientes ubicaciones (de sub-píxel)

en

F’ y sea

en Ft+1 It y

respectivamente. Entonces, para el caso de composición con referencia

a las dos tramas Ft y Ft+1, el vector de intensidad

puede ser calculado mediante el siguiente esquema de promediación lineal ponderada simple:

donde

y

significa que el píxel

está dentro y fuera de las fronteras de la trama de Ft respectivamente. Estos puntos pueden ser rellenados con los valores de intensidad de las ubicaciones más cercanas en las cuales las intensidades son calculadas de acuerdo con la Ecuación 24.

Para los casos en los que la interpolación es llevada a cabo utilizando los datos de píxel sólo de una de las tramas, sólo se utilizan las líneas segunda y tercera de la Ecuación 24 para la interpolación de Ft o de Ft+1 respectivamente.

Así, en esta etapa final, en cierto sentido, los píxeles de la trama virtual “obtienen” sus intensidades de los correspondientes píxeles en las tramas hacia atrás y/o hacia adelante, habiendo sido las ubicaciones de esos píxeles obtenidas utilizando las técnicas de descomposición de parámetros y de interpolación de parámetros preferidas explicadas anteriormente. Esto conduce a unos resultados de aspecto más natural y realista con menos aberraciones no deseadas en las tramas interpoladas.

Realizaciones de la presente invención han sido descritas con particular referencia a los ejemplos ilustrados. No obstante, resultará evidente que pueden realizarse variaciones y modificaciones a los ejemplos descritos dentro del alcance de la presente invención.

Claims

REIVINDICACIONES

1. Un método de aumentar la frecuencia de trama de una señal de video de entrada interpolando tramas de video entre las tramas de video originales o la señal de video de entrada e insertando tramas de video interpoladas entre las tramas de video originales de la señal de video de entrada para producir una señal de video de salida que tiene una mayor frecuencia de trama que la señal de entrada, comprendiendo el método:

para cada una de las diferentes regiones de una primera trama (Ft) de una señal de video de entrada y las diferentes regiones correspondientes de una segunda trama (Ft+1) de la señal de video de entrada:

(A)

estimar seis parámetros afines del modelo afín del arte que representan el movimiento relativo entre una región de una primera trama de una señal de video de entrada y una correspondiente región en una segunda trama de la señal de video de entrada;

(B)

descomponer los citados seis parámetros afines para la región en seis parámetros de movimiento bidimensional para la región;

(C)

interpolar los seis parámetros de movimiento bidimensional para un instante de tiempo entre las tramas primera y segunda con el fin de obtener parámetros de movimiento bidimensional interpolados que representan el movimiento desde una región en una trama interpolada hasta al menos una de (i) la citada región en la primera trama e (ii) la citada región en la segunda trama, donde la trama interpolada debe ser insertada entre las tramas primera y segunda y donde la citada región en la trama interpolada corresponde a las citadas regiones en las tramas primera y segunda;

(D)

obtener, a partir de los citados parámetros de movimiento bidimensional interpolados seis parámetros afines que representan (i) el movimiento desde la citada región en la trama interpolada hasta la citada región en la primera trama en el caso de que los citados parámetros de movimiento bidimensional representen el movimiento desde la región en la trama interpolada hasta la citada región en la primera trama y/o (ii) el movimiento desde la citada región en la trama interpolada hasta la citada región en la segunda trama en el caso de que los citados parámetros de movimiento bidimensional interpolados representen el movimiento desde la región en la trama interpolada hasta la citada región en la segunda trama; y,

(E)

para la o cada región de píxel, situar una posición en (i) la primera trama en el caso de que los citados parámetros de movimiento bidimensional interpolados representen el movimiento desde la región en la trama interpolada hasta la citada región en la primera trama, y/o (ii) la segunda trama en el caso de que los citados parámetros de movimiento bidimensional interpolados representen el movimiento desde la región en la trama interpolada hasta la citada región en la segunda trama, correspondiendo la citada posición a un píxel en la citada región de la trama interpolada y siendo situados utilizando los respectivos seis parámetros afines obtenidos en la etapa (D), y obteniendo una intensidad del citado píxel en la citada región de la trama interpolada como función de las intensidades en la citada posición (s); y,

habiendo interpolado mediante (E) varias regiones que constituyen la trama interpolada de manera que toda la trama interpolada ha sido obtenida, insertando la citada trama interpolada entre las citadas tramas primera y segunda.
2. El método de acuerdo con la reivindicación 1, en el que:

(C)

comprende interpolar los seis parámetros de movimiento bidimensional para un instante de tiempo entre las trama primera y segunda con el fin de obtener parámetros de movimiento bidimensional interpolados que representen el movimiento desde una región en una trama interpolada hasta la citada región en la primera trama;

(D)

comprende obtener a partir de los citados parámetros de movimiento bidimensional interpolados un primer conjunto de seis parámetros afines que representan el movimiento desde la citada región en la trama interpolada hasta la citada región en la primera trama, y obteniendo un segundo conjunto de seis parámetros afines que representan el movimiento desde la citada región en la trama interpolada hasta la citada región en la segunda trama a partir del citado primer conjunto de seis parámetros afines que representan el movimiento desde la citada región en la trama interpolada hasta la citada región en la primera trama y los citados seis parámetros afines que representan el movimiento relativo entre la citada región en la primera trama y hasta la citada región correspondiente en la citada segunda trama; y,

(E)

comprende obtener la región interpolada de la trama interpolada: situando la posición de sub-píxel en la primera trama que corresponde a un píxel en la citada región de la trama interpolada utilizando el citado primer conjunto de seis parámetros afines obtenidos en la etapa (D), situando la posición de sub-píxel en la segunda trama que corresponde a un píxel en la citada región de la trama interpolada utilizando el citado segundo conjunto de seis parámetros afines obtenidos en la etapa (D), y obteniendo una intensidad interpolada del citado píxel en la citada región de la trama interpolada como función de las intensidades en las citadas posiciones en las tramas primera y segunda.
3. Un método de acuerdo con la reivindicación 2, en el que:

los seis parámetros afines estimados en (A) son: a 11, a12, a21, a22, b1, b2 donde la matriz afín A y el vector de traslación

están definidos mediante:

y , los seis parámetros de movimiento bidimensional en (B) son A1, A2, e, c, b1 y b2 donde:

y:

y el movimiento bidimensional interpolado, parámetros que representan el movimiento desde una región en una trama interpolada hasta la citada región en la primera trama son A1b, A2b, eb, cb, b1b y b2b y son obtenidos en (C) como:

donde t es el intervalo de tiempo desde la primera trama hasta la trama interpolada donde las tramas primera y segunda son en los tiempos t y t+1 en unidades arbitrarias y 0 < t < 1.
4. El método de acuerdo con la reivindicación 3, en el que en (D) el primer conjunto de parámetros afines que representan el movimiento desde la citada región en la trama interpolada hasta la citada región en la primera trama son a11b, a12b, a21b, a22b, b1b y b2b, donde:

y Ab se obtiene utilizando la fórmula:

y el citado segundo conjunto de seis parámetros afines que representan el movimiento desde la citada región en la trama interpolada hasta la citada región en la segunda trama a11f, a12f, a21f, a22f, b1f y b2f donde:

que se obtienen utilizando las fórmulas:

donde A-1 es la inversa de la matriz afín A.
5.

Un método de acuerdo con cualquiera de las reivindicaciones 1 a 4, en el que la citada región de la trama interpolada contiene varios píxeles, y en (E) la situación de la posición o posiciones y la obtención de una intensidad interpolada es llevada a cabo con respecto a cada uno de los diferentes píxeles.
6.

Un método de acuerdo con cualquiera de las reivindicaciones 1 a 5, en el que se determina que las respectivas regiones de la primera trama, la segunda trama y la trama interpolada se corresponden si están en la misma ubicación con respecto al origen de coordenadas de sus respectivas tramas y tienen el mismo alcance espacial.
7.

Un método de acuerdo con la reivindicación 1, en el que en (C):

dos de los parámetros de movimiento bidimensional tienen en cuenta la traslación de una región desde una trama a otra y son interpolados linealmente; uno de los parámetros de movimiento bidimensional tienen en cuenta la rotación de una región desde una trama a otra y es interpolado linealmente; y, los tres parámetros de movimiento bidimensional tienen en cuenta el escalado y recortado de una región de una trama a otra, siendo uno de los citados tres restantes parámetros de movimiento bidimensional interpolado linealmente y siendo los otros dos de los citados tres parámetros de movimiento bidimensional restantes interpolados no linealmente.
8.

Un método de aumentar la frecuencia de trama de una señal de video de entrada interpolando tramas de video entre tramas de video originales de la señal de video de entrada e insertando tramas de video interpoladas entre tramas de video originales de la señal de video de entrada para producir una señal de video de salida a una frecuencia de trama mayor que la señal de entrada, comprendiendo el método:

para cada una de las diferentes regiones en una primera trama (Ft) de una señal de video de entrada y las diferentes regiones correspondientes de una segunda trama (Ft+1) de la señal de video de entrada:

(A)

estimar ocho parámetros homográficos de un modelo de homografía que representan el movimiento relativo entre una región en una primera trama de una señal de video de entrada y una región correspondiente en una segunda trama de la señal de video de entrada;

(B)

interpolar los citados ocho parámetros homográficos para un instante de tiempo entre las tramas primera y segunda con el fin de obtener ocho parámetro homográficos interpolados que representan el movimiento de una región en una trama interpolada a al menos una de (i) la citada región en la primera trama y (ii) la citada región en la segunda trama, donde la trama interpolada va a ser insertada entre las tramas primera y segunda y donde la citada región en la trama interpolada corresponde a las citadas regiones en las trama primera y segunda; y,

(C)

para el o cada píxel en la región, situar una posición en (i) la primera trama en el caso de que los citados parámetros homográficos interpolados representan el movimiento de una región en la trama

interpolada a la citada región en la primera trama, y/o (ii) la segunda trama en el caso de que los citados parámetros homográficos interpolados representen el movimiento de las regiones en la trama interpolada a la citada región en la segunda trama, correspondiendo la citada posición a un píxel en la citada región de la trama interpolada y siendo situada utilizando los respectivos ocho parámetros realizaciones interpolados obtenidos en la etapa (B), y obteniendo una intensidad interpolada del citado píxel en la citada región de la trama interpolada como función de las intensidades en la citada posición

o las citadas posiciones; y,

habiendo interpolado mediante (C) varias regiones que enmascaran la trama interpolada de manera que toda la trama interpolada ha sido obtenida, insertando la citada trama interpolada entre las citadas tramas primera y segunda.
9. Un método de acuerdo con la reivindicación 8, en el que:

(B)

comprende interpolar los citados ocho parámetros homográficos para un instante de tiempo entre las tramas primera y segunda con el fin de obtener un primer conjunto de parámetros homográficos interpolados que representan el movimiento de una región en una trama interpolada a la citada región en la primera trama, e interpolando los citados ocho parámetros homográficos para el citado instante de tiempo entre las tramas primera y segunda con el fin de obtener un segundo conjunto de parámetros homográficos interpolados que representan el movimiento de una región en una trama interpolada a la citada región en la segunda trama; y,

(C)

comprende obtener la región interpolada de la trama interpolada mediante: situar la posición de sub-píxel en la primera trama que corresponde a un píxel en la citada región de la trama interpolada utilizando el citado primer conjunto de parámetros homográficos respectivos obtenidos en la etapa (B), situando la posición de sub-píxel en la segunda trama que corresponde a un píxel en la citada región de la trama interpolada utilizando el citado segundo conjunto de parámetros homográficos respectivos obtenido en la etapa (B), y obteniendo una intensidad interpolada del citado píxel en la citada región de la trama interpolada como función de las intensidades en las citadas posiciones en las tramas primera y segunda.
10.

Un método de acuerdo con la reivindicación 8 ó la reivindicación 9, en el que la citada región de la trama interpolada contiene varios píxeles, y la situación de la posición o las posiciones y la obtención de una intensidad es llevada a cabo con respecto a cada uno de los citados píxeles.
11.

Un método de acuerdo con cualquiera de las reivindicaciones 8 a 10, en el que se determina que las respectivas regiones en la primera trama, la segunda trama y la trama interpolada se corresponden si hay la misma ubicación con respecto al origen de coordenadas de sus respectivas tramas y tienen el mismo alcance espacial.
12.

Un método de acuerdo con cualquiera de las reivindicaciones 8 a 11, en el que:

(B) comprende interpolar los citados ocho parámetros homográficos para un instante del tiempo entre las tramas primera y segunda con el fin de obtener ocho parámetros homográficos interpolados que representan el movimiento de una región en una trama interpolada a la citada región correspondiente en la primera trama utilizando la fórmula:

donde:

Gp es la matriz de homografía de proyección que contiene los ocho parámetros realizaciones que representan el movimiento de la citada región en la segunda trama de la señal de video de entrada a la citada correspondiente región en la primera trama de la señal de video de entrada, Lt es el intervalo de tiempo de la primera trama a la trama interpolada donde las tramas primera y segunda están en los tiempos t y t+1 en unidades arbitrarias y 0 < Lt < 1, Gpb es la matriz de homografía de proyección que contiene los ocho parámetros homográficos interpolados que representan el movimiento de la citada región en la trama interpolada a la citada correspondiente región en la primera trama, e I es la matriz de identidad; y,

(C) comprende obtener la región interpolada de la trama interpolada situando la posición de sub-píxel en la primera trama que corresponde a un píxel en la citada región de la trama interpolada utilizando los parámetros homográficos interpolados en Gpb y obteniendo una intensidad interpolada del citado píxel en la citada región de la trama interpolada como función de la intensidad en la citada posición.
13. Un método de acuerdo con la reivindicación 12, en el que la matriz de homografía de proyección, Gpb que contiene los ocho parámetros homográficos interpolados que representan el movimiento de la citada región en la trama interpolada a la citada correspondiente región en la segunda trama se obtiene utilizando la fórmula: donde:

Gp-1 es la matriz inversa de Gp, y s es un factor de escala; y,

(C) comprende obtener la región interpolada de la trama interpolada situando la posición de sub-píxel en la primera trama que corresponde a un píxel en la citada región de la trama interpolada utilizando los parámetros homográficos interpolados en Gpb; situando la posición de sub-píxel en la segunda trama que corresponde al citado píxel en la citada región de la trama interpolada utilizando los parámetros homográficos interpolados en Gpf; y obtener una intensidad interpolada del citado píxel en la citada región de la trama interpolada como función de las intensidades en las citadas respectivas posiciones en las tramas primera y segunda.
14. Un método de acuerdo con dos cualesquiera de las reivindicaciones 8 a 11, donde:

(B) comprende interpolar los citados ocho parámetros homográficos para un instante de tiempo entre las tramas primera y segunda con el fin de obtener ocho frecuencia de tramas homográficos interpolados que representan el movimiento de una región en una trama interpolada a la citada correspondiente región en la primera trama mediante:

(B1) obtener los parámetros de la matriz de homografía Euclidiana He donde:

donde:

Gp es la matriz de homografía de proyección que contiene los citados ocho parámetros homográficos que representan el movimiento de la citada región en la segunda trama de la señal de video de entrada a la citada correspondiente región en la primera trama de la señal de video de entrada, (Kt)-1 es la inversa de la matriz de calibración de cámara en el tiempo t+1 correspondiente a la segunda trama; y Kt+1 es la matriz de calibración de cámara en el tiempo t=1 correspondiente a la segunda trama;

(B2) descomponiendo los citados parámetros homográficos Euclidianos en parámetros de rotación, traslación y estructura utilizando la fórmula:

donde:

R es una matriz de rotación,

es un vector de traslación normalizado del tiempo t+1 a t, y

es una normal a la superficie;

(B3) seleccionar una de las soluciones para R,

y

proporcionadas por la descomposición en B2; (B4) obtener un ángulo de rotación e de la matriz de rotación R de la solución seleccionada en B3; (B5) calcular un factor de acercamiento o alejamiento de cámara c entre las tramas primera y segunda; (B6) interpolar el ángulo de rotación e obtenido en B4, siendo el vector de traslación normalizado

seleccionado en B3 y el factor de acercamiento o alejamiento de cámara c calculado en B5 como sigue: donde:

Lt es el intervalo de tiempo de la primera trama a la trama interpolada donde las tramas primera y segunda están en los tiempos t y t+1 en unidades arbitrarias y 0 < Lt < 1,

y eb,

y cb son el ángulo de rotación, el vector de traslación normalizado y el factor de acercamiento o alejamiento de cámara relativo al movimiento de la citada región en la citada trama interpolada a la citada región correspondiente en la primera trama; y,

(B7) obtener los citados ocho parámetros homográficos interpolados que representan el movimiento de

la región en la trama interpolada a la correspondiente región en la primera trama de eb, y por ello

con el fin de obtener la matriz de homografía de proyección Gpb que contiene los citados ocho

parámetros homográficos interpolados; y,

(C) comprende obtener la región interpolada de la trama interpolada situando la posición de sub-píxel en la primera trama que corresponde a un píxel en la citada región de la trama interpolada utilizando los parámetros homográficos interpolados en Gpb y obteniendo una intensidad interpolada del citado píxel en la citada región de la trama interpolada como función de las intensidades en la citada posición.
15. Un método de acuerdo con la reivindicación 14, en el que la matriz de homografía de proyección Gpf que contiene los ocho parámetros homográficos interpolados que representan el movimiento desde la citada región en la trama interpolada a la citada región correspondiente en la segunda trama es obtenida utilizando la fórmula:

donde:

Gp-1 es la matriz inversa de Gp, y s es un factor de escala; y,

(C) comprende obtener la región interpolada de la trama interpolada situando la posición de sub-píxel en la primera trama que: se corresponde a un píxel en la citada región de la trama interpolada utilizando los parámetros homográficos interpolados en Gpb; situando la posición de sub-píxel en la segunda trama que corresponde al citado píxel en la citada región de la trama interpolada utilizando los parámetros homográficos interpolados en Gpf; y obteniendo una intensidad del citado píxel en la citada región de la trama interpolada como función de las intensidades en las citadas posiciones respectivas en las tramas primera y segunda.
16. Un método de acuerdo con la reivindicación 14 ó la reivindicación 15, en el que en B3, la una de las soluciones

para R, y

proporcionada por la descomposición en B2 es seleccionada minimizando una función de coste que

se refiere a los valores de R, y

entre varios pares de tramas.
17. Aparato (10, 20, 30) construido y dispuesto para llevar a cabo un método de acuerdo con cualquiera de las reivindicaciones 1 a 16.