ES2548983T3

ES2548983T3 - Estimación de movimiento mediante una nueva correlación de fase jerárquica adaptiva

Info

Publication number: ES2548983T3
Application number: ES10150129.4T
Authority: ES
Inventors: Hasan Alimli; Anil Ikizler
Original assignee: Vestel Elektronik Sanayi ve Ticaret AS
Current assignee: Vestel Elektronik Sanayi ve Ticaret AS
Priority date: 2009-01-09
Filing date: 2010-01-05
Publication date: 2015-10-22
Anticipated expiration: 2030-01-05
Also published as: EP2207139A1; TR200900177A2; EP2207139B1

Abstract

Procedimiento para estimación de movimiento basado en la correlación de las secuencias de trama, que comprende etapas de; * aplicar una operación de correlación de fase global a una trama de referencia (Ft) y una trama objetivo (Ft+1) * calcular la relación entre un pico más alto y un segundo pico más alto en la superficie de correlación resultante (ct, t+1) * comparar la relación con un valor umbral predefinido; * si la relación es mayor que el valor umbral, asignar el vector de movimiento correspondiente al pico más alto a la trama completa (Ft+1); * si la relación es menor que el umbral, dividir las tramas (Ft, Ft+1) en tramas de cuadrante (At, At+1); * aumentar el tamaño de dichas tramas de cuadrante (At, At+1); * Determinar una eventual partición de tramas de cuadrante aumentadas (At, At+1) de manera iterativa mediante la repetición de etapas de aplicación de una correlación de fase, calculando la relación entre el pico mayor y un segundo pico mayor en la superficie de correlación resultante y comparar esta relación con un valor umbral predefinido para las tramas de cuadrante de tramas divididas, caracterizado porque; dicho umbral es adaptativo y se calcula de acuerdo con la formula siguiente; **Fórmula** en la que, L es la longitud (distancia) entre el centro de gravedad de los picos y las coordenadas del pico más alto del resultado de la correlación de fase y siendo "mínimo_de_tamaño_de_bloque" el tamaño del pequeño borde de una trama que es comprobada para ser dividida o no; y la etapa de aumento del tamaño de una de las citadas tramas de cuadrante (At, At+1) se lleva a cabo mediante la adición de áreas aumentadas que son zonas adyacentes a dichas tramas de cuadrante (At, At+1) en dicha trama de referencia (Ft) y en dicha trama objetivo (Ft+1) a dichas tramas en cuadratura (At, At+1).

Description

imagen1

5

15

25

35

45

55

DESCRIPCIÓN

Estimación de movimiento mediante una nueva correlación de fase jerárquica adaptiva

Ámbito técnico

[0001] La presente invención se refiere a un procedimiento para estimación de movimiento que se base en la correlación de fase (asociación) de las secuencias de trama (la parte menos significativa de los datos de imagen). Técnica anterior [0002] La estimación de movimiento es el proceso que genera los vectores de movimiento que determinan cómo se mueve un objeto desde una trama previa a una trama actual. Se ha explorado por muchos investigadores en los últimos 30 años y está presente en muchas aplicaciones, tales como la tecnología de vídeo, la visión por ordenador, seguimiento y monitorización industrial. [0003] Hay dos formas principales para la estimación de movimiento tales como en el dominio espacial y en el dominio de frecuencia. La coincidencia de bloques y procedimientos basados en gradiente-diferencial son procedimientos comunes y conocidos en el dominio espacial. [0004] La idea principal subyacente al algoritmo de coincidencia de bloques es dividir la trama actual en una matriz de bloques. Entonces estos macro bloques se comparan con bloques correspondientes de la trama siguiente y bloques vecinos que son adyacentes a dichos bloques. De la comparación resulta al menos un vector de movimiento que muestra la trayectoria de ese bloque. Por otra parte, la idea principal subyacente al procedimiento basado en gradiente-diferencial es la derivación de secuencia de trama. [0005] En la técnica anterior se conocen algunos estudios y artículos sobre estimación de movimiento. Por ejemplo, el artículo con título "Motion Estimation Using Quad-Tree Phase Correlation”, perteneciente a V. Argyriou y T. Vlachos, publicado en 2005 por IEEE Conferencia Internacional en volumen 1. Este documento trata de un esquema de árbol cuaternario para la obtención de los vectores de movimiento de movimiento inter-trama en el dominio de la frecuencia. El procedimiento también se basa en la correlación de fase y utiliza características clave de la superficie de correlación de fase para controlar la partición de un bloque padre (trama) en cuatro cuadrantes descendientes (sub tramas). El criterio de partición se aplica de forma iterativa hasta que puede identificarse un número objetivo de vectores de movimiento o si no más de un componente de movimiento sencillo por bloque puede identificarse. [0006]Los procedimientos de este documento se pueden explicar como sigue: El punto de partida para una partición de árbol cuaternario de trama ft y ft+1 implica una operación de correlación de fase global entre dos tramas. En la figura 1 se muestra un ejemplo ideal con tres objetos en movimiento y la superficie de correlación resultante ct, t+1, en cuya figura la parte izquierda muestra tres objetos de una trama de referencia ft y sus posiciones en la trama objetivo ft+1; y mostrando la parte derecha la superficie de correlación resultante.

[0007] La segunda etapa es examinar si la trama objetivo debe ser dividida o no en cuatro cuadrantes. La altura de cada uno de los picos de la superficie de correlación de la figura 1, es una buena medida de la fiabilidad del componente de movimiento correspondiente. Por ejemplo, picos altos y afilados pueden ser fiables para corresponder al movimiento real mientras que picos bajos y/o romos pueden ser el resultado de ruido. La relación entre el primer pico más alto (FH) y el segundo pico más alto (SH) es una medida adecuada para criterios de partición.

imagen2

(Ecuación 1)

[0008] Si la relación es superior a un umbral suponemos que sólo existe un componente de movimiento dominante en la escena y el algoritmo no procesa más, de otro modo la trama objetivo se divide cuatro cuadrantes. [0009] La siguiente etapa es la correlación de bloques de imagen (tramas) de tamaño dispar. Suponiendo que la trama objetivo ha sido dividida como se mencionó anteriormente, parámetros de movimiento necesitan ser estimados para cada uno de los cuatro cuadrantes resultantes. Sin embargo, esto tiene la desventaja obvia de requerir una operación de correlación de fase a realizar entre dos tramas de tamaños dispares, es decir, la imagen de referencia es cuatro veces mayor que el objetivo. El artículo de V. Argyriou y T. Vlachos, referido a muestreo ascendente de interpolación de Ft+1 de transformada de Fourier de ft+1. Se utilizó interpolación lineal para la obtención de las dimensiones que ahora son idénticas a las de la trama de referencia. [0010] También existen procesos aditivos, como precisión de sub-pixel para estimación de movimiento de precisión que es un método adicional general muy preferido. [0011] El procedimiento mencionado anteriormente tiene un inconveniente adicional ya que el valor umbral utilizado en los criterios de partición es fijo. Dado que el valor umbral no puede adaptarse en sí de acuerdo con el resultado de la correlación de fase, en algunos casos no pueden obtenerse resultados precisos.

imagen3

Breve resumen de la invención

[0012] De acuerdo con la presente invención, la primera etapa es una operación de correlación de fase entre dos

5 tramas, tales como ft y ft+1. A continuación, dependiendo de la relación entre los picos en la superficie de correlación obtenida, bloques pueden dividirse en cuadrantes, y este proceso de división procesa de manera iterativa para determinar si el bloque de cuadrante será dividido algo más o no. Esta es una de las nuevas características de la presente invención, que se expresa mediante una fórmula de iteración. Luego, dos de los sub bloques se solapan, y el área solapamiento se aumenta. Lo que es un paso importante, ya que en algunos casos, sería mejor que la zona

10 de superposición sea aumentada para la obtención de datos fiables durante la correlación de fase. La presente invención proporciona además una fórmula de umbral automático. Utilizando este algoritmo, el valor umbral se puede calcular automáticamente de manera adaptativa. Puesto que el umbral es adaptativo, no fijo como se conoce en la técnica anterior, este caso proporciona datos más fiables para la correlación de fase.

15 Objeto de la invención

[0013] El objeto de la presente invención es proporcionar un procedimiento de estimación de movimiento con un nuevo enfoque y algoritmos jerárquicos y proporcionar un valor mucho mayor de relación pico de señal ruido (PSNR) en comparación con correlación de fase simple con tamaño de bloque fijo.

20 [0014] El otro objeto de la invención es reducir la capacidad de memoria externa requerida para guardar los resultados de la transformada de Fourier interpolada de cuadrantes mediante la eliminación de la necesidad de la etapa de interpolación de cuadrantes. [0015] Un objeto adicional de la presente invención es proporcionar valores de PSNR más altos en comparación con los procedimientos conocidos, mediante la eliminación de la necesidad de interferir en el algoritmo mediante el modo

25 de umbral fijo.

Breve descripción de los dibujos

[0016]

30 La figura 1, ilustra un esquema de modelo que presenta tres objetos en movimiento y la superficie de correlación resultante. La figura 2, ilustra la gráfica de correlación de fase de acuerdo con vector de movimiento. La figura 3, ilustra dos bloques (tramas) que se dividen en cuadrantes. La figura 4(a), ilustra una vista de modelo de la zona de solapamiento de acuerdo con una realización de la presente

35 invención. La figura 4(b), ilustra una vista de modelo de la zona de solapamiento aumentada de acuerdo con una realización de la presente invención. La figura 5, ilustra el área de sub imagen aumentada (sub bloque) de acuerdo con una realización de la presente invención.

40 La figura 6, ilustra las etapas del procedimiento de la técnica anterior. La figura 7, ilustra las etapas de una realización de la presente invención.

Descripción detallada de la invención

45 [0017] Esta invención lleva a cabo la estimación de movimiento mediante la utilización de procedimientos de correlación de fase. Se utiliza la propiedad de desplazamiento de la transformada de Fourier. De acuerdo a esta propiedad, un desplazamiento en el dominio temporal es equivalente a un desplazamiento de fase en el dominio de la frecuencia. La información primaria y general acerca de la correlación de fase que incluye la transformada de Fourier se puede explicar por las siguientes ecuaciones:

50

Hay una función de desplazamiento de tiempo de la transformada de Fourier (Ecuación 2)

x (t – t0) ⇿ e-jwt 0 X(jw) Ecuación 2

55 [0018] De acuerdo con la ecuación 2, un cambio en el dominio temporal es equivalente a un desplazamiento de fase en el dominio de la frecuencia. [0019] Suponiendo un desplazamiento de traslación entre los dos tramas;

s (n1,n2,k)=s (n1+ d1,n2+d2,k +1) Ecuación 3

60

[0020] Siendo su transformada de Fourier 2D;

Sk (f1, f2) = Sk+1 (f1, f2).e-j2π(d1.f1+d2.f2)

Ecuación 4

imagen4

5

10

15

20

25

30

35

40

45

50

55

[0021] Por lo tanto, un desplazamiento en el dominio espacial se refleja como un cambio de fase en el dominio espectral. La correlación cruzada entre las dos tramas es

ck,k+1 (n1, n2) = s(n1,n2,k+1)* s(n1,n2,k) Ecuación 5

cuya transformada de Fourier es;

Ck,k+1 (f1, f2) = Sk+1 (f1, f2).S* (f1, f2) Ecuación 6

[0022] Con el fin de eliminar la influencia de variación de luminancia durante nuestro análisis de fase, se normaliza el espectro de potencia cruzada por su magnitud y se obtiene su fase como;

imagen5

Ecuación 7

[0023] Mediante las ecuaciones 3 y 7, tenemos

imagen6Ecuación 8

cuya transformada inversa 2D está dada por;

Ck,k+1 (n1, n2) = δ (n1-d1, n2-d2) Ecuación 9

[0024] Como resultado, mediante la búsqueda de la ubicación del pulso en la ecuación 9, puede ser explicado el desplazamiento que se refiere el vector de movimiento. En la práctica, el movimiento no es de traslación pura. Por lo tanto, se obtendrá la correlación de fase similar a lo representado en la figura 2. En este caso, el pulso se localizará buscando el pico más alto o unos pocos candidatos. [0025] Esta invención usa las características clave de la superficie de correlación de fase para controlar la partición de una trama principal (bloque) en cuatro tramas de cuadrante parientes (bloques). El criterio de partición se aplica iterativamente hasta que no más de un solo componente de movimiento por bloque pueden ser identificado. [0026] La correlación de fase jerárquica es un procedimiento eficaz y rápido para estimación de movimiento. El procedimiento de esta invención puede agrupar los bloques que tienen movimiento similar, por lo que su carga de cálculo es menor que la de la correlación de fase convencional. Además, este método puede encontrar el vector de movimiento de forma adaptativa; lo que significa que el mecanismo de control de forma adaptativa se actualiza a sí mismo. [0027] La presente invención incluye cuatro partes principales que son dividas, áreas de superposición, la división de manera automática e iteración.

•: El punto de partida para un procedimiento jerárquico es una operación de correlación de fase entre dos tramas, Ft y Ft+1. La superficie de correlación resultante puede tener uno o más picos de un movimiento simple, de los cuales el mayor 2-3 puede indicar componentes de movimiento significativos de un movimiento compuesto entre las tramas.

•: En este punto, la altura de cada uno de estos picos es una buena medida de la fiabilidad del componente de movimiento correspondiente. A la vista de lo anterior, los criterios de división se pueden formular como si la relación entre la intensidad el pico mayor y el segundo pico es más grande que un umbral predefinido, se supone que hay un movimiento dominante y ese bloque no se divide.

•: Si la relación es menor, existen dos o más movimientos incluidos en el bloque y se debería ser dividido adicionalmente. De otra manera, el vector de movimiento correspondiente al pico más alto se asigna a todo el bloque. Cuando un bloque se divide en cuadrantes, las correlaciones de fase se llevan a cabo entre los dos cuadrantes parientes de los dos bloques principales. Como se muestra en la figura 3, por ejemplo, si la relación entre picos para AT y AT+1 es menor que un umbral, se supone que hay dos o más movimientos diferentes. Así los cuadrantes AT y AT+1 se dividen en cuatro y así sucesivamente.

•: Suponiendo que se trabaja con tamaño de bloque fijo de 16x16 píxeles. Si las correlaciones de fase se realizan solamente sobre un sub bloque de 16x16 píxeles, la correlación puede ser demasiado baja para un movimiento en particular debido al pequeño área de superposición, como se muestra en la figura 4(a).

•: Puesto que el tamaño de sub bloque se aumenta a mayor, el área de solapamiento se aumenta para una mejor estimación de correlación, como se muestra en la figura 4(b). Como se muestra en la figura 4(b), el tamaño de bloque se aumenta para dar área de superposición mayor para mejor estimación de correlación. Suponiendo que, después de algún número de operaciones de división, aquí quedan dos bloques, BT y BT+1. Durante el proceso de correlación de fase, los bloques originales de BT y BT+1 se aumentan hasta un mayor tamaño como se muestra en la figura 5.

imagen7

5

10

15

20

25

30

35

40

45

• Alternativamente, el umbral se puede calcular automáticamente de forma adaptativa. En esta invención, se ha desarrollado experimentalmente una fórmula con una función exponencial que tiene una potencia inferior a 1 (preferiblemente 0,4). Se supone que L es la longitud entre el centro de gravedad de los picos y la coordenada del pico más alto del resultado de la correlación de fase. Si L es lo suficientemente pequeño, significa que la mayor parte de la energía de la correlación de fase se concentra en el punto de pico. Por lo tanto se puede suponer que hay un movimiento dominante sencillo. El umbral se puede idear como;

Umbral =

imagen8Ecuación 10

imagen9

donde el tamaño mínimo de bloque es el borde pequeño del bloque relacionado. Si la L es pequeña, significa que la energía se observa en una ubicación específica, por lo que hay un movimiento sencillo. Sin embargo, si la L es grande, significa que la energía está dispersa, por lo tanto hay más de un movimiento sencillo. De acuerdo con la nueva fórmula, si L es pequeña, entonces el umbral aumentará y si L es más grande, el umbral disminuirá.

• De acuerdo la función característica de la transformada de Fourier en el procesamiento de imágenes y correlación de fase, el tamaño menor no proporciona resultados verdaderos y exactos durante la utilización de la transformada de Fourier. Por otro lado, el tamaño mayor elimina el efecto de movimiento pequeño. Con el fin de obtener resultados precisos, el algoritmo de acuerdo con la presente invención se procesa de forma iterativa para determinar si se dividirá adicionalmente o no el bloque de cuadrante o aquí puede ser una fórmula de iteración que se calcula de forma automática a partir del tamaño de la imagen.

Iteración = suelo (log2 (min

imagen10) – 4) Ecuación 11

[0028] Esta fórmula evita conseguir bloques más pequeños menores de aproximadamente 16x16 píxeles, que es un tamaño preferido de bloque menor. [0029] El comportamiento de relación pico de señal ruido (PSNR) de los algoritmos de correlación de fase en la técnica anterior, en comparación con la presente invención se puede observar en la tabla 1 que sigue. [0030] Estos datos se obtienen como sigue: Hay un método convencional para medir el valor PSNR. Se calcula entre la segunda trama predicha, que es creada moviendo macro bloques con sus vectores de movimiento desde la primera trama, y la segunda trama original (Ecuación 12).

PSNR = 10. log10 imagen11dB Ecuación 12

[0031] Se utilizan veinte parejas de imágenes que se consideran con el fin de procesar la estimación de movimiento correlación de fase; y que contiene tiene muchos tipos de movimiento tales como global, local, diagonal, vertical, horizontal, zoom, etc. Sus valores de PSNR y vectores de movimiento se encuentran utilizando tres métodos diferentes. [0032] Los valores de PSNR para cada método que son respectivamente correlación de fase (PC) con tamaño de bloque fijo, umbral fijo jerárquico y umbral adaptativo jerárquico, se muestran en la tabla 1. La calidad del video se refiere a estos valores de umbral. El valor PSNR más alto indica a una calidad de imagen mayor. De acuerdo con esta tabla, la tercera columna (correlación de fase jerárquica, donde se utiliza el valor umbral fijo) muestra los valores de los resultados para el procedimiento de la presente invención sin utilizar el umbral adaptativo. Cuando comparamos cada valor de estos tres métodos, el resultado es que esta invención con umbral adaptativo tiene mayor PSNR en comparación con otros procedimientos con correlación de fase donde se utiliza tamaño de bloque fijo y correlación de fase jerárquica donde se utiliza valor de umbral fijo. En otras palabras, la invención con umbral adaptativo da resultados más precisos.

imagen12

Tabla 1

#: Imágenes PC con tamaño de bloque fijo PC jerárquico (propuesta) PC jerárquico (propuesta)

8x8: Umbral fijo = 0,5 Umbral adaptativo

1: Dimetrodon 24.380 28.913 28,959

2: Street 19.154 19.899 19,975

3: Tree 18.429 19.417 19,505

4: Hydrangea 19.091 21.559 21,667

5: Mequon 18.090 19.979 20,723

6: MiniCooper 14.870 16.016 16,542

7: RubberWhale 24.217 25.489 25,735

8: Schefflera 18.996 20.069 20,908

9: Urban 18.136 19.169 19,173

10: Venus 17.508 19.340 20,521

11: Waking 20.027 21.206 21,301

12: Wooden 22.350 21.078 23,379

13: Yosemite 19.427 21.830 21,87

14: Buildigman 24.586 26.062 26,077

15: Village 14.137 15.531 15,643

16: Window 18.257 17.613 18,032

17: Future 24.077 24.947 24,965

18: Snow 11.350 11.887 11 ,923

19: Tractor 24.186 25.882 25,902

20: Town 18.636 19.240 19,347

5 [0033] Hay otra característica de esta invención como se muestra en la tabla 2. Se presenta el movimiento con un menor número de vectores de movimiento, además, su comportamiento de PSNR es la mejor cuando se compara con las otras. La primera columna de la tabla muestra los nombres de las imágenes, las otras columnas muestran el número de vectores de los procedimientos con correlación de fase en los que se utiliza tamaño de bloque fijo, correlación de fase jerárquica en la se utiliza valor umbral fijo y correlación de fase jerárquica en la que se utiliza

10 valor umbral adaptativo, respectivamente.

Tabla 2

8x8: Umbral fijo = 0,5 Umbral adaptativo

1: Dimetrodon 3266 157 103

2: Street 3266 58 49

3: Tree 3266 4 4

4: Hydrangea 3266 295 284

5: Mequon 3266 817 676

6: MiniCooper 3266 4 4

7: RubberWhale 3266 532 523

8: Schefflera 3266 220 208

9: Urban 3266 808 763

10: Venus 3266 514 506

11: Waking 3266 454 427

12: Wooden 3266 505 502

13: Yosemite 3266 604 245

14: Buildigman 3266 226 47

15: Village 3266 937 747

16: Window 3266 301 208

17: Future 3266 373 256

18: Snow 3266 613 568

19: Tractor 3266 697 268

20: Town 3266 793 757

[0034] Menor número de vectores significa menor carga de cálculo, menor número de datos a enviar con el fin de

15 descodificar la imagen en la parte de receptor y menor ancho de banda de transmisión. [0035] Como se observa fácilmente en ambas tablas, la invención proporciona un mayor valor PSNR con un menor número de vectores y carga de cálculo. [0036] El procesamiento de la transformada de Fourier crea una gran carga computacional para concepto corrientes

o chips. Así esta invención puede ser combinar en los chips y también puede ser utilizada para cualquier aplicación de estimación de movimiento, tal como visión por ordenador, seguimiento y, especialmente, para aplicación de televisión 100/120 Hz. Puede reemplazar a los procedimientos de estimación de movimiento convencionales utilizados para TV de 100/120 Hz, en lugar de coincidencia de bloques. [0037] Además, podría ser un procedimiento híbrido que incluye tanto la coincidencia de bloques como la

imagen13

5 correlación de fase jerárquica. En primer lugar, esta invención podría ser utilizada para toda la secuencia. Si hay un pico dominante, se puede suponer que hay un movimiento global. Si hay dos picos dominantes, las imágenes se pueden dividir en dos partes como se ha explicado anteriormente y puede suponerse que hay dos movimientos amplios/ globales dominantes. Después de esta etapa, la coincidencia de bloque puede ser procesada para pequeños movimientos. Esta técnica proporciona menos carga computacional si hay uno o dos movimientos

10 amplios/globales.

Claims

imagen1

REIVINDICACIONES

1. Procedimiento para estimación de movimiento basado en la correlación de las secuencias de trama, que comprende etapas de;

5

•

aplicar una operación de correlación de fase global a una trama de referencia (Ft) y una trama objetivo (Ft+1)

•

calcular la relación entre un pico más alto y un segundo pico más alto en la superficie de correlación resultante (ct, t+1)

•

comparar la relación con un valor umbral predefinido;

10 • si la relación es mayor que el valor umbral, asignar el vector de movimiento correspondiente al pico más alto a la trama completa (Ft+1);

•

si la relación es menor que el umbral, dividir las tramas (Ft, Ft+1) en tramas de cuadrante (At, At+1);

•

aumentar el tamaño de dichas tramas de cuadrante (At, At+1);

•

Determinar una eventual partición de tramas de cuadrante aumentadas (At, At+1) de manera iterativa mediante la

15 repetición de etapas de aplicación de una correlación de fase, calculando la relación entre el pico mayor y un segundo pico mayor en la superficie de correlación resultante y comparar esta relación con un valor umbral predefinido para las tramas de cuadrante de tramas divididas,

caracterizado porque;

20 dicho umbral es adaptativo y se calcula de acuerdo con la formula siguiente;

imagen2

en la que, L es la longitud (distancia) entre el centro de gravedad de los picos y las coordenadas del pico más alto

25 del resultado de la correlación de fase y siendo “mínimo_de_tamaño_de_bloque” el tamaño del pequeño borde de una trama que es comprobada para ser dividida o no; y la etapa de aumento del tamaño de una de las citadas tramas de cuadrante (At, At+1) se lleva a cabo mediante la adición de áreas aumentadas que son zonas adyacentes a dichas tramas de cuadrante (At, At+1) en dicha trama de referencia (Ft) y en dicha trama objetivo (Ft+1) a dichas tramas en cuadratura (At, At+1).

30

8