ES2677237T3 - Aparato de decodificación de vídeo y procedimiento de decodificación de vídeo - Google Patents

Abstract

Aparato de decodificación (2) para decodificar imágenes codificadas y emitir las imágenes decodificadas, que comprende: una memoria intermedia de imágenes codificadas (21) en la que se almacenan las imágenes codificadas, en la que cada una de las imágenes codificadas se asocia con información de temporización de decodificación indicativa de un tiempo para la decodificación y con información de retardo de emisión indicativa de un tiempo de retardo máximo para una emisión que se provoca mediante predicción hacia atrás; un decodificador (20) configurado para realizar una operación de decodificación en cada una de las imágenes codificadas en una temporización según la información de temporización de decodificación; una memoria intermedia de imágenes decodificadas (22) en la que se almacenan las imágenes decodificadas; y un controlador de emisión (25) configurado para emitir cada una de las imágenes decodificadas de la memoria intermedia de imágenes decodificadas (22) en una temporización determinada en función de la información de temporización de decodificación y la información de retardo de emisión.

Description

5

10

15

20

25

30

35

40

45

50

55

60

65

DESCRIPCION

Aparato de decodificacion de v^deo y procedimiento de decodificacion de v^deo Antecedentes de la invencion Campo de la invencion

La presente invencion se refiere a un procedimiento de decodificacion de video y a un aparato de decodificacion de video.

Tecnica anterior relacionada

Se usan tecnicas de codificacion de senal de video para la transmision y almacenamiento-regeneracion de senales de v^deo. Las tecnicas bien conocidas incluyen, por ejemplo, los procedimientos de codificacion de video de normas internacionales tales como la recomendacion UIT-T H.263 (denominada en lo sucesivo H.263), la norma internacional ISO/IEC 14496-2 (MPEG-4 Visual, denominada en lo sucesivo MPEG-4), etcetera. Otro procedimiento de codificacion mas nuevo conocido es un procedimiento de codificacion de video programado para una normalizacion internacional conjunta mediante UIT-T e ISO/IEC; la recomendacion UIT-T H.264 y la norma internacional ISO/IEC 14496-10 (Borrador del Comite Final Conjunto de Especificacion de Video Conjunta, denominada en lo sucesivo H.26L).

Otros ejemplos de codificacion y decodificacion de video conocidos incluyen las tecnicas descritas en el documento US 6205177 para codificar y decodificar imagenes de video para su transmision desde una primera estacion hasta una segunda estacion que incluye usar multiples imagenes de referencia para determinar un vector de movimiento e informacion de retardo de tiempo en la primera estacion con el fin de predecir una imagen nueva para su visualizacion en la segunda estacion, y las tecnicas descritas en el documento JP H10 248066 para un procedimiento de decodificacion que usa senales de sincronizacion para impedir perturbaciones en imagenes visualizadas debido a retardos en el procesamiento de decodificacion. El documento US 6205177 muestra un aparato de decodificacion y un procedimiento correspondiente para decodificar imagenes codificadas y emitir las imagenes decodificadas, que comprende: una memoria intermedia de imagenes codificadas en la que pueden almacenarse las imagenes codificadas, donde cada una de las imagenes codificadas se asocia con informacion de temporizacion de decodificacion indicativa de un tiempo para la decodificacion; un decodificador configurado para realizar una operacion de decodificacion en cada una de las imagenes codificadas en una temporizacion segun la informacion de temporizacion de decodificacion; y una memoria intermedia de imagenes decodificadas en la que pueden almacenarse las imagenes decodificadas.

Dado que una senal de video en movimiento consiste en una serie de imagenes (cuadros) que vanan poco a poco con el tiempo, es una practica comun en estos procedimientos de codificacion de video implementar una prediccion inter-cuadro entre un cuadro recuperado como un objetivo para la codificacion (cuadro actual) y otro cuadro (cuadro de referencia) y reducir de ese modo la redundancia temporal en la senal de video. En este caso, cuando la prediccion inter-cuadro se lleva a cabo entre el cuadro actual y un cuadro de referencia menos diferente del cuadro actual, la redundancia puede reducirse mas y la eficiencia de codificacion puede aumentarse.

Por este motivo, tal como se muestra en la Fig. 6, el cuadro de referencia para el cuadro actual A1 puede ser o bien un cuadro temporalmente anterior A0 o un cuadro temporalmente posterior A2 con respecto al cuadro actual A1. La prediccion con el cuadro anterior se denomina prediccion hacia delante, mientras que la prediccion con el cuadro posterior se denomina prediccion hacia atras. La prediccion bidireccional se define como una prediccion en la que se selecciona arbitrariamente uno de los dos procedimientos de prediccion, o como una prediccion en la que se usan simultaneamente ambos procedimientos.

En general, con el uso de tal prediccion bidireccional, como en el ejemplo mostrado en la Fig. 6, se almacenan previamente antes del cuadro actual cada uno de un cuadro temporalmente anterior como un cuadro de referencia para la prediccion hacia delante y un cuadro temporalmente posterior como un cuadro de referencia para la prediccion hacia atras.

Las Fig. 7A y 7B son diagramas que muestran (A) la decodificacion y (B) la emision de los cuadros en el caso de la prediccion bidireccional mostrada en la Fig. 6. Por ejemplo, en la decodificacion de MPEG-4, en la que el cuadro actual A1 se decodifica mediante prediccion inter-cuadro bidireccional, el cuadro A0, que es un cuadro temporalmente anterior, y el cuadro A2, que es un cuadro temporalmente posterior con respecto al cuadro actual A1, se decodifican primero como cuadros decodificados mediante prediccion intra-cuadro sin usar la prediccion inter-cuadro o como cuadros decodificados mediante prediccion inter-cuadro hacia delante , antes de decodificar el cuadro actual A1, y se conservan como cuadros de referencia. Despues, el cuadro actual A1 se decodifica mediante prediccion bidireccional usando estos dos cuadros A0, A2 conservados de ese modo (Fig. 7A).

En este caso, por tanto, el orden de los tiempos de decodificacion del cuadro de referencia temporalmente posterior

5

10

15

20

25

30

35

40

45

50

55

60

65

A2 y del cuadro actual A1 es inverso al orden de los tiempos de emision de sus imagenes decodificadas respectivas. Cada uno de estos cuadros A0, A1 y A2 esta asociado a informacion de tiempo de emision 0, 1 o 2 y, por tanto, la secuencia temporal de los cuadros puede conocerse segun esta informacion. Por este motivo, las imagenes decodificadas se emiten en el orden correcto (Fig. 7B). En MPEG-4, la informacion de tiempo de emision se describe como valores absolutos.

Algunos de los procedimientos de codificacion de video recientes permiten que la prediccion inter-cuadro mencionada anteriormente se lleve a cabo usando multiples cuadros de referencia, en lugar de un cuadro de referencia en el sentido hacia delante y un cuadro de referencia en el sentido hacia atras, para permitir una prediccion a partir de un cuadro con un cambio mas pequeno con respecto al cuadro actual, como se muestra en la Fig. 8. La Fig. 8 muestra un ejemplo que usa dos cuadros temporalmente anteriores B0, B1 y dos cuadros temporalmente posteriores B3, B4 con respecto al cuadro actual B2 como cuadros de referencia para el cuadro actual B2.

Las Fig. 9A y 9B son diagramas que muestran (A) la decodificacion y (B) la emision de los cuadros en el caso de la prediccion bidireccional mostrada en la Fig. 8. Por ejemplo, en la decodificacion de la H.26L, puede conservarse una pluralidad de cuadros de referencia dentro de un intervalo hasta un lfmite superior predeterminado del numero de cuadros de referencia y, en caso de llevar a cabo una prediccion inter-cuadro, se designa arbitrariamente entre ellos un cuadro de referencia optimo. En este caso, donde el cuadro actual B2 se decodifica como un cuadro predicho de manera bidireccional, los cuadros de referencia se decodifican en primer lugar antes de la decodificacion del cuadro actual B2; los cuadros de referencia incluyen una pluralidad de cuadros temporalmente anteriores (por ejemplo, dos cuadros B0, B1) y una pluralidad de cuadros temporalmente posteriores (por ejemplo, dos cuadros B3, B4) con respecto al cuadro actual B2 ,que se descodifican y conservan como cuadros de referencia. El cuadro actual B2 puede predecirse a partir de un cuadro designado arbitrariamente como el usado para una prediccion de entre esos cuadros B0, B1, B3 y B4 (Fig. 9A).

En este caso, por tanto, el orden de los tiempos de decodificacion de los cuadros de referencia temporalmente posteriores B3, B4 y del cuadro actual B2 se vuelve inverso al orden de sus tiempos de emision respectivos. Cada uno de estos cuadros B0-B4 esta asociado a informacion de tiempo de emision o a informacion de orden de emision 0-4, y la secuencia temporal de los cuadros puede conocerse segun esta informacion. Por este motivo, las imagenes decodificadas se emiten en el orden correcto (Fig. 9B). La informacion de tiempo de emision se describe a menudo como valores absolutos. El orden de emision se usa cuando los intervalos de cuadro son constantes.

Para llevar a cabo la decodificacion mediante la prediccion hacia atras usando cuadros temporalmente posteriores como cuadros predictivos, es necesario cumplir la condicion de que la decodificacion de los cuadros temporalmente posteriores se complete antes de la decodificacion del cuadro actual para que esten disponibles como cuadros predictivos. En este caso, se provoca un retardo antes de que la imagen decodificada del cuadro actual se vuelva disponible, en comparacion con un cuadro en el que no se aplica la prediccion hacia atras.

Esto se describira espedficamente mas adelante con referencia a las Fig. 10A a 10C. Las Fig. 10A a 10C corresponden al ejemplo mostrado en las Fig. 6, 7A y 7B. En primer lugar, se decodifican los datos codificados de cada cuadro A0-A2 en un orden necesario para la ejecucion de una prediccion inter-cuadro, y se supone que los intervalos de los cuadros son intervalos de tiempo constantes segun una velocidad de cuadro y que el tiempo necesario para la operacion de decodificacion es despreciable para cada cuadro A0-A2, independientemente de si se aplica la prediccion inter-cuadro, e independientemente de los sentidos de la prediccion inter-cuadro (Fig. 10A). En la practica, los intervalos de decodificacion de los cuadros A0-A2 no tienen que ser constantes y pueden cambiar dependiendo de factores tales como una variacion en los bits de codificacion de los cuadros A0-A2 o similares; sin embargo, puede suponerse que son constantes en promedio. El tiempo necesario para la operacion de decodificacion no es cero tampoco, pero no planteara un problema importante en la descripcion que se ofrece a continuacion en el presente documento si la diferencia del mismo no es tan grande entre los cuadros A0-A2.

Se supone en el presente documento que un tiempo en el que se obtiene una imagen decodificada de un cuadro A0 sin retardo debido a una prediccion hacia atras y sin inversion de los ordenes de los tiempos de codificacion y los tiempos de emision con respecto a cualquier otro cuadro (un cuadro sin retardo y sin inversion se denominara en lo sucesivo un cuadro no asociado con prediccion hacia atras), se define como un tiempo de emision correlacionado con la imagen decodificada, y la imagen decodificada se emite en el tiempo de emision. Suponiendo que el cuadro posterior es el cuadro predicho hacia atras A1, la imagen decodificada del mismo se decodificara despues del cuadro temporalmente posterior A2, y se produce por tanto un retardo antes de que se obtenga la imagen decodificada.

Por este motivo, si el tiempo en el que se obtiene la imagen decodificada para el cuadro no asociado con prediccion hacia atras A0 se define como una referencia de tiempo de emision, la imagen decodificada del cuadro predicho hacia atras A1 no se obtiene mediante el tiempo de emision correlacionado con la misma (Fig. 10B). Concretamente, un intervalo de tiempo de emision entre la imagen decodificada del cuadro no asociado con prediccion hacia atras A0 y la imagen decodificada del cuadro predicho hacia atras A1 se vuelve mas largo debido al tiempo de retardo necesario para la ejecucion de la prediccion hacia atras que el intervalo original, lo que da lugar a una emision de

5

10

15

20

25

30

35

40

45

50

55

60

65

v^deo forzada.

Por tanto, en caso de aplicar la prediccion inter-cuadro hacia atras en la codificacion de video, tal como se muestra en la Fig. 10C, es necesario retardar previamente el tiempo de emision de la imagen decodificada del cuadro no asociado con prediccion hacia atras a0 con el tiempo de retardo necesario para la ejecucion de la prediccion hacia atras asf como para poder manejar correctamente el intervalo de tiempo de emision para el cuadro predicho hacia atras A1.

De manera convencional, la prediccion inter-cuadro hacia atras se ha aplicado a la codificacion de video en las condiciones en las que se ha llevado a cabo la codificacion a una alta tasa de bit y a la velocidad de cuadro fija de 30 cuadros/segundo al igual que las de senales de radiodifusion de television que se usaban siempre, tal como radiodifusion de television o acumulacion de las mismas, puesto que la prediccion inter-cuadro hacia atras aporta mas opciones para la prediccion y, por tanto, un aumento de la complejidad computacional, de modo que hace diffcil su implementacion en un equipo simple, y puesto que no se deseaba aumentar el tiempo de retardo en comunicaciones en tiempo real que implican una interlocucion bidireccional, como videoconferencias.

En este caso, por ejemplo, como en MPEG-4, donde se usa un cuadro temporalmente posterior como un cuadro de referencia para la prediccion hacia atras, el tiempo de retardo requerido en la ejecucion de la prediccion hacia atras es constante. Por ejemplo, cuando la velocidad de cuadro es de 30 cuadros/segundo tal como se describio anteriormente, el tiempo de retardo es un intervalo de tiempo de cada cuadro, es decir, 1/30 segundos. Por consiguiente, el tiempo que debe retardarse el tiempo de emision de la imagen decodificada del cuadro no asociado con prediccion hacia atras puede establecerse de igual manera a 1/30 segundos.

Sumario de la invencion

En los ultimos anos, sin embargo, como resultado de la mejora en el rendimiento informatico y el progreso en la diversificacion de los servicios de video, el retardo es tolerable en la distribucion de video a traves de Internet y comunicaciones moviles, y se ha aumentado el uso de codificacion de video que requiere una codificacion a bajas tasas de bit. Para implementar la codificacion a bajas tasas de bit, se aplican velocidades de cuadro inferiores a 30 cuadros/segundo, o se usan velocidades de cuadro variables para cambiar dinamicamente la velocidad de cuadro con el fin de controlar la tasa de bit de codificacion.

En tal codificacion de video en la que se aplica la prediccion hacia atras mencionada anteriormente con el fin de aumentar mas la eficiencia de codificacion, el tiempo de retardo debido a la prediccion hacia atras no es siempre de 1/30 segundos, tal como se uso anteriormente. En la aplicacion de velocidades de cuadro variables, las velocidades de cuadro no son constantes. Por ejemplo, en caso de usarse una pequena velocidad de cuadro con caracter temporal, el intervalo de tiempo de cada cuadro se vuelve grande y, por tanto, el tiempo que debe retardarse el tiempo de emision de la imagen decodificada del cuadro no asociado con prediccion hacia atras no se determina de manera exclusiva. Por este motivo, se vuelve inviable manejar correctamente el intervalo de tiempo de emision entre la imagen decodificada del cuadro no asociado con prediccion hacia atras y la imagen decodificada del cuadro predicho hacia atras.

En este caso, existen posibles medios en los que un tiempo de retardo grande permisible se permite previamente para la prediccion hacia atras y en los que el tiempo de emision de la imagen decodificada del cuadro no asociado con prediccion hacia atras se retarda siempre con este tiempo de retardo, manejando por tanto correctamente el intervalo de tiempo de emision con relacion a la imagen decodificada del cuadro predicho hacia atras. En este caso, sin embargo, el retardo grande se anade siempre al tiempo de emision de la imagen decodificada, independientemente del tiempo de retardo en la prediccion hacia atras practica.

Cuando se usan multiples cuadros de referencia en la prediccion hacia atras como en H.26L, la decodificacion de todos los cuadros de referencia que son cuadros temporalmente posteriores debe completarse antes de la decodificacion del cuadro actual. Esto aumenta adicionalmente el tiempo de retardo necesario para la ejecucion de la prediccion hacia atras.

En este caso, dado que el numero de cuadros de referencia usados en la prediccion hacia atras se determina de manera exclusiva como un numero de cuadros temporalmente posteriores al cuadro actual, que se decodificaron antes del cuadro actual, el numero de cuadros de referencia puede cambiarse opcionalmente dentro del intervalo hasta el lfmite superior predeterminado del numero maximo de cuadros de referencia.

Por ejemplo, suponiendo que el lfmite superior del numero de cuadros de referencia sea 4, el numero de cuadros de referencia usados en la prediccion hacia atras puede ser 2 tal como se muestra en la Fig. 8, o 1 tal como se muestra en la Fig. 11A, o 3 tal como se muestra en la Fig. 11B. Dado que el numero de cuadros de referencia puede cambiarse de esta manera, el tiempo de retardo necesario para la ejecucion de la prediccion hacia atras puede variar ampliamente. Esto da lugar a un fallo a la hora de manejar correctamente el intervalo de tiempo de emision entre la imagen decodificada del cuadro no asociado con prediccion hacia atras y la imagen decodificada del cuadro predicho hacia atras.

5

10

15

20

25

30

35

40

45

50

55

60

65

En este momento, dado que el numero maximo de cuadros de referencia que puede usarse en la prediccion hacia atras no excede el lfmite superior del numero de cuadros de referencia, el tiempo de retardo segun el Kmite superior del numero de cuadros de referencia es un tiempo de retardo maximo que puede darse en la ejecucion de la prediccion hacia atras. Por tanto, si el tiempo de emision de la imagen decodificada del cuadro no asociado con prediccion hacia atras siempre se retarda con este tiempo de retardo, el intervalo de tiempo de emision con relacion a la imagen decodificada del cuadro predicho hacia atras puede manejarse correctamente.

En este caso, sin embargo, siempre se anade un retardo grande al tiempo de emision de la imagen decodificada, independientemente del numero de cuadros de referencia usados realmente para el cuadro predicho hacia atras. En la aplicacion de velocidades de cuadro variables tal como se describio anteriormente, mientras que el numero maximo de cuadros de referencia puede determinarse de manera exclusiva, el tiempo de retardo maximo no puede determinarse de manera exclusiva.

Hasta ahora, en la aplicacion de la prediccion hacia atras para la codificacion de video, era inviable determinar de manera exclusiva el tiempo de retardo necesario para la ejecucion de la prediccion hacia atras, excepto en el caso en el que el uso de una velocidad de cuadro fija estaba claro. Esto dio como resultado un fallo en el correcto manejo del intervalo de tiempo de emision entre la imagen decodificada del cuadro no asociado con prediccion hacia atras y la imagen decodificada del cuadro predicho hacia atras, planteando por tanto el problema de que la emision de video se volviera forzada.

En caso de usar multiples cuadros de referencia en la prediccion hacia atras, el numero de cuadros de referencia tambien puede cambiarse para variar posiblemente el tiempo de retardo. Por tanto, existe el problema del fallo a la hora de manejar correctamente el intervalo de tiempo entre la imagen decodificada del cuadro no asociado con prediccion hacia atras y la imagen decodificada del cuadro predicho hacia atras. En caso de que el tiempo de retardo maximo se suponga siempre con el fin de hacer frente a este problema, surge el problema de que siempre se anade el retardo grande al tiempo de emision de la imagen decodificada.

La presente invencion se ha llevado a cabo con el fin de solucionar los problemas anteriores, y un objeto de la invencion es proporcionar un aparato de decodificacion de video y un procedimiento de decodificacion de video capaces de lograr la emision de imagenes decodificadas en intervalos de tiempo apropiados cuando se emplea una prediccion inter-cuadro hacia atras. El objeto de la invencion se logra mediante las reivindicaciones 1 y 2.

La Fig. 1 es un diagrama de bloques que muestra la estructura esquematica del aparato de codificacion de video, del aparato de decodificacion de video y del sistema de procesamiento de video.

La Fig. 2 es un diagrama que muestra un ejemplo de codificacion de cuadros en caso de que se lleve a cabo la prediccion bidireccional.

La Fig. 3 es un diagrama de bloques que muestra un ejemplo de la configuracion del aparato de codificacion de video.

La Fig. 4 es un diagrama de bloques que muestra un ejemplo de la configuracion del aparato de decodificacion de video.

Las Fig. 5A y 5B son diagramas que muestran (A) la decodificacion y (B) la emision de cuadros en caso de que se lleve a cabo la prediccion bidireccional mostrada en la Fig. 2.

La Fig. 6 es un diagrama que muestra la codificacion de cuadros en caso de que se lleve a cabo la prediccion bidireccional.

Las Fig. 7A y 7B son diagramas que muestran (A) la decodificacion y (B) la emision de cuadros en caso de que se lleve a cabo la prediccion bidireccional mostrada en la Fig. 6.

La Fig. 8 es un diagrama que muestra la codificacion de cuadros en caso de que se lleve a cabo la prediccion bidireccional.

Las Fig. 9A y 9B son diagramas que muestran (A) la decodificacion y (B) la emision de cuadros en caso de que se lleve a cabo la prediccion bidireccional mostrada en la Fig. 8.

Las Fig. 10A a 10C son diagramas que muestran (A) la decodificacion, (B) la emision y (C) la emision retardada de cuadros en caso de que se lleve a cabo la prediccion bidireccional.

Las Fig. 11A y 11B son diagramas que muestran la codificacion de cuadros en caso de que se lleve a cabo la prediccion bidireccional.

5

10

15

20

25

30

35

40

45

50

55

60

65

Descripcion de las realizaciones preferidas

Las realizaciones preferidas del procedimiento de decodificacion de video y del aparato de decodificacion de video segun la presente invencion se describiran a continuacion en detalle con referencia a los dibujos. Los mismos elementos se denotaran mediante los mismos sfmbolos de referencia a lo largo de toda la descripcion de los dibujos, sin descripcion redundante de los mismos.

En primer lugar, se describira esquematicamente la codificacion y decodificacion de una imagen en movimiento en la presente invencion. La Fig. 1 es un diagrama de bloques que muestra la estructura esquematica del aparato de codificacion de video, del aparato de decodificacion de video y del sistema de procesamiento de video segun la presente invencion. El sistema de procesamiento de video comprende un aparato de codificacion de video 1 y un aparato de decodificacion de video 2. El aparato de codificacion de video 1, el aparato de decodificacion de video 2 y el sistema de procesamiento de video se describiran a continuacion junto con el procedimiento de codificacion de video y el procedimiento de decodificacion de video ejecutados en los mismos.

El aparato de codificacion de video 1 es un dispositivo configurado para codificar datos de video D0 que consisten en una serie de imagenes (cuadros) y emitir datos codificados D1 para la transmision, el almacenamiento y la regeneracion de imagenes en movimiento. El aparato de decodificacion de video 2 es un dispositivo configurado para decodificar datos de entrada codificados D1 para generar datos de imagen en movimiento decodificados D2 que consisten en una serie de cuadros. El aparato de codificacion de video 1 y el aparato de decodificacion de video 2 estan conectados mediante una lmea de transmision de datos inalambrica o por cable predeterminada, con el fin de transmitir datos necesarios tales como los datos codificados D1 y otros.

En la codificacion de la imagen en movimiento llevada a cabo en el aparato de codificacion de video 1, tal como se describio anteriormente, la prediccion inter-cuadro se lleva a cabo entre un cuadro de datos de video D0 introducido como un objetivo para la codificacion, y otro cuadro como un cuadro de referencia, reduciendo de ese modo la redundancia en los datos de video. En el sistema de procesamiento de video mostrado en la Fig. 1, el aparato de codificacion de video 1 lleva a cabo la prediccion inter-cuadro hacia atras a partir de un cuadro temporalmente posterior para la prediccion inter-cuadro. Ademas, este aparato de codificacion de video 1 emite el tiempo de retardo maximo que esta provocado por la prediccion hacia atras, ademas de los datos codificados D1.

De manera correspondiente a tal aparato de codificacion de video 1, el aparato de decodificacion de video 2 esta configurado para efectuar la entrada del tiempo de retardo maximo que esta provocado por la prediccion hacia atras, ademas de los datos codificados D1 desde el aparato de codificacion de video 1. Despues, el aparato de decodificacion de video 2 decodifica los datos codificados D1 con referencia al tiempo de retardo maximo de entrada para generar los datos de video D2.

Mediante el aparato de codificacion de video 1 y el procedimiento de codificacion de video configurados para emitir el tiempo de retardo maximo, el aparato de decodificacion de video 2 y el procedimiento de decodificacion de video configurados para efectuar la entrada del tiempo de retardo maximo, y el sistema de procesamiento de video equipado con los aparatos 1, 2, que estan adaptados para la prediccion inter-cuadro hacia atras tal como se describio anteriormente, se vuelve viable lograr la emision de imagenes decodificadas en intervalos de tiempo apropiados en la ejecucion de la prediccion inter-cuadro usando la prediccion inter-cuadro hacia atras.

En cuanto al tiempo de retardo maximo emitido en la codificacion de video, por ejemplo, el tiempo de retardo maximo puede definirse como una diferencia de tiempo entre un tiempo de aparicion de un cuadro que va a someterse a la prediccion inter-cuadro hacia atras y un tiempo de aparicion de un ultimo cuadro temporalmente posterior que puede usarse como un cuadro de referencia para la prediccion hacia atras.

En cuanto al tiempo de retardo maximo introducido en la decodificacion de video, por ejemplo, el tiempo de retardo maximo (denominado en lo sucesivo dpb_output_delay) puede definirse como una diferencia de tiempo entre un tiempo de decodificacion de un cuadro sin retardo debido a una prediccion inter-cuadro hacia atras y sin inversion de ordenes de tiempos de codificacion y de tiempos de emision con respecto a otro cuadro (el tiempo de decodificacion se denominara en lo sucesivo Tr) y un tiempo de emision de imagen decodificada correlacionada con el cuadro pertinente (el tiempo de emision se denominara en lo sucesivo To). En este caso se establece despues, preferiblemente, una referencia para los tiempos de emision de imagen decodificada en funcion del tiempo de retardo maximo.

Una aplicacion del tiempo de retardo maximo puede ser un procedimiento que lo aplica a todos los datos codificados o un procedimiento que lo aplica a cada cuadro. Otro procedimiento de aplicacion es un procedimiento de aplicacion del tiempo de retardo maximo a cada uno de los cuadros posteriores a la comunicacion de la informacion del tiempo de retardo maximo, es decir, al cuadro para el que se indica el tiempo de retardo maximo y a cada uno de los cuadros temporalmente posteriores a ese cuadro. La emision, introduccion, aplicacion, etc. del tiempo de retardo maximo en estos procedimientos se detallaran espedficamente mas adelante.

El procesamiento correspondiente al procedimiento de codificacion de video ejecutado en el aparato de codificacion

5

10

15

20

25

30

35

40

45

50

55

60

65

de v^deo 1 anterior puede implementarse mediante el programa de codificacion de v^deo para permitir que un ordenador ejecute la codificacion de video. El procesamiento correspondiente al procedimiento de decodificacion de v^deo ejecutado en el aparato de decodificacion de video 2 puede implementarse mediante el programa de decodificacion de video para permitir que un ordenador ejecute la decodificacion de video.

Por ejemplo, el aparato de codificacion de video 1 puede estar formado por una CPU conectada a una ROM que almacena programas de software necesarios para operaciones de codificacion de video respectivas y a una RAM que guarda temporalmente datos durante la ejecucion de un programa. En esta configuracion, el aparato de codificacion de video 1 puede implementarse permitiendo que la CPU ejecute el programa de codificacion de video predeterminado.

De manera similar, el aparato de decodificacion de video 2 puede estar formado por una CPU conectada a una ROM que almacena programas de software necesarios para operaciones de decodificacion de video respectivas y una RAM que guarda temporalmente datos durante la ejecucion de un programa. En esta configuracion, el aparato de decodificacion de video 2 puede implementarse permitiendo que la CPU ejecute el programa de decodificacion de video predeterminado.

El programa expuesto anteriormente para permitir que la CPU ejecute los procesos para la codificacion de video o para la decodificacion de video puede distribuirse de una forma en la que se graba en un medio de grabacion legible por ordenador. Tales medios de grabacion incluyen, por ejemplo, medios magneticos tales como discos duros y discos flexibles, medios opticos tales como CD-ROM y DVD-ROM, medios magnetoopticos tales como discos flopticos, o dispositivos de hardware, por ejemplo, tales como RAM, ROM y memorias no volatiles semiconductoras, montadas especialmente para ejecutar o almacenar comandos de programas.

Se describiran con realizaciones espedficas el aparato de codificacion de video, el aparato de decodificacion de video, el sistema de procesamiento de video dotado de los mismos mostrado en la Fig. 1, y el procedimiento de codificacion de video y el procedimiento de decodificacion de video correspondientes a los mismos. La siguiente descripcion se basara en la suposicion de que las operaciones de codificacion y decodificacion de video en movimiento se implementan en funcion de H.26L, y las partes no descritas espedficamente acerca del funcionamiento en la codificacion de video seran conformes al funcionamiento en H.26L. Sin embargo, ha de observarse que la presente invencion no esta limitada a H.26L.

(Primera realizacion)

En primer lugar, se describira la primera realizacion de la presente invencion. La presente realizacion describira una forma realizada de codificacion a una velocidad de cuadro fija. En la codificacion segun la presente realizacion, se determina en primer lugar el numero maximo de cuadros de referencia usado para una prediccion hacia atras, despues se calcula el tiempo de retardo maximo a partir de este numero maximo de cuadros de referencia y la velocidad de cuadro usada en la codificacion, y despues se emite el tiempo de retardo maximo. En la decodificacion segun la presente realizacion, con motivo de la decodificacion de un cuadro no asociado con prediccion hacia atras, un tiempo de emision de una imagen decodificada del mismo se retarda con el tiempo de retardo maximo de entrada. Despues, el tiempo de retardo para el tiempo de emision se aplica uniformemente a cada cuadro para impedir que el intervalo de tiempo de emision entre la imagen decodificada del cuadro no asociado con prediccion hacia atras y la imagen decodificada del cuadro predicho hacia atras se desvfe del intervalo original.

En la codificacion, dado que el lfmite superior del numero de cuadros de referencia usados se determina previamente, el numero maximo de cuadros de referencia usados para la prediccion hacia atras se determina en primer lugar dentro del intervalo que no excede el lfmite superior. Despues, en funcion de la velocidad de cuadro usada para la codificacion, que tambien se determina previamente, el tiempo de retardo maximo se calcula como un intervalo de tiempo de un cuadro o dos o mas cuadros segun el numero maximo de cuadros de referencia usados para la prediccion hacia atras.

La Fig. 2 es un diagrama que muestra un ejemplo de codificacion de un cuadro en la ejecucion de la prediccion bidireccional. En este caso, esta Fig. 2 muestra el ejemplo en el que los cuadros de referencia usados para el cuadro actual F2 son dos cuadros temporalmente anteriores F0, F1 antes del cuadro actual F2 y dos cuadros temporalmente posteriores F3, F4 despues del cuadro actual F2.

En caso de que el numero maximo de cuadros de referencia usados para la prediccion hacia atras sea de 2 y de que la velocidad de cuadro sea de 15 cuadros/segundo, tal como se muestra en la Fig. 2, el intervalo de tiempo de un cuadro es de 1/15 de segundos. En este caso, por tanto, el tiempo de retardo maximo es de 2 x (1/15) = 2/15 segundos.

En la operacion de codificacion, la codificacion de cada cuadro se controla en lo sucesivo de modo que no lleva a cabo la prediccion hacia atras que requiere un tiempo de retardo por encima del tiempo de retardo maximo. Espedficamente, se controla una secuencia de codificacion de cuadros de modo que ningun cuadro de referencia usado en la prediccion hacia atras, es decir, ningun cuadro temporalmente posterior despues del cuadro actual, no

5

10

15

20

25

30

35

40

45

50

55

60

65

se codifica ni se emite antes del cuadro actual por encima del numero maximo de cuadros de referencia usados en la prediccion hacia atras.

La Fig. 3 es un diagrama de bloques que muestra un ejemplo de la configuracion del aparato de codificacion de video usado en la presente realizacion. El aparato de codificacion de video 1 mostrado en la Fig. 3 comprende un codificador 10 para codificar un cuadro (imagen) mediante el procedimiento predeterminado, un controlador (CPU) 15 para controlar operaciones de partes respectivas en el aparato de codificacion 1, una memoria de cuadros 11 dispuesta entre un terminal de entrada 1a y un codificador 10, y un multiplexor 12 dispuesto entre un terminal de salida 1b y un codificador 10. El controlador 15 tiene un dispositivo de calculo de tiempo de retardo maximo 16 para calcular el tiempo de retardo maximo, como una funcion del mismo. El codificador 10 esta dotado de una memoria intermedia de salida 13.

En la codificacion de video en el presente aparato de codificacion 1, se introducen condiciones para la codificacion de video a traves de un terminal de entrada 1c. En esta introduccion de las condiciones, las condiciones de codificacion se seleccionan o se introducen generalmente a traves de un dispositivo de entrada tal como un teclado. En la presente realizacion, espedficamente, las condiciones de codificacion introducidas incluyen el tamano de un cuadro como un objetivo para la codificacion, la velocidad de cuadro y la tasa de bit y, ademas de estas, las condiciones de codificacion incluyen tambien una estructura de referencia predictiva del video (si se aplica prediccion hacia atras), el numero de cuadros almacenados temporalmente y usados como cuadros de referencia (correspondiente a la capacidad de la memoria intermedia de salida 13), y el numero de cuadros de referencia usados en la prediccion hacia atras. Estas condiciones pueden establecerse de modo que vanen con el tiempo. Las condiciones de codificacion introducidas a traves del terminal de entrada 1c se almacenan en el controlador 15.

Con el inicio de la operacion de codificacion, el controlador 15 envfa las condiciones de codificacion al codificador 10, en el que se establece la condicion de codificacion. Por otro lado, se introduce un cuadro como un objeto codificado a traves del terminal de entrada 1a y se alimenta a traves de la memoria de cuadros 11 al codificador 10 para codificarse en el mismo. El cuadro de entrada se guarda temporalmente en la memoria de cuadros 11, puesto que el orden de los cuadros se cambia para la ejecucion de la prediccion hacia atras. Por ejemplo, en el ejemplo mostrado en la Fig. 2, se introduce el cuadro F2 a traves del terminal de entrada 1a antes de los cuadros F3, F4, pero se codifica despues de los cuadros F3, F4; por tanto, el cuadro F2 se guarda temporalmente en la memoria de cuadros 11.

El codificador 10 codifica el cuadro basandose en el algoritmo de H.26L. Despues, los datos codificados se alimentan al multiplexor 12 para multiplexarse con otra informacion relacionada y, posteriormente, los datos multiplexados se emiten a traves del terminal de salida 1b. El cuadro usado para la prediccion se reproduce en el codificador 10 y se almacena como un cuadro de referencia para la codificacion del siguiente cuadro en la memoria intermedia 13.

En la presente realizacion, el dispositivo de calculo de tiempo de retardo maximo 16 del controlador 15 calcula el tiempo de retardo maximo dpb_output_delay, basandose en el numero de cuadros de referencia y la velocidad de cuadro introducida a traves del terminal de entrada 1c y usada para la prediccion hacia atras. Despues, el multiplexor 12 anade el tiempo de retardo maximo a datos de imagen codificados. Ademas, se anade tambien un identificador (N) que indica un turno de visualizacion para la identificacion de cada cuadro, junto con los datos codificados de cada cuadro.

Es evidente que cuando no se aplica la prediccion hacia atras, el numero de cuadros de referencia usados es cero y, por tanto, el valor de dpb_output_delay es cero.

En la presente realizacion, se supone que una sintaxis para transmitir el tiempo de retardo maximo se anade a la sintaxis de datos codificados en H.26L con el fin de implementar la emision del tiempo de retardo maximo en la codificacion y la introduccion del tiempo de retardo maximo en la decodificacion. En este ejemplo se anade la nueva sintaxis al conjunto de parametros de secuencia, que es una sintaxis para transmitir la informacion que va a aplicarse a todos los datos codificados.

El parametro dpb_output_delay se define como una sintaxis para transportar el tiempo de retardo maximo. En este caso, se supone que el parametro dpb_output_delay usa la misma unidad de tiempo usada en las otras sintaxis que indica el tiempo en H.26l y que indica el tiempo de retardo maximo en la unidad de tiempo de 90 kHz. Una cifra indicada en la unidad de tiempo se codifica y se transmite mediante un codigo de 32 bits de longitud fija sin signo. Por ejemplo, cuando el tiempo de retardo maximo es de 2/15 segundos tal como se describio anteriormente, dpb_output_delay es (2/15) x 90000 = 12000.

En la operacion de decodificacion se decodifica el tiempo de retardo maximo transportado por dpb_output_delay, y el tiempo de emision de una imagen decodificada se retarda usandolo.

La Fig. 4 es un diagrama de bloques que muestra un ejemplo de la configuracion del aparato de decodificacion de video usado en la presente realizacion. El aparato de decodificacion de video 2 mostrado en la Fig. 4 comprende un

5

10

15

20

25

30

35

40

45

50

55

60

decodificador 20 para decodificar datos codificados para generar una imagen regenerada, un controlador (CPU) 25 para controlar operaciones de partes respectivas en el aparato de decodificacion 2, una memoria intermedia de entrada 21 dispuesta entre un terminal de entrada 2a y un decodificador 20, y una memoria intermedia de salida 22 dispuesta entre un terminal de salida 2b y un decodificador 20. El controlador 25 tiene un dispositivo de calculo de tiempo de emision de imagen 26 para calcular el tiempo de emision para la visualizacion de un cuadro, como una funcion del mismo.

En la decodificacion de video en el presente aparato de decodificacion 2, se introducen datos como un objeto decodificado a traves del terminal de entrada 2a. Estos datos son datos multiplexados de los datos codificados de cada cuadro codificado por el aparato de codificacion 1 mostrado en la Fig. 3, donde el tiempo de retardo maximo dpb_output_delay y el identificador (N) indican el turno de visualizacion de cada cuadro.

Los datos de entrada se almacenan en la memoria intermedia de entrada 21. Cuando un comando del controlador 25 indica la llegada de un tiempo de decodificacion, se introducen datos de un cuadro desde la memoria intermedia de entrada 21 en el decodificador 20 y, a continuacion, se decodifican segun el algoritmo de H.26L. El cuadro regenerado de esta manera se almacena en la memoria intermedia de salida 22. El cuadro en la memoria intermedia de salida 22 se alimenta de nuevo a traves de una lmea 23 al decodificador 20 para usarse como un cuadro de referencia para la decodificacion del siguiente cuadro.

Por otro lado, el tiempo de retardo maximo dpb_output_delay, la velocidad de cuadro y el identificador (N) de cada cuadro decodificado en el decodificador 20 se alimentan en el controlador 25. Despues, el dispositivo de calculo de tiempo de emision de imagen 26 del controlador 25 calcula el tiempo de emision de cada cuadro a partir de estos datos segun la siguiente ecuacion.

To(n) = dpb_output_delay + N x intervalo de cuadro

En esta ecuacion, el intervalo de cuadro se determina a partir de la velocidad de cuadro.

Suponiendo que dpb_output_delay es de 2/15 segundos y que el intervalo de cuadro es de 1/15 segundos como en el ejemplo mostrado en la Fig. 2, los tiempos de emision de los respectivos cuadros se calculan de la siguiente manera segun la ecuacion anterior.

N = 0, To(Q) -2/15 N" ltTo(l) = 3/]5

N=2,10(2)=4/15 N-3, To(3)~5/I5

Segun los tiempos de emision To(n) obtenidos de esta manera por el controlador 25, las cuadros en la memoria intermedia de salida 22 se emiten a intervalos constantes al terminal de salida 2b, tal como se indica mediante los cuadros F0, F1, F2 y F3 mostrados en la Fig. 5B. Aunque no se ilustra, el terminal de salida 2b esta conectado a un dispositivo de visualizacion tal como un monitor.

Las Fig. 5A y 5B son diagramas que muestran (A) la decodificacion y (B) la emision de los cuadros en el caso de la prediccion bidireccional mostrada en la Fig. 2. Se supone que en la operacion de decodificacion los datos codificados de los cuadros se decodifican en el orden necesario para la ejecucion de la prediccion inter-cuadro, los intervalos de los mismos son intervalos de tiempo constantes segun la velocidad de cuadro, y el tiempo necesario para la operacion de decodificacion es despreciable para cada cuadro, independientemente de si se aplica la prediccion inter-cuadro e independientemente de los sentidos de prediccion inter-cuadro. En este caso, el tiempo de retardo maximo necesario para la ejecucion de la prediccion hacia atras en el cuadro predicho hacia atras es igual a un intervalo de tiempo de un cuadro o cuadros segun el numero maximo de cuadros de referencia usados para la prediccion hacia atras. Este tiempo se transporta como un tiempo de retardo maximo mediante dpb_output_delay. Por consiguiente, para emitir una imagen decodificada, un tiempo de emision de la misma se retarda con el tiempo de retardo maximo.

En la practica, los intervalos de decodificacion de los respectivos cuadros no son constantes, y pueden variar dependiendo de factores tales como la variacion en bits de codificacion de los cuadros. El tiempo necesario para la operacion de decodificacion de cada cuadro puede variar tambien en funcion de si el cuadro es un cuadro predicho hacia atras o en funcion de los bits de codificacion de cada cuadro.

Para retardar el tiempo de emision, por tanto, se establece la referencia en el tiempo en el que se obtiene la imagen decodificada para el cuadro no asociado con prediccion hacia atras F0 sin retardo debido a una prediccion hacia

5

10

15

20

25

30

35

40

45

50

55

60

65

atras y sin inversion de ordenes de tiempos de decodificacion y tiempos de emision con respecto a cualquier otro cuadro, tal como se muestra en las Fig. 5A y 5B. Concretamente, un tiempo obtenido retardando el tiempo en el que se obtiene la imagen decodificada con el tiempo de retardo maximo comunicado mediante dph_output_delay se define como un tiempo igual al tiempo de emision correlacionado con esta imagen decodificada, y se usa como un tiempo de referencia en la emision de imagenes decodificadas. Despues, las imagenes decodificadas F1-F4 se emiten cuando este tiempo de referencia coincide con un tiempo igual a un tiempo de emision correlacionado con cada imagen decodificada.

Por ejemplo, cuando el tiempo de retardo maximo es de 2/15 segundos tal como se describio anteriormente, un tiempo en un retardo de 2/15 segundos desde el tiempo en que se obtiene la imagen decodificada para el cuadro no asociado con prediccion hacia atras, se define como un tiempo igual al tiempo de emision correlacionado con esta imagen decodificada y, despues, se usa como un tiempo de referencia en la emision de imagenes decodificadas.

Segun las circunstancias, posiblemente, el tiempo de retardo maximo no se comunica a proposito, con el fin de simplificar la operacion de codificacion o decodificacion. En tales casos, la sintaxis para comunicar el tiempo de retardo maximo puede disponerse para poder omitirse en la suposicion de que una marca para indicar la presencia o ausencia de la sintaxis se transmita antes que la sintaxis para transmitir el tiempo de retardo maximo.

En caso de que se omita la comunicacion del tiempo de retardo maximo, la operacion de codificacion puede estipularse previamente, por ejemplo, para no usar la prediccion hacia atras o de modo que el numero de cuadros de referencia usados en la prediccion hacia atras pueda alterarse opcionalmente dentro del intervalo que no excede el lfmite superior del numero de cuadros de referencia.

La operacion de decodificacion puede configurarse para realizarse de conformidad con lo estipulado en la operacion de codificacion; por ejemplo, cuando no se aplica la prediccion hacia atras, no se produce ningun retardo necesario para la ejecucion de prediccion hacia atras; como alternativa, la operacion de decodificacion puede configurarse tambien de modo que el numero de cuadros de referencia usados en la prediccion hacia atras pueda alterarse opcionalmente dentro del intervalo que no excede el lfmite superior del numero de cuadros de referencia, es decir, el tiempo de retardo puede variar ampliamente. En este caso, la operacion de decodificacion puede configurarse para realizar siempre un procesamiento que asuma un tiempo de retardo maximo esperado, o la operacion de decodificacion puede configurarse para permitir una variacion de intervalos de tiempo de emision de imagenes decodificadas y realizar un procesamiento simplificado sin tomar en consideracion el tiempo de retardo de cada cuadro.

La presente realizacion se ha descrito suponiendo que las operaciones se han implementado segun la H.26L, pero debe observarse que los procedimientos de codificacion de video a los que puede aplicarse la presente invencion no estan limitados a H.26L y que la presente invencion puede aplicarse a diversos procedimientos de codificacion de video usando la prediccion inter-cuadro hacia atras.

En la presente realizacion, la sintaxis por codigos de longitud fija se ha anadido como una sintaxis para transmitir el tiempo de retardo maximo en el conjunto de parametros de secuencia, pero debe observarse que los codigos y la sintaxis para transmitirlo, o la unidad de tiempo para expresar el tiempo de retardo maximo, no se limitan, por supuesto, a esto. Los codigos de longitud fija pueden sustituirse por codigos de longitud variable, y el tiempo de retardo maximo puede transmitirse mediante cualquiera de las diversas sintaxis que pueden transportar informacion que va a aplicarse a todos los datos codificados.

Por ejemplo, en H.26L puede anadirse una sintaxis en un mensaje de informacion de mejora complementario. En caso de usar otro procedimiento de codificacion de video, el tiempo de retardo maximo puede transmitirse mediante una sintaxis para transmitir la informacion que va a aplicarse a todos los datos codificados en el procedimiento de codificacion pertinente. En otro caso, el tiempo de retardo maximo puede transmitirse tambien fuera de los datos codificados en el procedimiento de codificacion de video como en la recomendacion UIT-T H.245 usada para transportar informacion de control en comunicacion usando H.263.

(Segunda realizacion)

A continuacion se describira la segunda realizacion de la presente invencion. La presente realizacion describira una forma realizada de codificacion a velocidades de cuadro variables. Las operaciones en la codificacion y decodificacion segun la presente realizacion son muy similares a las de la primera realizacion. Dado que la presente realizacion usa velocidades de cuadro variables, esto implica una operacion a bajas velocidades de cuadro para evitar la ejecucion de la prediccion hacia atras que requiere el tiempo de retardo por encima del tiempo de retardo maximo calculado previamente, ademas de la operacion de codificacion en la primera realizacion, de modo que se impide que el intervalo de tiempo de emision entre la imagen decodificada del cuadro no asociado con prediccion hacia atras y la imagen decodificada del cuadro predicho hacia atras se desvfe del intervalo original incluso con una variacion de las velocidades de cuadro.

Dado que en la operacion de codificacion el lfmite superior del numero de cuadros de referencia se determina

5

10

15

20

25

30

35

40

45

50

55

60

previamente, el numero maximo de cuadros de referencia usados para la prediction hacia atras se determina en primer lugar dentro del intervalo que no excede el Kmite superior. Entonces, el intervalo de tiempo de cuadro maximo se determina en funcion de una velocidad de cuadro objetivo determinada previamente en un control de tasas de bits de codification, y el tiempo de retardo maximo se calcula como un intervalo de tiempo de un cuadro o dos o mas cuadros segun el numero maximo de cuadros de referencia usados en la prediccion hacia atras y el intervalo de tiempo de cuadro maximo.

En la operation de codificacion, la codificacion de cada cuadro se controla despues para evitar la prediccion hacia atras que requiere el tiempo de retardo mas alla del tiempo de retardo maximo. Espedficamente, el orden de codificacion de cuadros se controla para impedir que cualquier cuadro de referencia usado en la prediccion hacia atras, es decir, cualquier cuadro temporalmente posterior despues del cuadro actual, que va mas alla del numero maximo de cuadros de referencia usados en la prediccion hacia atras, se codifique y se emita antes que el cuadro actual.

Ademas, cuando la velocidad de cuadro de codificacion se vuelve temporalmente pequena a causa del control de tasas de bits de codificacion, para hacer que el intervalo de tiempo de cuadro en ese caso sea mayor que el intervalo de tiempo de cuadro maximo, se controla la codificacion de cada cuadro de modo que no se aplique la prediccion hacia atras para codificar ah el cuadro.

La presente realization es sustancialmente identica a la primera realization en que el tiempo de retardo maximo se emite en la codificacion, en que la sintaxis dpb_output_delay para transmitir el tiempo de retardo maximo se anade a la sintaxis de datos codificados con el fin de efectuar la entrada de la misma en la decodificacion, y en la definition de la sintaxis.

En la presente realizacion, la operacion de decodificacion se dispone para decodificar el tiempo de retardo maximo comunicado mediante dpb_output_delay y el retardo del tiempo de emision de la imagen decodificada mediante su uso. Este procesamiento es igual tambien al de la primera realizacion.

(Tercera realizacion)

A continuation se describira la tercera realizacion de la presente invention. La presente realizacion describira una forma realizada en la que el tiempo de retardo maximo se comunica opcionalmente para cada cuadro y, por tanto, puede cambiarse con flexibilidad. Las operaciones en la codificacion y decodificacion segun la presente realizacion son basicamente similares a las de la primera realizacion o la segunda realizacion.

En la presente realizacion, la sintaxis dpb_output_delay para transmitir el tiempo de retardo maximo, que se definio en la primera realizacion, esta dispuesta para anadirse al conjunto de parametros de imagen que es una sintaxis para transportar la information aplicada a cada cuadro en lugar de la sintaxis para transportar la information aplicada a todos los datos codificados. La sintaxis dpb_ouput_delay esta configurada en este caso para indicar el tiempo de retardo maximo en la unidad de tiempo de 90 kHz, como en el caso de la primera realizacion, y una cifra expresada en la unidad de tiempo se codifica y se transmite mediante un codigo de 32 bits de longitud fija sin signo.

La presente realizacion es muy similar a la primera realizacion, en cuanto al calculo del tiempo de retardo maximo en la codificacion y en cuanto al retardo del tiempo de emision de la imagen decodificada mediante el uso del tiempo de retardo maximo en la decodificacion. Las configuraciones del aparato de codificacion de video y del aparato de decodificacion de video usados en la presente realizacion son muy similares a las mostradas en las Fig. 3 y 4 acerca de la primera realizacion.

Va a explicarse como determinar el tiempo de retardo maximo dpb_output_delay de cada cuadro en la presente realizacion. En el aparato de codificacion 1 mostrado en la Fig. 3, el controlador 15 calcula el tiempo de retardo (D) debido a la prediccion hacia atras mediante el procedimiento descrito en la primera realizacion, y determina el tiempo de codificacion Tr(n) de cada cuadro. Cuando se alimenta un tiempo de visualization Tin(n) de cada cuadro desde la memoria de cuadros 11, se calcula dpb_output_delay(n) de ese cuadro tal como sigue.

imagen1

Este valor de dpb_output_delay esta correlacionado con el cuadro pertinente y se multiplexa en el multiplexor 12.

En la presente realizacion, el tiempo Tr(n) para la codificacion de cada cuadro tambien se codifica conjuntamente. Tomando la Fig. 2 como ejemplo, D = 2/15 segundos, y Tin(n) = 0, 1/15, 2/15, 3/15 o 4/15 (n = 0, 1, 2, 3 o 4). A causa del cambio en el orden de codificacion, Tr(n) se vuelve tal como sigue: Tr(n) = 0, 1/15, 4/15, 2/15 o 3/15 (n = 0, 1,2, 3 o 4). En este caso, dpb_output_delay(n) de cada cuadro se obtiene tal como sigue.

n = 0, dpb_oufput_delay(0)

= 0 + 2/15-0 = 2/15

5

10

15

20

25

30

35

40

45

50

55

n = I, dpb_outpmt_dd[ay(l)

= 1/15 + 2/15-1/15=2/15

n=2t dpb_outpnt_delay(2)

= 2/15+ 2/15-4/15 “0

n=3, dpb_ouiput_delay(3)

= 3/15 +2/15 -2/15 = 3/15

n = 4, dpb_ontput_delay(4)

= 4/15 + 2/15-3/15 = 3/15

Por otro lado, en el aparato de decodificacion 2 mostrado en la Fig. 4, el decodificador 20 envia dpb_output_delay(n) y Tr(n) de cada cuadro al controlador 25, y el controlador 25 calcula el tiempo de emision To(n) de cada cuadro basandose en la siguiente ecuacion.

Io{t) = Trfn) + dpb_ou1put_delay

Tomando la Fig. 2 como ejemplo, To(n) para cada cuadro se calcula tal como sigue segun la definition anterior, en funcion de Tr(n) = 0, 1/15, 4/15, 2/15 o 3/15 (n = 0, 1,2, 3 o 4) y dpb_output_delay(n) = 2/15, 2/15, 0, 3/15 o 3/15 (n = 0, 1,2, 3 o 4).

n=0, To(0) = 0 + 2/15 = 2/15 n= l»To(l)= 1/15 + 2/15 = 3/15 n = 2»To(2)« 4/15 + 0-4/15 n = 3* Top)- 2/15 + 3/15 = 5/15 n = 4,. To(4) = 3/15 + 3/15 = <5/15

Concretamente, todas las imagenes se visualizan con el retardo de 2/15 segundos y a intervalos constantes en el monitor. Es evidente que cuando no se aplica la prediction hacia atras, el numero de cuadros de referencia usados para la misma es cero y el valor de dpb_output_delay(n) es, por tanto, cero.

Dado que el tiempo de retardo maximo define el tiempo de referencia en la emision de imagenes decodificadas a partir del tiempo en que se adquiere la imagen decodificada del cuadro no asociado con prediccion hacia atras, basta con transmitir el tiempo de retardo maximo solamente para el cuadro no asociado con prediccion hacia atras. Por tanto, es posible emplear, por ejemplo, una configuration en la que la sintaxis para transmitir el tiempo de retardo maximo este dispuesta para poder omitirse en la suposicion de que una marca que indica la presencia o ausencia de la sintaxis se transmita antes de la misma. La sintaxis puede estar dispuesta tambien para omitirse opcionalmente para el cuadro no asociado con prediccion hacia atras, siempre que el tiempo de retardo maximo transmitido antes se aplique en ese caso en el que el tiempo de retardo maximo no se transmite.

La sintaxis para cada cuadro en la presente realization puede usarse tambien simultaneamente con la sintaxis para todos los datos codificados tal como se definio en la primera realizacion. En este caso, la sintaxis para cada cuadro puede omitirse, siempre que una marca que indica la presencia o ausencia de la sintaxis se transmita antes de la misma tal como se describio anteriormente. El tiempo de retardo maximo transmitido en la sintaxis para todos los datos codificados se aplica de manera continua antes de que se transmita el tiempo de retardo maximo en la sintaxis para cada cuadro. Despues de que se actualice mediante la sintaxis para cada cuadro, el tiempo retardado basado en la misma se usa despues como un tiempo de referencia en la emision de cada imagen decodificada.

La presente realizacion se ha descrito suponiendo que estaba basada sustancialmente en H.26L, pero debe observarse que los procedimientos de codification de video a los que puede aplicarse la presente invention no estan limitados a H.26L, y que la presente invencion puede aplicarse a diversos procedimientos de codificacion de video usando la prediccion inter-cuadro hacia atras.

En la presente realizacion, la sintaxis para transmitir el tiempo de retardo maximo era la sintaxis por codigos de longitud fija anadidos en el conjunto de parametros de imagen, y es evidente que los codigos y la sintaxis para

5

10

15

20

25

30

transmitirlo, o la unidad de tiempo para expresar el tiempo de retardo maximo no se limitan, por supuesto, a esto. Los codigos de longitud fija pueden sustituirse por codigos de longitud variable, y el tiempo de retardo maximo puede comunicarse en cualquiera de diversas sintaxis que sean capaces de comunicar la informacion que va a aplicarse a cada cuadro.

Por ejemplo, la sintaxis puede anadirse en un mensaje de informacion de mejora complementario en H.26L. Cuando se aplica otro procedimiento de codificacion de video, es posible usar una sintaxis para comunicar informacion que va a aplicarse a cada cuadro en el procedimiento de codificacion pertinente. Ademas, la informacion puede comunicarse tambien fuera de los datos codificados en el procedimiento de codificacion de video, como en la recomendacion UIT-T H.245 usada para la comunicacion de informacion de control en comunicacion usando la H.263.

El procedimiento de codificacion de video, el procedimiento de decodificacion de video, el aparato de codificacion de video, el aparato de decodificacion de video, el sistema de procesamiento de video, el programa de codificacion de video y el programa de decodificacion de video segun la presente invencion proporcionan el efecto siguiente, tal como se describio anteriormente. Concretamente, cuando una imagen en movimiento que consiste en una serie de cuadros se codifica mediante la prediccion inter-cuadro hacia atras para su emision, se vuelve viable lograr la emision de imagenes decodificadas en intervalos de tiempo apropiados al emplear la prediccion inter-cuadro hacia atras, mediante el procedimiento de codificacion de video, el aparato de codificacion y el programa de codificacion configurados para emitir el tiempo de retardo maximo debido a la prediccion hacia atras, el procedimiento de decodificacion de video, el aparato de decodificacion y el programa de decodificacion configurados para efectuar la entrada del tiempo de retardo maximo, y el sistema de procesamiento de video que los usa.

Particularmente, a diferencia de la tecnica anterior, los tiempos de emision no son valores absolutos, sino valores relativos del tiempo de decodificacion Tr; por tanto, la invencion proporciona el efecto de tener la capacidad de describir y transmitir de manera apropiada el valor del tiempo de retardo maximo dpb_output_delay mediante un pequeno numero de bits, incluso en caso de que la velocidad de cuadro sea variable. Incluso si el tiempo de decodificacion Tr tiene una desfase o no se recibe, se emitira una imagen correspondiente con un retardo de dpb_output_delay desde el tiempo de finalizacion de la decodificacion, presentando por tanto la ventaja de que las imagenes se emiten a intervalos correctos.

Claims (1)

1. 5

   10

   15

   20

   25

   30

   35

   REIVINDICACIONES

   Aparato de decodificacion (2) para decodificar imagenes codificadas y emitir las imagenes decodificadas, que comprende:

   una memoria intermedia de imagenes codificadas (21) en la que se almacenan las imagenes codificadas, en la que cada una de las imagenes codificadas se asocia con informacion de temporizacion de decodificacion indicativa de un tiempo para la decodificacion y con informacion de retardo de emision indicativa de un tiempo de retardo maximo para una emision que se provoca mediante prediccion hacia atras;

   un decodificador (20) configurado para realizar una operacion de decodificacion en cada una de las imagenes codificadas en una temporizacion segun la informacion de temporizacion de decodificacion;

   una memoria intermedia de imagenes decodificadas (22) en la que se almacenan las imagenes decodificadas; y

   un controlador de emision (25) configurado para emitir cada una de las imagenes decodificadas de la memoria intermedia de imagenes decodificadas (22) en una temporizacion determinada en funcion de la informacion de temporizacion de decodificacion y la informacion de retardo de emision.

   Procedimiento para decodificar imagenes codificadas y emitir las imagenes decodificadas, que comprende:

   almacenar las imagenes codificadas en una memoria intermedia codificada (21), en la que cada una de las imagenes codificadas se asocia con informacion de temporizacion de decodificacion indicativa de un tiempo para la decodificacion y con informacion de retardo de emision indicativa de un tiempo de retardo maximo para una emision que se provoca mediante prediccion hacia atras;

   realizar una operacion de decodificacion en cada una de las imagenes codificadas en una temporizacion segun la informacion de temporizacion de decodificacion;

   almacenar las imagenes decodificadas en una memoria intermedia de imagenes decodificadas (22); y

   emitir cada una de las imagenes decodificadas desde la memoria intermedia de imagenes decodificadas (22) en una temporizacion determinada en funcion de la informacion de temporizacion de decodificacion y la informacion de retardo de emision.