ES2401427T3 - Procedimiento de codificación y decodificación de una señal de video - Google Patents

Abstract

Procedimiento de codificación de video que comprende: una etapa de entrada de efectuar la entrada de una trama como objetivo de codificación; una etapa de codificación de codificación de la trama por un procedimiento predeterminado para generar datos codificados caracterizado porque comprende además; una etapa de cálculo del tiempo de retraso máximo para calcular el tiempo de retraso máximo de la trama desde el tiempo de visualización de la trama, un tiempo de codificación y un tiempo de retraso que tiene lugar por la predicción en retroceso ("backward prediction"), basándose en el número de tramas de referencia utilizadas en la predicción en retroceso y la velocidad de tramas de codificación, por cálculo del tiempo máximo de retraso al restar el tiempo de codificación de la suma del tiempo de visualización y el tiempo de retraso que tiene lugar por predicción en retroceso; y una etapa de salida que efectúa la salida del tiempo de retraso máximo conjuntamente con los datos codificados.

Description

Procedimiento de codificación y decodificación de una señal de video.

Antecedentes de la invención

Sector de la invención

La presente invención se refiere a un procedimiento de codificación de video, a un procedimiento de decodificación de video, a un aparato de codificación de video, a un aparato de decodificación de video, a un sistema de proceso de video, a un programa de codificación de video y a un programa de decodificación de video.

Técnicas relacionadas

Se utilizan técnicas de codificación de señal de video para transmisión y regeneración de almacenamiento de señales de video. Las técnicas bien conocidas incluyen, por ejemplo, los procedimientos de codificación de video estándar internacionales tales como la Recomendación ITU-T H.263 (a la que se hará referencia a continuación como H.263), la Norma Internacional ISO/IEC 14496-2 (MPEG-4 Visual, que a continuación se indicará MPEG-4), y otras. Otro procedimiento de codificación conocido más nuevo es un procedimiento de codificación de video programado para normalización internacional conjunta por ITU-T y ISO/IEC Recomendación ITU-T H.264 y Norma Internacional ISO/IEC 14496-10 (Joint Final Committee Draft of Joint Video Specification, a la que se hará referencia a continuación como H.26L).

El documento US 6 205 177 B1 describe un procedimiento de codificación de video de acuerdo con la primera parte de la reivindicación 1.

Dado que una señal de video en movimiento consiste en una serie de imágenes (tramas), que varían poco a poco a lo largo del tiempo, es una práctica habitual en estos procedimientos de codificación de video implementar predicción intertramas entre una trama recuperada como objetivo para codificar (trama actual) y otra trama (trama de referencia) y reducir, por lo tanto, la redundancia temporal en la señal de video. En este caso, cuando la predicción intertramas es llevada a cabo entre la trama actual y una trama de referencia menos diferente de la trama actual, la redundancia se puede reducir en mayor grado y se puede incrementar la eficiencia de la codificación.

Por esta razón, tal como se muestra en la figura 6, la trama de referencia para la trama actual A1 puede ser una trama anterior temporalmente A0 o una trama subsiguiente temporalmente A2 con respecto a la trama actual A1. La predicción con la trama anterior es designada como predicción en avance (“forward prediction”), mientras que la predicción con la trama subsiguiente se designa predicción en retroceso (“backward prediction”). La predicción bidireccional se define como una predicción en la que un procedimiento se selecciona arbitrariamente de los dos procedimientos de predicción o como predicción en la que ambos procedimientos son utilizados simultáneamente.

En general, como utilización de dicha predicción bidireccional, tal como en el ejemplo mostrado en la figura 6, se almacenan de manera preliminar antes de la trama actual una trama previa temporalmente como trama de referencia para predicción en avance y una trama subsiguiente temporalmente como trama de referencia para predicción en retroceso.

Las figuras 7A y 7B son diagramas que muestras (A) decodificación y (B) salida de las tramas en el caso de la predicción bidireccional mostrada en la figura 6. Por ejemplo, en la decodificación de MPEG-4, en la que la trama actual A1 es decodificada por predicción intertramas bidireccional, siendo la trama A0 una trama previa temporalmente y la trama 2 una trama subsiguiente temporalmente con respecto a la trama actual A1, son decodificadas en primer lugar como tramas decodificadas por predicción intertramas sin utilización de predicción intertramas o como tramas decodificadas por predicción intertramas en avance antes de decodificar la trama actual A1 y se retienen como tramas de referencia. A continuación, la trama actual A1 es decodificada por predicción bidireccional utilizando estas dos tramas A0, A2 que se han retenido (figura 7A).

En este caso, por lo tanto, el orden de los tiempos de decodificación de la trama de referencia subsiguiente temporalmente A2 y la trama actual A1 es inverso con respecto al orden de los tiempos de salida de sus respectivas imágenes decodificadas. Cada una de estas tramas A0, A1 y A2 está acoplada con información de tiempo de salida 0, 1 ó 2 y, por lo tanto, la secuencia temporal de las tramas se puede conocer de acuerdo con esta información. Por esta razón, las imágenes decodificadas son emitidas en el orden apropiado (figura 7B). En MPEG-4, la información de tiempo de salida es descrita como valores absolutos.

Algunos de los recientes procedimientos de codificación de video permiten la realización de la anterior predicción intertramas utilizando múltiples tramas de referencia en vez de una trama de referencia en dirección de avance y una trama de referencia en dirección de retroceso, a efectos de posibilitar la predicción de una trama con un cambio más reducido desde la trama actual, tal como se ha mostrado en la figura 8. La figura 8 muestra un ejemplo utilizando dos tramas previas temporalmente B0, B1 y dos tramas subsiguientes temporalmente B3, B4 con respecto a la trama actual B2 como tramas de referencia para la trama actual B2.

Las figuras 9A y 9B son diagramas que muestras (A) decodificación y (B) salida de las tramas en el caso de la predicción bidireccional mostrada en la figura 8. Por ejemplo, en la decodificación de H.26L, se puede retener una serie de tramas de referencia dentro de un rango hasta un predeterminado límite superior del número de tramas de referencia y en ocasión de llevar a cabo predicción intertramas, se designa arbitrariamente una trama de referencia óptima de aquellas. En este caso, cuando la trama actual B2 es decodificada como trama de predicción bidireccional, las tramas de referencia son decodificadas en primer lugar antes de la decodificación de la trama actual B2; las tramas de referencia incluyen una serie de tramas previas temporalmente (por ejemplo, dos tramas B0, B1) y una serie de tramas subsiguientes temporalmente (por ejemplo, dos tramas B3, B4) con respecto a la trama actual B2, que son codificadas y retenidas como tramas de referencia. La trama actual B2 puede ser objeto de predicción a partir de una trama arbitrariamente designada como una trama utilizada para predicción seleccionada de las tramas B0, B1, B3 y B4 (figura 9A).

Por lo tanto, en este caso, el orden de los tiempos de decodificación de las tramas de referencia subsiguientes temporalmente B3, B4 y la trama actual B2 resulta inverso al orden de sus respectivos tiempos de salida. Cada una de estas tramas B0-B4 está asociada con información de tiempo de salida o información de orden de salida 0-4 y la secuencia temporal de las tramas se puede conocer de acuerdo con esta información. Por esta razón, las imágenes decodificadas son emitidas en orden correcto (figura 9B). La información de tiempo de salida es descrita frecuentemente como valores absolutos. El orden de salida es utilizado en el caso de que los intervalos de tramas sean constantes.

Para llevar a cabo la decodificación por la predicción en retroceso utilizando tramas subsiguientes temporalmente como tramas de predicción, es necesario satisfacer la condición de que la decodificación de las tramas subsiguientes temporalmente es completada antes de la decodificación de la trama actual a efectos de ser disponibles como tramas de predicción. En este caso, se incurre en un retraso antes de que la imagen decodificada de la imagen actual resulte disponible, en comparación con una trama a la que no se aplica la predicción en retroceso.

Esto se describirá específicamente a continuación con referencia a las figuras 10A-10C. Las figuras 10A-10C corresponden al ejemplo mostrado en la figura 6, 7A y 7B. En primer lugar, los datos codificados de cada trama A0, A2 son decodificados en un orden necesario para ejecución de predicción intertramas y se supone que los intervalos de las tramas son intervalos de tiempo constante de acuerdo con una velocidad de tramas y que el tiempo necesario para la operación de decodificación es despreciable para cada trama A0-A2, con independencia de si se aplica la predicción intertramas y con independencia de las direcciones de predicción intertramas (figura 10A). En la práctica, los intervalos de decodificación de las tramas A0-A2 no tienen que ser constantes y pueden cambiar dependiendo de factores tales como la variación en los bits de codificación de las tramas A0-A2 o similares; no obstante, se puede suponer que son constantes como promedio. El tiempo necesario para la operación de decodificación tampoco es cero, sino que no presentará problemas significativos en la descripción a continuación si la diferencia del mismo no es grande entre las tramas A0-A2.

Se supondrá en esta descripción que el tiempo en el que se obtiene una imagen decodificada de la trama A0, sin retraso, debido a la predicción en retroceso y sin inversión de los órdenes de los tiempos de decodificación y tiempos de salida con respecto a cualquier otra trama (trama sin retraso y sin inversión se designará a continuación como trama no asociada a predicción en retroceso), se define como un tiempo de salida correlacionado con la imagen decodificada y la imagen decodificada es emitida en el tiempo de salida. Suponiendo que la trama subsiguiente es la trama de predicción en retroceso A1, su imagen decodificada será decodificada después de la trama subsiguiente temporalmente A2 y, por lo tanto, se realiza un retraso antes de obtener la imagen decodificada.

Por esta razón, si el tiempo por el que se obtiene la imagen decodificada para la trama A0 no asociada a predicción en retroceso, se define como tiempo de salida de referencia, la imagen decodificada de la trama de predicción en retroceso A1 no es obtenida con el tiempo de salida correlacionado (figura 10B). Es decir, un intervalo de tiempo de salida entre la imagen decodificada de la trama no asociada a predicción en retroceso A0 y la imagen decodificada de la trama A1 de predicción en retroceso, resulta más largo por el tiempo de retraso necesario para la ejecución de predicción de retroceso que el intervalo original, lo que lleva a una salida de video poco natural.

Por lo tanto, en el caso en el que la predicción intertramas en retroceso es aplicada en codificación de video, tal como se ha mostrado en la figura 10C, es necesario retrasar de manera preliminar el tiempo de salida de la imagen decodificada de la trama A0 no asociada a predicción en retroceso por el tiempo de retraso necesario para la ejecución de la predicción en retroceso y también para poder manipular correctamente el intervalo de tiempo de salida a la trama A1 de predicción en retroceso.

De manera convencional, la predicción intertramas en retroceso fue aplicada a codificación de video bajo las condiciones de que la codificación fue llevada a cabo a una elevada proporción de bits y la velocidad de tramas fija de 30 tramas/segundo igual a la señal de emisión de TV fue utilizada siempre tal como en emisión de TV o acumulación de la misma, porque la predicción intertramas en retroceso comporta un mayor número de opciones para predicción y, por lo tanto, un incremento de la complejidad de cálculo a efectos de realizar su implementación difícil en un equipo simple y porque el incremento del tiempo de retraso no es deseado en comunicación en tiempo real que comporta interlocución bidireccional, tal como en conferencias de video.

En este caso, por ejemplo, igual que en MPEG-4, en la utilización de una trama subsiguiente temporalmente como trama de referencia para proyección en retroceso, el tiempo de retraso requerido en la ejecución de la predicción en retroceso es constante. Por ejemplo, cuando la velocidad de tramas es de 30 tramas/segundo, tal como se ha descrito anteriormente, el tiempo de retraso es el intervalo de tiempo de cada trama, es decir, 1/30 segundo. De acuerdo con ello, el tiempo en el que se debe retrasar el tiempo de salida de la imagen decodificada de la trama no asociada a predicción en retroceso se puede ajustar igualmente a 1/30 segundo.

Resumen de la invención

No obstante, en estos últimos años, como resultado de las mejoras en el rendimiento de ordenadores y de los avances en la diversificación de los servicios de video, el retraso es tolerable en emisión de video a través de Internet y comunicaciones móviles, y existe un uso incrementado de codificación de video que requiere codificación a bajas velocidades de bits. Para implementar la codificación a bajas velocidades de bits se aplican velocidades de tramas menores de 30 tramas/segundo o se utilizan velocidades de tramas variables para cambiar dinámicamente la velocidad de tramas para controlar la velocidad de bits de codificación.

En esta codificación de video en la que se aplica la predicción en retroceso antes mencionada para incrementar en mayor grado la eficiencia de la codificación, el tiempo de retraso debido a predicción en retroceso no es siempre de 1/30 segundo, tal como se ha utilizado anteriormente. En la aplicación de velocidades de tramas variables, las velocidades de tramas no son constantes. Por ejemplo, en el caso en el que se utiliza una velocidad de tramas pequeña en un base temporal, el intervalo de tiempo de cada trama se hace largo y, por lo tanto, el tiempo en el que el tiempo de salida de la imagen decodificada de la trama no asociada a predicción en retroceso que se debe retrasar no está determinado de manera única. Por esta razón, no resulta factible manejar correctamente el intervalo de tiempo de salida entre la imagen decodificada de la trama no asociada a predicción en retroceso y la imagen decodificada de la trama de predicción en retroceso.

En este caso, existen tales medios potenciales que se permite preliminarmente un gran tiempo de retraso permisible para la predicción en retroceso y que el tiempo de salida de la imagen decodificada de la trama no asociada en predicción en retroceso está siempre retrasado en este tiempo de retraso, manipulando, por lo tanto, correctamente el intervalo de tiempo de salida con respecto a la imagen decodificada de la trama de predicción en retroceso. En este caso, no obstante, el retraso grande es siempre añadido al tiempo de salida de la imagen decodificada, con independencia del tiempo de retraso de la predicción en retroceso práctica.

Cuando se utilizan múltiples tramas de referencia en la predicción en retroceso tal como en H.26L, la decodificación de todas las tramas de referencia que son tramas subsiguientes temporalmente, se debe completar antes de la decodificación de la trama actual. Esto incrementa adicionalmente el tiempo de retraso necesario para la ejecución de la predicción en retroceso.

En este caso, dado que el número de tramas de referencia utilizadas en la predicción en retroceso queda determinado de forma único como un número de tramas subsiguientes temporalmente con respecto a la trama actual, que han sido decodificadas antes que la trama actual, el número de tramas de referencia se puede cambiar opcionalmente dentro del rango hasta un límite superior predeterminado del número máximo de tramas de referencia.

Por ejemplo, suponiendo que el límite superior del número de tramas de referencia es 4, el número de tramas de referencia utilizado en la predicción en retroceso puede ser 2 tal como se ha mostrado en la figura 8, o 1 tal como se ha mostrado en la figura 11A, o 3 tal como se ha mostrado en la figura 11B. Dado que el número de tramas de referencia se puede cambiar de esta manera, el tiempo de retraso necesario para la ejecución de la predicción en retroceso puede variar ampliamente. Esto lleva al fallo de manipulación correcta del intervalo de tiempo de salida entre la imagen decodificada de la trama no asociada a predicción en retroceso y la imagen decodificada de la trama de predicción en retroceso.

En este momento, dado que el número máximo de tramas de referencia que puede ser utilizado en la predicción en retroceso no supera el límite superior del número de tramas de referencias, el tiempo de retraso de acuerdo con el límite superior del número de tramas de referencia es un tiempo de retraso máximo que se puede llevar a cabo en la ejecución de la predicción en retroceso. Por lo tanto, si el tiempo de salida de la imagen decodificada de la trama no asociada a predicción en retroceso está siempre retrasado por este tiempo de retraso, el intervalo de tiempo de salida con respecto a la imagen decodificada de la trama de predicción en retroceso se puede tratar correctamente.

En este caso, no obstante, siempre se añade un gran retraso al tiempo de salida de la imagen decodificada, con independencia del número de imágenes de referencia actualmente utilizadas para la trama de predicción en retroceso. En la aplicación de velocidades de tramas variables, tal como se ha descrito anteriormente, si bien el número máximo de tramas de referencia se puede determinar de forma única, el tiempo máximo de retraso no puede ser determinado de forma única.

En la aplicación de la predicción en retroceso a la codificación de video hasta este momento no era factible determinar únicamente el tiempo de retraso necesario para la ejecución de la predicción en retroceso, excepto en el caso en que era evidente la utilización de una velocidad de tramas fija. Esto resultaba en el fallo del tratamiento correcto del intervalo de tiempo de salida entre la imagen decodificada de la trama no asociada a predicción en retroceso y la imagen decodificada de la trama de predicción en retroceso, presentando, por lo tanto, el problema de que la salida de video se hacía poco natural.

En el caso en el que se utilizan múltiples tramas de referencia en la predicción en retroceso, el número de tramas de referencia puede ser también cambiado para variar posiblemente el tiempo de retraso. Por lo tanto, se presenta el problema de fallo en el tratamiento correcto del intervalo de tiempo entre la imagen decodificada de la trama no asociada a predicción en retroceso y la imagen decodificada de la trama de predicción en retroceso. En el caso en el que el tiempo de retraso máximo es asumido siempre para hacer frente a este problema, se presenta el problema de que siempre se añade un retraso grande al tiempo de salida de la imagen decodificada.

La presente invención ha sido conseguida a efectos de solucionar los problemas anteriores y un objeto de la invención consiste en dar a conocer un procedimiento de codificación de video, un procedimiento de decodificación de video, un aparato de codificación de video, un aparato de decodificación de video, un programa de codificación de video y un programa de decodificación de video capaces de conseguir la salida de imágenes decodificadas en intervalos de tiempo apropiados cuando se utiliza predicción intertramas en retroceso.

A efectos de conseguir el objetivo anteriormente indicado, un procedimiento de codificación de video de acuerdo con la presente invención es un procedimiento de codificación de video de implementación de predicción intertramas entre una trama y otra, comprendiendo dicho procedimiento de codificación de video: emitir un tiempo de retraso máximo incurrido por la predicción en retroceso.

De manera similar, un aparato de codificación de video, de acuerdo con la presente invención, es un aparato de codificación de video para implementar predicción intertramas entre una trama y otra, estando configurado el aparato de codificación de video para: emitir un tiempo de retraso máximo que es incurrido por predicción en retroceso.

En el procedimiento de codificación de video y aparato, según la presente invención, tal como se ha descrito anteriormente, en ocasión de codificar una imagen móvil consistiendo en una serie de tramas y emitiendo datos codificados, el tiempo de retraso máximo debido a predicción en retroceso es emitido además de los datos codificados. Esto posibilita conseguir una salida de imágenes decodificadas a intervalos de tiempo apropiado cuando se utiliza la predicción intertramas en retroceso.

Un programa de codificación de video, de acuerdo con la presente invención, es un programa de codificación de video para permitir que un ordenador ejecute codificación de video de implementación de predicción intertramas entre una trama y otra, permitiendo el programa de codificación de video que el ordenador ejecute: un procedimiento de salida de un tiempo de retraso máximo que es incurrido por predicción en retroceso.

En el programa de codificación de video, de acuerdo con la presente invención, tal como se ha descrito en lo anterior, en ocasión de codificación de una imagen móvil y de emitir datos codificados de la misma, se hace que el ordenador ejecute el proceso de emitir el tiempo de retraso máximo además de los datos codificados. Esto posibilita conseguir la salida de imágenes decodificadas en el momento de tiempo con intervalos adecuados cuando se utiliza la predicción intertramas en retroceso.

Un procedimiento de decodificación de video, de acuerdo con la presente invención, es un procedimiento de decodificación de video para implementar la predicción intertramas entre una trama y otra, comprendiendo dicho procedimiento de decodificación de video: llevar a cabo la entrada de un tiempo de retraso máximo que se puede realizar por predicción en retroceso.

De manera similar, un aparato de decodificación de video, de acuerdo con la presente invención, es un aparato de decodificación de video para implementar predicción intertramas entre una trama y otra, estando configurado el aparato de decodificación de video para: llevar a cabo la entrada de un tiempo de retraso máximo que tiene lugar por la predicción en retroceso.

En el procedimiento de decodificación de video y aparato, de acuerdo con la presente invención, tal como se ha descrito, en ocasión de decodificar datos de codificación de entrada para generar una imagen en movimiento, el tiempo de retraso máximo debido a la predicción en retroceso es introducido además de los datos codificados. Esto posibilita conseguir la salida de imágenes decodificadas en los intervalos de tiempo apropiados cuando se utiliza la predicción intertramas en retroceso.

Un programa de decodificación de video, de acuerdo con la presente invención, es un programa de decodificación de video para permitir que un ordenador lleve a cabo decodificación de video de implementación de predicción intertramas entre una trama y otra, permitiendo el programa de decodificación de video que el ordenador lleve a cabo: un proceso para realizar la entrada de un tiempo de retraso máximo que tiene lugar por la predicción en retroceso.

En el programa de decodificación de video, de acuerdo con la presente invención, tal como se ha descrito en lo anterior, en ocasión de decodificación de datos codificados para generar una imagen móvil, el ordenador ejecuta el proceso de llevar a cabo la entrada del tiempo de retraso máximo, además de los datos codificados. Esto posibilita conseguir la salida de imágenes decodificadas en intervalos de tiempo apropiados cuando se utiliza la predicción intertramas en retroceso.

Otro procedimiento de codificación de video es el que comprende una etapa de entrada de efectuar la entrada de una trama como objetivo para codificación; una etapa de codificación de codificación de la trama por un procedimiento predeterminado; y una etapa de cálculo del tiempo de retraso máximo para calcular el tiempo de retraso máximo de la trama desde el tiempo de visualización de la trama, un tiempo de codificación y un tiempo de retraso que tiene lugar por la predicción en retroceso.

De manera similar, otro aparato de codificación de video es un aparato que comprende medios de entrada para llevar a cabo una trama como objetivo para codificación; medios de codificación para codificar la trama por un procedimiento predeterminado y medios de cálculo del tiempo de retraso máximo para calcular el tiempo de retraso máximo de la imagen desde el tiempo de visualización de la imagen y tiempo de codificación y un tiempo de retraso que tiene lugar por la predicción en retroceso.

De manera similar, otro programa de codificación de video es un programa para permitir que un ordenador ejecute: un proceso de entrada de efectuar la entrada de una trama como objetivo para codificación; un proceso de codificación para codificar la trama por un procedimiento predeterminado y un tiempo de retraso máximo por un proceso de cálculo para calcular el tiempo de retraso máximo de la trama desde el tiempo de la visualización de la trama, un tiempo de codificación y un tiempo de retraso que tiene lugar por la predicción en retroceso.

En el procedimiento, aparato y programa de codificación de video, de acuerdo con la presente invención, tal como se ha descrito anteriormente, el tiempo de retraso máximo de la trama es calculado en ocasión de codificación de una imagen móvil. Esto hace posible conseguir la salida de imágenes decodificadas a intervalos de tiempo apropiados cuando se utiliza la predicción intertramas en retroceso.

Otro procedimiento de decodificación de video es el que comprende una etapa de entrada para efectuar la entrada de datos de imagen que contienen datos codificados de una trama codificada por un procedimiento predeterminado, un tiempo de decodificación de la trama y un tiempo de retraso máximo; una etapa de decodificación para decodificar los datos codificados para generar una imagen regenerada y un tiempo de salida de la imagen en una etapa de cálculo para calcular el tiempo de salida para la visualización de la trama, basándose en el tiempo de decodificación y en el tiempo de retraso máximo.

De manera similar, otro aparato de decodificación de video es un aparato que comprende medios de entrada para llevar a cabo la entrada de datos de imagen que contienen datos codificados de una trama codificada por un procedimiento predeterminado, un tiempo de decodificación de la trama y un tiempo de retraso máximo; medios de decodificación para decodificar los datos codificados para generar una imagen regenerada y medios de cálculo del tiempo de salida de la imagen para calcular un tiempo de salida para la visualización de la trama, basándose en el tiempo de decodificación y el tiempo de retraso máximo.

De manera similar, otro programa de decodificación de video es un programa para permitir que un ordenador ejecute: un proceso de entrada para efectuar la entrada de datos de imagen que contienen datos codificados de una trama codificada por un procedimiento predeterminado, un tiempo de decodificación de la trama y un tiempo de retraso máximo; un proceso de decodificación para decodificación de los datos codificados para generar una imagen regenerada; y un tiempo de salida de imagen con un proceso de cálculo para calcular el tiempo de salida para visualización de la trama, basándose en el tiempo de decodificación y en el tiempo de retraso máximo.

En el procedimiento, aparato y programa de decodificación de video, de acuerdo con la presente invención, tal como se ha descrito, en ocasión de decodificación de datos codificados para generar una imagen móvil, el tiempo de salida para visualizar la trama es calculado en base al tiempo de retraso máximo. Esto permite conseguir la salida de imágenes decodificadas a intervalos de tiempo apropiados cuando se utiliza la predicción intertramas en retroceso.

Con respecto al tiempo de retraso máximo emitido en el procedimiento de codificación de video, aparato de codificación y programa de codificación, es preferible definir el tiempo de retraso máximo como diferencia de tiempo entre el tiempo de aparición de una trama a someter a predicción intertramas en retroceso y un tiempo en el que tiene lugar una trama final subsiguiente temporalmente que puede ser utilizada como trama de referencia en la predicción en retroceso.

Con respecto a la aplicación del tiempo de retraso máximo, el tiempo de retraso máximo puede ser emitido como información a aplicar a la totalidad de datos codificados. En otra realización, el tiempo de retraso máximo puede ser emitido como información a aplicar en cada trama. En otra realización adicional, el tiempo de retraso máximo puede ser emitido opcionalmente como información a aplicar en una trama para la que el tiempo de retraso máximo está indicado y a cada trama subsiguiente temporalmente después de la imagen anterior.

Con respecto al tiempo de retraso máximo introducido en el procedimiento de decodificación de video, aparato de decodificación y programa de decodificación, es preferible definir el tiempo de retraso máximo como diferencia de tiempo entre un tiempo de decodificación de una trama sin inversión de órdenes de tiempos de decodificación y tiempos de salida con respecto a cualquier otra trama y un tiempo de salida de una imagen decodificada relacionado con la trama anterior. Además, en otra realización, es preferible ajustar una referencia por tiempo de salida de imagen decodificados posteriormente en base al tiempo de retraso máximo.

Con respecto a la aplicación del tiempo de retraso máximo, el tiempo de retraso máximo puede ser introducido como información a aplicar a la totalidad de datos codificados. En otra realización, el tiempo de retraso máximo puede ser introducido como información a aplicar a cada trama. En otra aplicación adicional, el tiempo de retraso máximo puede ser introducido opcionalmente como información a aplicar a una trama para la que se ha indicado el tiempo de retraso máximo y a cada trama subsiguiente temporalmente después de la trama anterior.

Un sistema de proceso de video según la presente invención es un sistema de proceso de video que comprende un aparato de codificación de video y un aparato de decodificación de video, en el que el aparato de codificación es un aparato de codificación de video anteriormente descrito y en el que el aparato de decodificación es un aparato de decodificación de video descrito anteriormente.

Tal como se ha descrito anteriormente, el sistema de proceso de video está construido utilizando el aparato de codificación de video y el aparato de decodificación de video para efectuar la salida y la entrada del tiempo de retraso máximo debido a la predicción en retroceso. Esto constituye el sistema de proceso de video capaz de conseguir la salida de imágenes decodificadas a intervalos de tiempo apropiados cuando se utiliza la predicción intertramas en retroceso.

Breve descripción de los dibujos

La figura 1 es un diagrama de bloques que muestra la estructura esquemática del aparato de codificación de video, aparato de decodificación de video y sistema de proceso de video.

La figura 2 es un diagrama que muestra un ejemplo de codificación de tramas en el caso de que la predicción bidireccional sea llevada a cabo.

La figura 3 es un diagrama de bloques que muestra un ejemplo de la configuración del aparato de codificación de video.

La figura 4 es un diagrama de bloques que muestra un ejemplo de la configuración del aparato de decodificación de video.

Las figuras 5A y 5B son diagramas que muestran (A) decodificación y (B) salida de tramas en el caso de la predicción bidireccional mostrada en la figura 2.

La figura 6 es un diagrama que muestra la codificación de tramas en el caso de llevar a cabo predicción bidireccional.

Las figuras 7A y 7B son diagramas que muestran (A) decodificación y (B) salida de tramas en el caso de la predicción bidireccional mostrada en la figura 6.

La figura 8 es un diagrama que muestra la codificación de tramas en el caso de llevar a cabo predicción bidireccional.

Las figuras 9A y 9B son diagramas que muestran (A) decodificación y (B) salida de tramas en el caso de la predicción bidireccional mostrada en la figura 8.

Las figuras 10A y 10B son diagramas que muestran (A) decodificación, (B) salida y (C) salida retrasada de tramas en el caso de llevar a cabo la predicción bidireccional.

Las figuras 11A y 11B son diagramas que muestran codificación de tramas en el caso de llevar a cabo predicción bidireccional.

Descripción de las realizaciones preferentes

Las realizaciones preferentes del procedimiento de codificación de video, procedimiento de decodificación de video, aparato de codificación de video, aparato de decodificación de video, programa de codificación de video y programa de decodificación de video, de acuerdo con la presente invención, se describirán a continuación en detalle haciendo referencia a los dibujos. Los mismos elementos recibirán los mismos símbolos de referencia en la totalidad de la descripción de los dibujos, sin descripción redundante de los mismos.

En primer lugar se describirá esquemáticamente la codificación y decodificación de una imagen móvil en la presente invención. La figura 1 es un diagrama de bloques que muestra la estructura esquemática del aparato de codificación de video, aparato de decodificación de video y sistema de proceso de video, de acuerdo con la presente invención. El sistema de proceso de video está formado por el aparato de codificación de video 1 y el aparato de decodificación de video 2. El aparato de codificación de video 1, aparato de decodificación de video 2 y sistema de proceso de video se describirán a continuación conjuntamente con el procedimiento de codificación y el procedimiento de decodificación de video que se llevan a cabo.

El aparato de codificación de video 1 es un dispositivo configurado para codificar datos de video D0 consistiendo en una serie de imágenes (tramas) y datos D1 codificados de salida para transmisión, para almacenamiento y regeneración de imágenes móviles. El aparato 2 de decodificación de video es un dispositivo configurado para decodificar datos D1 codificados de entrada para generar datos de imágenes móviles decodificados D2 que consisten en una serie de tramas. El aparato 1 de codificación de video y el aparato 2 de decodificación de video están conectados por determinadas líneas de transmisión de datos cableados o inalámbricos, a efectos de transmitir datos necesarios, tales como los datos codificados D1 y otros.

En la codificación de imágenes móviles llevada a cabo en el aparato de codificación de video 1, tal como se ha descrito anteriormente, la predicción intertramas es llevada a cabo entre una trama de datos de video D0 introducida como objetivo para codificación y otra trama, tal como una trama de referencia, reduciendo de esta manera la redundancia en los datos de video. En el sistema de proceso de video mostrado en la figura 1, el aparato de codificación de video 1 lleva a cabo la predicción intertramas en retroceso desde una trama subsiguiente temporalmente para predicción intertramas. Además, este aparato 1 de codificación de video permite el tiempo máximo de retraso que tiene lugar por la predicción en retroceso, además de los datos codificados D1.

En correspondencia con dicho aparato 1 de codificación de video, el aparato 2 de decodificación de video está configurado para llevar a cabo la introducción de tiempo máximo de retraso que tiene lugar por la predicción en retroceso además de los datos codificados D1 del aparato de codificación de video 1. Entonces, el aparato de decodificación de video 2 decodifica los datos codificados D1 con referencia al aparato de codificación de video 1. Entonces, el aparato de decodificación de video 2 decodifica los datos codificados D1 con referencia al máximo tiempo de retraso de entrada para generar los datos de video D2.

Mediante el aparato de codificación de video 1 y el procedimiento de codificación de video configurados para emitir el tiempo de retraso máximo, el aparato 2 de decodificación de video y el procedimiento de decodificación de video, configurados para llevar a cabo la introducción del tiempo de retraso máximo y el sistema de proceso de video dotado de dichos aparatos 1, 2 que están adaptados para la predicción intertramas en retroceso que se ha descrito anteriormente, resulta factible conseguir la emisión de imágenes decodificadas a intervalos de tiempo apropiados en ejecución de la predicción intertramas utilizando la predicción intertramas en retroceso.

Con respecto a la salida del tiempo de retraso máximo en la codificación de video, por ejemplo, se puede definir el tiempo de retraso máximo como la diferencia de tiempo entre el tiempo en que aparece una trama a someter a la predicción intertramas en retroceso y el tiempo en que aparece una trama subsiguiente temporalmente que se puede utilizar como trama de referencia para predicción en retroceso.

En cuanto al tiempo de retraso máximo introducido en la decodificación de video, por ejemplo, el tiempo de retraso

máximo (a continuación indicado como dpb_output_delay (“dpb_salida_retraso”)) se pueden definir como una

diferencia de tiempo entre un tiempo de decodificación de una trama sin retraso debido a predicción intertramas en retroceso y sin inversión de órdenes de tiempo de decodificación y tiempo de emisión con respecto a la otra trama (el tiempo de decodificación se indicará a continuación Tr) y el tiempo de salida de una imagen decodificada correlacionada con la trama pertinente (el tiempo de salida se indicará a continuación To). En este caso, preferentemente, se dispone una referencia para tiempos de salida de imágenes decodificadas basándose en el tiempo de retraso máximo.

La aplicación del tiempo de retraso máximo puede ser un procedimiento de aplicación del mismo a la totalidad de datos codificados o un procedimiento de aplicación del mismo a cada trama. Otro procedimiento de aplicación es un procedimiento de aplicación del tiempo de retraso máximo a cada una de las tramas subsiguientes al anuncio de información del tiempo de retraso máximo, es decir, a la trama para la cual se ha indicado al tiempo de retraso máximo y a cada una de las tramas temporalmente subsiguientes a aquella trama. La salida, entrada, aplicación, etc. del tiempo de retraso máximo en estos procedimientos se explicará específicamente en detalle más adelante.

El proceso que corresponde al procedimiento de codificación de vídeo, realizado en el aparato 1 de codificación de video anteriormente indicado, se puede materializar por el programa de codificación de video para hacer que un ordenador lleve a cabo la codificación de video. El proceso que corresponde al procedimiento de decodificación de video, realizado en el aparato 2 de decodificación de video puede ser materializado por el programa de decodificación de video para hacer que un ordenador ejecute la decodificación de video.

Por ejemplo, el aparato 1 de codificación de video puede ser construido a base de una CPU conectada a una ROM que almacena programas de software necesarios para operaciones respectivas de la codificación de video y una RAM que almacena temporalmente datos durante la ejecución de un programa. En esta configuración, el aparato 1 de codificación de video puede ser materializado al hacer que la CPU lleve a cabo el programa de codificación de video predeterminado.

De manera similar, el aparato 2 de decodificación de video puede ser construido mediante una CPU conectada a una ROM que almacena programas de software necesarios para operaciones respectivas de decodificación de video y una RAM que almacena temporalmente datos durante la ejecución de un programa. En esta configuración, el aparato 2 de decodificación de video puede ser materializado al hacer que la CPU lleve a cabo el programa de decodificación de video predeterminado.

El programa antes indicado para hacer que la CPU lleve a cabo el proceso para la codificación de video o para la decodificación de video se puede distribuir en una forma en la que está registrado en un medio de registro legible por ordenador. Este soporte de registro incluye, por ejemplo, soportes magnéticos, tales como discos duros y disquetes, medios ópticos, tales como CD-ROM y DVD-ROM, medios magnetoópticos, tales como discos flópticos

(“floptical disks”) o dispositivos de hardware, por ejemplo tales como RAM, ROM y memorias no volátiles de

semiconductores, montadas respectivamente para llevar a cabo o almacenar instrucciones de programa.

El aparato de codificación de video, el aparato de decodificación de video, el sistema de proceso de video que se dan a conocer, mostrados en la figura 1, y el procedimiento de codificación de video y procedimiento de decodificación de video correspondientes a los mismos se describirán mediante realizaciones específicas. La descripción siguiente se basará en la suposición de que las operaciones de codificación y decodificación de video se han implementado basándose en H.26L, y las partes no específicamente descritas respecto al funcionamiento en codificación de video se corresponderán con el funcionamiento en H.26L. Se hace observar, no obstante, que la presente invención no queda limitada a H.26L.

(Primera realización)

En primer lugar, la primera realización de la presente invención se describirá a continuación. La presente realización describirá una forma de codificación a una velocidad de tramas fija. En la codificación de acuerdo con la presente realización, el número máximo de tramas de referencia utilizadas para predicción en retroceso se determina en primer lugar, el tiempo de retraso máximo se calcula a continuación a partir de este número máximo de tramas de referencia y la velocidad de tramas utilizada en codificación y el tiempo de retraso máximo son emitidos a continuación. En la decodificación, de acuerdo con la presente realización, en ocasión de decodificación de una trama no asociada a predicción en retroceso, se retrasa el tiempo de salida de una imagen decodificada de la misma por el tiempo de retraso máximo de entrada. El tiempo de retraso para el tiempo de salida es aplicado de manera uniforme a cada una de las tramas a continuación a efectos de prevenir que el intervalo de tiempo de salida entre la imagen decodificada de la trama no asociada a predicción en retroceso y la imagen decodificada de la trama de predicción en retroceso se desvíen del intervalo original.

En la codificación, dado que el límite superior del número de tramas de referencia que se ha utilizado se ha determinado de forma preliminar, el número máximo de tramas de referencia utilizado para predicción en retroceso se determina en primer lugar dentro de un rango que no supera el límite superior. A continuación, basándose en la velocidad de tramas utilizada en la codificación, que se ha determinado también de forma preliminar, se calcula el retraso de tiempo máximo como intervalo de tiempo de una trama o dos o más tramas, de acuerdo con el número máximo de tramas de referencia utilizadas para predicción en retroceso.

La figura 2 es un diagrama que muestra un ejemplo de codificación de una trama en la ejecución de una predicción bidireccional. En este caso, esta figura 2 muestra el ejemplo en el que las tramas de referencia utilizadas para la trama actual F2 son dos tramas previas temporalmente F0, F1 antes de la trama actual F2 y dos tramas subsiguientes temporalmente F3, F4, después de la trama actual F2.

En el caso en el que el número máximo de tramas de referencia utilizadas para predicción en retroceso es de 2 y en el caso en el que la velocidad de las tramas es de 15 tramas/segundo, tal como se ha mostrado en la figura 2, el intervalo de tiempo de una trama es 15 tramas/segundo. En este caso, por lo tanto, el tiempo de retraso máximo es de 2 x (1/15) = 2/15 segundo.

En la operación de codificación, se controla la codificación de cada trama a continuación a efectos de no llevar a cabo predicción en retroceso que requiera retraso de tiempo con respecto al tiempo de retraso máximo. De manera específica, una secuencia de codificación de tramas es controlada de manera que cualquier trama de referencia utilizada en predicción de retroceso, es decir, cualquier trama subsiguiente temporalmente después de la trama actual no es codificada y emitida antes de la trama actual con respecto al número máximo de tramas de referencia utilizadas en la predicción en retroceso.

La figura 3 es un diagrama de bloques que muestra un ejemplo de la configuración del aparato de codificación de video utilizado en la presente realización. El aparato de codificación de video 1 mostrado en la figura 3 está formado por un codificador 10 para codificar una trama (imagen) por el procedimiento predeterminado, un controlador (CPU) 15 para controlar los funcionamientos de partes respectivas del aparato de codificación 1, una memoria de tramas 11 dispuesta entre el terminal de entrada 1a y el codificador 10 y un multiplexador 12 dispuesto entre el terminal de salida 1b y el codificador 10. El controlador 15 tiene un calculador 16 del tiempo de retraso máximo para calcular el tiempo de retraso máximo como función del mismo. El codificador 10 está dotado de un tampón de salida 13.

En la codificación de video en el aparato de codificación actual 1 se introducen las condiciones para la codificación de video a través del terminal de entrada 1c. En esta entrada de las condiciones, las condiciones de codificación son seleccionadas en general o introducidas a través de un dispositivo de entrada, tal como un teclado. En la presente realización, de modo específico, las condiciones de codificación introducidas incluyen las dimensiones de una trama como objetivo de codificación, la velocidad de tramas y la velocidad de bits, y además de ello, las condiciones de codificación incluyen una estructura de referencia de predicción del video (si se aplica predicción en retroceso), el número de tramas almacenadas temporalmente y utilizadas como tramas de referencias (correspondientes a la capacidad del tampón de salida 13) y el número de tramas de referencia utilizadas en predicción en retroceso. Estas condiciones pueden ser dispuestas de manera que varían con el tiempo. Las condiciones de codificación introducidas a través del terminal de entrada 1c son almacenadas en el controlador 15.

Con el inicio de la operación de codificación, el controlador 15 envía las condiciones de codificación al codificador 10, de manera que se fijan las condiciones de codificación. Por otra parte, se introduce una trama como objeto codificado a través del terminal de entrada 1a y se alimenta a través de la memoria de tramas 11 al codificador 10 para su codificación en el mismo. La trama de entrada es almacenada temporalmente en la memoria de tramas 11 porque el orden de las tramas se cambia para ejecución de predicción en retroceso. Por ejemplo, en el ejemplo mostrado en la figura 2, la trama F2 es introducida a través del terminal de entrada 1a antes de las tramas F3, F4, pero se codifica después de las tramas F3, F4; por lo tanto, la trama F2 es almacenada temporalmente en la memoria de tramas 11.

El codificador 10 codifica la trama en base al algoritmo de H.26L. A continuación, los datos codificados son alimentados al multiplexador 12 para ser multiplexados con otras informaciones relacionadas y a continuación los datos multiplexados son enviados a través de la terminal de salida 1b. La trama utilizada para la predicción es reproducida en el codificador 10 y es almacenada como trama de referencia para la codificación de la trama siguiente en el tampón 13.

En la presente realización, el calculador 16 de tiempo máximo de retraso del controlador 15 calcula el tiempo máximo de retraso dpb_output_delay, basándose en el número de tramas de referencia y la velocidad de tramas introducida a través del terminal de entrada 1c y utilizada para la predicción en retroceso. Entonces, el multiplexador 12 añade el tiempo de retraso máximo a los datos codificados. Además, también se añade un identificador (N) que indica un turno de visualización para identificación de cada trama, junto con los datos codificados de cada trama.

Es evidente que cuando no se aplica predicción en retroceso, el número de tramas de referencia utilizado es cero y, por lo tanto, el valor de dpb_output_delay es cero.

Se supone que en la presente realización, se añade una sintaxis (“syntax”) para transmitir el tiempo de retraso máximo a la sintaxis de datos codificados en H.26L a efectos de implementar la salida del tiempo de retraso máximo en la codificación y la entrada del tiempo de retraso máximo en la decodificación. En este ejemplo, se añade la

nueva sintaxis en el “Sequence Parameter Set” (Conjunto de Parámetros de Secuencia), siendo una sintaxis a

aplicar a la totalidad de datos codificados.

El parámetro dpb_output_delay se define como sintaxis para llevar a cabo el retraso de tiempo máximo. Se supone en este caso que el parámetro dpb_output_delay utiliza la misma unidad de tiempo utilizada en las otras sintaxis, indicando el tiempo en H.26L y que indica el tiempo de retraso máximo en la unidad de tiempo de 90 kHz. Un numeral indicado en la unidad de tiempo es codificado y transmitido por un código de longitud física no firmado de 32 bits. Por ejemplo, en el caso de que el tiempo de retraso máximo sea 2/15 segundo, tal como se ha descrito, dpb_output_delay es (2/15) x 90000 = 12000.

En la operación de decodificación, el tiempo de retraso máximo soportado por dpb_output_delay es decodificado y un tiempo de salida de una imagen decodificada es retrasado con su utilización.

La figura 4 es un diagrama de bloques que muestra un ejemplo de la configuración del aparato de decodificación de video utilizado en la presente realización. El aparato de decodificación de video 2 mostrado en la figura 4 está formado por el decodificador 20 para decodificar datos codificados para generar una imagen regenerada, un controlador (CPU) 25 para controlar operaciones de partes respectivas en el aparato de decodificación 2, un tampón

5 de entrada 21 dispuesto entre el terminal de entrada 2a y el decodificador 20 y un tampón de salida 22 dispuesto entre el terminal de salida 2b y el decodificador 20. El controlador 25 tiene un calculador de tiempo de salida de imagen 26 para calcular el tiempo de salida para visualizar una trama como función del mismo.

En la decodificación de video, en el presente aparato de decodificación 2, se introducen datos como objeto

10 decodificado con intermedio del terminal de entrada 2a. Estos datos son datos multiplexados de los datos codificados de cada trama codificada por el aparato de codificación 1 mostrado en la figura 3. El tiempo de retraso máximo dpb_output_delay y el identificador (N) indican el turno de visualización de cada trama.

Los datos introducidos son almacenados en el tampón de entrada 21. Cuando una instrucción del controlador 25

15 indica la llegada de un tiempo de decodificación, se introducen datos en una trama desde el tampón de entrada 21 en el decodificador 20 y a continuación son decodificados de acuerdo con el algoritmo de H.26L. La trama regenerada de esta manera es almacenada en el tampón de salida 22. La trama en el tampón de salida 22 es realimentada mediante la línea 22 al decodificador 20 para su utilización como trama de referencia para la decodificación de la trama siguiente.

20 Por otra parte, el tiempo de retraso máximo dpb_output_delay, la velocidad de tramas y el identificador (N) de cada trama decodificada en el decodificador 20 son alimentados al controlador 25. Entonces, el calculador 16 del tiempo de salida de imagen del controlador 25 calcula el tiempo de salida de cada trama a partir de estos datos de acuerdo con la ecuación que se indica a continuación.

To(n) = dpb_output_delay + N intervalo de trama

En esta ecuación, el intervalo de trama es determinado a partir de la velocidad de tramas.

30 Suponiendo que dpb_output_delay es 2/15 segundo y el intervalo de tramas es 1/15 segundo, tal como en el ejemplo mostrado en la figura 2, los tiempos de salida de las respectivas tramas son calculados del modo siguiente de acuerdo con la ecuación anterior.

35 De acuerdo con los tiempos de salida, To(n), obtenidos de esta manera por el controlador 25, las tramas del tampón de salida 22 son emitidas a intervalos constantes hacia el terminal de salida 2b, tal como se ha indicado por las tramas F0, F1, F2 y F3 mostradas en la figura 5B. Si bien no se ha mostrado el terminal de salida 2b está conectado a un dispositivo de visualización, tal como un monitor.

40 Las figuras 5A y 5B son diagramas que muestran (A) decodificación y (B) salida de las tramas en el caso de la predicción bidireccional mostrada en la figura 2. Se supone que en la operación de decodificación, los datos codificados de las tramas son decodificados en el orden necesario para ejecución de la predicción intertramas, los intervalos de los mismos son constantes, de acuerdo con la velocidad de las tramas y el tiempo necesario para la

45 operación de decodificación es despreciable para cada trama, con independencia de si se aplica predicción intertramas y con independencia de las direcciones de la predicción intertramas. En este caso, el tiempo de retraso máximo necesario para ejecución de la predicción en retroceso en la trama con predicción en retroceso es igual a un intervalo de tiempo de una trama o tramas, de acuerdo con el número máximo de tramas de referencia utilizado para la predicción en retroceso. Este tiempo es utilizado como tiempo de retraso máximo por dpb_output_delay. De

50 acuerdo con ello, para emitir una imagen decodificada se retrasa el tiempo de salida de la misma por el tiempo de retraso máximo.

En la práctica, los intervalos de decodificación de las respectivas tramas no son constantes y pueden variar dependiendo de factores tales como la variación de los bits de codificación de las tramas. El tiempo necesario para la operación de decodificación de cada trama puede variar también de acuerdo con que la trama es una trama con predicción en retroceso o de acuerdo con los bits de codificación de cada trama.

Para retrasar el tiempo de salida, por lo tanto, la referencia se ajusta en el tiempo cuando se obtiene la imagen decodificada para la trama F0 no asociada a predicción en retroceso sin retraso debido a predicción en retroceso y sin inversión de órdenes de tiempo de decodificación y tiempos de salida con respecto a cualquier otra trama, tal como se ha mostrado en las figuras 5A y 5B. Es decir, un tiempo obtenido por retraso del tiempo cuando la imagen decodificada ha sido obtenida en el tiempo de retraso máximo anunciado por dpb_output_delay, se define como un tiempo igual al tiempo de salida correlacionado con esta imagen decodificada y se utiliza como tiempo de referencia en la salida de imágenes decodificadas. Las imágenes decodificadas F1-F4 son emitidas posteriormente cuando este tiempo de referencia concuerda con un tiempo igual a un tiempo de salida correlacionado con cada imagen decodificada.

Por ejemplo, en el caso en el que el tiempo de retraso máximo es 2/15 segundo, tal como se ha descrito anteriormente, se obtiene un tiempo con un retraso de 2/15 segundo con respecto al tiempo cuando se ha obtenido la imagen decodificada para la trama no asociada a predicción en retroceso, siendo definido como tiempo igual al tiempo de salida correlacionado con esta imagen decodificada y es utilizado como tiempo de referencia en la emisión de imágenes decodificadas posteriormente.

De acuerdo con las circunstancias, se puede prever que el tiempo de retraso máximo no ha sido anunciado a propósito, a efectos de simplificar la operación de codificación o decodificación. Para estos casos, la sintaxis para anunciar el tiempo de retraso máximo puede ser dispuesta para que sea prescindible con la suposición de que un indicador para indicar la presencia o ausencia de la sintaxis se transmite antes de la sintaxis para transmitir el tiempo de retraso máximo.

En el caso en el que se omite el tiempo de retraso máximo, la operación de codificación puede ser estipulada de forma preliminar, por ejemplo, a efectos de no utilizar la predicción en retroceso o de manera que el número de tramas de referencia utilizado en la predicción en retroceso se pueda alterar opcionalmente dentro del rango que no excede el límite superior del número de tramas de referencia.

La operación de decodificación puede ser configurada para llevar a cabo en conformidad con la estipulación en la operación de codificación, por ejemplo, cuando no se aplica la predicción en retroceso, no tiene lugar retraso necesario para la ejecución de predicción en retroceso, o bien la operación de decodificación puede ser configurada también de manera que el número de tramas de referencia utilizado en la predicción en retroceso se puede alterar opcionalmente dentro del rango que no supera el límite superior del número de tramas de referencia, es decir, el tiempo de retraso puede ser muy largo. En este caso, la operación de decodificación puede ser configurada para llevar a cabo siempre el proceso suponiendo un tiempo de retraso máximo esperado, o bien la operación de decodificación puede ser configurada para permitir la variación de intervalos de tiempo de salida de imágenes decodificadas y llevar a cabo un proceso simplificado sin consideración del tiempo de retraso de cada trama.

La presente realización ha sido descrita con la suposición de que las operaciones fueron implementadas basándose en H.26L, pero se observará que los procedimientos de codificación de video a los que se puede aplicar la presente invención no están limitados a H.26L y que la presente invención se puede aplicar a varios procedimientos de codificación de video utilizando la predicción intertramas en retroceso.

En la presente realización, la sintaxis por códigos de longitud fija fue añadida como sintaxis para transmitir el tiempo de retraso máximo en el Conjunto de Parámetros de Secuencia, pero se observará que los códigos y sintaxis para su transmisión, o la unidad de tiempo para expresar el tiempo de retraso máximo, no están (desde luego) limitados a estos. Los códigos de longitud fija pueden ser sustituidos por códigos de longitud variable y el tiempo de retraso máximo puede ser transmitido por cualquiera de varias sintaxis que pueden traspasar información a aplicar a la totalidad de datos codificados.

Por ejemplo, en H.26L se puede añadir una sintaxis en el Mensaje de Información para Ampliación Suplementaria (“Supplemental Enhancement Information Message”). En un caso con utilización de otro procedimiento de codificación de video, el tiempo de retraso máximo puede ser transmitido por una sintaxis para transmitir la información a aplicar a todos los datos codificados en el procedimiento de codificación pertinente. En otro caso, el tiempo de retraso máximo puede ser transmitido también por fuera de los datos codificados en el procedimiento de codificación de video como una recomendación H.245 de ITU-T utilizada para transferir información de control en comunicación utilizando H.263.

(Segunda realización)

La segunda realización de la presente invención se describirá a continuación. La presente realización describirá una realización de codificación a velocidades de tramas variables. Las operaciones en la codificación y decodificación, de acuerdo con la presente realización, son básicamente iguales en su mayor parte a las de la primera realización. Dado que la presente realización utiliza velocidades de tramas variables, comporta una operación a velocidades de tramas bajas para evitar la ejecución de la predicción en retroceso que requiere un tiempo de retraso sobre el tiempo de retraso máximo calculado preliminarmente en añadidura a la operación de codificación en la primera realización, a efectos de prevenir que el intervalo de tiempo de salida entre la imagen decodificada de la trama no asociada a predicción en retroceso y la imagen decodificada de la trama de predicción en retroceso se desvíen del intervalo original incluso con variación de velocidades de tramas.

Dado que en la operación de codificación, el límite superior de tramas de referencia está determinado de forma preliminar, el número máximo de tramas de referencia utilizado para predicción en retroceso se determina en primer lugar no superando su rango el límite superior. A continuación, se determina el intervalo de tiempo de trama máximo basándose en la velocidad de tramas objetivo preliminarmente determinado en el control de las velocidades de bits de codificación y se calcula el tiempo de retraso máximo como el intervalo de tiempo de una trama o dos o más tramas de acuerdo con el número máximo de tramas de referencia utilizado en predicción en retroceso y en intervalo de tiempo de tramas máximo.

En la operación de codificación, la codificación de cada trama posterior se controla a efectos de evitar la predicción en retroceso que requiere un tiempo de retraso más allá del tiempo de retraso máximo. De manera específica, el orden de codificación de tramas es comprobado a efectos de impedir cualquier trama de referencia utilizada en predicción, es decir, cualquier trama subsiguiente temporalmente después de la trama actual que va más allá del número máximo de tramas de referencia utilizado en predicción en retroceso que sea codificada y emitida antes de la trama actual.

Además, cuando la velocidad de tramas de codificación resulta temporalmente pequeña a causa del control de las velocidades de bits de codificación a efectos de hacer el intervalo de tiempo de tramas en este caso superior al intervalo de tiempo de tramas máximo, se controla la codificación de cada trama a efectos de no aplicar predicción en retroceso a la codificación de la trama en este caso.

La presente realización es sustancialmente idéntica a la primera realización por el hecho de que el tiempo de retraso máximo es emitido en la codificación, en el que la sintaxis dpb_output_delay para transmitir el tiempo de retraso máximo es añadida a la sintaxis de datos codificados para efectuar la entrada del mismo en la decodificación y en la definición de la sintaxis.

En la presente realización, la operación de decodificación está dispuesta para decodificar el tiempo de retraso máximo anunciado por dpb_output_delay y retrasar el tiempo de salida de la imagen decodificada por su utilización. Este proceso es también el mismo que en la primera realización.

(Tercera realización)

La tercera realización de la presente invención se describirá a continuación. La presente realización describirá una forma realizada en la que el tiempo de retraso máximo es anunciado finalmente para cada trama y, por lo tanto, es recambiable de manera flexible. Las operaciones de codificación y decodificación, de acuerdo con la presente realización, son básicamente similares a las de la primera realización o segunda realización.

En la presente realización, la sintaxis dpb_output_delay para transmitir el tiempo de retraso máximo, que fue definido en la primera realización, está dispuesta para su añadidura al Conjunto de Parámetros de Imagen siendo una sintaxis que lleva la información aplicada a cada trama en vez de una sintaxis para llevar la información aplicada en la totalidad de datos codificados. La sintaxis dpb_output_delay en el presente caso es configurado para indicar el tiempo de retraso máximo en la unidad de tiempo de 90 kHz, igual que en el caso de la primera realización y un numeral expresado en unidad de tiempo es codificado y transmitido por un código de longitud fija no señalizado de 32 bits.

La presente realización es básicamente igual a la primera realización en cuanto al cálculo del tiempo de retraso máximo en la codificación y en cuanto al retraso del tiempo de salida de la imagen decodificada por utilización del tiempo de retraso máximo en la decodificación. Las configuraciones del aparato de codificación de video y del aparato de decodificación de video, utilizados en la presente realización, son iguales en su mayor parte a las mostradas en las figuras 3 y 4 referentes a la primera realización.

Se explicará la forma de determinar el tiempo de retraso máximo dpb_output_delay de cada trama en la presente realización. En el aparato de codificación 1 mostrado en la figura 3, el controlador 15 calcula el tiempo de retraso (D) debido a la predicción en retroceso por el procedimiento descrito en la primera realización y determina el tiempo de codificación Tr(n) de cada trama. Cuando se introduce un tiempo de visualización Tin(n) de cada trama a partir de la memoria de tramas 11, dpb_output_delay(n) de dicha trama se calcula de la manera siguiente.

El valor de dpb_output_delay es correlacionado con la trama pertinente y es multiplexado en el multiplexador 12.

En la presente realización, el tiempo Tr(n) para la codificación de cada trama es codificado también conjuntamente. Tomando la figura 2 como ejemplo, D=2/15 segundo y Tin(n)= 0, 1/15, 2/15, 3/15 ó 4/15 (n = 0, 1,2, 3 ó 4). Dado el cambio en el orden de codificación Tr(n) pasa a ser como sigue: Tr(n) = 0, 1/15, 4/15, 2/15 ó 3/15 (n = 0, 1, 2, 3 ó 4). En este caso, dpb_output_delay(n) de cada trama se obtiene de la manera siguiente.

10 Por otra parte, en el aparato de decodificación 2 mostrado en la figura 4, el decodificador 20 envía dpb_output_delay(n) y Tr(n) de cada trama al controlador 25 y el controlador 25 calcula el tiempo de salida To(n) de cada trama en base a la ecuación siguiente.

Tomando la figura 2 como ejemplo, To(n) para cada trama se calcula de la manera siguiente, de acuerdo con la definición anterior basándose en Tr(n) = 0, 1/15, 4/15, 2/15 ó 3/15 (n = 0, 1, 2, 3 ó 4) y dpb_output_delay(n) = 2/15,2/15,0,3/15 ó 3/15 (n = 0, 1, 2, 3 ó 4).

Es decir, todas las imágenes son visualizadas con retraso de 2/15 segundo y a intervalos constantes en el monitor. Es evidente que cuando no se aplica la predicción en el proceso, el número de tramas de referencia utilizadas para ello es cero y, por lo tanto, el valor de dpb_output_delay(n) es cero.

Dado que el tiempo de retraso máximo define el tiempo de referencia en la salida de las imágenes decodificadas del tiempo en el que se capta la imagen decodificada de la trama no asociada a predicción en retroceso, es suficiente transmitir el tiempo de retraso máximo solamente para la trama no asociada a la predicción en retroceso. Por lo tanto, es posible utilizar, por ejemplo, una configuración en la que la sintaxis para transmisión del tiempo de retraso máximo es dispuesta de forma prescindible bajo la suposición de que un indicador que indica la presencia o ausencia de la sintaxis es transmitido anteriormente al mismo. La sintaxis puede ser dispuesta también de manera que sea opcionalmente prescindida para la trama no asociada a la predicción en retroceso a condición de que el tiempo de retraso máximo transmitido anteriormente sea aplicado en el caso en que no se transmite el tiempo de retraso máximo.

La sintaxis para cada trama de la presente realización puede ser utilizada también simultáneamente con la sintaxis para la totalidad de datos codificados, tal como se han definido en la primera realización. En este caso, la sintaxis para cada trama puede ser omitida, a condición de que se transmita un indicador que indica la presencia o ausencia de la sintaxis antes del mismo, tal como se ha descrito anteriormente. El tiempo de retraso máximo transmitido en la sintaxis para la totalidad de datos codificados es aplicado de manera continua antes de que el tiempo de retraso máximo sea transmitido en la sintaxis para cada trama. Después de haber sido actualizado por la sintaxis para cada trama, el retraso de tiempo basado en aquel es utilizado como tiempo de referencia en la emisión de cualquier imagen decodificada posteriormente.

La presente realización fue descrita suponiendo que se materializaba basándose en H.26L, pero se observará, los procedimientos de codificación de video, a los que se puede aplicar la presente invención, no están limitados a H.26L y que la invención puede ser aplicada a varios procedimientos de codificación de video utilizando la predicción intertramas en retroceso.

En la presente realización, la sintaxis para la transmisión del tiempo de retraso máximo fue la sintaxis por códigos de longitud fija añadido al Conjunto de Parámetros de Imagen y es evidente que los códigos y la sintaxis para su transmisión o la unidad de tiempo para la expresión del tiempo de retraso máximo no están, desde luego, limitados a aquellos. Los códigos de longitud fija pueden ser sustituidos por códigos de longitud variables y el tiempo de retraso máximo puede ser anunciado en cualquiera de varias sintaxis capaces de anunciar la información a aplicar a cada trama.

Por ejemplo, la sintaxis puede ser añadida al Mensaje de Información de Ampliación Suplementaria en H.26L. Cuando se aplica otro procedimiento de codificación de video es posible utilizar una sintaxis para anunciar la información a aplicar en cada trama en el procedimiento de codificación pertinente. Además, la información puede ser también anunciada fuera de los datos codificados en el procedimiento de codificación de video como una recomendación H.245 de ITU-T utilizada para anunciar información de control en la comunicación que utiliza H.263.

El procedimiento de codificación de video, el procedimiento de decodificación de video, el aparato de codificación de video, el aparato de decodificación de video, el sistema de proceso de video, el programa de codificación de video y el programa de decodificación de video, de acuerdo con la presente invención, proporcionan el efecto siguiente que se ha detallado anteriormente. Es decir, cuando una imagen móvil, que consiste en una serie de tramas, es codificada por la predicción intertramas en retroceso a emitir, resulta factible conseguir la emisión de imágenes decodificadas en intervalos de tiempo apropiados cuando se utiliza la predicción intertramas en retroceso por el procedimiento de codificación de video, aparato de codificación y programa de codificación configurados para emitir el tiempo de retraso máximo debido a la predicción en retroceso, el procedimiento de decodificación de video, aparato de decodificación y programa de decodificación configurados para llevar a cabo la entrada del tiempo de retraso máximo y el sistema de proceso de video que los utiliza.

Particularmente, a diferencia de la técnica anterior, los tiempos de salida no son valores absolutos, sino valores relativos del tiempo de decodificación Tr; por lo tanto, la invención proporciona el efecto de capacidad de describir de manera precisa y transmitir el valor del tiempo de retraso máximo dpb_output_delay por un número reducido de bits, incluso en el caso en el que la velocidad de tramas es variable. Incluso si el tiempo de decodificación Tr tiene un desplazamiento o no se ha recibido, se emitirá una imagen correspondiente con un retraso de dpb_output_delay con respecto al tiempo de terminación de la decodificación, presentando la ventaja de que se emiten imágenes a intervalos correctos.

Claims (14)

1. REIVINDICACIONES

   1.

   Procedimiento de codificación de video que comprende: una etapa de entrada de efectuar la entrada de una trama como objetivo de codificación; una etapa de codificación de codificación de la trama por un procedimiento predeterminado para generar datos codificados caracterizado porque comprende además; una etapa de cálculo del tiempo de retraso máximo para calcular el tiempo de retraso máximo de la trama desde el tiempo de visualización de la trama, un tiempo de codificación y un tiempo de retraso que tiene lugar por la predicción en retroceso (“backward prediction”), basándose en el número de tramas de referencia utilizadas en la predicción en retroceso y la velocidad de tramas de codificación, por cálculo del tiempo máximo de retraso al restar el tiempo de codificación de la suma del tiempo de visualización y el tiempo de retraso que tiene lugar por predicción en retroceso; y una etapa de salida que efectúa la salida del tiempo de retraso máximo conjuntamente con los datos codificados.

2. 2.

   Procedimiento de decodificación de video que comprende: una etapa de entrada para efectuar la entrada de datos de imagen que contienen datos codificados de una trama codificada por un procedimiento predeterminado, un tiempo de decodificación de la trama y un tiempo de retraso máximo; una etapa de decodificación para decodificar los datos codificados para generar una imagen regenerada; y una etapa de cálculo del tiempo de salida de imagen para calcular, para una trama no asociada a predicción en retroceso, un tiempo de salida para la visualización de la trama no asociada a la predicción en retroceso por retraso del tiempo de decodificación por el tiempo de retraso máximo, calculando el tiempo de salida añadiendo el tiempo de codificación al tiempo de retraso máximo.

3. 3.

   Aparato de codificación de video que comprende: medios de entrada para llevar a cabo la entrada de una trama como objetivo de codificación; medios de codificación para codificar la trama por un procedimiento predeterminado para generar datos codificados, caracterizado por comprender además; medios de cálculo del tiempo de retraso máximo para calcular el tiempo de retraso máximo de la trama con respecto a un tiempo de visualización de la trama, un tiempo de codificación y un tiempo de retraso que tiene lugar por la predicción en retroceso, basándose en el número de tramas de referencia utilizadas en la predicción en retroceso y la velocidad de tramas de codificación, calculando el tiempo de retraso máximo al restar el tiempo de codificación de la suma del tiempo de visualización y el tiempo de retraso que tiene lugar por predicción en retroceso; y medios de salida para llevar a cabo la salida del tiempo de retraso máximo junto con los datos codificados.

4. 4.

   Aparato de codificación de video, según la reivindicación 3, en el que dicho tiempo de retraso máximo es definido como diferencia de tiempo entre el tiempo de aparición de una trama a someter a predicción intertramas en retroceso y el tiempo de aparición de una trama temporalmente más alejada que puede ser utilizada como trama de referencia en la predicción en retroceso.

5. 5.

   Aparato de codificación de video, según la reivindicación 3, en el que el tiempo de retraso máximo es emitido como información a aplicar a la totalidad de datos codificados.

6. 6.

   Aparato de codificación de video, según la reivindicación 3, en el que el tiempo de retraso máximo es emitido como información a aplicar a cada trama.

7. 7.

   Aparato de codificación de video, según la reivindicación 3, en el que el tiempo de retraso máximo es emitido opcionalmente como información a aplicar a una trama para la que el tiempo de retraso máximo es transmitido y a cada trama subsiguiente temporalmente después de dicha trama.

8. 8.

   Aparato de decodificación de video que comprende: medios de entrada para llevar a cabo la introducción de datos de imagen que contienen datos codificados de una trama codificada por un procedimiento predeterminado, un tiempo de decodificación de la trama y un tiempo de retraso máximo; medios de decodificación para decodificar los datos codificados para generar una imagen regenerada; y medios de cálculo del tiempo de salida de la imagen para calcular, para una trama no asociada a predicción en retroceso, un tiempo de salida para la visualización de la trama no asociada a predicción en retroceso, por retraso del tiempo de decodificación por el tiempo de retraso máximo, calculando el tiempo de salida añadiendo el tiempo de codificación al tiempo de retraso máximo.

9. 9.

   Aparato de decodificación de video, según la reivindicación 8, en el que el tiempo de retraso máximo es definido como diferencia de tiempo entre un tiempo de decodificación de una trama sin inversión de órdenes de tiempos de decodificación y tiempos de salida con respecto a cualquier otra trama y un tiempo de salida de una imagen decodificada correlacionada con dicha trama.

10. 10.

    Aparato de decodificación de video, según la reivindicación 8, en el que el tiempo de retraso máximo es introducido como información a aplicar a la totalidad de datos codificados.

11. 11.

    Aparato de decodificación de video, según la reivindicación 8, en el que el tiempo de retraso máximo es introducido como información a aplicar a cada trama.

12. 12.

    Aparato de codificación de video, según la reivindicación 8, en el que el tiempo de retraso máximo es introducido opcionalmente como información a aplicar a una trama para la que el tiempo de retraso máximo es transmitido y a cada trama subsiguiente temporalmente después de dicha trama.

13. 13.

    Programa de codificación de video para hacer que un ordenador ejecute: un proceso de entrada de efectuar la entrada de una trama como objetivo de codificación; un proceso de codificación para codificar la trama por un procedimiento predeterminado para generar datos codificados; un proceso de cálculo del tiempo de retraso máximo para calcular el tiempo de retraso máximo de la trama desde el tiempo de la visualización de la trama, un tiempo de codificación y un tiempo de retraso que tiene lugar por la predicción en retroceso, basándose en el número de tramas de referencia utilizadas en la predicción en retroceso y la velocidad de tramas de codificación, calculando el tiempo de retraso máximo al restar el tiempo de codificación de la suma del tiempo de visualización y el tiempo de retraso que tiene lugar por predicción en retroceso; y un proceso de salida para llevar a cabo la salida del tiempo de retraso máximo junto con los datos codificados.

14. 14.

    Programa de decodificación de video para hacer que un ordenador ejecute: un proceso de entrada de efectuar la entrada de datos de imagen que contienen datos codificados de una trama codificada por un procedimiento predeterminado, un tiempo de decodificación de la trama y un tiempo de retraso máximo; un proceso de decodificación para decodificar los datos codificados para generar una imagen regenerada; y un proceso del cálculo del tiempo de salida de la imagen para calcular, para una trama no asociada a predicción en retroceso, un tiempo de salida para la visualización de la trama no asociada a la predicción en retroceso, por retraso del tiempo de decodificación por el tiempo de retraso máximo, calculando el tiempo de salida añadiendo el tiempo de codificación al tiempo de retraso máximo.