ES2892283T3

ES2892283T3 - Señalización de imágenes de referencia

Info

Publication number: ES2892283T3
Application number: ES18178762T
Authority: ES
Inventors: Jonathan Samuelsson; Rickard Sjöberg
Original assignee: Telefonaktiebolaget LM Ericsson AB
Current assignee: Telefonaktiebolaget LM Ericsson AB
Priority date: 2011-06-30
Filing date: 2012-04-26
Publication date: 2022-02-03
Anticipated expiration: 2032-04-26
Also published as: BR112013033191B1; RU2014102959A; US20170041633A1; CA2967452A1; EP3902258A1; KR20140053117A; RU2595562C2; MA35202B1; JP2015015756A; AU2012276348C1; RU2765751C2; DK3229474T3; PL3410725T3; EP2727342A1; TR201901275T4; US20130215975A1; US10063882B2; ZA201309396B; CA2840349A1; US11770552B2

Abstract

Método de descodificación de una representación codificada (60) de una imagen (10) de un flujo continuo (1) de vídeo de múltiples imágenes (10, 40, 42, 50), comprendiendo dicho método: recuperar (S30) información de descripción de memoria intermedia que define por lo menos una imagen (40, 42) de referencia a partir de una estructura de datos incluida en dicha representación codificada (60) de dicha imagen (10); determinar (S31), sobre la base de dicha información de descripción de memoria intermedia, por lo menos un identificador de imagen que identifica una imagen (40, 42) de referencia entre dicha por lo menos una imagen (40, 42) de referencia como referencia de descodificación para dicha imagen (10); y actualizar (S32) una memoria intermedia (530, 650) de imágenes descodificadas basándose en dicho por lo menos un identificador de imagen marcando (S70) como no utilizada para referencia todas las imágenes de referencia presentes en dicha memoria intermedia (530, 650) de imágenes descodificadas y que no están asociadas a ninguno de dicho por lo menos un identificador de imagen determinado sobre la base de dicha información de descripción de memoria intermedia; y descodificar (S33) dicha imagen (10) basándose en dicha representación codificada (60) de dicha imagen (10) y por lo menos una imagen (40, 42) de referencia presente en dicha memoria intermedia (530, 650) de imágenes descodificadas, en donde la descodificación de dicha imagen (10) se realiza después de actualizar dicha memoria intermedia (530, 650) de imágenes descodificadas, caracterizado por que dicha información de descripción de memoria intermedia define dicha por lo menos una imagen (40, 42) de referencia de una manera absoluta y explícita por medio de dicha representación codificada (60) de dicha imagen (10) que contiene en dicha estructura de datos la información sobre qué imagen de referencia utilizar para referencia durante la descodificación, independientemente de la representación codificada de imágenes previas en el flujo continuo de vídeo, y en donde la determinación (S31) de dicho al menos un identificador de imagen que identifica una imagen de referencia (40, 42) comprende: recuperar (S40), basándose en dicha información de descripción de la memoria intermedia, un identificador delta respectivo y calcular (S41) dicho al menos un identificador de imagen que identifica una imagen de referencia (40, 42); basándose en un identificador de imagen que identifica dicha imagen (10) y dicho identificador delta respectivo.

Description

DESCRIPCIÓN

Señalización de imágenes de referencia

Campo técnico

Las realizaciones se refieren, en general, a la gestión de imágenes de referencia en relación con la codificación y la descodificación de vídeo, y, en particular, a la señalización de imágenes de referencia y a la gestión de memorias intermedias de dichas imágenes de referencia.

Antecedentes

La H.264, a la que también se hace referencia como Codificación de Vídeo Avanzada (AVC) del Grupo de Expertos en Imágenes en Movimiento 4 (MPEG-4), es la norma de codificación de vídeo del estado de la técnica. Consiste en un esquema de codificación híbrida de vídeo, basada en bloques, que se aprovecha de la predicción temporal y espacial.

La Codificación de Vídeo de Alta Eficiencia (HEVC) es una nueva norma de codificación de vídeo que se está desarrollando actualmente en la Codificación de Vídeo - Grupo Cooperativo Mixto (JCT-VC). El JCT-VC es un proyecto de colaboración entre el MPEG y el sector de normalización de Telecomunicación de la Unión Internacional de Telecomunicaciones (ITU-T). En la actualidad, hay definido un Borrador de Trabajo (WD) que incluye macrobloques grandes (abreviados como LCUs, por Unidades de Codificación Más Grandes) y una serie de otras herramientas nuevas, y el mismo es considerablemente más eficiente que la H.264/AVC.

En un receptor, un descodificador recibe un flujo continuo de bits que representa imágenes, es decir, paquetes de datos de vídeo de datos comprimidos. Los datos comprimidos comprenden carga útil e información de control. La información de control comprende, por ejemplo, información sobre qué imágenes de referencia se deben almacenar en una memoria intermedia de imágenes de referencia, a la que se conoce también como memoria intermedia de imágenes descodificadas (DPB). Esta información es una referencia relativa a imágenes recibidas anteriores. Además, el descodificador descodifica el flujo continuo de bits recibido y visualiza la imagen descodificada. Adicionalmente, las imágenes descodificadas se almacenan en la memoria intermedia de imágenes descodificadas de acuerdo con la información de control. Estas imágenes de referencia almacenadas son utilizadas por el descodificador cuando se descodifican imágenes subsiguientes.

Una suposición de trabajo para los procesos de las operaciones de la memoria intermedia de imágenes descodificadas en el borrador de trabajo de la HEVC es que los mismos se heredarán en gran medida de la H.264/AVC. En la Figura 1 se muestra un diagrama de flujo simplificado del esquema según está diseñado en la H.264/AVC.

Antes de la descodificación real de una imagen, el frame_num en el encabezamiento de franja (slice) se analiza sintácticamente para detectar un posible vacío en frame_num si el elemento de sintaxis del Conjunto de Parámetros de Secuencia (SPS) gaps_in_frame_num_value_allowed_flag es 1. El frame_num indica el orden de descodificación. Si se detecta un vacío en frame_num, se crean cuadros “no existentes” y los mismos se introducen en la memoria intermedia de imágenes descodificadas (DPB).

Independientemente de si había o no un vacío en frame_num, la siguiente etapa es la descodificación real de la imagen actual. Si los encabezamientos de franja de la imagen contienen órdenes de Operaciones de Control de Gestión de Memoria (MMCO), se aplica un proceso de control de memoria adaptativo después de la descodificación de la imagen para obtener una referencia relativa a las imágenes que se van a almacenar en la memoria intermedia de imágenes descodificadas; en caso contrario, se aplica un proceso de ventana deslizante para obtener una referencia relativa a las imágenes a almacenar en la memoria intermedia de imágenes descodificadas. Como etapa final, se aplica el proceso de “lanzamiento” (“bumping”) para entregar las imágenes en el orden correcto.

Un problema de la H.264/AVC es su vulnerabilidad a las pérdidas de imágenes que contienen MMCO de tipo 2, 3, 4, 5 o 6 según se describe en la siguiente Tabla 1.

Tabla 1 - Valores de operaciones de control de gestión de memoria para H.264/AVC

Evidentemente, la pérdida de una imagen que no contiene MMCO, o una imagen que contiene MMCO de tipo 0 ó 1, es seria para el proceso de descodificación. Los valores de píxeles de la imagen perdida no estarán disponibles y pueden afectar a imágenes futuras durante un período de tiempo prolongado debido a una predicción inter incorrecta. También existe un riesgo de que las listas de imágenes de referencia para unas cuantas imágenes después de la imagen perdida sean erróneas, por ejemplo si la imagen perdida contenía MMCO que marcaban una imagen de referencia de corto plazo como “no utilizada para referencia” que, de otro modo, se habría incluido en la lista de imágenes de referencia de la siguiente imagen. Sin embargo, el proceso de descodificación en general puede recuperar dicha pérdida mediante el uso de franjas intra o bloques intra restringidos o por otros medios. No obstante, si se pierde una imagen que contiene MMCO de tipo 2, 3, 4, 5 ó 6, existe un riesgo de que el número de imágenes de largo plazo en la DPB sea diferente de lo que habría sido si la imagen se hubiera recibido, lo que da como resultado un proceso de ventana deslizante “incorrecto” para todas las imágenes sucesivas. Es decir, el codificador y el descodificador contendrán un número diferente de imágenes de corto plazo lo cual da como resultado un comportamiento del proceso de ventana deslizante fuera de sincronización. Esta pérdida no se puede recuperar por el uso de franjas intra, bloques intra restringidos, o técnicas similares (ni siquiera una imagen Intra del Grupo De Imágenes (GOP) abierto). La única manera de garantizar la recuperación de dicha pérdida es a través de una imagen por Regeneración Instantánea del Descodificador (IDR) o a través de una MMCO que anule el efecto de la MMCO perdida. Lo que empeora todavía más la situación es que un descodificador no tendrá conocimiento necesariamente de que el proceso de ventana deslizante está fuera de sincronización y, por lo tanto, no puede informar del problema al codificador o solicitar una imagen de IDR ni siquiera en aplicaciones en las que haya disponible un canal de retroalimentación.

Una forma de reducir el riesgo de perder información importante de MMCO es utilizar mensajes de Información de Mejora Suplementaria (SEI) dec_ref_pic_marking_repetition. Sin embargo, el codificador no sabrá si el descodificador tiene la capacidad de hacer uso de mensajes de SEI dec_ref_pic_marking_repetition. Además, existe un riesgo de que también se pierda el mensaje de SEI dec_ref_pic_marking_repetition. Borgwardt, Multi-Picture Buffer Semantics for Interlaced Coding, Equipo Mixto de Video (JVT) de ISO/IEC MPEG & ITU-T v Ev G (ISO/IEC JTC1/SC29/wG11 e ITU-T SG166 Q.6), 3a Reunión: Fairfax, Virginia, Estados Unidos, del 6-10 de mayo de 2002, JVT-C049, da a conocer la revisión de la Memoria Intermedia de Múltiples Imágenes en el JVT de manera que pueda almacenar tanto cuadros como campos y tratar con referencias de ambos.

Buffer requirement analysis and reference picture marking for temporal scalable video coding, de Shen et al., Packet Video 2007, IEEE, 1 de noviembre de 2007, páginas 91-97, analiza el requisito de memoria intermedia mínimo para una codificación escalable temporal usando una estructura denominada de codificación jerárquica de imágenes B. Por lo tanto, existe la necesidad de una señalización eficiente de imágenes de referencia y de una gestión eficiente de memorias intermedias de imágenes de referencia, que no padezcan los inconvenientes y limitaciones de soluciones de la técnica anterior.

Compendio

Uno de los objetivos generales es proporcionar una señalización eficiente de imágenes de referencia y una gestión eficiente de memorias intermedias de imágenes de referencia en relación con la codificación y descodificación de vídeo.

Este y otros objetivos se logran con realizaciones dadas a conocer en este documento.

Un aspecto de las realizaciones se refiere a un método de descodificación de acuerdo con las reivindicaciones independientes. Otro aspecto de las realizaciones define un descodificador de acuerdo con las reivindicaciones independientes.

Todavía un aspecto adicional se refiere a un receptor de acuerdo con las reivindicaciones independientes.

En clara contraposición a las soluciones de la técnica anterior en las cuales la gestión correcta de las imágenes de referencia depende de que las imágenes previamente codificadas se hayan recibido y descodificado correctamente, las realizaciones proporcionan información de descripción de memoria intermedia que se utiliza para imágenes de referencia de una manera absoluta y explícita en lugar de una manera relativa o implícita. Por lo tanto, la representación codificada de una imagen contiene la información sobre qué imágenes de referencia utilizar como referencia durante la descodificación con independencia de las representaciones codificadas de imágenes previas en el flujo continuo de vídeo.

Las realizaciones consiguen, de esta manera, que la gestión y la señalización de imágenes de referencia sean menos vulnerables a errores puesto que el descodificador solamente tendrá que basarse en información contenida en la imagen actual para la gestión de imágenes de referencia de la imagen actual, en lugar de basarse en operaciones de memoria intermedia entregadas e interpretadas correctamente en imágenes previas.

Tal como ya se mencionó, la invención está dirigida al método final de descodificación y aparatos definidos por las reivindicaciones independientes y dados a conocer, entre otros, en la figura 10 (inherentemente a considerar junto con la figura 9) y en los pasajes correspondientes de la descripción.

En aras de la simplicidad, la expresión "realización" se usa en la descripción también cuando se hace referencia a métodos y aparatos del lado de codificación así como cuando se proporciona una enseñanza más general relativa al lado de descodificación que no cae dentro del alcance de las reivindicaciones adjuntas. En estas situaciones, la expresión "realización" debe interpretarse en el sentido de "ejemplo" o "divulgación adicional".

Breve descripción de los dibujos

La invención, junto con otros objetos y ventajas de la misma, puede entenderse mejor haciendo referencia a la siguiente descripción considerada conjuntamente con los dibujos adjuntos, en los cuales:

La Figura 1 es un diagrama de flujo simplificado del esquema de memoria intermedia de referencias H.264/AVC;

la Figura 2 es un ejemplo de una estructura de codificación con dos capas temporales;

la Figura 3 es un diagrama de flujo de un método de codificación de una imagen de acuerdo con una realización;

la Figura 4 es un flujo continuo de vídeo de múltiples imágenes de acuerdo con una realización;

la Figura 5 es una representación codificada de una imagen de acuerdo con una realización;

la Figura 6 es un diagrama de flujo de una etapa adicional, opcional, del método de la Figura 3;

la Figura 7 es un diagrama de flujo de etapas opcionales adicionales del método de la Figura 3 y una realización de generación de información de descripción de memoria intermedia de la Figura 3;

la Figura 8 es un ejemplo de una estructura de codificación con tamaño de (sub)GOP 8;

la Figura 9 es un diagrama de flujo de un método de descodificación de una representación codificada de una imagen de acuerdo con una realización;

la Figura 10 es un diagrama de flujo de una realización de determinación de un identificador de imagen de la Figura 9;

la Figura 11 es un diagrama de flujo de una realización de recuperación de información de descripción de memoria intermedia de la Figura 9;

la Figura 12 es un diagrama de flujo de otra realización de la determinación de un identificador de imagen de la Figura 9;

la Figura 13 es un diagrama de flujo de etapas opcionales adicionales del método de la Figura 9;

la Figura 14 es un diagrama de flujo de una etapa adicional, opcional, del método de la Figura 9;

la Figura 15 es un ejemplo de una estructura de codificación;

la Figura 16 es un diagrama de flujo simplificado de un esquema de memoria intermedia de referencias de acuerdo con una realización;

la Figura 17 es un diagrama de bloques esquemático de un transmisor de acuerdo con una realización; la Figura 18 es un diagrama de bloques esquemático de un codificador de acuerdo con una realización; la Figura 19 es un diagrama de bloques esquemático de un codificador de acuerdo con otra realización; la Figura 20 es un diagrama de bloques esquemático de un receptor de acuerdo con una realización;

la Figura 21 es un diagrama de bloques esquemático de un descodificador de acuerdo con una realización; y la Figura 22 es un diagrama de bloques esquemático de un descodificador de acuerdo con otra realización.

Descripción detallada

En la totalidad de los dibujos, se utilizan los mismos números de referencia para elementos similares o correspondientes.

Las presentes realizaciones se refieren, en general, a la codificación y descodificación de imágenes, a las que se hace referencia también en la técnica como cuadros, de un flujo continuo de vídeo. En particular, las realizaciones se refieren a la gestión de imágenes de referencia en relación con la codificación y descodificación de vídeo, y a la señalización de dichas imágenes de referencia desde el codificador al descodificador.

La codificación de vídeo, tal como la representada por la H.264/MPEG-4 AVC y HEVC, utiliza imágenes de referencia como predicciones o referencias para la codificación y descodificación de datos de píxeles de una imagen actual. A esto se le hace referencia, generalmente, como codificación inter en la técnica, en donde una imagen se codifica y se descodifica en relación con dichas imágenes de referencia. Por lo tanto, con el fin de poder descodificar una imagen codificada, el descodificador tiene que conocer qué imágenes de referencia utilizar para la imagen codificada actual y tiene que tener acceso a estas imágenes de referencia. Generalmente, el descodificador utiliza una memoria intermedia de imágenes descodificadas (DPB), también denominada, en la presente, memoria intermedia de imágenes de referencia, para almacenar las imágenes de referencia. Es entonces importante que las imágenes de referencia almacenadas en la memoria intermedia de imágenes descodificadas sean realmente las imágenes de referencia correctas cuando se descodifica una imagen codificada, si no el descodificador utilizará imágenes de referencia erróneas durante el proceso de descodificación provocando un deterioro de la calidad del vídeo presentado.

Los planteamientos de la técnica anterior pueden padecer problemas en relación con el uso de imágenes de referencia incorrectas cuando una imagen portadora de información MMCO se pierde de manera no intencionada, lo cual se describió en la sección de antecedentes. Este problema de la técnica anterior se puede ilustrar con el siguiente ejemplo implementado en H.264. Supóngase que la memoria intermedia de imágenes descodificadas almacena tres imágenes de corto plazo con identificadores de imagen 300, 302 y 303 y dos imágenes de largo plazo con identificadores de imagen 0 y 3. El codificador podría, entonces, generar una nueva imagen codificada con una orden MMCO de tipo 2 estableciendo que la imagen de largo plazo 0 debe ser: no utilizada para referencia. Si esta imagen codificada se hubiese recibido correctamente en el descodificador, la imagen de largo plazo 0 se habría marcado como no utilizada para referencia, y la lista de imágenes de referencia habría sido {300, 302, 303, 3}. Sin embargo, si se pierde la imagen codificada con la orden MMCO de tipo 2, al descodificador no se le informa de que la imagen de largo plazo 0 se debe marcar como no utilizada para referencia, y, por lo tanto, la lista de imágenes de referencia es en cambio {300, 302, 303, 0, 3}. Si una imagen codificada sucesiva recibida en el descodificador comprende información de que la imagen de referencia en la posición 3 de la lista de imágenes de referencia se va a usar como predicción para un macrobloque en la imagen, se producirá un problema si se pierde la orden MMCO de tipo 2. Si la orden MMCO de tipo 2 se hubiese recibido correctamente en el descodificador, la imagen de referencia en la posición 3 en la lista de imágenes de referencia se correspondería con la imagen de largo plazo 3 ya que esta imagen de referencia ocupa la posición 3 (si se comienza con 0) en la lista de imágenes de referencia. Sin embargo, con una orden MMCO de tipo 2 perdida, la posición 3 en la lista de imágenes de referencia es ocupada en cambio por la imagen de largo plazo 0. Esto significa que como base de la predicción se usarán datos de píxeles de la imagen de largo plazo 0, en lugar de los datos de píxeles correctos del identificador de imagen de largo plazo 3. Por lo tanto, la solución de la técnica anterior tiene el problema de que la gestión correcta de las imágenes de referencia depende de que las imágenes previamente descodificadas se hayan recibido y descodificado correctamente.

Las presentes realizaciones no adolecen de estos problemas de los planteamientos de la técnica anterior al usar un enfoque fundamentalmente diferente para la señalización de imágenes de referencia en comparación con la técnica anterior. Por el contrario, las presentes realizaciones especifican qué imágenes descodificadas se usarán para imágenes de referencia de una manera absoluta o explícita en lugar de una manera relativa o implícita. Otra forma de plantearlo es que la representación codificada, es decir, el flujo continuo de bits, para una imagen actual contiene la información sobre qué imágenes usar como referencia, es decir, imágenes de referencia, independientemente de las representaciones codificadas de imágenes anteriores. Por lo tanto, se puede decir que la responsabilidad lógica para mantener correcta la memoria intermedia de imágenes descodificadas pasa del descodificador al flujo continuo de bits. Una forma de considerarlo es decir que la información sobre qué imágenes de referencia utilizar para la predicción inter y la predicción con vectores de movimiento para una imagen se incluye en la información de control de la imagen. Por lo tanto, el estado de la memoria intermedia de imágenes descodificadas se señaliza para cada imagen que se codifica y descodifica en relación con otras imágenes.

De acuerdo con un aspecto de las realizaciones, se proporciona un método que crea información de descripción de memoria intermedia, por ejemplo, una estructura de datos, tal como una tabla general con información absoluta sobre qué imágenes se usarán para imágenes de referencia, es decir, almacenada en una memoria intermedia de imágenes descodificadas (a la que se conoce también como memoria intermedia de imágenes de referencia) que se utilizará para la posterior codificación. Al menos una parte de la información de descripción de memoria intermedia se introduce en el flujo continuo de bits codificada por un codificador.

La Figura 3 es un diagrama de flujo de un método de codificación de una imagen de acuerdo con una realización. El método generalmente comienza en la etapa S1 en la que al menos una imagen de referencia de un flujo continuo de vídeo de múltiples imágenes se determina como referencia de codificación. En una realización, la etapa S1 determina una o más imágenes de referencia que se utilizan como referencia de codificación para una imagen actual a codificar. Por lo tanto, los datos de píxeles de la imagen actual se codifican, entonces, en referencia a la imagen o imágenes de referencia. Alternativamente, o de forma adicional, al menos una imagen de referencia determinada en la etapa S1 podría utilizarse como referencia de codificación para una imagen subsiguiente del flujo continuo de vídeo, es decir, una imagen que se codificará y descodificará después de la imagen actual. Esta imagen subsiguiente se encuentra, por lo tanto, después de la imagen actual de acuerdo con un orden de descodificación (y orden de codificación). En una realización particular, S1 determina, para la imagen actual, cualquier imagen de referencia del flujo continuo de vídeo como referencia de codificación para la imagen actual y cualquier imagen de referencia del flujo continuo de vídeo como referencia de codificación para la imagen subsiguiente. Por lo tanto, en una realización particular, la etapa S1 determina todas las imágenes de referencia que son anteriores a la imagen actual en el orden de descodificación y que se pueden usar para la predicción inter para la imagen actual o cualquier imagen después de la imagen actual de acuerdo con el orden de descodificación.

La Figura 4 ilustra esquemáticamente este concepto mostrando un flujo continuo 1 de vídeo de múltiples imágenes 10, 40, 42, 50. Una imagen actual 10 puede comprender una o más franjas 20, 22 que comprenden bloques 30 de píxeles, tales como macrobloques, a los que se hace referencia también como bloques de árbol, o unidades de codificación, a descodificar. Las flechas debajo de las imágenes 10, 40, 42, 50 indican la relación de descodificación. La imagen actual 10 se descodifica en relación con una imagen 40 de referencia, anterior, y una imagen 42 de referencia, subsiguiente. La imagen 40 de referencia, anterior, es precedente y la imagen 42 de referencia, subsiguiente, es sucesiva con respecto a la imagen actual 10 de acuerdo con el orden de salida, pero las dos preceden a la imagen actual 10 de acuerdo con el orden de descodificación. Esta imagen 42 de referencia, subsiguiente, se utiliza, además, como imagen de referencia para una imagen subsiguiente 50 en el flujo continuo 1 de vídeo. Por lo tanto, en una realización particular, la etapa S1 podría determinar imágenes de referencia como las imágenes 40, 42 de la Figura 4.

Una etapa sucesiva S2 de la Figura 3 proporciona un identificador de imagen respectivo para cada imagen de referencia de la por lo menos una imagen de referencia determinada en la etapa S1. El identificador de imagen se utiliza, posiblemente junto con otros datos, para identificar de forma inequívoca una imagen de referencia. Por lo tanto, el identificador de imagen se puede considerar como una referencia absoluta a imágenes que se utilizarán como imágenes de referencia. Esto significa que es posible identificar correctamente la imagen de referencia pertinente dado su identificador de imagen y, opcionalmente, los otros datos.

Hay disponibles varias alternativas que podrían utilizarse como identificador de imagen de acuerdo con las realizaciones. Por ejemplo, el identificador de imagen podría ser el número de orden de descodificación, el número de orden de visualización, el número de orden de salida o una combinación de número de orden de visualización y un identificador adicional o, de hecho, cualquier otra información que se pueda utilizar para identificar de forma inequívoca la imagen.

Ejemplos de dichos identificadores de imagen incluyen el Contador de Orden de las Imágenes (POC), el número de cuadro (frame_num) o el POC y un identificador adicional (additional_picture_id).

En una realización particular, el valor real del identificador de imagen se usa junto con información adicional u otros datos, tales como la posición del identificador de imagen en información de descripción de memoria intermedia que se genera en la etapa S3 para identificar de forma inequívoca la imagen de referencia pertinente. Por lo tanto, la descripción de memoria intermedia identificada u obtenida con la información de descripción de memoria intermedia permite una identificación inequívoca de la(s) imagen(es) de referencia pertinente(s). En una realización, el propio identificador de imagen, tal como el POC o el POC más un identificador adicional, se puede utilizar para identificar de forma inequívoca la imagen de referencia.

La expresión identificar inequívocamente una imagen de referencia se utiliza, en la presente, para indicar que el propio identificador de imagen o el identificador de imagen junto con otra información incluida en la información de descripción de memoria intermedia, tal como el orden en el que la información de descripción de memoria intermedia define los identificadores de imagen, se utiliza para identificar de forma explícita una imagen de referencia. Por lo tanto, dado el identificador de imagen o el identificador de imagen y la otra información se habilita la identificación de la imagen de referencia pertinente entre las imágenes del flujo continuo de vídeo.

En una realización particular de la etapa S1, el número total de imágenes de referencia determinadas para la imagen actual puede estar limitado por un parámetro que se puede señalizar desde el codificador al descodificador, tal como un parámetro indicado como max_num_ref_frames.

La etapa S2 se realiza preferiblemente para cada imagen de referencia determinada en la etapa S1, lo cual se ilustra esquemáticamente con la línea L1.

El(los) identificador(es) de imagen proporcionado(s) en la etapa S2 se podría(n) leer desde partes de encabezamiento de la(s) imagen(es) de referencia determinada(s) en la etapa S1 o, alternativamente, se recupera a partir de los datos que representan la(s) imagen(es) de referencia de la etapa S1.

La siguiente etapa S3 genera información de una descripción de memoria intermedia, a la que se conoce también como Conjunto de Imágenes de Referencia (RPS). Esta información se indica como información de descripción de memoria intermedia en la presente. La información de descripción de memoria intermedia se genera basándose en el(los) identificador(es) de imagen proporcionado(s) en la etapa S2. Esta información de descripción de memoria intermedia define, preferentemente define de forma inequívoca, la por lo menos una imagen de referencia determinada en la etapa S1. Por lo tanto, es posible obtener el identificador de imagen respectivo de la por lo menos una imagen de referencia a partir de la información de descripción de memoria intermedia.

La información de descripción de memoria intermedia generada se introduce en la etapa S4 en una representación codificada de la imagen actual. Por lo tanto, la imagen codificada es, así, portadora de la información de descripción de memoria intermedia que se puede utilizar en el descodificador para definir e identificar las imágenes de referencia que se necesitan para descodificar la imagen actual y/o cualquier imagen subsiguiente del flujo continuo de vídeo. Por consiguiente, la información de descripción de memoria intermedia se proporciona en información de control de la imagen codificada proporcionada desde el codificador a un descodificador. Como mínimo, la información de descripción de memoria intermedia contiene información que necesita el descodificador para identificar las imágenes de referencia que se utilizarán en la memoria intermedia de imágenes descodificadas.

Por lo tanto, la información de descripción de memoria intermedia se puede considerar como información que identifica una descripción de memoria intermedia que es un conjunto de imágenes de referencia asociadas a una imagen actual. Está compuesta por todas las imágenes de referencia que son anteriores a la imagen actual en el orden de descodificación y que pueden ser utilizadas para la predicción inter de la imagen actual o cualquier imagen que suceda a la imagen actual en el orden de descodificación.

En una realización, la información de descripción de memoria intermedia contiene o define información sobre cada imagen que es utilizada por el descodificador en el proceso de descodificación, incluso si la imagen no se utiliza para la predicción inter o la predicción con vectores de movimiento o cualquier otra predicción. Esta información podría incluir, aunque sin carácter limitativo, el orden de descodificación, el orden de visualización, información de capas temporales e información de visionado.

Tal como se ha mencionado anteriormente, el número de imágenes de referencia que puede ser señalizado por la información de descripción de memoria intermedia podría estar limitado por el parámetro max_num_ref_frames. Sin embargo, la información de descripción de memoria intermedia puede definir un número menor que este número máximo de imágenes, en cuyo caso las restantes se interpretan como “vacías”.

El método de la Figura 3 con las etapas S1 a S4 se realiza preferentemente para cada imagen del flujo continuo de vídeo, excepto cualquier imagen de Regeneración Instantánea del Descodificador (IDR) que provoca la regeneración de la memoria intermedia de imágenes descodificadas y, por lo tanto, no requiere ninguna información de descripción de memoria intermedia, lo cual se ilustra esquemáticamente con la línea L2. Por lo tanto, cada representación codificada generada por el codificador es portadora preferentemente de información de descripción de memoria intermedia que define las imágenes de referencia utilizadas para la codificación y descodificación de la imagen actual y/o cualquier imagen subsiguiente en el flujo continuo de vídeo.

Este planteamiento de las realizaciones proporciona una ventaja significativa sobre la señalización de imágenes de referencia relativas de la técnica anterior que hace uso de la orden MMCO. La señalización explícita de imágenes de referencia a través de la información de descripción de memoria intermedia en cada representación codificada de las imágenes del flujo continuo de vídeo consigue que la gestión de imágenes de referencia sea menos vulnerable a errores y aumenta el nivel de robustez ante errores del descodificador. De esta manera, en lugar de basarse en operaciones de memoria intermedia entregadas e interpretadas correctamente en imágenes anteriores, el descodificador solamente tendrá que basarse en información contenida en la representación codificada de la imagen actual.

En una realización particular, la información de descripción de memoria intermedia introducida en la representación codificada de la imagen en la etapa S4 es, de hecho, la propia descripción de memoria intermedia. Por lo tanto, la información de descripción de memoria intermedia comprende en este caso un listado del(de los) identificador(es) de imagen proporcionado(s) en la etapa S2 o datos que permiten calcular el(los) identificador(es) de imagen proporcionado(s) en la etapa S2. Este último caso se describirá de forma adicional más adelante en relación con la Figura 6.

Por ejemplo, la descripción de memoria intermedia podría definir una lista con identificadores de imagen 3, 5 y 6, como imágenes de referencia para una imagen actual. La información de descripción de memoria intermedia introducida en la representación codificada en la etapa S4 incluiría entonces estos identificadores de imagen 3, 5 y 6.

Un planteamiento alternativo que es en general más eficiente en cuanto a los bits, es decir, en general requiere un menor número de bits o símbolos para la definición de los identificadores de imagen, es señalizar las propiedades de imágenes de referencia, es decir, identificadores de imagen, en relación con el valor de estas propiedades según se haya señalizado para la imagen actual. Por ejemplo, si la imagen actual tiene un identificador de imagen 7, la lista de imágenes de referencia con identificadores 3, 5 y 6 se podría definir como -1, -2 y -4, lo cual típicamente se puede representar con menos bits en comparación con 3, 5 y 6, en particular si se utiliza la codificación de longitud variable para los identificadores de imagen.

La Figura 6 ilustra esquemáticamente este planteamiento. El método continúa desde la etapa S2 de la Figura 3. En una etapa sucesiva S10 se calcula una diferencia para cada identificador de imagen proporcionado en la etapa S2, entre el identificador de imagen y un identificador de imagen que identifica la imagen actual. Como resultado de este cálculo se obtiene una diferencia o un identificador o valor delta. El método continúa entonces hacia la etapa S3 de la Figura 3, en donde se genera la información de descripción de memoria intermedia sobre la base de la(s) diferencia(s) o identificador(es) delta calculado(s).

Por lo tanto, la información de descripción de memoria intermedia podría incluir en este caso los identificadores delta -1, -2 y -4 en lugar de 3, 5 y 6.

En una realización, se incluye información de orden de visualización delta o deltaPOC en la descripción de memoria intermedia codificada con un código de longitud variable (VLC). En una realización particular deltaPOC se codifica con VLC para absolute_delta_POC_minus_one, y una bandera, es decir, un único bit, para deltaPOC_sign se señaliza solamente si number_of_reorder_frames > 0, de lo contrario se deduce que el signo es negativo.

En las realizaciones anteriores que proporcionan una señalización explícita de los identificadores de imagen, ya sean los propios identificadores de imagen o los identificadores delta, la información de descripción de memoria intermedia constituirá, de hecho, la descripción de memoria intermedia de la imagen actual. Esta información de descripción de memoria intermedia se introduce entonces en la representación codificada de la imagen.

La información de descripción de memoria intermedia podría incluirse como información de control en una posición adecuada en la representación codificada. La Figura 5 ilustra esquemáticamente un ejemplo de una representación codificada 60 de una imagen. La representación codificada 60 comprende datos 66 de carga útil de vídeo que representan los datos de píxeles codificados de los bloques de píxeles en una franja. La representación codificada 60 también comprende un encabezamiento 65 de franja que es portador de información de control. El encabezamiento 65 de franja forma junto con la carga útil de vídeo y un encabezamiento 64 de Capa de Abstracción de Red (NAL) una unidad de NAL que es la entidad a la que se da salida desde un codificador. A esta unidad de NAL se le pueden añadir encabezamientos adicionales, tales como un encabezamiento 63 de Protocolo de Transporte en Tiempo Real (RTP), un encabezamiento 62 de Protocolo de Datagrama de Usuario (UDP) y un encabezamiento 61 de Protocolo de Internet (IP), para formar un paquete de datos que se puede transmitir desde el codificador al descodificador. Esta forma de empaquetamiento de unidades de NAL constituye meramente un ejemplo en relación con el transporte de vídeo. Son posibles otros planteamientos de gestión de unidades de NAL, tales como el formato de archivo, flujos continuos de transporte MPEG-2, flujos continuos de programa MPEG-2, etcétera.

La información de descripción de memoria intermedia podría incluirse entonces en el encabezamiento 65 de franja, otro encabezamiento de imagen u otra estructura de datos especificada por la norma con la que concuerdan el codificador y el descodificador.

En otra realización, la información de descripción de memoria intermedia introducida en la representación codificada 60 de la imagen no tiene que ser necesariamente la misma que la descripción de memoria intermedia de la imagen actual, sino que, más bien, permite la identificación y la recuperación de la descripción de memoria intermedia. Por lo tanto, en esta realización, la información de descripción de memoria intermedia introducida en la representación codificada 60 de la imagen define indirectamente la por lo menos una imagen de referencia determinada en la etapa S1 apuntando a la descripción de memoria intermedia que es portadora de los identificadores de imagen o los datos, tales como identificadores delta, que permiten el cálculo de los identificadores de imagen.

En tal caso, la descripción de memoria intermedia podría ser portada por una estructura de datos asociada a la representación codificada 60 de la imagen. Ejemplos de dichas estructuras de datos incluyen un Conjunto de Parámetros de Imagen (PPS) 67 y un Conjunto de Parámetros de Secuencia (SPS) 68. El PPS 67 y/o el s Ps 68 se podría incluir directamente en la representación codificada 60, pero, típicamente, se asocia a la misma a través de la inclusión de un identificador de PPS y/o identificador de SPS en la representación codificada 60. Por ejemplo, cada encabezamiento 65 de franja podría incluir un identificador de PPS que notifica qué PPS 67 aplicar para la imagen actual. El PPS pertinente 67, a su vez, puede incluir un identificador de SPS que notifica qué SPS 68 aplicar para el PPS 67 y, por lo tanto, para la imagen actual.

La descripción de memoria intermedia podría introducirse entonces en el PPS 67 o el SPS 68 asignado a la imagen actual. En tal caso, el identificador de PPS o identificador de SPS que se introduce en la representación codificada 60 constituye la información de descripción de memoria intermedia que se introduce en la representación codificada 60. Este identificador de PPS o identificador de SPS permite la recuperación de la descripción de memoria intermedia que define los identificadores de imagen de las imágenes de referencia, y por lo tanto el identificador de PPS o identificador de SPS define indirectamente los identificadores de imagen.

El PPS 67 y el SPS 68 constituyen simplemente ejemplos de estructuras de datos asociadas a representaciones codificadas 60 de imágenes y que se pueden usar como portadoras de información de descripción de memoria intermedia de acuerdo con las realizaciones.

La Figura 7 ilustra una realización alternativa en donde una o más descripciones de memoria intermedia se señalizan en una estructura de datos de manera que la misma descripción de memoria intermedia puede usarse para múltiples imágenes.

El método comienza en la etapa S20, en donde se genera una estructura de datos, tal como una tabla. La estructura de datos comprende múltiples descripciones de memoria intermedia predefinidas que definen, cada una de ellas, al menos una imagen de referencia.

Cada descripción de memoria intermedia de la estructura de datos generada podría definir los identificadores de imagen directamente, es decir, incluir una lista de identificadores de imagen. Sin embargo, un planteamiento de este tipo requiere en general mucha descripción de memoria intermedia predefinida en la estructura de datos. Un planteamiento más eficiente es combinar el uso de múltiples descripciones de memoria intermedia predefinidas con señalización de identificadores delta según se ha descrito anteriormente. En tal caso, cada descripción de memoria intermedia predefinida comprende al menos un identificador delta respectivo, que se utiliza en el descodificador junto con el identificador de imagen de la imagen actual para calcular el(los) identificador(es) de imagen de una descripción de memoria intermedia predefinida.

La Tabla 1 a continuación ilustra un ejemplo de una estructura de datos del tipo mencionado con identificadores delta que se pueden utilizar para un flujo continuo de vídeo según se ilustra en la Figura 8. El flujo continuo de vídeo de la Figura 8 comienza con una imagen de IDR, la cual es un cuadro Intra (I) que elimina todas las dependencias con respecto a datos transmitidos antes de la imagen de IDR, es decir, marca todas las imágenes de referencia como “no utilizada para referencia”. La imagen de IDR no necesita una descripción de memoria intermedia ya que vacía la memoria intermedia de imágenes descodificadas. El flujo continuo de vídeo de la Figura 8 está en forma de vídeo por capas que proporciona imágenes en diferentes capas temporales, identificadas por identificadores temporales (temporal_id) n, n+1 y n+2 en la Figura 8.

Tabla 1 - estructura de datos con descripciones de memoria intermedia predefinidas

La Tabla 1 muestra un ejemplo de una tabla de descripción de memoria intermedia en donde se indican deltaPOC (dP) y temporal_id (tId). La tabla se construye utilizando el esquema en el que se incluyen las dos imágenes de referencia más cercanas (POC(actual)-1 y POC(actual)-2) y las dos de la capa temporal más baja en el intervalo de POC(actual)-3 a POC (actual)-10.

Un ejemplo de uso de esta tabla por parte del codificador es, para una imagen con POC=n, señalizar la entrada de la tabla (n%4), es decir, n módulo 4, al descodificador. En este ejemplo, la memoria intermedia de imágenes descodificadas está compuesta por cuatro imágenes (memoria intermedia de imagen 1 a memoria intermedia de imagen 4). Las imágenes dependen del POC de la imagen actual y de qué entrada se use. Por ejemplo, si la imagen con POC=7 utiliza la entrada 3, las imágenes de referencia en la memoria intermedia de imágenes descodificadas se compondrán de imágenes con POC {6, 5, 4, 0}.

La estructura de datos generada en la etapa S20 se señaliza desde el codificador al descodificador. Esta señalización se puede realizar de acuerdo con diversas realizaciones. La estructura de datos podría transportarse en el PPS, el SPS, un conjunto de parámetros nuevo o en otra estructura de datos especificada por la norma a la que se ajusta el codificador y el descodificador. Esto se ilustra esquemáticamente por medio de la etapa S21 en donde la estructura de datos se introduce en un PPS o un SPS asociado a una representación codificada del flujo continuo de vídeo. En tal caso, la etapa S22 introduce preferentemente un identificador de PPS o identificador de SPS en la representación codificada de la imagen, por ejemplo en un encabezamiento de franja. Este identificador de PPS o identificador de SPS permite entonces la identificación de la estructura de datos que está disponible cuando se descodifica la imagen actual.

El método continúa hacia las etapas S1 y S2 de la Figura 7, en donde se determinan imágenes de referencia y se proporcionan identificadores de imagen para la imagen actual. Una etapa sucesiva S23 selecciona, basándose en el por lo menos un identificador de imagen proporcionado en la etapa S2, una descripción de memoria intermedia a partir de la estructura de datos generada en la etapa S20.

Una vez que se ha seleccionado dicha descripción de memoria intermedia, tal como una entrada en la Tabla 1, la etapa S24 genera información de descripción de memoria intermedia que comprende un identificador, tal como un número de entrada, de la descripción de memoria intermedia seleccionada. El método continúa hacia la etapa S4 donde se introduce la información de descripción de memoria intermedia en la representación codificada de la imagen.

Por lo tanto, con el fin de especificar qué descripción de memoria intermedia usar para la imagen actual, se puede señalizar un identificador para la imagen actual. Un ejemplo de dicho identificador es un entero no negativo señalizado en el(los) encabezamiento(s) de franja de la imagen actual que representa el número de la descripción de memoria intermedia en el orden en que se señalizan las descripciones de memoria intermedia.

En una implementación típica, la etapa S20 se realiza una vez para el flujo continuo de vídeo o una vez para un conjunto de múltiples imágenes del flujo continuo de vídeo. Esto significa que se genera, entonces, una sola de estas estructuras de datos para el flujo continuo de vídeo o para el conjunto de múltiples imágenes. Las siguientes etapas S21 a S24 de la Figura 7 se realizan preferentemente para cada imagen del flujo continuo de vídeo o del conjunto de múltiples imágenes.

Por lo tanto, la estructura de datos, tal como la tabla, se puede crear en el codificador y se puede transmitir al descodificador. En la información de control del flujo continuo de bits codificado se proporciona el número de entrada que se utilizará. Mediante el uso de una tabla del tipo mencionado, el descodificador puede obtener información absoluta sobre qué imágenes se utilizarán como imágenes de referencia detectando el número de entrada en el flujo continuo de bits descodificado y usando ese número de entrada para buscar la entrada en la tabla. La entrada se utiliza, entonces, para determinar qué imágenes se almacenarán en la memoria intermedia de imágenes descodificadas.

La introducción de entradas de la descripción de memoria intermedia en, por ejemplo, el SPS reduce la tara de bits de señalización de las descripciones de memoria intermedia de forma explícita en el encabezamiento de franja. Estas descripciones de memoria intermedia se pueden utilizar para múltiples franjas/imágenes en la misma secuencia, es decir, flujo continuo de vídeo, y, de esta manera, reducir el número de bits requeridos por imagen. En una realización, para cada entrada de la descripción de memoria intermedia en el PPS podrían estar presentes el delta_POC y la temporal_id de todas las imágenes de referencia. La additional_picture_id opcional se deduce preferentemente de manera que sea 0 para imágenes descritas por una entrada en el PPS.

De acuerdo con una realización adicional, la señalización explícita de la descripción de memoria intermedia y la señalización de referencia a una entrada en una estructura de datos general con múltiples descripciones de memoria intermedia predefinidas, tales como una entrada en la tabla anterior, se pueden combinar. En tal caso, las mismas se pueden combinar por medio del descodificador para formar una descripción de memoria intermedia final para la imagen actual. Una forma de combinar la señalización explícita y la señalización de referencia es unir el conjunto de imágenes de referencia descrito por señalización explícita con el conjunto de imágenes de referencia descrito por la señalización de referencia para formar un conjunto combinado de imágenes de referencia.

En tal caso, la etapa S3 de la Figura 3 comprende, preferentemente, la generación de la información de descripción de memoria intermedia de manera que comprenda el identificador de la descripción de memoria intermedia seleccionada en la etapa S23 y de manera que comprenda información que define por lo menos una imagen de referencia. Esta información que define al menos una imagen de referencia podría ser el identificador de imagen de la propia imagen de referencia o un identificador delta a partir del cual se puede calcular el identificador de imagen. Una imagen que se utiliza como referencia durante un período de tiempo prolongado (imagen de referencia de largo plazo) viene indicada preferentemente por descripción explícita en los encabezamientos de franja de las imágenes para las que está disponible como referencia. La razón es que resultaría inadecuado incluir todas las distancias de los números de POC en las descripciones de memoria intermedia predefinidas señalizadas en el PPS o SPS.

En una realización particular, la representación codificada de la imagen comprende, preferentemente, una bandera para indicar si la señalización explícita de la información de descripción de memoria intermedia y/o la señalización implícita de la información de descripción de memoria intermedia ha sido seleccionada para la imagen actual. Esta bandera podría, por ejemplo, incluirse en el encabezamiento de franja de la representación codificada de la imagen o en algún otro campo de información de control.

En una realización particular, una imagen 10 puede estar compuesta por una o múltiples franjas 20, 22 como se muestra en la Figura 4. En tal caso, una franja 20, 22 es una parte de la imagen 10 descodificable independientemente. En otras palabras, una franja codificada se puede descodificar incluso si se pierden los datos de otra franja codificada de la misma imagen 10.

En un planteamiento de este tipo, la etapa S1 de la Figura 3 determina preferentemente al menos una imagen de referencia del flujo continuo de vídeo para cada franja en la imagen. A continuación, podría ser posible que una primera franja usase un primer conjunto de una o más imágenes de referencia y una segunda franja usase un segundo conjunto de una o más imágenes de referencia. El segundo conjunto podría ser igual al primer conjunto o ser diferente del primer conjunto. También es posible que al menos una de las imágenes de referencia sea común para el primer conjunto y el segundo conjunto.

La etapa S2 determina, preferentemente, los identificadores de imagen para todas las imágenes de referencia determinadas en la etapa S1 para al menos una franja, preferentemente para todas las franjas, de la imagen. La información de descripción de memoria intermedia se genera, a continuación, en la etapa S3 sobre la base de estos identificadores de imagen y, por lo tanto, define las imágenes de referencia. En una realización, la descripción de memoria intermedia generada en la etapa S3 se introduce en un encabezamiento de franja respectivo de la representación codificada de la imagen para cada franja. Por lo tanto, cada encabezamiento de franja de la representación codificada de la imagen es portador preferentemente de una instancia respectiva de la información de descripción de memoria intermedia. Más preferentemente, la información de descripción de memoria intermedia transportada en el encabezamiento de franja de una primera franja de la imagen es igual a la información de descripción de memoria intermedia transportada en el encabezamiento de franja de una segunda franja de la imagen.

La codificación y descodificación de vídeo también se pueden aplicar al vídeo denominado escalable o por capas. Por ejemplo, la escalabilidad temporal es soportada en la H.264/MPEG-4 AVC y la Codificación de Vídeo Escalable (SVC) a través de la definición de subsecuencias y el uso de temporal_id en la SVC y la introducción de cuadros “no existentes”. Sin embargo, con el fin de soportar la escalabilidad temporal, las imágenes en las capas temporales más altas presentan restricciones cuando se trata de usar las MMCO. El codificador es responsable de garantizar que las MMCOs en una capa temporal no afectan a imágenes de capas temporales más bajas de manera diferente con respecto al caso en el que se pierde la capa temporal y se introducen imágenes “no existentes” y se aplica el proceso de ventana deslizante.

Esto impone restricciones sobre el codificador en la selección de la estructura de codificación y el uso de imágenes de referencia. Por ejemplo, considérese el ejemplo de la Figura 2. Supóngase que el número máximo de cuadros de referencia en la memoria intermedia de imágenes descodificadas (max_num_ref_frames) es tres aun cuando cada imagen solamente utiliza dos imágenes de referencia para la predicción inter. La razón es que cada imagen debe tener una imagen adicional de la otra capa temporal que será usada para la predicción inter por la siguiente imagen. Con el fin de poder disponer de la imagen POC=0 y la imagen POC=2 cuando se descodifica la imagen POC=4, la imagen POC=3 debe tener una orden de marcación de imagen de referencia explícita (MMCO) que marque la imagen 1 como no disponible.

Sin embargo, si se elimina la capa temporal 1 (por ejemplo, por parte de un nodo de red) se producirán vacíos en frame_num para todas las imágenes de numeración impar. Se crearán imágenes “no existentes” para estas imágenes y se aplicará un proceso de ventana deslizante. Eso dará como resultado que la imagen “no existente” POC=3 marque la imagen POC=0 como no disponible. Por lo tanto, no estará disponible para la predicción cuando se descodifique la imagen POC=4. Dado que el codificador no puede hacer que el proceso de descodificación sea el mismo para los dos casos; cuando todas las imágenes se descodifican y cuando se descodifica solamente la capa más baja; el ejemplo de estructura de codificación de la Figura 2 no se puede utilizar para la escalabilidad temporal según la técnica anterior.

Por lo tanto, hay soluciones de la técnica anterior que tienen problemas con la escalabilidad temporal para ciertas estructuras de codificación ya que la información sobre las imágenes de referencia para la imagen actual se ve afectada por la eliminación de una imagen previa del flujo continuo de bits en la medida en que la información de imagen de referencia se señaliza de una manera relativa. Al usar las realizaciones, la escalabilidad temporal no se verá limitada como anteriormente, ya que la imagen de referencia para la imagen actual no se ve afectada por la eliminación de imágenes anteriores del flujo continuo de bits puesto que se señaliza de un modo absoluto.

En el caso de un flujo continuo de vídeo escalable con las imágenes agrupadas en múltiples capas, la etapa S2 de la Figura 3 comprende, preferentemente, proporcionar un identificador de imagen e información de capa temporal que identifica una capa de las múltiples capas a las que pertenece la imagen de referencia. La información de descripción de memoria intermedia se genera a continuación en la etapa S3 basándose en el por lo menos un identificador de imagen y la información de capa temporal. Esto significa que la información de descripción de memoria intermedia define, de este modo, el por lo menos un identificador de imagen y la información de capa temporal.

Por ejemplo, se incluye información de capa temporal, tal como temporal_id, para cada imagen en la descripción de memoria intermedia señalizada usando ceil(log2(max_temporal_layers_minus1)) bits para la señalización de temporal_id. La escalabilidad temporal es simplemente un ejemplo de vídeo multi-capa en el cual pueden aplicarse las realizaciones. Otros tipos incluyen vídeo multi-capa en el que cada imagen tiene un identificador de imagen y un identificador de vista. Otros ejemplos de escalabilidad incluyen escalabilidad espacial, escalabilidad de la relación señal/ruido (SNR), escalabilidad de la profundidad de bits y escalabilidad del formato de croma.

Las realizaciones implican que la conmutación temporal en sentido descendente es siempre posible. Cada capa temporal junto con las capas inferiores constituirá una sub-secuencia. Estas sub-secuencias no necesitan señalización explícita.

En general, el codificador es libre de seleccionar qué imágenes incluir en la descripción de memoria intermedia y puede basar su selección en cualquier aspecto, tal como las imágenes más cercanas en el orden de visualización. Típicamente, un codificador selecciona la descripción de memoria intermedia para intentar lograr la máxima compresión, mientras se cumple un conjunto de restricciones colaterales. Un ejemplo de una restricción de este tipo es un número máximo de imágenes de referencia debido al tamaño de la memoria. Otro ejemplo es que el flujo continuo de vídeo sea descodificable también cuando ciertas imágenes codificadas en el flujo continuo de bits se eliminen del flujo continuo de bits antes de la descodificación. Un ejemplo adicional es que como imágenes de referencia solamente se pueden seleccionar imágenes que están disponibles para referencia en la memoria intermedia de imágenes descodificadas.

Por lo tanto, en una realización la etapa S1 de la Figura 3 comprende determinar la por lo menos una imagen de referencia para la imagen actual mediante la maximización de la eficiencia de compresión de la representación codificada de la imagen, mientras se cumple por lo menos una restricción colateral. La por lo menos una restricción colateral se selecciona preferentemente, en este caso, de entre un número máximo predefinido de imágenes de referencia y también se genera una representación codificada descodificable del flujo continuo de vídeo cuando, de la representación codificada del flujo continuo de vídeo, se elimina por lo menos una representación codificada de una imagen.

De acuerdo con otro aspecto de las realizaciones, se proporciona un método en el que se recibe un vídeo o flujo continuo de datos codificado, se detecta información de descripción de memoria intermedia en el flujo continuo de vídeo codificado y se determina, sobre la base de la información de descripción de memoria intermedia, una referencia absoluta a imágenes que se usarán como imágenes de referencia para la descodificación de una imagen actual o como imágenes de referencia para una descodificación futura. Las imágenes que se utilizarán como imágenes de referencia se almacenan en una memoria intermedia de imágenes descodificadas.

La Figura 9 es un diagrama de flujo de un método para descodificar una representación codificada de una imagen de acuerdo con una realización. El método comienza en la etapa S30, donde a partir de la representación codificada de la imagen se recupera información de descripción de memoria intermedia que define al menos una imagen de referencia. La información de descripción de memoria intermedia se utiliza en la etapa S31 para determinar al menos un identificador de imagen que, preferentemente de forma inequívoca, identifica una imagen de referencia respectiva como referencia de descodificación para la imagen. El por lo menos un identificador de imagen de referencia determinado en la etapa S31 se utiliza en la etapa S32 para actualizar una memoria intermedia de imágenes descodificadas.

Una vez que la memoria intermedia de imágenes descodificadas se ha actualizado para comprender las imágenes de referencia correctas necesarias para la descodificación de la imagen, el método típicamente continúa hacia la etapa S33 donde la imagen se descodifica sobre la base de la representación codificada de la imagen y por lo menos una de las imágenes de referencia comprendida, presente o almacenada en la memoria intermedia de imágenes descodificadas e identificada sobre la base de la información de descripción de memoria intermedia. En una realización preferida, la etapa de descodificación S33 se realiza después de la actualización de la memoria intermedia de imágenes descodificadas según se indica en la Figura 9.

La actualización de la memoria intermedia de imágenes descodificadas en la etapa S32 implica, preferentemente, que la imagen de referencia identificada por el identificador de imagen determinado se marca como “utilizada para referencia” o se marca como “utilizada para predicción” con el fin de indicar que esta imagen de referencia se usará como referencia o predicción de descodificación para la imagen actual y/o cualquier imagen subsiguiente. En una realización particular, se podrían marcar imágenes de referencia como utilizadas para referencia de corto plazo o como utilizadas para referencia de largo plazo.

En una realización particular, la etapa S30 recupera la información de descripción de memoria intermedia que define múltiples imágenes de referencia a partir de la representación codificada de la imagen. En dicha realización, la etapa S31 podría determinar, sobre la base de la información de descripción de memoria intermedia, i) al menos un identificador de imagen que identifica una imagen de referencia respectiva como referencia de descodificación para la imagen y ii) al menos un identificador de imagen que identifica una imagen de referencia respectiva como referencia de descodificación para una imagen subsiguiente, de acuerdo con un orden de descodificación, del flujo continuo de vídeo. En realizaciones alternativas, la información de descripción de memoria intermedia identifica uno o más identificadores de imagen de imagen(es) de referencia respectiva(s) como referencia de descodificación para la imagen actual y/o uno o más identificadores de imagen de imagen(es) de referencia respectiva(s) como referencia de descodificación para una imagen subsiguiente, de acuerdo con el orden de descodificación, del flujo continuo de vídeo.

La etapa S32 actualiza, preferentemente, la memoria intermedia de imágenes descodificadas de manera que comprenda la imagen de referencia respectiva identificada por el por lo menos un identificador de imagen determinado en la etapa S31.

Tal como se ha descrito previamente en el presente documento, la información de descripción de memoria intermedia se puede proporcionar en un encabezamiento de franja u otro campo de información de control de la representación codificada de la imagen. En tal caso, la etapa S30 de la Figura 9 comprende recuperar la información de descripción de memoria intermedia a partir de un encabezamiento de franja de la representación codificada de la imagen. Una imagen multi-franja generalmente comprende múltiples encabezamientos de franja. En tal caso, cada encabezamiento de franja comprende, preferentemente, la misma información de descripción de memoria intermedia. Entonces, en la etapa S30 es suficiente con recuperar la información de descripción de memoria intermedia del primer encabezamiento de franja de la imagen ya que cualquiera de los encabezamientos de franja restantes de la imagen incluirá la misma información de descripción de memoria intermedia. La información de descripción de memoria intermedia en los otros encabezamientos de franja se puede utilizar, entonces, como característica de reparación de errores si se pierde la primera franja.

La información de descripción de memoria intermedia podría incluir explícitamente el(los) identificador(es) de imagen de la(s) imagen(es) de referencia. En tal caso, la etapa S30 simplemente recupera el por lo menos un identificador de imagen a partir de la información de descripción de memoria intermedia.

En una realización alternativa, la información de descripción de memoria intermedia comprende valores delta o identificadores delta. La Figura 10 es un diagrama de flujo que ilustra una realización de la etapa S31 en la Figura 9 para dicho caso. El método continúa, entonces, desde la etapa S30 de la Figura 9. Una etapa sucesiva S40 recupera un identificador delta respectivo sobre la base de la información de descripción de memoria intermedia. El(los) identificador(es) delta se usa(n) en la etapa S41 junto con un identificador de imagen de la imagen actual para calcular el(los) identificador(es) de imagen de la(s) imagen(es) de referencia. El método continúa, entonces, hacia la etapa S32 de la Figura 10.

Por lo tanto, en esta realización, el descodificador utiliza información disponible para la imagen actual para la construcción de la descripción de memoria intermedia final para la imagen actual a partir de la información de descripción de memoria intermedia señalizada. Dicha información incluye, aunque sin carácter limitativo, el POC actual (POC(act)), que, junto con un deltaPOC señalizado, se puede utilizar para calcular el POC de la imagen de referencia (POC(ref) como POC(ref)=POC(act) deltaPOC.

Otra realización se refiere al uso de múltiples descripciones de memoria intermedia predefinidas. La Figura 11 ilustra esquemáticamente un planteamiento de este tipo. En una primera etapa S50, se recupera una estructura de datos que comprende múltiples descripciones de memoria intermedia predefinidas. En una realización preferida, la estructura de datos se recupera sobre la base de información transportada en la representación codificada de la imagen. Por ejemplo, la estructura de datos se puede señalizar desde el lado del codificador hacia el lado del descodificador como parte de PPS o del SPS de la representación codificada de la imagen. En tal caso, la estructura de datos se recupera a partir del PPS o del SPS en la etapa S50 sobre la base de un identificador de PPS o identificador de SPS usado como parte de la información de descripción de memoria intermedia en la representación codificada de la imagen, tal como en el encabezamiento de franja. Alternativamente, un identificador de PPS se recupera a partir del encabezamiento de franja y el PPS, a su vez, comprende un identificador de SPS que se puede utilizar si la estructura de datos se señaliza como parte del SPS.

Una etapa sucesiva S51 recupera un identificador de una descripción de memoria intermedia como parte de la información de descripción de memoria intermedia a partir de la representación codificada de la imagen, por ejemplo, a partir del encabezamiento de franja. Este identificador se utiliza con el fin de identificar qué descripción de memoria intermedia predefinida de la estructura de datos recuperada en la etapa S50 se va a utilizar para la imagen actual en la etapa S52. El método continúa, entonces, hacia la etapa S31 de la Figura 1, donde se determinan identificadores de imagen a partir de la descripción de memoria intermedia predefinida identificada.

Haciendo uso de las realizaciones, es posible aplicar el esquema de memoria intermedia óptimo para cualquier estructura de codificación con muy poca tara. Lo que se necesita en el encabezamiento de franja es simplemente una referencia a la descripción de memoria intermedia correcta en el PPS o similar. Obsérvese que la descripción de memoria intermedia también se puede poner en un encabezamiento de imagen o similar, o un conjunto de parámetros compartido entre todas las franjas de una imagen. La propiedad importante es que la descripción de memoria intermedia que se va a usar para descodificar una imagen específica se envía con la imagen y no con la imagen previa en el orden de descodificación como en la técnica anterior. Además, la información de descripción de memoria intermedia se utiliza para señalizar todas las imágenes de referencia en la memoria intermedia de imágenes descodificadas que se deben mantener para descodificar cada imagen respectiva en el flujo continuo de vídeo, en lugar de señalizar información delta que puede provocar desajustes de largo plazo entre el lado del codificador y el lado de descodificación cuando se pierde de manera no intencionada un solo paquete de datos. Tal como se ha dado a conocer anteriormente en el presente documento, se pueden combinar la señalización explícita de la descripción de memoria intermedia en la representación codificada de una imagen y la señalización de referencia a la descripción de memoria intermedia predefinida en una estructura de datos. Una forma de combinar la señalización explícita y la señalización de referencia es unir el conjunto de imágenes de referencia descrito por señalización explícita con el conjunto de imágenes de referencia descrito por la señalización de referencia para formar un conjunto combinado de imágenes de referencia. Entonces, una o más imágenes de referencia incluidas en el conjunto de imágenes de referencia descritas por la señalización de referencia, pero no incluidas en la señalización explícita, posiblemente se eliminan del conjunto combinado de imágenes de referencia con el fin de tener una descripción de memoria intermedia final con no más de un número máximo (max_num_ref_frames) de imágenes de referencia. Preferentemente las imágenes se eliminan en el orden en que se enumeran en la descripción de memoria intermedia general, es decir, la descripción de memoria intermedia predefinida, empezando con el último hacia delante.

La Figura 12 es un diagrama de flujo que ilustra un planteamiento de este tipo. El método continúa desde las etapas S30 en la Figura 9 y la etapa S52 en la Figura S31. Por lo tanto, en esta realización, la información de descripción de memoria intermedia comprende tanto el identificador de la descripción de memoria intermedia recuperado en la etapa S51 de la Figura 11 como información que define por lo menos una imagen de referencia recuperada en la etapa S30 de la Figura 9. Esta información recuperada en la etapa S30 puede ser el(los) identificador(es) de imagen real(es) o el(los) identificador(es) delta mencionado(s) anteriormente.

Una etapa sucesiva S60 determina un primer conjunto de al menos un identificador de imagen que identifica una imagen de referencia respectiva a partir de la descripción de memoria intermedia predefinida identificada en la etapa S52 de la Figura 11. Correspondientemente, un segundo conjunto de por lo menos un identificador de imagen que identifica una imagen de referencia respectiva se determina en la etapa S61 a partir de la información recuperada en la etapa S30 de la Figura 9. Las etapas S60 y S61 se podrían llevar a cabo secuencialmente en cualquier orden o al menos parcialmente en paralelo.

La siguiente etapa S62 forma un conjunto combinado de identificadores de imagen basándose en el primer conjunto determinado en la etapa S60 y el segundo conjunto determinado en la etapa S61.

Una etapa sucesiva opcional, aunque preferida, S63 compara el número total de identificadores de imagen (IDS) del conjunto combinado con un número máximo de imágenes de referencia (MAX), es decir, el parámetro max_num_ref_frames típicamente señalizado en el SPS. Si el número total de identificadores de imagen en el conjunto combinado supera el número máximo de imágenes de referencia que se pueden almacenar en la memoria intermedia de imágenes descodificadas, el método continúa hacia la etapa S64. Esta etapa S64 elimina uno o más identificadores de imagen incluidos en el primer conjunto, pero no en el segundo conjunto, hasta que el número total de identificadores de imagen en el conjunto combinado ya no supera el número máximo de imágenes de referencia. Así, el conjunto combinado se actualiza por lo tanto eliminando identificadores de imagen determinados en la etapa S60. Los identificadores de imagen se eliminan, preferentemente, en el orden en el que se enumeran en la descripción de memoria intermedia predefinida identificada en la etapa S52 de la Figura 11 comenzando desde el último identificador de imagen y siguiendo hacia delante.

En una realización particular, la representación codificada de la imagen comprende preferentemente una bandera para indicar si, para la imagen actual, se ha seleccionado señalización explícita de la información de descripción de memoria intermedia y/o señalización implícita de la información de descripción de memoria intermedia. En tal caso, el descodificador recupera la bandera a partir de la representación codificada de la imagen, por ejemplo, a partir del encabezamiento de franja o de algún otro campo de información de control, con el fin de determinar qué tipo de señalización de la información de descripción de memoria intermedia se ha utilizado para la imagen actual.

La Figura 13 es un diagrama de flujo que ilustra etapas adicionales del método de la Figura 9, por el cual la memoria intermedia de imágenes descodificadas actualizada en la etapa S32 se utiliza con fines de descodificación.

Una vez que la memoria intermedia de imágenes descodificadas se ha actualizado en la etapa S32, puede haber imágenes disponibles en la memoria intermedia de imágenes descodificadas, pero las mismas no están incluidas en la descripción de memoria intermedia. Por lo tanto, en una realización, las imágenes que están disponibles en la memoria intermedia de imágenes descodificadas pero no incluidas en la descripción de memoria intermedia se eliminan, por parte del descodificador, de la memoria intermedia de imágenes descodificadas o se marcan como “no utilizada para referencia” o “no utilizada para predicción”. Por lo tanto, en esta realización, la eliminación de imágenes de referencia de la memoria intermedia de imágenes descodificadas o la marcación de imágenes como “no utilizada para referencia” se lleva a cabo por el descodificador antes del proceso de descodificación de imágenes correspondiente a la imagen que contiene la descripción de memoria intermedia.

La etapa S70 ilustra este procedimiento mediante la eliminación, de la memoria intermedia de imágenes descodificadas, de cualquier imagen de referencia almacenada en la memoria intermedia de imágenes descodificadas y que no esté asociada a ninguno del por lo menos un identificador de imagen determinado a partir de la información de descripción de memoria intermedia. En una realización alternativa de esta etapa S70, la(s) imagen(es) de referencia no se elimina(n) necesariamente de la memoria intermedia de imágenes descodificadas. Esta realización de la etapa S70 marca como no utilizada para referencia o no utilizada para predicción cualquier imagen de referencia almacenada en la memoria intermedia de imágenes descodificadas y que no esté asociada a ninguno del por lo menos un identificador de imagen determinado a partir de la información de descripción de memoria intermedia. Esto significa que la imagen de referencia marcada no se utilizará como base de predicción para la imagen actual o para cualquier imagen subsiguiente en el flujo continuo de vídeo. El descodificador, por lo tanto, puede dar salida a la imagen de referencia marcada si existe una necesidad de obtener una posición disponible en la memoria intermedia de imágenes descodificadas. En una realización particular, una imagen marcada como no utilizada para referencia no se puede incluir en la descripción de memoria intermedia y volverse a marcar como utilizada para referencia.

En una realización particular, cualquier imagen de referencia presente en la memoria intermedia de imágenes descodificadas y asociada a cualquiera de los identificadores de imagen determinados sobre la base de la información de descripción de memoria intermedia se marca, preferentemente, en la etapa S70 como utilizada para referencia. En una realización, una imagen de referencia se podría marcar o bien como utilizada para referencia de corto plazo o bien como utilizada para referencia de largo plazo. La selección entre estas dos alternativas particulares se realiza, preferentemente, sobre la base de la información de descripción de memoria intermedia. La etapa S71 ilustra una realización opcional adicional. Esta realización da salida a cero o más de las imágenes que se han marcado como no utilizada para referencia por parte del descodificador de acuerdo con la descripción de memoria intermedia para su visualización por el descodificador. Uno de estos procesos de ejemplo para la salida es el proceso de lanzamiento de la H.264/MPEG-4 AVC. Salida se refiere, en la presente, a dar salida para la visualización. Qué imágenes utilizar como imágenes de referencia y a cuáles dar salida, es decir visualizar, son procesos independientes en la H.264 y HEVC. Esto significa que a una imagen se le puede dar salida antes de que se elimine como imagen de referencia, es decir, se marque como no utilizada para referencia, o se puede eliminar como cuadro de referencia marcándola como no utilizada para referencia antes de que se le dé salida.

Durante el proceso de descodificación, puede ocurrir que la descripción de memoria intermedia contenga información sobre imágenes (a las que se hace referencia también como cuadros) que no están disponibles y, por lo tanto, no se pueden utilizar para imágenes de referencia. En una realización, el descodificador genera una serie de imágenes “no existentes” si la descripción de memoria intermedia contiene información sobre imágenes que no están disponibles en la memoria intermedia de imágenes descodificadas. A cada una de estas imágenes se le puede asignar valores a variables que contienen información que es utilizada por el descodificador en el proceso de descodificación, incluso si la imagen no se utiliza para predicción inter o predicción con vectores de movimiento. Dicha información podría incluir, aunque sin carácter limitativo, número de orden de descodificación, número de orden de visualización, información de capas temporales, información de vista, es decir, parámetros tales como frame_num, POC, temporal_id y view_id.

En una realización, la generación de imágenes no existentes se lleva a cabo por parte del descodificador antes del proceso de descodificación de imágenes correspondiente a la imagen que contiene la información de descripción de memoria intermedia.

Las etapas S72 y S73 ilustran una realización de este tipo. La etapa S72 compara el por lo menos un identificador de imagen determinado a partir de la información de descripción de memoria intermedia con identificadores de imagen asociados a imágenes de referencia ya almacenadas en la memoria intermedia de imágenes descodificadas. Si un identificador de imagen determinado no se encuentra entre los identificadores de imagen de las imágenes de referencia almacenadas en la memoria intermedia de imágenes descodificadas, se determina que la imagen asociada al identificador de imagen determinado falta o que no existe. En una realización, opcionalmente se genera una imagen no existente en la etapa S73 y la misma se almacena en la memoria intermedia de imágenes descodificadas. A esta imagen no existente se le asignan, entonces, todos los parámetros, tales como identificador de imagen, obtenidos a partir de la información de descripción de memoria intermedia con respecto a esta imagen particular. El método continúa, entonces, hacia la etapa S33 de la Figura 9 en donde se puede iniciar el proceso de descodificación.

Las imágenes que se señalizan en la descripción de memoria intermedia pero no existen en la memoria intermedia de imágenes descodificadas se marcan preferentemente como “no existentes”. Sin embargo, puesto que el POC y la temporal_id de dichas imágenes se incluyen en la descripción de memoria intermedia, no se requiere ninguna señalización explícita de modificación de la lista de imágenes de referencia. Si la imagen “no existente” no se utiliza como referencia, el proceso de descodificación proseguirá correctamente sin señalización adicional (y sin la tara incorporada con la señalización explícita de modificaciones de la lista de imágenes de referencia).

En una realización, la marcación de cero o más imágenes en la etapa S70 se lleva a cabo por parte del descodificador en una primera etapa. En una segunda etapa, el descodificador da salida a cero o más imágenes en la etapa S71. En una tercera etapa el descodificador genera cero o más imágenes “no existentes” en la etapa S73. En una realización alternativa, la marcación de cero o más imágenes se realiza por parte del descodificador en una primera etapa en la etapa S70. A continuación, el descodificador realiza un proceso iterativo en el que se da salida a imágenes (S71) y se generan imágenes no existentes (S73) para cada imagen descrita en la descripción de memoria intermedia que no está disponible en la memoria intermedia de imágenes descodificadas.

Las realizaciones se refuerzan adicionalmente mediante la aplicación de operaciones de memoria intermedia, por ejemplo, el proceso de marcación de imágenes, antes de la descodificación de imágenes correspondiente a la imagen actual, con lo cual se consigue que la descripción de memoria intermedia explícita se aplique a la imagen actual. Esto consigue que la gestión de imágenes de referencia sea todavía menos vulnerable a errores, mejora las posibilidades de escalabilidad temporal y reduce la tara introducida por la señalización de modificaciones de la lista de imágenes de referencia.

En una realización, la descripción de memoria intermedia puede contener información que es utilizada por el descodificador en la inicialización de listas de imágenes de referencia o la modificación de listas de imágenes de referencia o la combinación de listas de imágenes de referencia. Un ejemplo es que el orden en el que las imágenes se enumeran en una descripción de memoria intermedia se puede utilizar como orden inicial para una de las listas de imágenes de referencia en la inicialización de las listas de imágenes de referencia. Por lo tanto, la información de descripción de memoria intermedia puede utilizarse cuando se crea la lista de imágenes de referencia.

La Figura 14 es un diagrama de flujo que ilustra un planteamiento de este tipo. El método continúa desde la etapa S32 de la Figura 9. Una etapa sucesiva S80 lleva a cabo la inicialización de la lista de imágenes de referencia basándose en la información de descripción de memoria intermedia. En una realización particular de la etapa S80, la inicialización de la lista de imágenes de referencia se realiza sobre la base de la información de descripción de memoria intermedia al ordenar imágenes de referencia en una lista de imágenes de referencia de acuerdo con un orden en el que la información de descripción de memoria intermedia define el por lo menos un identificador de imagen determinado en la etapa S31 de la Figura 9.

En una realización, se especifican restricciones para las imágenes incluidas en la descripción de memoria intermedia. Un ejemplo de restricción es que una imagen A con temporal_id tId(A) descrita en la descripción de memoria intermedia en relación con una imagen B con temporal_id tId(B) puede que no sea una imagen no existente si tId(A) < tId(B).

En una realización, también es posible señalizar cambios en las propiedades de imágenes en la memoria intermedia de imágenes descodificadas a través de descripciones de memoria intermedia. Un ejemplo es cambiar la capa temporal y/o el orden de visualización de imágenes a través de la señalización del nuevo valor para la capa temporal y/o el orden de visualización en la descripción de memoria intermedia.

La Figura 16 es un diagrama de flujo simplificado de un esquema de memoria intermedia de referencias de acuerdo con una realización. En este esquema, todas las operaciones de memoria intermedia de imágenes descodificadas se aplican después del análisis sintáctico del primer encabezamiento de franja de una imagen, pero antes de la descodificación de imágenes, utilizando una descripción de la memoria intermedia de imágenes descodificadas según se ilustra en la Figura 16. La descripción de memoria intermedia se señaliza, por ejemplo, en el encabezamiento de franja o bien explícitamente o bien por referencia a una estructura predefinida señalizada en un PPS.

Así, las realizaciones proporcionan grandes cambios conceptuales en el proceso de descodificación. En la H.264/MPEG-4 AVC tradicional y el diseño actual de HEVC, las operaciones relativas se proporcionan al descodificador o bien de forma implícita, es decir, por ventana deslizante, o bien explícitamente, MMCO, y el descodificador es responsable de la aplicación de estas operaciones relativas y de realizar el seguimiento de las imágenes de referencia, es decir, qué imágenes se pueden usar para referencia. En el esquema propuesto las imágenes de referencia, es decir, qué imágenes se pueden utilizar como referencia, se señalizan dentro de la imagen actual, por ejemplo en el encabezamiento de franja, eliminando así la necesidad de operaciones relativas señalizadas implícita y explícitamente.

Esto significa que cada imagen tendrá una descripción absoluta de las imágenes de referencia en lugar de una descripción relativa como en la H.264/MEPG-4 AVC donde se recupera información delta a partir de MMCO o por el uso del proceso de ventana deslizante.

De acuerdo con una realización particular, la descripción de memoria intermedia contiene el delta_POC, la temporal_id y la additional_picture_id de todas las imágenes de referencia en la memoria intermedia de imágenes descodificadas con el fin de proporcionar una referencia absoluta a las imágenes que se utilizarán como imágenes de referencia. El delta_POC se utiliza para calcular el POC de una imagen de referencia como POC(ref) = POC(actual) delta_POC. Las imágenes, en una realización, se identificarán por el par POC y additional_picture_id. La temporal_id está incluida en la descripción de memoria intermedia para permitir la modificación correcta de listas de imágenes de referencia en el caso de imágenes perdidas o eliminadas, por ejemplo, escalabilidad temporal. Sin embargo, el esquema no se limita a las palabras de código delta_POC, temporal_id y additional_picture_id. Cualquier palabra de código que esté asociada a una imagen y se utilice en la gestión de imágenes de referencia se puede usar como identificador de imagen y se puede incluir en la descripción de memoria intermedia, o bien en relación con el valor de la imagen actual, por ejemplo POC y delta_POC, o bien de manera absoluta, por ejemplo temporal_id.

Todas las imágenes en la memoria intermedia de imágenes descodificadas que no forman parte de la descripción de memoria intermedia se marcan, preferentemente, como no utilizada para referencia.

En la H.264/MPEG-4 AVC, el proceso que entrega imágenes para su salida (al que se hace referencia como proceso de “lanzamiento” en la Figura 1) se realiza en ocasiones antes de la descodificación, es decir, si había un vacío en frame_num. El proceso de “lanzamiento” también se lleva a cabo después de la descodificación y la marcación de imágenes.

En el esquema propuesto de la Figura 16 el proceso de “lanzamiento” se aplica antes de la descodificación. Se podría argumentar que esto impone un retardo adicional en el proceso de descodificación antes de la entrega de imágenes para su salida. Sin embargo, debe indicarse que la primera imagen a visualizar se define de forma única ya después de la etapa del proceso de descodificación en cuanto el número de imágenes no visualizadas, en la memoria intermedia de imágenes descodificadas, es superior o igual a num_reorder_frames. Por lo tanto, un descodificador puede entregar esa imagen para la visualización directamente después de la etapa del proceso de descodificación. Así, el retardo del esquema propuesto es igual al retardo del esquema actual de HEVC.

En la H.264/MPEG-4 AVC se usa el elemento de sintaxis frame_num para identificar imágenes en la memoria intermedia de imágenes descodificadas y detectar vacíos en frame_num. Si gaps_in_frame_num_allowed es igual a 1, el descodificador introducirá cuadros “no existentes” en la memoria intermedia de imágenes descodificadas para que el proceso de ventana deslizante funcione correctamente.

En el esquema propuesto ilustrado en la Figura 16, la combinación de POC y additional_picture_id se puede utilizar para identificar imágenes en la memoria intermedia de imágenes descodificadas. El esquema propuesto no necesita contener un proceso de ventana deslizante. Por lo tanto, se propone eliminar los elementos de sintaxis frame_num y gaps_in_frame_num_allowed.

La Figura 15 es un ejemplo de una estructura de codificación a la que se pueden aplicar las realizaciones. En el ejemplo de la Figura 15, la segunda imagen en el orden de descodificación incluirá POC 0 en su descripción de memoria intermedia mientras que la tercera imagen en el orden de descodificación incluirá POC 0 y POC 4 en su descripción de memoria intermedia. La cuarta imagen en el orden de descodificación debe incluir no solamente POC 0 y POC 2 en su descripción de memoria intermedia, sino también POC 4 puesto que esa imagen se utilizará para referencia en el futuro. La quinta imagen en el orden de descodificación no necesita incluir POC 0 en su descripción de memoria intermedia a no ser que se vaya a utilizar como referencia en el futuro. Si POC 0 no está incluido en la descripción de memoria intermedia, se transformará en no utilizada para referencia.

En el ejemplo de la Figura 15, additional_picture_id (o additional_id) es 0 para todas las imágenes. Se recomienda fijar additional_picture_id a 0 a no ser que haya dos imágenes diferentes disponibles para referencia con el mismo POC, debido a la reiniciación cíclica de POC. Si POC es el mismo para dos imágenes diferentes, la additional_picture_id es preferentemente diferente con el fin de no sustituir incondicionalmente la imagen más antigua por la más nueva. Additional_picture_id se puede utilizar con el fin de proporcionar todas las funcionalidades y posibilidades que aportan las imágenes de largo plazo en la H.264/MPEG-4 AVC. Por lo tanto, en una realización particular, la additional_picture_id que constituye una parte del identificador de imagen se podría utilizar para señalizar si una imagen de referencia se va a usar para referencia de largo plazo o para referencia de corto plazo. Considérese un ejemplo en el que un codificador desearía usar una imagen A con POC 14 y additional_picture_id fijada a 0, como “imagen de largo plazo”. El codificador debe asegurarse, entonces, de que la imagen A se incluye en la descripción de memoria intermedia en el encabezamiento de franja de todas las imágenes que suceden a A durante todo el tiempo que el codificador desee que la imagen A esté disponible para referencia. Si el codificador desease codificar otra imagen con POC 14 (debido a la reiniciación cíclica de POC) mientras que A sigue estando disponible para referencia, el codificador debería seleccionar otro valor de additional_picture_id, por ejemplo 1, para evitar que A se sustituya como imagen de referencia.

Para imágenes que se utilizarán como referencia durante un periodo de tiempo corto (imágenes de referencia de corto plazo), se recomienda fijar additional_picture_id a 0, con el fin de minimizar la tara de bits. Para imágenes que se utilizarán como referencia durante un periodo de tiempo largo (imágenes de largo plazo), se recomienda que el codificador se asegure de que no hay disponibles para la predicción al mismo tiempo dos imágenes con el mismo POC y la misma additional_picture_id.

Un aspecto adicional de las realizaciones define un codificador configurado para crear información de descripción de memoria intermedia que define qué imágenes se usarán como imágenes de referencia, es decir, se almacenarán en una memoria intermedia de imágenes descodificadas para ser utilizadas para la descodificación posterior. Al menos parte de la información de descripción de memoria intermedia se introduce en el flujo continuo de bits codificado por el codificador.

La Figura 18 es un diagrama de bloques esquemático de una realización de un codificador 100. El codificador 100 está configurado para codificar una imagen de un flujo continuo de vídeo que comprende múltiples imágenes. El codificador 100 comprende un determinador 110 de imágenes de referencia configurado para determinar al menos una imagen de referencia para la imagen actual entre las múltiples imágenes del flujo continuo de vídeo. La por lo menos una imagen de referencia se utiliza como referencia de codificación para la imagen actual. Un proveedor 120 de identificadores de imagen del codificador 100 está configurado para proporcionar un identificador de imagen respectivo de cada imagen de referencia determinada por el determinador 110 de imágenes de referencia. Un identificador de imagen proporcionada por el proveedor 120 de identificadores de imagen identifica su imagen de referencia asociada. El(los) identificador(es) de imagen proporcionado(s) por el proveedor 120 de identificadores de imagen constituyen en conjunto una descripción de memoria intermedia para la imagen actual al enumerar identificador(es) de imagen de la(s) imagen(es) de referencia requerida(s) para la codificación y descodificación de la imagen actual y, opcionalmente, también, cualquier (cualesquiera) imagen(es) de referencia previa(s) del flujo continuo de vídeo requerida(s) para la codificación y descodificación de una imagen subsiguiente del flujo continuo de vídeo.

El codificador 100 también comprende un generador 130 de informaciones de descripción de memoria intermedia configurado para generar información de la descripción de memoria intermedia, es decir, la información de descripción de memoria intermedia, que define la por lo menos una imagen de referencia determinada por el determinador 110 de imágenes de referencia. El generador 130 de informaciones de descripción de memoria intermedia está configurado para generar esta información de descripción de memoria intermedia basándose en el por lo menos un identificador de imagen del proveedor 120 de identificadores de imagen.

Un introductor 140 de datos está implementado en el codificador 100 para introducir la información de descripción de memoria intermedia generada por el generador 130 de informaciones de descripción de memoria intermedia en una representación codificada de la imagen actual. Por lo tanto, el flujo continuo de bits codificado del flujo continuo de vídeo con respecto a la imagen actual es portador de la información de descripción de memoria intermedia. Esto significa que la representación codificada de la imagen será portadora de la información de descripción de memoria intermedia que define la información pertinente, es decir, identificadores de imagen, requerida por un descodificador con el fin de actualizar la memoria intermedia de imágenes descodificadas para la imagen actual, para permitir, de esta manera, la descodificación de la representación codificada de la imagen.

Tal como se ha descrito anteriormente en el presente documento, el determinador 110 de imágenes de referencia está configurado preferentemente para determinar cualquier imagen de referencia del flujo continuo de vídeo como referencia de codificación no solamente para la imagen actual, sino para determinar también cualquier imagen de referencia, preferentemente presente en el flujo continuo de vídeo antes de la imagen actual en el orden de descodificación, como codificación de referencia para una o más imágenes posteriores de acuerdo con el orden de descodificación.

En una realización particular, cada imagen puede estar compuesta por una o más franjas. Cada una de dichas franjas puede entonces codificarse y descodificarse con independencia de otras franjas de la misma imagen. Por lo tanto, el determinador 110 de imágenes de referencia determina, preferentemente, para al menos una franja, preferentemente para cada franja de la imagen, por lo menos una imagen de referencia que se utilizará para la codificación y la descodificación de la franja particular. El proveedor 120 de identificadores de imagen proporciona, preferentemente, identificadores de imagen respectivos para todas las imágenes de referencia determinadas por el determinador 110 de imágenes de referencia para la imagen actual, es decir, para todas sus franjas. La información de descripción de memoria intermedia es generada, de esta manera, por el generador 130 de informaciones de descripción de memoria intermedia sobre la base de estos identificadores de imagen proporcionados. En una realización preferida, el introductor 140 de datos está configurado para introducir la información de descripción de memoria intermedia en un encabezamiento de franja respectivo de la representación codificada de la imagen. En tal caso, cada encabezamiento de franja de la imagen actual es portador, preferentemente, de la misma información de descripción de memoria intermedia. Esto permite la descodificación de una franja dada aun cuando otra franja de la imagen se haya perdido de forma no intencionada.

También son posibles otras posiciones entre la información de control en la representación codificada de la imagen para que sean portadoras de la información de descripción de memoria intermedia según se ha descrito previamente en la presente.

La descripción de memoria intermedia de las realizaciones podría incluir el(los) identificador(es) de imagen de la(s) imagen(es) de referencia. Alternativamente, la descripción de memoria intermedia comprende el(los) identificador(es) delta descrito(s) previamente que se puede(n) utilizar junto con el identificador de imagen de la imagen actual para calcular el(los) identificador(es) de imagen de la(s) imagen(es) de referencia.

En tal caso, el codificador 100 comprende, preferentemente, un módulo 150 de cálculo de identificadores que está configurado para calcular, para cada identificador de imagen proporcionado por el proveedor 120 de identificadores de imagen, una diferencia entre el identificador de imagen y el identificador de imagen de la imagen actual. Esta diferencia se corresponde con el identificador delta para la imagen de referencia. El generador 130 de informaciones de descripción de memoria intermedia se configura, entonces, para generar la información de descripción de memoria intermedia basándose en la por lo menos una diferencia/un identificador delta calculado por el módulo 150 de cálculo de identificadores. La información de descripción de memoria intermedia define, de esta manera, el por lo menos un identificador de imagen de la(s) imagen(es) de referencia en relación con el identificador de imagen de la imagen actual.

La representación codificada de la imagen podría ser portadora de los identificadores de imagen proporcionados por el proveedor 120 de identificadores de imagen o los identificadores delta calculados por el módulo 150 de cálculo de identificadores como información de descripción de memoria intermedia, por ejemplo, en los encabezamientos de franja. Esto proporciona una señalización explícita de la descripción de memoria intermedia en la representación codificada de la imagen.

En una realización alternativa, el codificador 100 comprende un generador 160 de estructuras de datos configurado para generar una estructura de datos que comprende múltiples descripciones de memoria intermedia predefinidas. Cada una de dichas descripciones de memoria intermedia predefinidas define, de esta manera, por lo menos una imagen de referencia. Así, la estructura de datos se puede usar para múltiples imágenes en el flujo continuo de vídeo con el fin de proporcionar la descripción de memoria intermedia a usar durante la descodificación correspondiente a las imágenes. El generador 130 de informaciones de descripción de memoria intermedia está configurado, así, para seleccionar una descripción de memoria intermedia de la estructura de datos basándose en el por lo menos un identificador de imagen proporcionado por el proveedor 120 de identificadores de imagen para la imagen actual. Se selecciona, así, la descripción de memoria intermedia que se corresponde correctamente con el por lo menos un identificador de imagen de referencia, y la información de descripción de memoria intermedia generada por el generador 130 de informaciones de descripción de memoria intermedia comprende un identificador de la descripción de memoria intermedia seleccionada.

La estructura de datos generada por el generador 160 de estructuras de datos podría, entonces, introducirse en un campo de información de control asociado a una representación codificada del flujo continuo de vídeo, tal como en un PPS o SPS. Un identificador de la información de control pertinente, es decir, un identificador de PPS o un identificador de SPS (podría estar en forma de un identificador de PPS para un PPS que, a su vez, comprende un identificador de SPS para el SPS pertinente), se incluye preferentemente en información de control de la representación codificada de la imagen actual, tal como en el encabezamiento de franja. En una realización, el encabezamiento de franja u otro campo de información de control es portador, así, del identificador de información de control y del identificador de la descripción de memoria intermedia seleccionada, como información de descripción de memoria intermedia.

Las realizaciones de señalización explícita de identificadores de imagen y de señalización de referencia de identificadores de imagen de la descripción anterior se pueden combinar. En tal caso, el generador 130 de informaciones de descripción de memoria intermedia está configurado para generar la información de descripción de memoria intermedia que comprende el identificador de la descripción de memoria intermedia seleccionada, preferentemente también el identificador de información de control, y que comprende información, tal como identificador delta o identificador de imagen explícito, que define un identificador de imagen de una imagen de referencia.

El codificador 100 podría utilizar cualquiera de los ejemplos descritos anteriormente de identificadores de imagen, tales como el valor de POC que identifica de forma inequívoca una imagen de referencia, o un valor de POC y un identificador adicional.

El flujo continuo de vídeo podría ser un flujo continuo de vídeo escalable en donde las imágenes se agrupan en múltiples capas. En tal caso, el proveedor 120 de identificadores de imagen está configurado para proporcionar, para cada imagen de referencia, el identificador de imagen e información de capas temporales o un identificador que identifica una capa a la que pertenece la imagen de referencia. El generador 130 de informaciones de descripción de memoria intermedia genera, entonces, la información de descripción de memoria intermedia basándose en el por lo menos un identificador de imagen y sobre la base de la información de capas temporales. Por lo tanto, la información de descripción de memoria intermedia define, preferentemente, el por lo menos un identificador de imagen y la información de capas temporales.

El determinador 110 de imágenes de referencia está configurado, preferentemente, para determinar la por lo menos una imagen de referencia como referencia de codificación para la predicción inter y/o la predicción con vectores de movimiento para la imagen actual.

Así, la por lo menos una imagen de referencia puede determinarse maximizando la eficiencia de compresión o codificación de la representación codificada de la imagen, es decir, minimizando el número de símbolos, tales como bits, necesarios para representar la representación codificada. Esta maximización de la compresión se realiza, preferentemente, al mismo tiempo que se cumple por lo menos una restricción colateral seleccionada de entre tener un número máximo predefinido de imágenes de referencia y generar una representación descodificable del flujo continuo de vídeo también cuando se elimina de la representación codificada del flujo continuo de vídeo por lo menos una representación codificada de una imagen. Otra restricción colateral alternativa o adicional es que una imagen de referencia seleccionada deba estar disponible para referencia y predicción en la memoria intermedia de imágenes descodificadas.

El codificador se podría implementar, al menos parcialmente, en software. En una realización tal como se muestra en la Figura 19, el codificador 300 comprende una sección 310 de entrada configurada para recibir múltiples imágenes de un flujo continuo de vídeo. El codificador 300 también comprende un procesador 330 configurado para procesar medios de código de un programa de ordenador almacenado en una memoria 340. Los medios de código, cuando se ejecutan en el procesador 330, provocan que el procesador 330 determine, para una imagen del flujo continuo de vídeo, al menos una imagen de referencia del flujo continuo de vídeo como referencia de codificación para la imagen. También se provoca que el procesador 330 proporcione, para cada imagen de referencia, un identificador de imagen que identifica la imagen de referencia y que genere, basándose en el por lo menos un identificador de imagen, información de descripción de memoria intermedia que define la por lo menos una imagen de referencia. Se provoca, además, que el procesador 330 introduzca la información de descripción de memoria intermedia en una representación codificada de la imagen. El codificador 300 también comprende una sección 320 de salida configurada para dar salida a las representaciones codificadas de las imágenes.

El procesador 330 podría ser un ordenador de propósito general o adaptado especialmente, un procesador o un microprocesador, tal como una unidad de procesado central (CPU). El software incluye elementos de código de programa de ordenador o partes de código de software que materializan el funcionamiento de por lo menos el determinador 110 de imágenes de referencia, el proveedor 120 de identificadores de imágenes, el generador 130 de informaciones de descripción de memoria intermedia, y el introductor 140 de datos de la Figura 18.

El programa se puede almacenar en su totalidad o parcialmente, en o dentro de uno o más soportes legibles por ordenador o medios de almacenamiento de datos, volátiles, adecuados, tales como una RAM, o uno o más soportes legibles por ordenador o medios de almacenamiento de datos, no volátiles, tales como discos magnéticos, CD-ROMs, discos DVD, discos duros, en memoria ROM o flash. Los medios de almacenamiento de datos pueden ser unos medios de almacenamiento de datos locales o se pueden proporcionar de forma remota, tal como en un servidor de datos. Así, el software se puede cargar en la memoria de funcionamiento de un ordenador o sistema de procesado equivalente para su ejecución por un procesador. El ordenador/procesador no tiene que estar dedicado a solamente ejecutar las funciones descritas anteriormente, sino que también puede ejecutar otras tareas de software. Un ejemplo no limitativo de código de programa utilizado para definir el codificador 300 incluye código de una instrucción, múltiples datos (SIMD).

Alternativamente, el codificador se puede implementar en hardware. Existen numerosas variantes de elementos de circuitería que se pueden utilizar y combinar para lograr las funciones de las unidades 110-160 del codificador 100 de la Figura 18. Las realizaciones abarcan dichas variantes. Son ejemplos particulares de implementación en hardware del codificador 100 una implementación en hardware de procesador de señal digital (DSP) y tecnología de circuitos integrados, incluyendo tanto circuitería electrónica de propósito general como circuitería de aplicación específica.

De acuerdo con un aspecto de las realizaciones, se proporciona un transmisor 200 según se muestra en la Figura 17. El transmisor 200 comprende una sección 210 de entrada configurada para recibir múltiples imágenes 10 de un flujo continuo de vídeo. Las imágenes 10 se reenvían a un codificador 100, tal como se ilustra en la Figura 18 ó en la Figura 19, que está configurado para codificar las múltiples imágenes 10 con el fin de generar representaciones codificadas respectivas de las múltiples imágenes. Una sección 220 de salida del transmisor 200 está configurada para dar salida a las representaciones codificadas respectivas de las múltiples imágenes en forma de un flujo continuo de bits codificado que es portador de la información de descripción de memoria intermedia de las realizaciones.

Un aspecto de las realizaciones se refiere a un descodificador para detectar información de descripción de memoria intermedia y para la determinación de una referencia absoluta a imágenes que se usarán como imágenes de referencia para la descodificación basándose en la descripción de memoria intermedia detectada, y a una memoria intermedia para el almacenamiento de las imágenes que se utilizarán como imágenes de referencia.

La Figura 21 es un diagrama de bloques esquemático de un descodificador 400 de acuerdo con una realización. El descodificador 400 está configurado para descodificar una representación codificada de una imagen de un flujo continuo de vídeo que comprende múltiples imágenes. El descodificador 400 comprende un recuperador 410 de datos configurado para recuperar información de descripción de memoria intermedia que define al menos una imagen de referencia a partir de la representación codificada de la imagen. La información de descripción de memoria intermedia es usada por un determinador 420 de identificadores de imagen que está configurado para determinar al menos un identificador de imagen que identifica una imagen de referencia respectiva como referencia de descodificación para la imagen. El descodificador 400 comprende, también, un gestor 430 de memoria intermedia configurado para actualizar una memoria intermedia de imágenes descodificadas del o asociada al descodificador 400 basándose en el por lo menos un identificador de imagen determinado por el determinador 420 de identificadores de imagen.

En una realización particular, el recuperador 410 de datos está configurado para recuperar la información de descripción de memoria intermedia que define múltiples identificadores de imagen a partir de la representación codificada de la imagen. El determinador 420 de identificadores de imagen se configura, a continuación, para determinar, sobre la base de la información de descripción de memoria intermedia recuperada, al menos un identificador de imagen que identifica una imagen de referencia respectiva como referencia de descodificación para la imagen y al menos un identificador de imagen que identifica una imagen de referencia respectiva como referencia de descodificación para una imagen subsiguiente, de acuerdo con un orden de descodificación, del flujo continuo de vídeo.

El gestor 430 de memoria intermedia está configurado, preferentemente, para actualizar la memoria intermedia de imágenes descodificadas de manera que comprenda la imagen de referencia respectiva identificada por el por lo menos un identificador de imagen.

Así, la información de descripción de memoria intermedia de la cual es portadora la representación codificada de la imagen se utiliza para identificar qué imagen(es) de referencia es necesario almacenar en la memoria intermedia de imágenes descodificadas para la descodificación de la imagen actual y para la descodificación de una imagen subsiguiente del flujo continuo de vídeo. Así, la información de descripción de memoria intermedia proporciona la información al descodificador 400 requerido para actualizar la memoria intermedia de imágenes descodificadas con el fin de almacenar la(s) imagen(es) de referencia correcta(s).

Una vez que el gestor 430 de memoria intermedia ha actualizado la memoria intermedia de imágenes descodificadas, el descodificador 400 puede descodificar la imagen basándose en la representación codificada de la imagen y por lo menos una imagen de referencia almacenada en la memoria intermedia de imágenes descodificadas actualizada.

La información de descripción de memoria intermedia se proporciona, preferentemente, en información de control de la representación codificada de la imagen. Por ejemplo, el recuperador 410 de datos se podría configurar para recuperar la información de descripción de memoria intermedia a partir de un encabezamiento de franja de la representación codificada de la imagen. En tal caso, la información de descripción de memoria intermedia se recupera, preferentemente, a partir del primer encabezamiento de franja recibido para la imagen actual, ya que cualquiera de los encabezamientos de franja restantes de la imagen será portador, preferentemente, de la misma información de descripción de memoria intermedia.

La información de descripción de memoria intermedia recuperada podría incluir identificadores de imagen explícitos de las imágenes de referencia a almacenar en la memoria intermedia de imágenes descodificadas. En una realización alternativa, la información de descripción de memoria intermedia define un identificador delta respectivo para las imágenes de referencia. El determinador 420 de identificadores de imagen está configurado, entonces, para recuperar el por lo menos un identificador delta a partir de la información de descripción de memoria intermedia y calcular el por lo menos un identificador de imagen sobre la base del identificador delta respectivo y el identificador de imagen de la imagen actual, preferentemente en forma de una suma del identificador delta y el identificador de imagen de la imagen actual.

En lugar de la señalización explícita de identificadores de imagen o identificadores delta en la representación codificada de la imagen, se puede utilizar una señalización de referencia. El recuperador 410 de datos en esta realización está configurado para recuperar un identificador de una descripción de memoria intermedia a partir de la representación codificada de la imagen. El descodificador 400 comprende, preferentemente, un identificador 480 de descripción de memoria intermedia configurado para identificar una descripción de memoria intermedia a partir de una estructura de datos que comprende múltiples descripciones de memoria intermedia predefinidas utilizando el identificador recuperado de la descripción de memoria intermedia.

Preferentemente, el recuperador 410 de datos en esta realización, está también configurado para recuperar la estructura de datos que define las múltiples descripciones de memoria intermedia predefinidas a partir de un campo de información de control de, o asociado a, una representación codificada del flujo continuo de vídeo, tal como a partir de un PPS o SPS.

En una realización particular, un campo de información de control de la representación codificada de la imagen, tal como un encabezamiento de franja, comprende preferentemente un identificador del campo de información de control, tal como PPS o SPS, que es portador de la estructura de datos. El recuperador 410 de datos de este modo recupera este identificador y lo usa para identificar el campo de información de control pertinente con la estructura de datos.

En otra realización, la información de descripción de memoria intermedia comprende el identificador de la descripción de memoria intermedia e información, tal como un identificador de imagen o identificador delta, que identifica al menos un identificador de imagen. El determinador 420 de identificadores de imagen se configura, entonces, para determinar un primer conjunto de por lo menos un identificador de imagen a partir de la descripción de memoria intermedia identificada, preferentemente a partir de la estructura de datos. El determinador 420 de identificadores de imagen también determina un segundo conjunto de por lo menos un identificador de imagen a partir de la información que define por lo menos un identificador de imagen, en donde esta información se ha señalizado explícitamente en la representación codificada de la imagen, tal como en forma de un identificador de imagen o un identificador delta. Entonces se forma un conjunto combinado de identificadores de imagen a partir del primer conjunto y el segundo conjunto por medio del determinador 420 de identificadores de imagen.

En una realización particular, el descodificador 400 comprende un comparador 440 de números configurado para comparar un número total de identificadores de imagen en el conjunto combinado, con un número máximo de imágenes de referencia que se pueden almacenar en la memoria intermedia de imágenes descodificadas. Si el número total de identificadores de imagen en el conjunto combinado supera el número máximo de imágenes de referencia, el determinador 420 de identificadores de imagen se configura para eliminar uno o más identificadores de imagen incluidos en el primer conjunto pero no en el segundo conjunto, hasta que el número total de identificadores de imagen en el conjunto combinado ya no supera el número máximo de imágenes de referencia.

El gestor 430 de memoria intermedia del descodificador 400 está configurado, en una realización particular, para eliminar cualquier imagen de referencia presente en la memoria intermedia de imágenes descodificadas pero que no esté asociada a ninguno del por lo menos un identificador de imagen determinado a partir de la información de descripción de memoria intermedia. Por lo tanto, cualquier imagen de referencia que se almacena en la memoria intermedia de imágenes descodificadas pero no identificada a partir de la información de descripción de memoria intermedia, se elimina preferentemente de la memoria intermedia de imágenes descodificadas por parte del gestor 430 de memoria intermedia.

En un planteamiento alternativo y preferido, el gestor 430 de memoria intermedia está configurado para marcar como no utilizada para referencia, lo que se conoce también como no utilizada para predicción, todas las imágenes de referencia almacenadas en la memoria intermedia de imágenes descodificadas pero que no están asociadas a ninguno del por lo menos un identificador de imagen de la información de descripción de memoria intermedia.

En una realización particular, cualquier imagen de referencia presente en la memoria intermedia de imágenes descodificadas y asociada a cualquiera de los identificadores de imagen determinados sobre la base de la información de descripción de memoria intermedia es marcada, preferentemente, por el gestor 430 de memoria intermedia como utilizada para referencia. En una realización, una imagen de referencia se podría marcar o bien como utilizada para referencia de corto plazo o bien como utilizada para referencia de largo plazo. La selección entre estas dos alternativas particulares se realiza, preferentemente, sobre la base de la información de descripción de memoria intermedia.

El gestor 430 de memoria intermedia del descodificador 400 está configurado, preferentemente, para marcar cualquier imagen de referencia antes de que el descodificador 400 descodifique la imagen actual.

En una realización particular, el descodificador 400 comprende una sección 450 de salida configurada para dar salida a cero o más imágenes de la memoria intermedia de imágenes descodificadas con vistas a su visualización antes de que el descodificador 400 descodifique la imagen actual. En una realización particular, la sección 450 de salida da salida a cualquier imagen de referencia marcada como no utilizada para referencia por el gestor 430 de memoria intermedia.

Una realización opcional del descodificador 400 comprende un comparador 460 de identificadores configurado para comparar el por lo menos un identificador de imagen determinado por el determinador 420 de identificadores de imagen con el(los) identificador(es) de imagen correspondiente(s) a imagen(es) de referencia almacenada(s) en la memoria intermedia de imágenes descodificadas. Si ninguno del por lo menos un identificador de imagen definido por la información de descripción de memoria intermedia no tiene una imagen de referencia coincidente en la memoria intermedia de imágenes descodificadas, el determinador 420 de identificadores de imagen determina que la imagen asociada al identificador de imagen dado es no existente o que falta.

En una realización opcional, el determinador 420 de identificadores de imagen está configurado para generar cualquier imagen no existente y almacenar dicha imagen generada en la memoria intermedia de imágenes descodificadas. El identificador de imagen y cualquier otra información obtenible a partir de la información de descripción de memoria intermedia con respecto a la imagen no existente se asignan, preferentemente, a la imagen generada, por parte del determinador 420 de identificadores de imagen.

El descodificador 400 también puede comprender un administrador 470 de listas configurado para llevar a cabo una inicialización de listas de imágenes de referencia basándose en la información de descripción de memoria intermedia. En una realización particular, el administrador 470 de listas está configurado para llevar a cabo la inicialización de listas de imágenes de referencia ordenando imágenes de referencia en una lista de imágenes de referencia de acuerdo con un orden en el que la información de descripción de memoria intermedia define el por lo menos un identificador de imagen. Por lo tanto, la información de descripción de memoria intermedia no solamente define los identificadores de imagen de las imágenes de referencia, sino que el orden en el cual se definen los mismos en la información de descripción de memoria intermedia también proporciona instrucciones para el administrador 470 de listas con respecto a la formación de la lista de imágenes de referencia.

El descodificador se podría implementar, al menos parcialmente, en software. En una realización tal como se muestra en la Figura 22, el descodificador 600 comprende una sección 610 de entrada configurada para recibir representaciones codificadas de múltiples imágenes de un flujo continuo de vídeo. El descodificador 600 también comprende un procesador 630 configurado para procesar medios de código de un programa de ordenador almacenado en una memoria 640. Los medios de código, cuando se ejecutan en el procesador 630, provocan que el procesador 630 recupere información de descripción de memoria intermedia que define al menos una imagen de referencia a partir de una representación codificada de una imagen. Los medios de código también provocan que el procesador 630 determine por lo menos un identificador de imagen que identifica una imagen de referencia respectiva a partir de la información de descripción de memoria intermedia. La imagen de referencia respectiva se usará como referencia de descodificación para la imagen. Se provoca, además, que el procesador 630 actualice una memoria intermedia 650 de imágenes descodificadas basándose en el por lo menos un identificador de imagen. El descodificador 600 también comprende una sección 620 de salida configurada para dar salida a las imágenes descodificadas del flujo continuo de vídeo.

El procesador 630 podría ser un ordenador de propósito general o adaptado especialmente, un procesador o un microprocesador, tal como una unidad de procesado central (CPU). El software incluye elementos de código de programa de ordenador o partes de código de software que materializan el funcionamiento de por lo menos el recuperador 410 de datos, el determinador 420 de identificadores de imagen y el gestor 430 de memoria intermedia de la Figura 21.

El programa se puede almacenar en su totalidad o parcialmente, en o dentro de uno o más soportes legibles por ordenador o medios de almacenamiento de datos, volátiles, adecuados, tales como una RAM, o uno o más soportes legibles por ordenador o medios de almacenamiento de datos, no volátiles, tales como discos magnéticos, CD-ROMs, discos DVD, discos duros, en memoria ROM o flash. Los medios de almacenamiento de datos pueden ser unos medios de almacenamiento de datos locales o se pueden proporcionar de forma remota, tal como en un servidor de datos. Así, el software se puede cargar en la memoria de funcionamiento de un ordenador o sistema de procesado equivalente para su ejecución por un procesador. El ordenador/procesador no tiene que estar dedicado a solamente ejecutar las funciones descritas anteriormente, sino que también puede ejecutar otras tareas de software. Un ejemplo no limitativo de código de programa utilizado para definir el descodificador 600 incluye código de una instrucción, múltiples datos (SIMD).

Alternativamente, el descodificador se puede implementar en hardware. Existen numerosas variantes de elementos de circuitería que se pueden utilizar y combinar para lograr las funciones de las unidades 410-480 del descodificador 400 de la Figura 21. Las realizaciones abarcan dichas variantes. Son ejemplos particulares de implementación en hardware del descodificador 400 una implementación en hardware de procesador de señal digital (DSP) y tecnología de circuitos integrados, incluyendo tanto circuitería electrónica de propósito general como circuitería de aplicación específica.

De acuerdo con un aspecto de las realizaciones, se proporciona un receptor 500 según se muestra en la Figura 20. El receptor 500 comprende una sección 510 de entrada configurada para recibir representaciones codificadas de múltiples imágenes de un flujo continuo de vídeo. La representación codificada es portadora de información de descripción de memoria intermedia de acuerdo con las realizaciones. Las representaciones codificadas se reenvían a un descodificador 400, tal como se ilustra en la Figura 21 ó en la Figura 22, que está configurado para descodificar las representaciones codificadas de las múltiples imágenes. Una sección 520 de salida del receptor 500 está configurada para dar salida a imágenes descodificadas del flujo continuo de vídeo. El receptor 500 también comprende una memoria intermedia 530 de imágenes descodificadas que almacena imágenes de referencia para su uso por el descodificador 400 cuando se descodifican las imágenes.

Anexo

El presente anexo ofrece una sintaxis propuesta de una realización. En el anexo, los elementos de sintaxis añadidos con respecto a la propuesta de HEVC del estado de la técnica se han marcado subrayándolos y los elementos de sintaxis retirados se han marcado tachándolos.

Encabezamiento de franja

Conjunto de parámetros de imagen

Semántica propuesta

Proceso de descodificación para la aplicación de descripción de memoria intermedia

Este proceso se invoca en el comienzo del proceso de descodificación para cada imagen I, P, o B, antes de la descodificación de la primera Unidad de Codificación en la primera franja de la imagen y antes del proceso de descodificación para la construcción de listas de imágenes de referencia.

El proceso puede dar como resultado la marcación de una o más imágenes como “no utilizada para referencia”. El proceso puede dar como resultado la construcción de imágenes “no existentes” según se describe en Creación de imágenes no existentes.

Una imagen de referencia se identifica para su uso en el proceso de descodificación mediante las variables POC y additional_picture_id.

Se dice que una imagen de referencia r en la memoria intermedia de imágenes descodificadas forma parte de una descripción de memoria intermedia si y solamente si POC(r) = POC(act) + delta_POC(i) y additional_picture_id(r) = additional_picture_id(i) para cualquier i en el intervalo de 0 a number_pictures_in_buffer_description.

Secuencia de funcionamiento para la aplicación de descripción de memoria intermedia

La aplicación de la descripción de memoria intermedia se desarrolla en las siguientes etapas ordenadas:

1. En función de si la imagen actual es una imagen de IDR, se aplica lo siguiente.

- Si la imagen actual es una imagen de IDR, todas las imágenes de referencia se marcan como no utilizada para referencia.

- Si no (la imagen actual no es una imagen de IDR), se aplican las siguientes etapas ordenadas:

I. La información de descripción de memoria intermedia en el encabezamiento de franja de la primera franja de la imagen actual se utiliza para crear una lista de imágenes de referencia, a la que se denomina descripción de memoria intermedia según se describe en Creación de una descripción de memoria intermedia.

II. Todas las imágenes de referencia (en la memoria intermedia de imágenes descodificadas) que no forman parte de la descripción de memoria intermedia se marcan como “no utilizada para referencia”. III. Si una o más imágenes que están incluidas en la descripción de memoria intermedia no están disponibles para la referencia (es decir, existentes en la memoria intermedia de referencias y marcadas como “utilizada para referencia”) se invoca el proceso descrito en Creación de imágenes no existentes.

2. Se descodifican las franjas de la imagen actual.

Creación de una descripción de memoria intermedia

Si buffer_description_reference_flag es 1, se crea una descripción de memoria intermedia fijando deltaPOC al deltaPOC de la entrada de la descripción de memoria intermedia del PPS identificada por buffer_description_id, fijando temporal_id al temporal_id de la entrada de la descripción de memoria intermedia del PPS identificada por buffer_description_id y fijando additional_picture_id a 0 para cada imagen i en el intervalo de 0 a number_of_pictures_in_buffer_description-1.

Si buffer_description_reference_flag es 0, se crea una descripción de memoria intermedia fijando deltaPOC al deltaPOC de la descripción de memoria intermedia señalizada explícitamente, fijando temporal_id al temporal_id de la descripción de memoria intermedia señalizada explícitamente y fijando additional_picture_id a la additional_picture_id de la descripción de memoria intermedia señalizada explícitamente para cada imagen i en el intervalo de 0 a number_of_explicitly_signaled_pictures-1.

Creación de imágenes no existentes

Este proceso se invoca, preferentemente, para cada imagen que está incluida en la descripción de memoria intermedia de la imagen actual, pero no está disponible en la memoria intermedia de imágenes descodificadas. Es decir, si la descripción de memoria intermedia de la imagen actual contiene una entrada i, con un POC(i) y additional_picture_id(i) tales que no hay ninguna imagen j en la memoria intermedia de imágenes descodificadas marcada como “utilizada para referencia” con POC(j) == POC(i) y additional_picture_id(j) == additional_picture_id(i). Para cada una de estas descripciones se genera una imagen “no existente” con el POC fijado a POC(i), la additional_picture_id fijada a additional_picture_id(i), la temporal_id fijada a temporal_id(i) y marcada como “no existente” y “utilizada para referencia”. Los valores de muestra de los cuadros generados se pueden fijar a cualquier valor. A estos cuadros generados que están marcados como “no existente” no se les hará referencia en el proceso de predicción inter.

Las realizaciones descritas anteriormente deben interpretarse como algunos ejemplos ilustrativos de la presente invención. Aquellos versados en la materia entenderán que, en las realizaciones, se pueden aplicar varias modificaciones, combinaciones y cambios.

En particular, diferentes soluciones parciales en las diferentes realizaciones se pueden combinar en otras configuraciones, cuando resulte técnicamente posible. No obstante, el alcance de la presente invención queda definido por las reivindicaciones adjuntas.

Claims

REIVINDICACIONES

1. Método de descodificación de una representación codificada (60) de una imagen (10) de un flujo continuo (1) de vídeo de múltiples imágenes (10, 40, 42, 50), comprendiendo dicho método:

recuperar (S30) información de descripción de memoria intermedia que define por lo menos una imagen (40, 42) de referencia a partir de una estructura de datos incluida en dicha representación codificada (60) de dicha imagen (10);

determinar (S31), sobre la base de dicha información de descripción de memoria intermedia, por lo menos un identificador de imagen que identifica una imagen (40, 42) de referencia entre dicha por lo menos una imagen (40, 42) de referencia como referencia de descodificación para dicha imagen (10); y

actualizar (S32) una memoria intermedia (530, 650) de imágenes descodificadas basándose en dicho por lo menos un identificador de imagen marcando (S70) como no utilizada para referencia todas las imágenes de referencia presentes en dicha memoria intermedia (530, 650) de imágenes descodificadas y que no están asociadas a ninguno de dicho por lo menos un identificador de imagen determinado sobre la base de dicha información de descripción de memoria intermedia; y

descodificar (S33) dicha imagen (10) basándose en dicha representación codificada (60) de dicha imagen (10) y por lo menos una imagen (40, 42) de referencia presente en dicha memoria intermedia (530, 650) de imágenes descodificadas, en donde la descodificación de dicha imagen (10) se realiza después de actualizar dicha memoria intermedia (530, 650) de imágenes descodificadas, caracterizado por que dicha información de descripción de memoria intermedia define dicha por lo menos una imagen (40, 42) de referencia de una manera absoluta y explícita por medio de dicha representación codificada (60) de dicha imagen (10) que contiene en dicha estructura de datos la información sobre qué imagen de referencia utilizar para referencia durante la descodificación, independientemente de la representación codificada de imágenes previas en el flujo continuo de vídeo, y en donde la determinación (S31) de dicho al menos un identificador de imagen que identifica una imagen de referencia (40, 42) comprende:

recuperar (S40), basándose en dicha información de descripción de la memoria intermedia, un identificador delta respectivo y

calcular (S41) dicho al menos un identificador de imagen que identifica una imagen de referencia (40, 42); basándose en un identificador de imagen que identifica dicha imagen (10) y dicho identificador delta respectivo.

2. Método según la reivindicación 1, en el que la actualización (S32) de dicha memoria intermedia (530, 650) de imágenes descodificadas comprende actualizar (S32) dicha memoria intermedia (530, 650) de imágenes descodificadas de manera que comprenda dicha imagen (40, 42) de referencia respectiva identificada por dicho por lo menos un identificador de imagen.

3. Método según la reivindicación 1 o 2, en el que

la recuperación (S30) de dicha información de descripción de memoria intermedia comprende recuperar (S30) dicha información de descripción de memoria intermedia que define múltiples imágenes (40, 42) de referencia a partir de dicha representación codificada (60) de dicha imagen (10);

la determinación (S31) de dicho por lo menos un identificador de imagen comprende determinar (S31), basándose en dicha información de descripción de memoria intermedia, i) por lo menos un identificador de imagen que identifica una imagen (40, 42) de referencia entre dichas múltiples imágenes (40, 42) de referencia como referencia de descodificación para dicha imagen (10), y ii) por lo menos un identificador de imagen que identifica una imagen (42) de referencia entre dichas múltiples imágenes (40, 42) de referencia como referencia de descodificación para una imagen (50) subsiguiente, de acuerdo con un orden de descodificación, de dicho flujo continuo (1) de vídeo .

4. Descodificador (400) configurado para descodificar una representación codificada (60) de una imagen (10) de un flujo continuo (1) de vídeo de múltiples imágenes (10, 40, 42, 50), dicho descodificador (400) comprende:

un recuperador (410) de datos configurado para recuperar información de descripción de memoria intermedia que define por lo menos una imagen (40, 42) de referencia a partir de una estructura de datos en dicha representación codificada (60) de dicha imagen (10);

un determinador (420) de identificadores de imagen configurado para determinar (S31), basándose en dicha información de descripción de memoria intermedia, por lo menos un identificador de imagen que identifica una imagen (40, 42) de referencia entre dicha por lo menos una imagen (40, 42) de referencia como referencia de descodificación para dicha imagen (10);

un gestor (430) de memoria intermedia configurado para actualizar una memoria intermedia (530) de imágenes descodificadas sobre la base de dicho por lo menos un identificador de imagen marcando como no utilizada para referencia todas las imágenes de referencia presentes en dicha memoria intermedia (530) de imágenes descodificadas y que no están asociadas a ninguno de dicho por lo menos un identificador de imagen determinado sobre la base de dicha información de descripción de memoria intermedia, y dicho descodificador (400) está configurado para descodificar, después de que dicho gestor (430) de memoria intermedia haya actualizado dicha memoria intermedia (530) de imágenes descodificadas, dicha imagen (10) basándose en dicha representación codificada (60) de dicha imagen (10) y por lo menos una imagen (40, 42) de referencia presente en dicha memoria intermedia (530) de imágenes descodificadas, caracterizado por que dicha información de descripción de memoria intermedia define dicha por lo menos una imagen (40, 42) de referencia de una manera absoluta y explícita por medio de dicha representación codificada (60) de dicha imagen (10) que contiene en dicha estructura de datos la información sobre qué imagen de referencia utilizar para referencia durante la descodificación, independientemente de la representación codificada de imágenes previas en el flujo continuo de vídeo, y en donde el determinador (420) de identificadores de imagen está configurado para:

recuperar (S40), basándose en dicha información de descripción de la memoria intermedia, un identificador delta respectivo; y

calcular (S41) dicho al menos un identificador de imagen que identifica una imagen de referencia basándose en un identificador de imagen que identifica dicha imagen (10) y dicho identificador delta respectivo.

5. Descodificador según la reivindicación 4, en el que dicho gestor (430) de memoria intermedia está configurado para actualizar dicha memoria intermedia (530) de imágenes descodificadas de manera que comprenda dicha imagen (40, 42) de referencia respectiva identificada por dicho por lo menos un identificador de imagen.

6. Descodificador según la reivindicación 4 o 5, en el que

dicho recuperador (410) de datos está configurado para recuperar dicha información de descripción de memoria intermedia que define múltiples imágenes (40, 42) de referencia a partir de dicha representación codificada (60) de dicha imagen (10); y

dicho determinador (420) de identificadores de imagen está configurado para determinar, sobre la base de dicha información de descripción de memoria intermedia, i) al menos un identificador de imagen que identifica una imagen (40, 42) de referencia, respectiva, entre dichas múltiples imágenes (40, 42) de referencia como referencia de descodificación para dicha imagen (10), y ii) por lo menos un identificador de imagen que identifica una imagen (42) de referencia, respectiva, entre dichas múltiples imágenes (40, 42) de referencia como referencia de descodificación para una imagen (50) subsiguiente, de acuerdo con un orden de descodificación, de dicho flujo continuo (1) de vídeo.

7. Receptor (500) que comprende:

una sección (510) de entrada configurada para recibir representaciones codificadas (60) de múltiples imágenes (10, 40, 42, 50) de un flujo continuo (1) de vídeo;

un descodificador (400) según cualquiera de las reivindicaciones 4-6, configurado para descodificar dichas representaciones codificadas (60) de dichas múltiples imágenes (10, 40, 42, 50); y

una sección (520) de salida configurada para dar salida a imágenes descodificadas de dicho flujo continuo (1) de vídeo.