ES2901308T3

ES2901308T3 - Herencia en subdivisión multiárbol de matriz de muestras

Info

Publication number: ES2901308T3
Application number: ES20150595T
Authority: ES
Inventors: Philipp Helle; Detlev Marpe; Simon Oudin; Thomas Wiegand
Original assignee: GE Video Compression LLC
Current assignee: GE Video Compression LLC
Priority date: 2010-04-13
Filing date: 2011-04-13
Publication date: 2022-03-22
Anticipated expiration: 2031-04-13
Also published as: CN106060558A; TWI711280B; JP2016076939A; CN106454374A; US20230412850A1; US11785264B2; HUE049045T2; NO2991355T3; JP6707594B2; TWI800462B; US20220217419A1; US11051047B2; CN106454372B; US20160309198A1; JP2022137230A; CN106210732A; US10687085B2; KR101958589B1; JP2019004505A; US20210037265A1

Abstract

Decodificador para reconstruir una matriz de muestras de información que representa una señal de información muestreada espacialmente,que se subdivide en una estructura multi-árbol de regiones de hoja de diferentes tamaños mediante subdivisión multi-árbol,desde un flujo de datos, en el que la estructura multi- árbol está dividida en una sub-división primaria y una subordinada definida de una manera subordinada entre sí, de modo que un bloque de raíz de árbol de la sub-división primaria se subdivide en bloques de hoja de la sub-división primaria que, a su vez,forman los bloques de raíz de árbol de la sub-división subordinada, subdividida adicionalmente en regiones de hoja de la estructura multi-árbol, cada región de hoja de la estructura multi-árbol tiene asociada a la misma un nivel de jerarquía de una secuencia de niveles de jerarquía de la subdivisión multi-árbol,cada región de hoja de la estructura multi-árbol tiene asociada a la misma parámetros de codificación,los parámetrosde codificación se representan, para cada región de hoja, mediante un conjunto respectivo de elementos de sintaxis,cada elemento de sintaxis es de un tipo de elemento de sintaxis respectivo de un conjunto de tipos de elementos de sintaxis, y el decodificador comprende un extractor(102) para extraerla estructura multiárbol delv flujo de datos, con el fin de obtener una información de herencia desde el flujo de datos, indicandola información de herencia e ncuantoa si se usa o no herencia, y si se indica que se usa herencia,al menos una región de herencia de la matriz de muestras de información que está compuesta de un conjunto de las regiones de hoja de la estructura multi-árbol se corresponde con un nivel de jerarquía de secuencia de niveles de jerarquíade las ub-división multi-árbol, que es inferior que cada uno de los niveles de jerarquía al que está asociado el conjunto de region es de hoja de la estructura multi-árbol,y se forma po runa región de hoja de lasub-división primaria; en el que el extractor(102) se configura además para extraer (554) un subconjunto de herencia que incluye al menos un elemento de sintaxis de un tipo de elemento de sintaxis predeterminado desde el flujo de datos porregión de herencia, en el que el al menos un elemento de sintaxis del tipo de elemento de sintaxis predeterminado es un elemento de sintaxis de modo de intra-predicción, en el que el decodificador está configurado para decodificar,en un orden de decodificación residual, una señal residual para cada una de las regiones de hoja de la estructura multi-árbol de la que está compuesta la respectiva región de herencia, copiar (556 )el subconjunto de herencia en un subconjunto de herencia correspondiente de elementos de sintaxis dentro del conjunto de elementos de sintaxis que representa los parámetros de codificación asociados al conjunto de regiones de hojade la estructura multi-árbolde los que la respectiva almenos un aregión de herencia estácompuesta,y calcular, en el ordende decodificación residual, una señal de intra-predicción separada para cada una de las regiones de hoja de la estructura multi-árbol de la que la respectiva región de herencia está compuesta, de acuerdo conun modo de intra-predicción indicado por el elemento de sintaxis de modo de intra-predicción, usando muestras vecinas de una señal reconstruida de regiones de hoja ya reconstruidas de la estructura multi-árbol como una señal de referencia, reconstruyendola respectiva región de hoja de la estructura multi- árbol añadiendola señal de intra-predicción y la señal residual, en el que las regiones de hoja son bloques rectangulares.

Description

ES 2 901 308 T3

DESCRIPCIÓN

Herencia en subdivisión multiárbol de matriz de muestras

La presente invención se refiere a esquemas de codificación para una matriz de muestras de información que representan una señal de información muestreada espacialmente tal como un vídeo o una instantánea fija.

En codificación de imagen y de vídeo, las instantáneas o conjuntos particulares de matrices de muestras para las instantáneas normalmente se descomponen en bloques, que se asocian con parámetros de codificación particulares. Las instantáneas normalmente consisten en múltiples matrices de muestras. Además, una instantánea puede asociarse también con matrices de muestras auxiliares, que pueden especificar, por ejemplo, información de transparencia o mapas de profundidad. Las matrices de muestras de una instantánea (incluyendo matrices de muestras auxiliares) pueden agruparse en uno o más denominados grupos de planos, donde cada grupo de plano consiste en una o más matrices de muestras. Los grupos de planos de una instantánea pueden codificarse independientemente o, si la instantánea está asociada a más de un grupo de planos, con predicción desde otros grupos de planos de la misma instantánea. Cada grupo de planos normalmente se descompone en bloques. Los bloques (o los bloques correspondientes de matrices de muestras) se predicen mediante predicción inter-instantánea o predicción intra-instantánea. Los bloques pueden tener diferentes tamaños y pueden ser cuadráticos o rectangulares. La partición de una instantánea en bloques puede fijarse por la sintaxis, o puede señalizarse (al menos parcialmente) dentro del flujo de bits. A menudo se transmiten elementos de sintaxis que señalizan la subdivisión para bloques de tamaños predefinidos. Tales elementos de sintaxis pueden especificar si y cómo se subdivide un bloque en bloques más pequeños y parámetros de codificación asociados, por ejemplo, para el fin de predicción. Para todas las muestras de un bloque (o los bloques correspondientes de matrices de muestras) la decodificación de los parámetros de codificación asociados se especifica de una cierta manera. En el ejemplo, todas las muestras en un bloque se predicen usando el mismo conjunto de parámetros de predicción, tal como índices de referencia (que identifican una instantánea de referencia en el conjunto de instantáneas ya codificadas), parámetros de movimiento (que especifican una medida para el movimiento de unos bloques entre una instantánea de referencia y la instantánea actual), parámetros para especificar el filtro de interpolación, modos de intra-predicción, etc. Los parámetros de movimiento pueden representarse mediante vectores de desplazamiento con un componente horizontal y vertical o mediante parámetros de movimiento de orden superior tal como parámetros de movimiento afines que consisten en seis componentes. Es posible también que más de un conjunto de parámetros de predicción particulares (tales como índices de referencia y parámetros de movimiento) esté asociado a un único bloque. En ese caso, para cada conjunto de estos parámetros de predicción particulares, se genera una única señal de predicción intermedia para el bloque (o los bloques correspondientes de matrices de muestras), y la señal de predicción final se crea mediante una combinación que incluye superponer las señales de predicción intermedias. Los parámetros de ponderación correspondientes y potencialmente también un desplazamiento constante (que se añade a la suma ponderada) pueden fijarse para una instantánea, o una instantánea de referencia, o un conjunto de instantáneas de referencia, o pueden incluirse en el conjunto de parámetros de predicción para el bloque correspondiente. La diferencia entre los bloques originales (o los bloques correspondientes de matrices de muestras) y sus señales de predicción, también denominada como la señal residual, normalmente se transforman y cuantifican. A menudo, se aplica una transformación bidimensional a la señal residual (o a las matrices de muestras correspondientes para el bloque residual). Para codificación de transformación, los bloques (o los bloques correspondientes de matrices de muestras), para los que se ha usado un conjunto particular de parámetros de predicción, pueden partirse adicionalmente antes de aplicar la transformación. Los bloques de transformación pueden ser iguales a o más pequeños que los bloques que se usan para predicción. Es posible también que un bloque de transformación incluya más de uno de los bloques que se usan para predicción. Diferentes bloques de transformación pueden tener diferentes tamaños y los bloques de transformación pueden representar bloques cuadráticos o rectangulares. Después de la transformación, los coeficientes de transformación resultantes se cuantifican y se obtienen los denominados niveles de coeficiente de transformación. Los niveles de coeficiente de transformación, así como los parámetros de predicción y, si está presente, la información de subdivisión, se codifican por entropía.

En normas de codificación de imagen y vídeo, las posibilidades para sub-dividir una instantánea (o un grupo de planos) en bloques que se proporcionan mediante la sintaxis son muy limitadas. Normalmente, puede especificarse únicamente si y (potencialmente cómo) un bloque de un tamaño predefinido puede sub-dividirse en bloques más pequeños. Como un ejemplo, el tamaño de bloque más grande en H.264 es de 16x16. Los bloques de 16x16 se denominan también como macrobloques y cada instantánea se divide en macrobloques en una primera etapa. Para cada macrobloque de 16x16, puede señalizarse si se codificara como bloque de 16x16, o como dos bloques de 16x8, o como dos bloques de 8x16, o como cuatro bloques de 8x8. Si un bloque de 16x16 se sub-divide en cuatro bloques de 8x8, cada uno de estos bloques de 8x8 puede codificarse como un bloque de 8x8, o como dos bloques de 8x4, o como dos bloques de 4x8, o como cuatro bloques de 4x4. El pequeño conjunto de posibilidades para especificar la partición en bloques en las normas de codificación de imagen y de vídeo del estado de la técnica tiene la ventaja de que la tasa de información secundaria para señalizar la información de sub-división puede mantenerse pequeña, pero tiene la desventaja de que la tasa de bits requerida para transmitir los parámetros de predicción para los bloques puede hacerse significativa como se explica a continuación. La tasa de información secundaria para señalizar la

ES 2 901 308 T3

información de predicción normalmente representa una cantidad significativa de la tasa de bits global para un bloque. Y la eficacia de codificación podría aumentarse cuando se reduce esta información secundaria, que, por ejemplo, podría conseguirse usando tamaños de bloque más grandes. Las imágenes o instantáneas reales de una secuencia de vídeo consisten en objetos con forma arbitraria con propiedades específicas. Como un ejemplo, tales objetos o partes de los objetos están caracterizados por una única textura o un único movimiento. Y normalmente, el mismo conjunto de parámetros de predicción puede aplicarse para un objeto de este tipo o parte de un objeto. Pero los límites del objeto no coinciden normalmente con los posibles límites del bloque para bloques de predicción grandes (por ejemplo, macrobloques de 16x16 en H.264).

Un codificador normalmente determina la sub-división (entre el conjunto limitado de posibilidades) que da como resultado el mínimo de una medida de coste de tasa-distorsión particular. Para objetos con forma arbitraria esto puede dar como resultado un gran número de bloques pequeños. Y puesto que cada uno de estos bloques pequeños está asociado a un conjunto de parámetros de predicción, que necesitan transmitirse, la tasa de información secundaria puede hacerse una parte significativa de la tasa de bits global. Pero puesto que varios de los bloques pequeños representan aún áreas del mismo objeto o parte de un objeto, los parámetros de predicción para un número de los bloques obtenidos son los mismos o muy similares.

Es decir, la sub-división o creación de mosaico de una instantánea en porciones más pequeñas o fichas o bloques influye sustancialmente la eficacia de codificación y la complejidad de codificación. Como se ha señalado anteriormente, una sub-división de una instantánea en un número mayor de bloques más pequeños posibilita un ajuste espacial más preciso de los parámetros de codificación, a través de lo que posibilita una mejor adaptabilidad de estos parámetros de codificación al material de instantánea/de vídeo. Por otro lado, ajustar los parámetros de codificación a una granularidad más precisa supone una carga más alta en la cantidad de información secundaria necesaria para informar al decodificador sobre los ajustes necesarios. Incluso, además, debería observarse que cualquier libertad para el codificador para (además) sub-dividir la instantánea/vídeo espacialmente en bloques aumenta tremendamente la cantidad de ajustes de parámetros de codificación posibles y de esta manera en general hace incluso más difícil la búsqueda para que el ajuste del parámetro de codificación conduzca al mejor equilibrio de tasa/distorsión.

Kim et al : “Video Coding with R-D Constrained Hierarchical Variable Block Size (VBS) Motion Estimation”, Journal of Visual Communication and Image Representation Academic Press, INC, US, vol. 9, n. ° 3, 1 de enero de 1998, págs.

243-254, describe una forma eficaz de codificar un campo de movimiento usando un árbol jerárquico señalizando mediante banderas a lo largo del árbol jerárquico si un determinado nodo adopta el vector de movimiento desde el nodo padre.

El documento US 2009/003441 describe una forma eficaz de seleccionar un modo de intra-predicción y modo de intrapredicción en relación con contenido de vídeo de un espacio de color no predeterminado de antemano.

Es un objeto proporcionar un esquema de codificación para codificar una matriz de muestras de información que representa una señal de información muestreada espacialmente, tal como, pero sin restringirse a, instantáneas de un vídeo o instantáneas fijas, que posibilita conseguir un mejor equilibrio entre complejidad de codificación y relación de tasa de distorsión conseguible, y/o conseguir una mejor relación de tasa de distorsión.

Este objeto se consigue mediante la materia objeto de las reivindicaciones independientes.

Una idea subyacente de la presente invención es que puede conseguirse un mejor equilibrio entre complejidad de codificación y relación de tasa de distorsión conseguible, y/o para conseguir una mejor relación de tasa de distorsión cuando no se usa únicamente subdivisión multiárbol para subdividir un área continua, en concreto la matriz de muestras, en regiones de hoja, pero si se usan las regiones intermedias para compartir parámetros de codificación entre los bloques de hoja colocalizados correspondientes. Mediante esta medida, los procedimientos de codificación realizados en fichas - regiones de hoja - localmente, pueden asociarse con parámetros de codificación individualmente sin tener que, sin embargo, transmitir explícitamente la totalidad de los parámetros de codificación para cada región de hoja por separado. En su lugar, las similitudes pueden aprovecharse de manera eficaz usando la subdivisión multiárbol.

De acuerdo con una realización, la matriz de muestras de información que representa la señal de información muestreada espacialmente está espacialmente en las regiones de raíz de árbol primero con sub-división posterior, de acuerdo con la información de subdivisión multi-árbol extraída de un flujo de datos, al menos un subconjunto de regiones de raíz de árbol en regiones conectadas de manera sencilla más pequeñas de diferentes tamaños mediante multi-partición recursiva del subconjunto de las regiones de raíz de árbol. Con el fin de permitir el hallazgo de un buen compromiso entre una sub-división demasiado fina y una sub-división demasiado basta en sentido de tasa/distorsión, en una complejidad de codificación razonable, el tamaño de región máximo de las regiones de raíz de árbol en las que se divide espacialmente la matriz de muestras de información se incluye dentro del flujo de datos y se extrae desde el flujo de datos en el lado de decodificación. Por consiguiente, un decodificador puede comprender un extractor configurado para extraer un tamaño de región máximo e información de sub-división multi-árbol desde un flujo de

ES 2 901 308 T3

datos, un sub-divisor configurado para dividir espacialmente una matriz de muestras de información que representa una señal de información muestreada espacialmente en regiones de raíz de árbol del tamaño de región máximo y que sub-divide, de acuerdo con la información de sub-división multi-árbol, al menos un subconjunto de regiones de raíz de árbol en regiones conectadas de manera sencilla más pequeñas de diferentes tamaños mediante multi-partición recursiva del subconjunto de regiones de raíz de árbol; y un reconstructor configurado para reconstruir la matriz de muestras de información desde el flujo de datos usando la sub-división en regiones conectadas de manera sencilla más pequeñas.

El flujo de datos también puede contener el nivel de jerarquía máximo hasta el que el subconjunto de regiones de raíz de árbol está sometido a la multi-partición recursiva. Mediante esta medida, la señalización de la información de sub división multi-árbol se vuelve más fácil y necesita menos bits para la codificación.

Además, el reconstructor puede configurarse para realizar una o más de las siguientes medidas en una granularidad que depende de la sub-división intermedia: decisión sobre qué modo de predicción entre, al menos, modo de intra e inter-predicción usar; transformación desde el dominio espectral al espacial, realización y/o ajuste de parámetros para una inter-predicción; realización y/o ajuste de los parámetros para una intra-predicción.

Además, el extractor puede configurarse para extraer elementos de sintaxis asociados con las regiones de hoja de los bloques de árbol divididos en un primer orden transversal de profundidad desde el flujo de datos. Mediante esta medida, el extractor puede explotar las estadísticas de elementos de sintaxis de regiones de hoja vecinas ya codificadas con una probabilidad mayor que el uso de un primer orden transversal de amplitud.

Cuando la matriz de muestras de información se divide primero en una disposición regular de regiones de raíz de árbol de tamaño de jerarquía de orden cero con la sub-división posterior de al menos un subconjunto de las regiones de raíz de árbol en regiones conectadas de manera sencilla más pequeñas de tamaños diferentes, el reconstructor puede usar una exploración en zigzag con el fin de explorar las regiones de raíz de árbol con, para cada región de raíz de árbol que va a dividirse, el tratamiento de regiones de hoja conectadas de manera sencilla en primer orden transversal de profundidad antes de avanzar en la siguiente región de raíz de árbol en orden de exploración en zigzag. Además, de acuerdo con el primer orden transversal de profundidad, también pueden atravesarse regiones de hoja conectadas de manera sencilla del mismo nivel de jerarquía en orden de exploración en zigzag. Por tanto, se mantiene el aumento de la probabilidad de tener regiones de hoja conectadas de manera sencilla.

Las banderas asociadas con los nodos de la estructura multi-árbol pueden disponerse secuencialmente en un primer orden transversal de profundidad y, a pesar de esto, la codificación secuencial de las banderas puede usar contextos de estimación de probabilidad que son iguales para banderas asociadas con nodos de la estructura multi-árbol que radican en el mismo nivel de jerarquía de la estructura multi-árbol, pero diferente para nodos de la estructura multiárbol que radican en niveles de jerarquía diferentes de la estructura multi-árbol, permitiendo de ese modo un buen compromiso entre el número de contextos que van a proporcionarse y la adaptación a la estadísticas de símbolo actuales de las banderas, por otra parte.

Los contextos de estimación de probabilidad para una bandera predeterminada usada pueden depender también de banderas que preceden a la bandera predeterminada de acuerdo con el primer orden transversal de profundidad y que corresponden con áreas de la región de raíz de árbol que tiene una relación de ubicación relativa predeterminada al área al que corresponde la bandera predeterminada. De manera similar a la idea subyacente al aspecto procedente, el uso del primer orden transversal de profundidad garantiza una alta probabilidad de que las banderas que ya se han codificado también comprendan banderas que corresponden con áreas vecinas al área que corresponde con la bandera predeterminada de modo que este conocimiento pueda usarse para adaptar mejor el contexto que va a usarse para la bandera predeterminada.

Las banderas que pueden usarse para ajustar el contexto para una bandera predeterminada pueden ser las que corresponden con áreas que radican en la parte superior de y/o a la izquierda del área a la que corresponde la bandera predeterminada. Además, las banderas usadas para seleccionar el contexto pueden restringirse a banderas que pertenecen al mismo nivel de jerarquía que el nodo con el que se asocia la bandera predeterminada.

Un contexto usado para codificar las banderas de la sub-división secundaria puede seleccionarse de modo que el contexto sea el mismo para las banderas asociadas con áreas del mismo tamaño.

Las realizaciones preferidas de la presente invención se describen a continuación con respecto a las siguientes figuras, entre las que

La Figura 1 muestra un diagrama de bloques de un codificador de acuerdo con una realización de la presente solicitud;

La Figura 2 muestra un diagrama de bloques de un decodificador de acuerdo con una realización de la presente

ES 2 901 308 T3

solicitud;

Las Figuras 3a-c muestran esquemáticamente un ejemplo ilustrativo para una sub-división de árbol cuádruple, en el que la Figura 3a muestra un primer nivel de jerarquía, la Figura 3b muestra un segundo nivel de jerarquía y la Figura 3c muestra un tercer nivel de jerarquía;

La Figura 4 muestra esquemáticamente una estructura en árbol para la sub-división de árbol cuádruple ilustrativa de las Figuras 3a a 3c de acuerdo con una realización;

Las Figuras 5a, b ilustran esquemáticamente la sub-división de árbol cuádruple de las Figuras 3a a 3c y la estructura en árbol con índices que indexan los bloques de hoja individuales;

Las Figuras 6a, b muestran esquemáticamente cadenas binarias de secuencias de banderas que representan la estructura de árbol de la Figura 4 y la sub-división de árbol cuádruple de las Figuras 3a a 3c, respectivamente;

La Figura 7 muestra un diagrama de flujo que muestra las etapas realizadas a modo de ejemplo mediante un extractor de flujo de datos;

La Figura 8 muestra un diagrama de flujo que ilustra la funcionalidad a modo de ejemplo de un extractor de flujo de datos;

Las Figuras 9a, b muestran diagramas esquemáticos de sub-divisiones de árbol cuádruple ilustrativas con bloques candidatos vecinos para un bloque predeterminado que se destaca;

La Figura 10 muestra un diagrama de flujo de una funcionalidad de un extractor de flujo de datos de acuerdo con una realización de comparación;

La Figura 11 muestra esquemáticamente una composición de una instantánea de planos y grupos de planos e ilustra una codificación usando adaptación/predicción inter plano de acuerdo con una realización de comparación;

Las Figuras 12a y 12b ilustran esquemáticamente una estructura de subárbol y la correspondiente sub-división para ilustrar el esquema de herencia de acuerdo con una realización de comparación;

Las Figuras 12c y 12d ilustran esquemáticamente una estructura de subárbol para ilustrar el esquema de herencia con adopción y predicción, respectivamente;

La Figura 13 muestra un diagrama de flujo que muestra las etapas realizadas mediante un codificador que realiza un esquema de herencia de acuerdo con una realización de comparación;

Las Figuras 14a y 14b muestran una sub-división primaria y una sub-división subordinada para ilustrar una posibilidad para implementar un esquema de herencia en relación con inter-predicción de acuerdo con una realización;

La Figura 15 muestra un diagrama de bloques que ilustra un proceso de decodificación en relación con el esquema de herencia de acuerdo con una realización;

La Figura 16 muestra un diagrama esquemático que ilustra el orden de exploración entre subregiones de una subdivisión multiárbol de acuerdo con una realización, siendo sometidas las subregiones a una intra-predicción;

Las Figuras 17a, b muestran unos diagramas esquemáticos que ilustran diferentes posibilidades de subdivisiones.

En la siguiente descripción de las figuras, los elementos que aparecen en varias de estas figuras se indican mediante números de referencia comunes y se evita una explicación repetida de estos elementos. En su lugar, las explicaciones con respecto a un elemento presentado en una figura se deberán aplicar también a otras figuras en las que aparece el elemento respectivo siempre que la explicación presentada con estas otras figuras indique desviaciones de las mismas.

Además, la siguiente descripción empieza con realizaciones de un codificador y decodificador que se explican con respecto a las Figuras 1 a 11. Las realizaciones descritas con respecto a estas figuras combinan muchos aspectos de la presente solicitud que, sin embargo, serían también ventajosos si se implementasen individualmente en un esquema de codificación y por consiguiente, con respecto a las posteriores figuras, en las realizaciones que se analizan brevemente que aprovechan los aspectos recién mencionados individualmente representando cada una de estas realizaciones un resumen de las realizaciones descritas con respecto a las Figuras 1 y 11 en un sentido diferente.

ES 2 901 308 T3

La Figura 1 muestra un codificador de acuerdo con una realización de la presente invención. El codificador 10 de la Figura 1 comprende un predictor 12, un precodificador residual 14, un reconstructor residual 16, un insertador de flujo de datos 18 y un divisor de bloque 20. El codificador 10 es para codificar una señal de información muestreada espacialmente temporal en un flujo de datos 22. La señal de información muestreada espacialmente temporal puede ser, por ejemplo, un vídeo, es decir, una secuencia de instantáneas. Cada instantánea representa una matriz de muestras de imagen. Otros ejemplos de señales de información espacialmente temporales comprenden, por ejemplo, imágenes de profundidad capturadas mediante, por ejemplo, cámaras de tiempo de vuelo. Además, debería observarse que una señal de información muestreada espacialmente puede comprender más de una matriz por fotograma o indicación de tiempo tal como en el caso de un vídeo de color que comprende, por ejemplo, una matriz de muestras de luminancia junto con dos matrices de muestras de crominancia por fotograma. Puede ser también posible que la tasa de muestreo temporal para los diferentes componentes de la señal de información, es decir, luminancia y crominancia puedan ser diferentes. Lo mismo se aplica a la resolución espacial. Un vídeo puede acompañarse también por información muestreada espacialmente adicional tal como información de profundidad o de transparencia. La siguiente descripción, sin embargo, se centrará en el procesamiento de una de estas matrices por razones de un mejor entendimiento de los temas principales de la presente solicitud en primer lugar pasando a continuación al manejo de más de un plano.

El codificador 10 de la Figura 1 está configurado para crear el flujo de datos 22 de manera que los elementos de sintaxis del flujo de datos 22 describen las instantáneas en una granularidad que radica entre la totalidad de las instantáneas y muestras de imagen individuales. Para este fin, el divisor 20 está configurado para sub-dividir cada instantánea 24 en regiones conectadas de manera sencilla de diferentes tamaños 26. A continuación estas regiones se denominarán de manera sencilla bloques o sub-regiones 26.

Como se señalará en más detalle a continuación, el divisor 20 usa una sub-división multi-árbol para subdividir la instantánea 24 en los bloques 26 de diferentes tamaños. Para ser incluso más precisos, la mayoría de los ejemplos específicos señalados a continuación con respecto a las Figuras 1 a 11 usan una sub-división de árbol cuádruple. Como se explicará también en más detalle a continuación, el divisor 20 puede comprender, internamente, una concatenación de un sub-divisor 28 para sub-dividir las instantáneas 24 en los bloques recién mencionados 26 seguido por un mezclador 30 que posibilita combinar grupos de estos bloques 26 para obtener una sub-división eficaz o granularidad que radica entre la no sub-división de las instantáneas 24 y la sub-división definida por el sub-divisor 28.

Como se ilustra mediante líneas discontinuas en la Figura 1, el predictor 12, el precodificador residual 14, el reconstructor residual 16 y el insertador de flujo de datos 18 operan en sub-divisiones de instantáneas definidas por el divisor 20. Por ejemplo, como se señalará en más detalle a continuación, el predictor 12 usa una sub-división de predicción definida por el divisor 20 para determinar para las sub-regiones individuales de la sub-división de predicción en cuanto a si la respectiva sub-región debería someterse a predicción intra instantánea o predicción inter instantánea ajustando los parámetros de predicción correspondientes para la respectiva sub-región de acuerdo con el modo de predicción elegido.

El pre-codificador residual 14, a su vez, puede usar una sub-división residual de las instantáneas 24 para codificar el residuo de la predicción de las instantáneas 24 proporcionadas mediante el predictor 12. Puesto que el reconstructor residual 16 reconstruye el residuo desde los elementos de sintaxis emitidos mediante el pre-codificador residual 14, el reconstructor residual 16 también opera en la sub-división residual recién mencionada. El insertador de flujo de datos 18 puede aprovechar las divisiones recién mencionadas, es decir, las sub-divisiones de predicción y residuales, para determinar órdenes de inserción y proximidades entre los elementos de sintaxis para la inserción de los elementos de sintaxis emitidos mediante el pre-codificador residual 14 y el predictor 12 en el flujo de datos 22 por medio de, por ejemplo, codificación por entropía.

Como se muestra en la Figura 1, el codificador 10 comprende una entrada 32 donde la señal de información original entra en el codificador 10. Un restador 34, el pre-codificador residual 14 y el insertador de flujo de datos 18 están conectados en serie en el orden mencionado entre la entrada 32 y la salida del insertador de flujo de datos 18 en el que se emite el flujo de datos codificado 22. El restador 34 y el precodificador residual 14 son parte de un bucle de predicción que se cierra mediante el constructor residual 16, un sumador 36 y el predictor 12 que están conectados en serie en el orden mencionado entre la salida del precodificador residual 14 y la entrada de inversión del restador 34. La salida de predictor 12 está conectada también a una entrada adicional del sumador 36. Adicionalmente, el predictor 12 comprende una entrada directamente conectada a la entrada 32 y puede comprender incluso una entrada adicional también conectada a la salida del sumador 36 mediante un filtro en bucle opcional 38. Además, el predictor 12 genera información secundaria durante la operación y, por lo tanto, una salida del predictor 12 está también acoplada al insertador de flujo de datos 18. De manera similar, el divisor 20 comprende una salida que está conectada a otra entrada del insertador de flujo de datos 18.

Habiendo descrito la estructura del codificador 10, el modo de operación se describe en más detalle a continuación.

Como se ha descrito anteriormente, el divisor 20 decide para cada instantánea 24 cómo sub-dividir la misma en sub

ES 2 901 308 T3

regiones 26. De acuerdo con una sub-división de la instantánea 24 a usarse para predicción, el predictor 12 decide para cada sub-región que corresponde a esta sub-división, cómo predecir la respectiva sub-región. El predictor 12 emite la predicción de la sub-región a la entrada de inversión del restador 34 y a la entrada adicional del sumador 36 y emite la información de predicción que refleja la manera en cómo el predictor 12 obtiene esta predicción desde porciones previamente codificadas del vídeo, al insertador de flujo de datos 18.

En la salida de sustractor 34 se obtiene de esta manera el residuo de la predicción en el que el pre-codificador residual 14 procesa este residuo de predicción de acuerdo con una sub-división residual también prescrita mediante el divisor 20. Como se describe en mayor detalle a continuación con respecto a las Figuras 3 a 10, la sub-división residual de la instantánea 24 usada mediante el precodificador residual 14 puede estar relacionada con la sub-división de predicción usada mediante el predictor 12 de manera que cada sub-región de predicción se adopta como sub-región residual o se sub-divide adicionalmente en sub-regiones residuales más pequeñas. Sin embargo, sería también posible sub divisiones de predicción y residuales totalmente independientes.

El precodificador residual 14 somete a cada sub-región residual a una transformación desde el dominio espacial al espectral mediante una transformación bidimensional seguido por, o implicando intrínsecamente, una cuantificación de los coeficientes de transformación resultantes de los bloques de transformación resultantes con lo que la distorsión resulta del ruido de cuantificación. El insertador de flujo de datos 18 puede, por ejemplo, codificar sin pérdidas elementos de sintaxis que describen los coeficientes de transformación anteriormente mencionados en el flujo de datos 22 mediante uso de, por ejemplo, codificación por entropía. #

El reconstructor residual 16, a su vez, reconvierte, mediante uso de una re-cuantificación seguida por una re transformación, los coeficientes de transformación en una señal residual en el que la señal residual se combina en el sumador 36 con la predicción usada mediante el restador 34 para obtener el residuo de la predicción, obteniendo de esta manera una porción o subregión reconstruida de una instantánea actual en la salida del sumador 36. El predictor 12 puede usar la subregión de instantánea reconstruida para intra-predicción directamente, es decir para predecir una cierta sub-región de predicción mediante extrapolación desde sub-regiones de predicción previamente reconstruidas en la proximidad. Sin embargo, una intra-predicción realizada en el dominio espectral prediciendo el espectro de la subregión actual desde la de una vecina, teóricamente también sería posible directamente.

Para inter-predicción, el predictor 12 puede usar instantáneas previamente codificadas y reconstruidas en una versión de acuerdo con la que las mismas se han filtrado mediante un filtro en bucle opcional 38. El filtro en bucle 38 puede comprender, por ejemplo, un filtro de desbloqueo o un filtro adaptativo que tiene una función de transferencia adaptada para formar ventajosamente el ruido de cuantificación anteriormente mencionado.

El predictor 12 elige los parámetros de predicción que revelan la manera de predecir una cierta sub-región de predicción mediante el uso de una comparación con las muestras originales en la instantánea 24. Los parámetros de predicción pueden comprender, como se señala en más detalle a continuación, para cada sub-región de predicción una indicación del modo de predicción, tal como predicción intra instantánea y predicción inter instantánea. En caso de predicción intra instantánea, los parámetros de predicción pueden comprender también una indicación de un ángulo a lo largo del que se extienden principalmente los bordes en la sub-región de predicción a intra predecir, y en caso de predicción inter instantánea, los vectores de movimiento, índices de instantánea de movimiento y, eventualmente, parámetros de transformación de movimiento de orden superior y, en caso de tanto predicción de intra y/o inter instantánea, información de filtro opcional para filtrar las muestras de imagen reconstruidas basándose en que se predice la sub-región de predicción actual.

Como se señalará en más detalle a continuación, las sub-divisiones anteriormente mencionadas definidas mediante un divisor 20 influencian sustancialmente la relación de tasa/distorsión máximamente conseguible mediante el precodificador residual 14, el predictor 12 y el insertador de flujo de datos 18. En caso de una sub-división demasiado precisa, los parámetros de predicción 40 emitidos por el predictor 12 a insertarse en el flujo de datos 22 necesitan una tasa de codificación demasiado grande, aunque la predicción obtenida por el predictor 12 puede ser mejor y la señal residual a codificar mediante el precodificador residual 14 puede ser más pequeña de modo que la misma puede codificarse por menos bits. En caso de una sub-división demasiado basta, se aplica lo opuesto. Además, la idea recién mencionada también se aplica para la sub-división residual de una manera similar: una transformación de una instantánea que usa una granularidad más precisa de los bloques de transformación individuales conduce a una menor complejidad para calcular las transformaciones y una resolución espacial aumentada de la transformación resultante. Es decir, las sub-regiones residuales más pequeñas posibilitan que la distribución espectral del contenido en sub regiones residuales individuales sea más coherente. Sin embargo, la resolución espectral se reduce y la relación entre los coeficientes significativos e insignificantes, es decir cuantificados a cero, empeora. Es decir, la granularidad de la transformación debería adaptarse al contenido de la instantánea localmente. Adicionalmente, independiente del efecto positivo de una granularidad más precisa, una granularidad más precisa aumenta regularmente la cantidad de información secundaria necesaria para indicar la subdivisión elegida para el decodificador. Como se señalará en más detalle a continuación, las realizaciones descritas a continuación proporcionan al codificador 10 con la capacidad para adaptar las sub-divisiones muy eficazmente al contenido de la señal de información a codificarse y señalizar las sub

ES 2 901 308 T3

divisiones a usarse al lado de decodificación ordenando que el insertador de flujo de datos 18 inserte la información de sub-división en el flujo de datos codificado 22. Se presentan detalles a continuación.

Sin embargo, antes de definir la sub-división del divisor 20 en más detalle, un decodificador de acuerdo con una realización de la presente solicitud se describe en más detalle con respecto a la Figura 2.

El decodificador de la Figura 2 se indica mediante el signo de referencia 100 y comprende un extractor 102, un divisor 104, un reconstructor residual 106, un sumador 108, un predictor 110, un filtro en bucle opcional 112 y un filtro posterior opcional 114. El extractor 102 recibe el flujo de datos codificado en una entrada 116 del decodificador 100 y extrae desde el flujo de datos codificado la información de sub-división 118, parámetros de predicción 120 y datos residuales 122 que el extractor 102 emite al divisor de instantánea 104, al predictor 110 y al reconstructor residual 106, respectivamente. El reconstructor residual 106 tiene una salida conectada a una primera entrada del sumador 108. La otra entrada del sumador 108 y la salida del mismo están conectadas en un bucle de predicción en el que están conectados el filtro en bucle opcional 112 y el predictor 110 en serie en el orden mencionado mediante una pista de desvío que conduce desde la salida del sumador 108 al predictor 110 directamente similar a las conexiones anteriormente mencionadas entre el sumador 36 y el predictor 12 en la Figura 1, en concreto una para predicción intra instantánea y la otra para predicción inter instantánea. Cualquiera de la salida del sumador 108 o la salida del filtro en bucle 112 pueden conectarse a una salida 124 del decodificador 100 donde la señal de información reconstruida se emite, por ejemplo, a un dispositivo de reproducción. Un filtro posterior opcional 114 puede conectarse en la pista que conduce a la salida 124 para mejorar la calidad visual de impresión visual de la señal reconstruida en la salida 124.

Hablando en general, el reconstructor residual 106, el sumador 108 y el predictor 110 actúan como los elementos 16, 36 y 12 en la Figura 1. En otras palabras, los mismos emulan la operación de los elementos anteriormente mencionados de la Figura 1. Para este fin, el reconstructor residual 106 y el predictor 110 se controlan mediante los parámetros de predicción 120 y la sub-división prescrita mediante el divisor de instantánea 104 de acuerdo con una información de sub-división 118 desde el extractor 102, respectivamente, para predecir las sub-regiones de predicción de la misma manera que lo hizo el predictor 12 o decidió hacerlo, y volver a transformar los coeficientes de transformación recibidos a la misma granularidad que lo hizo el precodificador residual 14. El divisor de instantánea 104, a su vez, vuelve a crear las sub-divisiones elegidas por el divisor 20 de la Figura 1 de una manera sincronizada basándose en la información de sub-división 118. El extractor puede usar, a su vez, la información de subdivisión para controlar la extracción de datos tal como en términos de selección de contexto, determinación de vecinos, estimación de probabilidad, análisis de la sintaxis del flujo de datos, etc.

Pueden realizarse diversas desviaciones en las realizaciones anteriores. Algunas se mencionan en la siguiente descripción detallada con respecto a la sub-división realizada mediante el sub-divisor 28 y a la unión realizada mediante el mezclador 30 y otras se describen con respecto a las posteriores Figuras 12 a 16. En ausencia de cualquier obstáculo, todas estas desviaciones pueden aplicarse individualmente o en subconjuntos a la descripción anteriormente mencionada de la Figura 1 y la Figura 2, respectivamente. Por ejemplo, los divisores 20 y 104 pueden no determinar una sub-división de predicción y sub-división residual por instantánea únicamente. En su lugar, pueden determinar también una sub-división de filtro para el filtro en bucle 38 y 112 opcional, respectivamente. Independientemente de o dependientemente de las otras sub-divisiones para predicción o codificación residual, respectivamente. Además, puede no realizarse una determinación de la sub-división o sub-divisiones mediante estos elementos en una base trama a trama. En su lugar, puede reutilizarse o adoptarse una sub-división o sub-divisiones determinadas para un cierto fotograma para un cierto número de siguientes fotogramas transfiriendo solamente a continuación una nueva sub-división.

Al proporcionar detalles adicionales en relación con la división de las instantáneas en sub-regiones, la siguiente descripción se centra en primer lugar en la parte de sub-división para la que asumen responsabilidad el sub-divisor 28 y 104a. A continuación, se describe el proceso de unión para el que asumen responsabilidad el mezclador 30 y el mezclador 104b. Finalmente, se describe la adaptación/predicción inter plano.

La manera en la que el sub-divisor 28 y 104a dividen las instantáneas es de tal manera que una instantánea es divisible en un número de bloques de posiblemente diferentes tamaños para el fin de codificación predictiva y residual de los datos de imagen o de vídeo. Como se ha mencionado anteriormente, una instantánea 24 puede estar disponible como una o más matrices de valores de muestra de imagen. En caso del espacio de color YUV/YCbCr, por ejemplo, la primera matriz puede representar el canal de luminancia mientras que las otras dos matrices representan canales de crominancia. Estas matrices pueden tener diferentes dimensiones. Todas las matrices pueden agruparse en uno o más grupos de planos consistiendo cada grupo de planos en uno o más planos consecutivos de manera que cada plano está contenido en uno y solamente un grupo de planos. Para cada grupo de planos se aplica lo siguiente. La primera matriz de un grupo de planos particular puede denominarse la matriz primaria de este grupo de planos. Las posibles siguientes matrices son matrices subordinadas. La división de bloques de la matriz primaria puede hacerse basándose en un enfoque de árbol cuádruple como se describe a continuación. La división de bloques de las matrices subordinadas puede derivarse basándose en la división de la matriz primaria.

ES 2 901 308 T3

De acuerdo con las realizaciones descritas a continuación, los sub-divisores 28 y 104a están configurados para dividir la matriz primaria en un número de bloques cuadrados de igual tamaño, denominados bloques de árbol a continuación. La longitud de borde de los bloques de árbol es típicamente una potencia de dos tal como 16, 32 o 64 cuando se usan árboles cuádruples. Para mayor precisión, sin embargo, se ha de observar que podría ser posible el uso de otros tipos de árboles, así como árboles binarios o árboles con cualquier número de hojas. Además, el número de hijos del árbol puede variarse dependiendo del nivel del árbol y dependiendo de qué señal esté representando el árbol.

Además de esto, como se ha mencionado anteriormente, la matriz de muestras puede representar también información distinta de las secuencias de vídeo tal como mapas de profundidad o campos de luz, respectivamente. Por simplicidad, la siguiente descripción se centra en árboles cuádruples como un ejemplo representativo para multi-arboles. Los árboles cuádruples son árboles que tienen exactamente cuatro hijos en cada nodo interno. Cada uno de los bloques de árbol constituye un árbol cuádruple primario junto con árboles cuádruples subordinados en cada una de las hojas del árbol cuádruple primario. El árbol cuádruple primario determina la sub-división de un bloque de árbol dado para predicción mientras un árbol cuádruple subordinado determina la sub-división de un bloque de predicción dado para el fin de codificación residual.

El nodo de raíz del árbol cuádruple primario corresponde al bloque de árbol completo. Por ejemplo, la Figura 3a muestra un bloque de árbol 150. Debería recordarse que cada instantánea se divide en una rejilla regular de líneas y columnas de tales bloques de árbol 150 de modo que la misma, por ejemplo, cubre sin huecos la matriz de muestras. Sin embargo, debería observarse que, para todas las subdivisiones de bloques mostradas en lo sucesivo, no es crítica la subdivisión sin interrupciones sin solapamiento. En su lugar, el bloque vecino puede solaparse entre sí siempre que el bloque no de hoja sea una subporción apropiada de un bloque de hoja vecino.

Junto con la estructura en árbol cuádruple para bloque de árbol 150, cada nodo puede dividirse adicionalmente en cuatro nodos hijos, que en el caso del árbol cuádruple primario significa que cada bloque de árbol 150 puede partirse en cuatro sub-bloques con mitad de la anchura y mitad de la altura del bloque de árbol 150. En la Figura 3a, estos sub-bloques se indican con los signos de referencia 152a a 152d. De la misma manera, cada uno de estos sub-bloques puede dividirse adicionalmente en cuatro sub-bloques más pequeños con mitad de la anchura y mitad de la altura de los sub-bloques originales. En la Figura 3d esto se muestra de manera ejemplar para el sub-bloque 152c que se sub divide en cuatro sub-bloques pequeños 154a a 154d. Hasta aquí, las Figuras 3a a 3c muestran de manera ejemplar cómo un bloque de árbol 150 se divide en primer lugar en sus cuatro sub-bloques 152a a 152d, a continuación el sub bloque izquierdo inferior 152c se divide adicionalmente en cuatro sub-bloques pequeños 154a a 154d y finalmente, como se muestra en la Figura 3c, el bloque derecho superior 154b de estos sub-bloques más pequeños se divide una vez más en cuatro bloques de un octavo de la anchura y altura del bloque de árbol original 150, estando estos bloques incluso más pequeños indicados con 156a a 156d.

La Figura 4 muestra la estructura de árbol subyacente para la división basada en árbol cuádruple ejemplar como se muestra en las Figuras 3a-3d. Los números junto a los nodos de árbol son los valores de una denominada bandera de sub-división, que se explicará en más detalle más tarde cuando se analice la señalización de la estructura de árbol cuádruple. El nodo de raíz del árbol cuádruple se representa en la parte superior de la figura (etiquetado “Nivel 0”). Las cuatro ramas en el nivel 1 de este nodo de raíz corresponden a los cuatro sub-bloques como se muestra en la Figura 3a. Puesto que el tercero de estos sub-bloques se sub-divide adicionalmente en sus cuatro sub-bloques en la Figura 3b, el tercer nodo en el nivel 1 en la Figura 4 también tiene cuatro ramas. De nuevo, correspondiendo a la sub división del segundo nodo hijo (superior derecha) en la Figura 3c, hay cuatro sub-ramas conectadas con el segundo nodo en el nivel 2 de la jerarquía de árbol cuádruple. Los nodos en el nivel 3 no se sub-dividen más.

Cada hoja del árbol cuádruple primario corresponde a un bloque con tamaño variable para el que pueden especificarse parámetros de predicción individuales (es decir, modo de intra o inter-predicción, parámetros de movimiento, etc.). A continuación, estos bloques se denominan bloques de predicción. En particular, estos bloques de hoja son los bloques mostrados en la Figura 3c. Haciendo referencia brevemente de nuevo a la descripción de las Figuras 1 y 2, el divisor 20 o el sub-divisor 28 determinan la sub-división del árbol cuádruple como se acaba de explicar. El sub-divisor 152ad realiza la decisión de cuál de los bloques de árbol 150, sub-bloques 152a-d, sub-bloques pequeños 154a-d y así sucesivamente, sub-dividir o separar adicionalmente, con el objetivo de hallar un equilibrio óptimo entre una sub división de predicción demasiado precisa y una sub-división de predicción demasiado basta como ya se ha indicado anteriormente. El predictor 12, a su vez, usa la sub-división de predicción prescrita para, por ejemplo, determinar los parámetros de predicción, anteriormente mencionados, a una granularidad que depende de la sub-división de predicción o para cada una de las sub-regiones de predicción representadas mediante los bloques mostrados en la Figura 3c.

Los bloques de predicción mostrados en la Figura 3c pueden dividirse adicionalmente en bloques más pequeños para el fin de codificación residual. Para cada bloque de predicción, es decir, para cada nodo de hoja del árbol cuádruple primario, la subdivisión correspondiente se determina mediante uno o más árbol o árboles cuádruples subordinados para codificación residual. Por ejemplo, cuando se permite un tamaño de bloque residual máximo de 16x16, un bloque de predicción de 32x32 dado podría dividirse en cuatro bloques de 16x16, cada uno de los cuales se determina

ES 2 901 308 T3

mediante un árbol cuádruple subordinado para codificación residual. Cada bloque de 16x16 en este ejemplo corresponde al nodo de raíz de un árbol cuádruple subordinado.

Tal como se ha descrito para el caso de la sub-división de un bloque de árbol dado en bloques de predicción, cada bloque de predicción puede dividirse en un número de bloques residuales mediante el uso de descomposición o descomposiciones de árbol cuádruple subordinado. Cada hoja de un árbol cuádruple subordinado corresponde con un bloque residual para el que pueden especificarse parámetros de codificación residual individuales (es decir, modo de transformación, coeficientes de transformación, etc.) mediante el precodificador residual 14 cuyos parámetros de codificación residual controlan, a su vez, los reconstructores residuales 16 y 106, respectivamente.

En otras palabras, el sub-divisor 28 puede configurarse para determinar para cada instantánea o para cada grupo de instantáneas una sub-división de predicción y una sub-división residual subordinada dividiendo en primer lugar la instantánea en una disposición regular de bloques de árbol 150, dividir recursivamente un subconjunto de estos bloques de árbol mediante sub-división de árbol cuádruple para obtener la sub-división de predicción en bloques de predicción - que pueden ser bloques de árbol si no tuvo lugar partición en el respectivo bloque de árbol, o los bloques de hoja de la sub-división de árbol cuádruple - sub-dividiendo adicionalmente a continuación un subconjunto de estos bloques de predicción de una manera similar, dividiendo en primer lugar, si un bloque de predicción es mayor que el tamaño máximo de la sub-división residual subordinada, el bloque de predicción respectivo en una disposición regular de sub-bloques de árbol sub-dividiendo a continuación un subconjunto de estos sub-bloques de árbol de acuerdo con el procedimiento de sub-división de árbol cuádruple para obtener los bloques residuales - que pueden ser bloques de predicción si no tuvo lugar división en sub-bloques de árbol en el bloque de predicción respectivo, sub-bloques de árbol si no tuvo lugar división en regiones incluso más pequeñas en el respectivo sub-bloque de árbol, o los bloques de hoja de la subdivisión de árbol cuádruple residual.

Como se ha señalado brevemente antes, las sub-divisiones elegidas para una matriz primaria pueden mapearse en matrices subordinadas. Esto es fácil cuando se consideran matrices subordinadas de la misma dimensión como la matriz primaria. Sin embargo, tienen que tomarse medidas especiales cuando las dimensiones de las matrices subordinadas difieren de la dimensión de la matriz primaria. Hablando en general, el mapeo de la sub-división de la matriz primaria en las matrices subordinadas en caso de que pudieran hacerse diferentes dimensiones mapeando espacialmente, es decir, mapeando espacialmente los bordes del bloque de la sub-división de la matriz primaria en las matrices subordinadas. En particular, para cada matriz subordinada, puede haber un factor de escala en dirección horizontal y vertical que determina la relación de la dimensión de la matriz primaria a la matriz subordinada. La división de la matriz subordinada en sub-bloques para predicción y codificación residual puede determinarse mediante el árbol cuádruple primario y el árbol o árboles cuádruples subordinados de cada uno de los bloques de árbol colocalizados de la matriz primaria, respectivamente, escalándose los bloques de árbol resultantes de la matriz subordinada mediante el factor de escala relativo. En caso de que los factores de escala en direcciones horizontal y vertical difieran (por ejemplo, como en sub-muestreo de crominancia 4:2:2), la predicción resultante y los bloques residuales de la matriz subordinada ya no serían cuadrados. En este caso, es posible predeterminar o seleccionar adaptativamente (para toda la secuencia, para una instantánea de la secuencia o para cada predicción única o bloque residual) si el bloque residual no cuadrado deberá partirse en bloques cuadrados. En el primer caso, por ejemplo, el codificador y decodificador podrían acordar una subdivisión en bloques cuadrados cada vez que un bloque mapeado no es cuadrado. En el segundo caso, el sub-divisor 28 podría señalizar la selección mediante el insertador de flujo de datos 18 y el flujo de datos 22 al sub-divisor 104a. Por ejemplo, en caso del sub-muestreo de crominancia 4:2:2, donde las matrices subordinadas tienen la mitad de la anchura, pero la misma altura que la matriz primaria, los bloques residuales serían el doble de alto como de ancho. Partiendo verticalmente este bloque, se podría obtener dos bloques cuadrados de nuevo.

Como se ha mencionado anteriormente, el sub-divisor 28 o el divisor 20, respectivamente, señalizan la división basada en árbol cuádruple mediante el flujo de datos 22 al sub-divisor 104a. Para este fin, el sub-divisor 28 informa al insertador de flujo de datos 18 acerca de las sub-divisiones elegidas para las instantáneas 24. El insertador de flujo de datos, a su vez, transmite la estructura del árbol cuádruple primario y secundario, y, por lo tanto, la división de la matriz de instantánea en bloques de tamaño variable para predicción o codificación residual en el flujo de datos o flujo de bits 22, respectivamente, al lado de decodificación.

Los tamaños de bloque mínimo y máximo admisibles se transmiten como información secundaria y pueden cambiar de instantánea a instantánea. O los tamaños de bloque mínimo y máximo admisibles pueden fijarse en el codificador y decodificador. Estos tamaños de bloque mínimo y máximo pueden ser diferentes para predicción y bloques residuales. Para la señalización de la estructura de árbol cuádruple, el árbol cuádruple tiene que atravesarse y para cada nodo tiene que especificarse si este nodo particular es un nodo de hoja del árbol cuádruple (es decir, el bloque correspondiente no se sub-divide más) o si se ramifica en sus cuatro nodos hijos (es decir, el bloque correspondiente se divide en cuatro sub-bloques con la mitad de tamaño).

La señalización en una instantánea se hace bloque de árbol a bloque de árbol en un orden de exploración por tramas tal como desde izquierda a derecha y desde arriba a abajo como se ilustra en la Figura 5a en 140. Este orden de

ES 2 901 308 T3

exploración podría ser también diferente, como desde derecha inferior a izquierda superior o en un sentido de tablero de ajedrez. En una realización preferida, cada bloque de árbol y por lo tanto cada árbol cuádruple se atraviesa en primer orden de profundidad para señalizar la información de sub-división.

En una realización preferida, no únicamente la información de subdivisión, es decir, la estructura del árbol, sino también los datos de predicción, etc., es decir la cabida útil asociada a los nodos de hoja del árbol, se transmiten/procesan en primer orden de profundidad. Esto se hace puesto que el primer orden transversal de profundidad tiene grandes ventajas sobre el primer orden de amplitud. En la Figura 5b, se presenta una estructura de árbol cuádruple con los nodos de hoja etiquetados como a,b,...,j. La Figura 5a muestra la división de bloque resultante. Si los bloques/nodos de hoja se atraviesan en primer orden de amplitud, se obtiene el siguiente orden: abjchidefg. En primer orden de profundidad, sin embargo, el orden es abc...ij. Como puede observarse a partir de la Figura 5a, en primer orden de profundidad, el bloque vecino izquierdo y el bloque vecino superior se transmiten/procesan siempre antes del bloque actual. Por lo tanto, la predicción de vector de movimiento y el modelado de contexto puede usar siempre los parámetros especificados para el bloque vecino izquierdo y superior para conseguir un rendimiento de codificación mejorado. Para el primer orden de amplitud, este no sería el caso, puesto que el bloque j se transmite, por ejemplo, antes de los bloques e, g e i.

En consecuencia, la señalización para cada bloque de árbol se hace recursivamente a lo largo de la estructura de árbol cuádruple del árbol cuádruple primario de manera que, para cada nodo, se transmite una bandera, que especifica si el bloque correspondiente se parte en cuatro sub-bloques. Si esta bandera tiene el valor “1” (para “verdadero”), entonces este proceso de señalización se repite recursivamente para todos los cuatro nodos hijos, es decir, los sub bloques en orden de exploración por trama (izquierda superior, derecha superior, izquierda inferior, derecha inferior) hasta que se alcanza el nodo de hoja del árbol cuádruple primario. Obsérvese que un nodo de hoja está caracterizado por tener una bandera de sub-división con un valor de “0”. Para el caso de que un nodo resida en el nivel de jerarquía más bajo del árbol cuádruple primario y por lo tanto corresponde al tamaño de bloque de predicción admisible más pequeño, no se ha de transmitir la bandera de sub-división. Para el ejemplo en la Figura 3a-c, se transmitiría en primer lugar “1”, como se muestra en 190 en la Figura 6a, que especifica que el bloque de árbol 150 se parte en sus cuatro sub-bloques 152a-d. A continuación, se codificaría recursivamente la información de sub-división de todos los cuatro sub-bloques 152a-d en orden de exploración por trama 200. Para los primeros dos sub-bloques 152a, b se transmitiría “0”, que especifica que no se sub-dividen (véase 202 en la Figura 6a). Para el tercer sub-bloque 152c (izquierda inferior), se transmitiría “1”, que especifica que este bloque se sub-divide (véase 204 en la Figura 6a). Ahora, de acuerdo con el enfoque recursivo, se procesarían los cuatro sub-bloques 154a-d de este bloque. En este punto, se transmitiría “0” para el primero (206) y “1” para el segundo (derecha superior) sub-bloque (208). Ahora, se procesarían los cuatro bloques del tamaño de bloque más pequeño 156a-d en la Figura 3c. En caso de que ya se haya alcanzado el tamaño de bloque permitido más pequeño en este ejemplo, no habrían de transmitirse más datos, puesto que no es posible una sub-división adicional. De otra manera se transmitiría “0000”, que especifica que ninguno de estos bloques se divide adicionalmente, como se indica en la Figura 6a en 210. Después de esto, se transmitiría “00” para los dos bloques inferiores en la Figura 3b (véase 212 en la Figura 6a), y finalmente “0” para el bloque derecho inferior en la Figura 3a (véase 214). Por lo que la cadena binaria completa que representa la estructura de árbol cuádruple sería la mostrada en la Figura 6a.

Los diferentes sombreados de fondo en esta representación de cadena binaria de la Figura 6a corresponden con diferentes niveles en la jerarquía de la sub-división basada en árbol cuádruple. El sombreado 216 representa el nivel 0 (que corresponde a un tamaño de bloque igual al tamaño de bloque de árbol original), el sombreado 218 representa el nivel 1 (que corresponde a un tamaño de bloque igual a la mitad del tamaño de bloque de árbol original), el sombreado 220 representa el nivel 2 (que corresponde a un tamaño de bloque igual a un cuarto del tamaño de bloque de árbol original), y el sombreado 222 representa el nivel 3 (que corresponde a un tamaño de bloque igual a un octavo del tamaño de bloque de árbol original). Todas las banderas de sub-división del mismo nivel de jerarquía (que corresponden al mismo tamaño de bloque y al mismo color en la representación de cadena binaria de ejemplo) pueden codificarse por entropía usando, por ejemplo, el mismo modelo de probabilidad mediante el insertador 18.

Obsérvese, que para el caso de una primera transversal de profundidad, la información de sub-división se transmitiría en un orden diferente, mostrado en la Figura 6b.

Similar a la sub-división de cada bloque de árbol para el fin de predicción, la división de cada bloque de predicción resultante en bloques residuales tiene que transmitirse en el flujo de bits. También, puede haber un tamaño de bloque máximo y mínimo para codificación residual que se transmite como información secundaria y que puede cambiar de instantánea a instantánea. O el tamaño de bloque máximo y mínimo para codificación residual puede fijarse en el codificador y decodificador. En cada nodo de hoja del árbol cuádruple primario, como aquellos mostrados en la Figura 3c, el bloque de predicción correspondiente puede dividirse en bloques residuales del tamaño máximo admisible. Estos bloques son los nodos de raíz constituyentes de la estructura de árbol cuádruple subordinado para codificación residual. Por ejemplo, si el tamaño de bloque residual máximo para la instantánea es 64x64 y el bloque de predicción es de tamaño 32x32, entonces todo el bloque de predicción correspondería a un nodo de raíz de árbol cuádruple subordinado (residual) de tamaño 32x32. Por otro lado, si el tamaño de bloque residual máximo para la instantánea

ES 2 901 308 T3

es 16x16, entonces el bloque de predicción de 32x32 consistiría en cuatro nodos de raíz de árbol cuádruple residuales, cada tamaño de 16x16. En cada bloque de predicción, la señalización de la estructura del árbol cuádruple subordinado se hace nodo de raíz a nodo de raíz en orden de exploración por trama (de izquierda a derecha, de arriba abajo). Como en el caso de la estructura de árbol cuádruple primario (predicción), para cada nodo se codifica una bandera, que especifica si este nodo particular se parte en sus cuatro nodos hijos. A continuación, si esta bandera tiene un valor de “1”, este procedimiento se repite recursivamente para todos los cuatro nodos hijos y sus sub-bloques correspondientes en orden de exploración por trama (izquierda superior, derecha superior, izquierda inferior, derecha inferior) hasta que se alcanza un nodo de hoja del árbol cuádruple subordinado. Como en el caso del árbol cuádruple primario, no se requiere señalización para los nodos en el nivel de jerarquía más bajo del árbol cuádruple subordinado, puesto que estos nodos corresponden a bloques del tamaño de bloque residual más pequeño posible, que no puede dividirse más.

Para codificación por entropía, las banderas de sub-división de bloque residual que pertenecen a bloques residuales del mismo tamaño de bloque pueden codificarse usando uno y el mismo modelo de probabilidad.

Por lo tanto, de acuerdo con el ejemplo presentado anteriormente con respecto a las Figuras 3a a 6a, el sub-divisor 28 definió una sub-división primaria para fines de predicción y una sub-división subordinada de los bloques de diferentes tamaños de la sub-división primaria para fines de codificación residual. El insertador de flujo de datos 18 codificó la sub-división primaria señalizando para cada bloque de árbol en un orden de exploración en zigzag, una secuencia de bits creada de acuerdo con la Figura 6a junto con la codificación del tamaño de bloque primario máximo y el nivel de jerarquía máximo de la sub-división primaria. Para cada bloque de predicción definido de esta manera, se han incluido parámetros de predicción asociados en el flujo de datos. Adicionalmente, una codificación de información similar, es decir, tamaño máximo, nivel de jerarquía máximo y la secuencia de bits de acuerdo con la Figura 6a, tiene lugar para cada bloque de predicción, el tamaño del cual es igual a o más pequeño que el tamaño máximo para la sub-división residual y para cada bloque de raíz de árbol residual en que los bloques de predicción se han pre-dividido al tamaño del que superan el tamaño máximo definido para los bloques residuales. Para cada bloque residual definido de esta manera, se insertan datos residuales en el flujo de datos.

El extractor 102 extrae las secuencias de bits respectivas desde el flujo de datos en la entrada 116 e informa al divisor 104 acerca de la información de sub-división obtenida de esta manera. Además de esto, el insertador de flujo de datos 18 y el extractor 102 pueden usar el orden anteriormente mencionado entre los bloques de predicción y los bloques residuales para transmitir elementos de sintaxis adicionales tales como datos residuales emitidos mediante el precodificador residual 14 y parámetros de predicción emitidos mediante el predictor 12. Usar este orden tiene ventajas en que pueden elegirse los contextos adecuados para codificar los elementos de sintaxis individuales para un cierto bloque aprovechando elementos de sintaxis ya codificados/decodificados de bloques vecinos. Además, de manera similar, el pre-codificador residual 14 y el predictor 12 así como el reconstructor residual 106 y el pre-codificador 110 pueden procesar la predicción individual y los bloques residuales en el orden anteriormente señalado.

La Figura 7 muestra un diagrama de flujo de las etapas, que puede realizarse mediante el extractor 102 para extraer la información de subdivisión desde el flujo de datos 22 cuando se codifican de la manera que se ha señalado anteriormente. En una primera etapa, el extractor 102 divide la instantánea 24 en bloques de raíz de árbol 150. Esta etapa se indica como la etapa 300 en la Figura 7. La etapa 300 puede implicar que el extractor 102 extraiga el tamaño de bloque de predicción máximo desde el flujo de datos 22. Adicionalmente o como alternativa, la etapa 300 puede implicar que el extractor 102 extraiga el nivel de jerarquía máximo desde el flujo de datos 22.

A continuación, en una etapa 302, el extractor 102 decodifica una bandera o bit desde el flujo de datos. La primera vez que se realiza la etapa 302, el extractor 102 conoce que la respectiva bandera es la primera bandera de la secuencia de bits que pertenece al primer bloque de raíz de árbol 150 en orden de exploración de bloque de raíz de árbol 140. Ya que esta bandera es una bandera de nivel de jerarquía 0, el extractor 102 puede usar un modelado de contexto asociado a ese nivel de jerarquía 0 en la etapa 302 para determinar un contexto. Cada contexto puede tener una estimación de probabilidad respectiva para decodificar por entropía la bandera asociada al mismo. La estimación de probabilidad de los contextos puede adaptarse individualmente por contexto a la respectiva estadística de símbolo de contexto. Por ejemplo, para determinar un contexto apropiado para decodificar la bandera de nivel de jerarquía 0 en la etapa 302, el extractor 102 puede seleccionar un contexto de un conjunto de contextos, que está asociado a ese nivel de jerarquía 0 que depende de la bandera de nivel de jerarquía 0 de bloques de árbol vecinos, o incluso además, dependiendo de información contenida en las cadenas de bits que definen la sub-división de árbol cuádruple de bloques de árbol vecinos del bloque de árbol actualmente procesado, tales como el bloque de árbol superior e izquierdo vecinos.

En la siguiente etapa, en concreto la etapa 304, el extractor 102 comprueba en cuanto a si la bandera recientemente decodificada sugiere una partición. Si este es el caso, el extractor 102 divide el bloque actual - actualmente un bloque de árbol - o indica esta partición al sub-divisor 104a en la etapa 306 y comprueba, en la etapa 308, en cuanto a si el nivel de jerarquía actual fue igual al nivel de jerarquía máximo menos uno. Por ejemplo, el extractor 102 podría haber extraído también, por ejemplo, el nivel de jerarquía máximo desde el flujo de datos en la etapa 300. Si el nivel de

ES 2 901 308 T3

jerarquía actual no es igual al nivel de jerarquía máximo menos uno, el extractor 102 aumenta el nivel de jerarquía actual en 1 en la etapa 310 y vuelve a la etapa 302 para decodificar la siguiente bandera desde el flujo de datos. Esta vez, las banderas a decodificar en la etapa 302 pertenecen a otro nivel de jerarquía y, por lo tanto, de acuerdo con una realización, el extractor 102 puede seleccionar uno de un diferente conjunto de contextos, perteneciendo el conjunto al nivel de jerarquía actual. La selección puede basarse también en secuencias de bits de sub-división de acuerdo con la Figura 6a de bloques de árbol vecinos que ya se han decodificado.

Si se decodifica una bandera, y la comprobación en la etapa 304 revela que esta bandera no sugiere una partición del bloque actual, el extractor 102 continúa con la etapa 312 para comprobar en cuanto a si el nivel de jerarquía actual es 0. Si este es el caso, el extractor 102 continúa procesando con respecto al siguiente bloque de raíz de árbol en el orden de exploración 140 en la etapa 314 o detiene el procesamiento que extrae la información de subdivisión si no queda ningún bloque de raíz de árbol a procesar.

Debería observarse que la descripción de la Figura 7 se centra únicamente en la decodificación de las banderas de indicación de sub-división de la sub-división de predicción, de modo que, de hecho, la etapa 314 podría implicar la decodificación de fuentes adicionales o elementos de sintaxis que pertenecen, por ejemplo, al bloque de árbol actual. En cualquier caso, si existe un bloque de raíz de árbol adicional o siguiente, el extractor 102 continúa desde la etapa 314 a la etapa 302 para decodificar la siguiente bandera desde la información de sub-división, en concreto, la primera bandera o la secuencia de banderas con respecto al nuevo bloque de raíz de árbol.

Si, en la etapa 312 el nivel de jerarquía se hace desigual a 0, la operación continúa en la etapa 316 con una comprobación en cuanto a si existen nodos hijos adicionales que pertenecen al nodo actual. Es decir, cuando el extractor 102 realiza la comprobación en la etapa 316, ya ha comprobado en la etapa 312 que el nivel de jerarquía actual es un nivel de jerarquía distinto del nivel de jerarquía 0.

Esto, a su vez, significa que existe un nodo padre, que pertenece a un bloque de raíz de árbol 150 o uno de los bloques más pequeños 152a-d, o bloques incluso más pequeños 152a-d, y así sucesivamente. El nodo de la estructura de árbol, al que pertenece la bandera recientemente decodificada, tiene un nodo padre, que es común a tres nodos adicionales de la estructura de árbol actual. El orden de exploración entre tales nodos hijos que tienen un nodo padre común se ha ilustrado de manera ejemplar en la Figura 3a para el nivel de jerarquía 0 con el signo de referencia 200. Por lo tanto, en la etapa 316, el extractor 102 comprueba en cuanto a si todos estos cuatro nodos hijos ya se han visitado en el proceso de la Figura 7. Si este no es el caso, es decir si hay nodos hijos adicionales con el nodo padre actual, el proceso de la Figura 7 continúa con la etapa 318, donde se visita el siguiente nodo hijo de acuerdo con un orden de exploración en zigzag 200 en el nivel de jerarquía actual, de modo que su sub-bloque correspondiente ahora representa el bloque actual del proceso 7 y, posteriormente, se decodifica una bandera en la etapa 302 desde el flujo de datos con respecto al bloque actual o nodo actual. Sin embargo, si no hay nodos hijos adicionales para el nodo padre actual en la etapa 316, el proceso de la Figura 7 continúa a la etapa 320 donde el nivel de jerarquía actual se reduce en 1 en el que después el proceso continúa con la etapa 312.

Realizando las etapas mostradas en la Figura 7, el extractor 102 y el sub-divisor 104a cooperan para recuperar la sub división elegida en el lado del codificador desde el flujo de datos. El proceso de la Figura 7 se concentra en el caso anteriormente descrito de la sub-división de predicción. La Figura 8 muestra, en combinación con el diagrama de flujo de la Figura 7, cómo el extractor 102 y el sub-divisor 104a cooperan para recuperar la sub-división residual desde el flujo de datos.

En particular, la Figura 8 muestra las etapas realizadas mediante el extractor 102 y el sub-divisor 104a, respectivamente, para cada uno de los bloques de predicción resultantes de la sub-división de predicción. Estos bloques de predicción se atraviesan, como se ha mencionado anteriormente, de acuerdo con un orden de exploración en zigzag 140 entre los bloques de árbol 150 de la sub-división de predicción y usando un primer orden transversal de profundidad en cada bloque de árbol 150 actualmente visitado para atravesar los bloques de hoja como se muestra, por ejemplo, en la Figura 3c. De acuerdo con el primer orden transversal de profundidad, los bloques de hoja de los bloques primarios divididos se visitan en el primer orden transversal de profundidad visitando sub-bloques de un cierto nivel de jerarquía que tienen un nodo actual común en el orden de exploración en zigzag 200 y explorando principalmente la sub-división de cada uno de estos sub-bloques en primer lugar antes de continuar al siguiente sub bloque en este orden de exploración en zigzag 200.

Para el ejemplo en la Figura 3c, el orden de exploración resultante entre los nodos de hoja del bloque de árbol 150 se muestra con el signo de referencia 350.

Para un bloque de predicción actualmente visitado, el proceso de la Figura 8 se inicia en la etapa 400. En la etapa 400, un parámetro interno que indica el tamaño actual del bloque actual se establece igual al tamaño del nivel de jerarquía 0 de la sub-división residual, es decir el tamaño de bloque máximo de la sub-división residual. Debería recordarse que el tamaño de bloque residual máximo puede ser inferior que el tamaño de bloque más pequeño de la sub-división de predicción o puede ser igual a o mayor que el último. En otras palabras, de acuerdo con una realización,

ES 2 901 308 T3

el codificador es libre de elegir cualquiera de las posibilidades recién mencionadas.

En la siguiente etapa, en concreto la etapa 402, se realiza una comprobación en cuanto a si el tamaño de bloque de predicción del bloque actualmente visitado es mayor que el parámetro interno que indica el tamaño actual. Si este es el caso, el bloque de predicción actualmente visitado, que puede ser un bloque de hoja de la sub-división de predicción o un bloque de árbol de la sub-división de predicción, que no ha de dividirse más, es mayor que el tamaño de bloque residual máximo y en este caso, el proceso de la Figura 8 continúa con la etapa 300 de la Figura 7. Es decir, el bloque de predicción actualmente visitado se divide en bloques de raíz de árbol residuales y la primera bandera de la secuencia de banderas del primer bloque de árbol residual en este bloque de predicción actualmente visitado se decodifica en la etapa 302, y así sucesivamente.

Sin embargo, si el bloque de predicción actualmente visitado tiene un tamaño igual a o más pequeño que el parámetro interno que indica el tamaño actual, el proceso de la Figura 8 continúa a la etapa 404 donde el tamaño de bloque de predicción se comprueba para determinar en cuanto a si el mismo es igual al parámetro interno que indica el tamaño actual. Si este es el caso, la etapa de división 300 puede saltarse y el proceso continúa directamente con la etapa 302 de la Figura 7.

Sin embargo, si el tamaño de bloque de predicción del bloque de predicción actualmente visitado es más pequeño que el parámetro interno que indica el tamaño actual, el proceso de la Figura 8 continúa con la etapa 406 donde el nivel de jerarquía se aumenta en 1 y el tamaño actual se establece al tamaño del nuevo nivel de jerarquía tal como dividido por 2 (en ambas direcciones de eje en caso de subdivisión de árbol cuádruple). Posteriormente, la comprobación de la etapa 404 se realiza de nuevo. El efecto del bucle formado mediante las etapas 404 y 406 es que el nivel de jerarquía siempre corresponde al tamaño de los bloques correspondientes a dividir, independientemente de que el respectivo bloque de predicción haya sido más pequeño que o igual a/mayor que el tamaño de bloque residual máximo. Por lo tanto, cuando se decodifican las banderas en la etapa 302, el modelado de contexto realizado depende del nivel de jerarquía y del tamaño del bloque al que hace referencia la bandera, de manera concurrente. El uso de diferentes contextos para banderas de diferentes niveles de jerarquía o tamaños de bloque, respectivamente, es ventajoso en que la estimación de probabilidad puede ajustarse bien a la distribución de probabilidad real entre las apariciones de valor de bandera teniendo, por otro lado, un número moderado relativo de contextos a gestionar, reduciendo de esta manera la tara de gestión de contexto, así como aumentando la adaptación de contexto a las estadísticas de símbolo reales.

Como ya se ha indicado anteriormente, puede haber más de una matriz de muestras y estas matrices de muestras pueden agruparse en uno o más grupos de planos. La señal de entrada a codificar, que entra en la entrada 32, por ejemplo, puede ser una instantánea de una secuencia de vídeo o una imagen fija. La instantánea puede proporcionarse, por lo tanto, en forma de una o más matrices de muestras. En el contexto de la codificación de una instantánea de una secuencia de vídeo o una imagen fija, las matrices de muestras pueden hacer referencia a los tres planos de color, tal como rojo, verde y azul o a planos de luminancia y crominancia, tal como en representaciones de color de YUV o YCbCr. Adicionalmente, las matrices de muestras que representan información alfa, es decir transparencia, y/o profundidad para material de vídeo en 3-D pueden estar presentes también. Un número de estas matrices de muestras pueden agruparse juntas como un denominado grupo de planos. Por ejemplo, la luminancia (Y) puede ser un grupo de planos con únicamente una matriz de muestras y la crominancia, tal como CbCr, puede ser otro grupo de planos con dos matrices de muestras o, en otro ejemplo, YUV puede ser un grupo de planos con tres matrices y una información de profundidad para material de vídeo en 3-D puede ser un grupo de planos diferente con únicamente una matriz de muestras. Para cada grupo de planos, puede codificarse una estructura de árbol cuádruple primaria en el flujo de datos 22 para representar la división en bloques de predicción y para cada bloque de predicción, una estructura de árbol cuádruple secundaria que representa la división en bloques residuales. Por lo tanto, de acuerdo con un primer ejemplo recién mencionado donde el componente de luminancia es un grupo de planos, mientras que el componente de crominancia forma el otro grupo de planos, podría haber una estructura de árbol cuádruple para los bloques de predicción del plano de luminancia, una estructura de árbol cuádruple para los bloques residuales del plano de luminancia, una estructura de árbol cuádruple para el bloque de predicción del plano de crominancia y una estructura de árbol cuádruple para los bloques residuales del plano de crominancia. En el segundo ejemplo mencionado anteriormente, sin embargo, podría haber una estructura de árbol cuádruple para los bloques de predicción de luminancia y crominancia juntos (YUV), una estructura de árbol cuádruple para los bloques residuales de luminancia y crominancia juntos (YUV), una estructura de árbol cuádruple para los bloques de predicción de la información de profundidad para material de vídeo en 3-D y una estructura de árbol cuádruple para los bloques residuales de la información de profundidad para material de vídeo en 3-D.

Además, en la descripción anterior, la señal de entrada se dividió en bloques de predicción usando una estructura de árbol cuádruple primario y se describió cómo estos bloques de predicción se sub-dividieron adicionalmente en bloques residuales usando una estructura de árbol cuádruple subordinada. De acuerdo con una realización alternativa, la sub división puede no finalizar en la etapa de árbol cuádruple subordinado. Es decir, los bloques obtenidos desde una división usando la estructura de árbol cuádruple subordinado pueden sub-dividirse adicionalmente usando una estructura de árbol cuádruple terciaria. Esta división, a su vez, puede usarse para el fin de usar herramientas de

ES 2 901 308 T3

codificación adicionales que pueden facilitar codificar la señal residual.

La descripción anterior se concentra en la sub-división realizada mediante el sub-divisor 28 y el sub-divisor 104a, respectivamente. Como se ha mencionado anteriormente, la sub-división definida mediante el sub-divisor 28 y 104a, respectivamente, puede controlar la granularidad de procesamiento de los módulos anteriormente mencionados del codificador 10 y del decodificador 100. Sin embargo, de acuerdo con la descripción presentada a continuación, los sub-divisores 228 y 104a, respectivamente, se siguen por un mezclador 30 y mezclador 104b, respectivamente. Debería observarse, sin embargo, que los mezcladores 30 y 104b son opcionales y pueden no utilizarse.

En efecto, sin embargo, y como se señalará en más detalle a continuación, el mezclador proporciona al codificador con la oportunidad de combinar algunos de los bloques de predicción o bloques residuales a grupos o agrupaciones, de modo que el otro, o al menos alguno de los otros módulos pueden tratar estos grupos de bloques juntos. Por ejemplo, el predictor 12 puede sacrificar las pequeñas desviaciones entre los parámetros de predicción de algunos bloques de predicción como se determina mediante optimización usando la subdivisión del subdivisor 28 y usar parámetros de predicción comunes a todos estos bloques de predicción en su lugar si la señalización del agrupamiento de los bloques de predicción junto con una transmisión de parámetros comunes para todos los bloques que pertenecen a este grupo es más prometedora en el sentido de relación tasa/distorsión que señalizar individualmente los parámetros de predicción para todos estos bloques de predicción. El procesamiento para recuperar la predicción en los predictores 12 y 110, en sí mismo, basándose en estos parámetros de predicción comunes, puede tener lugar aún, sin embargo, a nivel de bloque de predicción. Sin embargo, es posible también incluso que los predictores 12 y 110 realicen el proceso de predicción una vez para todo el grupo de bloques de predicción.

Como se señalará en más detalle a continuación, es posible también que la agrupación de bloques de predicción no sea únicamente para usar los mismos parámetros de predicción o comunes para un grupo de bloques de predicción, sino que, como alternativa, o adicionalmente, posibilita al codificador 10 enviar un parámetro de predicción para este grupo junto con residuos de predicción para los bloques de predicción que pertenecen a este grupo, de modo que puede reducirse la tara de señalización para señalizar los parámetros de predicción para este grupo. En el último caso, el proceso de unión puede simplemente influenciar al insertador de flujo de datos 18 en lugar de a las decisiones realizadas mediante el pre-codificador residual 14 y el predictor 12. Sin embargo, se presentan más detalles a continuación. Por integridad, sin embargo, debería observarse que el aspecto recién mencionado se aplica también a las otras sub-divisiones, tal como la subdivisión residual o la sub-división de filtro anteriormente mencionadas.

En primer lugar, la unión de conjuntos de muestras, tal como la predicción y los bloques residuales anteriormente mencionados, se motiva en un sentido más general, es decir no restringido a la sub-división multi-árbol anteriormente mencionada. Posteriormente, sin embargo, la descripción se centra en la unión de bloques resultantes de la sub división multi-árbol para la que se acaban de describir los ejemplos.

Hablando en general, unir los elementos de sintaxis asociados a conjuntos particulares de muestras para el fin de transmitir parámetros de codificación asociados posibilita reducir la tasa de información secundaria en aplicaciones de codificación de imagen y de vídeo. Por ejemplo, las matrices de muestras de la señal a codificar se dividen normalmente en conjuntos particulares de muestras o conjuntos de muestras, que pueden representar bloques rectangulares o cuadráticos, o cualquier otra colección de muestras, incluyendo regiones con forma arbitraria, triángulos u otras formas. En la descripción anterior, las regiones conectadas de manera sencilla eran los bloques de predicción y los bloques residuales resultantes de la sub-división de multi-árbol. La sub-división de las matrices de muestras puede fijarse mediante la sintaxis o, como se ha descrito anteriormente, la sub-división puede señalizarse, al menos parcialmente dentro del flujo de bits. Para mantener la tasa de información secundaria pequeña para señalizar la información de sub-división, la sintaxis normalmente permite únicamente un número limitado de elecciones que dan como resultado partición sencilla, tal como la sub-división de bloques a bloques más pequeños. Los conjuntos de muestras están asociados a parámetros de codificación particulares, que pueden especificar información de predicción o modos de codificación residual, etc. Los detalles en relación con este asunto se han descrito anteriormente. Para cada conjunto de muestra, pueden transmitirse los parámetros de codificación individuales, tal como para especificar la predicción y/o codificación residual. Para conseguir una eficacia de codificación mejorada, el aspecto de unión descrito en lo sucesivo, en concreto la unión de dos o más conjuntos de muestra en denominados grupos de conjuntos de muestras, posibilita algunas ventajas, que se describen adicionalmente a continuación. Por ejemplo, los conjuntos de muestras pueden unirse de manera que todos los conjuntos de muestras de un grupo de este tipo comparten los mismos parámetros de codificación, que pueden transmitirse junto con uno de los conjuntos de muestras en el grupo. Haciendo esto, los parámetros de codificación no tienen que transmitirse para cada conjunto de muestra del grupo de conjuntos de muestras individualmente, sino que, en su lugar, los parámetros de codificación se transmiten únicamente una vez para todo el grupo de conjuntos de muestras. Como resultado, puede reducirse la tasa de información secundaria para transmitir los parámetros de codificación y puede mejorarse la eficacia de codificación global. Como un enfoque alternativo, un refinamiento adicional para uno o más de los parámetros de codificación puede transmitirse para uno o más de los conjuntos de muestras de un grupo de conjuntos de muestras. El refinamiento puede aplicarse a todos los conjuntos de muestras de un grupo o únicamente al conjunto de muestras para el que se transmite.

ES 2 901 308 T3

El aspecto de unión descrito adicionalmente a continuación proporciona también al codificador con una mayor libertad al crear el flujo de bits 22, puesto que el enfoque de unión aumenta significativamente el número de posibilidades para seleccionar una partición para las matrices de muestras de una instantánea. Puesto que el codificador puede elegir entre más opciones, tal como, para minimizar una medida de tasa/distorsión particular, la eficacia de codificación puede mejorarse. Existen varias posibilidades para operar un codificador. En un enfoque sencillo, el codificador podría determinar en primer lugar la mejor subdivisión de las matrices de muestras. Haciendo referencia brevemente a la Figura 1, el sub-divisor 28 podría determinar la sub-división óptima en una primera etapa. Posteriormente, podría comprobarse, para cada conjunto de muestras, si una unión con otro conjunto de muestras u otro grupo de conjuntos de muestras reduce una medida de coste tasa/distorsión particular. Ante esto, los parámetros de predicción asociados a un grupo unido de conjuntos de muestra pueden volverse a estimar, tal como realizando una nueva búsqueda de movimiento o los parámetros de predicción que ya se han determinado para el conjunto de muestras común y el conjunto de muestras candidato o grupo de conjuntos de muestras para unir podrían evaluarse para el grupo de conjuntos de muestras considerado. En un enfoque más extensivo, podría evaluarse una medida de coste tasa/distorsión particular para evaluarse para grupos de conjuntos de muestras candidatos adicionales.

Debería observarse que el enfoque de unión descrito en lo sucesivo no cambia el orden de procesamiento de los conjuntos de muestras. Es decir, el concepto de unión puede implementarse de tal manera que no se aumenta el retardo, es decir cada conjunto de muestras permanece decodificable en el mismo instante de tiempo sin usar el enfoque de unión.

Si, por ejemplo, la tasa de bits que se ahorra reduciendo el número de parámetros de predicción codificados es mayor que la tasa de bits que se ha de gastar adicionalmente para que la información de unión de codificación indique la unión al lado de decodificación, el enfoque de unión que se va a describir adicionalmente a continuación da como resultado una eficacia de codificación aumentada. Debería mencionarse adicionalmente que la extensión de sintaxis descrita para la unión proporciona el codificador con la libertad adicional para seleccionar la partición de una instantánea o grupo de planos en bloques. En otras palabras, el codificador no está restringido a hacer la sub-división en primer lugar y a continuación comprobar si algunos de los bloques resultantes tienen el mismo conjunto o un conjunto similar de parámetros de predicción. Como una alternativa sencilla, el codificador podría determinar en primer lugar la sub-división de acuerdo con una medida de coste tasa-distorsión y a continuación el codificador podría comprobar, para cada bloque, si una unión con uno de sus bloques vecinos o el grupo de bloques ya determinado asociado reduce una medida de coste tasa-distorsión. Ante esto, los parámetros de predicción asociados al nuevo grupo de bloques pueden volverse a estimar, tal como realizando una nueva búsqueda de movimiento o los parámetros de predicción que ya se han determinado para el bloque actual y el bloque vecino o grupos de bloques podrían evaluarse para el nuevo grupo de bloques. La información de unión puede señalizarse en una base en bloques. De manera eficaz, la unión podría interpretarse también como inferencia de los parámetros de predicción para un bloque actual, en el que los parámetros de predicción inferidos se establecen igual a los parámetros de predicción de uno de los bloques vecinos. Como alternativa, pueden transmitirse los residuos para bloques en un grupo de bloques.

Por lo tanto, la idea básica que subyace del concepto de unión descrito adicionalmente a continuación es reducir la tasa de bits que se requiere para transmitir los parámetros de predicción u otros parámetros de codificación uniendo bloques vecinos en un grupo de bloques, donde cada grupo de bloques está asociado con un único conjunto de parámetros de codificación, tal como parámetros de predicción o parámetros de codificación residuales. La información de unión se señaliza dentro del flujo de bits además de la información de sub-división, si está presente. La ventaja del concepto de unión es una eficacia de codificación aumentada que resulta de una tasa de información secundaria reducida para los parámetros de codificación. Debería observarse que los procesos de unión descritos en este punto podrían extenderse también a dimensiones distintas de las espaciales. Por ejemplo, un grupo de conjuntos de muestras o bloques, respectivamente, que radican en varias instantáneas de vídeo diferentes, podrían unirse en un grupo de bloques. La unión podría aplicarse también a compresión 4-D y codificación de campo de luz.

Por lo tanto, volviendo brevemente a la descripción anterior de las Figuras 1 a 8, se observa que el proceso de unión posterior a la sub-división es ventajosamente independiente de la manera específica que los sub-divisores 28 y 104a, respectivamente, sub-dividen las instantáneas. Para ser más precisos, los últimos podrían sub-dividir también las instantáneas de una manera similar a, por ejemplo, H.264, es decir sub-dividiendo cada instantánea en una disposición regular de macro bloques rectangulares o cuadráticos de un tamaño predeterminado, tal como de 16x16 muestras de luminancia o de un tamaño señalizado en el flujo de datos, teniendo cada macro bloque ciertos parámetros de codificación asociados a los mismos que comprenden, entre otros, parámetros de partición que definen, para cada macrobloque, una partición en una sub-rejilla regular de 1, 2, 4 o algún otro número de particiones que sirven como una granularidad para predicción y los correspondientes parámetros de predicción en el flujo de datos así como para definir la partición para el residuo y la granularidad de transformación residual correspondiente.

En cualquier caso, la unión proporciona las ventajas antes mencionadas analizadas brevemente, tal como reducir los bits de la tasa de información secundaria en aplicaciones de codificación de imagen y de vídeo. Unos conjuntos particulares de muestras, que pueden representar los bloques rectangulares o cuadráticos o regiones con forma

ES 2 901 308 T3

arbitraria o cualquier otra colección de muestras, tal como cualquier región o muestras conectadas de manera sencilla se conectan normalmente con un conjunto particular de parámetros de codificación y para cada uno de los conjuntos de muestras, los parámetros de codificación se incluyen en el flujo de bits, representando los parámetros de codificación, por ejemplo, parámetros de predicción, que especifican cómo el conjunto correspondiente de muestras se predice usando muestras ya codificadas. La partición de las matrices de muestras de una instantánea en conjuntos de muestras puede fijarse mediante la sintaxis o puede señalizarse mediante la información de sub-división correspondiente dentro del flujo de bits. Los parámetros de codificación para el conjunto de muestras pueden transmitirse en un orden predefinido, que se proporciona mediante la sintaxis. De acuerdo con la funcionalidad de unión, el mezclador 30 puede señalizar, para un conjunto común de muestras o un bloque actual, tal como un bloque de predicción o un bloque residual que se une con uno o más otros conjuntos de muestras, en un grupo de conjuntos de muestras. Los parámetros de codificación para un grupo de conjuntos de muestras, por lo tanto, necesitan transmitirse únicamente una vez. Por ejemplo, los parámetros de codificación de un conjunto de muestras actual no se transmiten si el conjunto de muestras actual se une con un conjunto de muestras o un grupo de conjuntos de muestras ya existentes para los que ya se han transmitido los parámetros de codificación. En su lugar, los parámetros de codificación para el conjunto actual de muestras se establecen iguales a los parámetros de codificación del conjunto de muestras o grupo de conjuntos de muestras con los que se une el conjunto actual de muestras. Como un enfoque alternativo, puede transmitirse un refinamiento adicional para uno o más de los parámetros de codificación para un conjunto de muestras actual. El refinamiento puede aplicarse a todos los conjuntos de muestras de un grupo o únicamente al conjunto de muestras para el que se transmite.

Para cada conjunto de muestras tal como un bloque de predicción como se ha mencionado anteriormente, un bloque residual como se ha mencionado anteriormente, o un bloque de hoja de una subdivisión multiárbol como se ha mencionado anteriormente, el conjunto de todos los conjuntos de muestras anteriormente codificadas/decodificadas se denomina el “conjunto de conjuntos de muestras causales”. Véase, por ejemplo, la Figura 3c. Todos los bloques mostrados en esta figura son el resultado de una cierta sub-división, tal como una sub-división de predicción o una sub-división residual o de cualquier subdivisión multiárbol, o similares, y el orden de codificación/decodificación definido entre estos bloques se define mediante la flecha 350. Considerando un cierto bloque entre estos bloques como que es el conjunto de muestras actual o región conectada de manera sencilla actual, su conjunto de conjuntos de muestras causales está compuesto de todos los bloques que preceden al bloque actual a lo largo del orden 350. Sin embargo, se recuerda, de nuevo, que también podría ser posible otra sub-división que no use la sub-división de multi-árbol en lo que respecta al siguiente análisis de los principios de unión.

Los conjuntos de muestras que pueden usarse para la unión con un conjunto de muestras actual se denominan el “conjunto de conjuntos de muestras candidatos” a continuación y es siempre un subconjunto del “conjunto de conjuntos de muestras causales”. La manera en cómo se forma el subconjunto puede conocerse para el decodificador o puede especificarse dentro del flujo de datos o del flujo de bits desde el codificador al decodificador. Si un conjunto actual particular de muestras se codifica/decodifica y su conjunto de conjuntos de muestras candidatos no está vacío, se señaliza en el flujo de datos en el codificador o se deriva desde el flujo de datos en el decodificador si se une el conjunto común de muestras con un conjunto de muestras de este conjunto de conjuntos de muestras candidatos y, si es así, con cuál de ellos. De otra manera, la unión no puede usarse para este bloque, puesto que el conjunto de conjuntos de muestras candidatos está vacío de todas maneras.

Hay diferentes maneras de cómo determinar el subconjunto del conjunto de conjuntos de muestras causales, que deben representar el conjunto de conjuntos de muestras candidatos. Por ejemplo, la determinación de conjuntos de muestras candidatos puede basarse en una muestra dentro del conjunto actual de muestras, que se define geométricamente de manera inequívoca, tal como la muestra de la imagen superior-izquierda de un bloque rectangular o cuadrático. Empezando desde esta muestra definida geométricamente de manera inequívoca, se determina un número particular distinto de cero de muestras, que representa vecinos espaciales directos de esta muestra definida geométricamente de manera inequívoca. Por ejemplo, este número particular distinto de cero de muestras comprende el vecino superior y el vecino izquierdo de la muestra definida geométricamente de manera inequívoca del conjunto actual de muestras, de modo que el número distinto de cero de muestras vecinas puede ser, como máximo, dos, uno si uno de los vecinos superior o izquierdo no está disponible o radica fuera de la instantánea, o cero en caso de que falten ambos vecinos.

El conjunto de conjuntos de muestras candidatos podría determinarse a continuación para abarcar aquellos conjuntos de muestras que contienen al menos uno del número distinto de cero de las muestras vecinas recién mencionadas. Véase, por ejemplo, la Figura 9a. El conjunto actual de muestras considerado actualmente como el objeto de unión, deberá ser el bloque X y su muestra definida geométricamente de manera inequívoca, deberá ser de manera ejemplar la muestra superior-izquierda indicada en 400. Las muestras vecinas superior e izquierda de la muestra 400 se indican en 402 y 404. El conjunto de conjuntos de muestras causales o conjunto de bloques causales se destaca de una manera sombreada. Entre estos bloques, los bloques A y B comprenden una de las muestras vecinas 402 y 404 y, por lo tanto, estos bloques forman el conjunto de bloques candidatos o el conjunto de conjuntos de muestras candidatos.

ES 2 901 308 T3

El conjunto de conjuntos de muestras candidatos determinado para el fin de unión puede incluir adicional o exclusivamente conjuntos de muestras que contienen un número distinto de cero particular de muestras, que puede ser uno o dos que tienen la misma localización espacial, pero que están contenidas en una instantánea diferente, en concreto, por ejemplo, una instantánea previamente codificada/decodificada. Por ejemplo, además de los bloques A y B en la Figura 9a, podría usarse un bloque de una instantánea previamente codificada, que comprende la muestra en la misma posición que la muestra 400. A propósito, se indica que únicamente la muestra vecina superior 404 o únicamente la muestra vecina izquierda 402 podrían usarse para definir el número distinto de cero de muestras vecinas anteriormente mencionadas. En general, el conjunto de conjuntos de muestras candidatos puede derivarse desde datos anteriormente procesados en la instantánea actual o en otras instantáneas. La derivación puede incluir información direccional espacial, tal como coeficientes de transformación asociados a una dirección particular y gradientes de imagen de la instantánea actual o puede incluir información direccional temporal, tal como representaciones de movimiento vecinas. A partir de tales datos disponibles en el receptor/decodificador y otros datos e información secundaria en el flujo de datos, si están presentes, puede derivarse el conjunto de conjuntos de muestras candidatos.

Debería observarse que la derivación de los conjuntos de muestras candidatos se realiza en paralelo mediante tanto el mezclador 30 en el lado del codificador como el mezclador 104b en el lado del decodificador. Como se acaba de mencionar, ambos pueden determinar el conjunto de conjuntos de muestras candidatos independientes entre sí basándose en una manera predefinida conocida por ambos o el codificador puede señalizar indicios en el flujo de bits, que colocan al mezclador 104b en una posición para realizar la derivación de estos conjuntos de muestras candidatos de una manera igual a la manera que el mezclador 30 en el lado del codificador determinó el conjunto de conjuntos de muestras candidatos.

Como se describirá en más detalle a continuación, el mezclador 30 y el insertador de flujo de datos 18 cooperan para transmitir uno o más elementos de sintaxis para cada conjunto de muestras, que especifican si el conjunto de muestras se une con otro conjunto de muestras, que, a su vez, puede ser parte de un grupo ya unido de conjuntos de muestras candidatos y cuál del conjunto de conjuntos de muestras candidatos se emplea para la unión. El extractor 102, a su vez, extrae estos elementos de sintaxis e informa al mezclador 104b en consecuencia. En particular, tal como se describe más adelante, pueden transmitirse uno o dos elementos de sintaxis para especificar la información de unión para un conjunto específico de muestras. El primer elemento de sintaxis especifica si el conjunto actual de muestras se une con otro conjunto de muestras. El segundo elemento de sintaxis, que se transmite únicamente si el primer elemento de sintaxis especifica que el conjunto actual de muestras se une con otro conjunto de muestras, especifica cuál de los conjuntos de conjuntos de muestras candidatos se emplea para la unión. La transmisión del primer elemento de sintaxis puede suprimirse si un conjunto derivado de conjuntos de muestras candidatos está vacío. En otras palabras, el primer elemento de sintaxis puede transmitirse únicamente si un conjunto derivado de conjuntos de muestras candidatos no está vacío. El segundo elemento de sintaxis puede transmitirse únicamente si un conjunto derivado de conjuntos de muestras candidatos contiene más de un conjunto de muestras, puesto que, si únicamente está contenido un conjunto de muestras en el conjunto de conjuntos de muestras candidatos, no es posible una selección adicional de todas formas. Aún más, la transmisión del segundo elemento de sintaxis puede suprimirse si el conjunto de conjuntos de muestras candidatos comprende más de un conjunto de muestras, pero si todos los conjuntos de muestras del conjunto de conjuntos de muestras candidatos están asociados al mismo parámetro de codificación. En otras palabras, el segundo elemento de sintaxis puede transmitirse únicamente si al menos dos conjuntos de muestras de un conjunto derivado de conjuntos de muestras candidatos están asociados a diferentes parámetros de codificación.

En el flujo de bits, la información de unión para un conjunto de muestras puede codificarse antes de los parámetros de predicción u otros parámetros de codificación particulares que están asociados a ese conjunto de muestras. Los parámetros de predicción o de codificación pueden transmitirse únicamente si la información de unión señaliza que el conjunto actual de muestras no se va a unir con ningún otro conjunto de muestras.

La información de unión para un cierto conjunto de muestras, es decir un bloque, por ejemplo, puede codificarse después de que se ha transmitido un subconjunto apropiado de los parámetros de predicción o, en un sentido más general, parámetros de codificación que están asociados al respectivo conjunto de muestras. El subconjunto de parámetros de predicción/codificación puede consistir en uno o más índices de instantánea de referencia o uno o más componentes de un vector de parámetro de movimiento o un índice de referencia y uno o más componentes de un vector de parámetro de movimiento, etc. El subconjunto ya transmitido de parámetros de predicción o de codificación puede usarse para derivar un conjunto de conjuntos de muestras candidatos de un mayor conjunto provisional de conjuntos de muestras candidatos, que pueden haberse derivado como se acaba de describir anteriormente. Como un ejemplo, puede calcularse una medida de diferencia o distancia de acuerdo con una medida de distancia predeterminada, entre los parámetros de predicción y de codificación ya codificados del conjunto actual de muestras y los correspondientes parámetros de predicción o codificación del conjunto preliminar de conjuntos de muestras candidatos. A continuación, únicamente aquellos conjuntos de muestras para los que la medida de diferencia calculada, o distancia, es más pequeña que o igual a un umbral predefinido o derivado, se incluyen en el final, es decir conjunto reducido de conjuntos de muestras candidatos. Véase, por ejemplo, la Figura 9a. El conjunto actual de

ES 2 901 308 T3

muestras deberá ser el bloque X. Un subconjunto de los parámetros de codificación que pertenecen a este bloque ya deberá haberse insertado en el flujo de datos 22. Imagínese, por ejemplo, que el bloque X fuera un bloque de predicción, caso en el que el subconjunto apropiado de los parámetros de codificación podría ser un subconjunto de los parámetros de predicción para este bloque X, tal como un subconjunto de un conjunto que comprende un índice de referencia de instantánea e información de mapeo de movimiento, tal como un vector de movimiento. Si el bloque X fuera un bloque residual, el subconjunto de parámetros de codificación es un subconjunto de información residual, tal como coeficientes de transformación o un mapa que indica las posiciones de los coeficientes de transformación significativos en el bloque X. Basándose en esta información, tanto el insertador de flujo de datos 18 como el extractor 102 pueden usar esta información para determinar un subconjunto de bloques A y B, que forman, en este ejemplo específico, el conjunto preliminar anteriormente mencionado de conjuntos de muestras candidatos. En particular, puesto que los bloques A y B pertenecen al conjunto de conjuntos de muestras causales, los parámetros de codificación de los mismos están disponibles para tanto el codificador como el decodificador en el momento que los parámetros de codificación del bloque X se codifican/decodifican actualmente. Por lo tanto, la comparación anteriormente mencionada que usa la medida de diferencia puede usarse para excluir cualquier número de bloques del conjunto preliminar de conjuntos de muestras candidatos A y B. El conjunto reducido resultante de conjuntos de muestras candidatos puede a continuación usarse como se ha descrito anteriormente, en concreto para determinar en cuanto a si un indicador de unión que indica se ha de transmitir en o se ha de extraer desde el flujo de datos dependiendo del número de conjuntos de muestras en el conjunto reducido de conjuntos de muestras candidatos y en cuanto a si un segundo elemento de sintaxis tiene que transmitirse en, o tiene que extraerse desde el flujo de datos con un segundo elemento de sintaxis que indica cuál de los conjuntos de muestras en el conjunto reducido de conjuntos de muestras candidatos deberá ser el bloque compañero para la unión.

El umbral anteriormente mencionado frente al que se comparan las distancias anteriormente mencionadas puede fijarse y conocerse para tanto el codificador como el decodificador o puede derivarse basándose en las distancias calculadas tal como la mediana de los valores de diferencia, o alguna otra tendencia central o similar. En este caso, el conjunto reducido de conjuntos de muestras candidatos sería inevitablemente un subconjunto apropiado del conjunto preliminar de conjuntos de muestras candidatos. Como alternativa, únicamente se seleccionan aquellos conjuntos de muestras del conjunto preliminar de conjuntos de muestras candidatos para los que se minimiza la distancia de acuerdo con la medida de distancia. Como alternativa, se selecciona exactamente un conjunto de muestras del conjunto preliminar de conjuntos de muestras candidatos usando la medida de distancia anteriormente mencionada. En el último caso, la información de unión necesitaría especificar únicamente si el conjunto actual de muestras se ha de unir o no con un único conjunto de muestras candidatos.

Por lo tanto, el conjunto de bloques candidatos podría formarse o derivarse como se describe a continuación con respecto a la Figura 9a. Empezando desde la posición de muestra superior-izquierda 400 del bloque actual X en la Figura 9a, se deriva su posición de muestra vecina izquierda 402 y su posición de muestra vecina superior 404 - en sus lados de codificador y decodificador. El conjunto de bloques candidatos puede tener, por lo tanto, únicamente hasta dos elementos, en concreto aquellos bloques fuera del conjunto sombreado de bloques causales en la Figura 9a que contienen una de las dos posiciones de muestras, que en el caso de la Figura 9a, son los bloques B y A. Por lo tanto, el conjunto de bloques candidatos puede tener únicamente los dos bloques directamente vecinos de la posición de muestra superior-izquierda del bloque actual como sus elementos. De acuerdo con una alternativa, el conjunto de bloques candidatos podría proporcionarse mediante todos los bloques que se han codificado antes del bloque actual y contienen una o más muestras que representan vecinos espaciales directos de cualquier muestra del bloque actual. La proximidad espacial directa puede restringirse a vecinos izquierdos directos y/o vecinos superiores directos y/o vecinos derechos directos y/o vecinos inferiores directos de cualquier muestra del bloque actual. Véase, por ejemplo, la Figura 9b que muestra otra sub-división de bloque. En este caso, los bloques candidatos comprenden cuatro bloques, en concreto los bloques A, B, C y D.

Como alternativa, el conjunto de bloques candidatos, adicional o exclusivamente, puede incluir bloques que contienen una o más muestras que están localizadas en la misma posición que cualquiera de las muestras del bloque actual, pero que están contenidas en una instantánea diferente, es decir ya codificada/decodificada.

Incluso como alternativa, el conjunto de bloques candidatos representa un subconjunto de los conjuntos de bloques anteriormente descritos, que se determinan mediante los vecinos en dirección espacial o temporal. El subconjunto de bloques candidatos puede fijarse, señalizarse o derivarse. La derivación del subconjunto de bloques candidatos puede considerar decisiones realizadas para otros bloques en la instantánea o en otras instantáneas. Como un ejemplo, los bloques que están asociados a los mismos parámetros de codificación o muy similares que otros bloques candidatos pueden no incluirse en el conjunto de bloques candidatos.

El siguiente ejemplo se aplica para el caso donde únicamente se consideran dos bloques que contienen la muestra vecina izquierda y superior de la muestra superior-izquierda del bloque actual como candidatos potenciales como máximo.

Si el conjunto de bloques candidatos no está vacío, se señaliza una bandera denominada merge_flag, que especifica

ES 2 901 308 T3

si el bloque actual se une con alguno de los bloques candidatos. Si merge_flag es igual a 0 (para “falso”), este bloque no se une con uno de sus bloques candidatos y todos los parámetros de codificación se transmiten de manera convencional. Si merge_flag es igual a 1 (para “verdadero”), se aplica lo siguiente. Si el conjunto de bloques candidatos contiene uno y solamente un bloque, este bloque candidato se usa para la unión. De otra manera, el conjunto de bloques candidatos contiene exactamente dos bloques. Si los parámetros de predicción de estos dos bloques son idénticos, estos parámetros de predicción se usan para el bloque actual. De otra manera (los dos bloques tienen diferentes parámetros de predicción), se señaliza una bandera denominada merge_left_flag. Si merge_left_flag es igual a 1 (para “verdadero”), se selecciona el bloque que contiene la posición de muestra vecina izquierda de la posición de muestra superior-izquierda del bloque actual del conjunto de bloques candidatos. Si merge_left_flag es igual a 0 (para “falso”), se selecciona el otro bloque (es decir, vecino superior) del conjunto de bloques candidatos. Los parámetros de predicción del bloque seleccionado se usan para el bloque actual.

Al resumir algunas de las realizaciones de comparación anteriormente descritas con respecto a la unión, se hace referencia a la Figura 10 que muestra las etapas realizadas mediante el extractor 102 para extraer la información de unión desde el flujo de datos 22 que entra en la entrada 116.

El proceso se inicia en 450 identificando los bloques candidatos o conjuntos de muestras para un conjunto de muestras o bloque actual. Debería recordarse que los parámetros de codificación para los bloques se transmiten en el flujo de datos 22 en un cierto orden unidimensional y, por consiguiente, la Figura 10 se refiere al proceso para recuperar la información de unión para un conjunto de muestras o bloque actualmente visitado.

Como se ha mencionado anteriormente, la identificación y la etapa 450 pueden comprender la identificación entre bloques previamente codificados, es decir el conjunto de bloques causales, basándose en aspectos de proximidad. Por ejemplo, aquellos bloques vecinos pueden establecerse candidatos, que incluyen ciertas muestras vecinas que son vecinas de una o más muestras geométricamente predeterminadas del bloque actual X en espacio o tiempo. Además, la etapa de identificar puede comprender dos etapas, en concreto una primera etapa que implica una identificación como se acaba de mencionar, en concreto basándose en la proximidad, que conduce a un conjunto preliminar de bloques candidatos, y una segunda etapa de acuerdo con la que se establecen simplemente aquellos bloques candidatos que ya transmiten parámetros de codificación de los cuales cumplen una cierta relación con un subconjunto apropiado de los parámetros de codificación del bloque actual X, que ya se ha decodificado desde el flujo de datos de la etapa anterior 450.

A continuación, el proceso pasa a la etapa 452 donde se determina en cuanto a si el número de bloques candidatos es mayor que cero. Si este es el caso, se extrae una merge_flag desde el flujo de datos en la etapa 454. La etapa de extraer 454 puede implicar decodificación por entropía. El contexto para decodificar por entropía merge_flag en la etapa 454 puede determinarse basándose en los elementos de sintaxis que pertenecen a, por ejemplo, el conjunto de bloques candidatos o el conjunto preliminar de bloques candidatos, en el que la dependencia de los elementos de sintaxis puede restringirse a la información de si los bloques que pertenecen al conjunto de interés se han sometido o no a la unión. La estimación de probabilidad del contexto seleccionado puede adaptarse.

Sin embargo, si el número de bloques candidatos se determina que es cero 452, en su lugar, el proceso de la Figura 10 continúa con la etapa 456 donde los parámetros de codificación del bloque actual se extraen desde el flujo de bits o, en caso de la alternativa de identificación de dos etapas anteriormente mencionada, los restantes parámetros de codificación de los mismos en el que después el extractor 102 continúa con el procesamiento del siguiente bloque en el orden de exploración de bloque tal como el orden 350 mostrado en la Figura 3c.

Volviendo a la etapa 454, el proceso continúa después de la extracción en la etapa 454, con la etapa 458 con una comprobación en cuanto a si la merge_flag extraída sugiere la aparición o ausencia de una unión del bloque actual. Si no debe tener lugar unión, el proceso continúa con la etapa anteriormente mencionada 456. De otra manera, el proceso continúa con la etapa 460, que incluye una comprobación en cuanto a si el número de bloques candidatos es igual a uno. Si este es el caso, la transmisión de una indicación de un cierto bloque candidato entre los bloques candidatos no es necesaria y por lo tanto, el proceso de la Figura 10 continúa con la etapa 462 de acuerdo con la que el compañero de unión del bloque actual se establece para que sea el único bloque candidato en el que después en la etapa 464 los parámetros de codificación del bloque de compañero unido se usan para adaptación o predicción de los parámetros de codificación o los restantes parámetros de codificación del bloque actual. En caso de adaptación, los parámetros de codificación que faltan del bloque actual se copian simplemente desde el bloque de compañero de unión. En el otro caso, en concreto el caso de predicción, la etapa 464 puede implicar una extracción adicional de datos residuales desde el flujo de datos, perteneciendo los datos residuales al residuo de la predicción de los parámetros de codificación que faltan del bloque actual y una combinación de estos datos residuales con la predicción de estos parámetros de codificación que faltan obtenidos desde el bloque de compañero de unión.

Sin embargo, si se determina que el número de bloques candidatos es mayor que uno en la etapa 460, el proceso de la Figura 10 pasa hacia la etapa 466 donde se realiza una comprobación en cuanto a si los parámetros de codificación o la parte de interés de los parámetros de codificación - en concreto la subparte de los mismos relacionada con la

ES 2 901 308 T3

parte que no se ha transferido aún en el flujo de datos para el bloque actual - son idénticos entre sí. Si este es el caso, estos parámetros de codificación comunes se establecen como referencia de unión o los bloques candidatos se establecen como compañeros de unión en la etapa 468 y los respectivos parámetros de codificación de interés se usan para adaptación o predicción en la etapa 464.

Debería observarse que el propio compañero de unión puede haber sido un bloque para el que se señalizó unión. En este caso, los parámetros de codificación adoptados u obtenidos de manera predictiva de ese compañero de unión se usan en la etapa 464.

De otra manera, sin embargo, es decir en caso de que los parámetros de codificación no sean idénticos, el proceso de la Figura 10 continúa en la etapa 470, donde se extrae un elemento de sintaxis adicional desde el flujo de datos, en concreto esta merge_left_flag. Un conjunto separado de contextos puede usarse para decodificar por entropía esta bandera. El conjunto de contextos usados para decodificar por entropía la merge_left_flag puede comprender también únicamente un contexto. Después de la etapa 470, el bloque candidato indicado mediante merge_left_flag se establece para que sea el compañero de unión en la etapa 472 y se usa para adaptación o predicción en la etapa 464. Después de la etapa 464, el extractor 102 continúa manejando el siguiente bloque en orden de bloque.

Por supuesto, existen muchas alternativas. Por ejemplo, un elemento de sintaxis combinada puede transmitirse en el flujo de datos en lugar de elementos de sintaxis separados merge_flag y merge_left_flag anteriormente descritos, señalizando los elementos de sintaxis combinados el proceso de unión. Además, merge_left_flag anteriormente mencionada puede transmitirse en el flujo de datos independientemente de si los dos bloques candidatos tienen o no los mismos parámetros de predicción, reduciendo de esta manera la tara computacional para realizar el proceso de la Figura 10.

Como ya se ha indicado con respecto a, por ejemplo, la Figura 9b, pueden incluirse más de dos bloques en el conjunto de bloques candidatos. Además, la información de unión, es decir la información que señaliza si un bloque se une y, en caso afirmativo, con qué bloque candidato se ha de unir, puede señalizarse mediante uno o más elementos de sintaxis. Un elemento de sintaxis podría especificar si el bloque se une con cualquiera de los bloques candidatos tal como merge_flag anteriormente descrita. La bandera puede transmitirse únicamente si el conjunto de bloques candidatos no está vacío. Un segundo elemento de sintaxis puede señalizar cuál de los bloques candidatos se emplea para la unión tal como merge_left_flag anteriormente mencionada, pero indicando en general una selección entre dos o más de dos bloques candidatos. El segundo elemento de sintaxis puede transmitirse únicamente si el primer elemento de sintaxis señaliza que el bloque actual se ha de unir con uno de los bloques candidatos. El segundo elemento de sintaxis puede transmitirse además únicamente si el conjunto de bloques candidatos contiene más de un bloque candidato y/o si cualquiera de los bloques candidatos tiene diferentes parámetros de predicción que cualquier otro de los bloques candidatos. La sintaxis puede depender de cuántos bloques candidatos se proporcionen y/o cuántos parámetros de predicción diferentes estén asociados a los bloques candidatos.

La sintaxis para señalizar cuál de los bloques de los bloques candidatos va a usarse, puede establecerse de manera simultánea y/o paralela en el lado del codificador y decodificador. Por ejemplo, si hay tres elecciones para bloques candidatos identificados en la etapa 450, la sintaxis se elige de manera que únicamente estas tres selecciones están disponibles y se consideran para codificación por entropía, por ejemplo, en la etapa 470. En otras palabras, el elemento de sintaxis se elige de manera que su alfabeto de símbolos tiene solamente tantos elementos como elecciones de bloques candidatos existen. Las probabilidades para todas las otras elecciones pueden considerarse que son cero y la decodificación/codificación por entropía puede ajustarse simultáneamente en el codificador y decodificador.

Además, como ya se ha indicado con respecto a la etapa 464, los parámetros de predicción que se infieren como consecuencia del proceso de unión pueden representar el conjunto completo de parámetros de predicción que están asociados al bloque actual o pueden representar un subconjunto de estos parámetros de predicción tal como los parámetros de predicción para una hipótesis de un bloque para el que se usa predicción multi-hipótesis.

Como se ha indicado anteriormente, los elementos de sintaxis relacionados con la información de unión podrían codificarse por entropía usando modelado de contexto. Los elementos de sintaxis pueden consistir en merge_flag y merge_left_flag anteriormente descritas (o elementos de sintaxis similares). En un ejemplo concreto, podría usarse, por ejemplo, uno de tres modelos de contexto o contextos para codificar/decodificar merge_flag en la etapa 454. El índice de modelo de contexto usado merge_flag_ctx puede derivarse como sigue: si el conjunto de bloques candidatos contiene dos elementos, el valor de merge_flag_ctx es igual a la suma de los valores de merge_flag de los dos bloques candidatos. Si el conjunto de bloques candidatos contiene un elemento, sin embargo, el valor de merge_flag_ctx puede ser igual a dos veces el valor de merge_flag de este un bloque candidato. Como cada merge_flag de los bloques candidatos vecinos puede ser uno o cero, están disponibles tres contextos para merge_flag. Merge_left_flag puede codificarse usando solamente un modelo de probabilidad sencillo.

Sin embargo, de acuerdo con una alternativa, pueden usarse diferentes modelos de contexto. Por ejemplo, los elementos de sintaxis no binarios pueden mapearse en una secuencia de símbolos binarios, denominados fuentes.

ES 2 901 308 T3

Los modelos de contexto para algunos elementos de sintaxis o fuentes de los elementos de sintaxis que definen la información de unión pueden derivarse basándose en elementos de sintaxis ya transmitidos de bloques vecinos o el número de bloques candidatos u otras medidas mientras que otros elementos de sintaxis o fuentes de los elementos de sintaxis pueden codificarse con un modelo de contexto fijo.

Con respecto a la anterior descripción de la unión de bloques, se indica que el conjunto de bloques candidatos puede derivarse también de la misma manera que lo descrito anteriormente con la siguiente modificación: los bloques candidatos se restringen a bloques que usan predicción de movimiento compensado o interpredicción, respectivamente. Únicamente esos pueden ser elementos del conjunto de bloques candidatos. La señalización y modelado de contexto de la información de unión podría hacerse como se ha descrito anteriormente.

Volviendo a la combinación de la subdivisión multiárbol anteriormente descrita y al aspecto de unión ahora descrito, si la instantánea se divide en bloques cuadrados de tamaño variable mediante el uso de una estructura de subdivisión basada en árbol cuádruple, por ejemplo, merge_flag y merge_left_flag u otros elementos de sintaxis que especifican la unión podrían intercalarse con los parámetros de predicción que se transmiten para cada nodo de hoja de la estructura de árbol cuádruple. Considérese de nuevo, por ejemplo, la Figura 9a. La Figura 9a muestra un ejemplo para una subdivisión basada en árbol cuádruple de una instantánea en bloques de predicción de tamaño variable. Los dos bloques superiores del tamaño más grande se denominan bloques de árbol, es decir, son bloques de predicción del máximo tamaño posible. Los otros bloques en esta figura se obtienen mediante una subdivisión de su bloque de árbol correspondiente. El bloque actual se marca con una “X”. Todos los bloques sombreados se codifican/decodifican antes del bloque actual, por lo que forman el conjunto de bloques causales. Como se explica en la descripción de la derivación del conjunto de bloques candidatos, únicamente los bloques que contienen las muestras vecinas directas (es decir, superior o izquierda) de la posición de muestra superior-izquierda del bloque actual pueden ser miembros del conjunto de bloques candidatos. Por lo tanto, el bloque actual puede unirse con cualquiera del bloque “A” o el bloque “B”. Si merge_flag es igual a 0 (para “falso”), el bloque actual “X” no se une con ninguno de los dos bloques. Si los bloques “A” y “B” tienen parámetros de predicción idénticos, no necesita realizarse distinción, puesto que la unión con cualquiera de los dos bloques conducirá al mismo resultado. Por lo que, en este caso, no se transmite merge_left_flag. De otra manera, si los bloques “A” y “B” tienen parámetros de predicción diferentes, merge_left_flag igual a 1 (para “verdadero”) unirá los bloques “X” y “B”, mientras que merge_left_flag igual a 0 (para “falso”) unirá los bloques “X” y “A”. Los bloques vecinos adicionales (ya transmitidos) pueden representar candidatos para la unión.

En la Figura 9b se muestra otro ejemplo. En este punto el bloque actual “X” y el bloque vecino izquierdo “B” son bloques de árbol, es decir, tienen el máximo tamaño de bloque permitido. El tamaño del bloque vecino superior “A” es un cuarto del tamaño del bloque de árbol. Los bloques que son elementos del conjunto de bloques causales se sombrean. Obsérvese que, de acuerdo con un ejemplo, el bloque actual “X” puede unirse únicamente con los dos bloques “A” o “B”, no con ninguno de los otros bloques vecinos superiores. En una alternativa, unos bloques vecinos adicionales (ya transmitidos) representan candidatos para la unión.

Antes de continuar con la descripción con respecto al aspecto de cómo manejar diferentes matrices de muestras de una instantánea, se ha de observar que el análisis anterior con respecto a la subdivisión multiárbol y la señalización por un lado y el aspecto de unión por otro lado hacen evidente que estos aspectos proporcionan ventajas que pueden aprovecharse independientemente entre sí. Es decir, como ya se ha explicado anteriormente, una combinación de una subdivisión multiárbol con unión tiene ventajas especificas pero ventajas que resultan también de alternativas donde, por ejemplo, la característica de unión se realiza con, sin embargo, la subdivisión realizada mediante los subdivisores 30 y 104a que no están basados en una subdivisión de árbol cuádruple o multiárbol, sino que corresponde en su lugar a una subdivisión de macrobloques con partición regular de estos macrobloques en porciones más pequeñas. Por otro lado, a su vez, la combinación de la subdivisión multiárbol junto con la transmisión de la indicación de tamaño de bloque de árbol máximo en el flujo de bits, y el uso de la subdivisión multiárbol junto con el uso del primer orden de profundidad que transporta los correspondientes parámetros de codificación de los bloques es independientemente ventajoso de la característica de unión que se usa o no concurrentemente. En general, pueden entenderse las ventajas de la unión, cuando se considera que, de manera intuitiva, puede aumentarse la eficacia de la codificación cuando se extiende la sintaxis de codificaciones de matrices de muestras de una manera que no permite únicamente subdividir un bloque, sino también unir dos o más de los bloques que se obtienen después de la subdivisión. Como resultado, se obtiene un grupo de bloques que están codificados con los mismos parámetros de predicción. Los parámetros de predicción para un grupo de bloques de este tipo necesitan codificarse únicamente una vez. Además, con respecto a la unión de conjuntos de muestras, debería observarse de nuevo que los conjuntos considerados de muestras pueden ser bloques rectangulares o cuadráticos, caso en que los conjuntos unidos de muestras representan una colección de bloques rectangulares y/o cuadráticos. Como alternativa, sin embargo, los conjuntos considerados de muestras son regiones de instantánea con forma arbitraria y los conjuntos unidos de muestras representan una colección de regiones de instantánea con forma arbitraria.

La siguiente descripción se centra en el manejo de diferentes matrices de muestras de una instantánea en caso de que haya más de una matriz de muestras por instantánea, y algunos aspectos señalados en la siguiente sub descripción son ventajosamente independientes del tipo de subdivisión usada, es decir independientes de que la

ES 2 901 308 T3

subdivisión esté basada o no en la subdivisión multiárbol, e independientes de que se use o no la unión. Antes de empezar a describir ejemplos específicos con respecto al manejo de diferentes matrices de muestras de una instantánea, el principal asunto de los mismos viene motivado por medio de una corta introducción en el campo del manejo de diferentes matrices de muestras por instantánea.

El siguiente análisis se centra en parámetros de codificación entre bloques de diferentes matrices de muestras de una instantánea en una aplicación de codificación de imagen o de vídeo, y en particular, una manera de predecir de manera adaptativa parámetros de codificación entre diferentes matrices de muestras de una instantánea en, por ejemplo, pero no exclusivamente, el codificador y decodificador de las Figuras 1 y 2, respectivamente, u otro entorno de codificación de imagen o de vídeo. Las matrices de muestras pueden, como se ha observado anteriormente, representar matrices de muestras que están relacionadas con diferentes componentes de color o matrices de muestras que asocian una instantánea con información adicional tal como datos de transparencia o mapas de profundidad. Las matrices de muestras que están relacionadas con componentes de color de una instantánea se denominan también como planos de color. La técnica descrita a continuación se refiere también a adopción/predicción inter-plano y puede usarse en codificadores y decodificadores de imagen y de vídeo basados en bloques, en los que el orden de procesamiento de los bloques de las matrices de muestras para una instantánea puede ser arbitrario.

Los codificadores de imagen y de vídeo típicamente se diseñan para codificar instantáneas de color (ya sean imágenes fijas o instantáneas de una secuencia de vídeo). Una instantánea de color consiste en múltiples planos de color, que representan matrices de muestras para diferentes componentes de color. A menudo, las instantáneas de color se codifican como un conjunto de matrices de muestras que consisten en un plano de luminancia y dos planos de crominancia, donde los últimos especifican componentes de diferencia de color. En algunas áreas de aplicación, es también común que el conjunto de matrices de muestras codificadas consista en tres planos de color que representan matrices de muestras para los tres colores primarios rojo, verde y azul. Además, para una representación de color mejorada, una instantánea de color puede consistir en más de tres planos de color. Adicionalmente, una instantánea puede asociarse con matrices de muestras auxiliares que especifican información adicional para la instantánea. Por ejemplo, tales matrices de muestras auxiliares pueden ser matrices de muestras que especifican la transparencia (adecuadas para fines de presentación específicos) para las matrices de muestras de color asociado o matrices de muestras que especifican un mapa de profundidad (adecuadas para representar múltiples vistas, por ejemplo, para pantallas 3-D).

En las normas de codificación de imagen y de vídeo convencionales (tal como H.264), los planos de color se codifican normalmente juntos, en los cuales los parámetros de codificación particulares tales como modos de predicción de macrobloques y sub-macrobloques, índices de referencia y vectores de movimiento se usan para todos los componentes de color de un bloque. El plano de luminancia puede considerarse como el plano de color primario para el que se especifican los parámetros de codificación particulares en el flujo de bits, y los planos de crominancia pueden considerarse como planos secundarios, para los que se infieren los correspondientes parámetros de codificación a partir del plano de luminancia primario. Cada bloque de luminancia está asociado a dos bloques de crominancia que representan el mismo área en una instantánea. Dependiendo del formato de muestreo de crominancia usado, las matrices de muestras de crominancia pueden ser más pequeñas que la matriz de muestras de luminancia para un bloque. Para cada macrobloque que consiste en un componente de luminancia y dos de crominancia, se usa la misma partición en bloques más pequeños (si el macrobloque se subdivide). Para cada bloque que consiste en un bloque de muestras de luminancia y dos bloques de muestras de crominancia (que puede ser el propio macrobloque o un subbloque del macrobloque), se emplea el mismo conjunto de parámetros de predicción tal como los índices de referencia, parámetros de movimiento y en ocasiones modos de intra-predicción. En perfiles específicos de normas de codificación de vídeo convencionales (tales como los perfiles 4:4:4 en H.264), es posible también codificar los diferentes planos de color de una instantánea independientemente. En esa configuración, la partición del macrobloque, los modos de predicción, índices de referencia y parámetros de movimiento pueden elegirse por separado para un componente de color de un macrobloque o subbloque. Las normas de codificación convencionales, o bien todos los planos de color se codifican juntos usando el mismo conjunto de parámetros de codificación particulares (tal como información de subdivisión y parámetros de predicción) o todos los planos de color se codifican completamente de manera independiente entre sí.

Si los planos de color se codifican juntos, un conjunto de parámetros de subdivisión y de predicción debe usarse para todos los componentes de color de un bloque. Esto asegura que la información secundaria se mantiene pequeña, pero puede dar como resultado una reducción de la eficacia de codificación en comparación con una codificación independiente, puesto que el uso de diferentes descomposiciones de bloques y parámetros de predicción para diferentes componentes de color puede dar como resultado un coste de tasa-distorsión más pequeño. Como un ejemplo, el uso de un vector de movimiento o fotograma de referencia diferente para los componentes de crominancia puede reducir significativamente la energía de la señal residual para los componentes de crominancia y aumentar su eficacia de codificación global. Si los planos de color se codifican independientemente, los parámetros de codificación tal como la partición de bloque, los índices de referencia y los parámetros de movimiento pueden seleccionarse para cada componente de color por separado para optimizar la eficacia de codificación para cada componente de color. Pero no es posible emplear la redundancia entre los componentes de color. Las múltiples transmisiones de parámetros

ES 2 901 308 T3

de codificación particulares no dan como resultado una tasa de información secundaria aumentada (en comparación con la codificación combinada) y esta tasa de información secundaria aumentada puede tener un impacto negativo en la eficacia de codificación global. También, el soporte de matrices de muestras auxiliares en las normas de codificación de vídeo del estado de la técnica (tal como H.264) se restringe al caso de que las matrices de muestras auxiliares se codifiquen usando su propio conjunto de parámetros de codificación.

Por lo tanto, en la descripción proporcionada hasta ahora, los planos de instantánea podrían manejarse como se ha descrito anteriormente, pero también como se ha analizado anteriormente, puede aumentarse la eficacia de codificación global para la codificación de múltiples matrices de muestras (que pueden hacer referencia a diferentes planos de color y/o matrices de muestras auxiliares), cuando fuera posible decidir en una base en bloques, por ejemplo, si todas las matrices de muestras para un bloque se codifican con los mismos parámetros de codificación o si se usan diferentes parámetros de codificación. La idea básica de la siguiente predicción inter-plano es, por ejemplo, permitir una decisión adaptativa de este tipo en una base en bloques. El codificador puede elegir, por ejemplo, basándose en un criterio de tasa-distorsión, si todas o algunas de las matrices de muestras para un bloque particular se codifican usando los mismos parámetros de codificación o si se usan diferentes parámetros de codificación para diferentes matrices de muestras. Esta selección puede conseguirse también señalizando un bloque particular de una matriz de muestras si se infieren parámetros de codificación específicos desde un bloque co-localizado ya codificado de una matriz de muestras diferente. Es posible también disponer diferentes matrices de muestras para una instantánea en grupos, que se denominan también como grupos de matrices de muestras o grupos de planos. Cada grupo de planos puede contener una o más matrices de muestras de una instantánea. A continuación, los bloques de las matrices de muestras dentro de un grupo de planos comparten los mismos parámetros de codificación seleccionados tales como la información de subdivisión, modos de predicción y modos de codificación residual, mientras que otros parámetros de codificación tales como niveles de coeficiente de transformación, se transmiten por separado para cada matriz de muestras dentro del grupo de planos. Un grupo de planos se codifica como un grupo de planos primario, es decir, ninguno de los parámetros de codificación se infiere o predice desde otros grupos de planos. Para cada bloque de un grupo de planos secundario, puede elegirse de manera adaptativa si se transmite un nuevo conjunto de parámetros de codificación seleccionado o si los parámetros de codificación seleccionados se infieren o predicen a partir del grupo de planos primario u otro secundario. Las decisiones de si los parámetros de codificación seleccionados para un grupo particular se infieren o predicen se incluyen en el flujo de bits. La predicción inter-plano permite una mayor libertad al seleccionar el equilibrio entre la tasa de información secundaria y la calidad de predicción en relación con la codificación de instantáneas del estado de la técnica que consiste en múltiples matrices de muestras. La ventaja es una eficacia de codificación mejorada en relación con la codificación de instantáneas convencional que consiste en múltiples matrices de muestras.

La adopción/predicción intra-plano puede extender un codificador de imagen o de vídeo, tales como aquellos de la descripción anterior, de una manera que puede elegirse de manera adaptativa para un bloque de una matriz de muestras de color o una matriz de muestras auxiliares o un conjunto de matrices de muestras de color y/o matrices de muestras auxiliares si un conjunto seleccionado de parámetros de codificación se infiere o predice desde bloques co localizados ya codificados de otras matrices de muestras en la misma instantánea o si el conjunto seleccionado de parámetros de codificación para el bloque se codifica independientemente sin hacer referencia a los bloques co localizados de otras matrices de muestras en la misma instantánea. Las decisiones de si el conjunto seleccionado de parámetros de codificación se infiere o predice para un bloque de una matriz de muestras o un bloque de múltiples matrices de muestras puede incluirse en el flujo de bits. Las diferentes matrices de muestras que están asociadas a una instantánea no necesitan tener el mismo tamaño.

Como se ha descrito anteriormente, las matrices de muestras que están asociadas a una instantánea (las matrices de muestras pueden representar componentes de color y/o matrices de muestras auxiliares) pueden disponerse en dos o más denominados grupos de planos, donde cada grupo de planos consiste en una o más matrices de muestras. Las matrices de muestras que están contenidas en un grupo de planos particular no necesitan tener el mismo tamaño. Obsérvese que esta disposición en grupo de planos incluye el caso en que cada matriz de muestras se codifica por separado.

Para ser más precisos, puede elegirse de manera adaptativa, para cada bloque de un grupo de planos, si los parámetros de codificación que especifican cómo se predice un bloque se infieren o predicen desde un bloque co localizado ya codificado de un grupo de planos diferente para la misma instantánea o si estos parámetros de codificación se codifican por separado para el bloque. Los parámetros de codificación que especifican cómo se predice un bloque incluyen uno o más de los siguientes parámetros de codificación: modos de predicción de bloque que especifican qué predicción se usa para el bloque (intra predicción, inter predicción usando un único vector de movimiento e instantánea de referencia, inter predicción usando dos vectores de movimiento e instantáneas de referencia, inter predicción usando un orden superior, es decir, modelo de movimiento no traslacional y una única instantánea de referencia, inter predicción usando múltiples modelos de movimiento e instantáneas de referencia), modos de intra predicción que especifican cómo se genera una señal de intra predicción, un identificador que especifica cuántas señales de predicción se combinan para generar la señal de predicción final para el bloque, índices de referencia que especifican qué instantánea o instantáneas de referencia se emplea o emplean para predicción de

ES 2 901 308 T3

movimiento compensado, parámetros de movimiento (tales como vectores de desplazamiento o parámetros de movimiento afín) que especifican cómo la señal o señales de predicción se genera o generan usando la instantánea o instantáneas de referencia, un identificador que especifica cómo se filtra o filtran la instantánea o instantáneas de referencia para generar señales de predicción de movimiento compensado. Obsérvese que en general, un bloque puede asociarse con únicamente un subconjunto de los parámetros de codificación mencionados. Por ejemplo, si el modo de predicción de bloque especifica que un bloque se intra predice, los parámetros de codificación para un bloque pueden incluir adicionalmente modos de intra predicción, pero los parámetros de codificación tales como índices de referencia y parámetros de movimiento que especifican cómo se genera una señal de inter predicción no se especifican; o si el modo de predicción de bloque especifica inter predicción, los parámetros de codificación asociados pueden incluir adicionalmente índices de referencia y parámetros de movimiento, pero no se especifican modos de intra predicción.

Uno de los dos o más grupos de planos puede codificarse o indicarse en el flujo de bits como el grupo de planos primario. Para todos los bloques de este grupo de planos primario, los parámetros de codificación que especifican cómo se genera la señal de predicción se transmiten sin hacer referencia a otros grupos de planos de la misma instantánea. Los restantes grupos de planos se codifican como grupos de planos secundarios. Para cada bloque de los grupos de planos secundarios, se transmiten uno o más elementos de sintaxis que señalizan si los parámetros de codificación para especificar cómo se predice el bloque se infieren o se predicen desde un bloque co-localizado de otros grupos de planos o si se transmite un nuevo conjunto de estos parámetros de codificación para el bloque. Uno del uno o más elementos de sintaxis puede mencionarse como la bandera de predicción inter-plano o parámetro de predicción inter-plano. Si los elementos de sintaxis señalizan que los parámetros de codificación correspondientes no se infieren o predicen, se transmite un nuevo conjunto de los parámetros de codificación correspondientes para el bloque en el flujo de bits. Si los elementos de sintaxis señalizan que los parámetros de codificación correspondientes se infieren o predicen, se determina el bloque co-localizado en un denominado grupo de planos de referencia. La asignación del grupo de planos de referencia para el bloque puede configurarse de múltiples maneras. En un ejemplo, se asigna un grupo de planos de referencia particular a cada grupo de planos secundario; esta asignación puede fijarse o puede señalizarse en estructuras de sintaxis de alto nivel tal como conjuntos de parámetros, encabezamiento de unidad de acceso, encabezamiento de instantánea o encabezamiento de empalme.

En un segundo ejemplo, la asignación del grupo de planos de referencia se codifica dentro del flujo de bits y se señaliza mediante el uno o más elementos de sintaxis que se codifican para un bloque para especificar si los parámetros de codificación seleccionados se infieren o predicen o se codifican por separado.

Para facilitar las posibilidades recién mencionadas en relación con la predicción inter-plano y la siguiente descripción detallada, se hace referencia a la Figura 11, que muestra de manera ilustrativa una instantánea 500 compuesta de tres matrices de muestras 502, 504 y 506. En aras de entendimiento más fácil, solamente se muestran las sub porciones de las matrices de muestras 502-506 en la Figura 11. Las matrices de muestras se muestran como si se registraran unas contra las otras espacialmente, de modo que las matrices de muestras 502-506 se solapan entre sí a lo largo de una dirección 508 y de modo que una proyección de las muestras de las matrices de muestras 502-506 a lo largo de la dirección 508 da como resultado las muestras de todas estas matrices de muestras 502-506 para localizarse espacialmente de manera correcta entre sí. En otras palabras, los planos 502 y 506 se han extendido a lo largo de la dirección horizontal y vertical para adaptar su resolución espacial entre sí y para registrarlos entre sí.

Todas las matrices de muestras de una instantánea pueden pertenecer a la misma porción de una escena espacial en la que la resolución a lo largo de la dirección vertical y horizontal puede diferir entre las matrices de muestras individuales 502-506. Además, por fines de ilustración, las matrices de muestras 502 y 504 se considera que pertenecen a un grupo de planos 510, mientras que la matriz de muestras 506 se considera que pertenece a otro grupo de planos 512. Además, la Figura 11 ilustra el caso ejemplar donde la resolución espacial a lo largo del eje horizontal de la matriz de muestras 504 es dos veces la resolución en la dirección horizontal de la matriz de muestras 502. Además, la matriz de muestras 504 se considera para formar la matriz primaria en relación con la matriz de muestras 502, que forma una matriz subordinada en relación con la matriz primaria 504. Como se ha explicado anteriormente, en este caso, la subdivisión de la matriz de muestras 504 en bloques como se decide mediante el subdivisor 30 de la Figura 1 se adopta mediante la matriz subordinada 502 en la que, de acuerdo con el ejemplo de la Figura 11, debido a la resolución vertical de la matriz de muestras 502 que es la mitad de la resolución en la dirección vertical de la matriz primaria 504, cada bloque se ha reducido a la mitad en dos bloques horizontalmente yuxtapuestos, que, debido a la reducción a la mitad son bloques cuadráticos de nuevo cuando se miden en unidades de las posiciones de muestras en la matriz de muestras 502.

Como se muestra de manera ejemplar en la Figura 11, la subdivisión elegida para la matriz de muestras 506 es diferente de la subdivisión del otro grupo de planos 510. Como se ha descrito anteriormente, el subdivisor 30 puede seleccionar la subdivisión de matriz de píxeles 506 por separado o independientemente de la subdivisión para el grupo de planos 510. Por supuesto, la resolución de la matriz de muestras 506 puede diferir también de las resoluciones de los planos 502 y 504 del grupo de planos 510.

ES 2 901 308 T3

Ahora, cuando se codifican las matrices de muestras individuales 502-506, el codificador 10 puede empezar codificando la matriz primaria 504 del grupo de planos 510 en, por ejemplo, la manera anteriormente descrita. Los bloques mostrados en la Figura 11 pueden ser, por ejemplo, los bloques de predicción anteriormente mencionados. Como alternativa, los bloques son bloques residuales u otros bloques que definen la granularidad para definir ciertos parámetros de codificación. La predicción inter-plano no se restringe a subdivisión de árbol cuádruple o multi-árbol, aunque esto se ilustra en la Figura 11.

Después de la transmisión del elemento de sintaxis para la matriz primaria 504, el codificador 10 puede decidir declarar la matriz primaria 504 que es el plano de referencia para el plano subordinado 502. El codificador 10 y el extractor 30, respectivamente, pueden señalizar esta decisión mediante el flujo de bits 22 mientras la asociación puede ser evidente a partir del hecho de que la matriz de muestras 504 forma la matriz primaria del grupo de planos 510, información que, a su vez, puede ser también parte del flujo de bits 22. En cualquier caso, para cada bloque en la matriz de muestras 502 el insertador 18 o cualquier otro módulo del codificador 10 junto con el insertador 18 pueden decidir suprimir una transferencia de los parámetros de codificación de este bloque en el flujo de bits y señalizar en el flujo de bits para ese bloque en su lugar que los parámetros de codificación de un bloque co-localizado en la matriz primaria 504 serán usados en su lugar, o que los parámetros de codificación del bloque co-localizado en la matriz primaria 504 serán usados como una predicción para los parámetros de codificación del bloque actual de la matriz de muestras 502 transfiriendo simplemente los datos residuales de los mismos para el bloque actual de la matriz de muestras 502 en el flujo de bits. En caso de una decisión negativa, los parámetros de codificación se transfieren en el flujo de datos como es habitual. La decisión se señaliza en el flujo de datos 22 para cada bloque. En el lado del decodificador, el extractor 102 usa esta información de predicción inter-plano para cada bloque para conseguir los parámetros de codificación del bloque respectivo de la matriz de muestras 502 en consecuencia, en concreto infiriendo los parámetros de codificación del bloque co-localizado de la matriz primaria 504 o, como alternativa, extrayendo datos residuales para ese bloque desde el flujo de datos y combinando estos datos residuales con una predicción obtenida desde los parámetros de codificación del bloque co-localizado de la matriz primaria 504 si la información de adopción/predicción inter-plano sugiere adopción/predicción inter-plano, o extrayendo los parámetros de codificación del bloque actual de la matriz de muestras 502 como es habitual independientemente de la matriz primaria 504.

Como se ha descrito también anteriormente, los planos de referencia no están restringidos a residir en el mismo grupo de planos que el bloque para el que la predicción inter-plano es actualmente de interés. Por lo tanto, como se ha descrito anteriormente, el grupo de planos 510 puede representar el grupo de planos primario o el grupo de planos de referencia para el grupo de planos secundario 512. En este caso, el flujo de bits puede contener un elemento de sintaxis que indica para cada bloque de la matriz de muestras 506 en cuanto a si la adopción/predicción de parámetros de codificación de macrobloques co-localizados de cualquiera de los planos 502 y 504 del grupo de planos primario o del grupo de planos de referencia 510 anteriormente mencionada deberá realizarse o no, en el que en el último caso los parámetros de codificación del bloque actual de la matriz de muestras 506 se transmiten como es habitual.

Debería observarse que los parámetros de subdivisión y/o de predicción para los planos dentro de un grupo de planos pueden ser los mismos, es decir, puesto que se codifican únicamente una vez para un grupo de planos (todos los planos secundarios de un grupo de planos infieren la información de subdivisión y/o parámetros de predicción desde el plano primario dentro del mismo grupo de planos), y la predicción adaptativa o inferencia de la información de subdivisión y/o parámetros de predicción se hace entre grupos de planos.

Debería observarse que el grupo de planos de referencia puede ser un grupo de planos primario o un grupo de planos secundario.

La co-localización entre bloques de diferentes planos en un grupo de planos es fácilmente entendible ya que la subdivisión de la matriz de muestras primaria 504 se adopta espacialmente mediante la matriz de muestras subordinada 502, excepto la sub-partición recién descrita de los bloques para representar los bloques de hoja adoptados en bloques cuadráticos. En el caso de adopción/predicción de inter-plano entre diferentes grupos de planos, la co-localización puede definirse de una manera para permitir una mayor libertad entre las subdivisiones de estos grupos de planos. Dado el grupo de planos de referencia, se determina el bloque co-localizado dentro del grupo de planos de referencia. La derivación del bloque co-localizado y el grupo de planos de referencia puede hacerse mediante un proceso similar al siguiente. Se selecciona una muestra particular 514 en el bloque actual 516 de una de las matrices de muestras 506 del grupo de planos secundario 512. La misma puede ser la muestra superior-izquierda del bloque actual 516 como se muestra en 514 en la Figura 11 para fines ilustrativos o, una muestra en el bloque actual 516 cercana al medio del bloque actual 516 o cualquier otra muestra dentro del bloque actual, que está definida geométricamente de manera inequívoca. Se calcula la localización de esta muestra seleccionada 515 dentro de una matriz de muestras 502 y 504 del grupo de planos de referencia 510. Las posiciones de la muestra 514 en las matrices de muestras 502 y 504 se indican en la Figura 11 en 518 y 520, respectivamente. Cuáles de los planos 502 y 504 en el grupo de planos de referencia 510 se usa realmente puede predeterminarse o puede señalizare en el flujo de bits. Se determina la muestra en la matriz de muestras correspondiente 502 o 504 del grupo de planos de referencia 510, que está más cerca de las posiciones 518 y 520, respectivamente, y el bloque que contiene esta muestra se elige como el bloque co-localizado en la matriz de muestras respectiva 502 y 504, respectivamente. En el caso de la Figura

ES 2 901 308 T3

11, estos son los bloques 522 y 524, respectivamente. Se describe más adelante un enfoque alternativo para determinar bloques co-localizados en otros planos.

Por ejemplo, los parámetros de codificación que especifican la predicción para el bloque actual 516 pueden interferirse completamente usando los correspondientes parámetros de predicción del bloque co-localizado 522/ 524 en un grupo de planos diferente 510 de la misma instantánea 500, sin transmitir información secundaria adicional. La inferencia puede consistir en un copiado de manera sencilla de los parámetros de codificación correspondientes o una adaptación de los parámetros de codificación que tienen en cuenta diferencias entre el grupo de planos actual 512 y el de referencia 510. Como un ejemplo, esta adaptación puede consistir en añadir una corrección de parámetro de movimiento (por ejemplo, una corrección de vector de desplazamiento) para tener en cuenta la diferencia de fase entre las matrices de muestras de luminancia y crominancia; o la adaptación puede consistir en modificar la precisión de los parámetros de movimiento (por ejemplo, modificar la precisión de los vectores de desplazamiento) para tener en cuenta la diferente resolución de las matrices de muestras de luminancia y crominancia. Uno o más de los parámetros de codificación inferidos para especificar la generación de señal de predicción pueden no usarse directamente para el bloque actual 516, sino que pueden usarse como una predicción para los correspondientes parámetros de codificación para el bloque actual 516 y se transmite un refinamiento de estos parámetros de codificación para el bloque actual 516 en el flujo de bits 22. Como un ejemplo, los parámetros de movimiento inferidos no se usan directamente, sino que las diferencias de parámetros de movimiento (tal como una diferencia de vector de desplazamiento) que especifica la desviación entre los parámetros de movimiento que se usan para el bloque actual 516 y los parámetros de movimiento inferidos se codifican en el flujo de bits; en el lado del decodificador, los parámetros de movimiento usados reales se obtienen combinando los parámetros de movimiento inferidos y las diferencias de parámetros de movimiento transmitidos.

Además, la subdivisión de un bloque, tal como los bloques de árbol de la subdivisión de predicción anteriormente mencionada en bloques de predicción (es decir, bloques de muestras para los que se usa el mismo conjunto de parámetros de predicción) puede interferirse de manera adaptativa o predecirse desde un bloque co-localizado ya codificado de un grupo de planos diferente para la misma instantánea, es decir la secuencia de bits de acuerdo con la Figura 6a o 6b. Uno de los dos o más grupos de planos puede codificarse como el grupo de planos primario. Para todos los bloques de este grupo de planos primario, la información de subdivisión se transmite sin hacer referencia a otros grupos de planos de la misma instantánea. Los restantes grupos de planos se codifican como grupos de planos secundarios. Para los bloques de los grupos de planos secundarios, se transmiten uno o más elementos de sintaxis que señalizan si la información de subdivisión se infiere o predice desde un bloque co-localizado de otros grupos de planos o si la información de subdivisión se transmite en el flujo de bits. Uno del uno o más elementos de sintaxis puede mencionarse como la bandera de predicción inter-plano o el parámetro de predicción inter-plano. Si los elementos de sintaxis señalizan que la información de subdivisión no se infiere o predice, la información de subdivisión para el bloque se transmite en el flujo de bits sin hacer referencia a otros grupos de planos de la misma instantánea. Si los elementos de sintaxis señalizan que la información de subdivisión se infiere o predice, se determina el bloque co-localizado en un denominado grupo de planos de referencia. La asignación del grupo de planos de referencia para el bloque puede configurarse de múltiples maneras. Por ejemplo, un grupo de planos de referencia particular puede asignarse a cada grupo de planos secundario; esta asignación puede fijarse o puede señalizarse en estructuras de sintaxis de alto nivel como conjuntos de parámetros, encabezamientos de unidad de acceso, encabezamiento de instantánea o encabezamiento de empalme. Alternativamente, la asignación del grupo de planos de referencia puede codificarse dentro del flujo de bits y se señaliza mediante el uno o más elementos de sintaxis que se codifican para un bloque para especificar si la información de subdivisión se infiere o predice o se codifica por separado. El grupo de planos de referencia puede ser el grupo de planos primario u otro grupo de planos secundario. Dado el grupo de planos de referencia, se determina el bloque co-localizado dentro del grupo de planos de referencia. El bloque co localizado es el bloque en el grupo de planos de referencia que corresponde al mismo área de imagen que el bloque actual, o el bloque que representa el bloque dentro del grupo de planos de referencia que comparte la porción más grande del área de imagen con el bloque actual. El bloque co-localizado puede dividirse en bloques de predicción más pequeños.

Incluso alternativamente, la información de subdivisión para el bloque actual, tal como la subdivisión basada en árbol cuádruple de acuerdo con las Figuras 6a o 6b, puede interferirse completamente usando la información de subdivisión del bloque co-localizado en un grupo de planos diferente de la misma instantánea, sin transmitir información secundaria adicional. Como un ejemplo particular, si el bloque co-localizado se divide en dos o cuatro bloques de predicción, el bloque actual se divide también en dos o cuatro subbloques para el fin de predicción. Como otro ejemplo particular, si el bloque co-localizado se divide en cuatro subbloques y uno de estos subbloques se divide adicionalmente en cuatro subbloques más pequeños, el bloque actual se divide también en cuatro subbloques y uno de estos subbloques (el que corresponde al subbloque del bloque co-localizado que se descompone adicionalmente) se divide también en cuatro subbloques más pequeños. Preferiblemente, la información de subdivisión inferida no se usa directamente por el bloque actual, pero se usa como una predicción para la información de subdivisión real para el bloque actual, y la información de refinamiento correspondiente se transmite en el flujo de bits. Como un ejemplo, la información de subdivisión que se infiere desde el bloque co-localizado puede refinarse adicionalmente. Para cada subbloque que corresponde a un subbloque en el bloque co-localizado que no se divide en bloques más pequeños,

ES 901 308 T3

un elemento de sintaxis puede codificarse en el flujo de bits, que especifica si el subbloque se descompone adicionalmente en el grupo de planos actual. La transmisión de un elemento de sintaxis de este tipo puede condicionarse en el tamaño del subbloque. O puede señalizarse en el flujo de bits que un subbloque que se divide adicionalmente en el grupo de planos de referencia no se divide en bloques más pequeños en el grupo de planos actual. Tanto la subdivisión de un bloque en bloques de predicción y los parámetros de codificación que especifican cómo esos subbloques se predicen o pueden interferirse de manera adaptativa o predecirse desde un bloque co localizado ya codificado de un grupo de planos diferente para la misma instantánea. Preferiblemente, uno de los dos o más grupos de planos se codifica como el grupo de planos primario. Para todos los bloques de este grupo de planos primario, la información de subdivisión y los parámetros de predicción se transmiten sin hacer referencia a otros grupos de planos de la misma instantánea. Los restantes grupos de planos se codifican como grupos de planos secundarios. Para los bloques de los grupos de planos secundarios, se transmite uno o más elementos de sintaxis que señalizan si la información de subdivisión y los parámetros de predicción se infieren o predicen desde un bloque co-localizado de otros grupos de planos o si la información de subdivisión y los parámetros de predicción se transmiten en el flujo de bits. Uno del uno o más elementos de sintaxis puede mencionarse como la bandera de predicción inter-plano o parámetro de predicción inter-plano. Si los elementos de sintaxis señalizan que la información de subdivisión y los parámetros de predicción no se infieren o predicen, la información de subdivisión para el bloque y los parámetros de predicción para los subbloques resultantes se transmiten en el flujo de bits sin hacer referencia a otros grupos de planos de la misma instantánea. Si los elementos de sintaxis señalizan que la información de subdivisión y los parámetros de predicción para el subbloque se infieren o predicen, se determina el bloque co-localizado en un denominado grupo de planos de referencia. La asignación del grupo de planos de referencia para el bloque puede configurarse de múltiples maneras. Puede asignarse un grupo de planos de referencia particular a cada grupo de planos secundario; esta asignación puede fijarse o puede señalizarse en estructuras de sintaxis de alto nivel tal como conjuntos de parámetros, encabezamiento de unidad de acceso, encabezamiento de instantánea o encabezamiento de empalme. Alternativamente, la asignación del grupo de planos de referencia se codifica dentro del flujo de bits y se señaliza mediante el uno o más elementos de sintaxis que se codifican para un bloque para especificar si la información de subdivisión y los parámetros de predicción se infieren o predicen o se codifican por separado. El grupo de planos de referencia puede ser el grupo de planos primario u otro grupo de planos secundario. Dado el grupo de planos de referencia, se determina el bloque co-localizado dentro del grupo de planos de referencia. El bloque co-localizado puede ser el bloque en el grupo de planos de referencia que corresponde al mismo área de imagen que el bloque actual, o el bloque que representa el bloque dentro del grupo de planos de referencia que comparte la porción más grande del área de imagen con el bloque actual. El bloque co-localizado puede dividirse en bloques de predicción más pequeños. La información de subdivisión para el bloque actual, así como los parámetros de predicción para los subbloques resultantes pueden interferirse completamente usando la información de subdivisión del bloque co localizado en un grupo de planos diferente de la misma instantánea y los parámetros de predicción de los subbloques correspondientes, sin transmitir información secundaria adicional. Como un ejemplo particular, si el bloque co localizado se divide en dos o cuatro bloques de predicción, el bloque actual se divide también en dos o cuatro subbloques para el fin de predicción y los parámetros de predicción para los subbloques del bloque actual se derivan como se ha descrito anteriormente. Como otro ejemplo particular, si el bloque co-localizado se divide en cuatro subbloques y uno de estos subbloques se divide adicionalmente en cuatro subbloques más pequeños, el bloque actual se divide también en cuatro subbloques y uno de estos subbloques (el que corresponde al subbloque del bloque co localizado que se descompone adicionalmente) se divide también en cuatro subbloques más pequeños y los parámetros de predicción para todos los subbloques no divididos adicionalmente se infieren como se ha descrito anteriormente. Preferiblemente, la información de subdivisión se infiere completamente basándose en la información de subdivisión del bloque co-localizado en el grupo de planos de referencia, pero los parámetros de predicción inferidos para los subbloques se usan únicamente como predicción para los parámetros de predicción reales de los subbloques. Las desviaciones entre los parámetros de predicción reales y los parámetros de predicción inferidos se codifican en el flujo de bits. Además, la información de subdivisión inferida puede usarse como una predicción para la información de subdivisión real para el bloque actual y la diferencia se transmite en el flujo de bits (como se ha descrito anteriormente), pero los parámetros de predicción se infieren completamente. Tanto la información de subdivisión inferida como los parámetros de predicción inferidos pueden usarse como predicción y las diferencias entre la información de subdivisión real y los parámetros de predicción y sus valores inferidos pueden transmitirse en el flujo de bits.

Puede elegirse de manera adaptativa, para un bloque de un grupo de planos, si se infieren los modos de codificación residual (tal como el tipo de transformación) o se predicen desde un bloque co-localizado ya codificado de un grupo de planos diferente para la misma instantánea o si los modos de codificación residual se codifican por separado para el bloque. Esto es similar a la inferencia/predicción adaptiva de los parámetros de predicción anteriormente descritos.

La subdivisión de un bloque (por ejemplo, un bloque de predicción) en bloques de transformación (es decir, bloques de muestras a los que se aplica una transformación bidimensional) puede interferirse o predecirse de manera adaptativa desde un bloque co-localizado ya codificado de un grupo de planos diferente para la misma instantánea. Esta realización es similar a la realización para la inferencia/predicción adaptativa de la subdivisión en bloques de predicción anteriormente descrita.

Además, la subdivisión de un bloque en bloques de transformación y los modos de codificación residual (por ejemplo,

ES 2 901 308 T3

tipos de transformación) para los bloques de transformación resultantes puede interferirse o predecirse de manera adaptativa desde un bloque co-localizado ya codificado de un grupo de planos diferente para la misma instantánea. Esto es similar a la inferencia/predicción adaptativa de la subdivisión en bloques de predicción y los parámetros de predicción para los bloques de predicción resultantes anteriormente descritos.

Incluso, además, la subdivisión de un bloque en bloques de predicción, los parámetros de predicción asociados, la información de subdivisión de los bloques de predicción, y los modos de codificación residual para los bloques de transformación puede interferirse o predecirse de manera adaptativa desde un bloque co-localizado ya codificado de un grupo de planos diferente para la misma instantánea. Esto representa una combinación de los ejemplos anteriormente descritos. Es posible también que únicamente algunos de los parámetros de codificación mencionados se infieran o predigan.

Por lo tanto, la adopción/predicción inter-plano puede aumentar la eficacia de codificación anteriormente descrita. Sin embargo, la ganancia de eficacia de codificación por medio de adopción/predicción inter-plano está también disponible en el caso de que se usen distintas subdivisiones de bloques a las subdivisiones basadas en multiárbol e independientemente de que la unión de bloques se implemente o no.

Las posibilidades anteriormente señaladas con respecto a adaptación/predicción inter plano son aplicables a codificadores y decodificadores de imagen y de vídeo que dividen los planos de color de una instantánea y, si están presentes, las matrices de muestras auxiliares asociadas a una instantánea en bloques y asociar estos bloques con parámetros de codificación. Para cada bloque, puede incluirse un conjunto de parámetros de codificación en el flujo de bits. Por ejemplo, estos parámetros de codificación pueden ser parámetros que describen cómo se predice o decodifica un bloque en el lado del decodificador. Como ejemplos particulares, los parámetros de codificación pueden representar modos de predicción de macrobloques o bloques, información de sub-división, modos de intra-predicción, índices de referencia usados para predicción de movimiento compensado, parámetros de movimiento tales como vectores de desplazamiento, modos de codificación residual, coeficientes de transformación, etc. Las diferentes matrices de muestras que están asociadas a una instantánea pueden tener diferentes tamaños.

A continuación, se describe un esquema para señalización mejorada de parámetros de codificación en un esquema de partición basado en árbol como, por ejemplo, aquellos anteriormente descritos con respecto a las Figuras 1 a 8. Como con los otros esquemas, en concreto unión y adopción/predicción inter plano, los efectos y ventajas de los esquemas de señalización mejorados, a continuación, en ocasiones denominados herencia, se describen independientemente de los conceptos anteriores, aunque los esquemas a continuación descritos son combinables con cualquiera de los conceptos anteriores, en solitario o en combinación.

En general, el esquema de codificación mejorado para información secundaria de codificación en un esquema de partición basado en árbol, denominado herencia, descrito a continuación posibilita las siguientes ventajas con respecto a esquemas convencionales de tratamiento de parámetros de codificación.

En codificación de imagen y vídeo convencional, las instantáneas o conjuntos particulares de matrices de muestras para las instantáneas se descomponen normalmente en bloques, que se asocian con parámetros de codificación particulares. Las instantáneas normalmente consisten en múltiples matrices de muestras. Además, una instantánea puede asociarse también con matrices de muestras auxiliares, que pueden especificar, por ejemplo, información de transparencia o mapas de profundidad. Las matrices de muestras de una instantánea (incluyendo matrices de muestras auxiliares) pueden agruparse en uno o más denominados grupos de planos, donde cada grupo de plano consiste en una o más matrices de muestras. Los grupos de planos de una instantánea pueden codificarse independientemente o, si la instantánea está asociada a más de un grupo de planos, con predicción desde otros grupos de planos de la misma instantánea. Cada grupo de planos normalmente se descompone en bloques. Los bloques (o los bloques correspondientes de matrices de muestras) se predicen mediante predicción inter-instantánea o predicción intra-instantánea. Los bloques pueden tener diferentes tamaños y pueden ser cuadráticos o rectangulares. La partición de una instantánea en bloques puede fijarse por la sintaxis, o puede señalizarse (al menos parcialmente) dentro del flujo de bits. A menudo se transmiten elementos de sintaxis que señalizan la subdivisión para bloques de tamaños predefinidos. Tales elementos de sintaxis pueden especificar si y cómo se subdivide un bloque en bloques más pequeños y se asocian parámetros de codificación, por ejemplo, para el fin de predicción. Para todas las muestras de un bloque (o los bloques correspondientes de matrices de muestras) la decodificación de los parámetros de codificación asociados se especifica de una cierta manera. En el ejemplo, todas las muestras en un bloque se predicen usando el mismo conjunto de parámetros de predicción, tal como índices de referencia (que identifican una instantánea de referencia en el conjunto de instantáneas ya codificadas), parámetros de movimiento (que especifican una medida para el movimiento de unos bloques entre una instantánea de referencia y la instantánea actual), parámetros para especificar el filtro de interpolación, modos de intra-predicción, etc. Los parámetros de movimiento pueden representarse mediante vectores de desplazamiento con un componente horizontal y vertical o mediante parámetros de movimiento de orden superior tal como parámetros de movimiento afines que consisten en seis componentes. Es posible también que más de un conjunto de parámetros de predicción particulares (tales como índices de referencia y parámetros de movimiento) esté asociado a un único bloque. En ese caso, para cada conjunto de estos parámetros

ES 2 901 308 T3

de predicción particulares, se genera una única señal de predicción intermedia para el bloque (o los bloques correspondientes de matrices de muestras), y la señal de predicción final se crea mediante una combinación que incluye superponer las señales de predicción intermedias. Los parámetros de ponderación correspondientes y potencialmente también un desplazamiento constante (que se añade a la suma ponderada) pueden fijarse para una instantánea, o una instantánea de referencia, o un conjunto de instantáneas de referencia, o pueden incluirse en el conjunto de parámetros de predicción para el bloque correspondiente. La diferencia entre los bloques originales (o los bloques correspondientes de matrices de muestras) y sus señales de predicción, también denominada como la señal residual, normalmente se transforman y cuantifican. A menudo, se aplica una transformación bidimensional a la señal residual (o a las matrices de muestras correspondientes para el bloque residual). Para codificación de transformación, los bloques (o los bloques correspondientes de matrices de muestras), para los que se ha usado un conjunto particular de parámetros de predicción, pueden partirse adicionalmente antes de aplicar la transformación. Los bloques de transformación pueden ser iguales a o más pequeños que los bloques que se usan para predicción. Es posible también que un bloque de transformación incluya más de uno de los bloques que se usan para predicción. Diferentes bloques de transformación pueden tener diferentes tamaños y los bloques de transformación pueden representar bloques cuadráticos o rectangulares. Después de la transformación, los coeficientes de transformación resultantes se cuantifican y se obtienen los denominados niveles de coeficiente de transformación. Los niveles de coeficiente de transformación, así como los parámetros de predicción y, si está presente, la información de subdivisión, se codifican por entropía.

En algunas normas de codificación de imagen y de vídeo, las posibilidades para subdividir una instantánea (o un grupo de planos) en bloques que se proporcionan mediante la sintaxis son muy limitadas. Normalmente, puede especificarse únicamente si, y (potencialmente cómo) un bloque de un tamaño predefinido puede subdividirse en bloques más pequeños. Como un ejemplo, el tamaño de bloque más grande en H.264 es de 16x16. Los bloques de 16x16 se denominan también como macrobloques y cada instantánea se divide en macrobloques en una primera etapa. Para cada macrobloque de 16x16, puede señalizarse si se codificara como bloque de 16x16, o como dos bloques de 16x8, o como dos bloques de 8x16, o como cuatro bloques de 8x8. Si un bloque de 16x16 se subdivide en cuatro bloques de 8x8, cada uno de estos bloques de 8x8 puede codificarse como un bloque de 8x8, o como dos bloques de 8x4, o como dos bloques de 4x8, o como cuatro bloques de 4x4. El pequeño conjunto de posibilidades para especificar la partición en bloques en las normas de codificación de imagen y de vídeo del estado de la técnica tiene la ventaja de que la tasa de información secundaria para señalizar la información de subdivisión puede mantenerse pequeña, pero tiene la desventaja de que la tasa de bits requerida para transmitir los parámetros de predicción para los bloques puede hacerse significativa como se explica a continuación. La tasa de información secundaria para señalizar la información de predicción representa normalmente la cantidad significativa de la tasa de bits global para un bloque. La eficacia de la codificación podría aumentarse cuando se reduce esta información secundaria, que, por ejemplo, podría conseguirse usando tamaños de bloque mayores. Las imágenes o instantáneas reales de una secuencia de vídeo consisten en objetos con forma arbitraria con propiedades específicas. Como un ejemplo, tales objetos o partes de los objetos están caracterizados por una única textura o un único movimiento. Y normalmente, el mismo conjunto de parámetros de predicción puede aplicarse para un objeto de este tipo o parte de un objeto. Pero los límites del objeto no coinciden normalmente con los posibles límites del bloque para bloques de predicción grandes (por ejemplo, macrobloques de 16x16 en H.264). Un codificador normalmente determina la subdivisión (entre el conjunto limitado de posibilidades) que da como resultado el mínimo de una medida de coste tasa-distorsión particular. Para objetos con forma arbitraria esto puede dar como resultado un gran número de bloques pequeños. Y puesto que cada uno de estos bloques pequeños está asociado a un conjunto de parámetros de predicción, que necesitan transmitirse, la tasa de información secundaria puede hacerse una parte significativa de la tasa de bits global. Pero puesto que varios de los bloques pequeños representan aún áreas del mismo objeto o parte de un objeto, los parámetros de predicción para un número de los bloques obtenidos son los mismos o muy similares. De manera intuitiva, la eficacia de codificación podría aumentarse cuando la sintaxis se extiende de tal manera que no permite únicamente subdividir un bloque, sino también compartir parámetros de codificación entre los bloques que se obtienen después de la subdivisión. En una subdivisión basada en árbol, la compartición de parámetros de codificación para un conjunto dado de bloques puede conseguirse asignando los parámetros de codificación o partes de los mismos a uno o más nodos padre en la jerarquía basada en árbol. Como resultado, los parámetros compartidos o partes de los mismos pueden usarse para reducir la información secundaria que es necesaria para señalizar la elección real de los parámetros de codificación para los bloques obtenidos después de la subdivisión. La reducción puede conseguirse omitiendo la señalización de los parámetros para bloques posteriores o usando el parámetro o parámetros compartidos para predicción y/o modelado de contexto de los parámetros para bloques posteriores.

La idea básica del esquema de herencia que se describe a continuación es reducir la tasa de bits que se requiere para transmitir los parámetros de codificación compartiendo información a lo largo de la jerarquía de bloques basada en árbol. La información compartida se señaliza dentro del flujo de bits (además de la información de subdivisión). La ventaja del esquema de herencia es una eficacia de codificación aumentada que resulta de una tasa de información secundaria reducida para los parámetros de codificación.

Para reducir la tasa de información secundaria, los parámetros de codificación respectivos para conjuntos particulares de muestras, es decir regiones conectadas de manera sencilla, que pueden representar bloques rectangulares o

ES 2 901 308 T3

cuadráticos de una subdivisión multiárbol se señalizan en el flujo de datos de una manera eficaz. El esquema de herencia descrito a continuación posibilita que los parámetros de codificación no tengan que incluirse explícitamente en el flujo de bits para cada uno de estos conjuntos de muestras en su totalidad. Los parámetros de codificación pueden representar parámetros de predicción, que especifican cómo se predice el conjunto de muestras correspondiente usando muestras ya codificadas. Se han descrito anteriormente muchas posibilidades y ejemplos y se aplican también en este punto. Como se ha indicado también anteriormente, y como se describirá adicionalmente a continuación, siempre que se haga referencia al siguiente esquema de herencia, la partición basada en árbol de las matrices de muestras de una instantánea en conjuntos de muestras puede fijarse por la sintaxis o puede señalizarse mediante información de subdivisión correspondiente dentro del flujo de bits. Los parámetros de codificación para los conjuntos de muestras pueden transmitirse, como se ha descrito anteriormente, en un orden predefinido, que se proporciona mediante la sintaxis.

De acuerdo con el esquema de herencia, el decodificador o extractor 102 del decodificador está configurado para derivar la información sobre los parámetros de codificación de la región conectada de manera sencilla individual o conjuntos de muestras de una manera específica. En particular, los parámetros de codificación o partes de los mismos tales como aquellos parámetros que sirven para el fin de predicción, se comparten entre bloques a lo largo del esquema de partición basado en árbol dado con el grupo de compartición a lo largo de la estructura en árbol que se decide mediante el codificador o el insertador 18, respectivamente. En una realización de comparación particular, la compartición de los parámetros de codificación para todos los nodos hijos de un nodo interno dado del árbol de partición se indica usando una bandera de compartición con valor binario específica. Como un enfoque alternativo, pueden transmitirse refinamientos de los parámetros de codificación para cada nodo de manera que los refinamientos acumulados de los parámetros a lo largo de la jerarquía de bloques basada en árbol pueden aplicarse a todos los conjuntos de muestras del bloque en un nodo de hoja dado. En otra realización de comparación, pueden usarse partes de los parámetros de codificación que se transmiten para nodos internos a lo largo de la jerarquía basada en árbol de bloques para codificación por entropía adaptativa de contexto y decodificación del parámetro de codificación o partes del mismo para el bloque en un nodo de hoja dado.

Las Figuras 12a y 12b ilustran la idea básica de herencia para el caso específico de usar una partición basada en árbol cuádruple. Sin embargo, como se ha indicado varias veces anteriormente, pueden usarse también otros esquemas de subdivisión multiárbol. La estructura de árbol se muestra en la Figura 12a mientras que la partición espacial correspondiente a la estructura de árbol de la Figura 12a se muestra en la Figura 12b. La partición mostrada en la misma es similar a la mostrada con respecto a las figuras 3a a 3c. Hablando en general, el esquema de herencia permitirá que se asigne información secundaria a nodos en diferentes capas no de hoja en la estructura de árbol. Dependiendo de la asignación de la información secundaria a nodos en diferentes capas no de hoja en el árbol, tal como los nodos internos en el árbol de la Figura 12a o el nodo de raíz de los mismos, pueden conseguirse diferentes grados de información secundaria de compartición en la jerarquía de árbol de los bloques mostrados en la Figura 12b. Por ejemplo, si se decide que todos los nodos de hoja en la capa 4, que, en caso de la Figura 12a todos tienen el mismo nodo padre, deben compartir información secundaria, virtualmente, esto significa que los bloques más pequeños en la Figura 12b indicados con 156a a 156d comparten esta información secundaria y ya no es necesario transmitir información secundaria para todos estos bloques pequeños 156a a 156d en su totalidad, es decir, cuatro veces, aunque esto se mantiene como una opción para el codificador. Sin embargo, debería ser posible también decidir que una región completa del nivel de jerarquía 1 (capa 2) de la Figura 12a, en concreto la cuarta porción en la esquina a la derecha superior del bloque de árbol 150 que incluye los subbloques 154a, 154b y 154d, así como el subbloque incluso más pequeño 156a a 156d recién mencionado, sirven como una región en la que se comparten parámetros de codificación. Por lo tanto, se aumenta el área que comparte información secundaria. El siguiente nivel de aumento sería totalizar todos los subbloques de la capa 1, en concreto los subbloques 152a, 152c y 152d y los bloques más pequeños anteriormente mencionados. En otras palabras, en este caso, todo el bloque de árbol tendría información secundaria asignada al mismo con todos los subbloques de este bloque de árbol 150 compartiendo la información secundaria.

En la siguiente descripción de herencia, se usa la siguiente notación para describir las realizaciones:

a. Muestras reconstruidas de nodo de hoja actual: r

b. Muestras reconstruidas de hojas vecinas: r’

c. Predictor del nodo de hoja actual: p

d. Residuo del nodo de hoja actual: Re s

e. Residuo reconstruido del nodo de hoja actual: Re c Re s

f. Escalado y transformación inversa: SIT

ES 2 901 308 T3

g. Bandera de compartición: f

Como un primer ejemplo de herencia, puede describirse la señalización de intra-predicción en nodos internos. Para ser más precisos, se describe cómo señalizar modos de intra-predicción en nodos internos de una partición de bloque basada en árbol para el fin de predicción. Atravesando el árbol desde el nodo de raíz hasta los nodos de hoja, los nodos internos (incluyendo el nodo de raíz) pueden transportar partes de información secundaria que se aprovecharán mediante sus nodos hijos correspondientes. Para ser más específicos, se transmite una bandera de compartición f para nodos internos con el siguiente significado:

Si f tiene un valor de 1 (“verdadero”), todos los nodos hijos del nodo interno dado comparten el mismo modo de intrapredicción. Además de la bandera de compartición f con un valor de 1, el nodo interno también señaliza el parámetro de modo de intra-predicción a usarse para todos los nodos hijos. En consecuencia, todos los nodos hijos posteriores no llevan ninguna información de modo de predicción, así como ninguna bandera de compartición. Para la reconstrucción de todos los nodos de hoja relacionados, el decodificador aplica el modo de intra-predicción desde el nodo interno correspondiente.

Si f tiene un valor de 0 (“falso”), los nodos hijos del nodo interno correspondiente no comparten el mismo modo de intra-predicción y cada nodo hijo que es un nodo interno lleva una bandera de compartición separada.

La Figura 12c ilustra la señalización de intra-predicción en nodos internos como se ha descrito anteriormente. El nodo interno en la capa 1 transmite la bandera de compartición y la información secundaria que se proporciona mediante la información de modo de intra-predicción y los nodos hijos que no llevan ninguna información secundaria.

Como un segundo ejemplo de herencia, puede describirse el refinamiento de inter-predicción. Para ser más precisos, se describe cómo señalizar información secundaria de modos de inter-predicción en modos internos de una partición de bloque basada en árbol para el fin de refinamiento de los parámetros de movimiento, como, por ejemplo, proporcionado mediante vectores de movimiento. Atravesando el árbol desde el nodo de raíz hasta los nodos de hoja, los nodos internos (incluyendo el nodo de raíz) pueden transportar partes de información secundaria que se refinarán mediante sus nodos hijos correspondientes. Para ser más específicos, se transmite una bandera de compartición f para nodos internos con el siguiente significado:

Si f tiene un valor de 1 (“verdadero”), todos los nodos hijos del nodo interno dado comparten la misma referencia de vector de movimiento. Además de la bandera de compartición f con un valor de 1, el nodo interno también señaliza el vector de movimiento y el índice de referencia. En consecuencia, ninguno de los nodos hijos posteriores lleva banderas de compartición adicionales, pero pueden llevar un refinamiento de esta referencia de vector de movimiento heredada. Para la reconstrucción de todos los nodos de hoja relacionados, el decodificador añade el refinamiento del vector de movimiento en el nodo de hoja dado a la referencia de vector de movimiento heredada que pertenece a su nodo padre interno correspondiente que tiene una bandera de compartición f con un valor de 1. Esto significa que el refinamiento de vector de movimiento en un nodo de hoja dado es la diferencia entre el vector de movimiento real a aplicarse para predicción de movimiento compensado en este nodo de hoja y la referencia de vector de movimiento de su nodo padre interno correspondiente.

Si f tiene un valor de 0 (“falso”), los nodos hijos del nodo interno correspondiente no comparten necesariamente el mismo modo de inter-predicción y no se realiza refinamiento de los parámetros de movimiento en los nodos hijos usando los parámetros de movimiento desde el nodo interno correspondiente y cada nodo hijo que está en un nodo interno lleva una bandera de compartición separada.

La Figura 12d ilustra el refinamiento de parámetro de movimiento como se ha descrito anteriormente. El nodo interno en la capa 1 está transportando la bandera de compartición y la información secundaria. Los nodos hijos que son nodos de hoja llevan únicamente los refinamientos de parámetro de movimiento y, por ejemplo, el nodo hijo interno en la capa 2 no lleva información secundaria.

Se hace referencia ahora a la Figura 13. La Figura 13 muestra un diagrama de flujo que ilustra el modo de operación de un decodificador tal como el decodificador de la Figura 2 al reconstruir una matriz de muestras de información que representa una señal de información de ejemplo espacial, que está subdividida en regiones de hoja de diferentes tamaños mediante subdivisión multi-árbol, desde un flujo de datos. Como se ha descrito anteriormente, cada región de hoja tiene asociada a la misma un nivel de jerarquía de una secuencia de niveles de jerarquía de la subdivisión multi-árbol. Por ejemplo, todos los bloques mostrados en la Figura 12b son regiones de hoja. La región de hoja 156c, por ejemplo, está asociada al nivel de jerarquía 4 (o nivel 3). Cada región de hoja tiene asociada a la misma parámetros de codificación. Los ejemplos de estos parámetros de codificación se han descrito anteriormente. Los parámetros de codificación se representan, para cada región de hoja, mediante un conjunto respectivo de elementos de sintaxis. Cada elemento de sintaxis es de un tipo de elemento de sintaxis respectivo de un conjunto de tipos de elementos de sintaxis. Tal tipo de elemento de sintaxis es, por ejemplo, un modo de predicción, un componente de vector de movimiento, una indicación de un modo de intra-predicción o similares. De acuerdo con la Figura 13, el decodificador

ES 2 901 308 T3

realiza las siguientes etapas.

En la etapa 550, se extrae una información de herencia desde el flujo de datos. En el caso de la Figura 2, el extractor 102 es responsable de la etapa 550. La información de herencia indica en cuanto a si se usa o no herencia para la matriz actual de muestras de información. La siguiente descripción revelará que hay varias posibilidades para la información de herencia tales como, entre otras, la bandera de compartición f y la señalización de una estructura multiárbol dividida en una parte primaria y una secundaria.

La matriz de muestras de información puede ser ya una subparte de una instantánea, tal como un bloque de árbol, en concreto, por ejemplo, el bloque de árbol 150 de la Figura 12b. Por lo tanto, la información de herencia indica en cuanto a si se usa o no herencia para el bloque de árbol específico 150. Tal información de herencia puede insertarse, por ejemplo, en el flujo de datos para los bloques de árbol de la subdivisión de predicción.

Además, la información de herencia indica, si se indica que se usa herencia, al menos una región de herencia de la matriz de muestras de información, que está compuesta de un conjunto de regiones de hoja y corresponde a un nivel de jerarquía de la secuencia de niveles de herencia de la subdivisión multi-árbol, que es inferior que cada uno de los niveles de jerarquía con el que está asociado el conjunto de regiones de hoja. En otras palabras, la información de herencia indica en cuanto a si se ha de usar o no herencia para la matriz de muestras actual tal como el bloque de árbol 150. Si es sí, indica al menos una región o subregión de herencia de este bloque de árbol 150, en el que las regiones de hoja comparten parámetros de codificación. Por lo tanto, la región de herencia puede no ser una región de hoja. En el ejemplo de la Figura 12b, esta región de herencia puede ser, por ejemplo, la región formada mediante los subbloques 156a a 156b. Como alternativa, la región de herencia puede ser mayor y puede abarcar también adicionalmente los subbloques 154a, b y d, e incluso como alternativa, la región de herencia puede ser el propio bloque de árbol 150 con todos los bloques de hoja del mismo compartiendo parámetros de codificación asociados a esa región de herencia.

Debería observarse, sin embargo, que puede definirse más de una región de herencia en una matriz de muestras o bloque de árbol 150, respectivamente. Imagínese, por ejemplo, que el subbloque izquierdo inferior 152c se divide también en bloques más pequeños. En este caso, el subbloque 152c podría formar también una región de herencia.

En la etapa 552, la información de herencia se comprueba en cuanto a si se ha de usar o no herencia. Si es sí, el proceso de la Figura 13 continúa con la etapa 554 donde un subconjunto de herencia que incluye al menos un elemento de sintaxis de un tipo de elemento de sintaxis predeterminado se extrae desde el flujo de datos por región inter herencia. En la siguiente etapa 556, este subconjunto de herencia se copia a continuación, o se usa como una predicción para, un subconjunto de herencia correspondiente de elementos de sintaxis en el conjunto de elementos de sintaxis que representa los parámetros de codificación asociados al conjunto de regiones de hoja de la que está compuesta la respectiva al menos una región de herencia. En otras palabras, para cada región de herencia indicada en la información de herencia, el flujo de datos comprende un subconjunto de herencia de elementos de sintaxis. En otras palabras más, la herencia pertenece a al menos un cierto tipo de elemento de sintaxis o categoría de elemento de sintaxis que está disponible para herencia. Por ejemplo, el elemento de sintaxis del modo de predicción o del modo de inter-predicción o del modo de intra-predicción puede someterse a herencia. Por ejemplo, el subconjunto de herencia contenido en el flujo de datos para la región de herencia puede comprender un elemento de sintaxis de modo de inter-predicción. El subconjunto de herencia puede comprender también elementos de sintaxis adicionales, los tipos de elementos de sintaxis de los cuales dependen del valor del tipo de elemento de sintaxis fijado anteriormente mencionado asociado al esquema de herencia. Por ejemplo, en caso de que el modo de inter-predicción sea un componente fijo del subconjunto de herencia, los elementos de sintaxis que definen la compensación de movimiento, tal como los componentes de vector de movimiento, pueden o pueden no incluirse en el subconjunto de herencia mediante la sintaxis. Imagínese, por ejemplo, que el cuarto derecho superior del bloque de árbol 150, en concreto el subbloque 152b, era la región de herencia, entonces cualquiera del modo de inter-predicción en solitario podría indicarse para esta región de herencia o el modo de inter-predicción junto con vectores de movimiento e índices de vector de movimiento.

Todos los elementos de sintaxis contenidos en el subconjunto de herencia se copian en o se usan como una predicción para los correspondientes parámetros de codificación de los bloques de hoja en esa región de herencia, es decir, los bloques de hoja 154a, b, d y 156a a 156d. En caso de que se use predicción, se transmiten los residuos para los bloques de hoja individuales.

Una posibilidad de transmisión de la información de herencia para el bloque de árbol 150 es la transmisión mencionada anteriormente de una bandera compartida f La extracción de la información de herencia en la etapa 550 podría, en este caso, comprender lo siguiente. En particular, el decodificador podría configurarse para extraer y comprobar, para regiones no de hoja que corresponden a cualquiera de un conjunto de herencia de al menos un nivel de jerarquía de la subdivisión multi-árbol, usar un orden de nivel de jerarquía desde un nivel de jerarquía inferior a un nivel de jerarquía superior, la bandera de compartición f desde el flujo de datos, en cuanto a si la bandera de herencia respectiva o bandera de compartición prescribe herencia o no. Por ejemplo, el conjunto de herencia de niveles de jerarquía podría

ES 2 901 308 T3

formarse mediante las capas de jerarquía 1 a 3 en la Figura 12a. Por lo tanto, para cualquiera de los nodos de la estructura de sub-árbol que no sea un nodo de hoja y que radique en cualquiera de las capas 1 a 3 podría tener una bandera de compartición asociada entre ellos en el flujo de datos. El decodificador extrae estas banderas de compartición en el orden desde la capa 1 a la capa 3, tal como en un primer orden de profundidad o de amplitud. Tan pronto como una de las banderas de compartición se hace igual a 1, el decodificador conoce que los bloques de hoja contenidos en una región de herencia correspondiente comparten el subconjunto de herencia extraído posteriormente en la etapa 554. Para los nodos hijos del nodo actual, ya no es necesaria una comprobación de banderas de herencia. En otras palabras, las banderas de herencia para estos nodos hijos no se transmiten en el flujo de datos, puesto que es evidente que el área de estos nodos ya pertenece a la región de herencia en la que se comparte el subconjunto de herencia de elementos de sintaxis.

Las banderas de compartición f podrían intercalarse con los bits anteriormente mencionados que señalizan la sub división de árbol cuádruple. Por ejemplo, una secuencia de bits de intercalación que incluye tanto las banderas de sub-división así como banderas de compartición podría ser:

10001101(0000)000,

que es la misma información de sub-división que se ilustra en la Figura 6a con dos banderas de compartición intercaladas, que se destacan mediante el subrayado, para indicar que en la Figura 3c todos los subbloques en el cuarto a la izquierda inferior del bloque de árbol 150 comparten parámetros de codificación.

Otra manera de definir la información de herencia que indica la región de herencia sería el uso de dos sub-divisiones definidas de una manera subordinada entre sí como se ha explicado anteriormente con respecto a la predicción y sub división residual, respectivamente. Hablando en general, los bloques de hoja de la sub-división primaria podrían formar la región de herencia que define las regiones en las que se comparten los subconjuntos de herencia de elementos de sintaxis mientras la sub-división subordinada define los bloques en estas regiones de herencia para las que se copian o se usan el subconjunto de herencia de elementos de sintaxis como una predicción.

Considérese, por ejemplo, el árbol residual como una extensión del árbol de predicción. Además, considérese el caso donde los bloques de predicción pueden dividirse adicionalmente en bloques más pequeños para el fin de codificación residual. Para cada bloque de predicción que corresponde a un nodo de hoja del árbol cuádruple relacionado con predicción, se determina la correspondiente subdivisión para codificación residual mediante uno o más árbol o árboles cuádruples subordinados.

En este caso, en lugar de usar alguna señalización de predicción en los nodos internos, se considera que el árbol residual se interpreta de tal manera que especifica también un refinamiento del árbol de predicción en el sentido de usar un modo de predicción constante (señalizado mediante el nodo de hoja correspondiente del árbol relacionado con predicción) pero con muestras de referencia refinadas. El siguiente ejemplo ilustra este caso.

Por ejemplo, las Figuras 14a y 14b muestran una partición de árbol cuádruple para intra-predicción con muestras de referencia vecinas que se destacan para un nodo de hoja específico de la sub-división primaria, mientras la Figura 14b muestra la sub-división en árbol cuádruple residual para el mismo nodo de hoja de predicción con muestras de referencia refinadas. Todos los subbloques mostrados en la Figura 14b comparten los mismos parámetros de intrapredicción contenidos en el flujo de datos para el respectivo bloque de hoja destacado en la Figura 14a. Por lo tanto, la Figura 14a muestra un ejemplo para la partición de árbol cuádruple convencional para intra-predicción, donde se representan las muestras de referencia para un nodo de hoja específico. En la realización preferida, sin embargo, se calcula una señal de intra-predicción separada para cada nodo de hoja en el árbol residual usando muestras vecinas de nodos de hoja ya reconstruidos en el árbol residual, por ejemplo, como se indica mediante las bandas sombreadas en gris en la Figura 4(b). A continuación, se obtiene la señal reconstruida de un nodo de hoja residual dado de la manera convencional añadiendo la señal residual cuantificada a esta señal de predicción. Esta señal reconstruida se usa a continuación como una señal de referencia para el siguiente proceso de predicción. Obsérvese que el orden de decodificación para predicción es el mismo que el orden de decodificación residual.

En el proceso de decodificación, como se muestra en la Figura 15, para cada nodo de hoja residual, la señal de predicción p se calcula de acuerdo con el modo de intra-predicción real (como se indica mediante el nodo de hoja de árbol cuádruple relacionado con predicción) usando las muestras de referencia r .

Después del proceso de SIT

Re c Re s = SIT (Re s)

la señal reconstruida r se calcula y almacena para el siguiente proceso de cálculo de predicción:

r = RecRes p

ES 2 901 308 T3

El orden de decodificación para la predicción es el mismo que el orden de decodificación residual, que se ilustra en la Figura 16.

Cada nodo de hoja residual se decodifica como se describe en el párrafo anterior. La señal reconstruida r se almacena en una memoria intermedia como se muestra en la Figura 16. Fuera de esta memoria intermedia, las muestras de referencia r se tomarán para el siguiente proceso de predicción y de decodificación.

Tras haber descrito realizaciones específicas con respecto a las figuras 1 a 16 con subconjuntos distintos combinados de los aspectos anteriormente señalados, se hacen declaraciones adicionales que se centran en determinados aspectos ya descritos anteriormente, pero que se refieren a generalizaciones de algunas de las realizaciones descritas anteriormente. En particular, las realizaciones descritas anteriormente con respecto al marco de referencia de las figuras 1 y 2 combinaron principalmente muchos aspectos de la presente aplicación, que también serían ventajosos cuando se empleasen en otras aplicaciones u otros campos de codificación. Como se ha mencionado con frecuencia durante el análisis anterior, la subdivisión multiárbol, por ejemplo, puede usarse sin unir y/o sin adopción/predicción inter-plano. Por ejemplo, la transmisión del tamaño de bloque máximo, el uso del primer orden transversal de profundidad, la adaptación de contexto dependiendo del nivel de jerarquía de la bandera de subdivisión respectiva y la transmisión del nivel de jerarquía máximo en el flujo de bits para ahorrar tasa de bits de información secundaria, todos estos aspectos son ventajosamente independientes entre sí. Esto se cumple también cuando se considera el esquema de herencia. La herencia de parámetros de codificación es ventajosamente independiente de la subdivisión multiárbol exacta usada para subdividir una instantánea en regiones conectadas de manera sencilla y es ventajosamente independiente de la existencia de más de una matriz de muestras o el uso de adopción/predicción inter-plano. Lo mismo se aplica para las ventajas implicadas con adopción/predicción inter-plano y herencia.

Por consiguiente, al generalizar las realizaciones, las realizaciones específicamente descritas para subdividir una matriz de muestras son meramente realizaciones específicas y pueden usarse también otras subdivisiones. Algunas posibilidades se muestran en la Figura 17a y b. La Figura 17a, por ejemplo, muestra la subdivisión de una matriz de muestras 606 en una disposición bidimensional regular de bloques de árbol no solapantes 608 adyacentes entre sí con alguno de los cuales se subdivide de acuerdo con una estructura multiárbol en los subbloques 610 de diferentes tamaños. Como se ha mencionado anteriormente, aunque se ilustra una subdivisión de árbol cuádruple en la Figura 17a, es posible también dividir cada nodo padre en cualquier otro número de nodos hijos. La Figura 17b muestra una realización de acuerdo con que una matriz de muestras 606 se sub-divide en subbloques de diferentes tamaños aplicando una subdivisión multiárbol directamente en toda la matriz de píxeles 606. Es decir, toda la matriz de píxeles 606 se trata como el bloque de árbol. Ambas subdivisiones de las Figuras 17a y 17b conduce a una subdivisión de la matriz de muestras 606 en las regiones conectadas de manera sencilla que son de manera ejemplar no solapantes, de acuerdo con las realizaciones de las Figuras 17a y 17b. Sin embargo, son posibles varias alternativas. Por ejemplo, los bloques pueden solapar entre sí. El solapamiento puede restringirse, sin embargo, hasta un cierto punto en que cada bloque tiene una porción no solapada por ningún bloque vecino, o de manera que cada muestra de los bloques se solapa mediante, como máximo, un bloque entre los bloques vecinos dispuestos en yuxtaposición al bloque actual a lo largo de una dirección predeterminada. Lo último significaría que los bloques vecinos a la izquierda y derecha pueden solapar el bloque actual para cubrir completamente el bloque actual, pero pueden no solapar entre sí, y lo mismo se aplica para los vecinos en dirección vertical y diagonal.

Como se ha descrito anteriormente con respecto a las Figuras 1 a 16, la matriz de muestras de información no representa necesariamente una instantánea de un vídeo o una instantánea fija. La matriz de muestras podría representar también un mapa de profundidad o un mapa de transparencia de alguna escena.

La determinación de los parámetros de codificación y la información de herencia puede ser un proceso iterativo. Por ejemplo, si anteriormente de manera preliminar, en sentido de tasa/distorsión se determinó óptimamente parámetros de codificación de regiones conectadas de manera sencilla vecinas que pertenecen a un proceso iterativo anteriormente de manera preliminar, en sentido de tasa/distorsión similar de región padre determinada óptimamente, un proceso iterativo puede determinar que puede preferirse proporcionar las pequeñas diferencias entre estos parámetros de codificación a través de señalización de esta diferencia al decodificador cuando se considera que la herencia posibilita suprimir la transmisión explícita de los parámetros de codificación de todas estas regiones conectadas de manera sencilla completamente y sustituir la sumisión de estos parámetros de codificación en su totalidad mediante la sumisión de un residuo únicamente o meramente la transmisión de los parámetros de codificación compartidos.

Aunque se han descrito algunos aspectos en el contexto de un aparato, es evidente que estos aspectos representan también una descripción del método correspondiente, donde un bloque o dispositivo corresponde a una etapa de método o una característica de una etapa de método. De manera análoga, los aspectos descritos en el contexto de una etapa de método representan también una descripción de un bloque correspondiente o elemento o característica de un aparato correspondiente. Algunas o todas las etapas de método pueden ejecutarse mediante (o usando) un aparato de hardware, como por ejemplo, un microprocesador, un ordenador programable o un circuito electrónico. En

ES 2 901 308 T3

algunas realizaciones, alguna o más de las etapas de método más importantes pueden ejecutarse mediante un aparato de este tipo.

Las señales codificadas/comprimidas inventivas pueden almacenarse en un medio de almacenamiento digital o pueden transmitirse en un medio de transmisión tal como un medio de transmisión inalámbrico o un medio de transmisión cableado tal como Internet.

Dependiendo de ciertos requisitos de implementación, las realizaciones de la invención pueden implementarse en hardware o en software. La implementación puede realizarse usando un medio de almacenamiento digital, por ejemplo, un disco flexible, un DVD, un Blu-Ray, un CD, una ROM, una PROM, una EPROM, una EEPROM o una memoria FLASH, que tiene señales de control electrónicamente legibles almacenadas en el mismo, que cooperan (o que pueden cooperar) con un sistema informático programable de manera que se realiza el método respectivo. Por lo tanto, el medio de almacenamiento digital puede ser legible por ordenador.

Algunas realizaciones de acuerdo con la invención comprenden un soporte de datos que tiene señales de control electrónicamente legibles, que pueden cooperar con un sistema informático programable, de manera que se realiza uno de los métodos descritos en el presente documento.

Generalmente, las realizaciones de la presente invención pueden implementarse como un producto de programa informático con un código de programa, siendo el código de programa operativo para realizar uno de los métodos cuando el producto de programa informático se ejecuta en un ordenador. El código de programa puede, por ejemplo, almacenarse en un soporte legible por máquina.

Otras realizaciones comprenden el programa informático para realizar uno de los métodos descritos en el presente documento, almacenados en un soporte legible por máquina.

En otras palabras, una realización del método inventivo es, por lo tanto, un programa informático que tiene un código de programa para realizar uno de los métodos descritos en el presente documento, cuando el programa informático se ejecuta en un ordenador.

Una realización adicional de los métodos inventivos es, por lo tanto, un soporte de datos (o un medio de almacenamiento digital, o un medio legible por ordenador) que comprende, grabado en el mismo, el programa informático para realizar uno de los métodos descritos en el presente documento.

Una realización adicional del método inventivo es, por lo tanto, un flujo de datos o una secuencia de señales que representan el programa informático para realizar uno de los métodos descritos en el presente documento. El flujo de datos o la secuencia de señales pueden configurarse, por ejemplo, para transferirse mediante una conexión de comunicación de datos, por ejemplo mediante Internet.

Una realización adicional comprende un medio de procesamiento, por ejemplo un ordenador, o un dispositivo de lógica programable, configurado para o adaptado para realizar uno de los métodos descritos en el presente documento.

Una realización adicional comprende un ordenador que tiene instalado en el mismo el programa informático para realizar uno de los métodos descritos en el presente documento.

En algunas realizaciones, un dispositivo de lógica programable (por ejemplo un campo de matrices de puertas programables) puede usarse para realizar algunas o todas las funcionalidades de los métodos descritos en el presente documento. En algunas realizaciones, un campo de matriz de puertas programables puede cooperar con un microprocesador para realizar uno de los métodos descritos en el presente documento. Generalmente, los métodos se realizan preferentemente mediante cualquier aparato de hardware.

Las realizaciones anteriormente descritas son meramente ilustrativas de los principios de la presente invención. Se entiende que las modificaciones y variaciones de las disposiciones y los detalles descritos en el presente documento serán evidentes para los expertos en la materia. Se pretende, por lo tanto, que esté limitada únicamente mediante el alcance de las reivindicaciones de patente a continuación y no mediante los detalles específicos presentados a modo de descripción y explicación de las realizaciones en el presente documento.

Claims

ES 2 901 308 T3

REIVINDICACIONES

Decodificador para reconstruir una matriz de muestras de información que representa una señal de información muestreada espacialmente, que se subdivide en una estructura multi-árbol de regiones de hoja de diferentes tamaños mediante subdivisión multi-árbol, desde un flujo de datos, en el que la estructura multiárbol está dividida en una sub-división primaria y una subordinada definida de una manera subordinada entre sí, de modo que un bloque de raíz de árbol de la sub-división primaria se subdivide en bloques de hoja de la sub-división primaria que, a su vez, forman los bloques de raíz de árbol de la sub-división subordinada, subdividida adicionalmente en regiones de hoja de la estructura multi-árbol, cada región de hoja de la estructura multi-árbol tiene asociada a la misma un nivel de jerarquía de una secuencia de niveles de jerarquía de la subdivisión multi-árbol, cada región de hoja de la estructura multi-árbol tiene asociada a la misma parámetros de codificación, los parámetros de codificación se representan, para cada región de hoja, mediante un conjunto respectivo de elementos de sintaxis, cada elemento de sintaxis es de un tipo de elemento de sintaxis respectivo de un conjunto de tipos de elementos de sintaxis, y el decodificador comprende

un extractor (102) para extraer la estructura multiárbol del flujo de datos, con el fin de obtener una información de herencia desde el flujo de datos, indicando la información de herencia en cuanto a si se usa o no herencia, y si se indica que se usa herencia, al menos una región de herencia de la matriz de muestras de información que está compuesta de un conjunto de las regiones de hoja de la estructura multi-árbol se corresponde con un nivel de jerarquía de secuencia de niveles de jerarquía de la sub-división multi-árbol, que es inferior que cada uno de los niveles de jerarquía al que está asociado el conjunto de regiones de hoja de la estructura multi-árbol, y se forma por una región de hoja de la sub-división primaria;

en el que el extractor (102) se configura además para extraer (554) un subconjunto de herencia que incluye al menos un elemento de sintaxis de un tipo de elemento de sintaxis predeterminado desde el flujo de datos por región de herencia, en el que el al menos un elemento de sintaxis del tipo de elemento de sintaxis predeterminado es un elemento de sintaxis de modo de intra-predicción,

en el que el decodificador está configurado para

decodificar, en un orden de decodificación residual, una señal residual para cada una de las regiones de hoja de la estructura multi-árbol de la que está compuesta la respectiva región de herencia,

copiar (556) el subconjunto de herencia en un subconjunto de herencia correspondiente de elementos de sintaxis dentro del conjunto de elementos de sintaxis que representa los parámetros de codificación asociados al conjunto de regiones de hoja de la estructura multi-árbol de los que la respectiva al menos una región de herencia está compuesta, y

calcular, en el orden de decodificación residual, una señal de intra-predicción separada para cada una de las regiones de hoja de la estructura multi-árbol de la que la respectiva región de herencia está compuesta, de acuerdo con un modo de intra-predicción indicado por el elemento de sintaxis de modo de intra-predicción, usando muestras vecinas de una señal reconstruida de regiones de hoja ya reconstruidas de la estructura multi-árbol como una señal de referencia, reconstruyendo la respectiva región de hoja de la estructura multiárbol añadiendo la señal de intra-predicción y la señal residual,

en el que las regiones de hoja son bloques rectangulares.

Decodificador de acuerdo con la reivindicación 1, en el que la señal de información muestreada espacialmente es una secuencia de instantáneas con cada instantánea comprendiendo una matriz de muestras de luminancia junto con dos matrices de muestras de crominancia por fotograma en el que un factor de escala para una resolución espacial de las matrices de muestras de crominancia en relación con la matriz de muestras de luminancia en la dirección horizontal difiere de un factor de escala para una resolución espacial en la dirección vertical.

Decodificador de acuerdo con la reivindicación 1, en el que la matriz de muestras de información es una de matrices de muestras relacionadas con componentes de diferente color y formando planos de color de una instantánea, y el decodificador se configura para decodificar los planos de color diferente de la instantánea independientemente.

Decodificador de acuerdo con la reivindicación 1, en el que la señal de información muestreada espacialmente es un vídeo acompañado con información de profundidad.

Método para reconstruir una matriz de muestras de información que representa una señal de información

ES 2 901 308 T3

muestreada espacialmente, que se subdivide en una estructura multiárbol de regiones de hoja de diferentes tamaños mediante subdivisión multi-árbol, desde un flujo de datos, en el que la estructura multi-árbol está dividida en una sub-división primaria y una subordinada definida de una manera subordinada entre sí, de modo que un bloque de raíz de árbol de la sub-división primaria se subdivide en bloques de hoja de la sub división primaria que, a su vez, forman los bloques de raíz de árbol de la sub-división subordinada, subdividida adicionalmente en regiones de hoja de la estructura multi-árbol, cada región de hoja de la estructura multiárbol tiene asociada a la misma un nivel de jerarquía de una secuencia de niveles de jerarquía de la subdivisión multi-árbol, cada región de hoja de la estructura multi-árbol tiene asociada a la misma parámetros de codificación, los parámetros de codificación se representan, para cada región de hoja, mediante un conjunto respectivo de elementos de sintaxis, cada elemento de sintaxis es de un tipo de elemento de sintaxis respectivo de un conjunto de tipos de elementos de sintaxis, y el método comprende

extraer la estructura multiárbol desde el flujo de datos con el fin de obtener (550) información de herencia desde el flujo de datos, indicando la información de herencia en cuanto a si se usa o no herencia, y cuando se indica que se usa herencia, al menos una región de herencia de la matriz de muestras de información que está compuesta de un conjunto de las regiones de hoja de la estructura multi-árbol se corresponde con un nivel de jerarquía de secuencia de niveles de jerarquía de la sub-división multi-árbol, que es inferior que cada uno de los niveles de jerarquía al que está asociado el conjunto de regiones de hoja de la estructura multi árbol, y se forma por una región de hoja de la sub-división primaria;

extraer (554) un subconjunto de herencia que incluye al menos un elemento de sintaxis de un tipo de elemento de sintaxis predeterminado desde el flujo de datos por región de herencia, en el que el al menos un elemento de sintaxis del tipo de elemento de sintaxis predeterminado es un elemento de sintaxis de modo de intrapredicción,

decodificar, en un orden de decodificación residual, una señal residual para cada una de las regiones de hoja de la estructura multi-árbol de la que está compuesta la respectiva región de herencia,

copiar (556) el subconjunto de herencia en un subconjunto de herencia correspondiente de elementos de sintaxis dentro del conjunto de elementos de sintaxis que representa los parámetros de codificación asociados al conjunto de regiones de hoja de la estructura multi-árbol de los que la respectiva al menos una región de herencia está compuesta, y

calcular, en el orden de decodificación residual, una señal de intra-predicción separada para cada una de las regiones de hoja de la estructura multi-árbol de la que la respectiva región de herencia está compuesta, de acuerdo con un modo de intra-predicción indicado por el elemento de sintaxis de modo de intra-predicción, usando muestras vecinas de una señal reconstruida de regiones de hoja ya reconstruidas de la estructura multi-árbol como una señal de referencia, reconstruyendo la respectiva región de hoja de la estructura multi árbol añadiendo la señal de intra-predicción y la señal residual,

en el que las regiones de hoja son bloques rectangulares.

Método de acuerdo con la reivindicación 5, en el que la señal de información muestreada espacialmente es una secuencia de instantáneas con cada instantánea comprendiendo una matriz de muestras de luminancia junto con dos matrices de muestras de crominancia por fotograma, en el que un factor de escala para una resolución espacial de las matrices de muestras de crominancia en relación con la matriz de muestras de luminancia en la dirección horizontal difiere de un factor de escala para una resolución espacial en la dirección vertical.

Método de acuerdo con la reivindicación 5, en el que la matriz de muestras de información es una de matrices de muestras relacionadas con componentes de diferente color y formando planos de color de una instantánea, y el método comprende decodificar los planos de color diferente de la instantánea independientemente.

Método de acuerdo con la reivindicación 5, en el que la señal de información muestreada espacialmente es un vídeo acompañado con información de profundidad.

Codificador para codificar una matriz de muestras de información que representa una señal de información muestreada espacialmente, que se subdivide en una estructura multi-árbol de regiones de hoja de diferentes tamaños mediante subdivisión multi-árbol, en un flujo de datos, en el que la estructura multi-árbol está dividida en una sub-división primaria y una subordinada definida de una manera subordinada entre sí, de modo que un bloque de raíz de árbol de la sub-división primaria se subdivide en bloques de hoja de la sub-división primaria que, a su vez, forman los bloques de raíz de árbol de la sub-división subordinada, subdividida adicionalmente en regiones de hoja de la estructura multi-árbol, cada región de hoja de la estructura multi árbol tiene asociada a la misma un nivel de jerarquía de una secuencia de niveles de jerarquía de la

ES 2 901 308 T3

subdivisión multi-árbol, cada región de hoja de la estructura multi-árbol tiene asociada a la misma parámetros de codificación, los parámetros de codificación se representan, para cada región de hoja, mediante un conjunto respectivo de elementos de sintaxis, cada elemento de sintaxis es de un tipo de elemento de sintaxis respectivo de un conjunto de tipos de elementos de sintaxis, y el codificador comprende

un insertador para insertar la estructura multiárbol en el flujo de datos, con el fin de insertar una información de herencia en el flujo de datos, indicando la información de herencia en cuanto a si se usa o no herencia, y si se indica que se usa herencia, al menos una región de herencia de la matriz de muestras de información que está compuesta de un conjunto de las regiones de hoja de la estructura multi-árbol se corresponde con un nivel de jerarquía de secuencia de niveles de jerarquía de la sub-división multi-árbol, que es inferior que cada uno de los niveles de jerarquía al que está asociado el conjunto de regiones de hoja de la estructura multi-árbol, y se forma por una región de hoja de la sub-división primaria;

en el que el insertador se configura además para insertar un subconjunto de herencia que incluye al menos un elemento de sintaxis de un tipo de elemento de sintaxis predeterminado en el flujo de datos por región de herencia, en el que el al menos un elemento de sintaxis del tipo de elemento de sintaxis predeterminado es un elemento de sintaxis de modo de intra-predicción,

en el que el codificador está configurado para

codificar, en un orden de decodificación residual, una señal residual para cada una de las regiones de hoja de la estructura multi-árbol de la que está compuesta la respectiva región de herencia, y

copiar el subconjunto de herencia en un subconjunto de herencia correspondiente de elementos de sintaxis dentro del conjunto de elementos de sintaxis que representa los parámetros de codificación asociados al conjunto de regiones de hoja de la estructura multi-árbol de las que está compuesta la respectiva al menos una región de herencia, y calcular, en el orden de decodificación residual, una señal de intra-predicción separada para cada una de las regiones de hoja de la estructura multi-árbol de las que está compuesta la respectiva región de herencia, de acuerdo con un modo de intra-predicción indicado por el elemento de sintaxis de modo de intra-predicción, usando muestras vecinas de una señal reconstruida de regiones de hoja ya reconstruidas de la estructura multi-árbol como una señal de referencia, codificando la respectiva región de hoja de la estructura multi-árbol codificando la señal residual para añadirse a la señal de intra-predicción para la reconstrucción de la respectiva región de hoja de la estructura multi-árbol en el flujo de datos,

en el que las regiones de hoja son bloques rectangulares.

Codificador de acuerdo con la reivindicación 9, en el que la señal de información muestreada espacialmente es una secuencia de instantáneas con cada instantánea comprendiendo una matriz de muestras de luminancia junto con dos matrices de muestras de crominancia por fotograma, en el que un factor de escala para una resolución espacial de las matrices de muestras de crominancia en relación con la matriz de muestras de luminancia en la dirección horizontal difiere de un factor de escala para una resolución espacial en la dirección vertical.

Codificador de acuerdo con la reivindicación 9, en el que la matriz de muestras de información es una de matrices de muestras relacionadas con componentes de diferente color y formando planos de color de una instantánea, y el codificador se configura para codificar los planos de color diferente de la instantánea independientemente.

Codificador de acuerdo con la reivindicación 9, en el que la señal de información muestreada espacialmente es un vídeo acompañado con información de profundidad.

Método para codificar una matriz de muestras de información que representa una señal de información muestreada espacialmente, que se subdivide en una estructura multi-árbol de regiones de hoja de diferentes tamaños mediante subdivisión multi-árbol, en un flujo de datos, en el que la estructura multi-árbol está dividida en una sub-división primaria y una subordinada definida de una manera subordinada entre sí, de modo que un bloque de raíz de árbol de la sub-división primaria se subdivide en bloques de hoja de la sub-división primaria que, a su vez, forman los bloques de raíz de árbol de la sub-división subordinada, subdividida adicionalmente en regiones de hoja de la estructura multi-árbol, cada región de hoja de la estructura multiárbol tiene asociada a la misma un nivel de jerarquía de una secuencia de niveles de jerarquía de la subdivisión multi-árbol, cada región de hoja de la estructura multi-árbol tiene asociada a la misma parámetros de codificación, los parámetros de codificación se representan, para cada región de hoja, mediante un conjunto respectivo de elementos de sintaxis, cada elemento de sintaxis es de un tipo de elemento de sintaxis respectivo de un conjunto de tipos de elementos de sintaxis, y el método comprende

ES 2 901 308 T3

insertar la estructura multiárbol en el flujo de datos, con el fin de insertar una información de herencia en el flujo de datos, indicando la información de herencia en cuanto a si se usa o no herencia, y si se indica que se usa herencia, al menos una región de herencia de la matriz de muestras de información que está compuesta de un conjunto de las regiones de hoja de la estructura multi-árbol se corresponde con un nivel de jerarquía de secuencia de niveles de jerarquía de la sub-división multi-árbol, que es inferior que cada uno de los niveles de jerarquía al que está asociado el conjunto de regiones de hoja de la estructura multi-árbol, y se forma por una región de hoja de la sub-división primaria;

en el que el método comprende además insertar un subconjunto de herencia que incluye al menos un elemento de sintaxis de un tipo de elemento de sintaxis predeterminado en el flujo de datos por región de herencia, en el que el al menos un elemento de sintaxis del tipo de elemento de sintaxis predeterminado es un elemento de sintaxis de modo de intra-predicción,

en el que el método comprende además

codificar, en un orden de decodificación residual, una señal residual para cada una de las regiones de hoja de la estructura multi-árbol de la que está compuesta la respectiva región de herencia, y

copiar el subconjunto de herencia en un subconjunto de herencia correspondiente de elementos de sintaxis dentro del conjunto de elementos de sintaxis que representa los parámetros de codificación asociados al conjunto de regiones de hoja de la estructura multi-árbol de las que está compuesta la respectiva al menos una región de herencia, y

calcular, en el orden de decodificación residual, una señal de intra-predicción separada para cada una de las regiones de hoja de la estructura multi-árbol de las que está compuesta la respectiva región de herencia, de acuerdo con un modo de intra-predicción indicado por el elemento de sintaxis de modo de intra-predicción, usando muestras vecinas de una señal reconstruida de regiones de hoja ya reconstruidas de la estructura multi-árbol como una señal de referencia, codificando la respectiva región de hoja de la estructura multi-árbol codificando la señal residual para añadirse a la señal de intra-predicción para la reconstrucción de la respectiva región de hoja de la estructura multi-árbol en el flujo de datos,

en el que las regiones de hoja son bloques rectangulares.

14. Método de acuerdo con la reivindicación 13, en el que la señal de información muestreada espacialmente es una secuencia de instantáneas con cada instantánea comprendiendo una matriz de muestras de luminancia junto con dos matrices de muestras de crominancia por fotograma, en el que un factor de escala para una resolución espacial de las matrices de muestras de crominancia en relación con la matriz de muestras de luminancia en la dirección horizontal difiere de un factor de escala para una resolución espacial en la dirección vertical.

15. Método de acuerdo con la reivindicación 13, en el que la matriz de muestras de información es una de matrices de muestras relacionadas con componentes de diferente color y formando planos de color de una instantánea, y el método comprende decodificar los planos de color diferente de la instantánea independientemente.

16. Método de acuerdo con la reivindicación 13, en el que la señal de información muestreada espacialmente es un vídeo acompañado con información de profundidad.

17. Flujo de datos a partir del cual se forma una matriz de muestras de información que representa una señal de información muestreada espacialmente, que se subdivide en una estructura multi-árbol de regiones de hoja de diferentes tamaños mediante subdivisión multi-árbol mediante un método de acuerdo con la reivindicación 13.

18. Flujo de datos de acuerdo con la reivindicación 17, en el que la señal de información muestreada espacialmente es una secuencia de instantáneas con cada instantánea comprendiendo una matriz de muestras de luminancia junto con dos matrices de muestras de crominancia por fotograma, en el que un factor de escala para una resolución espacial de las matrices de muestras de crominancia en relación con la matriz de muestras de luminancia en la dirección horizontal difiere de un factor de escala para una resolución espacial en la dirección vertical.

19. Flujo de datos de acuerdo con la reivindicación 17, en el que la matriz de muestras de información es una de matrices de muestras relacionadas con componentes de color diferente y formando planos de color de una instantánea, estando formado el flujo de datos codificando los planos de color diferente de la instantánea independientemente.

ES 2 901 308 T3

20. Flujo de datos de acuerdo con la reivindicación 17, en el que la señal de información muestreada espacialmente es un vídeo que incluye información de profundidad.

21. Medio de almacenamiento digital legible por ordenador que tiene almacenado en el mismo un programa informático que tiene un código de programa para realizar, cuando se ejecuta en un ordenador, un método según la reivindicación 5 o 13.