ES2791705T3

ES2791705T3 - Procedimiento de decodificación de una imagen

Info

Publication number: ES2791705T3
Application number: ES10802493T
Authority: ES
Inventors: Hae-Kyung Jung; Min-Su Cheon; Jung-Hye Min; Il-Koo Kim
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2009-07-24
Filing date: 2010-07-23
Publication date: 2020-11-05
Anticipated expiration: 2030-07-23
Also published as: TR201815015T4; PL2911401T3; JP2015233303A; JP2015233305A; JP5912079B2; CY1120814T1; EP2911401B1; US20140254948A1; US20150326854A1; HUE041713T2; EP2911399B1; ES2691983T3; SI2911399T1; EP2911400B1; LT2911401T; HRP20181640T1; EP2458860A2; CN104486621A; EP2458860A4; PT2911398T

Abstract

Un procedimiento de decodificación de una imagen, comprendiendo el procedimiento: extraer información dividida para una unidad de codificación de una profundidad k, donde k es un número entero, indicando la información dividida si se debe dividir la unidad de codificación de la profundidad k, donde k es un número entero, en cuatro unidades de codificación de igual tamaño, de forma cuadrada de una profundidad, k+1, de un flujo de bits que incluye datos codificados de la imagen codificada basándose en unidades de codificación máximas de forma cuadrada divididas jerárquicamente en unidades de codificación de forma cuadrada más profundas a medida que se profundiza una profundidad; determinar una estructura dividida de una unidad de codificación máxima en forma cuadrada, de acuerdo con la información de división; extraer, cuando la unidad de codificación máxima de forma cuadrada se divide en una unidad de codificación actual que ya no se divide de acuerdo con la información dividida, información de salto que indica si un modo de predicción de la unidad de codificación actual es un modo de salto, desde el flujo de bits; cuando la información de salto indica que el modo de predicción de la unidad de codificación actual es el modo de salto, determinar la unidad de codificación actual como una unidad de predicción cuyo modo de predicción es el modo de salto; y cuando la información de salto indica que el modo de predicción de la unidad de codificación actual no es el modo de salto, obtener una o más unidades de predicción de la unidad de codificación actual dividiendo por igual una anchura o una altura de la unidad de codificación actual entre dos, o dividiendo por igual la altura y la anchura de la unidad de codificación actual entre dos, o determinando la unidad de codificación actual como una o varias unidades de predicción basadas en un tipo de partición de la unidad de codificación actual, siendo las una o varias unidades de predicción usadas para la decodificación de predicción de la unidad de codificación actual y siendo el tipo de partición que obtenido del flujo de bits, en el que, una imagen se divide en una pluralidad de unidades de codificación máximas de forma cuadrada de acuerdo con la información sobre un tamaño máximo de una unidad de codificación, cuando un tamaño de la unidad de codificación actual es 2Nx2N, donde N es un número entero, y el modo de predicción de la unidad decodificación actual es el modo de salto, un tamaño de la unidad de predicción es 2Nx2N, la información dividida para la unidad de codificación de la profundidad k tiene un valor de cero o uno, cuando la información dividida para la unidad de codificación de la profundidad k tiene un valor de cero, la información dividida indica no dividir la unidad de codificación de la profundidad k, cuando la información dividida tiene un valor de uno, la información dividida indica dividir la unidad de codificación de la profundidad k, la información de salto es una bandera que tiene un valor de cero o uno, y cuando la información de salto tiene un valor de uno, la información de salto indica que el modo de predicción de la unidad de codificación actual es el modo de salto.

Description

DESCRIPCIÓN

Procedimiento de decodificación de una imagen

Campo técnico

La presente invención se refiere a la decodificación de una imagen.

Técnica anterior

Ejemplos de un procedimiento de codificación de predicción de imágenes incluyen un procedimiento de intra predicción y un procedimiento de inter predicción. El procedimiento de intra predicción es un procedimiento de predicción basado en una correlación de píxeles adyacentes en una sola trama. El procedimiento de inter predicción es un procedimiento de predicción de una región similar a los datos codificados a partir de una trama adyacente a través de predicción y compensación de movimiento.

Generalmente, un vector de movimiento de un bloque tiene una estrecha correlación con un vector de movimiento de un bloque adyacente. Por lo tanto, una cantidad de bits generada durante la codificación puede reducirse prediciendo un vector de movimiento de un bloque actual desde un bloque adyacente, y codificando solo un vector de movimiento diferencial entre el vector de movimiento del bloque actual y un vector de movimiento de predicción.

Un modo de salto es un modo seleccionado cuando un vector de movimiento de un macrobloque es idéntico a un vector de movimiento de predicción predicho usando un vector de movimiento de un bloque adyacente y cuando un error de predicción es suficientemente pequeño. Cuando se selecciona el modo de salto como un modo de predicción de un macrobloque, un codificador solo transmite información sobre el modo de salto del macrobloque y no transmite datos residuales. Un decodificador puede restablecer el macrobloque realizando una compensación de movimiento en el macrobloque codificado en el modo de salto utilizando un vector de movimiento de predicción predicho desde un bloque adyacente al macrobloque.

KIM J Y COL.: "Enlarging MB size for high fidelity video coding beyond HD", 36. VCEG MEETING; 8-10-2008 - 10-10 2008; SAN DIEGO, Estados Unidos; (GRUPO DE CODINGEXPERTS DE VIDEO DE ITU-T SG.16), n.° VCEG-AJ21, publicado el 5 de octubre de 2008 se refiere a la extensión de la arquitectura de H.264 con macrobloques ampliados de tamaño NxN y presenta una estructura de codificación jerárquica en la que los diferentes bloques se dividen según las profundidades en función de un elemento de sintaxis "tipo_mb". SULLIVAN G J Y COL.: "Efficient Quadtree Coding of Images and Video", TRANSACCIONES IEEE SOBRE EL PROCESAMIENTO DE IMAGEN, CENTRO DE SERVICIO IEEE, PISCATAWAY, NJ, ESTADOS UNIDOS, vol. 3, n° 3, publicado el 1 de mayo de 1994, páginas 327 331, DOI: 10.1109/83.287030 desvela una codificación de cuadrángulo eficiente de imágenes en las que se usa un bit en cada nivel para indicar si un bloque más se divide o no.

Solución técnica

La presente invención proporciona un procedimiento de decodificación de una imagen, que extrae eficientemente información sobre estructuras divididas de una imagen codificada a base de una unidad de codificación jerárquica en varios tamaños, e información sobre un modo de salto de cada unidad de codificación.

Efectos ventajosos

La presente invención proporciona un procedimiento de decodificación de una imagen, que extrae eficientemente información sobre estructuras divididas de una imagen codificada basada en una unidad de codificación jerárquica en varios tamaños, e información sobre un modo de salto de cada unidad de codificación.

Descripción de los dibujos

La figura 1 es un diagrama de bloques de un aparato para codificar una imagen;

La figura 2 es un diagrama de bloques de un aparato para decodificar una imagen;

La figura 3 es un diagrama para describir un concepto de unidades de codificación jerárquica;

La figura 4 es un diagrama de bloques de un codificador de imágenes basado en unidades de codificación; La figura 5 es un diagrama de bloques de un decodificador de imágenes basado en unidades de codificación; La figura 6 es un diagrama que ilustra unidades de codificación más profundas según profundidades y unidades de predicción;

La figura 7 es un diagrama para describir una relación entre una unidad de codificación y unidades de transformación;

La figura 8 es un diagrama para describir información de codificación de unidades de codificación correspondientes a una profundidad codificada;

La figura 9 es un diagrama de unidades de codificación más profundas de acuerdo con las profundidades;

Las figuras 10 a 12 son diagramas para describir una relación entre unidades de codificación, unidades de predicción y unidades de transformación, de acuerdo con una realización de la presente invención;

La figura 13 es un diagrama para describir una relación entre una unidad de codificación, una unidad de predicción o una partición, y una unidad de transformación, según información del modo de codificación de la Tabla 1; La figura 14 es un diagrama de estructuras divididas de una unidad de codificación máxima determinada a base de unidades de codificación más profundas;

La figura 15 es un diagrama para describir información de división de una unidad de codificación de la figura 14 que tiene una profundidad de 2;

La figura 16 es un diagrama para describir información de división de una unidad de codificación de la figura 14 que tiene una profundidad de 3;

La figura 17 es un diagrama para describir una orden de procesamiento de unidades de codificación;

La figura 18 es un diagrama de flujo que ilustra un procedimiento de codificación de una imagen;

La figura 19 es un diagrama de flujo que ilustra un procedimiento de codificación de una imagen;

La figura 20 es un diagrama de flujo que ilustra un procedimiento de decodificación de una imagen;

La figura 21 es un diagrama de flujo que ilustra un proceso de división de una unidad de decodificación máxima y un proceso de decodificación de información de salto, de acuerdo con un procedimiento de decodificación de una imagen, de acuerdo con una realización de la presente invención;

La figura 22 es un diagrama de flujo que ilustra un procedimiento de decodificación de una imagen, y

La figura 23 es un diagrama de flujo que ilustra un proceso de división de una unidad de decodificación máxima y un proceso de decodificación de información de salto, de acuerdo con un procedimiento de decodificación de una imagen.

Mejor modo

La presente invención es como se define en la reivindicación independiente adjunta. La divulgación de habilitación para la invención se encuentra en las realizaciones de las figuras 10-13, 20 y 21. En lo sucesivo, las realizaciones restantes deben entenderse como ejemplos que no describen partes de la presente invención.

De acuerdo con un aspecto de la presente invención, se proporciona un procedimiento para codificar una imagen, comprendiendo el procedimiento: dividir una imagen actual en al menos una unidad de codificación máxima; determinar una estructura dividida de la al menos una unidad de codificación máxima y un modo de predicción de cada unidad de codificación codificando los datos de imagen de la al menos una unidad de codificación máxima basada en unidades de codificación más profundas según las profundidades, que se dividen jerárquicamente a medida que se profundiza una profundidad; establecer la información de división sobre la división de una unidad de codificación de una profundidad superior que incluye cada unidad de codificación, de acuerdo con cada unidad de codificación; establecer información de salto que indica si la información de predicción determinada es un modo de salto, de acuerdo con cada unidad de codificación; y codificar la información de división y la información de salto, que se establecen de acuerdo con cada unidad de codificación.

De acuerdo con otro aspecto de la presente invención, se proporciona un procedimiento para codificar una imagen, comprendiendo el procedimiento: dividir una imagen actual en al menos una unidad de codificación máxima; determinar una estructura dividida de la al menos una unidad de codificación máxima y un modo de predicción de cada unidad de codificación codificando los datos de imagen de la al menos una unidad de codificación máxima basada en unidades de codificación más profundas según las profundidades, que se dividen jerárquicamente a medida que se profundiza una profundidad; establecer información de salto que indica si el modo de predicción de cada unidad de codificación y un modo de predicción de una profundidad superior que incluye cada unidad de codificación son cada uno un modo de salto, de acuerdo con cada unidad de codificación; establecer la información dividida sobre la división de una unidad de codificación de una profundidad superior que incluye cada unidad de codificación, de acuerdo con cada unidad de codificación; y codificar la información de división y la información de salto, que se establecen de acuerdo con cada unidad de codificación.

De acuerdo con otro aspecto de la presente invención, se proporciona un procedimiento de decodificación de una imagen, comprendiendo el procedimiento: extraer información de división sobre la división de unidades de decodificación de profundidades superiores, incluyendo una unidad de decodificación actual a decodificar, a partir de datos de imágenes codificados de acuerdo con unidades de codificación máximas basadas en unidades de codificación más profundas de acuerdo con las profundidades, que se dividen jerárquicamente a medida que se profundiza una profundidad; extraer información de salto que indica si un modo de predicción de la unidad de decodificación actual es un modo de salto, a partir de los datos de imagen; determinar estructuras divididas de una unidad de decodificación máxima que incluye la unidad de decodificación actual, según la información de división; determinar si el modo de predicción de la unidad de decodificación actual es un modo de salto de acuerdo con la información de salto.

De acuerdo con otro aspecto de la presente invención , se proporciona un procedimiento de decodificación de una imagen, comprendiendo el procedimiento: extraer información de salto que indica si los modos de predicción de una unidad de decodificación actual a decodificar y las unidades de decodificación de profundidades superiores, incluyendo la unidad de decodificación actual, son cada uno un modo de salto, a partir de datos de imágenes codificados de acuerdo con unidades de codificación máximas basadas en unidades de codificación más profundas de acuerdo con las profundidades, que se dividen jerárquicamente a medida que se profundiza una profundidad; extraer información de división sobre la división de las unidades de decodificación de profundidades superiores, incluida la unidad de decodificación actual; determinar si los modos de predicción de la unidad de decodificación actual y las unidades de decodificación de profundidades superiores son cada uno un modo de salto de acuerdo con la información de salto extraída; y determinar estructuras divididas de una unidad de decodificación máxima que incluye la unidad de decodificación actual, según la información de división.

De acuerdo con otro aspecto de la presente invención, se proporciona un aparato para codificar una imagen, comprendiendo el aparato: un divisor de unidad de codificación máxima para dividir una imagen actual en al menos una unidad de codificación máxima; un determinador de profundidad codificado para determinar una estructura dividida de la al menos una unidad de codificación máxima y un modo de predicción de cada unidad de codificación codificando los datos de imagen de la al menos una unidad de codificación máxima basada en unidades de codificación más profundas según las profundidades, que se dividen jerárquicamente a medida que se profundiza una profundidad; y una unidad de codificación de información de codificación para establecer la información de división sobre la división de una unidad de codificación de una profundidad superior que incluye cada unidad de codificación, de acuerdo con cada unidad de codificación e información de salto que indica si la información de predicción determinada es un modo de salto, de acuerdo con cada unidad de codificación, y codificando la información de división del conjunto y la información de salto.

De acuerdo con otro aspecto de la presente invención, se proporciona un aparato para codificar una imagen, comprendiendo el aparato: un divisor de unidad de codificación máxima para dividir una imagen actual en al menos una unidad de codificación máxima; un determinador de profundidad codificado para determinar una estructura dividida de la al menos una unidad de codificación máxima y un modo de predicción de cada unidad de codificación codificando los datos de imagen de la al menos una unidad de codificación máxima basada en unidades de codificación más profundas según las profundidades, que se dividen jerárquicamente a medida que se profundiza una profundidad; y una unidad de codificación de información de codificación para establecer información de salto que indica si el modo de predicción de cada unidad de codificación y un modo de predicción de una profundidad superior, incluyendo cada unidad de codificación, son cada uno un modo de salto e información de división sobre división de una unidad de codificación de una profundidad superior que incluye cada unidad de codificación, de acuerdo con cada unidad de codificación, y codificando la información de división del conjunto y la información de salto.

De acuerdo con otro aspecto de la presente invención, se proporciona un aparato para decodificar una imagen, comprendiendo el aparato: un extractor de información de codificación para extraer información de división sobre división de unidades de decodificación de profundidades superiores que incluye una unidad de decodificación actual a decodificar e información de salto que indica si un modo de predicción de la unidad de decodificación actual es un modo de salto, a partir de datos de imágenes codificados de acuerdo con unidades de codificación máximas basadas en unidades de codificación más profundas de acuerdo con las profundidades, que se dividen jerárquicamente a medida que se profundiza una profundidad; y una unidad de decodificación para determinar estructuras divididas de una unidad de decodificación máxima que incluye la unidad de decodificación actual, de acuerdo con la información de división, y determinar si el modo de predicción de la unidad de decodificación actual es un modo de salto de acuerdo con la información de salto.

De acuerdo con otro aspecto de la presente invención, se proporciona un aparato para decodificar una imagen, comprendiendo el aparato: un extractor de información de codificación para extraer información de salto que indica si los modos de predicción de una unidad de decodificación actual a decodificar y las unidades de decodificación de profundidades superiores incluyendo la unidad de decodificación actual son cada una un modo de salto e información de división sobre división de las unidades de decodificación de profundidades superiores, incluyendo la unidad de decodificación actual, a partir de datos de imagen codificados de acuerdo con unidades de codificación máxima basadas en unidades de codificación más profundas de acuerdo con las profundidades, que se dividen jerárquicamente a medida que se profundiza una profundidad; y una unidad de decodificación para determinar si los modos de predicción de la unidad de decodificación actual y las unidades de decodificación de profundidades superiores son cada una un modo de salto según la información de salto extraída, y determinar estructuras divididas de una unidad de decodificación máxima que incluye la unidad de decodificación actual, según la información de división.

Modo de la invención

En lo sucesivo en el presente documento, la presente invención se describirá más completamente con referencia a los dibujos adjuntos. en el que se muestran las realizaciones ejemplares de la invención.

La figura 1 es un diagrama de bloques de un aparato de codificación de imágenes 100, de acuerdo con una realización de la presente invención.

En referencia a la figura 1, el aparato 100 de codificación de imágenes de acuerdo con la realización actual incluye un divisor 110 de unidades de codificación máxima, un determinador 120 de profundidad codificada, una unidad 130 de codificación de datos de imagen y una unidad 140 de codificación de información de codificación.

El divisor 110 de unidad de codificación máxima puede dividir una imagen actual o un segmento actual en función de una unidad de codificación máxima. La imagen actual o segmento actual se divide en al menos una unidad de codificación máxima. La unidad de codificación máxima de acuerdo con una realización de la presente invención puede ser una unidad de datos que tiene un tamaño de 32x32, 64x64, 128x128, 256x256, etc., en el que una estructura de la unidad de datos es un cuadrado que tiene una anchura y una longitud en cuadrados de 2, siendo la anchura y la longitud mayores que 8. Los datos de imagen pueden enviarse al determinador 120 de profundidad codificada según la al menos una unidad de codificación máxima.

Una unidad de codificación de acuerdo con una realización de la presente invención se puede expresar por una unidad de codificación máxima y una profundidad. La unidad de codificación máxima indica una unidad de codificación que tiene el tamaño más grande entre las unidades de codificación de una imagen actual, y la profundidad indica un número de veces que la unidad de codificación se divide espacialmente de la unidad de codificación máxima. A medida que la profundidad se profundiza, las unidades de codificación más profundas según las profundidades se pueden dividir desde la unidad de codificación máxima a una unidad de codificación mínima. Una profundidad de la unidad de codificación máxima es una profundidad superior y una profundidad de la unidad de codificación mínima es una profundidad inferior. Dado que el tamaño de una unidad de codificación correspondiente a cada profundidad disminuye a medida que se profundiza la profundidad de la unidad de codificación máxima, una unidad de codificación correspondiente a una profundidad superior puede incluir una pluralidad de unidades de codificación correspondientes a profundidades inferiores.

Como se ha descrito anteriormente, los datos de imagen de la imagen actual se dividen en las unidades de codificación máxima de acuerdo con un tamaño máximo de la unidad de codificación, y cada una de las unidades de codificación máxima puede incluir unidades de codificación más profundas que se dividen según las profundidades. Dado que la unidad de codificación máxima de acuerdo con una realización de la presente invención se divide según las profundidades, los datos de imagen de un dominio espacial incluidos en la unidad de codificación máxima se pueden clasificar jerárquicamente según las profundidades.

Una profundidad máxima y un tamaño máximo de una unidad de codificación, que limitan el número total de veces que una altura y una anchura de la unidad de codificación máxima están divididos jerárquicamente, puede predeterminarse. Dicha unidad de codificación máxima y profundidad máxima pueden establecerse en una unidad de imagen o segmento. En otras palabras, se pueden establecer diferentes unidades de codificación máxima y diferentes profundidades máximas para cada imagen o división, y un tamaño de una unidad de codificación mínima incluida en la unidad de codificación máxima se puede configurar de forma diversa de acuerdo con la profundidad máxima. Como tal, estableciendo varias veces la unidad de codificación máxima y la profundidad máxima según las imágenes o las divisiones, la eficiencia de la codificación se puede mejorar codificando una imagen de una región plana usando la unidad de codificación máxima, y la eficiencia de compresión de una imagen se puede mejorar codificando una imagen que tiene alta complejidad usando una unidad de codificación que tiene un tamaño menor que la unidad de codificación máxima.

El determinador 120 de la unidad de codificación determina las profundidades según las unidades de codificación máximas. La profundidad puede determinarse en función de un cálculo del coste de tasa-distorsión (RD). Con detalle, el determinador 120 de profundidad codificada codifica al menos una región dividida obtenida dividiendo una región de la unidad máxima de codificación según las profundidades, y determina una profundidad para emitir datos de imagen finalmente codificados según la al menos una región dividida. En otras palabras, el determinador 120 de profundidad codificado determina una profundidad codificada codificando los datos de imagen en las unidades de codificación más profundas de acuerdo con las profundidades, de acuerdo con la unidad de codificación máxima de la imagen actual, y seleccionando una profundidad que tenga el menor error de codificación. La profundidad máxima determinada se envía a la unidad 140 de codificación de información de codificación, y los datos de imagen según unidades de codificación máximas se envían a la unidad 130 de codificación de datos de imagen.

Los datos de imagen en la unidad de codificación máxima se codifican basándose en las unidades de codificación más profundas correspondientes a al menos una profundidad igual o inferior a la profundidad máxima, y los resultados de codificación de los datos de imagen se comparan en función de cada una de las unidades de codificación más profundas. Se puede seleccionar una profundidad que tenga el menor error de codificación después de comparar los errores de codificación de las unidades de codificación más profundas. Se puede seleccionar al menos una profundidad codificada para cada unidad de codificación máxima.

El tamaño de la unidad de codificación máxima se divide, ya que una unidad de codificación se divide jerárquicamente de acuerdo con las profundidades, y a medida que aumenta el número de unidades de codificación. Además, las unidades de codificación correspondientes a una misma profundidad en una unidad de codificación máxima se pueden dividir en unidades de codificación de una profundidad inferior midiendo un error de codificación de los datos de imagen, por separado. En consecuencia, incluso cuando los datos de imagen se incluyen en una unidad de codificación máxima, los errores de codificación pueden diferir según las regiones en la unidad de codificación máxima y, por lo tanto, las profundidades codificadas pueden diferir según las regiones en los datos de imagen. En otras palabras, la unidad de codificación máxima se puede dividir en unidades de codificación que tienen diferentes tamaños según diferentes profundidades. Por lo tanto, se pueden determinar una o más profundidades codificadas en una unidad de codificación máxima, y los datos de imagen de la unidad de codificación máxima se pueden dividir de acuerdo con unidades de codificación de al menos una profundidad codificada.

En consecuencia, el determinador 120 de la unidad de codificación de acuerdo con una realización de la presente invención puede determinar unidades de codificación que tienen una estructura de árbol incluida en la unidad de codificación máxima. Las "unidades de codificación que tienen una estructura de árbol" de acuerdo con una realización de la presente invención incluyen unidades de codificación correspondientes a una profundidad determinada como la profundidad codificada, entre todas las unidades de codificación más profundas incluidas en la unidad de codificación máxima. Una unidad de codificación de una profundidad codificada se puede determinar jerárquicamente según las profundidades en la misma región de la unidad de codificación máxima, y se puede determinar independientemente en diferentes regiones. De forma similar, una profundidad codificada en una región actual puede determinarse independientemente a partir de una profundidad codificada en otra región.

Una profundidad máxima de acuerdo con una realización de la presente invención es un índice relacionado con el número de tiempos de división desde una unidad de codificación máxima a una unidad de codificación mínima. Una primera profundidad máxima de acuerdo con una realización de la presente invención puede indicar el número total de tiempos de división desde la unidad de codificación máxima hasta la unidad de codificación mínima. Una segunda profundidad máxima de acuerdo con una realización de la presente invención puede indicar el número total de niveles de profundidad desde la unidad de codificación máxima hasta la unidad de codificación mínima. Por ejemplo, cuando la profundidad de la unidad de codificación máxima es 0, una profundidad de una unidad de codificación, en el que la unidad de codificación máxima se divide una vez, puede establecerse en 1, y una profundidad de una unidad de codificación, en el que la unidad de codificación máxima se divide dos veces, puede establecerse en 2. En este caso, si la unidad de codificación mínima es una unidad de codificación en la que la unidad de codificación máxima se divide cuatro veces, existen 5 niveles de profundidad de profundidades 0, 1, 2, 3 y 4, por lo que la primera profundidad máxima se puede establecer en 4 y la segunda profundidad máxima se puede establecer en 5.

La codificación de predicción y la transformación de la unidad de codificación máxima también se realizan en función de las unidades de codificación más profundas según una profundidad igual o inferior a la profundidad máxima, de acuerdo con la unidad de codificación máxima. En otras palabras, el aparato 100 de codificación de imágenes puede seleccionar diversamente un tamaño o estructura de una unidad de datos para codificar los datos de imagen. Para codificar los datos de imagen, operaciones, tal como predicción, transformación y codificación de entropía, se realizan, y en este momento, la misma unidad de datos se puede usar para todas las operaciones o se pueden usar diferentes unidades de datos para cada operación.

Por ejemplo, el aparato 100 de codificación de imágenes puede seleccionar una unidad de datos que es diferente de la unidad de codificación, para predecir la unidad de codificación. Para realizar la codificación de predicción en la unidad de codificación máxima, la codificación de predicción se puede realizar a base de una unidad de codificación correspondiente a una profundidad codificada, es decir, basado en una unidad de codificación que ya no está dividida en unidades de codificación correspondientes a una profundidad más baja. En lo sucesivo en el presente documento, la unidad de codificación que se convierte en una unidad base para la predicción se denominará ahora "unidad de predicción". Una partición obtenida dividiendo la unidad de predicción puede incluir una unidad de predicción o una unidad de datos obtenida dividiendo al menos una entre una altura y una anchura de la unidad de predicción.

Por ejemplo, cuando una unidad de codificación de 2Nx2N (donde N es un entero positivo) ya no se divide y se convierte en una unidad de predicción de 2Nx2N, y el tamaño de una partición puede ser 2Nx2N, 2NxN, Nx2N o NxN. Los ejemplos de un tipo de partición incluyen particiones simétricas que se obtienen dividiendo simétricamente una altura o anchura de la unidad de predicción, particiones obtenidas dividiendo asimétricamente la altura o la anchura de la unidad de predicción, tal como 1:n o n: 1, particiones que se obtienen dividiendo geométricamente la unidad de predicción, y particiones que tienen estructuras arbitrarias.

Un modo de predicción de la unidad de predicción puede ser al menos uno de un modo intra, un modo inter y un modo de salto. Por ejemplo, el modo intra o el modo inter se puede realizar en la partición de 2Nx2N, 2NxN, Nx2N o NxN. Además, el modo de salto solo se puede realizar en la partición de 2Nx2N. Si la unidad de codificación incluye una pluralidad de unidades de predicción, la codificación se realiza independientemente en cada unidad de predicción en la unidad de codificación, seleccionando de este modo un modo de predicción que tiene un error de codificación mínimo.

Como alternativa, el aparato 100 de codificación de imágenes puede transformar los datos de imagen en función de una unidad de datos que tiene un tamaño diferente de la unidad de codificación. Para transformar la unidad de codificación, la transformación puede realizarse a base de una unidad de datos que tiene un tamaño menor o igual que la unidad de codificación. En lo sucesivo en el presente documento, una unidad de datos utilizada como base de la transformación se denominará ahora "unidad de transformación". De forma similar a la unidad de codificación, la unidad de transformación en la unidad de codificación se puede dividir recursivamente en unidades de transformación de menor tamaño, y por lo tanto, los datos residuales en la unidad de codificación se pueden dividir de acuerdo con la transformación que tiene la estructura de árbol de acuerdo con las profundidades de transformación.

Una profundidad de transformación según una realización de la presente invención que indica el número de tiempos de división para alcanzar la unidad de transformación dividiendo la altura y la anchura de la unidad de codificación también puede establecerse en la unidad de transformación. Por ejemplo, en una unidad de codificación actual de 2Nx2N, una profundidad de transformación puede ser 0 cuando el tamaño de una unidad de transformación también es 2Nx2N, puede ser 1 cuando el tamaño de la unidad de transformación es NxN, y puede ser 2 cuando el tamaño de la unidad de transformación es N/2xN/2. En otras palabras, se puede establecer la unidad de transformación que tiene una estructura de árbol de acuerdo con profundidades de transformación. La codificación de la información de acuerdo con las profundidades codificadas no solo requiere información sobre la profundidad codificada, sino también sobre información relacionada con la codificación y transformación de predicción. En consecuencia, el determinador 120 de profundidad codificada no solo determina una profundidad codificada que tiene un error de codificación mínima, pero también determina un tipo de partición para dividir la unidad de predicción en particiones, un modo de predicción según unidades de predicción, y un tamaño de una unidad de transformación para la transformación.

El determinador 120 de profundidad codificada puede medir un error de codificación de unidades de codificación más profundas de acuerdo con las profundidades mediante el uso de optimización de distorsión de frecuencia basada en multiplicadores lagrangianos, para determinar una estructura dividida de la unidad de codificación máxima que tiene un error de codificación óptimo. En otras palabras, el determinador 120 de profundidad codificada puede determinar estructuras de las unidades de codificación que van a dividirse desde la unidad de codificación máxima, en el que los tamaños de las unidades de codificación son diferentes según las profundidades.

La unidad 130 de codificación de datos de imagen emite los datos de imagen de la unidad de codificación máxima, que está codificada de base en la al menos una profundidad codificada determinada por el determinador 120 de profundidad codificada, en flujos de bits. Dado que la codificación ya se realiza mediante el determinador 120 de profundidad codificada para medir el error mínimo de codificación, una secuencia de datos codificados puede emitirse utilizando el mínimo error de codificación.

La unidad 140 de codificación de información de codificación genera información sobre el modo de codificación de acuerdo con la profundidad codificada, que está codificada de base en la al menos una profundidad codificada determinada por el determinador 120 de profundidad codificada, en flujos de bits. La información sobre el modo de codificación de acuerdo con la profundidad codificada puede incluir información sobre la profundidad codificada, sobre el tipo de partición para dividir la unidad de predicción en particiones, el modo de predicción según las unidades de predicción y el tamaño de la unidad de transformación.

La información sobre la profundidad codificada se puede definir mediante el uso de información de división de acuerdo con las profundidades, que indica si la codificación se realiza en unidades de codificación de una profundidad más baja en lugar de una profundidad actual. Si la profundidad actual de la unidad de codificación actual es la profundidad codificada, los datos de imagen en la unidad de codificación actual se codifican y emiten, y así la información de división puede definirse para no dividir la unidad de codificación actual a una profundidad menor. Como alternativa, si la profundidad actual de la unidad de codificación actual no es la profundidad codificada, la codificación se realiza en la unidad de codificación de la profundidad más baja, y así la información de división puede definirse para dividir la unidad de codificación actual para obtener las unidades de codificación de la profundidad más baja.

Si la profundidad actual no es la profundidad codificada, la codificación se realiza en la unidad de codificación que se divide en la unidad de codificación de la profundidad más baja. Dado que existe al menos una unidad de codificación de la profundidad más baja en una unidad de codificación de la profundidad actual, la codificación se realiza repetidamente en cada unidad de codificación de la profundidad más baja, y así la codificación puede realizarse recursivamente para las unidades de codificación que tienen la misma profundidad.

Dado que las unidades de codificación que tienen una estructura de árbol se determinan para una unidad de codificación máxima, y se determina información sobre al menos un modo de codificación para una unidad de codificación de una profundidad codificada, la información sobre al menos un modo de codificación se puede determinar para una unidad de codificación máxima. Además, una profundidad codificada de los datos de imagen de la unidad de codificación máxima puede ser diferente según las ubicaciones, ya que los datos de imagen se dividen jerárquicamente según las profundidades, y así puede establecerse información sobre la profundidad codificada y el modo de codificación para los datos de imagen.

En consecuencia, la unidad 140 de codificación de información de codificación de acuerdo con una realización de la presente invención puede asignar información de codificación acerca de una profundidad codificada correspondiente y un modo de codificación a al menos una de la unidad de codificación, la unidad de predicción y una unidad mínima incluida en la unidad de codificación máxima.

La unidad mínima de acuerdo con una realización de la presente invención es una unidad de datos rectangular obtenida dividiendo la unidad de codificación mínima que constituye la profundidad más baja por 4. Como alternativa, la unidad mínima puede ser una unidad de datos rectangular máxima que puede incluirse en todas las unidades de codificación, unidades de predicción, unidades de partición y unidades de transformación incluidas en la unidad de codificación máxima. Por ejemplo, la información de codificación emitida a través de la unidad 140 de codificación de información de codificación puede clasificarse en información de codificación de acuerdo con unidades de codificación, y la información de codificación de acuerdo con unidades de predicción. La información de codificación según las unidades de codificación puede incluir información sobre el modo de predicción y sobre el tamaño de las particiones. La información de codificación según las unidades de predicción puede incluir información sobre una dirección estimada de un modo inter, sobre un índice de imagen de referencia del modo inter, sobre un vector de movimiento, sobre un componente de croma de un modo intra, y sobre un procedimiento de interpolación del modo intra. Además, información sobre el tamaño máximo de la unidad de codificación definida según las imágenes, segmentos, o GOP, e información sobre una profundidad máxima puede insertarse en SPS (conjunto de parámetros de secuencia) o un encabezado de un flujo de bits.

En el aparato 100 de codificación de imágenes, la unidad de codificación más profunda puede ser una unidad de codificación obtenida dividiendo una altura o anchura de una unidad de codificación de una profundidad superior, que es una capa superior, en dos. En otras palabras, cuando el tamaño de la unidad de codificación de la profundidad actual k es 2Nx2N, el tamaño de la unidad de codificación de la profundidad más baja k+1 es NxN. Por lo tanto, la unidad de codificación de la profundidad actual que tiene el tamaño de 2Nx2N puede incluir un máximo de 4 de la unidad de codificación de la profundidad más baja de NxN.

En consecuencia, el aparato 100 de codificación de imágenes de acuerdo con una realización de la presente invención puede formar las unidades de codificación que tienen la estructura de árbol mediante la determinación de unidades de codificación que tienen una estructura óptima y un tamaño óptimo para cada unidad de codificación máxima, basado en el tamaño de la unidad de codificación máxima y la profundidad máxima determinada teniendo en cuenta las características de la imagen actual. Además, ya que la codificación se puede realizar en cada unidad de codificación máxima usando cualquiera de los diversos modos de predicción y transformaciones, un modo de codificación óptimo se puede determinar considerando las características de la unidad de codificación de varios tamaños de imagen.

Si una imagen que tiene alta resolución o gran cantidad de datos está codificada en un macrobloque convencional que tiene un tamaño de 16x16, una cantidad de macrobloques por imagen aumenta excesivamente. En consecuencia, se incrementan varias piezas de información comprimida generadas para cada macrobloque, y por lo tanto es difícil transmitir la información comprimida y la eficacia de compresión de datos disminuye. Sin embargo, utilizando el aparato 100 de codificación de imágenes, la eficacia de compresión de la imagen puede aumentar, ya que se ajusta una unidad de codificación al considerar las características de una imagen al tiempo que se aumenta el tamaño máximo de una unidad de codificación al considerar el tamaño de la imagen.

La figura 2 es un diagrama de bloques de un aparato 200 de decodificación de imágenes, de acuerdo con una realización de la presente invención.

En referencia a la figura 2, el aparato 200 de decodificación de imágenes incluye un receptor 210 de datos de imágenes, un extractor 220 de información de codificación y una unidad 230 de decodificación de datos de imagen. Definiciones de varios términos, tal como una unidad de codificación, una profundidad, una unidad de predicción, una unidad de transformación, e información sobre varios modos de codificación, para diversas operaciones del aparato 200 de decodificación de imágenes son idénticas a las descritas con referencia a la figura 1 y al aparato 100 de codificación de imágenes. El obtentor 210 de datos de imagen recibe y analiza un flujo de bits recibido por el aparato 200 de decodificación de imágenes para obtener datos de imágenes de acuerdo con unidades de codificación máxima, y emite los datos de imágenes a la unidad 230 de decodificación de datos de imágenes. El obtentor 210 de datos de imagen puede extraer información sobre la unidad de codificación máxima de una imagen o segmento actual a partir de un encabezado sobre la imagen o segmento actual. El aparato 200 de decodificación de imágenes de acuerdo con una realización de la presente invención decodifica los datos de imágenes de acuerdo con unidades de codificación máxima.

Además, el extractor 220 de información de codificación extrae información sobre una profundidad codificada y un modo de codificación para las unidades de codificación que tienen una estructura de árbol de acuerdo con cada unidad de codificación máxima, analizando el flujo de bits recibido por el aparato 200 de decodificación de imágenes. La información extraída sobre la profundidad codificada y el modo de codificación se envía a la unidad 230 de decodificación de datos de imágenes.

La información sobre la profundidad codificada y el modo de codificación según la unidad de codificación máxima puede establecerse para información sobre al menos una unidad de codificación correspondiente a la profundidad codificada, y la información sobre un modo de codificación puede incluir información sobre un tipo de partición de una unidad de codificación correspondiente que corresponde a la profundidad codificada, sobre un modo de predicción, y un tamaño de una unidad de transformación. Además, la información de división según profundidades se puede extraer como la información sobre la profundidad codificada.

La información sobre la profundidad codificada y el modo de codificación según cada unidad de codificación máxima extraída por el extractor 220 de información de codificación es información sobre una profundidad codificada y un modo de codificación determinado para generar un error de codificación mínimo cuando un codificador, tal como el aparato 100 de codificación de imágenes, realiza repetidamente la codificación para cada unidad de codificación más profunda según las profundidades de acuerdo con cada unidad de codificación máxima. En consecuencia, el aparato 200 de decodificación de imágenes puede restaurar una imagen decodificando los datos de imágenes de acuerdo con un modo de codificación que genera el mínimo error de codificación.

Dado que la información de codificación sobre la profundidad codificada y el modo de codificación se puede asignar a una unidad de datos predeterminada entre una unidad de codificación correspondiente, una unidad de predicción, y una unidad mínima, el extractor 220 de información de codificación puede extraer la información sobre la profundidad codificada y el modo de codificación de acuerdo con las unidades de datos predeterminadas. Si la información sobre la profundidad codificada y el modo de codificación de la unidad de codificación máxima correspondiente se registra de acuerdo con las unidades de datos predeterminadas, las unidades de datos predeterminadas a las que se les asigna la misma información sobre la profundidad codificada y el modo de codificación pueden inferirse para ser las unidades de datos incluidas en la misma unidad de codificación máxima.

La unidad 230 de decodificación de datos de imagen restaura la imagen actual decodificando los datos de imagen en cada unidad de codificación máxima basándose en la información sobre la profundidad codificada y el modo de codificación según las unidades de codificación máximas extraídas por el extractor 220 de información de codificación. En otras palabras, la unidad 230 de decodificación de datos de imagen puede decodificar los datos de imágenes codificadas en función de la información extraída sobre el tipo de partición, el modo de predicción y la unidad de transformación para cada unidad de codificación entre las unidades de codificación que tienen la estructura de árbol incluida en cada unidad de codificación máxima. Un proceso de decodificación puede incluir un proceso de intra predicción, un proceso de predicción de movimiento que incluye compensación de movimiento y un proceso de transformación inversa.

La unidad 230 de decodificación de datos de imagen puede realizar intra predicción o compensación de movimiento de acuerdo con una partición y un modo de predicción de cada unidad de codificación, basado en la información sobre el tipo de partición y el modo de predicción de la unidad de predicción de la unidad de codificación de acuerdo con las profundidades codificadas. Además, la unidad 230 de decodificación de datos de imagen puede realizar una transformación inversa de acuerdo con cada unidad de transformación en la unidad de codificación, a base de la información sobre el tamaño de la unidad de transformación de la unidad de codificación de acuerdo con profundidades codificadas, para realizar la transformación inversa según las unidades de codificación máxima.

El decodificador 230 de datos de imagen puede determinar una profundidad codificada de una unidad de codificación máxima actual utilizando información de división de acuerdo con las profundidades. Si la información de división indica que los datos de la imagen ya no se divide en la profundidad actual, la profundidad actual es una profundidad codificada. En consecuencia, la unidad 230 de decodificación de datos de imagen puede decodificar una unidad de codificación de la profundidad actual de los datos codificados en la unidad de codificación máxima actual usando la información sobre el tipo de partición de la unidad de predicción, el modo de predicción y el tamaño de la unidad de transformación. En otras palabras, las unidades de datos que contienen la información de codificación que incluye la misma información de división pueden reunirse observando el conjunto de información de codificación asignado para la unidad de datos predeterminada entre la unidad de codificación, la unidad de predicción, y la unidad mínima, y las unidades de datos reunidos pueden considerarse como una unidad de datos a decodificar por la unidad 230 de decodificación de datos de imagen en el mismo modo de codificación.

El aparato 200 de decodificación de imágenes puede obtener información sobre una unidad de codificación que genera el mínimo error de codificación cuando la codificación se realiza recursivamente para cada unidad de codificación máxima, y puede usar la información para decodificar la imagen actual. En otras palabras, las unidades de codificación que tienen la estructura de árbol determinada para ser las unidades de codificación óptimas en cada unidad de codificación máxima pueden decodificarse. En consecuencia, incluso si los datos de imagen tienen alta resolución y una gran cantidad de datos, los datos de imagen se pueden decodificar y restaurar de manera eficiente usando un tamaño de una unidad de codificación y un modo de codificación, que se determinan de manera adaptativa según las características de los datos de imagen, utilizando información sobre un modo de codificación óptimo recibido desde un codificador.

La figura 3 es un diagrama para describir un concepto de unidades de codificación jerárquica de acuerdo con una realización de la presente invención.

En referencia a la figura 3, el tamaño de una unidad de codificación puede expresarse en anchura x altura, y puede ser de 64x64, 32x32, 16x16 y 8x8. Una unidad de codificación de 64x64 se puede dividir en particiones de 64x64, 64x32, 32x64 o 32x32, y una unidad de codificación de 32x32 se puede dividir en particiones de 32x32, 32x16, 16x32 o 16x16, una unidad de codificación de 16x16 se puede dividir en particiones de 16x16, 16x8, 8x16 u 8x8, y una unidad de codificación de 8x8 se puede dividir en particiones de 8x8, 8x4, 4x8 o 4x4.

En datos 310 de video, una resolución es 1920x1080, un tamaño máximo de una unidad de codificación es 64, y una profundidad máxima es 2. En datos 320 de video, una resolución es 1920x1080, un tamaño máximo de una unidad de codificación es 64, y una profundidad máxima es 3. En datos 330 de video, una resolución es 352x288, un tamaño máximo de una unidad de codificación es 16, y una profundidad máxima es 1. La profundidad máxima mostrada en la figura 3 indica un número total de divisiones desde una unidad de codificación máxima a una unidad de decodificación mínima.

Si una resolución es alta o la cantidad de datos es grande, un tamaño máximo de una unidad de codificación puede ser grande para no solo aumentar la eficacia de la codificación, sino también para reflejar con precisión las características de una imagen. En consecuencia, el tamaño máximo de la unidad de codificación de los datos de video 310 y 320 que tiene la resolución más alta que los datos de video 330 puede ser 64.

Dado que la profundidad máxima de los datos 310 de video es 2, las unidades 315 de codificación de los datos de video 310 pueden incluir una unidad de codificación máxima que tiene un tamaño de eje largo de 64 y unidades de codificación que tienen tamaños de eje largo de 32 y 16, ya que las profundidades se profundizan en dos capas dividiendo la unidad de codificación máxima dos veces. Paralelamente, dado que la profundidad máxima de los datos 330 de video es 1, las unidades 335 de codificación de los datos de video 330 pueden incluir una unidad de codificación máxima que tiene un tamaño de eje largo de 16 y unidades de codificación que tienen un tamaño de eje largo de 8, ya que las profundidades se profundizan en una capa dividiendo la unidad de codificación máxima una vez.

Dado que la profundidad máxima de los datos 320 de video es 3, las unidades 325 de codificación de los datos de video 320 pueden incluir una unidad de codificación máxima que tiene un tamaño de eje largo de 64 y unidades de codificación que tienen tamaños de eje largo de 32, 16 y 8 porque las profundidades se profundizan en 3 capas dividiendo la unidad de codificación máxima tres veces. A medida que se profundiza una profundidad, la información detallada se puede expresar con precisión.

La figura 4 es un diagrama de bloques de un codificador 400 de imágenes basado en unidades de codificación de acuerdo con una realización de la presente invención.

El codificador 400 de imágenes de acuerdo con una realización de la presente invención realiza operaciones del determinador 120 de profundidad codificada del aparato 100 de codificación de imágenes para codificar datos de imágenes.

En referencia a la figura 4, un predictor 410 intra realiza intra predicción en unidades de predicción en un modo intra, entre una trama 405 actual, y un estimador 420 de movimiento y un compensador 425 de movimiento realiza una inter estimación y una compensación de movimiento en unidades de predicción en un modo inter utilizando la trama 405 actual, y una trama 495 de referencia.

Los valores residuales se generan a base de las unidades de predicción emitidas desde el predictor 410 intra, el estimador 420 de movimiento, y el compensador 425 de movimiento, y los valores residuales generados se emiten como un coeficiente de transformación cuantificado a través de un transformador 430 y un cuantificador 440.

El coeficiente de transformación cuantificado se restablece como los valores residuales a través de un cuantificador 460 inverso y un transformador 470 inverso, y los valores residuales restaurados salen como la trama 495 de referencia después de ser procesados a través de una unidad 480 de desbloqueo y una unidad 490 de filtrado de bucle. El coeficiente de transformación cuantificado puede emitirse como un flujo de bits 455 a través de un codificador 450 de entropía.

Para realizar la codificación de acuerdo con un procedimiento de codificación de imágenes de acuerdo con una realización de la presente invención, todos los elementos del codificador 400 de imágenes, es decir, el intra predictor 410, el estimador 420 de movimiento, el compensador 425 de movimiento, el transformador 430, el cuantificador 440, el codificador 450 de entropía, el cuantificador 460 inverso, el transformador 470 inverso, la unidad 480 de desbloqueo y la unidad 490 de filtrado de bucle realizan operaciones de codificación de imágenes basadas en cada unidad de codificación entre unidades de codificación que tienen una estructura en árbol, considerando la profundidad máxima de cada unidad de codificación máxima. Específicamente, el intra predictor 410, el estimador 420 de movimiento, y el compensador 425 de movimiento determina particiones y un modo de predicción de cada unidad de codificación entre las unidades de codificación que tienen una estructura de árbol considerando el tamaño máximo y la profundidad máxima de una unidad de codificación máxima actual, y el transformador 430 determina el tamaño de la unidad de transformación en cada unidad de codificación entre las unidades de codificación que tienen una estructura de árbol.

La figura 5 es un diagrama de bloques de un decodificador 500 de imágenes basado en unidades de codificación de acuerdo con una realización de la presente invención.

En referencia a la figura 5, un analizador 510 analiza los datos de imagen codificados a decodificar e información sobre la codificación requerida para decodificar desde un flujo de bits 505. Los datos de imagen codificados se emiten como datos cuantificados inversos a través de un decodificador 520 de entropía y un cuantificador 530 inverso, y los datos cuantificados inversos se restauran a valores residuales a través de un transformador 540 inverso. Los valores residuales se restauran de acuerdo con las unidades de codificación añadiéndose a un resultado de intra predicción de un intra predictor 550 o un resultado de compensación de movimiento de un compensador 560 de movimiento. Las unidades de codificación restauradas pasan a través de una unidad 570 de desbloqueo y una unidad 580 de filtrado de bucle para usarse para predecir una siguiente unidad de codificación o imagen.

Para realizar la decodificación de acuerdo con un procedimiento de decodificación de imágenes de acuerdo con una realización de la presente invención, todos los elementos del decodificador 500 de imágenes, es decir, el analizador 510, el decodificador 520 de entropía, el cuantificador 530 inverso, el transformador 540 inverso, el intra predictor 550, el compensador 560 de movimiento, la unidad 570 de desbloqueo y la unidad 580 de filtrado de bucle realizan procesos de decodificación de imágenes basados en la unidad de codificación máxima, la unidad de codificación según las profundidades, la unidad de predicción y la unidad de transformación. Específicamente, la intra predicción 550 y el compensador 560 de movimiento determinan la unidad de predicción y el modo de predicción de la unidad de codificación considerando el tamaño máximo y la profundidad de la unidad de codificación, y el transformador 540 inverso determina el tamaño de la unidad de transformación considerando el tamaño máximo y la profundidad de la unidad de codificación.

La figura 6 es un diagrama que ilustra unidades de codificación más profundas según las profundidades, y unidades de predicción de acuerdo con una realización de la presente invención.

El aparato 100 de codificación de imágenes y el aparato 200 de decodificación de imágenes usan unidades de codificación jerárquicas para considerar las características de una imagen. Una altura máxima, una anchura máxima y una profundidad máxima de unidades de codificación pueden determinarse de manera adaptativa según las características de la imagen, o pueden ser configuradas de manera diferente por un usuario. Los tamaños de las unidades de codificación más profundas según las profundidades se pueden determinar de acuerdo con el tamaño máximo predeterminado de la unidad de codificación.

En una estructura 600 jerárquica de unidades de codificación, de acuerdo con una realización de la presente invención, la altura máxima y la anchura máxima de las unidades de codificación son 64 y la profundidad máxima es 4. Dado que una profundidad se profundiza a lo largo de un eje vertical de la estructura 600 jerárquica, una altura y una anchura de la unidad de codificación más profunda están divididas. Además, una unidad de predicción y particiones, que son bases para la codificación de predicción de cada unidad de codificación más profunda, se muestran a lo largo de un eje horizontal de la estructura 600 jerárquica.

Una unidad 610 de codificación es una unidad de codificación máxima en la estructura 600 jerárquica, en la que una profundidad es 0 y un tamaño, es decir, una altura por anchura, es 64x64. La profundidad se profundiza a lo largo del eje vertical, y una unidad 620 de codificación que tiene un tamaño de 32x32 y una profundidad de 1, una unidad 630 de codificación que tiene un tamaño de 16x16 y una profundidad de 2, una unidad 640 de codificación que tiene un tamaño de 8x8 y una profundidad de 3, y una unidad 650 de codificación que tiene un tamaño de 4x4 y una profundidad de 4. La unidad 650 de codificación que tiene el tamaño de 4x4 y la profundidad de 4 es una unidad de codificación mínima.

Además, con referencia a la figura 6, la unidad de predicción y las particiones de una unidad de codificación están dispuestas a lo largo del eje horizontal de acuerdo con cada profundidad. En otras palabras, si la unidad 610 de codificación que tiene el tamaño de 64x64 y la profundidad de 0 es una unidad de predicción, la unidad de predicción puede dividirse en particiones incluidas en la unidad 610 de codificación, es decir, una partición 610 que tiene un tamaño de 64x64, particiones 612 que tienen el tamaño de 64x32, las particiones 614 que tienen el tamaño de 32x64, o las particiones 616 que tienen el tamaño de 32x32.

De forma similar, una unidad de predicción de la unidad 620 de codificación que tiene el tamaño de 32x32 y la profundidad de 1 puede dividirse en particiones incluidas en la unidad 620 de codificación, es decir, una partición 620 que tiene un tamaño de 32x32, particiones 622 que tienen un tamaño de 32x16, las particiones 624 que tienen un tamaño de 16x32 y las particiones 626 que tienen un tamaño de 16x16.

Una unidad de predicción de la unidad 630 de codificación que tiene el tamaño de 16x16 y la profundidad de 2 se puede dividir en particiones incluidas en la unidad 630 de codificación, es decir, una partición que tiene un tamaño de 16x16 incluido en la unidad 630 de codificación, particiones 632 que tienen un tamaño de 16x8, las particiones 634 que tienen un tamaño de 8x16 y las particiones 636 que tienen un tamaño de 8x8.

Una unidad de predicción de la unidad 640 de codificación que tiene el tamaño de 8x8 y la profundidad de 3 se puede dividir en particiones incluidas en la unidad 640 de codificación, es decir, una partición que tiene un tamaño de 8x8 incluido en la unidad 640 de codificación, particiones 642 que tienen un tamaño de 8x4, las particiones 644 que tienen un tamaño de 4x8 y las particiones 646 que tienen un tamaño de 4x4.

La unidad 650 de codificación que tiene el tamaño de 4x4 y la profundidad de 4 es la unidad de codificación mínima y una unidad de codificación de la profundidad más baja. Una unidad de predicción de la unidad 650 de codificación solo está asignada a una partición que tiene un tamaño de 4x4.

Para determinar la al menos una profundidad codificada de las unidades de codificación que constituyen la unidad 610 de codificación máxima, el determinador 120 de profundidad codificada del aparato 100 de codificación de imágenes realiza la codificación para las unidades de codificación correspondientes a cada profundidad incluida en la unidad 610 de codificación máxima.

Un número de unidades de codificación más profundas de acuerdo con las profundidades, incluyendo los datos en el mismo rango y el mismo tamaño aumenta a medida que la profundidad se profundiza. Por ejemplo, se requieren cuatro unidades de codificación correspondientes a una profundidad de 2 para cubrir los datos que se incluyen en una unidad de codificación correspondiente a una profundidad de 1. En consecuencia, para comparar los resultados de codificación de los mismos datos de acuerdo con las profundidades, la unidad de codificación correspondiente a la profundidad de 1 y cuatro unidades de codificación correspondientes a la profundidad de 2 están codificadas.

Para realizar la codificación de una profundidad actual entre las profundidades, se puede seleccionar un error de codificación mínimo para la profundidad actual realizando la codificación para cada unidad de predicción en las unidades de codificación correspondientes a la profundidad actual, a lo largo del eje horizontal de la estructura 600 jerárquica. Como alternativa, el mínimo error de codificación puede buscarse comparando los errores de codificación mínima de acuerdo con las profundidades, realizando la codificación para cada profundidad a medida que la profundidad se profundiza a lo largo del eje vertical de la estructura 600 jerárquica. Se puede seleccionar una profundidad y una partición que tengan el mínimo error de codificación en la unidad 610 de codificación como la profundidad codificada y un tipo de partición de la unidad 610 de codificación.

La figura 7 es un diagrama para describir una relación entre una unidad 710 de codificación y unidades 720 de transformación, de acuerdo con una realización de la presente invención.

El aparato 100 de codificación de imágenes o el aparato 200 de decodificación de imágenes codifica o decodifica una imagen de acuerdo con unidades de codificación que tienen tamaños menores que o iguales a una unidad de codificación máxima para cada unidad de codificación máxima. Los tamaños de las unidades de transformación para la transformación durante la codificación pueden seleccionarse basándose en unidades de datos que no son más grandes que una unidad de codificación correspondiente. Por ejemplo, si el tamaño de la unidad 710 de codificación es 64x64, la transformación puede realizarse usando las unidades 720 de transformación que tienen un tamaño de 32x32. Además, los datos de la unidad 710 de codificación que tienen el tamaño de 64x64 pueden codificarse realizando la transformación en cada una de las unidades de transformación que tienen el tamaño de 32x32, 16x16, 8x8 y 4x4, que son más pequeños que 64x64, y luego se puede seleccionar una unidad de transformación que tenga el mínimo error de codificación.

La figura 8 es un diagrama para describir información de codificación de unidades de codificación correspondientes a una profundidad codificada, de acuerdo con una realización de la presente invención.

La unidad 130 de codificación de datos de imágenes del aparato 100 de codificación de imágenes de acuerdo con una realización de la presente invención puede codificar y transmitir información 800 sobre un tipo de partición, información 810 sobre un modo de predicción, e información 820 sobre un tamaño de una unidad de transformación para cada unidad de codificación correspondiente a una profundidad codificada, como información sobre un modo de codificación.

La información 800 indica información sobre una estructura de una partición obtenida mediante la división de una unidad de predicción de una unidad de codificación actual, en el que la partición es una unidad de datos para la codificación de predicción de la unidad de codificación actual. Por ejemplo, una unidad de codificación actual CU_0 que tiene un tamaño de 2Nx2N puede dividirse en una cualquiera de una partición 802 que tiene un tamaño de 2Nx2N, una partición 804 que tiene un tamaño de 2NxN, una partición 806 que tiene un tamaño de Nx2N, y una partición 808 que tiene un tamaño de NxN. En este caso, la información 800 sobre un tipo de partición se configura para indicar que una de las particiones 804 tiene un tamaño de 2NxN, la partición 806 que tiene un tamaño de Nx2N, y la partición 808 que tiene un tamaño de NxN.

La información 810 indica un modo de predicción de cada partición. Por ejemplo, la información 810 puede indicar un modo de codificación de predicción realizado en una partición indicada por la información 800, es decir, un modo intra 812, un modo inter 814 o un modo de salto 816.

La información 820 indica un tamaño de una unidad de transformación en función de cuándo se realiza la transformación en una unidad de codificación actual. Por ejemplo, la unidad de transformación puede ser una primera unidad 822 de transformación intra, una segunda unidad 824 de transformación intra, una primera unidad 826 de transformación inter, o una segunda unidad 828 de transformación intra.

El extractor 220 de información de codificación del aparato 200 de decodificación de imágenes puede extraer y usar la información 800, 810 y 820 para la decodificación, de acuerdo con cada unidad de codificación más profunda.

La figura 9 es un diagrama de unidades de codificación más profundas de acuerdo con las profundidades, de acuerdo con una realización de la presente invención.

La información de división se puede usar para indicar un cambio de profundidad. La información de división indica si una unidad de codificación de una profundidad actual se divide en unidades de codificación de una profundidad inferior.

Una unidad 910 de predicción para la codificación de predicción de una unidad 900 de codificación que tiene una profundidad de 0 y un tamaño de 2N_0x2N_0 puede incluir particiones de un tipo de partición 912 que tiene un tamaño de 2N_0x2N_0, un tipo de partición 914 que tiene un tamaño de 2N_0xN_0, un tipo de partición 916 que tiene un tamaño de N_0x2N_0, y un tipo de partición 918 que tiene un tamaño de N_0xN_0. La figura 9 solo ilustra los tipos de partición 912 a 918 que se obtienen dividiendo simétricamente la unidad 910 de predicción, pero un tipo de partición no está limitado a esto, y las particiones de la unidad 910 de predicción pueden incluir particiones asimétricas, particiones que tienen una estructura predeterminada, y particiones que tienen una estructura geométrica.

La codificación de predicción se realiza repetidamente en una partición que tiene un tamaño de 2N_0x2N_0, dos particiones que tienen un tamaño de 2N_0xN_0, dos particiones que tienen un tamaño de N_0x2N_0 y cuatro particiones que tienen un tamaño de N_0xN_0, de acuerdo con cada tipo de partición. La codificación de predicción en un modo intra y un modo inter se puede realizar en las particiones que tienen los tamaños de 2N_0x2N_0, N_0x2N_0, 2N_0xN_0 y N_0xN_0. La codificación de predicción en un modo de salto se realiza solo en la partición que tiene el tamaño de 2N_0x2N_0. Si un error de codificación es el más pequeño en uno de los tipos de partición 912 a 916, la unidad 910 de predicción no se puede dividir en una profundidad más baja.

Si el error de codificación es el más pequeño en el tipo de partición 918, una profundidad cambia de 0 a 1 para dividir el tipo de partición 918 en la operación 920, y la codificación se realiza repetidamente en las unidades 930 de codificación que tienen una profundidad de 2 y un tamaño de N_0xN_0 para buscar un error de codificación mínimo.

Una unidad 940 de predicción para la codificación de predicción de la unidad 930 de codificación que tiene una profundidad de 1 y un tamaño de 2N_1x2N_1 (= N_0xN_0) puede incluir particiones de un tipo de partición 942 que tiene un tamaño de 2N_1x2N_1, un tipo de partición 944 que tiene un tamaño de 2N_1xN_1, un tipo de partición 946 que tiene un tamaño de N_1x2N_1, y un tipo de partición 948 que tiene un tamaño de N_1xN_1.

Si un error de codificación es el más pequeño en el tipo de partición 948, una profundidad se cambia de 1 a 2 para dividir el tipo de partición 948 en la operación 950, y la codificación se realiza repetidamente en las unidades 960 de codificación, que tienen una profundidad de 2 y un tamaño de N_2xN_2 para buscar un error de codificación mínimo.

Cuando una profundidad máxima es d, la operación dividida de acuerdo con cada profundidad se puede realizar hasta cuando una profundidad se convierte en d-1, y la información de división se puede codificar como hasta cuando una profundidad es de 0 a d-2. En otras palabras, cuando la codificación se realiza hasta cuando la profundidad es d-1 después de que una unidad de codificación correspondiente a una profundidad de d-2 se divide en la operación 970, una unidad 990 de predicción para la codificación de predicción de una unidad 980 de codificación que tiene una profundidad de d-1 y un tamaño de 2N_ (d-1)x2N_ (d-1) puede incluir particiones de un tipo de partición 992 que tiene un tamaño de 2N_ (d- 1)x2N_ (d-1), un tipo de partición 994 que tiene un tamaño de 2N_ (d-1)xN_ (d-1), un tipo de partición 996 que tiene un tamaño de N_ (d-1)x2N_ (d-1), y un tipo de partición 998 que tiene un tamaño de N_ (d-1)xN_(d-1).

La codificación de predicción se puede realizar repetidamente en una partición que tiene un tamaño de 2N_ (d-1)x2N_ (d-1), dos particiones que tienen un tamaño de 2N_ (d-1)xN_ (d-1), dos particiones que tienen un tamaño de N_ (d-1)x2N_ (d-1), cuatro particiones que tienen un tamaño de N_ (d-1)xN_ (d-1) entre los tipos de partición 992 a 998 para buscar un tipo de partición que tenga un error de codificación mínimo. Incluso cuando el tipo de partición 998 tiene el mínimo error de codificación, ya que una profundidad máxima es d, una unidad de codificación CU_ (d-1) que tiene una profundidad de d-1 ya no se divide a una profundidad menor, y se determina que una profundidad codificada para las unidades de codificación que constituyen una unidad 900 de codificación máxima actual es d-1 y una partición el tipo de la unidad 900 de codificación máxima actual se puede determinar que sea N_ (d-1)xN_ (d-1). Además, dado que la profundidad máxima es d y una unidad 980 de codificación mínima que tiene una profundidad más baja de d-1 ya no se divide a una profundidad más baja, la información de división para la unidad 980 de codificación mínima no está configurada.

Una unidad 999 de datos puede ser una 'unidad mínima' para la unidad de codificación máxima actual. Una unidad mínima de acuerdo con una realización de la presente invención puede ser una unidad de datos rectangular obtenida dividiendo una unidad 980 de codificación mínima por 4. Al realizar la codificación repetidamente, el aparato 100 de codificación de imágenes puede seleccionar una profundidad que tenga el menor error de codificación comparando errores de codificación según las profundidades de la unidad 900 de codificación para determinar una profundidad codificada, y establecer un tipo de partición correspondiente y un modo de predicción como un modo de codificación de la profundidad codificada.

Como tal, los errores de codificación mínimos según las profundidades se comparan en todas las profundidades de 1 a d, y una profundidad que tiene el menor error de codificación se puede determinar como una profundidad codificada. La profundidad codificada, el tipo de partición de la unidad de predicción y el modo de predicción pueden codificarse y transmitirse como información sobre un modo de codificación. Además, dado que una unidad de codificación se divide desde una profundidad de 0 a una profundidad codificada, solo la información de división de la profundidad codificada se establece en 0, y la información de división de profundidades excluyendo la profundidad codificada se establece en 1.

El extractor 220 de información de codificación del aparato 200 de decodificación de imágenes según una realización de la presente invención puede extraer y usar la información sobre la profundidad codificada y la unidad de predicción de la unidad 900 de codificación para decodificar la unidad 900 de codificación. El aparato 200 de decodificación de imágenes de acuerdo con una realización de la presente invención puede determinar una profundidad, en que la información de división es 0, como una profundidad codificada mediante el uso de información de división de acuerdo con las profundidades, y el uso de información sobre un modo de codificación de la profundidad correspondiente para la decodificación.

Las figuras 10 a 12 son diagramas para describir una relación entre unidades 1010 de codificación, unidades 1060 de predicción, y unidades 1070 de transformación, de acuerdo con una realización de la presente invención.

Las unidades 1010 de codificación son unidades de codificación correspondientes a profundidades codificadas determinadas por el aparato 100 de codificación de imágenes, en una unidad de codificación máxima. Las unidades 1060 de predicción son particiones de unidades de predicción de cada una de las unidades 1010 de codificación, y las unidades 1070 de transformación son unidades de transformación de cada una de las unidades 1010 de codificación.

Cuando la profundidad de la unidad de codificación máxima es 0, las profundidades de las unidades 1012 y 1054 de codificación son 1, las profundidades de las unidades 1014, 1016, 1018, 1028, 1050 y 1052 de codificación son 2, las profundidades de las unidades 1020, 1022, 1024, 1026, 1030, 1032 y 1048 de codificación son 3, y las profundidades de las unidades 1040, 1042, 1044 y 1046 de codificación son 4.

En las unidades 1060 de predicción, algunas unidades 1014, 1016, 1022, 1032, 1048, 1050, 1052 y 1054 de codificación se obtienen dividiendo las unidades de codificación en las unidades 1010 de codificación. En otras palabras, los tipos de partición en las unidades 1014, 1022, 1050 y 1054 de codificación tienen un tamaño de 2NxN, los tipos de partición en las unidades 1016, 1048 y 1052 de codificación tienen un tamaño de Nx2N, y un tipo de partición de la unidad 1032 de codificación tiene un tamaño de NxN. Las unidades de predicción y las particiones de las unidades 1010 de codificación son más pequeñas que o iguales a cada unidad de codificación.

La transformación o transformación inversa se realiza en datos de imagen de las unidades 1052 y 1054 de codificación en las unidades 1070 de transformación en una unidad de datos que es más pequeña que la unidad 1052 y 1054 de codificación. Además, las unidades 1014, 1016, 1022, 1032, 1048, 1050, 1052 y 1054 de codificación en las unidades 1070 de transformación son diferentes de las unidades 1060 de predicción en términos de tamaños y estructuras. En otras palabras, los aparatos 100 y 200 de codificación y decodificación de video pueden realizar predicción, transformación y transformación inversa en la misma unidad de codificación basada en una unidad de datos individual. En consecuencia, la codificación se realiza recursivamente en cada una de las unidades de codificación para determinar una unidad de codificación óptima, y de este modo se pueden obtener unidades de codificación que tienen una estructura de árbol recursiva.

La información de codificación puede incluir información de división sobre una unidad de codificación, información sobre un tipo de partición, información sobre un modo de predicción e información sobre el tamaño de una unidad de transformación. La Tabla 1 muestra la información de codificación que puede establecerse mediante los aparatos 100 y 200 de codificación y decodificación de imágenes.

[Tabla 1]

La unidad 130 de codificación de datos de imagen del aparato 100 de codificación de imágenes según una realización de la presente invención puede generar la información de codificación sobre las unidades de codificación que tienen una estructura en árbol, y el extractor 220 de información de codificación del aparato 200 de decodificación de imágenes según una realización de la presente invención puede extraer la información de codificación sobre las unidades de codificación que tienen una estructura de árbol a partir de un flujo de bits recibido.

La información de división indica si una unidad de codificación actual se divide en unidades de codificación de una profundidad más baja. Si la información de división de una profundidad actual d es 0, una profundidad, en el que una unidad de codificación actual ya no se divide en una profundidad más baja, es una profundidad codificada, y por lo tanto información sobre un tipo de partición, modo de predicción, y se puede definir un tamaño de una unidad de transformación para la profundidad codificada. Si la unidad de codificación actual se divide aún más según la información de división, la codificación se realiza independientemente en cuatro unidades de codificación divididas de una profundidad más baja.

Un modo de predicción puede ser uno de un modo intra, un modo inter y un modo de salto. El modo intra y el modo inter se pueden definir en todos los tipos de partición, y el modo de salto se define solo en un tipo de partición que tenga un tamaño de 2Nx2N.

La información sobre el tipo de partición puede indicar tipos de partición simétrica con tamaños de 2Nx2N, 2NxN, Nx2N, y NxN, que se obtienen dividiendo simétricamente una altura o una anchura de una unidad de predicción, y tipos de particiones asimétricas con tamaños de 2NxnU, 2NxnD, nLx2N y nRx2N, que se obtienen dividiendo asimétricamente la altura o la anchura de la unidad de predicción. Los tipos de particiones asimétricas que tienen los tamaños de 2NxnU y 2NxnD pueden obtenerse respectivamente dividiendo la altura de la unidad de predicción en 1:3 y 3:1, y los tipos de partición asimétricos que tienen los tamaños de nLx2N y nRx2N pueden obtenerse respectivamente dividiendo la anchura de la unidad de predicción en 1:3 y 3:1.

El tamaño de la unidad de transformación puede establecerse para ser dos tipos en el modo intra y dos tipos en el modo inter. En otras palabras, si la información de división de la unidad de transformación es 0, el tamaño de la unidad de transformación puede ser 2Nx2N, que es el tamaño de la unidad de codificación actual. Si la información de división de la unidad de transformación es 1, las unidades de transformación se pueden obtener dividiendo la unidad de codificación actual. Además, si un tipo de partición de la unidad de codificación actual que tiene el tamaño de 2Nx2N es un tipo de partición simétrica, el tamaño de una unidad de transformación puede ser NxN, y si el tipo de partición de la unidad de codificación actual es un tipo de partición asimétrica, el tamaño de la unidad de transformación puede ser N/2xN/2.

La información de codificación sobre unidades de codificación que tienen una estructura de árbol puede incluir al menos una de una unidad de codificación correspondiente a una profundidad codificada, una unidad de predicción, y una unidad mínima. La unidad de codificación correspondiente a la profundidad codificada puede incluir al menos una de una unidad de predicción y una unidad mínima que contiene la misma información de codificación.

En consecuencia, se determina si las unidades de datos adyacentes se incluyen en la misma unidad de codificación que corresponde a la profundidad codificada mediante la comparación de la información de codificación de las unidades de datos adyacentes. Además, una unidad de codificación correspondiente que corresponde a una profundidad codificada se determina usando información de codificación de una unidad de datos, y así se puede determinar una distribución de profundidades codificadas en una unidad de codificación máxima.

En consecuencia, si se predice una unidad de codificación actual en función de la información de codificación de las unidades de datos adyacentes, la información de codificación de unidades de datos en unidades de codificación más profundas adyacentes a la unidad de codificación actual se puede referir y utilizar directamente.

Como alternativa, si se predice una unidad de codificación actual en función de la información de codificación de las unidades de datos adyacentes, las unidades de datos adyacentes a la unidad de codificación actual se buscan utilizando la información de codificación de las unidades de datos, y las unidades de codificación adyacentes buscadas pueden referirse para predecir la unidad de codificación actual.

La figura 13 es un diagrama para describir una relación entre una unidad de codificación, una unidad de predicción o una partición, y una unidad de transformación, según información del modo de codificación de la Tabla 1.

Una unidad 1300 de codificación máxima incluye unidades 1302, 1304, 1306, 1312, 1314, 1316 y 1318 de codificación de profundidades codificadas. En este caso, dado que la unidad 1318 de codificación es una unidad de codificación de una profundidad codificada, la información de división puede establecerse en 0. La información sobre un tipo de partición de la unidad 1318 de codificación que tiene un tamaño de 2Nx2N se puede configurar para que sea una de un tipo de partición 1322 que tenga un tamaño de 2Nx2N, un tipo de partición 1324 que tiene un tamaño de 2NxN, un tipo de partición 1326 que tiene un tamaño de Nx2N, un tipo de partición 1328 que tiene un tamaño de NxN, un tipo de partición 1332 que tiene un tamaño de 2NxnU, un tipo de partición 1334 que tiene un tamaño de 2NxnD, un tipo de partición 1336 que tiene un tamaño de nLx2N, y un tipo de partición 1338 que tiene un tamaño de nRx2N.

Cuando el tipo de partición está configurado para ser simétrico, es decir, el tipo de partición 1322, 1324, 1326 o 1328, se establece una unidad 1342 de transformación que tiene un tamaño de 2Nx2N si la información de división (indicador de tamaño de TU) de una unidad de transformación es 0, y se establece una unidad 1344 de transformación que tiene un tamaño de NxN si un indicador de tamaño de TU es 1.

Cuando el tipo de partición está configurado para ser asimétrico, es decir, el tipo de partición 1332, 1334, 1336 o 1338, una unidad 1352 de transformación que tiene un tamaño de 2Nx2N se establece si un indicador de tamaño de TU es 0, y se establece una unidad 1354 de transformación que tiene un tamaño de N/2xN/2 si un indicador de tamaño de TU es 1.

En lo sucesivo en el presente documento, un procedimiento de codificación jerárquica de información de división (indicador de división) que indica estructuras divididas de una unidad de codificación máxima codificada a base de las unidades de codificación según profundidades e información de salto que indica si un modo de predicción de cada unidad de codificación incluida en una unidad de codificación máxima es un modo de salto, de acuerdo con una realización de la presente invención, se describirá en detalle. En la siguiente descripción, una unidad de codificación es un término utilizado durante la codificación de imágenes y una unidad de decodificación es un término para la unidad de codificación en términos de decodificación de imágenes. En otras palabras, la unidad de codificación y la unidad de decodificación son diferentes solo porque la unidad de codificación se usa en el proceso de codificación y la unidad de decodificación se usa en el proceso de decodificación. Por la consistencia de los términos, a excepción de un caso particular, la unidad de codificación y la unidad de decodificación se denominan unidad de codificación en los procesos de codificación y decodificación.

La figura 18 es un diagrama de flujo que ilustra un procedimiento de codificación de una imagen, de acuerdo con una realización de la presente invención.

Con referencia a las figuras 1 y 18, el divisor 110 de unidades de codificación máxima divide una imagen actual en al menos una unidad de codificación máxima, en la operación 1610.

En la operación 1620, el determinador 120 de profundidad codificada determina las estructuras divididas de la unidad de codificación máxima y el modo de predicción de cada unidad de codificación codificando los datos de imagen de la unidad de codificación máxima a base de las unidades de codificación divididas jerárquicamente a medida que se profundiza la profundidad. Como se ha descrito anteriormente, el determinador 120 de profundidad codificada determina la profundidad codificada codificando los datos de imagen basados en las unidades de codificación de acuerdo con las profundidades para la unidad de codificación máxima de la imagen actual, y seleccionando la profundidad que tiene el menor error de codificación. En detalle, el determinador 120 de profundidad codificada codifica los datos de imagen en la unidad de codificación máxima basándose en las unidades de codificación más profundas correspondientes a al menos una profundidad igual o inferior a la profundidad máxima, y compara los resultados de codificación de los datos de imagen en función de cada una de las unidades de codificación más profundas para seleccionar una profundidad que tenga el menor error de codificación. Además, incluso si las unidades de codificación corresponden a la misma profundidad en una unidad de codificación máxima, el determinador 120 de profundidad codificado determina la división de cada una de las unidades de codificación correspondientes a la misma profundidad a una profundidad más baja midiendo un error de codificación de los datos de imagen de cada unidad de codificación, por separado.

En operación 1630, la unidad 140 de codificación de información de codificación establece información de división sobre división de una unidad de codificación de profundidad superior que incluye cada unidad de codificación, para cada unidad de codificación. A continuación se describirá un proceso de configuración de la información de división con referencia a las figuras 14 a 16.

En la operación 1640, la unidad 140 de codificación de información de codificación establece información de salto que indica si un modo de predicción determinado de acuerdo con las unidades de codificación es un modo de salto. En la operación 1650, la información de división y la información de salto configurada de acuerdo con las unidades de codificación están codificadas.

La figura 14 es un diagrama de estructuras divididas de una unidad de codificación máxima determinada a base de unidades de codificación más profundas, de acuerdo con una realización de la presente invención.

En la figura 14, un bloque más grande indicado por un número de referencia 1200 es la unidad de codificación máxima, y se supone que la unidad 1200 de codificación máxima tiene una profundidad máxima de 3. En otras palabras, cuando un tamaño de la unidad 1200 de codificación máxima es 2Nx2N, la unidad 1200 de codificación máxima puede dividirse en una unidad 1210 de codificación que tiene un tamaño de NxN y una profundidad de 1, unidades 1220 de codificación que tienen un tamaño de (N/2)x(N/2) y una profundidad de 2, y unidades de codificación 1230 que tienen un tamaño de (N/4)x(N/4) y una profundidad de 3. Para transmitir las estructuras divididas de la unidad 1200 de codificación máxima mostrada en la figura 14, la unidad 140 de codificación de información de codificación de acuerdo con una realización de la presente invención establece la información de división que indica la división de la unidad de codificación de la profundidad superior que incluye cada unidad de codificación, para cada unidad de codificación. Por ejemplo, la unidad 1210 de codificación que tiene el tamaño de NxN y la profundidad de 1 incluye información de división de 1 bit que indica división de una unidad de codificación superior, es decir, la unidad 1200 de codificación máxima que tiene una profundidad de 0. Si una unidad de codificación de profundidad correspondiente se divide cuando cada bit de información de división tiene un valor de "1", y una unidad de codificación de profundidad correspondiente no se divide cuando cada bit de información de división tiene un valor de "0", la unidad 1210 de codificación que tiene la profundidad de 1 tiene información de división que tiene un valor de "1" para tener las estructuras divididas mostradas en la figura 14.

La figura 15 es un diagrama para describir información de división de la unidad 1220 de codificación de la figura 14 que tiene una profundidad de 2. Un número de referencia 1320 de la figura 15 corresponde a la unidad 1220 de codificación que tiene la profundidad de 2 en la figura 14.

En referencia a la figura 15, la unidad 140 de codificación de información de codificación establece información de división de 2 bits que indica división de una unidad 1310 de codificación que tiene una profundidad de 1 que incluye la unidad 1320 de codificación que tiene una profundidad de 2, y división de la unidad 1300 de codificación máxima que tiene una profundidad de 0, como información de división de la unidad 1320 de codificación que tiene la profundidad de 2. Si una unidad de codificación de profundidad correspondiente se divide cuando cada bit de información de división tiene un valor de "1", y una unidad de codificación de profundidad correspondiente no se divide cuando cada bit de información de división tiene un valor de "0", la unidad 1320 de codificación tiene la información de división de 2 bits que tiene un valor de "11" ya que la unidad 1320 de codificación se genera cuando tanto la unidad 1310 de codificación como la unidad 1300 de codificación máxima están divididas.

La figura 16 es un diagrama para describir información de división de la unidad 1230 de codificación de la figura 14 que tiene una profundidad de 3. Un número de referencia 1430 de la figura 16 corresponde a la unidad 1230 de codificación de la figura 14 que tiene la profundidad de 3.

En referencia a la figura 16, la unidad 140 de codificación de información de codificación incluye información de división de 3 bits que indica la división de una unidad 1420 de codificación que tiene una profundidad de 2 y que incluye la unidad 1430 de codificación que tiene la profundidad de 3, división de una unidad 1410 de codificación que tiene una profundidad de 1, y división de una unidad 1400 de codificación máxima, como información de división de la unidad 1430 de codificación que tiene la profundidad de 3. Si una unidad de codificación de profundidad correspondiente se divide cuando cada bit de información de división tiene un valor de "1", y una unidad de codificación de profundidad correspondiente no se divide cuando cada bit de información de división tiene un valor de "0", la unidad 1430 de codificación tiene la información de división de 3 bits que tiene un valor de "111" ya que la unidad 1430 de codificación se genera cuando toda la unidad 1420 de codificación, la unidad 1410 de codificación, y la unidad 1400 de codificación máxima están divididas.

Como tal, cuando d indica una profundidad máxima que indica un número de tiempos de división jerárquica de una altura y una anchura de una unidad de codificación actual desde una unidad de codificación máxima a una unidad de codificación mínima y n indica una profundidad de la unidad de codificación actual, en el que d y n son respectivamente un número entero y 0 < n < (d-1), la división de una unidad de codificación de una profundidad superior que incluye la unidad de codificación actual se puede establecer utilizando información de división de n bits. Cada bit de la información de división de n bits se configura para indicar la división de las unidades de codificación que tienen una profundidad superior a la unidad de codificación actual, desde una profundidad de 0 a una profundidad de (n-1). En este caso, una orden de la información de división de n bits que indica división de unidades de codificación que tienen profundidades superiores desde un bit más significativo (MSB) o desde un bit menos significativo (LSB) puede variar según los comandos de ocasión.

Paralelamente, si la información de división que indica la división de la unidad de codificación de la profundidad superior, incluida la unidad de codificación actual, está configurada para cada unidad de codificación, una ubicación de cada unidad de codificación en la unidad de codificación máxima se puede determinar fácilmente basándose en la información de división cuando las unidades de codificación se procesan en el mismo orden de procesamiento por un codificador y un decodificador. Por ejemplo, como se muestra en la figura 17, cuando las unidades de codificación que tienen la misma profundidad en una unidad 1500 de codificación máxima según una realización de la presente invención se procesan en una orden de exploración en zigzag, y las unidades de decodificación que tienen la misma profundidad se procesan en el mismo orden de exploración en zigzag durante la decodificación, es posible restablecer estructuras separadas de la unidad 1500 de codificación máxima determinada durante la codificación a partir de información de división que indica división de unidades de codificación de profundidades superiores que incluyen cada unidad de codificación. Una orden de procesamiento de bloques de acuerdo con una realización de la presente invención puede establecerse de diversas maneras, incluyendo la orden de exploración en zigzag, pero las órdenes de procesamiento de las unidades de codificación pueden ser idénticas durante la codificación y la decodificación para determinar las estructuras divididas de una unidad de codificación máxima durante la decodificación.

La unidad 140 de codificación de información de codificación establece información de salto que indica si un modo de predicción de cada unidad de codificación es un modo de salto, asignando 1 bit a cada unidad de codificación. Por ejemplo, el modo de predicción de la unidad de codificación correspondiente es un modo de salto cuando un bit de información de salto tiene un valor de "1", y la unidad de codificación correspondiente se predice de acuerdo con un modo de predicción distinto de un modo de salto cuando el bit de información omitida tiene un valor de "0". La información de salto se establece para cada unidad de codificación porque una unidad de codificación en un modo de salto se restablece a partir de información de movimiento de unidades de codificación adyacentes sin un proceso de predicción separado y no se realiza un proceso de división separado en la unidad de codificación durante la decodificación, mejorando así la eficiencia de compresión y el rendimiento de procesamiento de una imagen.

La figura 19 es un diagrama de flujo que ilustra un procedimiento de codificación de una imagen, de acuerdo con otra realización de la presente invención.

En referencia a la figura 19, el divisor 110 de unidades de codificación máxima divide una imagen actual en al menos una unidad de codificación máxima, en la operación 1710.

En la operación 1720, el determinador 120 de profundidad codificada determina las estructuras divididas de la unidad de codificación máxima y el modo de predicción de cada unidad de codificación codificando los datos de imagen de la unidad de codificación máxima a base de las unidades de codificación divididas jerárquicamente más profundas a medida que se profundiza la profundidad. Como se ha descrito anteriormente, el determinador 120 de profundidad codificado determina la profundidad codificada codificando los datos de imagen en las unidades de codificación más profundas de acuerdo con las profundidades, de acuerdo con la unidad de codificación máxima de la imagen actual, y seleccionando la profundidad que tenga el menor error de codificación.

En la operación 1730, la unidad 140 de codificación de información de codificación establece información de salto que indica si los modos de predicción de cada unidad de codificación y una unidad de codificación de profundidad superior que incluye cada unidad de codificación son cada uno un modo de salto, para cada unidad de codificación. En otras palabras, de acuerdo con otra realización de la presente invención, la información de salto de cada unidad de codificación puede incluir no solo un modo de salto de una unidad de codificación actual, sino también un modo de salto de una unidad de codificación de una profundidad superior que incluye la unidad de codificación actual. En detalle, cuando d indica una profundidad máxima que indica un número de tiempos de división jerárquica de una altura y una anchura de una unidad de codificación actual desde una unidad de codificación máxima a una unidad de codificación mínima y n indica una profundidad de la unidad de codificación actual, en el que d y n son respectivamente un número entero y 0 < n < (d-1), la unidad 140 de codificación de información de codificación puede establecer información de división de n bits que indica si los modos de predicción de la unidad de codificación actual y (n-1) unidades de codificación de las profundidades superiores son cada uno un modo de salto. Cuando n=1, es decir, cuando la unidad de codificación actual tiene una profundidad de 1, una unidad de codificación que tiene una profundidad inmediatamente superior es una unidad de codificación máxima, y por lo tanto, solo se salta información de 1 bit que indica si se establece el modo de predicción de la unidad de codificación actual como un modo de salto. Por ejemplo, la unidad 1210 de codificación de la figura 14 que tiene la profundidad de 1 tiene información de salto de 1 bit que indica si su modo de predicción es un modo de salto.

Como alternativa, con referencia a la figura 15, la unidad 140 de información de codificación establece información de salto de 2 bits en total, en el que 1 bit indica información de salto de la unidad 1320 de codificación que tiene una profundidad de 2 y 1 bit indica información de salto de la unidad 1310 de codificación que tiene la profundidad de 1 y que incluye la unidad 1320 de codificación, como la información de salto de la unidad 1320 de codificación. Como alternativa, con referencia a la figura 16, la unidad 140 de codificación de información de codificación puede establecer información de salto de 3 bits en total, que incluye información de salto de la unidad 1430 de codificación que tiene una profundidad de 3, teniendo la información de salto de la unidad 1420 de codificación la profundidad de 2 y que incluye la unidad 1430 de codificación, e información de salto de la unidad 1410 de codificación que tiene una profundidad de 1, como la información de salto de la unidad 1430 de codificación.

Con referencia de nuevo a la figura 19, la información de división sobre la división de una unidad de codificación de una profundidad superior, incluyendo cada unidad de codificación, se establece para cada unidad de codificación, en la operación 1740. Dado que el establecimiento de la información de división en la operación 1740 es idéntica a la configuración descrita anteriormente, sus detalles no se repiten.

En operación 1750, la información de división y la información de salto, que se establecen según unidades de codificación, se codifican.

La figura 20 es un diagrama de flujo que ilustra un procedimiento de decodificación de una imagen, de acuerdo con una realización de la presente invención. El procedimiento de acuerdo con la realización actual decodifica un flujo de bits codificado de acuerdo con el procedimiento de la figura 18.

Con referencia a las figuras 2 y 20, el extractor 220 de información de codificación extrae información de división indicando la división de una unidad de decodificación de una profundidad superior, incluyendo una unidad de decodificación actual a decodificar, a partir de datos de imágenes codificados de acuerdo con unidades de codificación máximas basadas en unidades de codificación más profundas de acuerdo con las profundidades, que se dividen jerárquicamente a medida que se profundiza una profundidad, en la operación 1810.

En operación 1820, el extractor 220 de información de codificación extrae información de salto que indica si un modo de predicción de la unidad de decodificación actual es un modo de salto, a partir de los datos de imagen.

En la operación 1830, la unidad 230 de decodificación de datos de imagen determina estructuras divididas de una unidad de decodificación máxima que incluye la unidad de decodificación actual, según la información de división. Como se ha descrito anteriormente, como la información de división está en bits indicando la división de la unidad de decodificación de la profundidad superior, incluyendo la unidad de decodificación actual; la unidad de decodificación máxima se puede dividir en una unidad de codificación que tiene una profundidad de la unidad de decodificación actual usando la información de división.

En la operación 1840, la unidad 230 de decodificación de datos de imagen determina si el modo de predicción de la unidad de decodificación actual es un modo de salto, según la información de salto. Si la unidad de decodificación actual está en el modo de salto, se detiene un proceso de división y se decodifica otra información incluida en la información de codificación.

La figura 21 es un diagrama de flujo que ilustra un proceso de división de una unidad de decodificación máxima y un proceso de decodificación de información de salto, de acuerdo con un procedimiento de decodificación de una imagen, de acuerdo con una realización de la presente invención.

En referencia a la figura 21, la información de codificación de las unidades de codificación incluidas en una unidad de codificación máxima se extrae en la operación 1910. Como se ha descrito anteriormente, la información de codificación incluye información de división e información de salto.

La información de división se decodifica en la operación 1920, y se determina si una unidad de decodificación máxima se divide de acuerdo con un conjunto de profundidad basado en la información de división decodificada a una unidad de decodificación actual que tiene la profundidad, en la operación 1930. Por ejemplo, como se ha descrito anteriormente, si la unidad de decodificación actual es una unidad de decodificación que tiene una profundidad de 2 y una información de división de "11", la unidad de decodificación actual debería incluirse en las unidades de codificación obtenidas dividiendo la unidad de decodificación máxima dos veces.

Si se determina que la unidad de decodificación máxima no se divide hasta la profundidad de la unidad de decodificación actual en la operación 1930, una profundidad aumenta en uno en la operación 1935.

Si se determina que la unidad de decodificación máxima se divide hasta la profundidad de la unidad de decodificación actual en la operación 1930, la información de salto se decodifica en la operación 1940. Se determina si un modo de predicción de la unidad de decodificación actual es un modo de salto en la operación 1950, si es el modo de salto, se determina si la unidad de decodificación actual es la última unidad 1960 de decodificación para decodificar una siguiente unidad de decodificación máxima en la operación 1970 o decodificar una siguiente unidad de decodificación aumentando un valor de índice de una unidad de decodificación en 1 en la operación 1980.

Si se determina que el modo de predicción de la unidad de decodificación actual no es el modo de salto en la operación 1950, la información sobre los datos de imagen distinta de la información de división y salto se decodifica en la operación 1955.

La figura 22 es un diagrama de flujo que ilustra un procedimiento de decodificación de una imagen, de acuerdo con otra realización de la presente invención. El procedimiento de acuerdo con la realización actual decodifica un flujo de bits codificado de acuerdo con el procedimiento de la figura 19.

Con referencia a las figuras 2 y 22, el extractor 220 de información de codificación extrae información de salto que indica si los modos de predicción de una unidad de decodificación actual a decodificar y las unidades de decodificación de profundidades superiores, incluyendo la unidad de decodificación actual, son cada uno un modo de salto, a partir de datos de imágenes codificados de acuerdo con unidades de codificación máximas basadas en unidades de codificación más profundas de acuerdo con las profundidades, que se dividen jerárquicamente a medida que se profundiza una profundidad, en la operación 2010.

En la operación 2020, el extractor 220 de información de codificación extrae información de división sobre la división de una unidad de decodificación de profundidad superior, incluyendo la unidad de decodificación actual, a partir de los datos de imagen.

En la operación 2030, la unidad 230 de decodificación de datos de imagen determina si los modos de predicción de la unidad de decodificación actual y la unidad de decodificación de profundidades superiores son cada uno un modo de salto, basado en la información de salto extraída. Como tal, de acuerdo con la realización actual, cuando la información de salto es decodificada antes de decodificar la información de división, el rendimiento del procesamiento de una imagen puede mejorarse, ya que una unidad de decodificación que se determina que está en un modo de salto no puede dividirse.

En la operación 2040, las estructuras divididas de una unidad de decodificación máxima que incluye la unidad de decodificación actual se determinan a base de la información de división con respecto a la unidad de decodificación que no está en un modo de salto.

La figura 23 es un diagrama de flujo que ilustra un proceso de división de una unidad de decodificación máxima y un proceso de decodificación de información de salto, de acuerdo con un procedimiento de decodificación de una imagen, de acuerdo con otra realización de la presente invención.

En referencia a la figura 23, la información de codificación de las unidades de codificación incluidas en una unidad de codificación máxima se extrae en la operación 2110. Como se ha descrito anteriormente, la información de codificación incluye información de división e información de salto.

La información de salto se decodifica en la operación 2120, y se determina si un modo de predicción de una unidad de decodificación actual es un modo de salto de acuerdo con la información de salto decodificada en la operación 2130. Si el modo de predicción de la unidad de decodificación actual es un modo de salto, se determina si la unidad de decodificación actual es la última unidad de decodificación en la operación 2135. Si es la última unidad de decodificación, una siguiente unidad de decodificación máxima se decodifica en la operación 2140, y si no es la última unidad de decodificación, una siguiente unidad de decodificación se decodifica aumentando un índice de una unidad de decodificación en una operación 2145. Si el modo de predicción de la unidad de decodificación actual no es un modo de salto, la información de división de la unidad de decodificación actual se decodifica en la operación 2150.

Se determina si una unidad de decodificación máxima se divide de acuerdo con un conjunto de profundidad basado en la información de división decodificada a una unidad de decodificación actual que tiene la profundidad, en la operación 2160. Por ejemplo, como se ha descrito anteriormente, si la unidad de decodificación actual es una unidad de decodificación que tiene una profundidad de 2 y una información de división de "11", la unidad de decodificación actual debería ser una unidad de codificación obtenida dividiendo la unidad de decodificación máxima dos veces.

Si se determina que la unidad de decodificación máxima no se divide hasta la profundidad de la unidad de decodificación actual en la operación 2160, una profundidad aumenta en uno en la operación 2180, y si se determina que la unidad de decodificación máxima se divide hasta la profundidad de la unidad de decodificación actual en la operación 2160, la información sobre los datos de imagen distinta de la información de división y salto se decodifica en la operación 2170.

De acuerdo con la presente invención, un procedimiento de decodificación de una imagen, que extrae eficientemente información sobre las estructuras divididas de una imagen codificada basándose en una unidad de codificación jerárquica en diversos tamaños, y se puede proporcionar información sobre un modo de salto de cada unidad de codificación.

Claims

REIVINDICACIONES

1. Un procedimiento de decodificación de una imagen, comprendiendo el procedimiento:

extraer información dividida para una unidad de codificación de una profundidad k, donde k es un número entero, indicando la información dividida si se debe dividir la unidad de codificación de la profundidad k, donde k es un número entero, en cuatro unidades de codificación de igual tamaño, de forma cuadrada de una profundidad, k+1, de un flujo de bits que incluye datos codificados de la imagen codificada basándose en unidades de codificación máximas de forma cuadrada divididas jerárquicamente en unidades de codificación de forma cuadrada más profundas a medida que se profundiza una profundidad;

determinar una estructura dividida de una unidad de codificación máxima en forma cuadrada, de acuerdo con la información de división;

extraer, cuando la unidad de codificación máxima de forma cuadrada se divide en una unidad de codificación actual que ya no se divide de acuerdo con la información dividida, información de salto que indica si un modo de predicción de la unidad de codificación actual es un modo de salto, desde el flujo de bits;

cuando la información de salto indica que el modo de predicción de la unidad de codificación actual es el modo de salto, determinar la unidad de codificación actual como una unidad de predicción cuyo modo de predicción es el modo de salto; y

cuando la información de salto indica que el modo de predicción de la unidad de codificación actual no es el modo de salto, obtener una o más unidades de predicción de la unidad de codificación actual dividiendo por igual una anchura o una altura de la unidad de codificación actual entre dos, o dividiendo por igual la altura y la anchura de la unidad de codificación actual entre dos, o determinando la unidad de codificación actual como una o varias unidades de predicción basadas en un tipo de partición de la unidad de codificación actual, siendo las una o varias unidades de predicción usadas para la decodificación de predicción de la unidad de codificación actual y siendo el tipo de partición que obtenido del flujo de bits,

en el que, una imagen se divide en una pluralidad de unidades de codificación máximas de forma cuadrada de acuerdo con la información sobre un tamaño máximo de una unidad de codificación,

cuando un tamaño de la unidad de codificación actual es 2Nx2N, donde N es un número entero, y el modo de predicción de la unidad decodificación actual es el modo de salto,

un tamaño de la unidad de predicción es 2Nx2N,

la información dividida para la unidad de codificación de la profundidad k tiene un valor de cero o uno,

cuando la información dividida para la unidad de codificación de la profundidad k tiene un valor de cero, la información dividida indica no dividir la unidad de codificación de la profundidad k,

cuando la información dividida tiene un valor de uno, la información dividida indica dividir la unidad de codificación de la profundidad k, la información de salto es una bandera que tiene un valor de cero o uno, y

cuando la información de salto tiene un valor de uno, la información de salto indica que el modo de predicción de la unidad de codificación actual es el modo de salto.