ES2801375T3

ES2801375T3 - Señalización de las banderas de bloque codificado (Coded Block Flags, CBF) con luminancia y crominancia en la codificación de vídeo

Info

Publication number: ES2801375T3
Application number: ES17159363T
Authority: ES
Inventors: Youji Shibahara; Takahiro Nishi; Toshiyasu Sugio; Kyoko Tanikawa; Toru Matsunobu; Hisao Sasai; Kengo Terada
Original assignee: Tagivan II LLC
Current assignee: Tagivan II LLC
Priority date: 2011-12-15
Filing date: 2012-12-07
Publication date: 2021-01-11
Anticipated expiration: 2032-12-07
Also published as: US10609370B2; AU2016250508B2; EP3197162A2; US20140294075A1; TWI583184B; TWI547149B; EP2793468A1; LT3197162T; HUE054730T2; KR20140120253A; CA2826371C; US20130177072A1; MY190976A; JP5325360B1; WO2013088687A1; CN107087182B; AU2012353935B2; CN103348680A; BR112013021018A2; US20160360201A1

Abstract

Método de codificación de imágenes, que comprende: dividir una señal de imagen de entrada en una pluralidad de unidades de codificación, y restar una señal de predicción de la señal de imagen de entrada para cada una de las unidades de codificación, generándose eventualmente señales de error de predicción de las unidades de codificación respectivas; dividir cada una de las unidades de codificación en una pluralidad de unidades de transformación, y realizar transformación y cuantificación en una señal correspondiente de las señales de error de predicción para cada una de las unidades de transformación, generándose eventualmente coeficientes de cuantificación de las unidades de codificación respectivas; en el que cada una de las unidades de transformación corresponde a un nodo correspondiente de los nodos hoja en una estructura de árbol, y cada uno de los coeficientes de cuantificación incluye un coeficiente de cuantificación de luminancia y un coeficiente de cuantificación de crominancia; y codificar (S111) elementos de información de gestión y los coeficientes de cuantificación en una estructura de árbol, en el que los elementos de la información de gestión incluyen (i) elementos respectivos de información dividida (S121) que corresponden cada uno de ellos a un nodo correspondiente de los nodos en la estructura de árbol e indican si una unidad de transformación correspondiente a un nodo correspondiente de los nodos va a dividirse adicionalmente o no, (ii) primeras banderas (S125) que corresponden cada una de ellas a al menos uno de los nodos hoja e indican si existe o no un coeficiente de cuantificación de luminancia correspondiente a cualquiera del al menos uno de los nodos hoja, y (iii) segundas banderas (S123) que corresponden cada una de ellas a al menos uno de los nodos hoja e indican si existe o no un coeficiente de cuantificación de crominancia correspondiente a cualquiera del al menos uno de los nodos hoja, y en el que, en la codificación, para cada uno de los al menos un nodo hoja, se codifica una primera bandera correspondiente al al menos uno de los nodos hoja después de codificar una segunda bandera correspondiente al al menos uno de los nodos hoja (S123, S125), generándose de ese modo una señal codificada en la que la primera bandera codificada correspondiente al al menos uno de los nodos hoja se dispone después de la segunda bandera codificada correspondiente al al menos uno de los nodos hoja; caracterizado porque en la codificación, se codifican un elemento correspondiente de la información de gestión y un elemento correspondiente de los coeficientes de cuantificación dentro de cada uno de los nodos hoja (S123, S125, S133), generándose eventualmente la señal codificada en la que el elemento correspondiente codificado de la información de gestión y el elemento correspondiente codificado de los coeficientes de cuantificación se disponen sucesivamente dentro de cada uno de los nodos hoja.

Description

DESCRIPCIÓN

Señalización de las banderas de bloque codificado (Coded Block Flags, CBF) con luminancia y crominancia en la codificación de vídeo

Campo técnico

La presente invención se refiere a métodos de codificación de imágenes, métodos de decodificación de imágenes, aparatos de codificación de imágenes, aparatos de decodificación de imágenes y aparatos de codificación/decodificación de imágenes.

Técnica anterior

Para comprimir datos de audio y vídeo, se han desarrollado varias normas de codificación de audio y normas de codificación de vídeo. Ejemplos de tales normas de codificación de vídeo son la norma del Sector de Normalización de las Telecomunicaciones de la Unión Internacional de Telecomunicaciones (UIT-T) denominada H.26x y la norma de la Organización Internacional de Normalización/Comisión Electrotécnica Internacional (ISO/IEC) denominada MPEG-x (véase el documento no de patentes 1, por ejemplo). La última norma de codificación de vídeo se denomina H.264/MPEG-4AVC. Recientemente, se ha examinado una norma de codificación de nueva generación denominada codificación de vídeo de alta eficiencia (High Efficiency Video Coding, HEVC).

El documento no de patentes 2 es un borrador de trabajo de HEVC. Contiene una propuesta para la unidad de codificación, la unidad de predicción, el árbol de transformación y sintaxis de coeficientes de transformación en las secciones 7.3.6 a 7.3.9, respectivamente. En particular, la información de gestión (Cbfs) y los coeficientes de transformación se codifican en tres estructuras de árbol sucesivas e independientes.

El documento no de patentes 3 sugiere proporcionar un parámetro adicional “bNeedToDecode” de una unidad de transformación, que se ajusta a cero cuando el bloque es el último bloque después de una división de árbol cuádruple, y la totalidad de las Cbf (bandera de bloque codificado) de los primeros tres bloques son cero.

El documento no de patentes 4 propone una señalización de parámetro de cuantificación delta (delta Quantization Parameter, dQP) flexible al nivel de la mayor unidad de codificación (Largest Coding Unit, LCU), nivel de sub-LCU y nivel de sub-CU (TU). Para controlar la tara de señalización, se sugiere la introducción de un segundo parámetro de control de profundidad “tu_delta_qp_depth”, que indica la profundidad relativa máxima de una TU desde su CU parental que puede señalizar un dQP. La señalización de un dQP de sub-CU propio (TU) sólo se permite cuando la profundidad relativa de la TU “trdeph” es menor que el parámetro tu_delta_qp_depth y la profundidad total “cudepth trdepth” es menor que el parámetro de control habitual “max_cu_qp_delta_depth”.

Lista de citas

Documentos no de patentes

[NPL 1] ISO/IEC 14496-10 “MPEG-4 Part 10 Advanced Video Coding”

[NPL 2] Bross B et al.: “WD4: Working Draft 4 of High Efficiency Video Coding”', 6. Reunión de JCT-VC; 97. Reunión de MPEG; 14-7-2011 — 22-7-2011; Turín; (Equipo colaborativo conjunto sobre codificación de vídeo (Joint Collaborative Team on Video Coding) de ISO/IEC JTC1/SC29/WG11 e ITU-T SG.16); URL: HTTP://WFTP3.ITU.INT/AV-ARCH/JCTVC-SITE/, n.° JCTVC-F803, 9 de agosto de 2011 (09-08-2011).

[NPL 3] Bin Li et al.: “Redundance reduction in Cbf and Merging coding” Equipo colaborativo conjunto sobre codificación de vídeo (JCT-VC) de ITU-T SG16 WP3 e ISO/IEC JTC1/SC29/WG11, 3a reunión, documento: JCTVC-C277, 1 de enero de 2010 (01-01-2010), páginas 1-8, Guangzhou, CN.

[NPL 4] Fang X et al.: “A unified LCU, sub-LCU and sub-CU (TU) Delta QP Signaling', 7. Reunión de JCT-VC; 98. Reunión de MPEG; 21-11-2011 — 30-11-2011; Ginebra; (Equipo colaborativo conjunto sobre codificación de vídeo de ISO/IEC JTC1/SC29/WG11 e ITU-T SG16); URL: HTTP://WFTP3.ITU.INT/AV-ARCH/JCTVC-SITE/, n.° JCTVC-G893, 19 de noviembre de 2011 (19-11-2011).

Sumario de la invención

Problema técnico

En tales métodos de codificación de imágenes y método de decodificación de imágenes, se ha exigido reducir la cantidad de datos en una memoria para contener temporalmente los datos usados en la codificación o decodificación.

Para abordar lo anterior, la presente invención proporciona un método de codificación de imágenes y un método de decodificación de imágenes que pueden reducir la cantidad de datos en una memoria para contener temporalmente datos usados en la codificación o decodificación.

Solución al problema

Esto se logra mediante las características de las reivindicaciones independientes.

Estos aspectos generales y específicos pueden implementarse usando un sistema, un método, un circuito integrado, un programa informático o un medio de grabación legible por ordenador tal como un CD-ROM, o cualquier combinación de sistemas, métodos, circuitos integrados, programas informáticos o medios de grabación legibles por ordenador.

Efectos ventajosos de la invención

La presente invención proporciona un método de codificación de imágenes y un método de decodificación de imágenes que pueden reducir la cantidad de datos en una memoria para contener temporalmente los datos usados en la codificación o decodificación.

Breve descripción de los dibujos

[FIG. 1] La figura 1 es un diagrama de flujo de codificación según un ejemplo de comparación.

[FIG. 2] La figura 2 es un diagrama de bloques de un aparato de codificación de imágenes según la realización 1.

[FIG. 3] La figura 3 es un diagrama de bloques de un aparato de decodificación de imágenes según la realización 1.

[FIG. 4A] La figura 4A es un diagrama que muestra un ejemplo de una TU según la realización 1.

[FIG. 4B] La figura 4B es un diagrama que muestra un ejemplo de una TU según la realización 1.

[FIG. 5] La figura 5 es un diagrama que muestra un ejemplo de una estructura de árbol según la realización 1. [FIG. 6] La figura 6 es un diagrama de flujo de codificación según la realización 1.

[FIG. 7] La figura 7 es un diagrama de flujo de codificación de un árbol de información dividida según la realización 1.

[FIG. 8] La figura 8 es un diagrama de flujo de codificación de un árbol de coeficientes de transformación según la realización 1.

[FIG. 9] La figura 9 es un diagrama de bloques de una unidad de decodificación entrópica según la realización 1.

[FIG. 10A] La figura 10A es un diagrama que muestra un ejemplo de señales codificadas según la realización 1.

[FIG. 10B] La figura 10B es un diagrama que muestra un ejemplo de señales codificadas según la realización 2.

[FIG. 11] La figura 11 es un diagrama de flujo de codificación según la realización 2.

[FIG. 12A] La figura 12A es un diagrama de flujo de una parte de la codificación según la realización 2.

[FIG. 12B] La figura 12B es un diagrama de flujo de una parte de la codificación según la realización 2.

[FIG. 13] La figura 13 es un diagrama de bloques de una unidad de decodificación entrópica según la realización 2.

[FIG. 14A] La figura 14A es un diagrama para explicar la codificación de CBF según la realización 2.

[FIG. 14B] La figura 14B es un diagrama para explicar la codificación de CBF según la realización 2.

[FIG. 14C] La figura 14C es un diagrama para explicar la codificación de CBF según la realización 2.

[FIG. 14D] La figura 14D es un diagrama para explicar la codificación de CBF según la realización 2.

[FIG. 15] La figura 15 es un diagrama de flujo de codificación según la realización 3.

[FIG. 16] La figura 16 es un diagrama de flujo de codificación según la realización 4.

[FIG. 17] La figura 17 es un diagrama de flujo de otra codificación según la realización 4.

[FIG. 18A] La figura 18A es un diagrama que muestra un ejemplo de un orden de codificación de CBF y coeficientes de transformación según la realización 5.

[FIG. 18B] La figura 18B es un diagrama que muestra un ejemplo de un orden de codificación de CBF y coeficientes de transformación según la realización 5.

[FIG. 18C] La figura 18C es un diagrama que muestra un ejemplo de un orden de codificación de CBF y coeficientes de transformación según la realización 5.

[FIG. 19A] La figura 19A es un diagrama que muestra un ejemplo de un orden de codificación de CBF y coeficientes de transformación según la realización 5.

[FIG. 19B] La figura 19B es un diagrama que muestra un ejemplo de un orden de codificación de CBF y coeficientes de transformación según la realización 5.

[FIG. 20] La figura 20 es un diagrama de flujo de codificación según la realización 5.

[FIG. 21A] La figura 21A es un diagrama que muestra un ejemplo de un orden de codificación de CBF y coeficientes de transformación según la realización 5.

[FIG. 21B] La figura 21B es un diagrama que muestra un ejemplo de un orden de codificación de CBF y coeficientes de transformación según la realización 5.

[FIG. 22A] La figura 22A es un diagrama de flujo de codificación según la realización 6.

[FIG. 22B] La figura 22B es un diagrama de flujo de codificación según la realización 6.

[FIG. 23] La figura 23 es un diagrama que muestra un ejemplo de una sintaxis según la realización 6.

[FIG. 24A] La figura 24A es un diagrama que muestra un ejemplo de una sintaxis según la realización 6.

[FIG. 24B] La figura 24B es un diagrama que muestra un ejemplo de una sintaxis según la realización 6.

[FIG. 24C] La figura 24C es un diagrama que muestra un ejemplo de una sintaxis según la realización 6.

[FIG. 25A] La figura 25A es un diagrama de flujo de codificación según la realización 7.

[FIG. 25B] La figura 25B es un diagrama de flujo de transformación unificada según la realización 7.

[FIG. 26] La figura 26 muestra una configuración global de un sistema de provisión de contenido para implementar servicios de distribución de contenido.

[FIG. 27] La figura 27 muestra una configuración global de un sistema de radiodifusión digital.

[FIG. 28] La figura 28 muestra un diagrama de bloques que ilustra un ejemplo de una configuración de un televisor.

[FIG. 29] La figura 29 muestra un diagrama de bloques que ilustra un ejemplo de una configuración de una unidad de reproducción/grabación de información que lee y escribe información desde y en un medio de grabación que es un disco óptico.

[FIG. 30] La figura 30 muestra un ejemplo de una configuración de un medio de grabación que es un disco óptico.

[FIG. 31A] La figura 31A muestra un ejemplo de un teléfono celular.

[FIG. 31B] La figura 31B es un diagrama de bloques que muestra un ejemplo de una configuración de un teléfono celular.

[FIG. 32] La figura 32 ilustra una estructura de datos multiplexados.

[FIG. 33] La figura 33 muestra esquemáticamente cómo cada flujo se multiplexa en datos multiplexados.

[FIG. 34] La figura 34 muestra cómo se almacena un flujo de vídeo en un flujo de paquetes PES con más detalle.

[FIG. 35] La figura 35 muestra una estructura de paquetes TS y paquetes fuente en los datos multiplexados.

[FIG. 36] La figura 36 muestra una estructura de datos de una PMT.

[FIG. 37] La figura 37 muestra una estructura interna de información de datos multiplexados.

[FIG. 38] La figura 38 muestra una estructura interna de información de atributos de flujo.

[FIG. 39] La figura 39 muestra las etapas para identificar datos de vídeo.

[FIG. 40] La figura 40 muestra un ejemplo de una configuración de un circuito integrado para implementar el método de codificación de imágenes en movimiento y el método de decodificación de imágenes en movimiento según cada una de las realizaciones.

[FIG. 41] La figura 41 muestra una configuración para cambiar entre frecuencias de excitación.

[FIG. 42] La figura 42 muestra las etapas para identificar datos de vídeo y cambiar entre frecuencias de excitación.

[FIG. 43] La figura 43 muestra un ejemplo de una tabla de consulta en la que las normas de datos de vídeo se asocian con frecuencias de excitación,

[FIG. 44A] La figura 44A es un diagrama que muestra un ejemplo de una configuración para compartir un módulo de una unidad de procesamiento de señales.

[FIG. 44B] La figura 44B es un diagrama que muestra otro ejemplo de una configuración para compartir un módulo de la unidad de procesamiento de señales.

Descripción de las realizaciones

(Conocimiento subyacente que forma la base de la presente invención)

En relación con las divulgaciones en la sección de Antecedentes, los inventores han encontrado el siguiente problema.

A continuación se describe un método de codificación y un método de decodificación según el ejemplo de comparación dado a conocer.

La figura 1 es un diagrama de flujo del método de codificación según el ejemplo de comparación.

Una imagen (dicho de otro modo, una trama) se divide en macrobloques que tienen, cada uno, el mismo tamaño de 16 píxeles x 16 píxeles. La pluralidad de macrobloques se codifican, por ejemplo, secuencialmente en un orden de barrido por tramas. La figura 1 muestra la codificación de un macrobloque.

En primer lugar, se selecciona uno de diversos tamaños de transformación ortogonal como tamaño de transformación para un macrobloque actual que va a codificarse. El tamaño de transformación es más pequeño que el tamaño del macrobloque. Por ejemplo, el tamaño de transformación es de 4 píxeles x 4 píxeles u 8 píxeles x 8 píxeles. Más adelante en el presente documento, la unidad para la transformación se denomina “unidad de transformación (Transform Unit, TU)”. Luego, se codifica información que indica el tamaño de transformación seleccionado (S101). Una bandera que indica el tamaño de transformación es, por ejemplo, transform_size_flag. A continuación, se codifica una CBF (S102). En este caso, una CBF se refiere a información de bandera que indica si existe o no un coeficiente de transformación (coeficiente de cuantificación) de una TU.

A continuación, se selecciona una TU. Por ejemplo, una pluralidad de TU se seleccionan secuencialmente en un orden de barrido Z, y la TU seleccionada se aplica con el siguiente procesamiento.

Si la CBF es verdadera (Sí en S104), entonces se codifica un coeficiente de transformación de la TU actual (S105). Por otro lado, si la CBF es falsa (No en S104), entonces el coeficiente de transformación de la TU actual no se codifica. La serie de etapas S103 a S105 se realiza en cada una de las TU incluidas en el macrobloque actual (S106).

También se realiza decodificación en el mismo orden que se muestra en la figura 1. Dicho de otro modo, la decodificación puede explicarse reemplazando “codificación” por “decodificación” en la descripción anterior.

En este caso, para codificar una imagen de manera eficiente, es importante una selección flexible del tamaño de transformación. Sin embargo, los inventores han descubierto que aumenta la cantidad de información que indica un tamaño de transformación, a medida que se mejora la flexibilidad para seleccionar un tamaño de transformación. Según una realización a modo de ejemplo dada a conocer en el presente documento para resolver los problemas descritos anteriormente, un método de codificación de imágenes, que comprende: dividir una señal de imagen de entrada en una pluralidad de unidades de codificación, y restar una señal de predicción de la señal de imagen de entrada para cada una de las unidades de codificación, generándose eventualmente señales de error de predicción de las unidades de codificación respectivas; dividir cada una de las unidades de codificación en una pluralidad de unidades de transformación, y realizar una transformación ortogonal y cuantificación en una señal correspondiente de las señales de error de predicción para cada una de las unidades de transformación, generándose eventualmente coeficientes de cuantificación de las unidades de codificación respectivas; y codificar elementos de información de gestión y los coeficientes de cuantificación en una estructura de árbol, indicando los elementos de información de gestión una estructura de las unidades de transformación, en el que cada una de las unidades de transformación corresponde a un nodo correspondiente de los nodos hoja en la estructura de árbol, y en la codificación, para cada uno de los nodos hoja, se codifica un elemento correspondiente de la información de gestión y un elemento correspondiente de los coeficientes de cuantificación, generándose eventualmente una señal codificada en la que el elemento correspondiente codificado de la información de gestión y el elemento correspondiente codificado de los coeficientes de cuantificación se disponen sucesivamente para cada uno de los nodos hoja.

Mediante el método, un elemento de la información de gestión y un coeficiente de cuantificación de cada una de las unidades de transformación se codifican de manera continua. Por tanto, no es necesario que cada uno del aparato de codificación de imágenes y el aparato de decodificación de imágenes hagan que una memoria contenga elementos de información de gestión de otras unidades de transformación. Tal como se describió anteriormente, el método de codificación de imágenes puede reducir la cantidad de datos de una memoria para almacenar temporalmente datos que van a usarse en codificación o decodificación.

Es posible que los elementos de la información de gestión incluyan elementos respectivos de información dividida, cada uno de los cuales corresponde a un nodo correspondiente de los nodos en la estructura de árbol e indica si una unidad de transformación correspondiente al nodo correspondiente de los nodos va a dividirse adicionalmente. También es posible que los elementos de la información de gestión incluyan primeras banderas respectivas, cada una de los cuales corresponde a al menos uno de los nodos en la estructura de árbol e indica si existe o no un coeficiente de cuantificación correspondiente a cada uno del al menos uno de los nodos.

Además, es posible que en la codificación, se determine si un valor de la primera bandera de un nodo actual en un nivel actual puede identificarse o no de manera única por al menos una de (a) la primera bandera en un nivel superior al nivel actual y (b) la primera bandera de un nodo diferente en el nivel actual, y cuando se determina que el valor de la primera bandera del nodo actual puede identificarse de manera única, la primera bandera del nodo actual no se codifica.

Por tanto, el método de codificación de imágenes puede reducir la cantidad de codificación de la señal codificada. Además, es posible que la codificación incluya la codificación de una etapa de cuantificación de diferencia en cada uno de los nodos hoja en la señal codificada, disponiéndose la etapa de cuantificación de diferencia codificada en una posición correspondiente a cada uno de los nodos hoja en la estructura de árbol, y la etapa de cuantificación de diferencia indica, en la realización de transformación ortogonal y cuantificación, una diferencia entre una etapa de cuantificación que se ha usado más recientemente y una etapa de cuantificación que va a usarse para una unidad de transformación actual.

Mediante el método, el método de codificación de imágenes puede disponer la etapa de cuantificación de diferencia y el coeficiente de transformación en posiciones cercanas en la señal codificada. Como resultado, el método de codificación de imágenes puede reducir la cantidad de memoria para almacenar temporalmente datos en el aparato de decodificación de imágenes.

Además, es posible que la codificación incluya la codificación de una etapa de cuantificación de diferencia en una raíz de la estructura de árbol en la señal codificada, disponiéndose la etapa de cuantificación de diferencia codificada en una posición correspondiente a la raíz, y la etapa de cuantificación de diferencia indica, en la realización de transformación ortogonal y cuantificación, una diferencia entre una etapa de cuantificación que se ha usado más recientemente y una etapa de cuantificación que va a usarse para una unidad de transformación actual. Mediante el método anterior, el método de codificación de imágenes puede reducir la cantidad de codificación de la señal codificada.

Además, es posible que cada uno de los coeficientes de cuantificación incluya un coeficiente de cuantificación de luminancia y un coeficiente de cuantificación de crominancia, y la primera bandera incluye una segunda bandera y una tercera bandera, indicando la segunda bandera si existe o no el coeficiente de cuantificación de luminancia, e indicando la tercera bandera si existe o no el coeficiente de cuantificación de crominancia, en el que en la codificación, para cada uno del al menos uno de los nodos, la segunda bandera se codifica después de codificar la tercera bandera, generándose de ese modo la señal codificada en la que se dispone la segunda bandera codificada después de la tercera bandera codificada.

Es posible además que cada uno de los coeficientes de cuantificación incluya un coeficiente de cuantificación de luminancia, un coeficiente de cuantificación de crominancia Cb y un coeficiente de cuantificación de crominancia Cr, la primera bandera incluye una segunda bandera, una tercera bandera y una cuarta bandera, indicando la segunda bandera si existe o no el coeficiente de cuantificación de luminancia, indicando la tercera bandera si existe o no el coeficiente de cuantificación de crominancia Cb, e indicando la cuarta bandera si existe o no el coeficiente de cuantificación de crominancia Cr, y en la codificación, para cada uno del al menos uno de los nodos, la tercera bandera, la cuarta bandera, la segunda bandera, el coeficiente de cuantificación de luminancia, el coeficiente de cuantificación de crominancia Cb y el coeficiente de cuantificación de crominancia Cr se codifican en orden, generándose de ese modo la señal codificada en la que la tercera bandera codificada, la cuarta bandera codificada, la segunda bandera codificada, el coeficiente de cuantificación de luminancia codificado, el coeficiente de cuantificación de crominancia Cb codificado y el coeficiente de cuantificación de crominancia Cr codificado se disponen en orden.

Según otra realización a modo de ejemplo dada a conocer en el presente documento, es posible además que un método de decodificación de imágenes, que comprende: decodificar una señal codificada para generar coeficientes de cuantificación y elementos de información de gestión, correspondiendo cada uno de los coeficientes de cuantificación a una unidad de transformación correspondiente, e indicando los elementos de la información de gestión una estructura de las unidades de transformación; realizar cuantificación inversa y transformación inversa en cada uno de los coeficientes de cuantificación, generándose eventualmente señales de error de predicción de las unidades de transformación respectivas; y sumar al menos una de las señales de error de predicción a una señal de predicción para cada una de las unidades de codificación que incluyen cada una las unidades de transformación, generándose eventualmente señales decodificadas para cada una de las unidades de codificación, los coeficientes de cuantificación y los elementos de la información de gestión tienen una estructura de árbol, cada una de las unidades de transformación corresponde a un nodo correspondiente de los nodos hoja en la estructura de árbol, y la decodificación incluye la decodificación, para cada uno de los nodos hoja, de un elemento codificado de la información de gestión y un coeficiente de cuantificación codificado que se disponen sucesivamente en la señal codificada para cada uno de los nodos hoja.

Mediante el método, un elemento de la información de gestión y un coeficiente de cuantificación de cada una de las unidades de transformación se codifican de manera continua. Por tanto, no es necesario que el aparato de decodificación de imágenes haga que una memoria contenga elementos de información de gestión de otras unidades de transformación. Tal como se describió anteriormente, el método de decodificación de imágenes puede reducir la cantidad de datos de una memoria para almacenar temporalmente elementos de datos que van a usarse en la decodificación.

Es posible que los elementos de la información de gestión incluyan elementos respectivos de información dividida, cada uno de los cuales corresponde a un nodo correspondiente de los nodos en la estructura de árbol e indica si una unidad de transformación correspondiente al nodo correspondiente de los nodos va a dividirse adicionalmente. También es posible que los elementos de la información de gestión incluyan primeras banderas respectivas, cada una de las cuales corresponde a al menos uno de los nodos en la estructura de árbol e indica si existe o no un coeficiente de cuantificación correspondiente a cada uno del al menos uno de los nodos.

También es posible que en la decodificación, se determine si un valor de la primera bandera de un nodo actual en un nivel actual puede identificarse o no por al menos una de (a) la primera bandera en un nivel superior al nivel actual y (b) la primera bandera de un nodo diferente en el nivel actual, y cuando se determina que el valor de la primera bandera del nodo actual puede identificarse de manera única, la primera bandera del nodo actual no se genera mediante decodificación.

Mediante este método, puede reducirse la cantidad de codificación de la señal codificada.

Además, es posible que la decodificación incluya la decodificación de una etapa de cuantificación de diferencia en un nodo hoja actual en la señal codificada, disponiéndose la etapa de cuantificación de diferencia en una posición correspondiente al nodo hoja actual en la estructura de árbol, y la etapa de cuantificación de diferencia indica, en la realización de cuantificación inversa y transformación ortogonal inversa, una diferencia entre una etapa de cuantificación que se ha usado más recientemente y una etapa de cuantificación que va a usarse para una unidad de transformación actual.

Mediante el método, una etapa de cuantificación de diferencia y un coeficiente de transformación se disponen cerca uno del otro en una señal codificada. Como resultado, el método de decodificación de imágenes puede reducir la cantidad de memoria para almacenar temporalmente datos en el aparato de decodificación de imágenes.

Es posible además que la decodificación incluya la decodificación de una etapa de cuantificación de diferencia en una raíz de la estructura de árbol en la señal codificada, codificándose la etapa de cuantificación de diferencia dispuesta en una posición correspondiente a la raíz, y la etapa de cuantificación de diferencia indica, en la realización de cuantificación inversa y transformación ortogonal inversa, una diferencia entre una etapa de cuantificación que se ha usado más recientemente y una etapa de cuantificación que va a usarse para una unidad de transformación actual.

Además, es posible que cada uno de los coeficientes de cuantificación incluya un coeficiente de cuantificación de luminancia y un coeficiente de cuantificación de crominancia, y la primera bandera incluye una segunda bandera y una tercera bandera, indicando la segunda bandera si existe o no el coeficiente de cuantificación de luminancia, e indicando la tercera bandera si existe o no el coeficiente de cuantificación de crominancia, en la señal codificada, la segunda bandera que se codifica se dispone después de la tercera bandera que se codifica, en la decodificación, la segunda bandera que se codifica se decodifica después de decodificar la tercera bandera que se codifica, para cada uno del al menos uno de los nodos.

Es posible además que cada uno de los coeficientes de cuantificación incluya un coeficiente de cuantificación de luminancia, un coeficiente de cuantificación de crominancia Cb y un coeficiente de cuantificación de crominancia Cr, la primera bandera incluye una segunda bandera, una tercera bandera y una cuarta bandera, indicando la segunda bandera si existe o no el coeficiente de cuantificación de luminancia, indicando la tercera bandera si existe o no el coeficiente de cuantificación de crominancia Cb e indicando la cuarta bandera si existe o no el coeficiente de cuantificación de crominancia Cr, y la tercera bandera que se codifica, la cuarta bandera que se codifica, la segunda bandera que se codifica, el coeficiente de cuantificación de luminancia que se codifica, el coeficiente de cuantificación de crominancia Cb que se codifica y el coeficiente de cuantificación de crominancia Cr que se codifica se disponen en orden en la señal codificada y en la decodificación, para cada uno del al menos uno de los nodos, la tercera bandera que se codifica, la cuarta bandera que se codifica, el coeficiente de cuantificación de luminancia que se codifica, el coeficiente de cuantificación de crominancia Cb que se codifica y el coeficiente de cuantificación de crominancia Cr que se codifica se decodifican en orden.

Según todavía otra realización a modo de ejemplo dada a conocer en el presente documento, un aparato de codificación de imágenes que incluye una unidad de resta configurada para dividir una señal de imagen de entrada en una pluralidad de unidades de codificación, y restar una señal de predicción de la señal de imagen de entrada para cada una de las unidades de codificación, generándose eventualmente señales de error de predicción de las unidades de codificación respectivas; una unidad de cuantificación de transformación configurada para dividir cada una de las unidades de codificación en una pluralidad de unidades de transformación, y realizar una transformación ortogonal y cuantificación en una señal correspondiente de las señales de error de predicción para cada una de las unidades de transformación, generándose eventualmente coeficientes de cuantificación de las unidades de codificación respectivas; y una unidad de codificación configurada para codificar elementos de información de gestión y los coeficientes de cuantificación en una estructura de árbol, indicando los elementos de información de gestión una estructura de las unidades de transformación, en el que cada una de las unidades de transformación corresponde a un nodo correspondiente de los nodos hoja en la estructura de árbol, y la unidad de codificación está configurada para codificar, para cada uno de los nodos hoja, un elemento correspondiente de la información de gestión y un elemento correspondiente de los coeficientes de cuantificación, generándose eventualmente una señal codificada en la que el elemento correspondiente codificado de la información de gestión y el elemento correspondiente codificado de los coeficientes de cuantificación se disponen sucesivamente para cada uno de los nodos hoja.

Mediante el método, un elemento de la información de gestión y un coeficiente de cuantificación de cada una de las unidades de transformación se codifican de manera continua. Por tanto, no es necesario que cada uno del aparato de codificación de imágenes y el aparato de decodificación de imágenes haga que una memoria contenga elementos de información de gestión de otras unidades de transformación. Tal como se describió anteriormente, el aparato de codificación de imágenes puede reducir la cantidad de datos de una memoria para almacenar temporalmente datos que van a usarse en codificación o decodificación.

Según todavía otra realización a modo de ejemplo dada a conocer en el presente documento, un aparato de decodificación de imágenes que incluye una unidad de decodificación configurada para decodificar una señal codificada para generar coeficientes de cuantificación y elementos de información de gestión, correspondiendo cada uno de los coeficientes de cuantificación a una unidad de transformación correspondiente, e indicando los elementos de la información de gestión una estructura de las unidades de transformación; una unidad de cuantificación inversa/transformación inversa configurada para realizar cuantificación inversa y transformación inversa en cada uno de los coeficientes de cuantificación, generándose eventualmente señales de error de predicción de las unidades de transformación respectivas; y una unidad de suma configurada para sumar al menos una de las señales de error de predicción a una señal de predicción para cada una de las unidades de codificación que incluyen cada una las unidades de transformación, y generándose eventualmente señales decodificadas para cada una de las unidades de codificación, los coeficientes de cuantificación y los elementos de la información de gestión tienen una estructura de árbol, cada una de las unidades de transformación corresponde a un nodo correspondiente de los nodos hoja en la estructura de árbol, y la unidad de decodificación está configurada para decodificar, para cada uno de los nodos hoja, un elemento codificado de la información de gestión y un coeficiente de cuantificación codificado que se disponen sucesivamente en la señal codificada para cada uno de los nodos hoja.

Mediante el método, un elemento de la información de gestión y un coeficiente de cuantificación de cada una de las unidades de transformación se codifican de manera continua. Por tanto, no es necesario que el aparato de decodificación de imágenes haga que una memoria contenga elementos de información de gestión de otras unidades de transformación. Tal como se describió anteriormente, el aparato de decodificación de imágenes puede reducir la cantidad de datos de una memoria para almacenar temporalmente datos que van a usarse en decodificación.

Según todavía otra realización a modo de ejemplo dada a conocer en el presente documento, un aparato de codificación/decodificación de imágenes incluye el aparato de codificación de imágenes descrito anteriormente y el aparato de decodificación de imágenes descrito anteriormente.

A continuación se describen realizaciones con referencia a los dibujos.

Cada una de las realizaciones a modo de ejemplo descritas a continuación muestra un ejemplo general o específico. Los valores numéricos, las formas, los materiales, los elementos estructurales, la disposición y la conexión de los elementos estructurales, las etapas, el orden de procesamiento de las etapas, etc. mostrados en las siguientes realizaciones a modo de ejemplo son meros ejemplos y, por tanto, no limitan el alcance de las reivindicaciones adjuntas y sus equivalentes. Por tanto, entre los elementos estructurales en las siguientes realizaciones a modo de ejemplo, los elementos estructurales no mencionados en una cualquiera de las reivindicaciones independientes se describen como elementos estructurales arbitrarios.

(Realización 1)

El aparato de codificación de imágenes según la realización 1 divide un bloque como una unidad que va a codificarse, jerárquicamente en una pluralidad de unidades de transformación. Además, el aparato de codificación de imágenes codifica, en una estructura de árbol, (a) elementos de información de gestión que indica una estructura de las unidades de transformación, y (b) coeficientes de transformación. Como resultado, el aparato de codificación de imágenes puede suprimir el aumento de elementos de información que indican la estructura de las unidades de transformación, y también puede aumentar la flexibilidad en la selección de un tamaño de transformación.

En primer lugar, se describen las estructuras de un aparato de codificación de imágenes y un aparato de decodificación de imágenes.

La figura 2 es un diagrama de bloques del aparato de codificación de imágenes 100 según la presente realización. El aparato de codificación de imágenes 100 codifica, por ejemplo, datos de audio y datos de vídeo a una baja velocidad de transmisión de bits.

El aparato de codificación de imágenes 100 mostrado en la figura 2 codifica una señal de imagen de entrada 101 para generar una señal codificada 191. El aparato de codificación de imágenes 100 incluye un restador 110, una unidad de transformación 120, una unidad de cuantificación 130, una unidad de cuantificación inversa 140, una unidad de transformación inversa 150, un sumador 160, una memoria 170, una unidad de predicción 180 y una unidad de codificación entrópica 190.

En este caso, una imagen (dicho de otro modo, una trama) se divide en una pluralidad de unidades de codificación (Coding Units, CU) que van a codificarse. Por tanto, cada imagen se codifica CU por CU. Cada una de las CU se divide en una o más unidades de transformación (TU).

El restador 110 divide una señal de imagen de entrada 101 en una pluralidad de CU. Luego, para cada una de las CU, el restador 110 resta una señal de predicción 181 de la señal de imagen de entrada 101 para generar una señal de error de predicción 111 (señal de entrada de transformación), y proporciona la señal de error de predicción 111 generada a la unidad de transformación 120.

La unidad de transformación 120 divide una CU en una o más TU. Luego, para cada una de las TU, la unidad de transformación 120 realiza la transformación de frecuencia en una señal de error de predicción 111 correspondiente para generar una señal de salida de transformación 121. Más específicamente, la unidad de transformación 120 se transforma, de un dominio temporal-espacial a un dominio de frecuencia, la señal de error de predicción 111 o la señal de entrada de transformación generada realizando determinado procesamiento en la señal de error de predicción 111. Como resultado, la unidad de transformación 120 genera la señal de salida de transformación 121 que tiene una correlación disminuida.

La unidad de cuantificación 130 cuantifica la señal de salida de transformación 121 para cada una de las TU, generándose de ese modo un coeficiente de cuantificación 131 que tiene una pequeña cantidad total de datos. La unidad de codificación entrópica 190 codifica el coeficiente de cuantificación 131 usando un algoritmo de codificación entrópica, generándose de ese modo una señal codificada 191 que tiene una redundancia comprimida adicional.

Para cada una de las TU, la unidad de cuantificación inversa 140 somete a cuantificación inversa el coeficiente de cuantificación 131 para generar una señal de salida de transformación decodificada 141. Para cada una de las TU, la unidad de transformación inversa 150 somete a transformación inversa la señal de salida de transformación decodificada 141 para generar una señal de entrada de transformación decodificada 151.

Para cada una de las CU, el sumador 160 suma la señal de entrada de transformación decodificada 151 con una señal de predicción 181 para generar una señal decodificada 161. La memoria 170 almacena la señal decodificada 161.

Para cada una de las CU, la unidad de predicción 180 obtiene una señal predeterminada de la memoria 170 según un método de predicción tal como intra-predicción o inter-predicción, y genera una señal de predicción 181 según un método predeterminado basado en el método de predicción. Más específicamente, la unidad de predicción 180 determina el método de predicción para lograr una máxima eficiencia de codificación, y genera la señal de predicción 181 según el método de predicción determinado. Además, la unidad de codificación entrópica 190 realiza la codificación entrópica en la información que indica el método de predicción, según sea necesario.

En este caso, la unidad de cuantificación inversa 140, la unidad de transformación inversa 150, el sumador 160, la memoria 170 y la unidad de predicción 180 también se incluyen en el aparato de decodificación de imágenes. La señal decodificada 161 corresponde a una señal de imagen reproducida (señal decodificada 261) generada por el aparato de decodificación de imágenes.

La figura 3 es un diagrama de bloques del aparato de decodificación de imágenes. El aparato de decodificación de imágenes 200 mostrado en la figura 3 decodifica una señal codificada 191 para generar una señal decodificada 261. El aparato de decodificación de imágenes 200 incluye una unidad de cuantificación inversa 240, una unidad de transformación inversa 250, un sumador 260, una memoria 270, una unidad de predicción 280 y una unidad de decodificación entrópica 290.

La unidad de decodificación entrópica 290 realiza la decodificación entrópica en la señal codificada 191 para generar un coeficiente de cuantificación 231 y un método de predicción 291.

Para cada una de las TU, la unidad de cuantificación inversa 240 somete a cuantificación inversa el coeficiente de cuantificación 231 para generar una señal de salida de transformación decodificada 241. La unidad de transformación inversa 250 somete a transformación inversa la señal de salida de transformación decodificada 241 para generar una señal de entrada de transformación decodificada 251.

Para cada CU, el sumador 260 suma la señal de entrada de transformación decodificada 251 con una señal de predicción 281 para generar una señal decodificada 261. La señal decodificada 261 es una imagen reproducida generada por el aparato de decodificación de imágenes 200. La señal decodificada 261 se emite como una señal de salida del aparato de decodificación de imágenes 200, y también se almacena en la memoria 270.

Para cada una de las CU, la unidad de predicción 280 obtiene una señal predeterminada de la memoria 270 según el método de predicción 291, y genera una señal de predicción 281 según un método predeterminado basado en el método de predicción 291.

Más adelante en el presente documento, los coeficientes de cuantificación 131 y 231 se denominan también “coeficientes de transformación” o “coeficientes de transformación de bloque”.

Según la presente realización, con el fin de seleccionar de manera flexible un tamaño de transformación entre diversos tamaños de transformación que varían de grande a pequeño, la división en unidades de transformación (TU) se expresa en una estructura de árbol. En la estructura de árbol, para definir nodos hasta nodos en los extremos (nodos hoja), se codifica información de división de unidad de transformación (TUS: split_transform_flag) que es información de bandera que indica si va a realizare o no la división de TU.

Cada una de las figuras 4A y 4B muestran un ejemplo de las TU. Por ejemplo, tal como se muestra en la figura 4, una única CU (TU0) puede dividirse en cuatro TU que son TU1 a TU4. Cada uno de los TU1 a TU4 puede dividirse adicionalmente en cuatro TU. Por ejemplo, en el ejemplo mostrado en la figura 4B, la TU1 mostrada en la figura 4A se divide adicionalmente en cuatro TU que son TU5 a TU8. Tal como se describió anteriormente, la división de TU se realiza jerárquicamente.

La figura 5 es un diagrama que muestra una estructura de árbol de las TU mostradas en la figura 4B. Tal como se muestra en la figura 5, una raíz de la estructura de árbol es la CU (TU0). Los nodos hoja en la estructura de árbol son las TU divididas respectivas.

Cada uno de los nodos en la estructura de árbol tiene información dividida (TUS). Dicho de otro modo, una TUS corresponde a un nodo correspondiente de los nodos en la estructura de árbol, e indican si una TU correspondiente al nodo va a dividirse adicionalmente o no. Un valor “1” de una TUS significa que una TU correspondiente al nodo va a dividirse adicionalmente. Por otro lado, un valor “0” de una TUS significa que la TU correspondiente al nodo no va a dividirse.

El nodo hoja que indica una TUS como “0” tiene además una CBF que indica si hay o no un coeficiente de transformación (coeff) correspondiente al nodo hoja. Un valor “1” de una CBF significa que el nodo tiene el coeficiente de transformación. Por otro lado, un valor “0” de una CBF significa que el nodo no tiene un coeficiente de transformación. Debe observarse que puede incluirse una CBF en los nodos, excepto los nodos hoja, lo que se describirá más adelante con más detalle. Dicho de otro modo, una CBF corresponde a al menos uno de los nodos en la estructura de árbol, y es la primera bandera que indica si hay un coeficiente de cuantificación 131 correspondiente al nodo.

La figura 6 es un diagrama de flujo de un método de codificación de imágenes según la presente realización. La figura 6 muestra la codificación de una única CU.

En primer lugar, el aparato de codificación de imágenes 100 (unidad de codificación entrópica 190) codifica una estructura de árbol (árbol de información dividida: transform_split_tree) de TUS como información que indica qué tamaño de transformación va a realizarse en la CU (S111). Más específicamente, el aparato de codificación de imágenes 100 codifica, en una estructura de árbol, elementos de información de gestión (TUS y CBF) que indican una estructura de una pluralidad de unidades de transformación.

A continuación, el aparato de codificación de imágenes 100 codifica la estructura de árbol (árbol de coeficientes de transformación: transform_coeff_tree) de coeficientes de transformación que incluye coeficientes de transformación de las TU respectivas, según los tamaños de transformación, los elementos de información de posición y las CBF que se expresan en el árbol de información dividida (S112). La serie de procesos descrita anteriormente se realiza en cada una de las UC.

El uso de tal expresión de estructura de árbol puede establecer el tamaño de un tamaño de transformación espacial o parcialmente en una CU, para lograr una máxima eficiencia de codificación dependiendo de las características y similares de la imagen. Obsérvese que una CBF puede codificarse en la etapa S112, no en la etapa S111.

A continuación se describe la codificación (S111) del árbol de información dividida. La figura 7 es un diagrama de flujo de etapas detalladas en la codificación (S111) de un árbol de información dividida.

La codificación de un árbol de información dividida se define de manera recursiva. El nivel recursivo (jerarquía) de la estructura de árbol se denomina profundidad de transformación (TrD, Transform Depth).

En primer lugar, el aparato de codificación de imágenes 100 codifica una TUS de una cierta TrD (S121). A continuación, el aparato de codificación de imágenes 100 cambia el procesamiento a otro según el método de generación de una señal de predicción (S122). Por ejemplo, si se adopta la inter-predicción (predicción entre imágenes), es probable que la cantidad de datos de un coeficiente de transformación de la señal de crominancia sea cero. Por tanto, en el caso en el que se adopte la inter-predicción (Sí en S122), entonces el aparato de codificación de imágenes 100 codifica cbf_chroma que es la tercera bandera que indica si existe o no un coeficiente de transformación de un bloque de señal de crominancia (S123).

Obsérvese que TUS puede intercambiarse con cbf_chroma en el orden de codificación. Si se codifica cbf_chroma antes de una TUS, el aparato de decodificación de imágenes 200 obtiene información de TUS de un flujo codificado (señal codificada 191), para minimizar el tiempo de espera hasta que se determina (S124) basándose en la TUS independientemente de si va a realizarse o no la siguiente división. De este modo, si una TUS se almacena en una memoria caché de alta velocidad o similar, es posible reducir la cantidad de memoria y aumentar la velocidad de procesamiento.

Volviendo a hacer referencia a la figura 7, la descripción continúa. A continuación, el aparato de codificación de imágenes 100 determina, basándose en la TUS, si una TU actual va a dividirse o no adicionalmente en elementos (S124). Si la TU va a dividirse (Sí en S124), entonces el aparato de codificación de imágenes 100 divide espacialmente la TU en cuatro regiones y codifica de manera recursiva el árbol de información dividida para las regiones divididas (S129). Dicho de otro modo, el aparato de codificación de imágenes 100 realiza el procesamiento (S111) mostrado en la figura 7 en cada una de las cuatro TU divididas.

Por otro lado, si la TU no va a dividirse (No en S124), entonces el aparato de codificación de imágenes 100 codifica cbf_luma, que es la segunda bandera que indica si existe o no un coeficiente de transformación de la señal de luminancia de la TU actual (S125).

A continuación, el aparato de codificación de imágenes 100 determina si el método de predicción usado para la TU (CU) es o no inter-predicción (S126). Si se usa la inter-predicción (Sí en S126), entonces el aparato de codificación de imágenes 100 termina la codificación (S111) del árbol de información dividida para el nodo actual. Por otro lado, si no se adopta la inter-predicción (por ejemplo, se adopta la intra-predicción (predicción entre imágenes)) (No en S126), entonces el aparato de codificación de imágenes 100 codifica cbf_chroma (S127), y termina la codificación (S111) del árbol de información dividida para el nodo. Si el procesamiento descrito anteriormente es un procesamiento recursivo para un nivel inferior en la jerarquía, el procesamiento cambia a otro procesamiento para un nivel superior de una llamada recursiva (un nodo padre del nodo actual en la estructura de árbol).

Luego, si los tamaños de transformación y las CBF se expresan para todas las regiones de la CU, se completa la codificación (S111) del árbol de información dividida.

A continuación, se describe la codificación (S112) de un árbol de coeficientes de transformación. La figura 8 es un diagrama de flujo de la codificación (S112) de un árbol de coeficientes de transformación.

La codificación de un árbol de información dividida se define de manera recursiva. El procesamiento para codificar un árbol de coeficientes de transformación en un cierto nivel recursivo depende de si una TUS codificada previamente es verdadera o falsa (S131). Si una TUS es verdadera (Sí en S131), entonces el aparato de codificación de imágenes 100 divide la TU en cuatro elementos y codifica de manera recursiva el árbol de coeficientes de transformación para las regiones divididas (S136).

Por otro lado, si la TU no va a dividirse (No en S131), entonces el procesamiento se cambia según si una CBF_luma codificada previamente es verdadera o falsa (S132). Si cbf_luma es verdadera (Sí en S132), entonces el aparato de codificación de imágenes 100 codifica un coeficiente de transformación de la señal de luminancia de la TU (S133). Por otro lado, si cbf_luma es falsa (No en S132), entonces el aparato de codificación de imágenes 100 no codifica el coeficiente de transformación de la señal de luminancia de la TU.

A continuación, el procesamiento cambia según una CBF_chroma codificada previamente (5134). Si cbf_chroma es verdadera (Sí en S134), entonces el aparato de codificación de imágenes 100 codifica un coeficiente de transformación de la señal de crominancia de la CU actual (S135). Por otro lado, si la cbf_chroma es falsa (No en S134), entonces el aparato de codificación de imágenes 100 no codifica el coeficiente de transformación de la señal de crominancia de la TU actual.

Tal como se describió anteriormente, se completa el procesamiento para un cierto nodo hoja. Si el procesamiento descrito anteriormente es un procesamiento recursivo para un nivel inferior, el procesamiento cambia a otro procesamiento para un nivel superior de una llamada recursiva (un nodo padre del nodo actual en la estructura de árbol).

Luego, cuando se completa el recorrido (búsqueda o circuito) de la estructura de árbol de TUS para todas las regiones en la CU actual y, por tanto, se han codificado los coeficientes de transformación de las TU que tienen una CBF verdadera, se completa la codificación (S112) de un árbol de coeficientes de transformación.

Obsérvese que, en el flujo descrito con referencia a las figuras 6, 7 y 8, si se reemplaza “codificación” por “decodificación”, puede obtenerse un flujo de decodificación realizado por el aparato de decodificación de imágenes 200 (unidad de decodificación entrópica 290).

Obsérvese también que el procedimiento descrito anteriormente no es sólo el procedimiento para codificar o decodificar, sino también el orden de disposición de los datos de la señal codificada 191. Más específicamente, en la señal codificada 191, se disponen elementos de datos codificados (TUS, CBF y coeficiente de transformación) en el mismo orden que el procedimiento descrito anteriormente. Lo mismo sucede con las realizaciones posteriores. La figura 9 es un diagrama de bloques de una unidad de decodificación entrópica 290A que es un ejemplo de la unidad de decodificación entrópica 290 incluida en el aparato de decodificación de imágenes 200. La unidad de decodificación entrópica 290A incluye una unidad de ramificación 311, una unidad de decodificación de árbol de información dividida 312, una memoria de TUS 313, una memoria de CBF 314, una unidad de decodificación de árbol de coeficientes de transformación 315 y una unidad de decodificación de coeficiente de transformación 316. La unidad de ramificación 311 (unidad DeMux) emite selectivamente una señal según el tipo de la señal codificada 191. Más específicamente, la unidad de ramificación 311 proporciona a la unidad de decodificación de árbol de información dividida 312 información de gestión codificada 321 incluida en la señal codificada 191. La información de gestión codificada 321 incluye una TUS codificada y una CBF codificada.

La unidad de decodificación de árbol de información dividida 312 decodifica la información de gestión codificada 321 para obtener la TUS y la CBF. La TUS se almacena en la memoria de TUS 313 que es una memoria temporal. Dicho de otro modo, todas las TUS en una CU actual se almacenan temporalmente en la memoria de TUS 313. Además, la CBF se almacena en la memoria de CBF 314 que es una memoria temporal. Dicho de otro modo, todas las CBF en una CU actual se almacenan temporalmente en la memoria de CBF 314.

Después de que haberse decodificado una TUS y una CBF, la unidad de ramificación 311 proporciona a la unidad de decodificación de árbol de coeficientes de transformación 315 el coeficiente de transformación codificado 322 incluido en la señal codificada 191.

La unidad de decodificación de árbol de coeficientes de transformación 315 lee una TUS de la memoria de TUS 313, y busca en la estructura de árbol un nodo según la TUS. Entonces, la unidad de decodificación de árbol de coeficientes de transformación 315 lee una CBF del nodo correspondiente de la memoria de CBF 314, y asocia el coeficiente de transformación codificado con una unidad de transformación que tiene una CBF que es verdadera. La unidad de decodificación de coeficiente de transformación 316 realiza la decodificación entrópica en el coeficiente de transformación codificado 322 para cada TU, generándose de ese modo un coeficiente de transformación (coeficiente de cuantificación 231).

Tal como se describió anteriormente, cada uno del aparato de codificación de imágenes 100 y el aparato de decodificación de imágenes 200 según la presente realización usa la información de gestión que tiene la estructura de árbol, reduciéndose de ese modo la sobrecarga de la información de gestión. Dicho de otro modo, cada uno del aparato de codificación de imágenes 100 y el aparato de decodificación de imágenes 200 puede suprimir el aumento de información que indica una estructura de unidades de transformación, y también aumentar la flexibilidad en la selección de un tamaño de transformación.

Además, cada uno del aparato de codificación de imágenes 100 y el aparato de decodificación de imágenes 200 usa dos estructuras de árbol que son un árbol de información dividida y un árbol de coeficientes de transformación. Tal como se describió anteriormente, es posible realizar independientemente la optimización de la velocidad de procesamiento y similares para cada una de las estructuras de árbol.

(Realización 2)

En la realización 1, se usan las dos estructuras de árbol. En la realización 2, sin embargo, se usa una estructura de árbol para codificar información de gestión y coeficientes de transformación.

Lo siguiente describe una diferencia entre la realización 1 descrita anteriormente y la realización 2, con referencia a las figuras 10A y 10B. La figura 10A es un diagrama que muestra una disposición de información de gestión codificada y coeficientes de transformación codificados que se incluyen en una señal codificada 191 según la realización 1. La figura 10B es un diagrama que muestra una disposición de información de gestión codificada y coeficientes de transformación codificados que se incluyen en una señal codificada 191 según la realización 2. Los datos mostrados en cada una de las figuras 10A y 10B corresponde a la estructura de árbol mostrada en la figura 5. Tal como se muestra en la figura 10A, según la realización 1, los elementos de información de gestión incluidos en un árbol de información de división se disponen sucesivamente, y los coeficientes de transformación incluidos en un árbol de coeficientes de transformación se disponen en otro grupo. Dicho de otro modo, la información de gestión y un coeficiente de transformación de la misma TU se disponen en posiciones separadas. Por tanto, es necesario almacenar temporalmente, en la memoria, información de gestión que se decodifica antes de un coeficiente de transformación.

Según la realización 2, por otro lado, se usa una única estructura de árbol para disponer tanto la información de gestión como un coeficiente de transformación que se disponen sucesivamente para cada uno de los nodos hoja en la estructura de árbol. Por tanto, es posible reducir la cantidad de datos que van a almacenarse temporalmente en la memoria.

Lo siguiente describe un método de codificación según la presente realización. En la siguiente descripción, se describe principalmente la diferencia con la realización 1 y no se facilitan explicaciones que se solapen. Además, se asignan los mismos números de referencia a las etapas y los elementos idénticos en los dibujos.

La figura 11 es un diagrama de flujo de codificación realizado por el aparato de codificación de imágenes 100 según la presente realización. El aparato de codificación de imágenes 100 codifica información de gestión (TUS y CBF) y un coeficiente de transformación usando un único árbol unificado de transformación.

En primer lugar, el aparato de codificación de imágenes 100 codifica una TUS de una cierta TrD (S121). A continuación, el procesamiento se cambia a otro según la TUS (S131). Si la TUS es verdadera (Sí en S131), entonces el aparato de codificación de imágenes 100 divide espacialmente la TU en cuatro regiones y codifica de manera recursiva un árbol unificado de transformación para las regiones divididas (S141).

Por otro lado, si la TUS es falsa (No en S131), entonces el aparato de codificación de imágenes 100 no divide la TU. Dicho de otro modo, el nodo es un nodo hoja. En este caso, el procesamiento se cambia a otro según si cbf_luma codificada en el árbol unificado de transformación es verdadera o falsa (S132).

Si cbf_luma es verdadera (Sí en S132), entonces el aparato de codificación de imágenes 100 codifica un coeficiente de transformación de la señal de luminancia de la T^uactual (S133). Por otro lado, si cbf_luma es falsa (No en S132), entonces el aparato de codificación de imágenes 100 no codifica el coeficiente de transformación de la señal de luminancia de la TU.

A continuación, el procesamiento se cambia según si cbf_chroma es verdadera o falsa (S134). Si cbf_chroma es verdadera (Sí en S134), entonces el aparato de codificación de imágenes 100 codifica un coeficiente de transformación de la señal de crominancia de la CU actual (S135). Por otro lado, si cbf_chroma es falsa (No en S134), entonces el aparato de codificación de imágenes 100 no codifica el coeficiente de transformación de la señal de crominancia de la TU actual.

Tal como se describió anteriormente, se completa el procesamiento para un cierto nodo hoja. Si el procesamiento descrito anteriormente es el procesamiento recursivo para un nivel inferior en la jerarquía, el procesamiento cambia al procesamiento para un nivel superior de una llamada recursiva (un nodo padre del nodo actual en la estructura de árbol).

Luego, si se codifican los tamaños de transformación, las CBF y similares de todas las regiones en la CU actual y los coeficientes de transformación, se completa la codificación del árbol unificado de transformación.

La realización 2 difiere de la realización 1 en que la estructura de árbol incluye elementos de información de gestión y coeficientes de transformación en los nodos hoja. La realización 1 requiere de dos procesos para las estructuras de árbol, que son la codificación de las dos estructuras de árbol (árbol de información dividida y árbol de coeficientes de transformación) y el recorrido de las estructuras de árbol. Por otro lado, la realización 2 requiere de un proceso para la estructura de árbol en el método de codificación. Por tanto, la realización 2 puede reducir las etapas incluidas en el aparato de codificación de imágenes, el aparato de decodificación de imágenes, el método de codificación de imágenes y el método de decodificación de imágenes.

Tal como se describió anteriormente, según la presente realización, el aparato de codificación de imágenes 100 codifica, en una única estructura de árbol, elementos de información de gestión y coeficientes de cuantificación 131 que indican una estructura de una pluralidad de TU. En este caso, cada una de las TU corresponde a un nodo correspondiente de los nodos hoja en la estructura de árbol. Además, el aparato de codificación de imágenes 100 codifica, para cada uno de los nodos hoja, información de gestión y un coeficiente de cuantificación 131 que corresponden al nodo hoja, y genera una señal codificada 191 en la que se disponen sucesivamente la información de gestión codificada y el coeficiente de cuantificación codificado.

Además, el aparato de decodificación de imágenes 200 decodifica la señal codificada 191 para obtener coeficientes de cuantificación 231 respectivos de las TU y elementos de información de gestión (TUS y CBF) que indican la estructura de las TU. En este caso, los elementos de información de gestión y los coeficientes de cuantificación 231 forman una única estructura de árbol. En este caso, cada una de las TU corresponde a un nodo correspondiente de los nodos hoja en la estructura de árbol. Luego, para la señal codificada 191, el aparato de decodificación de imágenes 200 decodifica, para cada uno de los nodos hoja, una información de gestión codificada y unos coeficientes de cuantificación codificados que se disponen sucesivamente para el nodo hoja.

Cada una de las figuras 12A y 12B es un diagrama de flujo de procesamiento realizado en una CBF y un coeficiente de transformación de la señal de crominancia. El procesamiento mostrado en cada una de las figuras 12A y 12B se incluye en el diagrama de flujo de la figura 11.

El aparato de codificación de imágenes 100 codifica cbf_chroma en una cierta etapa del árbol unificado de transformación (S123). Si cbf_chroma es verdadera (Sí en S134), entonces el aparato de codificación de imágenes 100 codifica un coeficiente de transformación de la señal de crominancia de la CU actual (S135).

Por motivos de simplicidad en la descripción, Cb y Cr de crominancia no se distinguen entre sí en la figura 12A. En la práctica, Cb se distingue de Cr tal como se muestra en la figura 12B.

Tal como se muestra en la figura 12B, en una cierta etapa del árbol unificado de transformación, el aparato de codificación de imágenes 100 codifica cbf_cb, que es la tercera bandera que indica si hay un coeficiente de transformación de crominancia Cb (S123A). Además, en una cierta fase del árbol unificado de transformación, el aparato de codificación de imágenes 100 codifica cbf_cr, que es la cuarta bandera que indica si existe o no un coeficiente de transformación de crominancia Cr (S123B). Después de eso, si cbf_cb es verdadera (Sí en S134A), entonces el aparato de codificación de imágenes 100 codifica el coeficiente de transformación de la crominancia Cb de la CU actual (S135A). Por otro lado, si cbf_cr es verdadera (Sí en S134B), entonces el aparato de codificación de imágenes 100 codifica el coeficiente de transformación de la crominancia Cr de la TU actual (S135B).

La figura 13 es un diagrama de bloques de una unidad de decodificación entrópica 290B que es un ejemplo de la unidad de decodificación entrópica 290 incluida en el aparato de decodificación de imágenes 200 según la realización 2. La unidad de decodificación entrópica 290B incluye una unidad de decodificación de árbol unificado de transformación 317 y una unidad de decodificación de coeficiente de transformación 316.

De entre la señal codificada 191, la TUS codificada, la CBF y el coeficiente de transformación, a saber, las señales codificadas incluidas en el árbol unificado de transformación, se proporcionan a la unidad de decodificación de árbol unificado de transformación 317. La unidad de decodificación de árbol unificado de transformación 317 decodifica un tamaño de unidad de transformación de TU y una posición según la estructura de árbol de TUS. Además, la unidad de decodificación de árbol unificado de transformación 317 decodifica una CBF según sea necesario, y genera un coeficiente de transformación codificado de una TU si la CBF es verdadera.

La unidad de decodificación de coeficiente de transformación 316 realiza la decodificación entrópica en el coeficiente de transformación codificado proporcionado desde la unidad de decodificación de árbol unificado de transformación 317, generándose de ese modo un coeficiente de transformación (coeficiente de cuantificación 231).

La unidad de decodificación entrópica 290B mostrada en la figura 13 difiere de la unidad de decodificación entrópica 290A mostrada en la figura 9 porque la memoria de TUS 313 y la memoria de CBF 314 no se requieren. Tal como se describió anteriormente, el aparato de decodificación de imágenes 200 según la presente realización puede reducir el tamaño de memoria.

Obsérvese que el aparato de codificación de imágenes 100 puede eliminar la codificación de banderas tales como cbf_chroma, cbf_luma, cbf_cb y cbf_cr en ciertas condiciones. De este modo, es posible reducir la cantidad de datos de la señal codificada 191. Lo siguiente describe el procesamiento con referencia a las figuras 14A a 14D.

La figura 14A es un diagrama para explicar un caso normal en el que se codifica una bandera de CBF para cada una de las cuatro regiones divididas. La figura 14B es un diagrama de un ejemplo en el que se elimina la codificación. En este caso, se sabe que cualquiera de estos cuatro bloques tiene un coeficiente de transformación. En este caso, si las CBF de bloques arriba a la izquierda, arriba a la derecha y abajo a la izquierda son todos “0”, entonces una CBF de un bloque en abajo a la derecha debe ser “1”. Esto resulta evidente sin referencia a una bandera de CBF del bloque abajo a la derecha. Por tanto, puede eliminarse la codificación de la bandera de CBF del bloque abajo a la derecha.

La figura 14C es un diagrama de otro ejemplo, que muestra cuatro bloques en una cierta TrD = d y un bloque TrD = d - 1 en un nivel que es superior al nivel de los cuatro bloques. Si una CBF es “1” para el bloque de nivel superior TrD = d -1, al menos uno de los bloques TrD = d que se generan al dividir el bloque de jerarquía superior y están en un nivel inferior tiene un coeficiente de transformación. Dicho de otro modo, en este caso, uno de los bloques en el nivel inferior TrD = d tiene una CBF = 1. En este caso, como en el caso anterior, si las CBF de bloques arriba a la izquierda, arriba a la derecha y abajo a la izquierda son todos “0”, entonces una CBF de un bloque abajo a la derecha debe ser “1”. Por tanto, puede eliminarse la codificación de la CBF del bloque abajo a la derecha.

Asimismo, la figura 14D es un diagrama que muestra un ejemplo en el que cbf_chroma se codifica en primer lugar para hacer que cbf_luma dependa de cbf_chroma codificada. Para cbf_luma de los cuatro bloques en TrD = d, si elementos de cbf_luma de todos los bloques arriba a la izquierda, arriba a la derecha y abajo a la izquierda son “0” y elementos de cbf_chroma (cbf_cb y cbf_cr) de dos bloques en un nivel superior son “0”, es seguro que cbf_luma del último bloque es “1”. Por tanto, puede eliminarse la codificación de cbf_luma del bloque.

Tal como se describió anteriormente, hay un caso en el que puede eliminarse una bandera de CBF. En la presente realización, es posible combinar eliminaciones en tales condiciones al codificar o decodificar una bandera de CBF. Tal como se describió anteriormente, el aparato de codificación de imágenes 100 determina si un valor de una bandera de CBF de un nodo actual en un nivel actual puede identificarse o no de manera única por al menos una de (a) una bandera de CBF en un nivel superior y (b) banderas de CBF de diferentes nodos en el nivel actual. Si el valor de la bandera de CBF del nodo actual puede identificarse de manera única, la bandera de CBF del nodo actual no se codifica. Además, el aparato de decodificación de imágenes 200 determina si un valor de una CBF de un nodo actual en un nivel actual puede identificarse o no de manera única por al menos una de (a) una bandera de CBF en un nivel superior y (b) banderas de CBF de diferentes nodos en el nivel actual. Si el valor de la CBF del nodo actual puede identificarse de manera única, la bandera de CBF del nodo actual no se decodifica.

Por tanto, el aparato de codificación de imágenes 100 según la presente realización codifica (a) información de gestión que indica un tamaño de una unidad de transformación, una posición y similares y (b) un coeficiente de transformación en una única estructura de árbol. El aparato de codificación de imágenes 100 y el aparato de decodificación de imágenes 200 pueden reducir de ese modo la cantidad de datos en una memoria usada y reducir las etapas en el procesamiento.

Obsérvese que, en el flujo descrito con referencia a las figuras 11, 12A y 12B, si se reemplaza “codificación” por “decodificación”, puede obtenerse un flujo de decodificación realizado por el aparato de decodificación de imágenes 200 (unidad de decodificación entrópica 290B).

(Realización 3)

La realización 3 es una variación de la realización 2 descrita anteriormente.

La figura 15 es un diagrama de flujo de codificación según la presente realización. Los mismos números de referencia en la figura 11 se asignan a las etapas idénticas en la figura 15 y, por tanto, se describen principalmente las diferencias entre la figura 11 y la figura 15.

Después de la etapa S121, el aparato de codificación de imágenes 100 determina el procesamiento según un método para generar una señal de predicción (S122). Más específicamente, si se adopta la inter-predicción (Sí en S122), entonces el aparato de codificación de imágenes 100 codifica cbf_chroma (S123).

A continuación, el aparato de codificación de imágenes 100 determina basándose en una TUS si una TU actual va a dividirse o no en elementos (S124). Si la TU va a dividirse (Sí en S124), entonces el aparato de codificación de imágenes 100 divide espacialmente la TU en cuatro regiones y codifica de manera recursiva un árbol unificado transformado para las regiones divididas (S141).

Por otro lado, si la TU no va a dividirse (No en S124), entonces el aparato de codificación de imágenes 100 codifica cbf_luma (S125). A continuación, el aparato de codificación de imágenes 100 determina si el método de predicción usado para la TU (CU) es o no inter-predicción (S126). Si no se usa la inter-predicción (por ejemplo, si se adopta la intra-predicción) (No en S126), entonces el aparato de codificación de imágenes 100 codifica cbf_chroma (S127). El procesamiento desde la etapa S132 es el mismo que el procesamiento en la figura 11.

Tal como se describió anteriormente, en el método de codificación de imágenes según la presente realización, si se adopta la inter-predicción para una CU actual, entonces se codifica cbf_chroma en el nivel más alto de jerarquía, y si se adopta la intra-predicción, se codifica cbf_chroma en un nodo hoja.

En este caso, es improbable que la inter-predicción produzca un coeficiente de transformación. En particular, es improbable que la inter-predicción produzca un coeficiente de transformación de la señal de crominancia. Por tanto, si se adopta la inter-predicción, la codificación de cbf_chroma antes de la división de TU es más eficiente que la codificación de cbf_chroma después de la división de TU. Por otro lado, es probable que la intra-predicción produzca un coeficiente de transformación. Por tanto, la codificación previa a la división de TU produce una pequeña mejora de la eficiencia de codificación. Por tanto, el aparato de codificación de imágenes 100 codifica cbf_chroma en nodos hoja después de la división de TU.

Por tanto, el aparato de codificación de imágenes 100 según la presente realización puede reducir la cantidad de datos de CBF.

Obsérvese que, en el flujo descrito con referencia a la figura 15, si se reemplaza “codificación” por “decodificación”, puede obtenerse un flujo de decodificación realizado por el aparato de decodificación de imágenes 200.

(Realización 4)

La realización 4 es una variación de la realización 3 descrita anteriormente.

La figura 16 es un diagrama de flujo de codificación según la presente realización. Los mismos números de referencia en la figura 15 se asignan a las etapas idénticas en la figura 16 y, por tanto, se describen principalmente las diferencias entre la figura 15 y la figura 16.

Tal como se describe en la realización 3, la tendencia a tener un coeficiente de transformación y similares depende en gran medida de si un método de predicción es inter-predicción o distinta de inter-predicción (intra-predicción). En particular, si se adopta la intra-predicción, son necesarias una gran cantidad de intra-predicciones y transformaciones para bloques pequeños. Para abordar esto, la disminución de las etapas en la intra-predicción es particularmente importante. Por tanto, según la presente realización, el procesamiento se selecciona en un nivel superior de jerarquía basándose en si un método de predicción es inter-predicción o intra-predicción (distinta de inter-predicción). Como resultado, el procesamiento en el caso de inter-predicción se separa del procesamiento en el caso de intra-predicción. De este modo, es fácil optimizar la implementación.

Más específicamente, tal como se muestra en la figura 16, en los nodos hoja, se codifica cbf_luma después de la determinación (S126) en cuanto a si el método de predicción es inter-predicción o distinta de inter-predicción. Más específicamente, si no se adopta la inter-predicción (No en S126), entonces el aparato de codificación de imágenes 100 codifica cbf_luma (S125B) y codifica cbf_chroma (S127). Por otro lado, si se adopta la inter-predicción (Sí en S127), entonces el aparato de codificación de imágenes 100 codifica cbf_luma (S125A). El procesamiento desde la etapa S132 es el mismo que el procesamiento en la figura 11.

Es probable que el procesamiento para CBF sea complicado con el caso en el que se eliminan banderas. Por otro lado, si el procesamiento para CBF se cambia dependiendo de si un método de predicción es inter-predicción o intra-predicción tal como se describió anteriormente, pueden producirse los mismos efectos descritos anteriormente. Tal como se muestra en la figura 17, también es posible que, si se adopta la intra-predicción (No en S126), entonces el aparato de codificación de imágenes 100 codifica cbf_chroma (S127), y luego codifica cbf_luma (S125B). De este modo, un orden de codificación de cbf_chroma y cbf_luma es el mismo entre el caso que usa la inter-predicción (S123, S125A) y el caso que usa la inter-predicción (S127 y S125B). Tal como se describió anteriormente, la comunalización del orden de procesamiento puede reducir la cantidad de datos de un programa de procesamiento. Obsérvese que, en el flujo descrito con referencia a las figuras 16 y 17, si se reemplaza “codificación” por “decodificación”, puede obtenerse un flujo de decodificación realizado por el aparato de decodificación de imágenes 200.

(Realización 5)

En la realización 5, se describe un orden de codificación de CBF y coeficientes de transformación.

Cada una de las figuras 18A a 18C muestra un orden de codificación de CBF y coeficientes de transformación (BlockCoeff). Dicho de otro modo, cada una de las figuras 18A a 18C muestra una disposición de CBF y coeficientes de transformación en una señal codificada 191. En las figuras 18A a 18C, cada valor numérico indica un orden de codificación. En cada una de las figuras 18A a 18C, el número de bloques de transformación de luma (señal de luminancia) es igual al número de bloques de transformación de croma (señal de crominancia).

El orden de codificación mostrado en la figura 18A es, por ejemplo, un ejemplo del orden de codificación según la realización 1. En la figura 18A, cbf_luma (Blk = 0), cbf_cb (Blk = 0) y cbf_cr (Blk = 0) se codifican en orden, y luego cbf_luma (Blk = 1), cbf_cb (Blk = 1), cbf_cr (Blk = 1), cbf_luma (Blk = 2), cbf_cb (Blk = 2), cbf_cr (Blk = 2), cbf_luma (Blk = 3), cbf_cb (Blk = 3), cbf_cr (Blk = 3) se codifican en orden. En este caso, cada valor de Blk indica una posición espacial de un bloque correspondiente en un orden Z. Blk = 0 indica un bloque arriba a la izquierda, Blk = 1 indica un bloque arriba a la derecha, Blk = 2 indica un bloque abajo a la izquierda y Blk = 3 indica un bloque abajo a la derecha.

Después de codificar todas las CBF, BlockCoeff (luma, Blk = 0), BlockCoeff (cb, Blk = 0) y BlockCoeff (cr, Blk = 0) se codifican en orden. A continuación, BlockCoeff (luma, Blk = 1), BlockCoeff (cb, Blk = 1)y BlockCoeff (cr, Blk = 1) se codifican en orden.

El orden de codificación mostrado en la figura 18B es, por ejemplo, un ejemplo del orden de codificación según las realizaciones 2 a 4. Las CBF y los coeficientes de transformación se codifican en la misma estructura de árbol. Por tanto, un coeficiente de transformación en una cierta posición se codifica de manera relativamente inmediata después de codificar una CBF correspondiente.

Por ejemplo, en primer lugar, cbfjuma (blk = 0), cbf_cb (blk = 0) y cbf_cr (blk = 0) se codifican en orden, y después de eso, BlockCoeff (luma, Blk = 0), BlockCoeff (cb, Blk = 0) y BlockCoeff (cr, Blk = 0), que corresponden a las CBF anteriores respectivamente, se codifican en orden. De este modo, el aparato de decodificación de imágenes 200 puede reducir el tamaño de memoria para almacenar temporalmente las banderas de CBF. En el aparato de codificación de imágenes 100, BlockCoeff no puede almacenarse en un flujo hasta que se determinen las CBF de todos los bloques. Por tanto, existe el problema de que el tamaño de memoria es lo suficientemente grande como para almacenar todos los BlockCoeff de bloques antes de un bloque actual en el orden de los bloques. Este problema se reduce usando el orden de procesamiento que se muestra en la figura 18B.

En la figura 18C, inmediatamente después de codificar una bandera de CBF, se codifica un coeficiente de transformación correspondiente. En este ejemplo, el tamaño de una memoria para almacenar temporalmente CBF y coeficientes de transformación se reduce adicionalmente en comparación con el caso mostrado en la figura 18B. Más específicamente, cbf_luma (blk = 0), BlockCoeff (luma, Blk = 0), cbf_cb (blk = 0), BlockCoeff (cb, Blk = 0), cbf_cr (blk = 0), BlockCoeff (cr, Blk = 0),... se codifican en orden.

A continuación, se facilita la descripción de un orden de codificación en el caso en el que el número de bloques de transformación de la señal de crominancia es menor que el número de bloques de transformación de la señal de luminancia. Cada una de las figuras 19A y 19B muestra un ejemplo del orden de codificación en el caso anterior. Por ejemplo, en un formato 4:2:0, el número de píxeles de la señal de crominancia es la mitad del número de píxeles de la señal de luminancia, en vista de una línea de píxeles horizontal o vertical. Para el tamaño de transformación o un tamaño de transformación inversa, se define un tamaño mínimo (MinTrafoSize). Más específicamente, en el tamaño mínimo (tamaño de transformación = MinTrafoSize), hay un caso en el que pueden usarse cuatro TU para la señal de luminancia, pero sólo se permite una TU para la señal de crominancia.

En la figura 19A, un coeficiente de transformación se codifica inmediatamente después de codificarse una CBF. Los bloques se codifican secuencialmente en un orden para tener un BlkIdx más pequeño. El orden de codificación tiene las ventajas de reducir el tamaño de una memoria temporal porque una CBF y un coeficiente de transformación correspondiente están cerca uno del otro en el orden de codificación.

En la figura 19B, en primer lugar, se codifican las CBF y los coeficientes de transformación de la señal de luminancia, y luego se codifican las CBF y los coeficientes de transformación de la señal de crominancia. Este método de codificación tiene las ventajas de minimizar los procesos entre la señal de luminancia y la señal de crominancia y de minimizar también los procesos de cambio de un puntero de entrada/salida de datos. El destino de procesamiento de predicción y almacenamiento de datos a veces es considerablemente diferente entre la señal de luminancia y la señal de crominancia. Por tanto, es deseable realizar de manera continua procesos para bloques de señal de luminancia, y luego realizar de manera continua procesos para bloques de señal de crominancia. En este caso, los bloques de la señal de crominancia se codifican después de codificar todos los bloques de la señal de luminancia. Sin embargo, los mismos efectos pueden producirse también cuando los bloques de la señal de crominancia se codifican antes de codificar todos los bloques de la señal de luminancia.

En la figura 19B, cbf_luma (arriba a la izquierda), BlockCoeff_luma (arriba a la izquierda), cbf_luma (arriba a la derecha), BlockCoeffJuma (arriba a la derecha), cbfjuma (abajo a la izquierda), BlockCoeff_luma (abajo a la izquierda), cbfjuma (abajo a la derecha), BlockCoeffJuma (abajo a la derecha), cbf_cb, BlockCoeff_cb, cbf_cr y BlockCoeff_cr se codifican en orden.

La figura 20 es un diagrama de flujo de codificación según la presente realización. La figura 20 muestra sólo el procesamiento de las CBF y los coeficientes de transformación, que forma parte de la codificación. En este caso, se asocian cuatro bloques divididos con BlkIdx respectivos en un orden Z.

La serie de etapas S125 a S152 en la figura 20 son el procesamiento para codificar CBF. La serie de etapas S125 a S123B se realiza en cada uno de los cuatro bloques divididos.

Para un cierto bloque, el aparato de codificación de imágenes 100 codifica cbfjuma (S125). A continuación, el aparato de codificación de imágenes 100 determina si el número de bloques de señal de luminancia es igual o no al número de bloques de señal de crominancia. Además, el aparato de codificación de imágenes 100 determina si Blkidx = 3 (S151) o no. Dicho de otro modo, se determina si una TU actual es o no una última TU de las cuatro TU divididas en el orden de codificación. Si el número de bloques de señal de luminancia es igual al número de bloques de señal de crominancia, o si Blkidx = 3 (Sí en S151), entonces el aparato de codificación de imágenes 100 codifica cbf_cb y cbf_cr (S123A y S123B). Por ejemplo, si TrafoSize que es un tamaño de bloque de señal de luminancia en una TrD actual no alcanza el tamaño mínimo MinTrafoSize (TrafoSize > MinTrafoSize), entonces se determina que el número de bloques de señal de luminancia es igual al número de bloques de señal de crominancia. También es posible que el aparato de codificación de imágenes 100 use un método diferente para determinar si el número de bloques de señal de luminancia es igual o no al número de bloques de señal de crominancia.

Aunque los bloques de señal de luminancia sean menos que los bloques de señal de crominancia, el aparato de codificación de imágenes 100 codifica cbf_chroma después de codificar la totalidad de cbf_luma. Dicho de otro modo, en el caso de dividirse en cuatro bloques, la codificación de cbf_luma de los cuatro bloques se ha completado cuando Blkidx = 3. Por tanto, el aparato de codificación de imágenes 100 determina que va a realizarse cbf_chroma cuando Blkidx = 3.

En resumen, el aparato de codificación de imágenes 100 codifica cbf_chroma después de codificar cbf_luma cuando (Trafosize > MinTrafoSize) || (Blkidx == 3)

Por otro lado, si Blkidx no es 3 (No en S152), entonces se selecciona un siguiente bloque para realizar el procesamiento de la etapa S125.

La serie de etapas S132 a S154 en la figura 20 son el procesamiento para codificar un coeficiente de transformación. La serie de etapas S132 a S135B se realizan en cada uno de los cuatro bloques divididos de la misma manera que la codificación de CBF.

El aparato de codificación de imágenes 100 determina si cbf_luma es verdadera o no (S132). Si cbf_luma es verdadera (Sí en S132), entonces el aparato de codificación de imágenes 100 codifica un coeficiente de transformación de la señal de luminancia de una TU actual (S133). A continuación, el aparato de codificación de imágenes 100 realiza la misma determinación que la etapa S151 (S153).

Si la determinación se realiza como verdadera (Sí en 5153), entonces el aparato de codificación de imágenes 100 determina si cbf_cb es verdadera (S134A). Si cbf_cb es verdadera (Sí en S134A), entonces el aparato de codificación de imágenes 100 codifica un coeficiente de transformación de crominancia Cb (S135A). El aparato de codificación de imágenes 100 determina si cbf_cr es verdadera o no (S134B). Si cbf_cr es verdadera (Sí en S134B), entonces el aparato de codificación de imágenes 100 codifica un coeficiente de transformación de crominancia Cr (S135B).

Obsérvese que, en el flujo descrito con referencia a la figura 20, si se reemplaza “codificación” por “decodificación”, puede obtenerse un flujo de decodificación realizado por el aparato de decodificación de imágenes 200. Además, en los órdenes de codificación descritos con referencia a las figuras 18A a 18C, las figuras 19A y 19B, si se reemplaza “codificación” por “decodificación”, puede obtenerse un orden de decodificación de la decodificación de elementos de datos codificados.

Cada una de las figuras 21A y 21B muestran un ejemplo en el que las CBF y los coeficientes de transformación de la señal de crominancia se codifican antes que las CBF y los coeficientes de transformación de la señal de luminancia. Tal como se describió anteriormente, en la inter-predicción, cbf_chroma a veces se codifica antes que cbf_luma. Por tanto, si los bloques de la señal de crominancia se codifican antes, es posible hacer que un orden de procesamiento cbf_chroma y cbf_luma sea el mismo entre la inter-predicción y la intra-predicción. Como resultado, es posible simplificar los flujos del procesamiento realizado por el aparato de codificación de imágenes 100 y el aparato de decodificación de imágenes 200.

(Realización 6)

La realización 6 es una variación de la realización 3 descrita anteriormente. En el método de codificación de imágenes según la presente realización, se codifica un parámetro de cuantificación de diferencia (difference Quantization Parameter, AQP). AQP es información que indica una diferencia entre una etapa de cuantificación usada en la cuantificación inmediatamente anterior y una etapa de cuantificación usada en la cuantificación de una unidad de transformación actual.

Cada una de las figuras 22A y 22B es un diagrama de flujo de codificación según la presente realización. Lo siguiente describe principalmente las diferencias con la figura 15.

AQP se codifica después de codificar todas las CBF. Más específicamente, el aparato de codificación de imágenes 100 codifica AQP después de codificar cbf_chroma (S123 o S127) y codificar cbf_luma (S125), y antes de codificar un coeficiente de transformación (S133 y S135) (S161).

Tal como se describió anteriormente, el aparato de codificación de imágenes 100 codifica AQP en un nodo hoja actual en una estructura de árbol, y dispone el AQP codificado en una posición correspondiente al nodo hoja actual de la señal codificada 191. Además, en el nodo hoja, la imagen el aparato de decodificación 200 decodifica el AQP codificado que se dispone en la posición correspondiente al nodo hoja en la estructura de árbol de la señal codificada 191.

En este caso, el aparato de decodificación de imágenes 200 puede decodificar un coeficiente de transformación, e inmediatamente realizar al mismo tiempo una cuantificación inversa de inmediato, usando el procesamiento en paralelo de canalización. En este caso, la codificación de AQP en el orden de codificación descrito anteriormente para determinar un parámetro de cuantificación no se produce un retardo innecesario o un aumento de la memoria.

En una cierta unidad de codificación CU, AQP se codifica sólo una vez en una TU en la que cbf_luma y cbf_chroma son en primer lugar verdaderas. Si AQP se actualiza con mayor frecuencia, la cantidad de codificación aumenta demasiado.

La figura 22B es un diagrama de flujo de un método de codificación en el caso en el que AQP se codifica en una raíz de la estructura de árbol de las TU. Tal como se muestra en la figura 22B, el aparato de codificación de imágenes 100 codifica la raíz de la estructura de árbol de las TU (S161).

Tal como se describió anteriormente, el aparato de codificación de imágenes 100 codifica AQP en una raíz de la estructura de árbol, y dispone la etapa de cuantificación de diferencia codificada en una posición correspondiente a la raíz de la señal codificada 191. Además, el aparato de decodificación de imágenes 200 decodifica, en la raíz, la etapa de cuantificación de diferencia codificada que se dispone en la posición en la raíz de la estructura de árbol de la señal codificada 191.

En este caso, el aparato de decodificación de imágenes 200 puede determinar, en una etapa anterior, un parámetro de cuantificación requerido por la unidad de cuantificación inversa 240. Por tanto, el aparato de decodificación de imágenes 200 puede realizar la activación de la unidad de cuantificación inversa 240 antes. El aparato de codificación de imágenes 100 no codifica siempre AQP. AQP se codifica sólo cuando no_residual_data es verdadera para cada unidad de codificación CU. Como resultado, puede reducirse la cantidad de datos. no_residual_data es una bandera que indica que no hay coeficiente de transformación en una CU actual. Esta bandera no_residual_data se codifica antes de la primera TUS en una CU actual.

Obsérvese que, en el flujo descrito con referencia a las figuras 22A y 22B, si se reemplaza “codificación” por “decodificación”, puede obtenerse un flujo de decodificación realizado por el aparato de decodificación de imágenes 200.

Cada una de las figuras 23 y 24A a 24C muestra un ejemplo de sintaxis de HEVC correspondiente a la realización 6. (Realización 7)

La realización 7 es una variación de la realización 3 descrita anteriormente.

Cada una de las figuras 25A y 25B es un diagrama de flujo de codificación realizado por el aparato de codificación de imágenes 100 según la presente realización.

En la codificación en las figuras 25A y 25B, la codificación de un coeficiente de transformación mostrado en la figura 15 (S132 a S135) se extrae como transformación unificada (transform_unified_unit) (S171) que es una de las subrutinas. De la misma manera tal como se describió en las realizaciones anteriores, la presente realización también produce efectos de reducir la cantidad de memoria para almacenar temporalmente información de CBF y TUS, simplificando las etapas en el procesamiento y disminuyendo el número de recorridos. También es posible que la serie de etapas S125 a S127 se incluya en la transformación unificada. En este caso, la subrutina corresponde al procesamiento de un nodo hoja en la estructura de árbol de las TU. Además, AQP puede codificarse en la transformación unificada. Además de sustancialmente los mismos efectos, la provisión de la subrutina puede producir efectos adicionales de ahorro de energía en el diseño al separar las etapas y la reducción de prueba.

Aunque sólo se han descrito con detalle anteriormente algunas realizaciones a modo de ejemplo del aparato de codificación de imágenes y el aparato de decodificación de imágenes según la presente invención, la presente invención no se limita a estas realizaciones.

Obsérvese también que las unidades de procesamiento en cada uno del aparato de codificación de imágenes y el aparato de decodificación de imágenes según las realizaciones anteriores se implementan normalmente en una integración a gran escala (Large Scale Integration, LSI) que es un circuito integrado. Estos pueden integrarse por separado, o una parte o la totalidad de ellos pueden integrarse en un único chip.

Obsérvese también que la técnica del circuito integrado no se limita a LSI, y puede implementarse como un circuito dedicado o un procesador de uso general. También es posible usar una matriz de puerta programable en campo (Field Programmable Gate Array, FPGA) que puede programarse después de fabricar el LSI, o un procesador reconfigurable en el que la conexión y la configuración de las células del circuito dentro del LSI pueden reconfigurarse.

Obsérvese también que cada uno de los elementos estructurales en las realizaciones anteriores puede implementarse mediante un hardware dedicado, o implementarse ejecutando un programa de software adecuado para el elemento estructural. Cada uno de los elementos estructurales puede implementarse cuando una unidad de ejecución de programa, tal como una CPU o un procesador, lee un programa de software grabado en un medio de grabación, tal como un disco duro o una memoria de semiconductor, y ejecuta el programa de software de lectura. Además, la presente invención puede ser un programa de software, o puede ser un medio de grabación legible por ordenador no transitorio en el que se graba el programa. Por supuesto, el programa descrito anteriormente puede distribuirse a través de un medio de transmisión tal como Internet.

Además, los números de referencia en la descripción anterior son ejemplos para explicar la presente invención con más detalle. La presente divulgación no está limitado a los números de referencia de ejemplo.

Además, la división de los bloques funcionales en los diagramas de bloques son ejemplos. También es posible que una pluralidad de bloques funcionales se implementen como bloque funcional, que un bloque funcional se divida en una pluralidad de elementos, o que cambie una función parcial a otros bloques funcionales. Además, las funciones de la pluralidad de bloques funcionales que tienen funciones similares pueden realizarse en paralelo o en compartición temporal por un único hardware o software común.

El orden de ejecución de las etapas incluidas en cada uno del método de codificación de imágenes descrito anteriormente y el método de decodificación de imágenes descrito anteriormente es el ejemplo de explicar la presente invención con más detalle. Por tanto, pueden usarse diferentes órdenes, excepto el orden descrito anteriormente. Una parte de las etapas puede ejecutarse al mismo tiempo (en paralelo) con otras etapas.

Por tanto, aunque sólo se han descrito con detalle anteriormente algunas realizaciones a modo de ejemplo del aparato de codificación de imágenes y el aparato de decodificación de imágenes según la presente invención, la presente invención no se limita a estas realizaciones. Los expertos en la técnica apreciarán fácilmente que son posibles diversas modificaciones de las realizaciones a modo de ejemplo y combinaciones de los elementos estructurales de las diferentes realizaciones sin apartarse materialmente de las nuevas enseñanzas y ventajas de la presente invención. Por consiguiente, todas estas modificaciones y combinaciones están destinadas a estar incluidas dentro del alcance de la presente invención.

(Realización 8)

El procesamiento descrito en cada una de las realizaciones puede implementarse simplemente en un sistema informático independiente, grabando, en un medio de grabación, un programa para implementar las configuraciones del método de codificación de imágenes en movimiento (método de codificación de imágenes) y el método de decodificación de imágenes en movimiento (método de decodificación de imágenes) descritos en cada una de las realizaciones. Los medios de grabación pueden ser cualquier medio de grabación siempre que pueda grabarse el programa, tal como un disco magnético, un disco óptico, un disco magneto-óptico, una tarjeta IC y una memoria de semiconductor.

A continuación, se describirán las aplicaciones al método de codificación de imágenes en movimiento (método de codificación de imágenes) y al método de decodificación de imágenes en movimiento (método de decodificación de imágenes) descritos en cada una de las realizaciones y sistemas que usan los mismos. El sistema tiene la característica de tener un aparato de codificación y decodificación de imágenes que incluye un aparato de codificación de imágenes que usa el método de codificación de imágenes y un aparato de decodificación de imágenes que usa el método de decodificación de imágenes. Pueden cambiarse otras configuraciones en el sistema según sea apropiado dependiendo de los casos.

La figura 26 ilustra una configuración global de un sistema de provisión de contenido ex100 para implementar servicios de distribución de contenido. El área para proporcionar servicios de comunicación se divide en células del tamaño deseado, y se colocan estaciones base ex106, ex107, ex108, ex109 y ex110, que son estaciones inalámbricas fijas, en cada una de las células.

El sistema de provisión de contenido ex100 se conecta a dispositivos, tales como un ordenador ex111, un asistente digital personal (PDA) ex112, una cámara ex113, un teléfono celular ex114 y una máquina de juego ex115, a través de Internet ex101, un proveedor de servicios de Internet ex102, una red telefónica ex104, así como las estaciones base ex106 a ex110, respectivamente.

Sin embargo, la configuración del sistema de provisión de contenido ex100 no se limita a la configuración mostrada en la figura 26, y es aceptable una combinación en la que se conecta cualquiera de los elementos. Además, cada dispositivo puede conectarse directamente a la red telefónica ex104, en lugar de a través de las estaciones base ex106 a ex110, que son las estaciones inalámbricas fijas. Además, los dispositivos pueden interconectarse entre sí a través de una comunicación inalámbrica de corta distancia y otros.

La cámara ex113, tal como una cámara de vídeo digital, puede capturar vídeo. Una cámara ex116, tal como una cámara de vídeo digital, puede capturar imágenes fijas y vídeo. Además, el teléfono celular ex114 puede ser el que cumpla con cualquiera de las normas tales como sistema global para las comunicaciones móviles (GSM), acceso múltiple por división de código (Code Division Multiple Access, CDMA), acceso múltiple por división de código de banda ancha (Wideband-Code Division Multiple Access, W-CDMA), evolución a largo plazo (Long Term Evolution, LTE) y acceso a paquetes de alta velocidad (High Speed Packet Access, HSPA). Alternativamente, el teléfono celular ex114 puede ser un sistema de teléfono portátil personal (Persona1Handyphone System, PHS).

En el sistema de provisión de contenido ex100, un servidor de flujo en continuo ex103 se conecta a la cámara ex113 y otros a través de la red telefónica ex104 y la estación base ex109, que permite la distribución de imágenes de un espectáculo en directo y otros. En tal distribución, un contenido (por ejemplo, vídeo de un espectáculo musical en directo) capturado por el usuario usando la cámara ex113 se codifica tal como se describió anteriormente en cada una de las realizaciones (es decir, la cámara funciona como el aparato de codificación de imágenes de la presente invención)), y el contenido codificado se transmite al servidor de flujo en continuo ex103. Por otro lado, el servidor de flujo en continuo ex103 lleva a cabo la distribución de flujo en continuo de los datos de contenido transmitidos a los clientes tras sus solicitudes. Los clientes incluyen el ordenador ex111, el PDA ex112, la cámara ex113, el teléfono celular ex114 y la máquina de juego ex115 que pueden decodificar los datos codificados mencionados anteriormente. Cada uno de los dispositivos que han recibido los datos distribuidos decodifica y reproduce los datos codificados (es decir, cada dispositivo funciona como el aparato de decodificación de imágenes de la presente invención).

Los datos capturados pueden codificarse por la cámara ex113 o el servidor de flujo en continuo ex103 que transmite los datos, o los procesos de codificación pueden compartirse entre la cámara ex113 y el servidor de flujo en continuo ex103. De manera similar, los datos distribuidos pueden decodificarlos los clientes o el servidor de flujo en continuo ex103, o los procesos de decodificación pueden compartirse entre los clientes y el servidor de flujo en continuo ex103. Además, los datos de las imágenes fijas y el vídeo capturados no sólo por la cámara ex113 sino también por la cámara ex116 pueden transmitirse al servidor de flujo en continuo ex103 a través del ordenador ex111. Los procesos de codificación pueden realizarlos la cámara ex116, el ordenador ex111 o el servidor de flujo en continuo ex103, o compartirse entre ellos.

Además, los procesos de codificación y decodificación puede realizarlos un LSI ex500 incluido generalmente en cada uno de los ordenadores ex111 y los dispositivos. El LSI ex500 puede configurarse con un único chip o una pluralidad de chips. El software para codificar y decodificar vídeo puede integrarse en algún tipo de medio de grabación (tal como un CD-ROM, un disco flexible y un disco duro) que pueda leerse por el ordenador ex111 y otros, y los procesos de codificación y decodificación puede realizarse usando el software. Además, cuando el teléfono celular ex114 está equipado con una cámara, los datos de imagen obtenidos por la cámara pueden transmitirse. Los datos de vídeo son datos codificados por el LSI ex500 incluido en el teléfono celular ex114.

Además, el servidor de flujo en continuo ex103 puede estar compuesto por servidores y ordenadores, y puede descentralizar datos y procesar los datos descentralizados, grabar o distribuir datos.

Tal como se describió anteriormente, los clientes pueden recibir y reproducir los datos codificados en el sistema de provisión de contenido ex100. Dicho de otro modo, los clientes pueden recibir y decodificar la información transmitida por el usuario y reproducir los datos decodificados en tiempo real en el sistema de provisión de contenido ex100, de modo que el usuario que no tiene ningún derecho y equipo en particular puede implementar la radiodifusión personal.

Aparte del ejemplo del sistema de provisión de contenido ex100, al menos uno del aparato de codificación de imágenes en movimiento (aparato de codificación de imágenes) y el aparato de decodificación de imágenes en movimiento (aparato de decodificación de imágenes) descritos en cada una de las realizaciones pueden implementarse en un sistema de radiodifusión digital ex200 ilustrado en la figura 27. Más específicamente, una estación de radiodifusión ex201 comunica o transmite, a través de ondas de radio a un satélite de radiodifusión ex202, datos multiplexados obtenidos al multiplexar datos de audio y otros en datos de vídeo. Los datos de vídeo son datos codificados mediante el método de codificación de imágenes en movimiento descrito en cada una de las realizaciones (es decir, datos codificados por el aparato de codificación de imágenes de la presente invención). Tras la recepción de los datos multiplexados, el satélite de radiodifusión ex202 transmite ondas de radio para su radiodifusión. Luego, una antena de uso doméstico ex204 con una función de recepción de radiodifusión por satélite recibe las ondas de radio. A continuación, un dispositivo tal como un televisor (receptor) ex300 y un decodificador (STB, set top box) ex217 decodifica los datos multiplexados recibidos y reproduce los datos decodificados (es decir, el dispositivo funciona como el aparato de codificación de imágenes de la presente invención).

Además, un lector/grabador ex218 (i) lee y decodifica los datos multiplexados grabados en un medio de grabación ex215, tal como un DVD y un BD, o (i) codifica señales de vídeo en el medio de grabación ex215 y, en algunos casos, escribe datos obtenidos al multiplexar una señal de audio en los datos codificados. El lector/grabador ex218 puede incluir el aparato de decodificación de imágenes en movimiento o el aparato de codificación de imágenes en movimiento tal como se muestra en cada una de las realizaciones. En este caso, las señales de vídeo reproducidas se presentan visualmente en el monitor ex219, y pueden reproducirse por otro dispositivo o sistema usando el medio de grabación ex215 en el que se graban los datos multiplexados. También es posible implementar el aparato de decodificación de imágenes en movimiento en el decodificador ex217 conectado al cable ex203 para un televisor por cable o a la antena ex204 para radiodifusión por satélite y/o terrestre, para presentar visualmente las señales de vídeo en el monitor ex219 del televisor ex300. El aparato de decodificación de imágenes en movimiento puede implementarse no en el decodificador sino en el televisor ex300.

La figura 28 ilustra el televisor (receptor) ex300 que usa el método de codificación de imágenes en movimiento y el método de decodificación de imágenes en movimiento descritos en cada una de las realizaciones. El televisor ex300 incluye: un sintonizador ex301 que obtiene o proporciona datos multiplexados obtenidos al multiplexar datos de audio en datos de vídeo, a través de la antena ex204 o el cable ex203, etc. que recibe una radiodifusión; una unidad de modulación/demodulación ex302 que demodula los datos multiplexados recibidos o modula los datos en datos multiplexados para van a suministrarse al exterior; y una unidad de multiplexación/demultiplexación ex303 que demultiplexa los datos multiplexados modulados en datos de vídeo y audio, o multiplexa datos de vídeo y audio codificados por una unidad de procesamiento de señales ex306 en datos.

El televisor ex300 incluye además: una unidad de procesamiento de señales ex306 que incluye una unidad de procesamiento de señales de audio ex304 y una unidad de procesamiento de señales de vídeo ex305 que decodifican datos de audio y datos de vídeo y codifican datos de audio y datos de vídeo (que funcionan como el aparato de codificación de imágenes y el aparato de decodificación de imágenes), respectivamente; y una unidad de salida ex309 que incluye un altavoz ex307 que proporciona la señal de audio decodificada, y una unidad de presentación visual ex308 que presenta visualmente la señal de vídeo decodificada, tal como una pantalla de visualización. Además, el televisor ex300 incluye una unidad de interfaz ex317 que incluye una unidad de entrada de operación ex312 que recibe una entrada de una operación de usuario. Además, el televisor ex300 incluye una unidad de control ex310 que controla de manera global cada elemento constituyente del televisor ex300, y una unidad de circuito de fuente de alimentación ex311 que suministra alimentación a cada uno de los elementos. Además de la unidad de entrada de operación ex312, la unidad de interfaz ex317 puede incluir: un puente ex313 que se conecta a un dispositivo externo, tal como el lector/grabador ex218; una unidad de ranura ex314 para permitir la conexión del medio de grabación ex216, tal como una tarjeta SD; un controlador ex315 para conectarse a un medio de grabación externo, tal como un disco duro; y un módem ex316 para conectarse a una red telefónica. En este caso, el medio de grabación ex216 puede grabar eléctricamente información usando un elemento de memoria de semiconductor no volátil/volátil para almacenamiento. Los elementos constituyentes del televisor ex300 están conectados entre sí a través de un bus síncrono.

En primer lugar, se describirá la configuración en la que el televisor ex300 decodifica datos multiplexados obtenidos desde el exterior a través de la antena ex204 y otros y reproduce los datos decodificados. En el televisor ex300, tras una operación del usuario a través de un controlador remoto ex220 y otros, la unidad de multiplexación/demultiplexación ex303 demultiplexa los datos multiplexados demodulados por la unidad de modulación/demodulación ex302, bajo el control de la unidad de control ex310 que incluye una CPU. Además, la unidad de procesamiento de señales de audio ex304 decodifica los datos de audio demultiplexados, y la unidad de procesamiento de señales de vídeo ex305 decodifica los datos de vídeo demultiplexados, usando el método de decodificación descrito en cada una de las realizaciones, en el televisor ex300. La unidad de salida ex309 proporciona la señal de vídeo y la señal de audio decodificadas al exterior, respectivamente. Cuando la unidad de salida ex309 proporciona la señal de vídeo y la señal de audio, las señales pueden almacenarse temporalmente en las memorias intermedias ex318 y ex319, y otros, de modo que las señales se reproduzcan en sincronización entre sí. Además, el televisor ex300 puede leer datos multiplexados no a través de una radiodifusión y otros, sino a partir de los medios de grabación ex215 y ex216, tales como un disco magnético, un disco óptico y una tarjeta SD. A continuación, se describirá una configuración en la que el televisor ex300 codifica una señal de audio y una señal de vídeo, y transmite los datos al exterior o escribe los datos en un medio de grabación. En el televisor ex300, tras una operación de usuario a través del controlador remoto ex220 y otros, la unidad de procesamiento de señales de audio ex304 codifica una señal de audio, y la unidad de procesamiento de señales de vídeo ex305 codifica una señal de vídeo, bajo el control de la unidad de control ex310 usando el método de codificación descrito en cada una de las realizaciones. La unidad de multiplexación/demultiplexación ex303 multiplexa la señal de vídeo y la señal de audio codificadas, y proporciona la señal resultante al exterior. Cuando la unidad de multiplexación/demultiplexación ex303 multiplexa la señal de vídeo y la señal de audio, las señales pueden almacenarse temporalmente en las memorias intermedias ex320 y ex321, y otros, de modo que las señales se reproduzcan en sincronización entre sí. En este caso, las memorias intermedias ex318, ex319, ex320 y ex321 pueden ser una pluralidad tal como se ilustra, o al menos una memoria intermedia puede compartirse en el televisor ex300. Además, pueden almacenarse datos en una memoria intermedia para que puedan evitarse el desbordamiento y el subflujo del sistema entre la unidad de modulación/demodulación ex302 y la unidad de multiplexación/demultiplexación ex303, por ejemplo.

Además, el televisor ex300 puede incluir una configuración para recibir una entrada AV de un micrófono o una cámara distinta de la configuración para obtener datos de audio y vídeo de una radiodifusión o un medio de grabación, y puede codificar los datos obtenidos. Aunque el televisor ex300 puede codificar, multiplexar y proporcionar datos del exterior en la descripción, puede tener la capacidad de recibir, decodificar y proporcionar datos del exterior solamente, pero no la codificación, multiplexación y provisión de datos del exterior.

Además, cuando el lector/grabador ex218 lee o escribe datos multiplexados desde o en un medio de grabación, uno del televisor ex300 y el lector/grabador ex218 puede decodificar o codificar los datos multiplexados, y el televisor ex300 y el lector/grabador ex218 pueden compartir la decodificación o codificación.

Como ejemplo, la figura 29 ilustra una configuración de una unidad de reproducción/grabación de información ex400 cuando los datos se leen o escriben desde o en un disco óptico. La unidad de reproducción/grabación de información ex400 incluye elementos constituyentes ex401, ex402, ex403, ex404, ex405, ex406 y ex407 que van a describirse más adelante en el presente documento. El cabezal óptico ex401 irradia un punto láser en una superficie de grabación del medio de grabación ex215 que es un disco óptico para escribir información, y detecta la luz reflejada desde la superficie de grabación del medio de grabación ex215 para leer la información. La unidad de grabación por modulación ex402 excita eléctricamente un láser de semiconductor incluido en el cabezal óptico ex401, y modula la luz láser según los datos grabados. La unidad de demodulación de reproducción ex403 amplifica una señal de reproducción obtenida mediante la detección eléctrica de la luz reflejada desde la superficie de grabación usando un fotodetector incluido en el cabezal óptico ex401, y demodula la señal de reproducción separando una componente de señal grabada en el medio de grabación ex215 para reproducir la información necesaria. La memoria intermedia ex404 contiene temporalmente la información que va a grabarse en el medio de grabación ex215 y la información reproducida desde el medio de grabación ex215. El motor de disco ex405 hace rotar el medio de grabación ex215. La unidad de servocontrol ex406 mueve el cabezal óptico ex401 a una pista de información predeterminada mientras controla el accionamiento de rotación del motor de disco ex405 para seguir el punto láser. La unidad de control de sistema ex407 controla de manera global la unidad de reproducción/grabación de información ex400. La unidad de control de sistema ex407 puede implementar los procesos de lectura y escritura usando diversa información almacenada en la memoria intermedia ex404 y generando y añadiendo nueva información según sea necesario, y mediante la unidad de grabación por modulación ex402, la unidad de demodulación de reproducción ex403 y la unidad de servocontrol ex406 que graban y reproducen información a través del cabezal óptico ex401 mientras se hacen funcionar de manera coordinada. La unidad de control de sistema ex407 incluye, por ejemplo, un microprocesador, y ejecuta el procesamiento haciendo que un ordenador ejecute un programa de lectura y escritura.

Aunque el cabezal óptico ex401 irradia un punto láser en la descripción, puede realizar grabaciones de alta densidad usando luz de campo cercano.

La figura 30 ilustra el medio de grabación ex215 que es el disco óptico. En la superficie de grabación del medio de grabación ex215, se forman en espiral surcos guía, y una pista de información ex230 graba, por adelantado, información de dirección que indica una posición absoluta en el disco según el cambio en la forma de los surcos guía. La información de dirección incluye información para determinar las posiciones de los bloques de grabación ex231 que son una unidad para grabar datos. La reproducción de la pista de información ex230 y la lectura de la información de dirección en un aparato que graba y reproduce datos pueden conducir a la determinación de las posiciones de los bloques de grabación. Además, el medio de grabación ex215 incluye un área de grabación de datos ex233, un área de circunferencia interna ex232 y un área de circunferencia externa ex234. El área de grabación de datos ex233 es un área para su uso en la grabación de los datos de usuario. El área de circunferencia interna ex232 y el área de circunferencia externa ex234 que están en el interior y el exterior del área de grabación de datos ex233, respectivamente, son para uso específico, excepto para grabar los datos de usuario. La unidad de reproducción/grabación de información 400 lee y escribe audio codificado, datos de vídeo codificados o datos multiplexados obtenidos multiplexando los datos de audio y vídeo codificados, desde y en el área de grabación de datos ex233 del medio de grabación ex215.

Aunque un disco óptico que tiene una capa, tal como un DVD y un BD, se describe como ejemplo en la descripción, el disco óptico no se limita a tales, y puede ser un disco óptico con una estructura multicapa y que puede grabarse en una parte distinta de la superficie. Además, el disco óptico puede tener una estructura para la grabación/reproducción multidimensional, tal como la grabación de información usando luz de colores con diferentes longitudes de onda en la misma porción del disco óptico y para grabar información que tiene diferentes capas desde diversos ángulos.

Además, un automóvil ex210 que tiene una antena ex205 puede recibir datos del satélite ex202 y otros, y reproducir vídeo en un dispositivo de presentación visual tal como un sistema de navegación para automóviles ex211 establecido en el automóvil ex210, en el sistema de radiodifusión digital ex200. En este caso, una configuración del sistema de navegación para automóviles ex211 será una configuración, por ejemplo, que incluye una unidad de recepción de GPS de la configuración ilustrada en la figura 28. Lo mismo será cierto para la configuración del ordenador ex111, el teléfono celular ex114, y otros.

La figura 31A ilustra el teléfono celular ex114 que usa el método de codificación de imágenes en movimiento y el método de decodificación de imágenes en movimiento descritos en las realizaciones. El teléfono celular ex114 incluye: una antena ex350 para transmitir y recibir ondas de radio a través de la estación base ex110; una unidad de cámara ex365 que puede capturar imágenes en movimiento y fijas; y una unidad de presentación visual ex358 tal como una pantalla de cristal líquido para presentar visualmente los datos tales como vídeo decodificado capturado por la unidad de cámara ex365 o recibido por la antena ex350. El teléfono celular ex114 incluye adicionalmente: una unidad de cuerpo principal que incluye una unidad de tecla de operación ex366; una unidad de salida de audio ex357 tal como un altavoz para la salida de audio; una unidad de entrada de audio ex356 tal como un micrófono para la entrada de audio; una unidad de memoria ex367 para almacenar vídeo capturado o imágenes fijas, audio grabado, datos codificados o decodificados del vídeo recibido, las imágenes fijas, correos electrónicos, u otros; y una unidad de ranura ex364 que es una unidad de interfaz para un medio de grabación que almacena datos de la misma manera que la unidad de memoria ex367.

A continuación, se describirá un ejemplo de una configuración del teléfono celular ex114 con referencia a la figura 31B. En el teléfono celular ex114, una unidad de control principal ex360 diseñada para controlar de manera global cada unidad del cuerpo principal, incluyendo la unidad de presentación visual ex358, así como la unidad de tecla de operación ex366, se conectan mutuamente, a través de un bus síncrono ex370, a una unidad de circuito de fuente de alimentación ex361, una unidad de control de entrada de operación ex362, una unidad de procesamiento de señales de vídeo ex355, una unidad de interfaz de cámara ex363, una unidad de control de pantalla de cristal líquido (LCD) ex359, una unidad de modulación/demodulación ex352, una unidad de multiplexación/demultiplexación ex353, una unidad de procesamiento de señales de audio ex354, la unidad de ranura ex364 y la unidad de memoria ex367.

Cuando la operación de un usuario activa una tecla de fin de llamada o una tecla de encendido, la unidad de circuito de fuente de alimentación ex361 suministra alimentación a las unidades respectivas desde un conjunto de baterías para activar el teléfono celular ex114.

En el teléfono celular ex114, la unidad de procesamiento de señales de audio ex354 convierte las señales de audio recogidas por la unidad de entrada de audio ex356 en el modo de conversación de voz en señales de audio digitales bajo el control de la unidad de control principal ex360 que incluye una CPU, ROM y RAM. Luego, la unidad de modulación/demodulación ex352 realiza el procesamiento de espectro ensanchado en las señales de audio digitales, y la unidad de transmisión y recepción ex351 realiza conversión de digital a analógico y conversión de frecuencia en los datos, para transmitir los datos resultantes a través de la antena ex350. Además, en el teléfono celular ex114, la unidad de transmisión y recepción ex351 amplifica los datos recibidos por la antena ex350 en el modo de conversación de voz y realiza conversión de frecuencia y conversión de analógico a digital en los datos. Luego, la unidad de modulación/demodulación ex352 realiza un procesamiento de espectro ensanchado inverso en los datos, y la unidad de procesamiento de señales de audio ex354 los convierte en señales de audio analógicas, para emitirlas a través de la unidad de salida de audio ex357.

Además, cuando se transmite un correo electrónico en el modo de comunicación de datos, los datos de texto del correo electrónico introducido al hacer funcionar la unidad de tecla de operación ex366 y otros del cuerpo principal se envían a la unidad de control principal ex360 a través de la unidad de control de entrada de operación ex362. La unidad de control principal ex360 hace que la unidad de modulación/demodulación ex352 realice un procesamiento de espectro ensanchado en los datos de texto, y la unidad de transmisión y recepción ex351 realiza la conversión de digital a analógico y la conversión de frecuencia en los datos resultantes para transmitir los datos a la estación base ex110 a través de la antena ex350. Cuando se recibe un correo electrónico, se realiza el procesamiento que es aproximadamente inverso al procesamiento para transmitir un correo electrónico con los datos recibidos, y los datos resultantes se proporcionan a la unidad de presentación visual ex358.

Cuando se transmite o transmiten vídeo, imágenes fijas o vídeo y audio en el modo de comunicación de datos, la unidad de procesamiento de señales de vídeo ex355 comprime y codifica las señales de vídeo suministradas desde la unidad de cámara ex365 usando el método de codificación de imágenes en movimiento mostrado en cada una de las realizaciones (es decir, funciona como el aparato de codificación de imágenes de la presente invención), y transmite los datos de vídeo codificados a la unidad de multiplexación/demultiplexación ex353. En cambio, cuando la unidad de cámara ex365 captura vídeo, imágenes fijas, y otros, la unidad de procesamiento de señales de audio ex354 codifica las señales de audio recogidas por la unidad de entrada de audio ex356 y transmite los datos de audio codificados a la unidad de multiplexación/demultiplexación ex353.

La unidad de multiplexación/demultiplexación ex353 multiplexa los datos de vídeo codificados suministrados desde la unidad de procesamiento de señales de vídeo ex355 y los datos de audio codificados suministrados desde la unidad de procesamiento de señales de audio ex354, usando un método predeterminado. Luego, la unidad de modulación/demodulación (unidad de circuito de modulación/demodulación) ex352 realiza el procesamiento de espectro ensanchado en los datos multiplexados, y la unidad de transmisión y recepción ex351 realiza conversión de digital a analógico y conversión de frecuencia en los datos para transmitir los datos resultantes a través de la antena ex350.

Cuando se reciben datos de un archivo de vídeo que está vinculado a una página web y otros en el modo de comunicación de datos o al recibir un correo electrónico con vídeo y/o audio adjunto, para decodificar los datos multiplexados recibidos a través de la antena ex350, la unidad de multiplexación/demultiplexación ex353 demultiplexa los datos multiplexados en un flujo de bits de datos de vídeo y un flujo de bits de datos de audio, y suministra a la unidad de procesamiento de señales de vídeo ex355 los datos de vídeo codificados y a la unidad de procesamiento de señales de audio ex354 los datos de audio codificados, a través del bus síncrono ex370. La unidad de procesamiento de señales de vídeo ex355 decodifica la señal de vídeo usando un método de decodificación de imágenes en movimiento correspondiente al método de codificación de imágenes en movimiento mostrado en cada una de las realizaciones (es decir, funciona como el aparato de decodificación de imágenes de la presente invención), y luego la unidad de presentación visual ex358 presenta visualmente, por ejemplo, el vídeo y las imágenes fijas incluidas en el archivo de vídeo vinculado a la página web a través de la unidad de control de LCD ex359. Además, la unidad de procesamiento de señales de audio ex354 decodifica la señal de audio, y la unidad de salida de audio ex357 proporciona el audio.

Además, de manera similar al televisor ex300, un terminal tal como el teléfono celular ex114 probablemente tenga 3 tipos de configuraciones de implementación que incluyen no sólo (i) un terminal de transmisión y recepción que incluye un aparato de codificación y un aparato de decodificación, sino también (ii) un terminal de transmisión que incluye sólo un aparato de codificación y (iii) un terminal de recepción que incluye sólo un aparato de decodificación. Aunque el sistema de radiodifusión digital ex200 recibe y transmite los datos multiplexados obtenidos al multiplexar datos de audio en datos de vídeo en la descripción, los datos multiplexados pueden ser datos obtenidos al multiplexar no datos de audio sino datos de caracteres relacionados con vídeo sobre datos de vídeo, y pueden no ser datos multiplexados sino datos de vídeo en sí mismos.

Como tal, el método de codificación de imágenes en movimiento y el método de decodificación de imágenes en movimiento en cada una de las realizaciones pueden usarse en cualquiera de los dispositivos y sistemas descritos. Por tanto, pueden obtenerse las ventajas descritas en cada una de las realizaciones.

Además, la presente invención no se limita a las realizaciones, y son posibles diversas modificaciones y revisiones sin apartarse del alcance de la presente invención.

(Realización 9)

Pueden generarse datos de vídeo cambiando, según sea necesario, entre (i) el método de codificación de imágenes en movimiento o el aparato de codificación de imágenes en movimiento mostrados en cada una de las realizaciones y (ii) un método de codificación de imágenes en movimiento o un aparato de codificación de imágenes en movimiento de conformidad con una norma diferente, tal como MPEG-2, MPEG-4 AVC y VC-1.

En este caso, cuando se genera una pluralidad de datos de vídeo que son conformes a las diferentes normas y luego se decodifican, es necesario seleccionar los métodos de decodificación para ser conformes con las diferentes normas. Sin embargo, puesto que no puede detectarse según qué norma son conformes cada uno de la pluralidad de datos de vídeo que van a decodificarse, existe el problema de que puede no seleccionarse un método de decodificación apropiado.

Para resolver el problema, los datos multiplexados obtenidos al multiplexar datos de audio y otros en datos de vídeo tienen una estructura que incluye información de identificación que indica según qué norma son conformes los datos de vídeo. Más adelante en el presente documento se describirá la estructura específica de los datos multiplexados que incluyen los datos de vídeo generados en el método de codificación de imágenes en movimiento y por el aparato de codificación de imágenes en movimiento mostrados en cada una de las realizaciones. Los datos multiplexados son un flujo digital en formato flujo de transporte de MPEG-2.

La figura 32 ilustra una estructura de los datos multiplexados. Tal como se ilustra en la figura 32, los datos multiplexados pueden obtenerse multiplexando al menos uno de un flujo de vídeo, un flujo de audio, un flujo de gráficos de presentación (Presentation Graphics, PG) y un flujo de gráficos interactivos. El flujo de vídeo representa el vídeo primario y el vídeo secundario de una película, el flujo de audio (IG) representa una parte de audio primaria y una parte de audio secundaria que va a mezclarse con la parte de audio primaria, y el flujo de gráficos de presentación representa subtítulos de la película. En este caso, el vídeo primario es el vídeo normal que va a presentarse visualmente en una pantalla, y el vídeo secundario es el vídeo que va a presentarse visualmente en una ventana más pequeña en el vídeo primario. Además, el flujo de gráficos interactivos representa una pantalla interactiva que se generará disponiendo los componentes de la GUI en una pantalla. El flujo de vídeo se codifica en el método de codificación de imágenes en movimiento o por el aparato de codificación de imágenes en movimiento mostrados en cada una de las realizaciones, o en un método de codificación de imágenes en movimiento o por un aparato de codificación de imágenes en movimiento de conformidad con una norma convencional, tal como MPEG-2, MPEG-4 AVC y VC-1. El flujo de audio se codifica según una norma, tal como Dolby-AC-3, Dolby Digital Plus, MLP, DTS, DTS-HD y PCM lineal.

Cada flujo incluido en los datos multiplexados se identifica por PID. Por ejemplo, se asigna 0x1011 al flujo de vídeo que va a usarse para el vídeo de una película, se asignan 0x1100 a 0x111F a los flujos de audio, se asignan 0x1200 a 0x121F a los flujos de gráficos de presentación, se asignan 0x1400 a 0x141F a los flujos de gráficos interactivos, se asignan 0x1B00 a 0x1B1F a los flujos de vídeo que van a usarse para el vídeo secundario de la película, y se asignan 0x1A00 a 0x1A1F a los flujos de audio que van a usarse para el audio secundario que va a mezclarse con el audio primario.

La figura 33 ilustra esquemáticamente cómo se multiplexan los datos. En primer lugar, un flujo de vídeo ex235 compuesto por tramas de vídeo y un flujo de audio ex238 compuesto por tramas de audio se transforman en un flujo de paquetes PES ex236 y un flujo de paquetes PES ex239, y adicionalmente en paquetes TS ex237 y paquetes TS ex240, respectivamente. De manera similar, los datos de un flujo de gráficos de presentación ex241 y los datos de un flujo de gráficos interactivos ex244 se transforman en un flujo de paquetes PES ex242 y un flujo de paquetes PES ex245, y adicionalmente en paquetes TS ex243 y paquetes TS ex246, respectivamente. Estos paquetes TS se multiplexan en un flujo para obtener datos multiplexados ex247.

La figura 34 ilustra cómo se almacena un flujo de vídeo en un flujo de paquetes PES con más detalle. La primera barra en la figura 34 muestra un flujo de tramas de vídeo en un flujo de vídeo. La segunda barra muestra el flujo de paquetes PES. Tal como se indica mediante flechas indicadas como yy1, yy2, yy3 e yy4 en la figura 34, el flujo de vídeo se divide en imágenes como imágenes I, imágenes B e imágenes P, cada una de las cuales es una unidad de presentación de vídeo, y las imágenes se almacenan en una carga útil de cada uno de los paquetes PES. Cada uno de los paquetes PES tiene una cabecera PES, y la cabecera PES almacena un sello de tiempo de presentación (Presentation Time-Stamp, PTS) que indica un tiempo de presentación visual de la imagen, y un sello de tiempo de decodificación (Decoding Time-Stamp, DTS) que indica un tiempo de decodificación de la imagen.

La figura 35 ilustra un formato de paquetes TS que van a escribirse finalmente en los datos multiplexados. Cada uno de los paquetes TS es un paquete de longitud fija de 188 bytes que incluye una cabecera TS de 4 bytes que tiene información, tal como un PID para identificar un flujo y una carga útil de TS de 184 bytes para almacenar datos. Los paquetes PES se dividen y almacenan en las cargas útiles de TS, respectivamente. Cuando se usa un BD ROM, cada uno de los paquetes TS recibe una cabecera extra TP (TP_Extra_Header) de 4 bytes, lo que da como resultado paquetes fuente de 192 bytes. Los paquetes fuente se escriben en los datos multiplexados. La cabecera TP_Extra_Header almacena información tal como un sello de tiempo de llegada (Arrival_Time_Stamp, ATS). El ATS muestra un tiempo de inicio de transferencia en el que cada uno de los paquetes TS va a transferirse a un filtro PID. Los paquetes fuente se disponen en los datos multiplexados tal como se muestra en la parte inferior de la figura 35. Los números que se incrementan desde la cabecera de los datos multiplexados se denominan números de paquete fuente (SPN).

Cada uno de los paquetes TS incluidos en los datos multiplexados incluye no sólo flujos de audio, vídeo, subtítulos y otros, sino también una tabla de asociación de programas (Program Association Table, PAT), una tabla de mapas de programas (Program Map Table, PMT) y una referencia de reloj de programas (Program Clock Reference, PCR). La PAT muestra lo que indica un PID en una PMT usada en los datos multiplexados, y un PID de la propia PAT se registra como cero. La PMT almacena los PID de los flujos de vídeo, audio, subtítulos y otros incluidos en los datos multiplexados, y la información de atributo de los flujos correspondientes a los PID. La PMT también tiene diversos descriptores relacionados con los datos multiplexados. Los descriptores tienen información tal como información de control de copia que muestra si la copia de los datos multiplexados está permitida o no. La PCR almacena la información de tiempo STC correspondiente a un ATS que muestra cuándo se transfiere el paquete de PCR a un decodificador, para lograr la sincronización entre un reloj de tiempo de llegada (Arrival Time Clock, ATC) que es un eje de tiempo de los ATS y un reloj de tiempo del sistema (System Time Clock, STC) que es un eje de tiempo de los PTS y DTS.

La figura 36 ilustra la estructura de datos de la PMT en detalle. Una cabecera PMT se dispone en la parte superior de la PMT. La cabecera PMT describe la longitud de los datos incluidos en la PMT y otros. Una pluralidad de descriptores relacionados con los datos multiplexados se dispone después de la cabecera PMT. En los descriptores, se describe información tal como la información de control de copia. Después de los descriptores, se dispone una pluralidad de elementos de información de flujo relacionado con los flujos incluidos en los datos multiplexados. Cada elemento de información de flujo incluye descriptores de flujo que describen, cada uno, información, tal como un tipo de flujo para identificar un códec de compresión de un flujo, un PID de flujo, e información de atributo de flujo (tal como una velocidad de tramas o una relación de aspecto). Los descriptores de flujo son iguales en número al número de flujos en los datos multiplexados.

Cuando los datos multiplexados se graban en un medio de grabación y otros, se graban junto con archivos de información de datos multiplexados.

Cada uno de los archivos de información de datos multiplexados es información de gestión de los datos multiplexados tal como se muestra en la figura 37. Los archivos de información de datos multiplexados están en correspondencia uno a uno con los datos multiplexados, y cada uno de los archivos incluye información de datos multiplexados, información de atributo de flujo y un mapa de entradas.

Tal como se ilustra en la figura 37, la información de datos multiplexados incluye una velocidad del sistema, un tiempo de inicio de reproducción y un tiempo de final de reproducción. La velocidad del sistema indica la velocidad de transferencia máxima a la que un decodificador objetivo del sistema que se describirá más adelante transfiere los datos multiplexados a un filtro PID. Los intervalos de los ATS incluidos en los datos multiplexados se establecen para no ser mayores a la velocidad del sistema. El tiempo de inicio de reproducción indica un PTS en una trama de vídeo en la cabecera de los datos multiplexados. Se añade un intervalo de una trama a un PTS en una trama de vídeo al final de los datos multiplexados, y el PTS se establece en el tiempo de final de reproducción.

Tal como se muestra en la figura 38, un elemento de información de atributo se registra en la información de atributo de flujo, para cada PID de cada flujo incluido en los datos multiplexados. Cada elemento de información de atributo tiene información diferente dependiendo de si el flujo correspondiente es un flujo de vídeo, un flujo de audio, un flujo de gráficos de presentación o un flujo de gráficos interactivos. Cada elemento de información de atributo de flujo de vídeo porta información que incluye qué clase de códec de compresión se usa para comprimir el flujo de vídeo, y la resolución, la relación de aspecto y la velocidad de tramas de los elementos de datos de imágenes que se incluyen en el flujo de vídeo. Cada elemento de información de atributo de flujo de audio porta información que incluye qué clase de códec de compresión se usa para comprimir el flujo de audio, cuántos canales se incluyen en el flujo de audio, qué idioma soporta el flujo de audio y cómo de alta es la frecuencia de muestreo. La información de atributo de flujo de vídeo y la información de atributo de flujo de audio se usan para la inicialización de un decodificador antes de que el reproductor reproduzca la información.

En la presente realización, los datos multiplexados que van a usarse son de un tipo de flujo incluido en la PMT. Además, cuando los datos multiplexados se graban en un medio de grabación, se usa la información de atributo de flujo de vídeo incluida en la información de datos multiplexados. Más específicamente, el método de codificación de imágenes en movimiento o el aparato de codificación de imágenes en movimiento descritos en cada una de las realizaciones incluye una etapa o una unidad para asignar información única que indica datos de vídeo generados mediante el método de codificación de imágenes en movimiento o el aparato de codificación de imágenes en movimiento en cada una de las realizaciones, al tipo de flujo incluido en la PMT o la información de atributo de flujo de vídeo. Con la configuración, los datos de vídeo generados mediante el método de codificación de imágenes en movimiento o el aparato de codificación de imágenes en movimiento descritos en cada una de las realizaciones pueden distinguirse de datos de vídeo que son conformes a otra norma.

Además, la figura 39 ilustra las etapas del método de decodificación de imágenes en movimiento según la presente realización. En la etapa exS100, el tipo de flujo incluido en la PMT o la información de atributo de flujo de vídeo incluida en la información de datos multiplexados se obtiene a partir de los datos multiplexados. A continuación, en la etapa exS101, se determina si el tipo de flujo o la información de atributo de flujo de vídeo indica o no que los datos multiplexados se generan mediante el método de codificación de imágenes en movimiento o el aparato de codificación de imágenes en movimiento en cada una de las realizaciones. Cuando se determina que el tipo de flujo o la información de atributo de flujo de vídeo indica que los datos multiplexados se generan mediante el método de codificación de imágenes en movimiento o el aparato de codificación de imágenes en movimiento en cada una de las realizaciones, en la etapa exS102, se realiza decodificación mediante el método de decodificación de imágenes en movimiento en cada una de las realizaciones. Además, cuando el tipo de flujo o la información de atributo de flujo de vídeo indica conformidad con las normas convencionales, tales como MPEG-2, MPEG-4 AVC y VC-1, en la etapa exS103, se realiza decodificación mediante un método de decodificación de imágenes en movimiento de conformidad con las normas convencionales.

Como tal, la asignación de un nuevo valor único al tipo de flujo o la información de atributo de flujo de vídeo permite la determinación de si el método de decodificación de imágenes en movimiento o el aparato de decodificación de imágenes en movimiento que se describen en cada una de las realizaciones puede realizar o no la decodificación. Incluso cuando se introducen datos multiplexados que son conformes a una norma diferente, puede seleccionarse un método o aparato de decodificación apropiado. Por tanto, se vuelve posible decodificar información sin ningún error. Además, el método o aparato de codificación de imágenes en movimiento, o el método o aparato de decodificación de imágenes en movimiento en la presente realización pueden usarse en los dispositivos y sistemas descritos anteriormente.

(Realización 10)

Cada uno del método de codificación de imágenes en movimiento, el aparato de codificación de imágenes en movimiento, el método de decodificación de imágenes en movimiento y el aparato de decodificación de imágenes en movimiento en cada una de las realizaciones se logra normalmente en forma de un circuito integrado o un circuito integrado a gran escala (Large Scale Integrated, LSI). Como ejemplo del LSI, la figura 40 ilustra una configuración del LSI ex500 que se realiza en un chip. El LSI ex500 incluye los elementos ex501, ex502, ex503, ex504, ex505, ex506, ex507, ex508 y ex509 que van a describirse a continuación, y los elementos están conectados entre sí a través de un bus ex510. La unidad de circuito de fuente de alimentación ex505 se activa al suministrar la alimentación a cada uno de los elementos cuando se enciende la unidad de circuito de fuente de alimentación ex505.

Por ejemplo, cuando se realiza codificación, el LSI ex500 recibe una señal AV desde un micrófono ex117, una cámara ex113 y otros a través de un IO de AV ex509 bajo el control de una unidad de control ex501 que incluye una CPU ex502, un controlador de memoria ex503, un controlador de flujo ex504 y una unidad de control de frecuencia de excitación ex512. La señal AV recibida se almacena temporalmente en una memoria externa ex511, tal como una SDRAM. Bajo el control de la unidad de control ex501, los datos almacenados se segmentan en porciones de datos según la cantidad y la velocidad de procesamiento que van a transmitirse a una unidad de procesamiento de señales ex507. Entonces, la unidad de procesamiento de señales ex507 codifica una señal de audio y/o una señal de vídeo. En este caso, la codificación de la señal de vídeo es la codificación descrita en cada una de las realizaciones. Además, la unidad de procesamiento de señales ex507 a veces multiplexa los datos de audio codificados y los datos de vídeo codificados, y un IO de flujo ex506 proporciona los datos multiplexados al exterior. Los datos multiplexados proporcionados se transmiten a la estación base ex107, o se escriben en el medio de grabación ex215. Cuando los conjuntos de datos se multiplexan, los datos deben almacenarse temporalmente en la memoria intermedia ex508 para que los conjuntos de datos se sincronicen entre sí.

Aunque la memoria ex511 es un elemento exterior al LSI ex500, puede incluirse en el LSI ex500. La memoria intermedia ex508 no se limita a una memoria intermedia, sino que puede estar compuesta por memorias intermedias. Además, el LSI ex500 puede realizarse en un chip o en una pluralidad de chips.

Además, aunque la unidad de control ex501 incluye la CPU ex502, el controlador de memoria ex503, el controlador de flujo ex504, la unidad de control de frecuencia de excitación ex512, la configuración de la unidad de control ex501 no se limita a ello. Por ejemplo, la unidad de procesamiento de señales ex507 puede incluir además una CPU. La inclusión de otra CPU en la unidad de procesamiento de señales ex507 puede mejorar la velocidad de procesamiento. Además, como otro ejemplo, la CPU ex502 puede servir como o formar parte de la unidad de procesamiento de señales ex507 y, por ejemplo, puede incluir una unidad de procesamiento de señales de audio. En tal caso, la unidad de control ex501 incluye la unidad de procesamiento de señales ex507 o la CPU ex502 que incluye una parte de la unidad de procesamiento de señales ex507.

El nombre usado en este caso es LSI, pero también puede denominarse CI, sistema LSI, super LSI o ultra LSI, según el grado de integración.

Además, las maneras para lograr la integración no se limitan al LSI, y un circuito especial o un procesador de uso general, etcétera, también pueden lograr la integración. Con el mismo propósito, puede usarse una matriz de puerta programable en campo (FPGA) que puede programarse después de la fabricación de LSI o un procesador reconfigurable que permite la reconfiguración de la conexión o la configuración de un LSI.

En el futuro, con el avance en la tecnología de semiconductores, una tecnología completamente nueva puede reemplazar a LSI. Los bloques funcionales pueden integrarse usando tal tecnología. La posibilidad es que la presente invención se aplique a la biotecnología.

(Realización 11)

Cuando se decodifican datos de vídeo generados en el método de codificación de imágenes en movimiento o por el aparato de codificación de imágenes en movimiento descritos en cada una de las realizaciones, en comparación con cuando se decodifican datos de vídeo que son conformes a una norma convencional, tal como MPEG-2, MPEG-4 AVC y VC-1, la cantidad de procesamiento probablemente aumenta. Por tanto, es necesario configurar el LSI ex500 a una frecuencia de excitación mayor que la de la CPU ex502 que va a usarse cuando se decodifican datos de vídeo de conformidad con la norma convencional. Sin embargo, cuando se establece mayor la frecuencia de excitación, existe el problema de que aumenta el consumo de energía.

Para resolver el problema, el aparato de decodificación de imágenes en movimiento, tal como el televisor ex300 y el LSI ex500, está configurado para determinar según qué norma son conformes los datos de vídeo y cambiar entre las frecuencias de excitación según la norma determinada. La figura 41 ilustra una configuración ex800 en la presente realización. Una unidad de cambio de frecuencia de excitación ex803 establece una frecuencia de excitación a una frecuencia de excitación mayor cuando los datos de vídeo se generan mediante el método de codificación de imágenes en movimiento o el aparato de codificación de imágenes en movimiento descritos en cada una de las realizaciones. Entonces, la unidad de cambio de frecuencia de excitación ex803 instruye a una unidad de procesamiento de decodificación ex801 que ejecute el método de decodificación de imágenes en movimiento descrito en cada una de las realizaciones para decodificar los datos de vídeo. Cuando los datos de vídeo son conformes a la norma convencional, la unidad de cambio de frecuencia de excitación ex803 establece una frecuencia de excitación a una frecuencia de excitación menor que la de los datos de vídeo generados mediante el método de codificación de imágenes en movimiento o el aparato de codificación de imágenes en movimiento descritos en cada una de las realizaciones. Luego, la unidad de cambio de frecuencia de excitación ex803 instruye a la unidad de procesamiento de decodificación ex802 que sea conforme a la norma convencional para decodificar los datos de vídeo.

Más específicamente, la unidad de cambio de frecuencia de excitación ex803 incluye la CPU ex502 y la unidad de control de frecuencia de excitación ex512 en la figura 42. En este caso, cada una de la unidad de procesamiento de decodificación ex801 que ejecuta el método de decodificación de imágenes en movimiento descrito en cada una de las realizaciones y la unidad de procesamiento de decodificación ex802 que es conforme a la norma convencional corresponde a la unidad de procesamiento de señales ex507 en la figura 42. La CPU ex502 determina según qué norma son conformes los datos de vídeo. Luego, la unidad de control de frecuencia de excitación ex512 determina una frecuencia de excitación basándose en una señal de la CPU ex502. Además, la unidad de procesamiento de señales ex507 decodifica los datos de vídeo basándose en la señal de la CPU ex502. Por ejemplo, la información de identificación descrita en la realización 9 probablemente se usa para identificar los datos de vídeo. La información de identificación no se limita a la descrita en la realización 9, sino que puede ser cualquier información siempre que la información indique según qué norma son conformes los datos de vídeo. Por ejemplo, cuando puede determinarse según qué norma son conformes los datos de vídeo basándose en una señal externa para determinar que los datos de vídeo se usan para un televisor o un disco, etc., la determinación puede realizarse basándose en tal señal externa. Además, la CPU ex502 selecciona una frecuencia de excitación basándose, por ejemplo, en una tabla de consulta en la que las normas de los datos de vídeo se asocian con las frecuencias de excitación tal como se muestra en la figura 43. La frecuencia de excitación puede seleccionarse almacenando la tabla de búsqueda en la memoria intermedia ex508 y en una memoria interna de un LSI, y con referencia a la tabla de búsqueda por la CPU ex502.

La figura 42 ilustra las etapas para ejecutar un método en la presente realización. En primer lugar, en la etapa exS200, la unidad de procesamiento de señales ex507 obtiene información de identificación a partir de los datos multiplexados. A continuación, en la etapa exS201, la CPU ex502 determina si los datos de vídeo se generan o no mediante el método de codificación y el aparato de codificación descritos en cada una de las realizaciones, basándose en la información de identificación. Cuando los datos de vídeo se generan mediante el método de codificación de imágenes en movimiento y el aparato de codificación de imágenes en movimiento descritos en cada una de las realizaciones, en la etapa exS202, la CPU ex502 transmite una señal para establecer la frecuencia de excitación a una frecuencia de excitación mayor a la unidad de control de frecuencia de excitación ex512. Entonces, la unidad de control de frecuencia de excitación ex512 establece la frecuencia de excitación a la frecuencia de excitación mayor. Por otro lado, cuando la información de identificación indica que los datos de vídeo son conformes a la norma convencional, tal como MPEG-2, MPEG-4 AVC y VC-1, en la etapa exS203, la CPU ex502 transmite una señal para establecer la frecuencia de excitación a una frecuencia de excitación menor a la unidad de control de frecuencia de excitación ex512. Entonces, la unidad de control de frecuencia de excitación ex512 establece la frecuencia de excitación a la frecuencia de excitación menor que en el caso en que los datos de vídeo se generan mediante el método de codificación de imágenes en movimiento y el aparato de codificación de imágenes en movimiento descritos en cada una de las realizaciones.

Además, junto con el cambio de las frecuencias de excitación, el efecto de conservación de energía puede mejorarse cambiando la tensión que va a aplicarse al LSI ex500 o un aparato que incluye el LSI ex500. Por ejemplo, cuando la frecuencia de excitación se establece menor, la tensión que va a explicarse al LSI ex500 o al aparato que incluye el LSI ex500 probablemente se establezca en una tensión menor que en el caso en que la frecuencia de excitación se establece mayor.

Además, cuando la cantidad de procesamiento para la decodificación es mayor, la frecuencia de excitación puede establecerse mayor, y cuando la cantidad de procesamiento para la decodificación es menor, la frecuencia de excitación puede establecerse menor como el método para establecer la frecuencia de excitación. Por tanto, el método de establecimiento no se limita a los descritos anteriormente. Por ejemplo, cuando la cantidad de procesamiento para decodificar datos de vídeo de conformidad con MPEG-4 AVC es mayor que la cantidad de procesamiento para decodificar datos de vídeo generados mediante el método de codificación de imágenes en movimiento y el aparato de codificación de imágenes en movimiento descritos en cada una de las realizaciones, la frecuencia de excitación probablemente se establezca en orden inverso a lo establecido anteriormente.

Además, el método para establecer la frecuencia de excitación no se limita al método para establecer la frecuencia de excitación menor. Por ejemplo, cuando la información de identificación indica que los datos de vídeo se generan mediante el método de codificación de imágenes en movimiento y el aparato de codificación de imágenes en movimiento descritos en cada una de las realizaciones, la tensión que va a aplicarse al LSI ex500 o al aparato que incluye el LSI ex500 se establece probablemente mayor. Cuando la información de identificación indica que los datos de vídeo son conformes a la norma convencional, tal como MPEG-2, MPEG-4 AVC y VC-1, la tensión que va a explicarse al LSI ex500 o al aparato que incluye el LSI ex500 probablemente se establezca menor. Como otro ejemplo, cuando la información de identificación indica que los datos de vídeo se generan mediante el método de codificación de imágenes en movimiento y el aparato de codificación de imágenes en movimiento descritos en cada una de las realizaciones, la excitación de la CPU ex502 probablemente no tenga que suspenderse. Cuando la información de identificación indica que los datos de vídeo son conformes a la norma convencional, tal como MPEG-2, MPEG-4 AVC y VC-1, la excitación de la CPU ex502 probablemente se suspende en un momento dado porque la CPU ex502 tiene capacidad de procesamiento extra. Incluso cuando la información de identificación indica que los datos de vídeo se generan mediante el método de codificación de imágenes en movimiento y el aparato de codificación de imágenes en movimiento descritos en cada una de las realizaciones, en el caso en que la CPU ex502 tiene capacidad de procesamiento extra, la excitación de la CPU ex502 se suspende probablemente en un momento dado. En tal caso, el tiempo de suspensión probablemente se establece más corto que en el caso en que la información de identificación indica que los datos de vídeo son conformes a la norma convencional, tal como MPEG-2, MPEG-4 AVC y VC-1.

Por consiguiente, el efecto de conservación de energía puede mejorarse cambiando entre las frecuencias de excitación según la norma con la que son conformes los datos de vídeo. Además, cuando el LSI ex500 o el aparato que incluye el LSI ex500 se excita usando una batería, la vida útil de la batería puede ampliarse con el efecto de conservación de energía.

(Realización 12)

Hay casos en los que se proporciona una pluralidad de datos de vídeo, que son conformes a diferentes normas, a los dispositivos y sistemas, tales como un televisor y un teléfono móvil. Para permitir la decodificación de la pluralidad de datos de vídeo que son conformes a las diferentes normas, es necesario que la unidad de procesamiento de señales ex507 del LSI ex500 sea conforme a las diferentes normas. Sin embargo, los problemas de aumento en la escala del circuito del LSI ex500 y aumento del coste surgen con el uso individual de las unidades de procesamiento de señales ex507 que son conformes a las normas respectivas.

Para resolver el problema, lo que se concibe es una configuración en la que la unidad de procesamiento de decodificación para implementar el método de decodificación de imágenes en movimiento descrito en cada una de las realizaciones y la unidad de procesamiento de decodificación que es conforme a la norma convencional, tal como MPEG-2, MPEG-4 AVC y VC-1 se comparten parcialmente. Ex900 en la figura 44A muestra un ejemplo de la configuración. Por ejemplo, el método de decodificación de imágenes en movimiento descrito en cada una de las realizaciones y el método de decodificación de imágenes en movimiento que es conforme a MPEG-4 AVC tienen, parcialmente en común, los detalles del procesamiento, tales como codificación entrópica, cuantificación inversa, filtrado por desbloqueo y la predicción compensada de movimiento. Los detalles del procesamiento que van a compartirse probablemente incluyan el uso de una unidad de procesamiento de decodificación ex902 que sea conforme a MPEG-4 AVC. En cambio, una unidad de procesamiento de decodificación dedicada ex901 se usa probablemente para otro procesamiento único para la presente invención. Puesto que la presente invención se caracteriza por el procesamiento de decodificación dedicado en particular, por ejemplo, la unidad de procesamiento de decodificación dedicada ex901 se usa para el procesamiento de decodificación entrópica. Si no, la unidad de procesamiento de decodificación probablemente se comparte para una de la cuantificación inversa, filtrado por desbloqueo y compensación de movimiento, o para todo el procesamiento. La unidad de procesamiento de decodificación para implementar el método de decodificación de imágenes en movimiento descrito en cada una de las realizaciones puede compartirse para que el procesamiento se comparta, y puede usarse una unidad de procesamiento de decodificación dedicada para el procesamiento único para MPEG-4 AVC.

Además, ex1000 en la figura 44B muestra otro ejemplo en que el procesamiento se comparte parcialmente. Este ejemplo usa una configuración que incluye una unidad de procesamiento de decodificación dedicada ex1001 que soporta el procesamiento único para la presente invención, una unidad de procesamiento de decodificación dedicada ex1002 que soporta el procesamiento único para otra norma convencional y una unidad de procesamiento de decodificación ex1003 que soporta que el procesamiento se comparta entre el método de decodificación de imágenes en movimiento en la presente invención y el método de decodificación de imágenes en movimiento convencional. En este caso, las unidades de procesamiento de decodificación dedicadas ex1001 y ex1002 no son necesariamente especializadas para el procesamiento de la presente invención y el procesamiento de la norma convencional, respectivamente, y pueden ser las capaces de implementar el procesamiento general. Además, la configuración de la presente realización puede implementarse mediante el LSI ex500.

Como tal, es posible reducir la escala del circuito de un LSI y reducir el coste compartiendo la unidad de procesamiento de decodificación para que el procesamiento se comparta entre el método de decodificación de imágenes en movimiento en la presente invención y el método de decodificación de imágenes en movimiento de conformidad con la norma convencional.

Un ejemplo adicional es un método de codificación de imágenes, que comprende: dividir una señal de imagen de entrada en una pluralidad de unidades de codificación, y restar una señal de predicción de la señal de imagen de entrada para cada una de las unidades de codificación, y generándose eventualmente señales de error de predicción de las unidades de codificación respectivas; dividir cada una de las unidades de codificación en una pluralidad de unidades de transformación, y realizar una transformación ortogonal y cuantificación en una señal correspondiente de las señales de error de predicción para cada una de las unidades de transformación, generándose eventualmente coeficientes de cuantificación de las unidades de codificación respectivas; y codificar elementos de información de gestión y los coeficientes de cuantificación en una estructura de árbol, indicando los elementos de información de gestión una estructura de las unidades de transformación, en el que cada una de las unidades de transformación corresponde a un nodo correspondiente de los nodos hoja en la estructura de árbol, y en la codificación, para cada uno de los nodos hoja, se codifica un elemento correspondiente de la información de gestión y un elemento correspondiente de los coeficientes de cuantificación, generándose eventualmente una señal codificada en la que el elemento correspondiente codificado de la información de gestión y el elemento correspondiente codificado de los coeficientes de cuantificación se disponen sucesivamente para cada uno de los nodos hoja. En una configuración, los elementos de la información de gestión incluyen elementos respectivos de información dividida, cada uno de los cuales corresponde a un nodo correspondiente de los nodos en la estructura de árbol e indican si una unidad de transformación correspondiente al nodo correspondiente de los nodos va a dividirse adicionalmente o no.

Además, los elementos de la información de gestión incluyen primeras banderas respectivas, cada una de las cuales corresponde a al menos uno de los nodos en la estructura de árbol e indica si existe o no un coeficiente de cuantificación correspondiente a cada uno del al menos uno de los nodos.

Como posibilidad adicional, en la codificación, se determina si un valor de la primera bandera de un nodo actual en un nivel actual puede identificarse o no de manera única por al menos una de (a) la primera bandera en un nivel superior al nivel actual y (b) la primera bandera de un nodo diferente en el nivel actual, y cuando se determina que el valor de la primera bandera del nodo actual puede identificarse de manera única, la primera bandera del nodo actual no se codifica.

En otra configuración, la codificación incluye codificar una etapa de cuantificación de diferencia en cada uno de los nodos hoja en la señal codificada, disponiéndose la etapa de cuantificación de diferencia codificada en una posición correspondiente a cada uno de los nodos hoja en la estructura de árbol, y la etapa de cuantificación de diferencia indica, en la realización de transformación ortogonal y cuantificación, una diferencia entre una etapa de cuantificación que se ha usado más recientemente y una etapa de cuantificación que va a usarse para una unidad de transformación actual.

Además, la codificación incluye codificar una etapa de cuantificación de diferencia en una raíz de la estructura de árbol en la señal codificada, disponiéndose la etapa de cuantificación de diferencia codificada en una posición correspondiente a la raíz, y la etapa de cuantificación de diferencia indica, en la realización de transformación ortogonal y cuantificación, una diferencia entre una etapa de cuantificación que se ha usado más recientemente y una etapa de cuantificación que va a usarse para una unidad de transformación actual.

Como otra posibilidad, cada uno de los coeficientes de cuantificación incluye un coeficiente de cuantificación de luminancia y un coeficiente de cuantificación de crominancia, y la primera bandera incluye una segunda bandera y una tercera bandera, indicando la segunda bandera si existe o no el coeficiente de cuantificación de luminancia, e indicando la tercera bandera si existe o no el coeficiente de cuantificación de crominancia, en el que en la codificación, para cada uno del al menos uno de los nodos, la segunda bandera se codifica después de codificar la tercera bandera, generándose de ese modo la señal codificada en la que se dispone la segunda bandera codificada después de la tercera bandera codificada.

Además, cada uno de los coeficientes de cuantificación incluye un coeficiente de cuantificación de luminancia, un coeficiente de cuantificación de crominancia Cb y un coeficiente de cuantificación de crominancia Cr, la primera bandera incluye una segunda bandera, una tercera bandera y una cuarta bandera, indicando la segunda bandera si existe o no el coeficiente de cuantificación de luminancia, indicando la tercera bandera si existe o no el coeficiente de cuantificación de crominancia Cb, e indicando la cuarta bandera si existe o no el coeficiente de cuantificación de crominancia Cr, y en la codificación, para cada uno del al menos uno de los nodos, la tercera bandera, la cuarta bandera, la segunda bandera, el coeficiente de cuantificación de luminancia, el coeficiente de cuantificación de crominancia Cb y el coeficiente de cuantificación de crominancia Cr se codifican en orden, generándose de ese modo la señal codificada en la que la tercera bandera codificada, la cuarta bandera codificada, la segunda bandera codificada, el coeficiente de cuantificación de luminancia codificado, el coeficiente de cuantificación de crominancia Cb codificado y el coeficiente de cuantificación de crominancia Cr codificado se disponen en orden.

Una aplicación en un método de decodificación de imágenes, que comprende: decodificar una señal codificada para generar coeficientes de cuantificación y elementos de información de gestión, correspondiendo cada uno de los coeficientes de cuantificación a una unidad de transformación correspondiente e indicando los elementos de la información de gestión una estructura de las unidades de transformación; realizar cuantificación inversa y transformación inversa en cada uno de los coeficientes de cuantificación, generándose eventualmente señales de error de predicción de las unidades de transformación respectivas; y sumar al menos una de las señales de error de predicción a una señal de predicción para cada una de las unidades de codificación que incluyen las unidades de transformación, generándose eventualmente señales decodificadas para cada una de las unidades de codificación, los coeficientes de cuantificación y los elementos de la información de gestión tienen una estructura de árbol, cada una de las unidades de transformación corresponde a un nodo correspondiente de los nodos hoja en la estructura de árbol, y la decodificación incluye la decodificación, para cada uno de los nodos hoja, de un elemento codificado de la información de gestión y un coeficiente de cuantificación codificado que se disponen sucesivamente en la señal codificada para cada uno de los nodos hoja.

Como posibilidad adicional, los elementos de la información de gestión incluyen elementos respectivos de información dividida, cada uno de los cuales corresponde a un nodo correspondiente de los nodos en la estructura de árbol e indica si una unidad de transformación correspondiente al nodo correspondiente de los nodos va a dividirse adicionalmente o no.

Además, los elementos de la información de gestión incluyen las primeras banderas respectivas, cada una de las cuales corresponde a al menos uno de los nodos en la estructura de árbol e indica si existe o no un coeficiente de cuantificación correspondiente a cada uno del al menos uno de los nodos.

En una configuración, en la decodificación, se determina si un valor de la primera bandera de un nodo actual en un nivel actual puede identificarse o no por al menos una de (a) la primera bandera en un nivel superior al nivel actual y (b) la primera bandera de un nodo diferente en el nivel actual, y cuando se determina que el valor de la primera bandera del nodo actual puede identificarse de manera única, la primera bandera del nodo actual no se genera mediante decodificación.

Además, la decodificación incluye la decodificación de una etapa de cuantificación de diferencia en un nodo hoja actual en la señal codificada, disponiéndose la etapa de cuantificación de diferencia en una posición correspondiente al nodo hoja actual en la estructura de árbol, y la etapa de cuantificación de diferencia indica, en la realización de la cuantificación inversa y la transformación ortogonal inversa, una diferencia entre una etapa de cuantificación que se ha usado más recientemente y una etapa de cuantificación que va a usarse para una unidad de transformación actual.

En una aplicación, la decodificación incluye la decodificación de una etapa de cuantificación de diferencia en una raíz de la estructura de árbol en la señal codificada, codificándose la etapa de cuantificación de diferencia dispuesta en una posición correspondiente a la raíz, y la etapa de cuantificación de diferencia indica, en la realización de cuantificación inversa y transformación ortogonal inversa, una diferencia entre una etapa de cuantificación que se ha usado más recientemente y una etapa de cuantificación que va a usarse para una unidad de transformación actual. Otra posibilidad es que cada uno de los coeficientes de cuantificación incluya un coeficiente de cuantificación de luminancia y un coeficiente de cuantificación de crominancia, y la primera bandera incluye una segunda bandera y una tercera bandera, indicando la segunda bandera si existe o no el coeficiente de cuantificación de luminancia, e indicando la tercera bandera si existe o no el coeficiente de cuantificación de crominancia, en la señal codificada, la segunda bandera que se codifica se dispone después de la tercera bandera que se codifica, en la decodificación, la segunda bandera que se codifica se decodifica después de decodificar la tercera bandera que se codifica, para cada uno del al menos uno de los nodos.

Además, cada uno de los coeficientes de cuantificación incluye un coeficiente de cuantificación de luminancia, un coeficiente de cuantificación de crominancia Cb y un coeficiente de cuantificación de crominancia Cr, la primera bandera incluye una segunda bandera, una tercera bandera y una cuarta bandera, indicando la segunda bandera si existe o no el coeficiente de cuantificación de luminancia, indicando la tercera bandera si existe o no el coeficiente de cuantificación de crominancia Cb, e indicando la cuarta bandera si existe o no el coeficiente de cuantificación de crominancia Cr, y la tercera bandera que se codifica, la cuarta bandera que se codifica, la segunda bandera que se codifica, el coeficiente de cuantificación de luminancia que se codifica, el coeficiente de cuantificación de crominancia Cb que se codifica y el coeficiente de cuantificación de crominancia Cr que se codifica se disponen en orden en la señal codificada y en la decodificación, para cada uno del al menos uno de los nodos, la tercera bandera que se codifica, la cuarta bandera que se codifica, la segunda bandera que se codifica, el coeficiente de cuantificación de luminancia que se codifica, el coeficiente de cuantificación de crominancia Cb que se codifica y el coeficiente de cuantificación de crominancia Cr que se codifica se decodifican en orden.

Una aplicación es un aparato de codificación de imágenes, que comprende: una unidad de resta configurada para dividir una señal de imagen de entrada en una pluralidad de unidades de codificación, y restar una señal de predicción de la señal de imagen de entrada para cada una de las unidades de codificación, generándose eventualmente señales de error de predicción de las unidades de codificación respectivas; una unidad de cuantificación de transformación configurada para dividir cada una de las unidades de codificación en una pluralidad de unidades de transformación, y realizar una transformación ortogonal y cuantificación en una señal correspondiente de las señales de error de predicción para cada una de las unidades de transformación, generándose eventualmente coeficientes de cuantificación de las unidades de codificación respectivas; y una unidad de codificación configurada para codificar elementos de información de gestión y los coeficientes de cuantificación en una estructura de árbol, indicando los elementos de información de gestión una estructura de las unidades de transformación, en el que cada una de las unidades de transformación corresponde a uno de los nodos hoja en el árbol correspondiente estructura, y la unidad de codificación está configurada para codificar, para cada uno de los nodos hoja, un elemento correspondiente de la información de gestión y un elemento correspondiente de los coeficientes de cuantificación, generándose eventualmente una señal codificada en la que el elemento correspondiente codificado de la información de gestión y el elemento correspondiente codificado de los coeficientes de cuantificación se disponen sucesivamente para cada uno de los nodos hoja.

Otra aplicación es un aparato de decodificación de imágenes, que comprende: una unidad de decodificación configurada para decodificar una señal codificada para generar coeficientes de cuantificación y elementos de información de gestión, correspondiendo cada uno de los coeficientes de cuantificación a una unidad correspondiente de las unidades de transformación, e indicando los elementos de la información de gestión una estructura de las unidades de transformación; una unidad de cuantificación inversa/transformación inversa configurada para realizar cuantificación inversa y transformación inversa en cada uno de los coeficientes de cuantificación, generándose eventualmente señales de error de predicción de las unidades de transformación respectivas; y una unidad de suma configurada para sumar al menos una de las señales de error de predicción a una señal de predicción para cada una de las unidades de codificación, cada una de las cuales incluye las unidades de transformación, y generándose eventualmente señales decodificadas para cada una de las unidades de codificación, los coeficientes de cuantificación y los elementos de la información de gestión tienen una estructura de árbol, cada una de las unidades de transformación corresponde a un nodo correspondiente de los nodos hoja en la estructura de árbol, y la unidad de decodificación está configurada para decodificar, para cada uno de los nodos hoja, un elemento codificado de la información de gestión y un coeficiente de cuantificación codificado que se disponen sucesivamente en la señal codificada para cada uno de los nodos hoja.

Una aplicación combinada es un aparato de codificación y decodificación de imágenes que comprende: el aparato de codificación de imágenes y el aparato de decodificación de imágenes.

Aplicabilidad industrial

La presente invención puede aplicarse a métodos de codificación de imágenes, métodos de decodificación de imágenes, aparatos de codificación de imágenes y aparatos de decodificación de imágenes. La presente invención también es aplicable a aparatos de presentación visual de información de alta resolución o aparatos de formación de imágenes tales como aparatos de televisión, grabadoras de vídeo digital, sistemas de navegación en vehículos, teléfonos portátiles, cámaras digitales y videocámaras digitales, cada uno de los cuales incluye un aparato de codificación de imágenes.

Lista de símbolos de referencia

100 aparato de codificación de imágenes

señal de imagen de entrada

restador

señal de error de predicción

unidad de transformación

unidad de cuantificación

, 231 coeficiente de cuantificación

, 240 unidad de cuantificación inversa

, 241 señal de salida de transformación decodificada

, 250 unidad de transformación inversa

, 251 señal de entrada de transformación decodificada

, 260 sumador

, 261 señal decodificada

, 270 memoria

, 280 unidad de predicción

, 281 señal de predicción

unidad de codificación entrópica

señal codificada

aparato de decodificación de imágenes

, 290A, 290B unidad de decodificación entrópica

señal codificada

unidad de ramificación

unidad de decodificación de árbol de información dividida memoria de TUS

memoria de CBF

unidad de decodificación de árbol de coeficientes de transformación unidad de decodificación de coeficientes de transformación unidad de decodificación de árbol unificado de transformación información de gestión codificada

coeficiente de transformación codificado

Claims

REIVINDICACIONES

Método de codificación de imágenes, que comprende:

dividir una señal de imagen de entrada en una pluralidad de unidades de codificación, y restar una señal de predicción de la señal de imagen de entrada para cada una de las unidades de codificación, generándose eventualmente señales de error de predicción de las unidades de codificación respectivas;

dividir cada una de las unidades de codificación en una pluralidad de unidades de transformación, y realizar transformación y cuantificación en una señal correspondiente de las señales de error de predicción para cada una de las unidades de transformación, generándose eventualmente coeficientes de cuantificación de las unidades de codificación respectivas; en el que

cada una de las unidades de transformación corresponde a un nodo correspondiente de los nodos hoja en una estructura de árbol, y

cada uno de los coeficientes de cuantificación incluye un coeficiente de cuantificación de luminancia y un coeficiente de cuantificación de crominancia; y

codificar (S111) elementos de información de gestión y los coeficientes de cuantificación en una estructura de árbol, en el que

los elementos de la información de gestión incluyen

(i) elementos respectivos de información dividida (S121) que corresponden cada uno de ellos a un nodo correspondiente de los nodos en la estructura de árbol e indican si una unidad de transformación correspondiente a un nodo correspondiente de los nodos va a dividirse adicionalmente o no,

(ii) primeras banderas (S125) que corresponden cada una de ellas a al menos uno de los nodos hoja e indican si existe o no un coeficiente de cuantificación de luminancia correspondiente a cualquiera del al menos uno de los nodos hoja, y

(iii) segundas banderas (S123) que corresponden cada una de ellas a al menos uno de los nodos hoja e indican si existe o no un coeficiente de cuantificación de crominancia correspondiente a cualquiera del al menos uno de los nodos hoja, y

en el que, en la codificación, para cada uno de los al menos un nodo hoja, se codifica una primera bandera correspondiente al al menos uno de los nodos hoja después de codificar una segunda bandera correspondiente al al menos uno de los nodos hoja (S123, S125), generándose de ese modo una señal codificada en la que la primera bandera codificada correspondiente al al menos uno de los nodos hoja se dispone después de la segunda bandera codificada correspondiente al al menos uno de los nodos hoja;

caracterizado porque

en la codificación, se codifican un elemento correspondiente de la información de gestión y un elemento correspondiente de los coeficientes de cuantificación dentro de cada uno de los nodos hoja (S123, S125, S133), generándose eventualmente la señal codificada en la que el elemento correspondiente codificado de la información de gestión y el elemento correspondiente codificado de los coeficientes de cuantificación se disponen sucesivamente dentro de cada uno de los nodos hoja.

Método de codificación de imágenes según la reivindicación 1,

en el que en la codificación,

se determina si un valor de la primera bandera de un nodo actual en un nivel actual puede identificarse o no de manera única por al menos uno de (a) la primera bandera en un nivel superior al nivel actual y (b) la primera bandera de un nodo diferente en el nivel actual, y

cuando se determina que el valor de la primera bandera del nodo actual puede identificarse de manera única, la primera bandera del nodo actual no se codifica.

Método de codificación de imágenes según la reivindicación 1,

en el que la codificación incluye codificar una etapa de cuantificación de diferencia en cada uno de los nodos hoja en la señal codificada, disponiéndose la etapa de cuantificación de diferencia codificada en una posición correspondiente a cada uno de los nodos hoja en la estructura de árbol, y

la etapa de cuantificación de diferencia indica, en la realización de transformación y cuantificación, una diferencia entre una etapa de cuantificación que se ha usado más recientemente y una etapa de cuantificación que va a usarse para una unidad de transformación actual.

Método de codificación de imágenes según la reivindicación 1,

en el que la codificación incluye codificar una etapa de cuantificación de diferencia en una raíz de la estructura de árbol en la señal codificada, disponiéndose la etapa de cuantificación de diferencia codificada en una posición correspondiente a la raíz, y

la etapa de cuantificación de diferencia indica, en la realización de transformación y cuantificación, una diferencia entre una etapa de cuantificación que se ha usado más recientemente y una etapa de cuantificación que va a usarse para una unidad de transformación actual.

Aparato de codificación de imágenes que comprende:

una unidad de resta (110) configurada para dividir una señal de imagen de entrada en una pluralidad de unidades de codificación, y restar una señal de predicción de la señal de imagen de entrada para cada una de las unidades de codificación, generándose eventualmente señales de error de predicción de las unidades de codificación respectivas;

una unidad de cuantificación de transformación (130) configurada para dividir cada una de las unidades de codificación en una pluralidad de unidades de transformación, y realizar transformación y cuantificación en una señal correspondiente de las señales de error de predicción para cada una de las unidades de transformación, generándose eventualmente coeficientes de cuantificación de las unidades de codificación respectivas, en el que

cada una de las unidades de transformación corresponde a un nodo correspondiente de los nodos hoja en una estructura de árbol, y

cada uno de los coeficientes de cuantificación incluye un coeficiente de cuantificación de luminancia y un coeficiente de cuantificación de crominancia; y

una unidad de codificación (190) configurada para codificar elementos de información de gestión y los coeficientes de cuantificación en la estructura de árbol, en el que

los elementos de la información de gestión incluyen

(i) elementos respectivos de información dividida que corresponden cada uno de ellos a un nodo correspondiente de los nodos en la estructura de árbol e indican si una unidad de transformación correspondiente a un nodo correspondiente de los nodos va a dividirse adicionalmente o no,

(ii) primeras banderas que corresponden cada una de ellas a al menos uno de los nodos hoja e indican si existe o no un coeficiente de cuantificación de luminancia correspondiente a cualquiera del al menos uno de los nodos hoja, y

(iii) segundas banderas que corresponden cada una de ellas a al menos uno de los nodos hoja e indican si existe o no un coeficiente de cuantificación de crominancia correspondiente a cualquiera del al menos uno de los nodos hoja, y

la unidad de codificación está configurada para codificar, para cada uno del al menos uno de los nodos hoja, una primera bandera correspondiente al al menos uno de los nodos hoja después de codificar una segunda bandera correspondiente al al menos uno de los nodos hoja, generándose de ese modo una señal codificada en la que la primera bandera correspondiente al al menos uno de los nodos hoja se dispone después de la segunda bandera codificada correspondiente al al menos uno de los nodos hoja;

caracterizado porque

la unidad de codificación (190) está configurada para codificar un elemento correspondiente de la información de gestión y un elemento correspondiente de los coeficientes de cuantificación dentro de cada uno de los nodos hoja, generándose eventualmente la señal codificada en la que el elemento correspondiente codificado de la información de gestión y el elemento correspondiente codificado de los coeficientes de cuantificación se disponen sucesivamente dentro de cada uno de los nodos hoja.