ES2782227T3 - Procedimiento de codificación de imagen, procedimiento de decodificación de imagen, dispositivo de codificación de imagen, dispositivo de decodificación de imagen y dispositivo de codificación/decodificación de imagen - Google Patents

Abstract

Un procedimiento de codificación de codificación de una o más unidades que son incluidas en una instantánea, comprendiendo el procedimiento de codificación: generar una primera bandera que indica si un tiempo de eliminación de datos codificados de una memoria intermedia por un decodificador hipotético de referencia es establecido por unidad o por instantánea, siendo la memoria intermedia para almacenar los datos codificados, generándose los datos codificados codificando la unidad; generar una segunda bandera que indica si un intervalo entre tiempos de eliminación de las unidades es constante o arbitrario cuando el tiempo de eliminación es establecido por unidad; generar información de intervalo común cuando la segunda bandera indica que el intervalo es constante, indicando la información de intervalo común el intervalo de tiempo constante entre los tiempos de eliminación de las unidades, generar información de intervalo variable cuando la segunda bandera indica que el intervalo es arbitrario, y generar un flujo de bits codificado que incluye los datos codificados y la primera bandera, en el que el flujo de bits codificado incluye la segunda bandera cuando la primera bandera indica que el tiempo de eliminación es establecido por unidad, en el que la primera bandera, la segunda bandera y la información de intervalo común están incluidas en información de control por grupo de instantáneas que es incluida en el flujo de bits codificado y proporcionada por grupo de instantáneas, y la información de intervalo variable es incluida en información de control por instantánea que es incluida en el flujo de bits y proporcionada por instantánea.

Description

DESCRIPCIÓN

Procedimiento de codificación de imagen, procedimiento de decodificación de imagen, dispositivo de codificación de imagen, dispositivo de decodificación de imagen y dispositivo de codificación/decodificación de imagen

rCampo técnico!

La presente invención se refiere a procedimientos de codificación de imagen, procedimientos de decodificación de imagen, aparatos de codificación de imagen, aparatos de codificación de imagen y aparatos de codificación y decodificación de imagen.

Antecedentes de la técnica!

Para comprimir datos de audio y datos de vídeo, se han desarrollado más de una norma de codificación de audio y norma de codificación de vídeo. Ejemplos de la norma de codificación de vídeo incluyen la norma de ITU-T denominada como H. 26x y la norma de ISO/IEC denominada como MPEG-x (véase Referencias no de patente (NPL) 1, por ejemplo). La norma de codificación de vídeo más actual es la norma denominada como H. 264/MPEG-4AVC. Adicionalmente, la norma de codificación de próxima generación denominada como codificación de vídeo de alta eficiencia (HEVC) ha estado bajo estudio (véase Referencias no de patente (NPL) 2, por ejemplo).

En este contexto, se ha hecho una propuesta para permitir que un comportamiento de memoria intermedia de instantánea codificada (CPB) basada en subinstantánea consiga retardo de códec reducido de una manera interoperable (véase Referencias no de patente (NPL) 3).

ILista de citas!

[Referencias no de patente]

[NPL 1] ISO/IEC 14496-10 "MPEG-4 Part 10 Advanced Video Coding"

[NPL 2] Equipo de Colaboración Mixto sobre Codificación de Vídeo (JCT-VC) de ITU-T SG16 WP3 e ISO/IEC JTC1/SC29/WG11 8a Reunión: San José, CA, Estados Unidos, 1-10 de febrero de 2012, JCTVC-H1003, "High Efficiency Video Coding (HEVC) text specification draft 6" http://phenix.intevry.fr/jct/doc_end_user/documents/8_San%20j ose/wg11/JCTVC-H1003-v22.zip

[NPL 3] Y-K WANG Y COL.: "AHG11: Sub-picture-level low-delay CPB behavior", 100. REUNIÓN DE MPEG; 30­ 4-2012 - 4-5-2012; Ginebra; (GRUPO DE EXPERTOS DE IMÁGENES EN MOVIMIENTO O ISO/IEC JTC1/SC29/WG11), n.° m24596, publicado el 17 de abril de 2012

ISumario de la invención!

IProblema técnico!

En tal procedimiento de codificación de imagen y procedimiento de decodificación de imagen, se ha demandado una reducción en la carga de procesamiento.

Por lo tanto, la presente invención tiene un objeto de proporcionar un procedimiento de codificación de imagen o un procedimiento de decodificación de imagen que habilita una reducción en la carga de procesamiento.

rSolución al problema!

Para conseguir el objeto anterior, un procedimiento de codificación de imagen de acuerdo con un aspecto de la presente invención es un procedimiento de codificación de imagen de codificación de una o más unidades que se incluyen en una instantánea, comprendiendo el procedimiento de codificación de imagen: generar una primera bandera que indica si un tiempo de eliminación de datos codificados de una memoria intermedia por un decodificador hipotético se establece o no por unidad, siendo la memoria intermedia para almacenar los datos codificados; generar una segunda bandera que indica si un intervalo entre tiempos de eliminación de las unidades es constante o arbitrario cuando el tiempo de eliminación se establece por unidad; y generar un flujo de bits codificado que incluye los datos codificados, la primera bandera y la segunda bandera.

Estos aspectos generales y específicos pueden implementarse usando un sistema, un procedimiento, un circuito integrado, un programa informático o un medio de grabación legible por ordenador, tal como un disco compacto memoria de solo lectura (CD-ROM), y pueden también implementarse usando cualquier combinación de sistemas, procedimientos, circuitos integrados, programas informáticos y medios de grabación.

Se recuerda que la invención se define mediante las reivindicaciones adjuntas.

lEfectos ventajosos de la invención!

La presente invención puede proporcionar un procedimiento de codificación de imagen o un procedimiento de decodificación de imagen que habilita una reducción en la carga de procesamiento.

rBreve descripción de los dibujos!

[FIG. 1] La Figura 1 muestra un ejemplo de una sintaxis de VUI de acuerdo con la realización 1.

[FIG. 2] La Figura 2 muestra un ejemplo de una sintaxis de SEI de temporización de instantánea de acuerdo con la realización 1.

[FIG. 3] La Figura 3 muestra un ejemplo de una sintaxis de VUI de acuerdo con la realización 1.

[FIG. 4] La Figura 4 muestra un ejemplo de una sintaxis de SEI de periodo de almacenamiento en memoria intermedia de acuerdo con la realización 1.

[FIG. 5] La Figura 5 muestra un ejemplo de una sintaxis de SEI de temporización de instantánea de acuerdo con la realización 1.

[FIG. 6A] La Figura 6A es un diagrama de flujo de un procedimiento de decodificación de imagen de acuerdo con la realización 1.

[FIG. 6B] La Figura 6B es un diagrama de flujo de un procedimiento de codificación de imagen de acuerdo con la realización 1.

[FIG. 7A] La Figura 7A es un diagrama de bloques de un aparato de decodificación de imagen de acuerdo con la realización 1.

[FIG. 7B] La Figura 7B es un diagrama de bloques de una unidad de determinación de punto de tiempo de extracción incluida en el aparato de decodificación de imagen de acuerdo con la realización 1.

[FIG. 8A] La Figura 8A es un diagrama de bloques de un aparato de codificación de imagen de acuerdo con la realización 1.

[FIG. 8B] La Figura 8B es un diagrama de bloques de una unidad de determinación de punto de tiempo de extracción incluida en el aparato de codificación de imagen de acuerdo con la realización 1.

[FIG. 9] La Figura 9 muestra un ejemplo de una sintaxis de SEI de retardo de CPB de unidad de decodificación de acuerdo con la realización 1.

[FIG. 10] La Figura 10 muestra un ejemplo de estructura de un flujo de bits codificado de acuerdo con la realización 1.

[FIG. 11] La Figura 11 muestra un ejemplo de estructura de un flujo de bits codificado de acuerdo con la realización 1.

[FIG. 12] La Figura 12 muestra un ejemplo de un descriptor de acuerdo con la realización 1.

[FIG. 13] La Figura 13 es un diagrama de bloques del aparato de decodificación de imagen (STD) de acuerdo con la realización 1.

[FIG. 14A] La Figura 14A muestra un ejemplo de ocupación de memoria intermedia de acuerdo con la realización 1 en el caso en el que se realiza extracción por unidad de acceso.

[FIG. 14B] La Figura 14B muestra un ejemplo de ocupación de memoria intermedia de acuerdo con la realización 1 en el caso en el que se realiza extracción por unidad de decodificación.

[FIG. 15] La Figura 15 es un diagrama de flujo del procedimiento de decodificación de imagen de acuerdo con la realización 1.

[FIG. 16] La Figura 16 es un diagrama de flujo del procedimiento de codificación de imagen de acuerdo con la realización 1.

[FIG. 17] La Figura 17 es un diagrama de bloques de un codificador de acuerdo con la realización 1.

[FIG. 18] La Figura 18 es un diagrama de bloques de un decodificador de acuerdo con la realización 1.

[FIG. 19] La Figura 19 ilustra una configuración global de un sistema de suministro de contenido de implementación de servicios de distribución de contenido.

[FIG. 20] La Figura 20 ilustra una configuración global de un sistema de difusión digital.

[FIG. 21] La Figura 21 ilustra un diagrama de bloques que ilustra un ejemplo de una configuración de una televisión.

[FIG. 22] La Figura 22 ilustra un diagrama de bloques que ilustra un ejemplo de una configuración de una unidad de reproducción/grabación de información que lee y escribe información de y en un medio de grabación que es un disco óptico.

[FIG. 23] La Figura 23 ilustra un ejemplo de una configuración de un medio de grabación que es un disco óptico.

[FIG. 24A] La Figura 24A ilustra un ejemplo de un teléfono celular.

[FIG. 24B] La Figura 24B es un diagrama de bloques que muestra un ejemplo de una configuración de un teléfono celular.

[FIG. 25] La Figura 25 ilustra una estructura de datos multiplexados.

[FIG. 26] La Figura 26 ilustra esquemáticamente cómo se multiplexa cada flujo en datos multiplexados.

[FIG. 27] La Figura 27 ilustra como se almacena un flujo de vídeo en el flujo de paquetes de PES en más detalle.

[FIG. 28] La Figura 28 ilustra una estructura de paquetes de TS y paquetes de origen en los datos multiplexados.

[FIG. 29] La Figura 29 ilustra una estructura de datos de una PMT.

[FIG. 30] La Figura 30 ilustra una estructura interna de información de datos multiplexados.

[FIG. 31] La Figura 31 ilustra una estructura interna de información de atributo de flujo.

[FIG. 32] La Figura 32 ilustra etapas de identificación de datos de vídeo.

[FIG. 33] La Figura 33 ilustra un ejemplo de una configuración de un circuito integrado de implementación del procedimiento de codificación de instantáneas en movimiento y el procedimiento de decodificación de instantáneas en movimiento de acuerdo con cada una de las realizaciones.

[FIG. 34] La Figura 34 ilustra una configuración para conmutar entre frecuencias de accionamiento.

[FIG. 35] La Figura 35 ilustra etapas de identificación de datos de vídeo y conmutación entre frecuencias de accionamiento.

[FIG. 36] La Figura 36 muestra un ejemplo de una tabla de consulta en la que normas de datos de vídeo se asocian con las frecuencias de accionamiento.

[FIG. 37A] La Figura 37A es un diagrama que ilustra un ejemplo de una configuración para compartir un módulo de una unidad de procesamiento de señales.

[FIG. 37B] La Figura 37B es un diagrama que muestra otro ejemplo de una configuración para compartir un módulo de la unidad de procesamiento de señales.

Descripción de las realizaciones!

(Conocimiento subyacente que forma la base de la presente invención)

En relación con las técnicas convencionales, los inventores han encontrado el siguiente problema.

Lo siguiente describe un aparato de decodificación de imagen de acuerdo con un ejemplo comparativo de la presente invención.

Una unidad de acceso (equivalente a una instantánea, por ejemplo) en vídeo se divide en unidades de decodificación. Adicionalmente, para cada una de las unidades de decodificación, se establece un punto de tiempo de extracción que es un punto en el tiempo en el que el aparato de decodificación de imagen extrae datos codificados de la unidad de decodificación desde una memoria intermedia de instantánea codificada (CPB). Con esto, el aparato de decodificación de imagen es capaz de decodificar secuencialmente datos codificados de la unidad de decodificación tan pronto como los datos codificados se separan. De este modo, el aparato de decodificación de imagen no tiene que esperar a la finalización de la recepción de todos los datos de la unidad de acceso y permite de este modo una reducción en el tiempo de retardo.

Todos los parámetros de determinación de un punto de tiempo para extracción de cada una de las unidades de decodificación desde la CPB se describen en SEI de temporización de instantánea, por ejemplo. Por consiguiente, el aparato de decodificación de imagen necesita analizar SEI de temporización de instantánea dentro de la unidad de acceso cada vez para obtener un punto de tiempo de extracción de una unidad de decodificación. Por lo tanto, los inventores han encontrado un problema de un aumento en la carga del aparato de decodificación de imagen.

Adicionalmente, un procedimiento concebible de transportar información sobre el punto de tiempo de extracción de la unidad de decodificación desde el aparato de codificación de imagen al aparato de decodificación de imagen es un procedimiento de inclusión de información sobre el punto de tiempo de extracción de cada una de las unidades de decodificación en el flujo de bits codificado. Sin embargo, los intervalos entre puntos de tiempo de extracción de las unidades de decodificación necesitan ser diferentes entre sí en algunos casos y pueden ser los mismos que los demás en otros casos. Los inventores han encontrado que, en el caso en el que se usen los mismos intervalos, incluir la información sobre el punto de tiempo de extracción de cada una de las unidades de decodificación en el flujo de bits codificado como se indica anteriormente resulta en el flujo de bits codificado con información redundante incluida en el mismo.

Un procedimiento de codificación de imagen de acuerdo con un aspecto de la presente invención es un procedimiento de codificación de imagen de codificación de una o más unidades que se incluyen en una instantánea, comprendiendo el procedimiento de codificación de imagen: generar una primera bandera que indica si un tiempo de eliminación de datos codificados de una memoria intermedia por un decodificador hipotético se establece o no por unidad, siendo la memoria intermedia para almacenar los datos codificados; generar una segunda bandera que indica si un intervalo entre tiempos de eliminación de las unidades es constante o arbitrario cuando el tiempo de eliminación se establece por unidad; y generar un flujo de bits codificado que incluye los datos codificados, la primera bandera y la segunda bandera.

De este modo, el procedimiento de codificación de imagen hace posible establecer intervalos constantes de tiempo en los que el aparato de decodificación de imagen elimina datos codificados por unidad desde la memoria intermedia. Esto permite una reducción en la carga de procesamiento en el aparato de decodificación de imagen, por ejemplo.

Por ejemplo, puede ser que, en la generación de un flujo de bits codificado, la segunda bandera se incluye en información de control por grupo de instantáneas que se incluye en el flujo de bits codificado y proporciona por grupo de instantáneas que incluye una o más instantáneas.

Por ejemplo, puede ser que el procedimiento de codificación de imagen comprende además generar información de intervalo común cuando la segunda bandera indica que el intervalo es constante, indicando la información de intervalo común el intervalo, y en la generación de un flujo de bits codificado, la información de intervalo común se incluye en información de control por instantánea que se incluye en el flujo de bits codificado y proporciona por instantánea.

Por ejemplo, puede ser que la información de intervalo común incluye un intervalo de tiempo entre instantáneas y un número total de las unidades incluidas en una instantánea.

Por ejemplo, puede ser que el procedimiento de codificación de imagen comprende además generar información de intervalo variable cuando la segunda bandera indica que el intervalo es arbitrario, indicando la información de intervalo variable el intervalo para cada una de las unidades, y en la generación de un flujo de bits codificado, la información de intervalo variable se incluye en la información de control por instantánea.

Por ejemplo, puede ser que el procedimiento de codificación de imagen comprende además generar información de intervalo variable cuando la segunda bandera indica que el intervalo es arbitrario, indicando la información de intervalo variable el intervalo para cada una de las unidades, y en la generación de un flujo de bits codificado, la información de intervalo variable se incluye en información de control por unidad que se incluye en el flujo de bits codificado y proporciona por unidad.

Por ejemplo, puede ser que el flujo de bits codificado incluye un flujo de transporte y un descriptor, y en la generación de un flujo de bits codificado, la segunda bandera se incluye en el descriptor.

Adicionalmente, un procedimiento de decodificación de imagen de acuerdo con un aspecto de la presente invención es un procedimiento de decodificación de imagen de decodificación de datos codificados por unidad incluidos en una o más unidades que se incluyen en una instantánea, comprendiendo el procedimiento de decodificación de imagen: obtener, a partir de un flujo de bits codificado que incluye los datos codificados, una primera bandera que indica si un tiempo de eliminación de los datos codificados desde una memoria intermedia se establece o no por unidad, siendo la memoria intermedia para almacenar los datos codificados; obtener, a partir del flujo de bits codificado, una segunda bandera que indica si un intervalo entre tiempos de eliminación de las unidades es constante o arbitrario cuando el tiempo de eliminación se establece por unidad; eliminar los datos codificados de la memoria intermedia por unidad y en un intervalo constante o arbitrario de acuerdo con la segunda bandera; y decodificar los datos codificados eliminados.

De este modo, el procedimiento de decodificación de imagen permite una reducción en la carga de procesamiento.

Por ejemplo, puede ser que, en la obtención de una segunda bandera, la segunda bandera se obtiene a partir de información de control por grupo de instantáneas que se incluye en el flujo de bits codificado y proporciona por grupo de instantáneas que incluye una o más instantáneas.

Por ejemplo, puede ser que el procedimiento de decodificación de imagen comprende además obtener información de intervalo común a partir de información de control por instantánea cuando la segunda bandera indica que el intervalo es constante, indicando la información de intervalo común el intervalo, e incluyéndose la información de control por instantánea en el flujo de bits codificado y proporcionándose por instantánea, y en la eliminación, cuando la segunda bandera indica que el intervalo es constante, los datos codificados se eliminan de la memoria intermedia por unidad y en el intervalo indicado en la información de intervalo común.

Por ejemplo, puede ser que la información de intervalo común indica un intervalo de tiempo entre instantáneas y un número total de las unidades incluidas en una instantánea, y en la eliminación, el intervalo se calcula usando el intervalo de tiempo entre las instantáneas y el número total de las unidades, y los datos codificados se eliminan de la memoria intermedia por unidad y en el intervalo calculado.

Por ejemplo, puede ser que el procedimiento de decodificación de imagen comprende además obtener información de intervalo variable a partir de la información de control por instantánea cuando la segunda bandera indica que el intervalo es arbitrario, indicando la información de intervalo variable el intervalo para cada una de las unidades, y en la eliminación, cuando la segunda bandera indica que el intervalo es arbitrario, los datos codificados se eliminan de la memoria intermedia por unidad y en el intervalo indicado en la información de intervalo variable.

Por ejemplo, puede ser que el procedimiento de decodificación de imagen comprende además obtener información de intervalo variable a partir de información de control por unidad cuando la segunda bandera indica que el intervalo es arbitrario, indicando la información de intervalo variable el intervalo para cada una de las unidades, e incluyéndose la información de control por unidad en el flujo de bits codificado y proporcionándose por unidad, y en la eliminación, cuando la segunda bandera indica que el intervalo es arbitrario, los datos codificados se eliminan de la memoria intermedia por unidad y en el intervalo indicado en la información de intervalo variable.

Por ejemplo, puede ser que el flujo de bits codificado incluye un flujo de transporte y un descriptor, y en la obtención de una segunda bandera, la segunda bandera se obtiene a partir del descriptor.

Adicionalmente, un aparato de codificación de imagen de acuerdo con un aspecto de la presente invención es un aparato de codificación de imagen de codificación de una o más unidades que se incluyen en una instantánea, comprendiendo el aparato de codificación de imagen: circuitería de control; y almacenamiento accesible desde la circuitería de control, en el que la circuitería de control ejecuta: generar una primera bandera que indica si un tiempo de eliminación de datos codificados de una memoria intermedia por un decodificador hipotético se establece o no por unidad, siendo la memoria intermedia para almacenar los datos codificados; generar una segunda bandera que indica si un intervalo entre tiempos de eliminación de las unidades es constante o arbitrario cuando el tiempo de eliminación se establece por unidad; y generar un flujo de bits codificado que incluye los datos codificados, la primera bandera y la segunda bandera.

De este modo, el aparato de codificación de imagen es capaz de establecer intervalos constantes de tiempo en los que el aparato de decodificación de imagen elimina datos codificados por unidad desde la memoria intermedia. Esto permite una reducción en la carga de procesamiento en el aparato de decodificación de imagen, por ejemplo.

Adicionalmente, un aparato de decodificación de imagen de acuerdo con un aspecto de la presente invención es un aparato de decodificación de imagen de decodificación de datos codificados por unidad incluidos en una o más unidades que se incluyen en una instantánea, comprendiendo el aparato de decodificación de imagen: circuitería de control; y almacenamiento accesible desde la circuitería de control, en el que la circuitería de control ejecuta: obtener, a partir de un flujo de bits codificado que incluye los datos codificados, una primera bandera que indica si un tiempo de eliminación de los datos codificados desde una memoria intermedia se establece o no por unidad, siendo la memoria intermedia para almacenar los datos codificados; obtener, a partir del flujo de bits codificado, una segunda bandera que indica si un intervalo entre tiempos de eliminación de las unidades es constante o arbitrario cuando el tiempo de eliminación se establece por unidad; eliminar los datos codificados de la memoria intermedia por unidad y en un intervalo constante o arbitrario de acuerdo con la segunda bandera; y decodificar los datos codificados eliminados.

De este modo, el aparato de decodificación de imagen permite una reducción en la carga de procesamiento.

Adicionalmente, un aparato de codificación y decodificación de imagen de acuerdo con un aspecto de la presente invención comprende el aparato de codificación de imagen anterior y el aparato de decodificación de imagen anterior.

Estos aspectos generales y específicos pueden implementarse usando un sistema, un procedimiento, un circuito integrado, un programa informático o un medio de grabación legible por ordenador, tal como un disco compacto memoria de solo lectura (CD-ROM), y pueden también implementarse usando cualquier combinación de sistemas, procedimientos, circuitos integrados, programas informáticos y medios de grabación.

Lo siguiente describe específicamente realizaciones ilustrativas con referencia a los dibujos.

Cada una de las realizaciones descritas a continuación muestra un ejemplo específico de la presente invención. Los valores numéricos, formas, materiales, elementos estructurales, la disposición y conexión de los elementos estructurales, etapas, el orden de procesamiento de las etapas etc. mostrados en las siguientes realizaciones ilustrativas son meros ejemplos y, por lo tanto, no limitan la presente invención. Por lo tanto, entre los elementos estructurales en las siguientes realizaciones ilustrativas, elementos estructurales no citados en ninguna de las reivindicaciones independientes que indican el concepto más amplio se describen como elementos estructurales arbitrarios.

(Realización 1)

Un aparato de codificación de imagen y un aparato de decodificación de imagen de acuerdo con esta realización usan cada uno dos modos: un intervalo entre puntos de tiempo para extracción de las unidades de decodificación en la unidad de acceso de la CPB es (i) constante en un modo (modo de intervalo común) y (ii) arbitrario en el otro modo (modo de intervalo variable). El aparato de codificación de imagen supone, como un decodificador hipotético de referencia, ese aparato de decodificación de imagen al que se transmite información, y conmuta el procedimiento de generación y transmisión de información de punto de tiempo de extracción para cada uno de los modos.

Como un ejemplo, el aparato de codificación de imagen y el aparato de decodificación de imagen usan cada uno básicamente el modo de intervalo común. El aparato de codificación de imagen y el aparato de decodificación de imagen usan cada uno el modo de intervalo variable para vídeo que es en gran medida diferente en cantidad de código dependiendo de una región dentro de la unidad de acceso.

Adicionalmente, el aparato de codificación de imagen puede incluir información que indica un intervalo entre puntos de tiempo de extracción en, en lugar de una unidad de acceso, una unidad (por ejemplo, una unidad de instantáneas) en un nivel superior que la unidad de acceso tal como un conjunto de parámetros de secuencia (SPS). Con esto, el aparato de decodificación de imagen no necesita realizar el análisis por unidad de acceso.

El aparato de decodificación de imagen analiza una unidad en un nivel superior que la unidad de acceso, tal como el SPS (más específicamente, información de usabilidad de vídeo (VUI) en el SPS), para evaluar si el modo actual es el modo de intervalo común o el modo de intervalo variable y, de acuerdo con el modo evaluado, conmuta el procedimiento de obtención de la información de punto de tiempo de extracción.

Adicionalmente, el aparato de decodificación de imagen que soporta únicamente el modo de intervalo común puede iniciar la decodificación por unidad de acceso sin iniciar la decodificación por unidad de decodificación cuando se evalúa que el modo actual es el modo de intervalo variable.

El flujo codificado se transmite generalmente en forma de multiplexarse usando el flujo de transporte (TS) de MPEG-2, el MP4, el protocolo de transporte en tiempo real (RTP) o similar. Por lo tanto, el aparato de codificación de imagen puede transmitir, en una capa múltiplex, información común a secuencias (conjuntos de instantáneas), tal como información para identificar el modo anterior y un intervalo entre puntos de tiempo de extracción en el modo de intervalo común.

A continuación se describe un primer ejemplo de sintaxis de acuerdo con esta realización.

La Figura 1 muestra un ejemplo de sintaxis de la VUI incluida en el SPS. La Figura 2 muestra un ejemplo de sintaxis de SEI de temporización de instantánea que se asigna a cada unidad de acceso.

Una bandera de intervalo variable (variable_sub_pic_removal_period_flag), que es información que indica si el intervalo entre puntos de tiempo para extracción de la CPB entre las unidades de decodificación en la unidad de acceso es el modo de intervalo común o el modo de intervalo variable, se almacena en la VUI. Adicionalmente, el aparato de decodificación de imagen determina el intervalo entre puntos de tiempo de extracción usando un parámetro dentro de la VUI en el caso del modo de intervalo común y determina el intervalo entre puntos de tiempo de extracción usando un parámetro dentro de la SEI de temporización de instantánea en el caso del modo de intervalo variable.

Por ejemplo, cuando la bandera de intervalo variable (variable_sub_pic_removal_period_flag) es 0, el intervalo entre puntos de tiempo para extracción de la CPB es común a las unidades de decodificación dentro de la unidad de acceso (el modo de intervalo común). Además, el intervalo entre los puntos de tiempo de extracción se define por una sintaxis posterior dentro de la VUI.

Por otra parte, cuando la bandera de intervalo variable es 1, el intervalo entre puntos de tiempo para extracción de la CPB es arbitrario entre las unidades de decodificación dentro de la unidad de acceso (el modo de intervalo variable). Además, el intervalo entre los puntos de tiempo de extracción se define por la SEI de temporización de instantánea que se asigna a cada unidad de acceso.

Además, una bandera de unidad de decodificación (sub_pic_cpb_flag) incluida en la VUI indica si el establecimiento del procedimiento de decodificación (la extracción de datos codificados de la CPB) se realiza por unidad de acceso (instantánea) o por unidad de decodificación. Cuando la bandera de unidad de decodificación es 0, indica por unidad de acceso, y cuando la bandera de unidad de decodificación es 1, indica por unidad de decodificación.

Las definiciones de otras sintaxis son como se indican en NPL 2, por ejemplo.

Cuando la bandera de unidad de decodificación (sub_pic_cpb_flag) y la bandera de intervalo variable (variable_sub_pic_removal_period_flag) son ambas 1, num_decoding_units_minus1 y cpb_removal_delay existen dentro de la s E i de temporización de instantánea. El número de unidades de decodificación dentro de la unidad de acceso es num_decoding_units_minus1 1. Y cpb_removal_delay define un punto de tiempo para extracción de cada una de las unidades de decodificación de la CPB.

En otros casos, num_decoding_units_minus1 no existe dentro de la SEI de temporización de instantánea y su valor se considera como 0.

Cuando la bandera de unidad de decodificación (sub_pic_cpb_flag) es 0, la extracción de la CPB se realiza por unidad de acceso, y el punto de tiempo de extracción se determina a base de cpb_removal_delay.

Cuando la bandera de unidad de decodificación es 1 y la bandera de intervalo variable es 0 (sub_pic_cpb_flag = 1 && variable_sub_pic_removal_period_flag = 0), la extracción de la CPB se realiza por unidad de decodificación, y el punto de tiempo de extracción se determina a base de un parámetro dentro de la VUI.

A continuación se describe un segundo ejemplo de sintaxis de acuerdo con esta realización.

La Figura 3 muestra un ejemplo de sintaxis de la VUI incluida en el SPS. La Figura 4 muestra un ejemplo de sintaxis de SEI de periodo de almacenamiento en memoria intermedia incluida en el SPS. La Figura 5 muestra un ejemplo de sintaxis de SEI de temporización de instantánea que se asigna a cada unidad de acceso.

En este ejemplo de sintaxis, una bandera de intervalo variable (variable_sub_pic_removal_period_flag), que es información que indica si el intervalo entre puntos de tiempo de extracción de las unidades de decodificación en la unidad de acceso es el modo de intervalo común o el modo de intervalo variable, se almacena en la SEI de periodo de almacenamiento en memoria intermedia. En este punto, la SEI de periodo de almacenamiento en memoria intermedia se incluye en el SPS, por ejemplo, tal como lo está la VUI. En otras palabras, la SEI de periodo de almacenamiento en memoria intermedia se genera por conjunto de instantáneas.

Adicionalmente, el aparato de decodificación de imagen determina el intervalo entre puntos de tiempo de extracción usando un parámetro dentro de la VUI en el caso del modo de intervalo común y determina el intervalo entre puntos de tiempo de extracción usando un parámetro dentro de la SEI de temporización de instantánea en el caso del modo de intervalo variable.

En otras palabras, el aparato de codificación de imagen define la bandera de intervalo variable (variable_sub_pic_removal_period_flag) en la SEI de periodo de almacenamiento en memoria intermedia.

Cuando la bandera de unidad de decodificación (sub_pic_cpb_flag) es 1, el aparato de codificación de imagen puede almacenar, en la SEI de periodo de almacenamiento en memoria intermedia, removal_time_offset definido en hrd_parameters() dentro de la VUI.

Adicionalmente, el aparato de codificación de imagen puede almacenar, en la SEI de periodo de almacenamiento en memoria intermedia, un parámetro (num_ctbs_in_subpicture_minus1 y picturejnterval) de determinación de un punto de tiempo para extracción de una unidad de decodificación de la CPB en el modo de intervalo común.

A continuación, se describe un flujo del procedimiento de decodificación de imagen que se realiza por el aparato de decodificación de imagen de acuerdo con esta realización.

La Figura 6A es un diagrama de flujo del procedimiento de decodificación de imagen de acuerdo con esta realización.

Primero, el aparato de decodificación de imagen determina si los datos codificados se extraen de la CPB por unidad de acceso o por unidad de decodificación, a base del valor de la bandera de unidad de decodificación (sub_pic_cpb_flag) incluida en la VUI (S101).

Cuando la extracción de la CPB se realiza por unidad de decodificación (Sí en S102), el aparato de decodificación de imagen determina cuál del modo de intervalo común y el modo de intervalo variable es el modo actual, a base del valor de la bandera de intervalo variable (variable_sub_pic_removal_period_flag) incluida en la VUI (S103).

Cuando el modo actual es el modo de intervalo común (Sí en S104), el aparato de decodificación de imagen determina un punto de tiempo de extracción de una unidad de decodificación a base del parámetro (num_ctbs_in_subpicture_minus1 y picture_interval) incluido en la VUI (S105).

Por otra parte, cuando el modo actual es el modo de intervalo variable (No en S104), el aparato de decodificación de imagen determina un punto de tiempo de extracción de una unidad de decodificación a base del parámetro (cpb_removal_delay) incluido en la SEI de temporización de instantánea (S106).

Adicionalmente, cuando la extracción de la CPB se realiza por unidad de acceso (No en S102), el aparato de decodificación de imagen determina un punto de tiempo de extracción de una unidad de acceso a base de un parámetro incluido en la SEI de temporización de instantánea (S107).

A continuación, se describe un flujo del procedimiento de codificación de imagen que se realiza por el aparato de codificación de imagen de acuerdo con esta realización.

La Figura 6B es un diagrama de flujo de un procedimiento de codificación de imagen de acuerdo con esta realización.

Primero, el aparato de codificación de imagen determina si los datos codificados se extraen de la CPB por unidad de acceso o por unidad de decodificación. El aparato de codificación de imagen almacena a continuación, en la VUI, la bandera de unidad de decodificación (sub_pic_cpb_flag) que indica un resultado de la determinación (S201).

Cuando la extracción de la CPB se realiza por unidad de decodificación (Sí en S202), el aparato de codificación de imagen determina cuál del modo de intervalo común y el modo de intervalo variable es el modo actual, y almacena, en la VUI, la bandera de intervalo variable (variable_sub_pic_removal_period_flag) que indica un resultado de la determinación (S203).

Cuando el modo actual es el modo de intervalo común (Sí en S204), el aparato de codificación de imagen determina un punto de tiempo de extracción de una unidad de decodificación, y almacena, en la VUI, el parámetro (num_ctbs_in_subpicture_minus2 y picture_interval) que indica un resultado de la determinación (S205).

Por otra parte, cuando el modo actual es el modo de intervalo variable (No en S204), el aparato de codificación de imagen almacena, en la SEI de temporización de instantánea, el parámetro (cpb_removal_delay) de determinación de un punto de tiempo de extracción de una unidad de decodificación (S206).

Cuando la extracción de la CPB se realiza por unidad de acceso (No en S202), el aparato de codificación de imagen almacena, en la SEI de temporización de instantánea, el parámetro de determinación de un punto de tiempo de extracción de una unidad de acceso (S207).

Se ha de observar que, de acuerdo con instrucciones dadas desde el exterior, el aparato de codificación de imagen selecciona una unidad de extracción (extracción por unidad de acceso o extracción por unidad de decodificación) de datos codificados de la CPB, selecciona el modo de intervalo común o el modo de intervalo variable, determina un punto de tiempo de extracción de una unidad de decodificación, y determina un punto de tiempo de extracción de una unidad de acceso, por ejemplo. Además, el aparato de codificación de imagen puede realizar la selección o la determinación de acuerdo con información obtenida desde el exterior, propiedades de una imagen de entrada y similares.

En este punto, en el caso en el que se usa el modo de intervalo común, el aparato de codificación de imagen ajusta el procedimiento de codificación de modo que la cantidad de datos en cada unidad de decodificación se encuentra dentro de un cierto intervalo. Esto permite una reducción en el retardo en el procedimiento de decodificación en el aparato de decodificación de imagen que se debe a que datos en una cierta unidad de decodificación que son grandes en cantidad. Esto significa que el modo de intervalo común es útil para el caso en el que se demanda operación en tiempo real. Por otra parte, en el modo de intervalo variable, el aparato de codificación de imagen puede cambiar adaptativamente la cantidad de datos en una unidad de decodificación según se necesite. De este modo, es posible asignar una gran cantidad de datos a una unidad de decodificación que requiere una gran cantidad de datos para proporcionar un cierto grado de calidad de imagen, por ejemplo. Esto significa que el modo de intervalo variable es útil para el caso en el que se da prioridad a la calidad de imagen.

A continuación, se describe una estructura del aparato de decodificación de imagen de acuerdo con esta realización.

La Figura 7A es un diagrama de bloques del aparato de decodificación de imagen de acuerdo con esta realización. Como se muestra en la Figura 7A, el aparato 300 de decodificación de imagen incluye una CPB 301, una unidad 302 de determinación de punto de tiempo de extracción, un decodificador 303 y una DPB 304.

La CPB 301 es una memoria intermedia (memoria) para almacenar temporalmente el flujo codificado.

La unidad 302 de determinación de punto de tiempo externa determina un punto de tiempo de extracción por unidad de acceso de la CPB 301 y un punto de tiempo de extracción por unidad de decodificación de la CPB 301.

La unidad 303 de decodificación obtiene datos codificados de la CPB 301 por unidad de acceso o por unidad de decodificación en los puntos de tiempo de extracción determinados por la unidad 302 de determinación de punto de tiempo de extracción, decodifica los datos codificados obtenidos y almacena los datos decodificados resultantes en la DPB 304.

La DPB 304 es una memoria intermedia (memoria) para almacenar temporalmente los datos decodificados.

La Figura 7B es un diagrama de bloques de la unidad 302 de determinación de punto de tiempo de extracción. Como se muestra en la Figura 7B, la unidad 302 de determinación de punto de tiempo de extracción incluye una unidad 311 de evaluación de unidad de extracción, una unidad 312 de determinación de punto de tiempo de extracción de unidad de acceso, una unidad 313 de evaluación de modo, una unidad 314 de determinación de punto de tiempo de extracción de unidad de decodificación y una unidad 315 de transmisión de punto de tiempo de extracción.

La unidad 311 de evaluación de unidad de extracción evalúa si los datos codificados se extraen de la CPB 301 por unidad de acceso o por unidad de decodificación.

La unidad 312 de determinación de punto de tiempo de extracción de unidad de acceso determina un punto de tiempo para extracción de una unidad de acceso de la CPB 301 cuando los datos codificados se extraen por unidad de acceso.

La unidad 313 de evaluación de modo evalúa cuál del modo de intervalo común y el modo de intervalo variable es el modo actual cuando los datos codificados se extraen por unidad de decodificación.

La unidad 314 de determinación de punto de tiempo de extracción de unidad de decodificación determina, usando un resultado de la evaluación hecha por la unidad 313 de evaluación de modo, un punto de tiempo para extracción de cada una de las unidades de decodificación incluidas en la unidad de acceso de la CPB 301.

La unidad 315 de transmisión de punto de tiempo de extracción transmite, al decodificador 303, el punto de tiempo de extracción de la unidad de acceso determinada por la unidad 312 de determinación de punto de tiempo de extracción de unidad de acceso o el punto de tiempo de extracción de la unidad de decodificación determinada por la unidad 314 de determinación de punto de tiempo de extracción de unidad de decodificación.

La Figura 8A es un diagrama de bloques del aparato de codificación de imagen de acuerdo con esta realización. Como se muestra en la Figura 8A, el aparato 400 de codificación de imagen incluye una unidad 402 de determinación de punto de tiempo de extracción y un codificador 403.

La unidad 402 de determinación de punto de tiempo de extracción determina, para el aparato de decodificación de imagen, un punto de tiempo de extracción por unidad de acceso de la CPB y un punto de tiempo de extracción por unidad de decodificación de la CPB.

El codificador 403 codifica una imagen de entrada. Adicionalmente, el codificador 403 codifica información que indica un resultado de la determinación hecha por la unidad 402 de determinación de punto de tiempo de extracción. El codificador 403 genera, a continuación, un flujo de bits codificado que incluye la imagen de entrada codificada y la información codificada.

La Figura 8B es un diagrama de bloques de la unidad 402 de determinación de punto de tiempo de extracción. Como se muestra en la Figura 8B, la unidad 402 de determinación de punto de tiempo de extracción incluye una unidad 411 de determinación de unidad de extracción, una unidad 412 de determinación de punto de tiempo de extracción de unidad de acceso, una unidad 413 de determinación de modo y una unidad 414 de determinación de punto de tiempo de extracción de unidad de decodificación.

La unidad 411 de determinación de unidad de extracción determina si la extracción de los datos codificados de la CPB en el aparato de decodificación de imagen se realiza por unidad de acceso o por unidad de decodificación.

La unidad 412 de determinación de punto de tiempo de extracción de unidad de acceso determina un punto de tiempo para extracción de una unidad de acceso de la CPB cuando los datos codificados se extraen por unidad de acceso.

La unidad 413 de determinación de modo determina cuál del modo de intervalo común y el modo de intervalo variable es el modo actual cuando los datos codificados se extraen por unidad de decodificación.

La unidad 414 de determinación de punto de tiempo de extracción de unidad de decodificación determina, usando un resultado de la determinación hecha por la unidad 413 de determinación de modo, un punto de tiempo para extracción de los datos codificados de cada una de las unidades de decodificación incluidas en la unidad de acceso de la CPB.

Un resultado de la determinación por cada una de la anterior unidad de procesamiento se codifica por el codificador 403.

A continuación, se describe SEI que indica un punto de tiempo de extracción de CPB por unidad de decodificación.

En el caso del modo de intervalo variable, el aparato de codificación de imagen en la anterior descripción almacena, en la SEI de temporización de instantánea, el punto de tiempo de extracción de CPB de cada una de las unidades de decodificación incluidas en el acceso.

Sin embargo, en esta configuración, ya que la cantidad de código varía para cada unidad de decodificación, el aparato de codificación de imagen no puede determinar el punto de tiempo de extracción de CPB de cada unidad de decodificación hasta que se completa la codificación de todas las unidades de decodificación incluidas en la unidad de acceso. Por lo tanto, el aparato de codificación de imagen no puede determinar los datos de SEI de temporización de instantánea hasta que se completa la codificación de la última unidad de decodificación incluida en la unidad de acceso. Adicionalmente, la SEI de temporización de instantánea está en la unidad de decodificación ubicada primero en la unidad de acceso cuando se transmite. Como resultado, el aparato de codificación de imagen no puede transmitir secuencialmente unidades de decodificación tan pronto como se completa la codificación de cada unidad de decodificación. Esto conduce a mayor retardo en el lado de transmisión especialmente cuando se transmite contenido en tiempo real.

Por lo tanto, se define SEI que almacena el punto de tiempo de extracción de CPB de cada unidad de decodificación. Con esta SEI asignada a la unidad de decodificación, el aparato de codificación de imagen puede transmitir datos de la unidad de decodificación tan pronto como se completa la codificación de la unidad de codificación.

La Figura 9 muestra un ejemplo de una sintaxis de SEI de retardo de CPB de unidad de decodificación que es la SEI que almacena un punto de tiempo de extracción de CPB por unidad de decodificación.

Esta SEI es válida cuando la extracción de la CPB se realiza por unidad de decodificación en el modo de intervalo variable. Adicionalmente, esta SEI indica el punto de tiempo de extracción de CPB de la unidad de decodificación que incluye esta SEI y datos de segmento (almacenados en una unidad de NAL de VCL).

Específicamente, esta SEI incluye du_cpb_removal_delay. du_cpb_removal_delay indica el punto de tiempo de extracción de CPB de la unidad de decodificación.

Cuando se usa la SEI de retardo de CPB de unidad de decodificación, la SEI de temporización de instantánea indica un punto de tiempo de extracción de CPB por unidad de acceso y un punto de tiempo de extracción de DPB. En otras palabras, el punto de tiempo de extracción de CPB por unidad de decodificación se gestiona por la SEI de retardo de CPB de unidad de decodificación.

Las Figuras 10 y 11, muestran cada una, un ejemplo de estructura de la unidad de acceso.

Como se muestra en la Figura 10, cada unidad de decodificación incluye SEI de retardo de CPB de unidad de decodificación y datos de segmento. La unidad de decodificación ubicada primero incluye adicionalmente un delimitador de unidad de acceso y SEI de temporización de instantánea. El delimitador de unidad de acceso indica el comienzo de una unidad de acceso.

Igual que el delimitador de unidad de acceso, puede introducirse una unidad de NAL (delimitador de unidad de decodificación) que indica el comienzo de una unidad de decodificación, como se muestra en la Figura 11. El comienzo de la unidad de decodificación ubicada primero en la unidad de acceso puede indicarse por el delimitador de unidad de acceso.

Lo siguiente describe una variación del procedimiento de codificación de imagen y el procedimiento de decodificación de imagen de acuerdo con esta realización.

En el modo de intervalo común, aunque el aparato de codificación de imagen almacena, en la VUI, información que indica el intervalo entre los puntos de tiempo de extracción de CPB por unidad de codificación en el ejemplo mostrado en las Figuras 1 y 2, el aparato de codificación de imagen puede establecer, a base de intervalos comunes predeterminados, información sobre el punto de tiempo de extracción de CPB en la SEI de temporización de instantánea, en lugar de almacenar en la VUI la información que indica el intervalo de tiempo entre los puntos de tiempo de extracción. En este caso, ya que los puntos de tiempo de extracción de CPB de las unidades de decodificación incluidas en la misma secuencia son constantes, la información sobre el punto de tiempo de extracción de CPB dentro de la SEI de temporización de instantánea es también constante. Por consiguiente, en el modo de intervalo común, el aparato de decodificación de imagen analiza la información sobre el punto de tiempo de extracción de CPB en la unidad de acceso ubicada primero en una secuencia, y es capaz de usar, para las unidades de acceso posteriores, la información sobre el punto de tiempo de extracción de CPB obtenido para la primera unidad de acceso.

Aunque el delimitador de unidad de decodificación indica un límite de las unidades de decodificación en el ejemplo de las Figuras 10 y 11, el delimitador de unidad de decodificación no necesita usarse cuando el número de Unidades de NAL de datos de segmento incluidos en la unidad de decodificación es fijo. En este caso, el aparato de decodificación de imagen puede evaluar un límite de las unidades de decodificación a base de una unidad de NAL de datos de segmento. Por ejemplo, el aparato de codificación de imagen proporciona tal establecimiento que cuando existe una unidad de NAL de datos de segmento incluidos en la unidad de decodificación, la unidad de decodificación ubicada primero en la unidad de acceso comienza con un delimitador de unidad de acceso, y cada una de la segunda y posteriores unidades de decodificación comienza con una correspondiente unidad de la segunda y posteriores unidades de NAL de datos de segmento. De este modo, el aparato de decodificación de imagen puede evaluar un límite de las unidades de decodificación.

A continuación, se describe un procedimiento de multiplexación de paquete en TS de MPEG-2.

Información que indica si los datos codificados se extraen de la CPB por unidad de acceso o por unidad de decodificación afectará a operaciones de sistema, tal como decodificación y visualización y, por lo tanto, se transmitirá de forma deseable antes de decodificación por un medio diferente del flujo codificado. En el caso en el que se realiza la extracción por unidad de decodificación, lo mismo se aplica a información que indica cuál del modo de intervalo común y el modo de intervalo variable es el modo actual.

Por ejemplo, el uso de un descriptor habilita transmisión de la información como parte de información de programa desde el aparato de codificación de imagen al aparato de decodificación de imagen. Se ha de observar que, además del procedimiento que usa un descriptor, stream_id o program_id que es diferente entre el caso en el que se realiza la extracción por unidad de acceso y el caso en el que la extracción es por unidad de decodificación puede usarse para transmitir una unidad de extracción desde el aparato de codificación de imagen al aparato de decodificación de imagen.

La Figura 12 muestra un ejemplo de este descriptor. En la Figura 12, sub_pic_cpb_removal_flag es una bandera que indica si los datos codificados se extraen de la CPB por unidad de acceso o por unidad de decodificación. Cuando esta bandera es 1, se realiza la extracción por unidad de decodificación, y cuando esta bandera es 0, se realiza la extracción por unidad de acceso.

Al mismo tiempo, variable_sub_pic_removal_period_flag es una bandera que indica si la unidad de decodificación se extrae de la CPB en el modo de intervalo común o el modo de intervalo variable.

Cuando esta bandera es 1, el modo actual es el modo de intervalo variable, y cuando esta bandera es 0, el modo actual es el modo de intervalo común.

Además, sub_pic_removal_period es válido únicamente en el modo de intervalo común. Este sub_pic_removal_period indica una diferencia entre puntos de tiempo para extracción de unidades de decodificación consecutivas de la CPB (un intervalo entre puntos de tiempo de extracción de unidades de decodificación).

Se ha de observar que, en lugar de transmisión de información directamente indicando una diferencia entre puntos de tiempo de extracción al aparato de decodificación de imagen, el aparato de codificación de imagen puede transmitir un intervalo entre indicaciones de tiempo de decodificación (DTS) de unidades de acceso consecutivas en orden de decodificación y el número de unidades de decodificación incluidas en la unidad de acceso. En este caso, usando la información, el aparato de decodificación de imagen puede obtener la diferencia mediante cálculo.

Adicionalmente, el aparato de codificación de imagen puede incluir la diferencia entre los puntos de tiempo de extracción de CPB en datos codificados (tal como SPS o SEI de temporización de instantánea) transmitidos en los paquetes de PES en lugar de incluir la diferencia en el descriptor. En este caso, el aparato de decodificación de imagen obtiene la diferencia entre los puntos de tiempo de extracción de CPB del SPS, la SEI de temporización de instantánea, o similar.

Adicionalmente, el aparato de codificación de imagen puede transmitir, al aparato de decodificación de imagen, información que indica si el número de unidades de decodificación incluidas en la unidad de acceso es fijo o no. Además, cuando el número de unidades de decodificación incluidas en la unidad de acceso es fijo, el aparato de codificación de imagen puede transmitir, al aparato de decodificación de imagen, información que indica el número de unidades de decodificación incluidas en la unidad de acceso. De este modo, el aparato de decodificación de imagen puede identificar la última unidad de decodificación en la unidad de acceso, por ejemplo.

Adicionalmente, cuando la tasa de tramas es fija, el aparato de decodificación de imagen puede determinar el punto de tiempo de extracción de CPB de cada unidad de decodificación dividiendo el intervalo entre DTS de tramas por el número de unidades de decodificación. De este modo, el aparato de decodificación de imagen puede determinar el punto de tiempo de extracción de CPB de cada unidad de decodificación incluida en una unidad de acceso en la etapa cuando la DTS de la unidad de acceso se obtiene a partir del encabezamiento del paquete de PES.

En este punto, en un paquete de PES en la TS de MPEG-2, la unidad mínima a la que puede asignarse una indicación de tiempo de decodificación (DTS) es una unidad de acceso. Por lo tanto, el aparato de decodificación de imagen obtiene una DTS de la unidad de decodificación a partir del descriptor mostrado en la Figura 12 o información dentro del flujo codificado y transmite la DTS al decodificador.

La Figura 13 es un diagrama de bloques de un decodificador objetivo de sistema (STD) para transmitir una DTS de la unidad de decodificación.

Este STD 500 es un ejemplo del aparato de decodificación de imagen de acuerdo con esta realización e incluye un demultiplexor 501 de TS, una memoria 502 intermedia de transporte (TB), una memoria 503 intermedia de multiplexación (MB), una memoria 504 intermedia de flujo elemental (EB), un decodificador 505, una unidad 506 de determinación de punto de tiempo de extracción de unidad de decodificación y una memoria 507 intermedia de instantánea decodificada (DPB).

La unidad de extracción y el procedimiento de determinación de puntos de tiempo de extracción depende de si se realiza la extracción por unidad de acceso o por unidad de decodificación.

Cuando se opera por unidad de acceso, el STD 500 opera a base de DTS de los paquetes de PES, y cuando se opera por unidad de decodificación, el STD 500 opera de acuerdo con puntos de tiempo de extracción obtenidos de forma separada de las unidades de decodificación.

Cuando se realiza la extracción por unidad de decodificación, el STD 500 usa, como una DTS del paquete de PES, el punto de tiempo de extracción de la unidad de decodificación ubicada primero en la unidad de acceso.

El demultiplexor 501 de TS clasifica datos incluidos en un flujo de entrada filtrando los mismos a base de PID. Específicamente, el demultiplexor 501 de TS emite, a la unidad 506 de determinación de punto de tiempo de extracción de unidad de decodificación, información de programa tal como un descriptor incluido en el flujo de entrada. Adicionalmente, el demultiplexor 501 de TS emite un paquete de TS que incluye datos codificados de HEVC a la TB 502. Esto datos codificados se introducen en el decodificador 505 y la unidad 506 de determinación de punto de tiempo de extracción de unidad de decodificación a través de la MB 503 y la EB 504.

La unidad 506 de determinación de punto de tiempo de extracción de unidad de decodificación evalúa, a base de información incluida en el descriptor o similar, si el STD 500 opera por unidad de decodificación o por unidad de acceso. Adicionalmente, cuando el STD 500 opera por unidad de decodificación, la unidad 506 de determinación de punto de tiempo de extracción de unidad de decodificación obtiene una DTS de una unidad de decodificación y transmite la d Ts al decodificador 505.

Específicamente, cuando el modo actual es el modo de intervalo común, y el descriptor indica un intervalo T entre los puntos de tiempo de extracción de CPB de las unidades de decodificación, la unidad 506 de determinación de punto de tiempo de extracción de unidad de decodificación determina una DTS de la unidad de decodificación a base del intervalo T y la DTS de la unidad de acceso obtenida a partir del encabezamiento de paquete de PES.

Por otra parte, cuando el modo actual es el modo de intervalo variable, la unidad 506 de determinación de punto de tiempo de extracción de unidad de decodificación analiza la SEI de temporización de instantánea, SEI de retardo de CPB de unidad de decodificación, o similar y determina de este modo una DTS de la unidad de decodificación. Cuando se opera por unidad de acceso, el STD 500 opera por unidad de acceso a base de DTS de los paquetes de PES o similar como hace convencionalmente.

La unidad de decodificación 505 extrae los datos codificados incluidos en la unidad de decodificación de la EB 504 de acuerdo con el punto de tiempo de extracción de la unidad de decodificación transmitida desde la unidad 506 de determinación de punto de tiempo de extracción de unidad de decodificación.

Adicionalmente, la unidad de decodificación 505 determina un límite de unidades de decodificación a base del delimitador de unidad de decodificación o la posición de inicio de una unidad de NAL que almacena datos de segmento. Se ha de observar que la unidad 506 de determinación de punto de tiempo de extracción de unidad de decodificación también puede detectar el límite de unidades de decodificación y transmitir un tamaño de datos de la unidad de decodificación al decodificador 505. En este caso, el decodificador 505 extrae los datos para el tamaño de datos transmitidos desde la EB 504.

La DPB 507 almacena los datos decodificados generados por el decodificador 505.

Se ha de observar que la operación del aparato de codificación de imagen es como se describe anteriormente excepto que diversa información se almacena en un descriptor.

Lo siguiente describe una variación del procedimiento de establecimiento de una DTS del paquete de PES.

Cuando se usa la DTS del paquete de PES como un punto de tiempo de extracción de CPB ( = DTS) de la unidad de decodificación ubicada primero, el aparato de decodificación de imagen falla en garantizar la compatibilidad con un receptor que no soporta la operación por unidad de decodificación. Por lo tanto, el aparato de decodificación de imagen usa la DTS del paquete de PES como una DTS de una unidad de acceso como hace convencionalmente. Adicionalmente, puede ser que el aparato de codificación de imagen almacena de DTS sobre la unidad de decodificación en una región extendida del encabezamiento de paquete de PES y el aparato de decodificación de imagen usa la información de DTS.

Por ejemplo, en la región extendida, el aparato de codificación de imagen puede listar, en orden de decodificación, DTS de las unidades de decodificación incluidas en la unidad de acceso, o puede almacenar información que indica una diferencia entre la DTS de cada unidad de decodificación y la DTS del paquete de PES.

Adicionalmente, en el modo de intervalo común, el aparato de codificación de imagen puede almacenar, en la región extendida, únicamente información que indica la DTS de la unidad de decodificación ubicada primero en la unidad de acceso.

Adicionalmente, usando la DTS incluida en el paquete de PES como la DTS de la unidad de acceso, el aparato de decodificación de imagen puede analizar el flujo codificado y obtener de este modo una DTS de la unidad de decodificación.

Adicionalmente, cuando se realiza la extracción por unidad de decodificación, el aparato de codificación de imagen puede asignar una DTS al paquete de PES por unidad de decodificación. En este caso, la unidad 506 de determinación de punto de tiempo de extracción de unidad de decodificación puede determinar una DTS de una unidad de decodificación haciendo referencia a la DTS almacenada en el encabezamiento del paquete de PES.

Lo siguiente describe un efecto obtenido cuando la extracción de la CPB se realiza por unidad de decodificación.

La Figura 14A muestra la transición de datos codificados en ocupación de memoria intermedia de la EB 504 que se observa en el caso en el que se realiza la extracción por unidad de acceso. La Figura 14B muestra la transición de datos codificados en ocupación de memoria intermedia de la EB 504 que se observa en el caso en el que se realiza la extracción por unidad de decodificación.

Como se muestra en la Figura 14B, cuando se realiza la extracción por unidad de decodificación, los datos codificados de las unidades de decodificación se extraen secuencialmente, con el resultado de que la ocupación de memoria intermedia de la EB 504 es baja en comparación con el caso mostrado en la Figura 14A en el que se realiza la extracción por unidad de acceso. Por lo tanto, cuando la extracción de CPB se realiza por unidad de decodificación, la EB 504 puede reducirse en tamaño en comparación con que en el caso de por unidad de acceso.

Se ha de observar que el aparato de codificación de imagen puede incluir, en un descriptor o similar, información que indica el tamaño de EB necesario para realizar la extracción por unidad de decodificación, y transmitir la información al aparato de decodificación de imagen. Con esto, el aparato de decodificación de imagen puede proporcionar la EB 504 a base del tamaño de EB.

Lo siguiente describe un procedimiento de cálculo de un intervalo entre puntos de tiempo para extracción de las unidades de decodificación de la CPB en el aparato de decodificación de imagen.

El aparato de decodificación de imagen usa, como el intervalo entre puntos de tiempo de extracción en el modo de intervalo común, un valor obtenido dividiendo el intervalo (picture_interval) entre DTS de dos unidades de acceso consecutivas en orden de decodificación por el número (num_ctbs_in_subpicture_minus1) de unidades de decodificación incluidas en cada unidad de acceso.

Por ejemplo, cuando el intervalo entre las DTS de unidades de acceso es 50 ms y cada unidad de acceso incluye cinco unidades de decodificación, el intervalo entre puntos de tiempo de extracción de unidades de decodificación se define por 50/5 = 10 ms.

Se ha de observar que, cuando la tasa de tramas de las unidades de acceso es fija, el aparato de decodificación de imagen puede determinar un intervalo entre puntos de tiempo de extracción de unidades de decodificación a base de la tasa de tramas y el número de unidades de decodificación. Por lo tanto, en este caso, puede ser que el aparato de codificación de imagen salta la transmisión del intervalo entre puntos de tiempo de extracción y el aparato de decodificación de imagen obtiene el intervalo entre puntos de tiempo de extracción mediante cálculo.

Sin embargo, en el caso en el que la tasa de tramas es variable, el intervalo entre puntos de tiempo de extracción no puede determinarse inequívocamente a partir de la tasa de tramas. Por lo tanto, el aparato de codificación de imagen incluye, en la TS de MPEG-2 o el flujo codificado, información que indica el intervalo entre puntos de tiempo de extracción y transmite la misma.

Lo siguiente describe un caso de aplicación de esta realización a esquemas de multiplexación distintos de la TS de MPEG-2.

Los esquemas de multiplexación incluyen, además de la TS de MPEG-2, el MP4 que es común para la descarga y el protocolo de transporte en tiempo real (RTP) que se usa ampliamente para difusión en continuo, y el flujo codificado de acuerdo con esta realización está disponible en estos esquemas de multiplexación.

Primero, se describe el caso de uso del MP4 para el flujo codificado de acuerdo con esta realización.

El aparato de codificación de imagen almacena la información descrita en el descriptor en la TS de MPEG-2 en una caja que tiene una estructura definida en el MP4. Específicamente, el aparato de codificación de imagen almacena la información anterior en, por ejemplo, una caja que almacena información de inicialización para su uso en la decodificación de datos codificados. Adicionalmente, cuando la extracción de la CPB se realiza por unidad de decodificación, el aparato de codificación de imagen puede almacenar información que indica la DTS de cada unidad de decodificación en la caja.

Adicionalmente, en el MP4, se usa una unidad llamada muestra que corresponde a la unidad de acceso. El aparato de codificación de imagen puede almacenar, además de información de dirección de cada muestra, información de dirección para acceder a una unidad de decodificación incluida en la muestra.

A continuación, se describe el caso de uso del RTP para el flujo codificado de acuerdo con esta realización.

El aparato de codificación de imagen describe la información descrita en el descriptor en la TS de MPEG-2 en un encabezamiento de carga útil de un paquete de RTP o en un protocolo de descripción de sesión (SDP), un protocolo inicial de sesión (SIP) o similar que se usa para intercambiar información suplementaria sobre la comunicación de RTP.

Se ha de observar que el aparato de codificación de imagen puede conmutar una unidad de paquetización de acuerdo con si la extracción de la CPB se realiza por unidad de acceso o por unidad de decodificación. Por ejemplo, en el caso en el que se realiza la extracción por unidad de decodificación, el aparato de codificación de imagen transmite una unidad de decodificación como un paquete de RTP. Adicionalmente, el aparato de codificación de imagen transmite, al aparato de decodificación de imagen, información que indica la unidad de paquetización que usa la información suplementaria tal como el SDP.

Adicionalmente, de acuerdo con una unidad de extracción de la CPB, el aparato de codificación de imagen puede conmutar un procedimiento de almacenamiento de la DTS que tiene que describirse en el encabezamiento de carga útil del paquete de RTP. Por ejemplo, el aparato de codificación de imagen asigna una DTS por unidad de acceso en el caso en el que se realiza la extracción por unidad de acceso, y asigna una DTS por unidad de decodificación en el caso en el que se realiza la extracción por unidad de decodificación.

Adicionalmente, cuando se realiza la extracción por unidad de decodificación y el modo actual es el modo de intervalo común, el aparato de codificación de imagen puede indicar una DTS únicamente para la unidad de decodificación ubicada primero en la unidad de acceso. En este caso, el aparato de decodificación de imagen usa un intervalo por defecto para las unidades de decodificación posteriores, por ejemplo. Esto permite una reducción en la cantidad de código necesario para transmitir las DTS.

Como anteriormente, en el procedimiento de decodificación de imagen de acuerdo con esta realización, los datos codificados se decodifican para cada una de una o más unidades (por unidad de decodificación) incluidas en una instantánea (una unidad de acceso). Como se muestra en la Figura 15, el aparato de decodificación de imagen obtiene, a partir del flujo codificado que incluye los datos codificados, una primera bandera (una bandera de unidad de decodificación) que indica si un tiempo de eliminación de los datos codificados de la memoria intermedia (CPB) para almacenar los datos codificados se establece por unidad (S121).

A continuación, cuando el tiempo de eliminación de los datos codificados se establece por unidad, el aparato de decodificación de imagen obtiene, a partir del flujo de bits codificado, una segunda bandera (una bandera de intervalo variable) que indica si un intervalo entre los tiempos de eliminación de las unidades es constante o arbitrario (S122).

A continuación, el aparato de decodificación de imagen elimina los datos codificados de la memoria intermedia por unidad de decodificación y en un intervalo constante o arbitrario de acuerdo con la segunda bandera (S124 y S125). Específicamente, cuando la segunda bandera indica que el intervalo es arbitrario (Sí en S123), el aparato de decodificación de imagen elimina los datos codificados de las unidades de decodificación en intervalos variables (S124). Cuando la segunda bandera indica que el intervalo es constante (No en S123), el aparato de decodificación de imagen elimina los datos codificados de las unidades de decodificación en intervalos comunes (S125).

El aparato de decodificación de imagen decodifica a continuación los datos codificados de las unidades de decodificación eliminados en la etapa S124 o S125 (S126).

De este modo, cuando el intervalo de tiempo es constante, por ejemplo, el aparato de decodificación de imagen puede determinar intervalos de tiempo de unidades de decodificación a base de un intervalo común. Esto permite una reducción en la carga de procesamiento del aparato de decodificación de imagen.

Adicionalmente, en el procedimiento de codificación de imagen de acuerdo con la realización en la presente invención, se decodifica una o más unidades (unidades de decodificación) incluidas en una instantánea (una unidad de acceso). Como se muestra en la Figura 16, el aparato de codificación de imagen genera la primera bandera (la bandera de unidad de decodificación) que indica si un tiempo de eliminación de los datos codificados por el decodificador hipotético de referencia desde la memoria intermedia (CPB) para almacenar los datos codificados se establece o no por unidad (5221) . A continuación, el aparato de codificación de imagen genera una segunda bandera (una bandera de intervalo variable) que indica si el intervalo entre los tiempos de eliminación de los datos codificados es constante o arbitrario (5222) . A continuación, el aparato de codificación de imagen genera el flujo de bits codificado que incluye los datos codificados, la primera bandera y la segunda bandera (S223).

Adicionalmente, como se describe anteriormente, el aparato de codificación de imagen genera la segunda bandera por grupo de instantáneas que incluye una o más instantáneas. Además, el aparato de codificación de imagen incluye la segunda bandera en información de control por grupo de instantáneas (un encabezamiento) que se incluye en el flujo de bits codificado y proporciona por grupo de instantáneas. Esto significa que el aparato de decodificación de imagen obtiene la segunda bandera a partir de la información de control por grupo de instantáneas.

En este punto, el grupo de instantáneas es una unidad de instantáneas (una secuencia), por ejemplo. La información de control por grupo de instantáneas es un SPS y más específicamente es VUI incluida en el SPS. Se ha de observar que la información de control por grupo de instantáneas puede ser un descriptor en la TS de MPEG-2.

Adicionalmente, cuando la segunda bandera indica que el intervalo es constante (el modo de intervalo común), el aparato de codificación de imagen genera información de intervalo común que indica un intervalo que es común. En este punto, la información de intervalo común indica, por ejemplo, el número (num_ctbs_in_subpicture_minus1) de unidades de decodificación incluidas en una instantánea (una unidad de acceso) y el intervalo de tiempo entre instantáneas (picture_interval). Usando el número de unidades de decodificación y el intervalo de tiempo entre instantáneas, el aparato de decodificación de imagen calcula un intervalo que es común, y elimina los datos codificados de la memoria intermedia por unidad de decodificación y en el intervalo calculado.

Adicionalmente, el aparato de codificación de imagen incluye, igual que la segunda bandera, la información de intervalo común en la información de control por grupo de instantáneas (por ejemplo, la VUI). Esto significa que, cuando la segunda bandera indica que el intervalo es constante (el modo de intervalo común), el aparato de decodificación de imagen obtiene, a partir de la información de control por grupo de instantáneas, la información de intervalo común que indica el intervalo. Adicionalmente, cuando la segunda bandera indica que el intervalo es común (el modo de intervalo común), el aparato de decodificación de imagen elimina los datos codificados de la memoria intermedia por unidad de decodificación y en el intervalo común indicado en la información de intervalo común. Se ha de observar que el aparato de codificación de imagen puede incluir la información de intervalo común en información de control por instantánea (por ejemplo, SEI de temporización de instantánea) que se proporciona por instantánea. Esto significa que, cuando la segunda bandera indica que el intervalo es constante (el modo de intervalo común), el aparato de decodificación de imagen obtiene la información de intervalo común que indica el intervalo a partir de la información de control por instantánea.

Cuando la segunda bandera indica que el intervalo de tiempo es arbitrario (el modo de intervalo variable), el aparato de codificación de imagen genera información de intervalo variable (cpb_removal_delay) que indica intervalos entre los tiempos de eliminación de las unidades de decodificación. Adicionalmente, el aparato de codificación de imagen incluye esta información de intervalo variable en información de control por instantánea (por ejemplo, SEI de temporización de instantánea) que se incluye en el flujo de bits codificado y proporciona por instantánea. Esto significa que, cuando la segunda bandera indica que el intervalo es arbitrario (el modo de intervalo variable), el aparato de decodificación de imagen obtiene la información de intervalo variable a partir de la información de control por instantánea. El aparato de decodificación de imagen elimina a continuación los datos codificados de la memoria intermedia por unidad de decodificación y en los intervalos indicados en la información de intervalo variable.

Se ha de observar que el aparato de codificación de imagen puede incluir esta información de intervalo variable en la información de control por unidad (por ejemplo, SEI de retardo de CPB de unidad de decodificación) que se incluye en el flujo codificado y proporciona por unidad de decodificación. Esto significa que el aparato de decodificación de imagen puede obtener la información de intervalo variable a partir de la información de control por unidad de decodificación.

El flujo de bits codificado incluye un flujo de transporte (TS) y un descriptor, y el aparato de codificación de imagen puede incluir la segunda bandera en el descriptor. Esto significa que el aparato de decodificación de imagen puede obtener la segunda bandera a partir del descriptor.

Lo siguiente describe estructuras básicas del codificador 403 incluido en el aparato de codificación de imagen y el decodificador 303 o 505 incluido en el aparato de decodificación de imagen.

La Figura 17 es un diagrama de bloques de un codificador 100 que es un ejemplo del codificador 403. Este codificador 100 codifica, por ejemplo, datos de audio y datos de vídeo a una tasa de bits baja.

El codificador 100 mostrado en la Figura 17 codifica una señal 101 de imagen de entrada para generar una señal 191 codificada. El codificador 100 incluye un restador 110, una unidad 120 de transformación, una unidad 130 de cuantificación, una unidad 140 de cuantificación inversa, una unidad 150 de transformación inversa, un sumador 160, una memoria 170, una unidad 180 de predicción y un codificador 190 por entropía.

El restador 110 resta una señal 181 de predicción de la señal 101 de imagen de entrada para generar una señal 111 de error de predicción (señal de entrada de transformación), y proporciona la señal 111 de error de predicción generada a la unidad 120 de transformación.

La unidad 120 de transformación realiza transformación de frecuencia en la señal 111 de error de predicción para generar una señal 121 de salida de transformación. Más específicamente, la unidad 120 de transformación transforma, de un dominio espacial-temporal a un dominio de frecuencia, la señal 111 de error de predicción o la señal de entrada de transformación generando realizando cierto procesamiento en la señal 111 de error de predicción. Como resultado, la unidad 120 de transformación genera la señal 121 de salida de transformación que tiene correlación disminuida.

La unidad 130 de cuantificación cuantifica la señal 121 de salida de transformación, generando de este modo un coeficiente 131 de cuantificación que tiene una pequeña cantidad total de datos.

El codificador 190 por entropía codifica el coeficiente 131 de cuantificación usando un algoritmo de codificación por entropía, generando de este modo una señal 191 codificada que tiene redundancia comprimida adicional.

La unidad 140 de cuantificación inversa cuantifica inversamente el coeficiente 131 de cuantificación para generar una señal 141 de salida de transformación decodificada. La unidad 150 de transformación inversa transforma inversamente la señal 141 de salida de transformación decodificada para generar una señal 151 de entrada de transformación decodificada.

El sumador 160 añade la señal de entrada de transformación decodificada señal 151 de entrada de transformación decodificada y una señal 181 de predicción para generar una señal 161 decodificada. La memoria 170 almacena la señal 161 decodificada.

La unidad 180 de predicción obtiene una señal predeterminada a partir de la memoria 170 de acuerdo con un procedimiento de predicción tal como intra predicción o inter predicción, y genera una señal 181 de predicción de acuerdo con un procedimiento predeterminado a base del procedimiento de predicción. Más específicamente, la unidad 180 de predicción determina el procedimiento de predicción para conseguir una eficiencia de codificación máxima, y genera la señal 181 de predicción de acuerdo con el procedimiento de predicción determinado. Adicionalmente, el codificador 190 por entropía realiza codificación por entropía en la información que indica el procedimiento de predicción, según se necesita.

En este punto, la unidad 140 de cuantificación inversa, la unidad 150 de transformación inversa, el sumador 160, la memoria 170 y la unidad 180 de predicción se incluyen también en el aparato de decodificación de imagen. La señal 161 decodificada corresponde a una señal de imagen reproducida (señal 261 decodificada) generada por el aparato de decodificación de imagen.

La Figura 18 es un diagrama de bloques de un decodificador 200 que es un ejemplo de los decodificadores 303 y 505. El decodificador 200 mostrado en la Figura 18 decodifica una señal 191 codificada para generar una señal 261 decodificada. El decodificador 200 incluye una unidad 240 de cuantificación inversa, una unidad 250 de transformación inversa, un sumador 260, una memoria 270, una unidad 280 de predicción y un decodificador 290 por entropía.

El decodificador 290 por entropía realiza decodificación por entropía en la señal 191 codificada para generar un coeficiente 231 de cuantificación y un procedimiento 291 de predicción.

La unidad 240 de cuantificación inversa cuantifica inversamente el coeficiente 231 de cuantificación para generar una señal 241 de salida de transformación decodificada. La unidad 250 de transformación inversa transforma inversamente la señal 241 de salida de transformación decodificada para generar una señal 251 de entrada de transformación decodificada.

El sumador 260 añade la señal de entrada de transformación decodificada señal 251 de entrada de transformación decodificada y una señal 281 de predicción para generar una señal 261 decodificada. La señal 261 decodificada es una imagen reproducida generada por el decodificador 200. La señal 261 decodificada se emite como una señal de salida del decodificador de imagen 200, y se almacena también en la memoria 270.

La unidad 280 de predicción obtiene una señal predeterminada a partir de la memoria 270 de acuerdo con el procedimiento 291 de predicción, y genera una señal 281 de predicción de acuerdo con un procedimiento predeterminado a base del procedimiento 291 de predicción.

Aunque lo anterior describe el aparato de codificación de imagen y el aparato de decodificación de imagen de acuerdo con la realización, la presente invención no se limita a esta realización.

Adicionalmente, cada una de las unidades de procesamiento incluidas en el aparato de codificación de imagen y el aparato de decodificación de imagen de acuerdo con la anterior realización se implementa habitualmente como una integración a gran escala (LSI) que es un circuito integrado. Componentes pueden formarse, cada uno, en un único chip, y también es posible integrar parte o todos los componentes en un único chip.

Esta integración de circuito no se limita al LSI y puede conseguirse proporcionando un circuito especializado o usando un procesador de fin general. También es posible utilizar un campo de matriz de puertas programables (FPGA), con el que el LSI es programable después de fabricación, o un procesador reconfigurable, con el que son reconfigurables conexiones, ajustes, etc., de células de circuito en el LSI.

Cada uno de los elementos estructurales en la realización anterior puede configurarse en forma de hardware especializado, o puede realizarse ejecutando un programa de software adecuado para el elemento estructural. Cada uno de los elementos estructurales puede realizarse por medio de una unidad de ejecución de programa, tal como una CPU y un procesador, leyendo y ejecutando el programa de software grabado en un medio de grabación tal como un disco duro o una memoria de semiconductores.

En otras palabras, el aparato de codificación de imagen o el aparato de decodificación de imagen incluye circuitería de control y almacenamiento accesible desde la circuitería de control (es decir, accesible por la circuitería de control). La circuitería de control incluye al menos uno de hardware dedicado y una unidad de ejecución de programas. En el caso en el que la circuitería de control incluye la unidad de ejecución de programa, el almacenamiento almacena un programa de software que se ejecuta por la unidad de ejecución de programa.

Adicionalmente, la presente invención puede ser el programa de software anterior o un medio de grabación no transitorio legible por ordenador en el que el programa anterior se ha grabado. No hace falta decir que el programa anterior puede distribuirse a través de una red de comunicación tal como internet.

Los números en el presente documento se proporcionan para ilustrar específicamente la presente invención y por lo tanto no limitan la misma.

La segmentación de los bloques funcionales en cada diagrama de bloques es un ejemplo, y algunos de los bloques funcionales pueden implementarse como un bloque funcional mientras un bloque funcional puede dividirse en partes plurales, o parte de la función de un bloque funcional puede desplazarse a otro bloque funcional. Adicionalmente, las funciones de una pluralidad de bloques funcionales que tienen funciones similares pueden procesarse en paralelo o de modo segmentado en tiempo mediante hardware o software individual.

El orden de procesamiento de las etapas incluidas en el procedimiento de codificación o decodificación de imagen anterior se proporciona para ilustrar específicamente la presente invención y, por lo tanto, puede ser cualquier otro orden. Parte de las etapas anteriores puede realizarse al mismo tiempo como (en paralelo con) otra etapa.

(Realización 2)

El procesamiento descrito en la realización anterior puede implementarse simplemente en un sistema informático independiente, grabando, en un medio de grabación, un programa de implementación de las configuraciones del procedimiento de codificación de instantáneas en movimiento (procedimiento de codificación de imagen) o el procedimiento de decodificación de instantáneas en movimiento (procedimiento de decodificación de imagen) descrito en la realización anterior. El medio de grabación puede ser cualquier medio de grabación siempre que el programa pueda grabarse, tal como un disco magnético, un disco óptico, un disco óptico magnético, una tarjeta de CI y una memoria de semiconductores.

En lo sucesivo, se describirán las aplicaciones al procedimiento de codificación de instantáneas en movimiento (procedimiento de codificación de imagen) y el procedimiento de decodificación de instantáneas en movimiento (procedimiento de decodificación de imagen) descritos en la realización anterior y sistemas que usan los mismos. El sistema tiene una característica de tener un aparato de codificación y de decodificación de imágenes que incluye un aparato de codificación de imágenes que usa el procedimiento de codificación de imágenes y un aparato de decodificación de imágenes que usa el procedimiento de decodificación de imágenes. Pueden cambiarse otras configuraciones en el sistema según sea apropiado, dependiendo de los casos.

La Figura 19 ilustra una configuración general de un sistema ex100 de suministro de contenido para la implementación de servicios de distribución de contenido. El área para la provisión de servicios de comunicación se divide en células de tamaño deseado y las estaciones ex107, ex108, ex109 y ex110 base que son estaciones inalámbricas fijas se sitúan en cada una de las células.

El sistema ex100 de suministro de contenido se conecta a dispositivos, tales como un ordenador ex111, un asistente ex112 digital personal (PDA), una cámara ex113, un teléfono ex114 celular y una máquina ex115 de juegos, a través de la Internet ex101, un proveedor ex102 de servicio de internet, una red ex104 de telefonía, así como las estaciones ex106 a ex110 base, respectivamente.

Sin embargo, la configuración del sistema ex100 de suministro de contenido no se limita a la configuración mostrada en la Figura 19, y es aceptable una combinación en la que se conecta cualquiera de los elementos. Además, cada dispositivo puede conectarse directamente a la red ex104 de telefonía, en lugar de a través de las estaciones ex106 a ex110 base que son las estaciones inalámbricas fijas. Adicionalmente, los dispositivos pueden interconectarse entre sí a través de una comunicación inalámbrica de corta distancia y otras.

La cámara ex113, tal como una cámara de vídeo digital, es capaz de capturar vídeo. Una cámara ex116, tal como a digital cámara de vídeo, es capaz de capturar tanto imágenes fijas como vídeo. Adicionalmente, el teléfono ex114 celular puede ser el que cumpla con cualquiera de las normas tales como el Sistema Global para Comunicaciones Móviles (GSM) (marca registrada), Acceso Múltiple por División de Código (CDMA), Acceso Múltiple por División de Código de Banda Ancha (W-CDMA), Evolución a Largo Plazo (LTE) y Acceso de Alta Velocidad por Paquetes (HSPA). Como alternativa, el teléfono ex114 celular puede ser un Sistema de Teléfonos Personales (PHS).

En el sistema ex100 de suministro de contenido, un servidor ex103 de difusión en continuo se conecta a la cámara ex113 y a otros a través de la red ex104 de teléfono y la estación ex109 base, que posibilita la distribución de imágenes de un espectáculo en directo y otros. En una distribución de este tipo, un contenido (por ejemplo, vídeo de un espectáculo de música en directo) capturado por el usuario usando la cámara ex113 se codifica como se describe anteriormente en la realización anterior (es decir, la cámara funciona como el aparato de codificación de imagen de acuerdo con un aspecto de la presente invención), y el contenido codificado se transmite al servidor ex103 de difusión en continuo. Por otra parte, el servidor ex103 de difusión en continuo efectúa distribución de flujo de los datos de contenido transmitidos a los clientes tras sus solicitudes. Los clientes incluyen el ordenador ex111, el PDA ex112, la cámara ex113, el teléfono ex114 celular y la máquina ex115 de juegos que son capaces de decodificar los datos codificados anteriormente mencionados. Cada uno de los dispositivos que han recibido los datos distribuidos decodifica y reproduce los datos codificados (es decir, funciona como el aparato de decodificación de imágenes de acuerdo con un aspecto de la presente invención).

Los datos capturados pueden codificarse por la cámara ex113 o el servidor ex103 de difusión en continuo que transmite los datos, o los procedimientos de codificación pueden compartirse entre la cámara ex113 y el servidor ex103 de difusión en continuo. De manera similar, los datos distribuidos pueden decodificarse por los clientes o el servidor ex103 de difusión en continuo, o los procedimientos de decodificación pueden compartirse entre los clientes y el servidor ex103 de difusión en continuo. Adicionalmente, los datos de las imágenes fijas y el vídeo capturado no únicamente por la cámara ex113 sino también por la cámara ex116 pueden transmitirse al servidor ex103 de difusión en continuo a través del ordenador ex111. Los procedimientos de codificación pueden realizarse por la cámara ex116, el ordenador ex111 o el servidor ex103 de difusión en continuo, o compartirse entre ellos.

Adicionalmente, los procedimientos de codificación y decodificación pueden realizarse por un LSI ex500 incluido generalmente en cada uno del ordenador ex111 y los dispositivos. El LSI ex500 puede configurarse de un único chip o una pluralidad de chips. Software de codificación y decodificación de vídeo puede integrarse en algún tipo de un medio de grabación (tal como un CD-ROM, un disco flexible y un disco duro) que es legible por el ordenador ex111 y otros, y los procedimientos de codificación y decodificación pueden realizarse usando el software. Adicionalmente, cuando el teléfono ex114 celular está equipado con una cámara, pueden transmitirse los datos de vídeo obtenidos por la cámara. Los datos de vídeo son datos codificados por el LSI ex500 incluido en el teléfono ex114 celular.

Adicionalmente, el servidor ex103 de difusión en continuo puede componerse de servidores y ordenadores, y puede descentralizar los datos y procesar los datos descentralizados, grabar o distribuir datos.

Como se ha descrito anteriormente, los clientes pueden recibir y reproducir los datos codificados en el sistema ex100 de suministro de contenido. En otras palabras, los clientes pueden recibir y decodificar información transmitida por el usuario, y reproducir los datos decodificados en tiempo real en el sistema ex100 de suministro de contenido, de modo que el usuario que no tiene ningún derecho ni equipo particulares puede implementar difusión personal.

Además del ejemplo del sistema ex100 de suministro de contenido, al menos uno del aparato de codificación de instantáneas en movimiento (aparato de codificación de imagen) y el aparato de decodificación de instantáneas en movimiento (aparato de decodificación de imagen) descritos en la realización anterior puede implementarse en un sistema ex200 de difusión digital ilustrado en la Figura 20. Más específicamente, una estación ex201 de difusión comunica o transmite, a través de ondas de radio a un satélite ex202 de difusión, datos multiplexados obtenidos multiplexando datos de audio y otros en datos de vídeo. Los datos de vídeo son datos codificados por el procedimiento de codificación de instantáneas en movimiento descrito en la realización anterior (es decir, datos codificados por el aparato de codificación de imagen de acuerdo con un aspecto de la presente invención). Tras la recepción de los datos multiplexados, el satélite ex202 de difusión transmite ondas de radio para difusión. A continuación, una antena ex204 de uso doméstico con una función de recepción de difusión por satélite recibe las ondas de radio. A continuación, un dispositivo tal como una televisión ex300 (receptor) y un decodificador ex217 de salón (STB) decodifica los datos multiplexados recibidos, y reproduce los datos decodificados (es decir, funciona como el aparato de decodificación de imágenes de acuerdo con un aspecto de la presente invención).

Adicionalmente, un lector/grabador ex218 (i) lee y decodifica los datos multiplexados grabados en un medio ex215 de grabación, tal como un DVD y un BD, o (ii) codifica señales de vídeo en el medio ex215 de grabación y, en algunos casos, escribe datos obtenidos multiplexando una señal de audio en los datos codificados. El lector/grabador ex218 puede incluir el aparato de decodificación de instantáneas en movimiento o el aparato de codificación de instantáneas en movimiento como se muestra en la realización anterior. En este caso, las señales de vídeo reproducidas se visualizan en el monitor ex219, y pueden reproducirse por otro dispositivo o sistema usando el medio ex215 de grabación en el que se graban los datos multiplexados. También es posible implementar el aparato de decodificación de instantáneas en movimiento en el decodificador ex217 de salón conectado al cable ex203 para una televisión por cable o a la antena ex204 para difusión por satélite y/o terrestre, para visualizar las señales de vídeo en el monitor ex219 de la televisión ex300. El aparato de decodificación de instantáneas en movimiento puede implementarse no en el decodificador de salón sino en la televisión ex300.

La Figura 21 ilustra la televisión ex300 (receptor) que usa el procedimiento de codificación de instantáneas en movimiento y el procedimiento de decodificación de instantáneas en movimiento descrito en la realización anterior. La televisión ex300 incluye: un sintonizador ex301 que obtiene o proporciona datos multiplexados obtenidos multiplexando datos de audio a datos de vídeo, a través de la antena ex204 o el cable ex203, etc. que recibe una difusión; una unidad ex302 de modulación/demodulación que demodula los datos multiplexados recibidos o modula datos en datos multiplexados a suministrar al exterior; y una unidad ex303 de multiplexación/demultiplexación que demultiplexa los datos multiplexados modulados en datos de vídeo y datos de audio, o multiplexa datos de vídeo y datos de audio codificados por una unidad ex306 de procesamiento de señal en datos.

La televisión ex300 incluye adicionalmente: una unidad ex306 de procesamiento de señales que incluye una unidad ex304 de procesamiento de señales de audio y una unidad ex305 de procesamiento de señales de vídeo que decodifican datos de audio y datos de vídeo y codifican datos de audio y datos de vídeo, respectivamente (que funciona como el aparato de codificación de imagen y el aparato de decodificación de imagen de acuerdo con los aspectos de la presente invención); y una unidad ex309 de salida que incluye un altavoz ex307 que proporciona la señal de audio decodificada, y una unidad ex308 de visualización que visualiza la señal de vídeo decodificada, tal como un visualizador. Adicionalmente, la televisión ex300 incluye una unidad ex317 de interfaz que incluye una unidad ex312 de entrada de operación que recibe una entrada de una operación de usuario. Adicionalmente, la televisión ex300 incluye una unidad ex310 de control que controla en general cada elemento constituyente de la televisión ex300, y una unidad ex311 de circuito de fuente de alimentación que suministra potencia a cada uno de los elementos. Además de la unidad ex312 de entrada de operación, la unidad ex317 de interfaz puede incluir: un puente ex313 que se conecta a un dispositivo externo, tal como el lector/grabador ex218; una unidad ex314 de ranura para habilitar la conexión del medio ex216 de grabación, tal como una tarjeta de SD; un controlador ex315 para conectarse a un medio de grabación externo, tal como un disco duro; y un módem ex316 para conectarse a una red de telefonía. En este punto, el medio ex216 de grabación puede grabar eléctricamente información usando un elemento de memoria de semiconductores no volátil/volátil para almacenamiento. Los elementos constituyentes de la televisión ex300 se conectan entre sí a través de un bus síncrono.

En primer lugar, se describirá la configuración en la que la televisión ex300 decodifica datos multiplexados obtenidos desde el exterior a través de la antena ex204 y otros y reproduce los datos decodificados. En la televisión ex300, después de la operación de un usuario a través de un controlador ex220 remoto y otros, la unidad ex303 de multiplexación/demultiplexación demultiplexa los datos multiplexados demodulados por la unidad ex302 de modulación/demodulación, bajo el control de la unidad ex310 de control que incluye una CPU. Adicionalmente, la unidad ex304 de procesamiento de señales de audio decodifica los datos de audio demultiplexados, y la unidad ex305 de procesamiento de señales de vídeo decodifica los datos de vídeo demultiplexados, usando el procedimiento de decodificación descrito en la realización anterior, en la televisión ex300. La unidad ex309 de salida proporciona la señal de vídeo decodificada y la señal de audio al exterior, respectivamente. Cuando la unidad ex309 de salida proporciona la señal de vídeo y la señal de audio, las señales pueden almacenarse temporalmente en las memorias ex318 y ex319 intermedias y otras de modo que las señales se reproducen en sincronización entre sí. Adicionalmente, la televisión ex300 puede leer datos multiplexados no a través de una difusión y otros sino desde el medio ex215 y ex216 de grabación, tal como un disco magnético, un disco óptico y una tarjeta de SD. A continuación, se describirá una configuración en la que la televisión ex300 codifica una señal de audio y una señal de vídeo, y transmite los datos al exterior o escribe los datos en un medio de grabación. En la televisión ex300, tras una operación de usuario a través del controlador ex220 remoto y otros, la unidad ex304 de procesamiento de señales de audio codifica una señal de audio, y la unidad ex305 de procesamiento de señales de vídeo codifica una señal de vídeo, bajo el control de la unidad ex310 de control usando el procedimiento de codificación descrito en la realización anterior. La unidad ex303 de multiplexación/demultiplexación multiplexa la señal de vídeo y la señal de audio codificadas, y proporciona la señal resultante al exterior. Cuando la unidad ex303 de multiplexación/demultiplexación multiplexa la señal de vídeo y la señal de audio, las señales pueden almacenarse temporalmente en las memorias ex320 y ex321 intermedias y otras de modo que las señales se reproducen en sincronización entre sí. En este punto, las memorias ex318, ex319, ex320 y ex321 intermedias pueden ser varias como se ilustra, o al menos una memoria intermedia puede compartirse en la televisión ex300. Adicionalmente, aunque no se ilustra, pueden almacenarse datos en una memoria intermedia de modo que puede evitarse el desbordamiento e infrautilización de sistema entre la unidad ex302 de modulación/demodulación y la unidad ex303 de multiplexación/demultiplexación, por ejemplo.

Adicionalmente, la televisión ex300 puede incluir una configuración para recibir una entrada de AV desde un micrófono o una cámara distinta de la configuración para obtener datos de audio y de vídeo desde una difusión o de un medio de grabación, y puede codificar los datos obtenidos. Aunque la televisión ex300 puede codificar, multiplexar y proporcionar datos al exterior en la descripción, puede ser capaz de recibir únicamente, decodificar y proporcionar al exterior datos pero no codificar, multiplexar y proporcionar al exterior datos.

Adicionalmente, cuando el lector/grabador ex218 lee o escribe datos multiplexados de o en un medio de grabación, uno de la televisión ex300 y el lector/grabador ex218 puede decodificar o codificar los datos multiplexados, y la televisión ex300 y el lector/grabador ex218 pueden compartir la decodificación o codificación.

Como un ejemplo, la Figura 22 ilustra una configuración de una unidad ex4000 de reproducción/grabación de información cuando se leen o escriben datos de o en un disco óptico. La unidad ex400 de reproducción/grabación de información incluye los elementos ex401, ex402, ex403, ex404, ex405, ex406 y ex407 constituyentes que se describen en lo sucesivo. El cabezal ex401 óptico irradia un punto láser en una superficie de grabación del medio ex215 de grabación que es un disco óptico para escribir información, y detecta luz reflejada desde la superficie de grabación del medio ex215 de grabación para leer la información. La unidad ex402 de grabación de modulación acciona eléctricamente un láser de semiconductores incluido en el cabezal ex401 óptico y modula la luz de láser de acuerdo con datos grabados. La unidad ex403 de demodulación de reproducción amplifica una señal de reproducción obtenida detectando eléctricamente la luz reflejada desde la superficie de grabación usando un fotodetector incluido en el cabezal ex401 óptico, y demodula la señal de reproducción separando un componente de señal grabado en el medio ex215 de grabación para reproducir la información necesaria. La memoria ex404 intermedia mantiene temporalmente la información a grabarse en el medio ex215 de grabación y la información reproducida desde el medio ex215 de grabación. El motor ex405 de disco gira el medio ex215 de grabación. La unidad ex406 de servo control mueve el cabezal ex401 óptico a una pista de información predeterminada mientras controla el accionamiento de rotación del motor ex405 de disco para seguir el punto láser. La unidad ex407 de control de sistema controla en general la unidad ex400 de reproducción/grabación de información. Los procedimientos de lectura y escritura pueden implementarse por la unidad ex407 de control de sistema usando diversa información almacenada en la memoria ex404 intermedia y generando y añadiendo nueva información según sea necesario, y por la unidad ex402 de grabación de modulación, la unidad ex403 de demodulación de reproducción y la unidad ex406 de servo control que graban y reproducen información a través del cabezal ex401 óptico mientras se operan de una manera coordinada. La unidad ex407 de control de sistema incluye, por ejemplo, un microprocesador y ejecuta procesamiento provocando que un ordenador ejecute un programa para lectura y escritura.

Aunque el cabezal ex401 óptico irradia un punto láser en la descripción, puede realizar grabación de alta densidad usando luz de campo cercano.

La Figura 23 ilustra el medio ex215 de grabación que es el disco óptico. En la superficie de grabación del medio ex215 de grabación, se forman surcos de guía en espiral, y una pista ex230 de información graba, con antelación, información de dirección que indica una posición absoluta en el disco de acuerdo con el cambio en una forma de los surcos de guía. La información de dirección incluye información para determinar posiciones de bloques ex231 de grabación que son una unidad para grabar datos. Reproducir la pista ex230 de información y leer la información de dirección en un aparato que graba y reproduce datos puede conducir a la determinación de las posiciones de los bloques de grabación. Adicionalmente, el medio ex215 de grabación incluye un área ex233 de grabación de datos, un área ex232 de circunferencia interior y un área ex234 de circunferencia exterior. El área ex233 de grabación de datos es un área para su uso en la grabación de los datos de usuario. El área ex232 de circunferencia interior y el área ex234 de circunferencia exterior que están en dentro y fuera del área ex233 de grabación de datos, respectivamente, son para uso específico excepto para la grabación de los datos de usuario. La unidad 400 de reproducción/grabación de información lee y escribe datos de audio codificados, datos de vídeo codificados o datos multiplexados obtenidos multiplexando los datos de audio y vídeo codificados, desde y en el área ex233 de grabación de datos del medio ex215 de grabación.

Aunque se describe un disco óptico que tiene una capa, tal como un DVD y un BD, como un ejemplo en la descripción, el disco óptico no se limita a esto, y puede ser un disco óptico que tiene una estructura de múltiples capas y capaz de grabarse en una parte distinta de la superficie. Adicionalmente, el disco óptico puede tener una estructura para grabación/reproducción multidimensional, tal como grabación de información usando luz de colores con diferentes longitudes de onda en la misma porción del disco óptico y para grabar información que tiene diferentes capas desde diferentes ángulos.

Adicionalmente, un automóvil ex210 que tiene una antena ex205 puede recibir datos desde el satélite ex202 y otros, y reproducir vídeo en un dispositivo de visualización tal como un sistema de navegación de automóvil ex211 establecido en el automóvil ex210, en el sistema ex200 de difusión digital. En este punto, una configuración del sistema de navegación de automóvil ex211 será una configuración, por ejemplo, que incluye una unidad de recepción de GPS a partir de la configuración ilustrada en la Figura 21. Lo mismo se cumplirá para la configuración del ordenador ex111, el teléfono ex114 celular y otros.

La Figura 24A ilustra el teléfono ex114 celular que usa el procedimiento de codificación de instantáneas en movimiento y el procedimiento de decodificación de instantáneas en movimiento descrito en la realización anterior. El teléfono ex114 celular incluye: una antena ex350 de transmisión y recepción de ondas de radio a través de la estación ex110 base; una unidad ex365 de cámara capaz de capturar imágenes en movimiento y fijas; y una unidad ex358 de visualización tal como una pantalla de cristal líquido para visualizar datos tales como vídeo decodificado capturado por la unidad ex365 de cámara o recibido por la antena ex350. El teléfono ex114 celular incluye adicionalmente: una unidad de cuerpo principal que incluye una unidad ex366 de teclas de operación; una unidad ex357 de salida de audio tal como un altavoz para la salida de audio; una unidad ex356 de entrada de audio tal como un micrófono para la entrada de audio; una unidad ex367 de memoria de almacenamiento de instantáneas de vídeo o fijas capturadas, audio grabado, datos codificados o decodificados del vídeo recibido, las instantánea fijas, correos electrónicos u otros; y una unidad ex364 de ranura que es una unidad de interfaz para un medio de grabación que almacena datos de la misma manera que la unidad ex367 de memoria.

A continuación, se describirá un ejemplo de una configuración del teléfono ex114 celular con referencia a la Figura 24B. En el teléfono ex114 celular, una unidad ex360 de control principal diseñada para controlar en general cada unidad del cuerpo principal que incluye la unidad ex358 de visualización así como la unidad ex366 de teclas de operación se conecta mutuamente, a través de un bus ex370 síncrono, a una unidad ex361 de circuito de fuente de alimentación, una unidad ex362 de control de entrada de operación, una unidad ex355 de procesamiento de señales de vídeo, una unidad ex363 de interfaz de cámara, una unidad ex359 de control de pantalla de cristal líquido (LCD), una unidad ex352 de modulación/demodulación, una unidad ex353 de multiplexación/demultiplexación, una unidad ex354 de procesamiento de señales de audio, la unidad ex364 de ranura y la unidad ex367 de memoria.

Cuando se activa una tecla de fin de llamada o una tecla de alimentación mediante una operación de un usuario, la unidad ex361 de circuito de fuente de alimentación suministra a las unidades respectivas con alimentación procedente de un paquete de batería para activar el teléfono ex114 celular.

En el teléfono ex114 celular, la unidad ex354 de procesamiento de señales de audio convierte las señales de audio recogidas por la unidad ex356 de entrada de audio en modo de conversación por voz en señales de audio digital bajo el control de la unidad ex360 de control principal que incluye una CPU, ROM y RAM. A continuación, la unidad ex352 de modulación/demodulación realiza un procesamiento de espectro ensanchado sobre las señales de audio digital, y la unidad ex351 de transmisión y recepción realiza una conversión de digital a analógico y una conversión en frecuencia en los datos, para transmitir los datos resultantes a través de la antena ex350. Asimismo, en el teléfono ex114 celular, la unidad ex351 de transmisión y recepción amplifica los datos recibidos por la antena ex350 en modo de conversación por voz y realiza la conversión en frecuencia y la conversión de digital a analógico en los datos. A continuación, la unidad ex352 de modulación/demodulación realiza un procesamiento de espectro ensanchado inverso en los datos, y la unidad ex354 de procesamiento de señales de audio los convierte en señales de audio analógico, para emitir las mismas a través de la unidad ex357 de salida de audio.

Además, cuando se transmite un correo electrónico en modo de comunicación de datos, datos de texto del correo electrónico introducido al operar la unidad ex366 de teclas de operación y otros del cuerpo principal se envían al exterior a la unidad ex360 de control principal a través de la unidad ex362 de control de entrada de operación. La unidad ex360 de control principal provoca que la unidad ex352 de modulación/demodulación realice procesamiento de espectro ensanchado en los datos de texto, y la unidad ex351 de transmisión y recepción realiza la conversión de digital a analógico y la conversión de frecuencia en los datos resultantes para transmitir los datos a la estación ex110 base a través de la antena ex350. Cuando se recibe un correo electrónico, un procesamiento que es aproximadamente inverso al procesamiento de transmisión de un correo electrónico se realiza en los datos recibidos, y los datos resultantes se proporcionan a la unidad ex358 de visualización.

Cuando vídeo, imágenes fijas o vídeo y audio en modo de comunicación de datos se transmite o transmiten, la unidad ex355 de procesamiento de señales de vídeo comprime y codifica señales de vídeo suministradas desde la unidad ex365 de cámara usando el procedimiento de codificación de instantáneas en movimiento mostrado en la realización anterior (es decir, funciona como el aparato de codificación de imagen de acuerdo con el aspecto de la presente invención), y transmite los datos de vídeo codificados a la unidad ex353 de multiplexación/demultiplexación. En contraposición, durante cuando la unidad ex365 de cámara captura vídeo, imágenes fijas y otros, la unidad ex354 de procesamiento de señales de audio codifica las señales de audio recogidas por la unidad ex356 de entrada de audio y transmite los datos de audio codificados a la unidad ex353 de multiplexación/demultiplexación.

La unidad ex353 de multiplexación/demultiplexación multiplexa los datos de vídeo codificados suministrados desde la unidad ex355 de procesamiento de señales de vídeo y los datos de audio codificados suministrados desde la unidad ex354 de procesamiento de señales de audio, usando un procedimiento predeterminado. A continuación, la unidad ex352 de modulación/demodulación (unidad de circuito de modulación/demodulación) realiza un procesamiento de espectro ensanchado en los datos multiplexados, y la unidad ex351 de transmisión y recepción realiza una conversión de digital a analógico y una conversión en frecuencia en los datos para transmitir los datos resultantes a través de la antena ex350.

Cuando se reciben datos de un archivo de vídeo que está vinculado a una página web y otros en modo de comunicación de datos o cuando se recibe un correo electrónico con vídeo y/o audio adjunto, para decodificar los datos multiplexados recibidos a través de la antena ex350, la unidad ex353 de multiplexación/demultiplexación demultiplexa los datos multiplexados en un flujo de bits de datos de vídeo y un flujo de bits de datos de audio, y suministra a la unidad ex355 de procesamiento de señales de vídeo los datos de vídeo codificados y la unidad ex354 de procesamiento de señales de audio con los datos de audio codificados, a través del bus ex370 síncrono. La unidad ex355 de procesamiento de señales de vídeo decodifica la señal de vídeo usando un procedimiento de decodificación de instantáneas en movimiento que corresponde al procedimiento de codificación de instantáneas en movimiento mostrado en la realización anterior (es decir, funciona como el aparato de decodificación de imagen de acuerdo con el aspecto de la presente invención) y, a continuación, la unidad ex358 de visualización visualiza, por ejemplo, el vídeo e imágenes fijas incluidos en el archivo de vídeo enlazado a la página web a través de la unidad ex359 de control de LCD. Además, la unidad ex354 de procesamiento de señales de audio decodifica la señal de audio, y la unidad ex357 de salida de audio proporciona el audio.

Adicionalmente, de forma similar a la televisión ex300, un terminal tal como el teléfono ex114 celular probablemente tiene 3 tipos de configuraciones de implementación que incluyen no únicamente (i) un terminal de transmisión y recepción que incluye tanto un aparato de codificación y un aparato de decodificación, sino que también (ii) un terminal de transmisión que incluye únicamente un aparato de codificación y (iii) un terminal de recepción que incluye únicamente un aparato de decodificación. Aunque el sistema ex200 de difusión digital recibe y transmite los datos multiplexados obtenidos multiplexando datos de audio a datos de vídeo en la descripción, los datos multiplexados pueden ser datos obtenidos multiplexando no datos de audio sino datos de caracteres relacionados con vídeo en datos de vídeo, y pueden ser no datos multiplexados sino los propios datos de vídeo.

Como tal, el procedimiento de codificación de instantáneas en movimiento y el procedimiento de decodificación de instantáneas en movimiento en la realización anterior pueden usarse en cualquiera de los dispositivos y sistemas descritos. Por lo tanto, pueden obtenerse las ventajas descritas en la realización anterior.

Adicionalmente, la presente invención no se limita a la anterior realización y son posibles diversas modificaciones y revisiones sin alejarse del ámbito de la presente invención.

(Realización 3)

Pueden generarse datos de vídeo conmutando, según sea necesario, entre (i) el procedimiento de codificación de instantáneas en movimiento o el aparato de codificación de instantáneas en movimiento mostrados en cada una de las realizaciones y (ii) un procedimiento de codificación de instantáneas en movimiento o un aparato de codificación de instantáneas en movimiento que se ajustan a una norma diferente, tal como MPEG-2, MPEG4-AVC y VC-1.

En este punto, cuando se genera una pluralidad de datos de vídeo que se ajustan a las diferentes normas y se decodifican a continuación, necesitan seleccionarse los procedimientos de decodificación para ajustarse a las diferentes normas. Sin embargo, ya que no puede detectarse qué norma se ajusta cada uno de la pluralidad de los datos de vídeo a codificar, existe un problema de que no puede seleccionarse un procedimiento de decodificación apropiado.

Para resolver el problema, los datos multiplexados obtenidos multiplexando datos de audio y otros en datos de vídeo tienen una estructura que incluye información de identificación que indica con qué norma se ajustan los datos de vídeo. En lo sucesivo se describirá la estructura específica de los datos multiplexados que incluyen los datos de vídeo generados en el procedimiento de codificación de instantáneas en movimiento y por el aparato de codificación de instantáneas en movimiento mostrados en cada una de las realizaciones. Los datos multiplexados son un flujo digital en el formato de Flujo de Transporte de MPEG2.

La Figura 25 ilustra una estructura de los datos multiplexados. Como se ilustra en la Figura 25, los datos multiplexados pueden obtenerse multiplexando al menos uno de un flujo de vídeo, un flujo de audio, un flujo de gráficos de presentación (PG) y un flujo de gráficos interactivo. El flujo de vídeo representa vídeo primario y vídeo secundario de una película, el flujo de audio (IG) representa una parte de audio primario y una parte de audio secundario a mezclarse con la parte de audio primario, y el flujo de gráficos de presentación representa subtítulos de la película. En este punto, el vídeo primario es vídeo normal a visualizarse en una pantalla y el vídeo secundario es vídeo a visualizarse en una ventana más pequeña en el vídeo primario. Adicionalmente, el flujo de gráficos interactivo representa una pantalla interactiva a generarse disponiendo los componentes de la GUI en una pantalla. El flujo de vídeo se codifica en el procedimiento de codificación de instantáneas en movimiento o por el aparato de codificación de instantáneas en movimiento mostrados en cada una de las realizaciones, o en un procedimiento de codificación de instantáneas en movimiento o por un aparato de codificación de instantáneas en movimiento que se ajustan a una norma convencional, tal como MPEG-2, MPEG4-AVC y VC-1. El flujo de audio se codifica de acuerdo con una norma, tal como Dolby-AC-3, Dolby Digital Plus, MLP, DTS, DTS-HD y PCM lineal.

Cada flujo incluido en los datos multiplexados se identifica por PID. Por ejemplo, se asigna 0x1011 al flujo de vídeo a usarse para vídeo de una película, se asigna 0x1100 a 0x111F a los flujos de audio, se asigna 0x1200 a 0x121F al flujo de gráficos de presentación, se asigna 0x1400 a 0x141F al flujo de gráficos interactivos, se asigna 0x1B00 a 0x1B1F a los flujos de vídeo a usarse para vídeo secundario de la película, y se asigna 0x1A00 a 0x1A1F al flujo de audios a usarse para el audio secundario a mezclarse con el audio principal.

La Figura 26 ilustra esquemáticamente cómo se multiplexan datos. En primer lugar, un flujo ex235 de vídeo compuesto por tramas de vídeo y un flujo ex238 de audio compuesto por tramas de audio se transforman en un flujo ex236 de paquetes de PES y un flujo ex239 de paquetes de PES, y adicionalmente en paquetes ex237 de TS y paquetes ex240 de TS, respectivamente. De manera similar, los datos de un flujo ex241 de gráficos de presentación y los datos de un flujo ex244 de gráficos interactivo se transforman en un flujo ex242 de paquetes de PES y un flujo ex245 de paquetes de PES, y adicionalmente en paquetes ex243 de TS y paquetes ex246 de TS, respectivamente. Estos paquetes de TS se multiplexan en un flujo para obtener datos multiplexados ex247.

La Figura 27 ilustra cómo se almacena un flujo de vídeo en un flujo de paquetes de PES en más detalle. La primera barra en la Figura 27 muestra un flujo de tramas de vídeo en un flujo de vídeo. La segunda barra muestra el flujo de paquetes de PES. Como se indica por las flechas indicadas como yy1, yy2, yy3 y yy4 en la Figura 27, el flujo de vídeo se divide en instantáneas como instantáneas de tipo I, instantáneas de tipo B e instantáneas de tipo P cada una de las cuales es una unidad de presentación de vídeo, las instantáneas se almacenan en una carga útil de cada uno de los paquetes de PES. Cada uno de los paquetes de PES tiene un encabezamiento de PES, y el encabezamiento de PES almacena una Indicación de Tiempo de Presentación (PTS) que indica un tiempo de visualización de la instantánea, y una Indicación de Tiempo de Decodificación (DTS) que indica un tiempo de decodificación de la instantánea.

La Figura 28 ilustra un formato de paquetes de TS a escribir finalmente en los datos multiplexados. Cada uno de los paquetes de TS es un paquete de longitud fija de 188 bytes que incluye un encabezamiento de TS de 4 bytes que tiene información, tal como una PID para identificar un flujo y una carga útil de TS de 184 bytes para almacenar datos. Los paquetes de PES se dividen y se almacenan en las cargas útiles de TS, respectivamente. Cuando se usa un BD ROM, a cada uno de los paquetes de TS se le proporciona un TP_Extra_Header de 4 bytes, resultando por lo tanto en paquetes de origen de 192 bytes. Los paquetes de origen se escriben en los datos multiplexados. El TP_Extra_Header almacena información tal como una Arrival_Time_Stamp (ATS). La ATS muestra un tiempo de inicio de transferencia en el que se ha de transferir cada uno de los paquetes de TS a un filtro de PID. Los paquetes de origen se disponen en los datos multiplexados como se muestra en la parte inferior de la Figura 28. Los números que incrementan desde la cabecera de los datos multiplexados se denominan números de paquete de origen (SPN).

Cada uno de los paquetes de TS incluidos en los datos multiplexados incluye no únicamente flujos de audio, vídeo, subtítulos y otros, sino también una Tabla de Asociación de Programa (PAT), una Tabla de Mapa de Programa (PMT) y una Referencia de Reloj de Programa (PCR). La PAT muestra lo que indica una PID en una PMT usada en los datos multiplexados, y una PID de la propia PAT se registra como cero. La PMT almacena PID de los flujos de vídeo, audio, subtítulos y otros incluidos en los datos multiplexados, e información de atributos sobre los flujos corresponde a los PID. La PMT también tiene diversos descriptores relacionados con los datos multiplexados. Los descriptores tienen información tal como información de control de copia que muestra si se permite o no el copiado de los datos multiplexados. La PCR almacena información de tiempo de STC que se corresponde con una ATS que muestra cuándo se transfiere el paquete de PCR a un decodificador, para conseguir sincronización entre un Reloj de Tiempo de Llegada (ATC) que es el eje de tiempo de las ATS, y un Reloj de Tiempo de Sistema (STC) que es un eje de tiempo de las PTS y DTS.

La Figura 29 ilustra la estructura de datos de la PMT en detalle. Un encabezamiento de PMT se dispone en la parte superior de la PMT. El encabezamiento de la PMT describe la longitud de datos incluidos en la PMT y otros. Una pluralidad de descriptores relacionados con los datos multiplexados se disponen después del encabezamiento de PMT. La información tal como la información de control de copia se describe en los descriptores. Después de los descriptores, se dispone una pluralidad de piezas de la información de flujo relacionados con los flujos incluidos en los datos multiplexados. Cada pieza de la información de flujo incluye descriptores de flujo que cada uno describe información, tal como un tipo de flujo para identificar un códec de compresión de un flujo, una PID de flujo e información de atributo de flujo (tal como una tasa de tramas o una relación de aspecto). Los descriptores de flujo son iguales en número al número de flujos en los datos multiplexados.

Cuando los datos multiplexados se graban en un medio de grabación y otros, se graban juntos con ficheros de información de datos multiplexados.

Cada uno de los ficheros de información de datos multiplexados es información de gestión de los datos multiplexados como se muestra en la Figura 30. Los ficheros de información de datos multiplexados están en una correspondencia uno a uno con los datos multiplexados, y cada uno de los ficheros incluye información de datos multiplexados, información de atributo de flujo y un mapa de entrada.

Como se ilustra en la Figura 30, la información de datos multiplexados incluye una tasa de sistema, un tiempo de inicio de reproducción y un tiempo de fin de reproducción. La tasa de sistema indica la tasa de trasferencia máxima a la que un decodificador objetivo de sistema que se va a describir más adelante transfiere los datos multiplexados a un filtro de PID. Los intervalos de las ATS incluidas en los datos multiplexados se establecen para que no sean superiores a una tasa de sistema. El tiempo de inicio de reproducción indica una PTS en una trama de vídeo en la cabecera de los datos multiplexados. Se añade un intervalo de una trama a una PTS en una trama de vídeo al final de los datos multiplexados, y la PTS se establece al tiempo de fin de reproducción.

Como se muestra en la Figura 31, se registra una pieza de información de atributo en la información de atributo de flujo, para cada PID de cada flujo incluido en los datos multiplexados. Cada pieza de información de atributo tiene diferente información dependiendo de si el correspondiente flujo es un flujo de vídeo, un flujo de audio, un flujo de gráficos de presentación o un flujo de gráficos interactivo. Cada pieza de información de atributo de flujo de vídeo lleva información que incluye qué tipo de códec de compresión se usa para comprimir el flujo de vídeo, y la resolución, relación de aspecto y tasa de tramas de las piezas de datos de instantánea que se incluyen en el flujo de vídeo. Cada pieza de información de atributo de flujo de audio lleva información que incluye qué clase de códec de compresión se usa para comprimir el flujo de audio, cuántos canales se incluyen en el flujo de audio, qué idioma soporta el flujo de audio y cómo de alta es la frecuencia de muestreo. La información de atributo de flujo de vídeo y la información de atributo de flujo de audio se usan para inicialización de un decodificador antes de que el reproductor reproduzca la información.

En esta realización, los datos multiplexados a usarse son de un tipo de flujo incluido en la PMT. Adicionalmente, cuando los datos multiplexados se graban en un medio de grabación, se usa la información de atributo de flujo de vídeo incluida en la información de datos multiplexados. Más específicamente, el procedimiento de codificación de instantáneas en movimiento o el aparato de codificación de instantáneas en movimiento descritos en cada una de las realizaciones incluyen una etapa o una unidad de asignación de información única que indica datos de vídeo generados por el procedimiento de codificación de instantáneas en movimiento o el aparato de codificación de instantáneas en movimiento en cada una de las realizaciones, al tipo de flujo incluido en la PMT o la información de atributo de flujo de vídeo. Con la configuración, los datos de vídeo generados por el procedimiento de codificación de instantáneas en movimiento o el aparato de codificación de instantáneas en movimiento descritos en cada una de las realizaciones pueden distinguirse de datos de vídeo que se ajustan a otra norma.

Adicionalmente, la Figura 32 ilustra etapas del procedimiento de decodificación de instantáneas en movimiento de acuerdo con esta realización. En la etapa exS100, el tipo de flujo incluido en la PMT o la información de atributo de flujo de vídeo incluido en la información de datos multiplexados se obtiene a partir de los datos multiplexados. A continuación, en la etapa exS101, se determina si el tipo de flujo o la información de atributo de flujo de vídeo indica o no que los datos multiplexados se generan por el procedimiento de codificación de instantáneas en movimiento o el aparato de codificación de instantáneas en movimiento en cada una de las realizaciones. Cuando se determina que el tipo de flujo o la información de atributo de flujo de vídeo indica que los datos multiplexados se generan por el procedimiento de codificación de instantáneas en movimiento o el aparato de codificación de instantáneas en movimiento en cada una de las realizaciones, en la etapa exS102, la decodificación se realiza por el procedimiento de decodificación de instantáneas en movimiento en cada una de las realizaciones. Adicionalmente, cuando el tipo de flujo o la información de atributo de flujo de vídeo indican que se ajustan a las normas convencionales, tal como MPEG-2, MPEG4-AVC y VC-1, en la etapa exS103, la decodificación se realiza por un procedimiento de decodificación de instantáneas en movimiento que se ajusta a las normas convencionales.

Como tal, asignar un nuevo valor único al tipo de flujo o la información de atributo de flujo de vídeo habilita la determinación de si el procedimiento de decodificación de instantáneas en movimiento o el aparato de decodificación de instantáneas en movimiento que se describen en cada una de las realizaciones pueden realizar o no decodificación. Incluso cuando se multiplexan datos que se ajustan a una norma diferente, puede seleccionarse un procedimiento o aparato de decodificación apropiado. Por lo tanto, se hace posible decodificar información sin error alguno. Adicionalmente, el procedimiento de codificación de instantáneas en movimiento o aparato, o el procedimiento de decodificación de instantáneas en movimiento o aparato en esta realización pueden usarse en los dispositivos y sistemas descritos anteriormente.

(Realización 4)

Cada uno del procedimiento de codificación de instantáneas en movimiento, el aparato de codificación de instantáneas en movimiento, el procedimiento de decodificación de instantáneas en movimiento y el aparato de decodificación de instantáneas en movimiento en cada una de las realizaciones se consigue habitualmente en forma de un circuito integrado o un Circuito Integrado a Gran Escala (LSI). Como un ejemplo, la Figura 33 ilustra una configuración de un LSI ex500 que se fabrica en un chip. El LSI ex500 incluye los elementos ex501, ex502, ex503, ex504, ex505, ex506, ex507, ex508, y ex509 que se van a describir a continuación, y los elementos se conectan entre sí a través de un bus ex510. La unidad ex505 de circuito de fuente de alimentación se activa suministrando a cada uno de los elementos con potencia cuando se activa la unidad ex505 de circuito de fuente de alimentación.

Por ejemplo, cuando se realiza codificación, el LSI ex500 recibe una señal de AV desde un micrófono ex117, una cámara ex113, y otros a través de una ES ex509 de AV bajo el control de una unidad ex501 de control que incluye una CPU ex502, un controlador ex503 de memoria, un controlador ex504 de flujo, y una unidad ex512 de control de frecuencia de accionamiento. La señal de AV recibida se almacena temporalmente en una memoria externa ex511, tal como una SDRAM. Bajo el control de la unidad ex501 de control, los datos almacenados se segmentan en porciones de datos de acuerdo con la cantidad de procesamiento y velocidad a transmitir a una unidad ex507 de procesamiento de señales. A continuación, la unidad ex507 de procesamiento de señales codifica una señal de audio y/o una señal de vídeo. En este punto, la codificación de la señal de vídeo es la codificación descrita en cada una de las realizaciones. Adicionalmente, la unidad ex507 de procesamiento de señales multiplexa en ocasiones los datos de audio codificados y los datos de vídeo codificados, y una ES ex506 de flujo proporciona los datos multiplexados al exterior. Los datos multiplexados proporcionados se transmiten a la estación ex107 base, o escriben en el medio ex215 de grabación. Cuando se multiplexan conjuntos de datos, los datos deberían almacenarse temporalmente en la memoria ex508 intermedia de modo que los conjuntos de datos se sincronizan entre sí.

Aunque la memoria ex511 es un elemento fuera del LSI ex500, puede incluirse en el LSI ex500. La memoria ex508 intermedia no se limita a una memoria intermedia, sino que puede estar compuesta por memorias intermedias. Adicionalmente, el LSI ex500 puede fabricarse en un chip o una pluralidad de chips.

Adicionalmente, aunque la unidad ex501 de control incluye la CPU ex502, el controlador ex503 de memoria, el controlador ex504 de flujo, la unidad ex512 de control de frecuencia de accionamiento, la configuración de la unidad ex501 de control no se limita a esto. Por ejemplo, la unidad ex507 de procesamiento de señales puede incluir adicionalmente una CPU. La inclusión de otra CPU en la unidad ex507 de procesamiento de señales puede mejorar la velocidad de procesamiento. Adicionalmente, como otro ejemplo, la CPU ex502 puede servir como o ser una parte de la unidad ex507 de procesamiento de señales y, por ejemplo, puede incluir una unidad de procesamiento de señales de audio. En un caso de este tipo, la unidad ex501 de control incluye la unidad ex507 de procesamiento de señales o la CPU ex502 que incluye una parte de la unidad ex507 de procesamiento de señales.

El nombre usado en el presente documento es LSI, pero también puede denominarse CI, sistema LSI, súper LSI o ultra LSI dependiendo del grado de integración.

Además, las maneras para conseguir la integración no se limitan al LSI, y un circuito especial o un procesador de fin general y así sucesivamente también pueden conseguir la integración. El Campo de Matriz de Puertas Programables (FPGA) que puede programarse después de la fabricación de LSI o un procesador reconfigurable que permite la reconfiguración de la conexión o configuración de un LSI puede usarse para el mismo fin. Un dispositivo lógico programable de este tipo puede ejecutar habitualmente el procedimiento de codificación de instantáneas en movimiento y/o el procedimiento de decodificación de instantáneas en movimiento de acuerdo con cualquiera de las realizaciones anteriores, cargando o leyendo de una memoria o similar uno o más programas que se incluyen en software o firmware.

En el futuro, con el avance de la tecnología de semiconductores, una tecnología nueva puede sustituir el LSI. Los bloques funcionales pueden integrarse usando una tecnología de este tipo. La posibilidad es que la presente invención se aplique a biotecnología.

(Realización 5)

Cuando se decodifican datos de vídeo generados en el procedimiento de codificación de instantáneas en movimiento o por el aparato de codificación de instantáneas en movimiento descritos en cada una de las realizaciones, en comparación con cuando se decodifican datos de vídeo que se ajustan a una norma convencional, tal como MPEG-2, MPEG-4 AVC y VC-1, la cantidad de procesamiento probablemente aumenta. Por lo tanto, el LSI ex500 necesita establecerse a una frecuencia de accionamiento más alta que de la CPU ex502 a usarse cuando se decodifican datos de vídeo que se ajustan a la norma convencional. Sin embargo, cuando la frecuencia de accionamiento se establece más alta, existe un problema de que el consumo de potencia aumenta.

Para resolver el problema, el aparato de decodificación de instantáneas en movimiento, tal como la televisión ex300 y el LSI ex500 se configuran para determinar a qué norma se ajustan los datos de vídeo, y conmutar entre las frecuencias de accionamiento de acuerdo con la norma determinada. La Figura 34 ilustra una configuración ex800 en la presente realización. Una unidad ex803 de conmutación de frecuencia de accionamiento establece una frecuencia de accionamiento a una frecuencia de accionamiento superior cuando se generan datos de vídeo mediante el procedimiento de codificación de instantáneas en movimiento o el aparato de codificación de instantáneas en movimiento descritos en cada una de las realizaciones. A continuación, la unidad ex803 de conmutación de frecuencia de accionamiento ordena a una unidad ex801 de procesamiento de decodificación que ejecuta el procedimiento de decodificación de instantáneas en movimiento descrito en cada una de las realizaciones para decodificar los datos de vídeo. Cuando los datos de vídeo se ajustan a la norma convencional, la unidad ex803 de conmutación de frecuencia de accionamiento establece una frecuencia de accionamiento a una frecuencia de accionamiento menor que la de los datos de vídeo generados por el procedimiento de codificación de instantáneas en movimiento o el aparato de codificación de instantáneas en movimiento descritos en cada una de las realizaciones. A continuación, la unidad ex803 de conmutación de frecuencia de accionamiento ordena a la unidad ex802 de procesamiento de decodificación que se ajusta a la norma convencional que decodifique los datos de vídeo.

Más específicamente, la unidad ex803 de conmutación de frecuencia de accionamiento incluye la CPU ex502 y la unidad ex512 de control de frecuencia de accionamiento en la Figura 33. En este punto, cada una de la unidad ex801 de procesamiento de decodificación que ejecuta el procedimiento de decodificación de instantáneas en movimiento descrito en cada una de las realizaciones y la unidad ex802 de procesamiento de decodificación que se ajusta a la norma convencional corresponde a la unidad ex507 de procesamiento de señales en la Figura 33. La c Pu ex502 determina a qué norma se ajustan los datos de vídeo. A continuación, la unidad ex512 de control de frecuencia de accionamiento determina una frecuencia de accionamiento basándose en una señal desde la CPU ex502. Adicionalmente, la unidad ex507 de procesamiento de señales decodifica los datos de vídeo a base de la señal desde la CPU ex502. Por ejemplo, la información de identificación descrita en la realización 3 se usa probablemente para identificar los datos de vídeo. La información de identificación no se limita a la descrita en la realización 3 sino que puede ser cualquier información siempre que la información indique a qué norma se ajustan los datos de vídeo. Por ejemplo, cuando a qué norma se ajustan los datos de vídeo puede determinarse a base de una señal externa para determinar que los datos de vídeo se usan para una televisión o un disco, etc., la determinación puede realizarse a base de una señal externa de este tipo. Adicionalmente, la CPU ex502 selecciona una frecuencia de accionamiento a base de, por ejemplo, una tabla de correspondencia en la que las normas de los datos de vídeo se asocian con las frecuencias de accionamiento como se muestra en la Figura 36. La frecuencia de accionamiento puede seleccionarse almacenando la tabla de consulta en la memoria ex508 intermedia y en una memoria interna de un LSI, y con referencia a la tabla de consulta por la CPU ex502.

La Figura 35 ilustra etapas de ejecución de un procedimiento en la presente realización. En primer lugar, en la etapa exS200, la unidad ex507 de procesamiento de señales obtiene información de identificación desde los datos multiplexados. A continuación, en la etapa exS201, la CPU ex502 determina si los datos de vídeo se generan o no mediante el procedimiento de codificación y el aparato de codificación descritos en cada una de las realizaciones, a base de la información de identificación. Cuando los datos de vídeo se generan por el procedimiento de codificación de instantáneas en movimiento y el aparato de codificación de instantáneas en movimiento descritos en cada una de las realizaciones, en la etapa exS202, la CPU ex502 transmite una señal para establecer la frecuencia de accionamiento a una frecuencia de accionamiento más alta a la unidad ex512 de control de frecuencia de accionamiento. A continuación, la unidad ex512 de control de frecuencia de accionamiento establece la frecuencia de accionamiento a la frecuencia de accionamiento más alta. Por otra parte, cuando la información de identificación indica que los datos de vídeo se ajustan a la norma convencional, tal como MPEG-2, AVC de MPEG-4 y VC-1, en la etapa exS203, la CPU ex502 transmite una señal para establecer la frecuencia de accionamiento a una frecuencia de accionamiento más baja a la unidad ex512 de control de frecuencia de accionamiento. A continuación, la unidad ex512 de control de frecuencia de accionamiento establece la frecuencia de accionamiento a la frecuencia de accionamiento más baja que la del caso en el que los datos de vídeo se generan por el procedimiento de codificación de instantáneas en movimiento y el aparato de codificación de instantáneas en movimiento descritos en cada una de las realizaciones.

Adicionalmente, junto con la conmutación de las frecuencias de accionamiento, el efecto de conservación de potencia puede mejorarse cambiando la tensión a aplicar al LSI ex500 o a un aparato que incluye el LSI ex500. Por ejemplo, cuando la frecuencia de accionamiento se establece más baja, la tensión a aplicar al LSI ex500 o al aparato que incluye el LSI ex500 probablemente se establece a una tensión inferior que en el caso en el que la frecuencia de accionamiento se establece más alta.

Adicionalmente, cuando la cantidad de procesamiento para decodificación es mayor, la frecuencia de accionamiento puede establecerse más alta, y cuando la cantidad de procesamiento para decodificación es menor, la frecuencia de accionamiento puede establecerse más baja que el procedimiento para establecer la frecuencia de accionamiento. Por lo tanto, el procedimiento de establecimiento no se limita a los anteriormente descritos. Por ejemplo, cuando la cantidad de procesamiento para decodificar datos de vídeo que se ajustan a MPEG-4 AVC es mayor que la cantidad de procesamiento para decodificar datos de vídeo generados por el procedimiento de codificación de instantáneas en movimiento y el aparato de codificación de instantáneas en movimiento descritos en cada una de las realizaciones, la frecuencia de accionamiento se establece probablemente en orden inverso al establecimiento descrito anteriormente.

Adicionalmente, el procedimiento para establecer la frecuencia de accionamiento no se limita al procedimiento para establecer la frecuencia de accionamiento más baja. Por ejemplo, cuando la información de identificación indica que los datos de vídeo se generan por el procedimiento de codificación de instantáneas en movimiento y el aparato de codificación de instantáneas en movimiento descritos en cada una de las realizaciones, la tensión a aplicarse al LSI ex500 o al aparato que incluye el LSI ex500 se establece probablemente más alta. Cuando la información de identificación indica que los datos de vídeo se ajustan a la norma convencional, tal como MPEG-2, MPEG-4 AVC y VC-1, la tensión a aplicarse al LSI ex500 o al aparato que incluye el LSI ex500 probablemente se establece más baja. Como otro ejemplo, cuando la información de identificación indica que los datos de vídeo se generan por el procedimiento de codificación de instantáneas en movimiento y el aparato de codificación de instantáneas en movimiento descritos en cada una de las realizaciones, el accionamiento de la CPU ex502 probablemente no tiene que suspenderse. Cuando la información de identificación indica que los datos de vídeo se ajustan a la norma convencional, tal como MPEG-2, MPEG-4 AVC, y VC-1, el accionamiento de la CPU ex502 probablemente se suspende en un momento dado puesto que la CPU ex502 tiene capacidad de procesamiento adicional. Incluso cuando la información de identificación indica que los datos de vídeo se generan por el procedimiento de codificación de instantáneas en movimiento y el aparato de codificación de instantáneas en movimiento descritos en cada una de las realizaciones, en el caso en el que la CPU ex502 tiene capacidad de procesamiento adicional, el accionamiento de la CPU ex502 probablemente se suspende en un momento dado. En un caso de este tipo, el tiempo de suspensión probablemente se establece más corto que en el caso cuando la información de identificación indica que los datos de vídeo se ajustan a la norma convencional, tal como MPEG-2, MPEG-4 AVC, y VC-1.

Por consiguiente, el efecto de conservación de potencia puede mejorarse conmutando entre las frecuencias de accionamiento de acuerdo con la norma a la que se ajustan los datos de vídeo. Adicionalmente, cuando el LSI ex500 o el aparato que incluye el LSI ex500 se acciona usando una batería, la duración de la batería puede extenderse con el efecto de conservación de potencia.

(Realización 6)

Existen casos en los que una pluralidad de datos de vídeo que se ajustan a diferentes normas se proporcionan a los dispositivos y sistemas, tales como una televisión y un teléfono celular. Para habilitar la decodificación de la pluralidad de datos de vídeo que se ajustan a las diferentes normas, la unidad ex507 de procesamiento de señales del LSI ex500 necesita ajustarse a las diferentes normas. Sin embargo, los problemas de aumento en la escala del circuito del LSI ex500 y el aumento en el coste surgen con el uso individual de las unidades ex507 de procesamiento de señal que se ajustan a las respectivas normas.

Para resolver el problema, lo que se concibe es una configuración en la que la unidad de procesamiento de decodificación de implementación del procedimiento de decodificación de instantáneas en movimiento descrito en cada una de las realizaciones y la unidad de procesamiento de decodificación que se ajusta a la norma convencional, tal como MPEG-2, MPEG-4 AVC y VC-1, se comparten parcialmente. Ex900 en la Figura 37A muestra un ejemplo de la configuración. Por ejemplo, el procedimiento de decodificación de instantáneas en movimiento descrito en cada una de las realizaciones y el procedimiento de decodificación de instantáneas en movimiento que se ajusta a MPEG-4 AVC tienen, parcialmente en común, los detalles de procesamiento, tal como codificación por entropía, cuantificación inversa, filtrado de desbloqueo y predicción de movimiento compensado. Los detalles de procesamiento a compartirse probablemente incluyen el uso de una unidad ex902 de procesamiento de decodificación que se ajusta a MPEG-4 AVC. En contraposición, una unidad ex901 de procesamiento de decodificación especializada probablemente se usa para otro procesamiento único para un aspecto de la presente invención. Ya que el aspecto de la presente invención se caracteriza por la extracción de datos codificados desde una memoria intermedia en particular, por ejemplo, la unidad ex901 de procesamiento de decodificación especializada se usa para esta extracción de datos codificados. De otra manera, la unidad de procesamiento de decodificación se comparte probablemente para uno de la decodificación por entropía, cuantificación inversa, filtrado de desbloqueo y compensación de movimiento, o todo el procesamiento. La unidad de procesamiento de decodificación de implementación del procedimiento de decodificación de instantáneas en movimiento descrito en cada una de las realizaciones puede compartirse para que se comparta el procesamiento, y puede usarse una unidad de procesamiento de decodificación especializada de procesamiento única para el de MPEG-4 AVC.

Adicionalmente, ex1000 en la Figura 37B muestra otro ejemplo en el que el procesamiento se comparte parcialmente. Este ejemplo usa una configuración que incluye una unidad ex1001 de procesamiento de decodificación especializada que soporta el procesamiento único de un aspecto de la presente invención, una unidad ex1002 de procesamiento de decodificación especializada que soporta el procesamiento único de otra norma convencional y una unidad ex1003 de procesamiento de decodificación que soporta procesamiento a compartirse entre el procedimiento de decodificación de instantáneas en movimiento de acuerdo con el aspecto de la presente invención y el procedimiento de decodificación de instantáneas en movimiento convencional. En este punto, las unidades ex1001 y ex1002 de procesamiento de decodificación especializadas no están necesariamente especializadas para el procesamiento de acuerdo con el aspecto de la presente invención y el procesamiento de la norma convencional, respectivamente, y pueden ser las capaces de implementar procesamiento general. Adicionalmente, la configuración de la presente realización puede implementarse por el LSI ex500.

En este sentido, la reducción de la escala del circuito de un LSI y la reducción del coste son posibles compartiendo la unidad de procesamiento de decodificación para el procesamiento a compartirse entre el procedimiento de decodificación de instantáneas en movimiento de acuerdo con el aspecto de la presente invención y el procedimiento de decodificación de instantáneas en movimiento que se ajustan a la norma convencional.

rAplicabilidad industrial!

La presente invención es aplicable a procedimientos de codificación de imagen, procedimientos de decodificación de imagen, aparatos de codificación de imagen y aparatos de decodificación de imagen. La presente invención puede usarse para dispositivos de visualización de información y dispositivos de formación de imágenes con alta resolución que incluyen aparatos de codificación de imagen, tales como televisiones, grabadores de vídeo digital, sistemas de navegación de automóvil, teléfonos celulares, cámaras digitales y cámaras de vídeo digitales.

[Lista de signos de referencia!

100, 403 Codificador

101 Señal de imagen de entrada

110 Restador

111 Señal de error de predicción

120 Unidad de transformación

121 Señal de salida de transformación

130 Unidad de cuantificación

131, 231 Coeficiente de cuantificación

140, 240 Unidad de cuantificación inversa

141,241 Señal de salida de transformación decodificada

150, 250 Unidad de transformación inversa

151,251 Señal de entrada de transformación decodificada

160, 260 Sumador

161,261 Señal decodificada

170, 270 Memoria

180, 280 Unidad de predicción

181, 281 Señal de predicción

190 Codificador por entropía

Señal codificada

, 303, 505 Decodificador

Decodificador por entropía

Procedimiento de predicción

Aparato de decodificación de imagen

CPB

, 402 Unidad de determinación de punto de tiempo de extracción

, 507 DPB

Unidad de evaluación de unidad de extracción

, 412 Unidad de determinación de punto de tiempo de extracción de unidad de acceso Unidad de evaluación de modo

, 414, 506 Unidad de determinación de punto de tiempo de extracción de unidad de decodificación Unidad de transmisión de punto de tiempo de extracción

Aparato de codificación de imagen

Unidad de determinación de unidad de extracción

Unidad de determinación de modo

STD

Demultiplexor TS

TB MB EB

Claims (5)

REIVINDICACIONES

1. Un procedimiento de codificación de codificación de una o más unidades que son incluidas en una instantánea, comprendiendo el procedimiento de codificación:

generar una primera bandera que indica si un tiempo de eliminación de datos codificados de una memoria intermedia por un decodificador hipotético de referencia es establecido por unidad o por instantánea, siendo la memoria intermedia para almacenar los datos codificados, generándose los datos codificados codificando la unidad; generar una segunda bandera que indica si un intervalo entre tiempos de eliminación de las unidades es constante o arbitrario cuando el tiempo de eliminación es establecido por unidad;

generar información de intervalo común cuando la segunda bandera indica que el intervalo es constante, indicando la información de intervalo común el intervalo de tiempo constante entre los tiempos de eliminación de las unidades, generar información de intervalo variable cuando la segunda bandera indica que el intervalo es arbitrario, y generar un flujo de bits codificado que incluye los datos codificados y la primera bandera,

en el que el flujo de bits codificado incluye la segunda bandera cuando la primera bandera indica que el tiempo de eliminación es establecido por unidad,

en el que la primera bandera, la segunda bandera y la información de intervalo común están incluidas en información de control por grupo de instantáneas que es incluida en el flujo de bits codificado y proporcionada por grupo de instantáneas, y

la información de intervalo variable es incluida en información de control por instantánea que es incluida en el flujo de bits y proporcionada por instantánea.

2. Un procedimiento de decodificación de decodificación de datos codificados por unidad incluidos en una o más unidades que son incluidas en una instantánea, comprendiendo el procedimiento de decodificación:

obtener, a partir de un flujo de bits codificado que incluye los datos codificados, una primera bandera que indica si un tiempo de eliminación de los datos codificados desde una memoria intermedia es establecido por unidad o por instantánea, siendo la memoria intermedia para almacenar los datos codificados, generándose los datos codificados codificando la unidad;

obtener, a partir del flujo de bits codificado, una segunda bandera que indica si un intervalo entre tiempos de eliminación de las unidades es constante o arbitrario cuando el tiempo de eliminación es establecido por unidad; obtener, a partir del flujo de bits codificado, información de intervalo común cuando la segunda bandera indica que el intervalo es constante, indicando la información de intervalo común el intervalo de tiempo constante entre los tiempos de eliminación de las unidades,

obtener, a partir del flujo de bits codificado, información de intervalo variable cuando la segunda bandera indica que el intervalo es arbitrario,

eliminar los datos codificados de la memoria intermedia por unidad y en un intervalo constante o arbitrario de acuerdo con la segunda bandera; y

decodificar los datos codificados eliminados,

en el que el flujo de bits codificado incluye la segunda bandera cuando la primera bandera indica que el tiempo de eliminación es establecido por unidad,

en el que la primera bandera, la segunda bandera y la información de intervalo común son incluidas en información de control por grupo de instantáneas que es incluida en el flujo de bits codificado y proporcionada por grupo de instantáneas, y

la información de intervalo variable es incluida en información de control por instantánea que es incluida en el flujo de bits y proporcionada por instantánea.

3. Un aparato de codificación de codificación de una o más unidades que son incluidas en una instantánea, comprendiendo el aparato de codificación:

circuitería de procesamiento; y

almacenamiento accesible desde la circuitería de procesamiento, en el que la circuitería de procesamiento ejecuta:

generar una primera bandera que indica si un tiempo de eliminación de datos codificados de una memoria intermedia por un decodificador hipotético de referencia es establecido por unidad o por instantánea, siendo la memoria intermedia para almacenar los datos codificados, generándose los datos codificados codificando la unidad; generar una segunda bandera que indica si un intervalo entre tiempos de eliminación de las unidades es constante o arbitrario cuando el tiempo de eliminación es establecido por unidad;

generar información de intervalo común cuando la segunda bandera indica que el intervalo es constante, indicando la información de intervalo común el intervalo de tiempo constante entre los tiempos de eliminación de las unidades, generar información de intervalo variable cuando la segunda bandera indica que el intervalo es arbitrario, y

generar un flujo de bits codificado que incluye los datos codificados y la primera bandera,

en el que el flujo de bits codificado incluye la segunda bandera cuando la primera bandera indica que el tiempo de eliminación es establecido por unidad,

en el que la primera bandera, la segunda bandera y la información de intervalo común son incluidas en información de control por grupo de instantáneas que es incluida en el flujo de bits codificado y proporcionada por grupo de instantáneas, y

la información de intervalo variable es incluida en información de control por instantánea que es incluida en el flujo de bits y proporcionada por instantánea.

4. Un aparato de decodificación de decodificación de datos codificados por unidad incluidos en una o más unidades que son incluidas en una instantánea, comprendiendo el aparato de decodificación:

circuitería de procesamiento; y

almacenamiento accesible de la circuitería de procesamiento, en el que la circuitería de procesamiento ejecuta:

obtener, a partir de un flujo de bits codificado que incluye los datos codificados, una primera bandera que indica si un tiempo de eliminación de los datos codificados desde una memoria intermedia es establecido por unidad o por instantánea, siendo la memoria intermedia para almacenar los datos codificados, generándose los datos codificados codificando la unidad;

obtener, a partir del flujo de bits codificado, una segunda bandera que indica si un intervalo entre tiempos de eliminación de las unidades es constante o arbitrario cuando el tiempo de eliminación es establecido por unidad;

obtener, a partir del flujo de bits codificado, información de intervalo común cuando la segunda bandera indica que el intervalo es constante, indicando la información de intervalo común el intervalo de tiempo constante entre los tiempos de eliminación de las unidades, obtener, a partir del flujo de bits codificado, información de intervalo variable cuando la segunda bandera indica que el intervalo es arbitrario,

eliminar los datos codificados de la memoria intermedia por unidad y en un intervalo constante o arbitrario de acuerdo con la segunda bandera; y

decodificar los datos codificados eliminados,

en el que el flujo de bits codificado incluye la segunda bandera cuando la primera bandera indica que el tiempo de eliminación es establecido por unidad,

en el que la primera bandera, la segunda bandera y la información de intervalo común son incluidas en información de control por grupo de instantáneas que es incluida en el flujo de bits codificado y proporcionada por grupo de instantáneas, y

la información de intervalo variable es incluida en información de control por instantánea que es incluida en el flujo de bits y proporcionada por instantánea.

5. Un aparato de codificación y decodificación que comprende:

el aparato de codificación de acuerdo con la reivindicación 3; y

el aparato de decodificación de acuerdo con la reivindicación 4.