ES2967302T3

ES2967302T3 - Aparato de codificación y decodificación de imágenes

Info

Publication number: ES2967302T3
Application number: ES22155779T
Authority: ES
Inventors: Takahiro Nishi; Youji Shibahara; Hisao Sasai; Toshiyasu Sugio
Original assignee: Sun Patent Trust Inc
Current assignee: Sun Patent Trust Inc
Priority date: 2011-01-14
Filing date: 2012-01-12
Publication date: 2024-04-29
Anticipated expiration: 2032-01-12
Also published as: US20240064325A1; EP3131294A1; WO2012096186A1; EP4027644A1; US20170105017A1; EP2665265A1; US10021410B2; JP2018164302A; CN103053160A; CN106454363A; KR20130139223A; RU2013106283A; US20180255314A1; CN107071448A; ES2805202T3; CN107071448B; US20120183059A1; US11044489B2; BR112013004435B1; EP4027644B1

Abstract

Con un método de codificación de imágenes que permite reducir las cargas de procesamiento, cuando las imágenes incluidas en una señal de vídeo se clasifican en capas para pertenecer a sus respectivas capas, una imagen que pertenece a la segunda capa que se ubica en un rango restringido según la la primera capa a la que pertenece una imagen actual a codificar que es una de las imágenes, se denomina imagen de referencia para la imagen actual (S10), y la imagen actual se codifica basándose en la imagen de referencia (S11). (Traducción automática con Google Translate, sin valor legal)

Description

DESCRIPCIÓN

Aparato de codificación y decodificación de imágenes

Campo técnico

La presente invención se refiere a un aparato de codificación de imágenes, un aparato de decodificación de imágenes y un medio no transitorio legible por ordenador para vídeo.

Antecedentes de la técnica

En un procedimiento de codificación de imágenes para codificar vídeo, generalmente se comprime una cantidad de información mediante el uso de redundancia en una dirección espacial y una dirección temporal mantenidas por el vídeo. En general, se usa la conversión en una región de frecuencia como el procedimiento para usar la redundancia en la dirección espacial, y se usa una codificación de predicción entre imágenes (en adelante en la presente memoria denominada como interpredicción) como el procedimiento para usar la redundancia en la dirección temporal. Cuando una imagen se codifica en la codificación de interpredicción, se usa como una imagen de referencia una imagen codificada que precede o sigue a una imagen actual a codificar en el orden de visualización. Se obtiene un vector de movimiento por medio de la realización de una estimación de movimiento en la imagen actual con respecto a la imagen de referencia, y se calcula una diferencia entre los datos de imagen de la imagen actual y una imagen predictiva obtenida por medio de la realización de la compensación de movimiento en base en el vector de movimiento, para de ese modo eliminar la redundancia en la dirección temporal.

Con el estándar de codificación de imágenes denominado como H.264 que ya se ha estandarizado, se pueden distinguir tres tipos de imágenes; es decir, imagen I, imagen B e imagen P se usan para comprimir la cantidad de información. La imagen I es una imagen en la que no se lleva a cabo la codificación de interpredicción, en otras palabras, una imagen en la que se lleva a cabo una predicción intraimagen (en adelante en la presente memoria denominada como intrapredicción). La imagen P es una imagen en la que se lleva a cabo la codificación de interpredicción con referencia a una imagen codificada que precede o sigue a una imagen actual a codificar en el orden de visualización. La imagen B es una imagen en la que se lleva a cabo la codificación de interpredicción con referencia a dos imágenes codificadas que preceden o siguen a la imagen actual en el orden de visualización. Además, la imagen I y la imagen P incluyen un corte de conmutación y similares (corte SI, corte SP) para intercambiar entre flujos y similares.

Con el procedimiento de codificación de imágenes y el procedimiento de decodificación de imágenes que se ajustan al estándar H.264 existente, se requiere que estos procedimientos sean aplicables a todas las relaciones de referencia que se pueden concebir por medio de la definición de las imágenes de estos tipos. Al decodificar una imagen P, por ejemplo, se requiere que se permita hacer referencia a una imagen que sigue en el orden de visualización. Además, cuando están presentes dos vectores de movimiento para la imagen B, las direcciones de estos dos vectores de movimiento pueden ser hacia adelante o hacia atrás. Además, se puede hacer referencia a imágenes que son diferentes para cada bloque de un corte. A fin de corresponder a la flexibilidad de dicha estructura de referencia, se requiere la ejecución de algunos procesos para el procedimiento de codificación de imágenes y el procedimiento de decodificación de imágenes en H.264 (véase, por ejemplo, la Bibliografía No de Patentes 1).

Se pueden encontrar aspectos adicionales relacionados con la codificación de vídeo y las imágenes I en la Bibliografía No de Patentes 2 y la Bibliografía de Patentes 1 y 2.

Listado de citas

Bibliografía No de Patentes

[NPL 1] UIT-TH. 26403/2010

[NPL 2] MATSUOKA SETAL: “Coding Efficiency Improvement with Adaptive GOP Size Selection for H.264/SVC”, INNOVATIVE COMPUTING INFORMATION AND CONTROL,2008. ICICIC '08. 3RD INTERNATIONAL CONFERENCE ON, IEEE, PISCATAWAY, Nueva Jersey, EE. UU., 18 de junio de 2008 (2008-06-18), página 356

Bibliografía de patentes

[PL1] WO 2007/042916A1

[PL2] EP2224745A1

Sumario de la invención

Problema técnico

Sin embargo, con el procedimiento de codificación de imágenes y el procedimiento de decodificación de imágenes descritos en la Bibliografía No de Patente 1 descrita anteriormente, existe el problema de que la carga de procesamiento es alta.

En vista del problema descrito anteriormente, un objeto de la presente invención es proporcionar un aparato de codificación de imágenes y un aparato de decodificación de imágenes para permitir la reducción de la carga de procesamiento.

La invención se expone en el conjunto de reivindicaciones adjunto.

Breve descripción de los dibujos

[FIG. 1] La FIG. 1 es un diagrama de bloques que ilustra un aparato de codificación de imágenes de acuerdo con la Realización 1 de la presente invención;

[FIG. 2] La FIG. 2 es un diagrama que ilustra una estructura de referencia construida por medio de una unidad de interpredicción de acuerdo con la Realización 1 de la presente invención;

[FIG. 3] La FIG. 3 es un ejemplo de un procedimiento de gestión de memoria en el caso de que se elimine una imagen de referencia necesaria;

[FIG. 4] La FIG. 4 es un diagrama que ilustra un ejemplo del procedimiento de gestión de memoria cuando se impone una restricción en el orden de codificación de imágenes;

[FIG. 5] La FIG. 5 es un diagrama que ilustra el procedimiento de gestión de memoria llevado a cabo por una unidad de control de memoria de acuerdo con la Realización 1 de la presente invención;

[FIG. 6] La FIG. 6 es un diagrama de flujo que ilustra procesos llevados a cabo por un aparato de codificación de imágenes de acuerdo con la Realización 1 de la presente invención;

[FIG. 7] La FIG. 7 es un diagrama de flujo que ilustra procesos que usan un marcador, llevados a cabo por el aparato de codificación de imágenes de acuerdo con la Realización 1 de la presente invención;

[FIG. 8] La FIG. 8 es un diagrama de flujo que ilustra procesos específicos llevados a cabo por el aparato de codificación de imágenes de acuerdo con la Realización 1 de la presente invención;

[FIG. 9] La FIG. 9 es un diagrama de bloques que ilustra un aparato de decodificación de imágenes de acuerdo con la Realización 1 de la presente invención;

[FIG. 10] La FIG. 10 es un diagrama de flujo que ilustra procesos llevados a cabo por un aparato de decodificación de imágenes de acuerdo con la Realización 1 de la presente invención;

[FIG. 11] La FIG. 11 es un diagrama de flujo que ilustra procesos que usan un marcador, llevados a cabo por el aparato de decodificación de imágenes de acuerdo con la Realización 1 de la presente invención;

[FIG. 12] La FIG. 12 es un diagrama de flujo que ilustra un procedimiento de gestión de memoria de acuerdo con la Realización 1 de la presente invención;

[FIG. 13] La FIG. 13 es un diagrama de flujo que ilustra procesos específicos llevados a cabo por el aparato de decodificación de imágenes de acuerdo con la Realización 1 de la presente invención;

[FIG. 14] La FIG. 14 es un diagrama que ilustra una estructura de referencia de acuerdo con un ejemplo de modificación de la Realización 1 de la presente invención;

[FIG. 15] La FIG. 15 es un diagrama que ilustra un ejemplo del procedimiento de gestión de memoria de acuerdo con un ejemplo de modificación de la Realización 1 de la presente invención;

[FIG. 16] La FIG. 16 es un diagrama que ilustra otro ejemplo del procedimiento de gestión de memoria de acuerdo con la Modificación 1 de la realización de la presente invención;

[FIG. 17] La FIG. 17 ilustra una configuración general de un sistema proveedor de contenido para implementar servicios de distribución de contenido;

[FIG. 18] La FIG. 18 es una configuración general de un sistema de radiodifusión digital;

[FIG. 19] La FIG. 19 es un diagrama de bloques que ilustra un ejemplo de una configuración de un televisor;

[FIG. 20] La FIG. 20 es un diagrama de bloques que ilustra un ejemplo de una configuración de una unidad de reproducción/grabación de información que lee y escribe información desde o sobre un medio de grabación que es un disco óptico;

[FIG. 21] La FIG. 21 es un dibujo que muestra un ejemplo de una configuración de un medio de grabación que es un disco óptico;

[FIG. 22A] La FIG. 22A es un ejemplo de un teléfono celular;

[FIG. 22B] La FIG. 22B es un ejemplo de una configuración del teléfono celular;

[FIG. 23] La FIG. 23 ilustra una estructura de los datos multiplexados;

[FIG. 24] La FIG. 24 es un dibujo que ilustra esquemáticamente cómo cada uno de los flujos se multiplexa en datos multiplexados;

[FIG. 25] La FIG. 25 es un dibujo que ilustra con más detalle cómo se almacena un flujo de vídeo en un flujo de paquetes PES;

[fiG. 26] La FIG. 26 es un dibujo que muestra una estructura de paquetes TS y paquetes de origen en los datos multiplexados;

[FIG. 27] La FIG. 27 es un dibujo que muestra una estructura de datos de una PMT;

ilustra una estructura interna de información de datos multiplexados;

[FIG. 29] La FIG. 29 es un dibujo que muestra una estructura interna de información de atributos de flujo;

[FIG. 30] La FIG. 30 es un dibujo que muestra etapas para identificar datos de vídeo;

[FIG. 31] La FIG. 31 es un diagrama de bloques que ilustra un ejemplo de una configuración de un circuito integrado para implementar el procedimiento de codificación de vídeo y el procedimiento de decodificación de vídeo de acuerdo con cada una de las Realizaciones;

[FIG. 32] La FIG. 32 es un dibujo que muestra una configuración para intercambiar entre frecuencias de conducción;

[FIG. 33] La FIG. 33 es un dibujo que muestra etapas para identificar datos de vídeo e intercambiar entre frecuencias de conducción;

[FIG. 34] La FIG. 34 es un dibujo que muestra un ejemplo de una tabla de consulta en la que los estándares de datos de vídeo están asociados con las frecuencias de conducción;

[FIG. 35A] La FIG. 35A es un dibujo que muestra un ejemplo de una configuración para compartir un módulo de una unidad de procesamiento de señales; y

[FIG. 35B] La FIG. 35B es un dibujo que muestra otro ejemplo de una configuración para compartir un módulo de una unidad de procesamiento de señales.

Descripción de realizaciones

En primer lugar, antes de describir las realizaciones de acuerdo con la presente invención, se describirán los mismos procesos llevados a cabo al codificar o decodificar una imagen.

Por ejemplo, un aparato de codificación de imágenes y un aparato de decodificación de imágenes construyen un listado de referencia (también denominado como un listado de imágenes de referencia). Más específicamente, estos aparatos, cuando codifican o decodifican un corte tal como un corte B con referencia a otra imagen, construyen un listado de referencia en el que se enumeran las imágenes a las que se hará referencia para el corte (un macrobloque incluido en el corte). En este proceso, es necesario ordenar las imágenes en orden numérico en el listado de referencia (proceso de clasificación en el momento de la inicialización del listado de referencia). Por ejemplo, el aparato de codificación de imágenes y el aparato de decodificación de imágenes, al obtener el corte B, añaden una imagen de referencia a la que se hace referencia para el corte B (una imagen usada tanto para una referencia de corto tiempo como para una referencia de largo plazo). En adelante se aplica lo mismo) al listado de referencia (L0, L1). Aquí, el aparato de codificación de imágenes y el aparato de decodificación de imágenes clasifican las imágenes de referencia en el listado de referencia (L0, L1) en orden descendente (un primer orden joven) de acuerdo con los números de imagen (Pic Num) de las imágenes de referencia.

Además, el aparato de codificación de imágenes y el aparato de decodificación de imágenes hacen que una única memoria lógica (DPB: Memoria intermedia de Imágenes Decodificadas) contenga dicha imagen como una imagen de referencia a la que se hace referencia durante un largo período de tiempo, por ejemplo. Aquí, a fin de evitar que la memoria se sature, es necesario marcar un atributo en cada una de estas imágenes almacenadas en la memoria para gestionar estas imágenes.

Por ejemplo, el aparato de codificación de imágenes y el aparato de decodificación de imágenes marcan un atributo “no usado como referencia” en una imagen que no se usa como una imagen de referencia, tras determinar que es menos probable que se haga referencia a la imagen o que se reciba una orden predeterminada (MMCP: comando de gestión de memoria). Cabe señalar que la orden predeterminada es una orden que especifica que no se hace referencia a una imagen a gestionar. Más específicamente, dicho procedimiento o control de marcado incluye un procedimiento de gestión FIFO (primero en entrar, primero en salir) y un control de memoria adaptativo que usa un comando de control de gestión de memoria.

Aquí, la flexibilidad de la estructura de referencia que es posible gracias a la definición de imagen de H.264 no contribuye directamente a facilitar la implementación del aparato de decodificación de imágenes. Aunque la flexibilidad de la estructura de referencia puede contribuir a mejorar la eficiencia de la codificación por compresión, si la flexibilidad puede contribuir o no a facilitar la implementación del aparato de decodificación de imágenes que reproduce datos codificados (flujo codificado) es otra historia. Por lo tanto, la flexibilidad de la estructura de referencia aumenta la carga de procesamiento del aparato de codificación de imágenes y del aparato de decodificación de imágenes. Por ejemplo, existe el caso en el que la implementación del aparato de decodificación de imágenes se facilita cuando es posible determinar que se imponen condiciones de restricción.

Además, se da el caso en que al menos una flexibilidad excesiva limita los procesos generales. Por ejemplo, cuando el aparato de codificación de imágenes y el aparato de decodificación de imágenes que hacen referencia a un gran número de imágenes de referencia durante un largo período de tiempo gestionan una memoria (por medio de la realización de un procesamiento de marcado) mediante el uso del procedimiento FIFO mencionado anteriormente, hay un caso en el que una imagen necesaria como referencia se elimina de la memoria debido a un tamaño limitado de la memoria. Además, cuando el aparato de codificación de imágenes y el aparato de decodificación de imágenes llevan a cabo el control de memoria adaptativa mediante el uso del comando de gestión de memoria mencionado anteriormente, se requiere un comando (comando de gestión de memoria) cada vez que se lleva a cabo el control.

En vista de lo anterior, el procedimiento de codificación de imágenes y el procedimiento de decodificación de imágenes de acuerdo con una realización de la presente invención se caracterizan por reducir la carga de procesamiento mediante el uso de una estructura de referencia sobre la cual se impone una condición de restricción. Además, el procedimiento de gestión de memoria de acuerdo con una realización de la presente invención se caracteriza por evitar un aumento de la carga de procesamiento, para de ese modo evitar que una imagen necesaria como referencia se borre de una memoria.

A continuación se describirá una realización de acuerdo con la presente invención con referencia a los dibujos. Cabe señalar que cada una de las realizaciones explicadas a continuación describe un ejemplo específico preferente de la presente invención. El valor numérico, la forma, el material, los elementos estructurales, las posiciones de disposición y las formas de conexión de los elementos estructurales, las etapas, el orden de las etapas y similares son ejemplos y no pretenden limitar la presente invención. La presente invención está limitada únicamente por el alcance de las reivindicaciones. De este modo, entre los elementos estructurales en las realizaciones siguientes, los elementos estructurales que no se describen en las reivindicaciones independientes que indican el concepto más amplio de la presente invención no son necesariamente necesarios para resolver el problema de la presente invención, sino que se explican como componentes para una realización más preferente.

Realización 1

La FIG. 1 es un diagrama de bloques que ilustra un aparato de codificación de imágenes de acuerdo con la Realización 1 de la presente invención.

Un aparato de codificación de imágenes 1000 de acuerdo con la presente realización se caracteriza porque se impone una restricción de acuerdo con una estructura de capas de una imagen a la referencia de la imagen en la codificación de interpredicción. El aparato de codificación de imágenes 1000 descrito anteriormente incluye: un sustractor 1101; una unidad de transformación ortogonal 1102; una unidad de cuantificación 1103; una unidad de codificación de entropía 1104; una unidad de cuantificación inversa 1105; una unidad de transformación ortogonal inversa 1106; un sumador 1107; un filtro de desbloqueo 1108; una memoria 1109; una unidad de intrapredicción 1110; una unidad de interpredicción 1111; una unidad de estimación de movimiento 1112; un conmutador 1113; y una unidad de control de memoria 1200.

El sustractor 1101 obtiene una señal de vídeo y una imagen de predicción del conmutador 1113. Posteriormente, el sustractor 1101 resta la imagen de predicción de un bloque actual a codificar incluido en la señal de vídeo, para de ese modo generar una imagen diferencial.

La unidad de transformación ortogonal 1102 lleva a cabo una transformación ortogonal (transformación de frecuencia) tal como una transformación de coseno discreta en la imagen diferencial generada por el sustractor 1101, para de ese modo transformar la imagen diferencial en un bloque de coeficientes que incluye varios coeficientes de frecuencia. La unidad de cuantificación 1103 cuantifica cada uno de los coeficientes de frecuencia incluidos en el bloque de coeficientes, para de ese modo generar un bloque de coeficientes cuantificados.

La unidad de cuantificación inversa 1105 lleva a cabo una cuantificación inversa en el bloque de coeficientes cuantificados por la unidad de cuantificación 1103. La unidad de transformación ortogonal inversa 1106 lleva a cabo una transformación ortogonal inversa (transformación de frecuencia inversa) tal como una transformación de coseno discreta inversa en cada uno de los coeficientes de frecuencia incluidos en el bloque de coeficientes en el que se ha llevado a cabo una cuantificación inversa, para de ese modo generar una imagen diferencial decodificada.

El sumador 1107 obtiene una imagen de predicción del conmutador 1113 y añade la imagen de predicción a la imagen diferencial decodificada generada por la unidad de transformación ortogonal inversa 1106, para de ese modo generar una imagen decodificada local (imagen de reconfiguración).

El filtro de desbloqueo 1108 elimina los efectos de bloqueo de la imagen decodificada local generada por el sumador 1107 y almacena la imagen decodificada local en la memoria 1109. La memoria 1109 es una memoria para almacenar la imagen decodificada local como una imagen de referencia para interpredicción. Cabe señalar que la memoria 1109 se usa como una memoria intermedia de imágenes decodificadas (DPB).

La unidad de intrapredicción 1110 lleva a cabo una intrapredicción en el bloque actual a codificar, mediante el uso de la imagen decodificada local generada por el sumador 1107, para de ese modo generar una imagen de predicción (imagen de intrapredicción).

La unidad de estimación de movimiento 1112 detecta un vector de movimiento para el bloque actual incluido en la señal de vídeo y envía el vector de movimiento detectado a la unidad de interpredicción 1111 y a la unidad de codificación de entropía 1104.

La unidad de interpredicción 1111 hace referencia a la imagen almacenada en la memoria 1109 y usa el vector de movimiento detectado por la unidad de estimación de movimiento 1112, para de ese modo llevar a cabo una compensación de movimiento en el bloque actual. La unidad de interpredicción 1111 lleva a cabo la predicción con compensación de movimiento como se describe anteriormente; es decir, lleva a cabo interpredicción en el bloque actual, para de ese modo generar una imagen de predicción (imagen de interpredicción) del bloque actual.

Además, la unidad de interpredicción 1111 estratifica las imágenes incluidas en la de vídeo. Más específicamente, la unidad de interpredicción 1111 clasifica, en capas, las imágenes incluidas en la señal de vídeo, de forma que cada una de las imágenes pertenezca a una de las capas correspondiente. Cabe señalar que la unidad de interpredicción 1111, por ejemplo, estratifica varias imágenes en la presente realización; sin embargo, cada una de las imágenes a estratificar no se limita a una imagen y se pueden usar otras unidades de imagen tales como un corte.

En tal caso, la unidad de interpredicción 1111 se refiere, como una imagen de referencia para la imagen actual a codificar, a una imagen que pertenece a la segunda capa que está presente dentro de un intervalo que está restringido de acuerdo con la primera capa a la que se encuentra la imagen actual a la que pertenece una de las imágenes. Más específicamente, la unidad de interpredicción 1111 prohíbe hacer referencia a una imagen que pertenece a una capa superior, o en un nivel superior, a la primera capa, y se refiere, como una imagen de referencia, a una imagen que pertenece a la segunda capa ubicada en un intervalo restringido para estar en el mismo nivel o en un nivel inferior que la primera capa.

Además, la unidad de interpredicción 1111 genera un marcador que indica si se impone o no una restricción en la selección de una imagen de referencia a la que se hace referencia en la codificación de la imagen actual a codificar que es una de las imágenes, y envía el marcador a la unidad de codificación de entropía 1104. Por ejemplo, cuando la restricción de referencia basada en la estructura de capas se impone a la imagen actual como se describió anteriormente, la unidad de interpredicción 1111 genera un marcador que indica 1 y envía el marcador a la unidad de codificación de entropía 1104. En otras palabras, en el caso en el que el marcador que indica la adición de una restricción, la unidad de interpredicción 1111 selecciona, como una imagen de referencia para la imagen actual, una imagen que cumple la condición restringida de acuerdo con la primera capa a la que pertenece la imagen actual.

Además, la unidad de interpredicción 1111 genera, para cada una de las imágenes que están estratificadas, información de capa que indica una capa a la que pertenece la imagen, y envía la información de capa a la unidad de codificación de entropía 1104 y a la unidad de control de memoria 1200.

El conmutador 1113, cuando se lleva a cabo una codificación de intrapredicción en el bloque actual a codificar, envía la imagen de predicción (imagen de intrapredicción) generada por la unidad de intrapredicción 1110 al sustractor 1101 y al sumador 1107. Por el contrario, cuando se lleva a cabo codificación de intrapredicción se lleva a cabo en el bloque actual a codificar, el conmutador 1113 envía la imagen de predicción (imagen de interpredicción) generada por la unidad de interpredicción 1111 al sustractor 1101 y al sumador 1107.

La unidad de codificación de entropía 1104 lleva a cabo codificación de entropía (codificación de longitud variable) en: el bloque de coeficientes cuantificados por la unidad de cuantificación 1103; un vector de movimiento detectado por la unidad de estimación de movimiento 1112; y el marcador y la información de capa generadas por la unidad de interpredicción 1111, para de este modo generar un flujo codificado. A través de los procesos descritos anteriormente, el flujo codificado incluye el marcador y la información de capa descrita anteriormente.

La unidad de control de memoria 1200 obtiene, de la unidad de interpredicción 1111, información de capa de cada una de las imágenes, y gestiona la imagen almacenada en la memoria 1109, en base a una capa de la imagen indicada por la información de capa; es decir, en base a una estructura de capas. Más específicamente, la unidad de control de memoria 1200 asigna, como capacidad de capa, una parte de la capacidad de memoria disponible en la memoria 1109, para cada una de las capas. Posteriormente, la unidad de control de memoria 1200 almacena una imagen actual para almacenarla en una región, dentro de la memoria 1109, que está restringida a la capacidad de capa que es una capacidad asignada a la capa a la que pertenece la imagen actual. Cabe señalar que, cuando la región no tiene capacidad restante disponible para almacenar la imagen actual a almacenar, la unidad de control de memoria 1200 puede eliminar, de la región, una imagen existente almacenada más antiguamente entre una o más imágenes existentes almacenadas ya en la región, de forma que se almacene la imagen actual.

Aquí, al asignar una capacidad de capa para cada una de las capas, la unidad de control de memoria 1200 asigna, a una capa de nivel más bajo ubicada en la parte inferior entre las capas, una capacidad de capa mayor que una capacidad de capa asignada a una capa de nivel superior ubicada sobre la capa de nivel más bajo.

Además, la unidad de control de memoria 1200 marca un atributo en una imagen que pertenece a una capa ubicada encima de una capa a la que pertenece la imagen actual a codificar, entre las imágenes almacenadas en la memoria 1109. Más específicamente, la unidad de control de memoria 1200 marca un atributo que indica que la imagen no se usa como referencia.

Lo siguiente describe en detalle una estructura de capas y una estructura de referencia de una imagen, que se construye por medio de la unidad de interpredicción 1111.

La FIG. 2 es un diagrama que ilustra una estructura de capas y una estructura de referencia construida por la unidad de interpredicción 1111. Cabe señalar que, en la FIG. 2, un carácter alfabético y numérico añadido a una imagen indican un tipo de imagen y un orden de visualización, respectivamente, de la imagen. Por ejemplo, I0 indica un tipo de imagen “I” y el orden de visualización de la imagen “0”, y Br2 indica un tipo de imagen “B” y el orden de visualización de la imagen “2”.

La unidad de interpredicción 1111 define una estructura de referencia en base a una estructura de capas construida por medio de la clasificación de varias imágenes incluidas en una señal de vídeo en capas, como se muestra en la FIG. 2. Aquí, la unidad de interpredicción 1111 usa una imagen posicionada en la parte superior en el orden de visualización entre las múltiples imágenes, como una imagen I, y usa imágenes excepto la imagen I en la parte superior, como una imagen B. Además, cuando la unidad de interpredicción 1111 lleva a cabo interpredicción en una imagen que pertenece a una capa, para cada una de las capas plurales, se refiere a una imagen que pertenece al mismo nivel o a un nivel inferior que la capa. Más específicamente, con la estructura de referencia construida por la unidad de interpredicción 1111, se impone una restricción que no permite la referencia a una imagen clasificada en una capa encima o superior a una capa a la que pertenece una imagen actual a codificar (lo que permite la referencia a una imagen en una capa que es igual o una capa inferior a la capa actual).

Por ejemplo, la unidad de interpredicción 1111 se refiere a una imagen I0 que pertenece a una capa 0 y una imagen Br2 que pertenece a una capa 2 cuando se lleva a cabo interpredicción en una imagen B1 que pertenece a una capa 3, como se muestra en la FIG. 2. Además, cuando se lleva a cabo interpredicción en una imagen Bf8 que pertenece a la capa 0 en el nivel más bajo, la unidad de interpredicción 1111 se refiere a la imagen I0 que pertenece a la misma capa 0. Aquí, se puede hacer referencia sólo a las imágenes anteriores en el orden de visualización para la interpredicción de una imagen que pertenece a la capa 0 en el nivel más bajo.

Como se describió anteriormente, con la estructura de referencia de acuerdo con la presente realización, es posible mejorar la eficiencia de compresión de una señal de vídeo porque las imágenes, diferentes de la imagen I, son las imágenes B. En general, una imagen que está codificada con referencia a más imágenes de referencia puede mejorar la eficacia de la compresión más que una imagen que está codificada con referencia a menos imágenes de referencia. Por lo tanto, con la estructura de referencia de acuerdo con la presente realización, es posible mejorar la eficacia de compresión de una señal de vídeo porque las imágenes, diferentes de la imagen I, son las imágenes B.

Además, con la estructura de referencia de acuerdo con la presente realización, una imagen que pertenece a una capa en un nivel superior entre varias capas se codifica con referencia a una imagen que pertenece a la misma capa o una imagen que pertenece a una capa en un nivel inferior. Esto hace que sea más fácil llevar a cabo una reproducción especial tal como una reproducción a doble velocidad en un aparato de reproducción que incluye un aparato de decodificación de imágenes.

Cuando se lleva a cabo una reproducción a alta velocidad, por ejemplo, el aparato de reproducción reproduce sólo las imágenes que pertenecen a la capa 0. Con la estructura de referencia ilustrada en la FIG. 2, el aparato de reproducción reproduce las imágenes I0, Bf8 y Bf16. Las imágenes que pertenecen a las capas 0 y 1 se reproducen cuando se va a reducir la velocidad de reproducción, y las imágenes que pertenecen a las capas 0, 1 y 2 se reproducen cuando se va a reducir aún más la velocidad de reproducción. Como se describió anteriormente, es posible lograr fácilmente una reproducción flexible de alta velocidad definiendo la estructura de referencia de acuerdo con capas.

Más específicamente, cuando el aparato de codificación de imágenes codifica una imagen actual a visualizar que se muestra en reproducción especial con referencia a una imagen, como una imagen de referencia, que pertenece a una capa en un nivel superior a una capa a la que pertenece la imagen actual, el aparato de reproducción necesita decodificar la imagen de referencia a pesar de que la imagen de referencia no se muestra en la reproducción especial. Sin embargo, con el aparato de codificación de imágenes 1000 de acuerdo con la presente realización, está prohibido, para cada una de las imágenes, hacer referencia a una imagen que pertenece a una capa en un nivel superior a una capa a la que pertenece cada una de las imágenes. Por lo tanto, es posible aliviar al aparato de reproducción de la molestia de decodificar una imagen de referencia que no se visualiza en una reproducción especial. Como resultado, de acuerdo con la presente realización, es posible reducir la carga de procesamiento del aparato de decodificación de imágenes incluido en el aparato de reproducción.

Aquí, la unidad de interpredicción 1111 genera un marcador como se describe anteriormente. Más específicamente, la unidad de interpredicción 1111 genera un marcador que determina, con un bit, si una señal de vídeo (flujo) está (i) codificada con una condición de restricción jerárquica para un propósito específico (reproducción especial, por ejemplo) o (ii) un flujo que está codificada sin una condición de restricción. La unidad de codificación de entropía 1104 añade el marcador (1 bit) a la parte superior de una unidad de acceso (unidad o secuencia de acceso aleatorio, por ejemplo) en un flujo codificado, por ejemplo. Esto permite al aparato de reproducción determinar, con el menor número de bits, si un flujo codificado o una imagen codificada tiene o no un fin específico, tal como la reproducción de alta velocidad y el acceso aleatorio. Como resultado, es posible minimizar el efecto de compatibilidad para un flujo codificado que es una señal de vídeo codificada por el estándar H.264 convencional y el aparato de decodificación de imágenes que decodifica el flujo codificado. Además, información que indica la estructura de capas y la estructura de referencia de acuerdo con una finalidad; es decir, la información que indica si se impone o no una restricción se puede añadir a una porción adicional tal como SEI (información de mejora suplementaria) por separado del marcador mencionado anteriormente (1 bit).

Además, la unidad de interpredicción 1111 genera información de capas como se describió anteriormente. Más específicamente, la unidad de interpredicción 1111 genera, para cada imagen, información de capa (información de identificación) para identificar a qué capa pertenece la imagen. La unidad de codificación de entropía 1104, en este momento, añade la información de capa a un encabezado de una imagen correspondiente a la información de capa. Más específicamente, la unidad de interpredicción 1111 asigna la misma información de capa a todos los cortes de una imagen (trama o par de campos). Esto se debe a que no es necesario asignar cada porción (corte) de la imagen a una correspondiente de capas diferentes entre sí en el caso de una reproducción especial tal como reproducción de alta velocidad o acceso aleatorio. A través de los procesos descritos anteriormente, la unidad de codificación de entropía 1104 añade la información de capa a un encabezado de una imagen, tal como un conjunto de parámetros de imagen.

Como resultado, cuando se lleva a cabo la reproducción a alta velocidad del flujo codificado, el aparato de reproducción obtiene la información de capa del encabezado de la imagen y reproduce sólo las imágenes necesarias para la reproducción a alta velocidad.

Además, la unidad de codificación de entropía 1104 puede disponer colectivamente varios elementos de información de capa en la parte superior de un flujo codificado. Más específicamente, la unidad de codificación de entropía 1104 dispone en la parte superior de un flujo codificado, como información de gestión, cada una de la información de capa de varias imágenes incluidas en el flujo codificado, de acuerdo con el orden de codificación o el orden de visualización de las imágenes. El aparato de reproducción puede determinar qué tipo de reproducción de alta velocidad (reproducción especial) se puede llevar a cabo por medio de la lectura de la información de gestión en la parte superior antes de decodificar el flujo codificado.

Además, en el caso de almacenar el flujo codificado en un disco óptico, la unidad de codificación de entropía 1104 puede almacenar, en el disco óptico, información de gestión por separado del flujo codificado. Por medio del almacenamiento de la información de gestión por separado del flujo codificado, es posible que el aparato de reproducción determine qué tipo de reproducción de alta velocidad se puede llevar a cabo, antes de reproducir el flujo codificado.

Cabe señalar que, de acuerdo con la presente realización, una imagen que pertenece a una capa de un nivel alto se codifica con referencia a una imagen que pertenece a una capa del mismo nivel o de un nivel inferior. Sin embargo, una imagen que pertenece a una capa en un nivel predeterminado se puede codificar excepcionalmente con referencia a una imagen que pertenece a una capa en un nivel superior al nivel predeterminado. Como se muestra por medio de flechas punteadas en la FIG. 2, por ejemplo, una imagen que pertenece a una capa en un nivel más bajo se codifica con referencia a una imagen que pertenece a una capa en un nivel superior. Para ser específico, la imagen Bf16 que pertenece a la capa 0 en el nivel más bajo se codifica con referencia a la imagen Br4 que pertenece a la capa 1 en un nivel superior y la imagen Br6 que pertenece a la capa 2 en un nivel superior.

Como se describió anteriormente, una imagen que pertenece a una capa en un nivel predeterminado se refiere a una imagen que pertenece a una capa en un nivel superior, para de ese modo permitir mejorar aún más la eficiencia de compresión de una señal de vídeo. Mientras tanto, dado que se impone una restricción a la reproducción especial, se puede añadir nuevamente al flujo codificado información que indique qué tipo de reproducción especial se puede llevar a cabo. Por ejemplo, se añade información que indica hasta qué capa de imágenes puede hacer referencia una imagen que pertenece a una capa del nivel más bajo. Como se ilustra en la FIG. 2, por ejemplo, la unidad de interpredicción 1111 genera información que indica que se puede hacer referencia a la imagen que pertenece a la capa 2, y la unidad de codificación de entropía 1104 añade la información al flujo codificado. Como resultado, el aparato de reproducción determina, en base a la información, que es posible reproducir imágenes que pertenecen a sus respectivas capas 0, 1 y 2 e imágenes que pertenecen a sus respectivas capas 0, 1,2 y 3. como reproducción especial. La información que indica hasta qué capa de imágenes se puede hacer referencia se puede añadir al encabezado del flujo codificado, o se puede almacenar como información de gestión diferente del flujo codificado.

Cabe señalar que la unidad de interpredicción 1111, al llevar a cabo la interpredicción de una imagen que sigue a una imagen que pertenece a una capa en el nivel más bajo en el orden de visualización, puede prohibir hacer referencia a una imagen que precede a la imagen que pertenece a una capa en el nivel más bajo en el orden de visualización. En otras palabras, la unidad de interpredicción 1111 considera la imagen que pertenece a la capa en el nivel más bajo como una imagen de criterio para establecer una restricción de referencia. Con tal restricción de referencia, es posible garantizar, cuando el aparato de decodificación de imágenes accede aleatoriamente a una imagen que pertenece a la capa en el nivel más bajo, decodificar imágenes posicionadas después de la imagen a la que se accede aleatoriamente. Además, la unidad de interpredicción 1111 puede generar, a una imagen que pertenece a la capa en el nivel más bajo, información que indica si la imagen es o no la imagen de criterio para la restricción de referencia. En este caso, la unidad de codificación de entropía 1104 añade a la imagen información que indica si la imagen es o no la imagen de criterio. De acuerdo con los procesos descritos anteriormente, dado que la imagen de criterio y las imágenes diferentes de la imagen de criterio están presentes juntas en la capa en el nivel más bajo, es posible lograr tanto una mejora de la eficiencia de compresión como un acceso aleatorio a una señal de vídeo.

En este caso, la imagen de criterio puede ser una imagen que no pertenece a la capa en el nivel más bajo, sino a una capa en un nivel inferior a la imagen actual a codificar, por ejemplo. Para ser más específicos, la imagen de criterio es una imagen que pertenece a la segunda capa posicionada en un intervalo restringido de acuerdo con la primera capa a la que pertenece la imagen actual; es decir, un intervalo restringido a ser inferior a la primera capa. Por ejemplo, la imagen de criterio está presente entre la imagen actual y una imagen candidata en el orden de codificación. En este caso, la unidad de interpredicción 1111, al seleccionar una imagen de referencia, prohíbe seleccionar, como la imagen de referencia, la imagen candidata que precede a la imagen actual en el orden de codificación y selecciona una imagen diferente de la imagen candidata como la imagen de referencia. Con esto, es posible seleccionar una imagen apropiada como la imagen de referencia y reducir aún más la carga de procesamiento.

Además, la unidad de interpredicción 1111 puede hacer referencia a una imagen en la capa en el nivel más bajo, al llevar a cabo interpredicción en una imagen en una posición de acceso de acceso aleatorio. Más específicamente, al llevar a cabo interpredicción en una imagen que pertenece a la capa 3 que puede ser la posición de acceso de acceso aleatorio, sólo una imagen que pertenece a la capa 0 se puede denominar imagen de referencia. Esto permite que el aparato de decodificación de imágenes haga referencia directamente, al decodificar una imagen en una posición de acceso aleatorio, a la imagen de referencia en la capa 0 y decodifique la imagen en la posición de acceso sin decodificar una imagen en una capa intermedia; es decir, una capa entre una capa a la que pertenece la imagen en la posición de acceso y la capa 0 en el nivel más bajo. Además, no se requieren datos de codificación adicionales tales como el corte de Intercambio P (SP).

Lo siguiente describe en detalle un procedimiento de gestión de memoria para gestionar la memoria 1109, llevado a cabo por la unidad de control de memoria 1200.

Por ejemplo, cuando un procedimiento de gestión de memoria de acuerdo con el estándar H.264 existente simplemente se aplica a la estructura de referencia ilustrada en la FIG. 2, una imagen de referencia a la que se hace referencia para codificar una imagen actual a codificar se elimina de la memoria 1109, lo cual provoca un caso en el que no se puede hacer referencia a la imagen de referencia en algunos casos.

La FIG. 3 es un ejemplo de un procedimiento de gestión de memoria en el caso de que se elimine una imagen de referencia necesaria.

En primer lugar, la imagen I0 se codifica y decodifica y se almacena como una imagen de referencia I0 en la memoria en el proceso 0 del orden de codificación. Posteriormente, las imágenes de referencia se almacenan secuencialmente en la memoria. La imagen I0, la imagen Bf8, la imagen Br4 y la imagen Br2 se almacenan en la memoria en el tercer proceso en el orden de codificación. A continuación, en el cuarto proceso en el orden de codificación, la imagen Br6 se añade nuevamente a la memoria 1109 y la imagen I0 almacenada más antiguamente en la memoria se elimina de la memoria.

Sin embargo, dado que se hace referencia a la imagen I0 para la codificación de la imagen B1 en el quinto proceso en el orden de codificación, la imagen I0 necesita ser decodificada nuevamente en el quinto proceso. En otras palabras, se requiere que la memoria tenga una capacidad suficientemente grande para almacenar la imagen I0 en la memoria para la codificación de la imagen B1.

De la misma manera que anteriormente, la imagen Br8 se elimina de la memoria en el noveno proceso en el orden de codificación. Sin embargo, dado que se hace referencia a la imagen Bf8 para la codificación de la imagen Br12 en el décimo proceso del orden de codificación, la imagen Bf8 necesita ser decodificada nuevamente en el décimo proceso. En otras palabras, a fin de garantizar que la imagen Bf8 se almacene en la memoria en el décimo proceso en el orden de codificación, se requiere que la memoria tenga una capacidad mayor. Alternativamente, es necesario aplicar el comando de gestión de memoria (MMCO).

Como se indicó anteriormente, simplemente por medio de la aplicación del procedimiento de gestión de memoria de acuerdo con el estándar H.264 existente a la estructura de referencia ilustrada en la FIG. 2 plantea el problema de que se borra una imagen de referencia que se debería almacenar en la memoria.

A fin de resolver tal problema, se puede imponer una restricción al orden de codificación de las imágenes.

La FIG. 4 es un diagrama que ilustra un ejemplo del procedimiento de gestión de memoria cuando se impone una restricción en el orden de codificación de imágenes.

Por ejemplo, se impone una restricción de que una imagen que pertenece a una capa diferente de una capa en el nivel más alto se codifique en el último momento posible en orden de codificación. Cabe señalar que, incluso bajo tal restricción, una imagen que sigue en el orden de codificación no se menciona para la codificación de una imagen que precede en el orden de codificación. Además, el orden de codificación es el mismo que el orden de decodificación.

Para ser específicos, en el orden de codificación mostrado en la FIG. 4, la imagen Br6 en la capa 2 sigue a las imágenes B1 y B3 en la capa 3 en el orden de codificación. Cuando se codifica la imagen B1 en la capa 3 de acuerdo con dicho orden de codificación, la imagen I0 a la que hace referencia la imagen B1 se almacena en la memoria 1109. Por lo tanto, es posible omitir el problema de decodificar la imagen I0 nuevamente y para reducir el aumento de la capacidad de la memoria 1109.

Sin embargo, incluso en tal caso, la imagen Br8 se elimina de la memoria por medio del noveno proceso (codificación y decodificación de la imagen Bf16) en el orden de codificación. Como resultado, puesto que se hace referencia a la imagen Bf8 para la codificación de la imagen Br12 en el décimo proceso del orden de codificación, es necesario decodificar de nuevo la imagen Bf8. En otras palabras, a fin de garantizar que la imagen Bf8 se almacene en el décimo proceso en el orden de codificación, se requiere que la memoria tenga una mayor capacidad de memoria. Alternativamente, es necesario aplicar el comando de gestión de memoria (MMCO).

La FIG. 5 es un diagrama que ilustra el procedimiento de gestión de memoria llevado a cabo por la unidad de control de memoria 1200 de acuerdo con la presente realización.

La unidad de control de memoria 1200 gestiona la memoria 1109 mediante el uso de la estructura de capas y la estructura de referencia de una imagen. Por ejemplo, la memoria 1109 tiene una capacidad de memoria para almacenar cuatro imágenes. En este caso, la unidad de control de memoria 1200 asigna, a la capa 0 en el nivel más bajo, la capacidad de memoria para dos imágenes como capacidad de capa, de la capacidad de memoria para cuatro imágenes que es la capacidad disponible de la memoria 1109. Además, la unidad de control de memoria 1200 asigna, a cada una de la capa 1 y la capa 2, la capacidad de memoria para una imagen como capacidad de capa, de la capacidad de memoria mencionada anteriormente para cuatro imágenes de la memoria 1109. Más específicamente, la capacidad de capa para una imagen se asigna a cada una de las capas intermedias diferentes de la capa 0 en el nivel más bajo y la capa 3 en el nivel más alto.

A continuación, la unidad de control de memoria 1200 obtiene, de la unidad de interpredicción 1111, la información de capa de una imagen incluida en la señal de vídeo. En el caso en el que la información de capa indica la capa 0, la unidad de control de memoria 1200 almacena la imagen en una región de la capacidad de capa de la memoria 1109 que está asignada a la capa 0. Además, en el caso en que la información de capa indica la capa 1 o 2, la unidad de control de memoria 1200 almacena la imagen en una región de la capacidad de capa de la memoria 1109 que está asignada a la capa 1 o 2.

En la presente realización, como se describe anteriormente, la capacidad de capa se asigna más a la capa de nivel bajo a la que pertenece una imagen con mayor probabilidad de ser referida por otras imágenes, y se asigna menos a la capa de nivel alto a la que pertenece una imagen. Es menos probable que se haga referencia a la misma en otras imágenes. Esto hace posible almacenar, sin falta, en la memoria 1109 la imagen de referencia necesaria para codificar y decodificar sin aumentar la capacidad de la memoria ni aplicar MMCO.

Cabe señalar que la forma de asignar la capacidad de la capa no se limita al ejemplo mostrado en la FIG. 5. Sólo es necesario que la unidad de control de memoria 1200 asigne más capacidad de capa a la capa en el nivel bajo. Por ejemplo, la unidad de control de memoria 1200 puede asignar la capacidad de capa para tres imágenes a la capa 0 y la capacidad de capa para una imagen a todas las demás capas 1 y 2.

La FIG. 6 es un diagrama de flujo que ilustra los procesos llevados a cabo por el aparato de codificación de imágenes 1000 de acuerdo con la presente realización.

La unidad de interpredicción 1111 del aparato de codificación de imágenes 1000 hace referencia, como una imagen de referencia para una imagen actual a codificar, una imagen que pertenece a la segunda capa en un intervalo restringido de acuerdo con la primera capa a la que pertenece la imagen actual (Etapa S10). Posteriormente, el aparato de codificación de imágenes 1000 codifica la imagen actual en base a la imagen de referencia (Etapa S11). Cabe señalar que la unidad de interpredicción 1111 sirve como una unidad de referencia (la primera unidad de referencia) que hace referencia a la imagen de referencia de acuerdo con la presente realización. Además, al menos un elemento estructural proporcionado en el aparato de codificación de imágenes 1000 sirve como la unidad de codificación que codifica la imagen actual.

Con esto, la capa a la que pertenece la imagen de referencia a la que se hace referencia para la codificación de la imagen actual está presente dentro de un intervalo restringido de acuerdo con la primera capa a la que pertenece la imagen actual. Por lo tanto, dado que la imagen de referencia a la que se hace referencia para la codificación de la imagen actual está restringida de acuerdo con la primera capa, es posible reducir la carga de procesamiento de la codificación. Además, dado que la imagen de referencia también está restringida al decodificar una imagen codificada como se describe anteriormente, es posible reducir la carga de procesamiento de la decodificación.

Aquí, cuando se hace referencia a la imagen de referencia en la Etapa S10, la unidad de interpredicción 1111 prohíbe hacer referencia a una imagen que pertenece a una capa en un nivel superior al de la primera capa, y se refiere, como la imagen de referencia, a una imagen que pertenece a la segunda capa ubicada en un intervalo restringido a la primera capa o una capa debajo de la primera capa.

Con esto, dado que está prohibido hacer referencia a una imagen que pertenece a una capa posicionada por encima de la primera capa a la que pertenece la imagen actual, es posible codificar la imagen actual con menor carga de procesamiento. Asimismo, dado que no es necesario, también al decodificar una imagen codificada, hacer referencia a una imagen que pertenece a una capa situada encima de una capa a la que pertenece la imagen codificada, es posible decodificar la imagen codificada con menos carga de procesamiento. Además, en el caso en el que cada imagen incluida en una señal de vídeo se trate como una imagen a codificar y la señal de vídeo esté codificada, no es necesario hacer referencia, al decodificar cualquier imagen incluida en la señal de vídeo codificada, a una imagen que pertenece a una capa ubicada encima de una capa a la que pertenece la imagen. Por lo tanto, sólo es necesario que el aparato de decodificación de imágenes decodifique una imagen que pertenece a una capa que es el objetivo de una reproducción especial (reproducción de alta velocidad), y por lo tanto es posible omitir el problema de decodificar y hacer referencia a una imagen que pertenece a una capa posicionada más arriba que la capa que es el objetivo de la reproducción especial. En el caso de que la capa que es el objetivo de una reproducción especial tal como N reproducción de velocidad de tiempo (N > 2) es la capa de nivel más bajo 0 ubicada en la parte inferior, el aparato de decodificación de imágenes no tiene que tomarse la molestia de decodificar y hacer referencia a una imagen que no es el objetivo de la reproducción especial y en las capas 1, 2 y 3 ubicadas más arriba. que la capa de nivel más bajo. Cabe señalar que cada una de las imágenes es una imagen o un corte.

La FIG. 7 es un diagrama de flujo que ilustra procesos en los que se usa un marcador y que son llevados a cabo por el aparato de codificación de imágenes 1000 de acuerdo con la presente realización.

La unidad de interpredicción 1111 del aparato de codificación de imágenes 1000 genera un marcador que indica si se debe añadir o no una restricción para seleccionar una imagen de referencia a la que se hará referencia para codificar una imagen actual a codificar (Etapa S20). A continuación, en el caso en el que el marcador indique la adición de una restricción, la unidad de interpredicción 1111 selecciona, como una imagen de referencia para la imagen actual, una imagen que cumple la condición restringida de acuerdo con la restricción de acuerdo con la primera capa a la que pertenece la imagen actual (Etapa S21). A continuación, el aparato de codificación de imágenes 1000 codifica la imagen actual, con referencia a la imagen de referencia seleccionada (Etapa S22). Posteriormente, la unidad de codificación de entropía 1104 del aparato de codificación de imágenes 1000 incluye el marcador en el flujo codificado que es la señal de vídeo codificada (Etapa S23). Cabe señalar que la unidad de interpredicción 1111 sirve como una unidad de generación de marcadores que genera un marcador y, al mismo tiempo, como una unidad de selección que selecciona una imagen de referencia, de acuerdo con la presente realización. Además, al menos un elemento estructural proporcionado en el aparato de codificación de imágenes 1000 sirve como la unidad de codificación que codifica la imagen actual a codificar. Además, la unidad de codificación de entropía 1104 sirve como una unidad de inserción que incluye el marcador en un flujo codificado.

Con esto, en el caso en que el marcador indique añadir una restricción, se selecciona como una imagen de referencia una imagen que cumpla con la condición restringida de acuerdo con la primera capa a la que pertenece la imagen actual. Más específicamente, una imagen de referencia a la que se hace referencia para codificar la imagen actual está restringida de acuerdo con la primera capa. Como resultado, es posible reducir la carga de procesamiento de la codificación de la imagen actual. Además, dado que se genera e incluye en un flujo codificado un marcador que indica si se debe imponer o no una restricción para la selección de una imagen de referencia, es posible que el aparato de decodificación de imágenes que decodifica el flujo codificado determine fácilmente si se impone una restricción para la selección de la imagen de referencia. Como resultado, el aparato de decodificación de imágenes puede decodificar adecuadamente la señal de vídeo codificada con menos carga de procesamiento.

La FIG. 8 es un diagrama de flujo que ilustra procesos específicos llevados a cabo por el aparato de codificación de imágenes 1000 de acuerdo con la presente realización.

Primero, el aparato de codificación de imágenes 1000 obtiene una señal de vídeo para codificar (S100).

A continuación, el aparato de codificación de imágenes 1000 clasifica, en capas, las imágenes incluidas en la señal de vídeo obtenida (Etapa S101). Posteriormente, el aparato de codificación de imágenes 1000 codifica las imágenes de acuerdo con la restricción basada en la estructura de capas de las imágenes (Etapa S102). A continuación, el aparato de codificación de imágenes 1000 genera un flujo codificado que incluye las imágenes codificadas, la información de capa de las imágenes y un marcador (S103).

La FIG. 9 es un diagrama de bloques que ilustra el aparato de decodificación de imágenes de acuerdo con una realización de la presente invención.

Un aparato de decodificación de imágenes 2000 de acuerdo con la presente realización es un aparato que decodifica adecuadamente un flujo codificado generado por el aparato de codificación de imágenes 1000 e incluye: una unidad de decodificación de entropía 2101; una unidad de cuantificación inversa 2102; una unidad de transformación ortogonal inversa 2103; un sumador 2104; un filtro de desbloqueo 2105; una memoria 2106; una unidad de intrapredicción 2107; una unidad de interpredicción 2108; un conmutador 2109; y una unidad de control de memoria 2200.

La unidad de decodificación de entropía 2101 obtiene un flujo codificado y lleva a cabo una decodificación de entropía (decodificación de longitud variable) en el flujo codificado. Más específicamente, la unidad de decodificación de entropía 2101 genera un bloque de coeficientes cuantificados, un vector de movimiento, un marcador e información de capa, por medio de la realización de la decodificación de entropía.

La unidad de cuantificación inversa 2102 lleva a cabo una cuantificación inversa en el bloque de coeficientes cuantificados resultante de la decodificación de entropía llevada a cabo por la unidad de decodificación de entropía 2101. La unidad de transformación ortogonal inversa 2103 lleva a cabo una transformación ortogonal inversa (transformación de frecuencia inversa) tal como una transformación de coseno discreta inversa en cada uno de los coeficientes de frecuencia incluidos en el bloque de coeficientes cuantificados inversos, para de ese modo generar una imagen diferencial decodificada.

El sumador 2104 obtiene una imagen de predicción del conmutador 2109 y suma la imagen de predicción a la imagen diferencial decodificada generada por la unidad de transformación ortogonal inversa 2103, para de ese modo generar una imagen decodificada (imagen de reconfiguración).

El filtro de desbloqueo 2105 elimina los efectos de bloqueo de la imagen decodificada generada por el sumador 2104, almacena la imagen decodificada en la memoria 2106 y genera la imagen decodificada.

La unidad de intrapredicción 2107 lleva a cabo una intrapredicción en un bloque actual a decodificar, mediante el uso de la imagen decodificada generada por el sumador 2104, para de ese modo generar una imagen de predicción (imagen de intrapredicción).

La unidad de interpredicción 2108 hace referencia, como una imagen de referencia, a la imagen almacenada en la memoria 2106, y usa el vector de movimiento resultante de la decodificación de entropía llevada a cabo por la unidad de decodificación de entropía 2101, para de ese modo llevar a cabo una compensación de movimiento en el bloque actual. La unidad de interpredicción 2108 lleva a cabo la compensación de movimiento como se describe anteriormente; es decir, lleva a cabo interpredicción en el bloque actual, para de ese modo generar una imagen de predicción (imagen de interpredicción) del bloque actual.

Aquí, la unidad de interpredicción 2108 impone una restricción en la selección de una imagen de referencia de la misma manera que la unidad de interpredicción 1111 del aparato de codificación de imágenes 1000. Es decir, la unidad de interpredicción 2108 hace referencia, como una imagen de referencia para la imagen actual a decodificar, a una imagen que pertenece a la segunda capa que está presente dentro de un intervalo que está restringido de acuerdo con la primera capa a la que pertenece la imagen actual. Más específicamente, la unidad de interpredicción 2108 prohíbe hacer referencia a una imagen que pertenece a una capa superior, o en un nivel superior, a la primera capa, y se refiere, como una imagen de referencia, a una imagen que pertenece a la segunda capa que es ubicado en un intervalo restringido a la primera capa o una capa debajo de la primera capa.

Además, la unidad de interpredicción 2108 genera un listado de referencia que indica una o más imágenes, cada una de las cuales pertenece a la primera capa o una capa debajo de la primera capa, aparte de todas las imágenes que pertenecen a sus respectivas capas presentes por encima de la primera capa, entre las imágenes incluidas en el flujo codificado. La unidad de interpredicción 2108, cuando hace referencia a una imagen de referencia, selecciona una imagen de referencia de una o más imágenes indicadas en el listado de referencia.

Además, la unidad de interpredicción 2108 obtiene el marcador descrito anteriormente. Aquí, en el caso en el que el marcador indica la adición de una restricción, la unidad de interpredicción 2108 selecciona, como una imagen de referencia para la imagen actual, una imagen que cumple la condición restringida de acuerdo con la primera capa a la que pertenece la imagen actual. Por ejemplo, la unidad de interpredicción 2108 selecciona una imagen de referencia mediante el uso de una imagen de criterio de la misma manera que la unidad de interpredicción 1111 del aparato de codificación de imágenes 1000. Posteriormente, la unidad de interpredicción 2108 decodifica la imagen actual con referencia a la imagen de referencia seleccionada.

El conmutador 2109, cuando se ha llevado a cabo la codificación de intrapredicción en el bloque actual, envía la imagen de predicción (imagen de intrapredicción) generada por la unidad de intrapredicción 2107 al sumador 2104. Mientras tanto, el conmutador 2109, cuando se ha llevado a cabo la codificación de inter predicción en el bloque actual, envía la imagen de predicción (imagen de interpredicción) generada por la unidad de interpredicción 2108 al sumador 2104.

La unidad de control de memoria 2200 obtiene, a partir de la unidad de decodificación de entropía 2101, información de capa de cada una de las imágenes, y gestiona cada una de las imágenes almacenadas en la memoria 2106, en base a una capa de la imagen indicada por la información de capa; es decir, en base a una estructura de capas, de la misma manera que la unidad de control de memoria 1200 del aparato de codificación de imágenes 1000.

La FIG. 10 es un diagrama de flujo que ilustra los procesos llevados a cabo por el aparato de decodificación de imágenes 2000 de acuerdo con la presente realización.

La unidad de interpredicción 2108 del aparato de decodificación de imágenes 2000 se refiere, como una imagen de referencia para una imagen actual a decodificar, a una imagen que pertenece a la segunda capa en un intervalo restringido de acuerdo con la primera capa a la que pertenece la imagen actual (Etapa S30). Posteriormente, el aparato de decodificación de imágenes 2000 decodifica la imagen actual en base a la imagen de referencia (Etapa S31). Cabe señalar que la unidad de interpredicción 2108 sirve como una unidad de referencia (la segunda unidad de referencia) que hace referencia a la imagen de referencia de acuerdo con la presente realización. Además, uno o más elementos estructurales proporcionados en el aparato de decodificación de imágenes 2000 sirven como unidades de decodificación que decodifican la imagen actual. Además, la imagen es una imagen, un corte o similar.

Por ejemplo, la unidad de interpredicción 2108 genera un listado de referencia que indica una o más imágenes, cada una de las cuales pertenece a una capa que está presente en el mismo nivel o en un nivel inferior que la primera capa, aparte de todas las imágenes que pertenecen a sus respectivas capas presentes por encima de la primera capa, entre las imágenes incluidas en el flujo codificado. Posteriormente, la unidad de interpredicción 2108, cuando hace referencia a la imagen de referencia en la Etapa S30, selecciona una imagen de referencia de una o más imágenes indicadas en el listado de referencia.

Con esto, la capa a la que pertenece la imagen de referencia a la que se hace referencia para la decodificación de la imagen actual está presente en un intervalo restringido de acuerdo con la primera capa a la que pertenece la imagen actual. Por lo tanto, dado que la imagen de referencia a la que se hace referencia para la decodificación de la imagen actual está restringida de acuerdo con la primera capa, es posible reducir la carga de procesamiento de la decodificación.

La FIG. 11 es un diagrama de flujo que ilustra los procesos llevados a cabo por el aparato de decodificación de imágenes 2000 de acuerdo con la presente realización.

La unidad de interpredicción 2108 del aparato de decodificación de imágenes 2000 obtiene, a partir de un flujo codificado, un marcador que indica si se impone o no una restricción en la selección de la imagen de referencia a la que se hará referencia para decodificar la imagen actual que es una de las imágenes. incluido en el flujo codificado (Etapa S40). A continuación, cuando el marcador indica que se impone una restricción, la unidad de interpredicción 2108 selecciona, como una imagen de referencia para la imagen actual, una imagen que cumple la condición restringida de acuerdo con la primera capa a la que pertenece la imagen actual (Etapa S41). Posteriormente, el aparato de decodificación de imágenes 2000 decodifica la imagen actual en base a la imagen de referencia seleccionada (Etapa S42). Cabe señalar que la unidad de interpredicción 2108 sirve como una unidad de obtención de marcadores que obtiene el marcador y, al mismo tiempo, como una unidad de selección que selecciona una imagen de referencia.

Con esto, en el caso en que el marcador indique que se impone una restricción, se selecciona como una imagen de referencia una imagen que cumpla con la condición restringida de acuerdo con la primera capa a la que pertenece la imagen actual. Más específicamente, una imagen de referencia a la que se hace referencia para decodificar la imagen actual está restringida de acuerdo con la primera capa. Como resultado, es posible reducir la carga de procesamiento de la decodificación de la imagen actual.

La FIG. 12 es un diagrama de flujo que ilustra un procedimiento de gestión de memoria de acuerdo con la presente realización.

La unidad de control de memoria 2200 del aparato de decodificación de imágenes 2000 almacena una imagen objetivo para ser almacenada entre las imágenes incluidas en el flujo codificado, en una región de la memoria 2106, que está restringida a una capacidad de capa que es una capacidad asignada a una capa. al que pertenece la imagen objetivo (Etapa S50). Más específicamente, la unidad de control de memoria 2200 asigna, como una capacidad de capa, parte de la capacidad de memoria disponible en la memoria 2106, para cada una de las capas. Cabe señalar que, de acuerdo con la presente realización, la unidad de control de memoria 2200 sirve como el aparato de gestión de memoria e incluye una unidad de control de almacenamiento para almacenar la imagen objetivo para el almacenamiento descrito anteriormente.

Hay un caso, por ejemplo, en el que una imagen de referencia de larga duración a la que se hace referencia durante un largo período de tiempo pertenece a otra capa, y la imagen de referencia de larga duración se almacena en otra región. En tal caso, cuando la imagen objetivo se almacena en la otra región, la imagen de referencia de larga duración se podría eliminar de la memoria 2106 en algunos casos. Por lo tanto, es necesario volver a llevar a cabo procesamientos tales como la decodificación de la imagen de referencia de larga duración, a fin de hacer referencia a la imagen de referencia de larga duración después de que la imagen de referencia de larga duración se elimine de la memoria 2106. En vista de lo anterior, con el procedimiento de gestión de memoria de acuerdo con la presente realización, dado que una imagen objetivo a almacenar es almacenada en una región de una memoria, que está restringida a una capacidad de capa que está asignada a la capa a la que pertenece la imagen objetivo y restringida a una capacidad de capa, es posible evitar que la imagen de referencia de larga duración se elimine de memoria 2106. En otras palabras, es posible almacenar una imagen de referencia necesaria en la memoria 2106 sin falta. Como resultado, es posible omitir un proceso redundante tal como decodificar una vez más la imagen de referencia de larga duración. Además, es posible reducir la carga de procesamiento para aplicar sucesivamente un comando de gestión de memoria para ordenar la eliminación de una imagen innecesaria a fin de almacenar una imagen de referencia necesaria en la memoria 2106 sin fallo.

Cabe señalar que, en el caso en el que la región descrita anteriormente no tenga capacidad restante para almacenar una imagen objetivo a almacenar cuando se almacena la imagen objetivo, la unidad de control de memoria 2200 elimina de la región, de entre una o más existentes imágenes que ya se han almacenado en la región, la imagen existente que se ha almacenado primero, de forma que se almacena la imagen objetivo.

De acuerdo con la presente realización, una capa a la que se restringe una imagen de referencia que es una imagen a la que se hará referencia para codificar o decodificar la imagen actual a procesar, entre varias imágenes incluidas en la señal de vídeo (flujo codificado), ser una capa que está en el mismo nivel o inferior que la capa a la que pertenece la imagen actual. En tal caso, al asignar una capacidad de capa para cada una de las capas, la unidad de control de memoria 2200 asigna, a una capa de nivel más bajo 0 ubicada en la parte inferior entre las capas, una capacidad de capa mayor que una capacidad de capa asignada a una capa de nivel superior posicionada por encima de la capa de nivel más bajo 0.

Con esto, dado que la capa a la que pertenece la imagen de referencia está restringida a la capa en el mismo nivel o inferior a la capa a la que pertenece la imagen actual, es muy probable que una imagen que pertenece a la capa de nivel más bajo 0 se hace referencia a ella durante un período de tiempo más largo que una imagen que pertenece a la capa de nivel superior. En vista de lo anterior, una capacidad de capa mayor que una capacidad de capa asignada a la capa de nivel superior se asigna a la capa 0 de nivel más bajo con el procedimiento de gestión de memoria de acuerdo con la presente realización, y por lo tanto es posible almacenar, en la memoria, la imagen que pertenece a la capa 0 de nivel más bajo durante un largo período de tiempo. Como resultado, cuando se hace referencia a una imagen que pertenece a la capa 0 de nivel más bajo, es posible evitar una situación tal que la imagen se elimine de la memoria 2106 y, por lo tanto, no se pueda hacer referencia a ella.

Además, la unidad de control de memoria 2200 marca un atributo en la imagen, entre las imágenes almacenadas en la memoria 2106, que pertenece a una capa ubicada encima de una capa a la que pertenece la imagen actual a decodificar. Por ejemplo, la unidad de control de memoria 2200 marca un atributo que indica que la imagen no se usa como referencia.

Con esto, dado que el atributo está marcado en la imagen, es posible identificar fácilmente una imagen innecesaria que no se usará como referencia y eliminar la imagen de la memoria 2106 antes de eliminar otras imágenes. Como resultado, es posible usar eficazmente la capacidad de la memoria 2106.

La FIG. 13 es un diagrama de flujo que ilustra procesos específicos llevados a cabo por el aparato de decodificación de imágenes 2000 de acuerdo con la presente realización.

En primer lugar, el aparato de decodificación de imágenes 2000 obtiene un marcador con un bit de un flujo codificado y determina si el marcador indica o no 1 (Etapa S201).

Cuando el aparato de decodificación de imágenes 2000 determina que el marcador no indica 1 (No en la Etapa S201), el aparato de decodificación de imágenes 2000 obtiene una imagen actual a decodificar correspondiente al marcador (Etapa S202), y decodifica la imagen actual a través de un procedimiento general (por ejemplo, interpredicción o intrapredicción de acuerdo con el estándar H.264) (Etapa S203).

Por otro lado, cuando el aparato de decodificación de imágenes 2000 determina que el marcador indica 1 (Sí en la Etapa S201), el aparato de decodificación de imágenes 2000 obtiene una imagen actual a decodificar que corresponde al marcador (Etapa S204), y determina si o no la imagen actual es una imagen a decodificar por medio de interpredicción (Etapa S205).

Cuando el aparato de decodificación de imágenes 2000 determina que la imagen actual no es una imagen a decodificar por medio de interpredicción (No en la Etapa S205), el aparato de decodificación de imágenes 2000 decodifica la imagen actual por medio de intrapredicción (Etapa S206).

Por otro lado, cuando el aparato de decodificación de imágenes 2000 determina que la imagen actual es una imagen que se va a decodificar por medio de interpredicción (Sí en la Etapa S205), el aparato de decodificación de imágenes 2000 obtiene información de capa de la imagen actual (etapa S207). Posteriormente, la unidad de interpredicción 2108 del aparato de decodificación de imágenes 2000 identifica la imagen que pertenece a una capa en un nivel superior a una capa indicada en la información de capa (Etapa S208). A continuación, la unidad de interpredicción 2108 construye un listado de referencia (L0, L1) de la imagen actual mediante el uso de una imagen diferente de la imagen identificada a partir de las imágenes almacenadas en la memoria 2106 (Etapa S209).

Además, la unidad de control de memoria 2200 del aparato de decodificación de imágenes 2000 marca un atributo que indica “no usado como referencia” en la imagen identificada en la Etapa S208 (Etapa S210). Posteriormente, la unidad de interpredicción 2108 decodifica la imagen actual por medio de interpredicción mediante el uso de la imagen de referencia indicada en el listado de referencia construida en la Etapa S209 (Etapa S211).

En la Etapa S210, la unidad de control de memoria 2200 marca el atributo de “no usado como referencia” en todas las imágenes de referencia que pertenecen a una capa en un nivel superior a una capa indicada por la información de capa, fuera de las imágenes (imágenes de referencia). mantenido en la memoria 2106. Esto permite que el aparato de decodificación de imágenes 2000 sepa de antemano que no se permite hacer referencia a la condición de restricción de que una imagen que pertenece a una capa en un nivel superior al de una capa de la imagen actual no puede ser referenciada. el flujo codificado.

Como se describió anteriormente, de acuerdo con la presente realización, es posible marcar el atributo “no usado como referencia” en una imagen de referencia que ciertamente no se va a usar como referencia, a través del tercer procedimiento (un procedimiento en base a una estructura de capas) diferente. desde la gestión general FIFO y el control de memoria adaptativa por medio de MMCO. Esto hace posible, cuando se emite (visualiza) la imagen de referencia, eliminar automáticamente la imagen de referencia de la memoria 210.

Además, el aparato de decodificación de imágenes 2000, al construir el listado de referencia en la Etapa S209 (proceso de clasificación en el momento de la inicialización del listado de referencia), genera o actualiza el listado de referencia de una imagen actual a decodificar (o un corte actual a ser decodificado), excepto la imagen de referencia en una capa de un nivel superior a una capa de la imagen actual, del listado de referencia. Esto permite facilitar el proceso de construcción del listado de referencia.

Modificación

Cabe señalar que, en la presente realización, la referencia a una gestión de imágenes y memoria ilustrada en la FIG.

14, figura. 15, y la FIG. Se podrán llevar a cabo 16.

La FIG. 14 es un diagrama que indica una estructura de referencia de acuerdo con la presente modificación. Cabe señalar que, en la FIG. 14, un alfabeto, un carácter numérico y un carácter numérico proporcionados entre paréntesis, que se añaden a una imagen, indican un tipo de imagen, un orden de visualización de la imagen y un orden de codificación de la imagen, respectivamente. i0(0) indica el tipo de imagen “I”, un orden de visualización “0” de la imagen y el orden de codificación “0” de la imagen. Br2(3) indica el tipo de imagen “B”, un orden de visualización “2” de la imagen y el orden de codificación “3” de la imagen.

Por ejemplo, con la estructura de referencia de acuerdo con la presente modificación, se hace referencia a una imagen anterior en el orden de visualización en la codificación o decodificación de cada una de la imagen Bf8(1) y la imagen Bf16(9), que son las imágenes B que pertenecen a la capa 0 en el nivel más bajo, como se muestra con flechas sólidas, cada una indicada por f en la FIG. 14. Además, al codificar o decodificar una imagen que pertenece a una capa en un nivel superior a la capa 0 y en un nivel inferior a la capa 3 del nivel más alto, tal como la imagen Br2(3) que pertenece a la capa 2, se hace referencia a la siguiente imagen en el orden de visualización como se muestra por medio de las flechas continuas, cada una indicada por r en la FIG. 14.

Como se describió anteriormente, el aparato de codificación de imágenes 1000 y el aparato de decodificación de imágenes 2000 de acuerdo con la presente modificación, a fin de codificar o decodificar una imagen B, pueden hacer referencia como una imagen de referencia sólo a una imagen presente en una única dirección (hacia atrás o adelante) con respecto a la imagen B en el orden de visualización. En este caso, el aparato de codificación de imágenes 1000 puede incluir, en un flujo codificado, un marcador unidireccional que indica si la referencia está restringida o no a una única dirección. Aquí, el marcador unidireccional indica: si se permite o no hacer referencia sólo a las imágenes anteriores y no a las imágenes siguientes en la capa 0; y si se permite o no hacer referencia sólo a las imágenes siguientes y no a las imágenes anteriores en las capas 1 y 2. Como se describió anteriormente, el marcador unidireccional indica si se impone o no una restricción a la referencia en términos de la estructura de capas. Además, el aparato de codificación de imágenes 1000 incluye dicho marcador unidireccional en el flujo codificado para cada unidad predeterminada, tal como una secuencia en el flujo codificado. El aparato de decodificación de imágenes 2000 obtiene el marcador unidireccional incluida en el flujo codificado, y decodifica una imagen actual a decodificar con referencia únicamente a una imagen presente en una única dirección (hacia atrás o hacia adelante) de acuerdo con la capa de la imagen actual en el caso en el que el marcador de dirección única indica una restricción de referencia.

Cabe señalar que el aparato de decodificación de imágenes 2000, incluso cuando el marcador unidireccional indica una restricción de referencia, puede hacer referencia a una imagen en una dirección diferente de la dirección única, como se muestra por medio de flechas de puntos que indican la opción de significado opt en la FIG. 14 cuando se puede usar la imagen en una dirección diferente a la única. Además, el aparato de codificación de imágenes 1000 puede indicar una imagen en una única dirección con un tipo de imagen. En este caso, el aparato de codificación de imágenes 1000 incluye el tipo de imagen en el flujo codificado, y el aparato de decodificación de imágenes 2000 hace referencia, como una imagen de referencia, a una imagen en una única dirección en base al tipo de imagen incluido en el flujo codificado. Además, cuando la información de capas e incluye en el flujo codificado, el aparato de decodificación de imágenes 2000 desasigna la memoria 2106 en base a la información de capa.

La FIG. 15 es un diagrama que indica un ejemplo del procedimiento de gestión de memoria de acuerdo con la presente modificación.

El aparato de decodificación de imágenes 2000, cuando lleva a cabo una reproducción a velocidad única (reproducción normal) en un flujo codificado que tiene la estructura de referencia mostrada en la FIG. 14, decodifica una imagen que pertenece a cada una de las capas 0, 1, 2 y 3. En este caso, después de decodificar las imágenes que pertenecen a sus respectivas capas 0, 1 y 2, el aparato de decodificación de imágenes 2000 almacena estas imágenes en la memoria 2106 como imágenes de referencia. Por otra parte, incluso después de decodificar las imágenes que pertenecen a la capa 3, el aparato de decodificación de imágenes 2000 no almacena estas imágenes en la memoria 2106 como imágenes de referencia. De lo contrario, incluso cuando las imágenes que pertenecen a la capa 3 se almacenan en la memoria 2106, la unidad de control de memoria 2200 marca un atributo “no usado como referencia” en estas imágenes por medio del almacenamiento de las mismas.

La FIG. 16 es un diagrama que indica otro ejemplo del procedimiento de gestión de memoria de acuerdo con la presente modificación.

El aparato de decodificación de imágenes 2000, cuando lleva a cabo una reproducción de avance rápido en un flujo codificado que tiene la estructura de referencia mostrada en la FIG. 14, decodifica una imagen que pertenece a cada una de las capas 0, 1 y 2 excepto la capa 3. Más específicamente, decodifica o reproducción de las imágenes Br1(4), Br3(5), Br5(7) y Br7(8) se omiten. En este caso, después de decodificar las imágenes que pertenecen a sus respectivas capas 0 y 1, el aparato de decodificación de imágenes 2000 almacena estas imágenes en la memoria 2106 como imágenes de referencia. Por otra parte, incluso después de decodificar las imágenes que pertenecen a la capa 2, el aparato de decodificación de imágenes 2000 no almacena estas imágenes en la memoria 2106 como imágenes de referencia. De lo contrario, incluso cuando las imágenes que pertenecen a la capa 2 se almacenan en la memoria 2106, la unidad de control de memoria 2200 marca un atributo “no usado como referencia” en estas imágenes por medio del almacenamiento de las mismas.

Es posible reducir la carga de procesamiento de codificación o decodificación con el procedimiento de referencia a una imagen y el procedimiento de gestión de memoria de acuerdo con la presente modificación también.

Realización 2

El procesamiento descrito en la Realización mencionada anteriormente se puede implementar simplemente en un sistema informático independiente, por medio de la grabación, en un medio de grabación, de un programa para implementar las configuraciones del procedimiento de codificación de vídeo (procedimiento de codificación de imágenes) y el procedimiento de decodificación de vídeo (procedimiento de decodificación de imágenes) descrito en la Realización mencionada anteriormente. El medio de grabación puede ser cualquier medio de grabación a condición de que se pueda grabar un programa, tal como un disco magnético, un disco óptico, un disco óptico magnético, una tarjeta IC y una memoria semiconductora.

En adelante en la presente memoria, se describirán las aplicaciones del procedimiento de codificación de vídeo (procedimiento de codificación de imágenes) y el procedimiento de decodificación de vídeo (procedimiento de decodificación de imágenes) descritos en la realización mencionada anteriormente y los sistemas que usan los mismos. El sistema se caracteriza por incluir un aparato de codificación y decodificación de imágenes que incluye un aparato de codificación de imágenes que usa el procedimiento de codificación de imágenes y un aparato de decodificación de imágenes que usa el procedimiento de decodificación de imágenes. Otras configuraciones en el sistema se pueden cambiar adecuadamente de acuerdo con los casos.

La FIG. 17 ilustra una configuración general de un sistema proveedor de contenido ex100 para implementar servicios de distribución de contenido. El área para proporcionar servicios de comunicación se divide en celdas del tamaño deseado, y en cada una de las celdas se colocan estaciones de base ex106, ex107, ex108, ex109 y ex110, que son estaciones inalámbricas fijas.

El sistema proveedor de contenido ex100 está conectado a dispositivos, tales como un ordenador ex111, un asistente digital personal (PDA) ex112, una cámara ex113, un teléfono celular ex114 y una máquina de juegos ex115, a través de Internet ex101, un proveedor de servicios de Internet ex102, una red telefónica ex104, así como las estaciones de base ex106 a ex110, respectivamente.

Sin embargo, la configuración del sistema proveedor de contenido ex100 no se limita a la configuración mostrada en la FIG. 17, y una combinación en la que cualquiera de los elementos esté conectado es aceptable. Además, cada dispositivo se puede conectar directamente a la red telefónica ex104, en lugar de a través de las estaciones de base ex106 a ex110 que son las estaciones inalámbricas fijas. Además, los dispositivos se pueden interconectar entre sí por medio de comunicación inalámbrica de corta distancia y otros.

La cámara ex113, tal como una cámara de vídeo digital, es capaz de capturar vídeo. Una cámara ex116, tal como una cámara de vídeo digital, es capaz de capturar tanto imágenes fijas como vídeo. Además, el teléfono celular ex114 podrá ser aquel que cumpla con cualquiera de los estándares tales como el Sistema Global para Comunicaciones Móviles (GSM®), Acceso Múltiple por División de Código (CDMA), Acceso Múltiple por División de Código de Banda Ancha (W-CDmA), Acceso Múltiple por División de Código de Banda Ancha (W-CDmA), Evolución a Largo Plazo (LTE) y Acceso a Paquetes de Alta Velocidad (HSPA). Alternativamente, el teléfono celular ex114 puede ser un Sistema de Teléfono Personal (PHS).

En el sistema proveedor de contenido ex100, un servidor de transmisión por secuencias ex103 está conectado a la cámara ex113 y otras a través de la red telefónica ex104 y la estación de base ex109, lo que permite la distribución de imágenes de un espectáculo en vivo y otros. En tal distribución, un contenido (por ejemplo, vídeo de un espectáculo musical en vivo) capturado por el usuario mediante el uso de la cámara ex113 se codifica como se describe anteriormente en cada una de las Realizaciones (esto significa que la cámara ex113 sirve como el aparato de codificación de imágenes de acuerdo con la presente invención), y el contenido codificado se transmite al servidor de transmisión por secuencias ex103. Por otro lado, el servidor de transmisión por secuencias ex103 lleva a cabo la distribución por secuencias de los datos de contenido transmitidos a los clientes de acuerdo con sus solicitudes. Los clientes incluyen el ordenador ex111, la PDA ex112, la cámara ex113, el teléfono celular ex114 y la máquina de juegos ex115 que son capaces de decodificar los datos codificados mencionados anteriormente. Cada uno de los dispositivos que ha recibido los datos distribuidos decodifica y reproduce los datos codificados (esto significa que cada uno de los dispositivos sirve como el aparato de decodificación de imágenes de acuerdo con la presente invención).

Los datos capturados se pueden codificar por medio de la cámara ex113 o el servidor de transmisión por secuencias ex103 que transmite los datos, o los procesos de codificación se pueden compartir entre la cámara ex113 y el servidor de transmisión por secuencias ex103. De forma similar, los datos distribuidos pueden ser decodificados por los clientes o el servidor de transmisión por secuencias ex103, o los procesos de decodificación se pueden compartir entre los clientes y el servidor de transmisión por secuencias ex103. Además, los datos de las imágenes fijas y el vídeo capturados no sólo por la cámara ex113 sino también por la cámara ex116 se pueden transmitir al servidor de transmisión por secuencias ex103 a través del ordenador ex111. Los procesos de codificación se pueden llevar a cabo por medio de la cámara ex116, el ordenador ex111 o el servidor de transmisión por secuencias ex103, o compartidos entre ellos.

Además, los procesos de codificación y decodificación se pueden llevar a cabo por medio de un LSI ex500 incluido generalmente en cada uno del ordenador ex111 y los dispositivos. El LSI ex500 se puede configurar con un único chip o con varios chips. El software para codificar y decodificar vídeo se puede integrar en algún tipo de medio de grabación (tal como un CD-ROM, un disco flexible, un disco duro) que sea legible por el ordenador ex111 y otros, y los procesos de codificación y decodificación se pueden llevar a cabo mediante el uso del software. Además, cuando el teléfono celular ex114 está equipado con una cámara, los datos de imagen obtenidos por la cámara se pueden transmitir. Los datos de vídeo son datos codificados por el LSI ex500 incluido en el teléfono celular ex114.

Además, el servidor de transmisión por secuencias ex103 puede estar compuesto por servidores y ordenadores, y puede descentralizar datos y procesar los datos descentralizados, registrar o distribuir datos.

Como se describió anteriormente, los clientes pueden recibir y reproducir los datos codificados en el sistema proveedor de contenido ex104. En otras palabras, los clientes pueden recibir y decodificar información transmitida por el usuario y reproducir los datos decodificados en tiempo real en el sistema proveedor de contenido ex100, de forma que el usuario que no tiene ningún derecho ni equipo particular puede implementar la transmisión personal.

Aparte del ejemplo del sistema proveedor de contenido ex100, al menos uno del aparato de codificación de vídeo (aparato de codificación de imágenes) y el aparato de decodificación de vídeo (aparato de decodificación de imágenes) descritos en cada una de las Realizaciones se puede implementar en un sistema de radiodifusión digital ex200 ilustrado en la FIG. 8. Más específicamente, una estación de radiodifusión ex201 comunica o transmite, por medio de ondas de radio a un satélite de radiodifusión ex202, datos multiplexados obtenidos por medio de la multiplexación de datos de audio y otros en datos de vídeo. Los datos de vídeo son datos codificados por medio del procedimiento de codificación de vídeo descrito en la Realización mencionada anteriormente (en otras palabras, datos codificados por el aparato de codificación de imágenes de acuerdo con la presente invención). Al recibir los datos multiplexados, el satélite de radiodifusión ex202 transmite ondas de radio para su transmisión. Entonces, una antena de uso doméstico ex204 con función de recepción de transmisiones por satélite recibe las ondas de radio. A continuación, un dispositivo tal como un televisor (receptor) ex300 y un decodificador (STB) ex217 decodifica los datos multiplexados recibidos y reproduce los datos decodificados (esto significa que el dispositivo sirve como el aparato de decodificación de imágenes de acuerdo con la presente invención).

Además, un lector/grabador ex218 que (i) lee y decodifica los datos multiplexados grabados en un medio de grabación ex215, tal como un DVD y un BD, o (i) codifica señales de vídeo en el medio de grabación ex215, y en algunos casos, escribir datos obtenidos por medio de la multiplexación de una señal de audio en los datos codificados puede incluir el aparato de decodificación de vídeo o el aparato de codificación de vídeo como se muestra en la realización mencionada anteriormente. En este caso, las señales de vídeo reproducidas se exhiben en el monitor ex219, y puede ser reproducido por otro dispositivo o sistema mediante el uso del medio de grabación ex215 en el que se graban los datos multiplexados. También es posible implementar el aparato de decodificación de vídeo en el decodificador ex217 conectado al cable ex203 para un televisor por cable o a la antena ex204 para transmisión satelital y/o terrestre, para exhibir las señales de vídeo en el monitor ex219 del televisor ex300. El aparato de decodificación de vídeo se puede implementar no en el decodificador sino en el televisor ex300.

La FIG. 19 ilustra el televisor (receptor) ex300 que usa el procedimiento de codificación de vídeo y el procedimiento de decodificación de vídeo descritos en la Realización mencionada anteriormente. El televisor ex300 incluye: un sintonizador ex301 que obtiene o proporciona datos multiplexados obtenidos por medio de la multiplexación de datos de audio sobre datos de vídeo, a través de la antena ex204 o el cable ex203, etc. que recibe una emisión; una unidad de modulación/demodulación ex302 que demodula los datos multiplexados recibidos o modula datos en datos multiplexados para ser suministrados al exterior; y una unidad de multiplexación/demultiplexación ex303 que demultiplexa los datos multiplexados modulados en datos de vídeo y datos de audio, o multiplexa datos de vídeo y datos de audio codificados por una unidad de procesamiento de señales ex306 en datos.

El televisor ex300 además incluye: una unidad de procesamiento de señales ex306 que incluye una unidad de procesamiento de señales de audio ex304 y una unidad de procesamiento de señales de vídeo ex305 (que sirven como el aparato de codificación de imágenes o el aparato de decodificación de imágenes de acuerdo con la presente invención) que decodifica datos de audio y datos de vídeo y codifica datos de audio y datos de vídeo, respectivamente; un altavoz ex307 que proporciona la señal de audio decodificada; y una unidad de salida ex309 que incluye una unidad de visualización ex308 que muestra la señal de vídeo decodificada, tal como una pantalla. Además, el televisor ex300 incluye una unidad de interfaz ex317 que incluye una unidad de entrada de operación ex312 que recibe una entrada de una operación del usuario. Además, el televisor ex300 incluye una unidad de control ex310 que controla en general cada elemento constituyente del televisor ex300, y una unidad de circuito de suministro de energía ex311 que suministra energía a cada uno de los elementos. Además de la unidad de entrada de operación ex312, la unidad de interfaz ex317 puede incluir: un puente ex313 que está conectado a un dispositivo externo, tal como, por ejemplo, el lector/grabador ex218; una unidad de ranura ex314 para permitir la conexión del medio de grabación ex216, tal como una tarjeta SD; un controlador ex315 para conectarse a un medio de grabación externo, tal como un disco duro; y un módem ex316 para conectar a una red telefónica. Aquí, el medio de grabación ex216 puede grabar eléctricamente información mediante el uso de un elemento de memoria semiconductor no volátil/volátil para almacenamiento. Los elementos constitutivos del televisor ex300 están conectados entre sí a través de un bus síncrono.

En primer lugar, se describirá la configuración en la que el televisor ex300 decodifica datos multiplexados obtenidos desde el exterior a través de la antena ex204 y otras y reproduce los datos decodificados. En el televisor ex300, tras una operación de usuario desde un controlador remoto ex220 y otros, la unidad de multiplexación/demultiplexación ex303 demultiplexa los datos multiplexados demodulados por la unidad de modulación/demodulación ex302, bajo el control de la unidad de control ex310 que incluye una CPU. Además, la unidad de procesamiento de señales de audio ex304 decodifica los datos de audio demultiplexados, y la unidad de procesamiento de señales de vídeo ex305 decodifica los datos de vídeo demultiplexados, mediante el uso del procedimiento de decodificación descrito en la Realización mencionada anteriormente, en el televisor ex300. La unidad de salida ex309 proporciona la señal de vídeo decodificada y la señal de audio exterior, respectivamente. Cuando la unidad de salida ex309 proporciona la señal de vídeo y la señal de audio, las señales se pueden almacenar temporalmente en memorias intermedias ex318 y ex319, y otras, para que las señales se reproduzcan en sincronización entre sí. Además, el televisor ex300 puede leer datos multiplexados no a través de una emisión y otros, sino de los medios de grabación ex215 y ex216, tales como un disco magnético, un disco óptico y una tarjeta SD. A continuación, se describirá una configuración en la que el televisor ex300 codifica una señal de audio y una señal de vídeo, y transmite los datos al exterior o escribe los datos en un medio de grabación. En el televisor ex300, tras una operación del usuario desde el controlador remoto ex220 y otros, la unidad de procesamiento de señales de audio ex304 codifica una señal de audio, y la unidad de procesamiento de señales de vídeo ex305 codifica una señal de vídeo, bajo el control de la unidad de control ex310 mediante el uso del procedimiento de codificación descrito en la Realización mencionada anteriormente. La unidad de multiplexación/demultiplexación ex303 multiplexa la señal de vídeo codificada y la señal de audio, y proporciona las señales resultantes al exterior. Cuando la unidad de multiplexación/demultiplexación ex303 multiplexa la señal de vídeo y la señal de audio, las señales se pueden almacenar temporalmente en las memorias intermedias ex320 y ex321, y otras, de forma que las señales se reproduzcan en sincronización entre sí. Aquí, las memorias intermedias ex318, ex319, ex320 y ex321 pueden ser plurales como se ilustra, o al menos una memoria intermedia se puede compartir en el televisor ex300. Además, los datos se pueden almacenar en una memoria intermedia de forma que se pueda evitar el desbordamiento y el subdesbordamiento del sistema entre la unidad de modulación/demodulación ex302 y la unidad de multiplexación/demultiplexación ex303, por ejemplo.

Además, el televisor ex300 puede incluir una configuración para recibir una entrada AV desde un micrófono o una cámara diferente de la configuración para obtener datos de audio y vídeo de una emisión o un medio de grabación, y puede codificar los datos obtenidos. Aunque el televisor ex300 puede codificar, multiplexar y proporcionar datos externos en la descripción, puede ser capaz sólo de recibir, decodificar y proporcionar datos externos pero no de codificar, multiplexar y proporcionar datos externos.

Además, cuando el lector/grabador ex218 lee o escribe datos multiplexados desde o sobre un medio de grabación, uno del televisor ex300 y el lector/grabador ex218 pueden decodificar o codificar los datos multiplexados, y el televisor ex300 y el lector/grabador ex218 pueden compartir la decodificación o codificación.

Como ejemplo, la FIG. 20 ilustra una configuración de una unidad de reproducción/grabación de información ex400 cuando los datos se leen o escriben desde o en un disco óptico. La unidad de reproducción/grabación de información ex400 incluye los elementos constituyentes ex401, ex402, ex403, ex404, ex405, ex406 y ex407 que se describirán en adelante en la presente memoria. El cabezal óptico ex401 irradia un punto láser en una superficie de grabación del medio de grabación ex215 que es un disco óptico para escribir información, y detecta la luz reflejada desde la superficie de grabación del medio de grabación ex215 para leer la información. La unidad de grabación de modulación ex402 acciona eléctricamente un láser semiconductor incluido en el cabezal óptico ex401 y modula la luz láser de acuerdo con los datos registrados. La unidad de demodulación de reproducción ex403 amplifica una señal de reproducción obtenida por medio de la detección eléctrica de la luz reflejada de la superficie de grabación mediante el uso de un fotodetector incluido en el cabezal óptico ex401, y demodula la señal de reproducción por medio de la separación de un componente de señal grabado en el medio de grabación ex215 para reproducir la Información necesaria. La memoria intermedia ex404 contiene temporalmente la información que se va a grabar en el medio de grabación ex215 y la información reproducida desde el medio de grabación ex215. El motor de disco ex405 hace girar el medio de grabación ex215. La unidad de servocontrol ex406 mueve el cabezal óptico ex401 a una pista de información predeterminada mientras controla el accionamiento de rotación del motor de disco ex405 para seguir el punto láser. La unidad de control del sistema ex407 controla en general la unidad de reproducción/grabación de información ex400. Los procesos de lectura y escritura se pueden implementar por medio de la unidad de control del sistema ex407 mediante el uso de diversa información almacenada en la memoria intermedia ex404 y la generación y adición de nueva información de acuerdo con lo necesario, y por la unidad de grabación de modulación ex402, la unidad de demodulación de reproducción ex403 y la unidad de servocontrol. ex406 que registran y reproducen información a través del cabezal óptico ex401 mientras son operados de forma coordinada. La unidad de control del sistema ex407 incluye, por ejemplo, un microprocesador y ejecuta el procesamiento haciendo que un ordenador ejecute un programa de lectura y escritura.

Aunque el cabezal óptico ex401 irradia un punto láser en la descripción, puede llevar a cabo grabaciones de alta densidad mediante el uso de luz de campo cercano.

La FIG. 21 ilustra el medio de grabación ex215 que es el disco óptico. En la superficie de grabación del medio de grabación ex215, se forman acanaladuras guía en espiral, y una pista de información ex230 registra, de antemano, información de dirección que indica una posición absoluta en el disco de acuerdo con el cambio en la forma de las acanaladuras guía. La información de dirección incluye información para determinar posiciones de bloques de grabación ex231 que son una unidad para grabar datos. Reproducir la pista de información ex230 y leer la información de dirección en un aparato que registra y reproduce datos puede conducir a la determinación de las posiciones de los bloques de grabación. Además, el medio de grabación ex215 incluye un área de grabación de datos ex233, un área de circunferencia interior ex232 y un área de circunferencia exterior ex234. El área de grabación de datos ex233 es un área para usar en el registro de datos del usuario. El área de circunferencia interior ex232 y el área de circunferencia exterior ex234 que están dentro y fuera del área de grabación de datos ex233, respectivamente, son para uso específico excepto para registrar los datos del usuario. La unidad de reproducción/grabación de información 400 lee y escribe audio codificado, datos de vídeo codificados o datos multiplexados obtenidos por medio de la multiplexación de los datos de audio y vídeo codificados, desde y sobre el área de grabación de datos ex233 del medio de grabación ex215.

Aunque en la descripción se describe como ejemplo un disco óptico que tiene una capa, tal como un DVD y un BD, el disco óptico no se limita a ello, y puede ser un disco óptico que tiene una estructura de múltiples capas y capaz de grabarse en un parte diferente de la superficie. Además, el disco óptico puede tener una estructura para grabación/reproducción multidimensional, tal como grabación de información mediante el uso de luz de colores con diferentes longitudes de onda en la misma porción del disco óptico y para grabar información que tiene diferentes capas desde varios ángulos.

Además, un automóvil ex210 que tiene una antena ex205 puede recibir datos del satélite ex202 y otros, y reproducir vídeo en un dispositivo de visualización tal como un sistema de navegación para automóvil ex211 instalado en el automóvil ex210, en el sistema de radiodifusión digital ex200. En este caso, una configuración del sistema de navegación para automóvil ex211 será una configuración que incluya, por ejemplo, una unidad de recepción de GPS de la configuración ilustrada en la FIG. 19. Lo mismo ocurrirá con la configuración del ordenador ex111, el teléfono celular ex114 y otros.

La FIG. 22A ilustra el teléfono celular ex114 que usa el procedimiento de codificación de vídeo y el procedimiento de decodificación de vídeo descritos en la Realización mencionada anteriormente. El teléfono celular ex114 incluye: una antena ex350 para transmitir y recibir ondas de radio a través de la estación de base ex110; una unidad de cámara ex365 capaz de capturar imágenes fijas y en movimiento; y una unidad de visualización ex358 tal como una pantalla de cristal líquido para exhibir datos tales como vídeo decodificado capturado por la unidad de cámara ex365 o recibido por la antena ex350. El teléfono celular ex114 además incluye: una unidad de cuerpo principal que incluye un conjunto de teclas de operación ex366; una unidad de salida de audio ex357 tal como un altavoz para salida de audio; una unidad de entrada de audio ex356 tal como un micrófono para entrada de audio; una unidad de memoria ex367 para almacenar vídeo capturado o imágenes fijas, audio grabado, datos codificados o decodificados del vídeo recibido, imágenes fijas, correos electrónicos u otros; y una unidad de ranura ex364 que es una unidad de interfaz para un medio de grabación que almacena datos de la misma manera que la unidad de memoria ex367.

A continuación, se describirá un ejemplo de una configuración del teléfono celular ex114 con referencia a la FIG. 22B. En el teléfono celular ex114, una unidad de control principal ex360 diseñada para controlar en general cada unidad del cuerpo principal, incluida la unidad de visualización ex358, así como las teclas de operación ex366, está conectada entre sí, a través de un bus síncrono ex370, a una unidad de circuito de suministro de energía ex361, una unidad de control de entrada de operación ex362, una unidad de procesamiento de señales de vídeo ex355, una unidad de interfaz de cámara ex363, una unidad de control de pantalla de cristal líquido (LCD) ex359, una unidad de modulación/demodulación ex352, una unidad de multiplexación/demultiplexación ex353, una unidad de procesamiento de señales de audio ex354, la unidad de ranura ex364 y la unidad de memoria ex367.

Cuando una tecla de fin de llamada o una tecla de encendido se activa por medio de la operación de un usuario, la unidad de circuito de suministro de energía ex361 suministra energía a las unidades respectivas desde un paquete de batería para activar el teléfono celular ex114.

En el teléfono celular ex114, la unidad de procesamiento de señales de audio ex354 convierte las señales de audio recopiladas por la unidad de entrada de audio ex356 en modo de conversación de voz en señales de audio digital bajo el control de la unidad de control principal ex360 que incluye una CPU, ROM y RAM. Posteriormente, la unidad de modulación/demodulación ex352 lleva a cabo un procesamiento de espectro ensanchado en las señales de audio digital, y la unidad de transmisión y recepción ex351 lleva a cabo conversión de digital a analógico y conversión de frecuencia en los datos, para transmitir los datos resultantes a través de la antena ex350. Además, en el teléfono celular ex114, la unidad de transmisión y recepción ex351 amplifica los datos recibidos por la antena ex350 en modo de conversación de voz y lleva a cabo la conversión de frecuencia y la conversión de analógico a digital en los datos. Posteriormente, la unidad de modulación/demodulación ex352 lleva a cabo un procesamiento de espectro ensanchado inverso en los datos, y la unidad de procesamiento de señales de audio ex354 los convierte en señales de audio analógicas, para emitirlas a través de la unidad de salida de audio ex357.

Además, cuando se transmite un correo electrónico en modo de comunicación de datos, los datos de texto del correo electrónico introducido por medio de la operación de las teclas de operación ex366 y otras del cuerpo principal se envían a la unidad de control principal ex360 a través de la unidad de control de entrada de operación ex362. La unidad de control principal ex360 hace que la unidad de modulación/demodulación ex352 lleve a cabo un procesamiento de espectro ensanchado en los datos de texto, y la unidad de transmisión y recepción ex351 lleva a cabo la conversión de digital a analógico y la conversión de frecuencia de los datos resultantes para transmitir los datos a la estación de base ex110 a través de la antena ex350. Cuando se recibe un correo electrónico, se lleva a cabo un procesamiento que es aproximadamente inverso al procesamiento para transmitir un correo electrónico sobre los datos recibidos, y los datos resultantes se proporcionan a la unidad de visualización ex358.

Cuando se transmite o se transmiten vídeo, imágenes fijas o vídeo y audio en modo de comunicación de datos, la unidad de procesamiento de señales de vídeo ex355 comprime y codifica señales de vídeo suministradas desde la unidad de cámara ex365 mediante el uso del procedimiento de codificación de vídeo mostrado en la Realización mencionada anteriormente (es decir, que la unidad de procesamiento de señales de vídeo ex355 sirve como el aparato de codificación de imágenes de acuerdo con la presente invención), y transmite los datos de vídeo codificados a la unidad de multiplexación/demultiplexación ex353. Por el contrario, cuando la unidad de cámara ex365 captura vídeo, imágenes fijas y otros, la unidad de procesamiento de señales de audio ex354 codifica señales de audio recopiladas por la unidad de entrada de audio ex356 y transmite los datos de audio codificados a la unidad de multiplexación/demultiplexación ex353.

La unidad de multiplexación/demultiplexación ex353 multiplexa los datos de vídeo codificados suministrados desde la unidad de procesamiento de señales de vídeo ex355 y los datos de audio codificados suministrados desde la unidad de procesamiento de señales de audio ex354, mediante el uso de un procedimiento predeterminado. Posteriormente, la unidad de modulación/demodulación ex352 lleva a cabo procesamiento de espectro ensanchado en los datos multiplexados, y la unidad de transmisión y recepción ex351 lleva a cabo una conversión de digital a analógico y una conversión de frecuencia en los datos para transmitir los datos resultantes a través de la antena ex350.

Al recibir datos de un archivo de vídeo que está vinculado a una página Web y otras en modo de comunicación de datos o al recibir un correo electrónico con vídeo y/o audio adjunto, a fin de decodificar los datos multiplexados recibidos a través de la antena ex350, la unidad de multiplexación/demultiplexación ex353 demultiplexa los datos multiplexados en un flujo de bits de datos de vídeo y un flujo de bits de datos de audio, y suministra a la unidad de procesamiento de señales de vídeo ex355 los datos de vídeo codificados y a la unidad de procesamiento de señales de audio ex354 los datos de audio codificados, a través del bus síncrono ex370. La unidad de procesamiento de señales de vídeo ex355 decodifica la señal de vídeo mediante el uso de un procedimiento de decodificación de vídeo correspondiente al procedimiento de codificación mostrado en cada una de las Realizaciones, y posteriormente la unidad de visualización ex358 muestra, por ejemplo, el vídeo y las imágenes fijas incluidas en el archivo de vídeo vinculado a la página web a través de la unidad de control LCD ex359. Además, la unidad de procesamiento de señales de audio ex354 decodifica la señal de audio y la unidad de salida de audio ex357 proporciona el audio.

Además, de forma similar al televisor ex300, un terminal tal como el teléfono celular ex114 probablemente tenga 3 tipos de configuraciones de implementación que incluyen no sólo (i) un terminal transmisor y receptor que incluye tanto un aparato de codificación como un aparato de decodificación, sino también (ii) un terminal transmisor que incluye únicamente un aparato de codificación y (iii) un terminal receptor que incluye únicamente un aparato de decodificación. Aunque el sistema de radiodifusión digital ex200 recibe y transmite los datos multiplexados obtenidos por medio de la multiplexación de datos de audio en datos de vídeo en la descripción, los datos multiplexados pueden ser datos obtenidos por medio de la multiplexación de no datos de audio sino datos de caracteres relacionados con vídeo en datos de vídeo, y pueden no ser datos multiplexados sino datos de vídeo en sí.

Como tal, el procedimiento de codificación de vídeo y el procedimiento de decodificación de vídeo en la Realización mencionada anteriormente se pueden usar en cualquiera de los dispositivos y sistemas descritos. De este modo, se pueden obtener las ventajas descritas en la Realización mencionada anteriormente.

Además, la presente invención no se limita a la Realización mencionada anteriormente, y son posibles diversas modificaciones y revisiones sin apartarse del alcance de la presente invención.

Realización 3

Los datos de vídeo se pueden generar por medio del intercambio, de acuerdo con lo necesario, entre (i) el procedimiento de codificación de vídeo o el aparato de codificación de vídeo mostrado en cada una de las Realizaciones y (ii) un procedimiento de codificación de vídeo o un aparato de codificación de vídeo en conformidad con un estándar diferente, tal como como MPEG-2, MPEG-4-AVC y Vc -1.

Aquí, cuando se genera y posteriormente se decodifica una pluralidad de datos de vídeo que se ajustan a los diferentes estándares, es necesario seleccionar los procedimientos de decodificación para que se ajusten a los diferentes estándares. Sin embargo, dado que no se puede detectar a qué estándar se ajusta cada uno de la pluralidad de datos de vídeo a decodificar, existe el problema de que no se puede seleccionar un procedimiento de decodificación apropiado.

A fin de resolver el problema, los datos multiplexados obtenidos por medio de la multiplexación de datos de audio y otros en datos de vídeo tienen una estructura que incluye información de identificación que indica a qué estándar se ajustan los datos de vídeo. En adelante en la presente memoria se describirá la estructura específica de los datos multiplexados, incluidos los datos de vídeo generados en el procedimiento de codificación de vídeo y por el aparato de codificación de vídeo mostrado en cada una de las Realizaciones. Los datos multiplexados son un flujo digital en el formato de Flujo de Transporte MPEG-2.

La FIG. 23 ilustra una estructura de los datos multiplexados. Como se ilustra en la FIG. 23, los datos multiplexados se pueden obtener por medio de la multiplexación de al menos uno de un flujo de vídeo, un flujo de audio, un flujo de gráficos de presentación (PG) y un flujo de gráficos interactivos. El flujo de vídeo representa vídeo primario y vídeo secundario de una película, el flujo de audio (IG) representa una parte de audio primaria y una parte de audio secundaria que se mezclarán con la parte de audio principal, y el flujo de gráficos de presentación representa subtítulos de la película. Aquí, el vídeo principal es un vídeo normal que se exhibe en una pantalla, y el vídeo secundario es un vídeo que se exhibirá en una ventana más pequeña en el vídeo principal. Además, el flujo de gráficos interactivos representa una pantalla interactiva que se generará por medio de la disposición de los componentes de la GUI en una pantalla. El flujo de vídeo se codifica en el procedimiento de codificación de vídeo o por medio del aparato de codificación de vídeo mostrado en cada una de las Realizaciones, o en un procedimiento de codificación de vídeo o por medio de un aparato de codificación de vídeo en conformidad con un estándar convencional, tal como MPEG-2, MPEG-4-AVC. y VC-1. La transmisión de audio se codifica de acuerdo con un estándar, tal como DolbyAC-3, Dolby Digital Plus, MLP, DTS, DTS-HD y PCM lineal.

Cada flujo incluido en los datos multiplexados se identifica por medio de PID. Por ejemplo, 0x1011 se asigna al flujo de vídeo que se usará para el vídeo de una película, 0x1100 a 0x111F se asignan a los flujos de audio, 0x1200 a 0x121F se asignan a los flujos de gráficos de presentación, 0x1400 a 0x141F se asignan a los flujos de gráficos interactivos, 0x1B00 a 0x1BF1 se asignan a los flujos de vídeo que se usarán para el vídeo secundario de la película, y 0x1A00 a 0x1A1F se asignan a los flujos de audio que se usarán para que el vídeo secundario se mezcle con el audio principal.

La FIG. 24 ilustra esquemáticamente cómo se multiplexan los datos. En primer lugar, un flujo de vídeo ex235 compuesto por tramas de vídeo y un flujo de audio ex238 compuesto por tramas de audio se transforman en un flujo de paquetes PES ex236 y un flujo de paquetes PES ex239, y además en paquetes TS ex237 y paquetes TS ex240, respectivamente. De forma similar, los datos de un flujo de gráficos de presentación ex241 y los datos de un flujo de gráficos interactivos ex244 se transforman en un flujo de paquetes PES ex242 y un flujo de paquetes PES ex245, y además en paquetes TS ex243 y paquetes TS ex246, respectivamente. Estos paquetes TS se multiplexan en un flujo para obtener datos multiplexados ex247.

La FIG. 25 ilustra con más detalle cómo se almacena un flujo de vídeo en un flujo de paquetes PES. La primera barra en la FIG. 25 muestra un flujo de tramas de vídeo en un flujo de vídeo. La segunda barra muestra el flujo de paquetes PES. Como lo indican las flechas indicadas como yy1, yy2, yy3 e yy4 en la FIG. 25, el flujo de vídeo se divide en imágenes como imágenes I, imágenes B e imágenes P, cada una de las cuales es una unidad de presentación de vídeo, y las imágenes se almacenan en una carga útil de cada uno de los paquetes PES. Cada uno de los paquetes PES tiene un encabezado PES, y el encabezado PES almacena un Sello de Tiempo de Presentación (PTS) que indica un tiempo de visualización de la imagen, y un Sello de Tiempo de Decodificación (DTS) que indica un tiempo de decodificación de la imagen.

La FIG. 26 ilustra un formato de paquetes TS que finalmente se escribirán en los datos multiplexados. Cada uno de los paquetes TS es un paquete de longitud fija de 188 bytes que incluye un encabezado TS de 4 bytes que tiene información, tal como un PID para identificar un flujo y una carga útil TS de 184 bytes para almacenar datos. Los paquetes PES se dividen y almacenan en las cargas útiles TS, respectivamente. Cuando se usa una BD ROM, a cada uno de los paquetes TS se le asigna unTP_Extra_Headerde 4 bytes, lo que da como resultado paquetes de origen de 192 bytes. Los paquetes de origen se escriben en los datos multiplexados. ElTP_Extra_Headeralmacena información tal comoArrival_Time_Stamp(ATS). El ATS muestra una hora de inicio de transferencia en la que cada uno de los paquetes TS se debe transferir a un filtro PID. Los paquetes de origen están dispuestos en los datos multiplexados como se muestra en la parte inferior de la FIG. 26. Los números que se incrementan desde el principio de los datos multiplexados se denominan números de paquete de origen (SPN).

Cada uno de los paquetes TS incluidos en los datos multiplexados incluye no sólo flujos de audio, vídeo, subtítulos y otros, sino también una Tabla de Asociación de Programas (PAT), una Tabla de Mapa de Programas (PMT) y una Referencia de Reloj de Programas (PCR). El PAT muestra lo que indica un PID en una PMT usada en los datos multiplexados, y un PID de la propia PAT se registra como cero. La PMT almacena los PID de los flujos de vídeo, audio, subtítulos y otros incluidos en los datos multiplexados, e información de atributos de los flujos correspondientes a los PID. La PMT también tiene varios descriptores relacionados con los datos multiplexados. Los descriptores tienen información tal como información de control de copia que muestra si se permite o no la copia de los datos multiplexados. El PCR almacena información de tiempo STC correspondiente a un ATS que muestra cuándo se transfiere el paquete PCR a un decodificador, a fin de lograr la sincronización entre un Reloj de Tiempo de Llegada (ATC) que es un eje de tiempo de los ATS y un Reloj de Tiempo del Sistema (STC) que es un eje de tiempo de PTS y DTS.

La FIG. 27 ilustra en detalle la estructura de datos de la PMT. Un encabezado de PMT está dispuesto en la parte superior de la PMT. El encabezado de PMT describe la longitud de los datos incluidos en la PMT y otros. Después del encabezado de PMT se dispone una pluralidad de descriptores relacionados con los datos multiplexados. La información tal como la información de control de copia se describe en los descriptores. Después de los descriptores, se dispone una pluralidad de fragmentos de información de flujo relacionados con los flujos incluidos en los datos multiplexados. Cada pieza de información de flujo incluye descriptores de flujo, cada uno de los cuales describe información, tal como un tipo de flujo para identificar un códec de compresión de un flujo, un PID de flujo e información de atributos de flujo (tal como una velocidad de trama o una relación de aspecto). Los descriptores de flujo son iguales en número al número de flujos en los datos multiplexados.

Cuando los datos multiplexados se graban en un soporte de grabación y otros, se graban junto con archivos de información de datos multiplexados.

Cada uno de los archivos de información de datos multiplexados es información de gestión de los datos multiplexados como se muestra en la FIG. 28. Los archivos de información de datos multiplexados están en correspondencia uno a uno con los datos multiplexados, y cada uno de los archivos incluye información de datos multiplexados, información de atributos de flujo y un mapa de entrada.

Como se ilustra en la FIG. 28, los datos multiplexados incluyen una velocidad del sistema, una hora de inicio de reproducción y una hora de finalización de reproducción. La velocidad del sistema indica la velocidad de transferencia máxima a la que un decodificador objetivo del sistema que se describirá más adelante transfiere los datos multiplexados a un filtro PID. Los intervalos de los ATS incluidos en los datos multiplexados no deben ser superiores a la velocidad del sistema. El tiempo de inicio de la reproducción indica un PTS en una trama de vídeo al principio de los datos multiplexados. Se añade un intervalo de una trama a un PTS en una trama de vídeo al final de los datos multiplexados, y el PTS se fija en el tiempo de finalización de la reproducción.

Como se muestra en la FIG. 29, se registra un fragmento de información de atributos en la información de atributos de flujo, para cada PID de cada flujo incluido en los datos multiplexados. Cada pieza de información de atributos tiene información diferente dependiendo de si el flujo correspondiente es un flujo de vídeo, un flujo de audio, un flujo de gráficos de presentación o un flujo de gráficos interactivos. Cada pieza de información de atributos del flujo de vídeo contiene información que incluye qué tipo de códec de compresión se usa para comprimir el flujo de vídeo y la resolución, la relación de aspecto y la velocidad de trama de los datos de imagen que se incluyen en el flujo de vídeo. Cada pieza de información de atributos de flujo de audio contiene información que incluye qué tipo de códec de compresión se usa para comprimir la transmisión de audio, cuántos canales se incluyen en la transmisión de audio, qué idioma admite la transmisión de audio y qué tan alta es la frecuencia de muestreo. La información de atributos del flujo de vídeo y la información de atributos de flujo de audio se usan para la inicialización de un decodificador antes de que el reproductor reproduzca la información.

En la presente realización, los datos multiplexados a usar son de un tipo de flujo incluido en la PMT. Además, cuando los datos multiplexados se graban en un medio de grabación, se usa la información de atributos del flujo de vídeo incluida en la información de datos multiplexados. Más específicamente, el procedimiento de codificación de vídeo o el aparato de codificación de vídeo descrito en cada una de las Realizaciones incluye una etapa o una unidad para asignar información única que indica datos de vídeo generados por el procedimiento de codificación de vídeo o el aparato de codificación de vídeo en cada una de las Realizaciones, al tipo de flujo incluido en la PMT o la información de atributos del flujo de vídeo. Con la configuración, los datos de vídeo generados por el procedimiento de codificación de vídeo o el aparato de codificación de vídeo descrito en cada una de las Realizaciones se pueden distinguir de los datos de vídeo que se ajustan a otro estándar.

Además, la FIG. 30 ilustra las etapas del procedimiento de decodificación de vídeo de acuerdo con la Realización 9. En la Etapa exS100, el tipo de flujo incluido en la PMT o la información de atributos del flujo de vídeo se obtiene a partir de los datos multiplexados. A continuación, en la Etapa exS101, se determina si el tipo de flujo o la información de atributos del flujo de vídeo indica o no que los datos multiplexados se generan por medio del procedimiento de codificación de vídeo o el aparato de codificación de vídeo en cada una de las Realizaciones. Cuando se determina que el tipo de flujo o la información de atributos del flujo de vídeo indica que los datos multiplexados se generan por medio del procedimiento de codificación de vídeo o el aparato de codificación de vídeo en cada una de las Realizaciones, en la Etapa exS102, el tipo de flujo o la información de atributos del flujo de vídeo se decodifica por medio del procedimiento de decodificación de vídeo en cada una de las Realizaciones. Además, cuando el tipo de flujo o la información de atributos del flujo de vídeo indica conformidad con los estándares convencionales, tales como m PeG-2, MPEG-4-AVC y VC-1, en la Etapa exS103, el tipo de flujo o la información de atributos del flujo de vídeo se decodifica por medio de un procedimiento de decodificación de vídeo en conformidad con los estándares convencionales.

Como tal, asignar un nuevo valor único al tipo de flujo o a la información de atributos del flujo de vídeo permite determinar si el procedimiento de decodificación de vídeo o el aparato de decodificación de vídeo que se describe en cada una de las Realizaciones puede llevar a cabo la decodificación. Incluso cuando se multiplexan datos que se ajustan a un estándar diferente, se puede seleccionar un procedimiento o un aparato de decodificación apropiado. Por lo tanto, es posible decodificar información sin ningún error. Además, el procedimiento o el aparato de codificación de vídeo, o el procedimiento o el aparato de decodificación de vídeo en esta Realización se pueden usar en los dispositivos y sistemas descritos anteriormente.

Realización 4

Cada uno del procedimiento de codificación de vídeo, el aparato de codificación de vídeo, el procedimiento de decodificación de vídeo y el aparato de decodificación de vídeo en cada una de las Realizaciones se logra típicamente en forma de un circuito integrado o un circuito Integrado a Gran Escala (LSI). Como ejemplo del LSI, la FIG. 31 ilustra una configuración del LSI ex500 que se convierte en un chip. El LSI ex500 incluye los elementos ex501, ex502, ex503, ex504, ex505, ex506, ex507, ex508 y ex509 que se describirán a continuación, y los elementos están conectados entre sí a través de un bus ex510. La unidad de circuito de suministro de energía ex505 se activa por medio del suministro de energía a cada uno de los elementos cuando se enciende la unidad de circuito de suministro de energía ex505.

Por ejemplo, cuando se lleva a cabo la codificación, el LSI ex500 recibe una señal AV desde un micrófono ex117, una cámara ex113 y otros a través de una E/S de AV ex509 bajo el control de una unidad de control ex501 que incluye una CPU ex502, un controlador de memoria ex503, un controlador de flujo ex504, y una unidad de control de frecuencia de conducción ex512. La señal AV recibida se almacena temporalmente en una memoria externa ex511, tal como una SDRAM. Bajo el control de la unidad de control ex501, los datos almacenados se segmentan en porciones de datos de acuerdo con la cantidad de procesamiento y la velocidad que se transmitirán a una unidad de procesamiento de señales ex507. Posteriormente, la unidad de procesamiento de señales ex507 codifica una señal de audio y/o una señal de vídeo. Aquí, la codificación de la señal de vídeo es la codificación descrita en cada una de las Realizaciones. Además, la unidad de procesamiento de señales ex507 algunas veces multiplexa los datos de audio codificados y los datos de vídeo codificados, y una E/S de flujo ex506 proporciona los datos multiplexados en el exterior. Los datos multiplexados proporcionados se transmiten a una estación de base ex107 o se escriben en el medio de grabación ex215. Cuando los conjuntos de datos se multiplexan, los datos se deben almacenar temporalmente en la memoria intermedia ex508 para que los conjuntos de datos se sincronicen entre sí.

Aunque la memoria ex511 es un elemento externo al LSI ex500, puede estar incluida en el LSI ex500. La memoria intermedia ex508 no se limita a una memoria intermedia, sino que puede estar compuesto por memorias intermedias. Además, el LSI ex500 se puede convertir en un chip o en varios chips.

Además, aunque la unidad de control ex501 incluye la CPU ex502, el controlador de memoria ex503, el controlador de flujo ex504, la unidad de control de frecuencia de conducción ex512, la configuración de la unidad de control ex501 no se limita a ello. Por ejemplo, la unidad de procesamiento de señales ex507 puede incluir además una CPU. La inclusión de otra CPU en la unidad de procesamiento de señales ex507 puede mejorar la velocidad de procesamiento. Además, como otro ejemplo, la CPU ex502 puede servir como parte de la unidad de procesamiento de señales ex507 y, por ejemplo, puede incluir una unidad de procesamiento de señales de audio. En tal caso, la unidad de control ex501 incluye la unidad de procesamiento de señales ex507 o la CPU ex502 que incluye una parte de la unidad de procesamiento de señales ex507.

El nombre usado aquí es LSI, pero también se puede denominar como IC, sistema LSI, súper LSI o ultra LSI de acuerdo con el grado de integración.

Además, las formas de lograr la integración no se limitan al LSI, y un circuito especial o un procesador de propósito general, etc., también pueden lograr la integración. Para el mismo propósito se puede usar una Matriz de Puerta Programable en Campo (FPGA) que se puede programar después de fabricar LSI o un procesador reconfigurable que permite la reconfiguración de la conexión o configuración de un LSI.

En el futuro, con los avances en la tecnología de semiconductores, una tecnología completamente nueva podría reemplazar al LSI. Los bloques funcionales se pueden integrar mediante el uso de dicha tecnología. La posibilidad es que la presente invención se aplique a la biotecnología.

Realización 5

Cuando los datos de vídeo se decodifican en el procedimiento de codificación de vídeo o por medio del aparato de codificación de vídeo descrito en cada una de las Realizaciones, en comparación con cuando los datos de vídeo que se ajustan a un estándar convencional, tal como MPEG-2, MPEG-4-AVC y VC-1, la cantidad de procesamiento probablemente aumente. Por lo tanto, el LSI ex500 se debe configurar a una frecuencia de conducción superior a la de la CPU ex502 para usarse cuando se decodifican datos de vídeo en conformidad con el estándar convencional. Sin embargo, cuando la frecuencia de conducción se establece más alta, existe el problema de que aumenta el consumo de energía.

A fin de resolver el problema, el aparato de decodificación de vídeo, tal como el televisor ex300 y el LSI ex500, está configurado para determinar a qué estándar se ajustan los datos de vídeo y cambiar entre las frecuencias de conducción de acuerdo con el estándar determinado. La FIG. 32 ilustra una configuración ex800 en la presente realización. Una unidad de conmutación de frecuencia de conducción ex803 establece una frecuencia de conducción a una frecuencia de conducción más alta cuando los datos de vídeo se generan por medio del procedimiento de codificación de vídeo o el aparato de codificación de vídeo descrito en cada una de las Realizaciones. Posteriormente, la unidad de conmutación de frecuencia de conducción ex803 instruye a una unidad de procesamiento de decodificación ex801 que ejecute el procedimiento de decodificación de vídeo descrito en cada una de las Realizaciones para decodificar los datos de vídeo. Cuando los datos de vídeo se ajustan al estándar convencional, la unidad de conmutación de frecuencia de conducción ex803 establece una frecuencia de conducción a una frecuencia de conducción más baja que la de los datos de vídeo generados por el procedimiento de codificación de vídeo o el aparato de codificación de vídeo descrito en cada una de las Realizaciones. Posteriormente, la unidad de conmutación de frecuencia de conducción ex803 instruye a la unidad de procesamiento de decodificación ex802 que se ajuste al estándar convencional para decodificar los datos de vídeo.

Más específicamente, la unidad de conmutación de frecuencia de conducción ex803 incluye la CPU ex502 y la unidad de control de frecuencia de conducción ex512 en la FIG. 31. Aquí, cada una de la unidad de procesamiento de decodificación ex801 que ejecuta el procedimiento de decodificación de vídeo descrito en cada una de las Realizaciones y la unidad de procesamiento de decodificación ex802 que se ajusta al estándar convencional corresponde a la unidad de procesamiento de señales ex507 en la FIG. 31. La CPU ex502 determina a qué estándar se ajustan los datos de vídeo. Posteriormente, la unidad de control de frecuencia de conducción ex512 determina una frecuencia de conducción en base a una señal procedente de la CPU ex502. Además, la unidad de procesamiento de señales ex507 decodifica los datos de vídeo en base a una señal de la CPU ex502. Por ejemplo, la información de identificación descrita en la Realización 3 probablemente se use para identificar los datos de vídeo. La información de identificación no se limita a la descrita en la Realización 3, sino que puede ser cualquier información a condición de que la información indique a qué estándar se ajustan los datos de vídeo. Por ejemplo, cuando se puede determinar a qué estándar se ajustan los datos de vídeo en base a una señal externa para determinar que los datos de vídeo se usan para un televisor o un disco, etc. la determinación se puede llevar a cabo en base a dicha señal externa. Además, la CPU ex502 selecciona una frecuencia de conducción en base, por ejemplo, a una tabla de consulta en la que los estándares de los datos de vídeo están asociados con las frecuencias de conducción como se muestra en la f Ig .34. La frecuencia de conducción se puede seleccionar por medio del almacenamiento de la tabla de búsqueda en la memoria intermedia ex508 y una memoria interna de un LSI y con referencia a la tabla de búsqueda por la CPU ex502.

La FIG. 33 ilustra las etapas para ejecutar un procedimiento en la Realización 11. Primero, en la Etapa exS200, la unidad de procesamiento de señales ex507 obtiene información de identificación a partir de los datos multiplexados. A continuación, en la Etapa exS201, la CPU ex502 determina si los datos de vídeo se generan o no en base a la información de identificación por medio del procedimiento de codificación y el aparato de codificación descrito en cada una de las Realizaciones. Cuando los datos de vídeo se generan por medio del procedimiento de codificación de vídeo y el aparato de codificación de vídeo descrito en cada una de las Realizaciones, en la Etapa exS202, la CPU ex502 transmite una señal para configurar la frecuencia de conducción a una frecuencia de conducción más alta a la unidad de control de frecuencia de conducción ex512. Posteriormente, la unidad de control de frecuencia de conducción ex512 ajusta la frecuencia de conducción a la frecuencia de conducción más alta. Por otro lado, cuando la información de identificación indica que los datos de vídeo se ajustan al estándar convencional, tal como MPEG-2, MPEG-4-AVC y VC-1, en la Etapa exS203, la CPU ex502 transmite una señal para configurar la frecuencia de conducción a un frecuencia de conducción más baja a la unidad de control de frecuencia de conducción ex512. Posteriormente, la unidad de control de frecuencia de conducción ex512 establece la frecuencia de conducción a la frecuencia de conducción más baja que la del caso en el que los datos de vídeo se generan por medio del procedimiento de codificación de vídeo y el aparato de codificación de vídeo descrito en cada una de las Realizaciones.

Además, junto con la conmutación de las frecuencias de conducción, el efecto de conservación de energía se puede mejorar por medio del intercambio del voltaje que se aplicará al LSI ex500 o a un aparato que incluya el LSI ex500. Por ejemplo, cuando la frecuencia de conducción se establece más baja, el voltaje que se aplicará al LSI ex500 o al aparato que incluye el LSI ex500 probablemente se establece en un voltaje más bajo que en el caso en que la frecuencia de conducción se establece más alta.

Además, cuando la cantidad de procesamiento para decodificar es mayor, la frecuencia de conducción se puede establecer más alta, y cuando la cantidad de procesamiento para decodificar es menor, la frecuencia de conducción se puede establecer más baja como el procedimiento para configurar la frecuencia de conducción. Por lo tanto, el procedimiento de configuración no se limita a los descritos anteriormente. Por ejemplo, cuando la cantidad de procesamiento para decodificar los datos de vídeo en conformidad con MPEG-4-AVC es mayor que la cantidad de procesamiento para decodificar los datos de vídeo generados por el procedimiento de codificación de vídeo y el aparato de codificación de vídeo descrito en cada una de las Realizaciones, la frecuencia de conducción probablemente esté configurada en orden inverso al ajuste descrito anteriormente.

Además, el procedimiento para configurar la frecuencia de conducción no se limita al procedimiento para configurar la frecuencia de conducción más baja. Por ejemplo, cuando la información de identificación indica que los datos de vídeo se generan por medio del procedimiento de codificación de vídeo y el aparato de codificación de vídeo descrito en cada una de las Realizaciones, el voltaje que se aplicará al LSI ex500 o al aparato que incluye el LSI ex500 probablemente se establezca en un valor más alto. Cuando la información de identificación indica que los datos de vídeo se ajustan al estándar convencional, tal como MPEG-2, MPEG-4-AVC y VC-1, el voltaje que se aplicará al LSI ex500 o el aparato que incluye el LSI ex500 probablemente esté en un nivel más bajo. Como otro ejemplo, cuando la información de identificación indica que los datos de vídeo se generan por medio del procedimiento de codificación de vídeo y el aparato de codificación de vídeo descrito en cada una de las Realizaciones, probablemente no sea necesario suspender la conducción de la CPU ex502. Cuando la información de identificación indica que los datos de vídeo se ajustan al estándar convencional, tal como MPEG-2, MPEG-4-AVC y VC-1, la conducción de la CPU ex502 probablemente se suspende en un momento dado porque la CPU ex502 tiene capacidad de procesamiento adicional. Incluso cuando la información de identificación indica que los datos de vídeo se generan por medio del procedimiento de codificación de vídeo y el aparato de codificación de vídeo descrito en cada una de las Realizaciones, en el caso en el que la CPU ex502 pueda tener un retraso de tiempo, la conducción de la CPU ex502 probablemente se suspenda en un momento dado. En tal caso, el tiempo de suspensión probablemente se establece más corto que en el caso en que la información de identificación indique que los datos de vídeo se ajustan al estándar convencional, tal como MPEG-2, MPEG-4-AVC y VC-1.

En consecuencia, el efecto de conservación de energía se puede mejorar por medio del intercambio entre las frecuencias de conducción de acuerdo con el estándar al que se ajustan los datos de vídeo. Además, cuando el LSI ex500 o el aparato que incluye el LSI ex500 se acciona mediante el uso de una batería, la vida útil de la batería se puede ampliar con el efecto de conservación de energía.

Realización 6

Hay casos en los que se proporciona una pluralidad de datos de vídeo que se ajustan a un estándar diferente a los dispositivos y sistemas, tales como un televisor y un teléfono móvil. A fin de permitir la decodificación de la pluralidad de datos de vídeo que cumplen con los diferentes estándares, la unidad de procesamiento de señales ex507 del LSI ex500 necesita cumplir con los diferentes estándares. Sin embargo, los problemas de aumento de la escala del circuito del LSI ex500 y aumento del coste surgen con el uso individual de las unidades de procesamiento de señales ex507 que se ajustan a los estándares respectivos.

A fin de resolver el problema, lo que se concibe es una configuración en la que la unidad de procesamiento de decodificación para implementar el procedimiento de decodificación de vídeo descrito en cada una de las Realizaciones y la unidad de procesamiento de decodificación que se ajusta al estándar convencional, tal como MPEG-2, MPEG-4-AVC y VC-1 se comparten parcialmente. Además, ex900 en la FIG. 35A muestra otro ejemplo en el que el procesamiento es parcialmente compartido. Por ejemplo, el procedimiento de decodificación de vídeo descrito en cada una de las Realizaciones y el procedimiento de decodificación de vídeo que se ajusta a MPEG-4-AVC tienen, en parte en común, los detalles de procesamiento, tales como la codificación de entropía, la cuantificación inversa, el filtrado de desbloqueo y la predicción con compensación de movimiento. Los detalles del procesamiento a compartir probablemente incluyan el uso de una unidad de procesamiento de decodificación ex902 que se ajuste a MPEG-4-AVC. Por el contrario, probablemente se use una unidad de procesamiento de decodificación dedicada ex901 para otros procesamientos exclusivos de la presente invención. La unidad de procesamiento de decodificación para implementar el procedimiento de decodificación de vídeo descrito en cada una de las Realizaciones se puede compartir para el procesamiento a compartir, y se puede usar una unidad de procesamiento de decodificación dedicada para el procesamiento exclusivo del de MPEG-4-AVC.

Además, ex1000 en la FIG. 35B muestra otro ejemplo en el que el procesamiento es parcialmente compartido. Este ejemplo usa una configuración que incluye una unidad de procesamiento de decodificación dedicada ex1001 que admite el procesamiento exclusivo de la presente invención, una unidad de procesamiento de decodificación dedicada ex1002 que admite el procesamiento exclusivo de otro estándar convencional y una unidad de procesamiento de decodificación ex1003 que admite el procesamiento a compartir entre el procedimiento de decodificación de vídeo de la presente invención y el procedimiento de decodificación de vídeo convencional. Aquí, las unidades de procesamiento de decodificación dedicadas ex1001 y ex1002 no están necesariamente especializadas para el procesamiento de la presente invención y el procesamiento del estándar convencional, respectivamente, y pueden ser las que pueden implementar el procesamiento general. Además, la configuración de la Realización 12 se puede implementar por medio del LSI ex500.

Como tal, es posible reducir la escala del circuito de un LSI y reducir el costo al compartir la unidad de procesamiento de decodificación para que el procesamiento se comparta entre el procedimiento de decodificación de vídeo de la presente invención y el procedimiento de decodificación de vídeo en conformidad con el estándar convencional.

Aplicabilidad industrial

El procedimiento de codificación de imágenes y el procedimiento de decodificación de imágenes de acuerdo con la presente invención tienen el efecto ventajoso de reducir las cargas de procesamiento y se pueden aplicar, por ejemplo, a una cámara de vídeo, un teléfono celular que tiene las funciones de capturar y reproducir vídeo, un ordenador personal, un aparato de grabación y reproducción, etc.

Listado de señales de referencia

1000 aparato de codificación de imágenes

1101 sustractor

1102 unidad de transformación ortogonal

1103 unidad de cuantificación

1104 unidad de codificación de entropía

1105 unidad de cuantificación inversa

1106 unidad de transformación ortogonal inversa

1107 sumador

1108 filtro de desbloqueo

1109 memoria

1110 unidad de intrapredicción

1111 unidad de interpredicción

1112 unidad de estimación de movimiento

1113 conmutador

1200 unidad de control de memoria

2000 aparato de decodificación de imágenes

2101 unidad de decodificación de entropía

2102 unidad de cuantificación inversa

2103 unidad de transformación ortogonal inversa

2104 sumador

2105 filtro de desbloqueo

2106 memoria

2107 unidad de intrapredicción

2108 unidad de interpredicción

2109 conmutador

2200 unidad de control de memoria

Claims

REIVINDICACIONES

1. Un aparato de decodificación de imágenes para decodificar una señal de vídeo que comprende una pluralidad de imágenes clasificadas en capas, cada una de la pluralidad de imágenes pertenece a una de las capas correspondiente, las capas incluyen una primera capa y una segunda capa, en el que

(i) cuando se decodifica una imagen que pertenece a la primera capa, la imagen que pertenece a la primera capa (a) puede hacer referencia a otra imagen que pertenece a la primera capa y (b) no puede hacer referencia a una imagen que pertenece a la segunda capa; y

(ii) cuando se decodifica una imagen que pertenece a la segunda capa, la imagen que pertenece a la segunda capa puede hacer referencia a (a) una imagen que pertenece a la primera capa y (b) otra imagen que pertenece a la segunda capa;

el aparato de decodificación de imágenes comprende:

una unidad de decodificación configurada (i) para decodificar una primera imagen (Bf16) que pertenece a la primera capa con referencia a otra imagen que pertenece a la primera capa y (ii) para decodificar una segunda imagen (Bf8) que pertenece a una de la primera capa y la segunda capa por medio de interpredicción, en el que la segunda imagen (Bf8) precede a la primera imagen (Bf16) en el orden de decodificación, y (iii) para decodificar una tercera imagen (Br12) que pertenece a la segunda capa por medio de interpredicción, en el que la tercera imagen (Br12) sigue a la primera imagen (Bf16) en el orden de decodificación;

caracterizado porque

en el caso de que la primera imagen (Bf16) sea una imagen especificada para prohibir que la tercera imagen (Br12) haga referencia a la segunda imagen (Bf8), la tercera imagen (Br12) se decodifica sin hacer referencia a la segunda imagen (Bf8) que precede a la primera imagen (Bf16) en el orden de decodificación; y en el caso de que la primera imagen (Bf16) no sea la imagen especificada para prohibir que la tercera imagen (Br12) haga referencia a la segunda imagen (Bf8), la tercera imagen (Br12) se puede decodificar con referencia a la segunda imagen (Bf8) que precede a la primera imagen (Bf16) en el orden de decodificación.

2. Un aparato de codificación de imágenes para codificar una señal de vídeo, el aparato de codificación de imágenes incluye:

una unidad (1111) configurada para clasificar una pluralidad de imágenes incluidas en la señal de vídeo en capas, cada una de la pluralidad de imágenes pertenece a una de las capas correspondiente, las capas incluyen una primera capa y una segunda capa; en el que

(i) cuando se codifica y decodifica una imagen que pertenece a la primera capa, la imagen que pertenece a la primera capa (a) puede hacer referencia a otra imagen que pertenece a la primera capa y (b) no puede hacer referencia a una imagen que pertenece a la segunda capa; y

(ii) cuando se codifica y decodifica una imagen que pertenece a la segunda capa, la imagen que pertenece a la segunda capa (a) puede hacer referencia a una imagen que pertenece a la primera capa y (b) otra imagen que pertenece a la segunda capa;

una unidad de codificación configurada (i) para codificar una primera imagen (Bf16) que pertenece a la primera capa con referencia a otra imagen que pertenece a la primera capa y (ii) para codificar una segunda imagen (Bf8) que pertenece a una de la primera capa y la segunda capa por medio de interpredicción, en el que la segunda imagen (Bf8) precede a la primera imagen (Bf16) en orden de codificación, y (iii) para codificar una tercera imagen (Br12) que pertenece a la segunda capa por medio de interpredicción, en el que la tercera imagen (Br12) sigue a la primera imagen (Bf16) en el orden de codificación;

caracterizado porque

en el caso de que la primera imagen (Bf16) sea una imagen especificada para prohibir que la tercera imagen (Br12) haga referencia a la segunda imagen (Bf8), la tercera imagen (Br12) se codifica sin hacer referencia a la segunda imagen (Bf8) que precede a la primera imagen (Bf16) en el orden de codificación y el orden de decodificación; y en el caso de que la primera imagen (Bf16) no sea la imagen especificada para prohibir que la tercera imagen (Br12) haga referencia a la segunda imagen (Bf8), la tercera imagen (Br12) se puede codificar con referencia a la segunda imagen (Bf8) que precede a la primera imagen (Bf16) en el orden de codificación y el orden de decodificación.

3. Un aparato de codificación y decodificación de imágenes que incluye un aparato de codificación de imágenes para codificar una señal de vídeo de acuerdo con la reivindicación 2 y un aparato de decodificación de imágenes para decodificar la señal de vídeo de acuerdo con la reivindicación 1.

4. Un medio no transitorio legible por ordenador que almacena una señal de vídeo, la señal de vídeo comprende una pluralidad de imágenes que se clasifican en capas e incluyen una primera imagen, una segunda imagen y una tercera imagen, en el que la señal de vídeo está codificada por medio de un procedimiento de codificación que incluye:

clasificar la pluralidad de imágenes incluidas en la señal de vídeo en capas, cada una de la pluralidad de imágenes pertenece a una de las capas correspondiente, las capas incluyen una primera capa y una segunda capa superior a la primera capa, en el que (i) cuando se codifica una imagen que pertenece a la primera capa, la imagen que pertenece a la primera capa no puede hacer referencia a otra imagen que pertenece a la segunda capa y (ii) cuando se codifica una imagen que pertenece a la segunda capa, la imagen que pertenece a la segunda capa puede hacer referencia a otra imagen que pertenece a la primera capa;

codificar la primera imagen y la segunda imagen, la segunda imagen precede a la primera imagen en el orden de codificación y pertenece a la primera capa;

codificar la tercera imagen, la tercera imagen que pertenece a la segunda capa y la tercera imagen que sigue a la primera imagen en el orden de codificación;

en el que en el caso de que la primera imagen sea una imagen especificada para prohibir que la tercera imagen haga referencia a la segunda imagen, la tercera imagen se codifica sin hacer referencia a la segunda imagen que precede a la primera imagen en el orden de codificación; y

en el que en el caso de que la primera imagen no sea la imagen especificada para prohibir que la tercera imagen haga referencia a la segunda imagen, la tercera imagen se puede codificar con referencia a la segunda imagen que precede a la primera imagen en el orden de codificación.