ES2400955T3

ES2400955T3 - Aparato de codificación de imágenes y aparato de decodificación de imágenes

Info

Publication number: ES2400955T3
Application number: ES05793797T
Authority: ES
Inventors: Tadamasa Toma; Tomoyuki Okada; Sam Liu
Original assignee: Panasonic Corp; Hewlett Packard Development Co LP
Current assignee: Panasonic Corp; Hewlett Packard Development Co LP
Priority date: 2004-10-07
Filing date: 2005-10-05
Publication date: 2013-04-15
Anticipated expiration: 2025-10-05
Also published as: US8514938B2; HK1107482A1; CN101036391B; EP1800492A1; KR101227330B1; TW200625965A; MY149236A; CN101036391A; WO2006038716A1; KR20070063528A; US20080075168A1; TWI389578B; EP1800492B1; JP2008516514A; JP4838253B2

Abstract

Un aparato de codificación de imágenes (200) que codifica una imagen, comprendiendo dicho aparatode codificación de imágenes (200): una unidad de codificación (211) operable para codificar cada imagen de acuerdo con un tipo de imagen de laimagen; una unidad de generación de mapa (213) operable para generar un mapa que indica una secuencia de imágenesfijas en una unidad de acceso aleatorio que incluye una pluralidad de imágenes codificadas; yuna unidad de escritura (213) operable para escribir, en la unidad de acceso aleatorio, el mapa que es generado pordicha unidad de generación de mapa, caracterizado porque la secuencia de imágenes fijas incluye (i) una imagen de referencia que se posiciona alcomienzo de la secuencia de imágenes fijas en orden de decodificación y (ii) una o más imágenes Saltadasconsecutivas posicionadas inmediatamente después de la imagen de referencia en el orden de decodificación,la imagen Saltada es una imagen que se define para visualizarse con una representación visual de la imagen dereferencia que se decodifica, el mapa es información en la que los tipos de imágenes y las estructuras de imágenes de toda la pluralidad deimágenes codificadas en la unidad de acceso aleatorio se disponen en el orden de decodificación,los tipos de imágenes incluyen: (1) una imagen I que se codifica por predicción intra-imagen; (2) una imagen P quese codifica por predicción inter-imagen con referencia a una imagen solamente; (3) una imagen B que se codifica porpredicción inter-imagen con referencia a dos imágenes; (4) la imagen Saltada que tiene los mismos datos de píxelesque los datos de píxeles de una imagen de referencia inmediatamente anterior en el orden de decodificación; y (5)una imagen BI que se codifica por intra-imagen sin ser consultada por ninguna otra imagen, y las estructuras de imágenes incluyen una estructura de campo, una estructura de cuadro, e información acerca de laconversión.

Description

Aparato de codificación de imágenes y aparato de decodificación de imágenes

ANTECEDENTES DE LA INVENCIÓN

(1) Campo de la invención

La presente invención se refiere a un aparato de codificación de imágenes que codifica una imagen en movimiento, un flujo que se genera mediante un procedimiento de codificación de imágenes usando el aparato de codificación de imágenes, y un aparato de decodificación de imágenes que decodifica el flujo.

(2) Descripción de la técnica relacionada

Un aparato de codificación de imágenes en movimiento de acuerdo con el documento EP 1 589 767 A1 incluye: una unidad de creación de mapa para crear información de reproducción a velocidad variable que es información necesaria para la reproducción a velocidad variable de acuerdo con un tipo de imagen Ptype, una unidad de codificación de longitud variable para codificar el mapa de información de reproducción de velocidad variable y ubicarlo en un flujo de bits Str; una unidad de detección para detectar la necesidad de codificar un conjunto de parámetros de imagen PPS consultado por una imagen actual que codificar, y una unidad de adición de información común para añadir el conjunto de parámetros de imagen PPS a la imagen actual que codificar cuando la unidad de detección detecta la necesidad de codificar el conjunto de parámetros de imagen PPS.

El documento EP 0 588 668 A2 se refiere a la codificación y decodificación de señales de vídeo digitales que tienen imágenes duplicadas y cuadros con campos que se originan a partir de cuadros de diferentes fuentes de películas. La señal de vídeo de entrada tiene una velocidad de campo de 60 Hz y se deriva de una fuente de película de imágenes en movimiento que usa una conversión 2 – 3. En el procedimiento, los primeros cuadros, que constan de campos derivados de diferentes cuadros de la fuente de película de imágenes en movimiento, se detectan en la señal de vídeo de entrada. Después, la señal de vídeo de entrada se codifica de forma predictiva para proporcionar la señal codificada usando segundos cuadros como imágenes de referencia. Los segundos cuadros son cuadros de la señal de vídeo de entrada distintos a los primeros cuadros detectados en la etapa de detección. En un procedimiento alternativo para codificar una señal de vídeo de entrada para proporcionar una señal codificada, se detectan imágenes duplicadas en la señal de vídeo de entrada, y se eliminan las imágenes duplicadas de la señal de vídeo de entrada para proporcionar una señal de entrada del codificador.; La señal de entrada del codificador se codifica de forma predictiva usando plurales procedimientos de codificación predictiva para proporcionar la señal codificada. Finalmente, se incluye una bandera de imagen skip en la señal codificada en lugar de cada imagen duplicada eliminada, y un código de imagen de referencia que identifica un campo que copiar para proporcionar cada imagen duplicada eliminada también se incluye en la señal codificada.

El documento US 2003/0053538 A1 se refiere a la codificación de vídeo. En una forma de realización, se calcula un primer valor cuadrático medio (RMS) para un primer cuadro relacionado con un segundo cuadro, y un segundo cuadro relacionado con un tercer cuadro. Se calcula un segundo valor RMS derivado temporal. En base al menos en parte al segundo valor derivado, el segundo cuadro se designa como un cuadro de cambio de escena.

Recientemente, con la llegada de la era de la multimedia que maneja integralmente audio, vídeo y valores de píxel, los medios de información existentes, por ejemplo, los periódicos, las revistas, la televisión, la radio y el teléfono, y otros medios por los que se transmite información a la gente, se han incluido en el ámbito de la multimedia. Por lo general, multimedia se refiere a una representación en la que no sólo caracteres, sino también símbolos gráficos, audio y especialmente imágenes y similares se relacionan entre sí. Sin embargo, con el fin de incluir los medios de información existentes antes mencionados en el ámbito de la multimedia, parece ser un requisito previo representar tal información en forma digital.

Sin embargo, cuando se estima la cantidad de información contenida en cada uno de los medios de información en forma digital antes mencionados, la cantidad de información por carácter requiere de 1 a 2 bytes mientras que el audio requiere más de 64 Kbits por segundo (calidad de teléfono), y una imagen en movimiento requiere más de 100 Mbits por segundo (calidad de recepción de televisión actual). Por lo tanto, no es realista manejar la inmensa cantidad de información directamente en forma digital a través de los medios de información mencionados anteriormente. Por ejemplo, un videoteléfono ya se ha puesto en práctica a través de la Red Digital de Servicios Integrados (ISDN) con una velocidad de transmisión de 64 Kbits/s a 1,5 Mbits/s, sin embargo, es imposible transmitir una imagen capturada por una cámara de TV.

Esto por tanto requiere técnicas de compresión de información, y por ejemplo, en el caso de un videoteléfono, se emplean técnicas de compresión de vídeo que cumplen con los Estándares H.261 y H.263 recomendados por la Unión Internacional de Telecomunicaciones-Sector de Normalización de las Telecomunicaciones (ITU-T). De acuerdo con las técnicas de compresión de información que cumplen con el estándar MPEG-1, la información de imagen así como la información de audio se pueden almacenar en un CD de música común (Disco Compacto).

Aquí, el Grupo de Expertos en Imágenes en Movimiento (MPEG) es un estándar internacional para una compresión de señales de imágenes en movimiento y el MPEG-1 es un estándar que comprime señales de vídeo hasta 1,5 Mbit/s, a saber, para comprimir la información incluida en señales de TV hasta una centésima parte aproximadamente. La calidad objetivo por el estándar MPEG-1 era una calidad media de modo que se llevara a cabo una velocidad de transmisión fundamentalmente de 1,5 Mbits/s aproximadamente, por lo tanto, MPEG-2, estandarizado con vistas a satisfacer las exigencias de una imagen de calidad aún más elevada, lleva a cabo una calidad de emisión de TV para transmitir señales de imágenes en movimiento a una velocidad de transmisión de 2 a 15 Mbits/s.

En las circunstancias actuales, un grupo de trabajo (ISO/IEC JTC1/SC29/WG11) previamente a cargo de la estandarización del MPEG-1 y el MPEG-2 ha estandarizado además MPEG-4 que consigue una velocidad de compresión superior a la conseguida por el MPEG-1 y el MPEG-2, permite operaciones de codificación/decodificación por objeto y lleva a cabo una nueva función requerida por la era de la multimedia. En primer lugar, en el proceso de la estandarización del MPEG-4, el objetivo fue estandarizar una codificación de velocidad binaria baja, sin embargo, el objetivo se extiende en la actualidad a una codificación más versátil que incluye una codificación de velocidad binaria elevada para imágenes entrelazadas y otros. Además, el ISO/IEC y la ITU-T se han desarrollado conjuntamente, como un procedimiento de codificación de imágenes de nueva generación, una estandarización de MPEG-4 Codificación de Vídeo Avanzada (AVC) con una velocidad de compresión más elevada, y actualmente la Sociedad de Ingenieros de Cine y Televisión (SMPTE) intenta estandarizar un VC-1 (Proposed SMPTE Standard for Television: VC-1 Compressed Video Bitstream Format and Decoding Process, Final Committee Draft 1 Revision 6, 13 de julio de 2005). Un objetivo del VC-1 es extender una herramienta de codificación y similares, en base a los procedimientos de los estándares MPEG-2 y MPEG-4. Se espera que el VC-1 se use para dispositivos periféricos de disco óptico de nueva generación, como un disco Blu-ray (BD) y un DVD de Alta Definición (HD).

En general, en la codificación de una imagen en movimiento, la compresión del volumen de información se lleva a cabo eliminando la redundancia en las direcciones tanto espacial como temporal. Por lo tanto, una codificación de predicción inter-imagen, que está dirigida a reducir la redundancia temporal, estima un movimiento y genera una imagen prevista bloque por bloque con referencia a las imágenes anterior y posterior, y después codifica un valor diferencial entre la imagen prevista obtenida y una imagen actual que codificar. Aquí, "imagen" es un término para representar una única pantalla y representa un cuadro cuando se usa para una imagen progresiva mientras que representa un cuadro o campos cuando se usa para una imagen entrelazada. La imagen entrelazada aquí es una imagen en la que un único cuadro consta de dos campos que tienen un tiempo diferente respectivamente. Para codificar y decodificar una imagen entrelazada, son posibles tres modos: procesar un único cuadro como un cuadro, como dos campos, o bien como una estructura de cuadro / campo dependiendo de un bloque en el cuadro.

Una imagen en la que se realiza una codificación de predicción intra-imagen sin imágenes de referencia se denomina "imagen I". Una imagen en la que se realiza la codificación de predicción inter-imagen con referencia a una única imagen se denomina "imagen P". Una imagen en la que se realiza la codificación de predicción interimagen refiriéndose simultáneamente a dos imágenes se denomina "imagen B". La imagen B puede referirse a dos imágenes, seleccionadas arbitrariamente de las imágenes cuyo tiempo de visualización es hacia delante o bien hacia atrás con respecto al de una imagen actual que codificar, como una combinación arbitraria. Sin embargo, las imágenes de referencia necesitan estar ya codificadas o decodificadas como una condición para codificar o decodificar estas imagen I, imagen P, e imagen B.

Las FIGS. 1A y 1B son diagramas que muestran una estructura del flujo MPEG-2 convencional. Como se muestra en la FIG. 1B, el flujo de acuerdo con el estándar MPEG-2 tiene un sistema por capas. El flujo está compuesto por una pluralidad de Grupo de Imágenes (GOP). Es posible editar una imagen en movimiento y realizar un acceso aleatorio en ella usando el GOP como una unidad básica usada en el procesamiento de codificación. Esto significa que una imagen inicial en el GOP es un punto de acceso aleatorio. El GOP consta de una pluralidad de imágenes siendo, cada una, una imagen I, una imagen P y una imagen B. El flujo, el GOP y la imagen incluyen respectivamente una señal sincrónica (sinc) que indica un límite entre unidades respectivas y una cabecera que son datos comúnmente incluidos en las unidades respectivas.

Las FIGS. 2A y 2B son ejemplos de una estructura de predicción de imágenes de acuerdo con el estándar MPEG-2. Las imágenes sombreadas en la FIG. 2A son imágenes de referencia que son consultadas para predecir otras imágenes. Como se muestra en la FIG. 2A, en el estándar MPEG-2, la imagen P (imagen P0, P6, P9, P12, o P15) se puede predecir a partir de una imagen, la imagen I o bien la imagen P, cuyo tiempo de visualización precede inmediatamente al de la imagen P. La imagen B (imagen B1, B2, B4, B5, B7, B8, B10, B11, B13, B14, B16, B17, B19, o B20) se puede predecir a partir de una imagen cuyo tiempo de visualización precede inmediatamente a la imagen B o una imagen cuyo tiempo de visualización sigue inmediatamente a la imagen B, que pueden ser la imagen I o bien la imagen P. Las posiciones de las imágenes B se disponen en el flujo, inmediatamente después de la imagen I o bien la imagen P. Por lo tanto, en el momento de realizar el acceso aleatorio, todas las imágenes posteriores a la imagen I pueden ser decodificadas y visualizadas, cuando la decodificación comienza desde la imagen I. Con respecto a una estructura del GOP, las imágenes desde la I3 hasta la B14 se pueden considerar como un GOP, como se muestra en la FIG. 2B por ejemplo.

La FIG. 3 es un diagrama que muestra una estructura de un flujo de acuerdo con el VC-1. El flujo de acuerdo con el VC-1 también tiene la misma estructura que se describe para el estándar MPEG-2. Sin embargo, un punto de acceso aleatorio se denomina "punto de entrada" que se añade con una cabecera de punto de entrada (HDR de punto de entrada). Los datos desde el punto de entrada hasta un punto de entrada siguiente son una unidad de acceso aleatorio (RAU), que equivale a un GOP de acuerdo con el estándar MPEG-2. En lo sucesivo, la RAU de acuerdo con el VC-1 se denomina "punto de acceso aleatorio (RAU)". Obsérvese que la RAU puede almacenar datos de usuario concernientes a imágenes en la RAU (datos de usuario en el nivel de punto de entrada), y la RAU se dispone inmediatamente después de la cabecera de punto de entrada.

Aquí, se describen tipos de imágenes de acuerdo con el VC-1. En el VC-1, también se definen la imagen I, la imagen P, y la imagen B. Estas imagen I, imagen P, e imagen B tienen la misma estructura de predicción que se describe para el estándar MPEG-2. En el VC-1, además de los tres tipos de imagen anteriores, hay dos tipos definidos más, que son imagen Saltada e imagen BI. La imagen Saltada es una imagen que no incluye ningún dato de píxeles, y es tratada como una imagen P que tiene los mismos datos de píxeles que los de una imagen de referencia anterior en orden de decodificación. Por ejemplo, en los ejemplos de (1) y (2), una imagen S5 se considera la misma imagen que una imagen P3, de manera que se realiza la misma operación de decodificación del flujo tanto en (1) como en (2).

(1): Orden de visualización: Imagen I0, Imagen B2, Imagen P1, Imagen B4, Imagen P3, Imagen B6, Imagen S5 (Obsérvese que la imagen representada por un símbolo que incluye I es una imagen I, la imagen representada por un símbolo que incluye P es una imagen P, la imagen representada por un símbolo que incluye B es una imagen B, y la imagen representada por un símbolo que incluye S es una imagen Saltada. Por ejemplo, la imagen S6 es una imagen Saltada. Los números unidos a los símbolos de las imágenes representan el orden de decodificación).

(2): Orden de visualización: Imagen I0, Imagen B2, Imagen P1, Imagen B4, Imagen P3, Imagen B6, Imagen P5 (P5 tiene los mismos datos de píxeles que P3).

La imagen Saltada es especialmente útil cuando las imágenes están fijas. Por ejemplo, en un caso en el que las imágenes están fijas en mitad de la RAU, se usan imágenes Saltadas donde las imágenes están fijas, por ejemplo, donde hay imagen I0, imagen P1, imagen P2, imagen P3, imagen S4, imagen S5, imagen S6…, con el fin de reducir una cantidad de datos que codificar.

Asimismo, la imagen BI es una imagen que tiene características de la imagen B y la imagen I. Más específicamente, la imagen BI tiene las características de la imagen B en la que el orden de decodificación es diferente del orden de visualización, y la imagen no es una imagen de referencia para otras imágenes. Además, la imagen BI tiene las características de la imagen I en la que todos los macrobloques se aplican con una codificación intra-imagen y la imagen no se predice a partir de ninguna otra imagen.

A continuación, se describe un procedimiento para distinguir la imagen I, la imagen P, la imagen B, la imagen Saltada, y las imágenes BI. Básicamente, los tipos de imágenes se pueden distinguir en base a los tipos de imágenes incluidos en una capa de imagen en un flujo. Sin embargo, los tipos de imágenes indicados por la capa de imagen se definen como sigue, dependiendo de los perfiles.

Por ejemplo, en un perfil simple, los tipos de imágenes se indican como imagen I e imagen P. En un perfil principal, los tipos de imágenes se indican como imagen I, imagen P, e imagen B o BI. En un perfil avanzado, los tipos de imágenes se indican como imagen I, imagen P, imagen B, imagen BI, e imagen Saltada.

Aquí, tanto en el perfil simple como en el perfil principal, es imposible distinguir la imagen Saltada usando los tipos de imágenes en la capa de imagen, de manera que, en un caso en el que una imagen arbitraria tiene un tamaño de un byte o menos, la imagen se define como la imagen Saltada. Asimismo, en el perfil principal, se define un tipo de imagen para representar una imagen B o una imagen BI, de manera que es imposible diferenciar la imagen B de la imagen BI, en base al tipo de imagen.

La FIG. 4 es un diagrama de bloques que muestra un aparato de codificación de imágenes para llevar a cabo el procedimiento de codificación de imágenes convencional.

Un aparato de codificación de imágenes 800 realiza una codificación comprimida, una codificación de longitud variable, y similares, para una señal de imagen introducida Vin, transformando de ese modo la señal de imagen Vin en un flujo de bits (flujo) Str que emitir. El aparato de codificación de imágenes 800 está compuesto por una unidad de estimación de movimiento 801, una unidad de compensación de movimiento 802, un restador 803, una unidad de transformación ortogonal 804, una unidad de cuantificación 805, una unidad de cuantificación inversa 806, una unidad de transformación ortogonal inversa 807, un sumador 808, una memoria de imagen 809, un conmutador 810, una unidad de codificación de longitud variable 811, y una unidad de determinación de estructura de predicción 812.

La señal de imagen Vin es introducida en el restador 803 y la unidad de estimación de movimiento 801. El restador 803 calcula un diferencial entre la señal de imagen introducida Vin y una imagen prevista, y emite el diferencial a la unidad de transformación ortogonal 804. La unidad de transformación ortogonal 804 transforma el diferencial en un coeficiente de frecuencia, y emite el coeficiente de frecuencia a la unidad de cuantificación 805. La unidad de cuantificación 805 cuantifica el coeficiente de frecuencia introducido, y emite el valor de cuantificación resultante Qc a la unidad de codificación de longitud variable 811.

La unidad de cuantificación inversa 806 cuantifica inversamente el valor de cuantificación Qc con el fin de restaurar el coeficiente de frecuencia original, y emite el coeficiente de frecuencia resultante a la unidad de transformación ortogonal inversa 807. La unidad de transformación ortogonal inversa 807 realiza una transformación de frecuencia inversa en el coeficiente de frecuencia que transformar en un diferencial de píxeles, y emite el diferencial de píxeles al sumador 808. El sumador 808 suma el diferencial de píxeles con una imagen prevista que es emitida desde la unidad de compensación de movimiento 802, y genera una imagen decodificada. El conmutador 810 está Encendido cuando se ordena que la imagen decodificada sea almacenada, y la imagen decodificada se almacena en la memoria de imagen 809.

Por otro lado, la unidad de estimación de movimiento 801, en la que la señal de imagen Vin es introducida en unidades de macrobloques, busca las imágenes decodificadas (imágenes de referencia) que se almacenan en la memoria de imagen 809, detecta una representación visual que tiene la representación visual más similar a un macrobloque indicada por la señal de imagen Vin, y determina un vector de movimiento MV para indicar una ubicación de la representación visual.

La unidad de compensación de movimiento 802, usando el vector de movimiento determinado y similares, recupera la representación visual más adecuada para una imagen prevista, de la imagen decodificada almacenada en la memoria de imagen 809.

Una unidad de determinación de estructura de predicción 812 determina, en base a una imagen de comienzo de RAU Uin, que una imagen que codificar se halla en una ubicación de comienzo de RAU, después ordena, usando un tipo de imagen Pt, a la unidad de estimación de movimiento 801 y la unidad de compensación de movimiento 802 que codifiquen (codificación inter-imagen) la imagen como una imagen accesible aleatoriamente especial, y además ordena a la unidad de codificación de longitud variable 811 que codifique el tipo de imagen Pt.

La unidad de codificación de longitud variable 811 realiza una codificación de longitud variable en el valor de cuantificación Qc, el tipo de imagen Pt, y el vector de movimiento MV con el fin de generar un flujo Str.

La FIG. 5 es un diagrama de bloques que muestra un aparato de decodificación de imágenes 900 para llevar a cabo el procedimiento de decodificación de imágenes convencional. Los números de referencia en la FIG. 4 se asignan a unidades idénticas en la FIG. 5, y esas unidades funcionan de la misma manera que la descrita para el aparato de codificación de imágenes para llevar a cabo el procedimiento de codificación de imágenes convencional en la FIG. 4, de manera que los detalles de esas unidades no se describen en este documento más adelante.

La unidad de decodificación de longitud variable 901 decodifica el flujo Str, y emite el valor de cuantificación Qc, una información de especificación de imagen de referencia Ind, el tipo de imagen Pt, el vector de movimiento MV, y similares. La memoria de imagen 809 obtiene el vector de movimiento MV, la unidad de compensación de movimiento 802 obtiene el tipo de imagen Pt, el vector de movimiento MV, y la información de especificación de imagen de referencia Ind, y la unidad de cuantificación inversa 806 obtiene el valor de cuantificación Qc. La decodificación es realizada por la memoria de imagen 809, la unidad de compensación de movimiento 802, y la unidad de cuantificación inversa 806, la unidad de transformación ortogonal inversa 807, y el sumador 808. La operación de la decodificación se ha descrito con referencia al diagrama de bloques de la FIG. 4 que muestra el aparato de codificación de imágenes 800 para llevar a cabo el procedimiento de codificación convencional.

Una memoria intermedia 902 es una memoria para almacenar una imagen decodificada Vout que es emitida desde el sumador 808, y una unidad de visualización 903 obtiene la imagen decodificada Vout de la memoria intermedia 902 y visualiza una imagen de acuerdo con la imagen decodificada Vout. Obsérvese que la memoria intermedia 809 y la memoria de imagen 902 pueden compartir la misma memoria.

La FIG. 6 es un diagrama de flujo que muestra la decodificación durante una reproducción especial, como una reproducción a alta velocidad, realizada por el aparato de decodificación de imágenes convencional 900. En primer lugar, el aparato de decodificación de imágenes convencional 900 detecta, a partir del flujo Str, una cabecera de una imagen que decodificar en la Etapa S1001. Después en la Etapa 1002, el aparato de decodificación de imágenes convencional 900 examina, en base a un tipo de imagen en la cabecera incluida en la capa de imagen, si la imagen inicial necesita ser decodificada o no. En la Etapa S1003, el aparato de decodificación de imágenes convencional 900 determina si la imagen es examinada para ser decodificada o no en la Etapa S1002, y si la decodificación necesita ser decodificada, entonces el procesamiento pasa a la Etapa S1004, mientras que si la imagen no necesita ser decodificada, entonces el procesamiento pasa a la Etapa S1005. Finalmente, en la Etapa S1005, el aparato de decodificación de imágenes convencional 900 determina si se termina o no el procesamiento incluso para una última imagen que reproducir, como una última imagen en una RAU o un flujo, y si aún hay imágenes que procesar, el procesamiento repite las etapas desde la Etapa S1001 hasta la S1005, y si se procesa la última imagen, se termina el procesamiento.

Sin embargo, en el aparato de codificación de imágenes 800 y el aparato de decodificación de imágenes 900 convencionales antes mencionados, hay un problema de una gran cantidad de carga de procesamiento, durante la codificación del flujo Str que incluye imágenes Saltadas, y especialmente durante la reproducción especial como la reproducción a alta velocidad.

La FIG. 7 es un diagrama explicativo que muestra el problema en el aparato de codificación de imágenes 800 y el aparato de decodificación de imágenes 900 convencionales antes mencionados.

En (a) de la FIG. 7, se muestra una estructura de la RAU convencional que incluye las imágenes Saltadas. La RAU está compuesta por veinticuatro imágenes en las que las representaciones visuales están fijas en la cuarta imagen y las siguientes en orden de decodificación, de manera que la quinta imagen y posteriores son todas imágenes Saltadas. Cuando tal RAU es reproducida a triple velocidad, el aparato de decodificación de imágenes convencional 900 intenta decodificar las imágenes 1ª, 4ª, 7ª, 10ª, 13ª, 16ª, 19ª y 22ª, secuencialmente para ser reproducidas. Sin embargo, las imágenes que decodificar en la práctica sólo son la primera imagen I y la cuarta imagen P como se muestra en (c) de la FIG. 7.

Esto significa que, en una RAU del flujo convencional Str, el aparato de decodificación de imágenes 900 no puede determinar si las imágenes van a ser decodificadas o no, a menos que se busque un encabezamiento de cada imagen (capa de imagen) para obtener un tipo de imagen, ya que cada capa de imagen incluye un tipo de imagen de la imagen. Por lo tanto, como se muestra en (b) de la FIG. 7, el aparato de decodificación de imágenes 900 necesita analizar las imágenes Saltadas 7ª, 10ª, 13ª, 16ª, 19ª y 22ª para obtener los tipos de imágenes.

Como se describe anteriormente, para la reproducción a alta velocidad de la RAU convencional, el aparato de codificación de imágenes y el aparato de decodificación de imágenes convencionales tienen que analizar incluso imágenes que no tienen que ser decodificadas, lo cual finalmente da como resultado una gran cantidad de datos para decodificar.

De ese modo, la presente invención aborda los problemas antes mencionados y un objeto de la presente invención es proporcionar un aparato de codificación de imágenes y un aparato de decodificación de imágenes que puedan reducir la carga al decodificar.

RESUMEN DE LA INVENCIÓN

Con el fin de solucionar los problemas antes mencionados, la presente invención proporciona un aparato de codificación de imágenes de acuerdo con la reivindicación 1.

Por lo tanto el mapa es almacenado en la unidad de acceso aleatorio, de manera que el aparato de decodificación de imágenes puede especificar fácilmente, según el mapa, la secuencia de imágenes fijas en la unidad de acceso aleatorio. Como resultado, el aparato de decodificación de imágenes no necesita determinar si la imagen es o no una imagen Saltada, analizando una pluralidad de las capas de imagen una por una que se incluyen en la unidad de acceso aleatorio como en el procedimiento convencional, de manera que es posible reducir la carga al codificar.

Asimismo, la unidad de escritura puede ser operable para escribir el mapa en una posición que sea anterior a una imagen inicial en la unidad de acceso aleatorio.

De ese modo el aparato de decodificación de imágenes obtiene la unidad de acceso aleatorio desde el comienzo de la unidad de acceso aleatorio, permitiéndose de ese modo detectar fácilmente y con rapidez el mapa, de manera que es posible reducir la carga al codificar.

Además, la unidad de generación de mapa puede ser operable para generar el mapa que indica el tipo de imagen de cada imagen que se incluye en la unidad de acceso aleatorio. Por ejemplo, el tipo de imagen puede indicar si una imagen actual es o no una imagen Saltada que va a ser visualizada con una representación visual de una imagen de referencia que se posiciona inmediatamente antes de la imagen Saltada en orden de decodificación.

De ese modo el aparato de decodificación de imágenes puede especificar como la secuencia de imágenes fijas, usando un tipo de imagen de cada imagen que se indica en el mapa, un intervalo en el que una pluralidad de imágenes Saltadas sigue después de una imagen I o una imagen P.

Aún más, la unidad de generación de mapa puede ser operable para generar el mapa que indica una imagen inicial y una imagen final en la secuencia de imágenes fijas.

De ese modo el aparato de decodificación de imágenes puede especificar fácilmente la secuencia de imágenes fijas, de acuerdo con las imágenes inicial y final que se indican en el mapa.

Aquí, con el fin de conseguir el objeto antes mencionado, la presente invención proporciona un aparato de decodificación de imágenes de acuerdo con la reivindicación 5.

De ese modo la imagen que decodificar se selecciona previamente en base a la secuencia de imágenes fijas, antes de decodificar la imagen, de manera que no es necesario, como en el procedimiento convencional, determinar si la imagen es o no una imagen Saltada, analizando una pluralidad de capas de imagen una por una que se incluyen en la unidad de acceso aleatorio mientras se decodifica, lo cual puede reducir la carga al decodificar.

Además, con el fin de conseguir el objeto, la presente invención proporciona una señal de imagen codificada que incluye una pluralidad de imágenes codificadas para cada unidad de acceso aleatorio, comprendiendo la señal de codificación de imágenes un mapa que indica una secuencia de imágenes fijas en la unidad de acceso aleatorio para cada unidad de acceso aleatorio.

De ese modo el mapa se almacena en la unidad de acceso aleatorio, de manera que el aparato de decodificación de imágenes puede especificar fácilmente, según el mapa, la secuencia de imágenes fijas en las imágenes en la unidad de acceso aleatorio. Como resultado, el aparato de decodificación de imágenes no necesita determinar si la imagen es o no una imagen Saltada, analizando la pluralidad de las capas de imagen una por una que se incluyen en la unidad de acceso aleatorio, como en el procedimiento convencional, de manera que es posible reducir la carga al codificar.

Asimismo, el mapa se puede almacenar en una posición anterior a cualquier imagen que se incluya en la unidad de acceso aleatorio.

De ese modo el aparato de decodificación de imágenes obtiene las unidades de acceso aleatorio desde el comienzo de la unidad de acceso aleatorio, permitiéndose de ese modo detectar fácilmente y con rapidez las unidades de acceso aleatorio, de manera que es posible reducir la carga al codificar.

Obsérvese que la presente invención se puede llevar a cabo no sólo como el aparato de codificación de imágenes, el aparato de decodificación de imágenes, y la señal de codificación de imágenes descritos anteriormente, sino también como un procedimiento de codificación de imágenes, un procedimiento de decodificación de imágenes, un programa, un medio de almacenamiento que almacena el programa, y un circuito integrado que incluye los dispositivos antes mencionados.

BREVE DESCRIPCIÓN DE LOS DIBUJOS

Las FIGS. 1A y 1B son diagramas que muestran una estructura del flujo MPEG 2.

Las FIGS. 2A y 2B son diagramas que muestran ejemplos de una estructura de predicción entre imágenes usadas en el estándar MPEG 2.

La FIG. 3 es un diagrama que muestra una estructura del flujo VC-1 convencional.

La FIG. 4 es un diagrama de bloques que muestra una estructura del aparato de codificación de imágenes convencional. La FIG. 5 es un diagrama de bloques que muestra una estructura del aparato de decodificación de imágenes

convencional.

La FIG. 6 es un diagrama de flujo que muestra operaciones que son realizadas por el aparato de codificación de imágenes convencional. La FIG. 7 es un diagrama que muestra un problema en un flujo que es generado por el aparato de codificación de

imágenes convencional, durante una reproducción a alta velocidad.

La FIG. 8 es un diagrama que muestra un ejemplo de una estructura de una RAU que se incluye en un flujo VC-1 de acuerdo con la primera forma de realización de la presente invención. La FIG. 9A es un diagrama que muestra un ejemplo de una sintaxis de un mapa de RAU MI. La FIG. 9B es un diagrama que muestra otro ejemplo de la sintaxis del mapa de RAU MI. La FIG. 9C es un diagrama que muestra otro ejemplo más de la sintaxis del mapa de RAU MI. La FIG. 9D es un diagrama que muestra otro ejemplo más de la sintaxis del mapa de RAU MI. La FIG. 10 es un diagrama de bloques que muestra una estructura del aparato de decodificación de imágenes de

acuerdo con la primera forma de realización de la presente invención.

La FIG. 11 es un diagrama de flujo que muestra operaciones que son realizadas por el aparato de decodificación de imágenes de acuerdo con la primera forma de realización de la presente invención. La FIG. 12 es un diagrama de flujo que muestra operaciones de análisis de un mapa de RAU que son realizadas por

el aparato de decodificación de imágenes de acuerdo con la primera forma de realización de la presente invención.

La FIG. 13A es un diagrama que muestra una RAU que es reproducida a una alta velocidad por el aparato de decodificación de imágenes de acuerdo con la primera forma de realización de la presente invención. La FIG. 13B es un diagrama que muestra un mapa de RAU MI de acuerdo con la FIG. 13A. La FIG. 13C es un diagrama de flujo que muestra operaciones de reproducción a una alta velocidad de un flujo STR

que tiene la RAU en la FIG. 13A, que son realizadas por el aparato de decodificación de imágenes de acuerdo con la

primera forma de realización de la presente invención. La FIG. 14 es un diagrama explicativo que muestra un procedimiento de reproducción que es realizado por un aparato de decodificación de imágenes de acuerdo con una variación de la primera forma de realización.

La FIG. 15 es un diagrama de flujo que muestra el procedimiento de reproducción que es realizado por el aparato de

decodificación de imágenes de acuerdo con la variación de la primera forma de realización. La FIG. 16 es un diagrama de bloques que muestra una estructura de un aparato de codificación de imágenes de acuerdo con la segunda forma de realización de la presente invención.

La FIG. 17 es un diagrama de flujo que muestra operaciones que son realizadas por el aparato de codificación de imágenes de acuerdo con la segunda forma de realización de la presente invención.

Las FIGS. 18A y 18B son diagramas que muestran una estructura de predicción de una imagen B-skip. Las FIGS. 19A, 19B, y 19C son diagramas explicativos que muestran un medio de almacenamiento que almacena un programa para llevar a cabo un procedimiento de codificación de imágenes y un procedimiento de decodificación de imágenes de acuerdo con la presente invención.

DESCRIPCIÓN DE LA(S) FORMA(S) DE REALIZACIÓN PREFERIDA(S)

Lo que aparece a continuación describe formas de realización de acuerdo con la presente invención con referencia a los dibujos.

(Primera forma de realización)

Un mapa de RAU se almacena al comienzo de una RAU en un flujo VC-1 de acuerdo con la primera forma de realización de la presente invención, y un aparato de decodificación de imágenes de acuerdo con la primera forma de realización especifica una secuencia de imágenes fijas en la RAU analizando el mapa de RAU.

La FIG. 8 es un diagrama que muestra un ejemplo de una estructura de la RAU que se incluye en el flujo VC-1 de acuerdo con la primera forma de realización.

La estructura de la RAU incluye una cabecera de punto de entrada (HDR de punto de entrada) y datos de usuario que se posicionan al comienzo de la RAU, y una pluralidad de imágenes que siguen a los datos de usuario. Obsérvese que, en el estándar VC-1, la RAU se denomina segmento de punto de entrada (EPS).

Más específicamente, la RAU de acuerdo con la primera forma de realización se diferencia de la RAU convencional en que la RAU incluye un mapa de RAU MI que se dispone en los datos de usuario (datos de usuario a nivel de punto de Entrada) e indica si se presentan imágenes Saltadas en la RAU, también especifica una secuencia de imágenes fijas en la RAU.

Por lo tanto, el aparato de decodificación de imágenes de acuerdo con la primera forma de realización puede examinar, haciendo referencia al mapa de RAU MI, si la RAU incluye o no alguna imagen Saltada y puede especificar la secuencia de imágenes fijas, de manera que es posible especificar, sin analizar cada capa de imagen en la RAU, imágenes que no necesitan ser decodificadas, lo que da como resultado la reducción de una cantidad de datos que decodificar.

La FIG. 9A es un diagrama que muestra un ejemplo de una sintaxis del mapa de RAU MI.

num_pic_in_RAU representa el número de imágenes en la RAU. frame_field_flag representa si cada imagen en la RAU está codificada en una estructura de campo o en una estructura de cuadro. pic_type representa un tipo de imagen (incluyendo un tipo de imagen Saltada) de cada imagen. Obsérvese que la información que concierne a cada imagen se indica en orden de decodificación. Esto significa que el mapa de RAU MI especifica una secuencia de imágenes fijas en la RAU, indicando los tipos de imágenes (incluyendo un tipo de imagen Saltada) de las imágenes de cada RAU. Aquí, la secuencia de imágenes fijas en la primera forma de realización significa una posición y un intervalo desde una imagen de referencia hasta una última imagen Saltada, en un caso en el que una secuencia de una pluralidad de imágenes Saltadas sigue a la imagen de referencia (imagen I o imagen P) en orden de decodificación.

Por ejemplo, el mapa de RAU MI indica que las imágenes desde la segunda imagen hasta la última imagen en la RAU son todas imágenes Saltadas. En el caso antes mencionado, haciendo referencia a pic_type en el mapa de RAU MI, el aparato de decodificación de imágenes determina decodificar la imagen inicial y visualizar el resultado repetidamente, sin decodificar la segunda imagen y las siguientes.

Obsérvese que el mapa de RAU MI puede incluir información adicional acerca de la conversión 3:2 que indica a cuántos campos es equivalente un cuadro al ser visualizado, o si la decodificación del cuadro comienza desde un campo superior o un campo inferior, y similares, para cada imagen.

La FIG. 9B es un diagrama que muestra otro ejemplo de la sintaxis del mapa de RAU MI.

En el perfil avanzado en el estándar VC-1, los tipos de imágenes del primer campo y el segundo campo para un cuadro de estructura de campo son indicados por un tipo de imagen de campo que se incluye en la capa de imagen. El tipo de imagen de campo (tipos de imágenes de la primera imagen y la segunda imagen) está definido por ocho patrones que son (I, I), (I, P), (P, I), (P, P), (B, B), (B, BI), (BI, B), y (BI, BI). Por lo tanto, en un caso en el que una imagen consta de campos, es posible indicar tipos de imágenes tanto del primer campo como del segundo campo que se incluyen en un cuadro, indicando el tipo de imagen de campo.

Por lo tanto, la sintaxis del mapa de RAU MI mostrada en la Fig. 9B también indica un tipo de imagen de campo de una imagen, en un caso en el que la imagen consta de campos. Más específicamente, num_frame_in_RAU representa el número de los cuadros en la RAU. field_coding_flag representa si la imagen consta o no de campos. En un caso en el que la imagen consta de campos, un tipo de imagen de campo de la imagen está representado por field_type_flag, y en un caso en el que la imagen no consta de campos, un tipo de imagen de la imagen está representado por picture_type.

Es decir, el mapa de RAU MI, de la misma manera que el mapa de RAU MI mostrado en la Fig. 9A, especifica una secuencia de imágenes fijas en una RAU, indicando tipos de imágenes de todas las imágenes en cada RAU.

Además, en un caso en el que la RAU incluye sólo imágenes I e imágenes Saltadas, o sólo imágenes I, imágenes P, e imágenes Saltadas, una parte o todas las partes de la RAU pasan a ser una secuencia de imágenes fijas. En este caso, dependiendo de si una parte procesada es la secuencia de imágenes fijas o una secuencia de imágenes en movimiento normales, el aparato de codificación de imágenes cambia el procesamiento de decodificación y visualización, de manera que el mapa de RAU MI puede incluir información adicional concerniente a si la RAU incluye o no alguna secuencia de imágenes fijas.

La FIG. 9C es un diagrama que muestra otro ejemplo más de la sintaxis del mapa de RAU MI.

En esta sintaxis, motionless_flag representa si la RAU incluye o no alguna secuencia de imágenes fijas, y start_pic_ num y end_pic_num especifican la secuencia de imágenes fijas en la RAU. Más específicamente, en un caso en el que motionless_flag es 1, el mapa de RAU MI indica que la RAU incluye una secuencia de imágenes fijas. Además, en un caso en el que motionless_flag es 1, el mapa de RAU MI indica que la secuencia de imágenes fijas comienza con una imagen I o una imagen P que está representada por start_pic_num, y termina con una imagen Saltada que está representada por end_pic_num.

Obsérvese que es posible establecer motionless_flag como 1, sólo en un caso en el que todas las partes de la RAU sean una secuencia de imágenes fijas o en el que la RAU incluya una secuencia de imágenes fijas que continúe durante más tiempo que un cierto periodo de tiempo.

La FIG. 9D es un diagrama que muestra otro ejemplo de la sintaxis del mapa de RAU MI.

En esta sintaxis, number_of_pictures_in_EPS representa el número de imágenes incluidas en el EPS. picture_ structure representa si una imagen es un campo o un cuadro, o representa a cuántos campos es equivalente un cuadro al ser visualizado. picture_type representa a qué tipo de imagen, a saber imagen I, imagen P, imagen B, imagen Saltada, o similar, pertenece la imagen. Además, stuffing_bits se usa para alinear todos los bits de stuffing_bits, picture_structure, y picture_type, por multiplicación integral de ocho bits. Asimismo, en esta sintaxis, stuffing_bits, picture_structure, y picture_type se indican en orden de decodificación, con respecto a imágenes respectivas incluidas en el EPS.

Tal mapa de RAU MI, de la misma manera que el mapa de RAU MI mostrado en la Fig. 9A, especifica una secuencia de imágenes fijas en imágenes en una RAU, indicando tipos de imágenes de las imágenes en cada RAU (EPS).

Obsérvese que, el mapa de RAU MI puede almacenar la información concerniente a imágenes respectivas en un orden de visualización de las imágenes. Obsérvese también que el mapa de RAU MI puede almacenar información adicional que indica si la información concerniente a imágenes respectivas es almacenada en el orden de decodificación o en el orden de visualización.

Obsérvese también que el mapa de RAU MI se puede almacenar en datos de usuario en una capa que es diferente de una capa de punto de entrada, por ejemplo, en datos de usuario para una imagen inicial. Obsérvese también que, en un caso en el que la RAU no incluye ninguna imagen Saltada, no necesita generarse el mapa de RAU MI. En tal caso, es posible indicar si la RAU incluye o no alguna imagen Saltada, examinando la existencia del mapa de RAU MI.

La FIG. 10 es un diagrama de bloques que muestra un aparato de decodificación de imágenes 100 en la primera forma de realización.

El aparato de decodificación de imágenes 100 de la primera forma de realización que decodifica el flujo STR que incluye la RAU mostrada en la FIG. 8 está compuesto por: la unidad de decodificación de longitud variable 101, la memoria de imagen 102, la unidad de compensación de movimiento 103, la unidad de cuantificación inversa 104, la unidad de transformación ortogonal inversa 105, la memoria intermedia 106, la unidad de visualización 107, el sumador 108, una unidad de extracción de flujo 109, y una unidad de obtención de información 110.

Este aparato de decodificación de imágenes 100 se diferencia del aparato de decodificación de imágenes convencional 900 en que se añaden la unidad de extracción de flujo 109 y la unidad de obtención de información

110.

La unidad de obtención de información 110 obtiene el mapa de RAU MI de la unidad de decodificación de longitud variable 101, y también obtiene, del exterior, una señal de modo de reproducción TM para ordenar detalles de reproducción especial como la reproducción a alta velocidad. Después, la unidad de obtención de información 110 analiza el mapa de RAU MI en base a la señal de modo de reproducción TM, y determina (selecciona) imágenes que decodificar. La unidad de obtención de información 110 emite una señal de instrucción de imagen de decodificación SP que indica los resultados de la determinación, a la unidad de extracción de flujo 109.

Por ejemplo, en un caso en el que el mapa de RAU MI incluye la sintaxis mostrada en la Fig. 9C, la unidad de obtención de información 110 determina, en base a motionless_flag, si la RAU que reproducir incluye o no alguna secuencia de imágenes fijas. Después, si se toma la determinación de que la RAU incluye una secuencia de imágenes fijas, la unidad de obtención de información 110 especifica el área fija, en base a start_pic_num y end_pic_num. Después de especificar la secuencia de imágenes fijas, la unidad de obtención de información 110 determina, de las imágenes que reproducir que son indicadas por la señal de modo de reproducción TM, sólo las imágenes que no se incluyen en la secuencia de imágenes fijas, como imágenes que decodificar, y la unidad de obtención de información 110 emite los resultados de la determinación a la señal de instrucción de imagen de decodificación SP. Sin embargo, si las imágenes que reproducir que son indicadas por la señal de modo de reproducción TM incluyen una imagen en la secuencia de imágenes fijas, se determina que la imagen inicial de la secuencia de imágenes fijas es la imagen que decodificar.

Además, si el mapa de RAU MI incluye la sintaxis mostrada en la FIG. 9D, la unidad de obtención de información 110 especifica una secuencia de imágenes fijas, en base a picture_type que es indicada para cada imagen en la RAU. Después, la unidad de obtención de información 110 determina, por las imágenes que reproducir que son indicadas por la señal de modo de reproducción TM, sólo las imágenes que no se incluyen en la secuencia de imágenes fijas, como imágenes que decodificar, y la unidad de obtención de información 110 emite los resultados de la determinación a la señal de instrucción de imagen de decodificación SP. Sin embargo, como se describe anteriormente, si las imágenes que reproducir que son indicadas por la señal de modo de reproducción TM incluyen una imagen en la secuencia de imágenes fijas, se determina que la imagen inicial de la secuencia de imágenes fijas es la imagen que decodificar.

Después de obtener el flujo STR, la unidad de extracción de flujo 109 en primer lugar detecta, para cada RAU, el mapa de RAU MI codificado que se posiciona al comienzo de la RAU, y emite el mapa de RAU MI a la unidad de decodificación de longitud variable 101. Después de obtener la señal de instrucción de imagen de decodificación SP que se emite desde la unidad de obtención de información 110 en base al mapa de RAU MI, la unidad de extracción de flujo 109 extrae, del flujo STR, datos de las imágenes que decodificar que son indicadas por la señal de instrucción de imagen de decodificación SP, y emite los datos a la unidad de decodificación de longitud variable 101.

Cuando la unidad de decodificación de longitud variable 101 obtiene el mapa de RAU MI codificado de la unidad de extracción de flujo 109, la unidad de decodificación de longitud variable 101 realiza una decodificación de longitud variable en el mapa de RAU MI codificado, y emite el mapa de RAU MI decodificado a la unidad de obtención de información 110. Además, cuando la unidad de decodificación de longitud variable 101 obtiene, de la unidad de extracción de flujo 109, los datos de las imágenes que se incluyen en el flujo STR, la unidad de decodificación de longitud variable 101 realiza una decodificación de longitud variable en los datos, y emite un valor de cuantificación Qc, una información de especificación de imagen de referencia Ind, un tipo de imagen Pt, y un vector de movimiento MV.

La unidad de compensación de movimiento 103 recupera una representación visual que es indicada por el vector de movimiento MV, de la imagen decodificada (imagen de referencia) que es almacenada en la memoria de imagen 102 e indicada por la información de especificación de imagen de referencia Ind, y emite la representación visual como una imagen prevista al sumador 108.

La unidad de cuantificación inversa 104 cuantifica inversamente el valor de cuantificación Qc que restaurar como un coeficiente de frecuencia, y emite el coeficiente de frecuencia a la unidad de transformación ortogonal inversa 105. La unidad de transformación ortogonal inversa 105 realiza una transformación de frecuencia inversa en el coeficiente de frecuencia que transformar en un diferencial de píxeles, y emite el diferencial de píxeles al sumador 108. El sumador 108 suma el diferencial de píxeles con la imagen prevista que es emitida desde la unidad de compensación de movimiento 103, y genera una imagen decodificada Vout. Después, el sumador 108 almacena la imagen decodificada Vout en la memoria de imagen 102 y la memoria intermedia 106. La unidad de visualización 107 obtiene la imagen decodificada Vout de la memoria intermedia 106, y visualiza una imagen que corresponde a la imagen decodificada Vout. Obsérvese que la memoria de imagen 102 y la memoria intermedia 106 pueden compartir una única memoria.

Obsérvese también que la unidad de extracción de flujo 109 puede emitir datos de todas las imágenes que se incluyen en la RAU, a la unidad de decodificación de longitud variable 101. En este caso, la unidad de decodificación de longitud variable 101 selecciona, de todas las imágenes incluidas en la RAU, imágenes que necesitan ser decodificadas, en base a la señal de instrucción de imagen de decodificación SP que es emitida desde la unidad de obtención de información 110. Después, la unidad de decodificación de longitud variable 101 realiza una decodificación de longitud variable en los datos de las imágenes seleccionadas. Obsérvese que la unidad de obtención de información 110 puede especificar la imagen que decodificar sólo para una reproducción especial, como una reproducción a alta velocidad y una reproducción inversa. En el caso de una reproducción normal, se puede determinar decodificar todas las imágenes sin analizar el mapa de RAU.

La FIG. 11 es un diagrama de flujo que muestra operaciones que son realizadas por el aparato de decodificación de imágenes 100 de acuerdo con la primera forma de realización.

Cuando el aparato de decodificación de imágenes 100 recibe una orden para comenzar una reproducción especial, el aparato de decodificación de imágenes 100 en primer lugar determina si el mapa de RAU MI está almacenado o no en los datos de usuario en una capa de punto de entrada (Etapa S100). En otras palabras, el aparato de decodificación de imágenes 100 determina si se detecta o no el mapa de RAU MI. Si el aparato de decodificación deimágenes 100 detecta el mapa de RAU MI (SÍ en la Etapa S100), entonces el procesamiento pasa a la Etapa S102, y si no (NO en la Etapa S100), entonces el procesamiento salta directamente a la Etapa S106.

Más específicamente, si el aparato de decodificación de imágenes 100 detecta el mapa de RAU MI (SÍ en la Etapa S100), el aparato de decodificación de imágenes 100 analiza el mapa de RAU MI (Etapa S102), y determina (selecciona), de las imágenes en la RAU que van a ser reproducidas durante la reproducción especial, imágenes que decodificar, en base al resultado del análisis (Etapa S104).

Obsérvese que, cuando comienza la reproducción especial de la RAU, el aparato de decodificación de imágenes 100 siempre detecta el mapa de RAU MI en la Etapa S100, y especifica imágenes en la RAU que decodificar. En otras palabras, cuando comienza la reproducción especial de la RAU, el aparato de decodificación de imágenes 100 en la primera forma de realización selecciona, en base al mapa de RAU MI, de las imágenes que se incluyen en la RAU y que reproducir durante la reproducción especial, imágenes excepto imágenes Saltadas, como las imágenes que decodificar.

En caso de que el mapa de RAU MI no se detecte en la Etapa S100, o después de que las imágenes que decodificar sean especificadas en la Etapa S104, el aparato de decodificación de imágenes 100 detecta una cabecera de la imagen (código de comienzo) en las imágenes que se hallan en la RAU y que reproducir durante la reproducción especial (Etapa S106).

A continuación, el aparato de decodificación de imágenes 100 examina si la imagen cuya cabecera se ha detectado en la Etapa S106 y que es una imagen que reproducir durante la reproducción especial se halla o no entre las imágenes que se ha especificado que se deben decodificar en la Etapa S104 (Etapa S108). Aquí, si se toma ladeterminación de que la imagen se halla entre las imágenes que se ha especificado que se deben decodificar (SÍ en la Etapa S108), el aparato de decodificación de imágenes 100 decodifica la imagen (Etapa S110).

En caso de que se tome la determinación de que la imagen no se halla entre las imágenes que se ha especificado que se deben decodificar en la Etapa S104 (NO en la Etapa S108), o después de que la imagen sea decodificada en la Etapa S110, el aparato de decodificación de imágenes 100 examina si aún hay o no alguna imagen que procesar (Etapa S112).

Si no se encuentra ninguna imagen que procesar (NO en la Etapa S112), entonces el aparato de decodificación deimágenes 100 termina todas las operaciones, y si aún hay imágenes que procesar (SÍ en la Etapa S112), entonces el aparato de decodificación de imágenes 100 repite las operaciones desde la Etapa S100. Por ejemplo, en un caso en el que el mapa de RAU MI se ha detectado en la Etapa S100 en el procesamiento previo, y el siguiente procesamiento pasa a la Etapa S100 para la misma RAU, el aparato de decodificación de imágenes 100 no necesita detectar el mapa de RAU MI en S100 (NO en la Etapa S100), sino que realiza la operación en la Etapa S106, a saber, detecta una cabecera de la siguiente imagen que reproducir durante la reproducción especial.

Como se describe anteriormente, el procedimiento de decodificación de imágenes en la primera forma de realización se diferencia del procedimiento de decodificación de imágenes convencional en cuanto a que se incluyen las operaciones desde la Etapa S100 hasta la Etapa S104.

La FIG. 12 es un diagrama de flujo que muestra operaciones de análisis del mapa de RAU MI que son realizadas por el aparato de decodificación de imágenes 100 de acuerdo con la primera forma de realización.

Por ejemplo, en un caso en el que el mapa de RAU MI incluye la sintaxis mostrada en la FIG. 9D, el aparato de decodificación de imágenes 100 en primer lugar analiza el mapa de RAU MI, y especifica imágenes I, imágenes P, e imágenes Saltadas, de las imágenes que se incluyen en la RAU y que reproducir durante la reproducción especial (Etapa S120).

A continuación, en un caso en el que la imagen que reproducir durante la reproducción especial es una imagen Saltada, el aparato de decodificación de imágenes 100 determina usar un resultado de decodificar una imagen I o una imagen P que es inmediatamente anterior a la imagen Saltada en orden de decodificación, como una imagen que corresponde a la imagen Saltada (Etapa S122).

Obsérvese que, incluso en la reproducción normal que no es la reproducción especial, es posible especificar, haciendo referencia al mapa de RAU MI, la imagen Saltada y similares, cuando comienza la reproducción de la RAU.

Cuando se visualiza la imagen Saltada incluida en la RAU, el aparato de decodificación de imágenes 100 visualiza el resultado de decodificar la imagen I o la imagen P que se especifica en la Etapa S122 y es inmediatamente anterior a la imagen Saltada.

Aquí, con referencia a las FIGS. 13A, 13B, y 13C, operaciones de reproducción a alta velocidad que son realizadas por el aparato de decodificación de imágenes de acuerdo con la primera forma de realización.

La FIG. 13A es un diagrama que muestra una RAU que se reproduce a una alta velocidad.

La primera imagen contada desde el comienzo de las imágenes es una imagen I, las imágenes segunda y tercera son imágenes B, y la cuarta imagen es una imagen P. La quinta imagen y las siguientes son todas imágenes Saltadas. Obsérvese que todas las imágenes son cuadros.

La FIG. 13B es un diagrama que muestra un mapa de RAU MI que corresponde a la FIG. 13A. El mapa de RAU MI incluye la sintaxis mostrada en la FIG. 9A. Aquí, todas las imágenes son cuadros, de manera que frame_field_flag se establecen como 1 para todas las imágenes. Además, pic-type se establece como imagen I, imagen P, imagen B o imagen Saltada, para cada imagen. Obsérvese que, en la FIG. 13B pic-type se establece como "I", "P", "B", o "Saltada", pero, en la práctica, pic-type también se puede establecer como un valor numérico que represente el tipo de imagen.

La FIG. 13C es un diagrama de flujo que muestra operaciones de reproducción a alta velocidad de un flujo STR que incluye la RAU en la FIG. 13A, que son realizadas por el aparato de decodificación de imágenes 100 de acuerdo con la primera forma de realización.

En primer lugar, el aparato de decodificación de imágenes 100 determina reproducir a triple velocidad la RAU en la FIG. 13A que se incluye en el flujo STR (Etapa S130). Obsérvese que la reproducción a triple velocidad es una reproducción a alta velocidad común, y es el mismo procesamiento por el que sólo se reproducen imágenes I e imágenes P, en un caso en el que una estructura de flujo de la RAU incluye imagen I, imagen B, imagen B, imagen P, imagen B, imagen B, imagen P, imagen B, imagen B… en orden de decodificación.

A continuación, el aparato de decodificación de imágenes 100 determina, en base a un resultado de analizar el mapa de RAU MI mostrado en la FIG. 13B, que las imágenes de la quinta imagen a la vigesimocuarta imagen son todas imágenes Saltadas y que un intervalo entre la cuarta imagen y la vigesimocuarta imagen es una secuencia de imágenes fijas. Después, el aparato de decodificación de imágenes 100 determina decodificar sólo las imágenes primera y cuarta, ya que un resultado de decodificar la cuarta imagen se usa como imágenes que visualizar para la quinta imagen y las siguientes (Etapa S132). Posteriormente, el aparato de decodificación de imágenes 100 decodifica y visualiza las imágenes primera y cuarta (Etapa S134). Asimismo, el aparato de decodificación de imágenes 100 visualiza el resultado de decodificar la cuarta imagen repetidamente en lugar de resultados de decodificar las imágenes séptima, décima, decimotercera, decimosexta, decimonovena, y vigesimosegunda.

Obsérvese que la primera forma de realización ha descrito que cada RAU del flujo VC-1 incluye un mapa de RAU y que el aparato de decodificación de imágenes 100 decodifica el flujo, pero es posible aplicar cualquier procedimiento de codificación para codificar el flujo, además de los estándares MPEG-4AVC y MPEG-2, siempre y cuando el flujo incluya el mapa de RAU. Aquí, incluso si se aplica un procedimiento de codificación en el que no se define el mismo tipo de imagen como imagen Saltada, el procedimiento puede distinguir una imagen de otras imágenes considerando la imagen como una imagen Saltada en el mapa de RAU, siempre y cuando un tipo de imagen sea realmente el mismo que la imagen Saltada.

(Variación)

Lo que aparece a continuación describe una variación de un procedimiento de reproducción que es realizado por el aparato de decodificación de imágenes 100 de acuerdo con la primera forma de realización.

Por ejemplo, habría un caso en el que la decodificación de la imagen inicial en la secuencia de imágenes fijas no termina dentro de un periodo de tiempo de decodificación que oscila entre una marca de tiempo de decodificación (DTS) y una marca de tiempo de presentación (PTS). Por lo tanto, en la variación de la primera forma de realización, incluso si la decodificación de la imagen inicial no ha terminado antes de la PTS, la imagen inicial se visualiza después de que termine la decodificación.

La FIG. 14 es un diagrama explicativo que muestra el procedimiento de reproducción que es realizado por el aparato de decodificación de imágenes de acuerdo con la variación de la primera forma de realización.

DTS2 representa una marca de tiempo de decodificación que se incluye en una cabecera de un paquete (denominado paquete PES) que tiene un código de una imagen inicial pic2 en una secuencia de imágenes fijas, en otras palabras, representa un tiempo de decodificación de la imagen inicial pic2. PTS2 representa una marca de tiempo de presentación que se incluye en la cabecera del paquete que tiene el código de la imagen inicial pic2, en otras palabras, representa un tiempo de presentación (emisión o visualización) de la imagen inicial pic2. DTS1, PTS1 y PTS3 representan tiempos respectivos de la misma manera que la descrita anteriormente.

Por ejemplo, el aparato de decodificación de imágenes 100, como se muestra en la FIG. 14, comienza a decodificar la imagen inicial pic2 en DTS2. Sin embargo, hay un caso en el que un tiempo de terminación de decodificación se halla después de la PTS2. Por lo tanto, en un caso en el que un tiempo de terminación de decodificación para la imagen inicial en la secuencia de imágenes fijas se halla después de la PTS2, el aparato de decodificación de imágenes 100 de acuerdo con la variación de la primera forma de realización comienza la presentación en un tiempo de una rejilla de cuadro que se halla inmediatamente después del tiempo de terminación de decodificación.

De ese modo, en un caso en el que la decodificación comienza en una marca de tiempo de decodificación que se incluye en la imagen inicial codificada, pero la decodificación no ha terminado antes de una marca de tiempo de presentación, el aparato de decodificación de imágenes 100 de acuerdo con la variación de la primera forma de realización añade un margen a la marca de tiempo de presentación y visualiza la imagen inicial decodificada en tal marca de tiempo de presentación con el margen.

La FIG. 15 es un diagrama de flujo que muestra el procedimiento de reproducción que es realizado por el aparato de decodificación de imágenes 100 de acuerdo con la variación de la primera forma de realización.

El aparato de decodificación de imágenes 100 de acuerdo con la variación de la primera forma de realización comienza a decodificar una imagen inicial en una DTS de la imagen inicial en la secuencia de imágenes fijas (Etapa S140). Después, el aparato de decodificación de imágenes 100 determina si la decodificación ha terminado o no antes de una PTS de la imagen inicial (Etapa S142). Aquí, si se toma la determinación de que ha terminado ladecodificación (SÍ en la Etapa S142), entonces el aparato de decodificación de imágenes 100 visualiza la imagen inicial decodificada, en la PTS (Etapa S144). Por otro lado, si se toma la determinación de que aún no ha terminado la decodificación (NO en la Etapa S142), entonces el aparato de decodificación de imágenes 100 visualiza la imagen inicial decodificada, en un tiempo inmediatamente después de la PTS, a saber, en un tiempo de una rejilla de cuadro inmediatamente después de terminar la decodificación (Etapa S146).

De ese modo, de acuerdo con el procedimiento de reproducción que es realizado por el aparato de decodificación de imágenes 100 de la variación de la primera forma de realización, en un caso en el que la decodificación de la imagen inicial en la secuencia de imágenes fijas se retrasa y no ha terminado antes de la PTS, un tiempo de visualización de la imagen inicial también puede retrasarse, de manera que es posible mejorar la calidad de imagen en la secuencia de imágenes fijas, en comparación con un caso en el que la imagen inicial no se visualiza.

(Segunda forma de realización)

La FIG. 16 es un diagrama de bloques que muestra un aparato de codificación de imágenes de acuerdo con la segunda forma de realización de la presente invención.

El aparato de codificación de imágenes 200 de acuerdo con la segunda forma de realización está compuesto por: una unidad de estimación de movimiento 201, una unidad de compensación de movimiento 202, un restador 203, una unidad de transformación ortogonal 204, una unidad de cuantificación 205, una unidad de cuantificación inversa 206, una unidad de transformación ortogonal inversa 207, un sumador 208, una memoria de imagen 209, un conmutador 210, una unidad de codificación de longitud variable 211, una unidad de determinación de estructura de predicción 212, y una unidad de generación de información 213.

La unidad de estimación de movimiento 201 obtiene una señal de imagen Vin en unidades de macrobloques. Después, la unidad de estimación de movimiento 201 busca imágenes decodificadas (imágenes de referencia) que se almacenan en la memoria de imagen 209, y detecta una representación visual que tiene la representación visual más similar a un macrobloque indicada por la señal de imagen Vin. La unidad de estimación de movimiento 201 determina un vector de movimiento MV que indica una ubicación de la representación visual y emite el vector MV. La unidad de estimación de movimiento 201 emite una información de especificación de imagen de referencia Ind que indica una imagen decodificada que se ha usado para detectar el vector de movimiento MV.

La unidad de compensación de movimiento 202 recupera la representación visual que es indicada por el vector de movimiento MV, de las imágenes decodificadas que se almacenan en la memoria de imagen 209 y son indicadas por la información de especificación de imagen de referencia Ind, y emite la representación visual como una imagen prevista.

La unidad de determinación de estructura de predicción de imagen 212 determina, en base a una imagen de comienzo de RAU Uin, que una imagen que codificar se halla en una posición de comienzo de RAU, después ordena, usando un tipo de imagen Pt, a la unidad de estimación de movimiento 801 y la unidad de compensación de movimiento 802 que codifiquen (codificación inter-imagen) la imagen como una imagen accesible aleatoriamente, y ordena además a la unidad de codificación de longitud variable 811 que codifique el tipo de imagen Pt. Más específicamente, la unidad de determinación de estructura de predicción 212 especifica un tipo de imagen, por ejemplo, imagen I, imagen P, imagen B, imagen Saltada, o similares, para cada imagen que codificar que se incluye en la señal de imagen Vin.

El restador 203 obtiene la señal de imagen Vin y la imagen prevista, después calcula un diferencial entre la señal de imagen Vin y la imagen prevista, y emite el diferencial a la unidad de transformación ortogonal 204. La unidad de transformación ortogonal 204 transforma el diferencial en un coeficiente de frecuencia, y emite el coeficiente de frecuencia a la unidad de cuantificación 205. La unidad de cuantificación 205 cuantifica el coeficiente de frecuencia que es introducido desde la unidad de transformación ortogonal 204, y emite el valor de cuantificación resultante Qc a la unidad de codificación de longitud variable 211.

La unidad de cuantificación inversa 206 cuantifica inversamente el valor de cuantificación Qc con el fin de restaurar el coeficiente de frecuencia original, y emite el coeficiente de frecuencia resultante a la unidad de transformación ortogonal inversa 207. La unidad de transformación ortogonal inversa 207 realiza una transformación de frecuencia inversa en el coeficiente de frecuencia que transformar en un diferencial de píxeles, y emite el diferencial de píxeles al sumador 208. El sumador 808 suma el diferencial de píxeles con la imagen prevista que es emitida desde la unidad de compensación de movimiento 202, y genera una imagen decodificada. El conmutador 210 está Encendido cuando se ordena que la imagen decodificada sea almacenada, y la imagen decodificada se almacena en la memoria de imagen 209.

La unidad de generación de información 213 genera un mapa de RAU MI como se muestra en una de las FIGS. 9A a 9D, de acuerdo con el tipo de imagen Pt que es especificado por la unidad de determinación de estructura de predicción 212, y emite el mapa de RAU MI generado a la unidad de codificación de longitud variable 211.

La unidad de codificación de longitud variable 211 realiza una codificación de longitud variable en el valor de cuantificación Qc, el tipo de imagen Pt, el mapa de RAU M, el vector de movimiento MV, y similares, con el fin de generar un flujo STR.

Como se describe anteriormente, el aparato de codificación de imágenes 200 de acuerdo con la segunda forma de realización se diferencia del aparato de codificación de imágenes convencional 800 en que se incluye la unidad de generación de información 213.

La FIG. 17 es un diagrama de flujo que muestra operaciones que son realizadas por el aparato de codificación de imágenes 200 de acuerdo con la segunda forma de realización.

En primer lugar, el aparato de codificación de imágenes 200 determina, usando la unidad de determinación de estructura de predicción 212, si una imagen que codificar es o no una imagen inicial en una RAU (Etapa S200). Aquí, si se toma la determinación de que la imagen es la imagen inicial en la RAU (SÍ en la Etapa S200), el aparato de codificación de imágenes 200 realiza, usando la unidad de codificación de longitud variable 211, un procesamiento de inicialización para generar el mapa de RAU MI, y obtiene un área para almacenar el mapa de RAU MI en unos datos de usuario de una capa de punto de entrada (Etapa S202).

Asimismo, el aparato de codificación de imágenes 200 determina, usando la unidad de determinación de estructura de predicción 212, si la imagen que codificar es o no una imagen Saltada (Etapa S204). Aquí, si se toma la determinación de que la imagen no es una imagen Saltada (NO en la Etapa S204), entonces el aparato de codificación de imágenes 200 codifica datos de píxeles de la imagen que codificar (Etapa S206).

Después, el aparato de codificación de imágenes 200 genera y actualiza, mediante la unidad de generación de información 213, un mapa de RAU MI, en base a un resultado de la determinación en la Etapa S204 (Etapa S208).

Por ejemplo, el aparato de codificación de imágenes 200 genera el mapa de RAU MI como se muestra en la FIG. 9D, con el fin de incluir un tipo de imagen de la imagen que se codifica en la Etapa S206, información que indica si la imagen es un campo o un cuadro, y similares. El aparato de codificación de imágenes 200 también puede generar el mapa de RAU MI como se muestra en la FIG. 9C, con el fin de incluir una indicación de una secuencia de imágenes fijas.

A continuación, el aparato de codificación de imágenes 200 determina si la imagen determinada en la Etapa S204 es

o no una última imagen en la RAU (Etapa S210). En otras palabras, el aparato de codificación de imágenes 200 determina si el procesamiento se ha realizado o no para todas las imágenes que se incluyen en la RAU. Aquí, si setoma la determinación de que la imagen es una última imagen (SÍ en S210), entonces el aparato de codificación de imágenes 200 especifica y codifica el mapa de RAU MI, usando la unidad de codificación de longitud variable 211, y agrega el mapa de RAU MI en el área que se obtiene en la Etapa S202 (Etapa S212).

Después, el aparato de codificación de imágenes 200 determina si aún hay o no imágenes que procesar, entre las imágenes incluidas en el flujo STR (Etapa S214). Aquí, si se toma la determinación de que aún hay una imagen queprocesar (SÍ en la Etapa S214), entonces el aparato de codificación de imágenes 200 repite las operaciones desde la Etapa S200, y si se toma la determinación de que no se encuentra ninguna imagen que procesar (NO en la Etapa S214), entonces el aparato de codificación de imágenes 200 termina todas las operaciones de codificación.

Obsérvese que, en un caso en el que no se conoce la información que concierne al mapa de RAU MI, o un caso en el que se añade una memoria intermedia con el fin de almacenar temporalmente datos de imágenes que se incluyen en la RAU, es posible saltarse la Etapa S202. En este caso, el área de almacenamiento para el mapa de RAU MI se obtiene en la Etapa S212, y el mapa de RAU MI se almacena en los datos de usuario de la capa de punto de entrada.

Obsérvese también que el aparato de codificación de imágenes 200 puede generar el flujo STR que incluye imágenes Saltadas, con una velocidad binaria fija. La cantidad para codificar una imagen Saltada es de 1 byte aproximadamente, y es necesario ajustar un tamaño del flujo STR insertando datos de relleno, cuando se codifica la señal de imagen Vin con una velocidad binaria fija. Aquí, los datos de relleno sólo se pueden insertar en imágenes Saltadas. De ese modo, es posible decodificar la imagen sin consumir tiempo para procesar los datos de relleno que se insertan en un fragmento de los datos en la imagen.

Obsérvese también que una capa de secuencia y la información de la capa de punto de entrada necesitan leerse en primer lugar durante la reproducción especial, de modo que es deseable reducir el tamaño de los datos en la medida que sea posible. Por lo tanto, se puede determinar que no se inserten los datos de relleno entre la capa de secuencia y la capa de punto de entrada.

También es posible multiplexar y grabar el flujo STR que se genera mediante el procedimiento de codificación de acuerdo con la segunda forma de realización, junto con datos de audio. Ejemplos del procedimiento de multiplexado son un procedimiento que se estandariza para cada medio empaquetado y similares, como un procedimiento que usa un paquete de flujo de transporte del sistema MPEG-2 o un paquete que se define en un Disco Blu-ray (BD).

Además, en el perfil simple y el perfil principal, la imagen Saltada no puede ser identificada por el tipo de imagen en la capa de imagen.

Por lo tanto, incluso si el tipo de imagen en la capa de imagen para cada imagen es imagen I, imagen P, imagen B, o imagen BI, el aparato de codificación de imágenes 200 de acuerdo con la segunda forma de realización puede examinar, en base a un tamaño de la imagen, si la imagen es o no una imagen Saltada, y si la imagen es una imagen Saltada, entonces el mapa de RAU MI se puede generar para indicar que la imagen es una imagen Saltada. Esto significa que el mapa de RAU MI en el flujo STR que es generado por el aparato de codificación de imágenes 200 indica tipos de imágenes de imágenes respectivas incluyendo imágenes Saltadas, incluso en el perfil simple y el perfil principal.

Por la misma razón, en el perfil principal, también es imposible distinguir una imagen B y una imagen BI por el tipo de imagen en la capa de imagen.

Por lo tanto, el aparato de codificación de imágenes 200 de acuerdo con la segunda forma de realización genera el mapa de RAU MI que indica tipos de imágenes de imágenes respectivas que se incluyen en la RAU, en base a los tipos de imágenes Pt que son especificados distinguiendo una imagen B y una imagen BI mediante la unidad de determinación de estructura de predicción 212. Esto significa que el mapa de RAU MI en el flujo STR que es generado por el aparato de codificación de imágenes 200 puede distinguir imágenes B e imágenes BI, incluso en el perfil principal. La imagen BI, no como la imagen B, se puede decodificar de forma independiente, de manera que la distinción de imagen BI e imagen B incrementa la flexibilidad para seleccionar imágenes que decodificar y reproducir durante la reproducción especial.

En un caso en el que una capa de secuencia está presente, es posible que la RAU incluya la capa de secuencia, por ejemplo, añadiendo siempre la capa de secuencia a la capa de punto de entrada. Además, los datos de usuario en la capa de punto de entrada pueden incluir información adicional además del mapa de RAU MI.

En la reproducción especial, es importante especificar una imagen que decodificar y acceder de forma eficaz a tal imagen. Por lo tanto, el mapa de RAU MI puede indicar información de dirección concerniente a cada imagen. Aquí, la información de dirección puede ser información concerniente a una posición de byte contada desde el comienzo de la RAU o información para especificar un paquete en el que cada imagen se almacene cuando los datos codificados sean paquetizados por un paquete de flujo de transporte, y similares. Obsérvese que la información de dirección se puede añadir, no para todas las imágenes, sino sólo para las imágenes que decodificar durante la reproducción especial, como las imágenes I o las imágenes P.

<Variación>

Lo que aparece a continuación describe una variación de imagen Saltada de acuerdo con la segunda forma de realización.

En la segunda forma de realización, se genera una imagen Saltada para ser una imagen P que tiene los mismos datos de píxeles que los de la imagen de referencia inmediatamente anterior a la imagen Saltada en orden de decodificación. Por lo tanto, la imagen Saltada no se puede usar en lugar de una imagen B.

De ese modo, la variación de la segunda forma de realización genera la imagen Saltada como una imagen B que no se predice a partir de cualquier otra imagen, y como una imagen que tiene los mismos datos de píxeles que una imagen que es la imagen de referencia inmediatamente anterior a la imagen Saltada en orden de visualización (en lo sucesivo, denominada imagen B-skip). Más específicamente, en la variación de la segunda forma de realización, introduciendo nuevamente la imagen B-skip, es posible formar una estructura del GOP, como imagen I, imagen B, imagen B, imagen P, imagen B, imagen B, imagen P, imagen B, imagen B…, que se usa comúnmente en el estándar MPEG-2, de manera que la reproducción de IP (reproducción especial para reproducir sólo imágenes I e imágenes P) se puede llevar a cabo fácilmente en el aparato de decodificación de imágenes.

Las FIGS. 18A y 18B muestran ejemplos en los que se usan las imágenes B-skip. Obsérvese que, en las FIGS. 18A y 18B, "I", "B", "P" y "B-skip" que se incluyen en los códigos "I2", "B0", "P5" y "B-skip6" y similares, representan tipos de imágenes de imágenes respectivas, y los números que se añaden a los tipos de imágenes indican un orden de visualización. Obsérvese que, en la FIG. 18A, las imágenes en la RAU se disponen en orden de decodificación, y en la FIG. 18B, las imágenes en la RAU se disponen en orden de visualización. Una imagen B-skip6 y una imagen Bskip7 se predicen sólo a partir de una imagen P5 que es una imagen de referencia inmediatamente anterior a las imágenes en orden de visualización, y no se predicen a partir de una imagen P8. El aparato de codificación de imágenes 200 de acuerdo con la variación de la segunda forma de realización genera un flujo STR que tiene la RAU mostrada en la FIG. 18A y 18B.

Aquí, si una imagen es o no una imagen B-skip es indicado por un tipo de imagen en el mapa de RAU MI. Por otro lado, incluso si la imagen es una imagen B-skip, un tipo de imagen o un tipo de imagen de campo que se incluye en una capa de imagen de la imagen es una imagen B. Por lo tanto, tal flujo STR puede mantener la compatibilidad con el flujo convencional, de manera que incluso el decodificador convencional que no puede analizar el mapa de RAU MI puede tratar la imagen B-skip como una imagen B, y realizar una reproducción especial.

Obsérvese que la capa de imagen puede indicar si una imagen es o no una imagen B-skip. También es posible generar una imagen B-skip como una imagen que tiene los mismos datos de píxeles que los de una imagen de referencia inmediatamente anterior a la imagen B-skip en orden de visualización. En este caso, el mapa de RAU MI puede indicar si la imagen B-skip se predice a partir de una imagen de referencia inmediatamente anterior a la imagen B-skip o una imagen de referencia inmediatamente posterior a la imagen B-skip, en orden de visualización.

(Tercera forma de realización)

Asimismo, grabando un programa para operar el aparato de codificación de imágenes y el aparato de decodificación de imágenes descritos en las formas de realización antes mencionadas, en un medio de grabación, como un disco flexible, es posible implementar fácilmente el procesamiento descrito en las formas de realización antes mencionadas mediante un sistema informático independiente.

Las FIGS. 19A, 19B, y 19C son diagramas explicativos que muestran un caso en el que el aparato de codificación de imágenes y el aparato de decodificación de imágenes descritos en las formas de realización antes mencionadas se operan mediante un sistema informático, usando un programa que se graba en un medio de grabación, como un disco flexible.

La FIG. 19B muestra una vista exterior frontal del disco flexible, una estructura en sección transversal del disco flexible, y un cuerpo del cuerpo de disco flexible. La FIG. 19A muestra un ejemplo de un formato físico del cuerpo de disco flexible que es un cuerpo principal del medio de grabación. El cuerpo de disco flexible FD está incorporado en una carcasa F, y una pluralidad de pistas Tr se forman en una superficie del disco desde una circunferencia hacia una circunferencia interna en una forma de círculos concéntricos, y cada pista está segmentada en dieciséis sectores Se en una dirección angular. Por lo tanto, con respecto al disco flexible que almacena el programa antes mencionado, el programa antes mencionado se graba en un área asignada en el cuerpo de disco flexible FD.

Asimismo, la FIG. 19C muestra una estructura por la que el cuerpo de disco flexible FD graba y reproduce el programa. Cuando el programa antes mencionado para operar el aparato de codificación de imágenes y el aparato de decodificación de imágenes se graba en el cuerpo de disco flexible FD, el programa se agrega desde un sistema informático a través de una unidad de disco flexible FDD. Asimismo, cuando el procesamiento realizado por el aparato de codificación de imágenes y el aparato de decodificación de imágenes se estructura en el sistema de programación en el disco flexible, el programa es leído del disco flexible a través de la unidad de disco flexible, y transferido al sistema informático Cs.

Obsérvese que la explicación antes mencionada ha descrito el uso del disco flexible como un medio de grabación, pero es posible usar un disco óptico en su lugar. Obsérvese también que el medio de grabación no está limitado a lo anterior, sino que puede ser cualquier cosa para permitir grabar el programa, como una tarjeta de CI y un módulo ROM.

Como se describe anteriormente, de acuerdo con la presente invención, el aparato de codificación de imágenes añade el mapa de RAU a una cabecera de la RAU, y el aparato de decodificación de imágenes consulta el mapa de RAU añadido antes de decodificar cada imagen, de manera que es posible reducir las operaciones de decodificación, y especialmente mejorar la calidad de reproducción de un medio empaquetado, en el que una función de reproducción especial es crucial. Por lo tanto, la presente invención tiene un valor práctico elevado.

Como se describe anteriormente, la presente invención se ha descrito usando las formas de realización antes mencionadas y las variaciones respectivas, pero la presente invención no está limitada a lo anterior.

Por ejemplo, cada bloque funcional mostrado en los diagramas de bloques (FIGS. 10 y 16, por ejemplo) se lleva a cabo como una integración a gran escala (LSI) que es un circuito integrado típico. Estos bloques funcionales se pueden integrar por separado, o una parte o todos ellos se pueden integrar en un único chip (Por ejemplo, bloques funcionales excepto una memoria se pueden integrar como un único chip.).

El circuito integrado se puede denominar CI, sistema LSI, súper LSI o ultra LSI dependiendo de sus grados de integración.

La técnica del circuito integrado no está limitada a la LSI, y se puede implementar como un circuito dedicado o un procesador de uso general. También es posible usar una Matriz de Puertas Programable en Campo (FPGA) que se pueda programar después de fabricarse la LSI, o un procesador reconfigurable en el que se pueda reconfigurar la conexión y el ajuste de células del circuito en el interior de la LSI.

Asimismo, si debido al progreso de las tecnologías de semiconductores o sus derivaciones, nuevas tecnologías para circuitos integrados parecen reemplazarse por las LSIs, es, por supuesto, posible usar tales tecnologías para implementar los bloques funcionales incluidos como un circuito integrado. Por ejemplo, la biotecnología, la tecnología de productos químicos orgánicos, y similares se pueden aplicar a la implementación antes mencionada.

Obsérvese que, entre los bloques funcionales, sólo las unidades para almacenar datos que codificar o decodificar no se integran en el chip, pero se lleva a cabo como una función diferente.

APLICABILIDAD INDUSTRIAL

5 El aparato de codificación de imágenes y el aparato de decodificación de imágenes de acuerdo con la presente invención se pueden aplicar, al reproducir el flujo VC-1 y similares, a todos los dispositivos que tengan una función de reproducción especial, como una reproducción a alta velocidad, y es especialmente útil para dispositivos periféricos de disco óptico en los que la función de reproducción especial es crítica.

Claims

REIVINDICACIONES

1. Un aparato de codificación de imágenes (200) que codifica una imagen, comprendiendo dicho aparato de codificación de imágenes (200):

una unidad de codificación (211) operable para codificar cada imagen de acuerdo con un tipo de imagen de la imagen;

una unidad de generación de mapa (213) operable para generar un mapa que indica una secuencia de imágenes fijas en una unidad de acceso aleatorio que incluye una pluralidad de imágenes codificadas; y

una unidad de escritura (213) operable para escribir, en la unidad de acceso aleatorio, el mapa que es generado por dicha unidad de generación de mapa,

caracterizado porque la secuencia de imágenes fijas incluye (i) una imagen de referencia que se posiciona al comienzo de la secuencia de imágenes fijas en orden de decodificación y (ii) una o más imágenes Saltadas consecutivas posicionadas inmediatamente después de la imagen de referencia en el orden de decodificación,

la imagen Saltada es una imagen que se define para visualizarse con una representación visual de la imagen de referencia que se decodifica,

el mapa es información en la que los tipos de imágenes y las estructuras de imágenes de toda la pluralidad de imágenes codificadas en la unidad de acceso aleatorio se disponen en el orden de decodificación,

los tipos de imágenes incluyen: (1) una imagen I que se codifica por predicción intra-imagen; (2) una imagen P que se codifica por predicción inter-imagen con referencia a una imagen solamente; (3) una imagen B que se codifica por predicción inter-imagen con referencia a dos imágenes; (4) la imagen Saltada que tiene los mismos datos de píxeles que los datos de píxeles de una imagen de referencia inmediatamente anterior en el orden de decodificación; y (5) una imagen BI que se codifica por intra-imagen sin ser consultada por ninguna otra imagen, y

las estructuras de imágenes incluyen una estructura de campo, una estructura de cuadro, e información acerca de la conversión 3:2.
2.

El aparato de codificación de imágenes (200) de acuerdo con la reivindicación 1,

en el que dicha unidad de escritura (213) es operable para escribir el mapa en una posición que es anterior a una imagen inicial en la unidad de acceso aleatorio.
3.

El aparato de codificación de imágenes (200) de acuerdo con la reivindicación 1,

en el que dicha unidad de generación de mapa (213) es operable para generar el mapa, independientemente de si cada imagen codificada en la unidad de acceso aleatorio incluye o no el tipo de imagen.
4.

El aparato de codificación de imágenes (200) de acuerdo con la reivindicación 2,

en el que dicha unidad de generación de mapa (213) es operable para generar el mapa que indica una imagen inicial y una imagen final en la secuencia de imágenes fijas.
5.

Un aparato de decodificación de imágenes (100) que decodifica una unidad de acceso aleatorio que incluye una pluralidad de imágenes codificadas, comprendiendo dicho aparato de decodificación de imágenes:

una unidad de detección (109) operable para detectar, desde la unidad de acceso aleatorio, un mapa que indica una secuencia de imágenes fijas en la unidad de acceso aleatorio;

una unidad de selección (110) operable para seleccionar una imagen que decodificar, de las imágenes codificadas en la unidad de acceso aleatorio, en base a la secuencia de imágenes fijas que es indicada por el mapa detectado por dicha unidad de detección; y

una unidad de decodificación (101) operable para decodificar la imagen que es seleccionada por dicha unidad de selección,

caracterizado porque la secuencia de imágenes fijas incluye (i) una imagen de referencia que se posiciona al comienzo de la secuencia de imágenes fijas en orden de decodificación y (ii) una o más imágenes saltadas consecutivas posicionadas inmediatamente después de la imagen de referencia en el orden de decodificación,

la imagen Saltada es una imagen que se define para visualizarse con una representación visual de la imagen de referencia que se decodifica,

el mapa es información en la que los tipos de imágenes y las estructuras de imágenes de toda la pluralidad de imágenes codificadas en la unidad de acceso aleatorio se disponen en el orden de decodificación,

los tipos de imágenes incluyen: (1) una imagen I que se codifica por predicción intra-imagen; (2) una imagen P que se codifica por predicción inter-imagen con referencia a una imagen solamente; (3) una imagen B que se codifica por predicción inter-imagen con referencia a dos imágenes; (4) la imagen Saltada que tiene los mismos datos de píxeles que los datos de píxeles de una imagen de referencia inmediatamente anterior en el orden de decodificación; y (5) una imagen BI que se codifica por intra-imagen sin ser consultada por ninguna otra imagen, y

las estructuras de imágenes incluyen una estructura de campo, una estructura de cuadro, e información acerca de la conversión 3:2.
6.

El aparato de decodificación de imágenes (100) de acuerdo con la reivindicación 5,

en el que dicha unidad de detección (109) es operable para detectar el mapa a partir de una parte que se posiciona antes de una imagen inicial en la unidad de acceso aleatorio.
7.

El aparato de decodificación de imágenes (100) de acuerdo con la reivindicación 6, que comprende además:

una unidad de visualización (107) operable para visualizar la imagen de referencia que se halla en la secuencia de imágenes fijas y es decodificada por dicha unidad de decodificación (101), y para visualizar la representación visual de la imagen de referencia que es decodificada por dicha unidad de decodificación (101) repetidamente por el número de las imágenes Saltadas incluidas en la secuencia de imágenes fijas.
8.

El aparato de decodificación de imágenes (100) de acuerdo con la reivindicación 7,

en el que dicha unidad de selección (110) es operable, en un caso en el que la imagen de referencia está seguida por las imágenes Saltadas, para especificar como la secuencia de imágenes fijas una secuencia que comienza con la imagen de referencia y finaliza con una última imagen Saltada, y para seleccionar como la imagen que decodificar sólo la imagen de referencia para la secuencia de imágenes fijas.
9.

El aparato de decodificación de imágenes (100) de acuerdo con la reivindicación 8,

en el que dicha unidad de selección (110) es operable para seleccionar sólo la imagen de referencia como la imagen que decodificar, de cada imagen que se incluye en la unidad de acceso aleatorio, cuando se recibe una instrucción para realizar una reproducción a alta velocidad,

dicha unidad de decodificación (101) es operable para decodificar la imagen de referencia que es seleccionada por dicha unidad de selección, y

dicha unidad de visualización (107) es operable para visualizar la imagen que es decodificada por dicha unidad de decodificación, y para visualizar repetidamente la imagen de referencia que es una imagen inicial en la secuencia de imágenes fijas.
10. El aparato de decodificación de imágenes (100) de acuerdo con la reivindicación 7,

en el que el mapa indica una imagen inicial y una imagen final en la secuencia de imágenes fijas, y

dicha unidad de selección (110) es operable para seleccionar, para la secuencia de imágenes fijas, sólo la imagen inicial en la secuencia de imágenes fijas como la imagen que decodificar.
11. Un procedimiento de codificación de imágenes de codificar una imagen, comprendiendo dicho procedimiento de codificación de imágenes:

codificar (S206) cada imagen de acuerdo con un tipo de imagen de la imagen; generar (S208) un mapa que indica una secuencia de imágenes fijas en una unidad de acceso aleatorio que incluye una pluralidad de imágenes codificadas; y

escribir (S212), en la unidad de acceso aleatorio, el mapa que se genera en dicha generación,

caracterizado porque la secuencia de imágenes fijas incluye (i) una imagen de referencia que se posiciona al comienzo de la secuencia de imágenes fijas en orden de decodificación y (ii) una o más imágenes Saltadas consecutivas posicionadas inmediatamente después de la imagen de referencia en el orden de decodificación,

la imagen Saltada es una imagen que se define para visualizarse con una representación visual de la imagen de referencia que se decodifica,

el mapa es información en la que los tipos de imágenes y las estructuras de imágenes de toda la pluralidad de imágenes codificadas en la unidad de acceso aleatorio se disponen en el orden de decodificación,

los tipos de imágenes incluyen: (1) una imagen I que se codifica por predicción intra-imagen; (2) una imagen P que se codifica por predicción inter-imagen con referencia a una imagen solamente; (3) una imagen B que se codifica por predicción inter-imagen con referencia a dos imágenes; (4) la imagen Saltada que tiene los mismos datos de píxeles que los datos de píxeles de una imagen de referencia inmediatamente anterior en el orden de decodificación; y (5) una imagen BI que se codifica por intra-imagen sin ser consultada por ninguna otra imagen, y

las estructuras de imágenes incluyen una estructura de campo, una estructura de cuadro, e información acerca de la conversión 3:2.
12. Un procedimiento de decodificación de imágenes para decodificar una unidad de acceso aleatorio que incluye una pluralidad de imágenes codificadas, comprendiendo dicho procedimiento de decodificación de imágenes:

detectar (S100), desde la unidad de acceso aleatorio, un mapa que indica una secuencia de imágenes fijas en la unidad de acceso aleatorio;

seleccionar (S104) una imagen que decodificar, de las imágenes codificadas en la unidad de acceso aleatorio, en base a la secuencia de imágenes fijas que es indicada por el mapa detectado por dicha detección (S100); y

decodificar (S110) la imagen que es seleccionada por dicha selección,

caracterizado porque la secuencia de imágenes fijas incluye (i) una imagen de referencia que se posiciona al comienzo de la secuencia de imágenes fijas en orden de decodificación y (ii) una o más imágenes Saltadas consecutivas posicionadas inmediatamente después de la imagen de referencia en el orden de decodificación,

la imagen Saltada es una imagen que se define para visualizarse con una representación visual de la imagen de referencia que se decodifica,

el mapa es información en la que los tipos de imágenes y las estructuras de imágenes de toda la pluralidad de imágenes codificadas en la unidad de acceso aleatorio se disponen en el orden de decodificación,

los tipos de imágenes incluyen: (1) una imagen I que se codifica por predicción intra-imagen; (2) una imagen P que se codifica por predicción inter-imagen con referencia a una imagen solamente; (3) una imagen B que se codifica por predicción inter-imagen con referencia a dos imágenes; (4) la imagen Saltada que tiene los mismos datos de píxeles que los datos de píxeles de una imagen de referencia inmediatamente anterior en el orden de decodificación; y (5) una imagen BI que se codifica por intra-imagen sin ser consultada por ninguna otra imagen, y

las estructuras de imágenes incluyen una estructura de campo, una estructura de cuadro, e información acerca de la conversión 3:2.