ES2405131T3 - Aparato de codificación de imagen y aparato de decodificación de imagen - Google Patents

Abstract

Un aparato de codificación de imagen (10) que codifica imágenes imagen por imagen y según la norma de Codificación de Vídeo Avanzada MPEG-4 y genera una unidad de acceso aleatorio de Codificación de Vídeo Avanzada MPEG-4 como parte de un flujo, incluyendo la unidad de acceso aleatorio las imágenes codificadas, comprendiendo dicho aparato (10): una unidad de codificación (11) operable para generar datos de imagen codificados codificando las imágenes imagen por imagen; 1una primera unidad de generación de información operable para generar una información del conjunto de parámetros de secuencia que es un grupo de parámetros que serán referenciados para decodificar todos los datos de imagen codificados en la unidad de acceso aleatorio; una segunda unidad de generación de información (16) operable para generar una información del conjunto de parámetros de imagen para cada imagen codificada, respectivamente, siendo cada información del conjunto de parámetros de imagen un grupo de parámetros que serán referenciados para decodificar cada dato de imagen codificado; una primera unidad de almacenamiento operable para almacenar los datos de imagen codificados respectivamente en unidades de acceso que constituyen la unidad de acceso aleatorio; una segunda unidad de almacenamiento operable para almacenar la información del conjunto de parámetros de secuencia en una primera unidad de acceso que se ubica en un encabezamiento de la unidad de acceso aleatorio; una tercera unidad de almacenamiento (16), en base a una condición predeterminada, operable para almacenar una pluralidad de las informaciones del conjunto de parámetros de imagen en la primera unidad de acceso que se ubica en un encabezamiento de la unidad de acceso aleatorio; y una cuarta unidad de almacenamiento (17) operable para almacenar cada información del conjunto de parámetros de imagen en una unidad de acceso en la que se almacena un dato de imagen codificado que se refiere a las informaciones del conjunto de parámetros de imagen, siendo diferente el contenido de cada una de las informaciones del conjunto de parámetros de imagen del contenido de cada una de las informaciones del conjunto de parámetros de imagen almacenado en la primera unidad de acceso, en el que la información del conjunto de parámetros de imagen es información del conjunto de parámetros de imagen según la Codificación de Vídeo Avanzada MPEG-4, incluyendo la información del conjunto de parámetros de imagen un tipo de procedimiento de codificación de longitud variable, un valor inicial de la etapa de cuantificación y un número de imágenes 40 de referencia; y caracterizado porque dicha tercera unidad de almacenamiento (16) restringe el número máximo de las informaciones del conjunto de parámetros de imagen que se pueden almacenar en la primera unidad de acceso en base al número máximo de imágenes codificadas que componen una unidad de acceso aleatorio de manera que el número de informaciones del conjunto de parámetros de imagen que se almacenan en la primera unidad de acceso sea más de uno y menos del número máximo de las imágenes codificadas que componen la unidad de acceso aleatorio.

Description

Aparato de codificación de imagen y aparato de decodificación de imagen.

Campo técnico

La presente invención se refiere a un aparato de codificación de imagen que codifica una imagen en movimiento imagen por imagen y a un aparato de decodificación de imagen que decodifica la imagen en movimiento codificada codificada por el aparato de codificación de imagen, en particular a un aparato de codificación de imagen y un aparato de decodificación de imagen correspondientes a un trick-play como la reproducción a alta velocidad (reproducción a velocidad variable).

Técnica anterior

En la era de la multimedia que maneja integralmente audio, video y otros valores de píxel, los medios de información existentes, específicamente, los periódicos, las revistas, la televisión, la radio, el teléfono y similares por los que se transmite información a la gente, han llegado a incluirse recientemente en el ámbito de la multimedia. Por lo general, multimedia se refiere a algo que se representa asociando no sólo caracteres, sino también gráficos, sonido, y especialmente imágenes y similares, conjuntamente, pero con el fin de incluir los medios de información existentes antes mencionados en el ámbito de la multimedia, pasa a ser un requisito previo representar tal información en forma digital.

Sin embargo, si la cantidad de información portada por cada uno de los medios de información mencionados se estima como la cantidad de información digital, mientras que la cantidad de información para 1 carácter en el caso de texto es de 1 a 2 bytes, la cantidad de información requerida para el sonido es de 64Kbits por segundo (calidad de teléfono), y 100Mbits o superior por segundo pasa a ser necesario para imágenes en movimiento (calidad de recepción de televisión actual), no es realista que los medios de información manejen una cantidad de información tan inmensa como en forma digital. Por ejemplo, aunque los videoteléfonos ya están en uso real a través de la Red Digital de Servicios Integrados (ISDN) que ofrece una velocidad de transmisión de 64Kbit/s a 1,5Mbit/s, es imposible transmitir imágenes en las televisiones e imágenes tomadas por cámaras directamente por ISDN.

Como consecuencia, han pasado a requerirse técnicas de compresión de información, y por ejemplo, en el caso del videoteléfono, se están empleando las normas H.261 y H.263 para la tecnología de compresión de imagen en movimiento, normalizada internacionalmente por la Unión Internacional de Telecomunicaciones - Sector de Normalización de las Telecomunicaciones (ITU-T). Además, con las técnicas de compresión de información estándares de MPEG-1, también se ha hecho posible almacenar información de vídeo en discos compactos de música generales (CD) junto con información de audio.

Aquí, el Grupo de Expertos en Imágenes en Movimiento (MPEG) es una norma internacional para la compresión de señales de imágenes en movimiento normalizada por la Organización Internacional de Normalización y la Comisión Electrotécnica Internacional (ISO/IEC). El MPEG-1 es una norma para comprimir señales de imágenes en movimiento hasta 1,5Mbps, en otras palabras, comprimir señales de televisión hasta una centésima parte aproximadamente. Además, ya que la calidad de la imagen objetivo dentro del ámbito de la norma MPEG-1 está limitada a un grado de calidad medio que se puede llevar a cabo por una velocidad de transmisión de fundamentalmente alrededor de 1,5Mbps, el uso de MPEG-2, que fue normalizado para satisfacer las exigencias de una calidad de imagen aún más mejorada, lleva a cabo la calidad de la emisión de televisión con señales de imágenes en movimiento comprimidas desde 2 hasta 15Mbps. Asimismo, en la actualidad, MPEG-4, que ha excedido las relaciones de compresión de MPEG-1 y MPEG-2, y también permite la codificación, decodificación y operación objeto por objeto, y lleva a cabo las nuevas funciones requeridas para la era multimedia, se ha normalizado por el grupo de trabajo (ISO/IEC JTC1/SC29/WG11) que ha promovido la normalización de MPEG-1 y MPEG-2. El MPEG-4 se dirigió inicialmente a la normalización de un procedimiento de codificación de tasa de bits baja. Sin embargo, en la actualidad, esto se ha ampliado a la normalización de un procedimiento de codificación más versátil que incluye además una codificación de tasa de bits elevada para imágenes entrelazadas. Después de esto, se normaliza MPEG-4 Codificación de Vídeo Avanzada (AVC) como un procedimiento de codificación de imagen de nueva generación con una relación de compresión más elevada por una cooperación de ISO/IEC e ITU-T. Se prospecta que se use para dispositivos relacionados con el disco óptico de nueva generación o para una emisión dirigida a terminales de teléfonos móviles.

Por lo general, en la codificación de una imagen en movimiento, la cantidad de información se comprime reduciendo la redundancia en las direcciones temporal y espacial. Como consecuencia, en una codificación por predicción inter-imagen que se dirige a la reducción de la redundancia temporal, se realiza una estimación de movimiento y una generación de una imagen predictiva bloque por bloque refiriéndose a una imagen precedente o siguiente, y se codifica un valor de diferencia entre la imagen predictiva obtenida y una imagen que será codificada. Aquí, una imagen indica una pantalla: indica un cuadro en una imagen progresiva; e indica un cuadro o un campo en una imagen entrelazada. Aquí, la imagen entrelazada es una imagen cuyo cuadro está compuesto por dos campos que difieren temporalmente el uno del otro. En una codificación y decodificación de la imagen entrelazada, se permite procesar un cuadro como cuadro, procesarlo como dos campos, o procesarlo como estructura de cuadro o como estructura de campo bloque por bloque en el cuadro.

Una imagen I es una imagen que se codifica por predicción inter-imagen sin referirse a una imagen de referencia. También, una imagen P es una imagen que se codifica por predicción inter-imagen refiriéndose solamente a una imagen. Adicionalmente, una imagen B es una imagen que se puede codificar por predicción inter-imagen refiriéndose a dos imágenes al mismo tiempo. La imagen B se puede referir a dos imágenes como un par de imágenes cualquiera que se visualizan antes o después de la imagen B. Se puede especificar una imagen de referencia para cada bloque que es una unidad básica para codificar y decodificar. La imagen de referencia que se describe de antemano en un flujo de bits codificado se distingue como una primera imagen de referencia con la imagen de referencia que se describe posteriormente como una segunda imagen de referencia. Obsérvese que, como condición para codificar y decodificar estas imágenes, es necesario que una imagen que será referenciada ya haya sido codificada y decodificada.

La FIG. 1 es un dibujo que muestra una estructura de un flujo del MPEG-2 convencional. Como se muestra en la FIG. 1, el flujo del MPEG-2 tiene una estructura jerárquica como se describe a continuación. El flujo está compuesto por más de un Grupo de Imágenes (GOP), y se permite una edición y un acceso aleatorio de una imagen en movimiento usándose el flujo como unidad básica para la codificación. Cada GOP está compuesto por más de una imagen. Cada imagen es una de una imagen I, una imagen P o una imagen B. Cada flujo, GOP e imagen se compone además de un código sincrónico (sinc) que indica un punto de interrupción de cada unidad y una cabecera que son datos comunes en la unidad.

La FIG. 2A y la FIG. 2B son dibujos que muestran un ejemplo de una estructura predictiva entre imágenes usadas en MPEG-2.

En los dibujos, las imágenes mostradas como un área sombreada diagonalmente son imágenes que serán referenciadas por otras imágenes. Como se muestra en la FIG. 2A, en MPEG-2, la imagen P (P0, P6, P9, P12, P15) se puede codificar por predicción refiriéndose a una imagen I o imagen P que se visualice inmediatamente antes de dicha imagen P. Adicionalmente, la imagen B (B1, B2, B4, B5, B7, B8, B10, B11, B13, B14, B16, B17, B19, B20) se puede codificar por predicción refiriéndose a una imagen I o imagen P que se visualice antes de y después de dicha imagen B. Adicionalmente, el orden de disposición en un flujo se ha determinado como sigue: las imágenes I y las imágenes P se disponen en orden de visualización; y cada una de las imágenes B se dispone inmediatamente después de una imagen I

o imagen P que se visualiza inmediatamente después de dicha imagen B. Como estructura GOP, por ejemplo, como se muestra en la FIG. 2B, las imágenes desde I3 hasta B14 se pueden incluir en un GOP.

La FIG. 3 es un dibujo que muestra una estructura de un flujo de MPEG-4 AVC. En MPEG-4 AVC, no hay un concepto equivalente al GOP. Sin embargo, separando los datos en unidades de imágenes especiales por las que cada imagen se decodifica sin que dependa de otras imágenes, es posible construir una unidad a la que se pueda acceder de forma aleatoria y sea equivalente al GOP. Tales unidades separadas se llaman unidades de acceso aleatorio (RAU).

A continuación, se da una explicación sobre la unidad de acceso (denominada en lo sucesivo AU) que es una unidad básica para tratar un flujo. Una AU es una unidad usada para almacenar datos codificados en una imagen, incluyendo conjuntos de parámetros (PS) y datos de segmento. Los conjuntos de parámetros (PS) se dividen en un conjunto de parámetros de imagen (denominado en lo sucesivo simplemente PPS) que son datos correspondientes a una cabecera de cada imagen y un conjunto de parámetros de secuencia (denominado en lo sucesivo simplemente SPS) que es correspondiente a una cabecera de una unidad de GOP en MPEG-2 y superior. Obsérvese que el PPS y SPS son la información de inicialización necesaria para inicializar la decodificación respectiva.

El SPS incluye un perfil, un número máximo de imágenes disponibles a modo de referencia y un tamaño de imagen etcétera como información de referencia común para decodificar todas las imágenes codificadas en la unidad de acceso aleatorio (RAU). El PPS incluye, para cada imagen codificada en la unidad de acceso aleatorio (RAU), un tipo de procedimiento de codificación de longitud variable, un valor inicial de la etapa de cuantificación y un número de imágenes de referencia etcétera como información de referencia para decodificar la imagen. Adicionalmente, el SPS Y PPS pueden incluir una matriz de cuantificación de modo que se puede sobrescribir el PPS con la matriz de cuantificación establecida en el SPS si es necesario. Un identificador para identificar cuál del PPS y SPS referir se añade a cada imagen. También, los datos de segmento incluyen un número de cuadros FN que es un número de identificación para identificar una imagen. Aquí, el PPS que será referenciado por cada imagen se puede actualizar imagen por imagen, mientras que el SPS sólo se puede actualizar en la imagen IDR la cual se explica más adelante.

Para las imágenes I de MPEG-4 AVC, hay dos tipos de imágenes I: una imagen de Refresco de Decodificación Instantánea (IDR); y una imagen I que no es la imagen IDR. La imagen IDR es una imagen I que se puede decodificar sin referirse a una imagen que preceda a la imagen IDR en orden de decodificación, y es equivalente a una imagen I al frente de un GOP cerrado de MPEG-2. Para la imagen I que no es la imagen IDR, una imagen que sigue a dicha imagen I en orden de decodificación se puede referir a una imagen que sea precedente a dicha imagen I en orden de decodificación. Se puede construir una estructura como un GOP abierto de MPEG-2 posicionando la imagen I que no es una imagen IDR en una primera unidad de acceso de la unidad de acceso aleatorio RAU y restringiendo una estructura predictiva de imágenes en la unidad de acceso aleatorio RAU.

La AU de MPEG-4 AVC puede incluir, además de datos necesarios para decodificar una imagen, información suplementaria llamada Información de Mejora Suplementaria (SEI) que es innecesaria para decodificar una imagen, información de frontera de AU y similares. Los datos como el conjunto de parámetros, datos de segmento y SEI se almacenan todos en una unidad de Capa de Abstracción de Red (NAL) (NALU). La unidad NAL está compuesta por una cabecera y una carga útil, y la cabecera incluye un campo que indica un tipo de datos almacenados en la carga útil (denominado en lo sucesivo tipo de unidad NAL). El valor del tipo de unidad NAL se define para cada tipo de datos como un segmento y SEI. Haciendo referencia al tipo de unidad NAL, se puede especificar el tipo de datos almacenados en la unidad NAL.

La unidad NAL de SEI puede almacenar uno o más mensajes SEI. El mensaje SEI también está compuesto por una cabecera y una carga útil y un tipo de información almacenada en la carga útil se identifica por un tipo de mensaje SEI indicado en la cabecera.

La primera AU ubicada en un encabezamiento de la unidad de acceso aleatorio RAU incluye una unidad NAL del SPS referenciado por todas las AUs de la unidad de acceso aleatorio RAU y una unidad NAL del PPS referenciado por la primera AU. Adicionalmente, se garantiza que la unidad NAL del PPS necesario para decodificar cada AU de la unidad de acceso aleatorio RAU incluya una AU anterior a la AU actual, en orden de decodificación, en la AU actual o en la unidad de acceso aleatorio RAU.

Aquí, no hay información para identificar una frontera de unidad NAL en una unidad NAL de modo que se puede añadir información de frontera a una cabecera de cada unidad NAL. Cuando un flujo de MPEG-4 AVC se usa en un MPEG-2 Flujo de Transporte (TS) y un Flujo de Programa (PS), un prefijo de código de inicio indicado en 3 bytes de 0x000001 se añade a la cabecera de la unidad NAL. Adicionalmente, en el MPEG-2 TS y PS, se determina que una unidad NAL llamada Delimitador de Unidad de Acceso se debería insertar en la cabecera de la AU, que muestra una frontera de AU.

Se han propuesto varias técnicas convencionales relacionadas con tal codificación y decodificación de vídeo (por ejemplo véase la publicación de patente japonesa abierta a consulta por el público núm. 2003-18549). La FIG. 4 es un diagrama de bloques que muestra un aparato de codificación de imagen que lleva a cabo un procedimiento de codificación de imagen convencional.

Un aparato de codificación de imagen 191 comprime y codifica datos de imagen de vídeo Vin introducidos, y emite unflujo de AVC st que es un flujo codificado del MPEG-4 AVC. Éste incluye una unidad de codificación de segmentos 11, una memoria 12, una unidad de generación de SPS 13, una unidad de estimación de nuevo PPS 14, una unidad de generación de PPS 16 y una unidad de determinación de AU 17.

Los datos de vídeo Vin se introducen a la unidad de codificación de segmentos 11. La unidad de codificación de segmentos 11 codifica datos de segmento para una AU, almacena los datos de segmento Sin que es el resultado de la codificación en la memoria 12, y emite información de SPS SPSin necesaria para decodificar la imagen a la unidad de generación de SPS 13, mientras emite información de PPS PPSin necesaria para decodificar la AU a la unidad de estimación de nuevo PPS 14.

La unidad de generación de SPS 13 genera un SPS en base a la información de SPS SPSin, y emite SPSnal que incluye el SPS a la unidad de determinación de AU 17.

La unidad de estimación de nuevo PPS 14 guarda la información de PPS PPSin para cada AU en un orden que empieza desde la primera AU en la unidad de acceso aleatorio RAU, compara la información de PPS PPSin introducida con la información de PPS PPSin guardada. Cuando la información de PPS PPSin introducida es nueva, una bandera de nuevo PPS flg que indica que la información de PPS PPSin introducida es nueva se pone a 1, y emite la información de PPS PPSin a la unidad de generación de PPS 16 como información de PPS PPSout. Por otro lado, cuando la información de PPS PPSin introducida se incluye en la información de PPS PPSin guardada, la unidad de estimación de nuevo PPS 14 pone la bandera de nuevo PPS a 0.

La unidad de generación de PPS 16 genera un PPS en base a la información de PPS PPSout introducida cuando la bandera de nuevo PPS es 1, y emite los datos de PPSnal que incluyen el PPS a la unidad de determinación de AU 17.

La unidad de determinación de AU 17 genera unidades NAL del SPS y PPS respectivamente en base a los datos de SPSnal y los datos de PPSnal, y genera una unidad NAL de datos de segmento obteniendo los datos de segmento Snal de la memoria 12. La unidad de determinación de AU 17 determina entonces los datos de AU disponiendo las unidades NAL generadas en un orden predeterminado, construye un flujo de AVC st, y emite el flujo de AVC st.

La FIG. 5 es un diagrama de flujo que muestra una operación del aparato de codificación de imagen 191. En la etapa S101, el aparato de codificación de imagen 101 codifica datos de segmento para una imagen, y genera un SPS en la etapa S102. Aquí, la generación del SPS sólo se puede realizar en la primera AU de la unidad de acceso aleatorio RAU. Después de eso, el aparato de codificación de imagen 191 estima si la información de PPS (PPS) de la AU es nueva o no en la unidad de acceso aleatorio RAU en la etapa S103. Si la información de PPS es nueva (Sí en la etapa S111), el aparato de codificación de imagen 191 decide almacenar el PSS en una AU, y la operación avanza a la etapa S106 desde la etapa S111. Si la información de PPS no es nueva (No en la etapa S111), la operación avanza a la etapa S107. En la etapa S106, el aparato de codificación de imagen 191 genera el PPS. En la etapa S107, cuando se estima que la información de PPS es nueva y el PPS se almacena en la AU en la etapa S111, el aparato de codificación de imagen 191 incluye el PPS generado en la etapa S106 en la AU, genera datos para una AU, y emite los datos generados.

La FIG. 6 es un diagrama de bloques que muestra un aparato de decodificación de imagen que lleva a cabo un procedimiento de decodificación de imagen convencional.

El aparato de decodificación de imagen 291 separa y decodifica una AU del flujo de AVC st introducido, y emite datosdecodificados Dout que es una imagen decodificada. Éste incluye una unidad de detección de fronteras de AU 22, una unidad de obtención de PPS 23, una memoria de PPS 24, una unidad de obtención de información de decodificación 25 y una unidad de decodificación 26.

La unidad de detección de fronteras de AU 22 detecta una frontera de una AU y separa los datos de AU. Cuando una unidad NAL del PPS se incluye en los datos de AU, emite la unidad NAL del PPS PPSnal a la unidad de obtención de PPS 23, y emite otras unidades NAL Dnal a la unidad de obtención de información de decodificación 25.

La unidad de obtención de PPS 23 analiza una unidad NAL PPSnal, y deja que la memoria de PPS 24 guarde el resultado del análisis como señal del resultado del análisis PPSst. La unidad de obtención de información de decodificación 25 analiza la unidad NAL Dnal, y obtiene el SPS, datos de segmento y similares, mientras obtiene datos de PPSref que incluyen el PPS referenciado por la AU de la memoria de PPS 24, y emite los datos de segmento y el SPS y PPS necesarios para decodificar los datos de segmento a la unidad de decodificación 26 como datos predecodificados Din.

La unidad de decodificación 26 decodifica los datos de segmento en base a los datos pre-decodificados Din, y emite los datos decodificados Dout.

Por cierto, la unidad de acceso aleatorio RAU es una estructura de datos que indica que la decodificación se puede realizar desde la primera AU, y necesaria para llevar a cabo trick-play como ir a un punto de reproducción, la reproducción a velocidad variable y la reproducción hacia atrás o para llevar a cabo un salto de reproducción en una unidad de acceso aleatorio individual en un dispositivo de almacenamiento que tiene un disco óptico y un disco duro.

Sin embargo, en una unidad de acceso aleatorio RAU en un flujo del MPEG-4 AVC convencional, no se había podido obtener un PPS necesario para decodificar una AU en el caso en el que se realiza una reproducción a alta velocidad seleccionando, decodificando y visualizando una AU específica como una AU de una imagen I o una imagen P.

La FIG. 7A y la FIG. 7B muestran un ejemplo estructural de una unidad de acceso aleatorio RAU.

Como se muestra en la FIG. 7A, la unidad de acceso aleatorio RAU está compuesta por quince AUs desde la AU 1 hasta la AU 15. En el momento de la reproducción a alta velocidad, cinco AUs de AU1, AU4, AU7, AU10 y AU13 son decodificadas y visualizadas. Aquí, la AU1 hasta la AU8 se refieren a PPS#1 como un PPS, y la AU9 hasta la AU15 se refieren a PPS#2. Los PPS#1 y PPS#2 son almacenados respectivamente en AU1 y AU9. En este documento, como se muestra en la FIG. 7B, la AU que será decodificada en el momento de la reproducción a alta velocidad no incluye AU9 y el PPS#2 no se puede obtener en el momento de la reproducción a alta velocidad de modo que AU10 y AU13 no se pueden decodificar.

De ese modo, cuando una AU en la unidad de acceso aleatorio RAU se decodifica y visualiza de forma selectiva, el PPS necesario no se puede obtener si sólo la AU predeterminada se decodifica como en MPEG-2. Por lo tanto, hay un problema en cuanto a que todas las AUs en la unidad de acceso aleatorio RAU necesitan ser analizadas con el fin de obtener el PPS.

Con el fin de resolver el problema, un objeto de la presente invención es proporcionar un aparato de codificación de imagen que genere un flujo de manera que se decodifique una imagen obteniéndose un conjunto de parámetros de imagen apropiados necesarios para la decodificación, y un aparato de decodificación de imagen que decodifique el flujo generado.

El documento US-2004/008790-A1 proporciona un sistema para procesar información de color en una señal de vídeo. El sistema incluye una memoria con lógica, y un procesador configurado con la lógica para recibir un flujo de vídeo comprimido que incluye una imagen de cuadro que tiene muestras de crominancia y muestras de luminancia, en el que el procesador está configurado además con la lógica para recibir información de crominancia en el flujo de vídeo comprimido que especifica las ubicaciones de las muestras de crominancia relativas a la ubicación de las muestras de luminancia.

El documento EP-1-589-767-A1 fue publicado después de la fecha de prioridad de la presente solicitud, mientras que la solicitud correspondiente reivindica una prioridad antes de la fecha de prioridad de la presente solicitud. Un aparato de codificación de imagen en movimiento según el documento EP-1-589-767-A1 incluye una unidad de creación de mapa para crear información de reproducción a velocidad variable que es información necesaria para la reproducción a velocidad variable según un tipo de imagen, una unidad de codificación de longitud variable para codificar la información de reproducción a velocidad variable y colocarla en un flujo de bits, una unidad de detección para detectar la necesidad de codificar un conjunto de parámetros de imagen a los que se refiere una imagen actual que será codificada y una unidad de adición de información común para añadir el conjunto de parámetros de imagen a la imagen actual que será codificada cuando la unidad de detección detecte la necesidad de codificar el conjunto de parámetros de imagen.

Divulgación de la invención

Con el fin de conseguir el objetivo anterior, un aparato de codificación de imagen según la presente invención es un aparato de codificación de imagen como se define en la reivindicación 1.

Asimismo, se proporcionan un medio de grabación como se define en la reivindicación 2 y un procedimiento de codificación de imagen como se define en la reivindicación 3.

Se debería observar que la presente invención se puede llevar a cabo no sólo como el aparato de codificación de imagen y los programas del mismo, sino también como un medio de grabación en el que el programa sea almacenado, y un flujo generado por el aparato de codificación de imagen.

Como información adicional sobre los antecedentes técnicos para esta solicitud, la divulgación de la Solicitud de Patente Japonesa Núm. 2004-165006 presentada el 2 de junio de 2004 incluyendo la memoria descriptiva, los dibujos y las reivindicaciones se incorpora en este documento a modo de referencia en su totalidad.

Breve descripción de los dibujos

Estos y otros objetos, ventajas y características de la invención se harán evidentes por la siguiente descripción de la misma tomada en conjunción con los dibujos adjuntos que ilustran una forma de realización específica de la invención. En los dibujos:

la FIG. 1 muestra una estructura de flujo de MPEG-2.

la FIG. 2A y la FIG. 2B muestran una estructura de GOP de MPEG-2.

la FIG. 3 muestra una estructura de flujo de MPEG-4 AVC.

la FIG. 4 es un diagrama de bloques que muestra una estructura de un aparato de codificación de imagen convencional.

la FIG. 5 es un diagrama de flujo que muestra una operación del aparato de codificación de imagen convencional.

la FIG. 6 es un diagrama de bloques que muestra una estructura del aparato de decodificación de imagen convencional.

la FIG. 7A y la FIG. 7B son ilustraciones que explican un problema del aparato de codificación de imagen convencional.

la FIG. 8 es un diagrama de bloques que muestra un aparato de codificación de imagen según una primera forma de realización de la presente invención.

la FIG. 9 es un diagrama de flujo que muestra una operación del aparato de codificación de imagen según la primera forma de realización de la presente invención.

la FIG. 10 es un primer diagrama de flujo que muestra una operación de la determinación de una disposición de un PPS en el aparato de codificación de imagen según la primera forma de realización de la presente invención.

la FIG. 11A, la FIG. 11B y la FIG. 11C muestran un primer ejemplo estructural de un flujo de salida del aparato de codificación de imagen según la primera forma de realización de la presente invención.

la FIG. 12 es un segundo diagrama de flujo que muestra una operación de la determinación de una disposición del PPS en el aparato de codificación de imagen según la primera forma de realización de la presente invención.

la FIG. 13A y la FIG. 13B muestran un primer ejemplo estructural del flujo de salida del aparato de codificación de imagen según la primera forma de realización de la presente invención.

la FIG. 14 es un diagrama de flujo que muestra una operación del aparato de codificación de imagen según la primera

forma de realización de la presente invención. la FIG. 15 es un diagrama de bloques que muestra un aparato de decodificación de imagen según una segunda forma de realización de la presente invención.

la FIG. 16 es un diagrama de flujo que muestra una operación del aparato de decodificación de imagen según la

segunda forma de realización de la presente invención. la FIG. 17 es un diagrama de bloques que muestra un multiplexor según una tercera forma de realización de la presente invención.

la FIG. 18 es un diagrama que muestra una jerarquía de datos de HD-DVD. la FIG. 19 es un diagrama que muestra una estructura de espacio lógico en el HD-DVD. la FIG. 20 es un diagrama que muestra la estructura de un archivo de información VOB. la FIG. 21 es una ilustración que explica un mapa de tiempos. la FIG. 22 es un diagrama que muestra un archivo de lista de reproducción. la FIG. 23 es un diagrama que muestra una estructura de un archivo de programa correspondiente a la lista de

reproducción. la FIG. 24 es un diagrama que muestra una estructura de un archivo de información de base de datos total de discos BD. la FIG. 25 es un diagrama que muestra una estructura de un archivo para grabar un manejador de eventos globales. la FIG. 26 es un diagrama de bloques esquemático que muestra un reproductor de HD-DVD. la FIG. 27A, la FIG. 27B y la FIG. 27C muestran respectivamente medios de grabación en los que un programa lleva a

cabo un procedimiento de codificación de imagen y un procedimiento de decodificación de imagen de la presente invención.

Mejor modo de llevar a cabo la invención

En lo sucesivo, se da una explicación sobre las formas de realización de la presente invención con referencias a los dibujos.

(Primera forma de realización)

La FIG. 8 es un diagrama de bloques que muestra un aparato de codificación de imagen que lleva a cabo un procedimiento de codificación de imagen de la presente invención.

En el diagrama, se asignan los mismos números a los componentes que realizan la misma operación que los componentes en el aparato de codificación de imagen que lleva a cabo el procedimiento de codificación convencional mostrado en la FIG. 4, y las explicaciones detalladas sobre los mismos componentes se omiten aquí.

La diferencia de la presente invención con el aparato de codificación de imagen convencional es que las unidades NAL de PPS se disponen de manera que se pueda obtener un PPS necesario para decodificar una AU seleccionando la AU que será decodificada en el momento de trick-play como la reproducción a velocidad variable y la reproducción hacia atrás. En lo sucesivo, una AU que será decodificada en el momento de trick-play es llamada AU de trick-play. En el momento de trick-play, se pueden visualizar los resultados de decodificación de todas las AUs de trick-play o una o más AUs de trick-play se pueden seleccionar para su visualización.

La AU de trick-play indica, por ejemplo, una AU de una imagen I y una imagen P. Aquí, si se establece una restricción como que la AU de la imagen P no se refiere a la AU de la imagen B, sólo la AU de trick-play se puede decodificar en el momento de trick-play. Asimismo, haciendo una distinción entre la imagen B que será referenciada por otras AUs y la imagen B que no será referenciada, las AUs de la imagen B que es referenciada por otras imágenes, la imagen I, y la imagen P pueden ser AUs de trick-play.

El aparato de codificación de imagen 10 incluye una unidad de determinación de disposición de PPS 15 además de los componentes en el aparato de codificación de imagen convencional. La unidad de determinación de disposición de PPS 15 estima si almacenar o no el PPS en una AU en base a un valor de una bandera de nuevo PPS flg, información de PPS PPSout, e información de AU de trick-play trk que indica si la AU que se ha generado es o no una AU de trick-play. La unidad de determinación de disposición de PPS 15 pone una bandera de generación de PPS mk a 1 cuando se estima que el PPS va a ser almacenado, mientras que pone la bandera a 0 cuando se estima que el PPS no va a ser almacenado, y emite la bandera de generación de PPS mk a una unidad de generación de PPS 16. Aquí, cuando la bandera de generación de PPS mk se pone a 1, la unidad de determinación de disposición de PPS 15 emite la bandera de generación de PPS mk junto con información de PPS PPSmk para generar un PPS, a la unidad de generación de PPS 16. La unidad de generación de PPS 16 genera una unidad NAL del PPS en base a la información de PPS PPSmk cuando la bandera de generación de PPS mk se pone a 1. Aquí, la información de AU de trick-play trk se obtiene por separado de una unidad que no se muestra en el diagrama, o de una unidad de codificación de segmentos 11.

La FIG. 9 es un diagrama de flujo que muestra un proceso del procedimiento de codificación de imagen de la presente invención.

En el diagrama de flujo, se asignan las mismas marcas a las etapas iguales a las del procedimiento de codificación convencional mostrado en la FIG. 5, y las explicaciones sobre las mismas etapas se omiten aquí. En la etapa S104, el aparato de codificación de imagen 10 estima si almacenar o no el PPS en la AU de manera que se pueda obtener el PPS necesario para decodificar la AU de trick-play de la AU de trick-play, en base al resultado de estimación obtenido en la etapa S103 e información que indica si la AU que está en generación, y el proceso avanza a la etapa 105. Cuando se estima que se almacene el PPS (Sí en la etapa S105), el proceso avanza a la etapa S106 y el aparato de codificación de imagen 10 genera un PPS. Después de eso, el proceso avanza a la etapa S107 y el aparato de codificación de imagen 10 genera datos para una AU.

Por otro lado, cuando se estima que no se almacene el PPS (No en la etapa S105), el proceso avanza directamente a la etapa S107.

En la etapa S107, cuando se estima que se almacene el PPS en la etapa S105, el aparato de codificación de imagen 10 incluye el PPS generado en la etapa S106 en la AU de manera que se generen datos para una AU, y emite los datos generados. Se debería observar que cuando el PPS que se ha almacenado en una AU que no es una AU de trick-play se almacena de nuevo en la AU de trick-play, el aparato de codificación de imagen 10 puede almacenar el PPS guardado en la etapa S107 sin generar un PPS de nuevo en la etapa S106.

Asimismo, una AU de trick-play se puede determinar de acuerdo con un tipo de codificación como, por ejemplo, determinándose que las imágenes I e imágenes P son imágenes de trick-play, y se puede determinar de forma dinámica de acuerdo con una estructura predictiva entre las imágenes.

La FIG. 10 es un diagrama de flujo que muestra en detalle el procesamiento en la etapa S104.

Aquí, se presume que un valor inicial de una bandera de generación de PPS mk es 0. En la etapa S201, el aparato de codificación de imagen 10 estima si la bandera de nuevo PPS flg puesta en la etapa S103 es o no 1 (si el PPS es nuevo

o no). El aparato de codificación de imagen 10 avanza a la etapa S204 cuando la bandera de nuevo PPS flg es 1, y avanza a la etapa S202 cuando la bandera de nuevo PPS flg es 0. En la etapa S202, el aparato de codificación de imagen 10 estima si la AU que está en generación es o no una AU de trick-play en base a la información de trick-play trk, avanza a la etapa S203 cuando la AU es la AU de trick-play, y avanza a la etapa S105 en la FIG. 9 cuando la AU no es la AU de trick-play.

En la etapa S203, el aparato de codificación de imagen 10 estima si el PPS se almacena o no en una AU de trick-play que es precedente a la AU de trick-play mencionada en orden de decodificación en una misma unidad de acceso aleatorio RAU. Si el PPS ya se ha almacenado, se termina el procesamiento. Mientras que, si no se ha almacenado el PPS, el aparato de codificación de imagen 10 avanza a la etapa S204. En la etapa S204, el aparato de codificación de imagen 10 pone una bandera de generación de PPS mk a 1, y avanza a la etapa S105 en la FIG. 9.

Se debería observar que hay dos procedimientos de actualización de un PPS: un procedimiento de una nueva generación de un PPS que tiene un número de ID diferente que es un identificador de un PPS; y un procedimiento de sobrescritura de un PPS que tiene un mismo número de ID. Cuando el PPS que tiene el mismo número de ID se escribe sobre el PPS, el PPS previamente sobrescrito se invalida. Como consecuencia, en el procesamiento de estimación en las etapas S103 y S104, es necesario comparar no sólo los números de ID de los PPS sino también la información indicada por los propios PPS. Sin embargo, cuando se prohíbe sobrescribir un PPS con un mismo número de ID bajo la operación estándar y similares, el PPS se puede identificar por el número de ID.

Las FIGS. 11A, 11B y 11C son dibujos que muestran un ejemplo de una estructura de una unidad de acceso aleatorio RAU en un flujo generado por el procedimiento de codificación de imagen de la presente invención.

Como se muestra en la FIG. 11A, la unidad de acceso aleatorio RAU está compuesta por quince AUs desde AU1 hasta AU15 según el orden de decodificación. Asimismo, se presume que cinco AUs de AU1, AU4, AU7, AU10 y AU13 son AUs de trick-play. Aquí, AU1, AU4, AU7, AU10 y AU13 respectivamente se refieren, como PPS, a PPS#1, PPS#3, PPS#2, PPS#3, y PPS#1. Asimismo, AU6 se refiere a PPS#2 y es una primera AU que guarda PPS#2 en la unidad de acceso aleatorio RAU. También, AU2 y AU3 se refieren a PPS#1 y AU5 se refiere a PPS#3.

La FIG. 11B muestra unidades NAL de PPS guardadas en AUs respectivas. En la unidad de acceso aleatorio RAU, PPS#1 se referencia primero en AU1, y PPS#3 se referencia primero en AU4. Como consecuencia, PPS#1 y PPS#3 se almacenan respectivamente en AU1 y AU4. Después, mientras PPS#2 se almacena en AU6, AU7 es la primera AU de trick-play que se refiere a PPS#2. Por lo tanto, PPS#2 también se almacena en AU7. AU10 y AU13 respectivamente se refieren a PPS#3 y PPS#1. Sin embargo, no se almacenan en AU10 y AU13 ya que ya se han almacenado en AU4 y AU1 que son AUs de trick-play.

Se debería observar que en la AU de trick-play, el PPS referenciado por la AU actual se puede almacenar definitivamente en la propia AU.

La FIG. 11C muestra un ejemplo de almacenamiento de PPS cuando el PPS referenciado por la AU de trick-play se almacena definitivamente en la propia AU de trick-play. Como se muestra en la FIG. 11C, PPS#3 y PPS#1 referenciados respectivamente por AU10 y AU13 ya se han almacenado en AU4 y AU1 que son AUs de trick-play. Sin embargo, se almacenan de nuevo en AU10 y AU13.

Se debería observar que múltiples unidades NAL de PPS se pueden almacenar en una AU. Por lo tanto, en la primera AU de la unidad de acceso aleatorio RAU, se pueden almacenar todos los PPS necesarios para decodificar AUs en la unidad de acceso aleatorio RAU, o se pueden almacenar todos los PPS necesarios para decodificar AUs de trick-play.

Asimismo, uno o más PPS que se usan frecuentemente se pueden almacenar en una primera AU de la unidad de acceso aleatorio RAU como un PPS por defecto, mientras que un PPS se puede almacenar en una imagen cada vez cuando un PPS que es diferente al PPS por defecto es referenciado en la AU frontal o en la AU siguiente a la AU frontal. El PPS por defecto se puede preparar, por ejemplo, de acuerdo con un tipo de codificación de una imagen I, una imagen P, una imagen B que será referenciada, o una imagen B que no es referenciada.

Además, los PPS necesarios para decodificar AUs de trick-play se pueden almacenar tanto en la primera AU de la unidad de acceso aleatorio RAU como en cada AU de trick-play.

Se debería observar que las AUs distintas a las AUs de trick-play pueden guardar definitivamente el PPS referenciado por dichas AUs.

Obsérvese que, en una AU de trick-play, se puede almacenar un PPS necesario para decodificar AUs distintas a las AUs de trick-play que siguen a dicha AU de trick-play en orden de decodificación en la unidad de acceso aleatorio. Por ejemplo, los PPS necesarios para decodificar todas las AUs distintas a las AUs de trick-play se almacenan en una primera AU de la unidad de acceso aleatorio RAU. Como consecuencia, cuando el trick-play se restablece a la reproducción normal como cuando AUs de imágenes I e imágenes P sólo son decodificadas y visualizadas para las primeras porciones de AUs en la unidad de acceso aleatorio RAU, y todas las AUs son decodificadas y visualizadas para el resto de AUs, los PPS necesarios para decodificar todas las AUs después de que el trick-play se establece a la reproducción normal se pueden obtener sin obtener los PPS almacenados en las AUs saltadas.

Después, la información indicada por SPS incluye información que se puede sobrescribir con PPS como una matriz de cuantificación. Por ejemplo, en el caso en el que una AU se refiere a un SPS que tiene un número de ID 1 (SPS(1)) y a un PPS que tiene un número de ID 2 (PPS(2)), y el PPS(2) sobrescribe una matriz de cuantificación en el SPS(1), una matriz de cuantificación mostrada en el PPS(2) se usa cuando se decodifica la AU. El SPS referenciado por la AU sólo se puede conmutar en las AUs de imágenes IDR. Por lo tanto, cuando una AU en la unidad de acceso aleatorio RAU conmuta un SPS de referencia, la primera AU de una unidad de acceso aleatorio RAU común se determina como una AU de la imagen IDR. Sin embargo, si se usa la AU de la imagen IDR, una AU que sigue a la AU de la imagen IDR no se puede referir a una AU que sea anterior a la imagen IDR. Por lo tanto, se puede reducir la eficacia de codificación. Aquí, en SPS, cuando un parámetro actualizable por PPS sólo se actualiza entre los SPS, el SPS no se actualiza pero se puede reemplazar actualizando el PPS.

La FIG. 12 es un diagrama de flujo que muestra un proceso para determinar si actualizar o no el SPS almacenado en la primera AU de la unidad de acceso aleatorio RAU del SPS referenciado por una AU de una unidad de acceso aleatorio RAU inmediatamente precedente.

Primero, en la etapa S301, el aparato de codificación de imagen 10 estima si la información de SPS referenciada por la primera AU es o no diferente a la información de SPS referenciada por la AU de la unidad de acceso aleatorio inmediatamente precedente. El aparato de codificación de imagen 10 avanza a la etapa S303 cuando se estima que es diferente la una de la otra, mientras que avanza a la etapa S302 cuando se estima que son iguales. Aquí, la información de SPS incluye tanto la información que sólo se puede establecer en el SPS como la información que es actualizable en el PPS.

En la etapa S302, el aparato de codificación de imagen 10 determina que es innecesario actualizar el SPS y actualizar información del SPS por el PPS.

En la etapa S303, el aparato de codificación de imagen 10 estima si la diferencia son o no sólo los datos actualizables por el PPS (denominados SPSvari). El aparato de codificación de imagen 10 avanza a la etapa S305 cuando se estima que la diferencia es sólo el SPSvari, mientras que avanza a la etapa S304 cuando se estima que hay diferencias distintas al SPSvari. En la etapa S304, el aparato de codificación de imagen 10 determina que se actualice el SPS y termina el procesamiento. En la etapa S305, el aparato de codificación de imagen 10 determina que se almacene el PPS que incluye información de actualización del SPSvari en una AU sin actualizar el SPS, y termina el procesamiento.

Por el resultado del procesamiento, cuando se determina que el SPS no está actualizado, la primera AU de la unidad de acceso aleatorio RAU puede ser una AU de una imagen I distinta a una imagen IDR en lugar de una AU de la imagen IDR. Se debería observar que el procesamiento de estimación anterior no es necesario cuando se desea hacer la primera AU de la unidad de acceso aleatorio RAU como una AU de la imagen IDR como en el caso de cambiar una escena.

Las FIGS. 13A y 13B muestran un ejemplo de una estructura de datos de la unidad de acceso aleatorio RAU generada por el procedimiento mostrado en la FIG. 12.

En la FIG. 13A, la diferencia de datos de SPS referenciados por RAU#1 y RAU#2 que son dos unidades de acceso aleatorio RAUs consecutivas sólo es SPSvari#1 que son datos actualizables por el PPS. En este documento, en RAU#2, una AU de una imagen I puede ser una AU en cabeza incluyéndose el PPS que tiene datos de SPSvari#1 en la primera AU.

En la FIG. 13B, en una AU de RAU#1, el SPSvari#1 se actualiza por el PPS. La información de SPS actualizada también se usa en la RAU#2. En este documento, el PPS almacenado en la primera AU de RAU#2 también incluye el SPSvari#1.

Obsérvese que, la información de bandera que indica que se garantiza que el PPS necesario para decodificar AUs de trick-play se puede obtener decodificando sólo las AUs de trick-play se puede indicar en la unidad de acceso aleatorio RAU. Por ejemplo, la información de bandera se puede almacenar en un campo nal_ref_idc en una cabecera de una unidad NAL como SPS y PPS, o una unidad NAL que define otro tipo, un mensaje SEI y similares. Aquí, el campo nal_ref_idc es un campo de 2 bits que se decide que tome un valor de 0 o un valor de uno o superior para cada tipo de unidad NAL. Por ejemplo, la unidad NAL como SPS y PPS toma un valor de uno o superior. Por lo tanto, la información de bandera se puede indicar por uno cualquiera de los valores que sea uno o superior.

También, en la primera AU de la unidad de acceso aleatorio RAU, se puede indicar la información de bandera, indicando que todos los PPS necesarios para decodificar AUs en la unidad de acceso aleatorio RAU son almacenados.

Obsérvese que, mientras que el procedimiento de almacenamiento de PPS se explica anteriormente, la información puede ser distinta a PPS si es información de inicialización de una unidad de acceso individual o información para actualizar información de inicialización referenciada comúnmente por múltiples unidades de acceso.

Obsérvese que, el procedimiento de codificación no está limitado a MPEG-4 AVC y otros procedimientos pueden ser aplicables si la información de inicialización se puede actualizar en la unidad especificada.

(Variación)

El aparato de codificación de imagen 10 en la forma de realización mencionada anteriormente estima si una AU objetivo es o no una AU de trick-play, y almacena, cuando se estima que la AU objetivo es la AU de trick-play, un PPS que será referenciado para decodificar la AU de trick-play en la AU de trick-play o en una AU de trick-play que es precedente a dicha AU de trick-play en orden de decodificación.

Un aparato de codificación de imagen según la variación almacena el PPS que será referenciado para decodificar una AU objetivo en la primera AU de una unidad de acceso aleatorio RAU o en la propia AU que se refiere al PPS, sin estimar si el objetivo es o no la AU de trick-play.

Aquí, la primera AU de la unidad de acceso aleatorio RAU es una AU de trick-play de modo que se puede obtener un PPS correctamente y con rapidez de manera que se decodifique una AU (imagen) incluso en el momento de trick-play, si se almacena el PPS en la primera AU o en la propia AU que se refiere al PPS como se describe anteriormente.

La FIG. 14 es un diagrama de flujo que muestra una porción de un proceso del procedimiento de codificación de imagen según la variación.

En comparación al procedimiento de codificación de imagen mostrado en la FIG. 9, el procedimiento de codificación de imagen según la presente variación difiere en los procesos de las etapas S103 y S104. En otras palabras, el procedimiento de codificación de imagen según la presente variación realiza el procesamiento de las etapas S1001 y S1002 mostrado en la FIG. 14 en lugar del procesamiento de las etapas S103 y S104 mostrado en la FIG. 9.

Específicamente, el aparato de codificación de imagen estima si el PPS de la AU objetivo es o no el PPS que ya se ha almacenado en la primera AU de la unidad de acceso aleatorio RAU (etapa S1001).

Aquí, en el caso en el que el aparato de codificación de imagen estima que el PPS es el PPS que ya se ha almacenado en la primera AU (Sí en la etapa S1001), realiza el procesamiento de la etapa S105 mostrado en la FIG. 9 mientras que mantiene un estado en el que la bandera de generación de PPS mk se pone a 0.

Por otro lado, en el caso en el que el aparato de codificación de imagen estima que el PPS no es el PPS que ya se ha almacenado en la primera AU (No en la etapa S1001), pone la bandera de generación de PPS a 1 (etapa S1002), y realiza el procesamiento de la etapa S105 mostrado en la FIG. 9.

Se debería observar que, en tal procedimiento de codificación de imagen, no hay necesidad de almacenar previamente los múltiples PPS en la primera AU de la unidad de acceso aleatorio RAU.

En el caso en el que los múltiples PPS se almacenen previamente, el PPS referenciado por la AU objetivo se compara con los múltiples PPS previamente almacenados en la primera AU. Después, si el PPS de la AU objetivo difiere de cualquiera de los múltiples PPS, el PPS se almacena en la propia AU objetivo.

Por otro lado, en el caso en el que los múltiples PPS no se almacenen previamente, un PPS referenciado por la primera AU se almacena en la primera AU. De forma similar para cada una de las otras AUs, un PPS referenciado por una AU se almacena en la AU. También es posible almacenar el PPS en cada AU distinta a la primera AU si el PPS referenciado por la AU es diferente al almacenado en la primera AU.

Asimismo, todos los PPS que serán referenciados para decodificar AUs respectivas incluidas en la unidad de acceso aleatorio RAU se pueden almacenar en la primera AU de la unidad de acceso aleatorio RAU. En tal caso, por ejemplo, el aparato de codificación de imagen almacena todos los PPS en la primera AU después de codificar todas las imágenes que serán incluidas en la unidad de acceso aleatorio RAU o determinar el tipo de codificación de todas las imágenes en la unidad de acceso aleatorio RAU. Se debería observar que, mientras que múltiples PPS se pueden almacenar en la primera AU, la carga de procesamiento en el momento de la decodificación aumenta ya que aumenta el número de PPS almacenados de una vez en la primera AU. Como consecuencia, se puede determinar el número máximo de PPS que se pueden almacenar en la primera AU de una vez. El número máximo se puede determinar en base al número máximo de imágenes que componen una unidad de acceso aleatorio RAU o considerando la carga de procesamiento. Por ejemplo, si el número máximo de cuadros que se pueden almacenar en la unidad de acceso aleatorio RAU es 15, el número máximo de PPS se puede determinar como 15. En este documento, el PPS que no se puede almacenar en la primera AU debido al límite superior se almacena en una AU que se refiere al PPS.

Asimismo, según el presente procedimiento, el número de PPS que serán almacenados en una AU siguiente a la primera AU en la unidad de acceso aleatorio RAU se puede poner a 0 ó 1 de modo que los PPS se pueden almacenar de forma eficaz.

De ese modo, en la presente variación, en la unidad de acceso aleatorio RAU generada, el PPS necesario para decodificar cada AU se almacena en la primera AU de la unidad de acceso aleatorio RAU o en la propia AU. Por lo tanto, incluso en el caso en el que se lleva a cabo el trick-play de seleccionar y reproducir al menos la AU en cabeza de entre todas las AUs incluidas en tal unidad de acceso aleatorio, la AU seleccionada se puede decodificar obteniéndola correctamente y con rapidez sin dejar de obtener el PPS necesario para decodificar la AU seleccionada. Como consecuencia, el trick-play se puede realizar sin dificultad.

(Segunda forma de realización)

La FIG. 15 es un diagrama de bloques que muestra un aparato de decodificación de imagen que lleva a cabo un procedimiento de decodificación de imagen de la presente invención.

En el diagrama, se asignan los mismos números a los componentes que realizan las mismas operaciones que los componentes del aparato de decodificación de imagen que lleva a cabo el procedimiento de decodificación de imagen convencional mostrado en la FIG. 6, y las explicaciones detalladas sobre los mismos componentes se omiten aquí. La diferencia del presente aparato de decodificación de imagen con el aparato de decodificación de imagen convencional es que selecciona y decodifica sólo las AUs de trick-play en el momento de trick-play como la reproducción a velocidad variable y la reproducción hacia atrás.

Un aparato de decodificación de imagen 20 de la presente invención incluye una unidad de estimación de decodificación 21 además de los componentes del aparato de decodificación de imagen convencional. Un flujo de MPEG-4 AVC (flujo de AVC st) codificado por el aparato de codificación de imagen según la primera forma de realización se introduce al aparato de decodificación de imagen 20.

Una unidad de detección de fronteras de AU 28 detecta fronteras de AUs, separa las AUs, obtiene información de estimación lst necesaria para estimar si decodificar o no cada una de las AUs separadas, y emite la información de estimación lst obtenida a la unidad de estimación de decodificación 21. En el momento de trick-play, un comando de trick-play trkply se introduce a la unidad de estimación de decodificación 21.

Cuando se introduce el trick-play trkply, la unidad de estimación de decodificación 21 estima si la AU es o no una AU de trick-play en base a la información de estimación lst, y emite un comando de decodificación sw a la unidad de detección de fronteras de AU 28 cuando la AU es la AU de trick-play. Obsérvese que, en el momento de la reproducción normal de decodificación y visualización de todas las AUs, no se introduce el trick-play trkply, y la unidad de estimación de decodificación 21 emite el comando de decodificación sw a todas las AUs.

La unidad de detección de fronteras de AU 28 recibe el comando de decodificación sw, y emite información necesaria para la decodificación a cada componente. Específicamente, emite una unidad NAL PPSnal de PPS a una unidad de obtención de PPS 23, y emite otras unidades NAL Dnal a una unidad de obtención de información de decodificación 25 cuando la unidad NAL de PPS se incluye en la AU. Se debería observar que, sólo en el caso en el que se introduce el comando de trick-play trkply a la unidad de estimación de decodificación 21, la información de estimación lst se puede introducir a la unidad de estimación de decodificación 21.

La FIG. 16 es un diagrama de flujo que muestra una operación del aparato de decodificación de imagen 20 para decodificar datos para una AU.

Primero, en la etapa S401, el aparato de decodificación de imagen 20 determina si decodificar o no una AU. En el momento de trick-play, estima si la AU es o no una AU de trick-play, y determina que se decodifique la AU sólo cuando la AU es la AU de trick-play. Obsérvese que, el aparato de decodificación de imagen 20 estima que la primera AU de la unidad de acceso aleatorio RAU es la AU de trick-play definitivamente en el momento de trick-play. En el momento de reproducción normal, determina que se decodifiquen todas las AUs.

En la etapa S402, el aparato de decodificación de imagen 20 avanza a la etapa S402 cuando se determina que se decodifique la AU en la etapa S401, y termina el procesamiento cuando se estima que no se decodifique la AU. En la etapa S403, el aparato de decodificación de imagen 20 busca una unidad NAL de SPS, obtiene datos de los SPS en la etapa S404 si se detecta la unidad NAL de SPS, y avanza a la etapa S405 si no se detecta la unidad NAL de SPS. En la etapa S405, el aparato de decodificación de imagen 20 busca una unidad NAL de PPS, obtiene datos de los PPS en la etapa S406 si se detecta la unidad NAL de PPS, y avanza a la etapa S407 si no se detecta la unidad NAL de PPS. En la etapa S407, el aparato de decodificación de imagen 20 separa unidades NAL de datos de segmento, y decodifica datos de segmento en base a datos de SPS y PPS obtenidos de una AU anterior a la presente AU o en la unidad de acceso aleatorio RAU en orden de decodificación.

Aquí, en el caso de determinarse la información de estimación lst, se puede determinar a partir de cada información en un flujo de AVC como un valor de un primary_pic_type que indica un tipo de imagen en un Delimitador de Unidad de Acceso, un valor de un slice_type que indica un tipo de segmento en la cabecera del segmento, o un valor de un campo nal_ref_idc en las unidades NAL como SPS, PPS y segmento, o se puede determinar en base a la información cuando se proporciona la información de la lista de la AU de trick-play. También, se puede determinar a partir de información indicada en una información de base de datos en un formato multiplexado para grabar el flujo de AVC en un medio de grabación como un disco óptico.

Se debería observar que, con el fin de tratar una entrada del flujo de AVC st que no se puede garantizar que los PPS necesarios para decodificar las AUs de trick-play se puedan obtener de las AUs de trick-play, el aparato de decodificación de imagen puede buscar, obtener y guardar los PPS para AUs distintas a las AUs de trick-play. No se necesita analizar, para esas AUs, las unidades NAL de datos de segmento o datos de macrobloque en los datos de segmento.

(Tercera forma de realización)

La FIG. 17 es un diagrama de bloques que muestra un multiplexor que multiplexa un flujo de AVC st emitido por el aparato de codificación de imagen de la presente invención, y graba el flujo multiplexado a un medio de grabación como un disco óptico y un disco duro.

Un multiplexor 30 incluye una unidad de codificación de imagen 10, una memoria 32, una unidad de análisis de flujo 31, una unidad de generación de información de base de datos 33, una unidad de multiplexación 34 y una unidad de almacenamiento 35. Aquí, la unidad de codificación de imagen 10 es la misma que el aparato de codificación de imagen de la presente invención según la primera forma de realización.

La unidad de codificación de imagen 10 genera un flujo de AVC st comprimiendo y codificando datos de imagen en movimiento Vin introducidos, y graba el flujo de AVC en la memoria 32.

La unidad de análisis de flujo 31 lee datos de flujo de AVC out1 grabados en la memoria 32, obtiene y analiza el tiempo de decodificación y visualización de AU, información que indica si la AU es o no la primera AU de una unidad de acceso aleatorio RAU, o información sobre el tamaño de imagen y del formato de vídeo y similares, y emite un resultado de análisis STinf a la unidad de generación de información de base de datos 33.

La unidad de generación de información de base de datos 33 genera, en base al resultado del análisis STinf, información de base de datos Db que incluye información de acceso al flujo de AVC st, información de atributo como un formato de vídeo y una relación de aspecto, e información de lista de reproducción, y emite la información de base de datos Db a la unidad de multiplexación 34.

La unidad de multiplexación 34 multiplexa la información de gestión Db con datos de flujo de AVC out2 leídos de la memoria 32, genera datos multiplexados Mux, y emite los datos multiplexados Mux a la unidad de almacenamiento 35. Mientras se presume que un procedimiento de multiplexación es un formato normalizado por un Formato de Sólo Lectura de un Disco Blu-ray (BD) y un Formato Regrabable, otros procedimientos de multiplexación como un procedimiento definido en DVD o HD-DVD y un procedimiento de adhesión a MP4 que es un formato de archivo normalizado para MPEG. Se debería observar que, en el Formato de Sólo Lectura y el Formato Regrabable, el flujo codificado del MPEG-4 AVC es paquetizado en el MPEG-2 y después multiplexado.

Asimismo, se debería observar que la información de bandera que indica que se garantiza que un PPS necesario para decodificar una AU de trick-play se puede obtener decodificando sólo la AU de trick-play se puede almacenar en la información de base de datos de los datos multiplexados. O, la información de bandera que indica que todos los PPS en la unidad de acceso aleatorio RAU se almacenan en la primera AU de la unidad de acceso aleatorio RAU se puede almacenar en la información de base de datos de los datos multiplexados.

(Cuarta forma de realización)

Una función de trick-play es particularmente importante para un dispositivo de disco óptico que reproduce medios empaquetados. Primero, en un Disco Blu-ray (BD) que es un disco óptico de nueva generación, se da una explicación sobre un ejemplo de grabación de los datos multiplexados Mux del aparato de multiplexación según la tercera forma de realización.

Primero, se da una explicación sobre un formato de grabación de un BD-ROM.

La FIG. 18 es un diagrama que muestra una estructura de un BD-ROM, en particular una estructura de un disco BD 104 que es un medio de disco y datos 101, 102 y 103 grabados en el disco. Los datos que serán grabados en el disco BD 104 son datos AV 103, información de base de datos del BD 102 como información de base de datos relacionada con los datos AV y la secuencia de reproducción de AU, y un programa de reproducción de BD 101 para llevar a cabo una interactividad. En la presente forma de realización, se da una explicación sobre un disco BD principalmente para una aplicación de AV para reproducir contenido AV en una película a efectos de explicación. Sin embargo, no hay duda de que es igual incluso si se usa para otros usos.

La FIG. 19 es un diagrama que muestra una estructura de directorio/archivo de datos lógicos grabados en el disco BD. El disco BD tiene una zona de grabación en forma espiral desde el radio interno hacia el radio externo al igual que, por ejemplo, el DVD, el CD y similares, y tiene un espacio de dirección lógica en el que se pueden grabar datos lógicos entre un lead-in del radio interno y un lead-out del radio externo. También hay una zona especial en el interior del lead-in que sólo se lee por una unidad de disco llamada Zona de Grabación Continua (BCA). Esta zona no se puede leer desde la aplicación de modo que se puede usar, por ejemplo, para una tecnología de protección de derechos de autor y similares.

En el espacio de dirección lógica, se graban datos de aplicación como datos de vídeo leídos por la información del sistema final (volumen). Como se explica en la tecnología convencional, el sistema de archivo es un UDF, un ISO96660 y similar. Permite la lectura de datos lógicos almacenados como en el ordenador personal PC común, usando una estructura de directorio y de archivo.

En la presente forma de realización, como la estructura de directorio y de archivo en el disco BD, un directorio BDVIDEO se coloca inmediatamente debajo de un directorio raíz (ROOT). En este directorio, se almacenan datos (101, 102 y 103 explicados en la FIG. 18) como contenido AV e información de base de datos repartidos en el BD.

Bajo el directorio BDVIDEO, se graban los siguientes siete tipos de archivos:

i) BD. INFO (nombre de archivo fijo) Un archivo que es una de la “información de base de datos del BD” y la información que concierne al disco BD en su totalidad se graba en el archivo. Un reproductor de BD en primer lugar lee este archivo.

ii) BD. PROG (nombre de archivo fijo) Un archivo que es uno del “programa de reproducción del BD” y la información de control de reproducción que concierne al disco BD en su totalidad se graba en el archivo.

iii) XXX. PL (“XXX” es variable, una extensión “PL” es fija) Un archivo que es una de la “información de base de datos del BD” y la información de lista de reproducción que es un escenario (secuencia de reproducción) se graba en el archivo. Hay un archivo para cada lista de reproducción.

iv) XXX. PROG (“XXX” es variable, una extensión “PROG” es fija) Un archivo que es uno del “programa de reproducción del BD” y la información de control de reproducción para cada lista de reproducción se graba en el archivo. Una correspondencia con una lista de reproducción es identificada por un

nombre de cuerpo de archivo (“XXX” coincide).

v) YYY. VOB (“YYY” es variable, una extensión “VOB” es fija) Un archivo que es uno de los “datos AV” y un VOB (igual que el VOB explicado en el ejemplo convencional) se graba en

el archivo. Hay un archivo para cada VOB.

vi) YYY. VOBI (“YYY” es variable, una extensión “VOBI” es fija) Un archivo que es una de la “información de base de datos del BD” y la información de base de datos de flujo que concierne al VOB que son datos AV se graba en el archivo. Una correspondencia con un VOB es identificada por un

nombre de cuerpo de archivo (“YYY” coincide).

vii) ZZZ. PNG (“ZZZ” es variable, una extensión “PNG” es fija) Un archivo que es uno de los “datos AV” y datos de imagen PNG (un formato de imagen normalizado por W3C, y pronunciado como “ping”) para estructurar subtítulos y un menú en el archivo. Hay un archivo para cada imagen PNG.

Con referencia a las FIGS. 20 a 25, se da una explicación sobre una estructura de datos de navegación de BD (información de base de datos del BD).

La FIG. 20 es un diagrama que muestra una estructura interna de un archivo de información de base de datos VOB

(“YYY. VOBI”).

La información de base de datos VOB tiene información de atributo de flujo (Attribute) de dicho VOB y un mapa de tiempos (TMAP). Hay un atributo de flujo para cada atributo de vídeo (Video) y atributo de audio (Audio#01 a Audio#m). En particular, en el caso del flujo de audio, ya que el VOB puede tener flujos de audio al mismo tiempo, el número de flujos de audio (Number) indica si hay un campo de datos o no.

Lo siguiente indica campos del atributo de vídeo (Video) y valores del mismo.

Procedimiento de compresión (Codificación): MPEG1 MPEG2 MPEG3 MPEG4 (Codificación de Vídeo Avanzada) Resolución: 1920 x 1080 1440 x 1080 1280 x 720 720 x 480 720 x 565 Relación de aspecto

4:3

16:9 Velocidad de cuadro 60 59,94 (60/1,001) 50 30 29,97 (30/1,001) 25 24 23,976 (24/1,001) Lo siguiente son campos del atributo de audio (Audio) y valores del mismo. Procedimiento de compresión (Codificación): AC3 MPEG1 MPEG2 LPCM El número de canales (Ch): 1 a 8 Atributo de idioma (Language)

Un mapa de tiempos (TMAP) es una tabla que tiene información para cada VOBU. La tabla incluye el número de VOBU (Number) guardado por dicho VOB y cada información de VOBU (VOBU#1 a VOBU#n). Cada información de VOBU está compuesta por una dirección I_start de una dirección de un paquete de TS al frente de un VOBU (inicio de imagen I), una dirección de desplazamiento (I#end) hasta la dirección final de la imagen I, y un tiempo de inicio de reproducción (PTS) de la imagen I.

La FIG. 21 es un diagrama que explica detalles de la información de VOBU.

Como se sabe ampliamente, hay un caso en el que el flujo de vídeo MPEG se comprime en una tasa de bits variable con el fin de grabar en alta calidad de imagen, y no hay una correspondencia simple entre el tiempo de reproducción y el tamaño de datos. Por el contrario, un AC3 que es una norma de compresión de audio comprime audio en una tasa de bits fija. Por lo tanto, se puede obtener una relación entre un tiempo y una dirección mediante una expresión primaria. Sin embargo, en el caso de unos datos de vídeo MPEG, cada cuadro tiene un tiempo de visualización fijo, por ejemplo, en el caso de NTSC, un cuadro tiene un tiempo de visualización de 1/29,97 segundos. Sin embargo, el tamaño de datos de cada cuadro comprimido cambia en gran medida dependiendo de una característica de una imagen y un tipo de imagen usado para la compresión, específicamente imágenes I/P/B. Por lo tanto, en el caso de vídeo MPEG, una relación entre tiempo y dirección no se puede describir en una expresión primaria.

De hecho, es imposible describir un flujo de sistema MPEG que se obtenga multiplexando los datos de vídeo MPEG en una forma de expresión primaria. Específicamente, VOB tampoco puede describir tiempo y tamaño de datos en una expresión primaria. Por lo tanto, se usa un mapa de tiempos (TMAP) para establecer una relación entre tiempo y dirección en el VOB.

Por lo tanto, cuando se da la información de tiempos, primero, se busca a qué VOBU pertenece el tiempo (rastrea PTS para cada VOBU), se salta el PTS inmediatamente anterior a dicho tiempo para un VOBU que tiene un TMAP (dirección especificada por I_start), inicia la decodificación de imágenes desde una imagen I al frente en el VOBU, e inicia la visualización de imágenes desde una imagen de dicho tiempo.

Después, con referencia a la FIG. 22, se da una explicación sobre una estructura interna de información de lista de

reproducción (“XXX. PL”).

La información de lista de reproducción está compuesta por una lista de celdas (CellList) y una lista de eventos (EventList).

La lista de celdas (CellList) es una secuencia de reproducción en una lista de reproducción, y la celda se reproduce en un orden de descripción en la lista. El contenido de la lista de celdas (CellList) incluye el número de celdas (Number) y cada información de celda (Cell#1 a Cell#n).

La información de celda (Cell#) incluye un nombre de archivo VOB (VOBName), un tiempo de inicio (In) y tiempo de finalización (Out) en el VOB, y una tabla de subtítulos. El tiempo de inicio (In) y tiempo de finalización (Out) se describen mediante números de cuadros en cada VOB, y una dirección de los datos VOB necesarios para la reproducción se puede obtener usando el mapa de tiempos (TMAP).

La tabla de subtítulos es una tabla que tiene información de subtítulos que serán reproducidos al mismo tiempo con el VOB. El subtítulo puede tener una pluralidad de idiomas similares al audio, y la primera información de la tabla de subtítulos está compuesta por un número de idiomas (Number) y la tabla siguiente para cada idioma (Language#1 a Language#k).

Cada tabla de idioma (Language#) está compuesta por información del idioma (Lang), el número de información de subtítulo (Number) que se visualiza por separado, y la información de subtítulo del subtítulo (Speech#1 a Speech#j). La información de subtítulo (Speech#) está compuesta por un nombre de archivo de datos de imagen (Name) correspondiente, un tiempo de inicio de visualización del subtítulo (In), tiempo de finalización de visualización del subtítulo (Out), y una posición de visualización del subtítulo (Position).

La lista de eventos (EventList) es una tabla en la que se definen eventos generados en la lista de reproducción. La lista de eventos está compuesta por cada evento (Event#1 a Event#m) que sigue al número de eventos (Number). Cada evento (Event#) está compuesto por un tipo de evento (Type), un ID del evento (ID), un tiempo de generación del evento (Time) y una duración.

La FIG. 23 es una tabla manejadora de eventos (“XXX. PROG”) que tiene un manejador de eventos (evento de tiempo y evento de usuario para la selección de menú) para cada lista de reproducción.

La tabla manejadora de eventos tiene un manejador de eventos definidos/el número de programas (Number) y el manejador de eventos individuales/programa (Program#1 a Program#n). La descripción en cada manejador de eventos/programa (Program#) tiene una definición sobre el inicio del manejador de eventos (etiqueta <event_handler>) un ID de un manejador de eventos emparejado con el evento. Después de eso, el programa se describe entre las llaves

“{” y “}” siguientes a una Función. Los eventos (Event#1 a Event#m) almacenados en una lista de eventos del “XXX. PL”

se especifica usando un ID de un manejador de eventos.

Después, con referencia a la FIG. 24, se da una explicación sobre una estructura interna de información que concierne a

un disco BD en su totalidad (“BD. INFO”).

La información total del disco BD está compuesta por una lista de títulos y una tabla de eventos para un evento global.

La lista de títulos está compuesta por un número de títulos en un disco (Number) y cada información de título siguiente (Title#1 a Title#n). Cada información de título (Title#) incluye una tabla de listas de reproducción (PLTable) incluida en un título y una lista de capítulos en el título. La tabla de listas de reproducción (PLTable) incluye el número de listas de reproducción en el título (Number) y un nombre de lista de reproducción (Name), específicamente, un nombre de archivo de lista de reproducción.

La lista de capítulos está compuesta por un número de capítulos (Number) incluidos en el título e información de capítulos individuales (Chapter#1 a Chapter#n). Cada información de capítulo (Chapter#) tiene una tabla de celdas incluidas en el capítulo. La tabla de celdas está compuesta por un número de celdas (Number) e información de entrada de celdas individuales (CellEntry#1 a CellEntry#k). La información de entrada de celda (CellEntry#) se describe con un nombre de lista de reproducción que incluye la celda y un número de celda en la lista de reproducción.

La lista de eventos (EventList) tiene un número de eventos globales (Number) e información de eventos globales individuales. Aquí, se debería mencionar que un evento global definido primero se llama primer evento, que es un evento que se llamará primero cuando un disco BD se inserte en un reproductor. La información de evento para el evento global sólo tiene un tipo de evento (Type) e ID de evento (ID).

La FIG. 25 muestra una tabla de un programa de un manejador de eventos globales (“BD. PROG”). Esta tabla es la misma que la tabla manejadora de eventos explicada en la FIG. 23.

En tal formato de BD-ROM, en el caso del almacenaje del flujo de AVC st emitido desde la unidad de codificación de imagen 10, el VOBU está compuesto por una o más unidades de acceso aleatorio RAU.

Se debería observar que en un flujo del MPEG-4 AVC que se multiplexa en el BD-ROM, la información de bandera que indica que se garantiza que un PPS necesario para decodificar una AU de trick-play se puede obtener decodificando sólo la AU de trick-play o la información de bandera que indica que todos los PPS en la unidad de acceso aleatorio RAU son almacenados en la AU en cabeza de la unidad de acceso aleatorio RAU se pueden almacenar en la información de base de datos del BD.

Se debería observar que la información de acceso como un mapa de puntos de entrada se puede almacenar en una tabla como datos binarios o puede estar en un formato de texto como un Lenguaje de Marcas Extensible (XML).

(Quinta forma de realización)

La FIG. 26 es un diagrama de bloques que muestra a grandes rasgos una estructura funcional de un reproductor que reproduce datos grabados en el disco BD según la cuarta forma de realización.

Los datos grabados en un disco BD 201 se leen mediante un captador óptico 202. Los datos leídos se transfieren a una memoria especial dependiendo del tipo de datos respectivo. El programa de reproducción de BD (contenido de archivos

“BD. PROG” o “XXX. PROG”), la información de base de datos del BD (“BD. INFO”, “XXX. PL” o “YYY. VOBI”), y los datos AV (“YYY. VOB” o “ZZZ. PNG”) se transfieren respectivamente a una memoria de grabación de programa 203, una

memoria de grabación de información de base de datos 204 y una memoria de grabación de AV 205.

El programa de reproducción de BD grabado en la memoria de grabación de programa 203, la información de base de datos del BD grabada en la memoria de grabación de información de base de datos 204, y los datos AV grabados en la memoria de grabación de AV 205 se procesan respectivamente por una unidad de procesamiento de programa 206, una unidad de procesamiento de información de base de datos 207, y una unidad de procesamiento de presentación 208.

La unidad de procesamiento de programa 206 procesa un programa para recibir información sobre listas de reproducción que serán reproducidas por la unidad de procesamiento de información de base de datos 207 e información de eventos como el tiempo de ejecución de un programa. También, el programa puede cambiar dinámicamente las listas de reproducción que serán reproducidas. En este caso, se puede llevar a cabo enviando una instrucción de reproducción de lista de reproducción a la unidad de procesamiento de información de base de datos 207. La unidad de procesamiento de programa 206 recibe un evento de un usuario, específicamente, una solicitud enviada desde una tecla de mando a distancia, y ejecuta el evento si hay un programa correspondiente al evento de usuario.

La unidad de procesamiento de información de base de datos 207 recibe una instrucción de la unidad de procesamiento de programa 206, analiza la lista de reproducción correspondiente y la información de base de datos de un VOB correspondiente a la lista de reproducción, y ordena que se reproduzcan datos AV objetivo a la unidad de procesamiento de presentación 208. Asimismo, la unidad de procesamiento de información de base de datos 207 recibe información de tiempo estándar desde la unidad de procesamiento de presentación 208, ordena a la unidad de procesamiento de presentación 208 que detenga la reproducción de datos AV en base a la información de tiempo, y además genera un evento que indica un tiempo de ejecución de programa para la unidad de procesamiento de programa 206.

La unidad de procesamiento de presentación 208 tiene decodificadores correspondientes respectivamente a vídeo, audio, y subtítulo/imagen (imagen fija). Cada uno de los decodificadores decodifica datos AV en base a una instrucción enviada desde la unidad de procesamiento de información de base de datos 207, y emite los datos AV decodificados. Los datos de vídeo, subtítulo e imagen se describen respectivamente en un plano especial, un plano de vídeo 210 y un plano de imagen 209 después de ser decodificados, y sintetizadas las imágenes por la unidad sintetizadora 211 y emitidas a un dispositivo de visualización como una televisión.

En el momento de trick-play como la reproducción a velocidad variable y la reproducción hacia atrás, la unidad de procesamiento de presentación 208 interpreta las operaciones de reproducción a velocidad variable o reproducción hacia atrás solicitadas por un usuario, y notifica a la unidad de procesamiento de información de base de datos 207 la información que indica un procedimiento de reproducción. La unidad de procesamiento de información de base de datos 207 notifica el procedimiento de reproducción de la unidad de procesamiento de presentación 208. La unidad de procesamiento de presentación 208 detecta AUs de trick-play en base a la información para especificar las AUs de trickplay almacenadas en el VOBU, y determina las AUs que serán decodificadas y visualizadas de manera que se satisfagan las operaciones de trick-play especificadas por el usuario. Por ejemplo, cuando se decodifican y visualizan sólo AUs de imágenes I e imágenes P, la unidad de procesamiento de presentación 208 detecta AUs de imágenes I e imágenes P en base al Delimitador de Unidad de Acceso, a la cabecera de segmento, y a la información de identificación incluida en una cabecera de una unidad NAL y similares. En lo sucesivo, se explica un ejemplo de un procedimiento de determinación de AUs de trick-play.

Primero, se da una explicación sobre un procedimiento de determinación de AU de trick-play refiriéndose a un Delimitador de Unidad de Acceso. El Delimitador de Unidad de Acceso puede mostrar un tipo (campo primary_pic_type) de datos de segmento que constituye una AU. Como consecuencia, para una AU respectiva de imagen I, imagen P o imagen B, una AU que será decodificada en el momento de trick-play se puede determinar especificando tipos respectivos de las AUs.

Después, en la cabecera de segmento, se puede mostrar un tipo de datos de segmento (campo slice_type). Aquí, un valor que indica que todos los datos de segmento en la AU son los mismos tipos se puede establecer en el slice_type. Por ejemplo, si el slice_type es 7 en un dato de segmento arbitral que constituye una AU, se muestra que dicho segmento y otros segmentos en la AU son todos segmentos I. De forma similar, los valores se definen para indicar: si el slice_type es 5, se muestra que todos los segmentos en la AU son segmentos P; y si el slice_type es 6, se muestra que todos los segmentos en la AU son segmentos B. Suponiendo que sólo los segmentos que tienen uno cualquiera del slice_type de 5, 6 y 7 se usan en el momento de la codificación, la AU que será decodificada en el momento de trick-play se determina analizando el tipo de segmento del primer segmento de la AU. Se debería observar que incluso si el slice_type es distinto a 5, 6 y 7, la AU que será decodificada en el momento de trick-play se puede determinar analizando el slice_type de todos los segmentos en la AU.

Después, cuando se hace una determinación en base a una cabecera de una unidad NAL, una AU que será decodificada en el momento de trick-play se puede determinar estableciendo diferentes valores de campo para la imagen I, la imagen P y la imagen B como un valor de un campo nal_ref_idc en la unidad NAL como segmentos.

Asimismo, cuando la unidad NAL que indica información para trick-play y un mensaje SEI se incluyen en la unidad de acceso aleatorio RAU, la AU que será decodificada en el momento de trick-play se puede determinar en base a la información.

Se debería observar que la unidad de procesamiento de información de base de datos 207 puede determinar la AU que será decodificada y visualizada cuando la información para especificar la AU de trick-play se incluya en la información de base de datos.

Asimismo, un procedimiento de obtención de PPS se puede conmutar en base a información de bandera en el caso en el que la información de bandera que indica que los PPS necesarios para decodificar la AU de trick-play se pueden obtener decodificando sólo las AUs de trick-play se ha almacenado en la información de base de datos o en el VOBU. En este documento, si se ha puesto la bandera, el PPS se obtiene sólo de las AUs de trick-play, mientras que si no se ha puesto la bandera, también se obtienen los PPS almacenados en las AUs distintas a las AUs de trick-play.

Obsérvese que, en las formas de realización antes mencionadas, el procedimiento de codificación no está sólo limitado al MPEG-4 AVC, y se pueden aplicar otros procedimientos a menos que sean procedimientos de codificación aplicables a un procesamiento similar.

Asimismo, la información de acceso como un mapa de puntos de entrada se puede almacenar en una tabla como datos binarios o puede estar en un formato de texto como un Lenguaje de Marcas Extensible (XML).

(Sexta forma de realización)

Además, al grabar un programa para llevar a cabo el procedimiento de codificación de imagen en movimiento y el procedimiento de decodificación de imagen en movimiento como se muestra en cada una de las formas de realización mencionadas anteriormente, a un medio de grabación como un disco flexible, se hace posible realizar el procesamiento como se muestra en cada una de las formas de realización anteriores fácilmente en un sistema informático independiente.

Las FIGS. 27A, 27B y 27C son diagramas explicativos que muestran un caso en el que el procedimiento de codificación de imagen en movimiento y el procedimiento de decodificación de imagen en movimiento en las formas de realización anteriores son implementados en un sistema informático usando un programa grabado en el medio de grabación como un disco flexible.

La FIG. 27B muestra la vista frontal de un disco flexible y la sección transversal esquemática, así como un propio disco flexible, mientras que la FIG. 27A muestra un ejemplo de un formato físico del disco flexible como un propio medio de grabación. Un disco flexible FD está contenido en una carcasa F, una pluralidad de pistas Tr se forman concéntricamente en la superficie del disco en la dirección radial desde la periferia, y cada pista está separada en 16 sectores Se en la dirección angular. Por lo tanto, en el disco flexible que almacena el programa antes mencionado, el programa anterior se graba en una zona asignada para el mismo en el disco flexible FD anterior. Además, la FIG. 27C muestra una estructura para grabar y reproducir el programa en y desde el disco flexible FD. Cuando el programa se graba en el disco flexible FD, el sistema informático Cs agrega el procedimiento de codificación de imagen en movimiento y el procedimiento de decodificación de imagen en movimiento como el programa en el disco flexible FD a través de la unidad de disco flexible. Cuando el procedimiento de codificación de imagen en movimiento y el procedimiento de decodificación de imagen en movimiento anteriores se construyen en el sistema informático usando el programa grabado en el disco flexible, el programa es leído del disco flexible a través de la unidad de disco flexible y transferido al sistema informático.

Obsérvese que la explicación anterior se hace sobre una suposición de que un medio de grabación es un disco flexible, pero el mismo procesamiento también se puede realizar usando un disco óptico. Además, el medio de grabación no está limitado a estos, sino que otros medios cualquiera como una tarjeta de circuito integrado y un casete ROM se pueden usar de la misma manera si se puede grabar un programa en ellos.

En lo mencionado anteriormente, el aparato de codificación de imagen, aparato de decodificación de imagen, aparato de multiplexación, un reproductor de discos BD y similares según la presente invención se describen en base a las formas de realización. Sin embargo, esta invención no está limitada a la divulgación de las formas de realización. La presente invención incluye variaciones planteadas por los expertos en la materia aplicadas en las presentes formas de realización en una serie de argumentos de la presente invención.

Por ejemplo, sin mencionar que la presente invención incluye un aparato de grabación óptico, aparato de transmisión de vídeo, aparato de transmisión de emisión de televisión digital, servidor web, aparato de comunicación, terminal de información de teléfono móvil y similares que incluyen uno de los aparatos de codificación de imagen y el aparato de multiplexación en las presentes formas de realización, y un aparato de recepción de vídeo, aparato de recepción de emisión de televisión digital, aparato de comunicación, terminal de información de teléfono móvil y similares que tiene el aparato de decodificación de imagen de las presentes formas de realización.

Se debería observar que cada bloque funcional en diagramas de bloques (como la FIG. 8 y la FIG. 15) se lleva a cabo habitualmente como una Integración a Gran Escala (LSI) que es un circuito integrado. Los bloques funcionales se pueden separar individualmente en un chip o se pueden integrar en un chip de manera que se incluya una parte o todos los bloques. (por ejemplo bloques funcionales distintos a una memoria se pueden integrar en un chip.)

Mientras que aquí se usa LSI, se llama Circuito Integrado (CI), sistema LSI, súper LSI, o ultra SLI según un grado de integración.

Asimismo, mientras que el procedimiento de integración de circuitos no sólo está limitado a la LSI, se puede llevar a cabo por un circuito especial o por un procesador general. Después de construir la LSI, se puede usar lo siguiente: una Matriz de Puertas Programable en Campo (FPGA) capaz de programar; y un procesador reconfigurable capaz de reconfigurar una conexión y ajuste de células del circuito en la LSI.

Asimismo, si una tecnología de integración de circuitos se introduce como reemplazo de la LSI por una nueva tecnología

o un desarrollo de tecnología semiconductora, no hay duda de que los bloques funcionales se pueden integrar usando la tecnología recién introducida. Hay una posibilidad de una aplicación de una biotecnología.

Además, una unidad en la que los datos que serán codificados o decodificados se almacenan entre bloques funcionales se puede separar como otra estructura sin estar integrada en un chip.

Aunque sólo algunas formas de realización ejemplares de esta invención se han descrito en detalle anteriormente, los expertos en la materia apreciarán fácilmente que muchas modificaciones son posibles en las formas de realización ejemplares sin desviarse materialmente de las novedosas enseñanzas y ventajas de esta invención. Como consecuencia, todas esas modificaciones están destinadas a incluirse dentro del ámbito de esta invención.

Aplicabilidad industrial

El procedimiento de codificación de imagen según la presente invención tiene un efecto de que un conjunto de parámetros de imagen necesario para la decodificación se obtiene de forma apropiada y una imagen se puede decodificar incluso en el momento de trick-play como la reproducción a alta velocidad. Es aplicable a dispositivos en general que tienen una función de trick-play como la reproducción a velocidad variable y la reproducción hacia atrás que usan un flujo de MPEG-4 AVC. También, es particularmente eficaz para dispositivos relacionados con discos ópticos con especial atención a la función de trick-play.

Claims (4)

1. REIVINDICACIONES

   1. Un aparato de codificación de imagen (10) que codifica imágenes imagen por imagen y según la norma de Codificación de Vídeo Avanzada MPEG-4 y genera una unidad de acceso aleatorio de Codificación de Vídeo Avanzada MPEG-4 como parte de un flujo, incluyendo la unidad de acceso aleatorio las imágenes codificadas, comprendiendo dicho aparato (10):

   una unidad de codificación (11) operable para generar datos de imagen codificados codificando las imágenes imagen por imagen;

   una primera unidad de generación de información operable para generar una información del conjunto de parámetros de secuencia que es un grupo de parámetros que serán referenciados para decodificar todos los datos de imagen codificados en la unidad de acceso aleatorio;

   una segunda unidad de generación de información (16) operable para generar una información del conjunto de parámetros de imagen para cada imagen codificada, respectivamente, siendo cada información del conjunto de parámetros de imagen un grupo de parámetros que serán referenciados para decodificar cada dato de imagen codificado;

   una primera unidad de almacenamiento operable para almacenar los datos de imagen codificados respectivamente en unidades de acceso que constituyen la unidad de acceso aleatorio;

   una segunda unidad de almacenamiento operable para almacenar la información del conjunto de parámetros de secuencia en una primera unidad de acceso que se ubica en un encabezamiento de la unidad de acceso aleatorio;

   una tercera unidad de almacenamiento (16), en base a una condición predeterminada, operable para almacenar una pluralidad de las informaciones del conjunto de parámetros de imagen en la primera unidad de acceso que se ubica en un encabezamiento de la unidad de acceso aleatorio; y

   una cuarta unidad de almacenamiento (17) operable para almacenar cada información del conjunto de parámetros de imagen en una unidad de acceso en la que se almacena un dato de imagen codificado que se refiere a las informaciones del conjunto de parámetros de imagen, siendo diferente el contenido de cada una de las informaciones del conjunto de parámetros de imagen del contenido de cada una de las informaciones del conjunto de parámetros de imagen almacenado en la primera unidad de acceso,

   en el que

   la información del conjunto de parámetros de imagen es información del conjunto de parámetros de imagen según la Codificación de Vídeo Avanzada MPEG-4, incluyendo la información del conjunto de parámetros de imagen un tipo de procedimiento de codificación de longitud variable, un valor inicial de la etapa de cuantificación y un número de imágenes de referencia; y caracterizado porque

   dicha tercera unidad de almacenamiento (16) restringe el número máximo de las informaciones del conjunto de parámetros de imagen que se pueden almacenar en la primera unidad de acceso en base al número máximo de imágenes codificadas que componen una unidad de acceso aleatorio de manera que el número de informaciones del conjunto de parámetros de imagen que se almacenan en la primera unidad de acceso sea más de uno y menos del número máximo de las imágenes codificadas que componen la unidad de acceso aleatorio.
2. 2. Un medio de grabación que tiene un área para grabar un flujo, incluyendo el flujo una unidad de acceso aleatorio de codificación de Vídeo Avanzada MPEG-4 que contiene imágenes codificadas según la norma de codificación de Vídeo Avanzada MPEG-4

   comprendiendo el flujo:

   datos de imagen codificados almacenados respectivamente en unidades de acceso que constituyen la unidad de acceso aleatorio;

   en el que

   una información del conjunto de parámetros de secuencia que es un grupo de parámetros que serán referenciados para decodificar todos los datos de imagen codificados en la unidad de acceso aleatorio que se almacena en la primera unidad de acceso de la unidad de acceso aleatorio;

   cada información del conjunto de parámetros de imagen según la Codificación de Vídeo Avanzada MPEG-4 para cada imagen codificada, almacenándose las informaciones del conjunto de parámetros de imagen en la primera unidad de acceso de la unidad de acceso aleatorio o en una unidad de acceso en la que se almacena un dato de imagen codificado que se refiere a la información del conjunto de parámetros de imagen, siendo cada información del conjunto de parámetros de imagen un grupo de parámetros que serán referenciados para decodificar cada dato de imagen codificado y que incluye un tipo de procedimiento de codificación de longitud variable, un valor inicial de la etapa de cuantificación y un número de imágenes de referencia,

   conteniendo la primera unidad de acceso una pluralidad de informaciones del conjunto de parámetros de imagen, siendo el contenido de cada información del conjunto de parámetros de imagen almacenado en una unidad de acceso en la que se almacena un dato de imagen codificado que se refiere a la información del conjunto de parámetros de imagen diferente del contenido de cada una de las informaciones del conjunto de parámetros de imagen almacenado en la primera unidad de acceso,

   caracterizado porque hay un número de informaciones del conjunto de parámetros de imagen almacenadas en la primera unidad de acceso, en el que el número de informaciones del conjunto de parámetros de imagen que se almacenan en la primera unidad de acceso es más de uno y menos del número máximo de la imágenes codificadas que componen la unidad de acceso aleatorio.
3. 3. Un procedimiento de codificación de imagen para codificar imágenes imagen por imagen y según la norma de Codificación de Vídeo Avanzada MPEG-4 y generar una unidad de acceso aleatorio de Codificación de Vídeo Avanzada MPEG-4 como parte de un flujo, incluyendo la unidad de acceso aleatorio las imágenes codificadas, comprendiendo dicho procedimiento:

   la generación (S101) de datos de imagen codificados codificando las imágenes imagen por imagen;

   la generación de una información del conjunto de parámetros de secuencia que es un grupo de parámetros que serán referenciados para decodificar todos los datos de imagen codificados en la unidad de acceso aleatorio;

   la generación (S106) de una información del conjunto de parámetros de imagen para cada imagen codificada, siendo cada información del conjunto de parámetros de imagen un grupo de parámetros que serán referenciados para decodificar cada dato de imagen codificado,

   el almacenamiento (S107) de los datos de imagen codificados respectivamente en las unidades de acceso que constituyen la unidad de acceso aleatorio;

   el almacenamiento de la información del conjunto de parámetros de secuencia en una primera unidad de acceso que se ubica en un encabezamiento de la unidad de acceso aleatorio;

   el almacenamiento (107), en base a una condición predeterminada, de la pluralidad de las informaciones del conjunto de parámetros de imagen en una primera unidad de acceso que se ubica en un encabezamiento de la unidad de acceso aleatorio; y

   el almacenamiento (S107) de cada información del conjunto de parámetros de imagen en una unidad de acceso en la que se almacena un dato de imagen codificado que se refiere a las informaciones del conjunto de parámetros de imagen, siendo el contenido de cada una de las informaciones del conjunto de parámetros de imagen diferente del contenido de cada una de las informaciones del conjunto de parámetros de imagen almacenadas en la primera unidad de acceso,

   en el que

   la información del conjunto de parámetros de imagen es información del conjunto de parámetros de imagen según la Codificación de Vídeo Avanzada MPEG-4, incluyendo la información del conjunto de parámetros de imagen un tipo de procedimiento de codificación de longitud variable, un valor inicial de la etapa de cuantificación y un número de imágenes de referencia; y caracterizado porque

   hay un número máximo predeterminado de las informaciones del conjunto de parámetros de imagen que se pueden almacenar en la primera unidad de acceso, estando restringido el número máximo en base al número máximo de imágenes codificadas que componen una unidad de acceso aleatorio, de manera que el número de informaciones del conjunto de parámetros de imagen que se almacenan en la primera unidad de acceso sea más de uno y menos del número máximo de la imágenes codificadas que componen la unidad de acceso aleatorio.
4. 4. Un procedimiento de grabación que comprende:

   la grabación del flujo generado por el procedimiento de codificación de imagen según la reivindicación 3 a un medio de grabación.