ES2420583T3 - Gestión de memoria intermedia de postdescodificador para un flujo de bits MPEG H.264-SVC - Google Patents

Gestión de memoria intermedia de postdescodificador para un flujo de bits MPEG H.264-SVC Download PDF

Info

Publication number
ES2420583T3
ES2420583T3 ES10179945T ES10179945T ES2420583T3 ES 2420583 T3 ES2420583 T3 ES 2420583T3 ES 10179945 T ES10179945 T ES 10179945T ES 10179945 T ES10179945 T ES 10179945T ES 2420583 T3 ES2420583 T3 ES 2420583T3
Authority
ES
Spain
Prior art keywords
image
memory
images
display
buffer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
ES10179945T
Other languages
English (en)
Inventor
Chong Soon Lim
Teck Wee Foo
Sheng Mei Shen
Shinya Kadono
Satoshi Kondo
Makoto Hagai
Kiyofumi Abe
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Application granted granted Critical
Publication of ES2420583T3 publication Critical patent/ES2420583T3/es
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/18—Timing circuits for raster scan displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/55—Motion estimation with spatial constraints, e.g. at image or region borders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23406—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving management of server-side video buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/12—Frame memory handling

Abstract

Un procedimiento de postdescodificación para descodificar una señal de imagen codificada predictivamente de una señal de imagen en movimiento compuesta de una pluralidad de imágenes, incluyendo dicha señal de imagen codificada una imagen codificada objeto de referencia en codificación predictiva por una imagen anterior en un orden de visualización predeterminado para visualizar las imágenes descodificadas, siendo recibida la señal de imagen codificada como un flujo codificado de imágenes MPEG, comprendiendo el procedimiento: una etapa de descodificación en la que se descodifica la señal de imagen codificada para obtener una imagen descodificada; una primera etapa de juicio (602) en la que se juzga si la imagen descodificada es una imagen de referencia o una imagen que no es de referencia; una etapa de almacenamiento en la que se almacena (606) la imagen descodificada en una memoria intermedia (PicMem2) cuando se juzga en la primera etapa de juicio que la imagen descodificada es una imagen de referencia; una tercera etapa de juicio en la que se juzga sobre la base de una temporización de visualización si la imagen de referencia descodificada presente en la memoria intermedia es una imagen que se debe enviar como salida; una etapa de salida para enviar como salida la imagen de referencia descodificada, sobre la base del resultado de la tercera etapa de juicio; una cuarta etapa de juicio en la que se juzga si la imagen de referencia descodificada almacenada en la memoria intermedia es una imagen que ya no vuelve a tomarse como referencia; y una etapa de estado reutilizable en memoria intermedia en la que se crea un área de la memoria intermedia en la que se almacena la imagen descodificada en estado reutilizable después de que se haya enviado como salida la imagen descodificada almacenada en la memoria intermedia, sobre la base del resultado de la cuarta etapa de juicio; caracterizado por: una segunda etapa (603) en la que se juzga si la imagen descodificada es una imagen que es necesario almacenar en la memoria intermedia hasta un momento de visualización cuando se juzga en la primera etapa de juicio que la imagen descodificada no es de referencia; en el que dicha etapa de almacenamiento también puede servir para almacenar (604) la imagen descodificada en dicha área de la memoria intermedia, cuando se juzga que la imagen descodificada es una imagen que no es de referencia y que es necesario almacenar en la memoria intermedia hasta un momento de visualización; dicha tercera etapa de juicio también puede servir para juzgar sobre la base de una temporización de visualización, si la imagen descodificada que no es de referencia y que está almacenada en la memoria intermedia es una imagen que se debe enviar como salida; y dicha etapa de estado reutilizable en memoria intermedia también puede servir para crear el área de reutilización de la memoria intermedia después de que se haya enviado como salida la imagen descodificada almacenada en la memoria intermedia, sobre la base del resultado de la tercera etapa de juicio.

Description

Gestión de memoria intermedia de postdescodificador para un flujo de bits MPEG H.264-SVC.
Campo técnico
La presente invención se refiere a un procedimiento de descodificación de imagen destinado a descodificar correctamente la imagen codificada y visualizarla.
Técnica anterior
Recientemente, con la llegada de la edad del multimedia que maneja integralmente audio, vídeo y valores de píxel de otros, los soportes de información existentes, es decir periódicos, revistas, televisiones, radios y teléfonos y otros medios a través de los que se lleva información a la gente, han caído bajo el ámbito del multimedia. En términos generales, multimedia hace referencia a algo que se representa mediante la asociación conjunta no sólo de caracteres sino también de gráficos, audio y especialmente imágenes y similares. Sin embargo, para poder incluir los soportes de información existentes mencionados anteriormente en el ámbito de multimedia, se muestra como prerrequisito la representación de tal información en forma digital.
Sin embargo, al calcular la cantidad de información contenida en cada uno de los soportes de información mencionados anteriormente como cantidad de información digital, la cantidad de información por carácter requiere 1~2 bytes, mientras que el audio requiere más de 64 Kbits (calidad telefónica) por segundo y, en lo que se refiere a la imagen en movimiento, esta requiere más de 100 Mbits (calidad actual de recepción de televisión) por segundo. Por consiguiente, no es razonable manejar la vasta información directamente en el formato digital a través de los soportes de información mencionados anteriormente. Por ejemplo, ya se ha puesto en uso en la práctica un videoteléfono a través de la red digital de servicios integrados (RDSI) con una velocidad de transmisión de 64 Kbit/s ~ 1,5 Mbit/s, pero no es práctico transmitir vídeo capturado sobre la pantalla de TV o filmado por una cámara de televisión. Por consiguiente, esto requiere que se empleen técnicas de compresión de la información y, por ejemplo, en el caso del videoteléfono, técnicas de compresión de vídeo conformes con los estándares H.261 y H.263 normalizados internacionalmente por la UIT-T (Sector de normalización de telecomunicaciones de la Unión Internacional de Telecomunicaciones). De acuerdo con las técnicas de compresión de la información conformes con el estándar MPEG-1, la información de imagen así como información de música se puede almacenar en un CD (disco compacto) de música corriente.
En esta invención, MPEG (Grupo de expertos en imágenes en movimiento) es un estándar internacional para compresión de señales de imagen en movimiento y MPEG-1 es un estándar que comprime señales de vídeo hasta 1,5 Mbit/s, es decir, para comprimir información de señales de TV aproximadamente hasta una centésima parte. La velocidad de transmisión dentro del alcance del estándar MPEG-1 está limitada a aproximadamente 1,5 Mbit/s, por consiguiente MPEG-2, que se normalizó con miras a cumplir las exigencias de imagen de alta calidad, permite la transmisión de datos de señales de imagen en movimiento a una velocidad de 2 ~ 15 Mbit/s. En las circunstancias actuales, un grupo de trabajo (ISO/IEC JTC1/SC29/WG11) a cargo de la normalización de MPEG-1 y MPEG-2 ha logrado una tasa de compresión que va más allá de lo que MPEG-1 y MPEG-2 han conseguido, ha realizado operaciones de codificación/descodificación sobre una base por objetos y ha normalizado MPEG-4 a fin de realizar una nueva función requerida por la era del multimedia. En el proceso de normalización de MPEG-4, se puso como objetivo la normalización de un procedimiento de codificación destinado a una baja velocidad de transferencia de bits, sin embargo, el objetivo se ha extendido actualmente a una codificación más versátil de imágenes en movimiento a una elevada velocidad de transferencia de bits incluyendo imágenes entrelazadas.
Recientemente está en proceso de normalización una nueva codificación de imagen como una siguiente generación de codificación de MPEG-4 denominada JVC, mediante el trabajo en común de la UIT-T y la ISO/IEC.
La Fig. 24 es un diagrama que muestra una estructura de predicción, un orden de descodificación y un orden de
visualización de imágenes. “Imagen” es un término que indica bien un cuadro o un campo y el término “imagen” se usa
en este documento en lugar de cuadro o campo en la presente memoria descriptiva. Las imágenes rayadas en la Fig. 24 presentan las imágenes que han de almacenarse en la memoria para referencia cuando se codifiquen/descodifiquen otras imágenes.
I0 es una imagen intracodificada y P3, P6 y P9 son imágenes con codificación predictiva (imagen P). La codificación predictiva en el esquema del estándar JVT difiere de la del MPEG-1/2/4 convencional. Se selecciona una imagen arbitraria de entre una pluralidad de imágenes codificadas como imagen de referencia y se puede generar una imagen predictiva a partir de la imagen de referencia. Por ejemplo, una imagen P9 puede seleccionar una imagen arbitraria de las tres imágenes de I0, P3 y P6 y generar una imagen predictiva usando la imagen seleccionada. Por lo tanto, esto realza una posibilidad de seleccionar la imagen predictiva más aplicable respecto al caso convencional de aplicar MPEG1/2/4 y, en consecuencia, mejora una tasa de compresión. B1, B2, B4, B5, B7 y B8 son imágenes con codificación predictiva bidireccional (imagen B), que difieren de la predicción inter-imágenes, en la que se selecciona una pluralidad de imágenes (dos imágenes) y se genera una imagen predictiva usando las imágenes seleccionadas que a continuación se codifica. Es sabido especialmente que la precisión de la imagen predictiva se puede mejorar en gran medida, como lo puede ser la tasa de compresión mediante la realización de predicción por interpolación usando un valor medio de dos imágenes anterior y posterior en el tiempo para generar una imagen predictiva. Las marcas de “I” para una imagen intracodificada, “P” para una imagen con codificación predictiva y “B” para una imagen con codificación predictiva
bidireccional se usan a fin de diferenciar el procedimiento de codificación de cada imagen.
Para poder hacer referencia a las imágenes anterior y posterior en el tiempo para las imágenes B, deberán codificarse/descodificarse al principio las imágenes anteriores en el tiempo. Esto se denomina reordenación de imágenes y suele llevarse a cabo en el MPEG-1/2/4 convencional. Por consiguiente, a diferencia de un orden de codificación (Orden de flujo), se reordena un orden de visualización de las imágenes que son descodificadas (Orden de visualización), como se muestra en la Fig. 24, que muestra una estructura de predicción, un orden de descodificación y un orden de visualización de imágenes. Las imágenes B en el ejemplo de la Fig. 24 se visualizan en el momento en que se descodifica el flujo, luego no hay necesidad de almacenarlas cuando no son objeto de referencia por otras imágenes. Sin embargo, las imágenes I e imágenes P tienen que almacenarse en una memoria, puesto que se visualizan después de ser descodificadas cuando ha finalizado la descodificación de la imagen B siguiente.
Los términos y los significados de las imágenes rayadas en el diagrama que muestra la estructura de predicción, el orden de descodificación y el orden de visualización de las imágenes son los mismos que los usados en la Fig. 24.
La Fig. 26 es un diagrama de bloques que muestra un aparato de codificación de imagen para realizar un procedimiento convencional de codificación de imagen.
Lo siguiente ilustra una operación del aparato de codificación de imagen para realizar el procedimiento convencional de codificación de imagen de la Fig. 26.
Una unidad de determinación de estructura de imagen PicStruct determina un tipo de codificación (imagen I, imagen P e imagen B) para cada imagen, notifica a una unidad de control de imágenes de referencia RefPicCtrl el tipo de codificación y las imágenes que pueden ser objeto de referencia en la codificación y también informa a una unidad de reordenación ReOrder del orden de codificación de las imágenes. La unidad de reordenación ReOrder reordena el orden de una imagen de entrada PicIn en un orden de codificación y envía en salida las imágenes reordenadas a una unidad de estimación de movimiento ME y una unidad de sustracción Sub. La unidad de estimación de movimiento ME hace referencia a las imágenes de referencia almacenadas en una memoria de imágenes PicMem1, determina una imagen de referencia aplicable y detecta un vector de movimiento que indica una posición de píxeles de la imagen de referencia y los envía a una unidad de codificación de longitud variable VLC, la memoria de imágenes PicMem1 y una unidad de compensación de movimiento MC. La memoria de imágenes PicMem1 envía en salida los píxeles de la imagen de referencia conforme al vector de movimiento MV hasta la unidad de compensación de movimiento MC, mientras que la unidad de compensación de movimiento MC genera una imagen predictiva usando los píxeles en la imagen de referencia obtenida a partir de la memoria de imágenes PicMem1 y el vector de movimiento MV.
La unidad de sustracción Sub calcula una diferencia entre la imagen reordenada por la unidad de reordenación Reorder y la imagen predictiva. La diferencia es convertida en coeficientes de frecuencia por una unidad de transformación ortogonal T y después los coeficientes de frecuencia son cuantificados por la unidad de cuantificación Q y enviados en salida como valores cuantificados Coef.
Una unidad de cuantificación inversa IQ cuantifica inversamente los valores cuantificados Coef y los restablece como coeficientes de frecuencia. La unidad de transformación ortogonal inversa IT realiza una conversión inversa de frecuencia para el envío de los coeficientes de frecuencia como valores diferenciales de píxeles. Una unidad de adición Add añade la imagen predictiva a los valores diferenciales de píxeles y obtiene una imagen descodificada.
La unidad de control de imágenes de referencia RefPicCtrl, según el tipo de codificación de la imagen, juzga si ha de almacenarse o no la imagen descodificada en la memoria de imágenes PicMem1 para ser objeto de referencia como imagen de referencia y si ha de eliminarse o no la imagen descodificada de la memoria de imágenes PicMem1 (dejando de ser objeto de referencia como imagen de referencia) y notifica la operación usando un comando de control de memoria MMCO.
Cuando el comando de control de memoria MMCO ha ordenado un almacenamiento, se enciende un conmutador SW y, en consecuencia, la imagen descodificada se almacena en la memoria de imágenes PicMem1 como imagen de referencia. La memoria de imágenes PicMem1 libera el área en la que está almacenada la imagen descodificada de tal modo que se puedan almacenar otras imágenes descodificadas cuando la memoria de imágenes PicMem1 ordene que se elimine la imagen descodificada de la memoria de imágenes PicMem1.
La unidad de codificación de longitud variable VLC codifica los valores cuantificados Coef, el vector de movimiento MV y el comando de control de memoria MMCO y envía en salida un flujo codificado Str.
Aunque se muestra el caso en que la codificación incluye la conversión de frecuencia y la cuantificación, la codificación puede ser una sin éstas, tal como MICD (modulación por impulsos codificados diferencial), MICDA (modulación por impulsos codificados diferencial adaptativa) y codificación por predicción lineal. La codificación puede ser una en la que estén integradas la conversión de frecuencia y la cuantificación o una que no venga acompañada de cuantificación tras la conversión de frecuencia, como en una codificación de planos de bits.
La Fig. 27 muestra flujos de bits del comando de control de memoria MMCO. La unidad de codificación de longitud
variable VLC codifica “000”, lo que significa una liberación de un área total de memoria de modo que se inicialice la
memoria de imágenes al principio de la codificación/descodificación o en el encabezamiento del GOP (grupo de
imágenes). Igualmente, la unidad de codificación de longitud variable VLC codifica “01” cuando se almacena en la
memoria de imágenes la imagen descodificada. Cuando se libera al mismo tiempo una imagen almacenada en la memoria de imágenes, la unidad de codificación de longitud variable VLC codifica un número de imagen que sucede al “001”, puesto que tiene que indicarse el número de imagen que ha de liberarse. Cuando se libera una pluralidad de imágenes, el comando para liberar una imagen necesita codificarse un número plural de veces, por tanto se codifica un comando para almacenar una imagen además del comando para liberar una imagen. La unidad de codificación de longitud variable VLC codifica en secuencia una pluralidad de comandos de control de memoria MMCO y por último
codifica “1”, que indica que el comando de control de memoria MMCO está completo. De esta manera, el comando de
control de memoria MMCO se codifica como un flujo codificado Str.
La Fig. 28 es un diagrama de bloques que muestra un aparato de descodificación de imagen para realizar un procedimiento convencional de descodificación de imagen. Se colocan los mismos números para los dispositivos que funcionan del mismo modo que el aparato de codificación de imagen destinado a realizar el procedimiento convencional de codificación de imagen mostrado en la Fig. 26.
Una unidad de descodificación de longitud variable VLD descodifica un flujo codificado Str y envía en salida un comando de control de memoria MMCO, un vector de movimiento MV y valores cuantificados Coef. Desde el exterior se introduce un tiempo de imagen Tiempo, que es una señal para especificar una imagen que se ha de visualizar. Cuando una imagen que ha de visualizarse es una imagen descodificada, se selecciona una salida procedente de la unidad de adición Add en un selector Sel y se emite a una unidad de visualización Disp. Cuando una imagen que ha de visualizarse es una imagen almacenada en la memoria de imágenes PicMem1, esta es extraída por lectura de la memoria de imágenes PicMem1, seleccionada en el selector Sel y enviada en salida a una unidad de visualización Disp.
Como se ha descrito anteriormente, la memoria de imágenes PicMem1 envía en salida, a la unidad de compensación de movimiento MC, píxeles según el vector de movimiento MV, mientras que la unidad de compensación de movimiento MC genera una imagen predictiva de acuerdo con los píxeles obtenidos a partir de la memoria de imágenes PicMem1 junto con el vector de movimiento MV.
La unidad de cuantificación inversa IQ cuantifica inversamente los valores cuantificados Coef y los restablece como coeficientes de frecuencia. Asimismo, la unidad de transformación ortogonal inversa IT realiza una conversión inversa de frecuencia para el envío de los coeficientes de frecuencia como valores diferenciales de píxeles. La unidad de adición Add añade la imagen predictiva a los valores diferenciales de píxeles para generar una imagen descodificada.
La memoria de imágenes PicMem1 libera el área en la que está almacenada la imagen descodificada, de modo que pueda almacenarse otra imagen descodificada.
Aunque se ha descrito anteriormente el ejemplo de la descodificación que incluye la conversión inversa de frecuencia y la cuantificación inversa, la descodificación puede ser una sin éstas, tal como MICD, MICDA y codificación por predicción lineal. La descodificación puede ser una en la que estén integradas la conversión inversa de frecuencia y la cuantificación inversa o una que no venga acompañada de cuantificación inversa tras la conversión de frecuencia, como en una codificación de planos de bits.
Con el uso del aparato de descodificación de imagen destinado a realizar el procedimiento convencional de descodificación de imagen mostrado en la Fig. 28, resulta evidente que la combinación de los tipos convencionales de codificación de imagen mostrados en las Figs. 24 y 25 permite una descodificación correcta del flujo codificado Str, codificado por el aparato de codificación de imagen destinado a realizar el procedimiento convencional de codificación de imagen mostrado en la Fig. 26.
La combinación más flexible se considera en este documento un tipo de codificación de imagen.
La Fig. 1 es un diagrama que muestra una estructura de predicción, un orden de descodificación y un orden de visualización de las imágenes que no existen en la técnica relacionada. La estructura de predicción con respecto a la imagen B difiere en la proximidad de la Imagen 4 en la Fig. 1. A saber, la Imagen 2, que es una imagen B, se almacena en la memoria de imágenes para ser objeto de referencia como imagen predictiva de la Imagen 1 y la Imagen 3. Por lo tanto, el orden de codificación y el orden de visualización de cada imagen son como se muestra en la Fig. 1.
Las Imágenes B5 y B6 son imágenes B que no se almacenan, puesto que no son objeto de referencia en una codificación predictiva. Sin embargo, a diferencia de la Fig. 24, aún no ha llegado el momento de visualización de las imágenes B5 y B6 en el momento en que se descodifican, puesto que es el momento de la visualización para otra imagen. Es decir, en el momento de descodificación de la imagen B5, deberá visualizarse la imagen P4 y en el momento de descodificación de la imagen B6, deberá visualizarse la imagen B5. Puesto que las imágenes B5 y B6 no están almacenadas, no pueden extraerse de la memoria de imágenes en el momento de visualización. Por consiguiente, las imágenes que no son objeto de referencia para codificación predictiva no se almacenan en la memoria de imágenes, por lo que las imágenes B5 y B6 no se pueden visualizar después de ser descodificadas con el uso del procedimiento convencional de codificación /descodificación. A saber, en caso de no almacenar las imágenes que no son objeto de referencia en codificación predictiva como en el ejemplo mostrado en la Fig. 24, sólo se pueden visualizar las Imágenes 1, 2, 4 y 7.
De este modo, considerando la combinación más flexible como un tipo de codificación de imagen, es un problema que ocurra que no se puedan visualizar las imágenes después de ser descodificadas. Es concebible añadir otra memoria de imágenes para visualizar y almacenar en esta memoria de imágenes para visualización las imágenes que no se almacenan en la memoria de imágenes PicMem1, de modo que puedan visualizarse; sin embargo, el punto débil es que esta memoria de imágenes requiere una memoria enorme en este caso.
Asimismo, surge un nuevo problema en la reproducción de una imagen en mitad del flujo incluso si se introduce otra memoria de imágenes para visualización. La Fig. 2 es un diagrama que muestra una estructura de predicción, un orden de descodificación y un orden de visualización de imágenes. La diferencia al compararla con la Fig. 25 es que la estructura de predicción cercana a la Imagen 7 se vuelve completamente independiente. Las imágenes que siguen a una imagen 17 no son objeto de referencia cuando se codifican/descodifican las imágenes con un momento de visualización que precede a la imagen 17. Por consiguiente, las imágenes que siguen a la imagen 17 se pueden codificar correctamente si la descodificación se inicia desde la imagen 17, y la imagen 17 se puede reproducir independientemente. De esta manera, a menudo tiene lugar la inserción de la imagen I durante el flujo continuo. Este sistema para reproducir una imagen en mitad del flujo, que cumple con MPEG-2, se denomina GOP (Grupo de imágenes).
La correspondencia de una imagen reproducida del aparato de descodificación de imagen y la del aparato de codificación de imagen en el caso de reproducir la imagen en mitad del flujo ha de asegurarse, y el método sencillo es inicializar el área total de la memoria de imágenes. Sin embargo, cuando se descodifica la Imagen 7 aún no se ha visualizado y almacenado en la memoria de imágenes la Imagen 6, por consiguiente la Imagen 6 no se puede visualizar a partir de la memoria de imágenes en el momento de su visualización si se inicializa toda la memoria de imágenes antes de que tenga lugar la visualización de la Imagen 6.
En el documento US5909224 se define una memoria intermedia de 4 cuadros. Los cuadros obsoletos se eliminan tras haberlos definido como ya innecesaria (para la visualización o para referencia). No define el juicio previo acerca de si un cuadro que no es de referencia es necesario para la visualización.
En el documento EP0729276 se define una memoria intermedia de descodificador para un flujo de bits H.262. La memoria intermedia está dividida en varias capas correspondientes a la memoria intermedia de imagen de referencia, memoria intermedia de imagen de visualización y memoria intermedia de datos codificados temporales. Para los respectivos tamaños de imagen de entrada, se define un respectivo patrón de capacidad de memoria intermedia de visualización. Además, los cuadros se dividen en subsegmentos para que encajen en las limitadas memorias intermedias con capacidad de 16 Mbits.
Los documentos XP030005105 y XP030005106, estándares ITU-H.264, definen una actualización instantánea de descodificación (IDR) y memorias intermedias de imagen de referencia de largo/corto plazo. Las imágenes P y B también pueden usar esta memoria intermedia. El tamaño de imagen puede no cambiar excepto cuando MMCO = reinicio. Sin embargo, El documento XP030005106 no hace referencia al «tiempo de visualización». XP030005105 hace referencia a la memoria intermedia predescodificador y las marcas de tiempo de presentación para la transmisión.
El objeto de la presente invención es por tanto permitir la visualización de las imágenes que no se pueden visualizar después de ser descodificadas teniendo en cuenta la cantidad de memoria necesaria para la codificación/descodificación de la imagen.
Exposición de la invención La invención se define en la reivindicación adjunta.
Breve descripción de los dibujos
La Fig. 1 es un diagrama que muestra una estructura de predicción, un orden de descodificación y un orden de visualización de imágenes.
La Fig. 2 es un diagrama que muestra una estructura de predicción, un orden de descodificación y un orden de visualización de las imágenes.
La Fig. 3 es un diagrama de bloques que muestra un aparato de codificación de imagen para realizar un procedimiento de codificación de imagen descrito en una primera forma de realización.
La Fig. 4 es un diagrama de flujo que muestra una operación de una unidad de control de imágenes de referencia descrita en la primera forma de realización.
Las Figs. 5A, 5B y 5C son diagramas de estado que muestran un estado de almacenamiento de las imágenes en la memoria.
La Fig. 6 es un diagrama de flujo que muestra una operación del aparato de codificación de imagen descrito en una segunda forma de realización.
La Fig. 7 es un diagrama de flujo que muestra una operación del aparato de codificación de imagen descrito en una tercera forma de realización.
La Fig. 8 es un diagrama de flujo que muestra una operación del aparato de codificación de imagen descrito en una cuarta forma de realización.
La Fig. 9 es un diagrama de bloques que muestra un aparato de descodificación de imagen destinado a realizar un procedimiento de descodificación de imagen de la presente invención descrito en una quinta forma de realización.
La Fig. 10 es un diagrama de flujo que muestra una operación del aparato de descodificación de imagen de la presente invención descrito en la quinta forma de realización.
La Fig. 11 es un diagrama de flujo que muestra otra operación del aparato de descodificación de imagen de la presente invención descrito en la quinta forma de realización.
La Fig. 12 es un diagrama de flujo que muestra otra operación más del aparato de descodificación de imagen de la presente invención descrito en la quinta forma de realización.
La Fig. 13 es un diagrama de flujo que muestra otra operación del aparato de descodificación de imagen de la presente invención descrito en la quinta forma de realización.
La Fig. 14 es un diagrama de bloques que muestra una utilización de una memoria intermedia virtual de retardo de visualización de un aparato de codificación de imagen.
La Fig. 15 es un diagrama de bloques que muestra un procesamiento de una operación de la memoria intermedia postdescodificador para la codificación según la presente invención.
La Fig. 16 es un diagrama de bloques que muestra un procesamiento de una operación de la memoria intermedia postdescodificador para la descodificación según la presente invención.
La Fig. 17 es un ejemplo de uso de la memoria intermedia virtual de retardo de visualización del aparato de codificación de imagen para limitar el número máximo de imágenes de referencia.
La Fig. 18 es un ejemplo de uso de la memoria intermedia virtual de retardo de visualización para decidir el momento de visualizar una primera imagen.
La Fig. 19 es una ilustración de un soporte de almacenamiento destinado a almacenar un programa para realizar el procedimiento de codificación de imagen y el procedimiento de descodificación de imagen de cada forma de realización en un sistema informático, descrito en una séptima forma de realización.
La Fig. 20 es un diagrama de bloques que muestra una estructura global de un sistema de suministro de contenidos descrito en una octava forma de realización.
La Fig. 21 es una vista en croquis que muestra un ejemplo de un teléfono móvil que usa el procedimiento de codificación/descodificación de imagen de la presente invención descrito en la octava forma de realización.
La Fig. 22 es un diagrama de bloques del teléfono móvil.
La Fig. 23 es un diagrama de bloques que muestra un ejemplo de sistema de radiodifusión digital descrito en la octava forma de realización.
La Fig. 24 es un diagrama que muestra una estructura de predicción, un orden de descodificación y un orden de visualización de las imágenes.
La Fig. 25 es un diagrama que muestra una estructura de predicción, un orden de descodificación y un orden de visualización de las imágenes.
La Fig. 26 es un diagrama de bloques del aparato de descodificación de imagen para realizar el procedimiento convencional de codificación de imagen.
La Fig. 27 es un diagrama de tabla de correspondencias que muestra ejemplos de códigos para un comando de control de memoria MMCO.
La Fig. 28 es un diagrama de bloques del aparato de descodificación de imagen destinado a realizar el procedimiento convencional de descodificación de imagen.
Mejor modo de llevar a cabo la invención
Lo siguiente describe una primera forma de realización que resulta útil para comprender la presente invención.
(Primera forma de realización) (no cubierta por la reivindicación)
La Fig. 3 es un diagrama de bloques que muestra un aparato de codificación de imagen destinado a realizar un procedimiento de codificación de imagen. Se colocan los mismos números de referencia para los dispositivos que funcionan del mismo modo que se ha descrito en el bloque que muestra un aparato de codificación de imagen destinado a realizar un procedimiento convencional de codificación mostrado en la Fig. 26 y, en consecuencia, se ha abreviado la explicación.
Las diferencias entre el diagrama de bloques de la Fig. 26, que muestra el aparato de codificación de imagen destinado a realizar el procedimiento convencional de codificación de imagen, y el diagrama de bloques de la Fig. 3, que muestra el aparato de codificación de imagen destinado a realizar el procedimiento de codificación de imagen son que en la Fig. 3 viene añadida una unidad de control de imagen para visualización DisPicCtrl y que las instrucciones enviadas desde la unidad de control de imagen para visualización DisPicCtrl se envían en salida a una unidad de control de imágenes de referencia RefPicCtrl y una memoria de imágenes PicMem2.
En el aparato de codificación de imagen 100 mostrado en la Fig. 3, se ajusta nuevamente una unidad de modificación del tamaño de imagen PicSize destinada a obtener un tamaño de imagen modificado mediante operaciones externas, así como un tipo de codificación de cada imagen (imagen I, imagen P e imagen B) de la unidad de determinación de estructura de imagen PicStruct, y enviar en salida información que indica el tamaño de imagen que ha de modificarse a una unidad de control de imágenes de referencia RefPicCtrl.
El funcionamiento de la memoria de imágenes PicMem2 es casi el mismo que el de la memoria de imágenes PicMem1, por lo que sólo se explicarán funcionamientos diferentes.
La unidad de control de imagen para visualización DispPicCtrl obtiene un tiempo de imagen Tiempo y juzga si una imagen, que no está almacenada ya que no es para referencia, se puede visualizar inmediatamente o no (si es necesario almacenar la imagen en la memoria de imágenes hasta su momento de visualización). El tiempo de imagen Tiempo, una señal destinada a especificar una imagen que ha de visualizarse, se introduce desde el exterior. El tiempo de imagen se puede obtener de las siguientes maneras: a partir de la información acerca del tiempo enviada en salida desde el sistema para transmitir imágenes a través de una línea de transmisión tal como un paquete, a partir de la información acerca del tiempo en curso de ajuste a formato de un flujo de vídeo y un flujo de audio para multiplexarlos; o a partir de la información acerca del tiempo en curso de de ajuste a formato de un flujo de vídeo. El tiempo de imagen puede ser bien un tiempo absoluto que informe del tiempo para cada imagen o un tiempo relativo que informe del orden de las imágenes. Además, los intervalos de visualización de imágenes normalmente están fijados, por consiguiente, el orden de visualización de imágenes se puede considerar el tiempo de visualización.
Ahora, el caso en el que la imagen es inmediatamente visualizable es un caso en el que la imagen obtenida tras el cálculo en el adicionador Add se corresponde con la imagen que ha de visualizarse indicada por el tiempo de imagen Tiempo. En este caso, una imagen que ha de visualizarse antes de la imagen que aún no se ha visualizado y enviado en salida para codificación no se encuentra en la memoria de imágenes PicMem2. Cuando la imagen no es inmediatamente visualizable, la unidad de control de imagen para visualización DispPicCtrl ordena a la unidad de control de imágenes de referencia RefPicCtrl que almacene la imagen, aunque esta no sea para referencia, en la memoria de imágenes PicMem2. Por lo tanto, la imagen que no se visualiza inmediatamente se almacena en la memoria de imágenes PicMem2 sin fallo, independientemente de que esta sea o no para referencia, y se puede extraer para visualización de la memoria de imágenes PicMem2 en el aparato de descodificación.
La Fig. 4 es un diagrama de flujo que muestra una operación de la unidad de control de imágenes de referencia RefPicCtrl.
La unidad de control de imágenes de referencia RefPicCtrl juzga si una imagen descodificada (imagen) ha de almacenarse o no para referencia para una imagen predictiva (Etapa 10). Cuando la imagen descodificada ha de usarse para referencia, la operación avanza hasta la Etapa 12, o de lo contrario hasta la Etapa 11.
En la Etapa 11, la unidad de control de imágenes de referencia RefPicCtrl juzga si la imagen descodificada es o no inmediatamente visualizable. En este documento, “inmediatamente visualizable” significa que la imagen descodificada se puede visualizar en el momento de ser descodificada (véase por ejemplo la Imagen 1 en la Fig. 1). La imagen descodificada que no es inmediatamente visualizable significa que necesita visualizarse más tarde (por ejemplo, B5 mostrado en la Fig. 1). Cuando la imagen es inmediatamente visualizable, la operación finaliza, o de lo contrario, pasa a la Etapa 12.
En la Etapa 12, la unidad de control de imágenes de referencia RefPicCtrl obtiene un área capaz de almacenar una imagen en la memoria de imágenes PicMem2 y ordena almacenar la imagen descodificada en el área obtenida en la memoria de imágenes PicMem2 usando un comando de control de memoria MMCO en la Etapa 13.
De esta manera, la imagen que no se visualiza inmediatamente se almacena en la memoria de imágenes PicMem2 y puede ser enviada en salida para visualización a partir de la memoria de imágenes PicMem2 cuando haya llegado el momento de su visualización. Esta no requiere la asignación de una memoria de imágenes innecesaria para una imagen destinada a visualización, y una imagen que necesita almacenarse para visualización se puede almacenar en la memoria de imágenes asignada para una imagen para referencia. La memoria de imágenes PicMem2 incluye un área para referencia en la que se almacena una imagen de referencia para generar una imagen predictiva, y un área para visualización en la que se almacena una imagen para visualización.
Mientras tanto, un tamaño de imagen se puede modificar para cada GOP (Grupo de imágenes) antes mencionado. La modificación del tamaño de imagen sólo tiene lugar cuando se libera (hace reutilizable el estado de la memoria) un área total para referencia en la memoria que almacena una imagen de referencia innecesaria.
Sin embargo, cuando la modificación del tamaño de imagen tiene lugar como se ha descrito anteriormente, la imagen para visualización que aún no se ha visualizado se almacena en el área de memoria, y es necesario determinar explícitamente una estrategia de afrontamiento del modo de tratar esta imagen para visualización pero aún no visualizada (si borrarla o almacenarla hasta que se visualice).
En este punto, se explica por etapas un estado de almacenamiento de imágenes en la memoria cuando tiene lugar el cambio del tamaño de imagen.
Las Figs. 5A, 5B y 5C son diagramas de estado que muestran por etapas el estado de almacenamiento de las imágenes en la memoria.
En 5A, las imágenes 200a, 200b y 200c son las imágenes para referencia (las imágenes para su uso para referencia a fin de generar una imagen predictiva), mientras que las imágenes 201a, 201b, 201c, 201d y 201e son las imágenes para visualización (imágenes para su visualización y aún no visualizadas).
Las imágenes 201a, 201b, 201c, 201d y 201e se visualizarán en orden numérico como se muestra en la Fig. 5A.
La Fig. 5A ilustra el estado en el que se liberan las áreas totales de memoria asignadas para las imágenes de referencia 200a, 200b y 200c para la posibilidad de reutilización.
La Fig. 5B muestra que el tamaño de imagen se modifica siguiendo el estado mostrado en la Fig. 5A. Una imagen de referencia 202a que se modifica a un tamaño más grande se almacena en el área de memoria en la que se ha almacenado la imagen de referencia 200a. Asimismo, la imagen para visualización 201a es enviada en salida para visualización y su área de memoria se libera.
La Fig. 5C muestra un estado en el que se libera el área de memoria que almacena la imagen para visualización 201b después del estado mostrado en la Fig. 5B. Una imagen de referencia 202b que se modifica en un tamaño más grande se almacena en el área de memoria en la que se han almacenado las imágenes para visualización 201a y 201b y se deja una pequeña área de memoria 203. Aunque se libere el área de memoria que almacena la imagen para visualización 201c, la imagen de referencia (cuyo tamaño de imagen está ampliado) no puede almacenarse nuevamente.
De este modo, cuando se modifica el tamaño de imagen, las imágenes de diferentes tamaños de imagen se mezclan en la memoria (las imágenes de referencia cuyos tamaños de imagen están ampliados y las imágenes para visualización que aún no se han visualizado y cuyos tamaños aún no están modificados).
Por consiguiente, la memoria se usa de forma fragmentaria, lo que produce una pequeña área de memoria que no puede usarse, deteriorando en consecuencia la capacidad de uso. Cuando los datos en la memoria se reposicionan de modo que desaparece el área pequeña de memoria provocada por la modificación del tamaño de imagen, aumenta en gran medida el acceso a la memoria y, con ello, es difícil realizar en tiempo real operaciones de codificación y descodificación.
Cuando se modifica el tamaño de imagen, son concebibles dos procedimientos. El primer procedimiento es liberar el área para visualización en la que están almacenadas las imágenes para visualización que aún no se han visualizado y el área para referencia en la que están almacenadas las imágenes de referencia (como un estado reutilizable) y abandonar la visualización de las imágenes para visualización que aún no se han visualizado. Esto puede prevenir el uso fragmentario de la memoria provocado por la mezcla de las imágenes de diferentes tamaños y, con ello, se puede reducir el deterioro de la capacidad de uso de la memoria.
La modificación del tamaño de imagen descrita anteriormente tiene lugar como se describe en lo sucesivo. La unidad de modificación del tamaño de imagen PicSize mostrada en la Fig. 3 recibe el tipo de codificación (imagen I, imagen P e imagen B) de cada imagen determinado por la unidad de determinación de estructura de imagen PicStruct y el tamaño de imagen para la modificación introducido desde el exterior y envía en salida a la unidad de control de imágenes de referencia RefPicCtrl una instrucción para modificar el tamaño de imagen con el momento fijado para iniciar la codificación de la imagen I. La imagen I es una imagen I especial (imagen IDR (regeneración instantánea de descodificación)) que ha de insertarse, por ejemplo, al comienzo del GOP.
El segundo procedimiento es cambiar un procedimiento para liberar el área total de la memoria y desechar las imágenes para visualización que aún no se han visualizado y un procedimiento para liberar sólo el área para referencia en la que están almacenadas las imágenes de referencia y visualizar las imágenes para visualización que aún no se han visualizado antes de que tenga lugar la modificación del tamaño con un juicio realizado por un aparato de descodificación de imagen (descodificador) para descodificar una señal codificada (flujo) que es objeto de referencia más adelante, de modo que no sea obligatoria la visualización de las imágenes para visualización que aún no se han visualizado. En este caso, el aparato de descodificación de imagen visualiza las imágenes visualizables, por ejemplo, las imágenes no dañadas según el orden de visualización.
Para operar tal cambio, información de instrucciones (bandera) que indica uno de los siguientes procedimientos: el procedimiento para liberar el área total de la memoria; y el procedimiento para liberar solamente el área para referencia en la que está almacenada la imagen de referencia, u otra información identificable, está contenida en el flujo Str enviado en salida desde el aparato de codificación de imagen 100.
Del lado del aparato de descodificación de imagen, el procesamiento funciona sobre la base de la información de instrucciones colocada en el flujo.
Los siguientes ejemplos son concebibles para los criterios de juicio a fin de cambiar los dos procedimientos indicados por la información de instrucciones: un creador de contenidos puede decidir el procedimiento según una aplicación; sólo se libera el área para referencia pero no el área para visualización que almacena una imagen para visualización que aún no se ha visualizado (sin liberar el área total de la memoria) cuando la memoria puede permitirse proporcionar el espacio.
Con la estructura anterior, se puede realizar el aparato de codificación de imagen de modo que resuelva los problemas existentes.
(Segunda forma de realización) (no cubierta por la reivindicación) Lo siguiente describe una segunda forma de realización que resulta útil para comprender la presente invención.
En la presente forma de realización, la unidad de control de imagen para visualización DispPicCtrl mostrada en la Fig. 3 ordena a la memoria de imágenes PicMem2 que no almacene nuevamente una imagen en el área que almacena la imagen que aún no se ha visualizado, cuando una imagen está almacenada en el área de memoria liberada. Normalmente, incluso si se libera un área para imagen, se puede reproducir una imagen almacenada justo antes siempre que no se almacene nuevamente (sobrescriba) una imagen en el área. Incluso si se libera un área de memoria en la que se libera la imagen que aún no se ha visualizado, la imagen que aún no se ha visualizado y se libera en el momento de la visualización pero se deja sin ser sobrescrita se puede visualizar almacenando una imagen nuevamente no en el área de memoria, sino en el área en la que está almacenada la imagen que ya se ha visualizado. La imagen en el área de
imagen liberada de la memoria de imágenes se denomina imagen para visualización. “Ya visualizada” en este documento es prácticamente sinónimo de “ya enviada en salida a un dispositivo de visualización”.
La Fig. 6 es un diagrama de flujo que muestra una operación del aparato de codificación de imagen 100 de la presente forma de realización. La presente forma de realización se caracteriza por determinar el almacenamiento de la imagen juzgando si ya se ha visualizado o no la imagen almacenada en el área liberada de la memoria.
En primer lugar, en la Etapa 20, el aparato de codificación de imagen 100 juzga si ha de almacenarse o no en la memoria de imágenes PicMem2 la imagen descodificada basándose en las instrucciones indicadas en el comando de control de memoria MMCO.
En caso del almacenar la imagen descodificada en la memoria de imágenes, se obtiene (Etapa 21) el área de imagen liberada y se verifica (Etapa 22) si ya se ha visualizado o no una imagen almacenada en el área de imagen liberada. Cuando esta aún no se ha visualizado, la operación retrocede hasta la Etapa 21 y el procesamiento continúa hasta que se halle el área liberada en la que se ha almacenado la imagen ya visualizada.
Cuando se halla dicha área liberada, la imagen descodificada se almacena en el área (Etapa 23).
De este modo, cuando se visualiza la imagen que ha de visualizarse, la imagen que aún no se ha visualizado se almacena en la memoria sin ser sobrescrita hasta el momento de su visualización, puesto que se reutiliza el área que almacena la imagen visualizada.
El juicio de si una imagen almacenada en la memoria ya se ha visualizado o no puede realizarlo la unidad de control de imagen para visualización DispPicCtrl que gestiona información acerca de si se ha visualizado o no la imagen.
El juicio de si un área de imagen es o no un área liberada se puede realizar mediante referencia a la información acerca de si está liberada o no cada área de imagen, por ejemplo, “usada (utilizable como imagen de referencia)” o “no usada (que ya no se usa como imagen de referencia)”, almacenada en la memoria de imágenes PicMem2 de acuerdo con el
comando de control de memoria MMCO.
Con la estructura anterior, se puede realizar el aparato de codificación de imagen de manera que supere los problemas existentes.
De este modo, se puede impedir la sobrescritura nueva de una imagen en la imagen que aún no se ha visualizado de modo que la última imagen se pueda enviar en salida para visualización desde el área que ya está liberada pero no sobrescrita en el momento de la visualización. La imagen que necesita almacenarse para visualización se puede almacenar sin requerir una memoria innecesaria.
Como la operación en el caso que requiere la modificación del tamaño de imagen es igual que en la primera forma de realización, se abrevia la explicación.
(Tercera forma de realización) (no cubierta por la reivindicación)
Lo siguiente describe una tercera forma de realización que resulta útil para comprender la presente invención.
La Fig. 7 es un diagrama de flujo de una operación del aparato de codificación de imagen 100 de la tercera forma de realización. La presente forma de realización se caracteriza por determinar el almacenamiento de la imagen de acuerdo con el momento en el que se libera la memoria.
En primer lugar, en la Etapa 30, el aparato de codificación de imagen 100 juzga si ha de almacenarse o no la imagen descodificada en la memoria de imágenes PicMem2 basándose en la instrucción indicada en el comando de control de memoria MMCO.
En caso de almacenar la imagen descodificada en la memoria de imágenes, se obtiene (Etapa 31) el área liberada de memoria de imágenes cuyo momento de visualización es el más adelantado dentro del área liberada y la imagen descodificada se almacena en el área obtenida (Etapa 32).
El área de memoria en la que se descodifica y almacena la imagen en el momento más adelantado, en lugar del área de memoria liberada en el momento de visualización más adelantado, se puede atribuir como área para almacenar la imagen. Para ello, existe una alta posibilidad de que ya se hayan visualizado las imágenes almacenadas en estas áreas de memoria.
Estos momentos más adelantados no están basados necesariamente en el tiempo y pueden ser el momento más adelantado de acuerdo con un orden, por ejemplo, este puede ser el momento más adelantado de acuerdo con un orden de visualización. Por ejemplo, es sumamente posible que una imagen cuyo orden de visualización es el más adelantado ya se haya visualizado y un área de memoria que almacene tal imagen se puede reutilizar a su vez como área de almacenamiento en la memoria, independientemente de que esta ya se haya visualizado o no. Normalmente, los intervalos de visualización de imágenes son regulares, por consiguiente, el orden de visualización de imágenes se puede considerar como el tiempo de visualización.
De este modo, se puede impedir la sobrescritura nueva de una imagen sobre la imagen que aún no se ha visualizado de modo que la última imagen se pueda enviar en salida para visualización desde el área que ya está liberada pero no sobrescrita en el momento de la visualización. La imagen que necesita almacenarse para visualización se puede almacenar sin requerir una memoria innecesaria. El procesamiento de almacenamiento de la imagen que necesita almacenarse para visualización se puede llevar a cabo independientemente de que ya se haya visualizado o no la imagen almacenada en la memoria de imágenes PicMem2. Cuando el momento más adelantado indica el momento más adelantado en tiempo de visualización, se puede juzgar si la imagen está o no almacenada en el momento más adelantado mediante la unidad de control de imagen para visualización DispPicCtrl que gestiona la información acerca de si se ha visualizado o no la imagen.
Puesto que una operación en un caso en el que se requiere una modificación de un tamaño de imagen es igual a la descrita en la primera forma de realización, se abrevia la explicación.
(Cuarta forma de realización) (no cubierta por la reivindicación)
Lo siguiente ilustra una cuarta forma de realización que resulta útil para comprender la presente invención.
La Fig. 8 es un diagrama de flujo que muestra una operación del aparato de codificación de imagen 100 según la cuarta forma de realización. La presente forma de realización se caracteriza por determinar un almacenamiento de la imagen de acuerdo con un orden de liberación de la memoria.
En primer lugar, en la Etapa 40, el aparato de codificación de imagen 100 juzga si ha de almacenarse o no en la memoria de imágenes PicMem2 la imagen descodificada basándose en la instrucción indicada en el comando de control de memoria MMCO.
En caso de almacenar la imagen descodificada en la memoria de imágenes, se obtiene (Etapa 41) el área de memoria de imágenes liberada en el momento más adelantado dentro del área liberada y la imagen descodificada se almacena en el área obtenida (Etapa 42).
Puesto que se trata de un sistema que gestiona la información acerca del tiempo de visualización, resulta difícil obtener el momento de visualización en función de un procedimiento para fabricar un aparato de descodificación de vídeo. Es sumamente posible que la imagen con el momento de visualización más adelantado se almacene en el área liberada en primer lugar que el área liberada en el momento posterior. A saber, hay una alta posibilidad de que la imagen liberada en primer lugar ya se haya visualizado. Por consiguiente, existe una elevada posibilidad de que la imagen que aún no se ha visualizado no sea sobrescrita cuando la imagen descodificada se almacena en el área de imagen liberada en primer lugar.
El juicio de si el área de imagen es o no un área liberada se puede realizar mediante referencia a la información acerca
de si está liberada o no cada área de imagen, por ejemplo, “usada (utilizable como imagen de referencia)” o “no usada (que ya no se usa como imagen de referencia)”, que se almacena en la memoria de imágenes PicMem2 de acuerdo con
el comando de control de memoria MMCO. O bien, la utilización del área de imagen se puede fijar con antelación a un procedimiento predeterminado a fin de juzgar si el área de imagen es la que se ha liberado en primer lugar según el procedimiento. Por ejemplo, esto se puede juzgar mediante la memoria de imágenes PicMem2 funcionando como una memoria que usa un procedimiento de tipo primero en entrar, primero en salir (FIFO) mediante el que los contenidos de registro cuyo tiempo registra que la imagen ha de almacenarse nuevamente se desechan a su vez en secuencia y las últimas imágenes de un número fijado de cuadros (o número de imágenes) siempre se almacenan. De este modo, se puede impedir la sobrescritura nueva de una imagen en una imagen que aún no se ha visualizado de modo que la última imagen se pueda enviar en salida para visualización desde el área que ya está liberada pero no sobrescrita en el momento de la visualización.
Puesto que una operación en el caso en el que se requiere la modificación del tamaño de imagen es igual a la descrita en la primera forma de realización, se abrevia la explicación.
(Quinta forma de realización)
Lo siguiente ilustra una quinta forma de realización de la presente invención.
La Fig. 9 es un diagrama de bloques de un aparato de descodificación de imagen destinado a realizar el procedimiento de descodificación de imagen de la presente invención. Se colocan los mismos números de referencia para los dispositivos que funcionan del mismo modo que un aparato de codificación de imagen destinado a realizar el procedimiento de codificación de imagen según la presente invención mostrado en el diagrama de bloques de la Fig. 3 y un aparato de descodificación de imagen destinado a realizar el procedimiento convencional de descodificación de imagen mostrado en el diagrama de bloques de la Fig. 28 y, con ello, se abrevia la explicación.
La diferencia entre el aparato de descodificación de imagen 150 mostrado en la Fig. 9 y el ejemplo de aparato convencional mostrado en la Fig. 28 es que se establece nuevamente una unidad de detección de modificación del tamaño de imagen PicSizeDet y una unidad de control de imagen para visualización DispPicCtrl. La unidad de detección de modificación del tamaño de imagen PicSizeDet envía en salida un comando para modificar el tamaño de imagen en el momento fijado de inicio de la codificación de una imagen I especial (imagen IDR) basándose en el tamaño de imagen para la modificación obtenido desde el exterior y el comando de control de memoria MMCO obtenido desde la unidad de descodificación de longitud variable VLD.
La unidad de control de imagen para visualización DispPicCtrl ordena a la memoria de imágenes PicMem2 que no almacene nuevamente una imagen en el área para la imagen que aún no se ha visualizado al almacenar la nueva imagen en el área liberada. Normalmente, aunque se libere un área para una imagen, se dejan en la memoria datos de una imagen que se almacena justo antes y se pueden reproducir siempre que no se almacene nuevamente (sobrescriba) una imagen en el área. La imagen que se libera en el momento de la visualización pero se deja sin ser sobrescrita se puede visualizar almacenando una imagen nuevamente en el área en la que está almacenada la imagen que ya se ha visualizado, incluso si se libera el área de memoria en la que se libera la imagen que aún no se
ha visualizado. En este documento, “ya visualizada” es prácticamente sinónimo de “ya enviada en salida a un dispositivo de visualización”.
De este modo, cuando se visualiza la imagen que ha de visualizarse, la imagen que aún no se ha visualizado se almacena en la memoria sin ser sobrescrita hasta el momento de su visualización, puesto que se reutiliza el área que almacena la imagen visualizada.
Con la estructura anterior, se puede realizar el aparato de descodificación de imagen de la presente invención para poder superar los problemas existentes. El aparato de descodificación de imagen 150 puede descodificar una señal codificada que está codificada por el aparato de codificación de imagen 100 mostrado en la tercera y cuarta formas de realización. En este caso, la operación para el uso de la memoria de imágenes es igual que la descrita para el aparato de codificación de imagen mostrado en la tercera y cuarta formas de realización. A saber, con fines de posibilidad de reutilización del área de imagen que queda liberada (que ya no se usa para referencia) en la memoria de imágenes, se puede emplear cualquier procedimiento de decisión del área para la imagen que ha de almacenarse nuevamente descrito en la primera hasta la tercera forma de realización.
Lo siguiente describe procedimientos de almacenamiento de la imagen en la memoria al descodificar la señal codificada, codificada por el aparato de codificación de imagen mostrado en la tercera y cuarta formas de realización.
En primer lugar, se explica el procedimiento de almacenamiento de la imagen en la memoria en el momento de descodificar la señal codificada, codificada por el aparato de codificación de imagen mostrado en la tercera forma de realización.
El aparato de descodificación de imagen 150 juzga si la imagen descodificada enviada en salida desde la unidad de adición Add en el aparato de descodificación de imagen 150 debe almacenarse o no en la memoria de imágenes PicMem2 basándose en la instrucción indicada en el comando de control de memoria MMCO.
Al almacenar la imagen descodificada en la memoria de imágenes, se obtiene el área de memoria de imágenes liberada en primer lugar y la imagen descodificada se almacena en el área obtenida.
En esta invención, se puede atribuir como área para almacenar la imagen el área de memoria en la que se descodifica y almacena la imagen en el momento más adelantado o el área de memoria en la que se almacena la imagen con el momento de visualización más adelantado en lugar del área de memoria que se libera en el momento más adelantado. Para ello, existe una alta posibilidad de que ya se hayan visualizado las imágenes almacenadas en estas áreas de memoria.
Puesto que se trata de un sistema que gestiona la información acerca del tiempo de visualización, resulta difícil obtener el momento de visualización en función de un procedimiento para fabricar un aparato de descodificación de imagen. Es sumamente posible que la imagen con el momento de visualización más adelantado se almacene en el área en la que la imagen se almacena en el momento más adelantado que aquella en la que la imagen se almacena en el momento posterior. Hay una alta posibilidad de que la imagen almacenada en el momento más adelantado ya se haya visualizado, puesto que es natural que ya se haya visualizado la imagen con un momento de visualización adelantado. Por consiguiente, existe una alta posibilidad de que no se sobrescriba la imagen que aún no se ha visualizado cuando la imagen descodificada se almacene en el área en la que se ha almacenado la imagen almacenada en el momento más adelantado. Cuando el momento más adelantado se corresponde con el momento más adelantado cuando se codifica la imagen, el hecho de que la imagen se codifique en el momento más adelantado, por ejemplo, se puede juzgar mediante la estructura de predicción y el orden de descodificación de la imagen.
Estos momentos más adelantados no están basados necesariamente en el tiempo y pueden ser el momento más adelantado de acuerdo con un orden, por ejemplo, este puede ser el momento más adelantado de acuerdo con un orden de visualización. Por ejemplo, es sumamente posible que una imagen cuyo orden de visualización es el más adelantado ya se haya visualizado y un área de memoria que almacene tal imagen se puede reutilizar a su vez como área de almacenamiento en la memoria, independientemente de que esta ya se haya visualizado o no. Normalmente, los intervalos de visualización de imágenes son regulares, por consiguiente, el orden de visualización de imágenes se puede considerar como el tiempo de visualización.
De este modo, se puede impedir la sobrescritura nueva de una imagen sobre la imagen que aún no se ha visualizado de modo que la última imagen se pueda enviar en salida para visualización desde el área que ya está liberada pero no sobrescrita en el momento de la visualización. Igualmente, la imagen que necesita almacenarse para visualización se puede almacenar sin requerir una memoria innecesaria.
El procesamiento de almacenamiento de la imagen que necesita almacenarse para visualización se puede llevar a cabo independientemente de que ya se haya visualizado o no la imagen almacenada en la memoria de imágenes PicMem2. Cuando el momento más adelantado indica el momento más adelantado en tiempo de visualización, se puede juzgar si la imagen está o no almacenada en el momento más adelantado mediante la unidad de control de imagen para visualización DispPicCtrl que gestiona la información acerca de si se ha visualizado o no la imagen.
Lo siguiente describe un procedimiento de almacenamiento de una imagen en la memoria al descodificar la señal codificada, codificada por el aparato de codificación de imagen mostrado en la cuarta forma de realización.
El aparato de descodificación de imagen 150 juzga si la imagen descodificada enviada en salida desde la unidad de adición Add mencionada anteriormente del aparato de descodificación de imagen 150 debe almacenarse o no en la memoria de imágenes PicMem2 basándose en la instrucción indicada en el comando de control de memoria MMCO.
En caso de almacenar la imagen descodificada en la memoria de imágenes, se obtiene la memoria de imágenes liberada en primer lugar y la imagen descodificada se almacena en el área obtenida.
Puesto que se trata de un sistema que gestiona la información acerca del tiempo de visualización, resulta difícil obtener el momento de visualización en función de un procedimiento para fabricar un aparato de descodificación de vídeo. Es sumamente posible que la imagen con el momento de visualización más adelantado se almacene en el área liberada en primer lugar que el área liberada en el momento posterior. A saber, es probable que la imagen liberada en primer lugar ya se haya visualizado. Por consiguiente, existe una alta posibilidad de que la imagen que aún no se ha visualizado no sea sobrescrita por almacenamiento de la imagen descodificada en el área de imagen liberada en primer lugar.
El juicio de si el área de imagen es o no un área de imagen liberada en primer lugar se puede realizar mediante referencia a la información acerca de si está liberada o no cada área de imagen, por ejemplo, “usada (utilizable como imagen de referencia)” o “no usada (que ya no se usa como imagen de referencia)”, que se almacena en la memoria de
imágenes PicMem2 de acuerdo con el comando de control de memoria MMCO, que incluye el orden de liberación de las imágenes. O bien, la utilización del área de imagen se puede fijar con antelación a un procedimiento predeterminado a fin de juzgar si el área de imagen es la que se ha liberado en primer lugar según el procedimiento. Por ejemplo, esto se puede juzgar mediante la memoria de imágenes PicMem2 funcionando como una memoria que usa un procedimiento de tipo primero en entrar, primero en salir (FIFO) mediante el que los contenidos de registro con un momento de grabación antiguo se desechan en secuencia cuando se graban los nuevos datos de modo que siempre se almacenan las últimas imágenes de un número fijado de cuadros (o número de imágenes).
De este modo, se puede impedir la sobrescritura nueva de una imagen en una imagen que aún no se ha visualizado y la imagen se pueda enviar en salida para visualización desde el área que ya está liberada pero no sobrescrita en el momento de la visualización.
La unidad de visualización Disp puede estar instalada en el exterior del aparato de descodificación de imagen 150 en lugar de venir incluida en este, de modo que el aparato de descodificación de imagen 150 pueda enviar solamente los datos necesarios para visualizar una imagen en la unidad de visualización Disp.
En este punto se ilustra una operación del aparato de descodificación de imagen 150 cuando se modifica el tamaño de imagen, como ya se ha explicado en la segunda forma de realización. Sin embargo, la operación es igual que la descrita en la tercera y la cuarta formas de realización, por lo que la explicación está abreviada.
Un procedimiento correspondiente al primer procedimiento en el caso en que se modifica el tamaño de imagen, mostrado en la segunda forma de realización, es que el aparato de descodificación de imagen 150 libera un área total en la memoria, incluyendo el área para referencia en la que está almacenada la imagen de referencia y el área para visualización en la que está almacenada la imagen para visualización, y realiza la inicialización al recibir un comando destinado a modificar el tamaño de imagen.
La Fig. 10 es un diagrama de flujo que muestra una operación del aparato de descodificación de imagen 150.
El aparato de descodificación de imagen 150 juzga si una señal enviada en salida desde la unidad de detección de modificación del tamaño de imagen PicSizeDet indica o no una modificación de un tamaño de imagen (Etapa 100). Cuando lo hace (Sí en la Etapa 100), el aparato de descodificación de imagen 150 libera un área total de memoria de la memoria de imágenes PicMem2 (como estado reutilizable), la inicializa (Etapa 102) y el procesamiento finaliza.
Cuando no se modifica el tamaño de imagen (No en la Etapa 100), el aparato de descodificación de imagen 150 juzga si el comando de control de memoria MMCO enviado en salida desde la unidad de descodificación de longitud variable VLD indica o no la liberación (inicialización) del área total de memoria en la memoria de imágenes PicMem2 (Etapa 101) y, si lo hace (Sí en la Etapa 101), libera el área total de memoria (Etapa 102); si no (No en la Etapa 101), sólo libera el área para referencia en la que está almacenada la imagen de referencia (Etapa 103) y el procesamiento finaliza.
De este modo, la liberación del área total de la memoria previene el uso fragmentario de la memoria provocado por la mezcla de las imágenes de diferentes tamaños y, con ello, se puede reducir el deterioro de la capacidad de uso de la memoria.
A continuación se explica una operación del aparato de descodificación de imagen 150 correspondiente al segundo procedimiento en el caso de la modificación del tamaño de imagen mostrado en la segunda forma de realización.
En caso de modificar el tamaño de imagen, los procedimientos pasan de uno al otro: un procedimiento de liberación del área total de la memoria o un procedimiento de liberación solamente del área para referencia en la que está almacenada la imagen de referencia y visualización de la imagen visualizable de las imágenes que aún no se han visualizado con el juicio realizado por el aparato de descodificación de imagen 150.
Como se ha descrito en la segunda forma de realización, la información de instrucciones (bandera) que indica bien la liberación del área total de memoria, o bien la liberación solamente del área para referencia, viene contenida en el comando de control de memoria MMCO en el flujo Str enviado en salida desde el aparato de codificación de imagen 100.
El aparato de descodificación de imagen 150 determina cualquiera de los dos procedimientos descritos anteriormente sobre la base de la información de instrucciones contenida en el comando de control de memoria MMCO.
La Fig. 11 es un diagrama de flujo que muestra una operación de determinación.
En primer lugar, el aparato de descodificación de imagen 150 juzga si la información de instrucciones (bandera) indica o no la inicialización del área total de la memoria (Etapa 150). Cuando esta indica la inicialización del área total (Sí en la Etapa 150), el aparato de descodificación de imagen 150 libera el área total, con fines de inicialización, incluyendo el área para visualización que almacena la imagen para visualización que aún no se ha visualizado (Etapa 151), o de lo contrario (No en la Etapa 150), libera solamente el área para referencia con fines de inicialización (Etapa 152).
Cuando la información de instrucciones (bandera) no indica la inicialización del área total, el aparato de descodificación de imagen 150 libera solamente el área para referencia. En cuanto a la imagen que aún no se ha visualizado y almacenado en un área que no sea el área para referencia, el aparato de descodificación de imagen 150 juzga la imagen y visualiza la visualizable.
Lo siguiente describe, con referencia a un diagrama de flujo, la operación del aparato de descodificación de imagen 150 en el caso de inicializar solamente el área para referencia.
La Fig. 12 es un diagrama de flujo que muestra una operación del aparato de descodificación de imagen 150 (descodificador).
El aparato de descodificación de imagen 150 juzga si la señal enviada en salida desde la unidad de detección de modificación del tamaño de imagen PicSizeDet indica o no una modificación de un tamaño de imagen (Etapa 200). A menos que esta indique la modificación del tamaño de imagen (No en la Etapa 200), el aparato de descodificación de imagen 150 visualiza la imagen que ha de visualizarse aún no visualizada, almacenada en el área para visualización (Etapa 203).
Mientras tanto, cuando la señal indica la modificación del tamaño de imagen (Sí en la Etapa 200), el aparato de descodificación de imagen 150 determina si la imagen para visualización almacenada en el área para visualización es o no la que había antes de que tenga lugar la modificación del tamaño (Etapa 201). Cuando no es el caso (No en la Etapa 201), el aparato de descodificación de imagen 150 visualiza la imagen que ha de visualizarse aún no visualizada (Etapa 203). Cuando este es el caso (Sí en la Etapa 201), el aparato de descodificación de imagen 150 juzga si la imagen para visualización es o no visualizable y la visualiza basándose en el juicio (Etapa 202).
Lo siguiente describe una operación del aparato de descodificación de imagen 150 destinada a un juicio acerca de si se puede visualizar o no la imagen.
La Fig. 13 es un diagrama de flujo que muestra la operación del aparato de descodificación de imagen 150 con respecto a una visualización de la imagen.
En la Fig. 13, se colocan las mismas marcas para el mismo procesamiento que se ha descrito en la Fig. 12.
El aparato de descodificación de imagen 150 juzga si la imagen para visualización almacenada en el área para visualización es o no la que había antes de que tenga lugar la modificación del tamaño de imagen (Etapa 201). Cuando la imagen no es la que había antes de que tenga lugar la modificación (No en la Etapa 201), el aparato de descodificación de imagen 150 visualiza la imagen. Por el contrario, cuando la imagen es la que había antes de que tenga lugar la modificación (Sí en la Etapa 201), el aparato de descodificación de imagen 150 determina si la imagen que ha de visualizarse está o no dañada (Etapa 211). Cuando la imagen no está dañada (No en la Etapa 211), la imagen se considera visualizable y, en consecuencia, se visualiza (Etapa 210). Cuando está dañada (Sí en la Etapa 211), en su lugar se visualiza, por ejemplo, la imagen precedente. En este documento, no estar dañada significa que la imagen que ha de visualizarse no ha sido sobrescrita de modo que se almacenen unos nuevos datos de imagen, incluso si la imagen forma parte de una imagen que se almacena. De esta manera, el aparato de descodificación de imagen 150 juzga si la imagen que ha de visualizarse está o no dañada, determina como visualizable la imagen no dañada y la visualiza.
De este modo, como se ha explicado en los diagramas de flujo de las Figs. 11, 12 y 13, el aparato de descodificación de imagen 150 visualiza la imagen que aún no se ha visualizado de acuerdo con la información de instrucciones (bandera) que indica si inicializar o no el área total de la memoria cuando tiene lugar la modificación del tamaño de imagen.
Debido al procedimiento de descodificación de imagen del aparato de descodificación de imagen 150 según se ha descrito anteriormente, una descodificación apropiada se realiza pasando entre bien inicializar el área total de la memoria, o bien inicializar solamente el área para referencia y visualizar la imagen para visualización que aún no se ha visualizado, incluso cuando se realiza la modificación del tamaño de imagen. A saber, cuando, por ejemplo, el área libre en la memoria es pequeña, se inicializa el área total en la memoria con fines de reutilización, mientras que, cuando esta es importante, el caso se puede tratar con flexibilidad permitiendo la visualización de la imagen que aún no se ha visualizado después de inicializar solamente el área para referencia.
(Sexta forma de realización)
En una sexta forma de realización se usan los siguientes términos. A saber, una memoria intermedia de imágenes de referencia es un área que combina un área para referencia y aquella para visualización en la memoria de imágenes PicMem2 en un aparato de codificación de imagen. Una memoria intermedia virtual de retardo de visualización es una memoria intermedia virtual destinada a cada imagen para visualización que ha de almacenarse en al área para visualización que se retiene en la memoria de imágenes PicMem2 en el aparato de codificación de imagen y almacena números de referencia temporales de las imágenes para visualización (números de imagen o similares). Una memoria intermedia de la memoria para referencia es un área para referencia en la memoria de imágenes PicMem2 en un aparato de descodificación de imagen. Una memoria intermedia postdescodificador es un área para visualización en la memoria de imágenes PicMem2 en el aparato de descodificación de imagen. Los números de referencia temporales son los números que se asignan para las imágenes de acuerdo con el orden del tiempo de visualización y pueden ser un equivalente del tiempo de imagen Tiempo.
La explicación arranca en primer lugar con el aparato de codificación de imagen. La memoria intermedia virtual de retardo de visualización se usa para limitar el número máximo de imágenes de referencia usadas para la codificación predictiva realizada por el aparato de codificación de imagen.
La Fig. 14 muestra un procesamiento de determinación de una relación entre la memoria intermedia virtual de retardo de visualización y el número máximo de imágenes de referencia hacia atrás. Cada módulo en la Fig. 14 presenta un bloque de funciones o una etapa de procesamiento de una unidad de determinación de estructura de imagen PicStruct, una unidad de control de imágenes de referencia RefPicCtrl y una unidad de control de imagen para visualización DispPicCtrl. Como se muestra en el diagrama, el número máximo de imágenes de referencia autorizadas, NR para este perfil y nivel se determina en el módulo 401. Este valor queda definido para cada perfil y nivel y, en consecuencia, el codificador codifica el valor de perfil/nivel, un equivalente de NR, como información acerca de un flujo, y un descodificador obtiene NR de acuerdo con el valor de perfil/nivel en el flujo. El aparato de codificación de imagen establece entonces el número máximo de imágenes de referencia hacia atrás, NB, óptimo para codificar una secuencia de vídeo en el módulo 402. El tamaño de la memoria intermedia virtual de retardo de visualización se puede determinar sobre la base de este valor de NB. Cuando NB es menor de 2, no se precisa la memoria intermedia virtual de retardo de visualización. Sin embargo, cuando NB es mayor o igual que 2, se crea en el módulo 404 una memoria intermedia virtual de retardo de visualización que puede almacenar NB-1 número de imágenes. La información acerca de la imagen almacenada en la memoria intermedia virtual de retardo de visualización se retiene en la memoria o en cualquier registro. Esta memoria intermedia virtual de retardo de visualización no requiere un espacio de memoria física importante en el aparato de codificación de imagen. Esto se debe a que en la memoria intermedia virtual de retardo de visualización sólo se almacenan las descripciones de las imágenes de referencia (números de imagen o similares) para identificar no una parte total de la imagen reconstruida (descodificada), sino qué imagen reconstruida, desde el juicio para ver qué imagen se almacena en la memoria intermedia virtual de retardo de visualización para su visualización, a menos que se necesite visualizar (enviar en salida) la imagen descodificada por el aparato de descodificación de imagen. Además de la memoria intermedia virtual de retardo de visualización, se crea un contador de visualización en el módulo 405 y el valor queda retenido bien en la memoria o en cualquier registro. El contador de visualización se usa para juzgar si eliminar o no una imagen innecesaria de la memoria intermedia virtual de retardo de visualización. El aparato de codificación de imagen genera entonces un tamaño de imagen para el número de NR de imágenes de referencia en el espacio de memoria sobre la base de la definición de perfil y nivel.
Tamaño máximo de la memoria intermedia virtual de retardo de visualización = NB-1 (1), donde NB < NR
La Fig. 15 muestra el procesamiento de postcodificación en el aparato de codificación de imagen, es decir, un procesamiento de almacenamiento de una imagen descodificada después de ser codificada (denominada imagen codificada o simplemente imagen) en la memoria intermedia de la memoria para referencia. El módulo en el diagrama presenta un bloque de funciones o una etapa de procesamiento en la unidad de control de imágenes de referencia RefPicCtrl y la unidad de control de imagen para visualización DispPicCtrl. Después de codificarse una única imagen en el módulo 501, se determina en el módulo 502 si la imagen ha de usarse o no como imagen de referencia. Cuando la imagen es una imagen de referencia, se calcula el número máximo de posibles imágenes de referencia sobre la base de la ecuación (2).
NMax = NR – Fv (2)
En este punto, NMax presenta el número máximo de posibles imágenes de referencia, mientras que NR presenta el número máximo de imágenes de referencia autorizadas en la definición de perfil y nivel. Fv presenta una plenitud de la memoria intermedia virtual de retardo de visualización, es decir, el número actualmente usado del tamaño de la memoria intermedia virtual de retardo de visualización (NB-1).
Cuando el número de imágenes de referencia en la memoria intermedia de imágenes de referencia es menor que NMax, la imagen codificada se reconstruye (descodifica) en el módulo 506 y se almacena en la memoria intermedia de imágenes de referencia en el módulo 507. Cuando no hay espacio suficiente, el aparato de codificación de imagen retiene un área necesaria en la memoria intermedia de imágenes de referencia eliminando de la memoria intermedia determinadas imágenes de referencia no usadas (que ya no se usan como imágenes de referencia), como se muestra en el módulo 504. Cuando no hay imágenes de referencia no usadas para eliminar de la memoria intermedia, la imagen codificada no se usa como imagen de referencia. Cuando la imagen codificada no es una imagen de referencia, se compara el número de referencia temporal de la imagen codificada con el indicado en el contador de visualización en el módulo 505. Cuando el número de referencia temporal de la imagen que no es de referencia es menor que el indicado en el contador de visualización, la memoria intermedia virtual de retardo de visualización se actualiza en el módulo 508. En el módulo 508, la memoria intermedia virtual de retardo de visualización elimina la imagen que tiene el número de referencia temporal igual o anterior al indicado en el contador de visualización y añade en la memoria intermedia el número de referencia temporal de la imagen actual que no es de referencia. El número de imágenes en la memoria intermedia virtual que tiene el número de referencia temporal menor que el indicado en el contador de visualización pasa a ser la plenitud de la memoria intermedia. El contador de visualización sólo inicia la operación de actualización por iniciativa cuando el número de la imagen codificada es igual a NB o cuando el contador virtual de visualización está lleno, sea cual sea anterior. Después de esto, el contador de visualización se actualiza para cada imagen que se codifica en el módulo 509.
La Fig. 16 muestra el procesamiento de postdescodificación en el aparato de descodificación de imagen, es decir, el procesamiento de almacenamiento de una imagen descodificada por el aparato de descodificación de imagen (denominada imagen codificada o simplemente imagen) en la memoria intermedia de imágenes de referencia. Los módulos en el diagrama muestran los bloques de funciones o las etapas de procesamiento en la unidad de control de imagen para visualización DispPicCtrl. En el módulo 601 se descodifica una imagen. En el módulo 602, el aparato de descodificación de imagen determina si la imagen necesita o no almacenarse como imagen de referencia. Si la imagen descodificada ha de almacenarse como imagen de referencia, esta se almacena en la memoria intermedia de imágenes de referencia en el módulo 606, o de lo contrario, el aparato de descodificación de imagen examina si es o no el momento de visualizar (enviar en salida) esta imagen en el módulo 603. Si aún no ha llegado el momento de que se visualice (envíe en salida) la imagen, la imagen se almacena en la memoria intermedia postdescodificador en el módulo 604 hasta el momento de su visualización. La memoria intermedia postdescodificador y la memoria intermedia de imágenes de referencia comparten físicamente la misma área de memoria. En otras palabras, cada área de la misma memoria se puede usar como memoria intermedia de imágenes de referencia para algunas ocasiones y como memoria intermedia postdescodificador para otras ocasiones.
En el módulo 605, el aparato de descodificación de imagen determina entonces una imagen que ha de visualizarse (enviarse en salida) bien a partir de la memoria intermedia de imágenes de referencia o bien de la memoria intermedia postdescodificador, basándose en el momento fijado de visualización. Una vez visualizada (enviada en salida) una imagen a partir de la memoria intermedia postdescodificador, esta se elimina de la memoria intermedia. Por el contrario, una imagen de referencia sólo ha de eliminarse de la memoria intermedia de imágenes de referencia o desplazarse hasta la memoria intermedia postdescodificador cuando el flujo indica que la imagen de referencia ya no se usa para referencia.
La Fig. 17 es un ejemplo de un procedimiento que usa una memoria intermedia virtual de retardo de visualización para determinar el número máximo de imágenes de referencia en cada intervalo de imagen. En este ejemplo, el número máximo de imágenes de referencia autorizadas, NR, será 4. El aparato de codificación de imagen establece que el número máximo de imágenes de referencia hacia atrás, NB, sea 3. De este modo, se genera la memoria intermedia virtual de retardo de visualización en la que se pueden almacenar dos imágenes (se retiene el área). El contador de visualización se usa para almacenar y actualizar el número de referencia temporal de la imagen que ha de visualizarse (enviarse en salida) virtualmente. En la memoria intermedia de la memoria para referencia mostrada en el diagrama, el área vacante muestra que el área está vacante, el área descrita con su tipo de imagen y el número muestra que la imagen para referencia está almacenada y el área rayada muestra que la imagen para visualización está almacenada. Igualmente, en la memoria intermedia virtual de retardo de visualización, el área vacante muestra que el área está vacante, el área descrita con su tipo de imagen y el número muestra que el número de referencia temporal de la imagen para visualización en la memoria intermedia de la memoria para referencia está almacenado y el área rayada muestra que la memoria intermedia de la memoria para referencia no tiene un área de almacenamiento para la imagen destinada a la visualización. La memoria intermedia virtual de retardo de visualización cuyo número corresponde al número del área rayada en la memoria intermedia de la memoria para referencia almacena los números de referencia temporales de las imágenes para visualización.
Como se muestra en el diagrama, las imágenes B2 y B3 se usan como imágenes de referencia y, en consecuencia, se almacenan en la memoria intermedia de la memoria para referencia junto con I0 y P4, y el contador de visualización inicia la actualización después de codificarse la imagen B3. En el momento T6, B5 no se usa como imagen de referencia, sin embargo esto se debe a que el número de referencia temporal es mayor que el indicado en el contador de visualización y necesita ser actualizado por la memoria intermedia virtual de retardo de visualización. Por consiguiente, la plenitud de la memoria intermedia virtual de retardo de visualización Fv en este momento es 1 y el número máximo de posibles imágenes de referencia NMax es 3.
De forma similar, en el momento T7, la imagen B6 necesita ser actualizada por la memoria intermedia virtual de retardo de visualización, mientras que B5 no se puede eliminar todavía debido a que su número de referencia temporal es mayor que el indicado en el contador de visualización. De este modo, NMax en este momento indica 2. La imagen de referencia I0 tiene que eliminarse de la memoria intermedia de la memoria para referencia debido a la insuficiente memoria. B7 en este momento sólo se puede predecir entonces con el uso de P4 y P8.
La Fig. 18 muestra un ejemplo en el que el contador de visualización se incrementa en primer lugar usando la memoria intermedia virtual de retardo de visualización. NR será 5 en el ejemplo. El aparato de codificación de imagen establece que el número máximo de múltiples imágenes de referencia hacia atrás NB sea 3. De este modo, se genera una memoria intermedia virtual de retardo de visualización en la que pueden almacenarse dos imágenes.
Como está mostrado en el diagrama, B1, B2, B3 y B4 no son usadas para imágenes de referencia, mientras que B7 y B8 sí lo son. B1 y B2 se almacenan por tanto en la memoria intermedia virtual de retardo de visualización en el momento T3 a fin de esperar la visualización. Puesto que la memoria intermedia virtual de retardo de visualización está llena en el momento T3, el contador de visualización inicia la actualización en el momento T3. La razón por la que el contador de visualización necesita esperar al menos hasta que se llene la memoria intermedia virtual de retardo de visualización antes de poder iniciar la actualización es que este necesita tratar la reordenación de las imágenes B que es susceptible de producirse en el aparato de descodificación de imagen.
Como se muestra en la Fig. 17, el aparato de descodificación de imagen usa en ocasiones una parte de la memoria intermedia de imágenes de referencia como memoria intermedia postdescodificador. El aparato de descodificación de imagen pone en funcionamiento por tanto la memoria intermedia de imágenes de referencia basándose en un tamaño de memoria física fijado de la memoria intermedia de imágenes de referencia, de modo que se usen algunas partes de la memoria intermedia de imágenes de referencia para imágenes de referencia y el resto se use como memoria intermedia postdescodificador. Por ejemplo, en el momento T3, se usa la memoria intermedia de imágenes de referencia total para almacenar imágenes de referencia, mientras que, en el momento T7, sólo se usan dos áreas de la memoria intermedia de imágenes de referencia para almacenar las imágenes de referencia de P4 y P8. El resto se usa para almacenar imágenes postdescodificador B5 y B6.
El número máximo de imágenes de referencia que han de usarse del lado del aparato de descodificación de imagen queda definido en la definición de perfil y nivel para el aparato de codificación de imagen. El aparato de codificación de imagen puede usar por tanto hasta el número máximo de imágenes de referencia definidas por el perfil y el nivel. De este modo, se requiere que el aparato de codificación de imagen controle las imágenes de referencia y realice la codificación de modo que se pueda realizar la misma operación (el número de imágenes de referencia no sobrepase el valor predeterminado) cuando el aparato de descodificación de imagen opera sobre la base de las condiciones de constricción.
De modo similar, el aparato de descodificación de imagen tiene el mismo número de imágenes de referencia que las que tiene el aparato de codificación de imagen. Asimismo, para la memoria intermedia postdescodificador es necesario espacio de memoria suplementario. El número máximo de imágenes postdescodificador queda definido por la ecuación (3).
NP = NR – 2 (3)
En este punto, NP presenta el número máximo de imágenes postdescodificador, mientras que NR presenta el número máximo de imágenes de referencia definidas por la definición de perfil y nivel.
El número máximo de imágenes postdescodificador estará considerado por tanto en el diseño del aparato de descodificación de imagen de modo que el aparato de descodificación de imagen cumpla la definición de perfil y nivel. El número máximo de imágenes postdescodificador o bien se puede calcular con el uso de la ecuación (3) o bien especificar en la definición de perfil y nivel. Una vez especificado el número máximo de imágenes postdescodificador en la definición de perfil y nivel, se puede calcular el número máximo de imágenes de predicción hacia atrás sobre la base de la ecuación (4).
NB = NP + 1 (4)
En este punto, NB presenta el número máximo de imágenes de predicción hacia atrás en la memoria intermedia de imágenes de referencia. En la presente forma de realización, NB presenta los requisitos mínimos de memoria requeridos por el aparato de descodificación de imagen de manera que descodifique un flujo que cumple la definición de perfil y nivel.
Es posible limitar el número de imágenes usadas para la predicción hacia atrás a fin de reducir el número de imágenes postdescodificador suplementarias añadidas a la memoria intermedia de imágenes de referencia por el lado del aparato de descodificación de imagen. Por ejemplo, cuando el número máximo de imágenes usadas para predicción hacia atrás está limitado a 2, sólo se requiere añadir una imagen postdescodificador suplementaria a la memoria intermedia de imágenes de referencia, que puede impedir la atribución de espacio de memoria física innecesario para las imágenes postdescodificador del lado del aparato de descodificación de imagen.
(Séptima forma de realización) Asimismo, es posible realizar fácilmente el procesamiento mostrado en las formas de realización anteriores en un sistema informático independiente mediante la grabación de un programa destinado a realizar el procedimiento de codificación de imagen y el procedimiento de descodificación de imagen mostrados en las formas de realización mencionadas anteriormente sobre el soporte de almacenamiento, tal como un disco flexible.
La Fig. 19 es una ilustración para realizar el procedimiento de codificación/descodificación de imagen de las formas de realización anteriores usando un programa grabado sobre un soporte de almacenamiento como un disco flexible.
La Fig. 19B muestra un aspecto lleno de un disco flexible, su estructura en sección transversal y el propio disco flexible, mientras que la Fig. 19A muestra un ejemplo de formato físico del disco flexible como cuerpo principal de un soporte de almacenamiento. Un disco flexible FD1 viene contenido en una envoltura F, una pluralidad de pistas Tr van formadas en forma concéntrica desde la periferia hasta el interior sobre la superficie del disco, y cada pista se divide en 16 sectores Se en la dirección angular. Por consiguiente, en cuanto al disco flexible que almacena el programa mencionado anteriormente, se almacenan datos como el programa anteriormente mencionado en un área asignada para estos sobre el disco flexible FD1.
La Fig. 19C muestra una estructura para la grabación y lectura del programa sobre el disco flexible FD1. Cuando se graba el programa sobre el disco flexible FD1, el sistema informático Cs inscribe datos como el programa a través de la unidad de disco flexible FDD. Cuando se construye en el sistema informático el procedimiento de codificación de imagen y el procedimiento de descodificación de imagen destinados a realizar el procedimiento de codificación de imagen y el procedimiento de descodificación de imagen como el programa sobre el disco flexible, el programa es extraído por lectura del disco flexible por la unidad de disco flexible FDD y después transferido al sistema informático Cs.
La explicación anterior se ha hecho suponiendo que un soporte de almacenamiento es un disco flexible, pero también se puede realizar el mismo procesamiento usando un disco óptico. Asimismo, el soporte de almacenamiento no queda limitado a un disco flexible y un disco óptico, sino que se puede usar cualquier otro soporte tal como una tarjeta de circuito integrado o una casete ROM capaz de grabar un programa.
(Octava forma de realización)
Lo siguiente es una explicación de las aplicaciones del procedimiento de codificación de imagen así como del procedimiento de descodificación de imagen según se muestran en las formas de realización mencionadas anteriormente, y un sistema que los usa.
La Fig. 20 es un diagrama de bloques que muestra una configuración global de un sistema de suministro de contenidos ex100 destinado a realizar un servicio de distribución de contenidos. El área para proporcionar el servicio de comunicaciones está dividida en células del tamaño deseado, y unos sitios de célula ex107~ex110 que son estaciones inalámbricas fijas están situados en células respectivas.
Este sistema de suministro de contenidos ex100 está conectado a dispositivos tales como Internet ex101, un proveedor de servicios Internet ex102, una red telefónica ex104, así como un ordenador ex111, un PDA (asistente digital personal) ex112, una cámara ex113, un teléfono móvil ex114 y un teléfono móvil con una cámara ex115 a través de los sitios de célula ex107~ex110.
Sin embargo, el sistema de suministro de contenidos ex100 no queda limitado a la configuración mostrada en la Fig. 20 y puede estar conectado a una combinación de cualquiera de ellos. Igualmente, cada dispositivo puede estar conectado directamente a la red telefónica ex104 y no a través de los sitios de célula ex107~ex110.
La cámara ex113 es un dispositivo capaz de filmar vídeo tal como una cámara de vídeo digital. El teléfono móvil ex114 puede ser un teléfono móvil de cualquiera de los siguientes sistemas: un sistema PDC (Comunicaciones digitales personales), un sistema AMDC (Acceso múltiple por división de código), un sistema AMDC-BA (Acceso múltiple por división de código de banda ancha) o un sistema GSM (Sistema global de comunicaciones móviles), un sistema PHS (Sistema de teléfonos portátiles personales) o similares. Un servidor de flujo continuo ex103 va conectado a la cámara ex113 a través de la red telefónica ex104 así como el sitio de célula ex109, que realiza una distribución en directo o similares usando la cámara ex113 basándose en los datos codificados transmitidos desde el usuario. Bien la cámara ex113 o el servidor que transmite los datos puede codificar los datos. Igualmente, los datos de imagen filmados por una cámara ex116 se pueden transmitir al servidor de flujo continuo ex103 a través del ordenador ex111. En este caso, o bien la cámara ex116 o el ordenador ex111 puede codificar los datos de imagen. Un circuito integrado en gran escala o LSI ex117 incluido en el ordenador ex111 o la cámara ex116 realiza en realidad el procesamiento de codificación. Se puede integrar soporte lógico para codificar y descodificar imágenes en cualquier tipo de soporte de almacenamiento (tal como un CD-ROM, un disco flexible y un disco duro), que sea un soporte de grabación que sea legible por el ordenador ex111 o similares. Asimismo, un teléfono móvil con una cámara ex115 puede transmitir los datos de imagen. Los datos de imagen son los datos codificados por el LSI incluido en el teléfono móvil ex115.
El sistema de suministro de contenidos ex100 codifica contenidos (tales como un vídeo musical en directo) filmados por un usuario usando la cámara ex113, la cámara ex116 o similares del mismo modo que se muestra en las formas de realización mencionadas anteriormente, y los transmite al servidor de flujo continuo ex103, mientras que el servidor de flujo continuo ex103 lleva a cabo la distribución continua de los datos de contenidos a los clientes a petición de los mismos. Los clientes incluyen el ordenador ex111, el PDA ex112, la cámara ex113, el teléfono móvil ex114, etc. capaces de descodificar los datos codificados mencionados anteriormente. En el sistema de suministro de contenidos ex100, los clientes pueden así recibir y reproducir los datos codificados, y además pueden recibir, descodificar y reproducir los datos en tiempo real de manera que se realice una radiodifusión personal.
Cuando cada dispositivo en este sistema realiza una codificación o descodificación, se puede usar el procedimiento de codificación de imagen o el procedimiento de descodificación de imagen mostrados en las formas de realización mencionadas anteriormente.
Se explicará un teléfono móvil como ejemplo del dispositivo.
La Fig. 21 es un diagrama que muestra el teléfono móvil ex115 que usa el procedimiento de codificación de imagen y el procedimiento de descodificación de imagen explicados en las formas de realización mencionadas anteriormente. El teléfono móvil ex115 tiene una antena ex201 para comunicarse con el sitio de célula ex110 a través de ondas radioeléctricas, una unidad de cámara ex203 tal como una cámara de transferencia de carga (CCD) capaz de filmar imágenes fijas y en movimiento, una unidad de visualización ex202 tal como un visualizador por cristal líquido para visualizar los datos tales como imágenes descodificadas y similares filmados por la unidad de cámara ex203 o recibidos por la antena ex201, una unidad de cuerpo que incluye un conjunto de teclas de función ex204, una unidad de salida de audio ex208 tal como un altavoz para enviar en salida audio, una unidad de entrada de audio ex205 tal como un micrófono para introducir audio, un soporte de almacenamiento ex207 para almacenar datos codificados o descodificados tales como datos de imágenes fijas o en movimiento filmados por la cámara, datos de correos electrónicos recibidos y los de imágenes fijas y en movimiento, y una unidad de ranura ex206 para acoplar el soporte de almacenamiento ex207 al teléfono móvil ex115. El soporte de almacenamiento ex207 almacena en su interior un elemento de memoria flash, un tipo de EEPROM (memoria de sólo lectura programable y eléctricamente borrable) que es una memoria no volátil borrable eléctricamente desde y regrabable en una envoltura de plástico tal como una tarjeta SD o similares.
A continuación se explicará el teléfono móvil ex115 con referencia a la Fig. 22. En el teléfono móvil ex115, una unidad principal de control ex311, diseñada a fin de controlar en conjunto cada unidad del cuerpo principal que contiene la unidad de visualización ex202 así como las teclas de función ex204, está conectada mutuamente a una unidad de circuito de fuente de alimentación ex310, una unidad de control de entradas de funcionamiento ex304, una unidad de codificación de imagen ex312, una unidad de interconexión de cámara ex303, una unidad de control de LCD (visualizador por cristal líquido) ex302, una unidad de descodificación de imagen ex309, una unidad de multiplexación/demultiplexación ex308, una unidad de lectura/escritura ex307, una unidad de circuito de módem ex306 y una unidad de procesamiento de audio ex305 a través de un bus síncrono ex313.
Cuando se enciende una tecla de fin de llamada o una tecla de encendido mediante una operación del usuario, la unidad de circuito de fuente de alimentación ex310 suministra a las unidades respectivas alimentación eléctrica procedente de un paquete de baterías de manera que se active el teléfono móvil digital con cámara acoplada ex115 como estado de disponibilidad.
En el teléfono móvil ex115, la unidad de procesamiento de audio ex305 convierte las señales de audiofrecuencia, recibidas por la unidad de entrada de audio ex205 en modo de conversación, en datos de audio digital bajo el control de la unidad principal de control ex311 que incluye una UCP, ROM y RAM, la unidad de circuito de módem ex306 realiza un procesamiento de espectro ensanchado de los datos de audio digital, y la unidad de circuito de comunicación ex301 realiza una conversión de digital en analógico y transformación de frecuencia de los datos, de manera que los transmita a través de la antena ex201. Igualmente, en el teléfono móvil ex115, la unidad de circuito de comunicación ex301 amplifica los datos recibidos por la antena ex201 en modo de conversación y realiza transformación de frecuencia y conversión de analógico en digital a los datos, la unidad de circuito de módem ex306 realiza un procesamiento inverso de espectro ensanchado de los datos, y la unidad de procesamiento de audio ex305 los convierte en datos de audio analógico, de manera que los envíe en salida a través de la unidad de salida de audio ex208.
Asimismo, cuando se transmite un correo electrónico en modo de transmisión de datos, los datos de texto del correo electrónico introducido mediante el manejo de las teclas de función ex204 del cuerpo principal se emiten a la unidad principal de control ex311 a través de la unidad de control de entradas de funcionamiento ex304. En la unidad principal de control ex311, después de que la unidad de circuito de módem ex306 realice el procesamiento de espectro ensanchado de los datos de texto y la unidad de circuito de comunicación ex301 realice la conversión de digital en analógico y la transformación de frecuencia para los datos de texto, los datos se transmiten al sitio de célula ex110 a través de la antena ex201.
Cuando se transmiten datos de imagen en modo de transmisión de datos, los datos de imagen filmados por la unidad de cámara ex203 se suministran a la unidad de codificación de imagen ex312 a través de la unidad de interconexión de cámara ex303. Cuando no se transmiten, también es posible visualizar los datos de imagen filmados por la unidad de cámara ex203 directamente sobre la unidad de visualización ex202 a través de la unidad de interconexión de cámara ex303 y la unidad de control de LCD ex302.
La unidad de codificación de imagen ex312, que incluye el aparato de codificación de imagen según se ha explicado en la presente invención, comprime y codifica los datos de imagen suministrados desde la unidad de cámara ex203 mediante el procedimiento de codificación usado por el aparato de codificación de imagen según está mostrado en la primera forma de realización mencionada anteriormente, de manera que los transforma en datos de imagen codificada, y los emite hasta la unidad de multiplexación/demultiplexación ex308. En este momento, el teléfono móvil ex115 emite el audio recibido por la unidad de entrada de audio ex205 durante la filmación con la unidad de cámara ex203 hasta la unidad de multiplexación/demultiplexación ex308 como datos de audio digital a través de la unidad de procesamiento de audio ex305.
La unidad de multiplexación/demultiplexación ex308 multiplexa los datos de imagen codificada suministrados desde la unidad de codificación de imagen ex312 y los datos de audio suministrados desde la unidad de procesamiento de audio ex305 usando un procedimiento predeterminado, después la unidad de circuito de módem ex306 realiza un procesamiento de espectro ensanchado de los datos multiplexados obtenidos como resultado de la multiplexación, y por último, la unidad de circuito de comunicación ex301 realiza una conversión de digital en analógico y transformación de frecuencia de los datos para la transmisión a través de la antena ex201.
En cuanto a la recepción de datos de un archivo de imagen en movimiento que está vinculado a una página Web o similares en modo de transmisión de datos, la unidad de circuito de módem ex306 realiza un procesamiento inverso de espectro ensanchado de los datos recibidos desde el sitio de célula ex110 a través de la antena ex201, y emite los datos multiplexados obtenidos como resultado del procesamiento inverso de espectro ensanchado.
A fin de descodificar los datos multiplexados recibidos a través de la antena ex201, la unidad de multiplexación/demultiplexación ex308 separa los datos multiplexados en un flujo codificado de datos de imagen y el de datos de audio, y suministra los datos de imagen codificada a la unidad de descodificación de imagen ex309 y los datos de audio a la unidad de procesamiento de audio ex305 respectivamente a través del bus síncrono ex313.
A continuación, la unidad de descodificación de imagen ex309, que incluye el aparato de descodificación de imagen según se ha explicado en la invención mencionada anteriormente, descodifica el flujo codificado de datos de imagen usando el procedimiento de descodificación correspondiente al procedimiento de codificación según se ha mostrado en las formas de realización mencionadas anteriormente para generar datos de imagen en movimiento reproducidos, y suministra estos datos a la unidad de visualización ex202 a través de la unidad de control de LCD ex302 y, de este modo, se visualizan, por ejemplo, los datos de imagen incluidos en el archivo de imagen en movimiento vinculado a una página Web. Al mismo tiempo, la unidad de procesamiento de audio ex305 convierte los datos de audio en datos de audio analógico y suministra estos datos a la unidad de salida de audio ex208 y, de este modo, se reproducen, por ejemplo, los datos de audio incluidos en el archivo de imagen en movimiento vinculado a una página Web.
La presente invención no queda limitada al sistema mencionado anteriormente como lo ha estado últimamente tal radiodifusión digital por satélite o terrenal en las noticias y al menos uno cualquiera del aparato de codificación de imagen
o el aparato de descodificación de imagen descritos en las formas de realización mencionadas anteriormente se puede incorporar en un sistema de radiodifusión digital como se muestra en la Fig. 23. Más específicamente, un flujo codificado de información de vídeo se transmite desde una estación de radiodifusión ex409 hasta, o se comunica con, un satélite de radiodifusión ex410 a través de ondas radioeléctricas. Al recibirlo, el satélite de radiodifusión ex410 transmite ondas radioeléctricas para radiodifusión. Entonces, una antena de uso doméstico ex406 con una función de recepción de radiodifusión por satélite recibe las ondas radioeléctricas, y una televisión (receptor) ex401 o un descodificador externo (STB) ex407 descodifica el flujo codificado para reproducción. El aparato de descodificación de imagen según se ha mostrado en la forma de realización mencionada anteriormente se puede implementar en un aparato de reproducción ex403 destinado a la lectura y descodificación del flujo codificado grabado sobre un soporte de almacenamiento ex402 que es un soporte de grabación tal como CD y DVD. En este caso, las señales de vídeo reproducidas se visualizan sobre un monitor ex404. También es concebible implementar el aparato de descodificación de imagen en el descodificador externo ex407 conectado a un cable ex405 para una televisión por cable o la antena ex406 para radiodifusión por satélite y/o terrenal de manera que las reproduzca sobre un monitor ex408 de la televisión ex401. El aparato de descodificación de imagen puede venir incorporado en la televisión, no en el descodificador externo. Igualmente, un automóvil ex412 que tiene una antena ex411 puede recibir señales desde el satélite ex410 o el sitio de célula ex107 para reproducir imágenes en movimiento sobre un dispositivo de visualización tal como un sistema de navegación para automóviles ex413 instalado en el automóvil ex412.
Asimismo, el aparato de codificación de imagen según se muestra en las formas de realización mencionadas anteriormente puede codificar señales de imagen y grabarlas sobre un soporte de grabación. Como ejemplo concreto, se puede citar una grabadora ex420 tal como una grabadora de DVD para grabar señales de imagen sobre un disco DVD ex421, una grabadora de discos para grabarlas sobre un disco duro, o similares. Estas se pueden grabar sobre una tarjeta SD ex422. Si la grabadora ex420 incluye el aparato de descodificación de imagen según se muestra en las formas de realización mencionadas anteriormente, las señales de imagen grabadas sobre el disco DVD ex421 o la tarjeta SD ex422 se pueden reproducir para visualización sobre el monitor ex408.
En cuanto a la estructura del sistema de navegación para automóviles ex413, es concebible, por ejemplo, la estructura sin la unidad de cámara ex203, la unidad de interconexión de cámara ex303 y la unidad de codificación de imagen ex312, de los componentes mostrados en la Fig. 22. Lo mismo se aplica para el ordenador ex111, la televisión (receptor) ex40 y otros.
Asimismo, se pueden concebir tres tipos de implementación para un terminal tal como el teléfono móvil ex114 mencionado anteriormente; un terminal emisor/receptor implementado tanto con un codificador como con un descodificador, un terminal emisor implementado sólo con un codificador, y un terminal receptor implementado sólo con un descodificador.
Como se ha descrito anteriormente, es posible usar el procedimiento de codificación de imagen o el procedimiento de descodificación de imagen descritos en las formas de realización mencionadas anteriormente para cualquiera de los dispositivos y sistemas mencionados anteriormente, y procediendo así, se pueden obtener los efectos descritos en las formas de realización mencionadas anteriormente. Igualmente, la presente invención no queda limitada a las formas de realización mencionadas anteriormente y son posibles una amplia gama de variaciones o modificaciones dentro del alcance de las siguientes reivindicaciones.
En la presente forma de realización, el término “visualizar” significa enviar en salida después de reordenar el orden de las imágenes en un orden de visualización. A saber, un procedimiento para enviar en salida una imagen descodificada a un dispositivo de visualización se describe como “visualizar”. Una operación de envío en salida de la imagen descodificada a fin de grabarla sobre otro dispositivo de grabación es por ejemplo aplicable a esta utilización especial de “visualizar”.
Cuando el dispositivo de visualización tiene una memoria de imágenes, es posible transmitir la imagen descodificada al dispositivo de visualización anteriormente al momento efectivo de visualización.
Aplicabilidad industrial
La presente invención se usa para un aparato de codificación de imagen destinado a codificar una imagen mediante una codificación predictiva con referencia a una imagen descodificada almacenada en una memoria intermedia de imagen descodificada, descodificar la imagen codificada y almacenar la imagen descodificada en la memoria intermedia de imagen descodificada, y un aparato de codificación de imagen destinado a descodificar la imagen codificada mediante una codificación predictiva con referencia a una imagen descodificada almacenada en una memoria intermedia de imagen descodificada y almacenar la imagen descodificada en la memoria intermedia de imagen descodificada.

Claims (1)

  1. REIVINDICACIONES
    1. Un procedimiento de postdescodificación para descodificar una señal de imagen codificada predictivamente de una señal de imagen en movimiento compuesta de una pluralidad de imágenes, incluyendo dicha señal de imagen codificada una imagen codificada objeto de referencia en codificación predictiva por una imagen anterior en un orden de visualización predeterminado para visualizar las imágenes descodificadas, siendo recibida la señal de imagen codificada como un flujo codificado de imágenes MPEG, comprendiendo el procedimiento:
    una etapa de descodificación en la que se descodifica la señal de imagen codificada para obtener una imagen descodificada; una primera etapa de juicio (602) en la que se juzga si la imagen descodificada es una imagen de referencia o una imagen que no es de referencia; una etapa de almacenamiento en la que se almacena (606) la imagen descodificada en una memoria intermedia (PicMem2) cuando se juzga en la primera etapa de juicio que la imagen descodificada es una imagen de referencia; una tercera etapa de juicio en la que se juzga sobre la base de una temporización de visualización si la imagen de referencia descodificada presente en la memoria intermedia es una imagen que se debe enviar como salida; una etapa de salida para enviar como salida la imagen de referencia descodificada, sobre la base del resultado de la tercera etapa de juicio; una cuarta etapa de juicio en la que se juzga si la imagen de referencia descodificada almacenada en la memoria intermedia es una imagen que ya no vuelve a tomarse como referencia; y una etapa de estado reutilizable en memoria intermedia en la que se crea un área de la memoria intermedia en la que se almacena la imagen descodificada en estado reutilizable después de que se haya enviado como salida la imagen descodificada almacenada en la memoria intermedia, sobre la base del resultado de la cuarta etapa de juicio;
    caracterizado por: una segunda etapa (603) en la que se juzga si la imagen descodificada es una imagen que es necesario almacenar en la memoria intermedia hasta un momento de visualización cuando se juzga en la primera etapa de juicio que la imagen descodificada no es de referencia; en el que dicha etapa de almacenamiento también puede servir para almacenar (604) la imagen descodificada en dicha área de la memoria intermedia, cuando se juzga que la imagen descodificada es una imagen que no es de referencia y que es necesario almacenar en la memoria intermedia hasta un momento de visualización; dicha tercera etapa de juicio también puede servir para juzgar sobre la base de una temporización de visualización, si la imagen descodificada que no es de referencia y que está almacenada en la memoria intermedia es una imagen que se debe enviar como salida; y dicha etapa de estado reutilizable en memoria intermedia también puede servir para crear el área de reutilización de la memoria intermedia después de que se haya enviado como salida la imagen descodificada almacenada en la memoria intermedia, sobre la base del resultado de la tercera etapa de juicio.
ES10179945T 2002-07-11 2003-07-07 Gestión de memoria intermedia de postdescodificador para un flujo de bits MPEG H.264-SVC Expired - Lifetime ES2420583T3 (es)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2002202781 2002-07-11
JP2002202781 2002-07-11
JP2002207681 2002-07-17
JP2002207681 2002-07-17
JP2003006198 2003-01-14
JP2003006198 2003-01-14

Publications (1)

Publication Number Publication Date
ES2420583T3 true ES2420583T3 (es) 2013-08-26

Family

ID=30118918

Family Applications (4)

Application Number Title Priority Date Filing Date
ES03741225T Expired - Lifetime ES2277092T3 (es) 2002-07-11 2003-07-07 Procedimiento de codificacion y descodificacion de imagen para h.264 utilizando una memoria intermedia virtual.
ES06122279T Expired - Lifetime ES2330555T3 (es) 2002-07-11 2003-07-07 Mamoria intermedia de visualizacion virtual de imagenes b por multiples hipotesis sustrayendo espacio en la memoria intermedia del postdescodificador h.264.
ES10179945T Expired - Lifetime ES2420583T3 (es) 2002-07-11 2003-07-07 Gestión de memoria intermedia de postdescodificador para un flujo de bits MPEG H.264-SVC
ES06122290T Expired - Lifetime ES2317444T3 (es) 2002-07-11 2003-07-07 Metodo de gestion de visualizacion virtual de memoria intermedia para descodificacion de imagen de prediccion h.264.

Family Applications Before (2)

Application Number Title Priority Date Filing Date
ES03741225T Expired - Lifetime ES2277092T3 (es) 2002-07-11 2003-07-07 Procedimiento de codificacion y descodificacion de imagen para h.264 utilizando una memoria intermedia virtual.
ES06122279T Expired - Lifetime ES2330555T3 (es) 2002-07-11 2003-07-07 Mamoria intermedia de visualizacion virtual de imagenes b por multiples hipotesis sustrayendo espacio en la memoria intermedia del postdescodificador h.264.

Family Applications After (1)

Application Number Title Priority Date Filing Date
ES06122290T Expired - Lifetime ES2317444T3 (es) 2002-07-11 2003-07-07 Metodo de gestion de visualizacion virtual de memoria intermedia para descodificacion de imagen de prediccion h.264.

Country Status (18)

Country Link
US (12) US7206347B2 (es)
EP (5) EP1406451B1 (es)
JP (8) JP4651685B2 (es)
KR (3) KR100961036B1 (es)
CN (2) CN100361535C (es)
AT (4) ATE443972T1 (es)
AU (1) AU2003281129B2 (es)
BR (2) BRPI0305432B1 (es)
CA (1) CA2460471C (es)
DE (3) DE60324480D1 (es)
DK (3) DK1406451T3 (es)
ES (4) ES2277092T3 (es)
MX (1) MXPA04001979A (es)
MY (1) MY135048A (es)
PT (2) PT1742479E (es)
SI (2) SI1406451T1 (es)
TW (10) TWI280058B (es)
WO (1) WO2004008774A1 (es)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7339955B2 (en) * 2000-09-25 2008-03-04 Pulse-Link, Inc. TDMA communication method and apparatus using cyclic spreading codes
ES2601356T3 (es) 2001-11-06 2017-02-14 Panasonic Intellectual Property Corporation Of America Método de codificación de imágenes en movimiento y método de decodificación de imágenes en movimiento
AU2003281129B2 (en) * 2002-07-11 2007-12-06 Panasonic Intellectual Property Corporation Of America Picture encoding method and picture decoding method
JP3513148B1 (ja) 2002-10-11 2004-03-31 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、及び動画像復号プログラム
US7400683B2 (en) * 2003-11-18 2008-07-15 Lsi Corporation Device with virtual tilized image memory
US7590059B2 (en) * 2004-05-21 2009-09-15 Broadcom Corp. Multistandard video decoder
US7751324B2 (en) * 2004-11-19 2010-07-06 Nokia Corporation Packet stream arrangement in multimedia transmission
EP1819170A4 (en) * 2004-12-02 2010-04-14 Sony Corp DEVICE, METHOD, AND ENCODING PROGRAM
US9219917B2 (en) * 2005-01-19 2015-12-22 Thomson Licensing Method and apparatus for real time parallel encoding
US8498340B2 (en) * 2006-04-04 2013-07-30 Himax Technologies Limited Method and device for decoding and displaying video frames
US7949054B2 (en) 2006-06-01 2011-05-24 Microsoft Corporation Flexible data organization for images
CN101502096B (zh) * 2006-08-10 2013-06-26 佳能株式会社 图像解码设备
JP2008124772A (ja) * 2006-11-13 2008-05-29 Hitachi Ltd 符号化装置及び符号化方法
JP5008484B2 (ja) * 2007-07-11 2012-08-22 株式会社日立国際電気 映像処理方法
US8503527B2 (en) 2008-10-03 2013-08-06 Qualcomm Incorporated Video coding with large macroblocks
CN102118537B (zh) * 2009-12-31 2015-04-15 深圳富泰宏精密工业有限公司 图片错误隐藏系统及方法
JP2011199396A (ja) * 2010-03-17 2011-10-06 Ntt Docomo Inc 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法、及び動画像予測復号プログラム
US9451285B2 (en) * 2010-04-16 2016-09-20 Sk Telecom Co., Ltd. Inter-prediction method and video encoding/decoding method using the inter-prediction method
KR101750495B1 (ko) * 2010-04-16 2017-06-27 에스케이텔레콤 주식회사 인터 예측 방법 및 그 인터 예측 방법을 이용한 동영상 부호화/복호화 방법
EP2905952A1 (en) * 2011-03-10 2015-08-12 Panasonic Intellectual Property Management Co., Ltd. Video processing device and synchronization signal output method
PL3229474T3 (pl) 2011-06-30 2019-05-31 Ericsson Telefon Ab L M Sygnalizacja obrazu referencyjnego
PL2755389T3 (pl) 2011-09-09 2019-06-28 Lg Electronics Inc. Sposób predykcji inter i urządzenie do niego
US9106927B2 (en) 2011-09-23 2015-08-11 Qualcomm Incorporated Video coding with subsets of a reference picture set
JP5698644B2 (ja) * 2011-10-18 2015-04-08 株式会社Ｎｔｔドコモ 動画像予測符号化方法、動画像予測符号化装置、動画像予測符号化プログラム、動画像予測復号方法、動画像予測復号装置及び動画像予測復号プログラム
US9264717B2 (en) 2011-10-31 2016-02-16 Qualcomm Incorporated Random access with advanced decoded picture buffer (DPB) management in video coding
US9473752B2 (en) 2011-11-30 2016-10-18 Qualcomm Incorporated Activation of parameter sets for multiview video coding (MVC) compatible three-dimensional video coding (3DVC)
WO2013162249A1 (ko) 2012-04-23 2013-10-31 엘지전자 주식회사 비디오 인코딩 방법, 비디오 디코딩 방법 및 이를 이용하는 장치
CN103389879B (zh) 2012-05-10 2016-08-17 慧荣科技股份有限公司 电子装置以及由电子装置传送数据至显示设备的方法
US9762903B2 (en) * 2012-06-01 2017-09-12 Qualcomm Incorporated External pictures in video coding
CN104396256B (zh) 2012-06-29 2018-11-06 威勒斯媒体国际有限公司 解码设备和解码方法
US20160041996A1 (en) 2014-08-11 2016-02-11 Netapp, Inc. System and method for developing and implementing a migration plan for migrating a file system
CN105917651B (zh) * 2014-05-30 2019-05-14 富士通株式会社 图像编码方法、装置以及图像处理设备
WO2017033353A1 (ja) * 2015-08-25 2017-03-02 川崎重工業株式会社 遠隔操作ロボットシステム
US10404979B2 (en) * 2016-03-17 2019-09-03 Mediatek Inc. Video coding with interpolated reference pictures

Family Cites Families (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6230376A (ja) 1985-07-31 1987-02-09 Fujitsu Ltd 薄膜トランジスタの製造方法
JP2969782B2 (ja) 1990-05-09 1999-11-02 ソニー株式会社 符号化データ編集方法及び符号化データ編集装置
JPH05137131A (ja) * 1991-11-13 1993-06-01 Sony Corp フレーム間動き予測方法
JPH05308622A (ja) * 1992-04-28 1993-11-19 Mitsubishi Electric Corp 画像符号化・復号化装置
JP3189257B2 (ja) * 1992-05-21 2001-07-16 ソニー株式会社 画像符号器
JPH0638197A (ja) * 1992-06-30 1994-02-10 Sony Corp 符号器、復号器、および符号化方法
US5398072A (en) * 1993-10-25 1995-03-14 Lsi Logic Corporation Management of channel buffer in video decoders
US5892882A (en) * 1994-03-23 1999-04-06 Pioneer Electronic Corporation Moving picture decoding device having a compressed picture data memory
US6009231A (en) * 1994-09-05 1999-12-28 Sony Corporation Reproduction of information using a ring buffer with read and write pointers separated from each other by substantially half of the total ring buffer capacity
TW330263B (en) * 1994-10-12 1998-04-21 Winbond Electronics Corp Digital video decoding system and method
JP3694912B2 (ja) * 1995-02-23 2005-09-14 株式会社日立製作所 メモリ制御方法及び画像復号装置
US5724446A (en) * 1995-04-18 1998-03-03 Advanced Micro Devices, Inc. Video decoder apparatus using non-reference frame as an additional prediction source and method therefor
TW257848B (en) * 1995-04-19 1995-09-21 Silicon Integrated Sys Corp Adaptive display memory management system and method thereof
JP3704356B2 (ja) * 1995-07-21 2005-10-12 株式会社 日立製作所 符号化映像信号の復号化装置およびそれを用いた蓄積復号化装置
US5936670A (en) * 1995-09-20 1999-08-10 U.S. Philips Corporation Method and device for decoding coded digital video signals
US5764921A (en) * 1995-10-26 1998-06-09 Motorola Method, device and microprocessor for selectively compressing video frames of a motion compensated prediction-based video codec
JP3535297B2 (ja) * 1996-01-26 2004-06-07 ローム株式会社 画像データ復号方法およびこの方法を用いた画像データ復号装置
JP3183155B2 (ja) * 1996-03-18 2001-07-03 株式会社日立製作所 画像復号化装置、及び、画像復号化方法
WO1997035422A1 (en) * 1996-03-19 1997-09-25 Mitsubishi Denki Kabushiki Kaisha Encoder, decoder and methods used therefor
JPH1013841A (ja) 1996-06-20 1998-01-16 Oki Electric Ind Co Ltd 画像復号方法および画像復号装置
JPH1013791A (ja) * 1996-06-24 1998-01-16 Matsushita Electric Ind Co Ltd 映像信号復号化方法，及び映像信号復号化装置
TW351903B (en) * 1996-07-03 1999-02-01 Matsushita Electric Ind Co Ltd Encoding method, encoding apparatus, decoding and compositing method, decoding and composition appratus, and record medium recorded with the aforesaid methods for multiple images
AU718453B2 (en) * 1996-07-17 2000-04-13 Sony Corporation Image coding and decoding using mapping coefficients corresponding to class information of pixel blocks
US6006231A (en) * 1996-09-10 1999-12-21 Warp 10 Technologies Inc. File format for an image including multiple versions of an image, and related system and method
US6104752A (en) * 1996-10-01 2000-08-15 Victor Company Of Japan, Ltd. Apparatus and method of decoding high efficiency coded picture data with picture size resizing
US5909224A (en) * 1996-10-18 1999-06-01 Samsung Electronics Company, Ltd. Apparatus and method for managing a frame buffer for MPEG video decoding in a PC environment
US6002438A (en) 1996-10-25 1999-12-14 Texas Instruments Incorporated Method and apparatus for storing decoded video information
JP3599942B2 (ja) * 1997-02-13 2004-12-08 三洋電機株式会社 動画像符号化方法、及び動画像符号化装置
JPH10257499A (ja) 1997-03-17 1998-09-25 Matsushita Electric Ind Co Ltd 動画像符号化装置および方法
JPH10322643A (ja) 1997-03-19 1998-12-04 Fujitsu Ltd 画像データ処理方法及び装置
JP3373130B2 (ja) * 1997-03-24 2003-02-04 沖電気工業株式会社 画像復号化装置
DE19727542A1 (de) * 1997-06-28 1999-01-07 Thomson Brandt Gmbh Verfahren zur Regenerierung der Originaldaten eines digital codierten Videofilms und Vorrichtung zur Durchführung des Verfahrens
JPH1141605A (ja) 1997-07-17 1999-02-12 Nippon Telegr & Teleph Corp <Ntt> 画像符号化装置および画像復号装置
JP4010024B2 (ja) * 1997-09-02 2007-11-21 ソニー株式会社 圧縮動画像信号のデコード装置
KR100301826B1 (ko) * 1997-12-29 2001-10-27 구자홍 비디오디코더
US6959045B2 (en) * 1997-12-30 2005-10-25 Mediatek, Inc. Reduced cost decoder using bitstream editing for image cropping
JPH11275580A (ja) * 1998-03-24 1999-10-08 Sony Corp 画像データ処理装置、画像データ復号装置及び画像データ符号化装置並びにそれらの方法
KR100284696B1 (ko) * 1998-06-29 2001-03-15 윤종용 Mpeg 복호 블럭에서의 수평/수직 주파수 변환장치
JP2000050272A (ja) * 1998-07-31 2000-02-18 Sony Corp 復号化装置及び方法
JP2000059794A (ja) 1998-08-14 2000-02-25 Nippon Telegr & Teleph Corp <Ntt> 画像符号化データ作成方法，そのプログラム記憶媒体，画像符号化データ作成装置，画像通信方法および画像通信システム
FR2782437B1 (fr) * 1998-08-14 2000-10-13 Thomson Multimedia Sa Procede de commutation de flux mpeg
US6243140B1 (en) 1998-08-24 2001-06-05 Hitachi America, Ltd Methods and apparatus for reducing the amount of buffer memory required for decoding MPEG data and for performing scan conversion
US6490324B1 (en) * 1998-12-08 2002-12-03 Stmicroelectronics, Inc. System, method and apparatus for a variable output video decoder
JP2000232649A (ja) * 1998-12-10 2000-08-22 Fujitsu Ltd Ｍｐｅｇビデオ復号器及びｍｐｅｇビデオ復号方法
US6658056B1 (en) * 1999-03-30 2003-12-02 Sony Corporation Digital video decoding, buffering and frame-rate converting method and apparatus
JP2000324484A (ja) 1999-05-13 2000-11-24 Hitachi Ltd 画像データ処理装置
JP2001094941A (ja) * 1999-09-27 2001-04-06 Matsushita Electric Ind Co Ltd 圧縮画像処理装置及び圧縮画像処理方法
JP2001223987A (ja) * 1999-11-11 2001-08-17 Matsushita Electric Ind Co Ltd メモリ管理方法、画像符号化方法、画像復号化方法、画像表示方法、メモリ管理装置、メモリ管理プログラム記録媒体
US6836273B1 (en) 1999-11-11 2004-12-28 Matsushita Electric Industrial Co., Ltd. Memory management method, image coding method, image decoding method, image display method, memory management apparatus, and memory management program storage medium
US6697426B1 (en) * 2000-03-17 2004-02-24 Koninklijke Philips Electronics N.V. Reduction of layer-decoding complexity by reordering the transmission of enhancement layer frames
EP1156674A1 (en) * 2000-05-19 2001-11-21 THOMSON multimedia Method and device for decoding a video data stream in special reproduction modes
EP1347651A1 (en) * 2000-12-20 2003-09-24 Mitsubishi Denki Kabushiki Kaisha Method and apparatus for decoding motion video image
US6680973B2 (en) * 2001-03-29 2004-01-20 Koninklijke Philips Electronics N.V. Scalable MPEG-2 video decoder with selective motion compensation
JP2003274412A (ja) 2002-03-14 2003-09-26 Matsushita Electric Ind Co Ltd 画像符号化方法および画像復号化方法
AU2003281129B2 (en) * 2002-07-11 2007-12-06 Panasonic Intellectual Property Corporation Of America Picture encoding method and picture decoding method
AU2003241696A1 (en) * 2002-07-26 2004-02-16 Matsushita Electric Industrial Co., Ltd. Moving picture encoding method, moving picture decoding method, and recording medium
JP3554729B2 (ja) * 2002-07-30 2004-08-18 沖電気工業株式会社 画像処理装置
KR100543453B1 (ko) * 2003-04-24 2006-01-23 삼성전자주식회사 디지털 비디오 스트림의 역재생시 비트율을 제어하기 위한 장치 및 그 방법
JP4281720B2 (ja) * 2004-10-26 2009-06-17 ソニー株式会社 データ処理装置、データ処理方法、データ処理システム、プログラムおよび記録媒体
JP5328329B2 (ja) 2008-12-10 2013-10-30 キヤノン株式会社 インクジェット記録装置

Also Published As

Publication number Publication date
TWI638565B (zh) 2018-10-11
PT2278816E (pt) 2013-05-10
ATE443972T1 (de) 2009-10-15
TW201534110A (zh) 2015-09-01
US8155206B2 (en) 2012-04-10
EP1406451A4 (en) 2004-07-07
TW200401568A (en) 2004-01-16
ATE548856T1 (de) 2012-03-15
TW201720167A (zh) 2017-06-01
US20070076801A1 (en) 2007-04-05
SI1742479T1 (sl) 2009-12-31
JP2014014143A (ja) 2014-01-23
JP2012124949A (ja) 2012-06-28
CA2460471A1 (en) 2004-01-22
JP5602294B2 (ja) 2014-10-08
US20140133561A1 (en) 2014-05-15
TWI573442B (zh) 2017-03-01
MY135048A (en) 2008-01-31
JP5647719B2 (ja) 2015-01-07
DE60324480D1 (de) 2008-12-11
EP1742479A3 (en) 2007-03-14
TWI575946B (zh) 2017-03-21
JP4651685B2 (ja) 2011-03-16
JP5412538B2 (ja) 2014-02-12
DE60329427D1 (de) 2009-11-05
ES2330555T3 (es) 2009-12-11
US20140133577A1 (en) 2014-05-15
AU2003281129B2 (en) 2007-12-06
US9088783B2 (en) 2015-07-21
JP4914459B2 (ja) 2012-04-11
KR100961037B1 (ko) 2010-06-01
US9088781B2 (en) 2015-07-21
US7995658B2 (en) 2011-08-09
KR20080073367A (ko) 2008-08-08
BR0305432A (pt) 2004-09-28
WO2004008774A1 (ja) 2004-01-22
TW201404181A (zh) 2014-01-16
TW201534112A (zh) 2015-09-01
JP4914515B2 (ja) 2012-04-11
US9094666B2 (en) 2015-07-28
JP5647718B2 (ja) 2015-01-07
KR100959969B1 (ko) 2010-05-27
US8073059B2 (en) 2011-12-06
EP1742480A3 (en) 2007-02-28
JP2014014144A (ja) 2014-01-23
EP1406451B1 (en) 2007-01-03
BRPI0305432B1 (pt) 2018-07-03
EP1742480A2 (en) 2007-01-10
TW201534111A (zh) 2015-09-01
TW200723891A (en) 2007-06-16
JP2008172821A (ja) 2008-07-24
EP1742479B1 (en) 2009-09-23
DK1406451T3 (da) 2007-02-05
TWI573447B (zh) 2017-03-01
ATE413067T1 (de) 2008-11-15
US8189680B2 (en) 2012-05-29
EP2278816B1 (en) 2013-04-24
KR20080073781A (ko) 2008-08-11
MXPA04001979A (es) 2004-08-02
CN100361535C (zh) 2008-01-09
TWI379595B (en) 2012-12-11
TWI320664B (en) 2010-02-11
JP2014014142A (ja) 2014-01-23
EP1406451A1 (en) 2004-04-07
US20150262377A1 (en) 2015-09-17
US20080056380A1 (en) 2008-03-06
JP2010283878A (ja) 2010-12-16
EP2278816A3 (en) 2011-09-21
EP2053863A1 (en) 2009-04-29
ATE350861T1 (de) 2007-01-15
US9412177B2 (en) 2016-08-09
US7206347B2 (en) 2007-04-17
US20050058206A1 (en) 2005-03-17
US8660192B2 (en) 2014-02-25
US9088782B2 (en) 2015-07-21
SI1406451T1 (sl) 2007-04-30
US9390512B2 (en) 2016-07-12
US20140133578A1 (en) 2014-05-15
CN1557097A (zh) 2004-12-22
TW201536033A (zh) 2015-09-16
DE60310842T2 (de) 2007-10-11
KR100961036B1 (ko) 2010-06-01
DK2278816T3 (da) 2013-05-21
KR20050018795A (ko) 2005-02-28
US20140133572A1 (en) 2014-05-15
EP1742479A2 (en) 2007-01-10
EP1742480B1 (en) 2008-10-29
DK1742479T3 (da) 2009-12-14
TWI280058B (en) 2007-04-21
JP2010283880A (ja) 2010-12-16
CN101179733A (zh) 2008-05-14
DE60310842D1 (de) 2007-02-15
CA2460471C (en) 2012-02-07
JP2009153175A (ja) 2009-07-09
AU2003281129A1 (en) 2004-02-02
TW200723890A (en) 2007-06-16
TWI492636B (zh) 2015-07-11
US20120213287A1 (en) 2012-08-23
US20080056379A1 (en) 2008-03-06
EP2053863B1 (en) 2012-03-07
CN101179733B (zh) 2011-11-02
US20150262324A1 (en) 2015-09-17
TW201105146A (en) 2011-02-01
TWI573446B (zh) 2017-03-01
TWI414187B (zh) 2013-11-01
US20080056378A1 (en) 2008-03-06
ES2277092T3 (es) 2007-07-01
EP2278816A2 (en) 2011-01-26
JP5037657B2 (ja) 2012-10-03
PT1742479E (pt) 2009-11-17
ES2317444T3 (es) 2009-04-16

Similar Documents

Publication Publication Date Title
ES2420583T3 (es) Gestión de memoria intermedia de postdescodificador para un flujo de bits MPEG H.264-SVC
ES2297187T3 (es) Procedimiento de decodificacion de imagenes s mediante reinicio de la memoria intermedia y reclasificacion de pn para continuidad.
ES2536543T3 (es) Dispositivo de codificación de imágenes en movimiento y dispositivo de decodificación de imágenes en movimiento
BRPI0216048B1 (pt) método e aparelho de codificação de figuras móveis
JP4562999B2 (ja) 画像復号化方法および画像復号化装置