ES2241034T3

ES2241034T3 - Dispositivo de codificacion de decodificacion de imagenes en movimiento.

Info

Publication number: ES2241034T3
Application number: ES97902581T
Authority: ES
Inventors: Hiroyuki Katata; Norio Ito; Tomoko Aono; Hiroshi Kusao; Shuichi Watanabe
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 1996-02-07
Filing date: 1997-02-05
Publication date: 2005-10-16
Anticipated expiration: 2017-02-05
Also published as: DE69733007T2; EP0880286A4; DE69733007D1; US6466622B2; EP1343328A2; EP1343328A8; US20030007557A1; US6148030A; US20010026586A1; US6324215B1; EP1343328A3; US6678326B2; WO1997029595A1; EP0880286A1; EP0880286B1

Abstract

LA INVENCION SE REFIERE A UN APARATO CODIFICADOR Y DECODIFICADOR DE IMAGENES EN MOVIMIENTO QUE SINTETIZA UNA PAGINA DE UNA CAPA INFERIOR EN UN CIERTO INSTANTE DE TIEMPO UTILIZANDO LA INFORMACION DE UNA PRIMERA AREA COMPONENTE DE UNA CAPA INFERIOR PRECEDENTE EN EL TIEMPO Y LA INFORMACION DE UNA SEGUNDA AREA COMPONENTE DE UNA CAPA INFERIOR SIGUIENTE EN EL TIEMPO. PARA UN AREA EN DONDE LAS AREAS COMPONENTES PRIMARIAS Y SECUNDARIAS ESTAN SOLAPADAS, O PARA UNA AREA QUE NO ES NI LA PRIMERA NI LA SEGUNDA AREA COMPONENTE EN LA PAGINA DE LA CAPA INFERIOR, LAS PAGINAS DE LA CAPAS INFERIORES PRECEDENTES Y SIGUIENTES EN EL TIEMPO SE SOMETEN A UN PROMEDIO PONDERADO PARA SU SINTETIZACION. PARA EL AREA CORRESPONDIENTE AL PRIMER AREA COMPONENTE SOLAMENTE, SE UTILIZA LA PAGINA DE LA CAPA INFERIOR SIGUIENTE EN EL TIEMPO, Y PARA EL AREA CORRESPONDIENTE A LA SEGUNDA AREA COMPONENTE, SOLO EN LA PAGINA DE LA CAPA INFERIOR SINTETIZADA, SE UTILIZA LA PAGINA DE LA CAPA INFERIOR PRECEDENTE EN EL TIEMPO, PARA SINTETIZAR LA CAPA INFERIOR.

Description

Dispositivo de codificación y decodificación de imágenes en movimiento.

Campo técnico

La presente invención está relacionada con un aparato de codificación y decodificación de imágenes en movimiento para codificar y decodificar los datos de las imágenes representadas de forma digital. Más específicamente, la presente invención está relacionada con un aparato de codificación y decodificación de imágenes en movimiento exento de la degradación de las imágenes.

Antecedentes del arte.

En la codificación de imágenes se ha estudiado un método de superposición de distintas secuencias de las imágenes en movimiento. En un artículo titulado "Esquema de codificación de imágenes con la utilización de representación por capas y plantillas múltiples" (Informe Técnico del IEICE, IE94-159, págs. 99-106 (1995) expone un método de formación de una nueva secuencia mediante la superposición de una secuencia de imágenes en movimiento como fondo y una secuencia de imágenes en movimiento de una imagen en movimiento componente como fondo (por ejemplo, una imagen de video de un carácter que se corte mediante una técnica cromática).

El artículo titulado "Escalabilidad temporal basada en el contenido de la imagen" ISO/IEC/JTCa/SC29/WG11 MPEG95/211(1995) expone un método de formación de una nueva secuencia mediante la superposición de una secuencia de imágenes en movimiento de imágenes en movimiento componentes que tienen una velocidad alta de cuadros en una secuencia de imágenes en movimiento que tiene una velocidad baja de cuadros.

De acuerdo con este método, con referencia a la figura 27, la codificación de predicción se lleva a cabo a una velocidad baja de cuadros en una capa inferior, y la codificación de predicción se ejecuta a una velocidad alta de cuadros solo en un área seleccionada (parte sombreada) de una capa superior. No obstante, el cuadro codificado en la capa inferior no está codificado en la capa superior, pero se copia la imagen decodificada de la capa inferior y se utiliza tal como es. Se supone que una parte a la cual pone atención el telespectador, tal como una figura o un carácter se encuentra elegida como el área seleccionada.

La figura 26 es un diagrama de bloques que muestra una parte principal de un aparato convencional de codificación y decodificación de imágenes en movimiento. Con referencia al lado izquierdo de la figura 26, en un aparato de codificación del aparato convencional de imágenes en movimiento y de codificación, la primera y segunda unidades de salto 801 y 802 reducen los cuadros de los datos de las imágenes en movimiento de entrada. Los datos de las imágenes de entrada llegan a tener una velocidad de cuadros menor y siendo introducidos en la unidad de codificación de la capa superior 803 y en la unidad de codificación de la capa inferior 804, respectivamente. Se supone que la velocidad de cuadros de la capa superior no es inferior a la velocidad de cuadros de la capa inferior.

La imagen en movimiento de entrada como un conjunto es codificada en la unidad de codificación de la capa inferior 804. Se utiliza como método de codificación el método internacionalmente estandarizado de la codificación de imágenes en movimiento tal como el método MPEG o H.261. La imagen decodificada de la capa inferior se forma en la unidad de codificación de la capa inferior 804, cuya imagen se utiliza para la predicción de la codificación al mismo tiempo, introducida en una unidad de superposición 805.

Solo se codifica el área seleccionada de la imagen en movimiento de entrada en la unidad de codificación de la capa superior 803 de la figura 26. Se utiliza también en este caso el método internacionalmente estandarizado de la codificación de imágenes en movimiento tal como el sistema MPEG o H.261. Solo se codifica el área seleccionada, no obstante, basándose en la información de la forma del área. No se codifica en la capa superior el cuadro que ya haya sido codificado en la capa inferior. La información de la forma del área representa la forma del área seleccionada como parte de la figura, y siendo una imagen binaria que asume el valor 1 en la posición del área seleccionada y el valor 0 en las demás posiciones. Solo se codifica el área seleccionada del imagen en movimiento en la unidad de codificación de la capa superior 803, y siendo introducida en la unidad de superposición 805.

La forma del área es codificada utilizando un código de cuantificación dirección de 8 valores en una unidad de codificación de forma del área 806. La figura 25 muestra el código de cuantificación direccional de 8 valores. Tal como puede observarse en la figura, el código de cuantificación direccional de 8 valores representa una dirección hacia un punto del píxel mediante un valor numérico, el cual se utiliza generalmente para representar un número digital.

En una posición del cuadro en la que se haya codificado un cuadro de la capa inferior, la unidad de superposición 805 da salida a una imagen decodificada de la capa inferior. En una posición del cuadro en la que no se haya codificado el cuadro de la capa inferior, la unidad de superposición forma una imagen mediante la utilización de imágenes codificadas de las dos capas inferior codificadas anterior y sucesiva del cuadro de interés, y una imagen decodificada de la capa superior del mismo instante en el tiempo, y dando salida a la imagen formada. La imagen aquí formada es introducida en la unidad de codificación de la capa superior 803 y siendo utilizada para la codificación de la predicción. El método de formación de la imagen en la unidad de superposición 805 es tal como sigue a continuación.

En primer lugar, se forma una imagen interpolada de dos capas inferiores. La imagen decodificada de una capa inferior en un instante en el tiempo t se representa mediante B (x, y, t). En este caso, x e y son las coordenadas que representan la posición del píxel en el espacio. Cuando se representan los puntos en el tiempo de las dos capas inferiores tal como t1 y t2, y el instante en el tiempo para la capa superior como t3 (en donde t1 < t3 < t2), la imagen interpolada I (x, y, t3) en el instante en el tiempo t3 se calculan de la forma siguiente:

... (1)I (x, y, t3) = [(t2 - t3) B (x, y, t1) + (t3 + t1) B (x, y, t2)] / (t2 - t1)

Posteriormente, la imagen decodificada E de la capa superior se superpone sobre la imagen interpolada I calculada según lo anterior. Para tal fin, la información de ponderación W (x, y, t) para la superposición se forma a partir de la información de la forma del área M (x, y, t) y se obtiene una imagen superpuesta S de acuerdo con la siguiente ecuación:

... (2)S (x, y, t) = [1 - W(x, y, t)] I (x, y, t) + E (x, y, t) W (x, y, t)

La información de la forma del área M (x, y, t) es una imagen binaria, la cual asume el valor 1 en el área seleccionada y el valor 0 en el exterior del área seleccionada. La imagen se hace pasar a través de un filtro pasabajos en una pluralidad de veces, lo que proporciona una información de ponderación W (x, y, t).

Más específicamente, la información de ponderación W (x, y, t) asume el valor 1 en el área seleccionada, el valor 0 en el exterior del área seleccionada, y un valor entre 0 y 1 en el límite del área seleccionada. La operación de la unidad de superposición 805 corresponde a lo descrito anteriormente.

Los datos codificados por la unidad de codificación de la capa inferior 804, unidad de codificación de la capa superior 803, y la unidad de codificación de la forma del área 806, están integrados mediante una unidad integrada de integración de datos, no mostrada, y siendo transmitidos o almacenados.

Se describirá a continuación el método de decodificación en el aparato convencional. Con referencia a la parte derecha de la figura 26, en el aparato de decodificación, los datos codificados se descomponen mediante una unidad de descomposición de datos codificados, no mostrados en los datos codificados para la capa inferior, datos codificados para la capa superior y los datos codificados para la forma del área. Los datos codificados se decodifican mediante una unidad de decodificación de la capa inferior 808, una unidad de decodificación de la capa superior 807, y una unidad de decodificación de la forma del área 809, tal como se muestra en la figura 26. La unidad de superposición 810 del aparato de decodificación es similar a la unidad de superposición 805 del aparato de codificación. Con la utilización de la imagen decodificada de la capa inferior y la imagen decodificada de la capa superior, las imágenes se superponen mediante el mismo método según lo descrito anteriormente con respecto a la parte de codificación. La imagen en movimiento superpuesta es visualizada en una pantalla, y siendo introducida en la unidad de decodificación de la capa superior 807 a utilizar para la predicción de la capa superior.

A través de un aparato de decodificación para decodificar ambas capas inferior y superior según lo descrito, en un aparato de decodificación que tiene solo una unidad para decodificar la capa inferior, no serán necesarias la unidad de decodificación de la capa superior 807 y la unidad de superposición 810. Como resultado de ello, la parte de los datos codificados puede ser reproducida con una escala menor de equipamiento físico.

En el arte convencional, según lo representado por la ecuación (1), cuando la imagen de salida tiene que obtenerse a partir de dos imágenes de la capa inferior decodificadas y una imagen decodificada de la capa superior, se ejecuta la interpolación entre dos capas inferiores. En consecuencia, cuando una posición del área seleccionada cambia en el tiempo, se produciría una distorsión considerable alrededor del área seleccionada, degradando mucho la calidad de la imagen.

Las figuras 28A a 28C son ilustraciones del problema. Con referencia a la figura 28A, las imágenes A y C representan dos imágenes decodificadas de la capa inferior, y la imagen B es una imagen decodificada de la capa superior, y el tiempo de visualización es el orden de A, B y C. En este caso, las áreas seleccionadas están sombreadas. En la capa superior, solo está codificada el área seleccionada, y por tanto las áreas exteriores al área seleccionada están representadas por líneas de puntos. Conforme se desplaza el área seleccionada, la imagen interpolada obtenida a partir de las imágenes A y C tiene dos áreas seleccionadas superpuestas tal como se muestra por la parte filtrada de la figura 28B.

Cuando la imagen B se superpone utilizando la información de ponderación, la imagen de salida tiene tres áreas seleccionadas superpuestas tal como se muestra en la figura 28C. Particularmente, en torno (exterior) al área seleccionada de la capa superior, las áreas seleccionadas de las capas inferiores aparecen de forma similar a imágenes posteriores, las cuales degradan significativamente la calidad de la imagen. Cuando se visualiza solamente la capa inferior, o existe la distorsión anteriormente mencionada en la imagen en movimiento como conjunto, y cuando se visualiza la imagen superpuesta de las capas superior e inferior, aparece entonces la distorsión antes mencionada, y por tanto se genera la distorsión del tipo de parpadeo en la imagen en movimiento, la cual provoca una degradación extremadamente fuerte en la calidad de la imagen.

El método de codificación de imágenes en movimiento de estandarización internacional (ISO/IEC MPEG4), propone la codificación, decodificación y sintetización de imágenes que tienen una pluralidad de partes componentes mediante un aparato de codificación y un aparato de decodificación que tiene estructuras jerárquicas tales como las mostradas en la figura 29. En este caso, la imagen de los componentes se refiere a una imagen cortada como un componente, tal como un carácter o un objeto en la imagen en movimiento. La imagen común en movimiento en sí es tratada también como una de las imágenes componentes. Generalmente, entre los datos codificados, los números de identificación de las imágenes componentes respectivas son codificados, y en la parte de decodificación, los números de identificación son decodificados y basados sobre los números de identificación decodificados, seleccionándose los datos codificados correspondientes a las imágenes componentes deseadas.

Las figuras 30A a 30E muestran esquemáticamente las imágenes componentes y la forma de sintetizar las imágenes. La imagen componente 1 de la figura 30A es una imagen en movimiento común que representa un fondo, y la imagen componente 2 de la figura 30B se una imagen en movimiento obtenida durante el corte de una figura solamente. La imagen componente 3 de la figura 30C es una imagen en movimiento obtenida mediante el corte de solo un coche. Cuando solamente se decodifica la imagen componente 1 entre los datos codificados, se obtendrá una imagen solo del fondo correspondiente a la figura 30A. Cuando se decodifican y se sintetizan las imágenes componentes 1 y 2, se reproducirá un imagen tal como la mostrada en la figura 30D. Cuando se decodifica la imagen componente 3 y estas tres imágenes componentes son sintetizadas, se reproducirá una imagen tal como la mostrada en la figura 30E. En este caso, dicha naturaleza jerárquica es denominada como la jerarquía de imágenes componentes.

Los aparatos convencionales de codificación y decodificación que tiene una estructura jerárquica tal como la descrita anteriormente no tienen la función de codificar y decodificar jerárquicamente la calidad de la imagen de cada imagen componente. En este caso, la calidad de la imagen se refiere a la resolución espacial de la imagen componente, numero de niveles de cuantificación, velocidad de cuadros y así sucesivamente.

Exposición de la invención

Los aspectos de la invención se encuentran expuestos en las reivindicaciones adjuntas. Breve descripción de los dibujos.

La figura 1 es un diagrama de bloques que muestra una parte principal de un aparato de codificación y decodificación de imágenes, de acuerdo con un primer ejemplo.

La figura 2 es un diagrama de bloques que muestra una parte principal de un aparato de codificación y decodificación de imágenes de acuerdo con un segundo ejemplo.

La figura 3 es una ilustración relacionada con un primer diagrama de la presente invención.

La figura 4 es un diagrama de bloques que muestra un proceso cuando se extrae una forma del área mediante la utilización de datos codificados de una capa inferior.

La figura 5 es un diagrama de bloques que muestra una parte principal cuando se extrae una forma del área utilizando una forma de área de una capa superior.

La figura 6 es una ilustración de un tercer ejemplo.

La figura 7 es una ilustración que muestra una modificación del tercer ejemplo.

La figura 8A y 8B son ilustraciones que muestran el efecto del primer ejemplo.

La figura 9 es una ilustración que muestra la extracción de una forma del área utilizando una forma de áreas de una capa superior.

La figura 10 es un diagrama de bloques que muestra una parte principal de un aparato de codificación y decodificación de imágenes.

La figura 11 es un diagrama de bloques que muestra el primer ejemplo.

La figura 12 es un diagrama de bloques que muestra el segundo ejemplo.

La figura 13 es un diagrama de bloques que muestra un ejemplo de una estructura de una unidad de codificación de la capa superior.

La figura 14 es un diagrama de bloques que muestra un ejemplo de una estructura de una unidad de decodificación de la capa superior.

La figura 15 es un diagrama de bloques que muestra una parte principal del aparato de codificación y decodificación de imágenes, de acuerdo con una realización de la presente invención.

Las figuras 16 a 18 son ilustraciones que muestran la estructura de una unidad de codificación de imágenes componentes de acuerdo con la realización.

Las figuras 19 a 21 son diagramas de bloques que muestran la estructura de la unidad de decodificación de imágenes componentes de acuerdo con la realización.

La figura 22 es un diagrama de bloques que muestra una estructura de una unidad de generación de números de identificación de imágenes de referencia.

La figura 23 es una ilustración que muestra la relación de referencia entre las imágenes componentes y la predicción de compensación del movimiento de las mismas.

La figura 24 muestra un ejemplo de un área de forma arbitraria de píxeles y los datos de la forma del área (código de cuantificación direccional de 8 posiciones).

La figura 25 es una ilustración que describe el código de cuantificación direccional de 8 posiciones.

La figura 26 es un diagrama de bloques que muestra los métodos de codificación y decodificación convencionales.

La figura 27 muestra el concepto del procesamiento en el aparato de codificación y decodificación convencional de imágenes.

Las figuras 28A y 28C son ilustraciones relacionadas con los problemas del aparato convencional de codificación y decodificación de imágenes.

La figura 29 es un diagrama de bloques que muestra una estructura de la parte principal del aparato convencional de codificación y decodificación de imágenes.

Las figuras 30A y 30B representan el concepto de las imágenes componentes y las la sintetización de imágenes componentes.

Modo óptimo de realización de la invención

(1) Primer ejemplo

La figura 10 es un diagrama de bloques que muestra una estructura esquemática del aparato de codificación y decodificación de imágenes de acuerdo con un primer ejemplo, el cual corresponde a la figura 26 que muestra el arte previo. Con referencia a la figura 10, el aparato de codificación 11 que constituye el aparato de codificación y decodificación de imágenes incluye una primera y segunda unidades de salto 1401 y 1402 a las cuales se introducen las imágenes en movimiento, una unidad de codificación de capa superior 1403A conectada a la primera unidad de salto 1401 a la cual son introducidos los datos saltados y los datos de la forma del área, una unidad de codificación de la capa inferior 1404, conectada a la segunda unidad de salto 1402 a la cual se introducen los datos saltados, y una unidad de superposición 1405A conectada a la unidad de codificación de la capa superior 1403A y la unidad de codificación de la capa inferior 1404, para superponer las imágenes de estas capas. El aparato de decodificación 21 incluye una unidad de decodificación de la capa superior 1406 que recibe los datos transmitidos desde el aparato de codificación 11 o bien siendo almacenados, una unidad de decodificación de la capa inferior 1407, y una unidad de superposición 1408 conectada a la unidad de decodificación de la capa superior 1406, y una unidad de decodificación de la capa inferior 1407 para superponer los respectivos datos decodificados. La imagen superpuesta de la imagen decodificada de la capa inferior y la imagen decodificada de la capa superior superpuesta en la unidad de superposición 1408 es suministrada a la siguiente etapa. La imagen decodificada de la capa inferior decodificada en la unidad de decodificación de la capa inferior 1407 es suministrada también a la siguiente etapa.

En el aparato de codificación 11, las operaciones de partes distintas a la unidad de codificación de la capa superior 1403A, unidad de superposición 1405A, unidad de decodificación de la capa superior 1406 y unidad de superposición 1408 son las mismas que las del arte previo descrito con referencia a la figura 26, y por tanto no se repetirá la descripción de las mismas.

Con referencia a la figura 1, se describirán los detalles de la unidad de codificación de la capa superior 1403A y unidad de superposición 1405A, que son las partes principales del aparato de codificación 11 de acuerdo con el primer ejemplo. La unidad de codificación de la capa superior 1403A incluye una unidad de codificación de los datos de los píxeles 102 que recibe como entrada los datos de los píxeles a través de un conmutador 101, una unidad de codificación de la forma del área 108 que recibe los datos de la forma, una unidad de multiplexado 106 que recibe los datos de las imágenes desde la unidad de codificación de los datos de los píxeles 102, y una unidad de codificación de la forma del área 103, una unidad de decodificación de la forma del área 105, conectada a una unidad de codificación de la forma del área 103 para decodificar la forma del área, y una unidad de decodificación de los datos de los píxeles 104, conectada a la unidad de codificación de los datos de los píxeles 102 para decodificar los datos de los píxeles.

La unidad de superposición 1405A incluye una primera unidad de retardo 107 conectada a una unidad de decodificación de la forma del área 105, una primera y segunda unidades de extracción del área 109 y 110, una segunda unidad de retardo 108 conectada a la primera unidad de retardo 107, un controlador 111 conectado a la primera y segunda unidades de extracción del área 109 y 110, una tercera unidad de retardo 115 conectadas a la unidad de decodificación de los datos de los píxeles 104, y una unidad de promedio ponderado 114 conectada a un conmutador 112, los datos de la primera unidad de retardo 107 y a la tercera unidad de retardo 115. Una salida de la unidad de promedio ponderado 114 es transmitida a la unidad de codificación de la capa superior 1403.

La unidad de superposición 1405A incluye además una cuarta unidad de retardo 116 que recibe las imágenes de la unidad de codificación de la capa inferior 1404, y una unidad de formación de imágenes interpoladas 113. Una salida de la cuarta unidad de retardo 116, la salida de la unidad de codificación de la capa inferior 1404 y la salida de la unidad de formación de la imagen interpolada 113 son conmutadas mediante el conmutador 112 y conectadas a la unidad de promedio ponderado 114. El controlador 111 controla a cual de las salidas del conmutador 112 tiene que conectarse. La unidad de superposición 1408 del aparato de decodificación 21 tiene la misma estructura que la unidad de superposición 1405A del aparato de codificación 11, y opera de la misma forma. La salida de la unidad de promedio ponderado 114 es, no obstante, introducida en la unidad de decodificación de la capa superior y visualizada en una pantalla por ejemplo.

Se describirá con referencia a la figura 1 la operación del primer ejemplo.

El conmutador 101 de la unidad de codificación de la capa superior 1403A conmuta entre los modos para codificar y no codificar los valores de los píxeles de una capa superior, bajo el control de un controlador no mostrado. Más específicamente, cuando se codifica un cuadro inferior correspondiente a la misma posición que la capa superior, el conmutador se controla para desconectarlo, de forma que los valores de los píxeles de la capa superior no se codifiquen. Cuando no se codifica el cuadro de la capa inferior correspondiente a la misma posición del cuadro que la capa superior, el conmutador se controla para que se conecte, de forma que se codifiquen los valores de los píxeles de la capa superior.

Cuando el conmutador 101 se encuentra en conexión activada, la unidad de codificación de datos de píxeles 102 codifica los datos de los píxeles de la capa superior. Como método se utiliza el método estandarizado internacionalmente tal como el MPEG o H.261. En el instante de la codificación, no obstante, los datos de la forma del área son introducidos a través de una línea de señales, no mostrada, desde la unidad de decodificación de la forma del área 105, y solo los datos de los píxeles son codificados. La unidad de codificación de la forma del área 103 codifica la forma del área mediante una función similar a la unidad de codificación de la forma del área 806 de la figura 26 descrita con referencia a los antecedentes del arte.

La unidad de decodificación de los datos de los píxeles 104 decodifica los datos de los píxeles codificados por la unidad de codificación de los datos de los píxeles 102. Aquí de nuevo, los datos de la forma del área son introducidos a través de una línea de señales no mostrada, desde la unidad de decodificación de la forma del área 105, y la decodificación se ejecuta basándose en los datos. Los datos de los píxeles decodificados son introducidos en la tercera unidad de retardo 115 y realimentados a la unidad de codificación de los datos de los píxeles a través de una línea de señales, no mostrada, y siendo utilizados para la predicción.

La unidad de decodificación de la forma del área 105 decodifica los datos de la forma del área codificados por la unidad de codificación de la forma del área 103, y dando salida a los datos decodificados hacia la primera unidad de retardo 107.

Tal como se ha descrito anteriormente, en la unidad de codificación de la capa superior de acuerdo con la presente realización, el conmutador 101 controla si la capa superior está codificada o no.

La unidad de superposición 1405A del presente ejemplo será descrita a continuación. La primera unidad de retardo 107 retarda los datos de la forma del área mediante los cuadros a. Los datos de la forma del área retardados son introducidos en la unidad de promedio ponderado 114. La segunda unidad de retardo 108 retarda los datos de la forma del área adicionalmente mediante los cuadros b. Los datos de la forma del área retardados son introducidos en la primera unidad de extracción del área 109, y en la segunda unidad de extracción del área 110. Los datos de la forma del área no retardados son introducidos también simultáneamente en estos circuitos. En este caso, los caracteres de referencia t+a, t, t-b en la línea de señales representas los puntos en el tiempo de los respectivos cuadros. En este caso, t, a y b representan números enteros.

La unidad de extracción de la primer área 109 extrae una segunda área y no una primera área, basándose en la información de la primera área y en la información de la segunda área. Este estado será descrito con referencia a las figuras 8A y 8B. La figura 8A muestra la relación posicional de la primera y segunda formas de las áreas con las formas del área decodificadas de acuerdo con los datos de la forma del área. La unidad de extracción de la primer área 109 extrae la parte filtrada 109A de la figura 8A. La unidad de extracción de la segunda área 110 extrae dicha área la cual es la primera área y no la segunda área basándose en la información de la primera área y en la información de la segunda área. En la figura 8A, se extrae la parte sombreada 110A.

El controlador 111 controla el conmutador 112 basándose en las salidas de la unidad de extracción de la primer área 109 y de la unidad de extracción 110 de la segunda área. Más específicamente, cuando la posición de un píxel de interés se encuentra solo en la primer área solamente, el conmutador 112 se conecta a la parte de la imagen decodificada en el instante del cuadro de (t+a); cuando la posición del píxel de interés se encuentra solamente en la segunda área, el conmutador 112 se conecta a la parte de decodificación en el instante del cuadro de (t-b), y por el contrario el conmutador 112 se conectará a una salida del la unidad de formación de la imagen interpolada 113.

La tercera unidad de retardo 115 retarda los datos de la imagen decodificados de la capa superior mediante unos cuadros, e introduce los datos de la imagen decodificada en el instante t en la unidad de promedio ponderado 114. La cuarta unidad de retardo 116 retarda los datos de la imagen decodificada de la capa inferior en (a+b) cuadros, y los introduce en la unidad de formación de imágenes interpoladas de la imagen decodificada 113 en el instante (t-b).

La unidad de formación de imágenes interpoladas 113 calcula una imagen interpolada a partir de la imagen decodificada en el instante del cuadro (t-b) de la capa inferior y la imagen decodificada en el instante (t+a) de la capa inferior, de acuerdo con la ecuación (1) descrita con respecto a los antecedentes del arte. En la ecuación (1), B (x, y, t1) representa una primara imagen decodificada, B(x, t, t2) representa la segunda imagen decodificada, e I(x, y, t3) representa la imagen interpolada. Los caracteres de referencia t1, t2 y t3 representan los puntos en el tiempo de la primera y segunda imágenes decodificadas y la imagen interpolada, respectivamente. En consecuencia, cuando se utilizan los caracteres de referencia de la figura 1, t1= t-b, t2 = t+a, y t3 = t.

Según lo descrito anteriormente, la sintetización de la capa inferior se ejecuta mediante la conmutación del conmutador 112. En consecuencia, en el ejemplo de la figura 8A, la segunda imagen decodificada (instante en el cuadro t+a) se utiliza para la parte sombreada, y por tanto aparecen los píxeles del fondo fuera del área seleccionada. Para la parte filtrada, se utiliza la primera imagen decodificada (tiempo del cuadro t-b), y por tanto aparecen los píxeles del fondo fuera del área seleccionada. En las demás partes, aparece la imagen interpolada de la primera y segunda imágenes decodificadas. Puesto que la imagen decodificada de la capa superior está superpuesta por la unidad de promedio ponderado 114 de la figura 1 en la capa inferior sintetizada de esta forma, la imagen superpuesta no tiene ninguna imagen posterior alrededor del área seleccionada (parte sombreada), tal como se muestra en la figura 8B, y por tanto se obtiene una imagen casi exenta de cualquier distorsión. La unidad de promedio ponderado 114 mostrada en la figura 1 se superpone, mediante el promedio ponderado, a la imagen interpolada anteriormente descrita, y la imagen decodificada de la capa superior. El método de superposición es similar a lo descrito con referencia a la técnica del fondo, y por tanto no se repetirá su descripción.

La figura 11 es un diagrama de bloques que muestra los componentes que constituyen la unidad de decodificación de la capa superior 1406 del aparato de decodificación 21 mostrado en la figura 10. Con referencia a la figura 11, la unidad de decodificación de la capa superior 1406 incluye una unidad divisora 1501, una unidad de decodificación de datos de los píxeles 1502 conectada a la unidad divisora 1501 a través del conmutador 1504, y una unidad de decodificación de la forma del área 1503 conectada a la unidad divisora 1501. La unidad divisora 1501 divide los datos codificados de la capa superior en los datos de los píxeles codificados y los datos de la forma del área codificados. El conmutador 1504 se desconecta en una posición del cuadro en donde solo está codificada la capa inferior, y se conecta de nuevo en una posición del cuadro en donde solo está codificada la capa superior. La unidad de decodificación de los datos de los píxeles 1502 decodifica los datos de los píxeles de la capa superior, y da salida a los píxeles decodificados hacia la unidad de superposición 1408. La unidad de decodificación de la forma del área 1503A decodifica los datos codificados de la forma del área, y da salida a los píxeles decodificados hacia la unidad de superposición 1408. La unidad de superposición 1408 superpone la capa superior sobre la capa inferior mediante la misma función que la unidad de superposición 1405.

(2) Segundo ejemplo

Se describirá a continuación el segundo ejemplo. En el presente ejemplo se proporciona un modo en el cual la forma del área no se codifica mediante la unidad de codificación de la capa superior, con el fin de reducir el número de bits para la codificación. Cuando la forma del área no cambia en su totalidad o apenas cambia con el tiempo, el número de bits puede ser reducido significativamente al utilizar el método del segundo ejemplo.

El segundo ejemplo está descrito en las figuras 2, 10 y 12. La figura 10 que se utiliza con referencia al primer ejemplo, es también aplicable al segundo ejemplo. En el segundo ejemplo, el aparato de codificación y decodificación de imágenes está constituido por el aparato de codificación 12 y el aparato de decodificación 22. Las operaciones de la unidad de codificación de la capa superior 1403B, unidad de decodificación de la capa superior 1406B, unidad de superposición 1405B y unidad de superposición 1408B de la figura 10 son distintas con respecto a las operaciones del primer ejemplo. Las diferencias en la operación se describirán a continuación.

La figura 2 es un diagrama de bloques que muestra las estructuras de la unidad de codificación de la capa superior 1403B y la unidad de superposición 1405B del segundo ejemplo. El conmutador 201 que constituye la unidad de codificación de la capa superior 1403B, la unidad de codificación de los datos de los píxeles 203, la unidad de codificación de la forma del área 204, la unidad de decodificación de los datos de los píxeles 205, la unidad de decodificación de la forma del área 206 y la unidad de multiplexado 207, son similares a las correspondientes de la primera realización, y por tanto no se repetirá su descripción.

Los conmutadores 202 y 208 están controlados por una unidad de control no mostrada, de forma que los conmutadores se conecten y se desconecten de forma simultánea. Cuando se codifica un cuadro de la capa inferior correspondiente a la misma posición del cuadro como la capa superior, los conmutadores se conectan, y es codificada la forma del área de la capa superior. Cuando no se codifica el cuadro de la capa inferior correspondiente a la misma posición del cuadro como capa superior, los conmutadores se desconectan, y no se codifica la forma del área de la capa superior.

La unidad de extracción de la forma del área 109 extrae una primera forma del área, basándose en los datos obtenidos en el aparato de codificación 22. De forma similar, la unidad de extracción de la segunda forma del área 210 extrae una segunda forma del área basándose en los datos obtenidos en el aparato de decodificación 22. Los datos obtenidos por el aparato de decodificación 22 incluyen la imagen decodificada de la capa inferior, una forma del área de la capa superior cuando el modo de codificación de la forma del área se encuentra activado (conmutadores 202 y 208 se encuentran conectados). Aunque no se muestra explícitamente en la figura 2, los datos son introducidos en cada una de las unidades de extracción de la forma del área 209 y 210, y se utilizan para extraer la forma del área.

La unidad de extracción de la primer área 211, la unidad de extracción de la segunda área 212, el controlador 203, conmutador 214, unidad de formación de la imagen interpolada 215 y la unidad de promedio ponderado 216, operan de forma similar que las correspondientes descritas en el primer ejemplo, y por tanto no se repetirá su descripción. La unidad de retardo 210 opera de forma similar a la cuarta unidad de retardo 216 de la figura 1.

La figura 12 es un diagrama de bloques que muestra los componentes de la unidad de decodificación de la capa superior de acuerdo con el segundo ejemplo. Con referencia a la figura, la unidad de decodificación de la capa superior 1406B incluye una unidad divisora 1601, a la cual se introducen los datos codificados de la capa superior, y la unidad de decodificación de datos de los píxeles 1602, y la unidad de decodificación de la forma del área 1603, conectadas a la unidad divisora 1601 a través de los conmutadores 1604 y 1605, respectivamente. La diferencia entre las figuras 11 y 12 consiste en que en la estructura de la figura 12 se proporciona un conmutador 1605. El conmutador 1605 se encuentra desconectado cuando no existen datos codificados del cuadro de la capa inferior correspondiente a la misma posición del cuadro en el instante de decodificación de la capa superior. Adicionalmente, el conmutador 1605 se encuentra conectado cuando la posición del cuadro es para decodificar los datos de los píxeles de la capa superior.

Tal como se ha descrito anteriormente, en el segundo ejemplo, cuando el cuadro de la capa inferior correspondiente a la misma posición del cuadro que la capa superior no está codificado en la unidad de codificación de la capa superior, los conmutadores 202 y 203 están desconectados, de forma que no se codifique la forma del área de la capa superior. En consecuencia, pueden reducirse el número de códigos.

En el primer y segundo ejemplos anteriormente descritos, la conexión/desconexión de los datos de los píxeles de codificación están conmutados mediante el conmutador 101 ó 201. La conmutación se ejecuta dependiendo de si el cuadro de la capa inferior correspondiente a la misma posición del cuadro que la capa superior se encuentra controlado o no, determinado por una unidad de control no mostrada en las figuras 1 y 2. La determinación puede hacerse simultáneamente en los aparatos de codificación 11, 12 y los aparatos de decodificación 21, 22. Al menos en los aparatos de decodificación 21 y 22, no obstante, los conmutadores pueden ser conmutados sin utilizar la unidad de control para efectuar dicha determinación. El método será descrito con referencia a la figura 3.

La figura 3 es un diagrama de bloques que muestra la parte del aparato de codificación y decodificación de imágenes en el cual un conmutador es conmutado sin utilizar una unidad de control. Con referencia a la figura 3, el aparato de codificación 12A incluye una primera unidad de generación de banderas 301 y una unidad de codificación de la segunda bandera 302. Un conmutador en la unidad de codificación de la capa superior 303 puede ser conmutado dependiendo de la bandera.

La unidad de generación de banderas 301 determina si está codificado o no el cuadro de la capa inferior correspondiente a la misma posición del cuadro en la capa superior, y generando una bandera. La unidad de codificación de la primera bandera 302 codifica la primera bandera, y los datos codificados se multiplexan sobre los datos codificados en una unidad de multiplexado, no mostrada, para ser transmitidos o almacenados. Como método de codificación de la bandera, se utiliza una codificación de longitud fija, codificación de longitud variable o similar.

La unidad de decodificación de la primera bandera 304 del aparato de decodificación 22A decodifica la primera bandera de los datos codificados, y suministra su salida a la unidad de decodificación de la capa superior 305. La conmutación de los conmutadores 1504 y 1604 incluidos en la unidad de decodificación de la capa superior, no se realiza la determinación para la conmutación anteriormente descrita, sino que los conmutadores se conmutan de acuerdo con la primera bandera decodificada.

Se describirá la unidad de extracción de la forma del área en el segundo ejemplo. En este caso, la forma del área se extrae basándose en los datos obtenidos en el aparato de decodificación 22. Los datos obtenidos en el aparato de decodificación 22 incluyen los datos decodificados de la capa inferior y los datos de la forma del área decodificados de la capa superior.

La figura 4 es un diagrama de bloques que muestra una estructura de la unidad de superposición 1408 cuando la forma del área es extraída utilizando los datos decodificados de la capa inferior. En la unidad de extracción de la forma de la primer área 402 se introduce una primera imagen decodificada de la capa inferior retardada por la unidad de retardo de la capa inferior 401, y en la unidad de extracción de la segunda área de forma 403 se introduce la imagen decodificada de la capa inferior sin retardo. Las unidades de extracción de la forma del área dividen cada una las áreas de las imágenes decodificadas de entrada para cortar la selección del área, y extraer las formas de las áreas. Como método de la división de las áreas, se utiliza el método de detección de bordes mediante el uso de una operación diferencial de segmentación morfológica o similar. Otras partes de la figura 4 funcionan de forma similar a la figura 2. En consecuencia, no se repetirá su descripción.

La figura 5 es un diagrama de bloques que muestra los componentes de la unidad de superposición 1408 cuando se utiliza la forma del área decodificada de la capa superior como los datos obtenidos por el aparato de decodificación. Con referencia a la figura 5, la unidad de superposición 1408 incluye las unidades de extracción 502 y 503 de la primera y segunda formas de las áreas, a las cuales se introducen las formas de las áreas decodificadas, unidades de extracción 504 y 505 de la primera y segunda áreas conectadas a las unidades de extracción 502 y 503 de la segunda forma del área, un controlador 506 conectado a las unidades de extracción 504, 505 de la primera y segunda áreas, una unidad de retardo 501 para retardar la imagen decodificada de la capa inferior, y la unidad de formación de la imagen interpolada 508 conectada a la unidad de retardo 501. La unidad de superposición incluye además una unidad de promedio ponderado 509. La unidad de promedio ponderado 509 recibe como entradas los datos de la imagen de la capa superior decodificada y los datos de forma del área decodificada, y superpone la imagen decodificada de la capa inferior retardada por la unidad de retardo 501, la imagen decodificada de la capa inferior no retardada, o la imagen interpolada formada por la unidad de formación de la imagen interpolada 508, mediante la conmutación del conmutador 507 bajo el control del controlador 506, sobre los datos de la imagen de la capa superior.

Con referencia a la figura 5, cuando la forma del área de la capa superior está codificada, los datos decodificados son introducidos en las unidades de extracción 502 y 503 de la primera y segunda formas de las áreas. Cada una de las unidades de extracción de la forma del área 502 y 503 almacenan la forma del área decodificada, y extraen la forma del área correspondiente al cuadro de la capa inferior. Con referencia a la figura 9, por ejemplo, es posible un método en el cual la forma del área de la posición del cuadro de la capa inferior se extraiga mediante una transformación afín de representación de la translación, rotación, ampliación y reducción de las formas 1 y 2 de las áreas decodificadas de las capas superiores precedentes y subsiguientes del cuadro de la capa inferior.

Para dicho fin, en primer lugar, se calcula la transformación afín de la forma del área 1 a la forma del área 2. Más específicamente, se calcula un parámetro de transformación afín que se aproxime a la forma del área 2 mediante la transformación de la forma del área 1. Posteriormente, se calcula una transformación afín desde la forma del área 1 sobre el cuadro de la capa inferior, mediante la interpolación lineal del coeficiente de transformación. Mediante la utilización de la transformación afín, puede calcularse la forma del área sobre el cuadro de la capa inferior. Aparte de la transformación afín, la predicción de la forma del área 1 a la forma del área 2 puede ejecutarse mediante la coincidencia de bloques, y la forma del área en el cuadro de la capa inferior puede calcularse mediante la interpolación lineal del resultado. Alternativamente, es posible utilizar la forma del área 1 ó 2 tal como sea en si misma como la forma del área sobre el cuadro de la capa inferior.

En el segundo ejemplo, el conmutador 202 de la figura 2 es desconectado durante el cuadro en el que la capa inferior no está codificada, y el conmutador 202 se conecta en una posición del cuadro en la que los datos de los píxeles de la capa superior están codificados. No obstante, puede ser posible un control diferente. Por ejemplo, el cambio de la forma del área en el tiempo puede ser examinado y el conmutador 202 puede ser desconectado cuando exista apenas un cambio, y los conmutadores pueden ser conectados de otra forma. Cuando el conmutador está desconectado, puede utilizarse como datos de la forma del área decodificados una copia de los datos de la forma del área codificados y decodificados inmediatamente antes.

(3) Tercer ejemplo

Se describirá el tercer ejemplo. En el tercer ejemplo, se proporciona un modo en el cual no se ejecuta la sintetización de la capa inferior descrita en el primer y segundo ejemplo, cuando no existan datos decodificados de la capa inferior correspondientes a la posición del cuadro de la capa superior en el instante de decodificación de la capa superior. Si la forma del área no cambia mucho con el tiempo, por ejemplo, el problema descrito en los antecedentes del arte es despreciable, y por tanto no será necesaria la sintetización del cuadro de la capa inferior. Incluso si la forma del área cambia significativamente, puede seleccionarse el modo en el cual no se ejecute la sintetización de la capa inferior, con el fin de no incrementar la cantidad de procesamiento del aparato de codificación 13 y el aparato de decodificación 23 que constituye el aparato de codificación y decodificación de imágenes del tercer ejemplo. Para dicho fin, se proporcionan una unidad generadora de la segunda bandera 601 y una unidad de codificación de la segunda bandera 602 en el aparato de codificación de imágenes 13, tal como se muestra en la figura 6, y la unidad de decodificación de la segunda bandera 604 está provista en el aparato de decodificación de imágenes 23. En la figura 6, los componentes 1401, 1402, 1403, 1404, 1406 y 1407 son similares a los mostrados en la figura 10.

La unidad de generación de la segunda bandera 601 de la figura 6 genera una bandera que indica si el cuadro de la capa inferior tiene que ser sintetizado. La unidad de superposición 603 conmuta la operación para sintetizar y no sintetizar el cuadro de la capa inferior, de acuerdo con la segunda bandera. La unidad de codificación de la segunda bandera 602 codifica la segunda bandera, con los datos codificados multiplexados con los datos codificados en una unidad de multiplexado, no mostrada, para ser transmitidos o almacenados. En cuanto al método de codificación de la bandera, puede utilizarse la codificación de longitud fija, la codificación de longitud variable o similar.

La unidad de decodificación de la segunda bandera 604 en el aparato de decodificación 23 decodifica la segunda bandera de los datos codificados y da salida hacia la unidad de superposición 605. En la unidad de superposición 605, la conmutación entre si la capa inferior tiene que ser sintetizada o no se ejecuta de acuerdo con la segunda bandera decodificada.

Cuando la sintetización de la capa inferior no se ejecuta en el tercer ejemplo, se utiliza cualquiera de los cuadros de la capa inferior anterior y siguiente que hayan sido codificados y decodificados en la capa inferior en lugar del cuadro de la capa inferior sintetizado. La configuración del circuito en este caso es la que se muestra en la figura 7. La figura 7 es un diagrama de bloques que muestra una parte principal de la unidad de superposición 605 en esta situación. Con referencia a la figura 7, la unidad de superposición 605 incluye una unidad de codificación de datos de los píxeles 703 que recibe los datos de los píxeles a través de un conmutador 701, una unidad de codificación de la forma del área 704 que recibe la información del área a través del conmutador 702, una unidad de decodificación de los datos de los píxeles 705, conectada a la unidad de codificación de los datos de los píxeles 703 y la unidad de codificación de la forma del área 704, una unidad de multiplexado 707, una unidad de decodificación de la forma del área 706, y una unidad de promedio ponderado 11 conectada a la unidad de decodificación de los datos de los píxeles 705 y la unidad de decodificación de la forma del área 706. Los datos de la imagen decodificada de la capa inferior o los datos de la unidad de sintetización de la capa inferior 709 son introducidos a través de un conmutador 710 a la unidad de promedio ponderado 711.

Se describirá a continuación la operación del circuito mostrado en la figura 7. En primer lugar, la imagen decodificada de la capa inferior o de los cuadros de la capa inferior sintetizados por la unidad de sintetización de la capa inferior 709 es conmutada por el conmutador 710 e introducida en la unidad de promedio ponderado 711. En la unidad de sintetización de la capa inferior 709 de la figura 7, el cuadro de la capa inferior es sintetizado de acuerdo con el método descrito en el primer y segundo ejemplos. Más específicamente, tiene lugar la sintetización de la capa inferior ejecutada por la parte rodeada mediante la línea de puntos en la figura 1. El conmutador 701 es conmutado hacia el lado inferior cuando se encuentra activada la sintetización de la capa inferior, y conmutado hacia el lado superior cuando está desconectado, de acuerdo con la segunda bandera descrita con referencia a la figura 6.

Como método de codificación de la forma del área utilizado para sintetizar la capa inferior en el tercer ejemplo puede ser el siguiente. Más específicamente, en la posición del cuadro de la capa superior en la cual tiene que ejecutarse la sintetización de la capa inferior, las formas de las áreas de la capa inferior en las posiciones del cuadro precedente y siguiente se encuentran codificadas en la posición presente del cuadro. La estructura de la unidad de codificación de la capa superior 606 que utiliza este método es la mostrada en la figura 13, y en la figura 14 se muestra la estructura de la unidad de decodificación de la capa superior 607.

Con referencia a la figura 13, la unidad de codificación de la capa superior 606 incluye la unidad de codificación 1701 de los datos de los píxeles que recibe los datos de los píxeles como entrada, una unidad de decodificación de datos de los píxeles 1702 conectada a la unidad de codificación de los datos de los píxeles 1703, recibiendo como entrada los datos de las formas de las áreas, una segunda unidad de retardo 1704, una unidad de codificación de la forma del área 1707 conectada a la primera y segunda unidades de retardo 1703 y 1704, y una unidad de decodificación 1708 de la forma del área conectada a la unidad de codificación 1707 de la forma del área. La unidad de codificación de la capa superior incluye una unidad de generación 1709 de la tercera bandera, una unidad de generación de la cuarta bandera 1710, una unidad de codificación de la tercera bandera 1711 que recibe información de estas unidades, una unidad de codificación 1712 de la cuarta bandera, y una unidad de multiplexado 1714 que recibe información de la unidad de codificación de la forma del área 1707, unidad de codificación de la tercera bandera 1711 y unidad de codificación de la cuarta bandera 1712.

Con referencia a la figura 13, la unidad de codificación de los datos de los píxeles 1701 y la unidad de decodificación de los datos de los píxeles 1702 operan de forma similar a las correspondientes del primer ejemplo, y por tanto no se repetirá su descripción. En la figura 13, los datos de la forma del área se retardan en unos cuadros en la primera unidad de retardo 1703, y se retardan adicionalmente en b cuadros en la segunda unidad de retardo 1704.

La unidad de generación de la tercera bandera 1709 y la unidad de generación de la cuarta bandera 1710 generan la tercera y cuarta banderas, respectivamente. La tercera bandera indica si la forma del área (referida como la forma del área 2) en el instante t+a tiene que ser codificada. La cuarta bandera indica si la forma del área (referida de ahora en adelante como la forma del área 1) en el instante del cuadro t-b tiene que ser codificada o no. El controlador 1713 controla los conmutadores 1705 y 1706 dependiendo de las entradas de la tercera y cuarta banderas.

Más específicamente, cuando la tercera bandera indica la codificación de la forma del área, el conmutador 1705 es conectado, y en caso contrario el conmutador 1705 será desconectado. Cuando la cuarta bandera indica la codificación de la forma del área, el conmutador 1706 es conectado y en caso contrario el conmutador 1706 será desconectado. Las unidades de codificación de la tercera y cuarta banderas ejecutan la codificación de la tercera y cuarta banderas, respectivamente. En cuanto al método de codificación de las banderas, puede utilizarse la codificación de longitud fija, la codificación de longitud variable o similar.

La unidad de codificación de la forma del área 1707 codifica la forma del área en un instante del cuadro en el que se introduce la forma del área, y dando salida a los datos codificados. La unidad de decodificación de la forma del área 1708 decodifica los datos codificados de la forma del área, y transmite la forma del área decodificada a la unidad de superposición. En este caso, se utiliza una estructura tal como la mostrada en la figura 1 para la unidad de superposición. Sin embargo no se utilizan la primera y segunda unidades de retardo 107 y 108 de la figura 1. Los datos decodificados de la forma del área 1 son introducidos en las unidades de extracción 109 y 110 de la primera y segunda áreas de la unidad de superposición, y de forma similar, los datos decodificados de la forma del área 2 son introducidos en las unidades de extracción 109 y 110 de la primera y segunda áreas. Por contraste, los datos decodificados de la forma del área correspondientes al instante del cuadro t son introducidos en la unidad de promedio ponderado 114.

Los conmutadores 1705 y 1706 están controlados para conseguir las siguientes tres combinaciones. Es decir, ambos conmutadores están conectados, ambos conmutadores están desconectados, y el conmutador 1705 se encuentra conectado y el conmutador 1706 está desconectado. Al ejecutar por primera vez la sintetización de la capa inferior, se ejecuta el control de forma que ambos conmutadores estén conectados, por lo que las formas de las áreas en las posiciones del cuadro anterior y siguiente, es decir, las formas de las áreas 1 y 2, estén codificadas-decodificadas, con las formas de las áreas decodificadas introducidas en las unidades de extracción 109 y 110 de la primera y segunda áreas. Cuando las formas de las áreas que son las mismas que las utilizadas para la sintetización de la capa inferior previa se tienen que utilizar como formas de áreas 1 y 2, el control se ejecuta de forma que ambos conmutadores estén desconectados. En dicho caso, las formas de las áreas 1 y 2 utilizadas para la sintetización de la capa inferior son introducidas en las unidades de extracción 109 y 110 de la primera y segunda áreas desde una memoria no mostrada.

Cuando la forma del área 2 utilizada para la última sintetización de la capa inferior se tiene que utilizar como área de la forma 1 para la presente sintetización de la capa inferior, y se tiene que utilizar una forma del área nueva como forma del área 2 parda la presente sintetización, el control se ejecuta de forma que el conmutador 1705 esté conectado y el conmutador 1706 esté desconectado. En dicho caso, la forma del área 2 utilizada para la última sintetización de la capa inferior es introducida como forma del área para la presente sintetización desde una memoria no mostrada, a las unidades de extracción 109 y 110 de la primera y segunda área. La forma del área 2 recientemente codificada-decodificada en este instante es introducida en las unidades de extracción 109 y 110 de la primera y segunda áreas.

Los datos de los píxeles en el instante del cuadro t+a decodificados por la unidad de decodificación de datos de los píxeles 1702 de la figura 13 son retardados mediante unos cuadros en la tercera unidad de retardo 115 en la unidad de superposición 1405A de la figura 1, y posteriormente introducidos en la unidad de promedio ponderado 114. La unidad de multiplexado 1714 de la figura 13 multiplexa los datos de forma del área y los datos codificados de la tercera y cuarta banderas, respectivamente, y da salida como los datos codificados de la capa superior.

Se describirá a continuación la unidad de decodificación 607 de la capa superior para decodificar los datos codificados de la capa superior anteriormente descritos, con referencia a la figura 14. Con referencia a la figura 14, la unidad de decodificación de la capa superior 607 incluye una unidad divisora 1801 a la cual se introducen los datos codificados de la capa superior, una unidad de decodificación de los datos de los píxeles 1802 conectada a la unidad divisora 1801, y recibiendo datos de la unidad divisora 1801, una unidad de decodificación de la forma del área 1803, unidades de decodificación 1804 y 1805 de la tercera y cuarta banderas, una primera unidad de retardo 1806 conectada a la unidad de decodificación de la forma del área 1803, un controlador 1810 para controlar los conmutadores 1808 y 1809 basándose en los datos de las unidades de decodificación 1804 y 1805 de la tercera y cuarta banderas, y una segunda unidad de retardo 1807 conectada a la primera unidad de retardo 1806.

Con referencia a la figura 14, la unidad divisora 1801 divide los datos codificados de la capa superior en datos codificados de los datos de los píxeles, forma de área, y la tercera y cuarta banderas. La unidad de decodificación de los datos de los píxeles 1802, la unidad de decodificación de la forma del área 1803, primera unidad de retardo 1806, segunda unidad de retardo 1807 y los conmutadores 1808 y 1809 operan de forma similar a los mostrados en la figura 13, y por tanto no se repetirá su descripción.

Las unidades de decodificación de la tercera y cuarta banderas de la figura 14 decodifican la tercera y cuarta banderas, respectivamente, y suministran datos al controlador 1810. El controlador 1810 controla dos conmutadores de forma similar al controlador 1713 de la figura 13, y además de ello, controlan la unidad divisora 1801 y tomando los datos decodificados de las formas de las áreas. Más específicamente, cuando la tercera bandera indica que ha sido codificada la forma del área 1, el controlador controla de forma que los datos de la forma del área 1 estén separados de los datos codificados de la capa superior, y por el contrario, los datos de la forma del área 1 no están separados de los datos codificados de la capa superior, no siendo datos de la forma del área 1.

Un control similar se efectúa en la unidad divisora 1801 con respecto a la cuarta bandera. Estas son tres combinaciones de conexión/desconexión de los dos conmutadores, tal como en la unidad de codificación de la capa superior 606 de la figura 13. Las operaciones para las respectivas combinaciones son similares a las descritas con referencia a la figura 13.

De esta forma, en el tercer ejemplo, como método de codificación de las formas de las áreas utilizado para sintetizar la capa inferior, en la posición del cuadro de la capa superior en donde se tiene que ejecutar la sintetización de la capa inferior, las formas de las áreas de la capa inferior de las posiciones del cuadro anterior y posterior pueden codificarse en la posición presente del cuadro.

En los ejemplos descritos anteriormente, la imagen preparada por la superposición del cuadro de la capa inferior con el cuadro de la capa superior es realimentada a la unidad de codificación de la capa superior tal como se muestra en la figura 10 en el aparato de codificación, y utilizándose para la predicción de la codificación de la capa superior. En el aparato de decodificación de l imagen, se utiliza para la predicción de la codificación de la capa superior, y además visualizándose en una pantalla. No obstante, la imagen superpuesta puede ser utilizada exclusivamente para su visualización.

Más específicamente, en el aparato de codificación, las unidades de superposición del presente ejemplo no están provistas, y la imagen decodificada de la capa superior es realimentada directamente a la unidad de codificación de la capa superior para ser utilizada para la predicción de la codificación. En el aparato de decodificación, la imagen decodificada de la capa superior es realimentada directamente a la unidad de decodificación de la capa superior a utilizar para la predicción, y además de ello, siendo introducida en la unidad de superposición, con la salida de la unidad de superposición siendo visualizada en una pantalla, por ejemplo.

En los ejemplos anteriormente descritos, la codificación de la forma del área se ha descrito utilizando un código de cuantificación direccional de 8 direcciones. No obstante, puede utilizarse otro método de codificación de la forma.

(4) Primera realización

La figura 15 es un diagrama de bloques que muestra una parte principal del aparato de codificación de imágenes y del aparato de decodificación de imágenes de acuerdo con la primera realización. En la realización, se procesan una pluralidad de imágenes componentes. Con referencia a la figura 15, los datos de la imagen decodificada se intercambian entre una pluralidad de unidades de codificación de las imágenes componentes. Por ejemplo, se hace posible para la unidad de codificación de imágenes de la segunda componente 152 utilizar los datos de la imagen decodificada de la unidad de codificación de la imagen de la primera componente 151. De forma similar, se hace posible para la unidad de codificación de la imagen de la tercera componente 153 el utilizar los datos de la imagen decodificada de la unidad de codificación de imagen de la segunda componente. Para una mayor claridad, en la figura 15, los datos de la imagen decodificada se muestran como referencia para solamente las unidades de codificación de la imagen de la componente adyacente. No obstante, actualmente es posible referirse a los datos de las unidades de codificación de imagen de la componente distante.

La unidad de generación de números de identificación de imágenes de referencia 154 de la figura 15 genera una señal indicativa de un número de identificación r de la componente de imagen de referencia. Esto puede ser generado automáticamente, o bien generándose por la designación del usuario.

La figura 22 muestra un ejemplo de la estructura de la unidad de generación de números de identificación de la imagen de referencia. Una unidad de comparación de números de cuadros 1001 lee un número componente y un número de cuadro almacenado en una memoria 1002, y compara con un numero de cuadro de entrada, con el fin de generar el numero de identificación de la imagen de referencia.

En la unidad de comparación del numero del cuadro 1001, el numero del cuadro de la imagen de entrada se compara con el numero del cuadro de cada una de las imágenes componentes que hayan sido codificadas, y el numero de la imagen de referencia al cual pertenezca el cuadro codificado de la clave más cercana se da salida como el numero r de identificación de la imagen de referencia. Cuando existe una pluralidad de cuadros codificados de clave más cercana, se da salida a la que tenga un número de imagen componente mayor como número r de identificación de la imagen de referencia.

Se describirá la operación utilizando el número de identificación de la imagen de referencia. La figura 23 muestra las imágenes componentes y la relación de referencia de la predicción del movimiento de las mismas. La Tabla 1 muestra la relación entre los números de las imágenes componentes, números de cuadros y los números r de identificación de las imágenes de referencia. Con referencia a la figura 23, el numero 1 de imagen componente (imagen componente 1) es una imagen en movimiento que incluye un objeto (parte filtrada) y un fondo. La imagen del numero 2 de la imagen componente (imagen componente 2) es una imagen en movimiento de una forma arbitraria incluyendo solo la parte del objeto de la imagen componente 1. Con referencia a la figura 23, los números de cuadros 1, 10, 20,... de la imagen componente 1 están codificados, mientras que los números de cuadros 1, 3, 10, 13, 15, ... de la imagen componente 2 están codificados. Las flechas representan la relación de referencia para la predicción de la compensación del movimiento.

La Tabla 1 muestra ejemplos del numero r de identificación de la imagen de referencia cuando el cuadro de cada imagen componente esté codificado. Para la codificación de la imagen componente 1, no existe ninguna otra imagen componente que haya sido ya codificada, y por tanto el número de la imagen de referencia es siempre el número de la imagen componente que haya sido codificada, es decir el 1. En este caso, el cuadro 1 (cuadro primero) está sujeto a la codificación intra-cuadro, y por tanto no se genera el valor de r. El número de la imagen componente y el número del cuadro se almacenan en la memoria 1002.

Para la imagen componente 2, se utiliza 1 ó 2 como numero r de identificación de la imagen de referencia. Cuando se introduce el cuadro 1 de la imagen componente 2, la unidad de comparación 1001 del numero de cuadro, comparad el numero de cuadro leído en la memoria 1002 con el numero presente del cuadro, y con respecto al cuadro 1 de la imagen componente 1, el cual es el cuadro más cercano como imagen de referencia para la predicción. En consecuencia, la unidad de comparación 1001 del número de cuadro da salida al número de imagen 1 del componente de la imagen componente 1 como el número de identificación de la imagen de referencia. La memoria 1002 almacena el número de imagen 2 del componente y el número de cuadro 1.

Al introducir el cuadro 3 de la imagen componente 2, la unidad de comparación 1001 del numero de cuadro, compara el numero de cuadro 1 (imagen de componente 1) leído en la memoria 1002 con el numero de cuadro 1 (numero de componente 2). Puesto que el numero de cuadro de la imagen componente 2 es el mismo que el numero de cuadro de la imagen componente 1, se da salida a 2 como el numero r de identificación de la imagen de referencia. Para el cuadro 10, se comparan el numero de cuadro 10 (imagen componente 1) y el numero de cuadro 3 (imagen componente 2), y puesto que el numero de cuadro 10 (imagen componente 1) es el más cercano al cuadro 10, se da salida a 1 como el numero r de identificación de la imagen de referencia. Posteriormente, se dan salida a los números r de identificación de la imagen de referencia, tal como se indica en la Tabla 1 de forma similar.

TABLA 1

Imagen componente número:	Cuadro número:	Número de identificación de la imagen de referencia:
1	1	-
1	10	1
1	20	1
2	1	1
2	3	2
2	10	1
2	13	2
2	15	2

Se expondrá a continuación la descripción específica. Por ejemplo, se supone que la imagen componente 1 es una imagen del fondo, y cuando se tiene que codificar independientemente, el número r de identificación de la imagen de referencia se configura a 1. En otras palabras, como imagen de referencia para predecir la codificación, se utiliza una imagen que haya ya sido codificada y decodificada de la misma imagen componente. De forma similar, la imagen componente 2 es una imagen de una figura componente (imagen componente en la cual solo se corta la figura) de baja calidad de imagen, y cuando esto se tiene que codificar independientemente, el numero r de identificación de imagen de referencia se ajusta a 2. La imagen componente 3 es una imagen de una figura de alta calidad de imagen, y cuando tiene que ser codificada mientras que se predice basándose en la imagen utilizando los píxeles decodificados de la imagen componente 2, entonces el número r de identificación de la imagen de referencia se ajusta a 2. Estos números de identificación son codificados en la unidad de codificación de la imagen componente 151, 152, ...

En el ejemplo anteriormente mencionado, la imagen componente 2 es denominada como una imagen de la figura de baja calidad de imagen, y la imagen componente 3 es una imagen de una figura de alta calidad de imagen. La calidad de la imagen en este caso significa la resolución espacial, el número del nivel de cuantificación, velocidad de cuadros y así sucesivamente con respecto a la imagen componente. Aunque las imágenes componentes 2 y 3 son las mismas en el contexto, las imágenes tienen calidades de imagen diferentes, tales como distinta velocidad de cuadros o una distinta resolución espacial. En consecuencia, cuando se decodifican la imagen componente 1 y la imagen componente 2, se reproducen un fondo y una imagen de la figura de baja calidad de imagen. En este caso, la imagen de la figura tiene una baja resolución con bordes bastos, o bien puede tener una baja velocidad de cuadros con un movimiento torpe. No obstante, puede ser de una calidad de imagen suficiente para utilizarse en una etapa del proceso de edición de imágenes en movimiento. Cuando se tiene que decodificar la imagen componente 3, la componente de imagen 3 de alta calidad de imagen se decodifica mientras que se hace referencia a la imagen decodificada de la imagen componente 2 indicada por la señal de identificación. En consecuencia, la resolución espacial de la imagen de la figura, por ejemplo, queda realzada, por lo que la parte del borde se hace suave en su transición, o bien se incrementa la velocidad de cuadros y se mejora el movimiento de la figura para que sea suave.

En la presente realización, la imagen componente como un conjunto de la imagen futura tiene una jerarquía de calidad de la imagen. No obstante, solo una parte de la imagen componente puede tener la jerarquía de calidad de imagen. Por ejemplo, es posible proporcionar dicha propiedad jerárquica que mejore la calidad de la imagen de solo la parte de la cabecera de la imagen de la figura.

Se describirá a continuación la unidad de multiplexado 155. La unidad de multiplexado 155 ejecuta un proceso para corregir una pluralidad de datos codificados formados separadamente por la unidad de codificación de imagen 151 de la primera componente, unidad de codificación de la imagen 152 de la segunda componente, unidad de codificación de imagen 153 de la tercera componente, ... en unos únicos datos codificados. Los datos codificados recogidos conjuntamente en la unidad de multiplexado 155 son suministrados al aparato de decodificación 24, y mediante la unidad de demultiplexado 156 de la figura 15, se dividen en datos codificados separados (datos codificados de imagen de la primera componente, datos codificados de imagen de la segunda componente, y datos codificados de imagen de la tercera componente,...). En la unidad de decodificación de imagen 158 de la segunda componente, por ejemplo, el proceso de decodificación se ejecuta utilizando los datos de la imagen decodificada de la unidad de decodificación 157 de la imagen del primer componente. De forma similar, en la unidad de decodificación de imagen 159 de la tercera componente, el proceso de decodificación se ejecuta utilizando los datos de la imagen decodificada de la unidad de decodificación de imagen 158 de la segunda componente.

Para una mayor simplicidad, en la figura 15, se proporciona la descripción en la que los datos de la imagen decodificada es referenciada a las unidades de decodificación de la imagen del componente adyacente. Realmente, al igual que en la unidad de codificación de la imagen componente, puede ser referidos los datos de las unidades de decodificación de la imagen componente distante. La pluralidad de las imágenes componentes decodificadas en este caso son sintetizadas mediante una unidad de sintetización, no mostrada, de acuerdo con la calidad de imagen de acuerdo con la petición del usuario, y visualizada como una imagen reproducida. En consecuencia, mediante el cambio de la imagen componente a combinar, el usuario puede cambiar la calidad de la imagen de la imagen reproducida a visualizar.

La figura 16 es un diagrama de bloques que muestra los componentes de la unidad de codificación de imagen de la primera componente 151, por ejemplo, entre las unidades de codificación de imagen 151 a 153 de primera a la tercera componentes. La unidad de codificación 151 de la imagen componente ejecuta la codificación utilizando la predicción de la compensación del movimiento y la transformación ortogonal, que son las más utilizadas como método de codificación. La característica de la realización de la presente invención reside en que las imágenes codificadas de una pluralidad de imágenes componentes distintas se almacenan en una pluralidad de memorias de cuadros, y en donde la imagen de referencia para la predicción de la compensación del movimiento es conmutada de acuerdo con el número de identificación.

Se describirá con detalla con referencia a la figura 16 la operación de la unidad de codificación de la imagen componente 151. La imagen componente de entrada es diferenciada de una imagen de predicción, la cual es una salida de una unidad de predicción de compensación del movimiento 251, y siendo introducida en una unidad de transformación ortogonal 252. Para la transformación ortogonal, se utiliza la transformación de coseno discreto (DCT), transformación discreta de Fourier o similar. El coeficiente de transformación, el cual es la salida de la unidad de transformación ortogonal 252, es introducido en una unidad de cuantificación 253, y siendo cuantificado y suministrado a una unidad de codificación de longitud variable, e introducido en una unidad de cuantificación inversa 254.

El coeficiente de transformación sujeto a la cuantificación inversa en la unidad de cuantificación inversa 254 es transformado en datos diferenciales en una unidad de transformación ortogonal inversa 255. Mediante la obtención de la suma de los datos diferenciales y los datos de predicción, se obtiene la imagen decodificada. La imagen decodificada es almacenada en una memoria del primer cuadro 258, y utilizándose para la predicción siguiente.

La memoria del segundo cuadro 259 hasta la memoria 260 del cuadro de orden N almacenan las imágenes decodificadas de las demás imágenes componentes. En este caso, N es un número natural no inferior a 2. La unidad de codificación del numero de identificación de la imagen de referencia 256 codifica el numero r de identificación generado por la unidad de generación 154 del numero de identificación de la imagen de referencia. Los datos codificados son incorporados en una parte de sintetización de datos no mostrada, en los datos codificados conjuntamente con los datos sujetos a la codificación de longitud variable.

En este caso, al igual que en el método de codificación, el numero r de identificación de la imagen de referencia, r puede ser codificado constantemente utilizando la codificación de longitud fija, la codificación de longitud variable o similar.

Como en el otro método de codificación del numero r de identificación de la imagen de referencia, es posible un método en el cual solo una señal s de 1 bit que indique si la imagen componente tiene que ser codificada independientemente o no, tenga que ser codificada cuando el numero r de identificación represente el numero de la imagen componente que se esté codificando en el instante en curso, y en caso contrario que se codifiquen la señal s 1 bit y el número r de identificación.

Por ejemplo, si la imagen componente 1 es una imagen del fondo y tiene que ser codificada independientemente, la señal s se codifica a 0, y no se codifica el numero r de identificación. De forma similar, cuando la imagen componente 2 es una imagen de una figura de baja calidad de imagen, y tiene que ser codificada independientemente, la señal s se codifica a 0, y el número de identificación r no se codifica. A continuación, si la imagen componente 3 es una imagen de una figura de alta calidad de imagen, y tiene que ser codificada mientras que se predice basándose en la imagen decodificada de la imagen componente 2, la señal s se codifica a 1, y el número r de identificación se codifica a 2.

La figura 17 es un diagrama de bloques que muestra una estructura de un generador de bandera de cosificación de imagen componente 271 para generar una indicación de bandera si la imagen componente antes mencionada tiene que ser codificada independientemente, para la codificación. Es para reemplazar la unidad de codificación 256 del número de identificación de la imagen de referencia mostrada en la figura 6. Con referencia a la figura 17, el generador de bandera de codificación de la imagen componente 271 incluye una unidad de comparación 351 que recibe el numero de identificación de la imagen de referencia y un numero de identificación de una imagen componente, el cual está siendo codificado, un generador de bandera 352 conectado a la unidad de comparación 351, y una unidad de codificación 353 de codificación de la banda y codificación del numero de identificación de la imagen de referencia que recibe como entrada el numero de identificación de la imagen de referencia y la salida de la unidad de generación de la bandera 352. La unidad de comparación 351 compara el número de identificación de la imagen componente que está codificando y el número de identificación de la imagen de referencia. El generador de bandera 352 da salida a una bandera de desconexión cuando el numero de identificación de la imagen componente que está siendo codificada es el mismo que el numero de identificación de la imagen de referencia, y da salida a una bandera de conexión cuando los números de identificación son diferentes, basándose en el resultado de la comparación mediante la unidad de comparación 351. La unidad de codificación 353 del número de identificación de la imagen de referencia y de codificación de la bandera, codifica la salida de la bandera del generador de banderas 352, y el número de identificación de la imagen de referencia. En la unidad de codificación 353 del número de identificación de la imagen de referencia y codificación de bandera, si la bandera está desactivada, solo si la bandera está codificada, y si la bandera está activada, se codificarán tanto la bandera como el número de identificación de la imagen de referencia. La codificación del número de identificación de la imagen de referencia se ejecuta de una manera similar que en la unidad de codificación 256 del número de identificación de la imagen de referencia, descrita con referencia a la figura 16.

Como otro método de codificación del numero r de identificación de la imagen de referencia, cuando el numero de identificación r no cambia desde el cuadro anterior, una señal t de 1 bit se codifica a 0, y en caso contrario, la señal t de 1 bit se codifica a 1, y se codifica el numero r de identificación. En este caso, la señal t indica si el numero r de identificación ha sido cambiado con respecto al cuadro anterior. Cuando el primer cuadro de cada imagen componente tiene que ser codificado, el número de la imagen componente tiene que ser configurado para que sea el número de identificación de referencia del cuadro anterior. De esta forma, si el numero r de identificación no cambia en una secuencia de imágenes componentes, lo que deberá ser codificado será siempre la señal t de 1 bit, y por tanto será posible una codificación eficiente.

La figura 18 es un diagrama de bloques que muestra una estructura del generador de banderas de transformación del numero de identificación de la imagen de referencia 272, para generar y codificar una bandera que indique si existe el cambio antes mencionado en el numero de identificación de la imagen de referencia. Esto es para reemplazar también la unidad de codificación 256 del número de identificación de la imagen de referencia mostrada en la figura 16. Con referencia a la figura 18, el generador de banderas 272 que indica la presencia/ausencia del cambio del numero de identificación de la imagen de referencia incluye una unidad de comparación 451 y una memoria 454 a la cual se introduce el numero de identificación de la imagen de referencia, una unidad de generación de banderas 452 conectada a la unidad de comparación 451, y una unidad de codificación 453 del numero de identificación de la imagen de referencia y de codificación de la bandera, a la cual se introducen la salida de la unidad de generación de banderas 452 y el numero de identificación de la imagen de referencia.

La memoria 454 almacena el número de identificación de la imagen de referencia. La unidad de comparación 451 compara el número de identificación de la imagen de referencia del cuadro presente con el número de identificación de la imagen de referencia del cuadro anterior. La unidad de generación 452 da salida a una bandera de desconexión si los números de identificación del cuadro presente y el cuadro anterior son los mismos, y dando salida a una banda de conexión cuando sean diferentes los números de identificación, basándose en el resultado de la unidad de comparación 451. La unidad de codificación 453 del número de identificación de la imagen de referencia y la codificación de la bandera, codifica la bandera que se obtuvo por la unidad de generación de la bandera 452 y el número de identificación d la imagen de referencia.

En la unidad de codificación 453 del número de identificación de la imagen de referencia y de codificación de la bandera, si la bandera es de desconexión, solo se codificará la bandera, y si la bandera es de conexión, se codificarán tanto la bandera como el número de identificación de la imagen de referencia. En cuanto a la codificación del número de identificación de la imagen de referencia, se ejecuta de una forma similar a la ejecutada en la unidad de codificación del número de identificación de la imagen de referencia 256 descrita anteriormente con referencia a la figura 16.

En la figura 16, el controlador 257 controla un conmutador 263 para seleccionar una memoria de cuadros basándose en el numero r de identificación de la imagen de referencia. La unidad de predicción de la compensación de movimiento 251 forma una imagen de predicción a partir de la imagen de referencia. Por ejemplo, mediante la coincidencia de bloques, se detecta el vector de movimiento para cada bloque, y mediante el vector de movimiento detectado, se ejecuta la compensación del movimiento.

Cuando la imagen componente tiene que someterse a codificación intra-cuadro, la diferencia entre la imagen de entrada y la imagen de predicción no se obtiene por un substractor 261, y la suma de la salida de la unidad de transformación ortogonal inversa 255 y la imagen de predicción no se obtiene en el sumador 262. Aunque no se muestra explícitamente en la figura 16, los datos que representan la forma, posición, etc., del componente se codifican por separado.

La forma o posición del componente se codifican mediante la representación de los píxeles del contorno de la forma por medio de un código de cadena, por ejemplo. La figura 24 muestra un ejemplo. En este caso, la parte sombreada representa un área del componente, y la flecha representa un código de retardo indicando un píxel del contorno de la forma. La posición del componente está representada por las coordenadas posicionales de un píxel (en este caso, el píxel en la coordenada (4, 1))) que es el punto de arranque del código de cadena. El código de cadena está codificado mediante la asignación de valores de 0 a 7 a las flechas en las 8 direcciones que se muestran en la figura 24.

La figura 19 es un diagrama de bloques que muestra un ejemplo de las unidades de decodificación de la imagen componente 157, 158. La unidad de predicción de compensación del movimiento 551, unidad de cuantificación inversa 552, unidad de transformación ortogonal inversa 553, controlador 555, una memoria del primer cuadro 556, memoria del segundo cuadro 557 hasta la memoria de cuadro de orden N, sumador 559, y conmutador 560, operan de forma similar a las mostradas en la figura 16.

Los datos codificados están separados en datos codificados con longitud variable del coeficiente de transformación ortogonal, datos codificados del número de identificación de la imagen de referencia y así sucesivamente, en una unidad de separación de datos, no mostrada. Los datos de los coeficientes de transformación ortogonal decodificados en la unidad de decodificación de longitud variable están sujetos a la cuantificación inversa en la unidad de cuantificación inversa 552. El coeficiente de transformación que haya sido sometido a la cuantificación inversa estará sometido a la transformación ortogonal inversa en la unidad de transformación ortogonal inversa 553.

Los datos que hayan sido sometidos a la transformación ortogonal inversa se suman a la salida de la imagen de predicción de la unidad de predicción de compensación del movimiento 551 en una unidad sumadora 559, y formándose la imagen decodificada. La imagen decodificada se almacena en la memoria del primer cuadro 556 para ser utilizada para la siguiente predicción, y dando salida a la misma para ser sintetizada con otras imágenes componentes decodificadas y visualizadas en una pantalla, por ejemplo.

La unidad de decodificación 554 del número de identificación de la imagen de referencia decodifica el numero r de identificación de la imagen de referencia e introduce el numero r de identificación en el controlador 555. El controlador 555 controla el conmutador 560 para seleccionar una memoria de cuadro basándose en el numero r de identificación. Las imágenes decodificadas de las demás imágenes componentes se almacenan en la memoria del segundo cuadro 557 hasta la memoria de cuadro de orden N 558.

Se describirá a continuación la función de la unidad de decodificación 554 del número de identificación de la imagen de referencia. En el aparato de decodificación, si el número r de identificación se codifica siempre, el numero r de identificación se decodifica mediante la decodificación de longitud variable, por ejemplo. Si el numero r de identificación se codifica en el aparato de codificación conjuntamente con la señal s de 1 bit indicando si la imagen componente tiene que ser codificada independientemente o no, entonces en primer lugar se decodifica la señal s. Si la señal s es 0, se supone que la imagen componente está codificada independientemente, sin que importen las demás imágenes componentes. Si la señal s es 1, el número r de identificación se configura para que sea el número de la imagen componente, la cual está siendo decodificada en curso. En caso contrario, se decodificará el numero r de identificación que está decodificado a continuación de la señal s.

La figura 20 es un diagrama de bloques que muestra una unidad de procesamiento de decodificación 571 para ejecutar el proceso de decodificación cuando la bandera así como también el numero de identificación están codificados en el aparato de codificación anteriormente descrito, y para reemplazar la unidad de decodificación 554 del numero de identificación de la imagen de referencia mostrada en la figura 19. Con referencia a la figura 20, la unidad de procesamiento de decodificación 571 incluye una unidad de decodificación de la bandera 651 que recibe como entrada los datos codificados de la bandera y el numero de identificación de la imagen de referencia, una unidad de decodificación 652 del numero de identificación de la imagen de referencia, conectada a la unidad de decodificación de la bandera 651 a través de un conmutador 653, y un conmutador 654 para suministrar a un controlador una señal que indique el numero de identificación de la imagen componente, la cual está siendo codificada, o bien la señal de la unidad de decodificación 652 del numero de identificación de la imagen de referencia.

Cuando la bandera decodificada se encuentra en conexión, el conmutador 653 se conecta y el conmutador 654 se conmuta a la parte de la unidad de decodificación del numero de identificación de la imagen de referencia 652 parad ejecutar el proceso de decodificación del numero de identificación, y se configura un nuevo numero de identificación de la imagen de referencia en el numero de identificación decodificado por la unidad de decodificación 652 del numero de identificación de la imagen de referencia. Si la bandera decodificada está en desconexión, el conmutador 653 se desconecta, y el conmutador 654 se conmuta a la parte opuesta a la unidad de decodificación 652 del numero de identificación de la imagen de referencia, y se configura un nuevo numero de identificación de la imagen de referencia en el numero de identificación de la imagen componente que se está codificando.

Si el numero r de identificación ha sido ya codificado conjuntamente con la señal t de 1 bit indicando un cambio desde el cuadro anterior en el aparato de codificación, se decodificará primeramente la señal t. Si la señal t es 0, ello indicará que el numero r de identificación no ha cambiado desde el cuadro anterior, y por tanto la señal de identificación del cuadro anterior se utilizará tal como es en sí misma. Si la señal t es 1, el número de identificación codificado r se decodificará continuamente. En este caso, se supone que el valor inicial del número de identificación de la imagen de referencia es el número de la imagen componente que está siendo decodificada.

La figura 21 es un diagrama de bloques que muestra otra unidad de procesamiento de decodificación 570 para ejecutar el proceso de decodificación cuando la bandera así como también el numero de identificación están codificados por el aparato de codificación descrito anteriormente, y siendo para reemplazar la unidad de decodificación 554 del numero de identificación de la imagen de referencia que se muestra en la figura 19. Con referencia a la figura 21, la unidad de procesamiento de decodificación 570 incluye una unidad de decodificación de bandera 751 que recibe como entradas los datos codificados de la bandera y el numero de identificación de la imagen de referencia, una unidad de decodificación 752 del numero de identificación de la imagen de referencia, conectada a la unidad de decodificación de la bandera 751 a través de un conmutador 753, una memoria 755 conectada a la unidad de decodificación 752 del numero de identificación de la imagen de referencia 752, y un conmutador 754 para suministrar a un controlador una señal desde la unidad de decodificación 752 del numero de identificación de la imagen de referencia o desde la memoria 755.

Cuando la bandera está en conexión, el conmutador 753 se conecta, y el conmutador 754 es conmutado hacia el lado de la unidad de decodificación 752 del numero de identificación de la imagen de referencia, para ejecutar el proceso de decodificación del numero de identificación, y configurándose un nuevo numero de identificación de la imagen de referencia en el numero de identificación decodificado por la unidad de decodificación 752 del número de identificación de la imagen de referencia. Si la bandera decodificada está en desconexión, el conmutador 753 se desconecta, y el conmutador 754 se conmuta hacia el lado de la memoria 755, y se lee un nuevo número de identificación de la imagen de referencia en la memoria 755, y se configura con el número de identificación de la imagen de referencia del cuadro anterior.

En la realización de la presente invención anteriormente descrita, se han descrito tres métodos diferentes como métodos de codificación del número de identificación de la imagen de referencia. Pueden ser posibles otros métodos. Por ejemplo, una señal s que indique si la imagen componente de movimiento está codificada independientemente o no, que puede codificarse y decodificarse. En dicho caso, si la imagen de movimiento componente no está codificada independientemente, se utilizará siempre como imagen de referencia la imagen componente que tenga el número menor en una unidad que el numero de la imagen componente que esté siendo codificada o decodificada.

En cuanto a la codificación del número de identificación de la imagen de referencia, la codificación de la misma imagen componente puede ser ejecutada cuadro a cuadro, o bien la codificación puede ser ejecutada solo en el primer cuadro. Se prefiere el primer sistema cuando el número del componente se utilice como la imagen de referencia a cambiar de cuadro en cuadro.

Aplicabilidad industrial

Tal como se ha descrito anteriormente, de acuerdo con el aparato de codificación y decodificación de la imagen en movimiento, de acuerdo con la presente invención, incluso cuando cambie la forma del área en el tiempo, no existirá distorsión en la imagen obtenida por la superposición de las capas inferiores y superiores, y obteniéndose una excelente imagen. En consecuencia, será adecuada para la codificación y decodificación de imágenes en movimiento.

Claims

1. Un aparato de codificación de imágenes en movimiento para la predicción-codificación de datos de imágenes en movimiento en la forma de una pluralidad de imágenes en movimiento componentes, en el que cada una de las imágenes componentes en movimiento comprenden una pluralidad de cuadros, comprendiendo el aparato:

medios de codificación de la información de identificación de la imagen de referencia (256, 271) para codificar la información de identificación de la imagen de referencia, para identificar una imagen en movimiento de referencia para la mencionada predicción-codificación;

medios de selección de la imagen de referencia (257, 263) para seleccionar la imagen en movimiento de referencia a partir de la mencionada pluralidad de imágenes en movimiento componentes, de acuerdo con la mencionada información de identificación de las imágenes en movimiento; y

medios de codificación de las imágenes en movimiento componentes (151, 152, 153) para la predicción-codificación de las mencionadas imágenes en movimiento componentes utilizando la mencionada imagen en movimiento de referencia seleccionada.

2. Un aparato de codificación de imágenes en movimiento según la reivindicación 1, que comprende:

medios de codificación de la bandera (353) para codificar una bandera indicativa de si la imagen en movimiento componente está codificada independientemente mediante la utilización de cuadros, como cuadros de referencia para la predicción-codificación, los cuales hayan sido ya codificados y decodificados en la misma imagen en movimiento componente;

en el que los mencionados medios de codificación de la información de la identificación de la imagen de referencia (271) codifican la información de identificación de la imagen de referencia para identificar la imagen en movimiento de referencia para la mencionada predicción-codificación, solo cuando la imagen en movimiento componente no tenga que ser codificada independientemente;

y en el que los mencionados medios de selección de la imagen de referencia (257, 263) son para seleccionar la imagen en movimiento de referencia, a partir de la mencionada pluralidad de imágenes en movimiento componentes, de acuerdo con la mencionada bandera o la mencionada información de identificación de la imagen de referencia.

3. Un aparato de codificación de imágenes en movimiento para la predicción-codificación de datos de imágenes en movimiento en la forma de una pluralidad de imágenes en movimiento componentes, en el que cada una de las imágenes componentes en movimiento comprenden una pluralidad de cuadros, comprendiendo el aparato:

medios de decodificación de la información de identificación de la imagen de referencia (554, 571) para decodificar la información de identificación de la imagen de referencia que identifica una imagen en movimiento de referencia para la mencionada predicción-codificación;

medios de selección de la imagen de referencia (555, 560) para seleccionar la imagen en movimiento de referencia a partir de la mencionada pluralidad de imágenes en movimiento componentes, de acuerdo con la mencionada información de identificación de las imagen de referencia; y

medios de decodificación de las imágenes en movimiento componentes (157, 158, 159) para la predicción-codificación de cada una de las mencionadas imágenes en movimiento componentes, utilizando la mencionada imagen en movimiento de referencia seleccionada.

4. Un aparato de decodificación de imágenes en movimiento según la reivindicación 3, que comprende:

medios de decodificación de la bandera (651) para decodificar una bandera indicativa de si la imagen en movimiento componente está decodificada independientemente mediante la utilización de cuadros, como cuadros de referencia para la predicción-codificación, los cuales hayan sido ya decodificados en la misma imagen en movimiento componente;

en el que los mencionados medios de decodificación (571) de la información de identificación de la imagen de referencia, decodifican la información de identificación de la imagen de referencia que identifica la imagen en movimiento de referencia para la mencionada predicción-codificación, solo cuando la imagen en movimiento componente no tenga que ser decodificada independientemente;

y en el que los mencionados medios de selección de la imagen de referencia (555, 560) son para seleccionar la imagen en movimiento de referencia a partir de la mencionada pluralidad de las imágenes en movimiento componentes, de acuerdo con la mencionada bandera o con la mencionada información de identificación de la imagen de referencia.