ES2733068T3

ES2733068T3 - Dispositivo y método de procesamiento de imagen

Info

Publication number: ES2733068T3
Application number: ES14170608T
Authority: ES
Inventors: Kenji Kondo
Original assignee: Velos Media International Ltd
Current assignee: Velos Media International Ltd
Priority date: 2009-07-31
Filing date: 2010-07-23
Publication date: 2019-11-27
Anticipated expiration: 2030-07-23
Also published as: US20130301942A1; CN103957407A; US8805085B2; CN102511165A; EP3496402B1; RU2018117534A; PL2790409T3; CN103957408A; EP2461588A4; EP3661207A1; JP5344238B2; US20200314454A1; EP3661207B1; KR20140065021A; US11405652B2; KR101649775B1; US8774537B2; RU2012102382A; KR20170049637A; CN103957407B

Abstract

Un dispositivo de decodificación de imagen que comprende: circuitería configurada para recibir un bloque de imagen codificada a decodificarse, una bandera de bloque de filtro para controlar si se realiza o no un proceso de filtrado en un bloque de imagen, una bandera de control de límite para controlar si el proceso de filtrado, realizado en un píxel objetivo que es adyacente a un límite de corte que separa un corte que incluye dicho píxel objetivo y un corte vecino de dicho corte y que se proporciona dentro del bloque de imagen del corte, usa píxeles de dicho corte vecino después de que los píxeles de dicho corte vecino están disponibles o si el proceso de filtrado, realizado en el píxel objetivo, usa píxeles del corte solamente, los píxeles a usarse son píxeles circundantes que rodean dicho píxel objetivo, e información de tamaño de bloque del bloque de imagen codificada; obtener una posición del bloque de imagen codificada basándose en la información de tamaño de bloque; decodificar el bloque de imagen codificada; y realizar el proceso de filtrado en el bloque de imagen decodificada basándose en la bandera de bloque de filtro, la bandera de control de límite, y la posición del bloque de imagen codificada, en el que, en el caso que la bandera de control de límite indique usar píxeles del corte solamente, se realiza dicho procesamiento de filtro en cuanto a dicho píxel objetivo a procesarse suponiendo un valor ficticio para cada uno de los píxeles circundantes que están en dicho corte vecino, con lo cual el valor ficticio supuesto está basado en píxeles del corte solamente.

Description

DESCRIPCIÓN

Dispositivo y método de procesamiento de imagen

Campo técnico

La presente invención se refiere a un dispositivo y método de procesamiento de imagen, y específicamente se refiere a un dispositivo y método de procesamiento de imagen que posibilita la supresión del deterioro de los efectos de procesamiento de filtro debido a control local de procesamiento de filtro cuando se decodifica.

Técnica anterior

En los últimos años, se ha generalizado el uso de dispositivos, compatibles con formatos tal como MPEG (Grupo de Expertos de Imágenes en Movimiento) o similares, que manejan información de imagen como señales digitales, y se aprovechan de la redundancia peculiar de la información de imagen para realizar transmisión y almacenamiento de información altamente eficaces en ese momento, para comprimir la imagen por transformada ortogonal tal como transformada de coseno discreta o similares y compensación de movimiento, tanto como distribución de información tal como difusión como recepción de información en hogares en general.

En particular, el MPEG2 (ISO (Organización Internacional para la Normalización) / IEC (Comisión Electrotécnica Internacional) 13818-2) se define como un formato de codificación de imagen de uso general, y es una norma que abarca tanto imágenes de exploración entrelazada como imágenes de exploración secuencial, e imágenes de resolución convencional e imágenes de alta definición. Por ejemplo, MPEG2 se ha empleado ampliamente ahora por una amplia gama de aplicaciones para uso profesional y para uso de consumidor. Empleando el formato de compresión MPEG2, se asigna una cantidad de código (tasa de bits) de 4 a 8 Mbps en el caso de una imagen de exploración entrelazada de resolución convencional que tiene 720 x 480 píxeles, por ejemplo. También, empleando el formato de compresión MPEG2, se asigna una cantidad de código (tasa de bits) de 18 a 22 Mbps en el caso de una imagen de exploración entrelazada de alta resolución que tiene 1920 x 1088 píxeles, por ejemplo, en la que puede conseguirse una alta tasa de compresión y calidad de imagen excelente.

Con MPEG2, la codificación de alta calidad de imagen adaptada a uso de difusión se toma principalmente como un objeto, pero no se maneja una cantidad de código inferior (tasa de bits) que la cantidad de código de MPEG1, es decir, un formato de codificación que tiene una tasa de compresión superior. De acuerdo con la generalización de los asistentes digitales personales, se espera que las necesidades para un formato de codificación de este tipo aumenten de ahora en adelante, y en respuesta a esto, se ha realizado una normalización del formato de codificación MPEG4. Con respecto a un formato de codificación de imagen, la especificación del mismo se confirmó como norma internacional como ISO/IEC 14496-2 en diciembre de 1998.

Además, en los últimos años, la normalización de una norma denominada H.26L (ITU-T (Sector de Normalización de Telecomunicación de la ITU) Q6/16 VCEG (Grupo de Expertos en Codificación de Vídeo)) ha progresado, originalmente prevista para codificación de imagen para uso de videoconferencia. Con H.26L, se ha conocido que en comparación con un formato de codificación convencional tal como MPEG2 o MPEG4, aunque se solicita mayor cantidad de cálculo para codificación y decodificación del mismo, se consigue eficacia de codificación superior. También, actualmente, como parte de la actividad de MPEG4, se ha realizado la normalización para el aprovechamiento también de las funciones no soportadas por H.26L con este H.26L tomado como base, para realizar eficacia de codificación superior, como Modelo Conjunto de Codificación de Vídeo de Compresión Mejorada. Como una planificación de normalización, H.264 y MPEG-4 Parte 10 (AVC (Codificación Avanzada de Vídeo)) se han convertido en una norma internacional en marzo de 2003.

También, existe el filtro de bucle adaptativo (ALF (Filtro de Bucle Adaptativo)) como una técnica de codificación de vídeo de la siguiente generación que se está considerando recientemente (véase NPL1 por ejemplo). De acuerdo con este filtro de bucle adaptativo, se realiza procesamiento de filtro óptimo cada fotograma, y puede reducirse el ruido de bloqueo que no se elimina completamente en el filtro de desbloqueo, y ruido debido a cuantificación.

Sin embargo, las imágenes en general tienen diversas características, por lo que los coeficientes de filtro óptimos son localmente diferentes. Con el método en NPL 1, se aplica el mismo coeficiente de filtro a todos los píxeles dentro de un fotograma, por lo que la calidad de imagen del fotograma global mejora, pero ha habido la preocupación de que puede haber deterioro local.

Por consiguiente, ha sido concebido no realizar procesamiento de filtro en regiones que se deterioran localmente (véase NPL 2 y NPL 3, por ejemplo). En este caso, el dispositivo de codificación de imagen corresponde a múltiples bloques de control dispuestos sin huecos como si se estuvieran usando para pavimentar, con regiones de la imagen, y controla si realizar o no procesamiento de filtro en la imagen para cada bloque de control. El dispositivo de codificación de imagen establece información de bandera para cada bloque, y realiza procesamiento de filtro adaptativo de acuerdo con la información de bandera. De la misma manera, el dispositivo de decodificación de imagen también realiza procesamiento de filtro adaptativo de acuerdo con la información de bandera.

Lista de citas

Bibliografía no de patente

NPL 1: Yi-Jen Chiu y L. Xu, "Adaptive (Wiener) Filter for Video Compression," ITU-T SG16 Contribución, C437, Ginebra, abril de 2008.

NPL 2: Takeshi. Chujoh, et al., "Block-based Adaptive Loop Filter" ITU-T SG16 Q6 VCEG Contribución, AI18, Alemania, julio de 2008.

NPL 3: T. Chujoh, N. Wada y G. Yasuda, "Quadtree-based Adaptive Loop Filter," ITU-T SG16 Q6 VCEG Contribution, VCEG-AK22(r1), Japón, abril de 2009.

NPL 4: ZHONG, et al.: "Not changing the spec for Parallel Decoding",6. JVT MEETING; 63. MPEG MEETING; 09-12 2002 - 13-12-2002; AWAJI, JP;(JOINT VIDEO TEAM OF ISO/IEC JTC1/SC29/WG11 AND ITU-T SG.16 ), n.° JVT-F028, 13 de diciembre de 2002 considera el problema de procesamiento de múltiples hilos / paralelo de límites de corte cuando se aplica un filtro de desbloqueo y comentarios sobre técnicas conocidas para posibilitar procesamiento paralelo.

La solicitud de patente US 2008/267297 A1 considera el problema de procesamiento de múltiples hilos / paralelo de límites de corte (slice) cuando se aplica un filtro de desbloqueo. Esta solicitud de patente desvela un primer filtro de desbloqueo de borde interior que puede usarse cuando el bloque a filtrarse no está en un límite de corte y un segundo filtro de desbloqueo posterior de borde exterior que puede usarse en los límites de corte. Adicionalmente, la solicitud de patente indica que pueden usarse banderas en el flujo de bits para indicar si se procesan bordes usando el primer, segundo, ambos o ningún filtro de desbloqueo.

Sumario de la invención

Problema técnico

Sin embargo, existe un método en el que un fotograma se divide en múltiples cortes, y se realiza procesamiento de codificación y procesamiento de decodificación de la imagen para cada tal corte (múltiples cortes). NPL 2 y NPL 3 no hacen mención con respecto al procesamiento de píxeles cerca de límites de cortes en un caso de múltiples cortes de este tipo, y no queda claro cómo esto debería procesarse en vista de la NPL 4 o la solicitud de patente US2008/267297 A1.

La presente invención se ha propuesto a la luz de esta situación, y es un objeto de la misma suprimir el deterioro de los efectos de procesamiento de filtro debido a control local de procesamiento de filtro cuando se decodifica.

Solución al problema

La invención se define por las reivindicaciones adjuntas.

La divulgación que hace posible la invención se halla en las realizaciones de las Figuras 15, 16 y 18. Las realizaciones restantes han de entenderse como ejemplos que no describen partes de la presente invención.

Efectos ventajosos de la invención

De acuerdo con la presente invención, puede decodificarse una imagen. Particularmente, puede suprimirse el deterioro de los efectos de procesamiento de filtro debido a control local de procesamiento de filtro cuando se decodifica. Por ejemplo, el deterioro en los efectos de procesamiento de filtro puede suprimirse incluso en caso de realizar decodificación con cada fotograma de una imagen dividida en una pluralidad.

Breve descripción de los dibujos

[Fig. 1] La Figura 1 es un diagrama de bloques que ilustra la configuración de una realización de un dispositivo de codificación de imagen al que se ha aplicado la presente invención.

[Fig. 2] La Figura 2 es un diagrama que describe procesamiento de predicción/compensación de movimiento de tamaño de bloque variable.

[Fig. 3] La Figura 3 es un diagrama de bloques que ilustra un ejemplo de configuración primario de una unidad de generación de información de control.

[Fig. 4] La Figura 4 es un diagrama que describe bloques de ALF y banderas de bloque de filtro.

[Fig. 5] La Figura 5 es un diagrama que describe un ejemplo de múltiples cortes.

[Fig. 6] La Figura 6 es un diagrama que describe píxeles circundantes usados para procesamiento de filtro.

[Fig. 7] La Figura 7 es un diagrama que describe la manera en la que se realiza procesamiento de filtro cerca de un límite.

[Fig. 8] La Figura 8 es un diagrama de bloques que ilustra un ejemplo de configuración primario de una unidad de procesamiento de filtro adaptativo.

[Fig. 9] La Figura 9 es un diagrama de flujo que describe un ejemplo del flujo de procesamiento de codificación.

[Fig.10] La Figura 10 es un diagrama de flujo que describe un ejemplo del flujo de procesamiento de generación de información de control.

[Fig. 11] La Figura 11 es un diagrama de flujo que describe un ejemplo del flujo de procesamiento de ajuste de bandera de control de límite.

[Fig. 12] La Figura 12 es un diagrama de flujo que describe un ejemplo del flujo de procesamiento de control de filtro adaptativo.

[Fig. 13] La Figura 13 es un diagrama de flujo que describe un ejemplo del flujo de procesamiento de filtro.

[Fig. 14] La Figura 14 es un diagrama de flujo que describe un ejemplo del flujo de procesamiento de filtro.

[Fig. 15] La Figura 15 es un diagrama de bloques que ilustra un ejemplo de configuración primario de un dispositivo de decodificación de imagen al que se ha aplicado la presente invención.

[Fig. 16] La Figura 16 es un diagrama de flujo que describe un ejemplo del flujo de procesamiento de decodificación. [Fig. 17] La Figura 17 es un diagrama de bloques que ilustra otro ejemplo de configuración de un dispositivo de codificación de imagen al que se ha aplicado la presente invención.

[Fig. 18] La Figura 18 es un diagrama de bloques que ilustra otro ejemplo de configuración de un dispositivo de decodificación de imagen al que se ha aplicado la presente invención.

[Fig. 19] La Figura 19 es un diagrama de flujo que describe un ejemplo del flujo de procesamiento para intercambiar información de especificación.

[Fig. 20] La Figura 20 es un diagrama que describe otro ejemplo de bloques de ALF y banderas de bloque de filtro. [Fig. 21] La Figura 21 es un diagrama que describe otro ejemplo de bloques de ALF y banderas de bloque de filtro. [Fig. 22] La Figura 22 es un diagrama que describe la manera del procesamiento que se realiza en el caso de múltiples cortes.

[Fig. 23] La Figura 23 es un diagrama de bloques que ilustra un ejemplo de configuración primario de un ordenador personal al que se ha aplicado la presente invención.

[Fig. 24] La Figura 24 es un diagrama de bloques que ilustra un ejemplo de configuración principal de un receptor de televisión al que se ha aplicado la presente invención.

[Fig. 25] La Figura 25 es un diagrama de bloques que ilustra un ejemplo de configuración principal de un teléfono celular al que se ha aplicado la presente invención.

[Fig. 26] La Figura 26 es un diagrama de bloques que ilustra un ejemplo de configuración principal de un grabador de disco duro al que se ha aplicado la presente invención.

[Fig. 27] La Figura 27 es un diagrama de bloques que ilustra un ejemplo de configuración principal de una cámara a la que se ha aplicado la presente invención.

[Fig. 28] La Figura 28 es un diagrama que ilustra un ejemplo de macro bloques.

Descripción de las realizaciones

En lo sucesivo, se describirán realizaciones de la presente invención. Obsérvese que la descripción continuará en el siguiente orden.

1. Primera realización (dispositivo de codificación de imagen)

2. Segunda realización (dispositivo de decodificación de imagen)

3. Tercera realización (sistema de codificación/decodificación de imagen)

4. Cuarta realización (QALF)

5. Quinta realización (ordenador personal)

6. Sexta realización (receptor de televisión)

7. Séptima realización (teléfono celular)

8. Octava realización (grabador de disco duro)

9. Novena realización (cámara)

<1. Primera realización>

[Configuración de dispositivo]

La Figura 1 representa la configuración de una realización de un dispositivo de codificación de imagen que sirve como un dispositivo de procesamiento de imagen al que se ha aplicado la presente invención.

Un dispositivo 100 de codificación de imagen mostrado en la Figura 1 es un dispositivo de codificación de imagen que somete una imagen a codificación de compresión usando, por ejemplo, el formato H.264 y MPEG-4 Parte 10 (Codificación de Vídeo Avanzada) (en lo sucesivo, escrita como H.264/AVC), y emplea adicionalmente un filtro de bucle adaptativo.

Con el ejemplo en la Figura 1, el dispositivo 100 de codificación de imagen tiene una unidad 101 de conversión de A/D (Analógico/Digital), una memoria intermedia 102 de reorganización de pantalla, una unidad 103 de cálculo, una unidad 104 de transformada ortogonal, una unidad 105 de cuantificación, una unidad 106 de codificación sin pérdidas, y una memoria intermedia 107 de almacenamiento. El dispositivo 100 de codificación de imagen también tiene una unidad 108 de cuantificación inversa, una unidad 109 de transformada ortogonal inversa, una unidad 110 de cálculo, y un filtro 111 de desbloqueo. Además, el dispositivo 100 de codificación de imagen tiene una unidad 112 de generación de información de control, una unidad 113 de procesamiento de filtro adaptativo, y memoria 114 de fotograma. También, el dispositivo 100 de codificación de imagen tiene una unidad 115 de intra predicción, una unidad 116 de compensación de movimiento, una unidad 117 de predicción de movimiento, y una unidad 118 de selección de imagen de predicción. Además, el dispositivo 100 de codificación de imagen tiene una unidad 119 de control de tasa.

La unidad 101 de conversión de A/D realiza conversión de A/D de una imagen de entrada, y emite a la memoria intermedia 102 de reorganización de pantalla y la almacena. La memoria intermedia 102 de reorganización de pantalla reorganiza las imágenes de fotogramas en el orden almacenado para su visualización en el orden de fotogramas para codificación de acuerdo con GOP (Grupo de Instantáneas). La unidad 103 de cálculo resta de la imagen leída de la memoria intermedia 102 de reorganización de pantalla la imagen de predicción de la unidad 115 de intra predicción seleccionada por la unidad 118 de selección de imagen de predicción o la imagen de predicción de la unidad 116 de compensación de movimiento, y emite información de diferencia de la misma a la unidad 104 de transformada ortogonal. La unidad 104 de transformada ortogonal somete la información de diferencia de la unidad 103 de cálculo a transformada ortogonal, tal como transformada de coseno discreta, transformada de Karhunen-Loéve, o similares, y emite un coeficiente de transformada de la misma. La unidad 105 de cuantificación cuantifica el coeficiente de transformada que emite la unidad 104 de transformada ortogonal.

El coeficiente de transformada cuantificado que es la salida de la unidad 105 de cuantificación se introduce a la unidad 106 de codificación sin pérdidas, donde se somete a codificación sin pérdidas, tal como codificación de longitud variable, codificación aritmética, o similares, y se comprime.

La unidad 106 de codificación sin pérdidas obtiene información que indica intra predicción así sucesivamente de la unidad 115 de intra predicción, y obtiene información que indica un modo de inter predicción, y así sucesivamente de la unidad 117 de predicción de movimiento. Obsérvese que la información que indica intra predicción se denominará también como información de modo de intra predicción en lo sucesivo. También, la información que indica inter predicción también se denominará como información de modo de inter predicción en lo sucesivo.

La unidad 106 de codificación sin pérdidas obtiene información de control de procesamiento de filtro adaptativo realizado en la unidad 113 de procesamiento de filtro adaptativo de la unidad 112 de generación de información de control.

La unidad 106 de codificación sin pérdidas codifica el coeficiente de transformada cuantificado, y también codifica la información de control de procesamiento de filtro adaptativo, la información que indica intra predicción, la información que indica un modo de inter predicción, parámetros de cuantificación, y así sucesivamente, y toma estas como parte de información de encabezamiento en la imagen comprimida (multiplexa). La unidad 106 de codificación sin pérdidas suministra los datos codificados a la memoria intermedia 107 de almacenamiento para almacenamiento.

Por ejemplo, con la unidad 106 de codificación sin pérdidas, se realiza procesamiento de codificación sin pérdidas, tal como codificación de longitud variable, codificación aritmética, o similares. Ejemplos de la codificación de longitud variable incluyen CAVLC (Codificación de Longitud Variable Adaptativa Según Contexto) determinada por el formato de H.264/AVC. Ejemplos de la codificación aritmética incluyen CABAC (Codificación Binaria Aritmética Adaptativa Según Contexto).

La memoria intermedia 107 de almacenamiento mantiene de manera temporal los datos suministrados de la unidad 106 de codificación sin pérdidas, y a una temporización predeterminada emite estos a, por ejemplo, un dispositivo de almacenamiento o ruta de transmisión o similares aguas abajo no mostrado en el dibujo, como una imagen comprimida codificada por el formato de H.264/AVC.

También, el coeficiente de transformada cuantificado emitido desde la unidad 105 de cuantificación también se introduce a la unidad 108 de cuantificación inversa. La unidad 108 de cuantificación inversa realiza cuantificación inversa del coeficiente de transformada cuantificado con un método que corresponde a cuantificación en la unidad 105 de cuantificación, y suministra el coeficiente de transformada obtenido a la unidad 109 de transformada ortogonal inversa.

La unidad 109 de transformada ortogonal inversa realiza transformada ortogonal inversa de los coeficientes de transformación suministrados con un método que corresponde al procesamiento de transformada ortogonal por la unidad 104 de transformada ortogonal. La salida sometida a transformada ortogonal inversa se suministra a la unidad 110 de cálculo. La unidad 110 de cálculo añade la imagen de predicción suministrada de la unidad 118 de selección de imagen de predicción al resultado de la transformada ortogonal inversa suministrado de la unidad 109 de transformada ortogonal inversa, es decir, la información de diferencia restaurada, y obtiene una imagen decodificada localmente (imagen decodificada). Los resultados de adición de los mismos se suministran al filtro 111 de desbloqueo.

El filtro 111 de desbloqueo elimina ruido de bloqueo de la imagen decodificada. El filtro 111 de desbloqueo a continuación suministra los resultados de retirada de ruido a la unidad 112 de generación de información de control y a la unidad 113 de procesamiento de filtro adaptativo.

La unidad 112 de generación de información de control obtiene la imagen decodificada suministrada desde el filtro 111 de desbloqueo y la imagen de entrada actual leída de la memoria intermedia 102 de reorganización de pantalla, y genera a partir de estas información de control para filtrado adaptativo a realizarse en la unidad 113 de procesamiento de filtro adaptativo. Mientras que se describirán detalles más adelante, la información de control incluye coeficientes de filtro, tamaño de bloque, banderas de bloque de filtro, y banderas de control de límite y similares.

La unidad 112 de generación de información de control suministra la información de control generada a la unidad 113 de procesamiento de filtro adaptativo. La unidad 112 de generación de información de control también suministra la información de control generada a la unidad 106 de codificación sin pérdidas también. Como se ha descrito anteriormente, la información de control se somete a procesamiento de compresión sin pérdidas por la unidad 106 de codificación sin pérdidas, y se incluye en la imagen información comprimida (multiplexada). Es decir, la información de control se envía al dispositivo de decodificación de imagen junto con la información de compresión de imagen.

La unidad 113 de procesamiento de filtro adaptativo realiza procesamiento de filtro en la imagen decodificada suministrada desde el filtro 111 de desbloqueo, usando los coeficientes de filtro, especificación de tamaño de bloque, y banderas de bloque de filtro y similares, de la información de control suministrada de la unidad 112 de generación de información de control. Se usa un filtro Wiener (Filtro Wiener), por ejemplo, como este filtro. Por supuesto, puede usare un filtro distinto de un filtro Wiener. La unidad 113 de procesamiento de filtro adaptativo suministra los resultados de procesamiento de filtro a la memoria 114 de fotograma, y los almacena como una imagen de referencia.

La memoria 114 de fotograma emite la imagen de referencia almacenada a la unidad 116 de compensación de movimiento y a la unidad 117 de predicción de movimiento en una temporización predeterminada.

Con este dispositivo 100 de codificación de imagen, la instantánea (picture) I, instantánea B e instantánea P de la memoria intermedia 102 de reorganización de pantalla se suministran a la unidad 115 de intra predicción como una imagen a someterse a intra predicción (también denominado como intra procesamiento), por ejemplo. También, la instantánea B e instantánea P leídas de la memoria intermedia 102 de reorganización de pantalla se suministran a la unidad 117 de compensación de movimiento como una imagen a someterse a inter predicción (también denominado como inter procesamiento).

La unidad 115 de intra predicción realiza procesamiento de intra predicción de todos los modos de intra predicción candidatos basándose en la imagen a someterse a intra predicción leída de la memoria intermedia 102 de reorganización de pantalla, y la imagen de referencia suministrada de la memoria 114 de fotograma para generar una imagen de predicción.

Con la unidad 115 de intra predicción, se transmite información relacionada con el modo de intra predicción aplicado al bloque/macrobloque actual a la unidad 106 de codificación sin pérdidas, y se codifica como una parte de la información de encabezamiento en la información de compresión de imagen. Con el formato de codificación de información de imagen H.264, el modo de predicción intra 4 * 4, el modo de predicción intra 8 * 8, y el modo de predicción intra 16 * 16 se definen para señales de luminancia, y también con respecto a señales de diferencia de color, un modo de predicción puede definirse para cada macrobloque, independientemente de las señales de luminancia. Para el modo de predicción intra 4 * 4, se define un modo de intra predicción para cada bloque de luminancia 4 * 4. Para el modo de predicción intra 8 * 8, se define un modo de intra predicción para cada bloque de luminancia 8 * 8. Para el modo de predicción intra 16 * 16 y las señales de diferencia de color, se define un modo de intra predicción para cada macrobloque.

La unidad 115 de intra predicción calcula un valor de función de coste como el modo de intra predicción donde se ha generado la imagen de predicción, y selecciona el modo de intra predicción donde el valor de función de coste calculado proporciona el valor mínimo, como el modo de intra predicción óptimo. La unidad 115 de intra predicción suministra la imagen de predicción generada en el modo de intra predicción óptimo a la unidad 118 de selección de imagen de predicción.

Con respecto a la imagen a someterse a inter codificación, la unidad 117 de predicción de movimiento obtiene información de imagen suministrada de la memoria intermedia 102 de reorganización de pantalla (imagen de entrada) e información de imagen que sirve como el fotograma de referencia suministrado de la memoria 114 de fotograma (imagen decodificada), y calcula un vector de movimiento. La unidad 117 de predicción de movimiento suministra información de vector de movimiento que indica el vector de movimiento calculado a la unidad 106 de codificación sin pérdidas. Esta información de vector de movimiento se somete a procesamiento de compresión sin pérdidas por la unidad 106 de codificación sin pérdidas, y se incluye en la información de compresión de imagen. Es decir la información del vector de movimiento se envía al dispositivo de decodificación de imagen junto con la información de compresión de imagen.

También, la unidad 117 de predicción de movimiento también suministra la información del vector de movimiento a la unidad 116 de compensación de movimiento.

La unidad 116 de compensación de movimiento realiza procesamiento de compensación de movimiento de acuerdo con la información del vector de movimiento suministrada desde la unidad 117 de predicción de movimiento, y genera información de imagen de inter predicción. La unidad 116 de compensación de movimiento suministra la información de imagen de predicción generada a la unidad 118 de selección de imagen de predicción.

En el caso de una imagen para realizar intra codificación, la unidad 118 de selección de imagen de predicción suministra la salida de la unidad 115 de intra predicción a la unidad 103 de cálculo, y en el caso de una imagen para realizar inter codificación, suministra la salida de la unidad 116 de compensación de movimiento a la unidad 103 de cálculo.

La unidad 119 de control de tasa controla la tasa de operaciones de cuantificación de la unidad 105 de cuantificación basándose en la imagen comprimida almacenada en la memoria intermedia 107 de almacenamiento, de manera que no tiene lugar desbordamiento o infrautilización.

Con MPEG (Grupo de Expertos de Imágenes en Movimiento) 2, los incrementos de procesamiento de predicción/compensación de movimiento son bloques de compensación de movimiento, y puede mantenerse información de vector de movimiento independiente en cada bloque de compensación de movimiento. El tamaño de un bloque de compensación de movimiento es 16 * 16 píxeles en el caso de modo de compensación de movimiento de fotograma, y en el caso de modo de compensación de movimiento de campo es 16 * 8 píxeles para cada uno del primer campo y el segundo campo.

Por otra parte, con AVC (Codificación de Vídeo Avanzada), un macrobloque configurado de 16 * 16 píxeles, como se muestra en el lado superior en la Figura 2, puede dividirse en cualquiera de las particiones de 16 * 16, 16 x 8, 8 x 16, u 8 x 8, manteniendo cada una información de vector de movimiento independiente. También, como se muestra en lado inferior en la Figura 2, una partición de 8 x 8 puede dividirse en cualquiera de las subparticiones de 8 x 8, 8 x 4, 4 x 8, o 4 x 4, manteniendo cada una información de vector de movimiento independiente. El procesamiento de predicción/compensación de movimiento se realiza con este bloque de compensación de movimiento como un incremento.

La Figura 3 es un diagrama de bloques que ilustra un ejemplo de configuración primario de la unidad 112 de generación de información de control.

La unidad 112 de generación de información de control genera información de control usada en el filtro adaptativo (ALF (Filtro de Bucle Adaptativo)) que es un filtro de bucle, realizado en la unidad 113 de procesamiento de filtro adaptativo. La unidad 112 de generación de información de control genera, como la información de control, coeficientes de filtro, tamaño de bloque de ALF, banderas de bloque de filtro, y banderas de control de límite, por ejemplo.

La unidad 112 de generación de información de control tiene una unidad 131 de cálculo de coeficiente de filtro, unidad 132 de generación de bandera de control de límite, y unidad 133 de generación de información de bloque. La unidad 131 de cálculo de coeficiente de filtro obtiene la imagen decodificada suministrada desde el filtro 111 de desbloqueo y la imagen de entrada actual leída de la memoria intermedia 102 de reorganización de pantalla, y calcula un coeficiente de filtro de ALF para cada fotograma.

La unidad 132 de generación de bandera de control de límite genera una bandera de control de límite (alf_enable_in_slice_boundary) que controla como ha de realizarse el procesamiento de filtro en cuanto a píxeles cerca del límite de cortes, del cual se forma una pluralidad en el fotograma (especifica método de procesamiento de filtro). Se describirán detalles más adelante.

La unidad 133 de información de generación de bloque determina el tamaño de bloque de ALF basándose en la imagen decodificada suministrada desde el filtro 111 de desbloqueo y los coeficientes de filtro calculados por la unidad 131 de cálculo de coeficiente de filtro, y genera una bandera de bloque de filtro para cada bloque de ALF dentro del corte a procesarse.

Ahora, se realizará la descripción con respecto al bloque de ALF y bandera de bloque de filtro. La Figura 4 es un diagrama para describir bloques de ALF y banderas de bloque de filtro.

Como se ha descrito anteriormente, el filtro adaptativo tiene coeficientes de filtro establecidos para cada fotograma. Es decir, se realiza procesamiento de filtro óptimo en incrementos de fotogramas. Sin embargo, en general, las imágenes de fotograma no son globalmente uniformes, y tienen diversas características de manera local. Por lo tanto, los coeficientes de filtro óptimos difieren de manera local. Por consiguiente, mientras que el procesamiento de filtro que usa coeficientes de filtro determina cada fotograma como se ha descrito anteriormente mejora la calidad de imagen para el fotograma global, ha habido preocupación de que esto, de hecho, se deteriore localmente.

Por consiguiente, se ha concebido BALF (Filtro de Bucle Adaptativo basado en Bloque) en el que no se realiza procesamiento de filtro en regiones donde la calidad de imagen se deteriora de manera local.

Una imagen decodificada que sigue procesamiento de filtro de desbloqueo se muestra en el fotograma 151 en A en la Figura 4. Como se muestra en B en la Figura 4, la unidad 133 de información de generación de bloque pone en serie múltiples bloques 152 de ALF, que son bloques de control que sirven como el incremento de control para procesamiento de filtro adaptativo realizado de manera local, sin huecos como si se usaran para pavimentar la región completa del fotograma 151. La región donde se colocan los bloques 152 de ALF no tiene que ser la misma que la región del fotograma 151, sino que incluye al menos la región entera del fotograma. La región del fotograma 151 se divide de manera resultante en las regiones de los bloques 152 de ALF (múltiples regiones).

La unidad 133 de información de generación de bloque determina el tamaño de dirección horizontal (flecha 153 de ambos lados) y tamaño de dirección vertical (flecha 154 de ambos lados) de los bloques 152 de ALF. Para el tamaño de los bloques de ALF, puede especificarse uno de 8 * 8, 16 * 16, 24 * 24, 32 * 32, 48 * 48, 64 * 64, 96 * 96, o 128 * 128, para cada corte. La información que especifica el tamaño del bloque de ALF se denominará índice de tamaño de bloque.

Una vez que se decide el tamaño de bloque, el número de bloques de ALF por fotograma se ha decidido también, puesto que el tamaño de fotograma está fijado.

Como se muestra en C en la Figura 4, la unidad 133 de información de generación de bloque establece una bandera 155 de bloque de filtro que controla si realizar o no procesamiento de filtro, en cada bloque 152 de ALF. Por ejemplo, se genera una bandera 155 de bloque de filtro con un valor de "1" para una región donde se mejora la calidad de imagen por el filtro adaptativo, y se genera una bandera 155 de bloque de filtro con un valor de "0" para una región donde se deteriora la calidad de imagen por el filtro adaptativo. Con la bandera 155 de bloque de filtro, el valor de "1" es un valor que indica que ha de realizarse procesamiento de filtro, y el valor de "0" es un valor que indica que no ha realizarse procesamiento de filtro.

La unidad 113 de procesamiento de filtro adaptativo controla el procesamiento de filtro adaptativo basándose en el valor de la bandera 155 de bloque de filtro. Por ejemplo, la unidad 113 de procesamiento de filtro adaptativo realiza procesamiento de filtro únicamente en las regiones donde los bloques 152 de ALF tienen un valor de "1" para la bandera 155 de filtro, y no realiza procesamiento de filtro en las regiones donde los bloques 152 de ALF tienen un valor de "0" para la bandera 155 de filtro.

También, el índice de tamaño de bloque anteriormente descrito y bandera de bloque de filtro están incluidos en el encabezamiento de corte de la información de compresión de imagen, y se envían desde el dispositivo 100 de codificación de imagen al dispositivo de decodificación de imagen. La una o más banderas de bloque de filtro que corresponden al número de bloques de ALF están incluidas en el encabezamiento de corte en el orden de exploración por barrido, por ejemplo.

Por consiguiente, cuanto menor es el tamaño del bloque de ALF, más preciso puede realizarse el control de filtro, y puede realizarse filtrado de ALF más apropiado. Sin embargo, el tamaño de bloque de ALF más pequeño aumenta la cantidad de bits de las banderas de bloque de filtro. Es decir, cuanto menor es el bloque de ^aL^fmás se reduce la eficacia de codificación de la información de compresión de imagen. Por lo tanto, las capacidades del filtro adaptativo y la eficacia de codificación de la información de compresión de imagen están en una relación de compensación.

El número de bloques de ALF se calcula con la siguiente expresión (1).

[Expresión matemática 1]

(1) En la expresión (1), N^bloquealfrepresenta el número de bloques de ALF. También, N^mbwrepresenta el número de macro bloques en la dirección horizontal de la instantánea, y NMBh representa el número de macro bloques en la dirección vertical de la instantánea. Además, N^tamañorepresenta el tamaño de un lado de un bloque de ALF. También, floor[x] es una función donde x se redondea al decimal para que sea un número entero.

Ahora, con H.264/AVC, una vez que el fotograma puede dividirse en múltiples cortes, y la información de compresión de imagen puede emitirse para cada corte. La Figura 5 es un diagrama para describir un ejemplo de múltiples cortes. En el caso del ejemplo en la Figura 5, el fotograma 151 se divide en tres cortes del corte 0, corte 1, y corte 2.

Emitiendo información de compresión de imagen en incrementos de corte más precisos que fotogramas, el dispositivo de codificación de imagen puede generar y emitir información de compresión de imagen a intervalos más cortos. Es decir, el dispositivo de decodificación de imagen que decodifica la información de compresión de imagen puede empezar a decodificar la información de compresión de imagen en una etapa anterior. Es decir, puede acortarse el tiempo de retardo de la imagen que se está introduciendo al procesamiento de codificación y el procesamiento de codificación que se está realizando y la imagen que se está emitiendo.

El documento NPL 2 que describe BALF no desvela estos múltiples cortes. Es decir, se describe establecer únicamente bloques de ALF para todo el fotograma. Sin embargo, en el caso de múltiples cortes, hay casos donde no puede realizarse procesamiento de filtro normal en cuanto a píxeles cerca del límite de cortes.

La Figura 6 es un diagrama que ilustra la manera en la que se realiza procesamiento de filtro en cuanto a píxeles cerca del límite de corte. En el caso de realizar procesamiento de filtro en cuanto a los píxeles a procesarse, la unidad 113 de procesamiento de filtro adaptativo realiza esto usando píxeles dentro de un intervalo predeterminado alrededor del píxel a procesarse (píxeles circundantes). Por ejemplo, en el caso de la Figura 6, la unidad 113 de procesamiento de filtro adaptativo realiza procesamiento de filtro en un píxel a procesarse 161 usando 9 * 9 píxeles 162 circundantes mostrados con entramado.

Sin embargo, como se muestra en la Figura 6, el píxel a procesarse 161 es un píxel cerca del límite 163 de corte. Ahora, el límite 163 de corte indica el límite entre un corte a procesarse actualmente (corte actual) y un corte vecino al corte a procesarse (corte vecino). Es decir, el límite 163 de corte indica el fotograma externo del corte actual. Como se muestra en la Figura 6, los píxeles 162 circundantes usados para procesamiento de filtro del píxel a procesarse 161 cerca del límite 163 de corte cruzan parcialmente sobre el límite 163 de corte y traspasan la región del corte vecino. Es decir, para realizar procesamiento de filtro del píxel a procesarse 161 de la misma manera que con un caso normal, son necesarios los valores de píxeles del corte vecino, como se muestra en A en la Figura 7 por ejemplo.

En el caso del ejemplo en A en la Figura 7, la unidad 113 de procesamiento de filtro adaptativo realiza procesamiento de filtro en cuanto al píxel EE que es el píxel a procesarse, usando el píxel AA a través del píxel JJ tanto en el corte actual como el corte vecino.

Sin embargo, para hacer esto, necesita esperarse a la generación de la imagen decodificada del corte vecino. Por consiguiente, en este caso, ha habido la preocupación de que aumentaría el tiempo de retardo de procesamiento de codificación.

Por otra parte, hay un método para generar y usar datos ficticios, como se muestra en B en la Figura 7, por ejemplo. En el caso del ejemplo en B en la Figura 7, la unidad 113 de procesamiento de filtro adaptativo duplica el píxel EA a través de píxel Ej adyacente al límite 163 de corte, generando de esta manera píxeles dentro del corte vecino para los píxeles 162 circundantes (datos ficticios). La unidad 113 de procesamiento de filtro adaptativo realiza procesamiento de filtro en cuanto al píxel EE usando los datos ficticios generados.

Por lo tanto, la unidad 113 de procesamiento de filtro adaptativo no necesita esperar píxeles del corte vecino a generarse, y el procesamiento de filtro del píxel EE puede realizarse en una etapa anterior que con el caso de A en la Figura 7.

Es decir, con el caso del método de A en la Figura 7 que usa los píxeles del corte vecino, la unidad 113 de procesamiento de filtro adaptativo usa datos reales, por lo que el procesamiento de filtro puede realizarse más adecuado para los contenidos de la imagen real. Es decir, puede esperarse gran mejora de calidad de imagen debido a procesamiento de filtro.

Por otra parte, en el caso del método en B en la Figura 7, la unidad 113 de procesamiento de filtro adaptativo no necesita datos del corte adyacente para procesamiento de filtro, y el procesamiento puede realizarse con los datos del corte actual solamente, por lo que el procesamiento de filtro puede realizarse en una etapa anterior.

Cuál método es deseable difiere dependiendo de las especificaciones de sistema, solicitudes de usuario y así sucesivamente. Por ejemplo, si el sistema destaca la calidad de imagen, el método mostrado en A en la Figura 7, pero el método en A en la Figura 7 consume una cantidad de memoria mayor que el método en B en la Figura 7, y existe la preocupación de que aumentará el tiempo de retardo. Por consiguiente, dependiendo de la capacidad de memoria que puede usarse con el sistema y la duración de tiempo de retardo tolerable, puede haber causas donde sea más deseable el método de B en la Figura 7.

La bandera de control de límite controla el método de procesamiento de filtro en cuanto a tales píxeles cerca de un límite.

Volviendo a la Figura 3, la unidad 132 de generación de bandera de control de límite genera tales banderas de control de límite. La unidad 132 de generación de bandera de control de límite tiene una unidad 141 de gestión de especificación de sistema, una unidad 142 de determinación, y una unidad 143 de generación.

La unidad 141 de gestión de especificación de sistema gestiona las especificaciones del sistema que realiza procesamiento de imágenes (recursos de hardware, fin de uso, etc.) que incluye el dispositivo 100 de codificación de imagen. Por ejemplo, la unidad 141 de gestión de especificación de sistema puede estar dispuesta para gestionar las especificaciones (recursos de hardware, fin de uso, etc.) del dispositivo de decodificación de imagen codificado en el dispositivo 100 de codificación de imagen.

La unidad 142 de determinación determina si el píxel a procesarse es o no un píxel cerca del límite. La unidad 143 de generación genera banderas de control de límite para los píxeles a procesarse que se han determinado que son píxeles cerca del límite.

La Figura 8 es un diagrama de bloques que ilustra un ejemplo de configuración primario de la unidad 113 de procesamiento de filtro adaptativo en la Figura 1.

La unidad 113 de procesamiento de filtro adaptativo realiza procesamiento de filtro en la imagen decodificada suministrada desde el filtro 111 de desbloqueo usando la información de control suministrada de la unidad 112 de generación de información de control.

Como se muestra en la Figura 9, la unidad 113 de procesamiento de filtro adaptativo tiene una unidad 171 de control, un filtro 172 adaptativo, y una unidad 173 de selección.

La unidad 171 de control controla el filtro 172 adaptativo y la unidad 173 de selección. Por ejemplo, la unidad 171 de control obtiene información de control de la unidad 112 de generación de información de control, y controla el procesamiento de filtro basándose en esta información de control.

El filtro 172 adaptativo realiza procesamiento de filtro de una región en la imagen decodificada suministrada desde el filtro 111 de desbloqueo, especificada como bloques de ALF a procesarse desde la unidad 171 de control, usando un coeficiente de filtro establecido por la unidad 171 de control.

El filtro 172 adaptativo tiene una memoria intermedia 181, un filtro 182 adaptativo en corte, un primer filtro adaptativo para límite 183, y un segundo filtro adaptativo para el límite 184.

La memoria intermedia 181 almacena temporalmente una imagen decodificada suministrada desde el filtro 111 de desbloqueo. La memoria intermedia 181 puede no mantener únicamente el corte a procesarse, sino también el corte vecino al corte a procesarse (corte vecino).

El filtro 182 adaptativo en corte realiza procesamiento de filtro en cuanto a píxeles a procesarse que no están cerca del límite de corte y con respecto a qué píxeles del corte vecino no están incluidos en los píxeles circundantes, bajo el control de la unidad 171 de control. Es decir, el filtro 182 adaptativo en corte realiza procesamiento de filtro usando únicamente píxeles del corte actual.

El primer filtro adaptativo para límite 183 realiza procesamiento de filtro traspasando cortes en píxeles a procesarse que están cerca del límite de corte y con respecto a qué píxeles del corte vecino están incluidos en los píxeles circundantes, bajo el control de la unidad 171 de control. Es decir, el primer filtro adaptativo para límite 183 realiza procesamiento de filtro usando los píxeles del corte actual y corte vecino, con un método tal como se muestra en A en la Figura 7. Por consiguiente, el primer filtro adaptativo para límite 183 inicia el procesamiento de filtro después de que se hayan acumulado píxeles del corte adyacente en la memoria intermedia 181.

El segundo filtro adaptativo para el límite 184 realiza procesamiento de filtro cerrado al corte actual, en píxeles a procesarse que están cerca del límite de corte y con respecto a qué píxeles del corte vecino están incluidos en los píxeles circundantes, bajo el control de la unidad 171 de control. Es decir, el segundo filtro adaptativo para el límite 184 realiza procesamiento de filtro generando datos ficticios según sea necesario, usando los píxeles del corte actual solamente, con un método tal como se muestra en B en la Figura 7. Por consiguiente, el segundo filtro adaptativo para el límite 184 inicia el procesamiento de filtro en los píxeles del corte actual que se están acumulando en la memoria intermedia 181.

La unidad 171 de control selecciona uno del filtro 182 adaptativo en corte, primer filtro adaptativo para límite 183, y segundo filtro adaptativo para límite 184, siguiendo la posición del píxel a procesarse y el valor de la bandera de control de límite incluido en la información de control, y provoca que la unidad de procesamiento seleccionada ejecute procesamiento de filtro con su propio método.

También, la unidad 171 de control controla la temporización de inicio de procesamiento de filtro de la unidad de procesamiento seleccionada (filtro 182 adaptativo en corte, primer filtro adaptativo para límite 183, o segundo filtro adaptativo para límite 184), de acuerdo con el estado de acumulación de la imagen en la memoria intermedia 181. El filtro 172 adaptativo (filtro 182 adaptativo en corte, primer filtro adaptativo para límite 183, o segundo filtro adaptativo para límite 184) suministra los resultados de procesamiento de filtro a la unidad 173 de selección.

Bajo el control de la unidad 171 de control, la unidad 173 de selección selecciona una de la imagen decodificada suministrada desde el filtro 111 de desbloqueo (imagen decodificada no sometida a procesamiento de filtro adaptativo) y la imagen decodificada suministrada desde el filtro 172 adaptativo (imagen decodificada sometida a procesamiento de filtro adaptativo), suministra esto a la memoria 114 de fotograma, y almacena como una imagen de referencia.

La unidad 171 de control controla la unidad 173 de selección siguiendo el valor de la bandera de bloque de filtro incluido en la información de control para seleccionar una de la imagen decodificada no sometida a procesamiento de filtro adaptativo y la imagen decodificada sometida a procesamiento de filtro adaptativo.

Es decir, la unidad 113 de procesamiento de filtro adaptativo realiza procesamiento de filtro únicamente para una región en la imagen decodificada suministrada desde el filtro 111 de desbloqueo con respecto a qué indicación se haya realizado para realizar procesamiento de filtro por la bandera de bloque de filtro (región con respecto a qué determinación se ha realizado que la calidad de imagen se mejorará por procesamiento de filtro).

[Flujo de procesamiento]

A continuación, se describirá el flujo de procesamiento que usa las porciones configuradas como se ha descrito anteriormente. En primer lugar, se describirá un ejemplo de la parte baja del procesamiento de codificación realizado por el dispositivo 100 de codificación de imagen con referencia al diagrama de flujo en la Figura 9.

En la etapa S101, la unidad 101 de conversión de A/D convierte una imagen de entrada de analógico a digital. En la etapa S102, la memoria intermedia 102 de reorganización de pantalla almacena la imagen de A/D convertida, y realiza reorganización de la secuencia para visualizar las instantáneas a la secuencia para codificación.

En la etapa S103, la unidad 103 de cálculo calcula diferencia entre una imagen reorganizada por el procesamiento en la etapa S102 y la imagen de predicción. La imagen de predicción se suministra a la unidad 103 de cálculo desde la unidad 116 de compensación de movimiento en el caso de realizar inter predicción, y desde la unidad 115 de intra predicción en el caso de realizar intra predicción, mediante la unidad 118 de selección de imagen de predicción. Los datos de diferencia son menores en la cantidad de datos en comparación con los datos de imagen original. Por consiguiente, la cantidad de datos puede comprimirse en comparación con el caso de codificar la imagen original sin cambio.

En la etapa S104, la unidad 104 de transformada ortogonal somete la información de diferencia generada por el procesamiento en la etapa S103 a transformada ortogonal. Específicamente, se emite la transformada ortogonal, tal como transformada de coseno discreta, transformada Karhunen-Loéve, o similares, y se emite un coeficiente de transformada. En la etapa S105, la unidad 105 de cuantificación cuantifica el coeficiente de transformada. En el momento de esta cuantificación, se controla una tasa tal como se describirá el procesamiento descrito más adelante en la etapa S119.

La información de diferencia cuantificada de esta manera se decodifica localmente como sigue. Específicamente, en la etapa S106, la unidad 108 de cuantificación inversa somete el coeficiente de transformada cuantificado por la unidad 105 de cuantificación a cuantificación inversa usando una propiedad que corresponde a la propiedad de la unidad 105 de cuantificación. En la etapa S107, la unidad 109 de transformada ortogonal inversa somete el coeficiente de transformada sometido a cuantificación inversa por la unidad 108 de cuantificación inversa a transformada ortogonal inversa usando una propiedad que corresponde a la propiedad de la unidad 104 de transformada ortogonal.

En la etapa S108 la unidad 110 de cálculo añade la imagen de predicción introducida mediante la unidad 118 de selección de imagen de predicción a la información de diferencia localmente decodificada, y genera una imagen decodificada localmente (la imagen que corresponde a la entrada a la unidad 103 de cálculo). En la etapa S109, el filtro 111 de desbloqueo somete la imagen emitida desde la unidad 110 de cálculo a filtrado. Por lo tanto, se elimina ruido de bloqueo.

Después de que se realice el procesamiento anterior para un corte, en la etapa S110 la unidad 112 de generación de información de control genera información de control a usarse para procesamiento de filtro adaptativo. Los detalles del procesamiento de generación de información de control se describirán más adelante en detalle.

Después de que se genere información de control tal como coeficientes de filtro, tamaño de bloque de ALF, y bandera de bloque de filtro y similares por el procesamiento en la etapa S110, en la etapa S111 la unidad 113 de procesamiento de filtro adaptativo realiza procesamiento de filtro adaptativo en la imagen decodificada sometida al procesamiento de filtro de desbloqueo en el procesamiento de la etapa S109. Detalles de este procesamiento de filtro adaptativo se describirán más adelante.

En la etapa S112, la memoria 114 de fotograma almacena la imagen sometida a procesamiento de filtro adaptativo en la etapa S111.

En la etapa S113, la unidad 115 de intra predicción realiza procesamiento de intra predicción en el modo de intra predicción. En la etapa S114, la unidad 117 de predicción de movimiento y la unidad 116 de compensación de movimiento realizan procesamiento de predicción/compensación de movimiento en el modo de inter predicción. En la etapa S115, la unidad 118 de selección de imagen de predicción selecciona una de una imagen de predicción generada por procesamiento de intra predicción o una imagen de predicción generada por procesamiento de predicción/compensación de inter movimiento, de acuerdo con el modo de predicción del fotograma a procesarse. La unidad 118 de selección de imagen de predicción suministra la imagen de predicción seleccionada a las unidades de cálculo 103 y 110. Esta imagen de predicción se usa, como se ha descrito anteriormente, para cálculos en las etapas S103yS108.

En la etapa S116, la unidad 106 de codificación sin pérdidas codifica el coeficiente de transformada cuantificado emitido desde la unidad 105 de cuantificación. Específicamente, la imagen de diferencia se somete a codificación sin pérdidas tal como codificación de longitud variable, codificación aritmética, o similares y se comprime. En este momento, la unidad 106 de codificación sin pérdidas también codifica la información de control generada en la etapa S110, la información de modo de intra predicción para procesamiento de intra predicción en la etapa S113, el modo de inter predicción para procesamiento de predicción /compensación de inter movimiento en la etapa S114, y así sucesivamente.

En la etapa S117, la unidad 106 de codificación sin pérdidas incrusta (describe) metadatos tales como la información de control codificada y así sucesivamente en el encabezamiento de corte. Estos metadatos leídos y usados para cuando se realiza decodificación de imagen. Incluyendo (multiplexando) los metadatos necesarios para procesamiento de decodificación de esta manera, la ejecución de procesamiento de decodificación se posibilita en incrementos más precisos que los incrementos de fotograma, y puede suprimirse el aumento de tiempo de retardo. En la etapa S118, la memoria intermedia 107 de almacenamiento almacena una imagen de diferencia tal como una imagen comprimida. La imagen comprimida almacenada en la memoria intermedia 107 de almacenamiento se lee según sea apropiado y se transmite al lado de decodificación mediante la ruta de transmisión.

En la etapa S119, la unidad 119 de control de tasa controla la tasa de la operación de cuantificación de la unidad 105 de cuantificación, de modo que no tiene lugar el desbordamiento o infrautilización, basándose en la imagen comprimida almacenada en la memoria intermedia 107 de almacenamiento.

A continuación, se realizará la descripción de un ejemplo del flujo de procesamiento de generación de información de control ejecutado por la unidad 112 de generación de información de control en la etapa S110 en la Figura 10 que se describirá con referencia al diagrama de flujo en la Figura 11.

Después de que se inicie el procesamiento de generación de información de control, la unidad 131 de cálculo de coeficiente de filtro de la unidad 112 de generación de información de control calcula un coeficiente de filtro usando la imagen de entrada suministrada de la memoria intermedia 102 de reorganización de pantalla y la imagen decodificada sometida a procesamiento de filtro de desbloqueo que se suministra desde el filtro 111 de desbloqueo. Por ejemplo, la unidad 131 de cálculo de coeficiente de filtro determina el valor del coeficiente de filtro de manera que el residuo de la imagen de entrada e imagen decodificada es el más pequeño.

Después de que se calcule el coeficiente de filtro, en la etapa S132 la unidad 132 de generación de bandera de control de límite genera una bandera de control de límite para controlar el método de procesamiento de filtro adaptativo como el píxel cerca del límite. Se describirán detalles más adelante.

Después de que se genere una bandera de control de límite, en la etapa S133 la unidad 133 de información de generación de bloque genera información de bloque que incluye tamaño de bloque de ALF y bandera de bloque de filtro. El tamaño de bloque de ALF puede determinarse de antemano, o puede establecerse según sea apropiado de acuerdo con los contenidos de la imagen. En este caso, la unidad 133 de información de generación de bloque calcula un valor de coste que evalúa los resultados de procesamiento de filtro usando una función de coste, y determina el tamaño de bloque de ALF de manera que el valor de coste es el más pequeño, por ejemplo. También, la unidad 133 de información de generación de bloque determina el valor de la bandera de bloque de filtro dependiendo de si se mejora la calidad de imagen en el caso que el procesamiento de filtro se aplique al bloque de ALF a procesarse. Por ejemplo, en el caso de determinar que la calidad de imagen se mejora aplicando el procesamiento de filtro, la unidad 133 de información de generación de bloque establece el valor de la bandera de bloque de filtro a "1" que indica que ha de realizarse el procesamiento de filtro, y en el caso de determinación que la calidad de imagen se deteriore aplicando el procesamiento de filtro, establece el valor de la bandera de bloque de filtro a "0" que indica que no ha de realizarse procesamiento de filtro.

Después de que se genere información de bloque, el flujo vuelve a la etapa S110 en la Figura 9, y se realiza el procesamiento de la etapa S111 y en adelante.

Obsérvese que el cálculo del coeficiente de filtro realizado en la etapa S131 puede realizarse en incrementos de fotograma. En este caso, el procesamiento en la etapa S131 puede realizarse únicamente en un corte determinado dentro del fotograma (por ejemplo, un corte donde el número de identificación dentro del fotograma es un valor predeterminado (por ejemplo, "0"), o un corte procesado en primer lugar dentro del fotograma, o similares), con este valor usado para los otros cortes. También, puede usarse una imagen arbitraria para cálculo de coeficientes de filtro. Por ejemplo, el cálculo puede realizarse basándose en imágenes de fotograma pasadas.

A continuación, se describirá un ejemplo del flujo de la bandera de control de límite que ajusta el procesamiento ejecutado en la etapa S132 en la Figura 10 con referencia al diagrama de flujo en la Figura 11.

Después de que se inicie la bandera de control de límite que ajusta el procesamiento, en la etapa S151 la unidad 141 de gestión de especificación de sistema de la unidad 132 de generación de bandera de control de límite obtiene información de especificación de sistema.

Esta información de especificación de sistema es información que incluye los recursos de hardware y fin de uso y así sucesivamente del sistema que incluye el dispositivo 100 de codificación de imagen, por ejemplo. Los recursos de hardware son recursos de hardware de los dispositivos que configuran el sistema (que incluye el dispositivo 100 de codificación de imagen), y por ejemplo incluye capacidades de procesamiento, capacidad de memoria usable, velocidad de transmisión de bus y así sucesivamente. También, fin de uso es el modo de operación del sistema global o dispositivos individuales, e incluye, por ejemplo, si operar con énfasis en calidad de imagen, si operar con énfasis en velocidad, y así sucesivamente. Por supuesto, puede incluirse información distinta de estas en la información de especificación de sistema.

Esta información de especificación de sistema puede almacenarse de antemano en memoria o similares creada en la unidad 141 de gestión de especificación de sistema. En este caso, la unidad 141 de gestión de especificación de sistema lee la información de especificación de sistema de la memoria por el procesamiento en la etapa S151. También, en el momento del procesamiento en la etapa S151, la unidad 141 de gestión de especificación de sistema puede recopilar información de especificación tal como se ha descrito anteriormente de partes del dispositivo 100 de codificación de imagen y de otros dispositivos y así sucesivamente.

Después de obtener la información de especificación de sistema, la unidad 141 de gestión de especificación de sistema suministra esta a la unidad 142 de determinación.

En la etapa S152, la unidad 142 de determinación determina si usar o no el siguiente corte para procesamiento de filtro cerca del límite, basándose en la información de especificación de sistema suministrada (recursos de hardware, fin de uso, etc.). Es decir, en el caso que un píxel cerca de un límite con el corte vecino que está incluido en píxeles circundantes sea el píxel a procesarse, la unidad 142 de determinación determina si realizar procesamiento de filtro traspasando cortes, o realizar procesamiento de filtro cerrado en el corte actual.

Por ejemplo, en el caso que sea tolerable tiempo de retardo aumentado, y haya suficiente capacidad de memoria disponible en el dispositivo 100 de codificación de imagen y dispositivo de decodificación de imagen y similares, la unidad 142 de determinación selecciona procesamiento de filtro traspasando cortes. También, por ejemplo, en el caso que el aumento en tiempo de retardo sea intolerable o no haya suficientes recursos de hardware en los dispositivos del sistema, la unidad 142 de determinación selecciona procesamiento de filtro cerrado en el corte actual.

En el caso que se haya realizado la determinación para usar el siguiente corte, es decir, para realizar procesamiento de filtro traspasando cortes, el flujo avanza a la etapa S153. En la etapa S153 la unidad 143 de generación genera una bandera de control de límite con un valor "1".

También, en el caso que la determinación no se haya realizado para usar el siguiente corte, es decir, para realizar procesamiento de filtro cerrado en el corte actual, el flujo avanza a la etapa S154. En la etapa S154 la unidad 143 de generación genera una bandera de control de límite con un valor "0".

Después de generar la bandera de control de límite, la unidad 143 de generación suministra esta a la unidad 113 de procesamiento de filtro adaptativo y a la unidad 106 de codificación sin pérdidas. La unidad 106 de codificación sin pérdidas codifica la bandera de control de límite suministrada de la unidad 143 de generación como información de control, e incrusta esta en el encabezamiento de corte o similar del corte actual. La unidad 113 de procesamiento de filtro adaptativo controla procesamiento de filtro adaptativo usando la bandera de control de límite suministrada de la unidad 143 de generación.

Después de que finalice el procesamiento de la etapa S153 o la etapa S154, el procesamiento de ajuste de bandera de control de límite finaliza, el flujo vuelve a la etapa S132 en la Figura 10, y se realiza el procesamiento de la etapa S133 y en adelante.

A continuación, un ejemplo del flujo de procesamiento de filtro adaptativo ejecutado en la etapa S111 en la Figura 9 se describirá con referencia al diagrama de flujo en la Figura 12.

Después de que se inicie procesamiento de filtro adaptativo, en la etapa S171 la memoria intermedia 181 obtiene la imagen decodificada del corte a procesarse del filtro 111 de desbloqueo. Después de que se obtenga el corte a procesarse en la etapa S172 la unidad 171 de control identifica la región del corte a procesarse.

Para conocer la región del corte actual que ha de procesarse, esto puede hallarse conociendo los macrobloques incluidos en el corte actual, y conociendo los píxeles incluidos en los macrobloques a partir de los mismos. La unidad 171 de control obtiene la dirección de macrobloque de inicio del corte actual del encabezamiento de corte.

Ahora, la dirección de macrobloque de inicio es un número asignado a macrobloques en orden de exploración por filas de la parte superior izquierda de la pantalla. Como se muestra en la Figura 5, la dirección de macrobloque en la parte superior izquierda en la imagen (fotograma 151) es 0. El corte 0 se inicia desde la parte superior izquierda del fotograma 151, por lo que la dirección de macrobloque del macrobloque de inicio 156-1 del corte 0 es 0. Siguiendo este orden, el macrobloque de fin 156-2 o el corte 0 es E0. También, de la misma manera que con este corte 0, la dirección de macrobloque del macrobloque de inicio 157-1 del corte 1 es S1, y la dirección de macrobloque del macrobloque de fin 15721 es E1. Además, la dirección de macrobloque del macrobloque de inicio 158-1 del corte 2 es S2, y la dirección de macrobloque del macrobloque de fin 158-2 es E2.

A medida que se decodifica el corte actual, se añade una dirección de macrobloque cada vez que se completa el procesamiento de decodificación de tiempo de un macrobloque, y de manera eventual se alcanza el macrobloque de fin del corte actual. Una bandera que indica el macrobloque de fin del corte se establece en el macrobloque de fin. Debido a esto, todas las direcciones de macrobloque que mantiene el corte actual pueden ser conocidas. Es decir, estas son de la dirección de macrobloque de inicio a la dirección de fin de macrobloque.

Ahora, con un conjunto de parámetros de secuencia (SPS (Conjunto de Parámetros de Secuencia)) de un flujo de AVC (información de compresión de imagen), el tamaño de imagen de un fotograma se indica por el número de macrobloques. pic_height_in_map_units_minus1 indica el número de macrobloques en la dirección vertical de la imagen. pic_width_in_mbs_minus1 indica el número de macrobloques en la dirección horizontal de la imagen.

Por consiguiente, de la dirección de macrobloque, la posición del macrobloque se expresa por la siguiente expresión (2) y la expresión (3).

mbx = dirección de macro bloque % pic_width_in_mbs_minus1 ...(2)

mby = floor[dirección de macro bloque / pic_width_in_mbs_minus1] ...(3)

En la expresión (2) y la expresión (3), mbx indica qué número es desde la izquierda del macrobloque, y mby indica qué número es desde la parte superior del macro bloque. También, floor [z] indica z que se redondee en el decimal para que sea un número entero, y A % B indica el resto de que se haya dividido A por B.

Si decimos que se determina el tamaño del macrobloque para que sea 16 * 16 píxeles, la posición de dirección vertical y dirección horizontal del píxel en la parte superior izquierda del macrobloque es (16 * mbx, 16 * mby), y los píxeles incluidos en el macrobloque son píxeles incluidos en el intervalo de 16 píxeles a la dirección inferior y 16 píxeles a la dirección derecha de la posición de píxel izquierdo superior. De esta manera hasta ahora, todos los píxeles del corte actual pueden ser conocidos. Es decir, se identifica la región del corte a procesarse.

En la etapa S173, la unidad 171 de control obtiene una bandera de bloque de filtro generada en la unidad 112 de generación de información de control.

En la etapa S174, la unidad 171 de control determina uno de bloques no procesados de ALF para el bloque de ALF a procesarse. El orden de selección de bloques de ALF se determina de antemano, y está en común con el orden de selección en la unidad 112 de generación de información de control. Además, la unidad 171 de control identifica la región del bloque de ALF a procesarse que se ha decidido.

Puesto que el tamaño de la imagen del fotograma se determina de antemano, después de que se determine el tamaño del bloque de ALF, el número de bloques de ALF necesarios para pavimentar bloques de ALF con la parte superior izquierda del fotograma como el punto de origen (número de bloques de ALF dentro del fotograma) puede calcularse también. Los valores de ajuste del tamaño de dirección vertical (número de píxeles) y tamaño de dirección horizontal (número de píxeles) de los bloques de ALF se proporcionan de antemano, por lo que la unidad 171 de control determina el tamaño de los bloques de ALF y el número de bloques de ALF que siguen los valores de ajuste, y coloca los bloques de ALF como la imagen decodificada.

Obsérvese que el número de bloques de ALF se calcula por la siguiente expresión (4) y la expresión (5). num_alf_block_x = floor [(16 * (pic_width_in_mbs_minus1 1) (alf_block_size -1)) / alf_block_size] ...(4) num_alf_block_y = floor [(16 * (pic_height_in_map_units_minus1 1) (alf_block_size-1)) / alf_block_size] ...(5) En la expresión (4) y la expresión (5), num_alf_block_x y num_alf_block_y son el número de bloques de ALF horizontales y verticales incluidos en la imagen, respectivamente. También, alf_block_size representa el tamaño de un lado de un bloque de ALF. Para simplificar la descripción en este punto, diremos que los bloques de ALF son cuadrados. Por supuesto, puede realizarse una disposición donde el tamaño de dirección vertical y el tamaño de dirección horizontal de los bloques de ALF son diferentes entre sí.

La posición del bloque de ALF de orden i se expresa por la siguiente expresión (6) y la expresión (7). alf_block_x = i % (num_alf_block_x -1) ...(6)

alf_block_y = floor [i/(num_alf_block_x -1)] ...(7)

En la expresión (6) y la expresión (7), alf_block_x y alf_block_y cada uno indica qué número en la dirección horizontal y dirección vertical es el bloque de ALF de orden i. La posición del píxel izquierdo superior del bloque de ALF de orden i es una posición obtenida multiplicando cada uno de alf_block_x y alf_block_y por el alf_block_size. Es decir, la dirección horizontal es 16 x alf_block_x, y la dirección vertical es 16 x alf_block_y. Por consiguiente, la región del bloque de ALF de orden i es un intervalo de alf_block_size x alf_block_size del píxel izquierdo superior del mismo.

En la etapa S175, la unidad 171 de control determina si una región del corte a procesarse está incluida o no dentro de la región del bloque de ALF a procesarse que se ha identificado como se ha descrito anteriormente. En el caso que se realice la determinación de que la región del corte a procesarse esté incluida, el flujo avanza a la etapa S176. En la etapa S176, la unidad 171 de control determina si el valor de la bandera de bloque de filtro es o no 1. En el caso que el valor de la bandera de bloque de filtro sea 1, y se ha proporcionado la instrucción para realizar procesamiento de filtro con respecto al bloque de ALF a procesarse, se efectúa control de manera que la unidad 173 de selección selecciona la salida del filtro 172, y el flujo avanza a la etapa S177. En la etapa S177, la unidad 171 de control selecciona los píxeles a procesarse en un orden predeterminado tal como, por ejemplo, en orden de exploración por filas o similares, de píxeles no procesados.

En la etapa S178, la unidad 171 de control determina si los píxeles del corte vecino son o no necesarios para procesamiento de filtro del píxel seleccionado a procesarse. En el caso de que los píxeles del corte vecino estén incluidos en los píxeles circundantes del píxel a procesarse, y se realiza determinación de que el píxel a procesarse es un píxel cerca del límite de corte, el flujo avanza a la etapa S179.

En la etapa S179, la unidad 171 de control determina si el valor del valor de control de límite incluido en la información de control obtenida por la unidad 112 de generación de información de control es o no “1”. En el caso que se realice la determinación de que el valor de la bandera de control de límite es “1”, el flujo avanza a la etapa S180.

En la etapa S180, la unidad 171 de control selecciona primer filtro adaptativo para límite 183 como el filtro adaptativo, y provoca que el primer filtro adaptativo para límite 183 realice procesamiento de filtro traspasando cortes como se muestra en A en la Figura 7. Después de que finalice el procesamiento de la etapa S180, el flujo avanza a la etapa S183.

También, en la etapa S179, en el caso que se realice determinación de que el valor de la bandera de control de límite es "0", el flujo avanza a la etapa S181.

En la etapa S181, la unidad 171 de control selecciona el segundo filtro adaptativo para el límite 184 como el filtro adaptativo, y provoca que el segundo filtro adaptativo para el límite 184 realice procesamiento de filtro cerrado en el corte actual como se muestra en B en la Figura 7. Después de que finalice el procesamiento de la etapa S181, el flujo avanza a la etapa S183.

También, en el caso de que se realice la determinación en la etapa S178 que el píxel a procesarse no es un píxel cerca de un límite de corte, el flujo avanza a la etapa S182.

En la etapa S182, la unidad 171 de control selecciona el filtro 182 adaptativo en corte como el filtro adaptativo, y provoca que el filtro 182 adaptativo en corte realice procesamiento de filtro normal usando únicamente píxeles del corte actual. Después de que finalice el procesamiento en la etapa S182, el flujo avanza a la etapa S183.

También, en el caso de que se realice la determinación en la etapa S176 que el valor de la bandera de bloque de filtro es "02, el flujo avanza a la etapa S183. Además, en el caso de que se realice la determinación en la etapa S175 que el bloque de ALF a procesarse no incluya la región del corte a procesarse, el flujo avanza a la etapa S183. En la etapa S183, la unidad 171 de control determina si todos los píxeles dentro el bloque de ALF a procesarse se han procesado. En el caso que se realice la determinación de que existe un píxel sin procesar, el flujo vuelve a la etapa S177 y se repite el procesamiento posterior.

También, en el caso de que se realice la determinación en la etapa S183 que todos los píxeles dentro del bloque de ALF a procesarse se han procesado, el flujo avanza a la etapa S184.

En la etapa S184, la unidad 171 de control determina si todos los bloques de ALF dentro el fotograma se han procesado. En el caso que se realice la determinación de que existe un bloque de ALF no procesado, el flujo vuelve a la etapa S173 y se repite el procesamiento posterior. También, en el caso de que se realice la determinación en la etapa S184 que todos los bloques de ALF se han procesado, se finaliza el procesamiento de control de filtro adaptativo, el flujo vuelve a la etapa S111 en la Figura 9, y se realiza sucesivamente el procesamiento de la etapa S122.

Obsérvese que el procesamiento de filtro en cuanto a los píxeles a procesarse, realizado en la etapa S180 a la etapa S182 cada uno se ejecuta independientemente como tareas diferentes del procesamiento de control de filtro adaptativo. Es decir, en la etapa S180 a la etapa S182, después de que se haya especificado la ejecución del procesamiento de filtro adaptativo, el procesamiento de filtro adaptativo se ejecuta según sea apropiado. Es decir, este procesamiento de filtro adaptativo pueden ejecutarse en paralelo con el procesamiento de control de filtro adaptativo y el procesamiento de filtro adaptativo en cuanto a otros píxeles.

Este procesamiento de filtro se describirá con referencia al diagrama de flujo en la Figura 13 y la Figura 14. En primer lugar, un ejemplo del flujo de procesamiento de filtro ejecutado por el primer filtro adaptativo para límite 183 se describirá con referencia al diagrama de flujo en la Figura 13.

Después de que se dé instrucciones de la ejecución para el procesamiento de filtro traspasando cortes, de los cuales se ordena la ejecución en la etapa S180 en la Figura 12, en la etapa S201 el primer filtro adaptativo para el límite 183 monitoriza la memoria intermedia 181, determina si se acumulan o no todos los píxeles de la región circundante del píxel a procesarse, y permanece hasta que se acumule. Los píxeles de la región circundante (es decir, píxeles circundantes) incluyen píxeles del corte vecino también. En el caso de que se realice determinación de que todos los píxeles se han acumulado en la memoria intermedia 181, el flujo avanza a la etapa S202.

En la etapa S202, el primer filtro adaptativo para límite 183 obtiene píxeles de la región circundante (píxeles circundantes) de la memoria intermedia 181 y en la etapa S203 usa los píxeles circundantes y el coeficiente de filtro establecido en la unidad de control 171 para realizar procesamiento de filtro del píxel a procesarse. Después de que finalice el procesamiento de filtro, el primer filtro adaptativo para límite 183 suministra los resultados del procesamiento de filtro a la unidad 173 de selección, y el procesamiento de filtro finaliza.

En el caso que el valor de la bandera de bloque de filtro sea “1”, la unidad 173 de selección selecciona los resultados del procesamiento de filtro, y suministra a la memoria 114 de fotograma como la imagen decodificada sometida a procesamiento de filtrado, para que se almacene.

A continuación, un ejemplo del flujo de procesamiento de filtro ejecutado por el segundo filtro adaptativo para el límite 184 se describirá con referencia al diagrama de flujo en la Figura 14.

Después de que se ordene la ejecución al procesamiento de filtro cerrado en el corte actual, del cual se ordena la ejecución en la etapa S181 en la Figura 12, en la etapa S221 el segundo filtro adaptativo para el límite 184 duplica píxeles circundantes situados en el corte actual ya mantenidos en la memoria intermedia 181, y genera datos ficticios de los píxeles circundantes situados en el corte vecino.

Después de generar datos ficticios, en la etapa S212 el segundo filtro adaptativo para el límite 184 usa los píxeles circundantes que incluyen los datos ficticios y el coeficiente de filtro establecido en la unidad de control 171 para realizar procesamiento de filtro del píxel a procesarse. Después de que finalice el procesamiento de filtro, el segundo filtro adaptativo para el límite 184 suministra los resultados de procesamiento de filtro a la unidad 173 de selección y el procesamiento de filtro finaliza.

En el caso que el valor de la bandera de bloque de filtro sea “1”, la unidad 173 de selección selecciona estos resultados de procesamiento de filtro, y suministra a la memoria 114 de fotograma como la imagen decodificada sometida a procesamiento de filtro, para que se almacene.

Como se ha descrito anteriormente, basándose en el valor de la bandera de control de límite, el método para procesamiento de filtro como un píxel cerca de un límite se selecciona según sea apropiado de múltiples métodos, mediante los cuales la unidad 113 de procesamiento de filtro adaptativo puede suprimir el deterioro en los efectos de procesamiento de filtro debido a control local de procesamiento de filtro cuando se codifica. Por ejemplo, realizando procesamiento de filtro para traspasar cortes, la unidad 113 de procesamiento de filtro adaptativo puede mejorar la calidad de imagen del procesamiento de filtro. También, realizando procesamiento de filtro cerrado en el corte actual, la unidad 113 de procesamiento de filtro adaptativo puede realizar procesamiento de filtro con bajo retardo.

En este momento, la unidad 113 de procesamiento de filtro adaptativo selecciona el método de procesamiento de filtro basándose en la bandera de control de límite determinada basándose en información de especificación de sistema, por lo que puede realizarse procesamiento de filtro sin descomposición de procesamiento.

También, la unidad 132 de generación de bandera de control de límite establece una bandera de límite basándose en la información de especificación de sistema, mediante la que la unidad 113 de procesamiento de filtro adaptativo puede provocarse que ejecute procesamiento de filtro para suprimir el deterioro de efectos.

Es decir, el dispositivo 100 de codificación de imagen puede suprimir el deterioro en los efectos de procesamiento de filtro debido a control local de procesamiento de filtro cuando se codifica.

Obsérvese que la unidad 106 de codificación sin pérdidas codifica la bandera de control de límite y añade a la información de compresión de imagen (incrusta en el encabezamiento de corte, por ejemplo). Por consiguiente, el dispositivo 100 de codificación de imagen puede provocar que un dispositivo de decodificación de imagen decodifique la información de compresión de imagen emitida por el dispositivo 100 de codificación de imagen para suprimir el deterioro en los efectos de procesamiento de filtro debido a control local de procesamiento de filtro realizado cuando se decodifica.

Ahora, "añadir" significa correlacionar la bandera de control de límite a la información de compresión de imagen con una forma opcional. Por ejemplo, esto puede describirse como una sintaxis de la información de compresión de imagen, o puede describirse como datos de usuario. También, la bandera de control de límite puede estar en un estado enlazado con la información de compresión de imagen como metadatos. Es decir, "añadir" incluye "incrustar", "descripción", "multiplexación", "enlace", y así sucesivamente.

También, con lo anterior, se ha hecho la descripción para realizar procesamiento de filtro traspasando cortes o procesamiento de filtro cerrado en el corte actual, en cuanto a píxeles cerca del límite de corte, pero el procesamiento de filtro puede realizarse con otros métodos también. También, en lugar de realizar procesamiento de filtro cerrado en el corte actual, el procesamiento de filtro puede omitirse, por ejemplo.

Además, es suficiente que se hayan preparado múltiples métodos de procesamiento de filtro para un píxel cerca de un límite de corte, y pueden prepararse tres o más métodos como opciones. En este caso, son necesarios dos o más bits para la bandera de control de límite. Obsérvese que el número de bits de la bandera de control de límite es opcional. Sin embargo, cuanto menor es el número de bits, más se suprime el deterioro de eficacia de codificación de la información de compresión de imagen, por lo que es indeseable aumentar de manera innecesaria el número de bits.

<2. Segunda realización>

[Configuración de dispositivo]

A continuación, se describirá un dispositivo de decodificación de imagen que corresponde al dispositivo 100 de codificación de imagen descrito con la primera realización. La Figura 15 es un diagrama de bloques que ilustra la configuración de una realización de un dispositivo de decodificación de imagen que sirve como un dispositivo de procesamiento de imagen al que se ha aplicado la presente invención.

Un dispositivo 200 de decodificación de imagen decodifica información de compresión de imagen emitida desde el dispositivo 100 de codificación de imagen, y genera una imagen decodificada.

Un dispositivo 200 de decodificación de imagen está configurado de una memoria intermedia 201 de almacenamiento, una unidad 202 de decodificación sin pérdidas, una unidad 203 de cuantificación inversa, una unidad 204 de transformada ortogonal inversa, una unidad 205 de cálculo, y un filtro 206 de desbloqueo, el dispositivo 200 de decodificación de imagen también tiene una unidad 207 de procesamiento de filtro adaptativo. El dispositivo 200 de decodificación de imagen tiene adicionalmente una memoria intermedia 208 de reorganización de pantalla y una unidad 209 de conversión de D/A (Digital/Analógico). El dispositivo 200 de decodificación de imagen también tiene la memoria 210 de fotograma, una unidad 211 de intra predicción, una unidad 212 de compensación de movimiento, y una unidad 213 de selección.

La memoria intermedia 201 de almacenamiento almacena una información de imagen comprimida transmitida. La unidad 202 de decodificación sin pérdidas decodifica información suministrada de la memoria intermedia 201 de almacenamiento y codificada por la unidad 106 de codificación sin pérdidas en la Figura 1 usando un formato que corresponde al formato de codificación de la unidad 106 de codificación sin pérdidas.

En el caso que el macrobloque actual se haya intra codificado, la unidad 202 de decodificación sin pérdidas decodifica la información de modo de intra predicción almacenada en la porción de encabezamiento de la información de compresión de imagen, y transmite esta información a la unidad 211 de intra predicción. También, en el caso que el macrobloque actual se haya inter codificado, la unidad 202 de decodificación sin pérdidas decodifica la información del vector de movimiento almacenada en la porción de encabezamiento de la información de compresión de imagen, y transmite la información de la misma a la unidad 212 de compensación de movimiento. También, la unidad 202 de decodificación sin pérdidas extrae información de control para el filtro adaptativo (información de control generada por la unidad 112 de generación de información de control) del encabezamiento de corte de la información de compresión de imagen, y decodifica, y suministra la información de la misma a la unidad 207 de procesamiento de filtro adaptativo.

La unidad 203 de cuantificación inversa somete la imagen decodificada por la unidad 202 de decodificación sin pérdidas para cuantificación inversa usando un formato que corresponde al formato de cuantificación de la unidad 105 de cuantificación en la Figura 1. La unidad 204 de transformada ortogonal inversa somete la salida de la unidad 203 de cuantificación inversa a transformada ortogonal inversa usando un formato que corresponde al formato de transformada ortogonal de la unidad 104 de transformada ortogonal en la Figura 1.

La unidad 205 de cálculo añade la imagen de predicción suministrada de la unidad 213 de selección a la información de diferencia sometida a transformada ortogonal inversa, y genera una imagen decodificada. El filtro 206 de desbloqueo elimina el ruido de bloqueo de la imagen decodificada que se ha generado por el procesamiento de adición.

La unidad 207 de procesamiento de filtro adaptativo realiza procesamiento de filtro en la imagen suministrada desde el filtro 206 de desbloqueo basándose en el coeficiente de filtro, tamaño de bloque de ALF, bandera de bloque de filtro, y bandera de control de límite y similares, suministrado desde la unidad de codificación sin pérdidas. La unidad 207 de procesamiento de filtro adaptativo realiza procesamiento de filtro adaptativo de la misma manera que con la unidad 113 de procesamiento de filtro adaptativo en la Figura 1. Por consiguiente, la unidad 207 de procesamiento de filtro adaptativo puede reducir ruido de bloqueo y ruido debido a cuantificación que no se eliminaría completamente con el filtro 206 de desbloqueo.

La unidad 207 de procesamiento de filtro adaptativo suministra la imagen después del procesamiento de filtro a la memoria 210 de fotograma para que se almacene como información de imagen de referencia, y también emite a la memoria intermedia 208 de reorganización de pantalla.

La memoria intermedia 208 de reorganización de pantalla realiza reorganización de imágenes. Es decir, el orden de fotogramas redispuestos para codificar por la memoria intermedia 102 de reorganización de pantalla en la Figura 1 se reorganiza al orden de visualización original. La unidad 209 de conversión de D/A realiza conversión de D/A de la imagen suministrada de la memoria intermedia 208 de reorganización de pantalla, y se emite. Por ejemplo, la unidad 209 de conversión de D/A emite las señales de salida obtenidas realizando conversión de D/A a una pantalla no mostrada, y visualiza una imagen.

La unidad 211 de intra predicción genera una imagen de predicción basándose en la información suministrada de la unidad 202 de decodificación sin pérdidas en el caso que el fotograma actual se haya intra codificado, y emite la imagen de predicción generada a la unidad 213 de selección.

En el caso que el fotograma actual se haya intra codificado, la unidad 212 de compensación de movimiento realiza procesamiento de compensación de movimiento en cuanto a la información de imagen de referencia almacenada en la memoria 210 de fotograma, basándose en la información del vector de movimiento suministrada de la unidad 202 de decodificación sin pérdidas.

En el caso que el macrobloque actual se haya intra codificado, la unidad 213 de selección conecta a la unidad 211 de intra predicción, y suministra la imagen suministrada de la unidad 211 de intra predicción a la unidad 205 de cálculo como una imagen de predicción. También, en el caso que el macrobloque actual se haya inter codificado, la unidad 213 de selección conecta a la unidad 212 de compensación de movimiento y suministra la imagen suministrada de la unidad 212 de compensación de movimiento a la unidad 205 de cálculo como una imagen de predicción.

[Flujo de procesamiento]

Un ejemplo del flujo de procesamiento de decodificación que este dispositivo 200 de decodificación de imagen ejecuta se describirá con referencia al diagrama de flujo en la Figura 16.

En la etapa S301, la memoria intermedia 201 de almacenamiento almacena la imagen transmitida. En la etapa S302, la unidad 202 de decodificación sin pérdidas extrae la información de control para procesamiento de filtro adaptativo del encabezamiento de corte de la información de compresión de imagen, y decodifica esta en la etapa S303. La información de control decodificada se suministra a la unidad 207 de procesamiento de filtro adaptativo.

También, en la etapa S303, la unidad 202 de decodificación sin pérdidas decodifica la imagen comprimida suministrada de la memoria intermedia 201 de almacenamiento. Específicamente, se decodifica la instantánea I, instantánea P, e instantánea B codificadas por la unidad 106 de codificación sin pérdidas en la Figura 1.

En este momento, también se decodifica la información del vector de movimiento, información de fotograma de referencia, información de modo de predicción (información que indica el modo de intra predicción o modo de inter predicción), y así sucesivamente.

Específicamente, en el caso que la información de modo de predicción sea información de modo de intra predicción, la información de modo de predicción se suministra a la unidad 211 de intra predicción. En el caso que la información de modo de predicción sea información de modo de inter predicción, se suministra información de vector de movimiento e información de fotograma de referencia que corresponde a la información de modo de predicción a la unidad 212 de compensación de movimiento.

En la etapa S304, la unidad 203 de cuantificación inversa cuantifica a la inversa el coeficiente de transformada decodificado en la etapa S302 usando una propiedad que corresponde a la propiedad de la unidad 105 de cuantificación en la Figura 1. En la etapa S305, la unidad 204 de transformada ortogonal inversa somete el coeficiente de transformada cuantificado a la inversa en la etapa S204 para transformada ortogonal inversa usando una propiedad que corresponde a la propiedad de la unidad 104 de transformada ortogonal en la Figura 1. Esto significa que se ha decodificado la información de diferencia que corresponde a la entrada de la unidad 104 de transformada ortogonal en la Figura 1 (la salida de la unidad 103 de cálculo).

En la etapa S306, la unidad 205 de cálculo añade la imagen de predicción seleccionada en el procesamiento anteriormente descrito de la etapa S212 a la información de diferencia. Por lo tanto, se decodifica la imagen original.

En la etapa S307, el filtro 206 de desbloqueo somete la imagen emitida desde la unidad 205 de cálculo a filtrado. Por lo tanto, se elimina ruido de bloqueo.

En la etapa S308, la unidad 207 de procesamiento de filtro adaptativo realiza procesamiento de control de filtro adaptativo para someter la imagen, sometida a procesamiento de filtro de desbloqueo, adicionalmente a procesamiento de filtro adaptativo. Este procesamiento de control de filtro adaptativo es el mismo que el procesamiento que realiza la unidad 113 de procesamiento de filtro adaptativo en la Figura 1. Es decir, este procesamiento de control de filtro adaptativo es el mismo que el caso descrito con referencia al diagrama de flujo en la Figura 12, distinto de usar la información de control suministrada de la unidad 202 de decodificación sin pérdidas.

Obsérvese sin embargo, la información de control suministrada desde esta unidad 202 de decodificación sin pérdidas se ha generado por la unidad 112 de generación de información de control en la Figura 1, y es sustancialmente equivalente a la información de control suministrada de la unidad 112 de generación de información de control que usa la unidad 113 de procesamiento de filtro adaptativo en la Figura 1.

Debido a este procesamiento de control de filtro adaptativo, puede reducirse ruido de bloqueo y ruido debido a cuantificación que no se eliminarían completamente con el procesamiento de filtro de desbloqueo.

En la etapa S309, la memoria 210 de fotograma almacena la imagen sometida a filtrado.

En el caso que se haya suministrado información de modo de intra predicción, en la etapa S310 la unidad 211 de intra predicción realiza procesamiento de intra predicción en el modo de intra predicción. También, en el caso que se haya suministrado información de modo de inter predicción, en la etapa S311 la unidad 212 de compensación de movimiento realiza procesamiento de compensación de movimiento en el modo de intra predicción.

En la etapa S312, la unidad 213 de selección selecciona una imagen de predicción. Es decir, se selecciona una de la imagen de predicción generada por la unidad 211 de intra predicción y la imagen de predicción generada por la unidad 212 de compensación de movimiento, y la imagen de predicción seleccionada se suministra a la unidad 205 de cálculo.

Por ejemplo, en el caso de una imagen que se haya intra codificado, la unidad 213 de selección selecciona una imagen de predicción generada por la unidad 211 de intra predicción y suministra esta a la unidad 205 de cálculo.

También, en el caso de que una imagen se haya inter codificado, la unidad 213 de selección selecciona una imagen de predicción generada por la unidad 212 de compensación de movimiento y suministra esta a la unidad 205 de cálculo.

En la etapa S313, la memoria intermedia 208 de reorganización de pantalla realiza reorganización. Específicamente, la secuencia de fotogramas reorganizados para codificación por la memoria intermedia 102 de reorganización de pantalla del dispositivo 100 de codificación de imagen se reorganiza a la secuencia de visualización original.

En la etapa S314, la unidad 209 de conversión de D/A realiza conversión de D/A de la imagen de la memoria intermedia 208 de reorganización de pantalla. Esta imagen se emite a una pantalla no mostrada, y la imagen se visualiza.

Por lo tanto, con la unidad 200 de decodificación de imagen, la unidad 202 de decodificación sin pérdidas extrae información de control suministrada desde el dispositivo 100 de codificación de imagen y decodifica, y la unidad 207 de procesamiento de filtro adaptativo realiza procesamiento de control de filtro adaptativo (y procesamiento de filtro) igual que con la unidad 113 de procesamiento de filtro adaptativo del dispositivo 100 de codificación de imagen, usando esta información de control.

Realizando tal procesamiento de control de filtro adaptativo, la unidad 207 de procesamiento de filtro adaptativo puede suprimir el deterioro en los efectos de procesamiento de filtro debido a control local de procesamiento de filtro realizado cuando se decodifica.

Por consiguiente, el dispositivo 200 de decodificación de imagen puede suprimir el deterioro en los efectos de procesamiento de filtro debido a control local de procesamiento de filtro realizado cuando se decodifica.

<3. Tercera realización>

[Sistema de procesamiento de imagen]

Obsérvese que aunque la descripción se ha realizado anteriormente de la unidad 141 de gestión de especificación de sistema de la unidad 112 de generación de información de control mantiene o corrige información de especificación de sistema, la información de especificación de sistema puede hacerse que incluya información de especificación del dispositivo de decodificación de imagen.

En este caso, en el caso que la información de especificación del dispositivo de decodificación de imagen no se conozca de antemano, el dispositivo de codificación de imagen necesita recopilar la información de especificación del dispositivo de decodificación de imagen en un tiempo predeterminado, tal como en el tiempo de conexión de manera comunicable entre el dispositivo de codificación de imagen y el dispositivo de decodificación de imagen, por ejemplo. En este momento, el dispositivo de codificación de imagen puede realizar comunicación con la decodificación de imagen para obtener la información de especificación del dispositivo de decodificación de imagen, o puede obtenerse, por ejemplo, la especificación introducida por el usuario.

Ahora, un sistema de procesamiento de imagen no mostrado es un sistema donde se muestra un dispositivo 300 de codificación de imagen mostrado en la Figura 17 y un dispositivo 400 de decodificación de imagen mostrado en la Figura 18 están conectados de manera comunicable mediante un medio de comunicación tal como una red. Lo siguiente es una descripción de la configuración de los dispositivos.

La Figura 17 es un diagrama de bloques que ilustra otro ejemplo de un dispositivo de codificación de imagen que sirve como un dispositivo de procesamiento de imagen al que se ha aplicado la presente invención.

El dispositivo 300 de codificación de imagen es básicamente el mismo dispositivo que el dispositivo 100 de codificación de imagen en la Figura 1, y tiene una unidad 301 de codificación de imagen.

La configuración de la unidad 301 de codificación de imagen es la misma que la configuración del dispositivo 100 de codificación de imagen, que tiene la unidad 101 de conversión de A/D a través de la unidad 119 de control de tasa, y opera de la misma manera que con el caso descrito con la primera realización.

Además de la unidad 301 de codificación de imagen, el dispositivo 300 de codificación de imagen tiene adicionalmente una unidad 302 de entrada, unidad 303 de comunicación, y unidad de recopilación de información. La unidad 302 de entrada acepta operaciones del usuario y similares. La unidad 303 de comunicación realiza comunicación con el dispositivo 400 de decodificación de imagen mediante una red o similares. La unidad 304 de recopilación de información recopila información de especificación del dispositivo 400 de decodificación de imagen introducida mediante la unidad 302 de entrada o información de especificación suministrada desde el dispositivo 400 de decodificación de imagen mediante la unidad 303 de comunicación. La unidad 304 de recopilación de información suministra la información de especificación recopilada a la unidad 141 de gestión de especificación de sistema de la unidad 112 de generación de información de control.

La Figura 18 es un diagrama de bloques que ilustra otro ejemplo de un dispositivo de decodificación de imagen que sirve como un dispositivo de procesamiento de imagen al que se ha aplicado la presente invención.

El dispositivo 400 de decodificación de imagen es básicamente el mismo dispositivo que el dispositivo 200 de decodificación de imagen en la Figura 15, y tiene una unidad 401 de decodificación de imagen.

La configuración de la unidad 401 de decodificación de imagen es la misma que la configuración del dispositivo 200 de decodificación de imagen, que tiene la memoria intermedia 201 de almacenamiento a través de la unidad 213 de selección, y opera de la misma manera que con el caso descrito con la segunda realización.

Además de la unidad 401 de decodificación de imagen, el dispositivo 400 de decodificación de imagen tiene adicionalmente una unidad 402 de suministro de información y unidad 403 de comunicación.

La unidad 402 de suministro de información tiene información de especificación del dispositivo 400 de decodificación de imagen, y basándose en una solicitud del dispositivo 300 de codificación de imagen, proporciona la información de especificación. La unidad 403 de comunicación realiza comunicación con el dispositivo 300 de codificación de imagen mediante una red o similares. La unidad 403 de comunicación acepta una solicitud del dispositivo 300 de codificación de imagen, y suministra esta a la unidad 402 de suministro de información. La unidad 403 de comunicación también suministra la información de especificación del dispositivo 400 de decodificación de imagen suministrada de la unidad 402 de suministro de información de acuerdo con la solicitud al dispositivo 300 de codificación de imagen.

[Flujo de procesamiento]

Un ejemplo del flujo de intercambio de información de especificación con un sistema de procesamiento de imagen de este tipo se describirá con referencia al diagrama de flujo en la Figura 19.

En la etapa S401, la unidad 304 de recopilación de información del dispositivo 300 de codificación de imagen solicita al dispositivo 400 de decodificación de imagen para información de especificación del dispositivo 400 de decodificación de imagen mediante la unidad 303 de comunicación. Tras recibir la solicitud en la etapa S421, la unidad 403 de comunicación del dispositivo 400 de decodificación de imagen suministra la solicitud a la unidad 402 de suministro de información.

En la etapa S422, la unidad 402 de suministro de información suministra la información de especificación del dispositivo 400 de decodificación de imagen al dispositivo 300 de codificación de imagen solicitante mediante la unidad 403 de comunicación, como una respuesta a la solicitud.

Tras obtener la información de especificación en la etapa S402 mediante la unidad 303 de comunicación, la unidad 304 de recopilación de información del dispositivo 300 de codificación de imagen suministra esta a la unidad 141 de gestión de especificación de sistema de la unidad 112 de generación de información de control.

En la etapa S403, la unidad 301 de codificación de imagen realiza procesamiento de codificación basándose en la información de especificación, y genera un flujo de código. En la etapa S404, la unidad 301 de codificación de imagen suministra el flujo de código generado al dispositivo 400 de decodificación de imagen.

En la etapa S423, la unidad 401 de decodificación de imagen del dispositivo 400 de decodificación de imagen obtiene el flujo de código suministrado desde el dispositivo 300 de codificación de imagen. En la etapa S424, la unidad 401 de decodificación de imagen realiza procesamiento de decodificación como el flujo de código.

Por lo tanto, la información de especificación del dispositivo 400 de decodificación de imagen se intercambia antes del procesamiento de codificación de imagen y el procesamiento de decodificación de imagen, por lo que el dispositivo 300 de codificación de imagen puede crear banderas de control de límite basándose en la información de especificación de sistema que incluye la información de especificación del dispositivo 400 de decodificación de imagen.

Por consiguiente, el dispositivo 300 de codificación de imagen y el dispositivo 400 de decodificación de imagen pueden suprimir el deterioro en los efectos de procesamiento de filtro debido un control local de procesamiento de filtro realizado cuando se codifica o decodifica, como se describe con la primera realización y la segunda realización. <4. Cuarta realización>

[Descripción de QALF]

Los bloques de ALF pueden tener una estructura de árbol cuádruple, como se describe con NPL 3. Esta técnica se denomina QALF (Filtro de Bucle Adaptativo basado en Árbol Cuádruple). Una estructura de árbol cuádruple es una estructura jerárquica donde, a un nivel jerárquico inferior, un nivel jerárquico superior a la región de un bloque de ALF se divide en cuatro.

La Figura 20 ilustra un ejemplo donde la división de bloque de ALF se expresa por una estructura de árbol cuádruple donde el número máximo de capas es tres, especificándose con una bandera de bloque de filtro para cada bloque de ALF.

A en la Figura 20 indica una capa 0 que es un bloque de ALF que sirve como la raíz de la estructura de árbol cuádruple. En la estructura de árbol cuádruple, cada bloque de ALF tiene una bandera de particionamiento de bloque que indica si se divide o no en cuatro en el nivel jerárquico inferior. El valor de la bandera de particionamiento de bloque del bloque de ALF mostrado en A en la Figura 20 es “1”. Es decir, este bloque de ALF se divide en cuatro en el nivel jerárquico inferior (capa 1). B en la Figura 20 muestra la capa 1. Es decir, cuatro bloques de ALF se forman en la capa 1.

En el caso que la bandera de particionamiento de bloque sea "0", un nivel jerárquico inferior adicional no se divide en cuatro. Es decir, tres no es división adicional, y se genera una bandera de bloque de filtro como la de ese bloque de ALF. Es decir, un bloque de ALF del cual la bandera de particionamiento de bloque es "0" también tiene una bandera de bloque de filtro. El "0" a la izquierda del "0-1" mostrado en B en la Figura 20 indica la bandera de particionamiento de bloque de ese bloque de ALF, y el "1" a la derecha muestra la bandera de bloque de filtro de ese bloque de ALF. Los dos bloques de ALF de los cuales la bandera de particionamiento de bloque en la capa 1 es “1” se dividen en cuatro en el nivel jerárquico inferior (capa 2). C en la Figura 20 ilustra la capa 2. Es decir, se forman diez bloques de ALF en la capa 2.

De la misma manera, los bloques de ALF con la bandera de particionamiento de bloque de "0" en la capa 2 se asignan también a una bandera de bloque de filtro. En C en la Figura 20, la bandera de particionamiento de bloque de un bloque de ALF es “1”. Es decir, ese bloque de ALF se divide en cuatro en el nivel jerárquico inferior adicional (capa 3). D en la Figura 20 muestra la capa 3. Es decir, se forman 13 bloques de ALF en la capa 3.

Formando un árbol cuádruple como se muestra en la Figura 20, la estructura del bloque de ALF se vuelve finalmente como se muestra en la Figura 21. Por lo tanto, con una estructura de árbol cuádruple, el tamaño de bloques de ALF se diferencia con cada nivel jerárquico. Es decir, usando una estructura de árbol cuádruple, los tamaños de los bloques de ALF pueden hacerse diferentes entre sí dentro del fotograma.

El control de la bandera de bloque de filtro en cada bloque de ALF es el mismo que con las otras realizaciones anteriormente descritas. Es decir, no se realiza procesamiento de filtro en regiones donde el valor de la bandera de bloque de filtro es "0" (las porciones de entramado en la Figura 21).

La Figura 22 ilustra un ejemplo de codificación de la región de corte 1 en la Figura 5 usando la técnica de QALF. En este punto, la región de la línea gruesa 521 representa la región del corte 1. Independientemente de la estructura de ALF, puede haber casos donde los píxeles circundantes traspasan múltiples cortes cuando se realiza procesamiento de filtro en píxeles cerca de un límite de corte. Por consiguiente, el método de control de procesamiento de filtro en cuanto a píxeles cerca de un límite de corte puede realizarse de la misma manera que con las realizaciones anteriormente descritas para el caso de QALF también.

Es decir, incluso con un caso de bloques de ALF de estructura de árbol cuádruple, el dispositivo de codificación de imagen y el dispositivo de decodificación de imagen pueden suprimir el deterioro en los efectos de procesamiento de filtro debido a control local de procesamiento de filtro realizado cuando se codifica o decodifica.

<5. Quinta realización>

[Ordenador personal]

Las series anteriormente descritas de procesamiento pueden ejecutarse por hardware, y pueden ejecutarse por software. En este caso, puede realizarse una configuración como un ordenador personal tal como se muestra en la Figura 23, por ejemplo.

En la Figura 23, una CPU 601 de un ordenador 600 personal ejecuta diversos tipos de procesamiento que siguen programas almacenados en ROM (Memoria de Sólo Lectura) 602 o programas cargados en la RAM (Memoria de Acceso Aleatorio) 603 de una unidad 613 de almacenamiento. La RAM 603 también almacena datos y así sucesivamente necesarios para que la CPU 601 ejecute diversos tipos de procesamiento, según sea apropiado. La CPU 601, ROM 602, y RAM 603 están mutuamente conectadas por un bus 604. Este bus 604 también está conectado a una interfaz 610 de entrada/salida.

Conectada a la interfaz 610 de entrada/salida se encuentra una unidad 611 de entrada compuesta de un teclado, un ratón, y así sucesivamente, una unidad 612 de salida compuesta de una pantalla tal como un CRT (Tubo de Rayos Catódicos) o LCD (Pantalla de Cristal Líquido) o similares, un altavoz, y así sucesivamente, una unidad 613 de almacenamiento compuesta de un disco duro y así sucesivamente, y una unidad 614 de comunicación compuesta de un módem y así sucesivamente. La unidad 614 de comunicación realiza procesamiento de comunicación mediante redes incluyendo la Internet.

También conectada a la interfaz 610 de entrada/salida está una unidad 615 según sea necesario, a la que está montado un medio 621 extraíble tal como un disco magnético, un disco óptico, un disco magneto-óptico, memoria de semiconductores, o similares, según sea apropiado, y programas informáticos leídos a partir de los mismos están instalados en la unidad 613 de almacenamiento según sea necesario.

En el caso de ejecutar las series anteriormente descritas de procesamiento por software, un programa que configura el software está instalado desde una red o medio de grabación.

Este medio de grabación no está configurado únicamente de un medio 621 extraíble compuesto de un disco magnético (incluyendo disco flexible), disco óptico (incluyendo CD-ROM (Disco Compacto - Memoria de Sólo Lectura), DVD (Disco Versátil Digital), disco magneto-óptico (MD (Mini Disc)), o memoria de semiconductores o similares, en los que se graban programas y se distribuyen para distribuir programas a usuarios de manera separada de la unidad principal del dispositivo, sino que también está configurado de ROM 602, un disco duro incluido en la unidad 613 de almacenamiento, y así sucesivamente, en los que se graban programas, se distribuyen a usuarios en un estado de haberse integrado en la unidad principal del dispositivo de antemano.

Obsérvese que un programa que ejecuta el ordenador puede ser un programa en el que se realiza procesamiento en secuencia de tiempo que sigue el orden descrito en la presente memoria descriptiva, o puede ser un programa en el que se realiza procesamiento en paralelo, o a una temporización necesaria, tal como cuando se ha realizado una llamada.

También, con la presente memoria descriptiva, las etapas que describen programas grabados en el medio de grabación incluyen procesamiento realizado en secuencia de tiempo que sigue el orden descrito de manera rutinaria, y también el procesamiento ejecutado en paralelo o de manera individual, sin que se procese de manera necesaria en secuencia de tiempo.

También, con la presente memoria descriptiva, el sistema de terminal representa la totalidad de dispositivos configurados de múltiples dispositivos (dispositivos).

También, una configuración que se ha descrito anteriormente como un dispositivo (o unidad de procesamiento) puede dividirse y configurarse como múltiples dispositivos (o unidades de procesamiento). A la inversa, las configuraciones que se han descrito anteriormente como múltiples dispositivos (o unidades de procesamiento) pueden integrarse y configurarse como un único dispositivo (o unidad de procesamiento). También, las configuraciones distintas a aquellas anteriormente descritas pueden añadirse a los dispositivos (o unidades de procesamiento), como es de costumbre. Además, parte de una configuración de un cierto dispositivo (o unidad de procesamiento) puede incluirse en una configuración de otro dispositivo (u otra unidad de procesamiento), siempre que la configuración y operaciones del sistema global sean sustancialmente iguales. Es decir, las realizaciones de la presente invención no están restringidas a las realizaciones anteriormente descritas, y esas diversas modificaciones pueden realizarse sin alejarse de la esencia de la presente invención.

Por ejemplo, el dispositivo 100 de codificación de imagen, dispositivo 200 de decodificación de imagen, dispositivo 300 de codificación, y dispositivo 400 de decodificación de imagen anteriormente descritos pueden aplicarse a diversos dispositivos electrónicos. Lo siguiente es una descripción de ejemplos de los mismos.

<6. Sexta realización>

[Receptor de televisión]

La Figura 24 es un diagrama de bloques que ilustra un ejemplo de configuración principal de un receptor de televisión que usa el dispositivo 200 de decodificación de imagen o el dispositivo 400 de decodificación de imagen a los que se ha aplicado la presente invención.

Un receptor 1000 de televisión mostrado en la Figura 24 incluye un sintonizador 1013 terrestre, un decodificador 1015 de vídeo, un circuito 1018 de procesamiento de señal de vídeo, un circuito 1019 de generación de gráficos, un circuito 1020 de accionamiento de panel y un panel 1021 de visualización.

El sintonizador 1013 terrestre recibe las señales de onda de difusión de una difusión analógica terrestre mediante una antena, demodula, obtiene señales de vídeo y suministra estas al decodificador 1015 de vídeo. El decodificador 1015 de vídeo somete las señales de vídeo suministradas desde el sintonizador 1013 terrestre al procesamiento de decodificación, y suministra las señales de componente digital obtenidas al circuito 1018 de procesamiento de señal de vídeo.

El circuito 1018 de procesamiento de señal de vídeo somete los datos de vídeo suministrados desde el decodificador 1015 de vídeo a procesamiento predeterminado tal como eliminación de ruido o similares, y suministra los datos de vídeo obtenidos al circuito 1019 de generación de gráficos.

El circuito 1019 de generación de gráficos genera los datos de vídeo de un programa a visualizarse en un panel 1021 de visualización, o datos de imagen debido a procesamiento basándose en una aplicación a suministrarse mediante una red, o similares, y suministra los datos de vídeo o datos de imagen generados al circuito 1020 de accionamiento de panel. También, el circuito 1019 de generación de gráficos también realiza procesamiento tal como suministrar datos de vídeo obtenidos generando datos de vídeo (gráficos) para que el usuario visualice una pantalla usada para selección de un elemento o similares, y superponga estos en los datos de vídeo de un programa, al circuito 1020 de accionamiento de panel según sea apropiado.

El circuito 1020 de accionamiento de panel acciona el panel 1021 de visualización basándose en los datos suministrados del circuito 1019 de generación de gráficos para visualizar el vídeo de un programa, o las diversas pantallas anteriormente mencionadas en el panel 1021 de visualización.

El panel 1021 de visualización está compuesto de una LCD (Pantalla de Cristal Líquido) y así sucesivamente, y visualiza el vídeo de un programa o similares de acuerdo con el control por el circuito 1020 de accionamiento de panel.

También, el receptor 1000 de televisión también incluye un circuito 1014 de conversión de A/D (Analógico/Digital) de audio, un circuito 1022 de procesamiento de señal de audio, un circuito 1023 de cancelación de eco/sintetización de audio, un circuito 1024 amplificador de audio, y un altavoz 1025.

El sintonizador 1013 terrestre demodula la señal de onda de difusión recibida, obteniendo de esta manera no únicamente una señal de vídeo sino también una señal de audio. El sintonizador 1013 terrestre suministra la señal de audio obtenida al circuito 1014 de conversión de A/D de audio.

El circuito 1014 de conversión de A/D de audio somete la señal de audio suministrada desde el sintonizador 1013 terrestre a procesamiento de conversión de A/D, y suministra la señal de audio digital obtenida al circuito 1022 de procesamiento de señal de audio.

El circuito 1022 de procesamiento de señal de audio somete los datos de audio suministrados del circuito 1014 de conversión de A/D de audio a procesamiento predeterminado tal como eliminación de ruido o similares, y suministra los datos de audio obtenidos al circuito 1023 de cancelación de eco/sintetización de audio.

El circuito 1023 de cancelación de eco/sintetización de audio suministra los datos de audio suministrados del circuito 1022 de procesamiento de señal de audio al circuito 1024 amplificador de audio.

El circuito 1024 amplificador de audio somete los datos de audio suministrados del circuito 1023 de cancelación de eco/sintetización de audio a procesamiento de conversión de D/A, somete a procesamiento de amplificador para ajustar a volumen predeterminado, y a continuación emite el audio del altavoz 1025.

Además, el receptor 1000 de televisión también incluye un sintonizador 1016 digital, y un decodificador 1017 de MPEG.

El sintonizador 1016 digital recibe las señales de onda de difusión de una difusión digital (difusión digital terrestre, difusión digital de BS (Satélite de Difusión)/CS (Satélite de Comunicaciones)) mediante la antena, demodula para obtener MPEG-TS (Grupo de Expertos de Imágenes en Movimiento-Flujo de Transporte), y suministra esto al decodificador 1017 de MPEG.

El decodificador 1017 de MPEG desaleatoriza la aleatorización dada al MPEG-TS suministrado desde el sintonizador 1016 digital, y extrae un flujo que incluye los datos de un programa que sirve como un objeto de reproducción (objeto de visualización). El decodificador 1017 de MPEG decodifica un paquete de audio que compone el flujo extraído, suministra los datos de audio obtenidos al circuito 1022 de procesamiento de señal de audio, y también decodifica un paquete de vídeo que compone el flujo, y suministra los datos de vídeo obtenidos al circuito 1018 de procesamiento de señal de vídeo. También, el decodificador 1017 de MPEG suministra datos de EPG (Guía de Programación Electrónica) extraídos del MPEG-TS a una CPU 1032 mediante una ruta no mostrada. El receptor 1000 de televisión usa el dispositivo 200 de decodificación de imagen o el dispositivo 400 de decodificación de imagen anteriormente mencionados como el decodificador 1017 de MPEG para decodificar paquetes de vídeo de esta manera. Obsérvese que el MPEG-TS transmitido de la estación de difusión o similares se ha codificado por el dispositivo 100 de codificación de imagen o el dispositivo 300 de codificación de imagen.

El decodificador 1017 de MPEG extrae y decodifica información de control suministrada desde el dispositivo 100 de codificación de imagen o el dispositivo 300 de codificación de imagen, de la misma manera que con el dispositivo 200 de decodificación de imagen o el dispositivo 400 de decodificación de imagen, y realiza procesamiento de control de filtro adaptativo (y procesamiento de filtro) usando esta información de control. Por consiguiente, el decodificador 1017 de MPEG puede suprimir el deterioro en los efectos de control local de procesamiento de filtro.

Los datos de vídeo suministrados desde el decodificador 1017 de MPEG se someten, de la misma manera que con el caso de los datos de vídeo suministrados desde el decodificador 1015 de vídeo, a procesamiento predeterminado en el circuito 1018 de procesamiento de señal de vídeo, superpuestos en los datos de vídeo generados y así sucesivamente en el circuito 1019 de generación de gráficos según sea apropiado, suministrados al panel 1021 de visualización mediante el circuito 1020 de accionamiento de panel, y la imagen de los mismos se visualiza en los mismos.

Los datos de audio suministrados del decodificador 1017 de MPEG se someten, de la misma manera que con el caso de los datos de audio suministrados del circuito 1014 de conversión de A/D de audio, a procesamiento predeterminado en el circuito 1022 de procesamiento de señal de audio, suministrados al circuito 1024 amplificador de audio mediante el circuito 1023 de cancelación de eco/sintetización de audio, y sometidos a procesamiento de conversión de D/A y procesamiento de amplificador. Como resultado de lo mismo, el audio ajustado en volumen predeterminado se emite del altavoz 1025.

También, el receptor 1000 de televisión también incluye un micrófono 1026, y un circuito 1027 de conversión de A/D. El circuito 1027 de conversión de A/D recibe las señales de audio del usuario recopiladas por el micrófono 1026 proporcionadas al receptor 1000 de televisión que sirve para conversación de audio, somete la señal de audio recibida a procesamiento de conversión de A/D, y suministra los datos digitales de audio obtenidos al circuito 1023 de cancelación de eco/sintetización de audio.

En el caso de que los datos de audio del usuario (usuario A) del receptor 1000 de televisión se hayan suministrado desde el circuito 1027 de conversión de A/D, el circuito 1023 de cancelación de eco/sintetización de audio realiza cancelación de eco con los datos de audio del usuario (usuario A) tomados como un objeto, y emite datos de audio obtenidos sintetizando los datos de audio del usuario A y otros datos de audio, o similares del altavoz 1025 mediante el circuito 1024 amplificador de audio.

Además, el receptor 1000 de televisión también incluye el códec 1028 de audio, un bus 1029 interno, SDRAM (Memoria de Acceso Aleatorio Dinámico Síncrono) 1030, memoria 1031 flash, una CPU 1032, una I/F 1033 de USB (Bus Serie Universal), y una I/F 1034 de red.

El circuito 1027 de conversión de A/D recibe la señal de audio del usuario recopilada por el micrófono 1026 proporcionada al receptor 1000 de televisión que sirve para conversación de audio, somete la señal de audio recibida a procesamiento de conversión de A/D, y suministra los datos digitales de audio al códec 1028 de audio. El códec 1028 de audio convierte los datos de audio suministrados del circuito 1027 de conversión de A/D en los datos de un formato predeterminado para transmisión mediante una red, y suministra a la I/F 1034 de red mediante el bus 1029 interno.

La I/F 1034 de red está conectada a la red mediante un cable montado en un terminal 1035 de red. La I/F 1034 de red transmite los datos de audio suministrados desde el códec 1028 de audio a otro dispositivo conectado a la red del mismo, por ejemplo. También, la I/F 1034 de red recibe, mediante el terminal 1035 de red, los datos de audio transmitidos desde otro dispositivo conectado a los mismos mediante la red, y suministra estos al códec 1028 de audio mediante el bus 1029 interno, por ejemplo.

El códec 1028 de audio convierte los datos de audio suministrados desde la I/F 1034 de red en los datos de un formato predeterminado, y suministra estos al circuito 1023 de cancelación de eco/sintetización de audio.

El circuito 1023 de cancelación de eco/sintetización de audio realiza cancelación de eco con los datos de audio suministrados desde el códec 1028 de audio tomados como un objeto, y emite los datos de audio obtenidos sintetizando los datos de audio y otros datos de audio, o similares, desde el altavoz 1025 mediante el circuito 1024 amplificador de audio.

La SDRAM 1030 almacena diversos tipos de datos necesarios para que la CPU 1032 realice procesamiento.

La memoria 1031 flash almacena un programa a ejecutarse por la CPU 1032. El programa almacenado en la memoria 1031 flash se lee por la CPU 1032 a temporización predeterminada tal como cuando se activa el receptor 1000 de televisión, o similares. Los datos de EPG obtenidos mediante una difusión digital, datos obtenidos desde un servidor predeterminado mediante la red, y así sucesivamente también se almacenan en la memoria 1031 flash. Por ejemplo, MPEG-TS que incluye los datos de contenido obtenidos desde un servidor predeterminado mediante la red por el control de la CPU 1032 se almacenan en la memoria 1031 flash. La memoria 1031 flash suministra el MPEG-TS de la misma al decodificador 1017 de MPEG mediante el bus 1029 interno por el control de la CPU 1032, por ejemplo.

El decodificador 1017 de MPEG procesa el MPEG-TS de los mismos de la misma manera que con el caso del MPEG-TS suministrado desde el sintonizador 1016 digital. De esta manera, el receptor 1000 de televisión recibe los datos de contenido compuestos de vídeo, audio y así sucesivamente mediante la red, decodifica usando el decodificador 1017 de MPEG, mediante el cual el vídeo del mismo puede visualizarse, y puede emitirse el audio del mismo.

También, el receptor 1000 de televisión también incluye una unidad 1037 de recepción de luz para recibir la señal de infrarrojos transmitida desde un controlador 1051 remoto.

La unidad 1037 de recepción de luz recibe rayos infrarrojos desde el controlador 1051 remoto, y emite un código de control que representa el contenido de la operación del usuario obtenida por demodulación, a la CPU 1032.

La CPU 1032 ejecuta el programa almacenado en la memoria 1031 flash para controlar toda la operación del receptor 1000 de televisión de acuerdo con el código de control suministrado desde la unidad 1037 de recepción de luz, y así sucesivamente. La CPU 1032, y las unidades del receptor 1000 de televisión están conectadas mediante una ruta no mostrada.

La I/F 1033 de USB realiza transmisión/recepción de datos en cuanto a un dispositivo externo del receptor 1000 de televisión que está conectado mediante un cable de USB montado en un terminal 1036 de USB. La I/F 1034 de red se conecta a la red mediante un cable montado en el terminal 1035 de red, también realiza transmisión/recepción de datos distintos de datos de audio en cuanto a diversos dispositivos conectados a la red.

El receptor 1000 de televisión usa el dispositivo 200 de decodificación de imagen o el dispositivo 400 de decodificación de imagen como el decodificador 1017 de MPEG, mediante los cuales puede suprimirse el deterioro en los efectos de control local de procesamiento de filtro en cuanto a señales de difusión recibidas mediante una antena o datos de contenido obtenidos mediante una red.

<7. Séptima realización>

[Teléfono celular]

La Figura 25 es un diagrama de bloques que ilustra un ejemplo de configuración principal de un teléfono celular que usa el dispositivo de codificación de imagen y dispositivo de decodificación de imagen a los que se ha aplicado la presente invención.

Un teléfono 1100 celular mostrado en la Figura 25 incluye una unidad 1150 de control principal configurada para controlar de manera integral las unidades, una unidad 1151 de circuito de fuente de alimentación, una unidad 1152 de control de entrada de operación, un codificador 1153 de imagen, una unidad 1154 de I/F de cámara, una unidad 1155 de control de LCD, un decodificador 1156 de imagen, una unidad 1157 de multiplexación/separación, una unidad 1162 de grabación/reproducción, una unidad 1158 de modulación/demodulación, y un códec 1159 de audio. Estos están mutuamente conectados mediante un bus 1160.

También, el teléfono 1100 celular incluye teclas 1119 de operación, una cámara 1116 de CCD (Dispositivos de Carga Acoplada), una pantalla 1118 de cristal líquido, una unidad 1123 de almacenamiento, una unidad 1163 de circuito de transmisión/recepción, una antena 1114, un micrófono (MIC) 1121, y un altavoz 1117.

Después de que se encienda una tecla de fin de llamada y alimentación por la operación del usuario, la unidad 1151 de circuito de fuente de alimentación activa el teléfono 1100 celular en un estado operacional suministrando alimentación a las unidades de un paquete de baterías.

El teléfono 1100 celular realiza diversas operaciones, tales como transmisión/recepción de una señal de audio, transmisión/recepción de un correo electrónico y datos de imagen, disparo de imágenes, grabación de datos y así sucesivamente, en diversos modos tales como un modo de llamada de voz, un modo de comunicación de datos, y así sucesivamente, basándose en el control de la unidad 1150 de control principal compuesta de una CPU, ROM, RAM, y así sucesivamente.

Por ejemplo, en el modo de llamada de voz, el teléfono 1100 celular convierte la señal de audio recopilada por el micrófono (micro) 1121 en datos digitales de audio por el códec 1159 de audio, somete estos a procesamiento de espectro ensanchado en la unidad 1158 de circuito de modulación/demodulación, y somete estos a procesamiento de conversión digital/analógica y procesamiento de conversión de frecuencia en la unidad 1163 de circuito de transmisión/recepción. El teléfono 1100 celular transmite la señal para transmisión obtenida por el procesamiento de conversión de la misma a una estación base no mostrada mediante la antena 1114. La señal para transmisión (señal de audio) transmitida a la estación base se suministra al teléfono celular de la otra parte mediante la red de telefonía pública.

También, por ejemplo, en el modo de llamada de voz, el teléfono 1100 celular amplifica la señal de recepción recibida en la antena 1114, en la unidad 1163 de circuito de transmisión/recepción, somete adicionalmente a procesamiento de conversión de frecuencia y procesamiento de conversión analógico/digital, somete a procesamiento de espectro inverso ensanchado en la unidad 1158 de circuito de modulación/demodulación, y convierte en una señal de audio analógica por el códec 1159 de audio. El teléfono 1100 celular emite la señal de audio analógica convertida y obtenida de la misma del altavoz 1117.

Además, por ejemplo, en el caso de transmitir un correo electrónico en el modo de comunicación de datos, el teléfono 1100 celular acepta los datos de texto del correo electrónico introducido por la operación de las teclas 1119 de operación en la unidad 1152 de control de entrada de operación. El teléfono 1100 celular procesa los datos de texto del mismo en la unidad 1150 de control principal, y visualiza en la pantalla 1118 de cristal líquido mediante la unidad 1155 de control de LCD como una imagen.

También, el teléfono 1100 celular genera datos de correo electrónico en la unidad 1150 de control principal basándose en los datos de texto aceptados por la unidad 1152 de control de entrada de operación, las instrucciones del usuario, y así sucesivamente. El teléfono 1100 celular somete los datos de correo electrónico del mismo a procesamiento de espectro ensanchado en la unidad 1158 de circuito de modulación/demodulación, y somete a procesamiento de conversión digital/analógica y procesamiento de conversión de frecuencia en la unidad 1163 de circuito de transmisión/recepción. El teléfono 1100 celular transmite la señal para transmisión obtenida por el procesamiento de conversión de la misma a una estación base no mostrada mediante la antena 1114. La señal para transmisión (correo electrónico) transmitida a la estación base se suministra a un destino predeterminado mediante la red, servidor de correo, y así sucesivamente.

También, por ejemplo, en el caso de recibir un correo electrónico en el modo de comunicación de datos, el teléfono 1100 celular recibe la señal transmitida de la estación base mediante la antena 1114 con la unidad 1163 de circuito de transmisión/recepción, amplifica, y somete adicionalmente a procesamiento de conversión de frecuencia y procesamiento de conversión analógico/digital. El teléfono 1100 celular somete la señal de recepción del mismo a procesamiento de espectro inverso ensanchado en la unidad 1158 de circuito de modulación/demodulación para restaurar los datos de correo electrónico originales. El teléfono 1100 celular visualiza los datos de correo electrónico restaurados en la pantalla 1118 de cristal líquido mediante la unidad 1155 de control de LCD.

Obsérvese que el teléfono 1100 celular puede registrar (almacenar) los datos de correo electrónico recibidos en la unidad 1123 de almacenamiento mediante la unidad 1162 de grabación/reproducción.

Esta unidad 1123 de almacenamiento es un medio de grabación re-escribible opcional. La unidad 1123 de almacenamiento puede ser memoria de semiconductores tal como RAM, memoria flash integrada, o similares, puede ser un disco duro, o puede ser un medio extraíble tal como un disco magnético, un disco magnético-óptico, un disco óptico, memoria USB, una tarjeta de memoria, o similares. No hace falta decir entonces que la unidad 1123 de almacenamiento puede ser distinta de estas.

Además, por ejemplo, en el caso de transmitir datos de imagen en el modo de comunicación de datos, el teléfono 1100 celular genera datos de imagen mediante formación de imágenes en la cámara 1116 de CCD. La cámara 1116 de CCD incluye un CCD que sirve como un dispositivo óptico tal como una lente, diafragma y así sucesivamente, y que sirve como un dispositivo de conversión fotoeléctrico, que forma imágenes de un objeto, convierte la intensidad de luz recibida en una señal eléctrica, y genera los datos de imagen de una imagen del objeto. La cámara 1116 de CCD realiza codificación de compresión de los datos de imagen en el codificador 1153 de imagen mediante la unidad 1154 de I/F de cámara, y convierte en datos de imagen codificados.

El teléfono 1100 celular emplea el dispositivo 100 de codificación de imagen o dispositivo 300 de codificación de imagen anteriormente mencionados como el codificador 1153 de imagen para realizar tal procesamiento. Por consiguiente, de la misma manera que con el dispositivo 100 de codificación de imagen o dispositivo 300 de codificación de imagen, el codificador 1053 de imagen puede suprimir el deterioro de efectos debido a control local de procesamiento de filtro.

Obsérvese que, en este momento de manera simultánea, el teléfono 1100 celular convierte el audio recopilado en el micrófono (micro) 1121, mientras dispara con la cámara 1116 de CCD, de analógico a digital en el códec 1159 de audio, y codifica adicionalmente esto.

El teléfono 1100 celular multiplexa los datos de imagen codificados suministrados desde el codificador 1153 de imagen, y los datos digitales de audio suministrados desde el códec 1159 de audio en la unidad 1157 de multiplexación/separación usando un método predeterminado. El teléfono 1100 celular somete los datos multiplexados obtenidos como resultado de lo mismo a procesamiento de espectro ensanchado en la unidad 1158 de circuito de modulación/demodulación, y somete a procesamiento de conversión digital/analógico y procesamiento de conversión de frecuencia en la unidad 1163 de circuito de transmisión/recepción. El teléfono 1100 celular transmite la señal para transmisión obtenida por el procesamiento de conversión de la misma a una estación base no mostrada mediante la antena 1114. La señal para transmisión (datos de imagen) transmitida a la estación base se suministra a la otra parte mediante la red o similares.

Obsérvese que en el caso que no se transmitan datos de imagen, el teléfono 1100 celular puede visualizar también los datos de imagen generados en la cámara 1116 de CCD en la pantalla 1118 de cristal líquido mediante la unidad 1155 de control de LCD en lugar del codificador 1153 de imagen.

También, por ejemplo, en el caso de recibir los datos de un fichero de imágenes en movimiento enlazados a un sitio web sencillo o similares en el modo de comunicación de datos, el teléfono 1100 celular recibe la señal transmitida de la estación base en la unidad 1163 de circuito de transmisión/recepción mediante la antena 1114, amplifica, y somete adicionalmente a procesamiento de conversión de frecuencia y procesamiento de conversión analógico/digital. El teléfono 1100 celular somete la señal recibida a procesamiento de espectro ensanchado inverso en la unidad 1158 de circuito de modulación/demodulación para restaurar los datos multiplexados originales. El teléfono 1100 celular separa los datos multiplexados del mismo en la unidad 1157 de multiplexación/separación en datos de imagen codificados y datos de audio.

El teléfono 1100 celular decodifica los datos de imagen codificados en el decodificador 1156 de imagen usando el formato de decodificación que corresponde a un formato de codificación predeterminado tal como MPEG2, MPEG4, o similares, generando de esta manera datos de imagen en movimiento de reproducción, y visualiza estos en la pantalla 1118 de cristal líquido mediante la unidad 1155 de control de LCD. Por lo tanto, los datos de imagen en movimiento incluidos en un fichero de imágenes en movimiento enlazados a un sitio web sencillo se visualizan en la pantalla 1118 de cristal líquido, por ejemplo.

El teléfono 1100 celular emplea el dispositivo 200 de decodificación de imagen o el dispositivo 400 de decodificación de imagen anteriormente mencionados como el decodificador 1156 de imagen para realizar tal procesamiento. Por consiguiente, de la misma manera que con el dispositivo 200 de decodificación de imagen o dispositivo 400 de decodificación de imagen, el decodificador 1156 de imagen extrae y decodifica información de control suministrada desde el dispositivo 100 de codificación de imagen o dispositivo 300 de codificación de imagen, y realiza procesamiento de control de filtro adaptativo (y procesamiento de filtrado) usando la información de control. Por lo tanto, el decodificador 1156 de imagen puede suprimir el deterioro de efectos debido a control local de procesamiento de filtro.

En este momento, de manera simultánea, el teléfono 1100 celular convierte los datos de audio digital en una señal de audio analógica en el códec 1159 de audio, y emite estos desde el altavoz 1117. Por lo tanto, se reproducen los datos de audio incluidos en un fichero de imágenes en movimiento enlazados a un único sitio web, por ejemplo. Obsérvese que, de la misma manera que con el caso de correo electrónico, el teléfono 1100 celular puede grabar (almacenar) los datos recibidos enlazados a un sitio web sencillo o similares en la unidad 1123 de almacenamiento mediante la unidad 1162 de grabación/reproducción.

También, el teléfono 1100 celular analiza el código bidimensional representado obtenido por la cámara 1116 de CCD en la unidad 1150 de control principal, mediante el cual puede obtenerse información registrada en el código bidimensional.

Además, el teléfono 1100 celular puede comunicar con un dispositivo externo en la unidad 1181 de comunicación de infrarrojos usando rayos infrarrojos.

El teléfono 1100 celular emplea el dispositivo 100 de codificación de imagen o el dispositivo 300 de codificación de imagen como el codificador 1153 de imagen, mediante el cual puede realizarse supresión de deterioro de efectos debido a control local de procesamiento de filtro con respecto a datos codificados generados codificando datos de imagen generados en la cámara 1116 de CCD, por ejemplo.

Por ejemplo, el teléfono 1100 celular puede mejorar la calidad de imagen de resultados de procesamiento de filtro realizando procesamiento de filtro traspasando cortes, y puede suministrar datos codificados con calidad de imagen superior a otros teléfonos celulares. También, por ejemplo, realizando procesamiento de filtro cerrado en el corte actual, el teléfono 1100 celular puede realizar procesamiento de filtro con bajo retardo, y puede suministrar datos codificados a otros teléfonos celulares con retardo inferior.

También, el teléfono 1100 celular emplea el dispositivo 200 de decodificación de imagen o el dispositivo 400 de decodificación de imagen como el decodificador 1156 de imagen, mediante el cual puede realizarse la supresión de deterioro de efectos debido a control local de procesamiento de filtro con respecto a datos de un fichero de imágenes en movimiento enlazado a un sitio web sencillo o similares, por ejemplo.

Por ejemplo, el teléfono 1100 celular puede mejorar la calidad de imagen de resultados de procesamiento de filtro realizando procesamiento de filtro traspasando cortes, y puede conseguir alta calidad de imagen de imágenes decodificadas. También, por ejemplo, realizando procesamiento de filtro cerrado en el corte actual, el teléfono 1100 celular puede realizar procesamiento de filtro con bajo retardo, y puede decodificar datos codificados con retardo inferior.

Obsérvese que la descripción se ha realizado hasta ahora en la que el teléfono 1100 celular emplea la cámara 1116 de CCD, pero el teléfono 1100 celular puede emplear un sensor de imagen (sensor de imagen de CMOS) usando CMOS (Semiconductor de Metal Óxido Complementario) en lugar de esta cámara 1116 de CCD. En este caso también, el teléfono 1100 celular puede representar un objeto y generar los datos de imagen de una imagen del objeto de la misma manera que con el caso de emplear la cámara 1116 de CCD.

También, se ha realizado la descripción hasta ahora con respecto al teléfono 1100 celular, pero el dispositivo 100 de codificación de imagen y el dispositivo 200 de decodificación de imagen pueden aplicarse a cualquier clase de dispositivo de la misma manera que con el caso del teléfono 1100 celular siempre que sea un dispositivo que tenga la misma función de formación de imágenes y función de comunicación que aquella del teléfono 1100 celular, por ejemplo, tal como un PDA (Asistentes Digitales Personales), teléfono inteligente, UMPC (Ordenador Personal Ultra Móvil), portátil, ordenador personal con tamaño de portátil o similares.

<8. Octava realización>

[Grabador de disco duro]

La Figura 26 es un diagrama de bloques que ilustra un ejemplo de configuración principal de un grabador de disco duro que emplea el dispositivo de codificación de imagen y dispositivo de decodificación de imagen a los que se ha aplicado la presente invención.

Un grabador de disco duro (grabador de HDD) 1200 mostrado en la Figura 26 es un dispositivo que almacena, en un disco duro integrado, datos de audio y datos de vídeo de un programa de difusión incluido, incluido en señales de onda de difusión (señales de televisión) recibidas por un sintonizador y transmitidas desde una antena de satélite o una terrestre o similares, y proporciona los datos almacenados al usuario a temporización de acuerdo con las instrucciones del usuario.

El grabador 1200 de disco duro puede extraer datos de audio y datos de vídeo de señales de onda de difusión, decodifica estos según sea apropiado, y los almacena en el disco duro integrado, por ejemplo. También, el grabador 1200 de disco duro puede obtener también datos de audio y datos de vídeo de otro dispositivo mediante la red, decodifica estas según sea apropiado, y las almacena en el disco duro integrado, por ejemplo.

Además, el grabador 1200 de disco duro puede decodificar datos de audio y datos de vídeo grabados en el disco duro integrado, suministra estos a un monitor 1260, visualiza una imagen de los mismos en la pantalla del monitor 1260, y emite audio de los mismos del altavoz del monitor 1260, por ejemplo. También, el grabador 1200 de disco duro puede decodificar datos de audio y datos de vídeo extraídos de señales de difusión obtenidas mediante un sintonizador, o datos de audio y datos de vídeo obtenidos de otro dispositivo mediante una red, suministra estos al monitor 1260, visualiza una imagen de los mismos en la pantalla del monitor 1260, y emite audio de los mismos desde el altavoz del monitor 1260, por ejemplo.

Por supuesto, pueden realizarse operaciones distintas de estas.

Como se muestra en la Figura 26, el grabador 1200 de disco duro incluye una unidad 1221 de recepción, una unidad 1222 de demodulación, un demultiplexor 1223, un decodificador 1224 de audio, un decodificador 1225 de vídeo, y una unidad 1226 de control de grabador. El grabador 1200 de disco duro incluye adicionalmente la memoria 1227 de datos de EPG, memoria 1228 de programa, memoria 1229 de trabajo, un convertidor 1230 de visualización, una unidad 1231 de control de OSD (Visualización en Pantalla), una unidad 1232 de control de visualización, una unidad 1233 de grabación/reproducción, un convertidor 1234 de D/A, y una unidad 1235 de comunicación.

También, el convertidor 1230 de visualización incluye un codificador 1241 de vídeo. La unidad 1233 de grabación/reproducción incluye un codificador 1251 y un decodificador 1252.

La unidad 1221 de recepción recibe la señal de infrarrojos del controlador remoto (no mostrado), convierte en una señal eléctrica, y emite a la unidad 1226 de control de grabador. La unidad 1226 de control de grabador está configurada de, por ejemplo, un microprocesador y así sucesivamente, y ejecuta diversos tipos de procesamiento de acuerdo con el programa almacenado en la memoria 1228 de programa. En este momento, la unidad 1226 de control de grabador usa la memoria 1229 de trabajo de acuerdo con la necesidad.

La unidad 1235 de comunicación, que está conectada a la red, realiza procesamiento de comunicación con otro dispositivo mediante la red. Por ejemplo, la unidad 1235 de comunicación está controlada por la unidad 1226 de control de grabador para comunicar con un sintonizador (no mostrado), y para emitir principalmente una señal de control de selección de canal al sintonizador.

La unidad 1222 de demodulación demodula la señal suministrada del sintonizador, y emite al demultiplexor 1223. El demultiplexor 1223 separa los datos suministrados de la unidad 1222 de demodulación en datos de audio, datos de vídeo, y datos de EPG, y emite al decodificador 1224 de audio, al decodificador 1225 de vídeo, y a la unidad 1226 de control de grabador, respectivamente.

El decodificador 1224 de audio decodifica los datos de audio de entrada, y emite a la unidad 1233 de grabación/reproducción. El decodificador 1225 de vídeo decodifica los datos de vídeo de entrada, y emite al convertidor 1230 de visualización. La unidad 1226 de control de grabador suministra los datos de EPG de entrada a la memoria 1227 de datos de EPG para almacenamiento.

El convertidor 1230 de visualización codifica los datos de vídeo suministrados desde el decodificador 1225 de vídeo o la unidad 1226 de control de grabador en, por ejemplo, los datos de vídeo conforme al formato NTSC (Comité Nacional de Normas de Televisión) usando el codificador 1241 de vídeo, y emite a la unidad 1233 de grabación/reproducción. También, el convertidor 1230 de visualización convierte el tamaño de la pantalla de los datos de vídeo suministrados desde el decodificador 1225 de vídeo o la unidad 1226 de control de grabador en el tamaño que corresponde al tamaño del monitor 1260, convierte los datos de vídeo de los cuales el tamaño de pantalla se ha convertido en los datos de vídeo conforme al formato NTSC usando el codificador 1241 de vídeo, convierte en una señal analógica, y emite a la unidad 1232 de control de visualización.

La unidad 1232 de control de visualización superpone, bajo el control de la unidad 1226 de control de grabador, la señal de OSD emitida de la unidad 1231 de control de OSD (Visualización en Pantalla) en la señal de vídeo introducida desde el convertidor 1230 de visualización, y emite para la visualización del monitor 1260 para su visualización.

También, los datos de audio emitidos del decodificador 1224 de audio se han convertido en una señal analógica usando el convertidor 1234 de D/A, y suministrado al monitor 1260. El monitor 1260 emite esta señal de audio desde un altavoz integrado.

La unidad 1233 de grabación/reproducción incluye un disco duro como un medio de grabación en el que se graban datos de vídeo, datos de audio, y así sucesivamente.

La unidad 1233 de grabación/reproducción codifica los datos de audio suministrados del decodificador 1224 de audio por el codificador 1251. También, la unidad 1233 de grabación/reproducción codifica los datos de vídeo suministrados desde el codificador 1241 de vídeo del convertidor 1230 de visualización por el codificador 1251. La unidad 1233 de grabación/reproducción sintetiza los datos codificados de los datos de audio de los mismos, y los datos codificados de los datos de vídeo de los mismos usando el multiplexor. La unidad 1233 de grabación/reproducción amplifica los datos sintetizados por codificación de canal, y escribe los datos de la misma en el disco duro mediante un cabezal de grabación.

La unidad 1233 de grabación/reproducción reproduce los datos grabados en el disco duro mediante un cabezal de reproducción, amplifica, y separa en datos de audio y datos de vídeo usando el demultiplexor. La unidad 1233 de grabación/reproducción decodifica los datos de audio y datos de vídeo por el decodificador 1252 usando el formato MPEG. La unidad 1233 de grabación/reproducción convierte los datos de audio decodificados de digital a analógico, y emite al altavoz del monitor 1260. También, la unidad 1233 de grabación/reproducción convierte los datos de vídeo decodificados de digital a analógico, y emite para la visualización del monitor 1260.

La unidad 1226 de control de grabador lee los últimos datos de EPG de la memoria 1227 de datos de EPG basándose en las instrucciones del usuario indicadas por la señal de infrarrojos del controlador remoto que se reciben mediante la unidad 1221 de recepción, y suministra a la unidad 1231 de control de OSD. La unidad 1231 de control de OSD genera datos de imagen que corresponden a los datos de EPG de entrada, y emite a la unidad 1232 de control de visualización. La unidad 1232 de control de visualización emite los datos de vídeo introducidos de la unidad 1231 de control de OSD para la visualización del monitor 1260 para su visualización. Por lo tanto, EPG (Guía de Programación Electrónica) se visualiza en la visualización del monitor 1260.

También, el grabador 1200 de disco duro puede obtener diversos tipos de datos tal como datos de vídeo, datos de audio, datos de EPG, y así sucesivamente suministrados de otro dispositivo mediante la red tal como Internet o similares.

La unidad 1235 de comunicación se controla por la unidad 1226 de control de grabador para obtener datos codificados tal como datos de vídeo, datos de audio, datos de EPG, y así sucesivamente transmitidos desde otro dispositivo mediante la red, y suministra estos a la unidad 1226 de control de grabador. La unidad 1226 de control de grabador suministra los datos codificados de los datos de vídeo y datos de audio obtenidos a la unidad 1233 de grabación/reproducción, y almacena en el disco duro, por ejemplo. En este momento, la unidad 1226 de control de grabador y la unidad 1233 de grabación/reproducción pueden realizar procesamiento tal como recodificación o similares de acuerdo con la necesidad.

También, la unidad 1226 de control de grabador decodifica los datos codificados de los datos de vídeo y datos de audio obtenidos, y suministra los datos de vídeo obtenidos al convertidor 1230 de visualización. El convertidor 1230 de visualización procesa, de la misma manera que los datos de vídeo suministrados desde el decodificador 1225 de vídeo, los datos de vídeo suministrados desde la unidad 1226 de control de grabador, suministra al monitor 1260 mediante la unidad 1232 de control de visualización para visualización de una imagen de la misma.

Como alternativa, puede hacerse una disposición en la que de acuerdo con esta visualización de imagen, la unidad 1226 de control de grabador suministra los datos de audio decodificados al monitor 1260 mediante el convertidor 1234 de D/A, y emite audio de los mismos desde el altavoz.

Además, la unidad 1226 de control de grabador decodifica los datos codificados de los datos de EPG obtenidos, y suministra los datos de EPG decodificados a la memoria 1227 de datos de EPG.

El grabador 1200 de disco duro configurado de esta manera emplea el dispositivo 200 de decodificación de imagen o el dispositivo 400 de decodificación de imagen como el decodificador 1225 de vídeo, decodificador 1252, y decodificador alojado en la unidad 1226 de control de grabador. Por consiguiente, de la misma manera que con el dispositivo 200 de decodificación de imagen o el dispositivo 400 de decodificación de imagen, el decodificador 1225 de vídeo, el decodificador 1252, y el decodificador alojado en la unidad 1226 de control de grabador extraen y decodifican información de control suministrada desde el dispositivo 100 de codificación de imagen o el dispositivo 300 de codificación de imagen, y realizan procesamiento de control de filtro adaptativo (y procesamiento de filtro) usando la información de control. Por consiguiente, el decodificador 1225 de vídeo, el decodificador 1252, y el decodificador alojado en la unidad 1226 de control de grabador pueden suprimir el deterioro de efectos debido a control local de procesamiento de filtro.

Por consiguiente, el grabador 1200 de disco duro puede suprimir el deterioro de los efectos debido a control local de procesamiento de filtro con respecto a datos de vídeo recibidos mediante el sintonizador o unidad 1235 de comunicación, y datos de vídeo grabados en el disco duro de la unidad 1233 de grabación/reproducción, por ejemplo.

Por ejemplo, el grabador 1200 de disco duro puede mejorar la calidad de imagen de resultados de procesamiento de filtro realizando procesamiento de filtro traspasando cortes, y puede conseguir alta calidad de imagen de imágenes decodificadas. También, por ejemplo, realizando procesamiento de filtro cerrado en el corte actual, el grabador 1200 de disco duro puede realizar procesamiento de filtro con bajo retardo, y puede decodificar datos codificados con bajo retardo.

También, el grabador 1200 de disco duro emplea el dispositivo 100 de codificación de imagen o el dispositivo 300 de codificación de imagen como el codificador 1251. Por consiguiente, de la misma manera que con el caso del dispositivo 100 de codificación de imagen o el dispositivo 300 de codificación de imagen, el codificador 1251 puede realizar la supresión del deterioro de efectos debido a control local de procesamiento de filtro.

Por consiguiente, el grabador 1200 de disco duro puede suprimir el deterioro de efectos debido a control local de procesamiento de filtro con respecto a datos codificados grabados en el disco duro, por ejemplo.

Por ejemplo, el grabador 1200 de disco duro puede mejorar la calidad de imagen de resultados de procesamiento de filtro realizando procesamiento de filtro traspasando cortes, y puede grabar datos codificados con calidad de imagen superior en el disco duro. También, por ejemplo, realizando procesamiento de filtro cerrado en el corte actual, el grabador 1200 de disco duro puede realizar procesamiento de filtro con bajo retardo, y puede generar datos codificados y grabar en el disco duro con retardo inferior.

Obsérvese que se ha realizado la descripción hasta ahora con respecto al grabador 1200 de disco duro para grabar datos de vídeo y datos de audio en el disco duro, pero no hace falta decir que puede emplearse cualquier clase de medio de grabación. Por ejemplo, incluso con un grabador al que se aplica un medio de grabación distinto de un disco duro, tal como memoria flash, disco óptico, cinta de vídeo, o similares, el dispositivo 100 de codificación de imagen y el dispositivo 200 de decodificación de imagen pueden aplicarse al mismo de la misma manera que con el caso del grabador 1200 de disco duro anterior.

<9. Novena realización>

[Cámara]

La Figura 27 es un diagrama de bloques que ilustra un ejemplo de configuración principal de una cámara que emplea el dispositivo de codificación de imagen y el dispositivo de decodificación de imagen a los que se ha aplicado la presente invención.

Una cámara 1300 mostrada en la Figura 27 representa un objeto, visualiza una imagen del objeto en una LCD 1316, y graba esta en un medio 1333 de grabación como datos de imagen.

Un bloque 1311 de lente introduce luz (es decir, instantánea de un objeto) a un CCD/CMOS 1312. El CCD/CMOS 1312 es un sensor de imagen que emplea un CCD o CMOS, que convierte la intensidad de luz recibida en una señal eléctrica, y suministra a una unidad 1313 de procesamiento de señal de cámara.

La unidad 1313 de procesamiento de señal de cámara convierte la señal eléctrica suministrada del CCD/CMOS 1312 en señales de diferencia de color de Y, Cr, y Cb, y suministra a una unidad 1314 de procesamiento de señal de imagen. La unidad 1314 de procesamiento de señal de imagen somete, bajo el control de un controlador 1321, la señal de imagen suministrada desde la unidad 1313 de procesamiento de señal de cámara para procesamiento de imagen predeterminado, o codifica la señal de imagen de la misma por un codificador 1341 usando el formato MPEG por ejemplo. La unidad 1314 de procesamiento de señal de imagen suministra datos codificados generados codificando una señal de imagen, a un decodificador 1315. Además, la unidad 1314 de procesamiento de señal de imagen obtiene datos para su visualización generados en una visualización en pantalla (OSD) 1320, y suministra estos al decodificador 1315.

Con el procesamiento anteriormente mencionado, la unidad 1313 de procesamiento de señal de cámara se aprovecha apropiadamente de DRAM (Memoria de Acceso Aleatorio Dinámico) 1318 conectada mediante un bus 1317 para mantener datos de imagen, datos codificados codificados de los datos de imagen de los mismos, y así sucesivamente en la DRAM 1318 de los mismos de acuerdo con la necesidad.

El decodificador 1315 decodifica los datos codificados suministrados desde la unidad 1314 de procesamiento de señal de imagen, y suministra datos de imagen obtenidos (datos de imagen decodificados) a la LCD 1316. También, el decodificador 1315 suministra los datos para su visualización suministrados desde la unidad 1314 de procesamiento de señal de imagen a la LCD 1316. La LCD 1316 sintetiza la imagen de los datos de imagen decodificados, y la imagen de los datos para su visualización, suministrados desde el decodificador 1315 según sea apropiado, y visualiza una imagen de sintetización de los mismos.

La visualización 1320 en pantalla emite, bajo el control del controlador 1321, datos para su visualización tal como una pantalla de menú o icono o similares compuestos de un símbolo, caracteres o una figura a la unidad 1314 de procesamiento de señal de imagen mediante el bus 1317.

Basándose en una señal que indica el contenido comandado por el usuario usando una unidad 1322 de operación, el controlador 1321 ejecuta diversos tipos de procesamiento, y también controla la unidad 1314 de procesamiento de señal de imagen, DRAM 1318, interfaz 1319 externa, visualización 1320 en pantalla, unidad 1323 de medios, y así sucesivamente mediante el bus 1317. Un programa, datos, y así sucesivamente necesarios para el controlador 1321 que ejecuta diversos tipos de procesamiento se almacenan en FLASH ROM 1324.

Por ejemplo, el controlador 1321 puede codificar datos almacenados de imagen en la DRAM 1318, o decodificar datos codificados almacenados en la DRAM 1318 en lugar de la unidad 1314 de procesamiento de señal de imagen y el decodificador 1315. En este momento, el controlador 1321 puede realizar procesamiento de codificación y decodificación usando el mismo formato que el formato de codificación y decodificación de la unidad 1314 de procesamiento de señal de imagen y el decodificador 1315, o puede realizar procesamiento de codificación y decodificación usando un formato que ni la unidad 1314 de procesamiento de señal de imagen ni el decodificador 1315 pueden manejar.

También, por ejemplo, en el caso que se haya ordenado el inicio de impresión de imagen desde la unidad 1322 de operación, el controlador 1321 lee datos de imagen desde la DRAM 1318, y suministra estos a una impresora 1334 conectada a la interfaz 1319 externa mediante el bus 1317 para su impresión.

Además, por ejemplo, en el caso que se haya ordenado grabación de imagen desde la unidad 1322 de operación, el controlador 1321 lee datos codificados desde la DRAM 1318, y suministra estos a un medio 1333 de grabación montado en la unidad 1323 de medios mediante el bus 1317 para su almacenamiento.

El medio 1333 de grabación es un medio extraíble legible/escribible opcional, por ejemplo, tal como un disco magnético, un disco magneto-óptico, un disco óptico, memoria de semiconductores, o similares. No hace falta decir que el medio 1333 de grabación también es opcional con respecto al tipo de un medio extraíble, y por consiguiente puede ser un dispositivo de cinta, o puede ser un disco, o puede ser una tarjeta de memoria. No hace falta decir que el medio 1333 de grabación puede ser una tarjeta de CI sin contacto o similares.

Como alternativa, la unidad 1323 de medios y el medio 1333 de grabación pueden estar configurados para integrarse en un medio de grabación sin capacidad de transporte, por ejemplo, tal como una unidad de disco duro integrada, SSD (Unidad de Estado Sólido), o similares.

La interfaz 1319 externa está configurada de, por ejemplo, un terminal de entrada/salida de USB y así sucesivamente, y está conectada a la impresora 1334 en el caso de realizar impresión de una imagen. También, una unidad 1331 está conectada a la interfaz 1319 externa de acuerdo con la necesidad, en la que el medio 1332 extraíble tal como un disco magnético, disco óptico, o disco magneto-óptico está montado según sea apropiado, y un programa informático leído a partir del mismo se instala en la FLASH ROM 1324 de acuerdo con la necesidad. Además, la interfaz 1319 externa incluye una interfaz de red para conectarse a una red predeterminada tal como una LAN, la Internet, o similares. Por ejemplo, de acuerdo con las instrucciones de la unidad 1322 de operación, el controlador 1321 puede leer datos codificados desde la DRAM 1318, y suministrar estos desde la interfaz 1319 externa a otro dispositivo conectado mediante la red. También, el controlador 1321 puede obtener, mediante la interfaz 1319 externa, datos codificados o datos de imagen suministrados desde otro dispositivo mediante la red, y mantener estos en la DRAM 1318, o suministrar estos a la unidad 1314 de procesamiento de señal de imagen. La cámara 1300 configurada de esta manera emplea el dispositivo 200 de decodificación de imagen o el dispositivo 400 de decodificación de imagen como el decodificador 1315. Por consiguiente, de la misma manera que con el dispositivo 200 de decodificación de imagen o el dispositivo 400 de decodificación de imagen, el decodificador 1315 extrae y decodifica información de control suministrada desde el dispositivo 100 de codificación de imagen o el dispositivo 300 de codificación de imagen, y realiza procesamiento de control de filtro adaptativo (y procesamiento de filtro) usando la información de control. Por consiguiente, el decodificador 1315 puede suprimir el deterioro de los efectos debido a control local de procesamiento de filtro.

Por consiguiente, la cámara 1300 puede suprimir el deterioro de efectos debido a control local de procesamiento de filtro con respecto a, por ejemplo, desde los datos de imagen generados en el CCD/CMOS 1312, los datos codificados de datos de vídeo leídos desde la DRAM 1318 o medio 1333 de grabación, y datos codificados de datos de vídeo obtenidos mediante la red.

Por ejemplo, la cámara 1300 puede mejorar la calidad de imagen de los resultados de procesamiento de filtro realizando procesamiento de filtro traspasando cortes, y puede conseguir alta calidad de imagen de imágenes decodificadas. También, por ejemplo, realizando procesamiento de filtro cerrado en el corte actual, la cámara 1300 puede realizar procesamiento de filtro con bajo retardo, y puede decodificar datos codificados con bajo retardo. También, la cámara 1300 emplea el dispositivo 100 de codificación de imagen o el dispositivo 300 de codificación de imagen como el codificador 1341. Por consiguiente, de la misma manera que con el caso del dispositivo 100 de codificación de imagen o el dispositivo 300 de codificación de imagen, el codificador 1341 puede realizar la supresión del deterioro de efectos debido a control local de procesamiento de filtro.

Por consiguiente, la cámara 1300 puede suprimir el deterioro de efectos debido a control local de procesamiento de filtro con respecto a los datos codificados grabados en la DRAM 1318 o medio 1333 de grabación, o datos codificados a proporcionarse a otros dispositivos, por ejemplo.

Por ejemplo, la cámara 1300 puede mejorar la calidad de imagen de resultados de procesamiento de filtro realizando procesamiento de filtro traspasando cortes, y puede grabar datos codificados con calidad de imagen superior en la DRAM 1318 o medio 1333 de grabación, o proporcionar estos a otros dispositivos. También, por ejemplo, realizando procesamiento de filtro cerrado en el corte actual, la cámara 1300 puede realizar procesamiento de filtro con bajo retardo, y puede generar datos codificados y grabados en la DRAM 1318 o medio 1333 de grabación, o proporcionar estos a otros dispositivos, con retardo inferior.

Obsérvese que el método de decodificación del dispositivo 200 de decodificación de imagen o dispositivo 400 de decodificación de imagen puede aplicarse al procesamiento de decodificación que realiza el controlador 1321. De la misma manera, el método de codificación del dispositivo 100 de codificación de imagen o el dispositivo 300 de codificación de imagen puede aplicarse al procesamiento de codificación que realiza el controlador 1321.

También, los datos de imagen que toma la cámara 1300 pueden ser imágenes en movimiento o pueden ser imágenes fijas.

De manera rutinaria, el dispositivo 100 de codificación de imagen, el dispositivo 200 de decodificación de imagen, el dispositivo 300 de codificación de imagen, y el dispositivo 400 de decodificación de imagen pueden aplicarse a dispositivos o sistemas distintos de los dispositivos anteriormente descritos.

También, el tamaño de macrobloques no está restringido a 16 * 16 píxeles. Pude hacerse la aplicación a macrobloques de diversos tamaños, tal como el de 32 x 32 píxeles mostrado en la Figura 28, por ejemplo.

Aunque se ha realizado la descripción anterior con información de bandera y similares que se multiplexa (describe) en el flujo de bits, pueden transmitirse (grabarse) banderas y datos de imagen (o flujo de bits), por ejemplo, además de que se multiplexen. Puede realizarse una forma donde la bandera y datos de imagen (o flujo de bits) están enlazados (añadidos) también.

El enlazamiento (adición) indica un estado en el que datos de imagen (o flujos de bits) y banderas están mutuamente enlazados (un estado correlacionado), y la relación posicional física es arbitraria. Por ejemplo, los datos de imagen (o flujo de bits) y banderas pueden transmitirse a través de rutas de transmisión separadas. También, los datos de imagen (o flujo de bits) y banderas puede cada uno grabarse en medios de grabación separados (o en áreas de grabación separadas dentro del mismo medio de grabación). Obsérvese que los incrementos en los que se enlazan datos de imagen (o flujos de bits) y banderas son opcionales, y pueden establecerse en incrementos de procesamiento de codificación (un fotograma, múltiples fotogramas, etc.), por ejemplo.

Lista de signos de referencia

100 dispositivo de codificación de imagen

112 unidad de generación de información de control

113 unidad de control de filtro adaptativo

132 unidad de generación de bandera de control de límite

141 unidad de gestión de especificación de sistema

142 unidad de determinación

161 píxel a procesarse

162 píxeles circundantes

163 límite de corte

171 unidad de control

172 filtro adaptativo

173 unidad de selección

181 memoria intermedia

182 filtro adaptativo en corte

183 primer filtro adaptativo para límite

184 segundo filtro adaptativo para límite

200 dispositivo de decodificación de imagen

202 unidad de decodificación sin pérdidas

207 unidad de procesamiento de filtro adaptativo

300 dispositivo de codificación de imagen

301 unidad de codificación de imagen

302 unidad de entrada

303 unidad de comunicación

304 unidad de recopilación de información

400 unidad de decodificación de imagen

401 unidad de decodificación de imagen

402 unidad de suministro de información

403 unidad de comunicación

Claims

REIVINDICACIONES

1. Un dispositivo de decodificación de imagen que comprende:

circuitería configurada para

recibir

un bloque de imagen codificada a decodificarse,

una bandera de bloque de filtro para controlar si se realiza o no un proceso de filtrado en un bloque de imagen,

una bandera de control de límite para controlar si el proceso de filtrado, realizado en un píxel objetivo que es adyacente a un límite de corte que separa un corte que incluye dicho píxel objetivo y un corte vecino de dicho corte y que se proporciona dentro del bloque de imagen del corte, usa píxeles de dicho corte vecino después de que los píxeles de dicho corte vecino están disponibles o si el proceso de filtrado, realizado en el píxel objetivo, usa píxeles del corte solamente, los píxeles a usarse son píxeles circundantes que rodean dicho píxel objetivo, e

información de tamaño de bloque del bloque de imagen codificada;

obtener una posición del bloque de imagen codificada basándose en la información de tamaño de bloque; decodificar el bloque de imagen codificada; y

realizar el proceso de filtrado en el bloque de imagen decodificada basándose en la bandera de bloque de filtro, la bandera de control de límite, y la posición del bloque de imagen codificada,

en el que, en el caso que la bandera de control de límite indique usar píxeles del corte solamente, se realiza dicho procesamiento de filtro en cuanto a dicho píxel objetivo a procesarse suponiendo un valor ficticio para cada uno de los píxeles circundantes que están en dicho corte vecino, con lo cual el valor ficticio supuesto está basado en píxeles del corte solamente.

2. El dispositivo de decodificación de imagen de acuerdo con la reivindicación 1, en el que la bandera de control de límite está incluida en un encabezamiento de corte del corte que incluye el bloque de imagen codificada.

3. El dispositivo de decodificación de imagen de acuerdo con la reivindicación 1 o 2, en el que la circuitería está configurada para realizar el proceso de filtrado en todos los píxeles en el bloque de imagen decodificada cuando la bandera de bloque de filtro indica que ha de realizarse el proceso de filtrado y la bandera de control de límite indica que el proceso de filtrado usa los píxeles en dicho corte vecino.

4. El dispositivo de decodificación de imagen de acuerdo con la reivindicación 3, en el que la bandera de control de límite está configurada adicionalmente para controlar si el proceso de filtrado, realizado en el bloque de imagen, no usa píxeles en dicho corte vecino, y

en el que la circuitería está configurada adicionalmente para realizar el proceso de filtrado en todos los píxeles sin incluir píxeles de límite en el bloque de imagen decodificada cuando la bandera de bloque de filtro indica que el proceso de filtrado ha de realizarse y la bandera de control de límite indica que el proceso de filtrado no usa píxeles en dicho corte vecino.

5. El dispositivo de decodificación de imagen de acuerdo con la reivindicación 4, en el que la circuitería está configurada para no realizar el proceso de filtrado en ningún píxel en el bloque de imagen decodificada cuando la bandera de bloque de filtro indica que el proceso de filtrado no ha de realizarse y la bandera de control de límite indica que el proceso de filtrado no usa ningún píxel en dicho corte vecino.

6. El dispositivo de decodificación de imagen de acuerdo con una de las reivindicaciones 1 a 5, en el que el bloque de imagen codificada tiene una estructura de árbol cuádruple que es una estructura jerárquica donde, en un nivel jerárquico inferior, una región del bloque de imagen codificada en un nivel jerárquico por encima del nivel jerárquico inferior se divide en cuatro y la circuitería está configurada para realizar el proceso de filtrado en el bloque de imagen dividido basándose en la bandera de bloque de filtro y la bandera de control de límite.

7. El dispositivo de decodificación de imagen de acuerdo con una de las reivindicaciones 1 a 6, en el que la circuitería incluye un sintonizador digital configurado para recibir una señal de onda de difusión de una difusión digital que incluye el bloque de imagen codificada, la bandera de bloque de filtro, la bandera de control de límite, y la información de tamaño de bloque.

8. El dispositivo de decodificación de imagen de acuerdo con una de las reivindicaciones 1 a 7, en el que el proceso de filtrado es un proceso de filtrado adaptativo.

9. El dispositivo de decodificación de imagen de acuerdo con una de las reivindicaciones 1 a 8, en el que el bloque de imagen codificada tiene una estructura de árbol cuádruple.

10. El dispositivo de decodificación de imagen de acuerdo con la reivindicación 9, en el que la estructura de árbol cuádruple es una estructura jerárquica, y una estructura jerárquica se divide en cuatro.

11. El dispositivo de decodificación de imagen de acuerdo con la reivindicación 10, en el que la estructura de árbol cuádruple es recursiva.

12. El dispositivo de decodificación de imagen de acuerdo con la reivindicación 9, 10 u 11, en el que un número de capas de la estructura de árbol cuádruple es más de dos.

13. Un método de decodificación de imagen que comprende:

recibir

un bloque de imagen codificada a decodificarse,

información de tamaño de bloque del bloque de imagen codificada;

en el que, en el caso que la bandera de control de límite indique usar píxeles del corte solamente, se realiza dicho procesamiento de filtro en cuanto a dicho píxel objetivo a procesarse suponiendo un valor ficticio para cada uno de los píxeles circundantes que están en dicho corte vecino, por lo cual el valor ficticio supuesto está basado en píxeles del corte solamente.

14. Un medio legible por ordenador no transitorio que tiene almacenado en el mismo un programa informático, que cuando se ejecuta en un ordenador, provoca que el ordenador lleve a cabo el método de acuerdo con la reivindicación 13.