ES2335677T3 - Procedimiento de codificacion y descodificacion de imagenes. - Google Patents

Procedimiento de codificacion y descodificacion de imagenes. Download PDF

Info

Publication number
ES2335677T3
ES2335677T3 ES06011479T ES06011479T ES2335677T3 ES 2335677 T3 ES2335677 T3 ES 2335677T3 ES 06011479 T ES06011479 T ES 06011479T ES 06011479 T ES06011479 T ES 06011479T ES 2335677 T3 ES2335677 T3 ES 2335677T3
Authority
ES
Spain
Prior art keywords
image
unit
filter
images
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
ES06011479T
Other languages
English (en)
Inventor
Makoto Hagai
Shinya c/o Matsushita Electric Ind.Co Ltd. Kadono
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Panasonic Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp filed Critical Panasonic Corp
Application granted granted Critical
Publication of ES2335677T3 publication Critical patent/ES2335677T3/es
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/156—Availability of hardware or computational resources, e.g. encoding based on power-saving criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/527—Global motion vector estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Abstract

Un procedimiento para codificar una imagen, comprendiendo dicho procedimiento: codificar una imagen de entrada (Img) para obtener datos codificados (CodedRes) descodificar los datos codificados (CodedRes) para obtener una imagen descodificada (Recon); filtrar la imagen descodificada (Recon); y almacenar la imagen descodificada (FilteredImg2), que está filtrada, para uso como una imagen de referencia (Ref) para codificar una imagen de entrada siguiente (Img), caracterizado por el filtrado de una imagen descodificada (Recon) se realiza cuando la imagen descodificada (Recon) ha de usarse como imagen de referencia (Ref) y no se realiza cuando la imagen descodificada no ha de usarse como imagen de referencia (Ref).

Description

Procedimiento de codificación y descodificación de imágenes.
Campo técnico
La presente invención se refiere a un procedimiento de codificación de imágenes y un procedimiento de descodificación de imágenes.
Técnica anterior
Con el avance de las aplicaciones multimedia, en los últimos años cada vez es más frecuente el manejo de la información de todo tipo de medios como, por ejemplo, audio, video y texto, de una forma integrada. Al hacerlo, es posible manejar los medios integramente digitalizando todos los medios. Sin embargo, puesto que las imágenes digitalizadas tienen una cantidad de datos enorme, las técnicas de compresión de información son una necesidad básica para su almacenamiento y transmisión. Por otra parte, para poder interoperar con datos de imágenes comprimidos, también es importante la estandarización de las técnicas de compresión. Entre los estándares de las técnicas de compresión de imágenes se incluyen H.261 y H.263 recomendados por el ITU-T (International Telecommunicacion Union Telecommunicacion Standardization Sector), y MPEG (Moving Picture Experts Group)-1, MPEG-2 y MPEG-4 de ISO (International Organization for Standardization).
El documento JP06-038197A desvela un controlador de filtro, que calcula una suma absoluta de datos de diferencia entre datos de imágenes que han de ser codificadas y datos de imágenes antes de un marco como datos de imagen de predicción, y un LPF adecuado para filtrar los datos de imagen de predicción almacenados en la memoria de marco que se selecciona correspondiente a la suma absoluta. A continuación, un conmutador es conmutado a la posición de un terminal al que está conectado el LPF y los datos de imagen de predicción almacenados en la memoria de marco son filtrados por el LPF seleccionado y los datos procesados son suministrados a un elemento de operación aritmética a través de un circuito de compensación de movimiento.
El documento EPA0603878 desvela un sistema de codificación de entre marcos que elimina eficazmente y de manera adaptativa las componentes de frecuencia más altas contenidas en una señal de imagen con un filtro adaptativo provisto en un bucle de codificación. El filtro adaptativo elimina las componentes de frecuencia más altas con la intensidad de mal filtrado para una señal de imagen especificada con un coeficiente de filtrado que es decidido por un controlador de filtro. El coeficiente de filtrado se decide por normalización de la diferencia entre una señal de imagen de entrada y una señal de predicción procedente de una memoria de marco por la "Atividad" de la señal de imagen de entrada o la señal de predicción. La "Atividad" puede estar basada en la suma de los valores de diferencia absoluta o cuadrática basada en el valor medio de intensidad de luminancia de píxeles de la señal de imagen.
La Figura 1 es un diagrama de bloques en el que se muestra una estructura de un aparato de codificación de imágenes convencional 100. Hay que tener en cuenta que, en la presente invención, la unidad que consta de una hoja de imagen se denomina imagen. En una señal de imágenes entrelazada, una imagen significa un campo o un marco y, en una señal de imágenes progresivas, una imagen significa un marco.
El aparato de codificación de imágenes 100 incluye un calculador de diferencias 101, una unidad de codificación de imágenes 102, una unidad de codificación de longitud variable 103, una unidad de descodificación de imágenes 104, un sumador 105, un filtro entre píxeles 106, una memoria de imágenes 107, una unidad de predicción entre imágenes 108 y una unidad de cálculo de predicción entre imágenes 109. El calculador de diferencias 101 resta una imagen predictiva introducida a un terminal de entrada menos introducido desde una imagen de entrada introducida a un terminal de entrada más para obtener la imagen diferencial. La unidad de codificación de imágenes 102 codifica la imagen diferencial introducida. Por ejemplo, la unidad de codificación de imágenes 102 codifica los datos introducidos realizando la transformación de frecuencia de dichos datos utilizando DCT o algo similar y cuantificando los datos de frecuencia como resultado de la transformación. La unidad de codificación de longitud variable 103 realiza la codificación de longitud variable de la imagen diferencial codificada y los parámetros predictivos desde la unidad de cálculo de predicción entre imágenes 109, añade los datos relevantes como, por ejemplo, una cabecera que describe la información relevante a los datos codificados resultantes, los formatea en un flujo de bits codificado de salida y los envía fuera del aparato de codificación de imágenes 100. La unidad de descodificación de imágenes 104 descodifica la imagen diferencial codificada por la unidad de codificación de imágenes 102 realizando el procesamiento inverso a la codificación por parte de una unidad de codificación de imágenes 102 para la imagen diferencial. Por ejemplo, después de realizar la cuantificación inversa de la imagen diferencial codificada, la unidad de descodificación de imágenes 104 realiza la transformación de frecuencia inversa, como el DCT inverso, para descodificar la diferencia entre la imagen de entrada y la imagen predictiva. El sumador 105 añade la imagen diferencial descodificada y la imagen predictiva para descodificar la imagen de entrada. El filtro entre píxeles 106 realiza el filtrado como, por ejemplo, la supresión del ruido de codificación, en los componentes de alta frecuencia de la imagen de entrada descodificada. En la memoria de imágenes 107 se guardan los datos de imágenes de al menos una imagen de entre las imágenes descodificadas por el sumador 105 como una imagen de referencia. La unidad de predicción entre imágenes 108 lee una imagen predictiva en la imagen de referencia de la memoria de imágenes 107 basándose en el resultado de la predicción obtenido por la unidad de cálculo de predicción entre imágenes 109. La unidad de cálculo de predicción entre imágenes 109 obtiene un parámetro predictivo
PredParam que es la cantidad de cambio en movimiento de la imagen de entrada a partir de la imagen de referencia.
Más específicamente, los datos de imágenes Img se introducen en el aparato de codificación de imágenes 100 desde el exterior. Los datos de imágenes Img se introducen en el terminal de entrada más del calculador de diferencias 101. El calculador de diferencias 101 calcula la diferencia entre los valores de píxeles de estos datos de imágenes Img y los datos de imágenes predictivas Pred introducidos en el terminal de entrada menos para obtener el resultado como datos de imágenes diferenciales Res. Estos datos de imágenes predictivas Pred se obtienen de la siguiente manera. Primero, los datos de imágenes de referencia Ref, que son una imagen de una imagen ya codificada y que se codifican y descodifican una vez para ser la imagen de una única imagen, se almacenan en la memoria de imágenes 107. A continuación, a partir de estos datos de imagen de referencia Ref, se extraen los datos que representan a una imagen correspondiente a cada bloque de los datos de imágenes Img introducidos basándose en el parámetro predictivo PredParam. Los datos que representan a esta imagen de cada bloque son los datos de imágenes predictivas Pred. El aparato de codificación de imágenes 100 almacena varias hojas de imágenes codificadas como datos de imágenes de referencia Ref para la predicción en la memoria de imágenes 107, y la unidad de predicción entre imágenes 108 genera datos de imágenes predictivas Pred a partir de los datos de imágenes de referencia Ref almacenados en la memoria de imágenes 107. La unidad de cálculo de predicción entre imágenes 109 obtiene datos de parámetros predictivos PredParam que se utilizan para la predicción (por ejemplo, la información de vectores de movimiento que se utiliza en el procedimiento de codificación de imágenes MPEG y similares} a partir de los datos de imágenes de entrada Img y los datos de imágenes de referencia Ref. Hay que tener en cuenta que los valores de píxeles de una imagen predictiva deben ser "0" en el caso de la codificación entre imágenes.
La unidad de codificación de imágenes 102 codifica los datos de imágenes diferenciales Res y los envía como datos de imágenes diferenciales codificadas CodedRes. La unidad de descodificación de imágenes 104 descodifica los datos de imágenes diferenciales codificadas CodedRes y los envía como datos de imágenes diferenciales descodificadas ReconRes con el fin de utilizarlos como una imagen de referencia para la predicción entre imágenes. Los valores de píxeles indicados por estos datos de imágenes diferenciales descodificadas ReconRes y los valores de píxeles que indican los datos de imágenes predictivas Pred son añadidos por el sumador 105 y se envían como datos de imágenes descodificadas Recon. El filtro entre píxeles 106 realiza el procesamiento de la operación de filtrado de los datos de imágenes descodificadas Recon y los almacena como datos de imágenes descodificadas filtradas FilteredImg en la memoria de imágenes 107.
El filtro entre píxeles 106 tiene el efecto de reducir el ruido de codificación de los datos de imágenes descodificadas Recon y mejorar la eficacia de la predicción si se utiliza la imagen como imagen de referencia. Como ejemplo del filtro entre píxeles 106, existe un filtro de bucles H.261 que recomienda ITU-T. Los datos de imágenes descodificadas filtradas FilteredImg resultantes de la operación de filtrado entre píxeles realizada por el filtro entre píxeles 106 se almacenan en la memoria de imágenes 107 y se utilizan como imagen de referencia cuando se codifican las siguientes imágenes. La unidad de codificación de longitud variable 103 realiza la codificación de longitud variable de los datos de imágenes diferenciales codificadas CodedRes y los datos de parámetros predictivos PredParam y los une en un solo dato codificado Bitstream para enviar el resultado fuera del aparato de codificación de imágenes 100. La Figura 2 es un diagrama de bloques gue muestra la estructura de un aparato de descodificación de imágenes convencional 200. El aparato de descodificación de imágenes 200 incluye una unidad de descodificación de longitud variable 201, una unidad de descodificación de imágenes 202, un sumador 203, un filtro entre píxeles 204, una memoria de imágenes 205 y una unidad de predicción entre imágenes 206. El dato codificado Bitstream se introduce en el aparato de descodificación de imágenes 200 desde el exterior. La unidad de descodificación de longitud variable 201 realiza la descodificación de longitud variable de los datos codificados introducidos Bitstream y los separa en datos de imágenes diferenciales codificadas CodedRes y datos de parámetros predictivos PredParam. La unidad de descodificación de imágenes 202 descodifica los datos de imágenes diferenciales codificadas CodedRes y los envía como datos de imágenes diferenciales descodificadas ReconRes. Hay que tener en cuenta que una imagen a la que ha hecho referencia una imagen enviada como datos de imágenes diferenciales descodificadas ReconRes, es decir, una imagen que se corresponde con los datos de imágenes de referencia Ref en el aparato de codificación de imágenes 100, ya se ha descodificado y almacenado en la memoria de imágenes 107. Por lo tanto, la unidad de predicción entre imágenes 206 genera datos de imágenes predictivas Pred a partir de los datos de imágenes de referencia Ref basándose en los datos de parámetros predictivos PredParam. El sumador 203 añade los datos de imágenes predictivas Pred y los datos de imágenes diferenciales descodificadas ReconRes para enviar el resultado como datos de imágenes descodificadas Recon. El filtro entre píxeles 204 realiza la operación de filtrado entre píxeles de los datos de imágenes descodificadas Recon y envía el resultado como datos de imágenes descodificadas filtradas FilteredImg fuera del aparato de descodificación de imágenes 200. Por fuera del aparato de descodificación de imágenes 200 se entiende un aparato de visualización como una televisión. Asimismo, los datos de imágenes descodificadas filtradas FilteredImg se almacenan en la memoria de imágenes 205 y se hará referencia a ellos como datos de imagen de referencia Ref en las siguientes imágenes.
Sin embargo, si se tiene en cuenta el caso de la transmisión de imágenes en movimiento a través de un teléfono móvil o un dispositivo similar, es deseable minimizar el consumo de energía del aparato móvil en general con el fin de que las horas disponibles por carga sean mayores, por lo que no es deseable que el aparato tenga una alta capacidad de procesamiento que requiera una cantidad de energia mayor para procesar las imágenes. Por lo tanto, al utilizar un aparato móvil que sólo puede utilizar una unidad de funcionamiento con una capacidad de procesamiento baja de las imágenes, a veces ocurre que sólo se puede utilizar un filtro entre píxeles necesario con una carga de procesamiento reducida. Por otra parte, a veces es necesario utilizar un filtro entre píxeles de alto rendimiento para algunas aplicaciones que necesitan transmitir imágenes en movimiento de alta calidad y con una gran eficacia de codificación, incluso si se requiere una unidad de funcionamiento con una carga de procesamiento mayor. Si un procedimiento de codificación es capaz de responder a dichos requisitos con flexibilidad, es útil en la creciente gama de aplicaciones para un aparato de codificación de imágenes y un aparato de descodificación de imágenes de acuerdo con dicho procedimiento de codificación y dicho procedimiento de descodificación.
La presente invención se ha concebido en vista de estos problemas convencionales y tiene como fin proporcionar un procedimiento de codificación y descodificación de imágenes para descodificar datos codificados por un aparato de codificación de imágenes que usa un filtro entre píxeles que depende selectivamente de diversas situaciones para generar datos codificados.
Descripción de la invención
El procedimiento de codificar y descodificar datos codificados de acuerdo con la presente invención se expone en las reivindicaciones adjuntas 1 y 3. Un ejemplo adicional es un aparato de codificación de imágenes que codifica datos de imágenes diferenciales, que es una diferencia entre datos de imágenes de entrada que representan una imagen de entrada y datos de imágenes predictivas que representan una imagen predictiva para una imagen en la imagen de entrada, de forma que se generen datos de imágenes codificadas, comprendiendo el aparato de codificación de imágenes: una unidad de descodificación utilizable para descodificar los datos de imágenes diferenciales codificadas y sumar los datos descodificados de imágenes diferenciales y los datos de imágenes predictivas, después de que se codifican los datos de imágenes diferenciales; una pluralidad de filtros entre píxeles para realizar un filtrado entre píxeles para los datos de imágenes descodificadas obtenidos por la unidad de descodificación; una unidad de selección utilizable para seleccionar uno de la pluralidad de filtros entre píxeles; y una unidad generadora de imágenes predictivas utilizable para generar los datos de imágenes predictivas para los datos de imágenes de entrada, usando los datos de imágenes descodificadas filtradas, como datos de imágenes de referencia, obtenidos por el filtro entre píxeles seleccionado.
Por lo tanto, existe un efecto de que el aparato de codificación de imágenes es capaz de conmutar a un filtro entre píxeles apropiado dependiendo de la capacidad de procesamiento en el lado del aparato de codificación de imágenes, la capacidad de procesamiento en el lado del aparato de descodificación de imágenes que recibe una señal codificada, o las propiedades, velocidades de compresión, etcétera, de una imagen que ha de ser codificada, para crear la señal codificada.
Asimismo, el aparato de descodificación de imágenes es un aparato de descodificación de imágenes que descodifica datos de imágenes codificadas obtenidos codificando una diferencia entre datos de imágenes que representan una imagen en imágenes en movimiento originales y datos de imágenes predictivas que representan otra imagen en las imágenes en movimiento originales para generar una pluralidad de datos de imágenes que representan las imágenes en movimiento originales, comprendiendo el aparato de descodificación de imágenes: una unidad de descodificación utilizable para sumar el resultado de descodificación de los datos de imágenes codificadas y los datos de imágenes predictivas ya descodificadas asociados con los datos de imágenes codificadas para generar datos de imágenes que representan una imagen original; una unidad de selección utilizable para seleccionar uno de una pluralidad de filtros entre píxeles para realizar un filtrado entre píxeles para los datos de imágenes descodificadas; y una unidad generadora de imágenes predictivas utilizable para generar los datos de imágenes predictivas asociados con otros datos de imágenes codificadas a partir de los datos de imágenes que se realizan del filtrado por el filtro entre píxeles se-
leccionado.
Por lo tanto, existe un efecto de que el aparato de descodificación de imágenes es capaz de seleccionar un filtro entre píxeles dependiendo de la capacidad de procesamiento del aparato de descodificación de imágenes o de si se hace referencia o no a una imagen de forma que se genere una imagen predictiva. Asimismo, cuando el aparato de codificación de imágenes conmuta al filtro entre píxeles, el aparato de descodificación de imágenes también puede realizar la descodificación correctamente usando el filtro entre píxeles correspondiente.
Además, el aparato de codificación de imágenes (o el aparato de descodificación de imágenes) es un aparato de codificación de imágenes o similar que codifica imágenes que son introducidas en secuencia, comprendiendo el aparato de codificación de imágenes: una unidad de codificación utilizable para codificar una imagen realizando procesamiento de transformación predeterminado para la imagen; una unidad de transformación inversa utilizable para realizar procesamiento de transformación inversa respecto al procesamiento de transformación para la imagen codificada por la unidad de codificación; una unidad de filtrado utilizable para realizar filtrado para la imagen; una unidad de memorización utilizable para memorizar la imagen; y una unidad de control utilizable para realizar control para almacenar la imagen obtenida por el procesamiento de transformación inversa por la unidad de transformación inversa en la unidad de memorización después de que el filtrado es realizado por la unidad de filtrado, o para almacenar la imagen en la unidad de memorización sin que se realice el filtrado por la unidad de filtrado, en la que la unidad de codificación codifica la imagen con referencia a una imagen anterior que ha sido almacenada en la unidad de memorización.
Por lo tanto, el filtrado entre píxeles como, por ejemplo, la reducción de ruido, no siempre se realiza en la codificación de imágenes (o la descodificación de imágenes), sino que se puede realizar de forma selectiva cuando sea necesario, por lo que es posible que un aparato de codificación de imágenes (o un aparato de descodificación de imágenes) con una capacidad de procesamiento inferior adopte un filtro entre píxeles realizando el filtrado entre píxeles solamente para una imagen que tiene una influencia significativa en la calidad de la imagen, y, por lo tanto, se puede obtener el efecto de mejora de la calidad de la imagen significativamente a una velocidad de bits baja.
Aquí, la unidad de control puede ejercer un control para realizar el filtrado cuando un nivel de importancia de la imagen sea alto, y no realizar el filtrado cuando el nivel de importancia de la imagen sea bajo. Por ejemplo, la unidad de control puede decidir que el nivel de importancia de la imagen es alto y ejercer control con el fin de realizar el filtrado de la imagen cuando dicha imagen es una imagen codificada entre imágenes por la unidad de codificación, y decidir que el nivel de importancia es bajo y ejercer control con el fin de no realizar el filtrado de la imagen cuando es una imagen codificada entre imágenes por la unidad de codificación. 0 bien, la unidad de control puede decidir que el nivel de importancia de la imagen es alto y ejercer control con el fin de realizar el filtrado de la imagen cuando dicha imagen es una imagen predictiva codificada hacia adelante por la unidad de codificación, y determinar que el nivel de importancia de la imagen es bajo y ejercer control con el fin de no realizar el filtrado de la imagen cuando es una imagen codificada bipredictiva por la unidad de codificación. 0 bien, la unidad de control puede determinar que el nivel de importancia de la imagen es alto y ejercer el control con el fin de realizar el filtrado de la imagen cuando dicha imagen es una imagen codificada de capa base por la unidad de codificación, y determinar que el nivel de importancia de la imagen es bajo y ejercer el control con el fin de no realizar el filtrado de la imagen cuando la imagen es una imagen codificada en la capa de mejora por la unidad de codificación.
Por lo tanto, el filtrado entre píxeles se realiza para una imagen que tiene una influencia significativa en otras imágenes, es decir, es una imagen codificada entre imágenes, una imagen codificada predictiva hacia delante, una imagen de capa base o similar por prioridad, de forma que el efecto de la mejora de la calidad de la imagen, como la reducción del ruido mediante un filtro entre píxeles, se puede obtener con mayor potencia, incluso con el mismo incremento en la capacidad de carga.
Además, la unidad de control puede monitorizar si el aparato de codificación de imágenes (o el aparato de descodificación de imágenes) tiene o no suficiente capacidad de procesamiento, y realizar el control para realizar el filtrado para imágenes que incluyan imágenes con niveles de importancia inferiores si el aparato de codificación de imágenes tiene suficiente capacidad de procesamiento, y no realizar el filtrado para imágenes que incluyan imágenes con niveles de importancia superiores si el aparato de codificación de imágenes no tiene suficiente capacidad de procesamiento. Por ejemplo, a la imagen se asocia una prioridad que corresponde al nivel de importancia, y la unidad de control puede monitorizar una velocidad de funcionamiento de una CPU incluida en el aparato de codificación de imágenes para monitorizar la capacidad de procesamiento, y realiza el control para realizar el filtrado sólo para las imágenes con prioridades superiores si la velocidad de funcionamiento es alta, y no realizar el filtrado para las imágenes que incluyan las imágenes con prioridades inferiores si la velocidad de funcionamiento es baja.
De ese modo, como la conexión/desconexión del filtrado puede controlarse para hacer pleno uso de la capacidad de procesamiento del aparato de codificación de imágenes (o el aparato de descodificación de imágenes), se usa una CPU con gran eficiencia, y por lo tanto la codificación (o descodificación) para alta calidad de imagen puede obtenerse incluso con los mismos recursos de hardware.
Como se ha descrito anteriormente, se obtiene la codificación de imágenes y la descodificación de imágenes a una velocidad de bits baja (velocidad de compresión alta) para conseguir una calidad de imagen alta, y particularmente, se puede conseguir el efecto significativo de mejora de la calidad de la imagen en el procesamiento de codificación de imágenes y el procesamiento de descodificación de imágenes mediante un software con recursos de hardware limitados y, por tanto, se puede afirmar que el valor práctico de la presente invención es extremadamente alto en estos días en los que se ha extendido el uso de los ordenadores y la tecnología de comunicación de la información.
Breve descripción de los dibujos
La Figura 1 es un diagrama de bloques que muestra la estructura de un aparato de codificación de imágenes convencional.
La Figura 2 es un diagrama de bloques que muestra la estructura de un aparato de descodificación de imágenes convencional.
La Figura 3 es un diagrama de bloques que muestra la estructura de un aparato de codificación de imágenes de acuerdo con una primera realización de la presente invención.
La Figura 4 es un diagrama de bloques que muestra la estructura de un aparato de codificación de imágenes que conmuta un filtro entre píxeles por cada trozo de una imagen de entrada.
La Figura 5A es un diagrama que muestra la estructura de flujo de los datos codificados Bitstream que se envían desde el aparato de codificación de imágenes de la presente invención. La Figura 5B es un diagrama que muestra la estructura de flujo de los datos codificados Bitstream que se envían cuando el aparato de codificación de imágenes de la presente invención conmuta un filtro entre píxeles en la unidad de un trozo.
La Figura 6 es un diagrama de bloques que muestra la estructura de un aparato de descodificación de imágenes que descodifica los datos codificados Bitstream1 generados por el aparato de codificación de imágenes de acuerdo con la primera realización.
\newpage
La Figura 7 es un diagrama de bloques que muestra la estructura de un aparato de descodificación de imágenes que utiliza un filtro entre píxeles incorporado en lugar de un filtro entre píxeles especificado si no se incluye en el aparato de descodificación de imágenes.
La Figura 8 es un diagrama de bloques que muestra la estructura de un aparato de codificación de imágenes de acuerdo con una segunda realización de la presente invención.
La Figura 9 es un diagrama que muestra los detalles del funcionamiento por medio de un filtro de desbloqueo que es un ejemplo del filtro entre píxeles, tal y como se muestra en la Figura 8. La Figura 9A es un diagrama que muestra los valores de píxeles en las proximidades del limite entre bloques antes del filtrado. La Figura 9B es un diagrama que muestra los valores de píxeles en las proximidades del limite entre bloques después del filtrado.
La Figura 10 es un gráfico de flujo que muestra el flujo del procesamiento de filtrado por medio de un filtro entre píxeles.
La Figura 11 es un diagrama de bloques que muestra la estructura de un aparato de descodificación de imágenes que puede seleccionar si se va a realizar o no el procesamiento del filtro entre píxeles.
La Figura 12 es un diagrama de bloques que muestra la estructura de un aparato de descodificación de imágenes que está equipado con un filtro entre píxeles que puede seleccionar adicionalmente en una etapa de salida.
La Figura 13 es un diagrama de bloques que muestra la estructura de un aparato de descodificación de imágenes que puede seleccionar un filtro entre píxeles dependiendo del tipo de imagen de cada imagen.
La Figura 14 es un diagrama de bloques que muestra la estructura funcional de un aparato de codificación de imágenes de acuerdo con una tercera realización de la presente invención.
La Figura 15 es un diagrama de bloques que muestra la estructura funcional detallada de una unidad de determinación de prioridad, tal y como se muestra en la Figura 14.
La Figura 16 es un diagrama de bloques que muestra la estructura funcional detallada de una unidad de control de procesamiento de filtro, tal y como se muestra en la Figura 14.
La Figura 17 es un diagrama que muestra las relaciones de referencia entre las imágenes almacenadas en una memoria de imágenes, tal y como se muestra en la Figura 14.
La Figura 18 es un gráfico de flujo que muestra el procesamiento de activación del conmutador ejecutado por una unidad de procesamiento de cambio de conmutador, tal y como se muestra en la Figura 16.
La Figura 19 es un diagrama de bloques que muestra la estructura funcional de un aparato de descodificación de imágenes de acuerdo con una cuarta realización de la presente invención.
La Figura 20 es un diagrama explicativo en el caso de la implementación mediante un sistema informático usando un disco flexible que almacena el procedimiento de codificación de imágenes o el procedimiento de descodificación de imágenes de la primera realización a la cuarta realización anteriormente mencionadas. La Figura 20A muestra un ejemplo de un formato físico de un disco flexible que es un cuerpo principal del medio de grabación. La Figura 20B muestra la vista frontal de la apariencia del disco flexible, la vista en sección cruzada del mismo y el disco flexible, y la Figura 20C muestra la estructura para grabar y reproducir el programa anterior en el disco flexible FD.
La Figura 21 es un diagrama de bloques que muestra la configuración global de un sistema de suministro de contenido que presta servicios de distribución de contenido.
La Figura 22 es un diagrama que muestra un ejemplo de la apariencia de un teléfono móvil.
La Figura 23 es un diagrama de bloques que muestra la estructura del teléfono móvil.
La Figura 24 es un diagrama que explica los dispositivos que realizan el procesamiento de codificación o el procesamiento de descodificación, tal y como se muestra en las realizaciones ya mencionadas y un sistema que utiliza estos dispositivos.
Mejor modo de realización de la invención
Primera realización
A continuación se explican realizaciones concretas de la presente invención en referencia a las figuras. La Figura 3 es un diagrama de bloques que muestra la estructura de un aparato de codificación de imágenes 300 de acuerdo con la primera realización de la presente invención. En esta figura, se asignan los mismos números de referencia a los mismos elementos constituyentes y datos que los del aparato de codificación de imágenes 100 convencional que se muestra en la Figura 1 y se omitirán las explicaciones sobre el mismo, ya que ya se han ofrecido. Igualmente, en las siguientes imágenes, se asignan los mismos números de referencia a los elementos constituyentes y datos que ya se han explicado, y se omiten las explicaciones sobre los mismos. El aparato de codificación de imágenes 300 consta del calculador de diferencias 101, la unidad de codificación de imágenes 102, una unidad de codificación de longitud variable 305, la unidad de descodificación de imágenes 104, el sumador 105, la memoria de imágenes 107, la unidad de predicción entre imágenes 108, la unidad de cálculo de predicción entre imágenes 109, un conmutador 301, un conmutador 302, un filtro entre píxeles A 303 y un filtro entre píxeles B 304. El conmutador 301 y el conmutador 302 son conmutadores que se conectan respectivamente a un terminal 1 o un terminal 2 selectivamente dependiendo de un valor de la información de tipo de filtro FilterType1. El conmutador 301 se encuentra entre el terminal de salida del sumador 105 y los terminales de entrada del filtro entre píxeles A 303 y el filtro entre píxeles B 304. Y el conmutador 302 se encuentra entre el terminal de entrada de la memoria de imágenes 107 y los terminales de salida del filtro entre píxeles A 303 y el filtro entre píxeles B 304. El filtro entre píxeles A 303 y el filtro entre píxeles B 304 son filtros de desbloqueo para suavizar el ruido de alta frecuencia en las proximidades del limite entre bloques para eliminar la distorsión de bloques, por ejemplo, y sus niveles de suavizado son diferentes. Asimismo, sus cargas de procesamiento de operaciones para el suavizado son diferentes de acuerdo con los niveles de suavizado. Hay que tener en cuenta que los elementos constituyentes que se muestran en esta figura, como el conmutador 301 y el conmutador 302, se pueden implementar como hardware o software. Lo mismo se aplica a otras figuras.
La unidad de codificación de longitud variable 305 realiza la codificación de longitud variable como, por ejemplo, la codificación Huffman de la información del tipo de filtro introducido FilterType1, los datos de imágenes diferenciales codificadas CodedRes y los datos de parámetros predictivos PredParam respectivamente, y los une en un solo dato codificado Bitstream1 para enviar dicho dato codificado fuera del aparato de codificación de imágenes 300.
El funcionamiento del aparato de codificación de imágenes 300 estructurado de la manera anterior, particularmente una parte de una nueva estructura, se explicará más detalladamente comparándola con el aparato de codificación de imágenes convencional 100. En primer lugar, la información de tipo de filtro FilterType1 se introduce en el aparato de codificación de imágenes 300 desde el exterior. Aquí, por entrada desde el exterior se entiende, por ejemplo, la entrada de un usuario mediante una interfaz como un teclado desde el exterior de un aparato de codificación de imágenes o datos fijos para un aparato, y un valor que determina el aparato dependiendo de una velocidad de bits (velocidad de compresión) o un tamaño de imagen. La información de tipo de filtro FilterType1 se introduce en el conmutador 301 y el conmutador 302. El conmutador 301 y el conmutador 302 conmutan la conexión al "terminal 1" o al "terminal 2", dependiendo del valor de esta información de tipo de filtro FilterType1. Por ejemplo, si el valor de la información de tipo de filtro FilterType1 es "1", tanto el conmutador 301 como el conmutador 302 se conectan al terminal "1". En este caso, el filtrado mediante el filtro entre píxeles A 303 se aplica a los datos de imágenes descodificadas Recon enviadas desde el sumador 105. Si el valor de la información de tipo de filtro FilterType1 es "2", el conmutador 301 y el conmutador 302 se conmutan a lado del terminal "2", y el filtrado por medio del filtro entre píxeles B 304 se aplica a los datos de imágenes descodificadas Recon enviadas desde el sumador 105. Los datos de imágenes descodificadas filtradas FilteredImg1 que se filtran por medio del filtro entre píxeles A 303 o el filtro entre píxeles B 304 se almacenan en la memoria de imágenes 107 y se utilizan como imagen de referencia para la codificación predictiva de las siguientes imágenes. Además, la información de tipo de filtro FilterType1 que especifica un filtro entre píxeles se introduce en la unidad de codificación de longitud variable 305 junto con los datos de imágenes diferenciales codificadas CodedRes y los datos de parámetros predictivos PredParam de la misma imagen para realizar la codificación de longitud variable de estos datos respectivamente. El resultado de la codificación de longitud variable de la información de tipo de filtro FilterType1 se almacena en los datos codificados Bitstream 1 asociándolos con los resultados de la codificación de longitud variable de estos datos de imágenes diferenciales codificadas CodedRes y los datos de parámetros predictivos PredParam, y se graban en un medio de grabación o se transmiten a un aparato de descodificación de imágenes. Dicho de otro modo, el tipo de filtro entre píxeles aplicado a los datos de imágenes descodificadas Recon de cada imagen se notifica al aparato de descodificación de imágenes mediante la información de tipo de filtro FilterType1 almacenada en los datos codificados Bitstream1. Por lo tanto, puesto que el aparato de descodificación de imágenes que descodifica los datos descodificados Bitstream1 puede especificar el filtro entre píxeles que se aplica a los datos de imágenes descodificadas Recon de cada imagen en el aparato de codificación de imágenes 300, puede utilizar el mismo filtro para la imagen descodificada de cada imagen. Hay que tener en cuenta que, aunque el valor de la información de tipo de filtro FilterType1 sea "1" o "2" en la explicación anterior, se trata de un valor definido únicamente por motivos explicativos, y se pueden utilizar otros valores si dichos valores pueden discriminar una pluralidad de filtros.
Tal y como se ha descrito anteriormente, el aparato de codificación de imágenes 300, incluyendo una pluralidad de filtros entre píxeles con diferente rendimiento predictivo y carga de procesamiento que los filtros entre píxeles, puede utilizarlos conmutándolos en función de la información de tipo de filtro FilterType1 introducida desde el exterior. A continuación, se indican las ventajas de utilizar filtros entre píxeles con diferente rendimiento predictivo y carga de procesamiento conmutándolos. En primer lugar, para la explicación, se va a asumir que el filtro entre píxeles A 303 tiene menor carga de procesamiento que el filtro entre píxeles B 304, mientras que el filtro entre píxeles B 304 tiene un efecto de supresión de ruido mayor que el filtro entre píxeles A 303 para mejorar la eficiencia de codificación predictiva. Como aparato de descodificación de imágenes que descodifica los datos codificados enviados desde el aparato de codificación de imágenes 300 de la presente invención, se asume que hay dos tipos de aparatos de descodificación de imágenes: un aparato de descodificación de imágenes A que incluye sólo el filtro entre píxeles A 303, y un aparato de descodificación de imágenes B, que incluye tanto el filtro entre píxeles A 303 como el filtro entre píxeles B 304. El primer aparato de descodificación de imágenes A, que requiere menor carga de procesamiento, es adecuado para un aparato con menor capacidad de procesamiento. El segundo aparato de descodificación de imágenes B es adecuado para un aparato con una capacidad de procesamiento mayor. El segundo aparato de descodificación de imágenes B también puede descodificar los datos codificados obtenidos utilizando el filtro entre píxeles A 303 o el filtro entre píxeles B 304, y es compatible con el aparato de descodificación de imágenes A. En tal caso, el aparato de codificación de imágenes 300 puede funcionar como aparato de codificación de imágenes que admite estos dos tipos de aparatos de descodificación de imágenes. Dicho de otro modo, al estructurar el aparato de codificación de imágenes 300 para que seleccione el filtro entre píxeles con el rendimiento predictivo y la carga de procesamiento adecuados dependiendo de la capacidad de procesamiento del aparato de descodificación de imágenes de destino, el procedimiento de codificación que utiliza el mismo filtro entre píxeles que se aplica en el aparato de codificación de imágenes 300 se puede aplicar a una amplia variedad de dispositivos (para descodificar los datos codificados Bitstream1).
Además, el filtro entre píxeles se puede conmutar en función de la capacidad de procesamiento del aparato de codificación de imágenes 300, no sólo para generar los datos codificados dependiendo de la capacidad de procesamiento del aparato de descodificación de imágenes, sino también para otros usos. Por ejemplo, si el tamaño de una imagen y la velocidad de una imagen que se va a codificar son grandes, la carga de procesamiento necesaria para todo el procesamiento de codificación seria grande. Por lo tanto, el filtro entre píxeles B 304 con una capacidad de procesamiento alta requerida se utiliza cuando el tamaño de la imagen y la velocidad de la imagen que se va a codificar son valores fijos o menores, y el filtro entre píxeles A 303 con una capacidad de procesamiento menor requerida se utiliza cuando el tamaño de la imagen y la velocidad de la imagen que se va a codificar son valores fijos o mayores, con el fin de suprimir la carga de procesamiento requerida para todo el procesamiento de codificación. O bien, cuando la codificación de imágenes la realiza un sistema de compartición de tiempo, en el que un aparato ejecuta una pluralidad de procedimientos mediante la compartición de tiempo, existe la posibilidad de que la carga de procesamiento asignable a la codificación de imágenes cambie dinámicamente bajo la influencia de otros procedimientos. Por lo tanto, cuando la carga de procesamiento asignable a la codificación de imágenes es un valor fijo o mayor, se utiliza el filtro entre píxeles B 304 con una capacidad de procesamiento alta, mientras que cuando la carga de procesamiento asignable a la codificación de imágenes es un valor fijo o menor, se puede utilizar el filtro entre píxeles A 303 con una carga de procesamiento menor que el filtro entre píxeles B 304.
En cuanto a la sincronización de la conmutación de los filtros entre píxeles, si se proporciona una pluralidad de filtros entre píxeles adecuados para imágenes de unas propiedades especificas, se pueden conmutar de imagen a imagen dependiendo de la propiedad de cada imagen. Por ejemplo, si la información de los bordes es importante como en el caso de los caracteres, se utiliza un filtro entre píxeles que mantiene bien los bordes. Se pueden conmutar mediante la determinación automática utilizando técnicas de procesamiento de imágenes como la detección de bordes y la detección de caracteres, o bien un usuario puede seleccionarlos explícitamente entre un filtro entre píxeles adecuado para imágenes de naturaleza, un filtro entre píxeles adecuado para caracteres o un filtro entre píxeles adecuado para bordes. Si se puede conmutar una pluralidad de filtros entre píxeles de esta manera, se puede seleccionar un filtro adecuado para las propiedades de las imágenes y, de esta manera, se puede mejorar aún más la eficacia predictiva. Dicho de otro modo, también es efectivo conmutar filtros para mejorar la calidad de la imagen, no conmutarlos dependiendo de la carga de procesamiento. Por lo tanto, en la presente realización, se ha explicado la conmutación de filtros en función de la carga de procesamiento, pero se pueden conmutar también para mejorar la calidad de la imagen.
Asimismo, la unidad de conmutación de filtros entre píxeles no se limita a ir de imagen a imagen, sino que los filtros entre píxeles se pueden conmutar en la unidad de un área de imagen menor que una imagen como, por ejemplo, un trozo, un macro bloque y un bloque de MPEG, o bien en la unidad de un área que incluye al menos un píxel, porque las propiedades de las imágenes pueden variar en una parte de la imagen.
La Figura 4 es un diagrama de bloques que muestra la estructura de un aparato de codificación de imágenes 400 que conmuta filtros entre píxeles por cada trozo de una imagen de entrada. El aparato de codificación de imágenes 400 es un aparato de codificación de imágenes que filtra una imagen descodificada al conmutar los filtros entre píxeles en la unidad de un trozo de MPEG, y consta del calculador de diferencias 101, la unidad de codificación de imágenes 102, la unidad de descodificación de imágenes 104, el sumador 105, la memoria de imágenes 107, la unidad de predicción entre imágenes 108, la unidad de cálculo de predicción entre imágenes 109, un conmutador 403, un conmutador 404, el filtro entre píxeles A 303, el filtro entre píxeles B 304, la unidad de codificación de longitud variable 305, una unidad determinación de posición del conmutador de filtros 401 y un conmutador 402. La unidad de determinación de posición del conmutador de filtros 401 detecta trozos de una imagen de entrada en los datos de imágenes Img introducidos desde el exterior y los envía a los datos de control del conmutador de filtros SetFType del conmutador 402 para enviar un impulso, por ejemplo, en cada conmutación de los trozos detectados. El conmutador 4 02 es un conmutador que se desconecta entre terminales mientras que los datos de control del conmutador de filtros SetFType no se envían, y lleva la información de tipo de filtro FilterType1 desde el exterior para conducirla al conmutador 403 y al conmutador 404 durante un breve instante mientras que los datos de control del conmutador de filtros SetFType se están enviando. El conmutador 403 y el conmutador 404 respectivamente conectan sus terminales "1" o los terminales "2" dependiendo del valor de la información de tipo de filtro FilterType1 que se introduce instantáneamente en cada conmutación de los trozos de datos de la imagen de entrada Img y mantienen el estado de conexión. Dicho de otro modo, mientras el conmutador 402 está desconectado, los filtros entre píxeles no se conmutan. Como resultado, se selecciona un nuevo filtro entre píxeles de acuerdo con la información de tipo de filtro FilterType1 en cada conmutación de los trozos de los datos de la imagen de entrada Img y, por lo tanto, se puede impedir que los filtros entre píxeles se conmuten en medio del trozo.
Como se ha explicado anteriormente, de acuerdo con el aparato de codificación de imágenes de la presente invención, es posible crear datos codificados utilizando un filtro entre píxeles que depende de la capacidad de procesamiento de un aparato de descodificación de imágenes que reproduce los datos codificados enviados desde el aparato de codificación de imágenes de la presente invención. Además, el filtro entre píxeles se puede seleccionar de acuerdo con la capacidad de procesamiento del aparato de codificación de imágenes.
Hay que tener en cuenta que, aunque el aparato de codificación de imágenes de la presente realización tiene dos filtros entre píxeles, puede tener tres o más filtros entre píxeles. Los tres o más filtros entre píxeles se seleccionan y utilizan de la misma forma que en la presente realización, y la información de tipo de filtro que indica el tipo de filtro entre píxeles utilizado se puede incluir en los datos codificados.
Asimismo, se pueden conmutar los filtros para mejorar la calidad de la imagen, no conmutarlos dependiendo de la carga del procesamiento.
Hay que tener en cuenta que en el aparato de codificación de imágenes 400, los datos de control del conmutador de filtros SetFType son una forma de onda de impulso que indican el valor "1" en cada conmutación de los trozos detectados y "0" durante el otro periodo que no es el momento de la conmutación, pero la presente invención no está limitada a dicho caso, y puede ser una onda rectangular que se invierte en cada conmutación de los trozos, por ejemplo, o cualquier otra forma de onda. Además, el conmutador 4 02 es un conmutador que se desconecta entre los terminales mientras los datos de control del conmutador de filtros SetFType están en la misma fase, pero la presente invención no se limita a tal caso, y la unidad de determinación de posición del conmutador de filtros 401 puede enviar los datos de control del conmutador de filtros SetFType que indican el valor para desconectar el conmutador en otras posiciones que no sean la posición del conmutador de filtros. Asimismo, en el aparato de codificación de imágenes 400, los filtros entre píxeles se conmutan trozo a trozo de los datos de imágenes Img, pero los filtros entre píxeles se pueden conmutar imagen a imagen, o se pueden conmutar en la unidad de un bloque, un macro bloque o un número fijo de píxeles.
La Figura 5A es un diagrama que muestra la estructura del flujo de los datos codificados Bitstream que salen del aparato de codificación de imágenes de la presente invención. La Figura 5B es un diagrama que muestra la estructura del flujo de los datos codificados Bitstream que salen cuando el aparato de codificación de imágenes de la presente invención conmuta filtros entre píxeles en la unidad de un trozo. La función de los datos codificados de la presente invención es que los datos codificados Bitstream incluyan información del tipo de filtro FilterType que especifique un filtro entre una pluralidad de filtros entre píxeles. Gracias a esta estructura del flujo, el aparato de descodificación de imágenes de la presente invención que descodifica datos codificados Bitstream puede utilizar el mismo tipo de filtro entre píxeles que se utiliza para la codificación, comprobando la información del tipo de filtro FilterType incluida en los datos codificados Bitstream.
En los datos codificados Bitstream que se muestran en la Figura 5A, el valor de la información del tipo de filtro FilterType que indica el filtro entre píxeles utilizado para filtrar cada imagen se describe en (un área sombreada en diagonal, por ejemplo, de) la cabecera 901 que se adjunta a todos los datos codificados Bitstream. Estos datos codificados Bitstream se corresponden con los datos codificados Bitstream1 que se envían desde el aparato de codificación de imágenes 300 que se muestra en la Figura 3. Además, en los datos codificados Bitstream que se muestran en la Figura 5B, el valor de la información del tipo de filtro FilterType que indica el filtro entre píxeles utilizado para filtrar ese trozo se describe en (un área sombreada en diagonal, por ejemplo, de) la cabecera del trozo 902 que se incluye en cada trozo. Estos datos codificados Bitstream se corresponden con los datos codificados Bitstream1 que se envían desde el aparato de codificación de imágenes 4 00 que se muestra en la Figura 4. Como ya se ha descrito, al almacenar la información del tipo de filtro FilterType en la cabecera 901 al principio de los datos codificados Bitstream o en la cabecera 902 del trozo al principio de cada trozo, que no sólo es la unidad básica de grabación y transmisión de datos, sino también la unidad de corrección y modificación de errores, el aparato de descodificación de imágenes puede especificar el tipo de filtrado de un trozo antes de descodificar el trozo al recibir datos codificados Bitstrearn de la cabecera 901 o el trozo.
Hay que tener en cuenta que aquí ya se ha explicado que en la unidad de un trozo se conmuta un filtro entre píxeles, pero no sólo se puede conmutar en la unidad de un trozo, sino también en la unidad de un área de imagen menor que un trozo (la unidad puede ser un área que incluye uno o más píxeles, como un macro bloque o un bloque de MPEG). Además, se puede conmutar imagen a imagen, que es la unidad de un área de imagen mayor que un trozo. En este caso, el valor de la información de tipo de filtro FilterType1 correspondiente a cada imagen se puede describir no sólo en (una zona diagonalmente sombreada, por ejemplo, de) la cabecera 901, tal y como se muestra en la Figura 5A, sino también en una cabecera de imagen proporcionada para cada dato de imagen codificada, por ejemplo. Además, cuando se conmuta un procedimiento de filtrado en la unidad de un macro bloque o un bloque, el valor de la información de tipo de filtro FilterType1 de cada macro bloque o bloque se puede juntar por trozos y describir en la cabecera del trozo.
Asimismo, para transmitir los datos codificados en la forma de un paquete o algo similar, la cabecera y los datos se pueden transmitir por separado. En este caso, la cabecera y los datos no se incluyen en un flujo de bits, tal y como se muestra en la Figura 5. Sin embargo, en el caso de la transmisión del paquete, la cabecera emparejada con los datos se transmite en otro paquete, incluso si los paquetes se transmiten ligeramente fuera de secuencia y, por lo tanto, el concepto es el mismo que en el caso del flujo de bits que se explicó en la Figura 5, aunque no se transmitan como un flujo de bits.
Como se ha explicado anteriormente, al definir el valor de la información del tipo de filtro FilterType1 introducida en el aparato de codificación de imágenes de la presente invención para seleccionar un filtro entre píxeles dependiendo de la capacidad de procesamiento del aparato de descodificación de imágenes, es posible crear datos codificados en función de la capacidad de procesamiento del aparato de descodificación de imágenes que reproduce los datos codificados enviados por el aparato de codificación de imágenes de la presente invención. Además, se puede seleccionar un filtro entre píxeles dependiendo de la capacidad de procesamiento del aparato de codificación de imágenes.
Asimismo, se puede conmutar un filtro para mejorar la calidad de la imagen, no dependiendo de la carga de procesamiento.
La Figura 6 es un diagrama de bloques que muestra la estructura de un aparato de descodificación de imágenes 1000 que descodifica los datos codificados Bitstream1 generados por el aparato de codificación de imágenes de acuerdo con la primera realización. El aparato de descodificación de imágenes 1000 es un aparato de descodificación que conmuta un filtro entre píxeles de imagen a imagen o de trozo a trozo de acuerdo con la información del tipo de filtro FilterType1 que se describe en la cabecera de los datos codificados introducidos Bitstream1 y descodifica los datos codificados en los datos codificados Bitstream1, y consta de la unidad de descodificación de longitud variable 201, la unidad de descodificación de imágenes 202, el sumador 203, la memoria de imágenes 205, la unidad de predicción entre imágenes 206, un conmutador 1001, un conmutador 1002, un filtro entre píxeles A 1003 y un filtro entre píxeles B 1004.
Los datos codificados Bitstream1 se introducen en el aparato de descodificación de imágenes 1000 desde el exterior. Estos datos codificados Bitstream1, por ejemplo, son los datos codificados por el aparato de codificación de imágenes 300 o el aparato de codificación de imágenes 400 de la primera realización. La unidad de descodificación de longitud variable 201 realiza la descodificación de longitud variable de los datos codificados introducidos Bitstream1, los divide en datos de imágenes diferenciales codificadas CodedRes, datos de parámetros predictivos PredParam e información del tipo de filtro FilterType1, y envía los datos de imágenes diferenciales codificadas CodedRes a la unidad de descodificación de imágenes 202, los datos de parámetros predictivos PredParam a la unidad de predicción entre imágenes 206, y la información del tipo de filtro FilterType1 al conmutador 1001 y al conmutador 1002, respectivamente. Cuando se introduce el valor "1" como información de tipo de filtro FilterType1, el conmutador 1001 y el conmutador 1002 cambian la conexión al lado del terminal "1" y aplican el filtrado mediante el filtro entre píxeles A 1003 a los datos de imágenes descodificadas Recon. Cuando se introduce el valor "2" como información del tipo de filtro FilterType1, el conmutador 1001 y el conmutador 1002 cambian la conexión al lado del terminal "2" y aplican el filtrado por medio del filtro entre píxeles B 1004 a los datos de imágenes descodificadas Recon. Con independencia de si se realiza una operación de filtrado entre píxeles por medio del filtro entre píxeles, los datos de imágenes descodificadas filtradas FilteredImg1 se almacenan en la memoria de imágenes 205 y se envían fuera del aparato de descodificación de imágenes 1000, por ejemplo, a un aparato de visualización o algo similar.
Tal y como se ha explicado anteriormente, de acuerdo con el aparato de descodificación de imágenes 1000 de la presente invención, es posible descodificar los datos codificados Bitstream1, incluida la información del tipo de filtro FilterType1 que especifica el tipo de filtro entre píxeles en la cabecera.
Hay que tener en cuenta que, aunque el aparato de descodificación de imágenes de la presente realización incluye dos filtros entre píxeles, puede incluir tres o más filtros entre píxeles. En este caso, de la misma forma que en la presente realización, se pueden seleccionar y utilizar tres o más filtros entre píxeles de acuerdo con la información de tipo de filtro en los datos codificados Bitstream.
Hay que tener en cuenta que, tal y como se muestra en la primera realización, cuando el tipo de filtro se conmuta en la unidad de una imagen o en la unidad de un área de imagen menor que una imagen, el filtro entre píxeles se conmuta en el punto del tiempo en el que se cambia el tipo de filtro.
La Figura 7 es un diagrama de bloques que muestra la estructura de un aparato de descodificación de imágenes 1100 que utiliza un filtro entre píxeles incorporado en lugar de un filtro entre píxeles especificado si dicho filtro no está integrado. El aparato de descodificación de imágenes 1100 se caracteriza por que utiliza cualquiera de los filtros entre píxeles incorporados en él si el filtro entre píxeles seleccionado por la información del tipo de filtro incluida en los datos codificados no está incorporada en él. Este aparato de descodificación de imágenes 1100 incluye la unidad de descodificación de longitud variable 201, la unidad de descodificación de imágenes 202, el sumador 203, la memoria de imágenes 205, la unidad de predicción entre imágenes 206, el conmutador 1001, el conmutador 1002, el filtro entre píxeles A 1003, el filtro entre píxeles B 1004 y una unidad de conversión de la información del tipo de filtro 1101.
Por ejemplo, se da por hecho que el aparato de descodificación de imágenes 1100 incluye sólo dos tipos del filtro entre píxeles A 1003 y el filtro entre píxeles B 1004 indicado por el valor "1" y el valor "2" de la información de tipo de filtro FilterType1. Los datos codificados Bitstream3 se introducen en el aparato de descodificación de imágenes 1100 desde el exterior. La unidad de descodificación de longitud variable 201 realiza la descodificación de longitud variable de los datos codificados introducidos Bitstream3, los divide en datos de imágenes diferenciales codificadas CodedRes, datos de parámetros predictivos PredParam e información de tipo de filtro FilterType3, y envía los datos de imágenes diferenciales codificadas CodedRes a la unidad de descodificación de imágenes 202, los datos de parámetros predictivos PredParam a la unidad de predicción entre imágenes 206 y la información de tipo de filtro FilterType3 a la unidad de conversión de información del tipo de filtro 1101, respectivamente. Cuando el valor de la información del tipo de filtro FilterType3 es el valor "3" que indica un filtro entre píxeles no incorporado en el aparato de descodificación de imágenes 1100, la unidad de conversión de la información del tipo de filtro 1101 convierte el valor "3" de la información del tipo de filtro FilterType3 en el valor "2" que indica el filtro entre píxeles cuyo nivel de suavizado se aproxima más al del filtro entre píxeles especificado de entre los filtros entre píxeles incorporados en el aparato de descodificación de imágenes 1100, por ejemplo, y la envía como información del tipo de filtro FilterType4.
Al realizar este procesamiento de conversión, el procesamiento de descodificación para reconstruir una imagen de forma parecida a la imagen original descodificada es posible, aunque la calidad de la imagen se degrada hasta cierto punto porque se ha utilizado en el aparato de descodificación de imágenes 1100 un filtro entre píxeles diferente al que se utilizó para la codificación, por lo que hay suficiente disponibilidad como función de descodificación de imágenes sencilla. Cuando se introduce el valor "1" como información del tipo de filtro FilterType4, el conmutador 1001 y el conmutador 1002 cambian la conexión al lado del terminal "1", y aplican el filtrado mediante el filtro entre píxeles A 1003 a los datos de imágenes descodificadas Recon. Cuando se introduce el valor "2" como información del tipo de filtro FilterType4, el conmutador 1001 y el conmutador 1002 cambian la conexión al lado del terminal "2" y aplican el filtrado por medio del filtro entre píxeles B 1004 a los datos de imágenes descodificadas Recon. Los datos de imágenes descodificadas y filtradas FilteredImg3 que son el resultado del procesamiento del filtro entre píxeles se envían a un aparato de visualización o algo similar fuera del aparato de descodificación de imágenes 1100.
Tal y como se ha explicado anteriormente, de acuerdo con el aparato de descodificación de imágenes 1100, incluso si la información del tipo de filtro FilterType3 que especifica un filtro entre píxeles que no está incorporado en el aparato de descodificación de imágenes 1100 se incluye en los datos codificados de entrada Bitstream3, se puede descodificar utilizando un filtro entre píxeles incorporado en su lugar. Por lo tanto, los datos codificados Bitstream se pueden descodificar sin degradar sustancialmente la calidad de la imagen.
Hay que tener en cuenta que, si el aparato de descodificación de imágenes 1100 tiene un filtro entre píxeles (incluido el caso en el que no hay ninguna operación de filtrado entre píxeles), la descodificación se puede realizar utilizando ese filtro entre píxeles de manera forzada.
Hay que tener en cuenta que el aparato de descodificación de imágenes de la presente realización está equipado con dos filtros entre píxeles (el caso de no haber ninguna operación de filtrado entre píxeles se cuenta como un filtro), pero el aparato de descodificación de imágenes equipado con tres o más filtros entre píxeles puede realizar el mismo procesamiento. Dicho de otro modo, el procesamiento de almacenamiento de los datos de imágenes descodificadas Recon en la memoria de imágenes 205 tal y como están, sin realizar la operación de filtrado entre píxeles, se puede incluir como uno de los procesamientos del filtro entre píxeles.
Hay que tener en cuenta que, tal y como se muestra en la primera realización, si el tipo de filtro se conmuta en la unidad de una imagen o en la unidad de un área de imagen menor que una imagen, se conmuta un filtro entre píxeles en el punto de cambio del tipo de filtro.
La operación del filtro entre píxeles 303, 304, 1003 y 1004 se explicará más detalladamente utilizando la Figura 9 y la Figura 10. La Figura 9 es un diagrama que muestra los detalles del funcionamiento de un filtro de desbloqueo que es un ejemplo de un filtro entre píxeles. La Figura 9A es un diagrama que muestra los valores de píxeles en las proximidades del límite entre bloques antes del filtrado. La Figura 9B es un diagrama que muestra los valores de píxeles en las proximidades del límite entre bloques después del filtrado. La Figura 10 es un gráfico de flujo que muestra un flujo de procesamiento de filtrado por medio de un filtro entre píxeles. La Figura 9A muestra valores de píxeles de los píxeles respectivos 601-608 en una línea de escaneado horizontal. Los píxeles 601-604 son píxeles de un bloque 610, pero los píxeles 605-608 son píxeles de un bloque 611 adyacente a un bloque 610. Los valores de píxeles de los píxeles 601-604 son respectivamente p3, p2, p1 y p0, y los valores de píxeles de los píxeles 605-608 son respectivamente q0, q1, q2 y q3. En un aparato de codificación de imágenes, el procesamiento como, por ejemplo, la predicción entre imágenes, la codificación de imágenes, la codificación de longitud variable y la descodificación de imágenes se realiza generalmente en una unidad de un bloque (o macro bloque). Por lo tanto, el ruido de codificación es apto para aparecer en las frecuencias más altas entre píxeles como, por ejemplo, en el píxel 604 y el píxel 605, a través del límite entre bloques adyacentes (o macro bloques) como, por ejemplo, el bloque 610 y el bloque 611. Por ejemplo, hay una tendencia a la que la diferencia entre el valor p0 del píxel 604 y el valor de píxel q0 del píxel 605 es apto para aumentar debido a la influencia del ruido de codificación. Por lo tanto, un filtro entre píxeles es un filtro que se puede determinar utilizando una pluralidad de parámetros como, por ejemplo, un filtro correspondiente a parámetros \alpha y \beta para determinar el filtro, y los valores de píxeles de un grupo de píxeles a través del límite de bloques se filtran por medio de este filtro entre píxeles.
Tal y como se muestra en la Figura 10, un filtro entre píxeles primero calcula el valor absoluto de la diferencia de valores de píxeles (p0-q0) entre el píxel 604 y el píxel 605 a través del límite, y determina si el valor absoluto calculado es menor o no que el valor del parámetro \alpha (P701). Como resultado de la decisión, si el valor absoluto de la diferencia (p0-q0) entre los valores de píxeles es el valor del parámetro \alpha o mayor, el filtro entre píxeles no realiza el procesamiento de filtrado de desbloqueo para el valor de píxel representado por los datos de imágenes descodificadas Recon (P704). Por otra parte, como resultado de la decisión del paso P701, si el valor absoluto de la diferencia (p0-q0) entre los valores de píxeles adyacentes a través del límite de bloques es menor que el valor del parámetro \alpha, el filtro entre píxeles calcula además el valor absoluto de la diferencia (p1-q0) entre los valores del píxel 604 y el píxel 603, y determina si el valor absoluto calculado es menor o no que el valor del parámetro \beta (P702). Aquí, el píxel 604 y el píxel 603 son píxeles adyacentes de un bloque 610. Como resultado de la decisión, si el valor absoluto de la diferencia (p1-p0) entre los valores de píxeles es el valor del parámetro \beta o mayor, el filtro entre píxeles 503 no realiza el procesamiento de filtrado de desbloqueo para el valor de píxel representado por los datos de imágenes descodificadas Recon (P704). Además, como resultado de la decisión, si el valor absoluto de la diferencia (p1-q0) entre los valores de píxeles es menor que el valor del parámetro \beta, calcula además el valor absoluto de la diferencia (q1-q0) entre el píxel 605 y el píxel 606, y determina si el valor absoluto calculado es menor o no que el valor del parámetro \beta (P703). Aquí, el píxel 605 y el píxel 606 son píxeles adyacentes de un bloque 611. Como resultado de la decisión, si el valor absoluto de la diferencia (q1-q0) de los valores de píxeles es el valor del parámetro \beta o mayor, el filtro entre píxeles no realiza el procesamiento de filtrado de desbloqueo para el valor de píxel representado por los datos de imágenes descodificadas Recon (P704). Por otra parte, si el valor absoluto de la diferencia (q1-q0) entre los valores de píxeles es menor que el valor del parámetro \beta, el filtro entre píxeles 503 realiza el filtrado de los datos de imágenes descodificadas Recon para eliminar el ruido de codificación y termina el procesamiento. El filtro entre píxeles repite el procesamiento anteriormente mencionado para cada matriz de píxeles en la dirección de la linea de escaneado horizontal y la dirección de la linea de escaneado vertical respectivamente a través de los limites del bloque. De esta manera, al realizar el procesamiento del filtro de desbloqueo cuando cualquiera de las diferencias de valores de tres conjuntos de píxeles adyacentes es menor que un valor fijado, se elimina la distorsión de bloques.
Hay que tener en cuenta que en el procesamiento del filtro de desbloqueo del paso P704 anterior, el filtrado de suavizado (filtrado para suprimir los componentes de alta frecuencia) se realiza para los píxeles que están en las proximidades del límite. Por ejemplo, se puede generar un nuevo valor de píxel P0 del píxel 604 realizando un suavizado, utilizando un filtro de pase bajo para suprimir los componentes de alta frecuencia del valor de píxel p0 del píxel 604, el valor de píxel q0 del píxel 605, el valor de píxel pl del píxel 603 y el valor de píxel q1 del píxel 606.
Segunda realización
La Figura 8 es un diagrama de bloques que muestra la estructura de un aparato de codificación de imágenes 500 de acuerdo con la segunda realización. El aparato de codificación de imágenes 500 es diferente al aparato de codificación de imágenes 300 por que, como dispone de procesamiento entre píxeles, el primero puede seleccionar si almacenar o no los datos de imágenes descodificadas Recon en la memoria de imágenes 107 tal y como están como datos de imágenes de referencia Ref. El aparato de codificación de imágenes 500 consta del calculador de diferencias 101, la unidad de codificación de imágenes 102, la unidad de descodificación de imágenes 104, el sumador 105, la memoria de imágenes 107, la unidad de predicción entre imágenes 108, la unidad de cálculo de predicción entre imágenes 109, un conmutador 501, un conmutador 502, un filtro entre píxeles 503, una unidad de memoria de tablas de búsqueda 504 y una unidad de codificación de longitud variable 505.
Cuando el valor de la información del tipo de filtro FilterType2 es "0", tanto el conmutador 501 como el conmutador 502 cambian la conexión al lado del terminal "0" para almacenar los datos de imágenes descodificadas Recon que se envían desde el sumador 105 tal y como están a la memoria de imágenes 107. Cuando el valor de la información del tipo de filtro FilterType2 es "1", tanto el conmutador 501 como el conmutador 502 cambian la conexión al lado del terminal "1" para llevar los datos de imágenes descodificadas Recon que se envían desde el sumador 105 al filtro entre píxeles 503. El filtro entre píxeles 503 es un filtro que se utiliza para filtrar valores de píxeles y, por ejemplo, un filtro de desbloqueo para suprimir el ruido de codificación en los componentes de frecuencia mayor en el limite de los bloques. Los datos de imágenes descodificadas filtradas FilteredImg2, que proceden de la operación de filtrado entre píxeles realizada por el filtro entre píxeles 503, se almacenan en la memoria de imágenes 107. La unidad de codificación de longitud variable 505 realiza la codificación de longitud variable de esta información de tipo de filtro FilterType2, los datos de imágenes codificadas diferenciales CodedRes y los datos de parámetros predictivos PredParam, los une en un dato codificado Bitstream2, tal y como se muestra en la Figura 5A, y los envía al exterior del aparato de codificación de imágenes 500.
Hay que tener en cuenta que el aparato de codificación de imágenes 500 tiene un filtro entre píxeles, pero puede tener dos o más filtros entre píxeles. Puede seleccionar cualquiera de los dos o más filtros entre píxeles o ninguna operación de filtrado entre píxeles para utilizarlo, e incluir la información del tipo de filtro que indica el tipo del filtro entre píxeles utilizado (incluyendo ninguna operación de filtrado entre píxeles) en los datos codificados. Además, el aparato de codificación de imágenes 500 puede omitir la unidad de memoria de tablas de búsqueda 504 y, tener en su lugar la función de la unidad de memoria de tablas de búsqueda 504 en el filtro entre píxeles 503.
Tal y como se ha explicado anteriormente, en el aparato de codificación de imágenes 500 de la presente invención, es posible crear datos codificados utilizando un filtro entre píxeles que depende de la capacidad de procesamiento del aparato de descodificación de imágenes para reproducir los datos codificados Bitstream2 que se envían desde el aparato de codificación de imágenes 500. Además, se puede seleccionar un filtro entre píxeles que depende de la capacidad de procesamiento del aparato de codificación de imágenes 500. Asimismo, se puede conmutar el tipo de filtro en la unidad de una imagen o en la unidad de un área de imagen menor que una imagen.
La Figura 11 es un diagrama de bloques que muestra la estructura de un aparato de descodificación de imágenes 1200 de acuerdo con la segunda realización que puede seleccionar si se va a realizar o no el procesamiento del filtro entre píxeles. El aparato de descodificación de imágenes 1200 se diferencia del aparato de descodificación de imágenes 1000 de la Figura 6 en que el primero no realiza la operación entre píxeles como procesamiento entre píxeles, pero puede elegir almacenar los datos de imágenes descodificadas Recon tal y como están en la memoria de imágenes 205 como datos de imágenes de referencia Ref. El aparato de descodificación de imágenes 1200 consta de la unidad de codificación de imágenes de longitud variable 201, la unidad de descodificación de imágenes 202, el sumador 203, la memoria de imágenes 205, la unidad de predicción entre imágenes 206, un conmutador 1201, un conmutador 1202 y un filtro entre píxeles 1203.
Los datos codificados Bitstream2 en cuya cabecera se incluye la información del tipo de filtro FilterType2 que indica el filtro entre píxeles aplicado a la codificación, por ejemplo, los datos codificados de la Figura 9A que codifica el aparato de codificación de imágenes 500 de la Figura 8, se introducen en el aparato de descodificación de imágenes 1200. La información del tipo de filtro FilterType2 incluye el valor que indica "ninguna operación de filtrado entre píxeles" como tipo de filtro. La unidad de descodificación de longitud variable 201 realiza la descodificación de longitud variable de los datos codificados introducidos Bitstream2 y los divide en datos de imágenes diferenciales codificadas CodedRes, datos de parámetros predictivos PredParam e información del tipo de filtro FilterType2. Los datos de imágenes diferenciales codificadas CodedRes divididos, los datos de parámetros predictivos PredParam y la información del tipo de filtro FilterType2 se envían respectivamente a la unidad de descodificación de imágenes 202, la unidad de predicción entre imágenes 206 y el conmutador 1201 y el conmutador 1202.
Cuando se introduce el valor "0" como información del tipo de filtro FilterType2, el conmutador 1201 y el conmutador 1202 cambian la conexión al lado del terminal "0" y los datos de imágenes descodificadas Recon enviados desde el sumador 203 se almacenan tal y como están en la memoria de imágenes 205. Cuando se introduce el valor "1" como información del tipo de filtro FilterType2, el conmutador 1201 y el conmutador 1202 cambian la conexión al lado del terminal "1" para aplicar el filtrado del filtro entre píxeles 1203 a los datos de imágenes descodificadas
Recon.
Además, si se determina a partir de la información del tipo de filtro que no se utiliza un filtro entre píxeles para una imagen descodificada que va a ser una imagen de referencia, la imagen descodificada no es filtrada por el filtro entre píxeles para almacenar esa imagen en la memoria de imágenes como imagen de referencia, pero el filtro entre píxeles se puede utilizar únicamente para enviarla al exterior de un aparato de descodificación de imágenes. La Figura 12 es un diagrama de bloques que muestra la estructura de un aparato de descodificación de imágenes 1300 que incluye una unidad de salida de imágenes equipada con filtros entre píxeles seleccionadles. Tal y como se ha explicado anteriormente, el aparato de descodificación de imágenes 1300 es un aparato de descodificación de imágenes que, cuando la información del tipo de filtro FilterType2 indica que la imagen descodificada que sale del sumador 203 no se filtra por medio de un filtro entre píxeles, no realiza el filtrado de la imagen descodificada almacenada en la memoria de imágenes, pero realiza el filtrado de la imagen descodificada que se envía al exterior utilizando un filtro entre píxeles que se encuentra en la lado de salida, y consta de la unidad de descodificación de imágenes de longitud variable 201, la unidad de descodificación de imágenes 202, el sumador 203, la memoria de imágenes 205, la unidad de predicción entre imágenes 206, el conmutador 1201, el conmutador 1202, el filtro entre píxeles 1203, un conmutador 1301, un conmutador 1302 y un filtro entre píxeles 1303.
Cuando el valor de la información del tipo de filtro FilterType2 es "1", el conmutador 1201, el conmutador 1202, el conmutador 1301 y el conmutador 1302 cambian la conexión al lado del terminal "1". En este caso, el conmutador 1201 y el conmutador 1202 conectan la salida del sumador 203, el filtro entre píxeles 1203 y la memoria de imágenes 205, y el conmutador 1302 interrumpe la conexión con la salida del conmutador 1202 y el filtro entre píxeles 1303 para cortocircuitarse con el conmutador 1301. Por lo tanto, el filtro entre píxeles 1203 realiza la operación de filtrado para los datos de imágenes descodificadas Recon y envía los datos de imágenes descodificadas filtradas Filterlmg3. Los datos de imágenes descodificadas filtradas FilterImg3 se envían como una imagen de salida OutImg a un aparato de visualización o similar fuera del aparato de descodificación de imágenes tal y como están, es decir, sin volver a filtrarse por medio del filtro entre píxeles 1303. Cuando el valor de la información del tipo de filtro FilterType2 es "0", el conmutador 1201, el conmutador 1202, el conmutador 1301 y el conmutador 1302 cambian la conexión al lado del terminal "0". En este caso, el conmutador 1201 interrumpe la conexión con la salida del sumador 203 y el filtro entre píxeles 1203 para cortocircuitarse con el conmutador 1202. Por otra parte, el conmutador 1302 conecta la salida del conmutador 1202, el filtro entre píxeles 1303 y el terminal de salida externo del conmutador 1301. Por lo tanto, los datos de imágenes descodificadas Recon que se envían desde el sumador 203 no se derivan de la operación de filtrado entre píxeles por medio del filtro entre píxeles 1203, sino que se almacenan tal y como están en la memoria de imágenes 205 como imagen de referencia. Los datos de imágenes descodificadas Recon que se toman del lado de salida del conmutador 1202, es decir, los datos de imágenes descodificadas filtradas FilteredImg3 que no se han filtrado realmente se derivan de la operación de filtrado entre píxeles por medio del filtro entre píxeles 1303, y se envían como una imagen de salida OutImg a un aparato de visualización o similar fuera del aparato de descodificación de imágenes 1300.
Hay que tener en cuenta que el filtro entre píxeles 1203 y el filtro entre píxeles 1303 se describen aquí como diferentes elementos constituyentes por motivos explicativos, pero se puede utilizar un filtro entre píxeles para la implementación (no hay ningún problema para utilizar un filtro entre píxeles porque dos filtros entre píxeles no funcionan al mismo tiempo). Además, el filtro entre píxeles 1203 y el filtro entre píxeles 1303 pueden ser el filtro entre píxeles existente 106 o el filtro entre píxeles 503 que incluye la unidad de memoria de tablas de búsqueda 504 que se muestra en la Figura 8. Asimismo, puede ser el filtro entre píxeles 503 que incluye la unidad de memoria de tablas de búsqueda 504 para guardar una pluralidad de tablas de parámetros 620. Sin embargo, en este caso, también hay que introducir la información del tipo de filtro FilterType2 en el filtro entre píxeles 503.
Tal y como se ha explicado anteriormente, de acuerdo con el aparato de descodificación de imágenes 1300, incluso en el caso de que el filtrado no se realice en una imagen descodificada que va a ser una imagen de referencia, el filtrado por medio de un filtro entre píxeles se puede realizar para la imagen descodificada, de manera que un aparato de visualización para ver una imagen de salida OutImg que se envía desde el aparato de descodificación de imágenes 1300 pueda mostrar imágenes en movimiento con mayor calidad. Esto es particularmente efectivo para los dispositivos con suficiente capacidad de procesamiento cuando no se realiza el filtrado de una imagen descodificada que va a ser una imagen de referencia.
Hay que tener en cuenta que, tal y como se muestra en la primera realización, cuando el tipo de filtro entre píxeles que indica la información del tipo de filtro FilterType2 se conmuta en la unidad de una imagen o en la unidad de un área de imagen menor que una imagen, el filtro entre píxeles se conmuta en el momento de cambiar el tipo de filtro.
La Figura 13 es un diagrama de bloques que muestra la estructura de un aparato de descodificación de imágenes 1400 capaz de seleccionar el filtro entre píxeles 1203 dependiendo de un tipo de imagen de cada imagen. El aparato de descodificación de imágenes 1400 es un aparato de descodificación de imágenes que descodifica información sobre si una imagen descodificada se utiliza como imagen de referencia o no como, por ejemplo, datos codificados que incluyen un tipo de imagen de cada imagen y datos similares, y consta de la unidad de descodificación de imágenes 202, el sumador, 203, la memoria de imágenes 205, la unidad de predicción entre imágenes 206, el filtro entre píxeles 1203, una unidad de descodificación de longitud variable 1401, un conmutador 14 02, un conmutador 1403 y una unidad de conversión de información del tipo de imagen 1404.
La unidad de descodificación de longitud variable 1401 realiza la descodificación de longitud variable de los datos codificados Bitstream4 introducidos desde el exterior, y los divide en información del tipo de imagen PType, datos de imágenes diferenciales codificadas CodedRes y datos de parámetros predictivos PredParam. La información de tipo de imágenes dividida PType, los datos de imágenes diferenciales codificadas CodedRes y los datos de parámetros predictivos PredParam se envían respectivamente a la unidad de conversión de información del tipo de imagen 1404, la unidad de descodificación de imágenes 202 y la unidad de predicción entre imágenes 206.
La información del tipo de imagen Ptype es la información que indica si una imagen actual se utiliza como imagen de referencia o no. Por ejemplo, de acuerdo con los estándares internacionales, MPEG-1 y 2, la información denominada tipo de imagen se incluye en los datos codificados de cada imagen, y una imagen denominada imagen B no se utiliza como imagen de referencia. Por lo tanto, este tipo de imagen incluida en los datos codificados se puede utilizar como la información de tipo de imagen PType de la presente realización. Incluso si no se realiza el filtrado por medio de un filtro entre píxeles para una imagen que no se utiliza como imagen de referencia, no tiene una influencia importante en la descodificación de otras imágenes.
Aquí, el aparato de descodificación de imágenes 1400 no realiza el filtrado entre píxeles si la imagen actual no se utiliza como imagen de referencia. Por ejemplo, cuando la capacidad de procesamiento del aparato de descodificación de imágenes 1400 es demasiado baja como para ejecutar la descodificación a tiempo para el tiempo de reproducción, se puede reducir la carga del procesamiento en el aparato de descodificación de imágenes 1400 al no realizar el filtrado por medio de un filtro entre píxeles para las imágenes que no se utilizan como imágenes de referencia. Se explicará utilizando el diagrama de bloques de la Figura 13. En primer lugar, si la información del tipo de imagen Ptype introducida en la unidad de conversión de información de tipo de imagen 1404 indica una imagen diferente a la imagen B, es decir, si indica que la imagen actual se utiliza como una imagen de referencia, tanto el conmutador 1402 como el conmutador 1403 cambian la conexión al terminal "1". Por lo tanto, el aparato de descodificación de imágenes 1400 realiza la operación de filtrado entre píxeles para los datos de imágenes descodificadas Recon utilizando el filtro entre píxeles 1203, y almacena el resultado de la operación en la memoria de imágenes 205 como datos de imágenes descodificadas filtradas FilteredImgS y los envía a un aparato de visualización o similar fuera del aparato de descodificación de imágenes 1400. Por otra parte, si la información del tipo de imagen Ptype indica que la imagen actual es una imagen B, es decir, indica que la imagen actual no se utiliza como imagen de referencia, el conmutador 1402 y el conmutador 1403 cambian la conexión al terminal "0" y los datos de imágenes descodificadas que se envían desde el sumador 105 se envían directamente al exterior sin utilizar el filtro entre píxeles 1203.
Tal y como se ha mencionado anteriormente, puesto que el aparato de descodificación de imágenes 1400 omite el filtrado por medio del filtro entre píxeles 1203 para una imagen B a la que prácticamente no hacen referencia otras imágenes, la carga de procesamiento requerida para decodificar los datos codificados Bitstream se puede reducir sin influir demasiado en la descodificación de otras imágenes. Además, puesto que el aparato de descodificación de imágenes 1400 selecciona un filtro entre píxeles que depende de un tipo de imagen de los datos codificados de esta manera, se puede reducir la carga del procesamiento de filtrado incluso para los datos codificados que salen de un aparato de codificación de imágenes convencional, con su información de cabecera como, por ejemplo, una cabecera de imagen que no incluye la información de selección de un filtro entre píxeles, porque el procesamiento de filtrado se omite para las imágenes a las que no se hace referencia.
Hay que tener en cuenta que no es necesario almacenar imágenes a las que no se hace referencia en la memoria de imágenes 205 de la Figura 13, por ejemplo, con independencia de si el procesamiento de filtrado se realiza para las imágenes o no. Por lo tanto, es necesario almacenar en la memoria de imágenes 205 solamente los datos obtenidos realizando el procesamiento de filtrado de las imágenes a las que se hace referencia.
Hay que tener en cuenta que, en un sentido estricto, una imagen B no implica una imagen a la que no se hace referencia, sino que se puede concebir un procedimiento de codificación de imágenes en el que se haga referencia a una imagen B. Por lo tanto, si no se selecciona un filtro entre píxeles dependiendo de un tipo de imagen, sino que se decide si se hace referencia o no realmente a la imagen, se puede realizar un procesamiento más efectivo incluso cuando se hace referencia a una imagen B. Sin embargo, incluso cuando se hace referencia a una imagen B, se puede conmutar un filtro entre píxeles dependiendo de un tipo de imagen para simplificar la implementación.
Además, no se conmuta con independencia de si el filtrado entre píxeles se va a realizar o no, sino que se pueden conmutar dos filtros, el filtro entre píxeles 1003 y el filtro entre píxeles 1004 dependiendo de un tipo de imagen o de si se hace referencia o no a una imagen, tal y corno se muestra en la Figura 6 o la Figura 7.
Asimismo, se ha explicado un ejemplo de un aparato de descodificación de imágenes que conmuta un filtro entre píxeles dependiendo de un tipo de imagen y de si se hace referencia o no a una imagen, pero un aparto de codificación de imágenes también puede realizar esta conmutación de la misma forma.
Tercera realización
La Figura 14 es un diagrama de bloques que muestra la estructura funcional de un aparato de codificación de imágenes 1500 de acuerdo con la tercera realización de la presente invención. El aparato de codificación de imágenes 1500 se realiza por medio de un aparato informático equipado con una CPU, una memoria, un disco duro en el que se instala un programa para codificar imágenes y otros programas, y tiene, ya que funciona para eso, una unidad de consola de operaciones 1505, una unidad de preprocesamiento 1510, una unidad de sustracción 1512, una unidad de transformación ortogonal 1513, una unidad de cuantificación 1514, una unidad de codificación de longitud variable 1517, una unidad de postprocesamiento 1520, una unidad de cuantificación inversa 1521, una unidad de transformación ortogonal inversa 1522, una unidad de adición 1524, una unidad de conmutación 1530, un filtro entre píxeles 1540, una memoria de imágenes 1541, una unidad de cálculo de movimiento 1542, una unidad de compensación de movimiento 1543, una unidad de determinación de prioridades 1550 y una unidad de control de procesamiento de filtros 1560.
La unidad de la consola de operaciones 1505 acepta una operación de entrada del operador. La unidad de preprocesamiento 1510 está equipada con una unidad de conversión de formato para convertir un formato de una señal de imagen introducida en una resolución de espacio designada por la operación en la unidad de la consola de operaciones 1505, una unidad de reordenamiento de imágenes para reordenar las imágenes de acuerdo con los tipos de imágenes y otros criterios, y envía las imágenes o elementos similares en secuencia.
Hay que tener en cuenta que existen los siguientes tipos de imágenes: una imagen I (intra imagen: imagen intra codificada) que se crea en el modo de codificación entre imágenes; una imagen P (imagen predictiva: imagen codificada predictiva) que se crea en el modo de codificación entre imágenes y se refiere únicamente a una imagen; y una imagen B (imagen bipredictiva: imagen predictiva plural} que también puede hacer referencia a una imagen hacia atrás y, en el momento de calcular el movimiento en el modo de codificación entre imágenes, se restringe el número de imágenes descodificadas almacenadas en la memoria de imágenes 1541, a las que se puede hacer referencia al mismo tiempo por medio de la unidad de cálculo del movimiento 1542.
Además, al codificar una imagen, hay un modo para codificarla utilizando tres tipos de imágenes (que en delante también se denominará "modo de codificación IPB"} y un modo para codificarla utilizando sólo dos tipos de imágenes, una imagen I y una imagen P. Al igual que hay un modo para codificarla utilizando sólo dos tipos de imágenes, una imagen I y una imagen P, también hay un modo para codificar una imagen P que tiene la posibilidad de que se haga referencia a ella y una imagen P que no tiene ninguna posibilidad de que se haga referencia a ella (lo que en adelante también se denominará "primer modo de codificación IP") y un modo para codificar una imagen P en la capa base de la codificación por capas, una imagen P que tiene la posibilidad de que se haga referencia a ella y una imagen P que no tiene ninguna posibilidad de que se haga referencia a ella en la capa de mejora (lo que en adelante se denominará "segundo modo de codificación IP"). En la codificación por capas, las imágenes se clasifican en dos grupos, una capa base y una capa de mejora, y la capa base es un grupo de imágenes que se pueden reproducir por si mismas y la capa de mejora es un grupo de imágenes que necesitan el grupo de imágenes de la linea base para la codificación y la descodificación. La codificación por capas se caracteriza por que, puesto que el número de bits sólo para la capa base es pequeño, pero el número de bits para la capa base y la capa de mejora es grande, y el número de imágenes es grande, se pueden conseguir fácilmente dos tipos de usos grabando y transmitiendo la linea base en todos los casos, y grabando y transmitiendo la capa de mejora sólo cuando es necesario para conseguir una calidad de imagen alta.
En el caso del primer modo de codificación IP, la información sobre la "posibilidad" o "no posibilidad" se añade a una imagen y la información sobre la "posibilidad" o "no posibilidad" se añade también a un tipo de imagen. Además, en el caso del segundo modo de codificación IP, la información sobre la "base", la "posibilidad" o la "no posibilidad" se añade a una imagen y la información sobre la "base", la "posibilidad" o la "no posibilidad" se añade también a un tipo de imagen.
La unidad de sustracción 1512 envía la imagen que sale de la unidad de preprocesamiento 1510 tal y como está en el modo de codificación entre imágenes, y calcula un error de compensación del movimiento (imagen residual) que es un valor diferencial entre la imagen y la imagen de compensación del movimiento que se envía desde la unidad de compensación del movimiento 1543 en el modo de codificación entre imágenes.
La unidad de transformación ortogonal 1513 envía componentes de frecuencia en el dominio de frecuencia que se obtienen realizando la transformación ortogonal como, por ejemplo, la transformación de coseno discreta, para la imagen en el modo de codificación entre imágenes y el error de compensación del movimiento en el modo de codificación entre imágenes, los cuales se envían desde la unidad de sustracción 1512, respectivamente. La unidad de cuantificación 1514 envía un valor cuantificado al cuantificar los componentes de frecuencia que se envían desde la unidad de transformación ortogonal 1513. La unidad de codificación de longitud variable 1517 envía una señal codificada para la cual se realiza otra compresión de información utilizando un código de longitud variable (código Huffman} que asigna una longitud de código al valor cuantificado que se envía desde la unidad de cuantificación 1514 dependiendo de la frecuencia de ocurrencia. La unidad de postprocesamiento 1520 está equipada con un búfer para memorizar temporalmente la señal codificada o similar, una unidad de control de velocidad para controlar un intervalo de cuantificación en la unidad de cuantificación 1514, y otros elementos, y transforma el vector de movimiento anteriormente mencionado, el tipo de imagen o elemento similar, y la señal codificada enviada desde la unidad de codificación variable 1517 en una señal codificada como, por ejemplo, un flujo de bits, y la envía.
La unidad de cuantificación 1521 descodifica los componentes de frecuencia al cuantificar de manera inversa el valor cuantificado generado por la unidad de cuantificación 1514. La unidad de transformación ortogonal inversa 1522 descodifica la imagen en el modo de codificación entre imágenes y el error de compensación del movimiento (imagen residual) que es el valor diferencial de píxeles en el modo de codificación entre imágenes, al realizar la transformación ortogonal inversa de los componentes de frecuencia descodificados por la unidad de cuantificación inversa 1521. La unidad de adición 1524 descodifica la imagen al enviar la imagen (imagen descodificada) que se descodifica por medio de la unidad de transformación ortogonal inversa 1522 tal y como está en el modo de codificación entre imágenes, y al añadir la imagen residual que es descodificada por medio de la unidad de transformación ortogonal inversa 1522 y la imagen de compensación del movimiento que genera la unidad de compensación del movimiento 1543 en el modo de codificación entre imágenes.
La unidad de conmutación 1530 consta de un par de conmutadores 1531 y 1532 para conmutar el estado de conmutación de manera sincronizada bajo el control de encendido/apagado del conmutador de la unidad de control de procesamiento del filtro 1560 para cada imagen, e incorpora el filtro entre píxeles 1540 en un bucle, o lo omite de un bucle, es decir, hace que el filtro entre píxeles 1540 omita su procesamiento. El filtro entre píxeles 1540 realiza el procesamiento del filtro espacial de pase bajo para la imagen descodificada que se envía desde la unidad de adición 1524 de bloque a bloque cuando los conmutadores 1531 y 1532 están encendidos, de manera que generen la imagen descodificada sin distorsión de bloques ni nada similar. Por ejemplo, calcula un valor medio entre un píxel y los píxeles colindantes y, si la diferencia entre el píxel y un píxel colindante está en un intervalo predeterminado, ejecuta el procesamiento de la sustitución de cada píxel alrededor del límite de bloques por el valor medio calculado.
En la memoria de imágenes 1541 se almacena una pluralidad de imágenes descodificadas que salen de la unidad de conmutación 1530. Por lo tanto, es posible supervisar la imagen descodificada en las mismas condiciones que el aparato de descodificación de imágenes que descodifica la señal codificada que se envía desde la unidad de postprocesamiento 1520 o utilizar la imagen descodificada como una imagen de referencia en el modo de codificación entre imágenes. Hay que tener en cuenta que en el primer modo de codificación XP y en el segundo modo de codificación IP, siempre se almacena en la memoria de imágenes 1541 una imagen P descodificada a la cual se añade la información que indica la posibilidad de referencia, y no es necesario almacenar en la memoria de imágenes 1541 una imagen P a la cual se añade la información que indica que no hay posibilidad de referencia. Por lo tanto, la información de posibilidad o no posibilidad significa que la imagen se almacena o no en la memoria de imágenes 1541.
En el modo de codificación entre imágenes, la unidad de cálculo de movimiento 1542 busca una imagen de referencia cuya diferencia de la imagen que se envía desde la unidad de preprocesamiento 1510 sea la más pequeña de entre la de las imágenes descodificadas almacenadas en la memoria de imágenes 1541, y envía un vector de movimiento que es la cantidad de movimiento de un píxel diferencial. Hay que tener en cuenta que, cuando se envía el vector de movimiento, se envía un tipo de predicción de bloques que indica si la imagen de referencia es una imagen hacia delante, una imagen hacia atrás o el valor medio entre ambas imágenes. La unidad de compensación del movimiento 1543 realiza la operación que indica el vector de movimiento y el tipo de predicción de bloques, y genera una imagen de compensación del movimiento. La unidad de determinación de prioridades 1550 envía la prioridad de una imagen dependiendo del tipo de imagen y la capa base o la capa de mejora. La unidad de control de procesamiento de filtros 1560 controla el apagado y encendido de los conmutadores 1531 y 1532 dependiendo de la prioridad enviada desde la unidad de determinación de prioridades 1550 o la velocidad de funcionamiento de la CPU.
La Figura 15 es un diagrama de bloques que muestra la estructura funcional detallada de la unidad de determinación de prioridades 1550 que se muestra en la Figura 14. Tal y como se muestra en esta figura, la unidad de determinación de prioridades 1550 envía la prioridad de una imagen dependiendo del tipo de imagen y la capa base o la capa de mejora, y consta de tres tablas 1551-1553, un selector 1554 y una unidad de procesamiento de determinación 1555, tal y como se muestra en la Figura 15. Hay que tener en cuenta que en el caso de una imagen P en el segundo modo de codificación IP, la información que indica "base", "posibilidad de que se haga referencia a ella" o "ninguna posibilidad de que se haga referencia a ella" se añade a su tipo de imagen.
La tabla 1551 es una tabla que se selecciona cuando se designa el modo de codificación IPB por medio de la operación en la unidad de la consola de operaciones 1505 y en la que los tipos de imágenes se asocian a la prioridad de las mismas, y las prioridades están definidas en "0" para las imágenes I, en "1" para las imágenes P y en "2" para las imágenes B. Hay que tener en cuenta que las prioridades se definen de manera que son menores cuanto más alto sea el número.
La tabla 1552 es una tabla que se selecciona cuando se designa el primer modo de codificación IP por medio de la operación en la unidad de la consola de operaciones 1505 y en la que los tipos de imágenes se asocian a la prioridad de las mismas, y las prioridades están definidas en "0" para las imágenes I, en "1" para las imágenes P (que tienen la posibilidad de que se haga referencia a ellas) y en "2" para las imágenes P (que no tienen ninguna posibilidad de que se haga referencia a ellas).
La tabla 1553 es una tabla que se selecciona cuando se designa el segundo modo de codificación IP (base, posibilidad de referencia y ninguna posibilidad de referencia), y las prioridades están definidas en "0" para las imágenes I, en "1" para las imágenes P (base), en "2" para las imágenes P (que tienen la posibilidad de que se haga referencia a ellas) y en "3" para las imágenes P (que no tienen ninguna posibilidad de que se haga referencia a ellas).
El selector 1554 selecciona cualquiera de las tablas 1551-1553 basándose en el modo de codificación (el modo de codificación IPB o el primer modo de codificación IP) designado para la unidad de la consola de operaciones 1505. La unidad de procesamiento de determinación 1555 determina la prioridad dependiendo del tipo de imagen y la capa base o la capa de mejora que se envían desde la unidad de preprocesamiento 1510 en relación a la tabla seleccionada por el selector 1554, y envía la prioridad determinada. Específicamente, cuando se designa el modo de codificación IPB, el selector 1554 selecciona la tabla 1551 y la unidad de procesamiento de determinación 1555 envía la prioridad asociada a una imagen I, una imagen P o una imagen B cada vez que se envía el tipo de imagen desde la unidad de preprocesamiento 1510. Además, cuando se designa el primer modo de codificación IP, el selector 1554 selecciona la tabla 1552, y la unidad de procesamiento de determinación 1555 envía la prioridad basándose en el tipo de imagen y los datos añadidos a una imagen P ("posibilidad" o "no posibilidad"). Asimismo, cuando se designa el segundo modo de codificación IP, el selector 1554 selecciona la tabla 1553, y la unidad de procesamiento de determinación 1555 envía la prioridad basándose en el tipo de imagen y los datos añadidos a una imagen P ("base", "posibilidad" o "no posibilidad").
La Figura 16 es un diagrama de bloques que muestra la estructura funcional detallada de la unidad de control de procesamiento de filtros 1560 que se muestra en la Figura 14. Tal y como se muestra en esta figura, la unidad de control de procesamiento de filtros 1560 controla el encendido y apagado de los conmutadores 1531 y 1532 de acuerdo con la prioridad que se envía desde la unidad de determinación de prioridad 1550 y la velocidad de funcionamiento de la CPU, y consta de tres tablas 1561-1563, un selector 1564 y una unidad de procesamiento de cambios de conmutador 1565 que se muestran en la Figura 16. La tabla 1561 es una tabla que se selecciona cuando se designa el modo de codificación IPB e indica combinaciones de las prioridades y velocidades de funcionamiento de CPU para realizar el procesamiento de filtros, y está configurado para que se encienda para la prioridad 0-2 cuando la velocidad de funcionamiento de CPU sea menor de 70%, que sólo se encienda para las prioridades 0 y 1 cuando la velocidad de funcionamiento de CPU sea de 70% o mayor y menor de 80%, y que sólo se encienda para la prioridad 0 cuando la velocidad de funcionamiento de CPU sea de 80% o mayor.
La tabla 1562 es una tabla que se selecciona cuando se designa el primer modo de codificación IP e indica combinaciones de las prioridades y velocidades de funcionamiento de CPU para realizar el procesamiento de filtros, y está configurado para que se encienda para las prioridades 0-2 cuando la velocidad de funcionamiento de CPU sea menor de 70%, que sólo se encienda para las prioridades 0 y 1 cuando la velocidad de funcionamiento de CPU sea de 70% o mayor y menor de 80%, y que se encienda sólo para la prioridad 0 cuando la velocidad de funcionamiento de CPU sea de 80% o mayor.
La tabla 1563 es una tabla que se selecciona cuando se designa el segundo modo de codificación IP e indica combinaciones de las prioridades y velocidades de funcionamiento de CPU para realizar el procesamiento de filtros, y está configurado para que se encienda para las prioridades 0-3 cuando la velocidad de funcionamiento de CPU sea menor de 70%, que sólo se encienda para las prioridades 0, 1 y 2 cuando la velocidad de funcionamiento de CPU sea de 70% o mayor y menor de 80%, y que se encienda sólo para las prioridades 0 y 1 cuando la velocidad de funcionamiento de CPU sea de 80% o mayor.
El selector 1564 selecciona cualquiera de las tablas 1561-1563 basándose en el modo de codificación (el modo de codificación IPB, el primer modo de codificación IP o el segundo modo de codificación IP) designado por la unidad de la consola de operaciones 1505. La unidad de procesamiento de cambios de conmutador 1565 envía la señal de encendido o apagado para controlar los conmutadores 1531 y 1532 de la unidad de conmutación 1530 basándose en la prioridad enviada desde la unidad de determinación de prioridad 1550 y la velocidad de funcionamiento de CPU obtenida por cada imagen, en referencia a la tabla seleccionada por el selector 1564.
Específicamente, cuando se designa el modo de codificación IPB, el selector 1564 selecciona la tabla 1561, y la unidad de procesamiento de cambios de conmutador 1565 envía una señal de encendido para la imagen I, la imagen P y la imagen B si la velocidad de funcionamiento de CPU es menor de 70%. Además, si la velocidad de funcionamiento de CPU es de 70% o mayor y menor de 80%, la unidad de procesamiento de cambios de conmutador 1565 envía una señal de encendido sólo para una imagen I y una imagen P. Además, si la velocidad de funcionamiento de CPU es de 80% o mayor, la unidad de procesamiento de cambios de conmutador 1565 envía la señal de encendido sólo para una imagen I.
Además, cuando se designa el primer modo de codificación IP, el selector 1564 selecciona la tabla 1562 y la unidad de procesamiento de cambios de conmutador 1565 envía una señal de encendido para la imagen I, la imagen P (posibilidad) y la imagen P (no posibilidad) si la velocidad de funcionamiento de CPU es menor de 70%. Además, si la velocidad de funcionamiento de CPU es de 70% o mayor y menor de 80%, la unidad de procesamiento de cambios de conmutador 1565 envía una señal de encendido sólo para una imagen I y una imagen P (posibilidad). Además, si la velocidad de CPU es de 80% o mayor, la unidad de procesamiento de cambios de conmutador 1565 envía una señal de encendido sólo para una imagen I.
Además, cuando se designa el segundo modo de codificación IP, el selector 1564 selecciona la tabla 1563, y la unidad de procesamiento de cambios de conmutador 1565 envía una señal de encendido para la imagen I, la imagen P (base), la imagen P (posibilidad) y la imagen P (no posibilidad). Además, si la velocidad de funcionamiento de CPU es de 70% o mayor y menor de 80%, la unidad de procesamiento de cambios de conmutador 1565 envía una señal de encendido sólo para una imagen I, una imagen P (base) y una imagen P (posibilidad). Además, si la velocidad de CPU es de 80% o mayor, la unidad de procesamiento de cambios de conmutador 1565 envía una señal de encendido sólo para una imagen I y una imagen P (base).
A continuación, se explicará el funcionamiento del aparato de codificación de imágenes 1500 tal y como se ha estructurado anteriormente.
En el modo de codificación entre imágenes para codificar una imagen como una imagen I, se comprime y codifica una imagen enviada desde la unidad de preprocesamiento 1510 en un componente de frecuencia por medio de una transformación ortogonal realizada por la unidad de transformación ortogonal 1513, y se comprime y codifica en un valor cuantificado por medio de la cuantificación realizada por la unidad de cuantificación 1514. Este valor cuantificado se comprime y codifica en una longitud variable por medio de la codificación de longitud variable que realiza la unidad de codificación de longitud variable 1517, se convierte en una señal codificada de un flujo de bits de una imagen I por medio de la unidad de postprocesamiento 1520, y se almacena en un soporte de memoria como, por ejemplo, un disco duro.
Por otra parte, el valor cuantificado que se envía desde la unidad de cuantificación 1514 se descodifica en un componente de frecuencia por medio de la cuantificación inversa que realiza la unidad de cuantificación inversa 1521, y se descodifica en una imagen por medio de la transformación ortogonal inversa que realiza la unidad de transformación ortogonal inversa 1522. Cuando se encienden los conmutadores 1531 y 1532 bajo el control de la unidad de control del procesamiento de filtros 1560, esta imagen descodificada se almacena en la memoria de imágenes 1541 después de ser procesada por filtro para eliminar la distorsión de bloques por medio del filtro entre píxeles 1540, y cuando se apagan los conmutadores 1531 y 1532, se almacena en la memoria de imágenes 1541, sin haber sido procesada por filtro.
Además, en el modo de codificación entre imágenes para codificar una imagen como una imagen P y una imagen B, se genera un vector de movimiento por medio de la unidad de cálculo de movimiento 1542, se genera una imagen de compensación del movimiento (imagen predictiva) por medio de la unidad de compensación de movimiento 1543 y se genera un error de compensación de movimiento (imagen diferencial) por medio de la unidad de sustracción 1512. Hay que tener en cuenta que la unidad de estimación del movimiento 1542 busca una imagen predictiva cuya diferencia con la imagen enviada desde la unidad de preprocesamiento 1510 sea la menor de entre la de las imágenes descodificadas almacenadas en la memoria de imágenes 1541 como una o una pluralidad de imágenes de referencia hacia delante o hacia atrás.
La Figura 17 es un diagrama de bloques que muestra las relaciones de referencia entre las imágenes almacenadas en la memoria de imágenes 1541. Particularmente, la Figura 17A es un diagrama que muestra las imágenes de referencia para predicciones en el procedimiento IPB, la Figura 17B es un diagrama que muestra imágenes de referencia para predicciones en el primer procedimiento IP, y la Figura 17C es un diagrama que muestra imágenes de referencia para predicciones en el segundo procedimiento IP. Hay que tener en cuenta que bajo cada imagen de cada procedimiento, se indica la prioridad (nivel de prioridad) asociada a la imagen.
Para predecir una imagen P en el caso del procedimiento IPB de la Figura 17A, se puede hacer referencia a una imagen I hacia delante y una imagen P. Para predecir una imagen B, se puede hacer referencia a una imagen I hacia delante o una imagen P, y a una imagen I hacia atrás y temporalmente más próxima o una imagen P.
Hay que tener en cuenta que para predecir una imagen B en H.26L, se puede hacer referencia a una imagen B, además de a una imagen I y una imagen P, como imagen hacia delante. En el modo que utiliza esta imagen B como imagen de referencia se añade la información sobre "hay una posibilidad" o "no hay ninguna posibilidad" a la imagen B, y la información de que "hay una posibilidad" o "no hay ninguna posibilidad" se añade también al tipo de imagen. Y en este modo, la imagen B descodificada a la que se refiere la información de que existe la posibilidad de que se haga referencia a ella siempre se almacena en la memoria de imágenes 1541, y la imagen B descodificada a la que se refiere la información de que no existe ninguna posibilidad de que se haga referencia a ella no es necesario que se almacene en la memoria de imágenes 1541.
Para predecir una imagen P (posibilidad de referencia) en el primer procedimiento IP de la Figura 17B, se puede hacer referencia a una imagen I hacia delante y una imagen P (posibilidad de referencia). Para predecir una imagen P (sin posibilidad de referencia), se puede hacer referencia a una imagen I hacia delante o una imagen P (posibilidad de referencia).
Para predecir una imagen P (base) en el segundo procedimiento IP de la Figura 17C, se puede hacer referencia a una imagen I hacia delante y una imagen P (base). Para predecir una imagen P (posibilidad de referencia), se puede hacer referencia a una imagen I hacia delante y una imagen P (base). Para predecir una imagen P (sin posibilidad de referencia), se puede hacer referencia a una pluralidad de imágenes I hacia delante, imágenes P (base) o imágenes P (posibilidad de referencia).
Hay que tener en cuenta que, para mejorar la explicación, se explicará el caso en el que se designa el modo de codificación IPB.
Bajo dicha restricción, la unidad de estimación de movimiento 1542 envía como vector de movimiento la cantidad de movimiento del píxel diferencial entre la imagen de referencia buscada y la imagen que se envía desde la unidad de preprocesamiento 1510, y también envía un tipo de predicción de bloques que indica si una imagen de referencia es una imagen hacia delante, una imagen hacia atrás o un valor medio de imágenes predictivas. Asimismo, la unidad de compensación de movimiento 154 3 realiza, para el píxel diferencial, la operación que indica el vector de movimiento y el tipo de predicción de bloques que se envía desde la unidad de estimación de movimiento 1542 para generar una imagen de compensación de movimiento. Y la unidad de sustracción 1512 genera un error de compensación de movimiento (imagen diferencial) al sustraer la imagen de compensación de movimiento generada por la unidad de compensación de movimiento 154 3 de la imagen que se envía desde la unidad de preprocesamiento 1510.
El error de compensación de movimiento (imagen diferencial) que se envía desde la unidad de sustracción 1512 se comprime y codifica en un componente de frecuencia por medio de la transformación ortogonal que realiza la unidad de transformación ortogonal 1513, y se comprime y codifica en un valor cuantificado por medio de la cuantificación que realiza la unidad de cuantificación 1514. Este valor cuantificado se comprime y codifica en una longitud variable por medio de la codificación de longitud variable que realiza la unidad de codificación de longitud variable 1517, se convierte en una señal codificada en un flujo de bits de una imagen P o una imagen B junto con el vector de movimiento y otros por medio de la unidad de postprocesamiento 1520, y se almacena en un soporte de memoria como un disco duro.
Por otra parte, el valor cuantificado de una imagen P o una imagen B con una posibilidad de que se haga referencia a ella se envía desde la unidad de cuantificación 1514 y se descodifica en un componente de frecuencia por medio de la cuantificación inversa que realiza la unidad de cuantificación inversa 1521, y se descodifica en un error de compensación del movimiento (imagen diferencial) por medio de la transformación ortogonal inversa que realiza la unidad de transformación ortogonal inversa 1522. A continuación, la unidad de adición 1524 añade el error de compensación de movimiento (imagen diferencial) y la imagen de compensación de movimiento y, de esta manera, se descodifica en una imagen. Esta imagen descodificada se almacena en la memoria de imágenes 1541 después de haber sido procesada por filtro para eliminar la distorsión de bloques por medio del filtro entre píxeles 1540 cuando los conmutadores 1531 y 1532 se encienden bajo el control de la unidad de control del procesamiento de filtros 1560, y cuando los conmutadores 1531 y 1532 se apagan, se almacena en la memoria de imágenes 1541 sin ser procesada por filtro.
Aquí, se explicará más detalladamente el control de encendido y apagado de los conmutadores 1531 y 1532 por medio de la unidad de control del procesamiento de filtros 1560.
La Figura 18 es un gráfico de flujo que muestra el procesamiento de activación de conmutadores que ejecuta la unidad de procesamiento de cambios de conmutador 1565 en la unidad de control del procesamiento de filtros
1560.
Por otro lado, la unidad de procesamiento de determinación 1555 de la unidad de determinación de prioridades 1550 determina la prioridad de cada imagen que se envía desde la unidad de preprocesamiento 1510 dependiendo del tipo de imagen con referencia a la tabla 1551 seleccionada por el selector 1554, y envía la prioridad determinada. Específicamente, cuando se designa el modo de codificación IPB, el selector 1554 selecciona la tabla 1551, y la unidad de procesamiento de determinación 1555 envía la prioridad "0" para una imagen I, la prioridad "1" para una imagen P y la prioridad "2" para una imagen B cada vez que se envía el tipo de imagen desde la unidad de preprocesamiento 1510.
Para cada codificación de la imagen, la unidad de procesamiento de cambios de conmutador 1565 de la unidad de control de procesamiento de filtros 1560 obtiene la prioridad de la imagen y la velocidad de funcionamiento de CPU incluida en este aparato de codificación de imágenes 1500 (P21) y determina la entrada a la que se hace referencia en la tabla (la tabla 1561 en el ejemplo de la Figura 16) (P22).
Específicamente, si la velocidad de funcionamiento de CPU es menor de 70%, determina que la entrada a la que se va a hacer referencia es la primera línea, si la velocidad de funcionamiento de CPU es de 70% o mayor y menor de 80%, determina que la entrada a la que se va a hacer referencia es la segunda línea, y si la velocidad de funcionamiento de CPU es de 80% o mayor, determina que la entrada a la que se va a hacer referencia es la tercera línea.
Después de determinar la entrada a la que se va a hacer referencia, la unidad de procesamiento de cambios de conmutador 1565 lee la columna derecha de la entrada (P23) y decide si la prioridad definida para el tipo de imagen de la imagen descodificada se incluye o no en la columna derecha (P24). Si se incluye en la columna derecha (Sí en P24), la unidad de procesamiento de cambios de conmutador 1565 envía una señal de encendido a los conmutadores 1531 y 1532 (P25). Por lo tanto, el procesamiento de filtros se realiza para la imagen descodificada y la imagen descodificada procesada por filtro se almacena en la memoria de imágenes 1541.
Por el contrario, si no se incluye en la columna derecha (No en P24), la unidad de procesamiento de cambios de conmutador 1565 envía una señal de apagado a los conmutadores 1531 y 1532 (P26). Por lo tanto, el procesamiento por filtro de la imagen descodificada se omite y la imagen descodificada se almacena en la memoria de imágenes 1541 sin ser procesada por filtro.
Dicho control se realiza para cada imagen, y las imágenes descodificadas que se hayan procesado por filtro y que no se hayan procesado por filtro se almacenan en la memoria de imágenes 1541 en secuencia. De esta manera, en la codificación de imágenes, no siempre se realiza el filtrado entre píxeles para eliminar el ruido o elementos similares, sino que el filtrado entre píxeles se realiza de manera selectiva cuando es necesario, por lo que si el filtrado entre píxeles sólo se realiza para las imágenes que tienen mucha influencia en la calidad de la imagen, por ejemplo, incluso en un aparato de descodificación de imágenes con una capacidad de procesamiento baja, es posible mantener la calidad de imagen de las imágenes importantes que se almacenan en la memoria de imágenes, reducir la acumulación de distorsión de bloques en las imágenes descodificadas que se han almacenado en la memoria de imágenes, mejorar la eficacia de la predicción realizada por la unidad de compensación de movimiento, y reducir el deterioro de la calidad de la imagen más que con la técnica MPEG, y asi se puede conseguir el gran efecto de mejora de la calidad de la imagen con una velocidad de bits baja.
Más específicamente, al realizar el filtrado entre píxeles, se da prioridad a una imagen que tiene una gran influencia en otras imágenes, es decir, una imagen intra codificada, una imagen codificada predictiva hacia delante, una imagen de capa base o una imagen similar, de manera que el efecto de mejora de la calidad de la imagen, como la eliminación del ruido, se puede conseguir mediante un filtrado entre píxeles con más efectividad incluso con el mismo incremento en la carga de procesamiento.
Además, el encendido y apagado del procesamiento del filtro se puede controlar de manera que se utilice por completo la capacidad de procesamiento del aparato de codificación de imágenes, por lo que la CPU se utiliza con eficacia y, así, la codificación para obtener imágenes de mayor calidad se puede conseguir incluso con los mismos recursos de hardware.
Cuarta realización
A continuación, se explicará un aparato de descodificación de imágenes de acuerdo con una realización de la presente invención. La Figura 19 es un diagrama de bloques que muestra la estructura funcional de un aparato de descodificación de imágenes 1600 de acuerdo con la cuarta realización de la presente invención.
Este aparato de descodificación de imágenes 1600 es un aparato para descodificar la señal codificada que ha codificado el aparato de codificación de imágenes 1500 que se muestra en la Figura 14, y se realiza por medio de un aparato informático equipado con una CPU, una memoria, un disco duro (HD) en el que se instala un programa para descodificar imágenes o similar y, como funciones, incluye una unidad de preprocesamiento 1610, una unidad de descodificación de longitud variable 1617, una unidad de cuantificación inversa 1621, una unidad de transformación ortogonal inversa 1622, una unidad de adición 1624, una unidad de conmutación 1630, un filtro entre píxeles 1640, una unidad de postprocesamiento 1670, una memoria de imágenes 1641, una unidad de compensación de movimiento 1643, una unidad de determinación de prioridad 1650 y una unidad de control de procesamiento de filtro 1660.
La unidad de preprocesamiento 1610 está equipada con un búfer o elemento similar para almacenar una señal codificada temporalmente, y la divide en el tipo de imagen, el vector de movimiento y la señal codificada de una imagen en sí incluida en la señal codificada para enviarlas. Hay que tener en cuenta que cuando la señal codificada de la imagen está en el primer modo de codificación IP, la información de "posibilidad" o "no posibilidad" se añade a la imagen y la información de "posibilidad" o "no posibilidad" también se añade al tipo de imagen. Además, cuando está en el segundo modo de codificación IP, la información de "base", "posibilidad" y "no posibilidad" se añade a la imagen, y la información de "base", "posibilidad" y "no posibilidad" se añade también al tipo de imagen.
La unidad de descodificación de longitud variable 1617 envía un valor cuantificado de longitud variable descodificando (descodificación de Huffman) la señal codificada que se envía desde la unidad de preprocesamiento 1610. La unidad de cuantificación inversa 1621 descodifica el componente de frecuencia por medio de la cuantificación inversa del valor cuantificado que se envía desde la unidad de descodificación de longitud variable 1617. La unidad de transformación ortogonal inversa 1622 descodifica la imagen en el modo de codificación entre imágenes y el error de compensación de movimiento (imagen residual) que es un valor diferencial de píxeles en el modo de codificación entre imágenes por medio de la transformación ortogonal del componente de frecuencia descodificado por la unidad de cuantificación inversa 1621.
\newpage
La unidad de adición 1624 envía la imagen descodificada por la unidad de transformación ortogonal inversa 1622 tal y como está en el modo de codificación entre imágenes, y descodifica la imagen añadiendo el error de compensación de movimiento (imagen residual) descodificado por la unidad de transformación ortogonal inversa 1622 y la imagen de compensación del movimiento generada por la unidad de compensación del movimiento 1643 en el modo de codificación entre imágenes. La unidad de conmutación 1630 consta de un par de conmutadores 1631 y 1632 para conmutar su estado de conmutación de manera sincronizada bajo el control de encendido y apagado del conmutador de la unidad de control de procesamiento de filtro 1660 para cada imagen, e incorpora el filtro entre píxeles 1640 en un bucle, o lo omite del bucle, es decir hace que el filtro entre píxeles 1640 omita su procesamiento.
El filtro entre píxeles 1640 realiza el procesamiento de filtro espacial de pase bajo para la imagen descodificada que se envía desde la unidad de adición 1624 por bloques cuando los conmutadores 1631 y 1632 están encendidos para generar la imagen descodificada sin distorsión de bloques ni nada similar. Por ejemplo, calcula un valor medio entre un píxel y los píxeles colindantes, y si la diferencia entre el píxel y los píxeles colindantes está en un intervalo predeterminado, ejecuta el procesamiento de reemplazo de cada píxel alrededor del límite del bloque con el valor medio calculado.
La unidad de postprocesamiento 1670 está equipada con una unidad de conversión de formato para convertir un formato en una resolución espacial predeterminada, una unidad de restauración de orden para restaurar el orden de las imágenes que se han reordenado dependiendo de sus tipos de imágenes al orden original de las mismas, y elementos similares, y envía la imagen descodificada a un monitor o dispositivo similar. La memoria de imágenes 1641 almacena una pluralidad de imágenes descodificadas, con una posibilidad de que se haga referencia a ellas, que se envían desde la unidad de conmutación 1630. La unidad de compensación de movimiento 1643 realiza la operación indicada por el vector de movimiento y el tipo de predicción de bloques que se envía desde la unidad de preprocesamiento 1610 para las imágenes descodificadas almacenadas en la memoria de imágenes 1641 para generar imágenes de compensación de movimiento. La unidad de determinación de prioridad 1650 tiene la misma estructura que la unidad de determinación de prioridad 1550 que se muestra en la Figura 15 y envía la prioridad de una imagen dependiendo del tipo de imagen que se envía desde la unidad de preprocesamiento 1610 y la capa base o la capa de mejora. La unidad de control del procesamiento del filtro 1660 tiene la misma estructura que la unidad de control de procesamiento del filtro 1560 que se muestra en la Figura 16 y controla el encendido y apagado de los conmutadores 1631 y 1632 de la unidad de conmutación dependiendo de la prioridad que se envía desde la unidad de determinación de prioridad 1650 y la velocidad de funcionamiento de CPU obtenida mediante la supervisión.
A continuación, se explicará el funcionamiento del aparato de descodificación de imágenes 1600 estructurado de la forma que se ha indicado anteriormente. Hay que tener en cuenta que, para poder explicarlo a la vez que el aparato de codificación de imágenes 1500, se explicará el caso en el que se especifica el modo de codificación IPB.
En el modo de descodificación entre imágenes para descodificar una señal codificada de una imagen I en una imagen, la señal codificada que se envía desde la unidad de preprocesamiento 1610 se descodifica en un valor cuantificado por medio de la descodificación de longitud variable realizada por la unidad de descodificación de longitud variable 1617, se expande y descodifica en un componente de frecuencia por medio de la cuantificación inversa realizada por la unidad de cuantificación inversa 1621, y se descodifica en una imagen (imagen descodificada) por medio de la transformación ortogonal realizada por la unidad de transformación ortogonal 1622. Cuando se encienden los conmutadores 1631 y 1632 bajo el control de la unidad de control de procesamiento de filtro 1660, esta imagen descodificada se almacena en la memoria de imágenes 1641 después de haber sido procesada por filtro para eliminar la distorsión de bloques por medio del filtro entre píxeles 1640, y se restaura el orden original de las imágenes en la unidad de postprocesamiento 1670, se convierte el formato de las mismas, y luego se envía a un monitor o un dispositivo similar. Por el contrario, cuando se apagan los conmutadores 1631 y 1632, la imagen descodificada se almacena en la memoria de imágenes 1641 sin ser procesada por filtro, y el orden de la imagen se restaura al original en la unidad de postprocesamiento 1670, cuyo formato se convierte y, a continuación, se envía a un monitor o dispositivo similar.
Además, en el modo de descodificación entre imágenes para descodificar señales codificadas de una imagen P y una imagen B en imágenes, la señal codificada que se envía desde la unidad de preprocesamiento 1610 se descodifica en un valor cuantificado por medio de la descodificación de longitud variable realizada por la unidad de descodificación de longitud variable 1617, se expande y descodifica en un componente de frecuencia por medio de la transformación ortogonal inversa realizada por la unidad de cuantificación inversa 1621, y se descodifica en un error de compensación de movimiento (imagen diferencial) por medio de la transformación ortogonal inversa que realiza la unidad de transformación ortogonal inversa 1622.
Por otra parte, la imagen de compensación de movimiento (imagen predictiva) se genera por medio de la unidad de compensación de movimiento 1643. Hay que tener en cuenta que la unidad de compensación de movimiento 164 3 realiza la operación indicada por el vector de movimiento y el tipo de predicción de bloques que se envía desde la unidad de preprocesamiento 1610 para el píxel diferencial en la imagen de referencia que se lee desde la memoria de imágenes 1641 para generar una imagen de compensación de movimiento.
Y la unidad de adición 1624 añade el error de compensación de movimiento (imagen diferencial) y la imagen de compensación de movimiento para descodificar el resultado en una imagen. Cuando los conmutadores 1631 y 1632 se encienden bajo el control de la unidad de control de procesamiento de filtros 1660, después de que esta imagen descodificada se procese por filtro para eliminar la distorsión de bloques por medio del filtro entre píxeles 1640, y luego se restaura el orden de la imagen en la unidad de postprocesamiento 1670, se convierte el formato de la misma, y la imagen se envía a un monitor o un dispositivo similar, y la imagen descodificada con la posibilidad de que se haga referencia a ella se almacena en la memoria de imágenes 1641. Por otra parte, cuando se apagan los conmutadores 1631 y 1632, el procesamiento por filtro no se realiza, pero el orden de la imagen se restaura al orden original en la unidad de postprocesamiento 1670, se convierte el formato de la misma, y la imagen se envía un monitor o un dispositivo similar, y la imagen descodificada con la posibilidad de que se haga referencia a ella se almacena en la memoria de imágenes 1641. Aquí, como es el caso de los conmutadores 1531 y 1532 del aparato de codificación de imágenes 1500, se controla el encendido y apagado de los conmutadores 1631 y 1632 por medio de la unidad de control de procesamiento de filtro 1660.
Más específicamente, la unidad de procesamiento de cambios de conmutador de la unidad de control de procesamiento de filtro 1660 obtiene la prioridad de una imagen y la velocidad de funcionamiento de CPU que se incluye en este aparato de descodificación de imágenes 1600 para cada codificación de imagen, determina la entrada a la que se hace referencia en la tabla del modo de codificación IPB, lee la columna derecha de la entrada, y decide si la prioridad definida para el tipo de imagen de la imagen descodificada se incluye o no en la columna derecha. Si se incluye en la columna derecha, la unidad de procesamiento de cambios de conmutador de la unidad de control de procesamiento de filtro 1660 envía una señal de encendido a los conmutadores 1631 y 1632. Por lo tanto, el procesamiento de filtro se realiza para la imagen descodificada, y la imagen descodificada procesada por filtro se almacena en la memoria de imágenes 1641. Por otra parte, si no se incluye en la columna derecha, la unidad de procesamiento de cambios de conmutador de la unidad de control de procesamiento de filtro 1660 envía una señal de apagado a los conmutadores 1631 y 1632. Por lo tanto, el procesamiento por filtro para la imagen descodificada se omite, y la imagen descodificada se almacena en la memoria de imágenes 1641 sin ser procesada por filtro.
Dicho control se realiza para cada imagen, y las imágenes descodificadas que se han procesado por filtro y no se han procesado por filtro se almacenan en la memoria de imágenes 1641 en secuencia.
De esta manera, en la descodificación de imágenes, no siempre se realiza el filtrado entre píxeles para eliminar el ruido o elementos similares, pero el filtrado entre píxeles se realiza de manera selectiva cuando es necesario, por lo que si el filtrado entre píxeles se realiza sólo para imágenes que tienen una gran influencia en la calidad de la imagen, por ejemplo, incluso en los aparatos de descodificación de imágenes con baja capacidad de procesamiento, es posible mantener la calidad de la imagen de las imágenes importantes que se almacenan en la memoria de imágenes, reducir la acumulación de distorsión de bloques en las imágenes descodificadas que se han almacenado en la memoria de imágenes, mejorar la eficiencia de predicción por medio de la unidad de compensación de movimiento, y reducir el deterioro de la calidad de la imagen más que con la técnica MPEG y, de esta manera, se puede conseguir el gran efecto de mejora de la calidad de la imagen con una velocidad de bits baja.
Más específicamente, al realizar el filtrado entre píxeles, se da prioridad a una imagen que tiene una gran influencia en otras imágenes, es decir, una imagen intra codificada, una imagen codificada predictiva hacia delante, una imagen de capa base o una imagen similar, por lo que se puede conseguir el efecto de mejora de la calidad de la imagen como, por ejemplo, la eliminación del ruido, por medio del filtrado entre píxeles más eficazmente con el mismo aumento de la carga de procesamiento.
Además, se puede controlar el encendido y apagado del procesamiento de filtro de manera que se utilice por completo la capacidad de procesamiento del aparato de descodificación de imágenes para utilizar la CPU con eficiencia y, de esta manera, se puede conseguir la descodificación de imágenes de más calidad incluso con los mismos recursos de hardware.
Hay que tener en cuenta que la presente invención se puede realizar no sólo como un aparato de codificación de imágenes o un aparato de descodificación de imágenes, sino también como un procedimiento de codificación de imágenes o un procedimiento de descodificación de imágenes para las unidades de características de funcionamiento que se incluyen en estos aparatos como pasos, o como un programa que tiene un ordenador que ejecuta esos pasos. Y, no es necesario decir que el programa se puede distribuir mediante un soporte de grabación como un CD-ROM o un medio de transmisión como Internet.
Quinta realización
Asimismo, si se graba un programa para conseguir la estructura del procedimiento de codificación de imágenes o el procedimiento de descodificación de imágenes tal y como se muestra en cada una de las realizaciones mencionadas anteriormente en un soporte de grabación como un disco flexible, es posible realizar el procesamiento tal y como se muestra en cada una de las realizaciones anteriores fácilmente en un sistema informático independiente.
La Figura 20 es una ilustración que muestra el caso en el que se realiza el procesamiento en un sistema informático utilizando un disco flexible en el que se almacena el procedimiento de codificación de imágenes o el procedimiento de descodificación de imágenes de las realizaciones primera y segunda mencionadas anteriormente.
La Figura 20B muestra la vista frontal y la vista de sección cruzada del aspecto de un disco flexible y el disco flexible, y la Figura 20A muestra un ejemplo de un formato físico de un disco flexible como soporte de grabación en sí. En la carcasa F hay un disco flexible FD, en la superficie del disco se forman una pluralidad de pistas Tr de forma concéntrica en la dirección del radio desde la periferia, y cada pista se divide en 16 sectores Se en la dirección angular. Por lo tanto, en cuanto al disco flexible en el que se almacena el programa anteriormente mencionado, el procedimiento de codificación de imágenes como programa se graba en el área asignada para ello en el disco flexible FD.
La Figura 20C muestra la estructura para grabar y reproducir el programa en y desde el disco flexible FD. Para grabar el programa en el disco flexible FD, el sistema informático Cs escribe el procedimiento de codificación de imágenes o el procedimiento de descodificación de imágenes como programa en el disco flexible FD a través de una unidad de discos flexibles. Para construir el procedimiento de codificación de imágenes anterior en el sistema informático por medio del programa grabado en el disco flexible, el programa se lee desde el disco flexible a través de la unidad de discos flexibles y se transfiere al sistema informático.
Hay que tener en cuenta que la explicación anterior se ha realizado suponiendo que un soporte de grabación es un disco flexible, pero se puede realizar el mismo procesamiento utilizando un disco óptico. Además, el soporte de grabación no está limitado a estos, sino a cualquier otro soporte como, por ejemplo, una tarjeta IC y un cásete ROM que se pueden utilizar de la misma manera si se puede grabar un programa en ellos.
Las Figuras 21\sim24 son ilustraciones de los dispositivos para realizar el procesamiento de codificación o descodificación que se muestra en las realizaciones que se han mencionado anteriormente, y el sistema que las usa.
La Figura 21 es un diagrama de bloques que muestra la configuración general de un sistema de suministro de contenido ex100 para conseguir un servicio de distribución de contenido. El área para proporcionar el servicio de comunicación se divide en celdas del tamaño deseado y las estaciones base ex107\simex110, que son estaciones fijas inalámbricas, se colocan en sus respectivas celdas. Este sistema de suministro de contenido ex100 se conecta a un equipo ex111, una PDA (asistente digital personal) ex112, una cámara ex113 y un teléfono móvil ex114 a través de Internet ex101, un proveedor de servicios de Internet ex102 y una red telefónica ex104, por ejemplo. Sin embargo, el sistema de suministro de contenido ex100 no se limita a la combinación que se muestra en la Figura 21, y se puede conectar a una combinación de cualquiera de ellos. Además, se puede conectar directamente a la red telefónica ex104, no a través de las estaciones base ex107\simex110 que son estaciones inalámbricas fijas.
La cámara ex113 es un dispositivo como una cámara de vídeo digital que es capaz de tomar imágenes en movimiento. El teléfono móvil puede ser cualquier teléfono móvil de un sistema PDC (comunicaciones digitales personales), un sistema CDMA (acceso múltiple de división de códigos), un sistema W-CDMA (acceso múltiple de división de códigos de banda ancha) o un sistema GSM (sistema global para comunicaciones móviles), un PHS (sistema de teléfono personal) y sistemas similares.
Además, un servidor de flujo ex103 se conecta a la cámara ex113 a través de la estación base ex109 y la red telefónica ex104, lo que permite la distribución en directo o similar utilizando la cámara ex113 basada en los datos codificados que se transmiten desde el usuario. La cámara exll3 o el servidor para transmitir los datos pueden codificar los datos tomados por la cámara. Además, los datos de imágenes en movimiento tomados por una cámara ex116 se pueden transmitir a un servidor de flujo ex103 a través del equipo ex111. La cámara ex116 es un dispositivo como, por ejemplo, una cámara digital capaz de tomar imágenes fijas y en movimiento. En este caso, la cámara ex116 o el equipo exlll pueden descodificar los datos de imágenes en movimiento. Un LSI ex117 incluido en el equipo ex111 o la cámara ex116 realizan el procesamiento de codificación. Hay que tener en cuenta que el software para codificar y descodificar imágenes puede estar integrado en cualquier tipo de soporte de almacenamiento (por ejemplo, un CD-ROM, un disco flexible y un disco duro) que es un soporte de grabación que puede leer el equipo ex111 o dispositivo similar. Asimismo, el teléfono móvil equipado con la cámara exll5 puede transmitir los datos de imágenes en movimiento. Estos datos de imágenes en movimiento son los datos codificados por el LSI que se incluye en el teléfono móvil ex115.
La Figura 22 es un diagrama que muestra un ejemplo del teléfono móvil ex115. El teléfono móvil ex115 tiene una antena ex201 para enviar y recibir ondas de radio entre la estación base ex110, una unidad de cámara ex203 como, por ejemplo, una cámara CCD capaz de captar vídeo e imágenes fijas, una unidad de visualización ex202 como, por ejemplo, una pantalla de cristal líquido para ver los datos obtenidos al descodificar el vídeo grabado por la unidad de cámara ex203, el vídeo recibido por la antena ex201 o elementos similares, un cuerpo principal ex204 que incluye un conjunto de teclas de funcionamiento, una unidad de salida de voz ex208 como un altavoz para la salida de voz, una unidad de entrada de voz ex205 como un micrófono para la entrada de voz, un soporte de almacenamiento ex207 para almacenar datos codificados y descodificados como los datos de imágenes fijas o en movimiento tomadas por la cámara o imágenes fijas o en movimiento de los mensajes de correo electrónico recibidos, y una unidad de ranura ex206 para conectar el soporte de almacenamiento ex207 al teléfono móvil ex115. El soporte de almacenamiento ex207 incluye un elemento de memoria flash, un tipo de EEPROM (memoria de sólo lectura programable y eliminable por electricidad) que es una memoria no volátil reescribible y que se puede borrar eléctricamente, en una carcasa de plástico como una tarjeta SD.
En este sistema de suministro de contenido ex100, el contenido (por ejemplo, un video de música en directo) tomado por los usuarios utilizando la cámara ex113, la cámara ex116 o similar se codifican de la misma manera que en las realizaciones anteriores y se transmiten al servidor de flujo ex103, mientras que el servidor de flujo ex103 realiza la distribución del flujo de los datos del contenido a los clientes bajo solicitud. Los clientes incluyen el equipo ex111, la PDA ex112, la cámara ex113, el teléfono móvil ex114, etc., que son capaces de descodificar los datos codificados anteriormente mencionados. El sistema de suministro de contenido ex100 es un sistema en el que los clientes pueden recibir y reproducir de esta manera los datos codificados y, además, pueden recibir, descodificar y reproducir los datos en tiempo real para realizar su retransmisión personal.
Asimismo, el teléfono móvil ex115 se explicará en referencia a la Figura 23. En el teléfono móvil ex115, hay conectados una unidad de control principal ex311 para el control general de cada unidad de la unidad de visualización ex202 y el cuerpo principal ex204 a una unidad del circuito de alimentación ex310, una unidad de control de entrada de operaciones ex304, una unidad de codificación de imágenes ex312, una unidad de interfaz de cámara ex303, una unidad de control LCD (pantalla de cristal líquido) ex302, una unidad de descodificación de imágenes ex309, una unidad de multiplexación/desmultiplexación ex308, una unidad de grabación/reproducción ex307, una unidad de circuito de módem ex306 y una unidad de procesamiento de voz ex305 conectados entre sí a través de un bus síncrono ex313. Cuando se pulsa una tecla en un extremo de la llamada o se enciende una llave por medio de la operación de un usuario, la unidad del circuito de alimentación ex310 suministra a las unidades respectivas energía desde un conjunto de baterías para activar el teléfono móvil equipado con cámara digital ex115 al estado de preparación. En el teléfono móvil ex115, bajo el control de la unidad de control principal ex311, que incluye una CPU, ROM y RAM, la unidad de procesamiento de voz ex305 convierte las señales de voz recibidas por la unidad de entrada de voz ex205 en modo de conversación en datos de voz digitales, la unidad del circuito de módem ex306 realiza el procesamiento de espectro ensanchado de los datos de voz digitales, y la unidad del circuito de envío/recepción ex301 realiza la conversión digital-analógica y la transformación de frecuencia de los datos para poder transmitirlos a través de la antena ex201. Además, en el teléfono móvil ex115, los datos recibidos por la antena ex201 en modo de conversación se amplifican y se realiza la transformación de frecuencia y la conversión analógica-digital, la unidad del circuito de módem ex306 realiza el procesamiento de espectro ensanchado inverso de los datos, y la unidad de procesamiento de voz ex305 los convierte en datos de voz analógicos, de manera que el resultado se envía a través de la unidad de salida de voz ex208. Asimismo, cuando se transmite un mensaje de correo electrónico en el modo de comunicación de datos, los datos de texto del correo electrónico introducidos utilizando las teclas de funcionamiento en el cuerpo principal ex204 se envían a la unidad de control principal ex311 a través de la unidad de control de entrada de operaciones ex304. En la unidad de control principal ex311, después de que la unidad de circuito de módem ex306 realice el procesamiento de espectro ensanchado de los datos de texto y la unidad del circuito de envió/recepción realice la conversión digital-analógica y la transformación de frecuencia de dichos datos, el resultado se transmite a la estación base ex110 a través de la antena ex201.
Cuando se transmiten datos de imágenes en el modo de comunicación de datos, los datos de imágenes tomados por la unidad de cámara ex203 se proporcionan a la unidad de codificación de imágenes ex312 a través de la unidad de interfaz de cámara ex303. Cuando los datos de imágenes no se transmiten, los datos de imágenes tomadas por medio de la unidad de cámara ex203 también se muestran directamente en la unidad de visualización 202 a través de la unidad de la interfaz de cámara ex303 y la unidad de control LCD ex302.
La unidad de codificación de imágenes ex312 comprime y codifica los datos de imágenes proporcionados desde la unidad de cámara ex203 por medio del procedimiento de codificación tal y como se muestra en las realizaciones anteriormente mencionadas con el fin de transformarlos en datos de imágenes codificadas, y los envía a una unidad de multiplexación/desmultiplexación ex308. En este momento, el teléfono móvil ex115 envía las voces recibidas por medio de la unidad de entrada de voz ex205 durante la toma de imágenes por medio de la unidad de cámara ex203 a la unidad de multiplexación/desmultiplexación ex308 como datos de voz digitales a través de la unidad de procesamiento de voz ex305.
La unidad de multiplexación/desmultiplexación ex308 multiplexa los datos de imágenes codificadas proporcionados desde la unidad de codificación de imágenes ex312 y los datos de voz proporcionados por la unidad de procesamiento de voz ex305 por medio de un procedimiento predeterminado, la unidad de circuito de módem ex306 realiza el procesamiento de espectro ensanchado de los datos multiplexados resultantes, y la unidad del circuito de envío/recepción ex301 realiza la conversión digital-analógica y la transformación de frecuencia del resultado para la transmisión a través de la antena ex201.
En cuanto a la recepción de los datos de un archivo de imágenes en movimiento que está enlazado a un sitio web o similar en el modo de comunicación de datos, la unidad de circuito de módem ex306 realiza el procesamiento de espectro ensanchado inverso de los datos recibidos desde la estación base ex110 a través de la antena ex201, y envía los datos multiplexados resultantes a la unidad de multiplexación/desmultiplexación ex308.
Con el fin de descodificar los datos multiplexados recibidos a través de la antena ex201, la unidad de multiplexación/desmultiplexación ex308 desmultiplexa los datos multiplexados en datos de imágenes codificadas y datos de voz, y proporciona los datos de imágenes codificadas a la unidad de descodificación de imágenes ex309 y los datos de voz a la unidad de procesamiento de voz respectivamente a través del bus síncrono ex313.
A continuación, la unidad de descodificación de imágenes ex309 descodifica los datos de imágenes codificadas por medio del procedimiento de descodificación emparejado con el procedimiento de codificación que se muestra en las realizaciones anteriormente mencionadas con el fin de generar datos de imágenes en movimiento reproducidas, y proporciona estos datos a la unidad de visualización ex202 a través de la unidad de control LCD ex302, y de esta manera, se visualizan los datos de imágenes en movimiento incluidos en el archivo de imágenes en movimiento enlazado a un sitio Web, por ejemplo. Al mismo tiempo, la unidad de procesamiento de voz ex305 convierte los datos de voz en datos de voz analógicos y proporciona estos datos a la unidad de salida de voz ex208 y, de esta manera, se reproducen los datos de voz incluidos en un archivo de imágenes en movimiento enlazado a un sitio Web, por ejemplo.
La presente invención no está limitada al sistema anteriormente mencionado. Últimamente se conocen noticias sobre sistemas de difusión digital por satélite o terrestre y, al menos el procedimiento de codificación de imágenes o el procedimiento de descodificación de imágenes de las realizaciones anteriormente mencionadas se pueden incorporar a dicho sistema de difusión digital, tal y como se muestra en la Figura 24. Más específicamente, se transmite un flujo de bits codificado de información de vídeo desde una estación de difusión ex409 a (o se comunica con) un satélite de difusión ex410 por medio de ondas de radio. Tras su recepción, el satélite de difusión ex410 transmite ondas de radio para la difusión, una antera doméstica ex406 con una función de recepción de difusiones por satélite recibe las ondas de radio, y un aparato como un televisor (receptor) ex401 o un aparato que integra codificador y descodificador (STB) ex407 descodifica el flujo de bits codificado para la reproducción. El aparato de descodificación de imágenes que se muestra en las realizaciones anteriormente mencionadas se puede implementar en el aparato de reproducción ex403 para leer un flujo de bits codificado grabado en un medio de almacenamiento ex402 que es un medio de grabación como, por ejemplo, un CD o DVD, y lo descodifica. En este caso, las señales de video reproducidas se muestran en un monitor ex404. También está concebido para implementar el aparato de descodificación de imágenes del aparato que integra codificador y descodificador ex407 conectado a un cable ex405 para una televisión por cable o la antena ex405 para la difusión por tierra y/o por satélite de manera que se reproducen en un monitor ex408 del televisor ex401. El aparato de descodificación de imágenes se puede incorporar en el televisor, pero no en el aparato que integra codificador y descodificador. O bien, un coche ex412 que tenga una antena ex411, puede recibir señales desde el satélite ex410, la estación base ex107 o similar para reproducir imágenes en movimiento en un aparato de visualización como un dispositivo de navegación de automóvil ex413 o un dispositivo similar en el coche ex412.
Asimismo, el aparato de codificación de imágenes que se muestra en las realizaciones anteriores puede codificar señales de imágenes para grabar en un medio de grabación. Como ejemplo concreto, hay un grabador ex420, como un grabador de DVD, para grabar señales de imágenes en un disco DVD ex421 y un grabador de discos para grabarlos en un disco duro. También se pueden grabar en una tarjeta SD ex422. Si el grabador ex420 incluye el aparato de descodificación de imágenes, tal y como se muestra en las realizaciones mencionadas anteriormente, las señales de imágenes grabadas en el disco DVD ex421 o en la tarjeta SD ex422 se pueden reproducir para verlas en el monitor ex408.
Hay que tener en cuenta que, aunque la estructura del dispositivo de navegación de automóvil ex413 sea la misma que la del teléfono móvil ex115 que se muestra en la Figura 23, por ejemplo, se puede concebir la estructura sin la unidad cámara ex203, la unidad de interfaz de cámara ex303 y la unidad de codificación de imágenes ex312, fuera de las unidades, tal y como se muestra en la Figura 23. Lo mismo se aplica al ordenador ex111, el televisor (receptor) ex401 y otros.
Además, se pueden concebir tres tipos de implementaciones para un terminal como el del teléfono móvil ex114 mencionado anteriormente; un terminal de envio/recepción equipado con un codificador y un descodificador, un terminal de envió equipado sólo con un codificador y un terminal de recepción equipado sólo con un descodificador.
Tal y como se ha descrito anteriormente, es posible realizar cualquier tipo de aparato y sistema tal y como se muestra en la presente realización implementando el procedimiento de codificación y descodificación tal y como se muestra en la presente descripción.
Aplicación industrial
El aparato de codificación de imágenes de acuerdo con la presente invención es útil como aparato de codificación de imágenes que está incluido en un ordenador personal, una PDA y un teléfono móvil con una función de comunicación.
Además, el aparato de descodificación de imágenes de acuerdo con la presente invención es útil como aparato de descodificación de imágenes que está incluido en un ordenador personal, una PDA y un teléfono móvil con una función de comunicación.

Claims (4)

1. Un procedimiento para codificar una imagen, comprendiendo dicho procedimiento:
codificar una imagen de entrada (Img) para obtener datos codificados (CodedRes)
descodificar los datos codificados (CodedRes) para obtener una imagen descodificada (Recon); filtrar la imagen descodificada (Recon); y
almacenar la imagen descodificada (FilteredImg2), que está filtrada, para uso como una imagen de referencia (Ref) para codificar una imagen de entrada siguiente (Img), caracterizado por
el filtrado de una imagen descodificada (Recon) se realiza cuando la imagen descodificada (Recon) ha de usarse como imagen de referencia (Ref) y no se realiza cuando la imagen descodificada no ha de usarse como imagen de referencia (Ref).
2. El procedimiento para codificar una imagen, según la reivindicación 1,
en el que si la imagen descodificada (Recon) ha de usarse o no como imagen de referencia (Ref) se determina basándose en un tipo de imagen de la imagen de entrada (Img).
3. Un procedimiento para descodificar una imagen, comprendiendo dicho procedimiento:
descodificar datos codificados (CodedRes) para obtener una imagen descodificada (Recon);
filtrar la imagen descodificada (Recon); y
almacenar la imagen descodificada (FilteredImg2), que es filtrada, para uso como imagen de referencia (Ref) para descodificar una imagen codificada siguiente (Bitstream),
caracterizado por
el filtrado de una imagen descodificada (Recon) se realiza cuando la imagen descodificada (Recon) ha de usarse como imagen de referencia (Ref), y no se realiza cuando la imagen descodificada no ha de usarse como imagen de referencia (Ref).
4. El procedimiento para descodificar una imagen, según la reivindicación 3,
en el que si la imagen descodificada (Recon) ha de usarse o no como imagen de referencia (Ref) se determina basándose en un tipo de imagen de la imagen descodificada (Recon).
ES06011479T 2001-09-12 2002-09-11 Procedimiento de codificacion y descodificacion de imagenes. Expired - Lifetime ES2335677T3 (es)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2001-276280 2001-09-12
JP2001276280 2001-09-12

Publications (1)

Publication Number Publication Date
ES2335677T3 true ES2335677T3 (es) 2010-03-31

Family

ID=19101005

Family Applications (6)

Application Number Title Priority Date Filing Date
ES10171925T Expired - Lifetime ES2375553T3 (es) 2001-09-12 2002-09-11 Procedimiento de descodificación de im�?genes.
ES10180885T Expired - Lifetime ES2387357T3 (es) 2001-09-12 2002-09-11 Aparato de transmisión y recepción
ES06011479T Expired - Lifetime ES2335677T3 (es) 2001-09-12 2002-09-11 Procedimiento de codificacion y descodificacion de imagenes.
ES04027152T Expired - Lifetime ES2271762T3 (es) 2001-09-12 2002-09-11 Procedimiento de codificacion de imagenes y procedimiento de descodificacion de imagenes.
ES10171924T Expired - Lifetime ES2379337T3 (es) 2001-09-12 2002-09-11 Procedimiento de codificación de imágenes
ES02763018T Expired - Lifetime ES2238593T3 (es) 2001-09-12 2002-09-11 Procedimiento de descodificacion de imagenes.

Family Applications Before (2)

Application Number Title Priority Date Filing Date
ES10171925T Expired - Lifetime ES2375553T3 (es) 2001-09-12 2002-09-11 Procedimiento de descodificación de im�?genes.
ES10180885T Expired - Lifetime ES2387357T3 (es) 2001-09-12 2002-09-11 Aparato de transmisión y recepción

Family Applications After (3)

Application Number Title Priority Date Filing Date
ES04027152T Expired - Lifetime ES2271762T3 (es) 2001-09-12 2002-09-11 Procedimiento de codificacion de imagenes y procedimiento de descodificacion de imagenes.
ES10171924T Expired - Lifetime ES2379337T3 (es) 2001-09-12 2002-09-11 Procedimiento de codificación de imágenes
ES02763018T Expired - Lifetime ES2238593T3 (es) 2001-09-12 2002-09-11 Procedimiento de descodificacion de imagenes.

Country Status (14)

Country Link
US (8) US7126989B2 (es)
EP (8) EP2164267B1 (es)
JP (13) JP3756475B2 (es)
KR (5) KR100804902B1 (es)
CN (6) CN1738429A (es)
AT (6) ATE337683T1 (es)
BR (1) BRPI0205988B1 (es)
CA (3) CA2428081C (es)
DE (4) DE60234962D1 (es)
DK (2) DK1387585T3 (es)
ES (6) ES2375553T3 (es)
MX (1) MXPA03004077A (es)
PT (1) PT2296382E (es)
WO (1) WO2003026314A1 (es)

Families Citing this family (133)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1738429A (zh) * 2001-09-12 2006-02-22 松下电器产业株式会社 图像解码方法
US8625680B2 (en) * 2003-09-07 2014-01-07 Microsoft Corporation Bitstream-controlled post-processing filtering
WO2005073807A1 (en) * 2004-01-29 2005-08-11 Kla-Tencor Technologies Corporation Computer-implemented methods for detecting defects in reticle design data
US7430336B2 (en) * 2004-05-06 2008-09-30 Qualcomm Incorporated Method and apparatus for image enhancement for low bit rate video compression
US8503530B2 (en) * 2004-05-27 2013-08-06 Zhourong Miao Temporal classified filtering for video compression
JP2006047993A (ja) * 2004-07-08 2006-02-16 Sharp Corp データ変換装置
CN1306820C (zh) * 2004-07-29 2007-03-21 联合信源数字音视频技术（北京）有限公司 视频解码芯片分数像素滤波系统及其滤波方法
US9560367B2 (en) * 2004-09-03 2017-01-31 Nokia Technologies Oy Parameter set and picture header in video coding
JP4904034B2 (ja) * 2004-09-14 2012-03-28 ケーエルエー−テンカー コーポレイション レチクル・レイアウト・データを評価するための方法、システム及び搬送媒体
EP1641274B1 (en) * 2004-09-23 2013-06-05 Panasonic Corporation Video coding employing an image de-graining loop-filter
EP1646243B1 (en) 2004-09-30 2009-06-24 Kabushiki Kaisha Toshiba Information processing apparatus and program for use in the same
US7729529B2 (en) * 2004-12-07 2010-06-01 Kla-Tencor Technologies Corp. Computer-implemented methods for detecting and/or sorting defects in a design pattern of a reticle
KR100679035B1 (ko) * 2005-01-04 2007-02-06 삼성전자주식회사 인트라 ｂｌ 모드를 고려한 디블록 필터링 방법, 및 상기방법을 이용하는 다 계층 비디오 인코더/디코더
JP4191729B2 (ja) * 2005-01-04 2008-12-03 三星電子株式会社 イントラｂｌモードを考慮したデブロックフィルタリング方法、及び該方法を用いる多階層ビデオエンコーダ／デコーダ
DE102005032601A1 (de) * 2005-01-07 2006-07-20 Heidelberger Druckmaschinen Ag Druckmaschine
US7403562B2 (en) * 2005-03-09 2008-07-22 Eg Technology, Inc. Model based rate control for predictive video encoder
JP5019054B2 (ja) * 2005-04-27 2012-09-05 日本電気株式会社 画像復号方法、その装置及びプログラム
JP4672431B2 (ja) * 2005-05-13 2011-04-20 パナソニック株式会社 フィルタ特性異常隠蔽処理装置
US7769225B2 (en) * 2005-08-02 2010-08-03 Kla-Tencor Technologies Corp. Methods and systems for detecting defects in a reticle design pattern
US7570796B2 (en) 2005-11-18 2009-08-04 Kla-Tencor Technologies Corp. Methods and systems for utilizing design data in combination with inspection data
US8041103B2 (en) * 2005-11-18 2011-10-18 Kla-Tencor Technologies Corp. Methods and systems for determining a position of inspection data in design data space
US7676077B2 (en) 2005-11-18 2010-03-09 Kla-Tencor Technologies Corp. Methods and systems for utilizing design data in combination with inspection data
JP4643437B2 (ja) * 2005-12-27 2011-03-02 株式会社東芝 情報処理装置
JP4643453B2 (ja) * 2006-01-10 2011-03-02 株式会社東芝 情報処理装置及び情報処理装置の動画像復号方法
JP4828950B2 (ja) * 2006-01-31 2011-11-30 株式会社東芝 動画像復号装置
JP4825524B2 (ja) * 2006-01-31 2011-11-30 株式会社東芝 動画像復号装置および動画像復号方法
WO2007094329A1 (ja) * 2006-02-15 2007-08-23 Nec Corporation 動画像処理装置、動画像処理方法、および動画像処理プログラム
US7873224B2 (en) * 2006-03-01 2011-01-18 Qualcomm Incorporated Enhanced image/video quality through artifact evaluation
WO2007099480A2 (en) * 2006-03-03 2007-09-07 Koninklijke Philips Electronics N.V. Differential coding with lossy embedded compression
JP4417919B2 (ja) * 2006-03-31 2010-02-17 株式会社東芝 画像符号化装置及び画像復号化装置
US9014280B2 (en) 2006-10-13 2015-04-21 Qualcomm Incorporated Video coding with adaptive filtering for motion compensated prediction
WO2008048489A2 (en) * 2006-10-18 2008-04-24 Thomson Licensing Method and apparatus for video coding using prediction data refinement
US9277243B2 (en) * 2006-11-08 2016-03-01 Thomson Licensing Methods and apparatus for in-loop de-artifact filtering
KR100835661B1 (ko) * 2006-12-07 2008-06-09 부산대학교 산학협력단 다수 필터 결정법을 이용한 동영상 압축 부호화 장치 및방법
PL2123051T3 (pl) 2006-12-18 2011-04-29 Koninl Philips Electronics Nv Kompresja i dekompresja obrazu
WO2008077100A2 (en) 2006-12-19 2008-06-26 Kla-Tencor Corporation Systems and methods for creating inspection recipes
US8194968B2 (en) * 2007-01-05 2012-06-05 Kla-Tencor Corp. Methods and systems for using electrical information for a device being fabricated on a wafer to perform one or more defect-related functions
CN101227601B (zh) * 2007-01-15 2011-09-14 飞思卡尔半导体公司 在视频再现中进行几何变换的方法和设备
FI120855B (fi) * 2007-02-15 2010-03-31 Kone Corp Laitteisto ja menetelmä moottorin tehonsyötön ohjaamiseksi
WO2008130367A1 (en) * 2007-04-19 2008-10-30 Thomson Licensing Adaptive reference picture data generation for intra prediction
US20080267297A1 (en) * 2007-04-26 2008-10-30 Polycom, Inc. De-blocking filter arrangements
US7738093B2 (en) 2007-05-07 2010-06-15 Kla-Tencor Corp. Methods for detecting and classifying defects on a reticle
US7962863B2 (en) 2007-05-07 2011-06-14 Kla-Tencor Corp. Computer-implemented methods, systems, and computer-readable media for determining a model for predicting printability of reticle features on a wafer
US8213704B2 (en) * 2007-05-09 2012-07-03 Kla-Tencor Corp. Methods and systems for detecting defects in a reticle design pattern
WO2009001793A1 (ja) * 2007-06-26 2008-12-31 Kabushiki Kaisha Toshiba 画像符号化と画像復号化の方法及び装置
US7796804B2 (en) * 2007-07-20 2010-09-14 Kla-Tencor Corp. Methods for generating a standard reference die for use in a die to standard reference die inspection and methods for inspecting a wafer
US7711514B2 (en) * 2007-08-10 2010-05-04 Kla-Tencor Technologies Corp. Computer-implemented methods, carrier media, and systems for generating a metrology sampling plan
WO2009026358A1 (en) * 2007-08-20 2009-02-26 Kla-Tencor Corporation Computer-implemented methods for determining if actual defects are potentially systematic defects or potentially random defects
WO2009032255A2 (en) * 2007-09-04 2009-03-12 The Regents Of The University Of California Hierarchical motion vector processing method, software and devices
AU2008352118A1 (en) * 2008-03-07 2009-09-11 Kabushiki Kaisha Toshiba Dynamic image encoding/decoding method and device
KR101431545B1 (ko) * 2008-03-17 2014-08-20 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
KR101591825B1 (ko) * 2008-03-27 2016-02-18 엘지전자 주식회사 비디오 신호의 인코딩 또는 디코딩 방법 및 장치
US9848209B2 (en) 2008-04-02 2017-12-19 Microsoft Technology Licensing, Llc Adaptive error detection for MPEG-2 error concealment
US8139844B2 (en) * 2008-04-14 2012-03-20 Kla-Tencor Corp. Methods and systems for determining a defect criticality index for defects on wafers
US9788018B2 (en) 2008-06-30 2017-10-10 Microsoft Technology Licensing, Llc Error concealment techniques in video decoding
BRPI0915971A2 (pt) * 2008-07-25 2019-02-26 Sony Corp aparelho e método de processamento de imagem
KR101841897B1 (ko) 2008-07-28 2018-03-23 케이엘에이-텐코어 코오포레이션 웨이퍼 상의 메모리 디바이스 영역에서 검출된 결함들을 분류하기 위한 컴퓨터-구현 방법들, 컴퓨터-판독 가능 매체, 및 시스템들
EP2152009A1 (en) * 2008-08-06 2010-02-10 Thomson Licensing Method for predicting a lost or damaged block of an enhanced spatial layer frame and SVC-decoder adapted therefore
KR101377527B1 (ko) * 2008-10-14 2014-03-25 에스케이 텔레콤주식회사 복수 개의 참조 픽처의 움직임 벡터 부호화/복호화 방법 및장치와 그를 이용한 영상 부호화/복호화 장치 및 방법
US9131241B2 (en) * 2008-11-25 2015-09-08 Microsoft Technology Licensing, Llc Adjusting hardware acceleration for video playback based on error detection
JP2012054618A (ja) * 2008-11-26 2012-03-15 Hitachi Ltd 動画像符号化装置及び符号化方法、動画像復号化装置及び復号化方法
JP2010157949A (ja) * 2009-01-05 2010-07-15 Toshiba Corp 動画像符号化／復号化方法及び装置
US8775101B2 (en) 2009-02-13 2014-07-08 Kla-Tencor Corp. Detecting defects on a wafer
US8204297B1 (en) 2009-02-27 2012-06-19 Kla-Tencor Corp. Methods and systems for classifying defects detected on a reticle
US8112241B2 (en) * 2009-03-13 2012-02-07 Kla-Tencor Corp. Methods and systems for generating an inspection process for a wafer
WO2010137322A1 (ja) * 2009-05-29 2010-12-02 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法
WO2010143858A2 (ko) * 2009-06-09 2010-12-16 삼성전자주식회사 대용량의 영상을 효율적으로 전송하는 영상 부호화 장치 및 영상 복호화 장치
ATE544270T1 (de) * 2009-06-18 2012-02-15 Alcatel Lucent Verfahren und vorrichtung zur überlastungsregelung
US20120087595A1 (en) * 2009-06-19 2012-04-12 Mitsubishi Electric Corporation Image encoding device, image decoding device, image encoding method, and image decoding method
KR102542401B1 (ko) 2009-07-07 2023-06-13 인터디지털 브이씨 홀딩스 인코포레이티드 영역 기반 필터에 대해서 협력적 분할 부호화하는 방법 및 장치
US8340510B2 (en) 2009-07-17 2012-12-25 Microsoft Corporation Implementing channel start and file seek for decoder
JP5359657B2 (ja) * 2009-07-31 2013-12-04 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム
JP5233897B2 (ja) * 2009-07-31 2013-07-10 ソニー株式会社 画像処理装置および方法
JP5604825B2 (ja) 2009-08-19 2014-10-15 ソニー株式会社 画像処理装置および方法
US20110123121A1 (en) * 2009-10-13 2011-05-26 Sony Corporation Method and system for reducing blocking artefacts in compressed images and video signals
DE102009050312B4 (de) * 2009-10-22 2015-01-22 Airbus Operations Gmbh Digitales Rundsendeverfahren
JP5340415B2 (ja) * 2009-12-07 2013-11-13 三菱電機株式会社 画像符号化装置、画像復号装置、画像符号化方法、および画像復号方法
WO2011096071A1 (ja) * 2010-02-05 2011-08-11 株式会社 東芝 動画像符号化装置及び動画像復号化装置
CN102792690B (zh) * 2010-03-09 2016-06-15 汤姆森特许公司 基于分类环路滤波器的方法和装置
KR101529992B1 (ko) 2010-04-05 2015-06-18 삼성전자주식회사 픽셀 그룹별 픽셀값 보상을 위한 비디오 부호화 방법과 그 장치, 및 픽셀 그룹별 픽셀값 보상을 위한 비디오 복호화 방법과 그 장치
US20110249742A1 (en) * 2010-04-07 2011-10-13 Apple Inc. Coupled video pre-processor and codec including reference picture filter that minimizes coding expense during pre-processing mode transitions
JP5393573B2 (ja) * 2010-04-08 2014-01-22 株式会社Ｎｔｔドコモ 動画像予測符号化装置、動画像予測復号装置、動画像予測符号化方法、動画像予測復号方法、動画像予測符号化プログラム、及び動画像予測復号プログラム
WO2011134641A1 (en) 2010-04-26 2011-11-03 Panasonic Corporation Filtering mode for intra prediction inferred from statistics of surrounding blocks
KR20110123651A (ko) 2010-05-07 2011-11-15 한국전자통신연구원 생략 부호화를 이용한 영상 부호화 및 복호화 장치 및 그 방법
JP5805991B2 (ja) * 2010-05-07 2015-11-10 トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ ピクチャ・シーケンスを符号化する方法、それに対応する再構築方法、および当該シーケンスを表す符号化データのストリーム
JP2012009934A (ja) * 2010-06-22 2012-01-12 Sony Corp 画像処理装置と画像処理方法
JP5066232B2 (ja) * 2010-07-28 2012-11-07 株式会社東芝 情報処理装置および画像処理方法
US8781781B2 (en) 2010-07-30 2014-07-15 Kla-Tencor Corp. Dynamic care areas
KR101373814B1 (ko) * 2010-07-31 2014-03-18 엠앤케이홀딩스 주식회사 예측 블록 생성 장치
EP2622857A1 (en) * 2010-10-01 2013-08-07 Dolby Laboratories Licensing Corporation Optimized filter selection for reference picture processing
WO2012049876A1 (ja) * 2010-10-12 2012-04-19 株式会社 東芝 動画像符号化方法および復号方法
JP2012085211A (ja) * 2010-10-14 2012-04-26 Sony Corp 画像処理装置および方法、並びにプログラム
US9170211B2 (en) 2011-03-25 2015-10-27 Kla-Tencor Corp. Design-based inspection using repeating structures
JP5653307B2 (ja) * 2011-06-27 2015-01-14 日本電信電話株式会社 画像符号化方法，画像符号化装置およびそのプログラム
KR101956284B1 (ko) 2011-06-30 2019-03-08 엘지전자 주식회사 보간 방법 및 이를 이용한 예측 방법
CN106941608B (zh) 2011-06-30 2021-01-15 三菱电机株式会社 图像编码装置及方法、图像解码装置及方法
JP5159927B2 (ja) * 2011-07-28 2013-03-13 株式会社東芝 動画像復号装置及び動画像復号方法
JP2014526818A (ja) * 2011-09-09 2014-10-06 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 低複雑度のデブロッキングフィルタ決定
US9087367B2 (en) 2011-09-13 2015-07-21 Kla-Tencor Corp. Determining design coordinates for wafer defects
US8831334B2 (en) 2012-01-20 2014-09-09 Kla-Tencor Corp. Segmentation for wafer inspection
WO2013111593A1 (ja) 2012-01-27 2013-08-01 パナソニック株式会社 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置及び画像符号化復号装置
WO2013147495A1 (ko) * 2012-03-26 2013-10-03 엘지전자 주식회사 스케일러블 비디오 인코딩/디코딩 방법 및 장치
US8826200B2 (en) 2012-05-25 2014-09-02 Kla-Tencor Corp. Alteration for wafer inspection
CN108401157B (zh) * 2012-10-01 2022-06-24 Ge视频压缩有限责任公司 可伸缩视频解码器、编码器及可伸缩视频解码、编码方法
US9189844B2 (en) 2012-10-15 2015-11-17 Kla-Tencor Corp. Detecting defects on a wafer using defect-specific information
CN104885462A (zh) * 2012-12-28 2015-09-02 日本电信电话株式会社 视频编码装置和方法、视频解码装置和方法、以及其程序
US9053527B2 (en) 2013-01-02 2015-06-09 Kla-Tencor Corp. Detecting defects on a wafer
US9134254B2 (en) 2013-01-07 2015-09-15 Kla-Tencor Corp. Determining a position of inspection system output in design data space
US9311698B2 (en) 2013-01-09 2016-04-12 Kla-Tencor Corp. Detecting defects on a wafer using template image matching
KR102019534B1 (ko) 2013-02-01 2019-09-09 케이엘에이 코포레이션 결함 특유의, 다중 채널 정보를 이용한 웨이퍼 상의 결함 검출
US10034008B2 (en) 2013-03-06 2018-07-24 Samsung Electronics Co., Ltd. Method and apparatus for scalable video encoding using switchable de-noising filtering, and method and apparatus for scalable video decoding using switchable de-noising filtering
JP5573997B2 (ja) * 2013-03-14 2014-08-20 ソニー株式会社 画像復号装置および方法、記録媒体、並びにプログラム
JP5573996B2 (ja) * 2013-03-14 2014-08-20 ソニー株式会社 画像符号化装置および方法、記録媒体、並びにプログラム
US9865512B2 (en) 2013-04-08 2018-01-09 Kla-Tencor Corp. Dynamic design attributes for wafer inspection
US9310320B2 (en) 2013-04-15 2016-04-12 Kla-Tencor Corp. Based sampling and binning for yield critical defects
WO2014174591A1 (ja) * 2013-04-23 2014-10-30 富士通株式会社 画像符号化装置、画像符号化方法、及び撮像装置
CN105765979B (zh) * 2013-09-24 2019-08-09 Vid拓展公司 用于可缩放视频编码的层间预测
JP2015144423A (ja) 2013-12-25 2015-08-06 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． 画像符号化装置、画像復号化装置、それらの方法、プログラム及び画像処理システム
KR20170035832A (ko) * 2014-07-18 2017-03-31 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치, 및 콘텐츠 전송 방법
FR3027480B1 (fr) * 2014-10-17 2020-10-23 Institut Nat Des Sciences Appliquees De Rennes Decodeur, procede et systeme de decodage de flux multimedia
JP6396782B2 (ja) * 2014-12-11 2018-09-26 日本電信電話株式会社 デブロッキング処理方法、デブロッキング処理装置、コンピュータプログラム及び記録媒体
EP3041233A1 (en) * 2014-12-31 2016-07-06 Thomson Licensing High frame rate-low frame rate transmission technique
CN107852493A (zh) 2015-05-12 2018-03-27 三星电子株式会社 用于样点值补偿的图像编码方法和装置以及用于样点值补偿的图像解码方法和装置
US9736081B2 (en) 2015-06-04 2017-08-15 At&T Intellectual Property I, L.P. Apparatus and method to improve compression and storage data
CN115134608A (zh) 2015-06-11 2022-09-30 杜比实验室特许公司 使用自适应去块滤波编码和解码图像的方法及其装置
KR102398232B1 (ko) * 2015-06-16 2022-05-16 광운대학교 산학협력단 참조 영상 필터링을 통한 비디오 신호 복호화 방법 및 장치
JP6229770B2 (ja) * 2016-07-25 2017-11-15 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
WO2018069787A1 (en) 2016-10-14 2018-04-19 Semiconductor Energy Laboratory Co., Ltd. Semiconductor device, broadcasting system, and electronic device
CN116170590A (zh) * 2017-08-10 2023-05-26 夏普株式会社 图像滤波装置、图像解码装置以及图像编码装置
CN107820128B (zh) 2017-11-10 2019-12-27 深圳创维－Rgb电子有限公司 Usb录制功能定制方法、装置及计算机可读存储介质
GB2574380A (en) * 2018-05-30 2019-12-11 Realvnc Ltd Processing image data
WO2021025080A1 (ja) * 2019-08-07 2021-02-11 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 符号化装置、復号装置、符号化方法、および復号方法
US10929958B1 (en) * 2019-11-15 2021-02-23 Novatek Microelectronics Corp. Method and image processing device for image blurring

Family Cites Families (47)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NL8503007A (nl) 1985-11-04 1987-06-01 Philips Nv Weergeefinrichting met lage stuurspanningen.
US4706260A (en) * 1986-11-07 1987-11-10 Rca Corporation DPCM system with rate-of-fill control of buffer occupancy
JPH0710103B2 (ja) * 1987-06-11 1995-02-01 三菱電機株式会社 画像符号化伝送装置
US4941043A (en) * 1988-06-14 1990-07-10 Siemens Aktiengesellschaft Method for reducing blocking artifacts in video scene coding with discrete cosine transformation (DCT) at a low data rate
DE3839642A1 (de) * 1988-11-24 1990-05-31 Bosch Gmbh Robert Einrichtung zur codierung von videosignalen
JPH0714211B2 (ja) 1989-07-14 1995-02-15 国際電信電話株式会社 動画像符号化のブロック歪除去方法および装置
JPH03127580A (ja) * 1989-10-13 1991-05-30 Matsushita Electric Ind Co Ltd 動き補償フレーム間符号化装置
JPH03136586A (ja) * 1989-10-23 1991-06-11 Nec Corp 圧縮符号化装置
EP0444918B1 (en) * 1990-02-28 1996-06-05 Victor Company Of Japan, Limited Data compression apparatus
JPH0431490A (ja) 1990-05-28 1992-02-03 I B Ii:Kk 土壤改質剤の製造方法
JPH04246763A (ja) 1991-01-31 1992-09-02 Nec Corp マルチプロセッサ回路
JP2643636B2 (ja) 1991-04-18 1997-08-20 松下電器産業株式会社 信号処理方法
US5337088A (en) 1991-04-18 1994-08-09 Matsushita Electric Industrial Co. Ltd. Method of correcting an image signal decoded in block units
JP3169263B2 (ja) * 1992-05-18 2001-05-21 日本電信電話株式会社 動画像データの符号化装置
JPH063878A (ja) * 1992-06-17 1994-01-14 Ricoh Co Ltd 電子写真装置
JPH0638197A (ja) * 1992-06-30 1994-02-10 Sony Corp 符号器、復号器、および符号化方法
JP2624087B2 (ja) * 1992-07-02 1997-06-25 松下電器産業株式会社 映像信号復号化方法
JP3165296B2 (ja) * 1992-12-25 2001-05-14 三菱電機株式会社 フレーム間符号化処理方式及びフレーム間符号化処理方法及び符号化制御方式
US5329318A (en) * 1993-05-13 1994-07-12 Intel Corporation Method for optimizing image motion estimation
JP3495766B2 (ja) * 1993-10-01 2004-02-09 テキサス インスツルメンツ インコーポレイテツド 画像処理方法
JPH07231449A (ja) * 1994-02-21 1995-08-29 Sony Corp 画像信号符号化装置及び画像信号復号化装置
JP2673778B2 (ja) 1994-02-22 1997-11-05 国際電信電話株式会社 動画像の復号化における雑音低減装置
KR0165497B1 (ko) * 1995-01-20 1999-03-20 김광호 블럭화현상 제거를 위한 후처리장치 및 그 방법
JPH08214309A (ja) * 1995-02-07 1996-08-20 Canon Inc 画像信号復号装置
JPH0993132A (ja) * 1995-09-27 1997-04-04 Toshiba Corp 符号化・復号化装置及び方法
US6041145A (en) * 1995-11-02 2000-03-21 Matsushita Electric Industrial Co., Ltd. Device and method for smoothing picture signal, device and method for encoding picture and device and method for decoding picture
JPH09284748A (ja) * 1996-04-19 1997-10-31 Sony Corp 双方向情報伝送システムおよび双方向情報伝送方法
JPH09289642A (ja) * 1996-04-23 1997-11-04 Matsushita Electric Ind Co Ltd ビデオ信号符号化方法、ビデオ信号復号化方法及び装置
JPH1070717A (ja) * 1996-06-19 1998-03-10 Matsushita Electric Ind Co Ltd 画像符号化装置及び画像復号化装置
GB2317525B (en) * 1996-09-20 2000-11-08 Nokia Mobile Phones Ltd A video coding system
JP3392335B2 (ja) * 1996-11-26 2003-03-31 松下電器産業株式会社 動画像可変ビットレート符号化装置、動画像可変ビットレート符号化方法、および動画像可変ビットレート符号化プログラム記録媒体
JP3872849B2 (ja) * 1996-11-28 2007-01-24 松下電器産業株式会社 動画像符号化装置
JP3961600B2 (ja) 1996-12-27 2007-08-22 ソニー株式会社 ブロック歪低減方法及び装置
JPH10224790A (ja) * 1997-02-07 1998-08-21 Matsushita Electric Ind Co Ltd 圧縮伸張された画像中のブロック状ノイズを除去するフィルタおよびフィルタ方法
DE69806297T3 (de) * 1997-03-26 2007-03-29 Matsushita Electric Industrial Co., Ltd., Kadoma Bilddekodiergerät
US6078695A (en) * 1997-06-13 2000-06-20 Matsushita Electric Industrial Co., Ltd. Shape coding method and shape decoding method
KR100244290B1 (ko) * 1997-09-09 2000-02-01 구자홍 저속 전송에서의 동영상을 위한 디블록킹 필터링 방법
JP4186242B2 (ja) * 1997-12-26 2008-11-26 ソニー株式会社 画像信号処理装置及び画像信号処理方法
JP2000125260A (ja) * 1998-10-15 2000-04-28 Toshiba Corp 動画像伝送サーバおよび同サーバを用いた動画像伝送システム並びに動画像伝送制御方法
US6192161B1 (en) 1999-02-12 2001-02-20 Sony Corporation Method and apparatus for adaptive filter tap selection according to a class
US6748113B1 (en) * 1999-08-25 2004-06-08 Matsushita Electric Insdustrial Co., Ltd. Noise detecting method, noise detector and image decoding apparatus
FI117534B (fi) * 2000-01-21 2006-11-15 Nokia Corp Menetelmä digitaalisten kuvien suodattamiseksi ja suodatin
JP3664626B2 (ja) 2000-02-10 2005-06-29 シャープ株式会社 フィルタ装置
JP2001275110A (ja) * 2000-03-24 2001-10-05 Matsushita Electric Ind Co Ltd 動的なループ及びポストフィルタリングのための方法及び装置
JP2003032685A (ja) 2001-07-16 2003-01-31 Sony Corp ノイズ低減方法および映像処理装置
CN1738429A (zh) * 2001-09-12 2006-02-22 松下电器产业株式会社 图像解码方法
US7319949B2 (en) * 2003-05-27 2008-01-15 Microsoft Corporation Unilingual translator

Also Published As

Publication number Publication date
MXPA03004077A (es) 2003-09-04
KR100845067B1 (ko) 2008-07-09
ATE507677T1 (de) 2011-05-15
US8194759B2 (en) 2012-06-05
US8184722B2 (en) 2012-05-22
JP4246763B2 (ja) 2009-04-02
PT2296382E (pt) 2012-01-19
DE60214248T2 (de) 2007-08-23
EP1694076A1 (en) 2006-08-23
ATE454016T1 (de) 2010-01-15
JP4709318B2 (ja) 2011-06-22
BR0205988A (pt) 2003-08-26
ATE540531T1 (de) 2012-01-15
JP2011101423A (ja) 2011-05-19
EP1515567A2 (en) 2005-03-16
BRPI0205988B1 (pt) 2017-01-17
JP4621811B2 (ja) 2011-01-26
ATE337683T1 (de) 2006-09-15
KR20060089755A (ko) 2006-08-09
KR100656296B1 (ko) 2006-12-11
CN100515090C (zh) 2009-07-15
CN1968412B (zh) 2012-05-30
EP2296382A1 (en) 2011-03-16
EP1515567B1 (en) 2006-08-23
DE60214248T8 (de) 2007-12-27
JP2012016048A (ja) 2012-01-19
EP2278817B1 (en) 2012-05-23
EP2164267B1 (en) 2011-04-27
JP3756475B2 (ja) 2006-03-15
JP2015006001A (ja) 2015-01-08
JP2007151150A (ja) 2007-06-14
ES2238593T3 (es) 2005-09-01
JP2010193490A (ja) 2010-09-02
US7583731B2 (en) 2009-09-01
DE60203492D1 (de) 2005-05-04
JP2006014301A (ja) 2006-01-12
KR100801385B1 (ko) 2008-02-05
CN1784018A (zh) 2006-06-07
JP4031490B2 (ja) 2008-01-09
JP2010268507A (ja) 2010-11-25
DK1387585T3 (da) 2005-07-25
EP1694076B1 (en) 2009-12-30
JP2015006000A (ja) 2015-01-08
ES2379337T3 (es) 2012-04-25
US7944977B2 (en) 2011-05-17
CN1968413B (zh) 2012-05-30
KR100743818B1 (ko) 2007-07-30
ES2375553T9 (es) 2012-06-07
CA2582665C (en) 2012-04-24
US20060239351A1 (en) 2006-10-26
WO2003026314A1 (en) 2003-03-27
ATE292357T1 (de) 2005-04-15
JP2010259101A (ja) 2010-11-11
JP2011125070A (ja) 2011-06-23
KR20030062333A (ko) 2003-07-23
US20060239350A1 (en) 2006-10-26
CN1738429A (zh) 2006-02-22
CA2582665A1 (en) 2003-03-27
JP4722234B2 (ja) 2011-07-13
EP1387585B1 (en) 2005-03-30
US7126989B2 (en) 2006-10-24
CA2582664A1 (en) 2003-03-27
EP1387585A4 (en) 2004-03-03
ES2387357T3 (es) 2012-09-20
US7961793B2 (en) 2011-06-14
US20120213276A1 (en) 2012-08-23
EP2164267A1 (en) 2010-03-17
CA2428081A1 (en) 2003-03-27
EP2293579B1 (en) 2012-01-25
US20060239352A1 (en) 2006-10-26
JP4847612B2 (ja) 2011-12-28
US20060188017A1 (en) 2006-08-24
DE60239904D1 (de) 2011-06-09
JP2014017844A (ja) 2014-01-30
CN1493157A (zh) 2004-04-28
ATE543339T1 (de) 2012-02-15
EP2293579A1 (en) 2011-03-09
KR20060133115A (ko) 2006-12-22
CN1968413A (zh) 2007-05-23
ES2271762T3 (es) 2007-04-16
JP5468048B2 (ja) 2014-04-09
CA2582664C (en) 2012-04-24
EP1387585A1 (en) 2004-02-04
JP5755364B2 (ja) 2015-07-29
JP2003179933A (ja) 2003-06-27
DK2296382T3 (da) 2012-01-30
EP2278817A1 (en) 2011-01-26
EP2290987A1 (en) 2011-03-02
KR20060089754A (ko) 2006-08-09
EP2296382B1 (en) 2012-01-04
US7929616B2 (en) 2011-04-19
US20090103614A1 (en) 2009-04-23
CN1968411A (zh) 2007-05-23
US20080069210A1 (en) 2008-03-20
EP2290987B1 (en) 2013-02-20
KR100804902B1 (ko) 2008-02-20
CA2428081C (en) 2008-01-22
EP1515567A3 (en) 2005-03-23
DE60234962D1 (de) 2010-02-11
ES2375553T3 (es) 2012-03-02
CN1968412A (zh) 2007-05-23
KR20060081886A (ko) 2006-07-13
US20040032908A1 (en) 2004-02-19
DE60203492T2 (de) 2006-01-26
DE60214248D1 (de) 2006-10-05
JP2009100481A (ja) 2009-05-07

Similar Documents

Publication Publication Date Title
ES2335677T3 (es) Procedimiento de codificacion y descodificacion de imagenes.
CA2448064E (en) Filtering strength determination method, moving picture coding method and moving picture decoding method
ES2754625T3 (es) Método de extracción de distorsión de codificación
ES2467940T3 (es) Método de extracción de distorsión de codificación
JP4130783B2 (ja) 動きベクトル符号化方法および動きベクトル復号化方法
EP1569460A1 (en) Motion compensation method, image encoding method, and image decoding method
EP1418762A1 (en) Moving image encoding method, moving image decoding method, and data recording medium
JP4142929B2 (ja) 動画像符号化方法および動画像符号化装置
JP2009044772A (ja) 画像符号化方法、装置、画像復号化方法およびプログラム
JP4230188B2 (ja) 可変長符号化方法および可変長復号化方法
JP4313710B2 (ja) 画像符号化方法および画像復号化方法
JP2003169337A (ja) 画像符号化方法および画像復号化方法
JP4580626B2 (ja) フィルタリング強度の決定方法、動画像符号化方法、および動画像復号化方法
JP4767992B2 (ja) 可変長符号化方法および可変長復号化方法
KR20050018730A (ko) 필터링 강도의 결정 방법, 동화상 부호화 방법 및 동화상복호화 방법
JP4580902B2 (ja) フィルタリング強度の決定方法、動画像符号化方法、および動画像復号化方法
JP2004048632A (ja) 動画像符号化方法および動画像復号化方法
JP2004088731A (ja) 動きベクトル導出方法、動画像符号化方法、および動画像復号化方法
JP4580903B2 (ja) フィルタリング強度の決定方法、動画像符号化方法、および動画像復号化方法
JP4503959B2 (ja) 画像符号化方法
JP2006287972A (ja) フィルタリング強度の決定方法、動画像符号化方法、および動画像復号化方法