ES2277350T3 - Sistema de codificacion y decodificacion de imagenes en movimiento que contienen objetos de formas arbitrarias. - Google Patents

Sistema de codificacion y decodificacion de imagenes en movimiento que contienen objetos de formas arbitrarias. Download PDF

Info

Publication number
ES2277350T3
ES2277350T3 ES97303590T ES97303590T ES2277350T3 ES 2277350 T3 ES2277350 T3 ES 2277350T3 ES 97303590 T ES97303590 T ES 97303590T ES 97303590 T ES97303590 T ES 97303590T ES 2277350 T3 ES2277350 T3 ES 2277350T3
Authority
ES
Spain
Prior art keywords
data
mesh
image
contour
movement
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
ES97303590T
Other languages
English (en)
Inventor
Kang-Wook Chun
Byeung-Woo Jeon
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Application granted granted Critical
Publication of ES2277350T3 publication Critical patent/ES2277350T3/es
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/537Motion estimation other than block-based
    • H04N19/54Motion estimation other than block-based using feature points or meshes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43Hardware specially adapted for motion estimation or compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/537Motion estimation other than block-based
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

UN APARATO DE CODIFICACION DE IMAGENES EN MOVIMIENTO PARA UNA IMAGEN ACTUAL QUE CONTIENE UN OBJETO Y QUE UTILIZA UNA REPRESENTACION RETICULAR PARA CODIFICAR UNA IMAGEN EN MOVIMIENTO. EL CODIFICADOR INCLUYE UN EXTRACTOR DE OBJETOS (10) QUE EXTRAE EL OBJETO CONTENIDO EN LA IMAGEN ACTUAL RECIBIDA Y PROPORCIONA DATOS DEL CONTORNO DEL OBJETO EXTRAIDO. UN CODIFICADOR PREDICTIVO (12 DATOS DE LA IMAGEN ACTUAL, DATOS DE UNA IMAGEN DE REFERENCIA PREVIAMENTE ALMACENADOS, Y PUNTOS DE CONTROL DE RETICULAS QUE DIVIDEN A LA IMAGEN ACTUAL Y A LA DE REFERENCIA, Y GENERAN INFORMACION DEL MOVIMIENTO RELATIVA A LOS PUNTOS DE CONTROL, DATOS DIFERENCIALES ENTRE AMBAS IMAGENES Y DATOS PREDICTIVOS DE LA IMAGEN. UN GENERADOR DE DIFERENCIAS DEL OBJETO (20, 22) SELECCIONA DATOS DIFERENCIALES EN UNA REGION DEL OBJETO DE ENTRE TODOS LOS DATOS DIFERENCIALES SUMINISTRADOS POR EL CODIFICADOR PREDICTIVO CON EL FIN DE CODIFICAR LOS DATOS DIFERENCIALES SELECCIONADOS EN BASE A LOS DATOS DE CONTORNO SUMINISTRADOS POR EL EXTRACTOR DE OBJETO, Y GENERA LOS DATOS DIFERENCIALES SELECCIONADOS Y LOS DATOS DIFERENCIALES CODIFICADOS. UN SUMADOR (24) RECIBE Y SUMA LOS DATOS DE IMAGEN PREDICTIVA SUMINISTRADOS POR EL CODIFICADOR PREDICTIVO Y LOS DATOS DIFERENCIALES SELECCIONADOS DEL GENERADOR DE DIFERENCIAS DEL OBJETO, Y ACTUALIZA LOS DATOS DE IMAGEN DE REFERENCIA PREALMACENADOS EN EL CODIFICADOR PREDICTIVO UTILIZANDO LOS DATOS DE IMAGEN OBTENIDOS COMO RESULTADO DE LA SUMA.

Description

Sistema de codificación y decodificación de imágenes en movimiento que contienen objetos de formas arbitrarias.
La presente invención se refiere a un sistema de decodificación de una imagen en movimiento que contiene un objeto arbitrario.
Recientemente, los estándares internacionales para transmitir una imagen en movimiento a una tasa de bits muy baja han progresado para aplicarse a un sistema de videoconferencia o videoteléfono. Para transmitir una imagen en movimiento a una tasa de bits muy baja, una técnica de codificación orientada al objeto para dividir un objeto significativo en la imagen en movimiento y transmitir el objeto dividido está ampliamente sometida a estudio. La técnica de codificación orientada al objeto está reconocida como una técnica esencial para transmitir una imagen en movimiento a una tasa de bits muy baja. En la codificación de imágenes en movimiento orientada al objeto se requiere una técnica de predicción del movimiento para eliminar la correlación temporal con respecto a un objeto y también se necesita una técnica de predicción del movimiento más precisa para aumentar la eficiencia de la codificación.
Hötter M: "Optimization and Efficiency of an Object-Oriented Analysis-Synthesis Coder" IEEE Transactions on Circuits and Systems for video Technology, (Transacciones en circuitos y sistemas para la tecnología de video) EE.UU. IEEE, Inc. Nueva York, vol 4, nº 2, 1 de abril de 1994 (01-04-1994), páginas 181-194, describe un codificador de síntesis-análisis orientado al objeto basándose en un modelo fuente de objetos 2D flexibles en movimiento y codifica objetos de forma arbitraria en lugar de bloques rectangulares. Los objetos se describen mediante tres conjuntos de parámetros que definen su movimiento, forma y color. Los conjuntos de parámetros de cada objeto se obtienen mediante un análisis de imágenes y se codifican mediante una codificación de parámetros que dependen del objeto. Utilizando los conjuntos de parámetros codificados, una imagen puede reconstruirse mediante la síntesis de imágenes basadas en el modelo. Este documento forma la parte pre-caracterizadora de las reivindicaciones independientes.
Salembier P et al: "Very low bit rate video coding using active triangular mesh", IEEE international conference on acoustics, speech, and signal processing - proceedings (ICASSP), ("Codificación de video a tasa de bits muy baja utilizando malla triangular activa", Conferencia internacional sobre procedimientos de procedimiento acústico, de voz y de señales del IEEE) EE.UU. Nueva York, IEEE, vol. Conf. 21, 7 de mayo de 1996 (07-05-1996), páginas 2060-2063, describe un esquema de codificación de video para aplicaciones a tasa de bits muy baja que se basa en mallas activas usadas para representar y codificar de manera eficiente un cuadro de imagen completo. En particular se describe un esquema de codificación de malla triangular activa.
Un objetivo de la presente invención es proporcionar un aparato y método de decodificación para decodificar datos que representan un objeto arbitrario en una imagen en movimiento, en el que el objeto arbitrario extraído de una imagen se representa como mallas y se utilizan puntos de control de las mallas para la codificación de predicción del movimiento.
Según la presente invención se proporciona un aparato y método tal como se expone en las reivindicaciones adjuntas. Las características preferidas de la invención resultarán evidentes a partir de las reivindicaciones dependientes, y la descripción que sigue.
En un aspecto de la presente invención se proporciona un aparato de decodificación de imágenes que comprende: medios de entrada de información para recibir información de contorno de un objeto y un vector de movimiento; medios de restauración del contorno de objetos para restaurar un contorno del objeto utilizando dicha información de contorno del objeto; y medios de compensación del movimiento para realizar una transformación espacial del objeto con respecto al vector de movimiento, caracterizado porque; el vector de movimiento es un vector de movimiento en un punto de nodo de una malla, el aparato comprende adicionalmente medios de producción de mallas para restaurar una estructura de malla para el objeto utilizando dicha información de contorno de dicho objeto; y los medios de compensación del movimiento realizan una transformación espacial como una unidad de la malla utilizando dicho vector de movimiento en el punto de nodo de la malla y la estructura de malla para el objeto de referencia, para producir un objeto de predicción.
En otro aspecto de la presente invención se proporciona un método de decodificación de datos codificados para restaurar un objeto visual de los mismos, comprendiendo dicho método: obtener una pluralidad de vectores de movimiento desde dichos datos codificados; y realizar una transformación espacial utilizando dicha pluralidad de vectores de movimiento para restaurar dicho objeto visual, caracterizado porque; dichos datos codificados se producen a partir de una representación de malla de un objeto visual y que comprende datos de malla e información de contorno, representando dicha pluralidad de vectores de movimiento un movimiento relativo entre los respectivos de una pluralidad de puntos de nodos de dicha representación de malla de dicho objeto visual y posiciones espaciales correspondientes de un objeto de referencia predeterminado; comprendiendo dicho método adicionalmente la etapa de reproducir dicha representación de malla a partir de los datos de malla y la información de contorno de los datos codificados; y comprendiendo dicha etapa de realización la realización de la transformación espacial de la representación de malla reproducida utilizando dicha pluralidad de vectores de movimiento para restaurar dicho objeto visual.
Para un mejor entendimiento de la invención, y para mostrar cómo pueden llevarse a cabo las realizaciones de la misma, ahora se hará referencia, a modo de ejemplo, a los dibujos esquemáticos adjuntos en los que:
La figura 1 es un diagrama de bloques que muestra un aparato de codificación de imágenes en movimiento como antecedente a una realización preferida de la presente invención;
La figura 2 es un diagrama de bloques detallado del productor de mallas de la figura 1;
La figura 3 es un diagrama de bloques que muestra un aparato de decodificación de imágenes en movimiento preferido para decodificar datos codificados mediante el aparato de la figura 1;
La figura 4 es un diagrama de bloques que muestra un aparato de codificación de imágenes en movimiento como antecedente a otra realización preferida de la presente invención; y
La figura 5 es un diagrama de bloques que muestra un aparato de decodificación de imágenes en movimiento preferido para decodificar datos codificados mediante el aparato de la figura 4.
Las realizaciones preferidas de la presente invención se describirán detalladamente con referencia a los dibujos acompañantes.
En la figura 1 que muestra un aparato de codificación de imágenes en movimiento según una realización preferida de la presente invención, un extractor 10 de objetos recibe datos de imágenes digitales desde una fuente externa, y extrae un objeto arbitrario a partir de una imagen actual representada mediante los datos de imágenes recibidos. Entonces, el extractor 10 de objetos genera datos de contorno de objetos que representan información de contorno del objeto extraído. Los datos de contorno de objetos se suministran a un codificador 20 de datos diferenciales y un aparato de decodificación de la figura 3 que va a describirse posteriormente. Los datos de contorno de objetos contienen posiciones espaciales de píxeles que determinan un contorno del objeto o posiciones espaciales de segmentos compuestos de los píxeles. El extractor 10 de objetos emite los datos de contorno de objetos y los datos de imágenes actuales recibidos a un generador 12 de mallas. El generador 12 de mallas discrimina una zona de objetos desde la imagen actual basándose en los datos de contorno de objetos, y realiza un procesamiento de señales para la representación de malla regular con respecto a la imagen en la zona de objetos. La estructura y funcionamiento detallado del generador 12 de mallas se describirá con referencia a la figura 2.
Un formador 121 de bloques en el generador 12 de mallas recibe los datos de imágenes actuales y los datos de contorno de objetos emitidos desde el extractor 10 de objetos. El formador 121 de bloques divide la imagen actual representada mediante los datos de imágenes recibidos en bloques de imágenes, presentando cada uno un tamaño predeterminado, y suministra datos de bloques de imágenes que representan bloques de imágenes y los datos de contorno de objetos a un selector 123 de bloques. El selector 123 de bloques selecciona bloques de imágenes que contienen los datos de imágenes en la región de objetos entre todos los bloques de imágenes que constituyen la imagen actual basándose en los datos de contorno del objeto. Los datos que representan los bloques de imágenes seleccionados y los datos de contorno de objetos se emiten a un compositor 125 de imágenes de objetos. En este caso, no se seleccionan los bloques de imágenes que tienen solamente datos de imágenes que no pertenecen a la zona de objetos. Por tanto, los datos que representan los bloques de imágenes que no se seleccionan no se suministran al compositor 125 de imágenes de objetos. El compositor 125 de imágenes de objetos que recibe los datos de los bloques de imágenes seleccionados funde los bloques de imágenes seleccionados y suministra los datos que representan la imagen de objetos generada del resultado de la fusión y los datos de contorno de objetos a un compositor 127 de malla. El compositor 127 de malla que recibe los datos de imágenes de objetos divide la imagen de objetos en una malla rectangular regular o una malla triangular regular.
En el caso en el que una imagen se divida utilizando mallas rectangulares regulares, el compositor 127 de malla divide la imagen de objetos en cuadrículas ("grids") presentando cada una un tamaño predeterminado diferente de un tamaño de bloque. En este caso, una cuadrícula tiene un tamaño menor que el de un bloque. Entonces, el compositor 127 de malla determina los vértices contenidos en la zona de objetos entre los vértices de las cuadrículas obtenidas por la división como puntos de control, y determina las cuadrículas que tienen los puntos de control como mallas rectangulares regulares. El compositor 127 de malla emite datos de malla rectangular que contienen los datos de imágenes que comprenden los puntos de control de las mallas rectangulares regulares en una parte 14 de compensación y cálculo del movimiento de la figura 1. En este caso, los datos de imágenes que comprenden cada punto de control incluyen la posición de un punto de control y un valor gris en la posición del punto de control, y las posiciones de los píxeles que tienen posiciones adyacentes al punto de control y los valores grises. El compositor 127 de malla también emite los datos de imágenes actuales a un calculador 18 de valores de diferencia.
En el caso de que una imagen se divida utilizando mallas triangulares regulares, el compositor 127 de malla divide cada malla rectangular regular obtenida a través del proceso anterior en dos mallas triangulares regulares basándose en la similitud de los datos de imágenes en la malla. Para juzgar la similitud de los datos de imágenes de cada malla rectangular regular, el compositor 127 de malla compara un valor de diferencia entre valores de píxeles correspondientes a dos puntos de control que se sitúan en una dirección diagonal de 45º en la malla rectangular regular, con un valor de diferencia entre valores de píxeles correspondientes a dos puntos de control situados en una dirección diagonal de –45º en los mismos en tamaño. El compositor 127 de malla divide la malla rectangular en la dirección diagonal que corresponde al valor de diferencia menor. Como resultado, se generan dos mallas triangulares regulares por cada malla rectangular. El compositor 127 de malla emite los datos de malla triangular que contienen los datos de imágenes que comprenden los puntos de control de las mallas triangulares regulares a la parte 14 de compensación y cálculo del movimiento. El compositor 127 de malla emite también los datos de imágenes actuales a un calculador 18 de valores de diferencia.
La parte 14 de compensación y cálculo del movimiento realiza un cálculo y compensación del movimiento utilizando los datos de imágenes de referencia almacenados en la memoria 16 y los datos de malla que comprenden la imagen de objetos en la imagen actual recibida desde el formador 12 de mallas. La parte 14 de compensación y cálculo del movimiento compara en primer lugar la magnitud de los datos de imágenes implicados que comprenden los puntos de control de cada malla con los datos de imágenes de referencia almacenados en la memoria 16. Cada punto de control corresponde a un único píxel en el caso ideal. Es decir, un punto de control se expresa mediante una posición espacial de un píxel y un valor gris. Sin embargo es realmente difícil averiguar exactamente una posición que tiene datos de imágenes similares al punto de control en la imagen de referencia mediante la comparación sólo de píxel a píxel. Por tanto, los datos de imágenes que comprenden cada punto de control son datos de imágenes que comprenden un píxel que corresponde al punto de control y una pluralidad de píxeles cercanos al píxel correspondiente al punto de control tal como se describe en el compositor 127 de malla. La parte 14 de compensación y cálculo del movimiento determina una posición en la imagen de referencia que tiene los datos de imágenes que son más similares a los datos de imágenes del punto de control basándose en el resultado de la comparación de la magnitud de datos. Entonces, la parte 14 de compensación y cálculo del movimiento determina un vector de movimiento que representa el movimiento entre un punto de control y una posición correspondiente en la imagen de referencia. Si los vectores de movimiento se determinan con respecto a todos los puntos de control, la parte 14 de compensación y cálculo del movimiento realiza una transformación espacial tal como una deformación de imágenes utilizando los vectores de movimiento determinados, y genera una imagen de predicción con respecto a la imagen actual. Los datos que representan la imagen de predicción se emiten al calculador 18 de valores de diferencia y al sumador 24. La información de movimiento que representa los vectores de movimiento correspondientes a todos los puntos de control se suministran al aparato de la figura 3. Dado que la transformación espacial descrita anteriormente es muy conocida en el campo de un procesamiento de imágenes digital se omitirá la descripción detallada de la misma.
El calculador 18 de valores de diferencia calcula los valores de diferencia entre los datos de imágenes actuales recibidos desde el generador 12 de mallas y los datos de imágenes de predicción emitidos desde la parte 14 de compensación y cálculo del movimiento. El cálculo del valor de diferencia se realiza entre los píxeles que tienen posiciones correspondientes con respecto a la imagen actual y la imagen de predicción, y los datos de valores de diferencia resultantes se emiten a un codificador 20 de datos diferenciales. El codificador 20 de datos diferenciales codifica los datos de valores de diferencia en la zona de objetos determinada mediante los datos de contorno de objetos del extractor 10 de objetos entre los datos de valores de diferencia suministrados desde el calculador 18 de valores de diferencia. Si los datos codificados por el codificador 20 de datos diferenciales se definen como datos de valores de diferencia en la zona de objetos, solamente se codifican los datos de valores de diferencia que comprenden el objeto de la imagen actual. Por consiguiente, el codificador 20 de datos diferenciales puede realizar una operación de codificación más eficiente con respecto a la imagen actual. El codificador 20 de datos diferenciales también codifica los datos de contorno de objetos recibidos desde el extractor 10 de objetos. Para codificar los datos de valores de diferencia y los datos de contorno de objetos en la región de objetos, el codificador 20 de datos diferenciales usa un método de codificación de transformada ortogonal muy conocido que incluye una transformada de coseno discreta (DCT) etc. Los datos de contorno de objetos codificados, los datos de valores de diferencia codificados y la información de movimiento se transmiten a un aparato de decodificación de la figura 3 que va a describirse más tarde a través de un canal de transmisión (no mostrado), o se graban en un medio de almacenamiento usado en el aparato de decodificación de la figura 3.
Un decodificador 22 de datos diferenciales que recibe los datos de valores de diferencia codificados del codificador 20 de datos diferenciales restaura los datos de valores de diferencia a través de un procedimiento inverso del procesamiento de señales del codificador 20 de datos diferenciales. El sumador 24 suma los datos de imágenes de predicción emitidos desde la parte 14 de compensación y cálculo del movimiento y los datos de valores de diferencia del decodificador 22 de datos diferenciales, y emite el resultado sumado a la memoria 16. Los datos emitidos desde el sumador 24 son datos de la imagen actual desde la que se ha realizado la compensación y cálculo del movimiento, y se almacenan en la memoria 16 que va a utilizarse como datos de imágenes de referencia para la compensación del movimiento y cálculo del movimiento con respecto a una imagen siguiente.
Un aparato de decodificación de imágenes en movimiento mostrado en la figura 3 recibe los datos de valores de diferencia codificados, los datos de contorno de objetos codificados y la información de movimiento generada por el aparato de la figura 1. Un restaurador 30 de contorno de objetos decodifica los datos de contorno de objetos codificados. Los datos de contorno de objetos se emiten a un generador 34 de mallas. El generador 34 de mallas que recibe los datos de contorno de objetos divide toda la imagen en cuadrículas que presentan en cada caso un tamaño predeterminado, determina vértices existentes en la zona de objetos determinada por los datos de contorno de objetos como puntos de control entre los vértices de las cuadrículas obtenidos por la división, y determina las cuadrículas que tienen los puntos de control como mallas rectangulares. En el caso en el que el generador 12 de mallas de la figura 1 está diseñado para generar datos de malla que representan las mallas rectangulares, el generador 34 de mallas también genera datos de malla que representan mallas rectangulares. Mientras tanto, en el caso de que el generador 12 de mallas de la figura 1 está diseñado para generar los datos de malla que comprenden las mallas triangulares, el generador 34 de mallas genera datos de mallas que comprenden las mallas triangulares, el generador 34 de mallas suministra los datos de malla generados a un compensador 38 de movimiento y suministra los datos de contorno de objetos a un
sumador 36.
Mientras tanto, un decodificador 32 de datos diferenciales decodifica los datos de valores de diferencia codificados generados por el aparato de la figura 1. Los datos de valores de diferencia se emiten al sumador 36. El compensador 38 de movimiento recibe los datos de malla emitidos desde el generador 34 de mallas y la información de movimiento generado por el aparato de la figura 1. El compensador 38 de movimiento genera datos de imágenes de predicción utilizando puntos de control contenidos en los datos de malla correspondientes a una imagen actual, vectores de movimiento correspondientes a todos los puntos de control y contenidos en la información de movimiento, y los datos de imágenes de referencia almacenados en la memoria 40. Para generar los datos de imágenes de predicción el compensador 38 de movimiento usa un vector de movimiento correspondiente a cada punto de control para averiguar una posición en la imagen de referencia que es más similar al punto de control, y utiliza entonces una transformación espacial tal como una deformación de imágenes para generar datos de imágenes de predicción para una imagen actual. El compensador 38 de movimiento emite los datos de imágenes de predicción generados a un sumador 36.
El sumador 36 recibe los datos de imágenes de predicción emitidos desde el compensador 38 de movimiento y los datos de valores de diferencia emitidos desde el decodificador 32 de datos diferenciales. El sumador 36 suma solamente datos de imágenes de predicción en la región de objetos determinada por los datos de contorno de objetos suministrados desde el generador 34 de mallas entre todos los datos de imágenes de predicción a los datos de valores de diferencia correspondientes a los mismos. Al hacer esto, los datos de imágenes con respecto a un objeto en la imagen actual pueden restaurarse. Los datos emitidos al sumador 36 se almacenan en la memoria 40 que va a utilizarse como datos de imágenes de referencia para la compensación del movimiento de una imagen siguiente.
La figura 4 es un diagrama de bloques que muestra un aparato de codificación de imágenes en movimiento según otra realización preferida de la presente invención. Dado que los bloques de la figura 4 que tienen los mismos números de referencia que los bloques en la figura 1 realizan las mismas funciones que los de los bloques correspondientes de la figura 1 se omitirá la descripción detallada de los mismos. El aparato de la figura 1 utiliza las mallas obtenidas desde la imagen actual y los datos de imágenes de referencia almacenados en la memoria 16 para generar los datos de imágenes de predicción. Por el contrario, el aparato de la figura 4 utiliza mallas obtenidas desde los datos de imagen de referencia almacenados en una memoria 48 y datos de imágenes actuales de entrada externa para generar datos de imágenes de predicción.
Los datos de imágenes actuales externos se introducen en el extractor 10 de objetos y una parte 44 de compensación y cálculo del movimiento. El extractor 10 de objetos genera datos de contorno de objetos usando los datos de imágenes actuales. Los datos de contorno de objetos se emiten al codificador 20 de datos diferenciales. Un generador 42 de mallas lee los datos de imágenes de referencia almacenados en la memoria 48 y divide toda la referencia en mallas irregulares. Para una división de este tipo, el generador 42 de mallas divide la imagen de referencia en mallas rectangulares regulares y divide las mallas rectangulares regulares de nuevo en mallas triangulares regulares. Dado que el método para generar la malla rectangular regular y la malla triangular regular es el mismo que un procesamiento de señales del generador 12 de mallas de la figura 1 se omitirá la descripción detallada del mismo.
Otra función del generador 42 de mallas genera una malla irregular a partir de mallas rectangulares regulares o mallas triangulares regulares. El procedimiento de generar la malla irregular es el siguiente. El generador 42 de mallas elimina una seleccionada de entre los puntos de control de las mallas triangulares regulares, y realiza la triangulación con respecto a la zona desde la que se elimina el punto de control. Las mallas triangulares generadas mediante la triangulación tienen formas triangulares irregulares. Una eliminación y triangulación del punto de control de este tipo se repite hasta que el número de los puntos de control restantes sea idéntico a un valor predeterminado. Para eliminar un punto de control particular, un valor de diferencia cuantificado entre la capacidad descriptiva de las imágenes obtenidas cuando el punto de control se ha eliminado desde una región de soporte del punto de control y ésa cuando no se ha eliminado el antiguo. En este caso, la región de soporte es una región rodeada por puntos de control cercanos hacia un punto de control correspondiente y líneas que conectan los puntos de control cercanos. Un punto de control que corresponde al valor de diferencia más pequeño entre los valores de diferencia cuantificados de la capacidad descriptiva de la imagen apenas contribuye a la capacidad descriptiva de la imagen y por consiguiente se elimina. La técnica de generación de mallas irregulares se da a conocer en un documento titulado "Irregular Triangular Mesh Representation Based on Adaptative Control Point Removal" publicado en el simposio de SPIE de 1996 sobre comunicaciones visuales y procesamiento de imágenes de Kang W. Chun, Byungwoo Jean y Jae M. Jo. El generador 42 de mallas emite información sobre las mallas triangulares irregulares generadas finalmente, es decir, los datos de mallas irregulares que representan los puntos de control restantes y las mallas irregulares rodeadas por los puntos de control, a una parte 44 de compensación y cálculo del movimiento. El generador 42 de mallas también emite los datos de imágenes de referencia leídos desde la memoria 48 a un calculador 46 de valores de diferencia.
La parte 44 de compensación y cálculo del movimiento recibe los datos de imágenes actuales suministrados de manera externa y los datos de mallas irregulares del generador 42 de mallas, y lee los datos de imágenes de referencia almacenados en la memoria 48. La parte 44 de compensación y cálculo del movimiento determina posiciones correspondientes en la imagen actual que tiene los datos de imágenes que son más similares a los puntos de control de las mallas irregulares. Después de que las posiciones correspondientes están determinadas, la parte 44 de compensación y cálculo del movimiento genera vectores de movimiento entre los puntos de control y las posiciones correspondientes y usa la transformación espacial para generar una imagen de predicción utilizando la imagen actual. Los datos de imágenes de predicción se suministran al calculador 46 de valores de diferencia y al sumador 24, y la información de movimiento que representa los vectores de movimiento se transmite a través de un canal de transmisión o se graban en un medio de almacenamiento que va a utilizarse para un aparato de decodificación.
El calculador 46 de valores de diferencia genera datos de valores de diferencia entre los datos de imágenes de referencia recibidos desde el generador 42 de mallas y los datos de imágenes de predicción desde la parte 44 de compensación y cálculo del movimiento para suministrar los datos de valores de diferencia a un codificador 20 de datos diferenciales. El codificador 20 de datos diferenciales codifica los datos de contorno de objetos emitidos desde el extractor 10 de objetos y los datos de valores de diferencia emitidos desde el calculador 46 de valores de diferencia. El codificador 20 de datos diferenciales procesa los datos de entrada de la misma manera que los de los bloques correspondientes de la figura 1. Por tanto, los datos codificados emitidos desde el codificador 20 de datos diferenciales incluyen datos obtenidos codificando los datos de valores de diferencia en la zona de objetos y los datos de contorno de objetos codificados. Los datos codificados se transmiten a un receptor a través de un canal de transmisión (no mostrado), o se graban en un medio de grabación (no mostrado). Los datos de valores de diferencia codificados entre los datos codificados se transmiten al decodificador 22 de datos diferenciales.
El decodificador 22 de datos diferenciales decodifica los datos de valores de diferencia codificados en el codificador 20 de datos diferenciales para suministrar los datos de valores de diferencia decodificados al sumador 24. El sumador 24 suma los datos de imágenes de predicción suministrados desde la parte 44 de compensación y cálculo del movimiento y los datos de valores de diferencia del decodificador 22 de datos diferenciales y los datos resultantes se almacenan en la memoria 48, para utilizarse como datos de imágenes de referencia para el cálculo del movimiento y compensación del movimiento para una imagen siguiente.
La figura 5 muestra un aparato de decodificación de imágenes en movimiento que corresponden al aparato de la figura 4. Dado que los bloques que tienen los mismos números de referencia que los bloques de la figura 3 entre los bloques mostrados en la figura 5 tienen las mismas funciones que las de los bloques de la figura 3 se omitirá la descripción detallada de los mismos. Los datos de contorno de objetos codificados se introducen en un restaurador 30 de contorno de objetos y la información de movimiento se introduce en un compensador 52 de movimiento. Por tanto, los datos de valores de diferencia codificados se suministran al decodificador 32 de datos diferenciales. El decodificador 32 de datos diferenciales decodifica los datos de valores de diferencia codificados para emitir los datos de valores de diferencia decodificados a un sumador 56. El restaurador 30 de contorno de objetos decodifica los datos de contorno de objetos codificados para emitir los datos de contorno de objetos decodificados a un generador 51 de mallas. El generador 51 de mallas lee los datos de imágenes de referencia almacenados en una memoria 54 y divide la región de objetos en la imagen de referencia determinada por los datos de contorno de objetos a través del mismo procesamiento de señales que el del generador 42 de mallas de la figura 4 en mallas irregulares. Los datos de malla emitidos desde el generador 51 de mallas se suministran al compensador 52 de movimiento. El compensador 52 de movimiento utiliza los datos de malla, la información de movimiento y los datos de imágenes de referencia almacenados en la memoria 54 para generar los datos de imágenes de predicción. El sumador 56 suma los datos de imágenes de predicción y los datos de valores de diferencia emitidos desde el decodificador 32 de datos diferenciales. La imagen actual resultante se almacena en la memoria 54 que va a utilizarse como datos de imágenes de referencia para la compensación del movimiento de una imagen siguiente.
Tal como se describe anteriormente, el sistema de codificación y decodificación según la presente invención realiza un cálculo del movimiento y compensación del movimiento basándose en una representación de mallas con respecto a un objeto arbitrario contenido en una imagen. Como resultado, puede realizarse una codificación más eficiente comparada con un caso en el que el cálculo del movimiento y la compensación del movimiento se realizan con respecto a toda la imagen. Por tanto, puede diseñarse un aparato apropiado para las aplicaciones que requieren una tasa de bits muy baja.
Aunque se han mostrado y descrito algunas realizaciones preferidas, los expertos en la técnica apreciarán que podrían realizarse diversos cambios y modificaciones sin desviarse del alcance de la invención, tal como se define en las reivindicaciones
adjuntas.

Claims (3)

1. Aparato de decodificación de imágenes, que comprende:
medios de entrada de información para recibir información de contorno de un objeto y de vectores de movimiento;
medios (30) de restauración de contorno de objetos para restaurar un contorno del objeto utilizando dicha información de contorno del objeto,
y
medios (52) de compensación del movimiento para realizar una transformación espacial del objeto con respecto a los vectores de movimiento;
caracterizado porque los vectores de movimiento son vectores de movimiento de puntos de nodo de una estructura de malla para el objeto;
el aparato comprende adicionalmente medios (51) de producción de mallas para restaurar una estructura de mallas para el objeto, utilizando dicha información de contorno de dicho objeto; y los medios (52) de compensación del movimiento realizan una transformación espacial de la malla utilizando dichos vectores de movimiento en los puntos de nodo de la malla y la estructura de malla para el objeto, para producir un objeto de predicción.
2. Método de decodificación de datos codificados para restaurar un objeto visual del mismo, comprendiendo dicho método:
obtener una pluralidad de vectores de movimiento desde dichos datos codificados; y
realizar una transformación espacial utilizando dicha pluralidad de vectores de movimiento para restaurar dicho objeto visual;
caracterizado porque
dichos datos codificados se producen a partir de una representación de malla de dicho objeto visual y comprenden datos de malla e información de contorno;
dicha pluralidad de vectores de movimiento que representan un movimiento relativo entre los respectivos de una pluralidad de puntos de nodos de dicha representación de malla de dicho objeto visual y posiciones espaciales correspondientes de dichos datos de imágenes de referencia;
dicho método comprendiendo adicionalmente la etapa de reproducir dicha representación de malla a partir de los datos de malla y la información de contorno de los datos codificados; y
dicha etapa de realización comprende la realización de la transformación espacial de la representación de malla reproducida utilizando dicha pluralidad de vectores de movimiento para restaurar dicho objeto visual.
3. Método según la reivindicación 2, que comprende adicionalmente:
actualizar dichos datos de imágenes de referencia con dicho objeto visual restaurado.
ES97303590T 1996-05-29 1997-05-27 Sistema de codificacion y decodificacion de imagenes en movimiento que contienen objetos de formas arbitrarias. Expired - Lifetime ES2277350T3 (es)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1019960018612A KR100215451B1 (ko) 1996-05-29 1996-05-29 임의형태 물체를 포함한 동화상의 부호화 및 복호화시스템
KR96-018612 1996-05-29

Publications (1)

Publication Number Publication Date
ES2277350T3 true ES2277350T3 (es) 2007-07-01

Family

ID=37402254

Family Applications (1)

Application Number Title Priority Date Filing Date
ES97303590T Expired - Lifetime ES2277350T3 (es) 1996-05-29 1997-05-27 Sistema de codificacion y decodificacion de imagenes en movimiento que contienen objetos de formas arbitrarias.

Country Status (7)

Country Link
US (3) US6038258A (es)
EP (3) EP1715695A3 (es)
JP (1) JPH1056643A (es)
KR (1) KR100215451B1 (es)
CN (2) CN1134988C (es)
DE (1) DE69736852T2 (es)
ES (1) ES2277350T3 (es)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100215451B1 (ko) * 1996-05-29 1999-08-16 윤종용 임의형태 물체를 포함한 동화상의 부호화 및 복호화시스템
KR100620715B1 (ko) * 1998-06-30 2007-04-25 주식회사 팬택앤큐리텔 디지털 그레이 모양정보/색상정보의 부호화/복호화 방법
KR100535630B1 (ko) * 1998-06-30 2006-06-23 주식회사 팬택앤큐리텔 디지털 그레이 모양정보/색상정보의 부호화/복호화 방법
WO2000025232A1 (de) * 1998-10-23 2000-05-04 Siemens Aktiengesellschaft Verfahren und anordnung zur codierung, decodierung und übertragung eines digitalisierten bildes
US6351267B1 (en) * 1998-12-10 2002-02-26 Gizmoz Ltd Fast transmission of graphic objects
JP4126126B2 (ja) * 1998-12-11 2008-07-30 株式会社日立製作所 送信システム、送信方法
JP3897476B2 (ja) * 1999-02-15 2007-03-22 キヤノン株式会社 画像処理装置及びその方法、コンピュータ可読メモリ
KR100611999B1 (ko) 1999-08-27 2006-08-11 삼성전자주식회사 그리디 알고리듬을 이용한 객체 기반 콰드 트리 메쉬 움직임 보상방법
FR2802377B1 (fr) * 1999-12-09 2002-03-08 France Telecom Procede d'estimation de mouvement entre deux images avec gestion des retournements de mailles et procede de codage correspondant
US6909746B2 (en) 2001-03-30 2005-06-21 Koninklijke Philips Electronics N.V. Fast robust data compression method and system
US20040240543A1 (en) * 2001-09-04 2004-12-02 Faroudja Yves C. Low bandwidth video compression
CN1838775B (zh) * 2001-11-30 2011-11-23 株式会社Ntt都科摩 移动图像编码设备及方法、移动图像解码设备及方法
FI114679B (fi) * 2002-04-29 2004-11-30 Nokia Corp Satunnaisaloituspisteet videokoodauksessa
US7373353B2 (en) 2002-05-10 2008-05-13 International Business Machines Corporation Reducing index size for multi-level grid indexes
US7143098B2 (en) * 2002-05-10 2006-11-28 International Business Machines Corporation Systems, methods, and computer program products to reduce computer processing in grid cell size determination for indexing of multidimensional databases
US7383275B2 (en) 2002-05-10 2008-06-03 International Business Machines Corporation Methods to improve indexing of multidimensional databases
US7095786B1 (en) 2003-01-11 2006-08-22 Neo Magic Corp. Object tracking using adaptive block-size matching along object boundary and frame-skipping when object motion is low
JP2005184626A (ja) * 2003-12-22 2005-07-07 Canon Inc 画像処理装置
US20050198008A1 (en) * 2004-03-02 2005-09-08 Adler David W. Index exploitation for spatial data
US7389283B2 (en) * 2004-12-07 2008-06-17 International Business Machines Corporation Method for determining an optimal grid index specification for multidimensional data
EP3229472B1 (en) * 2005-09-26 2020-07-01 Mitsubishi Electric Corporation Moving image coding apparatus
ATE437421T1 (de) * 2005-12-19 2009-08-15 Koninkl Philips Electronics Nv Verfahren zur erleichterung der nachbearbeitung von bildern über verformbare netze
KR20080107965A (ko) * 2007-06-08 2008-12-11 삼성전자주식회사 객체 경계 기반 파티션을 이용한 영상의 부호화, 복호화방법 및 장치
JP5230372B2 (ja) * 2008-11-25 2013-07-10 キヤノン株式会社 画像処理装置、画像処理方法
JP5661359B2 (ja) * 2010-07-16 2015-01-28 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
JP5558949B2 (ja) * 2010-07-16 2014-07-23 キヤノン株式会社 画像処理装置、画像処理方法、およびプログラム
US9189884B2 (en) * 2012-11-13 2015-11-17 Google Inc. Using video to encode assets for swivel/360-degree spinners
CN106331722B (zh) 2015-07-03 2019-04-26 华为技术有限公司 图像预测方法和相关设备
CN111556323B (zh) 2016-02-06 2022-05-13 华为技术有限公司 图像编解码方法及装置
KR102660416B1 (ko) 2024-02-02 2024-04-23 박흥순 대형 철재 구조물 제작을 위한 철판 연속 가공 방법 및 시스템

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3037383B2 (ja) * 1990-09-03 2000-04-24 キヤノン株式会社 画像処理システム及びその方法
JP3405788B2 (ja) * 1993-03-04 2003-05-12 株式会社東芝 動画像符号化装置と動画像復号化装置
DE69416717T2 (de) * 1993-05-21 1999-10-07 Nippon Telegraph & Telephone Bewegtbildkoder und -dekoder
JPH08297692A (ja) * 1994-09-16 1996-11-12 Mitsubishi Electric Corp 光近接補正装置及び方法並びにパタン形成方法
KR0159575B1 (ko) * 1994-10-31 1999-01-15 배순훈 영역 분할 부호화 방식의 인접 영역간 불연속 처리 장치
KR100235343B1 (ko) * 1994-12-29 1999-12-15 전주범 영역분할 기법을 이용한 동영상신호 부호화기의 움직임 벡터 측정장치
EP0721287A1 (en) * 1995-01-09 1996-07-10 Daewoo Electronics Co., Ltd Method and apparatus for encoding a video signal
US5635929A (en) * 1995-02-13 1997-06-03 Hughes Aircraft Company Low bit rate video encoder and decoder
JP3086396B2 (ja) * 1995-03-10 2000-09-11 シャープ株式会社 画像符号化装置及び画像復号装置
KR0159370B1 (ko) * 1995-03-20 1999-01-15 배순훈 물체의 경계를 고려한 영상 부호화방법 및 장치
US5819070A (en) * 1995-04-27 1998-10-06 Canon Kabushiki Kaisha Method and apparatus for processing finite element meshing model
US5654771A (en) * 1995-05-23 1997-08-05 The University Of Rochester Video compression system using a dense motion vector field and a triangular patch mesh overlay model
JP2701795B2 (ja) * 1995-06-28 1998-01-21 日本電気株式会社 プロセスシミュレーション方法
US5646867A (en) * 1995-07-24 1997-07-08 Motorola Inc. Method and system for improved motion compensation
JP2798120B2 (ja) * 1995-08-04 1998-09-17 日本電気株式会社 動き補償フレーム間予測方法及び動き補償フレーム間予測装置
US5691769A (en) * 1995-09-07 1997-11-25 Daewoo Electronics Co, Ltd. Apparatus for encoding a contour of an object
KR100208375B1 (ko) * 1995-12-27 1999-07-15 윤종용 동화상 부호화 방법 및 장치
JP2798035B2 (ja) * 1996-01-17 1998-09-17 日本電気株式会社 適応動きベクトル補間による動き補償フレーム間予測方法
US5736987A (en) * 1996-03-19 1998-04-07 Microsoft Corporation Compression of graphic data normals
US6516093B1 (en) * 1996-05-06 2003-02-04 Koninklijke Philips Electronics N.V. Segmented video coding and decoding method and system
KR100215451B1 (ko) * 1996-05-29 1999-08-16 윤종용 임의형태 물체를 포함한 동화상의 부호화 및 복호화시스템
US5936671A (en) * 1996-07-02 1999-08-10 Sharp Laboratories Of America, Inc. Object-based video processing using forward-tracking 2-D mesh layers
US5907626A (en) * 1996-08-02 1999-05-25 Eastman Kodak Company Method for object tracking and mosaicing in an image sequence using a two-dimensional mesh
US6047088A (en) * 1996-12-16 2000-04-04 Sharp Laboratories Of America, Inc. 2D mesh geometry and motion vector compression
US6148026A (en) * 1997-01-08 2000-11-14 At&T Corp. Mesh node coding to enable object based functionalities within a motion compensated transform video coder
US5818463A (en) * 1997-02-13 1998-10-06 Rockwell Science Center, Inc. Data compression for animated three dimensional objects

Also Published As

Publication number Publication date
US6744817B2 (en) 2004-06-01
KR100215451B1 (ko) 1999-08-16
KR970078652A (ko) 1997-12-12
EP0810792A2 (en) 1997-12-03
DE69736852T2 (de) 2007-09-06
EP1715695A3 (en) 2008-10-22
CN1177259A (zh) 1998-03-25
EP1715695A2 (en) 2006-10-25
EP1523196A3 (en) 2006-01-18
US6038258A (en) 2000-03-14
CN1134988C (zh) 2004-01-14
EP1523196A2 (en) 2005-04-13
EP0810792A3 (en) 2000-12-13
US6236680B1 (en) 2001-05-22
DE69736852D1 (de) 2006-12-07
CN1146242C (zh) 2004-04-14
JPH1056643A (ja) 1998-02-24
CN1254238A (zh) 2000-05-24
US20010014119A1 (en) 2001-08-16
EP0810792B1 (en) 2006-10-25

Similar Documents

Publication Publication Date Title
ES2277350T3 (es) Sistema de codificacion y decodificacion de imagenes en movimiento que contienen objetos de formas arbitrarias.
RU2696551C1 (ru) Способ и устройство для кодирования видео с компенсацией аффинного движения
US8023754B2 (en) Image encoding and decoding apparatus, program and method
US5818463A (en) Data compression for animated three dimensional objects
US5608458A (en) Method and apparatus for a region-based approach to coding a sequence of video images
Tzovaras et al. Object-based coding of stereo image sequences using joint 3-D motion/disparity compensation
US6754269B1 (en) Video encoding apparatus and video decoding apparatus
US6567561B2 (en) Video coding and video decoding apparatus
KR100552666B1 (ko) 좌표 인터폴레이터의 키 및 키 값 데이터의 부호화/복호화장치, 및 좌표 인터폴레이터를 부호화한 비트스트림을기록한 기록 매체
ES2284787T3 (es) Procedimiento y equipo de codificacion de informacion de un objeto en 3d.
US6330364B1 (en) Video coding and video decoding apparatus
US5802211A (en) Method and apparatus for transmitting and utilizing analog encoded information
US6259738B1 (en) Video encoding apparatus and video decoding apparatus
Wang et al. Applying mid-level vision techniques for video data compression and manipulation
Banham et al. Low bit rate video coding using robust motion vector regeneration in the decoder
JP3766686B2 (ja) テレビ画像サブバンド両立式符号化用のコーダ
Chien et al. Efficient stereo video coding system for immersive teleconference with two-stage hybrid disparity estimation algorithm
Zhou et al. gpcgc: a green point cloud geometry coding method
Park et al. Topological surgery encoding improvements based on adaptive bit allocation and DFSVQ
KR19990002045A (ko) 예측 잉여신호 벡터 양자화를 이용한 3차원 그래픽 모델의 정점 위치 다단계 압축 방법
KR100240344B1 (ko) 적응적인 윤곽선 부호화 장치 및 방법
KR100219157B1 (ko) 임의 형태 물체의 부호화/복호화 방법 및 그 장치
Cho et al. Object-based very low bit-rate coding using motion parameter estimation based on multiple frame prediction
KR20010000248A (ko) 영상 압축 시스템에 있어서 템플릿 패턴 코딩을 이용한가변 블록 사이즈 움직임 보상 장치
JP2018191058A (ja) 映像符号化装置及びプログラム