ES2391234T3 - Procedimientos y dispositivos de codificación y de decodificación de una secuencia de imágenes representada por medio de tubos de movimiento, paquetes de software de ordenador y señal correspondientes - Google Patents

Procedimientos y dispositivos de codificación y de decodificación de una secuencia de imágenes representada por medio de tubos de movimiento, paquetes de software de ordenador y señal correspondientes Download PDF

Info

Publication number
ES2391234T3
ES2391234T3 ES08806058T ES08806058T ES2391234T3 ES 2391234 T3 ES2391234 T3 ES 2391234T3 ES 08806058 T ES08806058 T ES 08806058T ES 08806058 T ES08806058 T ES 08806058T ES 2391234 T3 ES2391234 T3 ES 2391234T3
Authority
ES
Spain
Prior art keywords
tubes
tube
information
block
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES08806058T
Other languages
English (en)
Inventor
Stéphane PATEUX
Benjamin Le Guen
Nathalie Cammas
Isabelle Amonou
Sylvain Kervadec
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Orange SA
Original Assignee
France Telecom SA
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by France Telecom SA filed Critical France Telecom SA
Application granted granted Critical
Publication of ES2391234T3 publication Critical patent/ES2391234T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/553—Motion estimation dealing with occlusions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/23—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with coding of regions that are present throughout a whole video segment, e.g. sprites, background or mosaic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/29—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding involving scalability at the object level, e.g. video object layer [VOL]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Image Processing (AREA)

Abstract

Procedimiento de decodificación de una señal representativa de una secuencia de imágenes, que se caracteriza porque comprende las siguientes etapas: extracción (31) de dicha señal de unos tubos de movimiento, comprendiendo un tubo un bloque de píxeles que pueden evolucionar de forma independiente de al menos otro tubo; dos tubos pudiendo, en un instante dado, asignar unos valores diferentes a un mismo píxel de una de dichas imágenes, estando definido cada uno de dichos tubos mediante al menos las siguientes informaciones: - un bloque de píxeles de referencia que comprende unas informaciones de textura de referencia; - unos instantes de inicio de tubo y de fin de tubo; - unas informaciones de transición, que permiten actualizar dicho bloque de referencia en al menos un instante t de dicha secuencia; tratamiento (32) de dichas informaciones de transición, que emiten un bloque actual para cada uno de dichos tubos en una imagen actual en un instante t; combinación (33) de las informaciones asociadas a los bloques actuales de al menos dos de dichos tubos que se solapan en una zona de solapamiento de dicha imagen actual, de tal modo que se reconstruyan unos píxeles optimizados en dicha zona de solapamiento.

Description

Procedimientos y dispositivos de codificacion y de decodificacion de una secuencia de imagenes representada por medio de tubos de movimiento, paquetes de software de ordenador y seral correspondientes
1. Campo de la invencion
El campo de la invencion es el de la codificacion y de la decodificacion de secuencias de imagenes. De manera mas precisa, la invencion se refiere al tratamiento de secuencias de imagenes de video o de escenas bidimensionales o tridimensionales (o que presentan un numero superior de dimensiones), representadas por medio de tubos de movimiento.
2. Tecnica anterior
Los codificadores de video actuales, como los que se desarrollan, por ejemplo, en la norma AVC H.264/MPEG-4 (( Advanced Video Coding » por ( codificacion de video avanzada ») de la Union Internacional de Telecomunicaciones (en ingles ITU por ( International Telecommunication Union ») presentada en el documento ISO/IEC 14496-10, permiten codificar una secuencia de imagenes para emitir una secuencia codificada, comprimida con respecto a la secuencia de imagenes de origen. Para ello, estos codificadores utilizan una representacion discontinua de la secuencia de video. De manera mas precisa, las imagenes de la secuencia se dividen en bloques de pixeles, correspondiendo un bloque de pixeles a una agrupacion de pixeles adyacentes. Estos codificadores se basan en un tratamiento de las informaciones que contienen estos bloques que implica una etapa de transformacion, una etapa de cuantificacion y una etapa de codificacion entropica. De este modo, cada bloque se codifica mediante la prediccion intra-imagen o inter-imagen. Un inconveniente de estas tecnicas de la tecnica anterior es que los bloques en cada imagen se definen con independencia de los bloques de las demas imagenes de la secuencia. Esto implica una representacion discontinua del movimiento en la secuencia y, por lo tanto, una mala representacion del movimiento real y unos sobrecostes en terminos de flujo de compresion. Se han propuesto por ello unas tecnicas alternativas que ofrecen una representacion continua del movimiento, basadas en tramas, por ejemplo. Sin embargo, un inconveniente de estas tecnicas basadas en tramas es que los movimientos entre las regiones estan restringidos y no permiten, por lo tanto, representar las rupturas del campo de movimiento que se pueden producir en la secuencia de imagenes (por ejemplo a causa de las apariciones o de las desapariciones de objetos), entre dos regiones que tienen unos movimientos diferentes. Ademas, otro inconveniente de estas tecnicas procede de la utilizacion de tramas irregulares, para las cuales se debe transmitir a lo largo del tiempo la estructura de las tramas. En efecto, esta transmision de informaciones suplementarias implica unas penalizaciones en terminos de prestaciones de compresion. El documento HSU R. y otros: 'Tube-based video coding", SIGNAL PROCESSING, IMAGE COMMUNICATION, ELSEVIER SCIENCE PUBLISHERS, AMSTERDAM, NL, presenta una tecnica de compresion de video, basada en una representacion que utiliza unos tubos de movimiento. Existe, por lo tanto, la necesidad de nuevas tecnicas de codificacion/decodificacion de imagenes que permitan paliar al menos en parte los inconvenientes de la tecnica anterior.
3. Exposicion de la invencion
La invencion propone una nueva solucion que no presenta todos estos inconvenientes de la tecnica anterior, en forma de un procedimiento de decodificacion de una seral representativa de una secuencia de imagenes. De acuerdo con la invencion, este procedimiento comprende las siguientes etapas:
extraccion de dicha seral de unos tubos de movimiento, comprendiendo un tubo un bloque de pixeles que pueden
evolucionar de forma independiente de al menos otro tubo, pudiendo dos tubos, en un instante dado, asignar unos valores diferentes a un mismo pixel de una de dichas imagenes, estando definido cada uno de dichos tubos por al menos las siguientes informaciones:
-
un bloque de pixeles de referencia que comprende unas informaciones de textura de referencia;
-
unos instantes de inicio de tubo y de fin de tubo;
-
unas informaciones de transicion, que permiten actualizar dicho bloque de referencia en al menos un instante t de dicha secuencia;
tratamiento de dichas informaciones de transicion, que emiten un bloque actual para cada uno de dichos tubos en una imagen actual en un instante t;
combinacion de las informaciones asociadas a los bloques actuales de al menos dos de dichos tubos que se solapan en una zona de solapamiento de dicha imagen actual, de tal modo que se reconstruyan unos pixeles optimizados en dicha zona de solapamiento.
De este modo, la invencion se basa en un enfoque nuevo y creativo de la decodificacion de una secuencia de imagenes, representada en forma de tubos de movimiento.
De manera mas precisa, un tubo de movimiento corresponde a un bloque de pixeles que evolucionan a lo largo del tiempo. Durante esta evolucion, el tubo se puede deformar, por ejemplo para tener en cuenta el movimiento aparente, o incluso si el numero de pixeles presentes en el bloque aumenta o disminuye. Este tubo tambien se puede refinar, por ejemplo pasando al nivel sub-pixelico del bloque.
De este modo, los diferentes tubos de movimiento pueden evolucionar de forma independiente los unos de los otros. Una secuencia de imagenes se representa entonces mediante un conjunto de tubos de movimiento que se desplazan en el espacio a lo largo del tiempo, siguiendo las trayectorias de movimiento de la secuencia. Esta ( persistencia temporal » de los tubos permite representar de forma continua la secuencia de video. Ademas, esta representacion permite representar de forma eficaz a la vez las zonas de continuidad y de discontinuidad del movimiento de una secuencia.
Se recuerda que, por el contrario, en las tecnicas de codificacion mediante prediccion de los bloques de la tecnica anterior, los bloques en cada imagen se definen de forma independiente de los bloques de las demas imagenes de la secuencia. No hay, por lo tanto, una continuidad en estas predicciones.
En particular, en lo que se refiere a la codificacion, se extraen de acuerdo con la invencion los tubos de movimiento de la seral recibida, con el fin de tratar las informaciones de transicion de estos tubos y de reconstruir para cada tubo un bloque actual, potencialmente deformado, en la imagen que se pretende reconstruir.
A continuacion se combinan las informaciones asociadas a los bloques actuales que corresponden a unos tubos que se solapan, para reconstruir los pixeles situados en la zona de solapamiento. Se entiende, en particular, por zona de solapamiento una zona en la cual los bloques actuales asociados a los tubos tienen unos pixeles en comun.
En particular, el bloque de pixeles en el instante del inicio de un tubo, denominado bloque de partida, puede corresponder directamente al bloque de pixeles de referencia que definen dicho tubo, o bien obtenerse a partir de una modificacion de dicho bloque de pixeles de referencia. Esta modificacion corresponde, por ejemplo, a una codificacion que incluye una transformacion geometrica (transformacion homografica, transformacion afin, rotacion,.).
De acuerdo con un modo particular de realizacion de la invencion, la etapa de combinacion comprende, para al menos un pixel de la zona de solapamiento, una operacion de calculo de una media del valor de textura atribuido al pixel en cada uno de dichos tubos que se solapan.
En particular, esta media se puede ponderar, en funcion de al menos uno de los criterios que pertenecen al grupo que comprende:
-
una informacion de profundidad asociada a cada uno de dichos tubos;
-
una informacion de prioridad asociada a cada uno de dichos tubos;
-
el instante de creacion y/o la duracion de cada uno de dichos tubos;
-
una informacion de posicion del pixel considerado en cada uno de dichos tubos;
-
una informacion relativa a un tipo de tubo de cada uno de dichos tubos.
Dicho de otro modo, se determinan unos pixeles optimizados en una zona de solapamiento a partir de una combinacion (lineal, geometrica,.) de los valores de textura atribuidos a los pixeles en cada uno de dichos tubos que se solapan.
De acuerdo con un aspecto especifico de la invencion, la etapa de extraccion emite unos tubos de diferentes tipos, que comprenden en particular unos tubos de base y unos tubos de refinamiento destinado a mejorar la recuperacion de al menos un tubo de base.
Las evoluciones de los tubos de refinamiento pueden ser libres con respecto a la evolucion de los tubos de base. En particular, los tubos de refinamiento comprenden:
-
unos tubos aditivos, comprendiendo un tubo aditivo unas informaciones de residuo destinadas a aradirse a las informaciones de un tubo de base; y
-
unos tubos de descripcion, comprendiendo un tubo de descripcion unas informaciones de descripcion que emiten una segunda descripcion complementaria y/o redundante de una primera descripcion suministrada por unas informaciones de un tubo de base. Por ejemplo, la primera descripcion permite describir los pixeles pares de un bloque y la segunda descripcion permite describir los pixeles impares.
De este modo, la invencion encuentra de acuerdo con este modo de realizacion unas aplicaciones en la codificacion y la decodificacion de datos graduable (o ( escalable »), que presenta una calidad adaptable y una resolucion espaciotemporal variable.
De acuerdo con una variante de implementacion que busca realizar una representacion escalable utilizando las correlaciones entre los tubos de base y los tubos de refinamiento de tipo aditivo, se considera que un tubo de refinamiento de tipo aditivo esta unido al tubo de base que este detalla. En consecuencia, la evolucion temporal del tubo de refinamiento de tipo aditivo es dependiente de la evolucion temporal del tubo de base.
De acuerdo con una caracteristica particular de la invencion, las informaciones de transicion que definen un tubo de movimiento comprenden:
-
unas informaciones de modificacion de posicion y/o de desplazamiento del bloque en dicha imagen actual; y
-
unas informaciones de modificacion de dicha textura.
Estas informaciones de transicion permiten, en particular, reconstruir el bloque actual en la imagen actual, teniendo en cuenta unas modificaciones que esta ha experimentado con respecto a una imagen decodificada previamente. Por ejemplo, estas modificaciones corresponden a una actualizacion de imagen en imagen, a una codificacion mediante transformacion espacial y/o temporal, etc.
Por ejemplo, las informaciones de transicion comprenden unas informaciones de deformacion del bloque que llevan a cabo al menos una de las operaciones que pertenecen al grupo que comprende:
-
una transformacion homografica;
-
una transformacion afin;
-
una rotacion;
realizandose esta operacion en la etapa de tratamiento teniendo en cuenta las informaciones de deformacion.
De acuerdo con un modo particular de realizacion de la invencion, el procedimiento de decodificacion comprende una etapa de creacion y de actualizacion de una lista de tubos de referencia. Esta etapa de creacion de la lista se puede realizar para la primera imagen de la secuencia.
De acuerdo con una caracteristica particular de la invencion, la etapa de extraccion comprende una etapa de lectura, en un instante t, para cada uno de los tubos de al menos una de las informaciones siguientes:
-
una indicacion de utilizacion o no de dicho tubo;
-
una indicacion de utilizacion o no de una prediccion para dicho tubo;
-
una informacion de posicion de dicho tubo en la imagen;
-
una informacion relativa a un tipo de tubo;
-
unos datos de textura. Por ejemplo, el procedimiento de decodificacion comprende las siguientes etapas:
lectura de las informaciones que definen los tubos de referencia (bloque de pixeles de referencia, instante de inicio y de fin de tubo, informaciones de transicion);
para cada tubo de referencia:
-
lectura de una indicacion de utilizacion o no de dicho tubo de referencia para la reconstruccion de una imagen actual;
-
lectura de una informacion de modificacion de la textura y de modificacion de posicion y/o de desplazamiento de dicho tubo de referencia; y
-
actualizacion de dicha lista de tubos de referencia;
para cada bloque de la imagen actual:
-
lectura de una indicacion de utilizacion o no de una prediccion mediante unos tubos de movimiento;
-
lectura de una indicacion de creacion o no de un nuevo tubo; y
-
si fuera necesario, lectura de las informaciones que definen dicho nuevo tubo;
lectura de las informaciones de actualizacion de la lista de referencia de los tubos;
reconstruccion de la imagen actual.
En otro modo de realizacion, la invencion se refiere a un dispositivo de decodificacion de una seral representativa de una secuencia de imagenes.
De acuerdo con la invencion, tal dispositivo comprende:
-
unos medios de extraccion de dicha seral de tubos de movimiento, comprendiendo un tubo un bloque de pixeles que pueden evolucionar de forma independiente de al menos otro tubo;
-
unos medios de tratamiento de dichas informaciones de transicion, que emiten un bloque actual para cada uno de dichos tubos en una imagen actual en un instante t;
-
unos medios de combinacion de las informaciones asociadas a los bloques actuales de al menos dos de dichos tubos que se solapan en una zona de solapamiento de dicha imagen actual, de tal modo que se reconstruyan unos pixeles optimizados en dicha zona de solapamiento.
Este dispositivo de decodificacion esta adaptado, en particular, para aplicar el procedimiento de decodificacion que se ha descrito con anterioridad. Se trata, por ejemplo, de un decodificador de video del tipo H.264 o H.264 enmendado.
Otro aspecto de la invencion tambien se refiere a un paquete de software para ordenador descargable desde una red de comunicacion y/o grabado en un soporte legible por un ordenador y/o ejecutable por un procesador, que comprende unas instrucciones de codigo de programa para la puesta en marcha del procedimiento de decodificacion que se ha descrito con anterioridad.
Otro modo de realizacion de la invencion se refiere a un procedimiento de codificacion de una secuencia de imagenes.
De acuerdo con la invencion, dicho procedimiento de codificacion comprende las siguientes etapas:
insercion, en una seral representativa de dicha secuencia, de unos tubos de movimiento, comprendiendo un tubo un bloque de pixeles que puede evolucionar de forma independiente de al menos otro tubo; dos tubos pudiendo, en un instante dado, asignar unos valores diferentes a un mismo pixel de una de dichas imagenes, estando definido cada uno de dichos tubos por al menos las siguientes informaciones:
-
un bloque de pixeles de referencia que comprenden unas informaciones de textura de referencia;
-
unos instantes de inicio de tubo y de fin de tubo;
-
unas informaciones de transicion, que permiten actualizar dicho bloque de referencia en al menos un instante t de dicha secuencia;
generacion de las informaciones de transicion que definen dichos tubos de movimiento; de tal modo que permitan, en la decodificacion, la combinacion de las informaciones asociadas a los bloques actuales de al menos dos de dichos tubos que se solapan en una zona de solapamiento de una imagen actual, para reconstruir unos pixeles optimizados en la zona de solapamiento.
Tal procedimiento de codificacion esta adaptado, en particular, para codificar una secuencia de imagenes destinada a codificarse de acuerdo con el procedimiento de decodificacion que se ha descrito con anterioridad.
En particular, tal procedimiento de codificacion comprende dos fases principales:
-
una fase de establecimiento de los tubos de movimiento, que permite construir dichos tubos a partir de dichas informaciones; y
-
una fase de codificacion de dichos tubos de movimiento. De acuerdo con un modo particular de realizacion de la invencion:
la fase de establecimiento comprende las siguientes etapas:
obtencion de una lista de tubos de movimiento de referencia;
para cada tubo de referencia:
-
determinacion de una informacion de posicion de dicho tubo de referencia en una imagen que hay que codificar de dicha secuencia;
-
determinacion de una indicacion de utilizacion o no de dicho tubo de referencia; y
-
actualizacion de las informaciones de textura;
para cada bloque de la imagen que hay que codificar:
-
determinacion de una indicacion de utilizacion o no de una prediccion mediante unos tubos de movimiento para la reconstruccion de dicho bloque;
y la fase de codificacion comprende las siguientes etapas:
codificacion de dicha lista de tubos de movimiento de referencia;
para cada tubo de referencia:
-
codificacion de dicha indicacion de utilizacion o no de dicho tubo de referencia;
-
codificacion de las informaciones de modificacion de textura y de modificacion de posicion y/o de desplazamiento, si se utiliza este tubo de referencia:
para cada bloque de la imagen que hay que codificar:
-
codificacion de la indicacion de utilizacion o no de una prediccion por medio de al menos un tubo de movimiento;
-
codificacion de la creacion o no de un nuevo tubo a partir de este bloque;
codificacion de las informaciones de actualizacion de dicha lista de referencia.
Otro modo de realizacion se refiere a un dispositivo de codificacion de una secuencia de imagenes. Tal dispositivo comprende:
-
unos medios de insercion, en una seral representativa de dicha frecuencia, de unos tubos de movimiento, comprendiendo un tubo un bloque de pixeles que pueden evolucionar de forma independiente de al menos otro tubo;
-
unos medios de generacion de las informaciones de transicion que definen dichos tubos de movimiento;
de tal modo que permitan, en la decodificacion, la combinacion de las informaciones asociadas a los bloques actuales de al menos dos de dichos tubos que se solapan en una zona de solapamiento de una imagen actual, para reconstruir unos pixeles optimizados en la zona de solapamiento.
Este dispositivo de codificacion esta adaptado, en particular, para aplicar el procedimiento de codificacion que se ha descrito con anterioridad. Se trata, por ejemplo, de un codificador de video de tipo H.264 o H.264 enmendado.
Otro aspecto de la invencion se refiere tambien a un paquete de software para ordenador descargable desde una red de comunicacion y/o grabado en un soporte legible por un ordenador y/o ejecutable por un procesador, que comprende unas instrucciones de codigo de programa para la aplicacion del procedimiento de codificacion que se ha descrito con anterioridad.
Otro aspecto mas de la invencion se refiere a una seral representativa de una secuencia de imagenes.
Esta seral comprende unos tubos de movimiento, comprendiendo un tubo un bloque de pixeles que pueden evolucionar de forma independiente de al menos otro tubo; dos tubos pudiendo, en un instante dado, asignar unos valores diferentes a un mismo pixel de una de dichas imagenes; estando definido cada uno de dichos tubos por al menos las siguientes informaciones:
-
un bloque de pixeles de referencia que comprende unas informaciones de textura de referencia;
-
unos instantes de inicio y de fin de tubo;
-
unas informaciones de transicion, que permiten actualizar dicho bloque de referencia en al menos un instante t de dicha secuencia;
comprendiendo dicha seral unas informaciones de transicion asociadas a cada uno de dichos tubos de movimiento, de tal modo que permitan, en la decodificacion, la combinacion de las informaciones asociadas a los bloques actuales de al menos dos de dichos tubos que se solapan en una zona de solapamiento de una imagen actual, para reconstruir unos pixeles optimizados en la zona de solapamiento.
Esta seral puede, en particular, representar un flujo de datos codificado de acuerdo con el procedimiento de codificacion que se ha descrito mas arriba. Por supuesto, esta seral podra comprender las diferentes caracteristicas relativas al procedimiento de codificacion de acuerdo con la invencion.
4. Lista de figuras
Otras caracteristicas y ventajas de la invencion apareceran con mas claridad con la lectura de la descripcion siguiente de un modo particular de realizacion, que se da a titulo de simple ejemplo ilustrativo y no limitativo, y de los dibujos que se adjuntan, entre los cuales:
-
la figura 1 ilustra un ejemplo de representacion de una secuencia de imagenes por medio de unos tubos de movimiento;
-
la figura 2 presenta las evoluciones de un bloque en un tubo de movimiento a lo largo del tiempo;
-
la figura 3 presenta las principales etapas del procedimiento de decodificacion de acuerdo con un modo de realizacion de la invencion;
-
la figura 4 ilustra el mecanismo de gestion de los solapamientos;
-
la figura 5 presenta las principales etapas del procedimiento de decodificacion de acuerdo con un modo de realizacion de la invencion;
-
las figuras 6A y 6B presentan la estructura de un dispositivo de codificacion y de un dispositivo de decodificacion de acuerdo con un modo particular de realizacion de la invencion.
5. Descripcion de un modo de realizacion de la invencion 5.1. Principia general
El principio general de la invencion se basa en la codificacion y la decodificacion de una secuencia de imagenes 2D
o 3D representada por medio de unos tubos de movimiento.
Se presenta en relacion con la figura 1 un ejemplo de representacion de una secuencia de video mediante unos tubos de movimiento.
Se consideran de acuerdo con este ejemplo cuatro tubos de movimiento Tu1, Tu2, Tu3 y Tu4, que se extienden entre las imagenes I0, I1, I2 e I3, que corresponden respectivamente a los instantes t0, t1, t2 y t3 de la secuencia de video.
De manera mas precisa, un tubo de movimiento se define como un conjunto de pixeles (bloque cuadrado, rectangular o cubico en 3D, por ejemplo) y tiene como caracteristicas:
-
un instante de creacion, o instante de inicio de tubo;
-
un instante de desaparicion, o instante de fin de tubo;
-
un conjunto de posiciones (xt,yt) o de desplazamientos (dxt,dyt) que dependen del tiempo t, estando comprendido t entre el instante de creacion y el instante de desaparicion del tubo;
-
una textura que varia opcionalmente en el tiempo.
Por ejemplo, el tubo Tu1 se crea en el instante t0 y desaparece en el instante t2. Esto significa que antes del instante t0, el tubo Tu1 no existe y que despues del instante t2 el tubo Tu1 ya no existe. Del mismo modo, el tubo Tu2 se crea en el instante t0 y desaparece en el instante t1, el tubo Tu3 se crea en el instante t1 y desaparece en el instante t3, y el tubo Tu4 se crea en el instante t1 y desaparece en el instante t2. Ademas, cada tubo comprende sus propios valores de textura.
Dicho de otro modo, si se considera por ejemplo la imagen 10, el tubo Tu1 corresponde al bloque 1 de pixeles de la imagen I0, al cual se aplica una ( extension temporal » t, para t variando entre t0 y t2.
De este modo, los tubos no se reinician por tanto en cada instante, sino que ( sobreviven » a traves de las imagenes. En particular, un tubo de movimiento se puede definir para unas imagenes no consecutivas de una secuencia de imagenes. Por ejemplo, si un tubo ( desaparece » de una imagen en un instante t, este se queda en la memoria y puede ( reaparecer » en el instante t+1.
Estos tubos se utilizan en lo que se refiere a la codificacion para reconstruir las imagenes de la secuencia. Por ejemplo, el tubo Tu1 permite realizar las predicciones en las imagenes I1 e I2.
Tambien hay que seralar que los bloques de pixeles asociados a los diferentes tubos pueden evolucionar de forma independiente los unos de los otros. De este modo, los tubos se pueden solapar, como por ejemplo los tubos Tu3 y Tu4 en el instante t2 en la figura 1, lo que no es posible con las tecnicas basadas en tramas.
Tambien se puede seralar que la evolucion temporal de los tubos no esta limitada a una traslacion. Los bloques de pixeles pueden experimentar transformaciones geometricas para cada imagen, incluida la primera imagen, como por ejemplo una rotacion, una transformacion afin, o tambien una transformacion homografica.
La figura 2 ilustra de manera mas precisa el solapamiento de diferentes tubos. Por ejemplo, los tubos Tui y Tuk se inicializan en la imagen It en el tiempo t. En el tiempo t+1, los tubos Tui y Tuk se pueden solapar por completo en la imagen It+1. Dicho de otro modo, los tubos Tui y Tuk corresponden entonces al mismo bloque de pixeles. Este se produce, por ejemplo, cuando una parte de un objeto, asociado al bloque de pixeles del tubo Tui esta oculto por otro objeto, asociado al bloque Tuk. A continuacion, a causa de la independencia de evolucion de los tubos, cada tubo Tui
o Tuk puede salir en una direccion diferente, de acuerdo con el desplazamiento del objeto asociado a cada uno de los tubos.
Un tubo de movimiento tambien se puede deformar a lo largo del tiempo (extension de los movimientos de traslacion a unos movimientos de rotacion, deformacion afin, homografica, etc.). Por ejemplo, para la figura 2, se considera el tubo Tu1 iniciado en la imagen It+1 en el instante t+1 y que desaparece en la imagen It+2 en el instante t+2. El bloque de pixeles que corresponde al tubo Tu1, en la imagen It+2 puede ser diferente del bloque de pixeles que corresponden al mismo tubo Tu1 en la imagen It+1. Por ejemplo, el tubo Tu1 corresponde a un bloque de 8x8 pixeles en la imagen It+1 y a un bloque de 12x8 pixeles en la imagen It+2. En ese caso, el conjunto de los pixeles que comprenden el tubo varia a lo largo del tiempo. Con el fin de representar los pixeles del bloque que corresponde al tubo Tu1 en la imagen It+2, se puede realizar una deformacion del bloque que contiene los valores de los pixeles modificados definidos inicialmente para la imagen It+1. Dicha deformacion lleva a cabo, por ejemplo, una operacion del tipo transformacion homografica, transformacion afin, rotacion, etc.
De este modo, una secuencia de video se representa mediante un conjunto de tubos de movimiento que se desplazan por el espacio a lo largo del tiempo siguiendo las trayectorias de movimiento de la secuencia.
5.2. Decadificaci6n
Se presentan de manera mas precisa en relacion con la figura 3 las principales etapas del procedimiento de decodificacion de acuerdo con la invencion.
Se considera para ello una seral 30 representativa de una secuencia de imagenes recibida por un decodificador.
El procedimiento de decodificacion comprende, en primer lugar, una etapa 31 de extraccion, a partir de la seral 30, de tubos de movimiento asociados cada uno a un bloque de pixeles. Se considera de acuerdo con la invencion que los tubos pueden evolucionar de forma independiente los unos de otros. Tambien se considera que dos tubos pueden, en un instante dado, asignar unos valores de textura diferentes a un mismo pixel de una imagen.
Cada uno de los tubos esta definido entonces mediante al menos las siguientes informaciones:
-
un bloque de pixeles de referencia que comprende unas informaciones de textura de referencia;
-
unos instantes de inicio de tubo y de fin de tubo;
-
unas informaciones de transicion, que permiten actualizar dicho bloque de referencia en al menos un instante t de dicha secuencia.
El bloque de pixeles en el instante de inicio de un tubo, denominado bloque de partida, puede corresponder al bloque de pixeles de referencia que definen dicho tubo, o se puede obtener a partir de una modificacion de dicho bloque de pixeles de referencia. Este bloque de partida no pertenece, por lo tanto, necesariamente a una imagen de la secuencia, sino que puede proceder de una memoria de almacenamiento, de una base de datos,.
Tambien se precisa que el bloque de pixeles de referencia (o el bloque de pixeles en el instante de inicio de un tubo) puede ser diferente de un tubo de movimiento a otro.
Por ejemplo, en la imagen I1 de la figura 1, el bloque de pixeles en el instante de inicio del tubo Tu3 es el bloque 3, y el bloque de pixeles en el instante de inicio del tubo Tu4 es el bloque 4.
Tambien se precisa que el instante de inicio de un tubo puede ser diferente de un tubo de movimiento a otro. Por ejemplo, el tubo Tu1 tiene un instante de inicio t0 y el tubo Tu3 tiene un instante de inicio t1.
Estas informaciones de transicion comprenden, en particular, unas informaciones de modificacion de posicion y/o desplazamiento del bloque en la imagen actual, y unas informaciones de modificacion de la textura.
A lo largo de la etapa 32 de tratamiento de las informaciones de transicion, el procedimiento de decodificacion emite un bloque actual para cada uno de los tubos en una imagen actual en un instante t. Por ejemplo, si se busca reconstruir la imagen 12 (seralada como imagen actual), se actualiza el bloque 3 del tubo Tu3 en la imagen 12 en el instante t2 teniendo en cuenta el bloque 3 en la imagen I1 en el instante t1 y las informaciones de transicion asociadas a este tubo Tu3. Dicho de otro modo, el bloque de partida puede evolucionar a lo largo del tiempo teniendo en cuenta las informaciones de transicion. Se habla entonces de bloque actual.
El procedimiento de decodificacion comprende a continuacion una etapa 33 de combinacion de las informaciones asociadas a los bloques actuales de al menos dos de dichos tubos que se solapan en una zona de solapamiento de una imagen actual, de tal modo que se reconstruyan unos pixeles optimizados en dicha zona de solapamiento.
Si se considera de nuevo la figura 1, se constata, por ejemplo, que los tubos Tu3 y Tu4 se solapan en la imagen I2. Se aplica entonces un mecanismo de gestion de los solapamientos, basado en una combinacion de las informaciones asociada a los tubos Tu3 y Tu4 (informaciones de textura, en particular). El mecanismo de gestion de los solapamientos permite entonces definir cual es el valor reconstruido para los pixeles de la imagen situados en la zona de solapamiento.
El procedimiento de decodificacion emite entonces una secuencia de imagenes 34 reconstruidas.
Se ilustra de manera mas precisa en relacion con la figura 4 la etapa 33 de combinacion de las informaciones en diferentes tubos de movimiento.
Se considera, por ejemplo, una imagen I en un instante dado, que comprende tres tubos de movimientos asociados cada uno a un bloque de pixeles. En aras de la simplificacion, se utiliza la misma notacion para el bloque y el tubo correspondiente. En la figura 4, los tres tubos 41, 42 y 43 se solapan en la zona de solapamiento sombreada con la referencia H.
Se pueden aplicar diferentes tecnicas para la gestion de esta zona de solapamiento H.
Por ejemplo, la etapa de combinacion 33 lleva a cabo una operacion de calculo de una media del valor de textura atribuido a cada pixel de la zona de solapamiento H, en cada uno de los tubos que se solapan, para reconstruir los Tambien se puede considerar ponderar esta media, ponderando los diferentes tubos de movimiento. Por ejemplo, una informacion de prioridad se puede asociar a cada uno de los tubos. Esta informacion de prioridad puede corresponder a una informacion de calidad. En ese caso, solo se tendra en cuenta el valor de textura asociado al tubo que lleva la mayor informacion de prioridad.
La informacion de prioridad tambien puede corresponder a una informacion de profundidad. En ese caso, se puede tener en cuenta unicamente el valor de textura asociada al tubo que lleva la mayor informacion de profundidad. Tambien se pueden combinar los valores de textura asociados a todos los tubos que se solapan ponderando estos valores mediante la profundidad asociada a cada tubo.
De acuerdo con otra variante, tambien se puede tener en cuenta el valor de textura asociado a uno solo de los tubos que se solapan: por ejemplo, se considera unicamente el tubo mas largo (en duracion), es decir el tuno definido en el mayor numero de imagenes consecutivas o no consecutivas, o bien el tubo mas reciente, es decir el tubo cuyo instante de creacion es el mas proximo temporalmente. Tambien se pueden combinar los valores de textura asociados a todos los tubos que se solapan ponderando estos valores mediante la duracion temporal (diferencia entre el instante de fin y el instante de creacion) de cada tubo o bien mediante una funcion monotona decreciente (o inversa) de la distancia temporal con respecto al instante de creacion de cada tubo (diferencia entre el instante actual y el instante de creacion).
Tambien otra tecnica se basa en la consideracion de la posicion del pixel considerado en cada uno de los tubos. Por ejemplo, un pixel P de la zona de solapamiento H esta situado a la distancia d1 del centro del tubo 41, a la distancia d2 del centro del tubo 42 y a la distancia d3 del centro del tubo 43. Se puede tener entonces en cuenta unicamente el valor de textura asociado al tubo mas proximo al pixel que hay que reconstruir, por ejemplo el tubo 42 si se considera d2�d1 y d2�d3. Tambien se pueden ponderar los pixeles de los tubos que se solapan con respecto a su posicion en el tubo.
En otro modo de realizacion, se puede seralar que la etapa de extraccion 31 emite diferentes tipos de tubo: ya sea unos tubos de base, o bien unos tubos de refinamiento. Estos tubos de refinamiento permiten, en particular, mejorar la recuperacion de los tubos de base.
Asi pues, la invencion encuentra de acuerdo con este modo de realizacion unas aplicaciones en la codificacion y la decodificacion de datos graduable (o ( escalable »), presentando una calidad adaptable y una resolucion espaciotemporal variable.
La invencion tambien encuentra de acuerdo con este modo de realizacion unas aplicaciones en la codificacion y la decodificacion robusta de datos.
En este modo de realizacion, la gestion de la zona de solapamiento H permite aradir las informaciones del tubo de refinamiento a las del tubo de base, en la etapa de combinacion 33.
De manera mas precisa, los tubos de refinamiento pueden ser de dos tipos:
-
los tubos aditivos, que permiten un refinamiento de la calidad de un tubo de base, y que comprenden unos valores de residuo. En ese caso, la combinacion de las informaciones del tubo de base y de las informaciones de recuperacion del tubo de refinamiento es una adicion;
-
los tubos descriptivitos, que comprenden unas informaciones de descripcion que emiten una segunda descripcion complementaria y/o redundante de una primera descripcion suministrada por unas informaciones de un tubo de referencia. Por ejemplo, la primera descripcion permite describir los pixeles pares de un bloque y la segunda descripcion permite describir los pixeles impares. En ese caso, la combinacion de las informaciones del tubo de base y del tubo de refinamiento puede ser una ponderacion de las informaciones del tubo de base y de las informaciones del tubo de refinamiento. Tambien es posible tener en cuenta unicamente las informaciones del tubo de base o las informaciones del tubo de refinamiento.
Se considera en ese caso que un tubo de base y el (o los) tubo(s) de refinamiento que lo definen estan unidos y que sus evoluciones temporales son dependientes.
Se describe a continuacion un ejemplo de algoritmo para la aplicacion del procedimiento de decodificacion para la decodificacion de una seral representativa de una secuencia de imagenes:
lectura de informacion que define una lista de tubos de referencia, o de bloque de pixeles de referencia, en particular si esta fase se lleva a cabo en la parte del codificador;
para cada tubo de referencia:
lectura de una indicacion de utilizacion o no de este tubo de referencia para la reconstruccion de una imagen actual;
-
lectura de las informaciones de transicion asociadas al tubo utilizado, es decir unas informaciones de modificacion de la textura y de modificacion de la posicion y/o desplazamiento del bloque;
-
actualizacion de las informaciones de transicion asociadas a los tubos (p. ej. actualizacion de la textura y de la posicion y/o desplazamiento);
para cada bloque de la imagen actual: lectura de una indicacion de utilizacion o no de una prediccion mediante unos tubos de movimiento;
reconstruccion de la imagen actual.
La reconstruccion de la imagen actual se realiza de este modo mediante la combinacion de las predicciones
resultantes de los diferentes tubos de movimiento. De este modo cada tubo define una prediccion t (x,y,t), obtenida mediante la compensacion del movimiento y eventualmente la interpolacion de la textura de este tubo en el punto (x,y) y en el instante t.
Por ejemplo, y tal y como se ilustra en relacion con la figura 4, se combinan estas diferentes predicciones de la siguiente manera:
Los pesos wi y wj se introducen para tener en cuenta las ponderaciones que hay que aplicar en predicciones multiples.
De este modo, de acuerdo con una primera variante, se pueden definir estos pesos mediante:
w = 1/ {numero de prediccion en ese punto}
De acuerdo con una segunda variante, cada tubo define un peso Wt ligado a la posicion del punto con respecto al tubo (por ejemplo peso inversamente proporcional a la distancia al centro de este tubo) y a continuacion Wi se define como Wt dividido por la suma de las diferentes Wt.
De acuerdo con una tercera variante, la combinacion de las predicciones de los tubos para obtener la prediccion final puede recurrir a otras operaciones distintas a las operaciones de ponderacion, utilizando por ejemplo unas tecnicas resultantes de la codificacion mediante descripcion multiple.
5.3.Cadificaci6n
A partir de aqui se presenta en relacion con la figura 5 las principales etapas del procedimiento de codificacion de acuerdo con la invencion.
De manera mas precisa, se considera en lo que se refiere a la codificacion una secuencia de imagenes 51, que se desea codificar.
A lo largo de la primera etapa de insercion 52, se insertan en una seral representativa de la secuencia, unos tubos de movimiento, como los que se han definido con anterioridad.
De manera mas precisa, cada uno de los tubos de movimiento esta definido mediante al menos las siguientes informaciones:
-
un bloque de pixeles de referencia que comprende unas informaciones de textura de referencia;
-
unos instantes de inicio de tubo y de fin de tubo;
-
unas informaciones de transicion, que permiten actualizar dicho bloque de referencia en al menos un instante t de dicha secuencia;
Durante una etapa siguiente de generacion 53, se generan las informaciones de transicion que definen los tubos de movimiento. Dicho de otro modo, se definen para cada tubo de movimiento las evoluciones del bloque de pixeles de referencia a lo largo del tiempo.
De este modo se genera una seral 54 representativa de la secuencia de imagenes 51, que comprende unos tubos de movimiento y que permite, en la decodificacion, una combinacion de las informaciones asociadas a los bloques actuales de al menos dos de los tubos que se solapan en una zona de solapamiento de una imagen actual, para reconstruir unos pixeles optimizados en la zona de solapamiento.
A continuacion se describe un ejemplo de algoritmo para la aplicacion del procedimiento de codificacion para la codificacion de una secuencia de imagenes de video. Este algoritmo comprende dos fases principales: una fase de establecimiento de los tubos y una fase de codificacion de los tubos.
A) �ase de establecimiento de los tubos:
En un primer momento, se descompone una secuencia de video en un conjunto de tubos de movimiento.
Para la primera imagen de una secuencia, se inicializa un tubo de movimiento para cada bloque de un conjunto de bloques que recubren la primera imagen. Este conjunto de bloques que recubren la primera imagen puede comprender unicamente unos bloques separados, es decir que no tienen ningun pixel en comun, o bien unos bloques que se superponen en parte, es decir que al menos dos bloques comprenden un mismo pixel. El corte considerado es entonces redundante, lo que permite por ejemplo hacer unas descripciones multiples para un mismo contenido o, aun mejor, estimar el movimiento en las zonas de los limites de objetos.
Estos tubos de movimiento permiten definir una lista de tubos de referencia.
Se considera entonces la codificacion de una imagen que hay que codificar, dada una lista previa de imagenes o de bloques de pixeles de referencia conocidos (por ejemplo ya codificados/decodificados y almacenados en la memoria cache), asi como una lista de tubos de referencia.
La fase de establecimiento de los tubos de movimiento para la aplicacion del procedimiento de codificacion comprende las siguientes etapas:
para cada tubo en la lista de los tubos de referencia:
determinacion de una informacion de posicion del tubo en la imagen que hay que codificar de la secuencia. Dicho de otro modo, se busca cual seria la posicion de este tubo en la imagen que hay que codificar, por ejemplo buscando que traslacion de posicion conduciria a la mejor prediccion para la imagen que hay que codificar;
determinacion de una indicacion de utilizacion o no del tubo de referencia, utilizando por ejemplo una tecnica de valor umbral en la prediccion del tubo;
actualizacion de las informaciones de textura, definiendo por ejemplo un residuo que hay que aradir a los valores de textura definidos en el tubo en un instante de referencia;
para cada bloque de la imagen que hay que codificar:
determinacion de una indicacion de utilizacion o no de una prediccion mediante unos tubos de movimiento para la reconstruccion del bloque:
-
si un bloque de la imagen que hay que codificar no se codifica por medio de las predicciones resultantes de los tubos de referencia, entonces se codifican los valores de textura de este bloque en la imagen que hay que codificar y se le asocia a un nuevo tubo que vendra a completar la lista de tubos de referencia al termino de la codificacion de la imagen actual;
-
si un bloque de la imagen se reconstruye a partir de las predicciones de los tubos de referencia, o bien se decide no codificar nada mas, o bien se decide iniciar un tubo de refinamiento en este bloque (es decir un tubo aditivo que comprende unos valores de residuo que hay que aradir, o un tubo de descripcion que comprende unos valores representativos del bloque).
B) �ase de codificacion de los tubos:
Para codificar los diferentes tubos, se utiliza un esquema de tipo intra-residuo de acuerdo con este algoritmo de aplicacion de la codificacion:
-
en la creacion de un tubo, se codifican los valores de los pixeles del bloque considerado en la imagen mediante una tecnica clasica de codificacion por bloque, por ejemplo reutilizando un modo de codificacion intra definido en el esquema de codificacion H.264 para un bloque de tamaro 4x4, 8x8 o 16x16;
-
en la actualizacion de la textura de un tubo de referencia, se codifica un residuo que hay que aradir a los valores del bloque de pixeles de referencia, por ejemplo reutilizando un modo de codificacion de los residuos definido en el esquema de codificacion H.264 para un bloque de tamaro 4x4, 8x8 o 16x16;
-
las informaciones de transicion (posicion de los tubos de referencia, en particular) se codifican para cada nueva imagen que hay que codificar, por ejemplo utilizando una tecnica de codificacion de una informacion de movimiento de bloque tal y como se utiliza en el esquema de codificacion H.264.
Se obtiene, por lo tanto, el siguiente proceso para la codificacion de una imagen: codificacion de la lista de tubos de referencia utilizada, si esta lista se ha creado. Esta etapa se puede omitir con la utilizacion de la lista preestablecida en las codificaciones de imagenes anteriores; para cada tubo de referencia: codificacion de la indicacion de utilizacion o no del tubo de referencia para la imagen actual; si se utiliza este tubo: codificacion de las informaciones de modificacion de la textura y de modificacion de posicion y/o de desplazamiento: para cada bloque de la imagen que hay que codificar:
codificacion de la indicacion de utilizacion o no de una prediccion por medio de al menos un tubo de movimiento; codificacion de la creacion o no de un nuevo tubo a partir de este bloque;
-
codificacion del tipo del nuevo tubo;
-
codificacion de sus valores de textura, si el nuevo tubo es un tubo de descripcion, o de residuo, si el nuevo tubo es un tubo aditivo.
codificacion de las informaciones de actualizacion de la lista de referencia, por ejemplo suprimiendo los tubos para los que se ha llegado al instante de desaparicion.
5... Estructuras del cadificadar y del decadificadar
Por ultimo se presenta, en relacion con las figuras 6A y 6B, las estructuras simplificadas de un dispositivo de codificacion y de un dispositivo de decodificacion que aplican respectivamente una tecnica de codificacion y una tecnica de decodificacion como las que se han describo mas arriba.
Un dispositivo de decodificacion como el que se ilustra en la figura 6A comprende una memoria 61 formada por una memoria tampon, una unidad de tratamiento 62, equipada por ejemplo con un microprocesador IP, y controlada por el programa de ordenador 63, que ejecuta el procedimiento de codificacion de acuerdo con la invencion.
En la inicializacion, las instrucciones de codigo del programa de ordenador 63 se cargan, por ejemplo, en una memoria RAM antes de que las ejecute el procesador de la unidad de tratamiento 62. La unidad de tratamiento 62 recibe en la entrada una secuencia de imagenes 51 que hay que codificar. El microprocesador de la unidad de tratamiento 62 ejecuta las etapas del procedimiento de codificacion que se ha descrito con anterioridad, de acuerdo con las instrucciones del programa de ordenador 63, para codificar la secuencia de imagenes representadas por los tubos de movimiento. Para ello, el dispositivo de codificacion comprende, ademas de la memoria tampon 61, unos medios de insercion de tubos de movimiento, y unos medios de generacion de las informaciones de transicion que definen los tubos de movimiento. Estos medios son controlados por el microprocesador de la unidad de tratamiento
62.
La unidad de tratamiento 62 emite en la salida una seral 54 representativa de la secuencia de imagenes, que comprende unos tubos de movimiento.
Un dispositivo de decodificacion como el que se ilustra en la figura 6B comprende una memoria 66 formada por una 5 memoria tampon, una unidad de tratamiento 67, equipada por ejemplo con un microprocesador IP, y controlada por el programa de ordenador 68, que ejecuta el procedimiento de decodificacion de acuerdo con la invencion.
En la inicializacion, las instrucciones de codigo del programa de ordenador 68 se cargan, por ejemplo, en una memoria RAM antes de que las ejecute el procesador de la unidad de tratamiento 67. La unidad de tratamiento 67 10 recibe en la entrada una seral 30 representativa de una secuencia de imagenes que comprende unos tubos de movimiento. El microprocesador de la unidad de tratamiento 67 ejecuta las etapas del procedimiento de decodificacion que se ha descrito con anterioridad, de acuerdo con las instrucciones del programa de ordenador 68, para reconstruir las imagenes de la secuencia. Para ello, el dispositivo de decodificacion comprende, ademas de la memoria tampon 66, unos medios de extraccion de la seral 30 de unos tubos de movimiento, unos medios de
15 tratamiento de informaciones de transicion y unos medios de combinacion de las informaciones asociadas a los bloques actuales de al menos dos de dichos tubos que se solapan. Estos medios son controlados por el microprocesador de la unidad de tratamiento 67.
La unidad de tratamiento 67 emite una secuencia de imagenes reconstruidas 34.

Claims (11)

  1. REIvINDICaCIoNES
    1. Procedimiento de decodificacion de una seral representativa de una secuencia de imagenes, que se caracteriza porque comprende las siguientes etapas:
    extraccion (31) de dicha seral de unos tubos de movimiento, comprendiendo un tubo un bloque de pixeles que pueden evolucionar de forma independiente de al menos otro tubo; dos tubos pudiendo, en un instante dado, asignar unos valores diferentes a un mismo pixel de una de dichas imagenes, estando definido cada uno de dichos tubos mediante al menos las siguientes informaciones:
    -
    un bloque de pixeles de referencia que comprende unas informaciones de textura de referencia;
    -
    unos instantes de inicio de tubo y de fin de tubo;
    -
    unas informaciones de transicion, que permiten actualizar dicho bloque de referencia en al menos un instante t de dicha secuencia;
    tratamiento (32) de dichas informaciones de transicion, que emiten un bloque actual para cada uno de dichos tubos en una imagen actual en un instante t;
    combinacion (33) de las informaciones asociadas a los bloques actuales de al menos dos de dichos tubos que se solapan en una zona de solapamiento de dicha imagen actual, de tal modo que se reconstruyan unos pixeles optimizados en dicha zona de solapamiento.
  2. 2.
    Procedimiento de decodificacion de acuerdo con la reivindicacion 1, que se caracteriza porque dicha etapa de combinacion (33) comprende, para al menos un pixel de dicha zona de solapamiento, una operacion de calculo de una media del valor de textura atribuido a dicho pixel en cada uno de dichos tubos que se solapan.
  3. 3.
    Procedimiento de decodificacion de acuerdo con la reivindicacion 2, que se caracteriza porque dicha media es una media ponderada, en funcion de al menos uno de los criterios que pertenecen al grupo que comprende:
    -
    una informacion de profundidad asociada a cada uno de dichos tubos;
    -
    una informacion de prioridad asociada a cada uno de dichos tubos;
    -
    el instante de creacion y/o la duracion de cada uno de dichos tubos;
    -
    una informacion de posicion del pixel considerado en cada uno de dichos tubos;
    -
    una informacion relativa a un tipo de tubo de cada uno de dichos tubos.
  4. 4.
    Procedimiento de decodificacion de acuerdo con una cualquiera de las reivindicaciones 1 a 3, que se caracteriza porque el bloque de pixeles en el instante de inicio de un tubo, denominado boque de partida, corresponde al bloque de pixeles de referencia que define dicho tubo, o se obtiene a partir de una modificacion de dicho bloque de pixeles de referencia.
  5. 5.
    Procedimiento de decodificacion de acuerdo con una cualquiera de las reivindicaciones 1 a 4, que se caracteriza porque dicha etapa de extraccion (31) emite unos tubos de base y unos tubos de refinamiento destinados a mejorar la recuperacion de al menos un tubo de base.
  6. 6.
    Procedimiento de decodificacion de acuerdo con la reivindicacion 5, que se caracteriza porque dichos tubos de refinamiento comprenden unos tubos aditivos y unos tubos de descripcion, comprendiendo un tubo aditivo unas informaciones de residuo destinadas a aradirse a las informaciones de un tubo de base, y comprendiendo un tubo de descripcion unas informaciones de descripcion que emiten una segunda descripcion complementaria y/o redundante de una primera descripcion suministrada por unas informaciones de un tubo de base.
  7. 7.
    Procedimiento de decodificacion de acuerdo con una cualquiera de las reivindicaciones 1 a 6, que se caracteriza porque dichas informaciones comprenden:
    -
    unas informaciones de modificacion de posicion y/o de desplazamiento de dicho bloque en dicha imagen actual; y
    -
    unas informaciones de modificacion de dicha textura.
  8. 8. Procedimiento de decodificacion de acuerdo con la reivindicacion 7, que se caracteriza porque dichas informaciones de transicion comprenden unas informaciones de deformacion de dicho bloque que lleva a cabo una de las operaciones que pertenecen al grupo que comprende:
    -
    una transformacion homografica;
    -
    una transformacion afin;
    -
    una rotacion;
    y porque dicha etapa de tratamiento (32) realiza dicha operacion en funcion de dichas informaciones de deformacion.
  9. 9. Procedimiento de decodificacion de acuerdo con una cualquiera de las reivindicaciones 1 a 8, que se caracteriza porque dicha etapa de extraccion (31) comprende una etapa de lectura, en un instante t, para cada uno de dichos tubos de al menos una de las siguientes informaciones:
    -
    una indicacion de utilizacion o no de dicho tubo;
    -
    una indicacion de utilizacion o no de una prediccion para dicho tubo;
    -
    una informacion de posicion de dicho tubo en la imagen;
    -
    una informacion relativa a un tipo de tubo;
    -
    unos datos de textura.
  10. 10. Dispositivo de decodificacion de una seral representativa de una secuencia de imagenes, que se caracteriza porque comprende:
    unos medios de extraccion (31) de dicha seral de unos tubos de movimiento, comprendiendo un tubo un bloque de pixeles que pueden evolucionar de forma independiente de al menos otro tubo; dos tubos pudiendo, en un instante dado, asignar unos valores diferentes a un mismo pixel de una de dichas imagenes; estando definido cada uno de dichos tubos mediante al menos las siguientes informaciones:
    -
    un bloque de pixeles de referencia que comprende unas informaciones de textura de referencia;
    -
    unos instantes de inicio de tubo y de fin de tubo;
    -
    unas informaciones de transicion, que permiten actualizar dicho bloque de referencia en al menos un instante t de dicha secuencia;
    unos medios de tratamiento (32) de dichas informaciones de transicion, que emiten un bloque actual para cada uno de dichos tubos en una imagen actual en un instante t;
    unos medios de combinacion (33) de las informaciones asociadas a los bloques actuales de al menos dos de dichos tubos que se solapan en una zona de solapamiento de dicha imagen actual, de tal modo que se reconstruyan unos pixeles optimizados en dicha zona de solapamiento.
  11. 11. Paquete de software para ordenador descargable desde una red de comunicacion y/o grabado en un soporte legible por un ordenador y/o ejecutable por un procesador, que se caracteriza porque comprende unas instrucciones de codigo de programa para la aplicacion del procedimiento de decodificacion de acuerdo con una al menos de las reivindicaciones 1 a 9.
ES08806058T 2007-06-25 2008-06-23 Procedimientos y dispositivos de codificación y de decodificación de una secuencia de imágenes representada por medio de tubos de movimiento, paquetes de software de ordenador y señal correspondientes Active ES2391234T3 (es)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
FR0756007 2007-06-25
FR0756007A FR2917872A1 (fr) 2007-06-25 2007-06-25 Procedes et dispositifs de codage et de decodage d'une sequence d'images representee a l'aide de tubes de mouvement, produits programme d'ordinateur et signal correspondant.
PCT/FR2008/051126 WO2009007580A2 (fr) 2007-06-25 2008-06-23 Procedes et dispositifs de codage et de decodage d'une sequence d'images representee a l'aide de tubes de mouvement, produits programme d'ordinateur et signal correspondants

Publications (1)

Publication Number Publication Date
ES2391234T3 true ES2391234T3 (es) 2012-11-22

Family

ID=39229597

Family Applications (1)

Application Number Title Priority Date Filing Date
ES08806058T Active ES2391234T3 (es) 2007-06-25 2008-06-23 Procedimientos y dispositivos de codificación y de decodificación de una secuencia de imágenes representada por medio de tubos de movimiento, paquetes de software de ordenador y señal correspondientes

Country Status (8)

Country Link
US (1) US8588292B2 (es)
EP (1) EP2172024B1 (es)
JP (1) JP5358568B2 (es)
CN (1) CN101790888B (es)
BR (1) BRPI0813266B1 (es)
ES (1) ES2391234T3 (es)
FR (1) FR2917872A1 (es)
WO (1) WO2009007580A2 (es)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7832566B2 (en) 2002-05-24 2010-11-16 Biomet Biologics, Llc Method and apparatus for separating and concentrating a component from a multi-component material including macroparticles
US20060278588A1 (en) 2002-05-24 2006-12-14 Woodell-May Jennifer E Apparatus and method for separating and concentrating fluids containing multiple components
CN102187670B (zh) 2008-10-15 2014-05-14 法国电信公司 通过前向移动期间的补偿来预测图像
WO2010086545A1 (fr) 2009-01-28 2010-08-05 France Telecom Procedes de codage et de decodage d'une sequence d'image mettant en oeuvre une compensation en mouvement, dispositifs de codage et de decodage, signal et programmes d'ordinateur correspondants
WO2010086562A1 (fr) 2009-01-28 2010-08-05 France Telecom Procede et dispositif de codage d'images mettant en oeuvre des modes de codage distincts, procede et dispositif de decodage, et programmes d'ordinateur correspondants
US20110243442A1 (en) * 2010-03-31 2011-10-06 Agrawal Amit K Video Camera for Acquiring Images with Varying Spatio-Temporal Resolutions
US8644376B2 (en) 2010-09-30 2014-02-04 Alcatel Lucent Apparatus and method for generating compressive measurements of video using spatial and temporal integration
US9319578B2 (en) 2012-10-24 2016-04-19 Alcatel Lucent Resolution and focus enhancement
US9634690B2 (en) 2010-09-30 2017-04-25 Alcatel Lucent Method and apparatus for arbitrary resolution video coding using compressive sampling measurements
US8929456B2 (en) * 2010-09-30 2015-01-06 Alcatel Lucent Video coding using compressive measurements
US9344736B2 (en) 2010-09-30 2016-05-17 Alcatel Lucent Systems and methods for compressive sense imaging
US9398310B2 (en) 2011-07-14 2016-07-19 Alcatel Lucent Method and apparatus for super-resolution video coding using compressive sampling measurements
US9600899B2 (en) 2013-12-20 2017-03-21 Alcatel Lucent Methods and apparatuses for detecting anomalies in the compressed sensing domain
US9563806B2 (en) 2013-12-20 2017-02-07 Alcatel Lucent Methods and apparatuses for detecting anomalies using transform based compressed sensing matrices
US9894324B2 (en) 2014-07-15 2018-02-13 Alcatel-Lucent Usa Inc. Method and system for modifying compressive sensing block sizes for video monitoring using distance information
US10165300B2 (en) 2016-10-28 2018-12-25 Blackberry Limited 3D transform and inter prediction for video coding
FR3075540A1 (fr) * 2017-12-15 2019-06-21 Orange Procedes et dispositifs de codage et de decodage d'une sequence video multi-vues representative d'une video omnidirectionnelle.

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69416717T2 (de) * 1993-05-21 1999-10-07 Nippon Telegraph & Telephone Bewegtbildkoder und -dekoder
JPH0746595A (ja) * 1993-05-21 1995-02-14 Nippon Telegr & Teleph Corp <Ntt> 動画像符号化器および復号化器
US5923786A (en) * 1995-07-17 1999-07-13 Sony Corporation Method and device for encoding and decoding moving images
US6990248B2 (en) * 1996-05-09 2006-01-24 Koninklijke Philips Electronics N.V. Segmented video coding and decoding method and system
US5936671A (en) * 1996-07-02 1999-08-10 Sharp Laboratories Of America, Inc. Object-based video processing using forward-tracking 2-D mesh layers
WO1998042134A1 (en) * 1997-03-17 1998-09-24 Mitsubishi Denki Kabushiki Kaisha Image encoder, image decoder, image encoding method, image decoding method and image encoding/decoding system
WO2000064167A1 (en) * 1999-04-17 2000-10-26 Pulsent Corporation Method and apparatus for efficient video processing
EP1161839A1 (en) * 1999-12-28 2001-12-12 Koninklijke Philips Electronics N.V. Snr scalable video encoding method and corresponding decoding method
US7003035B2 (en) * 2002-01-25 2006-02-21 Microsoft Corporation Video coding methods and apparatuses
US7609763B2 (en) * 2003-07-18 2009-10-27 Microsoft Corporation Advanced bi-directional predictive coding of video frames
US8165205B2 (en) * 2005-09-16 2012-04-24 Sony Corporation Natural shaped regions for motion compensation
EP2157800B1 (en) * 2008-08-21 2012-04-18 Vestel Elektronik Sanayi ve Ticaret A.S. Method and apparatus for increasing the frame rate of a video signal

Also Published As

Publication number Publication date
BRPI0813266B1 (pt) 2020-09-15
EP2172024B1 (fr) 2012-07-11
FR2917872A1 (fr) 2008-12-26
BRPI0813266A2 (pt) 2014-12-30
WO2009007580A2 (fr) 2009-01-15
EP2172024A2 (fr) 2010-04-07
JP2010532612A (ja) 2010-10-07
CN101790888B (zh) 2013-03-13
WO2009007580A3 (fr) 2009-03-19
CN101790888A (zh) 2010-07-28
US20100189172A1 (en) 2010-07-29
JP5358568B2 (ja) 2013-12-04
US8588292B2 (en) 2013-11-19

Similar Documents

Publication Publication Date Title
ES2391234T3 (es) Procedimientos y dispositivos de codificación y de decodificación de una secuencia de imágenes representada por medio de tubos de movimiento, paquetes de software de ordenador y señal correspondientes
ES2561078T3 (es) Codificación de vídeo híbrido que soporta síntesis de vistas intermedias
ES2752300T3 (es) Procedimiento y dispositivo de codificación de vídeos utilizando un número reducido de vectores de movimiento para los bloques conectados
KR101385884B1 (ko) 다시점 동영상의 부호화 및 복호화 방법 및 장치
JP6080405B2 (ja) 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
KR101906686B1 (ko) 화상 부호화 장치, 화상 부호화 방법, 화상 복호화 장치, 화상 복호화 방법, 및 컴퓨터 판독가능 저장 매체
KR101301181B1 (ko) 다시점 영상의 부호화, 복호화 방법 및 장치
ES2558693T3 (es) Procedimiento y dispositivo de codificación de imágenes que implementa una predicción mejorada, procedimiento y dispositivo de decodificación, señal y programas informáticos correspondientes
KR20080108884A (ko) 블록 기반의 양안식 영상 포맷 생성 방법과 장치 및 양안식영상 복원 방법과 장치
RU2651185C2 (ru) Способ кодирования текущего блока первого компонента изображения относительно контрольного блока по меньшей мере одного второго компонента изображения, устройство кодирования и соответствующая компьютерная программа
ES2773774T3 (es) Dispositivo, método y programa de codificación bipredictiva de imágenes, y dispositivo, método y programa de decodificación bipredictiva de imágenes
ES2629027T3 (es) Codificación de vectores de movimiento por competición de predictores
JP2008271217A (ja) 多視点映像符号化装置
CN102301714A (zh) 用于对实施运动补偿的图像序列进行编码和解码的方法、对应的编码和解码装置、信号以及计算机程序
ES2820332T3 (es) Dispositivo de decodificación de imágenes, procedimiento de decodificación de imágenes, programa de decodificación de imágenes, dispositivo de codificación de imágenes, procedimiento de codificación de imágenes, y programa de codificación de imágenes
EP2587813A2 (en) Apparatus and method for encoding and decoding using virtual view synthesis prediction
JP2020088533A (ja) 予測装置、予測方法、及びプログラム。
KR20130022923A (ko) 가상 시점 합성 예측을 이용한 부호화/복호화 장치 및 부호화/복호화 방법
KR101315295B1 (ko) 다시점 영상의 부호화, 복호화 방법 및 장치
JP6505142B2 (ja) 画像符号化装置、画像符号化方法及びプログラム、画像復号装置、画像復号方法及びプログラム
KR102020024B1 (ko) 가상 시점 합성 예측을 이용한 부호화/복호화 장치 및 부호화/복호화 방법