ES2318402T3 - Procedimiento y disposicion para la codificacion de video,comprendiendo la codificacion de video analisis de textura y sintesis de textura asi como distorsion de textura,como un programa informativo correspondiente y 1 medio de almacenamiento legible por ordenador correspondiente. - Google Patents
Procedimiento y disposicion para la codificacion de video,comprendiendo la codificacion de video analisis de textura y sintesis de textura asi como distorsion de textura,como un programa informativo correspondiente y 1 medio de almacenamiento legible por ordenador correspondiente. Download PDFInfo
- Publication number
- ES2318402T3 ES2318402T3 ES05022899T ES05022899T ES2318402T3 ES 2318402 T3 ES2318402 T3 ES 2318402T3 ES 05022899 T ES05022899 T ES 05022899T ES 05022899 T ES05022899 T ES 05022899T ES 2318402 T3 ES2318402 T3 ES 2318402T3
- Authority
- ES
- Spain
- Prior art keywords
- texture
- areas
- images
- synthesizable
- group
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000015572 biosynthetic process Effects 0.000 title claims abstract description 26
- 238000003786 synthesis reaction Methods 0.000 title claims abstract description 26
- PWPJGUXAGUPAHP-UHFFFAOYSA-N lufenuron Chemical compound C1=C(Cl)C(OC(F)(F)C(C(F)(F)F)F)=CC(Cl)=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F PWPJGUXAGUPAHP-UHFFFAOYSA-N 0.000 title 1
- 238000004590 computer program Methods 0.000 claims abstract description 5
- 230000033001 locomotion Effects 0.000 claims description 27
- 230000011218 segmentation Effects 0.000 claims description 12
- 238000001514 detection method Methods 0.000 claims description 5
- 230000002123 temporal effect Effects 0.000 claims description 3
- 238000011156 evaluation Methods 0.000 abstract 1
- 230000000007 visual effect Effects 0.000 description 9
- 230000005540 biological transmission Effects 0.000 description 8
- 238000011002 quantification Methods 0.000 description 7
- 238000012360 testing method Methods 0.000 description 7
- 239000013598 vector Substances 0.000 description 6
- 238000013459 approach Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 244000025254 Cannabis sativa Species 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000011045 prefiltration Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- -1 trees Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
- H04N19/27—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding involving both synthetic and natural picture components, e.g. synthetic natural hybrid coding [SNHC]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/537—Motion estimation other than block-based
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Image Processing (AREA)
- Studio Circuits (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Procedimiento para la codificación de vídeo, con las siguientes etapas: realizar, para cada imagen de un grupo de imágenes de una secuencia de vídeo, un análisis de textura, para subdividir cada imagen en bloques; agrupar bloques con propiedades de color y de textura similares dentro de las imágenes, para determinar zonas de textura sintetizable; y a través de la textura de estas zonas, codificar las escenas de vídeo y generar metadatos para describir las zonas determinadas y para describir la textura sintetizable, presentando la generación de los metadatos la estimación de parámetros de movimiento que describen una distorsión, para adaptar zonas sintetizables en imágenes del grupo de imágenes mediante la distorsión a zonas de textura correspondientes en la primera o la última imagen de este grupo, siendo los parámetros de movimiento parte de los metadatos.
Description
Procedimiento y disposición para la codificación
de vídeo, comprendiendo la codificación de vídeo análisis de
textura y síntesis de textura así como distorsión de textura, así
como un programa informático correspondiente y un medio de
almacenamiento legible por ordenador correspondiente.
La invención se refiere a un procedimiento y a
una disposición para la codificación de vídeo, comprendiendo la
codificación de vídeo análisis de textura y síntesis de textura, así
como un programa informático correspondiente y un medio de
almacenamiento legible por ordenador correspondiente. La invención
puede emplearse especialmente para la reducción de la tasa de
transmisión de datos en la transmisión de datos de vídeo.
Muchas escenas de vídeo contienen texturas
típicas, tales como agua, hierba, árboles, nubes, arena, etc. Estas
texturas tienen por regla general muchos detalles y por tanto son
muy complicadas de codificar. La reconstrucción exacta de estas
texturas sin embargo puede considerarse no importante, cuando están
representadas con una resolución local reducida. Por tanto no es
necesario realizar, en primer lugar, una codificación que requiere
un gran esfuerzo de cálculo de tales zonas de textura, transmitir la
(gran) cantidad de datos que se produce con esto, para reconstruir
finalmente la textura basándose en EMC (error medio cuadrático). El
observador sólo debe poder detectar la textura representada,
irrelevante con respecto a los detalles, lo que incluso en la
reconstrucción así realizada con frecuencia no es el caso cuando se
utiliza un prefiltro, ya que de este modo se falsea la textura.
Un procedimiento para la codificación de
imágenes que comprende análisis de textura y síntesis de textura,
se conoce por ejemplo por el artículo Yoon S Y et al:
"Subband texture synthesis for image coding", Proceedings of
the SPIE, Vol. 3299, enero de 1998, páginas 489 a 497. El
procedimiento está diseñado para imágenes fijas. Sin embargo, en el
caso de imágenes en movimiento existe adicionalmente otra
posibilidad para la reducción de información, debido a la similitud
elevada en la mayoría de los casos de imágenes directamente
sucesivas.
El documento Smolic et al:
"Long-term global motion estimation and its
application for sprite coding, content description, and
segmentation", IEEE Transactions on Circuits and Systems for
Video Technology, Vol. 9(8), diciembre de 1999, describe una
denominada "sprite coding" para datos de vídeo. A este respecto
se transmite de manera paralela a la secuencia de vídeo un
"background sprite" constante por intervalos de tiempo más
largos, a partir del que el descodificador calcula mediante
distorsiones adecuadas (warping), más una imagen diferencial, la
imagen de vídeo actual.
El objetivo de la invención consiste por tanto
en proporcionar un procedimiento y una disposición para la
codificación de vídeo, comprendiendo la codificación de vídeo
análisis de textura y síntesis de textura, así como un programa
informático correspondiente y un medio de almacenamiento legible por
ordenador correspondiente, que evitan las desventajas mencionadas
de las soluciones conocidas y especialmente posibilitan una
reproducción de texturas sin pérdida de calidad visual con
reducción simultánea de los datos de vídeo que van a
transmitirse.
Este objetivo se soluciona según la invención
mediante las características en las reivindicaciones 1, 15, 16, 17,
18 así como 19. Configuraciones convenientes de la invención están
contenidas en las reivindicaciones dependientes.
Una ventaja especial del procedimiento para la
codificación de vídeo, comprendiendo la codificación de vídeo
análisis de textura y síntesis de textura, consiste en que se reduce
la tasa de transmisión de datos de los datos de vídeo que van a
transmitirse realizándose en el lado del codificador un análisis de
textura de escenas de vídeo para la determinación de zonas de
textura sintetizable, realizándose una codificación de las escenas
de vídeo utilizando información sobre zonas determinadas de textura
sintetizable e información sobre la textura de estas zonas y
generándose metadatos para la descripción de las zonas determinadas
y para la descripción de la textura sintetizable y evaluándose en
el lado del descodificador metadatos y datos codificados y
reconstruyéndose las escenas de vídeo, generándose sintéticamente
texturas mediante evaluación de los metadatos para zonas
determinadas.
En una forma de realización preferida del
procedimiento según la invención está previsto que se determinen
zonas de textura sintetizable mediante una segmentación por división
y agrupamiento
("split-and-merge"),
subdividiéndose imágenes utilizando un árbol cuaternario
("quadtree") de resolución múltiple en imágenes parciales
(bloques). Resulta ventajoso a este respecto el hecho de que la
subdivisión de un bloque (bloque de inicio) se interrumpe cuando
los subbloques que se producen mediante la siguiente etapa de
subdivisión presentan propiedades de color y/o de textura similares
a las del bloque de inicio o el tamaño de bloques de la última etapa
de subdivisión queda por debajo de un valor preestablecido. Además
es ventajoso que bloques cuya subdivisión se interrumpió debido a
propiedades de color y/o de textura similares se caracterizan como
bloques homogéneos, y los bloques diferentes de los bloques
homogéneos una vez realizada la subdivisión de la imagen, como
bloques no clasificables. Para la reducción del número de bloques
está previsto en una forma de realización que, tras la subdivisión
de una imagen para los bloques homogéneos se realice una valoración
de similitud y se agrupen bloques similares para formar zonas
sintetizables. Una forma de realización especial del procedimiento
según la invención prevé a este respecto que la similitud de
bloques se valore basándose en los descriptores
MPEG-7 descriptor de textura "Edge Histogram"
(EH) y/o descriptor "Scalable Color" (SCC).
Otra forma de realización preferida prevé que
zonas determinadas de textura sintetizable de una imagen se hagan
coincidir con zonas de textura sintetizable de imágenes anteriores
de la secuencia de vídeo.
Además es ventajoso cuando la primera y última
imagen (las denominados tramas clave) de un grupo de tramas
("Group of Frames" (GoF)) se codifican basándose en un
procedimiento de error medio cuadrático (basado en EMC) y se
sintetizan parcialmente imágenes B situadas entre las mismas con
zonas sintetizables determinadas. En una forma de realización
preferida adicional del procedimiento según la invención está
previsto que se garantice la consistencia temporal de la detección
de texturas sintetizables de un grupo de tramas (GoF) mediante un
catálogo de texturas.
Otra forma de realización preferida prevé que se
adapten zonas sintetizables en las imágenes parcialmente
sintetizadas a zonas de textura correspondientes en las tramas clave
mediante distorsiones adecuadas (warping). Está previsto a este
respecto especialmente que el "warping" se realice con ayuda de
un modelo de movimiento en perspectiva planar descrito mediante las
siguientes ecuaciones
en las
que
(x, y) son las coordenadas del punto de
inicio,
(x', y') las coordenadas transformadas del punto
de inicio y
a_{1},..., a_{8} parámetros de modelo.
Se consiguen resultados especialmente buenos de
la síntesis de textura cuando mediante el "warping" se
distorsiona la textura de la primera o última imagen del GoF actual
en la dirección de la zona de textura sintetizable determinada,
asociándose a cada zona de textura de este tipo un conjunto de
parámetros de movimiento y un parámetro de control, indicando el
parámetro de control si se utiliza la primera o la última imagen de
un GoF para la síntesis de textura. Para ello está previsto
especialmente que para la síntesis de textura se utilice la imagen
de un GoF para la que se determina una menor señal diferencial entre
la región de textura sintetizada y la original.
En una forma de realización preferida adicional
del procedimiento según la invención para la codificación de vídeo
está previsto que como metadatos de zonas con textura sintetizable
se transmitan por cada zona de textura una máscara de segmentación,
un conjunto de parámetros de movimiento y/o un parámetro de
control.
Además resulta ventajoso cuando en la
descodificación se procesan todos los macrobloques pertenecientes a
una textura sintetizable como macrobloques "skipped" (que se
han saltado).
Una disposición según la invención presenta al
menos un chip y/o procesador que está(n) configurados(s) de
modo que puede llevarse a cabo un procedimiento para la codificación
de vídeo, comprendiendo la codificación de vídeo análisis de
textura y síntesis de textura, estando dispuesto un elemento para
llevar a cabo un procedimiento para la codificación de vídeo con las
siguientes etapas:
- -
- realizar en el lado del codificador un análisis de textura de escenas de vídeo para la determinación de zonas de textura sintetizable, utilizando información sobre zonas determinadas de textura sintetizable e información sobre la textura de estas zonas, codificar las escenas de vídeo y generar metadatos para la descripción de las zonas determinadas y para la descripción de la textura sintetizable y
- -
- evaluar en el lado del descodificador datos y metadatos codificados y reconstruir las escenas de vídeo, generándose sintéticamente texturas mediante evaluación de los metadatos para zonas determinadas.
En una forma de realización preferida de la
disposición según la invención está previsto que la disposición
comprenda un codificador de vídeo, un analizador de textura (TA,
"Texture Analyzer"), un descodificador de vídeo y un
sintetizador de textura (TS, "Texture Synthesizer"),
presentando el codificador de vídeo y el analizador de textura (TA)
en cada caso una entrada IN de vídeo y el descodificador de vídeo
una salida OUT de vídeo, estando conectadas la salida del
analizador de textura (TA) con una segunda entrada del codificador
de vídeo y la salida del codificador de vídeo con la entrada del
descodificador de vídeo, y estando conectada adicionalmente una
segunda salida del codificador de vídeo con la entrada del
sintetizador de textura (TS).
Resulta ventajoso para realizar la codificación
de vídeo según la invención emplear un programa informático que
permite a un ordenador llevar a cabo un procedimiento para la
codificación de vídeo, una vez cargado en la memoria del ordenador,
comprendiendo la codificación de vídeo análisis de textura y
síntesis de textura, comprendiendo el programa informático código
de programa para llevar a cabo un procedimiento para la codificación
de vídeo con las siguientes etapas:
- -
- realizar en el lado del codificador un análisis de textura de escenas de vídeo para la determinación de zonas de textura sintetizable, utilizando información sobre zonas determinadas de textura sintetizable e información sobre la textura de estas zonas, codificar las escenas de vídeo y generar metadatos para la descripción de las zonas determinadas y para la descripción de la textura sintetizable y
- -
- evaluar en el lado del descodificador metadatos y datos codificados y reconstruir las escenas de vídeo, generándose sintéticamente texturas mediante evaluación de los metadatos para zonas determinadas.
De manera alternativa puede resultar ventajoso
cuando se usa un medio de almacenamiento legible por ordenador, en
el que está almacenado un programa que permite a un ordenador llevar
a cabo un procedimiento para la codificación de vídeo, una vez
cargado en la memoria del ordenador, comprendiendo la codificación
de vídeo análisis de textura y síntesis de textura, comprendiendo
el programa informático código de programa para llevar a cabo un
procedimiento para la codificación de vídeo con las siguientes
etapas:
- -
- realizar en el lado del codificador un análisis de textura de escenas de vídeo para la determinación de zonas de textura sintetizable, utilizando información sobre zonas determinadas de textura sintetizable e información sobre la textura de estas zonas, codificar las escenas de vídeo y generar metadatos para la descripción de las zonas determinadas y para la descripción de la textura sintetizable y
- -
- evaluar en el lado del descodificador metadatos y datos codificados y reconstruir las escenas de vídeo, generándose sintéticamente texturas mediante la evaluación de los metadatos para zonas determinadas.
La invención se explica a continuación de manera
más detallada mediante un ejemplo de realización haciendo
referencia a las figuras de los dibujos. Muestran:
la figura 1, codificación de vídeo utilizando un
analizador de textura (TA) y un sintetizador de textura (TS);
la figura 2, imagen individual segmentada tras
la etapa "Split" (izquierda) y tras la etapa "Merge"
(derecha);
la figura 3, "warping" de una zona de
textura de la imagen de referencia en la dirección de la zona de
imagen que va a rellenarse en la trama actual;
la figura 4, resultados de codificación para la
secuencia de prueba "Flower-garden" (jardín de
flores);
- a)
- Arriba a la izquierda: imagen original (imagen nº 6 de la secuencia "Flowergarden");
- b)
- Abajo a la izquierda: imagen descodificada con regiones de textura sintetizadas;
- c)
- Arriba a la derecha: señal diferencial (factor de intensificación 3);
- d)
- Abajo a la derecha: máscara con compensación de movimiento conservadora;
la figura 5, ahorro de la tasa de transmisión de
datos ("bitrate savings") en función del parámetro de
cuantificación QP.
En el ejemplo de realización descrito a
continuación se sigue el planteamiento de realizar una reproducción
mejorada de texturas, realizándose mediante el empleo del
procedimiento según la invención para la codificación de vídeo un
análisis de textura en el lado del transmisor y una síntesis de
textura en el lado del descodificador (véase la figura 1).
El analizador de textura identifica regiones de
textura irrelevantes con respecto a los detalles, genera máscaras
bastas correspondientes y las señaliza al descodificador como
información lateral para el sintetizador de textura. Éste último
sustituye las texturas identificadas por texturas generadas
sintéticamente utilizando la información lateral.
Este modo de proceder se basa en el
reconocimiento de que para las texturas irrelevantes con respecto a
los detalles identificadas no son adecuados criterios de calidad
objetivos habituales, tales como por ejemplo el error medio
cuadrático (EMC) para una codificación eficaz, ya que dado el caso
se transmiten y reconstruyen detalles irrelevantes. Nuestras
investigaciones muestran que con frecuencia es suficiente una medida
de similitud MPEG-7 para detectar la calidad de
texturas irrelevantes con respecto a los detalles reconstruidas
(véase ISO/IEC JTC1/SC29/WG11/N4358: "Text of ISO/IEC
15938-3/FDIS Informationstechnology - Multimedia
content description interface - Part 3 Visual", Sydney,
Australia, julio de 2001; ISO/IEC JTC1/SC29/WG11/N4362:
"MPEG-7 Visual part of eXperimentation Model
Version 11.0", Sydney, Australia, julio de 2001.). El uso de
criterios de similitud MPEG-7 tiene como
consecuencia que las texturas reconstruidas pueden presentar
detalles diferentes en comparación con la textura original. Estas
diferencias apenas pueden percibirse cuando se mantiene la
resolución local de las texturas tras la reconstrucción, y molestan
mucho menos que los artefactos correspondientes en la codificación
de la señal diferencial con una tasa de transmisión de bits que
corresponde a la información lateral.
A continuación van a describirse los algoritmos
utilizados para el análisis de textura en el lado del transmisor y
para la síntesis de textura en el lado del receptor, así como la
integración de sistema en un códec H.264/AVC.
En el análisis de textura se realiza para cada
imagen de una secuencia una segmentación "Split and Merge".
A este respecto se subdivide en la primera etapa
(etapa de subdivisión o "Split") cada imagen en bloques y se
analiza utilizando un árbol cuaternario de resolución múltiple
(véase J. Malki et al.: "Region Queries without
Segmentation for Image Retrieval by Convent", VISUAL' 99, páginas
115 a 122, 1999.). El árbol cuaternario de resolución múltiple
comprende varios planos, correspondiendo el primero (nivel 0) a la
imagen original. El número de bloques en el plano número L asciende
a 2^{2L}. Cada bloque en el plano (L-1) se
subdivide en el siguiente plano superior (nivel L) en 4 bloques, de
modo que el número de bloques de una imagen siempre permanece igual
de manera horizontal y vertical (por ejemplo 4 bloques
horizontalmente y verticalmente en el segundo plano (L=2)).
Un bloque en el plano (L-1)
contiene una textura homogénea cuando sus cuatro subbloques en el
nivel número L presentan propiedades de color o de textura
similares a las del propio bloque. A este respecto se determina la
similitud mediante descriptores MPEG-7
correspondientes, tal como se explicará más adelante. Sólo los
bloques no homogéneos se subdividen adicionalmente en el siguiente
plano superior. Bloques que incluso tras alcanzar el plano de
subdivisión máximo siguen siendo no homogéneos se clasifican como no
clasificables. El resultado de la etapa "Split" es normalmente
una imagen hipersegmentada que debe procesarse posteriormente en la
etapa de agrupamiento o "Merge", agrupándose una parte de los
bloques de una imagen hipersegmentada.
Para ello se comparan en la etapa "Merge"
bloques homogéneos de dos en dos y en el caso de una similitud
suficiente se agrupan para formar un agrupamiento ("cluster").
La figura 2 muestra un ejemplo de una imagen individual segmentada
tras la etapa "Split" y tras la etapa "Merge". Regiones
que se consideran no clasificables están identificadas por un borde
negro, mientras que las regiones clasificadas están marcadas
mediante bordes que no son negros.
Puede observarse claramente que el número de
regiones homogéneas se ha reducido claramente mediante la etapa
"Merge" aguas abajo.
La valoración de similitud entre dos bloques se
realiza basándose en dos descriptores MPEG-7 (véase
ISO/IEC JTC1/SC29/WG11/N4358: "Text of ISO/IEC
15938-3/FDIS Informationstechnology - Multimedia
content description interface - Part 3 Visual", Sydney,
Australia, julio de 2001; ISO/IEC JTC1/SC29/WG11/N4362:
"MPEG-7 Visual part of eXperimentation Model
Version 11.0", Sydney, Australia, julio de 2001.). Se trata por
un lado del descriptor de textura "Edge Histogram" (EH) que
representa la distribución espacial de cuatro bordes direccionales
(uno horizontal, uno vertical y dos oblicuos) y un borde no
direccional para 16 regiones locales no solapadas de una imagen. La
frecuencia de la aparición de las clases de borde individuales se
determina para cada región local por separado. El vector
característico EH tiene de este modo la dimensión 80 (16 regiones
multiplicadas por cinco clases de bordes). El segundo descriptor
MPEG-7 utilizado es el descriptor "Scalable
Color" (SCC). Representa un histograma de color en el espacio de
color HSV, representando HSV un espacio de color tridimensional con
las componentes Hue (tono), Saturation (saturación) y Value (valor).
El vector característico SCC utilizado tiene la dimensión 256.
Dos bloques se clasifican como similares cuando
la distancia entre los vectores característicos correspondientes se
sitúa por debajo de un valor umbral preestablecido. El valor umbral
se refiere a este respecto a la distancia máxima posible. Ésta
última depende de la métrica seleccionada (I_{1}, I_{2}, EMD) y
del descriptor MPEG-7 actual (SCC o EH). El valor
umbral cero indica que dos bloques sólo pueden clasificarse como
similares en caso de una coincidencia absoluta de sus vectores
característicos, mientras que el valor umbral 1 significa que dos
bloques cualesquiera siempre son similares, ya que la distancia
entre sus vectores característicos no puede ser mayor que la
distancia máxima posible. El valor umbral de similitud se fija
manualmente para cada secuencia y permanece constante por toda la
secuencia.
La segmentación "Split and Merge" procesa
cada imagen de manera independiente de las otras imágenes de una
secuencia. Se producen a este respecto inconsistencias temporales
inevitables con respecto a la detección de textura entre imágenes.
Por tanto se hacen coincidir las zonas de textura identificadas de
una imagen actual con las zonas de textura de las imágenes
anteriores. Para la aplicación prevista es importante que se obtenga
la consistencia temporal de la detección de texturas identificadas
para cada grupo de tramas (GoF) de la secuencia observada. Un GoF
está compuesto a este respecto por dos tramas clave (la primera y la
última imagen de un GoF) y varias tramas parcialmente sintetizadas
situadas entre las mismas. Las tramas clave son o bien imágenes I o
bien imágenes P, que se codifican exclusivamente basándose en
EMC.
La consistencia temporal de la detección de
texturas irrelevantes con respecto a los detalles identificadas de
un GoF se garantiza mediante un catálogo de texturas. En este
catálogo de texturas se almacenan las texturas irrelevantes con
respecto a los detalles existentes en la secuencia observada. El
catálogo de texturas se inicializa con los vectores característicos
de las texturas irrelevantes con respecto a los detalles que
aparecen en la primera imagen con texturas irrelevantes con
respecto a los detalles. Las texturas identificadas de las
siguientes imágenes se comparan con las entradas en el catálogo de
texturas y, en caso de que exista coincidencia, se asignan a la
entrada correspondiente. En caso de ausencia de coincidencia las
texturas irrelevantes con respecto a los detalles, no registradas,
en cuestión, se introducen en el catálogo de texturas.
Puede aumentarse la fiabilidad de la
identificación basada en color o textura de zonas de textura
sintetizables de un GoF, cuando las zonas de textura irrelevantes
con respecto a los detalles en las imágenes parcialmente
sintetizadas se adaptan a las zonas de textura correspondientes en
las tramas clave mediante distorsiones adecuadas ("warping").
Las zonas de textura irrelevantes con respecto a los detalles de una
imagen se distorsionan por tanto en la dirección de las tramas
clave correspondientes (primera y última imagen en el GoF). El
"warping" se realiza con ayuda del modelo de movimiento en
perspectiva planar, tal como se define por el descriptor de
movimiento paramétrico ("Parametric Motion")
MPEG-7 (véase ISO/IEC JTC1/SC29/WG11/N4358: "Text
of ISO/IEC 15938-3/FDIS Informationstechnology -
Multimedia content description interface - Part 3 Visual",
Sydney, Australia, julio de 2001; ISO/IEC JTC1/SC29/WG11/N4362:
"MPEG-7 Visual part of experimentation Model
Version 11.0", Sydney, Australia, julio de 2001.) El modelo de
movimiento en perspectiva se describe mediante las siguientes
ecuaciones:
Las coordenadas (x', y') representan las
coordenadas transformadas del punto de inicio (x, y). Los ocho
parámetros de modelo se describen mediante a_{1},...,a_{8}. El
modelo en perspectiva planar puede describir cualquier movimiento
de cualquier cuerpo rígido, en caso de que las operaciones de cámara
se limiten meramente a rotación y zoom. En el caso de cuerpos
rígidos planares es admisible cualquier operación de cámara. En la
práctica estas condiciones se cumplen por regla general para el
intervalo de tiempo corto de un GoF. Los parámetros de movimiento
(a_{1},...,a_{8}) de las zonas de textura irrelevantes con
respecto a los detalles identificadas con respecto a zonas de
textura correspondientes de las tramas clave correspondientes se
estiman, tal como se representa en (véase A. Smolic y J.-R. Ohm:
"Robust Global Motion Estimation Using a Simplified
M-Estimator Approach", Proc. ICIP2000, IEEE
International Conference on Image Processing, Vancouver, Canadá,
septiembre de 2000.). El "warping" sólo puede realizarse
cuando existen o se han identificado zonas de textura
correspondientes en la primera o en la última imagen del GoF. Sólo
aquellos puntos de la zona de textura transformada, que se sitúan
dentro de la zona de textura correspondiente de la primera imagen
del GoF, pueden utilizarse para la síntesis. Los demás puntos se
marcan en la imagen actual como no clasificables, por lo que se
reduce la zona de textura sintetizable. Este procedimiento se
repite con la última imagen del GoF. El analizador de textura
proporciona por tanto dos zonas de textura con compensación de
movimiento reducidas para cada región de textura originalmente
identificada (tras la etapa "Merge") de una imagen parcialmente
sintetizable.
\vskip1.000000\baselineskip
El sintetizador de textura utilizado distorsiona
("warping") la textura de la primera o última imagen del GoF
actual en la dirección de la región de textura sintetizable
correspondiente, identificada por el analizador de textura (figura
3). Para ello se necesita para cada región de textura sintetizable
identificada por el analizador de textura un conjunto de parámetros
de movimiento y un parámetro de control. El parámetro de control
determina si la primera o la última imagen de un GoF se utiliza para
la síntesis de textura. Se utiliza a este respecto siempre la
imagen de referencia que lleva a la mejor síntesis de textura. A
este respecto la mejor síntesis de textura se caracteriza por una
menor señal diferencial entre la región de textura sintetizada y la
región de textura original. Este sintetizador de textura proporciona
muy buenos resultados para cuerpos rígidos, siempre que se cumplan
las hipótesis del modelo de movimiento.
En una forma de realización ejemplar se
integraron los procedimientos descritos para el análisis y síntesis
de texturas en un códec H.264/AVC (Joint Model 2.1). A este respecto
se codifican imágenes I y P basándose en EMC y se utilizan como
tramas clave. Imágenes B en cambio pueden sintetizarse parcialmente.
Para imágenes B con zonas de textura sintetizables identificadas
han de transmitirse por cada región de textura una máscara de
segmentación, un conjunto de parámetros de movimiento así como un
parámetro de control como información lateral.
En la descodificación, todos los macrobloques
pertenecientes a una textura sintetizable se procesan como
macrobloques "skipped", es decir, se fijan todos los
parámetros y variables necesarios dentro del sector ("slice")
para la descodificación de macrobloques subsiguientes (en el orden
del descodificador), tal como se especifica para macrobloques
"skipped" (véase DRAFT ISO/IEC 14496-10:2002
(E), documento JVT-E146d37: "Editor's Proposed
Draft Text Modifications for Joint Video Specification
(ITU-T Rec. H264 ISO/IEC 14496-10
AVC), Geneva modifications draft 36", Ginebra, Suiza, octubre de
2002.) Una vez descodificados todos los macrobloques de una imagen,
tiene lugar la llamada del sintetizador de textura para rellenar las
zonas de textura que van a sintetizarse.
El experimento realizado consistió en integrar
un analizador de textura y un sintetizador de textura en un códec
de vídeo H.264/AVC (Joint Model 2.1) y codificar y volver a
descodificar a continuación secuencias de video. Dos secuencias de
prueba conocidas ("Flowergarden" (jardín de flores) y
"Concrete" (hormigón)) se utilizaron para ello. Ambas
secuencias de prueba contienen texturas que son muy adecuadas para
demostrar que puede realizarse una reconstrucción aproximada de
determinadas texturas sin pérdida de calidad visual notable.
\newpage
En una forma de realización de la invención se
ajustó el códec H.264/AVC como sigue:
- -
- 3 imágenes B,
- -
- 1 imagen de referencia,
- -
- CABAC (procedimiento de codificación entrópica),
- -
- Optimización de distorsión de tasa,
- -
- ningún entrelazado,
- -
- frecuencia de trama de 30 Hz,
- -
- parámetros de cuantificación QP = 16, 20, 24, 28 y 32 (figura 5).
Los resultados tenían una calidad de imagen
subjetivamente satisfactoria para la secuencia "Flowergarden".
La figura 4 muestra los resultados conseguidos en el ejemplo de la
6ª imagen de la secuencia "Flowergarden". La figura 4c muestra
que la señal diferencial en la zona del cielo casi es cero, mientras
que en la zona de flores se sitúa considerablemente más elevada. En
la comparación óptica entre la imagen descodificada y la original
aún así no puede observarse prácticamente ninguna diferencia. En
este caso se muestra que el valor PSNR no es adecuado como criterio
de calidad para este tipo de codificación.
Para poder estimar el ahorro de tasa de
transmisión de datos más grande posible se segmentaron manualmente
las dos secuencias de prueba para las primeras pruebas. Siguieron
pruebas adicionales con máscaras de segmentación generadas de
manera semiautomática (véase anteriormente la sección "Análisis de
textura en el lado del codificador").
La figura 5 muestra los ahorros de tasa de
transmisión de bits conseguidos para ambas secuencias de prueba en
función del parámetro de cuantificación (QP). Los mayores ahorros se
midieron para la resolución de cuantificación más alta (QP = 16).
Ahorros del 20,29% (Flowergarden) y del 23,05% (Concrete) pudieron
medirse con máscaras manualmente segmentadas para esta resolución.
Con máscaras generadas de manera semiautomática conseguimos ahorros
del 5,6% (Flowergarden) y del 18,53% (Concrete) para QP = 16. El
ahorro de tasa de transmisión de bits se vuelve más pequeño a
medida que disminuye la resolución de cuantificación o aumenta el
valor QP. Esto se debe a que la información lateral transmitida
permanece constante independientemente de QP. Es decir, la parte de
la información lateral en la tasa de transmisión de datos total se
vuelve cada vez más grande a medida que se hace más basta la
resolución de cuantificación. En el caso de parámetros de
cuantificación superiores a 28 ó 32 (figura 5) las tasas de
transmisión de datos del códec de vídeo H264/AVC normalizado son
aproximadamente iguales o incluso menores que las del códec con
análisis y síntesis de textura.
La intersección de las curvas "Concrete"
(figura 5) se basa en el hecho de que el número de texturas
detectadas en la segmentación semiautomática, visto por toda la
secuencia, fue menor que en el caso de la segmentación manual, de
modo que la información lateral que tenía que transmitirse fue menor
en la segmentación semiautomática que en la manual. Por tanto el
volumen de la información lateral fue menor en el caso
semiautomático que en el manual. La calidad de imagen subjetiva de
las secuencias de imagen codificadas y descodificadas en H264/AVC
de vídeo fue comparable, para todos los ajustes QP, a los resultados
de la codificación con análisis y síntesis de textura (véase
http://bs.hhi.de/~ndjiki/SE.htm).
La invención no se limita en cuanto a su forma
de realización a los ejemplos de realización preferidos
anteriormente indicados. Más bien es concebible un número de
variantes que utilizan la disposición según la invención y el
procedimiento según la invención también en el caso de
configuraciones básicamente diferentes.
- 1
- codificador
- 2
- descodificador
- 3
- analizador de textura (TA)
- 4
- sintetizador de textura (TS)
Claims (19)
1. Procedimiento para la codificación de vídeo,
con las siguientes etapas:
- realizar, para cada imagen de un grupo de imágenes de una secuencia de vídeo, un análisis de textura, para subdividir cada imagen en bloques;
- agrupar bloques con propiedades de color y de textura similares dentro de las imágenes, para determinar zonas de textura sintetizable; y
- a través de la textura de estas zonas, codificar las escenas de vídeo y generar metadatos para describir las zonas determinadas y para describir la textura sintetizable,
- presentando la generación de los metadatos la estimación de parámetros de movimiento que describen una distorsión, para adaptar zonas sintetizables en imágenes del grupo de imágenes mediante la distorsión a zonas de textura correspondientes en la primera o la última imagen de este grupo, siendo los parámetros de movimiento parte de los metadatos.
\vskip1.000000\baselineskip
2. Procedimiento según la reivindicación 1, en
el que la realización del análisis de textura presenta la
subdivisión de imágenes en bloques utilizando un árbol cuaternario
de resolución múltiple.
3. Procedimiento según la reivindicación 2, en
el que la subdivisión de un bloque se interrumpe cuando
- -
- los bloques que se producen mediante la siguiente etapa de subdivisión presentan propiedades de color y/o de textura similares a las de este bloque o
- -
- el tamaño de bloques de la siguiente etapa de subdivisión queda por debajo de un valor preestablecido.
\vskip1.000000\baselineskip
4. Procedimiento según la reivindicación 3, en
el que bloques cuya subdivisión se interrumpió debido a propiedades
de color y/o de textura similares se caracterizan como bloques
homogéneos, y los bloques diferentes de los bloques homogéneos una
vez realizada la subdivisión de la imagen, como bloques no
clasificables.
5. Procedimiento según la reivindicación 3 ó 4,
en el que tras la subdivisión de una imagen para aquellos bloques,
cuya subdivisión se interrumpió debido a propiedades de color y/o de
textura similares, se realiza una valoración de similitud y se
agrupan bloques similares para formar zonas sintetizables.
6. Procedimiento según la reivindicación 5, en
el que la similitud de bloques se valora basándose en descriptores
MPEG-7.
7. Procedimiento según la reivindicación 6, en
el que la similitud de bloques de valora basándose en los
descriptores MPEG-7 descriptor de textura "Edge
Histogram" (EH) y/o descriptor "Scalable Color" (SCC).
8. Procedimiento según una de las
reivindicaciones anteriores, en el que las zonas determinadas de
textura sintetizable de una imagen de una secuencia de vídeo se
hacen coincidir con zonas de textura sintetizable de imágenes
anteriores de la secuencia de vídeo.
9. Procedimiento según una de las
reivindicaciones anteriores, en el que se codifica la primera y
última imagen (las denominadas tramas clave) de un grupo de
imágenes basándose en un procedimiento de error medio cuadrático
(basado en EMC) y se sintetizan parcialmente imágenes B situadas
entre las mismas con zonas sintetizables determina-
das.
das.
10. Procedimiento según la reivindicación 9, en
el que la consistencia temporal de la detección de texturas
sintetizables de un grupo de imágenes se garantiza mediante un
catálogo de texturas.
11. Procedimiento según una de las
reivindicaciones anteriores, en el que la distorsión se realiza con
ayuda de un modelo de movimiento en perspectiva planar descrito
mediante las siguientes ecuaciones:
en las
que
(x, y) son las coordenadas del punto de
inicio,
(x', y') las coordenadas transformadas del punto
de inicio y
a_{1}, ...,a_{8} parámetros de modelo.
12. Procedimiento según la reivindicación 11, en
el que mediante la distorsión se distorsiona la textura de la
primera o última imagen del grupo actual de imágenes en la dirección
de la zona de textura sintetizable determinada, asociándose a cada
una de tales zonas de textura un conjunto de parámetros de
movimiento y un parámetro de control, indicando el parámetro de
control si se utiliza la primera o la última imagen de un grupo de
imágenes para la síntesis de textura.
13. Procedimiento según la reivindicación 12, en
el que para la síntesis de textura se utiliza la imagen de un grupo
de imágenes, para la que se determina una menor señal diferencial
entre la región de textura sintetizada y la original.
14. Procedimiento según una de las
reivindicaciones anteriores, en el que como metadatos de zonas con
textura sintetizable se generan, por cada zona de textura,
- -
- una máscara de segmentación,
- -
- un conjunto de parámetros de movimiento y/o
- -
- un parámetro de control.
15. Procedimiento para la codificación de vídeo,
con las siguientes etapas:
evaluar datos codificados de escenas de vídeo y
metadatos para la descripción de zonas determinadas de textura
sintetizable en las escenas de vídeo y para la descripción de la
textura sintetizable de estas zonas;
y
reconstruir la escenas de vídeo mediante
generación sintética de texturas generadas sintéticamente para las
zonas determinadas,
caracterizado porque
los metadatos presentan parámetros de movimiento
que describen una distorsión para adaptar zonas sintetizables en
imágenes de un grupo de imágenes mediante la distorsión a zonas de
textura correspondientes en la primera o la última imagen de este
grupo, y porque
la reconstrucción presenta la distorsión de las
zonas de textura correspondientes en la primera o última imagen del
grupo en la dirección de las zonas sintetizables adaptadas en las
imágenes del grupo de imágenes utilizando los parámetros de
movimiento.
16. Disposición para la codificación de vídeo,
con
un dispositivo para realizar, para cada imagen
de un grupo de imágenes de una secuencia de vídeo, un análisis de
textura, para subdividir cada imagen en bloques, y agrupar bloques
con propiedades de color y de textura similares dentro de las
imágenes, para determinar zonas de textura sintetizable,
un dispositivo para, utilizando información
sobre zonas determinadas de textura sintetizable e información
sobre la textura de estas zonas, codificar las escenas de vídeo y
generar metadatos para la descripción de las zonas determinadas y
para la descripción de la textura sintetizable,
estando el dispositivo para generar los
metadatos configurado para estimar parámetros de movimiento que
describen una distorsión, para adaptar zonas sintetizables en
imágenes del grupo de imágenes mediante la distorsión a zonas de
textura correspondientes en la primera o la última imagen de este
grupo, siendo los parámetros de movimiento parte de los
metadatos.
17. Disposición para la codificación de vídeo,
con las siguientes etapas:
un dispositivo para evaluar datos codificados de
escenas de vídeo y metadatos para la descripción de zonas
determinadas de textura sintetizable en las escenas de vídeo y para
la descripción de la textura sintetizable de estas zonas; y
\newpage
un dispositivo para reconstruir las escenas de
vídeo mediante generación sintética de texturas generadas
sintéticamente para las zonas determinadas,
caracterizada porque
los metadatos presentan parámetros de movimiento
que describen una distorsión para adaptar zonas sintetizables en
imágenes de un grupo de imágenes mediante la distorsión a zonas de
textura correspondientes en la primera o la última imagen de este
grupo, y porque
el dispositivo para reconstruir está configurado
para distorsionar las zonas de textura correspondientes en la
primera o la última imagen del grupo en la dirección de las zonas
sintetizables adaptadas en las imágenes del grupo de imágenes
utilizando los parámetros de movimiento.
18. Programa informático que permite a un
ordenador llevar a cabo un procedimiento según una de las
reivindicaciones 1 a 15, una vez cargado en la memoria del
ordenador.
19. Medio de almacenamiento legible por
ordenador, en el que está almacenado un programa que permite a un
ordenador llevar a cabo un procedimiento según una de las
reivindicaciones 1 a 15, una vez cargado en la memoria del
ordenador.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE10310023 | 2003-02-28 | ||
| DE10310023A DE10310023A1 (de) | 2003-02-28 | 2003-02-28 | Verfahren und Anordnung zur Videocodierung, wobei die Videocodierung Texturanalyse und Textursynthese umfasst, sowie ein entsprechendes Computerprogramm und ein entsprechendes computerlesbares Speichermedium |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| ES2318402T3 true ES2318402T3 (es) | 2009-05-01 |
Family
ID=32864249
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| ES05022899T Expired - Lifetime ES2318402T3 (es) | 2003-02-28 | 2004-02-26 | Procedimiento y disposicion para la codificacion de video,comprendiendo la codificacion de video analisis de textura y sintesis de textura asi como distorsion de textura,como un programa informativo correspondiente y 1 medio de almacenamiento legible por ordenador correspondiente. |
| ES04714778T Expired - Lifetime ES2280947T3 (es) | 2003-02-28 | 2004-02-26 | Procedimiento y disposicion para la codificacion de video, comprendiendo la codificacion de video el analisis de textura y la sintesis de textura, asi como un programa informatico correspondiente y un medio de memoria legible por ordenador correspondiente. |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| ES04714778T Expired - Lifetime ES2280947T3 (es) | 2003-02-28 | 2004-02-26 | Procedimiento y disposicion para la codificacion de video, comprendiendo la codificacion de video el analisis de textura y la sintesis de textura, asi como un programa informatico correspondiente y un medio de memoria legible por ordenador correspondiente. |
Country Status (9)
| Country | Link |
|---|---|
| US (1) | US7949053B2 (es) |
| EP (2) | EP1635578B1 (es) |
| JP (2) | JP4450828B2 (es) |
| AT (2) | ATE415052T1 (es) |
| DE (3) | DE10310023A1 (es) |
| DK (1) | DK1599835T3 (es) |
| ES (2) | ES2318402T3 (es) |
| PT (1) | PT1599835E (es) |
| WO (1) | WO2004077360A1 (es) |
Families Citing this family (41)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| EP1908294A2 (en) * | 2005-07-15 | 2008-04-09 | Koninklijke Philips Electronics N.V. | Image coder for regions of texture |
| JP2010514315A (ja) * | 2006-12-19 | 2010-04-30 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 画像信号を符号化するための方法及びシステム、符号化された画像信号、画像信号を復号化するための方法及びシステム |
| KR101381600B1 (ko) * | 2006-12-20 | 2014-04-04 | 삼성전자주식회사 | 텍스처 합성을 이용한 영상의 부호화, 복호화 방법 및 장치 |
| US8208556B2 (en) * | 2007-06-26 | 2012-06-26 | Microsoft Corporation | Video coding using spatio-temporal texture synthesis |
| EP2018070A1 (en) * | 2007-07-17 | 2009-01-21 | Thomson Licensing | Method for processing images and the corresponding electronic device |
| DE102007036215B4 (de) * | 2007-08-02 | 2009-09-10 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Störstellenermittlung in Bildern/Videos |
| JP4659005B2 (ja) * | 2007-08-17 | 2011-03-30 | 日本電信電話株式会社 | テクスチャ合成に基づく動画像符号化方法，復号方法，符号化装置，復号装置およびそれらのプログラムとその記録媒体 |
| US8155184B2 (en) * | 2008-01-16 | 2012-04-10 | Sony Corporation | Video coding system using texture analysis and synthesis in a scalable coding framework |
| US8204325B2 (en) | 2008-01-18 | 2012-06-19 | Sharp Laboratories Of America, Inc. | Systems and methods for texture synthesis for video coding with side information |
| US9420233B2 (en) * | 2008-03-26 | 2016-08-16 | Pelco, Inc. | Method and apparatus for dynamically controlling a video surveillance system |
| WO2009147224A1 (fr) * | 2008-06-05 | 2009-12-10 | Thomson Licensing | Procede de codage d ' image avec synthese de texture |
| EP2304958B1 (en) * | 2008-06-27 | 2018-03-21 | Thomson Licensing DTV | Methods and apparatus for texture compression using patch-based sampling texture synthesis |
| US8155457B2 (en) * | 2008-11-18 | 2012-04-10 | International Business Machines Corporation Corporation | Robust encoding of metadata in lossy encoded images |
| US8363721B2 (en) | 2009-03-26 | 2013-01-29 | Cisco Technology, Inc. | Reference picture prediction for video coding |
| MY189368A (en) * | 2009-10-20 | 2022-02-08 | Sharp Kk | Moving image decoding device, moving image decoding method, moving image coding device, and moving image coding method |
| WO2011090798A1 (en) | 2010-01-22 | 2011-07-28 | Thomson Licensing | Data pruning for video compression using example-based super-resolution |
| EP2526698A1 (en) | 2010-01-22 | 2012-11-28 | Thomson Licensing | Methods and apparatus for sampling -based super resolution video encoding and decoding |
| KR101469515B1 (ko) * | 2010-09-01 | 2014-12-05 | 한국전자통신연구원 | 영상센서여기신호를 이용한 다중 텍스쳐 기반 신호 처리 방법 및 장치 |
| US8842738B2 (en) * | 2010-09-01 | 2014-09-23 | Electronics And Telecommunications Research Institute | Signal processing method and apparatus based on multiple textures using video audio excitation signals |
| KR101469513B1 (ko) * | 2010-09-01 | 2014-12-05 | 한국전자통신연구원 | 영상여기신호를 이용한 다중 텍스쳐 이미지 기반 영상 처리 방법 및 장치 |
| US8848800B2 (en) * | 2010-09-01 | 2014-09-30 | Electronics And Telecommunications Research Institute | Signal processing method and apparatus based on multiple textures using video sensor excitation signals |
| US8831094B2 (en) * | 2010-09-01 | 2014-09-09 | Electronics And Telecommunications Research Institute | Video processing method and apparatus based on multiple texture images |
| KR101527369B1 (ko) * | 2010-09-01 | 2015-06-09 | 한국전자통신연구원 | 영상오디오여기신호를 이용한 다중 텍스쳐 기반 신호 처리 방법 및 장치 |
| WO2012033972A1 (en) | 2010-09-10 | 2012-03-15 | Thomson Licensing | Methods and apparatus for pruning decision optimization in example-based data pruning compression |
| CN103141092B (zh) * | 2010-09-10 | 2016-11-16 | 汤姆逊许可公司 | 针对视频压缩使用运动补偿的基于示例的超分辨率来编码视频信号的方法和设备 |
| KR101855542B1 (ko) * | 2010-09-10 | 2018-06-08 | 톰슨 라이센싱 | 예제 기반 데이터 프루닝을 이용한 비디오 부호화 |
| WO2012033970A1 (en) | 2010-09-10 | 2012-03-15 | Thomson Licensing | Encoding of a picture in a video sequence by example - based data pruning using intra- frame patch similarity |
| EP2579591A1 (en) * | 2011-10-04 | 2013-04-10 | Thomson Licensing | Method of and device for encoding an HDR image, method of and device for reconstructing an HDR image and non-transitory storage medium |
| CN103679649B (zh) * | 2013-11-18 | 2016-10-05 | 联想(北京)有限公司 | 一种信息处理方法和电子设备 |
| JP5941097B2 (ja) * | 2014-05-28 | 2016-06-29 | トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ | パッチベースのサンプリングテクスチャ合成を用いたテクスチャ圧縮の方法及び装置 |
| JP6527579B2 (ja) | 2014-07-30 | 2019-06-05 | エスケー テックス カンパニー、リミテッド | クラウドストリーミングサービスシステム、スチールイメージ基盤クラウドストリーミングサービス方法及びそのための装置 |
| EP3177024B1 (en) * | 2014-07-30 | 2020-02-26 | Sk Planet Co., Ltd. | Apparatus for cloud streaming service |
| KR102247887B1 (ko) * | 2014-10-13 | 2021-05-04 | 에스케이플래닛 주식회사 | 클라우드 스트리밍 서비스 시스템, 소스 정보를 이용한 클라우드 스트리밍 서비스 방법 및 이를 위한 장치 |
| US10074014B2 (en) * | 2015-04-22 | 2018-09-11 | Battelle Memorial Institute | Feature identification or classification using task-specific metadata |
| US9852523B2 (en) * | 2016-02-24 | 2017-12-26 | Ondrej Jamri{hacek over (s)}ka | Appearance transfer techniques maintaining temporal coherence |
| US9870638B2 (en) | 2016-02-24 | 2018-01-16 | Ondrej Jamri{hacek over (s)}ka | Appearance transfer techniques |
| JP6883219B2 (ja) | 2016-04-22 | 2021-06-09 | ソニーグループ株式会社 | 符号化装置及び符号化方法、並びに、システム |
| US20190087930A1 (en) * | 2017-09-18 | 2019-03-21 | Qualcomm Incorporated | Adding metadata to texture surfaces for bandwidth compression |
| US10805629B2 (en) * | 2018-02-17 | 2020-10-13 | Google Llc | Video compression through motion warping using learning-based motion segmentation |
| US10887589B2 (en) * | 2019-04-12 | 2021-01-05 | Realnetworks, Inc. | Block size determination for video coding systems and methods |
| CN113742288B (zh) * | 2020-05-29 | 2024-09-24 | 伊姆西Ip控股有限责任公司 | 用于数据索引的方法、电子设备和计算机程序产品 |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB8528143D0 (en) * | 1985-11-14 | 1985-12-18 | British Telecomm | Image encoding & synthesis |
| DE69228983T2 (de) * | 1991-12-18 | 1999-10-28 | Koninklijke Philips Electronics N.V., Eindhoven | System zum Übertragen und/oder Speichern von Signalen von texturierten Bildern |
| KR970003799B1 (ko) * | 1993-12-29 | 1997-03-21 | 양승택 | 영상 프레임차를 이용한 영상신호 전송장치 |
| US6058211A (en) * | 1995-07-07 | 2000-05-02 | Imec Vzw | Data compression method and apparatus |
| EP0836784B1 (en) * | 1996-05-06 | 2003-09-17 | Koninklijke Philips Electronics N.V. | Segmented video coding and decoding method and system |
| US6990248B2 (en) * | 1996-05-09 | 2006-01-24 | Koninklijke Philips Electronics N.V. | Segmented video coding and decoding method and system |
| US6044168A (en) * | 1996-11-25 | 2000-03-28 | Texas Instruments Incorporated | Model based faced coding and decoding using feature detection and eigenface coding |
| EP0933939A4 (en) * | 1997-07-18 | 1999-12-22 | Sony Corp | METHOD AND SYSTEM FOR MULTIPLEXING AN IMAGE SIGNAL, METHOD AND SYSTEM FOR DEMULTIPLEXING AN IMAGE SIGNAL, AND TRANSMISSION MEDIUM |
| US6236757B1 (en) * | 1998-06-18 | 2001-05-22 | Sharp Laboratories Of America, Inc. | Joint coding method for images and videos with multiple arbitrarily shaped segments or objects |
| US6593925B1 (en) * | 2000-06-22 | 2003-07-15 | Microsoft Corporation | Parameterized animation compression methods and arrangements |
| US20030012287A1 (en) * | 2001-03-05 | 2003-01-16 | Ioannis Katsavounidis | Systems and methods for decoding of systematic forward error correction (FEC) codes of selected data in a video bitstream |
| US6810086B1 (en) * | 2001-06-05 | 2004-10-26 | At&T Corp. | System and method of filtering noise |
| US7606435B1 (en) * | 2002-02-21 | 2009-10-20 | At&T Intellectual Property Ii, L.P. | System and method for encoding and decoding using texture replacement |
| US6947045B1 (en) * | 2002-07-19 | 2005-09-20 | At&T Corporation | Coding of animated 3-D wireframe models for internet streaming applications: methods, systems and program products |
-
2003
- 2003-02-28 DE DE10310023A patent/DE10310023A1/de not_active Ceased
-
2004
- 2004-02-26 AT AT05022899T patent/ATE415052T1/de active
- 2004-02-26 PT PT04714778T patent/PT1599835E/pt unknown
- 2004-02-26 ES ES05022899T patent/ES2318402T3/es not_active Expired - Lifetime
- 2004-02-26 DK DK04714778T patent/DK1599835T3/da active
- 2004-02-26 DE DE502004002904T patent/DE502004002904D1/de not_active Expired - Lifetime
- 2004-02-26 AT AT04714778T patent/ATE354143T1/de active
- 2004-02-26 ES ES04714778T patent/ES2280947T3/es not_active Expired - Lifetime
- 2004-02-26 DE DE502004008490T patent/DE502004008490D1/de not_active Expired - Lifetime
- 2004-02-26 WO PCT/EP2004/001939 patent/WO2004077360A1/de active IP Right Grant
- 2004-02-26 JP JP2006501963A patent/JP4450828B2/ja not_active Expired - Fee Related
- 2004-02-26 EP EP05022899A patent/EP1635578B1/de not_active Expired - Lifetime
- 2004-02-26 EP EP04714778A patent/EP1599835B1/de not_active Expired - Lifetime
-
2005
- 2005-08-19 US US11/208,103 patent/US7949053B2/en not_active Expired - Fee Related
-
2009
- 2009-08-07 JP JP2009184281A patent/JP5063648B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| WO2004077360A1 (de) | 2004-09-10 |
| PT1599835E (pt) | 2007-03-30 |
| EP1635578A2 (de) | 2006-03-15 |
| EP1635578B1 (de) | 2008-11-19 |
| DE502004002904D1 (de) | 2007-03-29 |
| EP1599835A1 (de) | 2005-11-30 |
| JP5063648B2 (ja) | 2012-10-31 |
| DK1599835T3 (da) | 2007-06-04 |
| US7949053B2 (en) | 2011-05-24 |
| ES2280947T3 (es) | 2007-09-16 |
| JP2006519533A (ja) | 2006-08-24 |
| JP4450828B2 (ja) | 2010-04-14 |
| EP1635578A3 (de) | 2007-06-27 |
| DE10310023A1 (de) | 2004-09-16 |
| JP2010011470A (ja) | 2010-01-14 |
| ATE354143T1 (de) | 2007-03-15 |
| DE502004008490D1 (de) | 2009-01-02 |
| ATE415052T1 (de) | 2008-12-15 |
| US20060039617A1 (en) | 2006-02-23 |
| EP1599835B1 (de) | 2007-02-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| ES2318402T3 (es) | Procedimiento y disposicion para la codificacion de video,comprendiendo la codificacion de video analisis de textura y sintesis de textura asi como distorsion de textura,como un programa informativo correspondiente y 1 medio de almacenamiento legible por ordenador correspondiente. | |
| US10582217B2 (en) | Methods and apparatuses for coding and decoding depth map | |
| ES2541807T3 (es) | Procedimiento y aparato para decodificar una señal de vídeo | |
| Morvan et al. | Platelet-based coding of depth maps for the transmission of multiview images | |
| ES2239375T3 (es) | Metodo para reducir los requisitos de potencia de un decodificador de video. | |
| ES2652132T3 (es) | Método y aparato para codificar y descodificar un bloque de textura mediante el uso de partición de bloque basada en la profundidad | |
| EP1729521A2 (en) | Intra prediction video encoding and decoding method and apparatus | |
| CN103069802B (zh) | 重构图像的当前块的方法和对应的编码方法、对应的装置 | |
| AU2005272287A1 (en) | Method and device for motion estimation and compensation for panorama image | |
| Ndjiki-Nya et al. | Improved H. 264/AVC coding using texture analysis and synthesis | |
| WO2005088981A1 (en) | Encoding apparatus, encoding method, decoding apparatus, and decoding method | |
| CN101682758A (zh) | 用于对图像信号进行编码的方法和系统、经编码的图像信号、用于对图像信号进行解码的方法和系统 | |
| KR20080058128A (ko) | 텍스처 합성을 이용한 영상의 부호화, 복호화 방법 및 장치 | |
| JP2003309726A (ja) | 圧縮デジタル画像の最適トランスコード処理を容易に行うためのレート歪情報符号化方法 | |
| Chao et al. | Keypoint encoding for improved feature extraction from compressed video at low bitrates | |
| US20110081093A1 (en) | Image coding method with texture synthesis | |
| JP2021514145A5 (es) | ||
| US6845130B1 (en) | Motion estimation and compensation for video compression | |
| CN105704489B (zh) | 一种基于宏块复杂度的自适应视频运动矢量隐写方法 | |
| EP2953357A1 (en) | Video encoding method, decoding method and apparatus | |
| KR20230080447A (ko) | 장면의 하나 이상의 뷰들을 인코딩 및 디코딩하기 위한 방법 및 장치 | |
| US11973981B2 (en) | Coding and decoding of an omnidirectional video | |
| CN103248885B (zh) | 帧内图像预测编解码方法及视频编解码器 | |
| JP2012513141A (ja) | ビデオピクチャ系列の動きパラメータを予測及び符号化する方法及び装置 | |
| Brandao et al. | Blind PSNR estimation of video sequences using quantized DCT coefficient data |