ES2280947T3 - Procedimiento y disposicion para la codificacion de video, comprendiendo la codificacion de video el analisis de textura y la sintesis de textura, asi como un programa informatico correspondiente y un medio de memoria legible por ordenador correspondiente. - Google Patents
Procedimiento y disposicion para la codificacion de video, comprendiendo la codificacion de video el analisis de textura y la sintesis de textura, asi como un programa informatico correspondiente y un medio de memoria legible por ordenador correspondiente. Download PDFInfo
- Publication number
- ES2280947T3 ES2280947T3 ES04714778T ES04714778T ES2280947T3 ES 2280947 T3 ES2280947 T3 ES 2280947T3 ES 04714778 T ES04714778 T ES 04714778T ES 04714778 T ES04714778 T ES 04714778T ES 2280947 T3 ES2280947 T3 ES 2280947T3
- Authority
- ES
- Spain
- Prior art keywords
- texture
- synthesized
- areas
- image
- video
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 230000015572 biosynthetic process Effects 0.000 title claims abstract description 25
- 238000003786 synthesis reaction Methods 0.000 title claims abstract description 25
- 238000004590 computer program Methods 0.000 title claims abstract description 7
- PWPJGUXAGUPAHP-UHFFFAOYSA-N lufenuron Chemical compound C1=C(Cl)C(OC(F)(F)C(C(F)(F)F)F)=CC(Cl)=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F PWPJGUXAGUPAHP-UHFFFAOYSA-N 0.000 title 1
- 238000011156 evaluation Methods 0.000 claims abstract description 4
- 230000033001 locomotion Effects 0.000 claims description 18
- 230000011218 segmentation Effects 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 6
- 230000005540 biological transmission Effects 0.000 description 8
- 230000000007 visual effect Effects 0.000 description 8
- 238000012360 testing method Methods 0.000 description 7
- 238000011002 quantification Methods 0.000 description 6
- 239000013598 vector Substances 0.000 description 6
- 238000000926 separation method Methods 0.000 description 4
- 230000002123 temporal effect Effects 0.000 description 4
- 238000012546 transfer Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 244000025254 Cannabis sativa Species 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000011835 investigation Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000010422 painting Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000013139 quantization Methods 0.000 description 1
- 239000004576 sand Substances 0.000 description 1
- -1 trees Substances 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
- 230000003245 working effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
- H04N19/27—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding involving both synthetic and natural picture components, e.g. synthetic natural hybrid coding [SNHC]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/537—Motion estimation other than block-based
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
- H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Image Processing (AREA)
- Studio Circuits (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
- Closed-Circuit Television Systems (AREA)
Abstract
Procedimiento para la codificación de vídeo, con las siguientes etapas: - realizar un análisis de textura de escenas de vídeo, para determinar zonas de textura que puede sintetizarse; empleando información sobre zonas determinadas de textura que puede sintetizarse e información sobre la textura de estas zonas, codificar las escenas de vídeo y crear metadatos para describir las zonas determinadas y para describir la textura que puede sintetizarse; caracterizado por - garantizar una consistencia temporal de la detección de texturas que pueden sintetizarse en una secuencia de imágenes mediante un catálogo de textura, por - almacenar la textura que puede sintetizarse de las zonas determinadas de textura que puede sintetizarse en una primera imagen de la secuencia en el catálogo de textura para iniciar el mismo; - comparar la textura que puede sintetizarse de las zonas determinadas de textura que puede sintetizarse en imágenes siguientes de la secuencia con las texturas que pueden sintetizarse,que se almacenan en el catálogo de textura; - en el caso de una coincidencia, asignar la textura que puede sintetizarse respectiva de una zona determinada de textura que puede sintetizarse bajo las siguientes imágenes de la secuencia con respecto a la textura correspondiente que puede sintetizarse almacenada en el catálogo de textura; y - en el caso de ninguna coincidencia, almacenar la textura correspondiente que puede sintetizarse de una zona determinada de textura que puede sintetizarse bajo las siguientes imágenes de la secuencia almacenada en el catálogo de textura.
Description
Procedimiento y disposición para la
codificación de vídeo, comprendiendo la codificación de vídeo el
análisis de textura y la síntesis de textura, así como un programa
informático correspondiente y un medio de memoria legible por
ordenador correspondiente.
La invención se refiere a un procedimiento y a
una disposición para la codificación de vídeo, comprendiendo la
codificación de vídeo el análisis de textura y la síntesis de
textura, así como un programa informático correspondiente y un
medio de memoria legible por ordenador correspondiente. La invención
puede emplearse especialmente para reducir la tasa de transmisión
de datos en la transferencia de datos de vídeo.
Muchas escenas de vídeo contienen texturas
típicas tales como agua, hierba, árboles, nubes, arena, etc. Estas
texturas por lo general son ricas en detalles y por tanto son muy
complicadas de codificar. No obstante la reconstrucción exacta de
estas texturas puede considerarse irrelevante, cuando se representan
con una resolución local reducida. Por tanto no es necesario,
realizar en primer lugar una codificación que requiere muchos
cálculos de las zonas de textura de este tipo, transferir la (gran)
cantidad de datos que se origina en este caso para reconstruir
finalmente la textura basada en el MSE (MSE = mean squared error,
error cuadrático medio). El espectador debe solamente poder
detectar la textura representada con detalles irrelevantes, lo que
precisamente a menudo no es el caso cuando se realiza la
reconstrucción de este modo, si se emplea un filtro previo, dado
que mediante eso se falsifica la textura.
Un procedimiento para la codificación de
imágenes, que comprende el análisis de textura y la síntesis de
textura se conoce, por ejemplo, por el artículo Yoon S Y et
al: "Subband texture synthesis for image coding",
Proceedings of the SPIE, vol. 3299, enero de 1998, págs.
489-497. El procedimiento está diseñado para
imágenes sin movimiento, por lo que en zonas de la misma textura
aparecen inconsistencias temporales entre imágenes consecutivas.
El objetivo de la invención consiste por tanto
en facilitar un procedimiento y una disposición para la codificación
de vídeo, comprendiendo la codificación de vídeo el análisis de
textura y la síntesis de textura, así como un programa informático
correspondiente y un medio de memoria legible por ordenador
correspondiente, que evitan las desventajas mencionadas de las
soluciones conocidas y especialmente permiten una reproducción de
texturas sin pérdida de calidad visual con la reducción al mismo
tiempo de los datos de vídeo que han de transferirse.
Este objetivo se soluciona según la invención
mediante las características en las reivindicaciones 1, 16, 18 así
como 19. Las reivindicaciones dependientes contienen configuraciones
convenientes de la invención.
Una ventaja especial del procedimiento para la
codificación de vídeo, comprendiendo la codificación de vídeo el
análisis de textura y la síntesis de textura, consiste en reducir la
tasa de transmisión de datos de los datos de vídeo que van a
transferirse, realizándose en el lado del codificador un análisis de
textura de escenas de vídeo para determinar zonas de textura que
pueden sintetizarse, mediante el empleo de información sobre zonas
determinadas de textura que puede sintetizarse e información sobre
la textura de estas zonas, se realiza una codificación de las
escenas de vídeo y se crean metadatos para describir las zonas
determinadas y para describir la textura que puede sintetizarse y
en el lado del decodificador se evalúan los datos y metadatos
codificados y las escenas de vídeo se reconstruyen generándose
sintéticamente texturas para zonas determinadas mediante la
evaluación de los metadatos.
En una forma de realización preferida del
procedimiento según la invención está previsto que se determinen
zonas de textura que puede sintetizarse mediante una segmentación
por división y unión ("split and merge"), dividiéndose las
imágenes mediante el empleo de un árbol cuaternario de resolución
múltiple en imágenes secundarias (bloques). Al mismo tiempo ha
demostrado ser ventajoso el hecho de que la división de un bloque
(bloque de partida) se interrumpe se interrumpe cuando los bloques
secundarios originados mediante la siguiente etapa de división
presentan características de textura y/o color similares al bloque
de partida o el tamaño de bloques de la última etapa de división se
encuentra por debajo de un valor predeterminado. Además es ventajoso
que los bloques, cuya división se interrumpió debido a las
características de textura y/o color similares se caracterizan como
bloques homogéneos y los bloques diferentes a los bloques homogéneos
tras realizar la división de la imagen se caracterizan como bloques
inclasificables. Para reducir el número de los bloques, en una forma
de realización está previsto que tras la división de una imagen
para los bloques homogéneos se realiza una evaluación de similitud
y los bloques similares se reúnen para formar zonas que pueden
sintetizarse. Una forma de realización especial del procedimiento
según la invención prevé en este caso, que la similitud de bloques
se evalúa basándose en descriptores MPEG-7,
descriptor de textura "Edge Histogram" (EH) y/o descriptor de
color ajustable a escala "Scalable Color" (SCC).
Otra forma de realización preferida prevé que
las zonas determinadas de textura que puede sintetizarse de una
imagen se comparan con zonas de textura que puede sintetizarse de
imágenes anteriores de la secuencia de vídeo.
Adicionalmente es ventajoso cuando que la
primera y la última imagen (los denominados cuadros clave) de un
"grupo de cuadros" (GdC) se codifica basándose en un
procedimiento de error cuadrático medio (basándose en MSE) y
sintetizan parcialmente las imágenes B interpuestas con zonas
determinadas que pueden sintetizarse. En una forma de realización
preferida adicional del procedimiento según la invención se prevé
garantizar la consistencia temporal de la detección de texturas que
pueden sintetizarse de un "grupo de cuadros" (GdC) mediante un
catálogo de
textura.
textura.
Otra forma de realización preferida prevé que
las zonas que pueden sintetizarse en las imágenes que pueden
sintetizarse parcialmente se adapten a zonas de textura
correspondientes en los cuadros clave mediante deformaciones
correspondientes (warping). En este caso se prevé especialmente que
la deformación se realice con ayuda de un modelo de movimiento en
perspectiva planar descrito mediante las siguientes ecuaciones:
x' = [(a_{1} +
a_{3}x + a_{4}y)/(1 + a_{7}x + a_{8}y)] +
x,
y' = [(a_{2} +
a_{5}x + a_{6}y)/(1 + a_{7}x + a_{8}y)] +
y,
en las
que
(x, y) representan las coordenadas del punto de
partida
(x', y') las coordenadas transformadas del punto
de partida y
a_{1}, ..., a_{8} parámetros de modelo.
Se consiguen resultados especialmente buenos de
la síntesis de textura si mediante la deformación la textura de la
primera o de la última imagen del GdC actual se deforma en la
dirección de la zona de textura que puede sintetizarse, asociando a
cada zona de textura de este tipo un conjunto de parámetros de
movimiento y un parámetro de control, indicando el parámetro de
control si la primera o la última imagen de un GdC se emplea para la
síntesis de la textura. Para ello está especialmente previsto que
para la síntesis de la textura se emplea la imagen de un GdC para
la que se determina una señal de diferencia menor entre la región de
textura original y la sintetizada.
En una forma de realización preferida adicional
del procedimiento según la invención para la codificación de vídeo
está previsto que como metadatos de zonas con textura que puede
sintetizarse por zona de textura se transfieran una máscara de
segmentación, un conjunto de parámetros de movimiento y/o un
parámetro de control.
Además ha resultado ser ventajoso cuando en la
decodificación todos los macrobloques que pertenecen a una textura
que puede sintetizarse se tratan como macrobloques "saltados"
(skipped).
Una disposición según la invención presenta al
menos un chip y/o procesador que está(n) configurado(s) de
tal manera que puede realizarse un procedimiento para la
codificación de vídeo, comprendiendo la codificación de vídeo el
análisis de textura y la síntesis de textura, estando asociado un
elemento para realizar un procedimiento para la codificación de
vídeo con las siguientes etapas:
- -
- en el lado del codificador, realizar un análisis de textura de escenas de vídeo, para determinar zonas de textura que puede sintetizarse; empleando información sobre zonas determinadas de textura que puede sintetizarse e información sobre la textura de estas zonas, codificar las escenas de vídeo y crear metadatos para describir las zonas determinadas y para describir la textura que puede sintetizarse; y
- -
- en el lado del decodificador, evaluar datos y metadatos codificados y reconstruir las escenas de vídeo, generándose sintéticamente texturas para zonas determinadas mediante la evaluación de los metadatos.
En una forma de realización preferida de la
disposición según la invención se prevé que la disposición comprenda
un codificador de vídeo, un analizador de textura (AT), un
decodificador de vídeo y un sintetizador de textura (ST),
presentando el codificador de vídeo y el analizador de textura (AT)
en cada caso una entrada de vídeo in y el decodificador de vídeo
una salida de vídeo out, estando conectadas la salida del analizador
de textura (AT) con una segunda entrada del codificador de vídeo y
la salida del codificador de vídeo con la entrada del decodificador
de vídeo, y estando conectada adicionalmente una segunda salida del
codificador de vídeo con la entrada del sintetizador de textura
(ST).
Ha resultado ser ventajoso, para realizar la
codificación de vídeo según la invención, emplear un programa
informático que permite a un ordenador, después de que se haya
cargado en la memoria del ordenador, realizar un procedimiento para
la codificación de vídeo, comprendiendo la codificación de vídeo el
análisis de textura y la síntesis de textura, comprendiendo el
programa informático un código de programa para realizar un
procedimiento para la codificación de vídeo con las siguientes
etapas:
- -
- en el lado del codificador realizar un análisis de textura de escenas de vídeo, para determinar zonas de textura que puede sintetizarse; empleando información sobre zonas determinadas de textura que puede sintetizarse e información sobre la textura de estas zonas, codificar las escenas de vídeo y crear metadatos para describir las zonas determinadas las zonas determinadas y para describir la textura que puede sintetizarse; y
- -
- en el lado del decodificador, evaluar datos y metadatos codificados y reconstruir las escenas de vídeo, generándose sintéticamente texturas para zonas determinadas mediante la evaluación de los metadatos.
Alternativamente a esto puede resultar ser
ventajoso si se emplea un medio de memoria legible por ordenador,
en el que se graba un programa, que permite a un ordenador, después
de que se haya cargado en la memoria del ordenador, realizar un
procedimiento para la codificación de vídeo, comprendiendo la
codificación de vídeo el análisis de textura y la síntesis de
textura, comprendiendo el programa informático un código de programa
para realizar un procedimiento para la codificación de vídeo con
las siguientes etapas:
- -
- en el lado del codificador, realizar un análisis de textura de escenas de vídeo, para determinar zonas de textura que puede sintetizarse, empleando información sobre zonas determinadas de textura que puede sintetizarse e información sobre la textura de estas zonas, codificar las escenas de vídeo y crear metadatos para describir las zonas determinadas y para describir la textura que puede sintetizarse; y
- -
- en el lado del decodificador, evaluar datos y metadatos codificados y reconstruir las escenas de vídeo, generándose sintéticamente texturas para zonas determinadas mediante la evaluación de los metadatos.
A continuación la invención se explica
detalladamente con referencia a las figuras de los dibujos mediante
un ejemplo de realización. Muestran:
la figura 1, la codificación de vídeo empleando
un analizador de textura (AT) y un sintetizador de textura
(ST);
la figura 2, una imagen individual segmentada
tras la fase de "división" (izquierda) y tras la fase de
"unión" (derecha);
la figura 3, la deformación de una zona de
textura de la imagen de referencia en la dirección de la zona de la
imagen que va a llenarse en el cuadro actual;
la figura 4, resultados de codificación para la
secuencia de prueba "jardín de flores";
- a)
- en la parte superior izquierda: la imagen original (imagen número 6 de la secuencia "jardín de flores");
- b)
- en la parte inferior izquierda: la imagen decodificada con regiones de textura sintetizadas;
- c)
- en la parte superior derecha: la señal de diferencia (factor de intensidad 3);
- d)
- en la parte inferior derecha; máscara de compensación de movimiento conservadora;
la figura 5, ahorro de tasa de transmisión de
datos (bitrate savings) en función de los parámetros de
cuantificación PC.
En el ejemplo de realización descrito a
continuación se sigue el planteamiento de realizar una reproducción
mejorada de la textura, llevando a cabo mediante el empleo del
procedimiento según la invención para la codificación de vídeo un
análisis de textura en el lado del emisor y una síntesis de textura
en el lado del decodificador (véase la figura 1).
El analizador de texto identifica las regiones
de textura con detalles irrelevantes, crea máscaras generales
correspondientes y las indica al decodificador como información de
paginación para el sintetizador de textura. Este último sustituye
las texturas identificadas, utilizando la información de paginación,
por texturas generadas sintéticamente.
Este modo de proceder se basa en el conocimiento
de que para las texturas identificadas con detalles irrelevantes no
son adecuados los habituales criterios de bondad objetivos tal como,
por ejemplo, el error cuadrático medio (mean squared error, MSE)
para una codificación eficaz, dado que, entre otros, se transmiten y
reconstruyen detalles irrelevantes. Investigaciones han mostrado
que a menudo basta con una medida de similitud
MPEG-7 para registrar la bondad de texturas
reconstruidas con detalles irrelevantes (véase ISO/IEC
JTC1/SC29/WG11/N4358: "Text of ISO/IEC
15938-3/FDIS Informationstechnology - Multimedia
content description interface - Part 3 Visual", Sydney,
Australia, julio de 2001; ISO/IEC JTC1/SC29/WG11/N4362:
"MPEG-7 Visual part of eXperimentation Model
Version 11.0", Sydney, Australia, julio de 2001). El empleo de
los criterios de similitud MPEG-7 tiene como
consecuencia que las texturas reconstruidas pueden presentar
distintos detalles en comparación con la textura original. Estas
diferencias apenas pueden percibirse, si se mantiene la resolución
local de las texturas después de la reconstrucción y perturban en
mucha menor medida que los artefactos correspondientes en la
codificación de la señal de diferencia con una tasa de transmisión
de bits correspondiente a la información de paginación.
A continuación se describirán los algoritmos
empleados para el análisis de textura en el lado del emisor y para
la síntesis de textura en el lado del receptor, así como la
integración del sistema en un códec H.264/AVC.
En el análisis de textura se realiza para cada
imagen de una secuencia una segmentación de "división y unión"
(split and merge). En este caso, en la primera etapa (fase de
división o "split") cada imagen se divide y se analiza en
bloques empleando un árbol cuaternario de resolución múltiple (véase
J. Malki et al.: "Region Queries without Segmentation for
Image Retrieval by Content", VISUAL- 99, págs.
115-122, 1999). El árbol cuaternario de resolución
múltiple comprende varios niveles, correspondiendo el primero (level
0) a la imagen original. El número de bloques en el nivel de orden
L es de 2^{2L}. Cada bloque en el nivel (L-1) se
divide en 4 bloques en el nivel superior siguiente (Level L), de
manera que el número de bloques de una imagen siempre permanece
igual en horizontal y vertical (por ejemplo, 4 bloques en horizontal
y vertical en el segundo nivel (L = 2)).
Un bloque en el nivel (L-1)
contiene una textura homogénea, si sus cuatro bloques secundarios
presentan características de textura o de color similares en el
nivel de orden L, tal como el propio bloque. En este caso, la
similitud se determina mediante los descriptores
MPEG-7 correspondientes, tal como se explicará más
adelante. Solamente los bloques heterogéneos se subdividen
adicionalmente en el nivel superior siguiente. Los bloques que
incluso tras alcanzar el nivel de subdivisión máximo todavía son
heterogéneos se asignan como inclasificables. El resultado de la
fase de "división" es normalmente una imagen excesivamente
segmentada que debe procesarse posteriormente en la fase de unión o
"merge", reuniéndose una parte de los bloques de una imagen
excesivamente segmentada.
Para ello, en la fase de "unión" se
comparan bloques homogéneos por parejas y en el caso de una
similitud suficiente se reúnen para formar un agrupamiento. La
figura 2 muestra un ejemplo de una imagen individual segmentada
tras la fase de "división" y tras la fase de "unión". Las
regiones que todavía se consideran inclasificables se caracterizan
por un borde negro, mientras que las regiones clasificadas se marcan
con bordes que no son negros.
Puede observarse claramente que el número de las
regiones homogéneas se ha reducido claramente mediante la fase de
"unión" subsiguiente.
La evaluación de similitud entre dos bloque se
realiza basándose en dos descriptores MPEG-7 (véase
ISO/IEC JTC1/SC29/WG11/N4358: "Text of ISO/IEC
15938-3/FDIS Informationstechnology - Multimedia
content description interface- Part 3 Visual", Sydney,
Australia, julio de 2001; ISO/IEC JTC1/SC29/WG11/N4362:
"MPEG-7 Visual part of eXperimentation Model
Version 11.0", Sydney, Australia, julio de 2001). En este caso se
trata por un lado del descriptor de textura "Edge Histogram"
(EH) que representa la distribución espacial de cuatro cantos
orientados (uno horizontal, uno vertical, y dos diagonales) y un
canto no orientado para 16 regiones no solapadas locales de una
imagen. La frecuencia de la aparición de las clases de cantos
individuales se determina de manera separada para cada región
local. El vector de característica EH tiene por tanto la dimensión
80 (16 regiones por cinco clases de cantos). El segundo descriptor
MPEG-7 utilizado es el descriptor de color
ajustable a escala "Scalable Color" (SCC). Representa un
histograma de colores en el espacio de color HSV, representando HSV
un espacio de color tridimensional con los componentes tonalidad
(Hue), saturación (Saturation), y brillo (value). El vector de
característica SCC empleado tiene la dimensión 256.
Dos bloques se designan como similares, cuando
la separación entre los vectores de característica correspondientes
se encuentra por debajo de un nivel umbral predeterminado. En este
caso, el nivel umbral se refiere a la separación máxima posible.
Este último depende de la métrica seleccionada (I_{1}, I_{2},
EMD) y del descriptor MPEG-7 actual (SCC o EH). El
valor umbral cero indica entonces que dos bloques solamente pueden
designarse como similares con una coincidencia del cien por cien de
sus vectores de característica, mientras que el valor umbral 1
significa que dos bloques cualesquiera siempre son similares, dado
que la separación entre sus vectores de característica no puede ser
mayor que la separación mayor posible. El valor umbral de similitud
se fija manualmente para cada secuencia y permanece constante por
toda la secuencia.
La segmentación "división y unión" trata
cada imagen independientemente de las otras imágenes de una
secuencia. Se originan en este caso inconsistencias temporales
inevitables con respecto a la detección de textura que interviene
en las imágenes. Por tanto, las zonas de textura identificadas de
una imagen actual se comparan con las zonas de textura de las
imágenes anteriores. Para la aplicación que se pretende es
importante que la consistencia temporal de la detección de texturas
identificadas se proporcione para "grupo de cuadros" (GdC) de
la secuencia contemplada. Un GdC se compone en este caso de dos
cuadros clave (la primera y la última imagen de un GdC) y varios
cuadros sintetizados parcialmente interpuestos. Los tramos clave son
o bien imágenes I o P, que se codifican exclusivamente sobre la
base del MSE.
La consistencia temporal de la detección de
texturas con detalles irrelevantes identificadas de un GdC se
garantiza mediante un catálogo de textura. En este catálogo de
textura se almacenan las texturas presentes con detalles
irrelevantes en la secuencia contemplada. El catálogo de textura se
inicia con los vectores de característica de las texturas con
detalles irrelevantes, que aparecen en la primera imagen con
texturas con detalles irrelevantes. Las texturas identificadas de
las imágenes siguientes se comparan con las entradas en el catálogo
de textura y se asocian a la entrada correspondiente en caso de
existir coincidencia. Si falta coincidencia las texturas con
detalles irrelevantes afectadas no registradas se registran en el
catálogo de textura.
La fiabilidad de la identificación basada en el
color o en la textura de zonas de textura que pueden sintetizarse
de un GdC puede aumentar si las zonas de textura con detalles
irrelevantes se adaptan en las imágenes parcialmente sintetizadas a
las zonas de textura correspondientes en los cuadros clave mediante
deformaciones adecuadas (warping). Las zonas de textura con
detalles irrelevantes de una imagen se deforman por tanto en la
dirección de los cuadros clave correspondientes (primera y última
imagen en el GdC). La deformación se realiza con ayuda del modelo
de movimiento en perspectiva planar, tal como se define por el
descriptor de movimiento paramétrico MPEG-7 (véase
ISO/IEC JTC1/SC29/WG11/N4358: "Text of ISO/IEC
15938-3/FDIS Informationstechnology - Multimedia
content description interface- Part 3 Visual", Sydney, Australia,
julio de 2001; ISO/IEC JTC1/SC29/WG11/N4362:
"MPEG-7 Visual part of eXperimentation Model
Version 11.0", Sydney, Australia, julio de 2001). El modelo de
movimiento en perspectiva se describe mediante las siguientes
ecuaciones:
x' = [(a_{1} +
a_{3}x + a_{4}y)/(1 + a_{7}x + a_{8}y)] +
x
y' = [(a_{2} +
a_{5}x + a_{6}y)/(1 + a_{7}x + a_{8}y)] +
y
Las coordenadas (x', y') representan las
coordenadas transformadas del punto de partida (x, y). Los ocho
parámetros de modelo se describen mediante a_{1}, ..., a_{8}.
El modelo en perspectiva planar puede describir cualquier
movimiento de cualquier cuerpo rígido, si los funcionamientos de la
cámara se limitan a la mera rotación y zoom. En el caso de cuerpos
rígidos planares puede permitirse cualquier funcionamiento de
cámara. En la práctica, estas condiciones se cumplen por lo general
durante el corto espacio de tiempo de un GdC. Los parámetros de
movimiento (a_{1}, ..., a_{8}) de las zonas de textura con
detalles irrelevantes identificadas se calculan en relación con las
zonas de textura correspondientes de los cuadros clave
correspondientes, tal como se representa en (véase A. Smolic y
J.-R. Ohm: "Robust Global Motion Estimation Using a Simplified
M-Estimator Approach", Proc. ICIP2000, IEEE
International Conference on Image Processing, Vancouver, Canadá,
septiembre de 2000). La deformación puede realizarse solamente, si
existen o se identificaron zonas de textura correspondientes en la
primera o la última imagen del GdC. Solamente aquellos puntos de la
zona de textura transformada que se sitúan dentro de la zona de
textura correspondiente de la primera imagen del GdC pueden
emplearse para la síntesis. Los puntos restantes se marcan en la
imagen actual como inclasificables, con lo que se reduce la zona de
textura que puede sintetizarse. Este procedimiento se repite con la
última imagen del GdC. El analizador de textura proporciona por
tanto dos zonas de textura reducidas compensadas en movimiento para
cada región de textura identificada originalmente (tras la fase de
"unión") de una imagen que puede sintetizarse parcialmente.
El sintetizador de textura empleado deforma
("warping") la textura de la primera o la última imagen del GdC
actual en la dirección de la región de textura correspondiente
(figura 3) que puede sintetizarse, identificada por el analizador
de textura. Para ello para cada región de textura que puede
sintetizarse, identificada por el analizador de textura es
necesario un conjunto de parámetros de movimiento y un parámetro de
control. El parámetro de control determina si la primera o la
última imagen del GdC se emplean para la síntesis de textura. En
este caso siempre se emplea la imagen de referencia que lleva a la
mejor síntesis de textura. A este respecto, la mejor síntesis de
textura se caracteriza por una señal de diferencia menor entre la
región de textura original y la sintetizada. Este sintetizador de
textura proporciona muy buenos resultados para cuerpos rígidos,
siempre y cuando se cumplan las hipótesis del modelo de
movimiento.
En una forma de realización a modo de ejemplo se
integraron los procedimientos descritos para analizar y sintetizar
texturas en un códec H.264/AVC (modelo Joint 2.1). En este caso se
codifican las imágenes I y P basándose en el MSE y se emplean como
cuadros clave. Sin embargo, las imágenes B pueden sintetizarse
parcialmente. Para las imágenes B con zonas de textura
identificadas, que pueden sintetizarse, deben transferirse por
región de textura una máscara de segmentación, un conjunto de
parámetros de movimiento así como un parámetro de control como
información de paginación.
En la decodificación todos los macrobloques que
pertenecen a una textura que puede sintetizarse se tratan como
macrobloques "saltados", es decir, se fijan todos los
parámetros y variables (en el orden de decodificación) necesarios
para la decodificación de los macrobloques subsiguientes dentro de
la rebanada (slice), tal como se especifica para los macrobloques
"saltados" (véase BORRADOR ISO/IEC
14496-10:2002 (E), documento
JVT-E146d37: "Editor´s Proposed Draft Text
Modifications for Joint Video Specification (ITU-T
Rec. H264 ISO/IEC 14496-10 AVC), Geneva
modifications draft 36", Ginebra, Suiza, octubre de 2002).
Después de que se han codificado todos los macrobloques de una
imagen, se activa el sintetizador de textura para llenar las zonas
de texto que van a sintetizarse.
El experimento realizado consistía en integrar
un analizador de textura y un sintetizador de textura en un códec
de vídeo H.264/AVC (modelo Joint 2.1) y a continuación codificar
secuencias de vídeo y decodificarlas de nuevo. Para ello se
emplearon dos secuencias de prueba conocidas ("jardín de
flores" y "hormigón"). Ambas secuencias de prueba contienen
texturas que son muy apropiadas para demostrar que puede realizarse
una reconstrucción aproximada de determinadas texturas sin pérdida
de calidad visual significativa.
En una forma de realización de la invención el
códec H.264/AVC se ajusta de la manera siguiente:
- -
- 3 imágenes B,
- -
- 1 imagen de referencia
- -
- CABAC (procedimiento de codificación por entropía),
- -
- Optimización de la tasa de distorsión,
- -
- Sin entrelazado,
- -
- Frecuencia de cuadro de 30 Hz
- -
- Parámetro de cuantificación PC = 16, 20, 24, 28 y 32 (figura 5).
Los resultados para la secuencia "jardín de
flores" eran de una calidad de imagen subjetiva satisfactoria.
La figura 4 muestra los resultados alcanzados en el ejemplo de la 6ª
imagen de la secuencia "jardín de flores". La figura 4c
muestra que la señal de diferencia en la zona del cielo es casi
cero, mientras que en la zona de las flores se sitúa claramente
superior. No obstante, en la comparación óptica entre la imagen
original y la codificada no puede detectarse casi ninguna
diferencia. En este caso se muestra que el valor PSNR no es
adecuado como medida de bondad para este tipo de codificación.
Para poder estimar el ahorro de la tasa de
transmisión de datos en la mayor medida posible, ambas secuencias
de prueba se segmentaron manualmente para las primeras pruebas.
Siguieron pruebas adicionales con máscaras de segmentación
generadas semiautomáticamente (véase anteriormente la sección
"análisis de textura en el lado del codificador").
La figura 5 muestra los ahorros de la tasa de
transmisión de bits alcanzados para ambas secuencias de prueba en
función del parámetro de cuantificación PC. Los mayores ahorros se
midieron para la resolución de cuantificación más alta (QP=16).
Pudieron medirse ahorros del 20,29% (jardín de flores) y del 23,05%
(hormigón) con máscaras segmentadas manualmente para esta
resolución. Con máscaras generadas semiautomáticamente se obtuvieron
ahorros del 5,6% (jardín de flores) y del 18,53% (hormigón) para PC
= 16. El ahorro de la tasa de transmisión de bits se reduce con una
resolución de cuantificación decreciente o con un valor PC
creciente. Esto debe atribuirse a que la información de paginación
transferida permanece constante independientemente del PC. Es decir,
el porcentaje de información de paginación en la tasa de
transmisión de datos total aumenta cada vez más con la resolución
de cuantificación que es cada vez menos exacta. En los parámetros de
cuantificación superiores a 28 ó 32 (figura 5) las tasas de
transmisión de datos del estándar del códec de vídeo H264/AVC son
aproximadamente iguales o incluso menores a las del códec con el
análisis y la síntesis de textura.
La intersección de las curvas "hormigón"
(figura 5) se basa en el hecho de que el número de las texturas
detectadas en la segmentación semiautomática, visto por toda la
secuencia, era menor que en la segmentación manual, de manera que
la información de paginación que debía transferirse, era menor en la
segmentación semiautomática que en la manual. Por tanto el volumen
de la información de paginación era menor en el caso semiautomático
que en el manual. La calidad de imagen subjetiva de las secuencias
de imágenes codificadas y decodificadas en vídeo H264/AVC era para
todos los ajustes de PC comparable con los resultados de la
codificación con la síntesis y el análisis de la textura (véase
http://bs.hhi.de/~ndjiki/SE.htm).
La invención en su forma de realización no se
limita a los ejemplos de realización preferidos indicados
anteriormente. Más bien puede concebirse un número de variantes que
hacen uso de la disposición según la invención y el procedimiento
según la invención también en el caso de realizaciones
sustancialmente de tipo diferente.
- 1
- codificador
- 2
- decodificador
- 3
- analizador de textura (AT)
- 4
- sintetizador de textura (ST)
Claims (18)
1. Procedimiento para la codificación de
vídeo, con las siguientes etapas:
- -
- realizar un análisis de textura de escenas de vídeo, para determinar zonas de textura que puede sintetizarse; empleando información sobre zonas determinadas de textura que puede sintetizarse e información sobre la textura de estas zonas, codificar las escenas de vídeo y crear metadatos para describir las zonas determinadas y para describir la textura que puede sintetizarse;
caracterizado
por
- -
- garantizar una consistencia temporal de la detección de texturas que pueden sintetizarse en una secuencia de imágenes mediante un catálogo de textura, por
- -
- almacenar la textura que puede sintetizarse de las zonas determinadas de textura que puede sintetizarse en una primera imagen de la secuencia en el catálogo de textura para iniciar el mismo;
- -
- comparar la textura que puede sintetizarse de las zonas determinadas de textura que puede sintetizarse en imágenes siguientes de la secuencia con las texturas que pueden sintetizarse, que se almacenan en el catálogo de textura;
- -
- en el caso de una coincidencia, asignar la textura que puede sintetizarse respectiva de una zona determinada de textura que puede sintetizarse bajo las siguientes imágenes de la secuencia con respecto a la textura correspondiente que puede sintetizarse almacenada en el catálogo de textura; y
- -
- en el caso de ninguna coincidencia, almacenar la textura correspondiente que puede sintetizarse de una zona determinada de textura que puede sintetizarse bajo las siguientes imágenes de la secuencia almacenada en el catálogo de textura.
2. Procedimiento según la reivindicación 1, en
el que la realización del análisis de la textura presenta la
división de imágenes empleando un árbol cuaternario de resolución
múltiple en bloques.
3. Procedimiento según la reivindicación 2, en
el que la división de un bloque se interrumpe cuando
- -
- los bloques originados mediante la siguiente etapa de división presentan características de textura y/o color similares como este bloque
- -
- el tamaño de bloques de la siguiente etapa de división se encuentra por debajo de un valor predeterminado.
4. Procedimiento según la reivindicación 3, en
el que los bloques, cuya división se interrumpió debido a las
características de textura y/o color similares se
caracterizan como bloques homogéneos y los bloques diferentes
a los bloques homogéneos tras realizar la división de la imagen se
caracterizan como bloques inclasificables.
5. Procedimiento según la reivindicación 3 ó
4, en el que tras la división de una imagen para aquellos bloques,
cuya división se interrumpió debido a las características de textura
y/o color similares, se realiza una evaluación de similitud y los
bloques similares se reúnen para formar zonas que pueden
sintetizarse.
6. Procedimiento según la reivindicación 5, en
el que se evalúa la similitud de bloques basándose en descriptores
MPEG-7.
7. Procedimiento según la reivindicación 6, en
el que se evalúa la similitud de bloques basándose en descriptores
MPEG-7, descriptor de textura "Edge Histogram"
(EH) y/o descriptor de color ajustable a escala "Scalable
Color" (SCC).
8. Procedimiento según una de las
reivindicaciones anteriores, en el que las zonas determinadas de
textura que puede sintetizarse de una imagen de una secuencia de
vídeo se comparan con zonas de textura que puede sintetizarse de
imágenes anteriores de la secuencia de vídeo.
9. Procedimiento según una de las
reivindicaciones anteriores, en el que la primera y la última imagen
(los denominados cuadros clave) de un "grupo de cuadros" (GdC)
se codifica basándose en un procedimiento de error cuadrático medio
(basado en MSE) y se sintetizan parcialmente las imágenes B
interpuestas con zonas determinadas que pueden sintetizarse.
10. Procedimiento según una de las
reivindicaciones anteriores, en el que las zonas determinadas que
pueden sintetizarse en las imágenes que pueden sintetizarse
parcialmente se adaptan a zonas de textura correspondientes en los
cuadros clave mediante deformaciones (warping) adecuadas.
11. Procedimiento según la
reivindicación 10, en el que la deformación se realiza con ayuda de
un modelo de movimiento en perspectiva planar descrito mediante las
siguientes ecuaciones:
x' = [(a_{1} +
a_{3}x + a_{4}y)/(1 + a_{7}x + a_{8}y)] +
x,
y' = [(a_{2} +
a_{5}x + a_{6}y)/(1 + a_{7}x + a_{8}y)] +
y,
en las
que
(x, y) representan las coordenadas del punto de
partida
(x', y') las coordenadas transformadas del punto
de partida y
a_{1}, ..., a_{8} parámetros de modelo
12. Procedimiento según la
reivindicación 10 u 11, en el que mediante la deformación se deforma
la textura de la primera o última imagen del GdC actual en la
dirección de la zona de textura que puede sintetizarse, asociando a
cada zona de textura de este tipo un conjunto de parámetros de
movimiento y un parámetro de control, indicando el parámetro de
control si la primera o la última imagen de un GdC se emplea para la
síntesis de la textura.
13. Procedimiento según la
reivindicación 13, en el que para la síntesis de la textura se
emplea la imagen de un GdC para la que se determina una señal de
diferencia menor entre la región de textura original y la
sintetizada.
14. Procedimiento según una de las
reivindicaciones anteriores, en el que como metadatos de zonas con
textura que puede sintetizarse por zona de textura se generan:
- -
- una máscara de segmentación
- -
- un conjunto de parámetros de movimiento y/o
- -
- un parámetro de control
15. Procedimiento según una de las
reivindicaciones anteriores, que en el lado del decodificador
presenta además la evaluación de los datos y metadatos codificados,
y la reconstrucción de escenas de vídeo, generando sintéticamente
texturas para zonas determinadas mediante la evaluación de los
metadatos.
16. Dispositivo para la codificación de
vídeo, con
- -
- medios para realizar un análisis de textura de escenas de vídeo, para determinar zonas de textura que puede sintetizarse;
- -
- medios para, empleando información sobre zonas determinadas de textura que puede sintetizarse e información sobre la textura de estas zonas, codificar las escenas de vídeo y crear metadatos para describir las zonas determinadas y para describir la textura que puede sintetizarse; y
- uno caracterizado por
- -
- medios para garantizar una consistencia temporal de la detección de texturas que pueden sintetizarse en una secuencia de imágenes mediante un catálogo de textura, por
- -
- almacenar la textura que puede sintetizarse de las zonas determinadas de textura que puede sintetizarse en una primera imagen de la secuencia en el catálogo de textura para iniciar el mismo;
- -
- comparar la textura que puede sintetizarse de las zonas determinadas de textura que puede sintetizarse en imágenes siguientes de la secuencia con las texturas que pueden sintetizarse, que se almacenan en el catálogo de textura; y
- -
- en el caso de una coincidencia, asignar la textura que puede sintetizarse respectiva de una zona determinada de textura que puede sintetizarse bajo las siguientes imágenes de la secuencia con respecto a la textura correspondiente que puede sintetizarse almacenada en el catálogo de textura; y
- -
- en el caso de ninguna coincidencia, almacenar la textura correspondiente que puede sintetizarse de una zona determinada de textura que puede sintetizarse bajo las siguientes imágenes de la secuencia en el catálogo de textura.
\newpage
17. Programa informático, que permite a
un ordenador, después de que se haya cargado en la memoria del
ordenador, realizar un procedimiento según una de las
reivindicaciones 1 a 15.
18. Medio de memoria legible por
ordenador, en el que se graba un programa, que permite a un
ordenador, después de que se haya cargado en la memoria del
ordenador, realizar un procedimiento según una de las
reivindicaciones 1 a 15.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE10310023A DE10310023A1 (de) | 2003-02-28 | 2003-02-28 | Verfahren und Anordnung zur Videocodierung, wobei die Videocodierung Texturanalyse und Textursynthese umfasst, sowie ein entsprechendes Computerprogramm und ein entsprechendes computerlesbares Speichermedium |
| DE10310023 | 2003-02-28 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| ES2280947T3 true ES2280947T3 (es) | 2007-09-16 |
Family
ID=32864249
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| ES05022899T Expired - Lifetime ES2318402T3 (es) | 2003-02-28 | 2004-02-26 | Procedimiento y disposicion para la codificacion de video,comprendiendo la codificacion de video analisis de textura y sintesis de textura asi como distorsion de textura,como un programa informativo correspondiente y 1 medio de almacenamiento legible por ordenador correspondiente. |
| ES04714778T Expired - Lifetime ES2280947T3 (es) | 2003-02-28 | 2004-02-26 | Procedimiento y disposicion para la codificacion de video, comprendiendo la codificacion de video el analisis de textura y la sintesis de textura, asi como un programa informatico correspondiente y un medio de memoria legible por ordenador correspondiente. |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| ES05022899T Expired - Lifetime ES2318402T3 (es) | 2003-02-28 | 2004-02-26 | Procedimiento y disposicion para la codificacion de video,comprendiendo la codificacion de video analisis de textura y sintesis de textura asi como distorsion de textura,como un programa informativo correspondiente y 1 medio de almacenamiento legible por ordenador correspondiente. |
Country Status (9)
| Country | Link |
|---|---|
| US (1) | US7949053B2 (es) |
| EP (2) | EP1635578B1 (es) |
| JP (2) | JP4450828B2 (es) |
| AT (2) | ATE354143T1 (es) |
| DE (3) | DE10310023A1 (es) |
| DK (1) | DK1599835T3 (es) |
| ES (2) | ES2318402T3 (es) |
| PT (1) | PT1599835E (es) |
| WO (1) | WO2004077360A1 (es) |
Families Citing this family (41)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| BRPI0612984A2 (pt) * | 2005-07-15 | 2016-11-29 | Konink Philips Elecronics N V | codificador e decodificador de imagem, método de codificação de uma imagem, de decodificação de um fluxo de dados comprimidos e de transmissão de um sinal de imagem codificado comprimido, tramisssor, dispositivo portátil, receptor, sinal de imagem codificado comprimido, e, produto de programa de computador |
| US20100074328A1 (en) * | 2006-12-19 | 2010-03-25 | Koninklijke Philips Electronics N.V. | Method and system for encoding an image signal, encoded image signal, method and system for decoding an image signal |
| KR101381600B1 (ko) * | 2006-12-20 | 2014-04-04 | 삼성전자주식회사 | 텍스처 합성을 이용한 영상의 부호화, 복호화 방법 및 장치 |
| US8208556B2 (en) * | 2007-06-26 | 2012-06-26 | Microsoft Corporation | Video coding using spatio-temporal texture synthesis |
| EP2018070A1 (en) * | 2007-07-17 | 2009-01-21 | Thomson Licensing | Method for processing images and the corresponding electronic device |
| DE102007036215B4 (de) * | 2007-08-02 | 2009-09-10 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Störstellenermittlung in Bildern/Videos |
| JP4659005B2 (ja) * | 2007-08-17 | 2011-03-30 | 日本電信電話株式会社 | テクスチャ合成に基づく動画像符号化方法，復号方法，符号化装置，復号装置およびそれらのプログラムとその記録媒体 |
| US8155184B2 (en) * | 2008-01-16 | 2012-04-10 | Sony Corporation | Video coding system using texture analysis and synthesis in a scalable coding framework |
| US8204325B2 (en) | 2008-01-18 | 2012-06-19 | Sharp Laboratories Of America, Inc. | Systems and methods for texture synthesis for video coding with side information |
| US9420233B2 (en) * | 2008-03-26 | 2016-08-16 | Pelco, Inc. | Method and apparatus for dynamically controlling a video surveillance system |
| WO2009147224A1 (fr) * | 2008-06-05 | 2009-12-10 | Thomson Licensing | Procede de codage d ' image avec synthese de texture |
| BRPI0822815A2 (pt) * | 2008-06-27 | 2015-06-30 | Thomson Licensing | Método e aparelho para compressão de textura utilizando síntese de textura de amostragem baseada em patch |
| US8155457B2 (en) * | 2008-11-18 | 2012-04-10 | International Business Machines Corporation Corporation | Robust encoding of metadata in lossy encoded images |
| US8363721B2 (en) * | 2009-03-26 | 2013-01-29 | Cisco Technology, Inc. | Reference picture prediction for video coding |
| CN102577393B (zh) * | 2009-10-20 | 2015-03-25 | 夏普株式会社 | 运动图像编码装置、运动图像解码装置、运动图像编码/解码系统、运动图像编码方法及运动图像解码方法 |
| CN102726044B (zh) | 2010-01-22 | 2016-08-10 | 汤姆逊许可证公司 | 使用基于示例的超分辨率的用于视频压缩的数据剪切 |
| WO2011090790A1 (en) | 2010-01-22 | 2011-07-28 | Thomson Licensing | Methods and apparatus for sampling -based super resolution vido encoding and decoding |
| US8848800B2 (en) * | 2010-09-01 | 2014-09-30 | Electronics And Telecommunications Research Institute | Signal processing method and apparatus based on multiple textures using video sensor excitation signals |
| KR101469515B1 (ko) * | 2010-09-01 | 2014-12-05 | 한국전자통신연구원 | 영상센서여기신호를 이용한 다중 텍스쳐 기반 신호 처리 방법 및 장치 |
| KR101527369B1 (ko) * | 2010-09-01 | 2015-06-09 | 한국전자통신연구원 | 영상오디오여기신호를 이용한 다중 텍스쳐 기반 신호 처리 방법 및 장치 |
| US8842738B2 (en) * | 2010-09-01 | 2014-09-23 | Electronics And Telecommunications Research Institute | Signal processing method and apparatus based on multiple textures using video audio excitation signals |
| US8831094B2 (en) * | 2010-09-01 | 2014-09-09 | Electronics And Telecommunications Research Institute | Video processing method and apparatus based on multiple texture images |
| KR101469513B1 (ko) * | 2010-09-01 | 2014-12-05 | 한국전자통신연구원 | 영상여기신호를 이용한 다중 텍스쳐 이미지 기반 영상 처리 방법 및 장치 |
| US9338477B2 (en) | 2010-09-10 | 2016-05-10 | Thomson Licensing | Recovering a pruned version of a picture in a video sequence for example-based data pruning using intra-frame patch similarity |
| JP5905889B2 (ja) * | 2010-09-10 | 2016-04-20 | トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ | 事例ベースのデータ・プルーニングを用いたビデオ符号化 |
| WO2012033962A2 (en) * | 2010-09-10 | 2012-03-15 | Thomson Licensing | Methods and apparatus for encoding video signals using motion compensated example-based super-resolution for video compression |
| WO2012033972A1 (en) | 2010-09-10 | 2012-03-15 | Thomson Licensing | Methods and apparatus for pruning decision optimization in example-based data pruning compression |
| EP2579591A1 (en) * | 2011-10-04 | 2013-04-10 | Thomson Licensing | Method of and device for encoding an HDR image, method of and device for reconstructing an HDR image and non-transitory storage medium |
| CN103679649B (zh) * | 2013-11-18 | 2016-10-05 | 联想(北京)有限公司 | 一种信息处理方法和电子设备 |
| JP5941097B2 (ja) * | 2014-05-28 | 2016-06-29 | トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ | パッチベースのサンプリングテクスチャ合成を用いたテクスチャ圧縮の方法及び装置 |
| JP6527579B2 (ja) | 2014-07-30 | 2019-06-05 | エスケー テックス カンパニー、リミテッド | クラウドストリーミングサービスシステム、スチールイメージ基盤クラウドストリーミングサービス方法及びそのための装置 |
| CN106717007B (zh) | 2014-07-30 | 2020-04-03 | Sk 普兰尼特有限公司 | 云端流媒体服务器 |
| KR102247887B1 (ko) * | 2014-10-13 | 2021-05-04 | 에스케이플래닛 주식회사 | 클라우드 스트리밍 서비스 시스템, 소스 정보를 이용한 클라우드 스트리밍 서비스 방법 및 이를 위한 장치 |
| US10074014B2 (en) | 2015-04-22 | 2018-09-11 | Battelle Memorial Institute | Feature identification or classification using task-specific metadata |
| US9870638B2 (en) | 2016-02-24 | 2018-01-16 | Ondrej Jamri{hacek over (s)}ka | Appearance transfer techniques |
| US9852523B2 (en) * | 2016-02-24 | 2017-12-26 | Ondrej Jamri{hacek over (s)}ka | Appearance transfer techniques maintaining temporal coherence |
| US10715804B2 (en) | 2016-04-22 | 2020-07-14 | Sony Corporation | Encoding apparatus and encoding method as well as decoding apparatus and decoding method |
| US20190087930A1 (en) * | 2017-09-18 | 2019-03-21 | Qualcomm Incorporated | Adding metadata to texture surfaces for bandwidth compression |
| US10805629B2 (en) * | 2018-02-17 | 2020-10-13 | Google Llc | Video compression through motion warping using learning-based motion segmentation |
| US10887589B2 (en) * | 2019-04-12 | 2021-01-05 | Realnetworks, Inc. | Block size determination for video coding systems and methods |
| CN113742288A (zh) * | 2020-05-29 | 2021-12-03 | 伊姆西Ip控股有限责任公司 | 用于数据索引的方法、电子设备和计算机程序产品 |
Family Cites Families (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB8528143D0 (en) * | 1985-11-14 | 1985-12-18 | British Telecomm | Image encoding & synthesis |
| EP0547696B1 (fr) * | 1991-12-18 | 1999-04-21 | Laboratoires D'electronique Philips S.A.S. | Système de transmission et/ou stockage de signaux correspondant à des images texturées |
| KR970003799B1 (ko) * | 1993-12-29 | 1997-03-21 | 양승택 | 영상 프레임차를 이용한 영상신호 전송장치 |
| US6058211A (en) * | 1995-07-07 | 2000-05-02 | Imec Vzw | Data compression method and apparatus |
| WO1997042766A1 (en) * | 1996-05-06 | 1997-11-13 | Philips Electronics N.V. | Segmented video coding and decoding method and system |
| US6990248B2 (en) * | 1996-05-09 | 2006-01-24 | Koninklijke Philips Electronics N.V. | Segmented video coding and decoding method and system |
| US6044168A (en) * | 1996-11-25 | 2000-03-28 | Texas Instruments Incorporated | Model based faced coding and decoding using feature detection and eigenface coding |
| EP0933939A4 (en) * | 1997-07-18 | 1999-12-22 | Sony Corp | METHOD AND SYSTEM FOR MULTIPLEXING AN IMAGE SIGNAL, METHOD AND SYSTEM FOR DEMULTIPLEXING AN IMAGE SIGNAL, AND TRANSMISSION MEDIUM |
| US6236757B1 (en) * | 1998-06-18 | 2001-05-22 | Sharp Laboratories Of America, Inc. | Joint coding method for images and videos with multiple arbitrarily shaped segments or objects |
| US6593925B1 (en) * | 2000-06-22 | 2003-07-15 | Microsoft Corporation | Parameterized animation compression methods and arrangements |
| US6993075B2 (en) * | 2001-03-05 | 2006-01-31 | Intervideo, Inc. | Systems and methods for reducing error propagation in a video data stream |
| US6810086B1 (en) * | 2001-06-05 | 2004-10-26 | At&T Corp. | System and method of filtering noise |
| US7606435B1 (en) * | 2002-02-21 | 2009-10-20 | At&T Intellectual Property Ii, L.P. | System and method for encoding and decoding using texture replacement |
| US6947045B1 (en) * | 2002-07-19 | 2005-09-20 | At&T Corporation | Coding of animated 3-D wireframe models for internet streaming applications: methods, systems and program products |
-
2003
- 2003-02-28 DE DE10310023A patent/DE10310023A1/de not_active Ceased
-
2004
- 2004-02-26 DE DE502004008490T patent/DE502004008490D1/de not_active Expired - Lifetime
- 2004-02-26 DK DK04714778T patent/DK1599835T3/da active
- 2004-02-26 WO PCT/EP2004/001939 patent/WO2004077360A1/de active IP Right Grant
- 2004-02-26 ES ES05022899T patent/ES2318402T3/es not_active Expired - Lifetime
- 2004-02-26 DE DE502004002904T patent/DE502004002904D1/de not_active Expired - Lifetime
- 2004-02-26 EP EP05022899A patent/EP1635578B1/de not_active Expired - Lifetime
- 2004-02-26 AT AT04714778T patent/ATE354143T1/de active
- 2004-02-26 PT PT04714778T patent/PT1599835E/pt unknown
- 2004-02-26 EP EP04714778A patent/EP1599835B1/de not_active Expired - Lifetime
- 2004-02-26 JP JP2006501963A patent/JP4450828B2/ja not_active Expired - Fee Related
- 2004-02-26 AT AT05022899T patent/ATE415052T1/de active
- 2004-02-26 ES ES04714778T patent/ES2280947T3/es not_active Expired - Lifetime
-
2005
- 2005-08-19 US US11/208,103 patent/US7949053B2/en not_active Expired - Fee Related
-
2009
- 2009-08-07 JP JP2009184281A patent/JP5063648B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| US7949053B2 (en) | 2011-05-24 |
| DK1599835T3 (da) | 2007-06-04 |
| US20060039617A1 (en) | 2006-02-23 |
| EP1599835A1 (de) | 2005-11-30 |
| DE502004002904D1 (de) | 2007-03-29 |
| PT1599835E (pt) | 2007-03-30 |
| DE502004008490D1 (de) | 2009-01-02 |
| EP1635578A2 (de) | 2006-03-15 |
| EP1599835B1 (de) | 2007-02-14 |
| ATE354143T1 (de) | 2007-03-15 |
| ATE415052T1 (de) | 2008-12-15 |
| ES2318402T3 (es) | 2009-05-01 |
| JP2006519533A (ja) | 2006-08-24 |
| DE10310023A1 (de) | 2004-09-16 |
| JP2010011470A (ja) | 2010-01-14 |
| EP1635578B1 (de) | 2008-11-19 |
| EP1635578A3 (de) | 2007-06-27 |
| WO2004077360A1 (de) | 2004-09-10 |
| JP4450828B2 (ja) | 2010-04-14 |
| JP5063648B2 (ja) | 2012-10-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| ES2280947T3 (es) | Procedimiento y disposicion para la codificacion de video, comprendiendo la codificacion de video el analisis de textura y la sintesis de textura, asi como un programa informatico correspondiente y un medio de memoria legible por ordenador correspondiente. | |
| Liu et al. | Image compression with edge-based inpainting | |
| US11184641B2 (en) | Coding spherical video data | |
| US10904570B2 (en) | Method for encoding/decoding synchronized multi-view video by using spatial layout information and apparatus of the same | |
| US20180098090A1 (en) | Method and Apparatus for Rearranging VR Video Format and Constrained Encoding Parameters | |
| US20170272749A1 (en) | Cross component prediction in video coding | |
| Ndjiki-Nya et al. | Improved H. 264/AVC coding using texture analysis and synthesis | |
| US20190082183A1 (en) | Method and Apparatus for Video Coding of VR images with Inactive Areas | |
| US20130208982A1 (en) | Method for reconstructing a current block of an image and corresponding encoding method, corresponding devices as well as storage medium carrying an images encoded in a bit stream | |
| US20190335203A1 (en) | Intra-prediction method and device in image coding system for 360-degree video | |
| Kauff et al. | Functional coding of video using a shape-adaptive DCT algorithm and an object-based motion prediction toolbox | |
| CN111434115A (zh) | 视频编码中纹理合成的聚类修正 | |
| KR102342874B1 (ko) | 360도 비디오에 대한 영상 코딩 시스템에서 프로젝션 타입 기반 양자화 파라미터를 사용한 영상 디코딩 방법 및 장치 | |
| KR20110020242A (ko) | 텍스처 합성을 이용하는 이미지 코딩 방법 | |
| US7020192B1 (en) | Method of retrieving video picture and apparatus therefor | |
| Dziembowski et al. | Spatiotemporal redundancy removal in immersive video coding | |
| US20210120250A1 (en) | Apparatus and Methods for Encoding and Decoding a Video Signal | |
| KR20230080447A (ko) | 장면의 하나 이상의 뷰들을 인코딩 및 디코딩하기 위한 방법 및 장치 | |
| US11973981B2 (en) | Coding and decoding of an omnidirectional video | |
| CN109845259B (zh) | 编码和解码图像参数的方法、编码和解码图像参数的设备 | |
| Meuel et al. | Data hiding in H. 264 video for lossless reconstruction of region of interest | |
| Ndjiki-Nya et al. | Improved video coding through texture analysis and synthesis | |
| Ndjiki-Nya et al. | Video coding using texture analysis and synthesis | |
| EP4199516A1 (en) | Reduction of redundant data in immersive video coding | |
| Thapa et al. | Object Based Fast Motion Estimation and Compensation Algorithm for Surveillance Video Compression |