ES2729193T3 - Procedimiento de compresión de información de vídeo - Google Patents
Procedimiento de compresión de información de vídeo Download PDFInfo
- Publication number
- ES2729193T3 ES2729193T3 ES02710906T ES02710906T ES2729193T3 ES 2729193 T3 ES2729193 T3 ES 2729193T3 ES 02710906 T ES02710906 T ES 02710906T ES 02710906 T ES02710906 T ES 02710906T ES 2729193 T3 ES2729193 T3 ES 2729193T3
- Authority
- ES
- Spain
- Prior art keywords
- image
- motion vectors
- depth map
- reference image
- motion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T9/00—Image coding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/223—Analysis of motion using block-matching
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
- H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0085—Motion estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Processing Or Creating Images (AREA)
Abstract
Un procedimiento (800, 820) de compresión de información de vídeo, que comprende las etapas de: - proyectar (803) puntos de una imagen siguiente en puntos proyectados en un espacio tridimensional utilizando parámetros de cámara de la imagen siguiente y un mapa de profundidad de la siguiente imagen, en el que el mapa de profundidad se deriva de un mapa de profundidad que reside en una memoria de un controlador de pantalla de un ordenador, - proyectar (805) los puntos proyectados desde el espacio tridimensional a una superficie de imagen de referencia utilizando los parámetros de la cámara de la imagen de referencia, obteniendo así los vectores de movimiento para estimar los cambios entre la imagen siguiente y la imagen de referencia, - estimar (807) la precisión de los vectores de movimiento obtenidos comparando el valor de profundidad de un punto proyectado en el espacio tridimensional con el valor del mapa de profundidad en el punto proyectado en la superficie de la imagen de referencia, y - usar selectivamente los vectores de movimiento obtenidos como, por ejemplo, vectores de movimiento de compresión de imagen o usar (808) los vectores de movimiento obtenidos como valores iniciales para la búsqueda de vectores de movimiento de compresión de imagen, dependiendo de la precisión estimada de los vectores de movimiento obtenidos.
Description
DESCRIPCIÓN
Procedimiento de compresión de información de vídeo
La invención se refiere a un procedimiento para comprimir vídeo digital. El procedimiento es aplicable especialmente para acelerar la compresión de vídeo digital y/o mejorar la calidad del resultado. Además, la invención es especialmente adecuada para casos en los que el material de vídeo se genera sintéticamente a partir de modelos tridimensionales.
El vídeo en movimiento consiste en imágenes fijas individuales que se muestran al espectador sucesivamente a una velocidad lo suficientemente alta como para generar la sensación de movimiento. El objetivo de la compresión de vídeo es disminuir la cantidad de datos necesarios para describir una imagen de vídeo en movimiento, cuando la información sobre la imagen de vídeo en movimiento se almacena o transmite.
Todos los procedimientos de compresión de vídeo conocidos en uso común hoy en día principalmente logra este objetivo mediante la identificación y eliminación de información repetitiva de las imágenes. Prácticamente, esto significa que se identifican los cambios entre las imágenes y se le dice al receptor cómo construir la siguiente imagen utilizando la anterior (o alguna otra imagen comprimida anterior) como referencia.
Un procedimiento para construir una nueva imagen basada en los anteriores es identificar qué partes de la imagen se han movido entre la imagen de referencia y la imagen siguiente. El proceso de encontrar los parámetros de movimiento se llama estimación de movimiento, y generalmente se realiza bloque por bloque buscando bloques similares en áreas cercanas de la imagen de referencia. Las imágenes normalmente se dividen en bloques de una manera fija determinada, pero la partición (es decir, los tamaños de bloques y la disposición de los bloques) se puede hacer alternativamente, por ejemplo, simultáneamente con la estimación de movimiento, teniendo en cuenta los movimientos detectados en la partición. Luego se le dice al descompresor la dirección y la longitud del movimiento de los bloques en la siguiente imagen usando un vector de movimiento. La información sobre la partición de bloques y los vectores de movimiento de los bloques permite al descompresor producir una estimación de la siguiente imagen original utilizando una imagen de referencia reconstruida anteriormente. Esta acción del descompresor se denomina compensación de movimiento, y en la estimación compensada por movimiento de la siguiente imagen se imita el movimiento en la imagen siguiente original.
La compensación de movimiento no suele producir una copia exacta de la imagen siguiente, por lo que una corrección a la imagen con compensación de movimiento se crea por el compresor imagen. Normalmente, el compresor determina la imagen de corrección como la diferencia entre la estimación de movimiento compensado y la imagen siguiente original. Esta imagen de corrección se llama imagen de diferencia.
La estimación de movimiento en el lado del compresor requiere una búsqueda iterativa en un espacio de búsqueda bidimensional. En la mayoría de los algoritmos de compresión de vídeo estandarizados, se toma un bloque de la siguiente imagen y luego se compara con bloques cercanos en la imagen de referencia. Se supone que la diferencia de ubicación entre el bloque más similar encontrado y el bloque buscado es el vector de movimiento. Debido a la gran cantidad de operaciones requeridas en el proceso de búsqueda iterativo, una búsqueda exhaustiva del vector de movimiento ideal no es práctica en los sistemas de compresión de vídeo por hardware u ordenadores actuales. Los sistemas de compresión de vídeo actualmente disponibles intentan evitar la alta carga informática usando varias técnicas inteligentes y haciendo algunos compromisos. Uno de estos procedimientos es limitar el área desde la cual se realiza la búsqueda, limitando así también la longitud máxima del vector de movimiento que se puede expresar. Otro es estimar el vector de movimiento de un bloque basado en el vector de movimiento de los bloques vecinos. Estos procedimientos, sin embargo, comprometen la eficiencia y la calidad del proceso de compresión.
En la técnica relacionada, el artículo de A. Aydin Alatan y Levent Onural titulada "Estimación de campos de profundidad adecuado para la compresión de vídeo basada en la estructura 3D y movimiento de los objetos" (IEEE Transactions on Image Processing, vol. 7, n.° 6, junio de 1998, páginas 904-908) describe una técnica para la predicción de intensidad a lo largo de las trayectorias de movimiento, cuya técnica tiene como objetivo eliminar la redundancia temporal en los algoritmos de compresión de vídeo. En la codificación de vídeo tridimensional (3D) basada en objetos, se requieren valores de movimiento y profundidad en 3D para la predicción temporal. Los parámetros de movimiento 3D requeridos para cada objeto se encuentran mediante el procedimiento de matriz electrónica basada en la correspondencia. Las estimaciones de la correspondencia - campo de movimiento bidimensional (2D) - entre los cuadros y la segmentación de la escena en objetos se logran simultáneamente al minimizar la energía de Gibbs. El campo de profundidad se calcula minimizando conjuntamente un criterio definido de distorsión y velocidad de bits utilizando los parámetros de movimiento 3D, lo que da como resultado un campo de profundidad que es eficiente en el sentido de velocidad-distorsión.
Un objeto de la presente invención es crear un procedimiento eficaz para la compresión de vídeo. Preferiblemente, el procedimiento permite comprimir el vídeo notablemente más eficientemente que los procedimientos conocidos actualmente sin comprometer la calidad.
Estos y otros objetos de la invención se consiguen mediante la determinación de los vectores de movimiento
causados por los movimientos de la cámara para el uso de estos vectores de movimiento en compresión de vídeo. Un procedimiento de acuerdo con la invención se caracteriza por lo que se afirma en la parte caracterizadora de la reivindicación independiente dirigida a un procedimiento. Un programa informático según la invención se caracteriza por lo que se indica en la reivindicación independiente dirigida a un programa informático. Un dispositivo para comprimir información de vídeo de acuerdo con la invención se caracteriza por lo que se indica en la porción caracterizadora de la reivindicación independiente dirigida a dicho dispositivo.
Las reivindicaciones dependientes describen realizaciones preferidas de la invención.
El principio básico de la invención es que cuando el vídeo a ser comprimido origina a partir de un modelo sintético conocido o cuando es posible crear un modelo de mapa de profundidad de la escena en las nuevas posibilidades de vídeo que surgen para el proceso de estimación de movimiento.
Cuando un mapa de profundidad de la escena en el vídeo es conocido, esto significa - intuitivamente - que es posible determinar las ubicaciones de los objetos, que están presentes en la escena, en un espacio tridimensional. Con términos más precisos, los puntos en la superficie de la imagen se proyectan al espacio tridimensional. El espacio tridimensional puede corresponder a un modelo sintético o al mundo real. Cuando se conocen los cambios en la ubicación y dirección de la cámara entre una imagen de referencia y la imagen siguiente, es posible determinar a partir de los movimientos de la cámara y el uso de las ubicaciones conocidas de los objetos en el espacio tridimensional (o proyecciones al espacio tridimensional) tales vectores de movimientos para la siguiente imagen, que tienen en cuenta los movimientos de la cámara. Si no hay otros cambios en la escena que los relacionados con los movimientos de la cámara (es decir, los objetos no se mueven entre las instancias de tiempo relacionadas con la imagen de referencia y la siguiente imagen), estos vectores de movimiento describen con precisión la siguiente imagen en relación con la imagen de referencia.
Las imágenes de vídeo que se han de comprimir pueden ser imágenes del mundo real en tres dimensiones. En este caso, es posible determinar o estimar las ubicaciones de los objetos con respecto a la cámara, ya que una imagen en sí misma revela información sobre las ubicaciones de los objetos proyectados en un plano e información sobre la distancia de un objeto desde una cámara puede ser obtenido, por ejemplo, utilizando un sensor de rango. Alternativamente, las imágenes de vídeo pueden originarse a partir de un modelo sintético. En gráficos de ordenador, cuando se determina una vista de un modelo sintético, es necesario averiguar qué objetos del modelo son visibles para un espectador y cuáles no. En general, se utiliza una memoria intermedia z: se almacena en la memoria intermedia z un valor de profundidad (valor z) de cada píxel que se va a mostrar, y solo se dibuja un nuevo píxel, si su valor z es más pequeño que el píxel que ya se encuentra en el mismo lugar La memoria intermedia z es un mapa de profundidad de la vista, y tal mapa de profundidad se genera normalmente cada vez que se produce una vista de un modelo sintético en gráficos de ordenador.
Los vectores de movimiento relacionados con los movimientos de la cámara pueden determinarse para los bloques y usarse directamente como vectores de movimiento de los bloques en compresión de vídeo. Alternativamente, los vectores de movimiento relacionados con los movimientos de la cámara se pueden usar como valores iniciales y se pueden determinar vectores de movimiento más precisos para los bloques, por ejemplo, buscando un bloque similar cerca del área, al que apunta el vector de movimiento de la cámara.
Además de determinar los vectores de movimiento para los bloques en la imagen siguiente, es posible determinar un campo de vectores de movimiento para la siguiente imagen. Un campo de vector de movimiento generalmente se refiere a la información del vector de movimiento, que está en una escala más fina que los bloques. El campo del vector de movimiento describe típicamente el movimiento en la escala de píxeles. El campo del vector de movimiento se puede determinar directamente en un nivel de píxeles de manera similar a como lo hacen los bloques. Esto es sencillo, ya que el mapa de profundidad generalmente define la información de distancia para los píxeles de la imagen. Alternativamente, es posible determinar un campo de vector de movimiento en un nivel de bloque, y usar estos vectores de movimiento específicos de bloque para interpolar el campo de vector de movimiento específico de píxel.
El campo vector de movimiento se puede usar como un campo de deformación de la imagen de referencia. Esto significa que, además de la traducción simple, una parte de la imagen de referencia también es posible la contracción/expansión y/o la rotación de partes de la imagen de referencia cuando se forma la estimación de movimiento compensado de la siguiente imagen. El uso del campo de vector de movimiento en la compensación de movimiento requiere que el descompresor sea capaz de generar un campo de vector de movimiento a partir de la información que recibe y deformar la imagen de referencia de acuerdo con la imagen de referencia. Un descompresor puede usar, por ejemplo, un procedimiento de interpolación, que el descompresor indica al comienzo del flujo de información comprimida o, alternativamente, el compresor y el descompresor pueden negociar un procedimiento de interpolación soportado por ambos. Normalmente, no es necesario cambiar el procedimiento de interpolación durante la compresión de una secuencia de imágenes, pero esto se puede hacer, siempre que se informe al descompresor sobre el nuevo procedimiento de interpolación.
Para una precisión de la reconstrucción de la imagen, un compresor normalmente no utiliza una imagen anterior
como una imagen de referencia tal como. Normalmente, un compresor reconstruye una imagen de referencia utilizando la misma información disponible para el descompresor. Esta imagen de referencia reconstruida se utiliza para determinar la estimación de movimiento y la imagen de corrección. A continuación, en la descripción detallada de la invención, el término imagen de referencia puede ser una imagen original anterior como tal o una imagen anterior reconstruida, dependiendo de los detalles de la compresión de la imagen.
La invención se ilustra a modo de ejemplo en las figuras adjuntas, en las que
La figura 1a muestra una imagen de vídeo imaginaria,
La figura 1b muestra el mapa de profundidad asociado con la imagen de la figura 1a,
La figura 2a muestra una nueva imagen de la misma escena a la que se ha movido la cámara,
La figura 2b muestra el mapa de profundidad de la nueva imagen de vídeo,
La figura 3 muestra las posiciones de la cámara para las imágenes de vídeo de las figuras 1a y 2a,
La figura 4 muestra la geometría relacionada con la proyección de un punto en la imagen de vídeo que se puede proyectar hacia el espacio tridimensional utilizando la información del mapa de profundidad,
La figura 5 muestra la aplicación de la invención a un juego de ordenador conocido en una situación en la que la cámara está estacionaria.
La figura 6 muestra la cámara moviéndose aproximadamente en línea recta,
La figura 7 muestra la cámara girando de derecha a izquierda,
Las figuras 8a, 8b, 8c muestran un diagrama de flujo de un procedimiento de acuerdo con una realización de la invención, y
La figura 9 muestra un compresor de vídeo de acuerdo con una realización adicional de la invención.
La siguiente explicación de la invención se refiere a las figuras 1-4.
Un procedimiento de acuerdo con la invención requiere que los siguientes datos comiencen tanto con la imagen de referencia y la siguiente imagen que se comprime: la imagen real y los parámetros de la cámara de la imagen. También se necesita un mapa de profundidad correspondiente a la siguiente imagen. Un mapa de profundidad suele ser una matriz bidimensional de números que indica a qué distancia de la cámara está el objeto visible en cada píxel de la imagen real.
Las figuras 1a y 2a ilustran, como ejemplos, dos imágenes de vídeo: en la figura 1a se ilustra una imagen I0 de vídeo, y en la figura 2a se ilustra una imagen I1 de vídeo. Las imágenes I0 e I1 se relacionan con una misma escena, pero la ubicación y la dirección de la cámara que mira la escena son diferentes para las imágenes I0 e I1. La figura 3 ilustra la ubicación y la dirección de la cámara para las imágenes I0 y I1.
Los parámetros de la cámara para la imagen que definen la ubicación de la cámara, dirección de la cámara y la distancia de visión de la cámara. La ubicación de la cámara K normalmente se presenta como un punto (o un vector que apunta a esta ubicación) en un espacio tridimensional. La dirección de la cámara se presenta normalmente con tres vectores Kx, Ky y Kz de dirección de cámara. La distancia Dv de visualización es la distancia de la cámara desde el plano de la imagen. La figura 4 ilustra estos parámetros K, Kx, Ky, Kz y Dv de cámara.
Las coordenadas x e y de los puntos en el plano de imagen se definen típicamente como distancias (en las direcciones definidas por vectores Kx y Ky de dirección) desde el punto en la superficie de imagen, donde la dirección definida por el vector Kz intersecta la superficie de la imagen; normalmente este punto es el punto central de la imagen. La figura 4 ilustra la definición anterior de la coordenada x; en la figura 4, la coordenada está marcada con x1 ya que la figura 4 se relaciona especialmente con la imagen I1.
Las figuras 1b y 2b ilustran mapas Z0 y Z1 de profundidad de las imágenes I0 e I1: más oscuro es el tono de gris, mayor es la distancia del objeto en ese punto de la imagen de la cámara. Un mapa Z de profundidad especifica la distancia de un objeto O desde la cámara en la dirección del vector Kz. La figura 4 ilustra, cómo se puede determinar la ubicación del objeto O, que se ilustra en la imagen I1 en el punto (x1, y1), en un espacio tridimensional utilizando x1, y1, Z1 (x1, y1) y parámetros de la cámara de imagen I1. En otras palabras, la figura 4 ilustra la proyección del punto (x1, y1) en la superficie de la imagen a un punto P’ del espacio tridimensional.
Cuando una imagen es una vista generada a partir de un modelo sintético, el mapa Z de profundidad normalmente se genera como un producto secundario del proceso de creación de la imagen, como se discutió anteriormente. Cuando la imagen es una imagen del mundo real, es posible determinar el mapa de profundidad utilizando, por ejemplo, sensores de rango.
Consideremos a continuación, como un ejemplo, una situación, donde la imagen I0 de vídeo en la figura 1a funciona como una imagen de referencia para la imagen I1 de vídeo que se ilustra en la figura 2a. Además, como ejemplo, consideremos un bloque de imágenes que contiene la cabeza de la persona en las imágenes I0 e I1.
Con el fin de calcular una aproximación útil para el vector de movimiento del bloque en estudio, queremos averiguar donde el píxel p1 (figura 2a) estaba en la imagen I0 de referencia, suponiendo que todos los cambios entre las imágenes I0 y I1 se deben a cambios en los parámetros de la cámara. La ubicación anterior se llama p0 (figura 1a). Para encontrar los componentes x e y de p0 (es decir, x0 y y0), el punto p1 de imagen se proyecta primero hacia el espacio P' tridimensional utilizando los parámetros de la cámara de la imagen I1 (figura 4) y luego el punto del espacio tridimensional se proyecta a la superficie de la imagen I0 de referencia utilizando los parámetros de la cámara de la imagen de referencia. La diferencia en la ubicación del punto en las dos imágenes, generalmente definida como la diferencia con signo p0-p1, es el vector de movimiento para usar en la compresión de vídeo.
La proyección de la superficie de la imagen I al espacio de tres dimensiones se realiza con la siguiente fórmula:
en la que x e y son coordenadas de un punto en la superficie de la imagen y Z (x, y) es el valor del mapa de profundidad del punto (x, y). La proyección desde el espacio tridimensional al espacio de la imagen se puede hacer con la fórmula que resulta de resolver x, y y Z (x, y) de la fórmula anterior. Ambas fórmulas son conocidas fórmulas básicas de gráficos tridimensionales por ordenador. Las coordenadas, los parámetros de la cámara y el mapa de profundidad pueden definirse de una manera ligeramente diferente a las descritas anteriormente, pero es evidente para un experto en la materia modificar la fórmula de proyección en consecuencia.
El procedimiento presentado para calcular el vector de movimiento tiene en cuenta todos los cambios en las imágenes de vídeo que dan lugar a cambios en los parámetros de la cámara. Independientemente de los posibles cambios en la escena que ve la cámara, los píxeles/bloques de una imagen siguiente pueden proyectarse primero, utilizando los parámetros de la cámara de la siguiente imagen, al espacio tridimensional y luego, utilizando los parámetros de la cámara de la imagen de referencia, a la superficie de la imagen de referencia. Queremos hacer notar a continuación que el punto relacionado con un determinado objeto en la siguiente imagen con p1 y en la imagen de referencia con pref. Sin embargo, el valor de pref es, por lo general, desconocido cuando se comprime una imagen siguiente; el objetivo de la compensación de movimiento es determinar la estimación de pref.
Queremos hacer notar que un punto p1 de la siguiente imagen una vez proyectado con P1' (esto es un punto del espacio tridimensional) y un punto dos veces proyectada con P1" (este es un punto (x1", y1") en la referencia imagen de la superficie, y tiene un valor z1" de profundidad). Si los cambios en la imagen de vídeo en las áreas, donde están p1 y p1", son causados solo por cambios en los parámetros de la cámara, entonces p1" es igual o cercano a pref. Las figuras 1-3 ilustran este caso. Una posible forma de estimar, si p1" es igual o cerca de pref, es comparar el valor de profundidad z1" con el valor Z0 (x1", y1") de mapa de profundidad de imagen de referencia. Estos valores coinciden estrechamente si los cambios en los parámetros de la cámara provocan cambios en las imágenes. En este caso, normalmente no hay necesidad de tratar de encontrar un vector de movimiento más preciso para p1 que p1" - p1.
Si la escena vista por la cámara cambia, proyectar dos veces un punto de la siguiente imagen como se describe anteriormente produce vectores de movimiento no precisos en esas áreas de la imagen. Una manera informáticamente económica de estimar si existe la necesidad de determinar vectores de movimiento más precisos es, como se describe anteriormente, comparar el valor z1" de profundidad con el valor Z0 (x1", y1") del mapa de profundidad. Si esta comparación no produce una coincidencia cercana, entonces se puede determinar un vector de compensación de movimiento más preciso utilizando procedimientos de búsqueda convencionales. El valor p1" - p1 se puede usar como un valor inicial para estos procedimientos de búsqueda de vectores de movimiento convencionales. En los procedimientos de compresión de vídeo estándar, los vectores de movimiento generalmente no se calculan para cada píxel por separado, sino para bloques de tamaño fijo de, por ejemplo, 8 x 8 o 16 x 16 píxeles. Debido a esto, el procedimiento de proyección de la presente invención también se aplica preferiblemente a tales bloques para ahorrar esfuerzo informático. Esto puede hacerse, por ejemplo, promediando los valores de profundidad en el interior del bloque, y utilizando el valor de profundidad media y las coordenadas x e y del centro del bloque como las coordenadas del punto en la proyección.
Cada una de las figuras 5, 6 y 7 presenta los campos de vectores de movimiento calculados con el procedimiento de proyección presentada para los fotogramas de vídeo de un juego de ordenador conocido. En este juego de ordenador, la cámara virtual está unida al arma y se puede mover y rotar a voluntad de los jugadores. Las figuras presentan cuadros de vídeo del juego divididos en bloques que se usan en el proceso de estimación de movimiento. La figura 5-7 presenta los cuadros de vídeo para el juego, los cuadros de vídeo se dividen en bloques.
En la figura 5 la cámara está estacionaria y los vectores de movimiento calculados usando el procedimiento de proyección por lo tanto no están presentes. La figura 6 muestra una situación en la que el jugador avanza, y la figura 7 muestra al jugador girando de derecha a izquierda. Como puede verse en las figuras 5 - 7 , los vectores de
movimiento generados usando el procedimiento de proyección descrito brindan una visión bastante intuitiva del movimiento.
En lugar de ser utilizados como datos de entrada para la compresión de vídeo basada en bloques, los vectores de movimiento calculados usando el procedimiento de proyección descrito pueden, alternativamente, ser utilizados como un campo de deformación de la imagen de referencia. Normalmente, los vectores de movimiento para cada píxel en la imagen de referencia se calculan mediante interpolación (por ejemplo, bilineal) del campo vectorial basado en bloques. Alternativamente, es posible generar el campo del vector de movimiento proyectando los píxeles píxel por píxel. Por supuesto, utilizar este procedimiento requiere la transmisión/almacenamiento de información que describa el campo del vector de movimiento junto con los datos comprimidos. Si la distorsión de la imagen de referencia se realiza tanto en la compresión de la imagen como en la descompresión de la imagen, la parte del algoritmo de compresión de la imagen real es corregir la diferencia entre una imagen de referencia deformada y la imagen siguiente.
El uso del procedimiento de deformación es beneficioso para la relación de compresión y la calidad del vídeo, ya que aumenta el conjunto de operaciones que se pueden expresar con los vectores de movimiento. Cuando en la compresión de vídeo basada en bloque normal, la única operación que se puede usar para construir una imagen siguiente a partir de la imagen de referencia es una copia de bloque traducida, el procedimiento de deformación reproduce correctamente el escalado y la rotación de la imagen como resultado del movimiento de la cámara. Encontrar los parámetros de rotación y escalado con procedimientos de búsqueda iterativos convencionales haría que la compresión de vídeo sea prohibitiva desde el punto de vista informático, ya que agrega efectivamente dos nuevas dimensiones al espacio de búsqueda.
La figura 8 ilustra, como dos ejemplos, diagramas de flujo de los procedimientos de compresión de vídeo 800 y 820 de acuerdo con dos realizaciones de la invención. En la etapa 801, se recibe una imagen siguiente y se establece información sobre los parámetros de la cámara de la imagen siguiente. En la etapa 802 se establece información sobre el mapa de profundidad de la siguiente imagen. En la etapa 803, los bloques de las siguientes imágenes se proyectan al espacio tridimensional utilizando los parámetros de la cámara y el mapa de profundidad de la siguiente imagen. En la etapa 804 se establece información sobre los parámetros de la cámara de la imagen de referencia, y en la etapa 805 los puntos proyectados en el espacio tridimensional se proyectan en la superficie de la imagen de referencia.
En la etapa 806 los vectores de movimiento se determinan usando los resultados de la proyección, como se describe anteriormente. En la etapa 807 se determina si los vectores de movimiento relacionados con los parámetros de la cámara son lo suficientemente precisos. Esto se puede hacer, como se mencionó anteriormente, comparando el valor Z0 (x1", y1") del mapa de profundidad de la imagen de referencia con el valor z1" de profundidad del punto p1" de la imagen proyectada dos veces. Normalmente, se determina un valor de umbral para la diferencia, y si los valores del mapa de profundidad son lo suficientemente cercanos entre sí, no hay necesidad de vectores de movimiento más precisos. En la etapa 808, si es necesario, se buscan vectores de movimiento más precisos utilizando los parámetros de movimiento relacionados con los parámetros de la cámara como valores iniciales; aquí cualquier procedimiento es aplicable para buscar vectores de compensación de movimiento. La búsqueda se realiza preferiblemente solo en aquellas áreas de la imagen, donde los vectores de movimiento no eran lo suficientemente precisos.
La figura 8b ilustra cómo continúa el procedimiento 800 de compresión de vídeo. En este procedimiento, los vectores de movimiento se utilizan de manera convencional en la compresión de imágenes. En la etapa 809 se determina una estimación de movimiento compensado para la siguiente imagen usando los vectores de movimiento. A partir de entonces, en la etapa 810, se determina una imagen de diferencia utilizando la siguiente imagen y la estimación de movimiento compensado. En la etapa 811, la información que describe los vectores de movimiento se transmite y/o almacena para su uso posterior. En la etapa 812, la información que describe la diferencia de imagen se transmite/almacena. En la etapa 813 se genera una nueva imagen de referencia utilizando la información transmitida/almacenada; se puede generar una nueva imagen de referencia en relación con cada imagen comprimida o se puede usar una misma imagen de referencia para varias imágenes comprimidas. A partir de entonces, el procedimiento 800 continúa desde la etapa 801.
La figura 8c ilustra cómo continúa el procedimiento 820. En el procedimiento 820, un campo de vector de movimiento se determina en la etapa 821. Como se discutió anteriormente, una forma posible de determinar un campo de vector de movimiento es interpolar valores específicos de píxel de vectores de movimiento específicos de bloque. En la etapa 822 se determina una estimación de movimiento de la próxima imagen utilizando el campo de vector de movimiento como campo de deformación. A partir de entonces, el procedimiento 820 continúa de manera similar al procedimiento 800.
En el borde de la imagen, donde el nuevo material entra normalmente a la vista, la estimación de movimiento compensado es incorrecta. Esta situación se puede observar, cuando un vector de movimiento calculado de acuerdo con el procedimiento presentado señala fuera de la imagen de referencia. La diferencia de imagen, sin embargo, se ocupa de la inexactitud en la estimación de movimiento compensado también en este caso.
La figura 9 ilustra esquemáticamente, como ejemplo, un diagrama de bloques de un compresor 900 de vídeo de acuerdo con una realización de la invención. El compresor de vídeo tiene medios 901 para almacenar una imagen de referencia, medios 902 para recibir una imagen siguiente y medios 903 para determinar vectores de movimiento para estimar cambios entre la imagen siguiente y la imagen de referencia. Además, comprende medios 904 para establecer información sobre un mapa de profundidad y parámetros de cámara de la siguiente imagen y medios 905 para almacenar parámetros de cámara de la imagen de referencia. Los medios 904 pueden estar dispuestos, por ejemplo, para recibir información de distancia de un sensor de rango o para recibir/obtener información de una memoria de un controlador de pantalla 3D. Los medios 903 para determinar las estimaciones de vectores de movimiento están dispuestos para calcular la proyección de puntos de la siguiente imagen a un espacio tridimensional y la proyección de puntos en un espacio tridimensional a la imagen de referencia.
Un compresor de vídeo puede comprender además medios para almacenar información sobre un mapa de profundidad de la imagen de referencia (puede ser implementado usando el mismo medio de memoria 905, que se utilizan en el almacenamiento de los parámetros de la cámara) y medios 906 para la estimación de la exactitud de los vectores de movimiento. Los medios para estimar la precisión de los vectores de movimiento pueden disponerse para determinar, cuando sea necesario, vectores de movimiento más precisos mediante procedimientos de búsqueda convencionales.
Un compresor de vídeo típicamente comprende además medios 907 para la construcción de una estimación de movimiento compensado para la siguiente imagen y medios 908 para determinar una imagen de diferencia entre la imagen siguiente y la estimación de movimiento compensado. Los medios 907 para construir una estimación de movimiento compensado pueden estar dispuestos para usar vectores de movimiento o, alternativamente, pueden estar dispuestos para construir un campo de vector de movimiento y para deformar una imagen de referencia de acuerdo con el campo de vector de movimiento.
Además, por lo general comprende medios 909 para transmitir/almacenar información que describe la imagen que la diferencia de los vectores de movimiento. Los medios 910 para construir una nueva imagen de referencia utilizando la información transmitida/almacenada también suelen ser parte de un compresor de vídeo.
Un programa de dispositivo o equipo según la invención puede estar dispuesto para funcionar de acuerdo con cualquier procedimiento de acuerdo con la invención.
El procedimiento descrito abre nuevas posibilidades para el uso de vídeo comprimido, porque el procesador y otros recursos, que normalmente son requeridos por la compresión de vídeo de compensación de movimiento convencional, causan requisitos prohibitivos que deben colocarse en el equipo de compresión de vídeo en tiempo real. La potencia de cómputo que de otro modo sería necesaria para comprimir secuencias de vídeo en tiempo real ahora se puede usar para mejorar la calidad del resultado, para comprimir múltiples secuencias de vídeo simultáneas o, cuando sea apropiado, para realizar otras tareas simultáneamente con la compresión de la imagen. En vista de la descripción anterior, será evidente para una persona experta en la técnica que pueden realizarse diversas modificaciones dentro del ámbito de la invención. Aunque algunas realizaciones preferidas de la invención se han descrito en detalle, debería ser evidente que son posibles muchas modificaciones y variaciones de las mismas, estando todas las cuales dentro del alcance de la invención tal como se define en las reivindicaciones independientes adjuntas.
Claims (8)
1. Un procedimiento (800, 820) de compresión de información de vídeo, que comprende las etapas de:
- proyectar (803) puntos de una imagen siguiente en puntos proyectados en un espacio tridimensional utilizando parámetros de cámara de la imagen siguiente y un mapa de profundidad de la siguiente imagen, en el que el mapa de profundidad se deriva de un mapa de profundidad que reside en una memoria de un controlador de pantalla de un ordenador,
- proyectar (805) los puntos proyectados desde el espacio tridimensional a una superficie de imagen de referencia utilizando los parámetros de la cámara de la imagen de referencia, obteniendo así los vectores de movimiento para estimar los cambios entre la imagen siguiente y la imagen de referencia,
- estimar (807) la precisión de los vectores de movimiento obtenidos comparando el valor de profundidad de un punto proyectado en el espacio tridimensional con el valor del mapa de profundidad en el punto proyectado en la superficie de la imagen de referencia, y
- usar selectivamente los vectores de movimiento obtenidos como, por ejemplo, vectores de movimiento de compresión de imagen o usar (808) los vectores de movimiento obtenidos como valores iniciales para la búsqueda de vectores de movimiento de compresión de imagen, dependiendo de la precisión estimada de los vectores de movimiento obtenidos.
2. Un procedimiento según la reivindicación 1, en el que los vectores de movimiento obtenidos se aplican para acelerar la compresión.
3. Un procedimiento según cualquiera de las reivindicaciones anteriores, que comprende además la etapa de:
- determinar (821) un campo de vector de movimiento para la siguiente imagen utilizando vectores de movimiento obtenidos y/o buscados, y
- determinar (822) una estimación de movimiento compensado para la siguiente imagen utilizando el campo de vector de movimiento como campo de distorsión de la imagen de referencia.
4. Un procedimiento según cualquiera de las reivindicaciones anteriores, en el que los vectores de movimiento se determinan para bloques de imágenes de tamaño fijo y en que para cada bloque solo se determina un vector de movimiento.
5. Un procedimiento según la reivindicación 4, en el que para cada bloque de imagen se determina una profundidad promedio utilizando el mapa de profundidad y en el que el punto central de un bloque es el punto proyectado.
6. Un programa informático que comprende medios de código de programa informático adaptado para realizar todas las etapas de la reivindicación 1 cuando dicho programa se ejecuta en un ordenador.
7. Un programa informático según la reivindicación 6, realizado en un medio legible por ordenador.
8. Un dispositivo para la compresión de información de vídeo, comprendiendo el dispositivo:
- medios para proyectar puntos de una imagen siguiente a puntos proyectados en un espacio tridimensional utilizando los parámetros de la cámara de la imagen siguiente y un mapa de profundidad de la imagen siguiente, en el que el mapa de profundidad se deriva de un mapa de profundidad que reside en la memoria de un controlador de pantalla,
- medios para proyectar los puntos proyectados desde el espacio tridimensional a la superficie de la imagen de referencia utilizando los parámetros de la cámara de la imagen de referencia, obteniendo así vectores de movimiento para estimar los cambios entre la imagen siguiente y la imagen de referencia,
- medios para estimar la precisión de los vectores de movimiento obtenidos, dispuestos para comparar el valor de profundidad de un punto proyectado en el espacio tridimensional con el valor del mapa de profundidad en el punto proyectado en la superficie de la imagen de referencia, y
- medios para usar los vectores de movimiento obtenidos, dispuestos para usar selectivamente los vectores de movimiento obtenidos como, por ejemplo, vectores de movimiento de compresión de imagen o usar los vectores de movimiento obtenidos como valores iniciales para la búsqueda de vectores de movimiento de compresión de imagen, dependiendo de la precisión estimada de los vectores de movimiento obtenidos.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| FI20010143A FI109633B (fi) | 2001-01-24 | 2001-01-24 | Menetelmä videokuvan pakkauksen nopeuttamiseksi ja/tai sen laadun parantamiseksi |
| PCT/FI2002/000050 WO2002060183A1 (en) | 2001-01-24 | 2002-01-23 | A method for compressing video information |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| ES2729193T3 true ES2729193T3 (es) | 2019-10-30 |
Family
ID=8560113
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| ES02710906T Expired - Lifetime ES2729193T3 (es) | 2001-01-24 | 2002-01-23 | Procedimiento de compresión de información de vídeo |
Country Status (8)
| Country | Link |
|---|---|
| US (1) | US7894525B2 (es) |
| EP (1) | EP1364535B1 (es) |
| JP (1) | JP4004408B2 (es) |
| KR (1) | KR100879324B1 (es) |
| CN (1) | CN1270542C (es) |
| ES (1) | ES2729193T3 (es) |
| FI (1) | FI109633B (es) |
| WO (1) | WO2002060183A1 (es) |
Families Citing this family (82)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6075441A (en) | 1996-09-05 | 2000-06-13 | Key-Trak, Inc. | Inventoriable-object control and tracking system |
| EP1483741A2 (en) | 2002-03-01 | 2004-12-08 | t5 Labs Ltd | Centralised interactive graphical application server |
| US10201760B2 (en) | 2002-12-10 | 2019-02-12 | Sony Interactive Entertainment America Llc | System and method for compressing video based on detected intraframe motion |
| US9061207B2 (en) | 2002-12-10 | 2015-06-23 | Sony Computer Entertainment America Llc | Temporary decoder apparatus and method |
| US9192859B2 (en) | 2002-12-10 | 2015-11-24 | Sony Computer Entertainment America Llc | System and method for compressing video based on latency measurements and other feedback |
| US8711923B2 (en) | 2002-12-10 | 2014-04-29 | Ol2, Inc. | System and method for selecting a video encoding format based on feedback data |
| US9108107B2 (en) | 2002-12-10 | 2015-08-18 | Sony Computer Entertainment America Llc | Hosting and broadcasting virtual events using streaming interactive video |
| US8964830B2 (en) | 2002-12-10 | 2015-02-24 | Ol2, Inc. | System and method for multi-stream video compression using multiple encoding formats |
| US9138644B2 (en) | 2002-12-10 | 2015-09-22 | Sony Computer Entertainment America Llc | System and method for accelerated machine switching |
| US9314691B2 (en) | 2002-12-10 | 2016-04-19 | Sony Computer Entertainment America Llc | System and method for compressing video frames or portions thereof based on feedback information from a client device |
| US9077991B2 (en) | 2002-12-10 | 2015-07-07 | Sony Computer Entertainment America Llc | System and method for utilizing forward error correction with video compression |
| US9446305B2 (en) | 2002-12-10 | 2016-09-20 | Sony Interactive Entertainment America Llc | System and method for improving the graphics performance of hosted applications |
| US20090118019A1 (en) | 2002-12-10 | 2009-05-07 | Onlive, Inc. | System for streaming databases serving real-time applications used through streaming interactive video |
| US7148861B2 (en) * | 2003-03-01 | 2006-12-12 | The Boeing Company | Systems and methods for providing enhanced vision imaging with decreased latency |
| US7619626B2 (en) * | 2003-03-01 | 2009-11-17 | The Boeing Company | Mapping images from one or more sources into an image for display |
| US7983835B2 (en) | 2004-11-03 | 2011-07-19 | Lagassey Paul J | Modular intelligent transportation system |
| CN101147402B (zh) * | 2005-01-27 | 2010-05-12 | 汤姆森特许公司 | 基于边缘的青色、品红色和黄色自动画面配准 |
| US7925391B2 (en) * | 2005-06-02 | 2011-04-12 | The Boeing Company | Systems and methods for remote display of an enhanced image |
| WO2007060584A2 (en) * | 2005-11-23 | 2007-05-31 | Koninklijke Philips Electronics N.V. | Rendering views for a multi-view display device |
| US7916141B2 (en) * | 2006-04-10 | 2011-03-29 | Choi Kum-Young | Image processing system using vector pixel |
| US8970680B2 (en) | 2006-08-01 | 2015-03-03 | Qualcomm Incorporated | Real-time capturing and generating stereo images and videos with a monoscopic low power mobile device |
| US8888592B1 (en) | 2009-06-01 | 2014-11-18 | Sony Computer Entertainment America Llc | Voice overlay |
| JP4931223B2 (ja) * | 2007-03-30 | 2012-05-16 | 株式会社バンダイナムコゲームス | 動きベクトル探索プログラム、情報記憶媒体、動きベクトル探索装置、及び、ネットワークシステム |
| US8049658B1 (en) * | 2007-05-25 | 2011-11-01 | Lockheed Martin Corporation | Determination of the three-dimensional location of a target viewed by a camera |
| CN101802867B (zh) * | 2007-07-18 | 2012-11-21 | 新加坡南洋理工大学 | 提供图形数据以及显示图形数据的方法 |
| EP2174511B1 (en) * | 2007-07-26 | 2011-06-22 | Koninklijke Philips Electronics N.V. | Method and apparatus for depth-related information propagation |
| US9168457B2 (en) | 2010-09-14 | 2015-10-27 | Sony Computer Entertainment America Llc | System and method for retaining system state |
| US8968087B1 (en) | 2009-06-01 | 2015-03-03 | Sony Computer Entertainment America Llc | Video game overlay |
| US8613673B2 (en) | 2008-12-15 | 2013-12-24 | Sony Computer Entertainment America Llc | Intelligent game loading |
| US8147339B1 (en) | 2007-12-15 | 2012-04-03 | Gaikai Inc. | Systems and methods of serving game video |
| TWI362628B (en) * | 2007-12-28 | 2012-04-21 | Ind Tech Res Inst | Methof for producing an image with depth by using 2d image |
| JP5039921B2 (ja) * | 2008-01-30 | 2012-10-03 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 圧縮システム、プログラムおよび方法 |
| JP2009230635A (ja) * | 2008-03-25 | 2009-10-08 | Olympus Imaging Corp | 画像データ生成装置、画像データ生成方法、および画像データ生成用プログラム |
| WO2009131703A2 (en) * | 2008-04-25 | 2009-10-29 | Thomson Licensing | Coding of depth signal |
| KR20100000671A (ko) * | 2008-06-25 | 2010-01-06 | 삼성전자주식회사 | 영상 처리 방법 |
| CN101374243B (zh) * | 2008-07-29 | 2010-06-23 | 宁波大学 | 一种应用于3dtv与ftv系统的深度图编码压缩方法 |
| CN101374242B (zh) * | 2008-07-29 | 2010-06-02 | 宁波大学 | 一种应用于3dtv与ftv系统的深度图编码压缩方法 |
| KR101663819B1 (ko) | 2008-08-20 | 2016-10-10 | 톰슨 라이센싱 | 정제된 깊이 맵 |
| US20100073491A1 (en) * | 2008-09-22 | 2010-03-25 | Anthony Huggett | Dual buffer system for image processing |
| US8926435B2 (en) | 2008-12-15 | 2015-01-06 | Sony Computer Entertainment America Llc | Dual-mode program execution |
| US8840476B2 (en) | 2008-12-15 | 2014-09-23 | Sony Computer Entertainment America Llc | Dual-mode program execution |
| BRPI0924045A2 (pt) | 2009-01-07 | 2017-07-11 | Thomson Licensing | Estimação de profundidade conjunta |
| US8506402B2 (en) | 2009-06-01 | 2013-08-13 | Sony Computer Entertainment America Llc | Game execution environments |
| US11013995B2 (en) * | 2009-06-01 | 2021-05-25 | Sony Interactive Entertainment LLC | Qualified video delivery methods |
| JP5293463B2 (ja) * | 2009-07-09 | 2013-09-18 | ソニー株式会社 | 画像処理装置、画像処理方法およびプログラム |
| KR101660312B1 (ko) * | 2009-09-22 | 2016-09-27 | 삼성전자주식회사 | 3차원 비디오의 움직임 탐색 장치 및 방법 |
| GB2480422B (en) | 2010-02-25 | 2014-07-09 | Imagination Tech Ltd | Object tracking using graphics engine derived vectors in a motion estimation system |
| US20110242271A1 (en) * | 2010-03-31 | 2011-10-06 | Google Inc. | Synthesizing Panoramic Three-Dimensional Images |
| KR20120000485A (ko) * | 2010-06-25 | 2012-01-02 | 삼성전자주식회사 | 예측 모드를 이용한 깊이 영상 부호화 장치 및 방법 |
| US8560331B1 (en) | 2010-08-02 | 2013-10-15 | Sony Computer Entertainment America Llc | Audio acceleration |
| KR102000618B1 (ko) | 2010-09-13 | 2019-10-21 | 소니 인터랙티브 엔터테인먼트 아메리카 엘엘씨 | 부가기능의 관리 |
| KR101682137B1 (ko) * | 2010-10-25 | 2016-12-05 | 삼성전자주식회사 | 텍스처 및 움직임 감지를 사용한 시간적으로-일관된 변이 추정을 위한 방법 및 장치 |
| CN102821275B (zh) * | 2011-06-08 | 2017-08-08 | 南京中兴软件有限责任公司 | 数据压缩方法及装置、数据解压缩方法及装置 |
| CN102263958A (zh) * | 2011-07-26 | 2011-11-30 | 中兴通讯股份有限公司 | 基于h264运动估计算法的初始点获取方法及装置 |
| JP5155462B2 (ja) * | 2011-08-17 | 2013-03-06 | 株式会社スクウェア・エニックス・ホールディングス | 動画配信サーバ、動画再生装置、制御方法、プログラム、及び記録媒体 |
| US20140241434A1 (en) * | 2011-10-11 | 2014-08-28 | Mediatek Inc | Method and apparatus of motion and disparity vector derivation for 3d video coding and hevc |
| EP2672452B1 (en) | 2012-02-23 | 2017-12-27 | Square Enix Holdings Co., Ltd. | Moving image distribution server, moving image playback device, control method, program, and recording medium |
| WO2013153787A1 (ja) | 2012-04-12 | 2013-10-17 | 株式会社スクウェア・エニックス・ホールディングス | 動画配信サーバ、動画再生装置、制御方法、プログラム、及び記録媒体 |
| US8948497B2 (en) * | 2012-09-04 | 2015-02-03 | Digital Signal Corporation | System and method for increasing resolution of images obtained from a three-dimensional measurement system |
| CN103716641B (zh) | 2012-09-29 | 2018-11-09 | 浙江大学 | 预测图像生成方法和装置 |
| US9984504B2 (en) * | 2012-10-01 | 2018-05-29 | Nvidia Corporation | System and method for improving video encoding using content information |
| US10237563B2 (en) | 2012-12-11 | 2019-03-19 | Nvidia Corporation | System and method for controlling video encoding using content information |
| CN103108183B (zh) * | 2013-02-01 | 2015-04-29 | 中国科学技术大学 | 一种三维视频中Skip和Direct模式运动矢量的预测方法 |
| US10242462B2 (en) | 2013-04-02 | 2019-03-26 | Nvidia Corporation | Rate control bit allocation for video streaming based on an attention area of a gamer |
| KR101632992B1 (ko) * | 2014-07-03 | 2016-06-30 | 성균관대학교산학협력단 | 깊이 와핑에 기반한 폐색 컬링을 위한 방법, 장치 및 컴퓨터 판독 가능한 기록 매체 |
| US9948920B2 (en) | 2015-02-27 | 2018-04-17 | Qualcomm Incorporated | Systems and methods for error correction in structured light |
| US10068338B2 (en) | 2015-03-12 | 2018-09-04 | Qualcomm Incorporated | Active sensing spatial resolution improvement through multiple receivers and code reuse |
| US9530215B2 (en) | 2015-03-20 | 2016-12-27 | Qualcomm Incorporated | Systems and methods for enhanced depth map retrieval for moving objects using active sensing technology |
| US9635339B2 (en) | 2015-08-14 | 2017-04-25 | Qualcomm Incorporated | Memory-efficient coded light error correction |
| US9846943B2 (en) | 2015-08-31 | 2017-12-19 | Qualcomm Incorporated | Code domain power control for structured light |
| US10764561B1 (en) | 2016-04-04 | 2020-09-01 | Compound Eye Inc | Passive stereo depth sensing |
| US10356417B2 (en) * | 2016-09-30 | 2019-07-16 | Intel Corporation | Method and system of video coding using projected motion vectors |
| CN106651921B (zh) * | 2016-11-23 | 2020-02-04 | 中国科学院自动化研究所 | 运动检测方法及躲避和跟踪运动目标的方法 |
| KR101866106B1 (ko) * | 2016-12-30 | 2018-06-08 | 동의대학교 산학협력단 | 깊이 영상의 프레임간의 평면 예측 방법 및 평면 예측 장치 |
| US10499054B2 (en) | 2017-10-12 | 2019-12-03 | Mitsubishi Electric Research Laboratories, Inc. | System and method for inter-frame predictive compression for point clouds |
| WO2021108626A1 (en) * | 2019-11-27 | 2021-06-03 | Compound Eye Inc. | System and method for correspondence map determination |
| US11069071B1 (en) | 2020-01-21 | 2021-07-20 | Compound Eye, Inc. | System and method for egomotion estimation |
| WO2021150784A1 (en) | 2020-01-21 | 2021-07-29 | Compound Eye Inc. | System and method for camera calibration |
| US11833419B2 (en) | 2020-03-16 | 2023-12-05 | Tencent America LLC | Method and apparatus for cloud gaming |
| US12063389B2 (en) * | 2022-11-10 | 2024-08-13 | Rovi Guides, Inc. | 3D prediction method for video coding |
| WO2024126279A1 (en) * | 2022-12-12 | 2024-06-20 | Interdigital Ce Patent Holdings, Sas | A coding method or apparatus based on an indication of camera motion information |
| WO2024200466A1 (en) * | 2023-03-28 | 2024-10-03 | Interdigital Ce Patent Holdings, Sas | A coding method or apparatus based on camera motion information |
Family Cites Families (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5259040A (en) * | 1991-10-04 | 1993-11-02 | David Sarnoff Research Center, Inc. | Method for determining sensor motion and scene structure and image processing system therefor |
| US5511153A (en) | 1994-01-18 | 1996-04-23 | Massachusetts Institute Of Technology | Method and apparatus for three-dimensional, textured models from plural video images |
| JPH07287775A (ja) | 1994-04-19 | 1995-10-31 | Nippon Telegr & Teleph Corp <Ntt> | ３次元映像表示方法および装置 |
| FR2724033B1 (fr) * | 1994-08-30 | 1997-01-03 | Thomson Broadband Systems | Procede de generation d'image de synthese |
| US5617334A (en) * | 1995-07-21 | 1997-04-01 | The Trustees Of Columbia University In The City Of New York | Multi-viewpoint digital video coder/decoder and method |
| JP3231618B2 (ja) * | 1996-04-23 | 2001-11-26 | 日本電気株式会社 | ３次元画像符号化復号方式 |
| JP3797498B2 (ja) | 1996-06-11 | 2006-07-19 | ソニー株式会社 | メモリ制御装置およびメモリ制御方法、並びに画像生成装置 |
| US5847776A (en) | 1996-06-24 | 1998-12-08 | Vdonet Corporation Ltd. | Method for entropy constrained motion estimation and coding of motion vectors with increased search range |
| US6055330A (en) | 1996-10-09 | 2000-04-25 | The Trustees Of Columbia University In The City Of New York | Methods and apparatus for performing digital image and video segmentation and compression using 3-D depth information |
| US5784115A (en) * | 1996-12-31 | 1998-07-21 | Xerox Corporation | System and method for motion compensated de-interlacing of video frames |
| JP3802653B2 (ja) * | 1997-05-21 | 2006-07-26 | オリンパス株式会社 | 立体画像表示装置 |
| EP0928460B1 (en) * | 1997-07-29 | 2003-01-29 | Philips Electronics N.V. | Method of reconstruction of tridimensional scenes and corresponding reconstruction device and decoding system |
| US5986668A (en) * | 1997-08-01 | 1999-11-16 | Microsoft Corporation | Deghosting method and apparatus for construction of image mosaics |
| GB9913687D0 (en) * | 1999-06-11 | 1999-08-11 | Canon Kk | Image processing apparatus |
| US6556704B1 (en) * | 1999-08-25 | 2003-04-29 | Eastman Kodak Company | Method for forming a depth image from digital image data |
| FR2798761B1 (fr) | 1999-09-17 | 2002-03-29 | Thomson Multimedia Sa | Procede de construction d'un modele de scene 3d par analyse de sequence d'images |
| US6664962B1 (en) * | 2000-08-23 | 2003-12-16 | Nintendo Co., Ltd. | Shadow mapping in a low cost graphics system |
-
2001
- 2001-01-24 FI FI20010143A patent/FI109633B/fi not_active IP Right Cessation
-
2002
- 2002-01-23 US US10/470,084 patent/US7894525B2/en active Active
- 2002-01-23 CN CNB028040589A patent/CN1270542C/zh not_active Expired - Lifetime
- 2002-01-23 KR KR1020037009802A patent/KR100879324B1/ko active IP Right Grant
- 2002-01-23 ES ES02710906T patent/ES2729193T3/es not_active Expired - Lifetime
- 2002-01-23 EP EP02710906.5A patent/EP1364535B1/en not_active Expired - Lifetime
- 2002-01-23 JP JP2002560390A patent/JP4004408B2/ja not_active Expired - Lifetime
- 2002-01-23 WO PCT/FI2002/000050 patent/WO2002060183A1/en active Application Filing
Also Published As
| Publication number | Publication date |
|---|---|
| WO2002060183A1 (en) | 2002-08-01 |
| FI109633B (fi) | 2002-09-13 |
| US20040095999A1 (en) | 2004-05-20 |
| EP1364535A1 (en) | 2003-11-26 |
| US7894525B2 (en) | 2011-02-22 |
| FI20010143A0 (fi) | 2001-01-24 |
| EP1364535B1 (en) | 2019-03-06 |
| CN1270542C (zh) | 2006-08-16 |
| JP4004408B2 (ja) | 2007-11-07 |
| JP2004517590A (ja) | 2004-06-10 |
| KR20040012714A (ko) | 2004-02-11 |
| CN1494804A (zh) | 2004-05-05 |
| KR100879324B1 (ko) | 2009-01-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| ES2729193T3 (es) | Procedimiento de compresión de información de vídeo | |
| US10083538B2 (en) | Variable resolution virtual reality display system | |
| US7038676B2 (en) | System and method for data compression | |
| JP3052681B2 (ja) | ３次元動画像生成装置 | |
| Matsuyama et al. | Real-time 3D shape reconstruction, dynamic 3D mesh deformation, and high fidelity visualization for 3D video | |
| US6954202B2 (en) | Image-based methods of representation and rendering of three-dimensional object and animated three-dimensional object | |
| ES2394046T3 (es) | Dispositivo de dibujo y método de dibujo | |
| US20060066612A1 (en) | Method and system for real time image rendering | |
| Malciu et al. | A robust model-based approach for 3d head tracking in video sequences | |
| US10733786B2 (en) | Rendering 360 depth content | |
| US8330767B2 (en) | Method and apparatus for angular invariant texture level of detail generation | |
| JP2006094494A (ja) | グラフィックス処理装置を使用した加速ビデオ符号化 | |
| Tomiyama et al. | Algorithm for dynamic 3D object generation from multi-viewpoint images | |
| US11893705B2 (en) | Reference image generation apparatus, display image generation apparatus, reference image generation method, and display image generation method | |
| Woetzel et al. | Real-time multi-stereo depth estimation on GPU with approximative discontinuity handling | |
| Jiang et al. | H $ _ {2} $-Mapping: Real-time Dense Mapping Using Hierarchical Hybrid Representation | |
| US10652514B2 (en) | Rendering 360 depth content | |
| Walia et al. | A computationally efficient framework for 3D warping technique | |
| US20070115294A1 (en) | Image processing system and method thereof | |
| Pieper et al. | Image prediction for virtual environments by means of kalman filter based 3d object tracking | |
| JP2005063300A (ja) | 任意視点動画像の隠蔽領域補完方式 | |
| Katayama et al. | System for generating arbitrary viewpoint images from HDTV multicamera images | |
| Yang et al. | Reconstruction of dynamic 3D scene based on visual hull and view morphing | |
| Zakhor et al. | Three-dimensional camera motion estimation with applications to video compression and three-dimensional scene reconstruction | |
| WO2002003708A2 (en) | Method of coding shoulder movement in a video sequence |