ES2303057T3 - Procedimiento para la transmision comprimida de datos de imagenes para una representacion tridimensional de escenas y objetos. - Google Patents
Procedimiento para la transmision comprimida de datos de imagenes para una representacion tridimensional de escenas y objetos. Download PDFInfo
- Publication number
- ES2303057T3 ES2303057T3 ES04715242T ES04715242T ES2303057T3 ES 2303057 T3 ES2303057 T3 ES 2303057T3 ES 04715242 T ES04715242 T ES 04715242T ES 04715242 T ES04715242 T ES 04715242T ES 2303057 T3 ES2303057 T3 ES 2303057T3
- Authority
- ES
- Spain
- Prior art keywords
- pixel
- data
- pixels
- image
- values
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000000034 method Methods 0.000 title claims abstract description 39
- 230000005540 biological transmission Effects 0.000 title claims abstract description 38
- 230000002596 correlated effect Effects 0.000 claims description 5
- 230000006835 compression Effects 0.000 description 13
- 238000007906 compression Methods 0.000 description 13
- 230000033001 locomotion Effects 0.000 description 10
- 230000000875 corresponding effect Effects 0.000 description 8
- 238000012913 prioritisation Methods 0.000 description 4
- 230000006837 decompression Effects 0.000 description 2
- 210000004556 brain Anatomy 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 210000003205 muscle Anatomy 0.000 description 1
- 238000013421 nuclear magnetic resonance imaging Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client
- H04N21/61—Network physical structure; Signal processing
- H04N21/6106—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network
- H04N21/6131—Network physical structure; Signal processing specially adapted to the downstream path of the transmission network involving transmission via a mobile phone network
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Databases & Information Systems (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Image Processing (AREA)
- Image Generation (AREA)
Abstract
Procedimiento adecuado para la transmisión comprimida de datos de imagen para una representación tridimensional de escenas y objetos, (a) en el que cada escena o cada objeto se graba desde al menos dos perspectivas; (b) que usa una transmisión de datos de video según el procedimiento de la transmisión priorizada de píxeles, (b1) en el que los datos de video de cada imagen se fijan por medio de grupos de píxeles individuales, (b2) en el que cada grupo de píxeles presenta un valor de posición dentro de las posiciones de un conjunto de imágenes y al menos un valor de píxel asignado, (b3) en el que el tamaño del conjunto de imágenes está definido por medio de la altura h y de la anchura b de una imagen de video, dada en puntos de imagen o píxeles, (b4) en el que para cada grupo de píxeles de las imágenes sucesivas se determina un valor de prioridad, determinando para ello las diferencias de un píxel de referencia que determina el valor de posición del grupo de píxeles respecto al resto de píxeles del grupo de píxeles, (b5) y después de cada determinación de un nuevo valor de prioridad se ordenan los valores de prioridad de los grupos de píxeles en una lista de prioridades según el tamaño por orden descendente y se transmiten de modo preferente para grupos de píxeles con la mayor prioridad actual sus valores de posición y valores de píxel; caracterizado por medio de (c) el uso de un procedimiento para la transmisión de datos adicionales dentro del procedimiento mencionado de transmisión de datos de video, (c1) en el que los datos adicionales, del mismo modo que los datos de video, presentan valores de posición y valores de píxel asignados y los valores de posición y los valores de píxel de los datos adicionales se transmiten conjuntamente con los datos de video, (c2) en el que los valores de posición de los datos adicionales están asignados a una región de offset del conjunto de imágenes, (c3) y en el que la región de offset contiene exclusivamente valores de posición que no son parte del conjunto de imágenes mencionado, (d) en el que los datos conforman una primera perspectiva de datos de video reales y los datos de al menos otra perspectiva conforman los datos adicionales mencionados, (d1) en el que los valores de posición de los datos adicionales están dispuestos en la región de offset mencionada, (d2) y en el que para las posiciones dentro del conjunto de imágenes se transmite un mayor número de grupos de píxeles que para posiciones en la región de offset; (e)y en el que los valores de píxel de grupos de píxeles no transmitidos de la región de offset, se calculan a partir de grupos de píxeles ya transmitidos del conjunto de imágenes en la parte de recepción.
Description
Procedimiento para la transmisión comprimida de
datos de imágenes para una representación tridimensional de escenas
y objetos.
La presente invención se refiere a un
procedimiento para la transmisión comprimida de datos de imágenes
para una representación tridimensional de escenas y objetos.
La invención se basa en un procedimiento para la
transmisión de datos adicionales dentro de una transmisión de datos
de vídeo entre un emisor y un receptor según el procedimiento de la
transmisión priorizada de píxeles, tal y como se describe en el
siguiente párrafo. Los datos de vídeo se componen de un gran número
de imágenes individuales. Cada imagen define un conjunto de
imágenes de puntos de imagen (píxeles). Los datos de vídeo de cada
imagen se clasifican en grupos de píxeles individuales, presentando
cada grupo de píxeles un valor de posición dentro del conjunto de
imágenes y al menos un valor de píxel. El tamaño mínimo del conjunto
de imágenes está definido por medio de la altura h y de la anchura
b de una imagen de vídeo, dada en puntos de imagen. En la
transmisión de los datos adicionales se usan valores de posición que
no aparecen en los propios datos de vídeo, sino que están asignados
a una región de offset del conjunto de imágenes.
La transmisión propiamente dicha de los datos de
imágenes se basa en un procedimiento para la compresión y
descompresión de datos de imágenes y de vídeo por medio de grupos de
píxeles de priorización, tal y como se describe en el documento
DE10113880A1. El documento DE101 13880A1 da a conocer un
procedimiento para la compresión y descompresión de datos de vídeo
que se componen de un conjunto de puntos de imagen (píxeles)
individuales, en el que cada píxel presenta un valor de píxel que
se modifica temporalmente, que describe la información de color o
de claridad del píxel. A cada píxel se le asigna una prioridad y se
coloca el píxel de modo correspondiente a su priorización en un
conjunto de prioridades. Este conjunto contiene en cada instante los
valores de píxel ordenados según la priorización. De modo
correspondiente a la priorización se transmiten y/o se almacenan
estos píxeles y los valores de píxel usados para el cálculo de la
priorización. Un píxel recibe una prioridad elevada cuando las
diferencias con sus píxeles contiguos son muy grandes. Para la
reconstrucción se representan los valores de píxel actuales en la
pantalla. Los píxeles que todavía no han sido transmitidos se
calculan a partir de los píxeles que ya han sido transmitidos. De
acuerdo con las características de la reivindicación 1, el
documento DE10113880A1 da a conocer por tanto un procedimiento
adecuado para la transmisión comprimida de datos de imagen usando
una transmisión de datos de vídeo según el procedimiento de la
transmisión priorizada de píxeles, en el que los datos de vídeo de
cada imagen son fijados por medio de grupos de píxeles individuales
y cada grupo de píxeles presenta un valor de posición dentro de las
posiciones de un conjunto de imágenes y al menos un valor de píxel
asignado, en el que el tamaño del conjunto de imágenes está definido
por medio de la altura h y de la anchura b de una imagen de vídeo,
dada en puntos de imagen o píxeles, y en el que para cada grupo de
píxeles de las imágenes consecutivas se determina un valor de
prioridad y de modo preferente para grupos de píxeles de la mayor
prioridad se transmiten sus valores de posición y los valores de
píxel.
El artículo de Serge Simon "Generalized
Run-Length Coding for SNR-scalable
Image Compression", en Proceedings of
EUSIPCO-94, 7th European Signal Processing
Conference, septiembre de 1994, XP008007229, páginas
560-563 propone, dentro del tema de codificación
por longitud de series generalizada, transmitir los píxeles más
importantes de una imagen de modo preferente, según la ordenación
previa de los píxeles según su prioridad.
El documento US6191808B1 da a conocer
procedimientos para la representación estereoscópica de imágenes. En
particular, se propone interpolar una representación de una imagen
intermedia dependiente de la posición del observador a partir de un
gran número de perspectivas de imagen existentes/generadas de
parejas de imágenes.
El artículo de Forman, M. y col. "Compression
of Integral 3D TV Pictures", Intl. Conference on Image Processing
and its Applications, London, Nr. 410, 4 de julio de 1995, páginas
584-588, XP000613545 y la publicación WO9710675A1
se refieren a la compresión de imágenes fijas 3D y de imágenes en
movimiento 3D. Debido a la posibilidad de aprovechar la fuerte
correlación entre imágenes continuas, es decir, imágenes de
perspectivas de grabación contiguas, se espera un mayor factor de
compresión. Para la compresión de segundas o de otras perspectivas
de una imagen en 3D se propone DPCM, para la codificación de
intraperspectiva se propone 2D-DCT. Para las
imágenes en movimiento 3D se propone sustituir
2D-DCT por 3D-DCT. Como alternativa
a ello se propone comprimir las componentes de movimiento por medio
de compensación de movimiento. En la decodificación se puede
reconstruir entonces de modo correspondiente la imagen de una
perspectiva a partir de los datos codificados de esta perspectiva y
de los datos de una perspectiva decodificada previamente.
El documento
US-A-6055274 muestra un
procedimiento similar a las dos publicaciones mencionadas en último
lugar. A diferencia de los últimos documentos, se efectúa una
estimación de movimiento entre perspectivas contiguas y, basándose
en eso, una codificación compensada de movimiento
(predictiva-diferencial) para cada perspectiva
dentro de una imagen 3D. La codificación compensada de movimiento se
corresponde con el procedimiento usado de modo conocido en la
codificación de compresión de señales de vídeo digitales (imágenes
consecutivas).
La publicación EP0588410A1 da a conocer, a su
vez, un procedimiento para la compresión de datos de vídeo
estereoscópicos, según la cual, por ejemplo, los datos de una
perspectiva de imagen izquierda son sometidos del modo conocido
mencionado anteriormente a una codificación de compresión
predictiva-diferencial compensada de movimiento. La
codificación de los datos de la perspectiva derecha de la imagen se
realiza de modo correspondiente, si bien, dependiendo de la
correlación entre la perspectiva izquierda y la derecha, dado el
caso, se lleva a cabo una codificación predictiva de la perspectiva
derecha completa o parcialmente basándose en datos de la
perspectiva izquierda. En la codificación se reconstruye de modo
correspondiente la perspectiva derecha completamente, parcialmente
o no se reconstruye en absoluto por medio de datos de la perspectiva
izquierda.
El documento US6441844B1 muestra otro ejemplo
para la codificación de compresión de datos de vídeo estereoscópicos
aprovechando la correlación entre las imágenes parciales izquierdas
y derechas y usando imágenes diferenciales y compensación de
movimiento.
En el artículo de Marshall, S. y col.
"Application of Image Contours to three Aspects of Image
Processing: Compression, Shape Recognition and Stereopsis", IEE
Proceedings-1, Solid State and Electron Devices,
Vol. 139, Nº 1, febrero de 1992, XP000292350, páginas
1-8, se propone llevar a cabo una compresión y un
almacenamiento de datos de imágenes a partir de los contornos de la
imagen.
El documento
US-A-5864640 da a conocer un
procedimiento para el escaneado óptico de objetos tridimensionales,
representándose el objeto escaneado en forma de valores de posición
y de color.
Otro procedimiento similar se conoce del
documento US20020159628A1, en el que, en este caso, el objeto
registrado se define en forma de datos de contorno y datos de
textura.
Fundamentalmente se conocen dos procedimientos
diferentes para la transmisión de escenas y objetos
tridimensionales.
Por un lado se conoce el hecho de grabar una
escena o un objeto desde diferentes perspectivas de la cámara y
transmitir estos datos. En el otro procedimiento se modelan y se
almacenan y/o transmiten los objetos o escenas con la ayuda de
modelos de rejilla. Las rejillas conforman entonces los extremos de
envoltura de los objetos o escenas individuales. La posición de las
rejillas en el espacio tridimensional se determina por medio de
puntos de rejilla. Las superficies entre los puntos de rejilla se
llenan por medio de texturas que, en la mayoría de los casos, se
transmiten separadas de la estructura de rejilla. Este procedimiento
se emplea fundamentalmente en el campo de los juegos de ordenador,
en los que se generan objetos artificiales con la ayuda del
ordenador. La ventaja reside en la posibilidad de representar los
objetos/escenas en diferentes estados (por ejemplo, ángulo de
observación, iluminación por medio de diferentes iluminaciones). En
el caso de objetos naturales (por ejemplo personas reales,
plantas), sin embargo, hasta ahora no es posible transformar éstos
en tiempo real en un modelo de rejilla correspondiente.
Por esta razón, hoy en día, para grabaciones
naturales, por regla general, se lleva a cabo una transmisión según
el primer procedimiento con la ayuda de diferentes perspectivas de
la cámara. La persona puede ver espacialmente haciendo para ello
que perciba una escena al mismo tiempo con los dos ojos. En este
caso, los ojos perciben la misma escena ligeramente diferente. El
cerebro humano genera a partir de estas percepciones diferentes una
imagen espacial. En este hecho también se basan, entre otros, las
películas 3D, haciendo que en su observación, la persona reciba en
el ojo izquierdo y en el derecho una imagen (ligeramente) diferente.
Las realizaciones prácticas son, por ejemplo, gafas que pueden
filtrar o bien los colores (rojo/verde) o la polarización de la luz
(horizontal/vertical) de las imágenes correspondientes para el ojo
izquierdo y derecho. Las imágenes que se han de transmitir para el
ojo se diferencian, por regla general, sólo mínimamente. En
particular, en el caso de aristas de objetos se pone de manifiesto
una diferencia de este tipo. Se puede aprovechar esta circunstancia
en el presente procedimiento de transmisión. Por razones de
simplicidad, en lo sucesivo se designa la información de imagen
recibida por el ojo izquierdo como Imagen 1, y la información de
imagen percibida por el ojo derecho como Imagen 2.
El objetivo de la invención reside en el hecho
de modificar una transmisión de datos de vídeo según el
procedimiento de la transmisión priorizada de píxeles según el
documento DE 101 13 880 A1 de tal manera que se haga posible una
transmisión comprimida de objetos y escenas tridimensionales o
estereoscópicos a través de sistemas de transmisión de banda
estrecha, como por ejemplo GSM/UMTS, y una reconstrucción a
continuación de los datos de imágenes transmitidos.
Este objetivo se soluciona según la invención
por medio de las características de la reivindicación 1.
El procedimiento conforme a la invención se
puede usar de modo ventajoso para la transmisión y procesado de
objetos y escenas tridimensionales, haciendo que cada escena/cada
objeto se grabe desde al menos dos perspectivas, en el que se
asigna una perspectiva al conjunto de imágenes real y al menos otra
perspectiva a una región de offset del conjunto de imágenes. A
partir del conjunto de imágenes se transmite un número mayor de
grupos de píxeles que desde la región de offset, calculándose los
píxeles de los grupos de píxeles que falten de la región de offset
a partir de los grupos de píxeles ya transmitidos del conjunto de
imágenes.
Preferentemente, para la perspectiva transmitida
en el conjunto de imágenes se transmiten tanto grupos de píxeles
con mayor prioridad como grupos de píxeles con menor prioridad y
para la perspectiva transmitida en la región de offset únicamente
grupos de píxeles de mayor prioridad.
A continuación se explica un ejemplo de
realización de la invención.
Una escena es grabada por al menos dos cámaras.
Se usa una cámara como cámara principal. Ésta podría ser una cámara
panorámica y definirse, por ejemplo, como imagen 1. La cámara
principal llenaría ahora una primera región de la imagen (píxeles 0
... 512) de modo correspondiente a la figura 1. En la transmisión no
sólo se transmitirían los grupos de píxeles de alta prioridad, sino
también grupos de píxeles de baja prioridad, para conseguir una
imagen con la mejor calidad posible. La(s) otra(s)
cámara(s) graba(n), por ejemplo, la segunda región de
la imagen (píxeles 513 ... 1024). Para esta segunda región de la
imagen, por regla general, sólo es necesario transmitir pocos
grupos de píxeles de alta prioridad, ya que los grupos de píxeles
que todavía no se han transmitido se pueden calcular, entre otro,
con la ayuda de los datos de la primera región de la imagen.
Un ejemplo pone esto de manifiesto. Se graba una
escena con un coche que, por ejemplo, lleva un texto publicitario.
El coche con el texto publicitario se transmite de forma nítida en
la primera región de la imagen. Para la segunda región de la imagen
es entonces suficiente transmitir sólo grupos de píxeles singulares
de la imagen, de manera que se describa de modo unívoco la posición
del coche en la imagen 2. Se puede prescindir de la transmisión de
los grupos de píxeles para la imagen 2, que mostrarían la
inscripción publicitaria, ya que estos se pueden reconstruir a
partir de la relación con la imagen 1. Con ello se produciría para
la segunda región de la imagen una tasa de compresión aún mucho
mayor que para la primera región de la imagen.
En caso de que se usen más de dos grabadoras de
imagen, es posible, por ejemplo, llevar a cabo transmisiones
tridimensionales precisas. Existen aplicaciones para ello, entre
otras, en la industria cinematográfica o en la técnica médica para
la transmisión de material de imágenes en 3D como, por ejemplo,
rayos X o imágenes de resonancia magnética nuclear.
Una característica fundamental de la invención,
debido a ello, es la reducción de datos que se puede conseguir en
la transmisión de la segunda o de otra imagen. La invención
comprende, sin embargo, otras ventajas, que se han de relacionar
con la posibilidad de la transmisión/procesado tridimensional.
De este modo, dentro de valores de posición no
determinados para la transmisión de datos de imagen propiamente
dicha, de modo similar a como pueden ser necesarios para el cambio
de escenas, se puede realizar una transmisión de las propiedades de
la cámara, como por ejemplo las posiciones de las cámaras entre sí,
las distancias focales usadas, la velocidad propia de las cámaras
en el empleo en vehículos o aviones, etc.
Para la determinación de las propiedades de los
objetos representados por medio de los datos de imagen se puede
llevar a cabo una correlación de datos de imagen determinados de las
perspectivas individuales.
Los valores correlatos se pueden usar para
determinar la posición, tamaño, velocidad y forma de objetos de un
modo sencillo de manera unívoca. De este modo, por ejemplo, se puede
determinar la conformación mecánica de las superficies de
sustentación de un avión en diferentes maniobras de vuelo. En el
campo médico se podría usar esto para la comprobación del
movimiento de diferentes grupos de músculos y vasos.
Los valores correlatos, por otro lado, se pueden
usar para generar de modo sencillo una imagen o un vídeo cuya
perspectiva esté entre las perspectivas grabadas realmente
(posiciones de la cámara). Un ejemplo puede poner esto de
manifiesto. La imagen 1 es la cámara principal y está orientada a un
jarrón. La imagen 2 es grabada por otra cámara, que graba el jarrón
con un ángulo de 20 grados referido a la cámara principal. Con la
ayuda de los valores obtenidos por medio de correlación y el
conocimiento de las diferentes posiciones de la cámara se puede
generar una imagen de modo artificial que muestra el jarrón desde el
ángulo de vista de una cámara imaginaria, que está desplazada, por
ejemplo, sólo 10 grados respecto a la cámara principal, sin que
deba existir en sí una cámara de este tipo. Esta información se
puede usar entonces de un modo sencillo para enriquecer las
grabaciones naturales con informaciones artificiales. Los escenarios
de aplicación podrían ser la inclusión artificial de informaciones
adicionales; en un partido de fútbol, por ejemplo, una línea que
muestra si determinados jugadores se encuentran en fuera de
juego.
La correlación de los datos de imagen de
diferentes perspectivas se basa en las siguientes consideraciones.
De modo correspondiente al procedimiento que se extrae de la
solicitud de patente alemana DE 101 13 880 A1 se conforman grupos
de píxeles de priorización. Los puntos de las esquinas de los
objetos resultan, por regla general, como los de mayores valores de
prioridad. En caso de que, por ejemplo, la posición relativa de los
cinco grupos de píxeles de mayor prioridad entre sí sea similar a la
posición relativa de los cinco grupos de píxeles de mayor prioridad
de la segunda posición de cámara, entonces se puede asumir que se ha
registrado el mismo objeto. Se pueden ignorar las desviaciones
individuales en tanto que los grupos de píxeles que permanezcan
presenten una correlación entre sí correspondiente buena. A partir
de una correlación correspondientemente buena se pueden determinar
ahora las desviaciones del mismo objeto en los diferentes conjuntos
de imágenes de las diferentes cámaras con una precisión de píxeles.
En caso de que haya pues informaciones adicionales como, por
ejemplo, posiciones de cámara, puntos de referencia comunes, etc.,
entonces se pueden determinar tamaños exactos por medio de cálculos
geométricos sencillos. En el caso de una transmisión de vídeo,
teniendo en cuenta los componentes temporales también se puede
llevar a cabo una determinación de la velocidad de los objetos de
la imagen. Por medio del uso de la transmisión priorizada de
píxeles, el número de las correlaciones necesarias es
fundamentalmente menor que en el caso de que se hubieran de
correlacionar todos los puntos de imagen de una imagen con todos
los puntos de imagen de la otra imagen, tal y como es completamente
usual en los procedimientos convencionales. El procedimiento aquí
descrito reduce la potencia de cálculo para la correlación de los
datos de imágenes de un modo considerable, de manera que el
procedimiento presentado también se
puede emplear bien en aparatos móviles, es decir, aparatos con una potencia de cálculo relativamente reducida.
puede emplear bien en aparatos móviles, es decir, aparatos con una potencia de cálculo relativamente reducida.
Claims (5)
1. Procedimiento adecuado para la transmisión
comprimida de datos de imagen para una representación tridimensional
de escenas y objetos,
(a) en el que cada escena o cada objeto se graba
desde al menos dos perspectivas;
(b) que usa una transmisión de datos de vídeo
según el procedimiento de la transmisión priorizada de píxeles,
- (b1)
- en el que los datos de vídeo de cada imagen se fijan por medio de grupos de píxeles individuales,
- (b2)
- en el que cada grupo de píxeles presenta un valor de posición dentro de las posiciones de un conjunto de imágenes y al menos un valor de píxel asignado,
- (b3)
- en el que el tamaño del conjunto de imágenes está definido por medio de la altura h y de la anchura b de una imagen de vídeo, dada en puntos de imagen o píxeles,
- (b4)
- en el que para cada grupo de píxeles de las imágenes sucesivas se determina un valor de prioridad, determinando para ello las diferencias de un píxel de referencia que determina el valor de posición del grupo de píxeles respecto al resto de píxeles del grupo de píxeles,
- (b5)
- y después de cada determinación de un nuevo valor de prioridad se ordenan los valores de prioridad de los grupos de píxeles en una lista de prioridades según el tamaño por orden descendente y se transmiten de modo preferente para grupos de píxeles con la mayor prioridad actual sus valores de posición y valores de píxel;
caracterizado por medio de
(c) el uso de un procedimiento para la
transmisión de datos adicionales dentro del procedimiento mencionado
de transmisión de datos de vídeo,
- (c1)
- en el que los datos adicionales, del mismo modo que los datos de vídeo, presentan valores de posición y valores de píxel asignados y los valores de posición y los valores de píxel de los datos adicionales se transmiten conjuntamente con los datos de vídeo,
- (c2)
- en el que los valores de posición de los datos adicionales están asignados a una región de offset del conjunto de imágenes,
- (c3)
- y en el que la región de offset contiene exclusivamente valores de posición que no son parte del conjunto de imágenes mencionado,
(d) en el que los datos conforman una primera
perspectiva de datos de vídeo reales y los datos de al menos otra
perspectiva conforman los datos adicionales mencionados,
- (d1)
- en el que los valores de posición de los datos adicionales están dispuestos en la región de offset mencionada,
- (d2)
- y en el que para las posiciones dentro del conjunto de imágenes se transmite un mayor número de grupos de píxeles que para posiciones en la región de offset;
(e) y en el que los valores de píxel de grupos
de píxeles no transmitidos de la región de offset, se calculan a
partir de grupos de píxeles ya transmitidos del conjunto de imágenes
en la parte de recepción.
2. Procedimiento según la reivindicación 1,
caracterizado porque para la perspectiva transmitida en el
conjunto de imágenes se transmiten tanto grupos de píxeles con
mayor prioridad como grupos de píxeles con menor prioridad, y para
la perspectiva transmitida en la región de offset se transmiten
únicamente grupos de píxeles con mayor prioridad.
3. Procedimiento según la reivindicación 1 ó 2,
caracterizado porque para la determinación de propiedades de
los objetos representados por medio de los datos de imagen se lleva
a cabo una correlación de determinados datos de imagen de las
perspectivas individuales.
4. Procedimiento según la reivindicación 3,
caracterizado porque a partir de los datos de imagen
correlatos se determina la posición, tamaño, velocidad o
conformación de objetos.
5. Procedimiento según la reivindicación 3,
caracterizado porque a partir de los datos de imagen
correlatos se generan datos de imagen para otras perspectivas
(posiciones de cámara).
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE10308810 | 2003-02-27 | ||
| DE2003108810 DE10308810B4 (de) | 2002-07-10 | 2003-02-27 | Verfahren zur komprimierten Übertragung von Bilddaten für eine 3-dimensionale Darstellung von Szenen und Objekten |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| ES2303057T3 true ES2303057T3 (es) | 2008-08-01 |
Family
ID=32920640
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| ES04715242T Expired - Lifetime ES2303057T3 (es) | 2003-02-27 | 2004-02-27 | Procedimiento para la transmision comprimida de datos de imagenes para una representacion tridimensional de escenas y objetos. |
Country Status (11)
| Country | Link |
|---|---|
| US (1) | US7212662B2 (es) |
| EP (1) | EP1600008B1 (es) |
| AT (1) | ATE388584T1 (es) |
| CY (1) | CY1108082T1 (es) |
| DE (1) | DE502004006411D1 (es) |
| DK (1) | DK1600008T3 (es) |
| ES (1) | ES2303057T3 (es) |
| NO (1) | NO336560B1 (es) |
| PT (1) | PT1600008E (es) |
| SI (1) | SI1600008T1 (es) |
| WO (1) | WO2004077838A1 (es) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CA2380105A1 (en) * | 2002-04-09 | 2003-10-09 | Nicholas Routhier | Process and system for encoding and playback of stereoscopic video sequences |
| JP2013105345A (ja) * | 2011-11-14 | 2013-05-30 | Sony Corp | 情報登録装置、情報登録方法、情報登録システム、情報提示装置、情報提示方法、情報提示システムおよびプログラム |
Family Cites Families (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| IL83752A (en) * | 1987-09-02 | 1992-03-29 | Ibm Israel | Method and apparatus for transmitting and receiving 3-dimensional video images |
| JP3276985B2 (ja) | 1991-06-27 | 2002-04-22 | ゼロックス・コーポレーション | イメージピクセル処理方法 |
| NL9201593A (nl) | 1992-09-14 | 1994-04-05 | Nederland Ptt | Systeem omvattende een eerste encoder voor het coderen van een eerste digitaal signaal, een tweede encoder voor het coderen van een tweede digitaal signaal en ten minste één decoder voor het decoderen van gecodeerde digitale signalen, en encoder en decoder voor toepassing in het systeem. |
| GB2270811B (en) | 1992-09-17 | 1996-02-07 | Sony Broadcast & Communication | Video data compression |
| DE69434685T2 (de) * | 1993-08-04 | 2006-09-14 | Canon K.K. | Bildverarbeitungsverfahren und -gerät |
| KR0155784B1 (ko) | 1993-12-16 | 1998-12-15 | 김광호 | 영상데이타의 적응형 가변장 부호화/복호화방법 |
| AU698055B2 (en) * | 1994-07-14 | 1998-10-22 | Johnson-Grace Company | Method and apparatus for compressing images |
| EP0705027B1 (en) | 1994-09-30 | 2000-11-22 | SANYO ELECTRIC Co., Ltd. | Image communication system and method for data compression of colour images using colour tables and region-based processing |
| EP0845191B1 (en) | 1995-08-14 | 2000-11-15 | Barkfort Limited | A method and apparatus for compressing digital image data |
| GB9518984D0 (en) | 1995-09-16 | 1995-11-15 | Univ Montfort | Storing and/or transmitting 3d images |
| DE19541457C1 (de) | 1995-11-07 | 1997-07-03 | Siemens Ag | Verfahren zur Codierung eines Videodatenstroms einer aus Bildblöcken bestehenden Videosequenz |
| US5864640A (en) * | 1996-10-25 | 1999-01-26 | Wavework, Inc. | Method and apparatus for optically scanning three dimensional objects using color information in trackable patches |
| JP3931392B2 (ja) * | 1997-08-25 | 2007-06-13 | ソニー株式会社 | 立体画像用ビデオ信号生成装置、立体画像用ビデオ信号送出装置および立体画像用ビデオ信号受信装置 |
| US6055274A (en) | 1997-12-30 | 2000-04-25 | Intel Corporation | Method and apparatus for compressing multi-view video |
| US6782132B1 (en) * | 1998-08-12 | 2004-08-24 | Pixonics, Inc. | Video coding and reconstruction apparatus and methods |
| US7006097B2 (en) * | 2000-11-23 | 2006-02-28 | Samsung Electronic Co., Ltd. | Method and apparatus for compression and reconstruction of animation path using linear approximation |
| DE10113880B4 (de) | 2001-03-21 | 2004-04-29 | T-Mobile Deutschland Gmbh | Verfahren zur Komprimierung und Dekomprimierung von Videodaten |
| US6792140B2 (en) | 2001-04-26 | 2004-09-14 | Mitsubish Electric Research Laboratories, Inc. | Image-based 3D digitizer |
| DE10231286B4 (de) | 2002-07-10 | 2004-05-19 | T-Mobile Deutschland Gmbh | Verfahren zur Übertragung von zusätzlichen Daten innerhalb einer Videodatenübertragung |
-
2004
- 2004-02-27 EP EP04715242A patent/EP1600008B1/de not_active Expired - Lifetime
- 2004-02-27 SI SI200430737T patent/SI1600008T1/sl unknown
- 2004-02-27 WO PCT/DE2004/000380 patent/WO2004077838A1/de active IP Right Grant
- 2004-02-27 AT AT04715242T patent/ATE388584T1/de active
- 2004-02-27 DK DK04715242T patent/DK1600008T3/da active
- 2004-02-27 DE DE502004006411T patent/DE502004006411D1/de not_active Expired - Lifetime
- 2004-02-27 PT PT04715242T patent/PT1600008E/pt unknown
- 2004-02-27 US US10/547,297 patent/US7212662B2/en not_active Expired - Lifetime
- 2004-02-27 ES ES04715242T patent/ES2303057T3/es not_active Expired - Lifetime
- 2004-12-20 NO NO20045566A patent/NO336560B1/no not_active IP Right Cessation
-
2008
- 2008-05-27 CY CY20081100552T patent/CY1108082T1/el unknown
Also Published As
| Publication number | Publication date |
|---|---|
| US7212662B2 (en) | 2007-05-01 |
| DE502004006411D1 (de) | 2008-04-17 |
| PT1600008E (pt) | 2008-06-12 |
| WO2004077838A1 (de) | 2004-09-10 |
| NO20045566L (no) | 2005-03-21 |
| US20060274951A1 (en) | 2006-12-07 |
| NO336560B1 (no) | 2015-09-28 |
| DK1600008T3 (da) | 2008-06-30 |
| WO2004077838B1 (de) | 2004-12-29 |
| CY1108082T1 (el) | 2014-02-12 |
| EP1600008A1 (de) | 2005-11-30 |
| SI1600008T1 (sl) | 2008-08-31 |
| ATE388584T1 (de) | 2008-03-15 |
| EP1600008B1 (de) | 2008-03-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11367247B2 (en) | Method, apparatus and stream for encoding/decoding volumetric video | |
| US20190222821A1 (en) | Methods for Full Parallax Compressed Light Field 3D Imaging Systems | |
| JP4508878B2 (ja) | 立体画像のためのビデオフィルタ処理 | |
| ES2781561T3 (es) | Método que predice síntesis de vistas en la codificación de vídeo multi-vista y método para constituir una lista de candidatos a la fusión mediante el uso del mismo | |
| RU2503062C2 (ru) | Способ и система для кодирования сигнала трехмерного видео, кодер для кодирования сигнала трехмерного видео, кодированный сигнал трехмерного видео, способ и система для декодирования сигнала трехмерного видео, декодер для декодирования сигнала трехмерного видео | |
| US11425363B2 (en) | System and method for generating light field images | |
| US20180098090A1 (en) | Method and Apparatus for Rearranging VR Video Format and Constrained Encoding Parameters | |
| Devernay et al. | Stereoscopic cinema | |
| CN102047669B (zh) | 具有深度信息的视频信号 | |
| EP1138159A1 (en) | Image correction method to compensate for point of view image distortion | |
| WO2006075325A1 (en) | Automatic conversion from monoscopic video to stereoscopic video | |
| JP2015005978A (ja) | ３次元ビデオストリームに属する画像のカラーコンポーネントを用いることにより、深度マップを生成、格納、送信、受信および再生する方法およびデバイス | |
| US20230262208A1 (en) | System and method for generating light field images | |
| JP2022533754A (ja) | ボリュメトリック映像の符号化および復号化のための方法、装置、およびコンピュータプログラム製品 | |
| ES2446165A2 (es) | Procedimiento para generar un flujo de vídeo estereoscópico, procedimiento para reconstruir imágenes, dispositivos y flujo de vídeo correspondientes | |
| US9571811B2 (en) | Method and device for multiplexing and demultiplexing composite images relating to a three-dimensional content | |
| ES2303057T3 (es) | Procedimiento para la transmision comprimida de datos de imagenes para una representacion tridimensional de escenas y objetos. | |
| WO2019138163A1 (en) | A method and technical equipment for encoding and decoding volumetric video | |
| KR20190113655A (ko) | 비디오 신호 처리 방법 및 장치 | |
| US11064218B2 (en) | Method and apparatus for encoding/decoding image for virtual view synthesis | |
| US20220122216A1 (en) | Generating and processing an image property pixel structure | |
| Shah et al. | Compression issues in multiview autostereo displays | |
| Rahaman | View Synthesis for Free Viewpoint Video Using Temporal Modelling | |
| Yuan | 3D Multi-view Imaging: Object Contour Approximation for Depth Image Coding and Multi-view Image/Video Streaming | |
| Haskell et al. | Three-dimensional TV |