ES2332708T3 - Aparato y procedimiento de procesamiento de imagenes estereoscopicas. - Google Patents

Aparato y procedimiento de procesamiento de imagenes estereoscopicas. Download PDF

Info

Publication number
ES2332708T3
ES2332708T3 ES02743471T ES02743471T ES2332708T3 ES 2332708 T3 ES2332708 T3 ES 2332708T3 ES 02743471 T ES02743471 T ES 02743471T ES 02743471 T ES02743471 T ES 02743471T ES 2332708 T3 ES2332708 T3 ES 2332708T3
Authority
ES
Spain
Prior art keywords
image
images
output
input
offset
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
ES02743471T
Other languages
English (en)
Inventor
P.-A. Redert
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Application granted granted Critical
Publication of ES2332708T3 publication Critical patent/ES2332708T3/es
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/356Image reproducers having separate monoscopic and stereoscopic modes
    • H04N13/359Switching between monoscopic and stereoscopic modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/111Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/243Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/161Encoding, multiplexing or demultiplexing different image signal components
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/194Transmission of image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/207Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/221Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/204Image signal generators using stereoscopic image cameras
    • H04N13/239Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/334Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using spectral multiplexing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/337Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using polarisation multiplexing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/332Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
    • H04N13/341Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using temporal multiplexing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/361Reproducing mixed stereoscopic images; Reproducing mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/363Image reproducers using image projection screens
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30Image reproducers
    • H04N13/398Synchronisation thereof; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0081Depth or disparity estimation from stereoscopic image signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074Stereoscopic image analysis
    • H04N2013/0088Synthesising a monoscopic image signal from stereoscopic images, e.g. synthesising a panoramic or high resolution monoscopic image

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

Unidad (100) de procesamiento de imágenes para generar, basándose en varias imágenes (IR, I, IL) de entrada, una primera imagen (IL) de salida y una segunda imagen (IR) de salida que van a visualizarse en un dispositivo (306) de visualización estereoscópico dando como resultado: - una imagen estereoscópica percibida en el caso de un primer observador (302) que percibe la primera imagen (IL) de salida y la segunda imagen (IR) de salida sustancialmente separadas en el ojo izquierdo y el derecho; y - una imagen monoscópica percibida sustancialmente sin efectos fantasma en el caso de un segundo observador (304) que percibe la primera imagen (IL) de salida y la segunda imagen (IR) de salida sustancialmente ambas en los dos ojos, caracterizada porque comprende: - un calculador (102) de desfase diseñado para calcular una imagen (delta I) desfasada basándose en una primera de las imágenes de entrada; - una unidad (104) de suma diseñada para calcular la primera imagen (I*L) de salida sumando la imagen (delta I) desfasada a una segunda de las imágenes (I) de entrada; y - una unidad (106) de resta diseñada para calcular la segunda imagen (I*R) de salida restando la imagen (delta I) desfasada de la segunda de las imágenes (I) de entrada.

Description

Aparato y procedimiento de procesamiento de imágenes estereoscópicas.
La invención se refiere a una unidad de procesamiento de imágenes para generar, basándose en varias imágenes de entrada, una primera imagen de salida y una segunda imagen de salida, que van a visualizarse en un dispositivo de visualización estereoscópico dando como resultado:
- una imagen estereoscópica percibida en el caso de un primer observador que percibe la primera imagen de salida y la segunda imagen de salida sustancialmente separadas en el ojo izquierdo y el derecho; y
- una imagen monoscópica percibida sustancialmente sin efectos fantasma en el caso de un segundo observador que percibe la primera imagen de salida y la segunda imagen de salida sustancialmente ambas en los dos ojos.
La invención se refiere además a un procedimiento de generación, basándose en varias imágenes de entrada, de una primera imagen de salida y una segunda imagen de salida, que van a visualizarse en un dispositivo de visualización estereoscópico dando como resultado:
- una imagen estereoscópica percibida en el caso de un primer observador que percibe la primera imagen de salida y la segunda imagen de salida sustancialmente separadas en el ojo izquierdo y el derecho; y
- una imagen monoscópica percibida sustancialmente sin efectos fantasma en el caso de un segundo observador que percibe la primera imagen de salida y la segunda imagen de salida sustancialmente ambas en los dos ojos.
La invención se refiere además a un aparato de visualización de imágenes que comprende:
- una unidad de procesamiento de imágenes para generar, basándose en varias imágenes de entrada, una primera imagen de salida y una segunda imagen de salida, que van a visualizarse en un dispositivo de visualización estereoscópico dando como resultado:
- una imagen estereoscópica percibida en el caso de un primer observador que percibe la primera imagen de salida y la segunda imagen de salida sustancialmente separadas en el ojo izquierdo y el derecho; y
- una imagen monoscópica percibida sustancialmente sin efectos fantasma en el caso de un segundo observador que percibe la primera imagen de salida y la segunda imagen de salida sustancialmente ambas en los dos ojos; y
- el dispositivo de visualización estereoscópico.
Un ejemplo de la unidad de procesamiento de imágenes del tipo descrito en el párrafo inicial se conoce del artículo "Just enough reality: Comfortable 3-D viewing via microstereopsis", en IEEE Transactions on Circuits and Systems for Video Technology, vol. 10, n.º 3, págs. 387-396, 2000.
En los sistemas estereoscópicos convencionales basados en gafas, los observadores que llevan las gafas apropiadas pueden observar imágenes estereoscópicas. Con las gafas, un observador percibe la imagen izquierda y derecha sustancialmente separadas en el ojo izquierdo y el derecho, respectivamente. Sin el efecto de filtrado de las gafas se produce un cruce. Un observador percibe una doble imagen: la imagen izquierda y la derecha se mezclan y son visibles para ambos ojos.
En el artículo citado, se aprovechan los límites inferiores de la separación interocular, es decir la microestereopsis, demostrando que disparidades inesperadamente pequeñas estimulan la sensación de profundidad agradable y exacta. Se afirma que tal 3D "leve" deja la percepción de presencia de profundidad inalterada. También podría dar como resultado una comodidad de visión mejorada durante la visión en 3D prolongada. En las circunstancias descritas, el cruce se percibe como profundidad de foco, más que como efecto fantasma. En otras palabras, en el caso de una línea de base pequeña entre las cámaras, el cruce se percibe como efecto borroso más que como duplicación: un observador sin gafas ve una imagen monoscópica borrosa, con una calidad aceptable. Regulando la línea de base entre las cámaras, puede obtenerse un equilibrio entre la calidad de imagen monoscópica y la cantidad del efecto 3D. Cuando se reduce la línea de base entre las cámaras, el efecto de profundidad para los observadores que llevan gafas disminuye. Ya no son posibles efectos 3D extremos. Por otra parte, disminuyen los artefactos producidos por el cruce para los observadores que no llevan gafas. Sin embargo, es una desventaja que, incluso en el caso de una línea de base relativamente pequeña entre las cámaras, la imagen monoscópica muestra estos artefactos.
Es un primer objetivo de la invención proporcionar una unidad de procesamiento de imágenes del tipo descrito en el párrafo inicial con una calidad de imagen monoscópica relativamente alta.
Es un segundo objetivo de la invención proporcionar un procedimiento del tipo descrito en el párrafo inicial que dé como resultado una calidad de imagen monoscópica relativamente alta.
\newpage
Es un tercer objetivo de la invención proporcionar un aparato de visualización de imágenes del tipo descrito en el párrafo inicial con una calidad de imagen monoscópica relativamente alta.
El primer objetivo de la invención se logra porque la unidad de procesamiento de imágenes comprende:
- un calculador de desfase diseñado para calcular una imagen desfasada basándose en una primera de las imágenes de entrada;
- una unidad de suma diseñada para calcular la primera imagen de salida sumando la imagen desfasada a una segunda de las imágenes de entrada; y
- una unidad de resta diseñada para calcular la segunda imagen de salida restando la imagen desfasada de la segunda de las imágenes de entrada.
Para facilitar la explicación, se introducen tres cámaras colocadas de manera precisa en línea que proporcionan las imágenes de entrada a la unidad de procesamiento de imágenes. Véase la figura 1A. La cámara central proporciona la imagen I de entrada monoscópica: cuando se visualiza en un dispositivo de visualización convencional, un observador observa una imagen monoscópica. La cámara izquierda y la derecha proporcionan las imágenes I_{L} e I_{R} de entrada: cuando se visualizan juntas en un dispositivo de visualización estereoscópico, el observador observa una imagen estereoscópica.
La unidad de procesamiento de imágenes recibe al menos una de las imágenes de entrada. El procesamiento de la/las imagen/imágenes da como resultado una primera imagen I^{*}_{L} de salida y una segunda imagen I^{*}_{R} de salida. Cuando estas dos imágenes de salida se visualizan en un dispositivo de visualización estereoscópico apropiado, puede observarse una imagen estereoscópica y una monoscópica. Esto depende de si un observador lleva gafas o no:
- en el caso de que un observador use gafas, se observa una imagen estereoscópica. Esto significa: I^{*}_{L} \approx I_{L} e I^{*}_{R} \approx I_{R}
- en el caso de que un observador no use gafas, se observa una imagen monoscópica. Esto significa: I^{*} \approx I, siendo I^{*} la imagen de salida monoscópica observada. La unidad de procesamiento de imágenes procesa las imágenes de entrada para producir una primera imagen I^{*}_{L} de salida y una segunda imagen I^{*}_{R} de salida que son iguales a la imagen I de entrada monoscópica más o menos alguna imagen \DeltaI desfasada. En las ecuaciones:
(1)I^{*}_{L} = I + \DeltaI
(2)I^{*}_{R} = I - \DeltaI
Separando la primera imagen I^{*}_{L} de salida y la segunda imagen I^{*}_{R} de salida por medio de un dispositivo de visualización estereoscópico en combinación con gafas apropiadas, un observador ve una imagen estereoscópica. Este observador puede hacer una distinción entre las dos imágenes de salida dando como resultado un efecto 3D: una imagen estereoscópica. Un observador sin gafas mezcla las dos imágenes de salida. Este observador no puede hacer una distinción entre las dos imágenes de salida. Este observador ve una imagen monoscópica que respecto a la percepción es sustancialmente igual a la imagen I de entrada monoscópica.
(3)I^{*} = I^{*}_{R} + I^{*}_{L} = I + \DeltaI + I - \DeltaI = 2I
La ventaja de la unidad de procesamiento de imágenes es que la calidad de la imagen monoscópica es sustancialmente independiente de la cantidad del efecto 3D. Esto significa que los observadores que no quieren llevar gafas tienen una calidad de imagen monoscópica relativamente alta. Pero simultáneamente los observadores que quieren llevar gafas observan imágenes estereoscópicas con una calidad relativamente alta.
En una realización de la unidad de procesamiento de imágenes según la invención, el calculador de desfase está diseñado para calcular la imagen desfasada restando una tercera de las imágenes de entrada de la primera de las imágenes de entrada y dividiendo entre una constante sustancialmente igual a dos. La primera de las imágenes de entrada, la segunda de las imágenes de entrada y la tercera de las imágenes de entrada pueden capturarse por una cámara triple. También es posible que las imágenes se capturen con una cámara que se está moviendo entre los momentos de captura. Además es posible que las imágenes se generen mediante un sistema de gráficos. \DeltaI se selecciona como la mitad de la diferencia entre la primera de las imágenes de entrada y la tercera de las imágenes de entrada. Supongamos que I_{L} es la primera de las imágenes de entrada e I_{R} la tercera de las imágenes de entrada. Entonces:
(4)\Delta I = \frac{(I_{L} - I_{R})}{2}
\newpage
La ventaja es que las imágenes I^{*}_{L} e I^{*}_{R} de salida se parecen más a las imágenes I_{L} e I_{R} de entrada, respectivamente. Dado que la luminancia está delimitada, por ejemplo a [0,255], se prefiere que la suma y la resta de \DeltaI vayan seguidas por recorte para garantizar que I^{*}_{L} e I^{*}_{R} contienen valores de luminancia válidos. Una alternativa es el ajuste a escala de las imágenes de entrada.
En otra realización de la unidad de procesamiento de imágenes según la invención, el calculador de desfase está diseñado para calcular la imagen desfasada restando la segunda de las imágenes de entrada de la primera de las imágenes de entrada. La primera de las imágenes de entrada y la segunda de las imágenes de entrada pueden capturarse por una cámara estéreo. También es posible que las imágenes se capturen con una cámara que se está moviendo entre los momentos de captura. Además, es posible que las imágenes se generen mediante un sistema de gráficos. \DeltaI se selecciona como la diferencia entre la primera de las imágenes de entrada y la segunda de las imágenes de entrada. Supongamos que I_{L} es la primera de las imágenes de entrada e I es la segunda de las imágenes de entrada.
Entonces:
(5)\DeltaI = I_{L} - I
La ventaja es que puede hacerse uso de cámaras estéreo convencionales para la adquisición de las imágenes mientras se logran imágenes monoscópicas y estereoscópicas de manera relativamente buena y fácil.
En otra realización de la unidad de procesamiento de imágenes según la invención, el calculador de desfase está diseñado para calcular la imagen desfasada diferenciando la primera de las imágenes de entrada. En este caso, sólo hay una imagen de entrada: la segunda de las imágenes de entrada es igual a la primera de las imágenes de entrada. La imagen desfasada se calcula directamente a partir de esta imagen de entrada. La ventaja es que es fácil de calcular y muy robusta. Produce un efecto 3D leve, que no está relacionado necesariamente con la profundidad real en la escena. Se supone que una transición de luminancia en una imagen se corresponde con una transición de profundidad. La primera de las imágenes de entrada puede capturarse mediante una cámara mono o generarse mediante un sistema de gráficos. En la ecuación 6 se facilita un ejemplo de un procedimiento de cálculo de una imagen desfasada.
(6)\Delta I = \alpha + \beta \arrowvert \nabla \arrowvert ^{\gamma}
Una realización de la unidad de procesamiento de imágenes según la invención comprende además una unidad de representación diseñada para representar las imágenes de entrada basándose en una imagen capturada y en un mapa de profundidad. Es una ventaja que las imágenes puedan representarse como si se originaran a partir de una configuración de cámara triple o estéreo. A partir de este momento, puede usarse el procesamiento a partir de esas configuraciones, tal como se describió anteriormente.
En una realización de la unidad de procesamiento de imágenes según la invención que comprende la unidad de representación, una cámara de profundidad proporciona el mapa de profundidad. Mediante el uso de una cámara de profundidad, el mapa de profundidad está directamente disponible. La estimación de la profundidad de una o más imágenes es un problema relativamente complejo. Por tanto, es una ventaja si la cámara de profundidad proporciona el mapa de profundidad.
Una realización de la unidad de procesamiento de imágenes según la invención que comprende la unidad de representación comprende además una unidad de estimación de profundidad diseñada para generar el mapa de profundidad basándose en la imagen capturada. Este concepto se describe por ejemplo por P. Wilinski y K. van Overveld en el artículo "Depth from motion using confidence based block matching" en Proceedings of Image and Multidimensional Signal Processing Workshop, páginas 159-162, Alpbach, Austria, 1998. La ventaja de esta realización según la invención es que pueden crearse imágenes con efecto 3D incluso a partir de secuencias de vídeo capturadas con cámaras mono convencionales.
El segundo objetivo de la invención se logra porque el procedimiento comprende las etapas de:
- calcular una imagen desfasada basándose en una primera de las imágenes de entrada;
- calcular la primera imagen de salida sumando la imagen desfasada a una segunda de las imágenes de entrada; y
- calcular la segunda imagen de salida restando la imagen desfasada de la segunda de las imágenes de entrada.
El tercer objetivo de la invención se logra porque la unidad de procesamiento de imágenes del aparato de visualización de imágenes comprende:
- un calculador de desfase diseñado para calcular una imagen desfasada basándose en una primera de las imágenes de entrada;
- una unidad de suma diseñada para calcular la primera imagen de salida sumando la imagen desfasada a una segunda de las imágenes de entrada; y
- una unidad de resta diseñada para calcular la segunda imagen de salida restando la imagen desfasada de la segunda de las imágenes de entrada. El aparato de visualización de imágenes puede comprender componentes como un medio de recepción, un decodificador y medios de almacenamiento. Las modificaciones de la unidad de procesamiento de imágenes y las variaciones de la misma pueden corresponder a modificaciones y variaciones de la misma del procedimiento y del aparato de visualización de imágenes descritos.
Éstos y otros aspectos de la unidad de procesamiento de imágenes, del procedimiento y del aparato de visualización de imágenes según la invención resultarán evidentes a partir de y se esclarecerán con respecto a las implementaciones y realizaciones descritas más adelante en el presente documento y con referencia los dibujos adjuntos, en los que:
la figura 1A muestra esquemáticamente una realización de la unidad de procesamiento de imágenes conectada a una cámara triple;
la figura 1B muestra esquemáticamente una realización de la unidad de procesamiento de imágenes conectada a una cámara estéreo;
la figura 1C muestra esquemáticamente una realización de la unidad de procesamiento de imágenes conectada a una cámara mono;
la figura 2A muestra esquemáticamente una realización de la unidad de procesamiento de imágenes que comprende un dispositivo de representación;
la figura 2B muestra esquemáticamente una realización de la unidad de procesamiento de imágenes que comprende una unidad de estimación de profundidad; y
la figura 3 muestra esquemáticamente una realización del aparato de visualización de imágenes en su contexto.
Los números de referencia correspondientes tienen el mismo significado en todas las figuras.
La figura 1A muestra esquemáticamente una realización de la unidad 100 de procesamiento de imágenes conectada a una cámara triple que comprende las cámaras 114-118 que capturan las imágenes I_{L}, I e I_{R}, respectivamente. Estas imágenes se proporcionan a la unidad 100 de procesamiento de imágenes mediante sus conectores 108-112 de entrada. La unidad 100 de procesamiento de imágenes está diseñada para generar una primera imagen I^{*}_{L} de salida y una segunda imagen I^{*}_{R} de salida. La unidad 100 de procesamiento de imágenes comprende:
- un calculador 102 de desfase diseñado para calcular una imagen \DeltaI desfasada basándose en las imágenes I_{L} e I_{R} de entrada según la ecuación 4;
- una unidad 104 de suma diseñada para calcular la primera imagen I^{*}_{L} de salida sumando la imagen \DeltaI desfasada a la imagen I de entrada según la ecuación 1; y
- una unidad 106 de resta diseñada para calcular la segunda imagen I^{*}_{R} de salida restando la imagen \DeltaI desfasada de la imagen I de entrada según la ecuación 2.
La figura 1B muestra esquemáticamente una realización de la unidad 101 de procesamiento de imágenes conectada a una cámara estéreo que comprende las cámaras 114 y 116 que capturan las imágenes I_{L} e I, respectivamente. Estas imágenes se proporcionan a la unidad 101 de procesamiento de imágenes mediante sus conectores 108 y 112 de entrada. La unidad 101 de procesamiento de imágenes está diseñada para generar una primera imagen I^{*}_{L} de salida y una segunda imagen I^{*}_{R} de salida. La unidad 101 de procesamiento de imágenes comprende un calculador 102 de desfase diseñado para calcular una imagen \DeltaI desfasada basándose en las imágenes I_{L} e I de entrada según la ecuación 5.
La figura 1C muestra esquemáticamente una realización de la unidad 103 de procesamiento de imágenes conectada a una cámara 116 mono que captura la imagen I. Esta imagen se proporciona a la unidad 103 de procesamiento de imágenes mediante su conector 108 de entrada. La unidad 103 de procesamiento de imágenes está diseñada para generar una primera imagen I^{*}_{L} de salida y una segunda imagen I^{*}_{R} de salida. La unidad 103 de procesamiento de imágenes comprende un calculador 102 de desfase diseñado para calcular una imagen \DeltaI desfasada basándose en la imagen I de entrada según la ecuación 6.
La figura 2A muestra esquemáticamente una realización de la unidad 105 de procesamiento de imágenes que comprende un dispositivo 202 de representación. La unidad 105 de procesamiento de imágenes recibe su entrada mediante los conectores 108 y 208 de entrada. La cámara 116 captura una imagen I, representando los píxeles valores de luminancia. La cámara 216 captura un mapa de profundidad, representando los píxeles valores de profundidad. Las imágenes I_{L} e I_{R} de entrada se crean a través de una transformación paraláctica de la imagen I. Esto significa que se calculan los desplazamientos de píxel dependientes de la profundidad, que se usan para lograr las imágenes I_{L} e I_{R} de entrada. Este tipo de procesamiento se da a conocer, por ejemplo, en el documento US 5.929.859. En esa descripción se especifica que se evitan agujeros o solapamientos no deseados que resultan de los desplazamientos. La unidad 105 de procesamiento de imágenes comprende un calculador 102 de desfase diseñado para calcular una imagen \DeltaI desfasada basándose en las imágenes I_{L} e I_{R} de entrada según la ecuación 4 y/o en las imágenes I_{L} e I de entrada según la ecuación 5.
La figura 2B muestra esquemáticamente una realización de la unidad 107 de procesamiento de imágenes que comprende un dispositivo 202 de representación y una unidad 204 de estimación de profundidad. La unidad 107 de procesamiento de imágenes recibe su entrada mediante el conector 108 de entrada. La cámara 116 captura una imagen I, representando los píxeles valores de luminancia. Las imágenes I_{L} e I_{R} de entrada se crean a través de una transformación paraláctica de la imagen I y en los mapas D de profundidad que se crean por la unidad 204 de estimación de profundidad. La unidad 204 de estimación de profundidad está diseñada tal como se describe, por ejemplo, en el artículo "Depth from motion using confidence based block matching" de P. Wilinski y K. van Overveld en Proceedings of Image and Multidimensional Signal Processing Workshop, páginas 159-162, Alpbach, Austria, 1998. La unidad 107 de procesamiento de imágenes comprende un calculador 102 de desfase diseñado para calcular una imagen \DeltaI desfasada basándose en las imágenes I_{L} e I_{R} de entrada según la ecuación 4 y/o en las imágenes I_{L} e I de entrada según la ecuación 5.
La figura 3 muestra esquemáticamente una realización del aparato 300 de visualización de imágenes en su contexto. La figura 3 muestra un multiplexor 309 conectado a las cámaras 114-118 que capturan las imágenes I_{L}, I e I_{R}, respectivamente y proporcionan las imágenes al multiplexor mediante sus conectores 312-316 de entrada. Este multiplexor 309 está diseñado para codificar los datos que representan las imágenes capturadas y para transmitir los datos codificados. Los datos codificados se proporcionan al aparato 300 de visualización de imágenes mediante el conector 310 de entrada. El aparato 300 de visualización de imágenes comprende:
- un medio 308 de recepción para recibir los datos codificados y para decodificar los datos dando como resultado las imágenes I_{L}, I e I_{R};
- un aparato 100 de procesamiento de imágenes tal como se describe en relación con la figura 1A; y
- un dispositivo 306 de visualización estereoscópico que está diseñado para visualizar de manera sustancialmente separada las imágenes I^{*}_{L} e I^{*}_{R} de salida, por ejemplo, mediante multiplexación en tiempo. El resultado es:
- una imagen estereoscópica en el caso de un primer observador 302 que percibe la primera imagen I^{*}_{L} de salida y la segunda imagen I^{*}_{R} de salida sustancialmente separadas en el ojo izquierdo y el derecho; y
- una imagen monoscópica en el caso de un segundo observador 304 que percibe la primera imagen I^{*}_{L} de salida y la segunda imagen I^{*}_{R} de salida sustancialmente ambas en los dos ojos. Se conocen muchas técnicas de visualización para visualizar imágenes estereoscópicas. Usando una técnica paralela en el tiempo, ambas imágenes de salida se presentan simultáneamente en una o dos pantallas. Por ejemplo, ambas imágenes de salida pueden filtrarse con colores complementarios y mezclarse en una pantalla. El observador lleva gafas con filtros que se corresponden con los filtros de proyección. Como otro ejemplo, pueden usarse dos pantallas para presentar dos imágenes polarizadas de manera diferente, que se ven a través de gafas polarizadas correspondientes. En las técnicas multiplexadas en el tiempo, las imágenes izquierda y derecha se visualizan alternativamente en una pantalla. Como ejemplo, una imagen se escribe en las líneas de barrido pares y la otra imagen en las líneas de barrido impares. Se usa un sistema de obturador para ocluir el ojo derecho cuando se visualiza la imagen del ojo izquierdo. El sistema de obturador puede montarse en las gafas que lleva el observador. Alternativamente, se coloca un obturador con polarizador controlable delante de la pantalla y el observador lleva un casco de realidad virtual con gafas polarizadas.
Debe observarse que las realizaciones mencionadas anteriormente ilustran más que limitan la invención y que los expertos en la técnica podrán diseñar realizaciones alternativas sin apartarse del alcance de las reivindicaciones adjuntas. En las reivindicaciones, cualquier signo de referencia colocado entre paréntesis no debe considerarse como limitativo de la reivindicación. La expresión "que comprende" no excluye la presencia de elementos o etapas no enumerados en una reivindicación. La palabra "un" o "una" precediendo a un elemento no excluye la presencia de una pluralidad de tales elementos. La invención puede implementarse por medio de hardware que comprenda varios elementos distintos y por medio de un ordenador programado adecuado. En las reivindicaciones unitarias que enumeran varios medios, varios de esos medios pueden realizarse por el mismo elemento de hardware.

Claims (10)

1. Unidad (100) de procesamiento de imágenes para generar, basándose en varias imágenes (I_{R}, I, I_{L}) de entrada, una primera imagen (I^{*}_{L}) de salida y una segunda imagen (I^{*}_{R}) de salida que van a visualizarse en un dispositivo (306) de visualización estereoscópico dando como resultado:
- una imagen estereoscópica percibida en el caso de un primer observador (302) que percibe la primera imagen (I^{*}_{L}) de salida y la segunda imagen (I^{*}_{R}) de salida sustancialmente separadas en el ojo izquierdo y el derecho;
y
- una imagen monoscópica percibida sustancialmente sin efectos fantasma en el caso de un segundo observador (304) que percibe la primera imagen (I^{*}_{L}) de salida y la segunda imagen (I^{*}_{R}) de salida sustancialmente ambas en los dos ojos, caracterizada porque comprende:
- un calculador (102) de desfase diseñado para calcular una imagen (\DeltaI) desfasada basándose en una primera de las imágenes de entrada;
- una unidad (104) de suma diseñada para calcular la primera imagen (I^{*}_{L}) de salida sumando la imagen (\DeltaI) desfasada a una segunda de las imágenes (I) de entrada; y
- una unidad (106) de resta diseñada para calcular la segunda imagen (I^{*}_{R}) de salida restando la imagen (\DeltaI) desfasada de la segunda de las imágenes (I) de entrada.
2. Unidad (100) de procesamiento de imágenes según la reivindicación 1, caracterizada porque el calculador (102) de desfase está diseñado para calcular la imagen (\DeltaI) desfasada restando una tercera de las imágenes (I_{R}) de entrada de la primera de las imágenes (I_{L}) de entrada y dividiendo entre una constante sustancialmente igual a
dos.
3. Unidad (101) de procesamiento de imágenes según la reivindicación 1, caracterizada porque el calculador (102) de desfase está diseñado para calcular la imagen (\DeltaI) desfasada restando la segunda de las imágenes (I) de entrada de la primera de las imágenes (I_{L}) de entrada.
4. Unidad (103) de procesamiento de imágenes según la reivindicación 1, caracterizada porque el calculador (102) de desfase está diseñado para calcular la imagen (\DeltaI) desfasada diferenciando la primera de las imágenes (I) de entrada.
5. Unidad (105) de procesamiento de imágenes según la reivindicación 1, caracterizada porque comprende además una unidad (202) de representación diseñada para representar las imágenes de entrada basándose en una imagen (I) capturada y un mapa (D) de profundidad.
6. Unidad (105) de procesamiento de imágenes según la reivindicación 5, caracterizada porque el mapa (D) de profundidad se proporciona por una cámara (216) de profundidad.
7. Unidad (107) de procesamiento de imágenes según la reivindicación 5, caracterizada porque comprende además una unidad (204) de estimación de profundidad diseñada para generar el mapa (D) de profundidad basándose en la imagen (I) capturada.
8. Procedimiento de generación, basándose en varias imágenes (I_{R}, I, I_{L}) de entrada, de una primera imagen (I^{*}_{L}) de salida y una segunda imagen (I^{*}_{R}) de salida que van a visualizarse en un dispositivo (306) de visualización estereoscópico dando como resultado:
- una imagen estereoscópica percibida en el caso de un primer observador (302) que percibe la primera imagen (I^{*}_{L}) de salida y la segunda imagen (I^{*}_{R}) de salida sustancialmente separadas en el ojo izquierdo y el derecho; y
- una imagen monoscópica percibida sustancialmente sin efectos fantasma en el caso de un segundo observador (304) que percibe la primera imagen (I^{*}_{L}) de salida y la segunda imagen (I^{*}_{R}) de salida sustancialmente ambas en los dos ojos, caracterizado porque comprende las etapas de:
- calcular una imagen (\DeltaI) desfasada basándose en una primera de las imágenes de entrada;
- calcular la primera imagen (I^{*}_{L}) de salida sumando la imagen (\DeltaI) desfasada a una segunda de las imágenes (I) de entrada; y
- calcular la segunda imagen (I^{*}_{R}) de salida restando la imagen (\DeltaI) desfasada de la segunda de las imágenes (I) de entrada.
\newpage
9. Procedimiento según la reivindicación 8, caracterizado porque la imagen (\DeltaI) desfasada se calcula restando la segunda de las imágenes (I) de entrada de la primera de las imágenes (I_{L}) de entrada.
10. Aparato (300) de visualización de imágenes que comprende:
- una unidad (100) de procesamiento de imágenes según la reivindicación 1.
ES02743471T 2001-07-23 2002-06-25 Aparato y procedimiento de procesamiento de imagenes estereoscopicas. Expired - Lifetime ES2332708T3 (es)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP01202818 2001-07-23
EP01202818 2001-07-23

Publications (1)

Publication Number Publication Date
ES2332708T3 true ES2332708T3 (es) 2010-02-11

Family

ID=8180690

Family Applications (1)

Application Number Title Priority Date Filing Date
ES02743471T Expired - Lifetime ES2332708T3 (es) 2001-07-23 2002-06-25 Aparato y procedimiento de procesamiento de imagenes estereoscopicas.

Country Status (9)

Country Link
US (1) US7085410B2 (es)
EP (1) EP1413148B1 (es)
JP (1) JP4098235B2 (es)
KR (1) KR100912418B1 (es)
CN (1) CN100366096C (es)
AT (1) ATE447298T1 (es)
DE (1) DE60234187D1 (es)
ES (1) ES2332708T3 (es)
WO (1) WO2003010976A1 (es)

Families Citing this family (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE602005004125T2 (de) * 2004-02-17 2008-12-18 Koninklijke Philips Electronics N.V. Erzeugen einer tiefenkarte
KR101454208B1 (ko) * 2007-12-28 2014-10-24 삼성전자주식회사 하프톤 영상 인코딩 및 디코딩 방법 및 장치
US20090252398A1 (en) * 2008-04-07 2009-10-08 Compucyte Corporation Method and System for Creating a Three-Dimensionally-Perceived Image of a Biological Sample
JP5347717B2 (ja) * 2008-08-06 2013-11-20 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP4636149B2 (ja) * 2008-09-09 2011-02-23 ソニー株式会社 画像データ解析装置、および画像データ解析方法、並びにプログラム
USD603445S1 (en) 2009-03-13 2009-11-03 X6D Limited 3D glasses
USD624952S1 (en) 2008-10-20 2010-10-05 X6D Ltd. 3D glasses
USRE45394E1 (en) 2008-10-20 2015-03-03 X6D Limited 3D glasses
USD666663S1 (en) 2008-10-20 2012-09-04 X6D Limited 3D glasses
CA2684513A1 (en) 2008-11-17 2010-05-17 X6D Limited Improved performance 3d glasses
US8542326B2 (en) 2008-11-17 2013-09-24 X6D Limited 3D shutter glasses for use with LCD displays
JP5532588B2 (ja) * 2008-11-18 2014-06-25 ソニー株式会社 画像表示装置および画像表示方法
USD646451S1 (en) 2009-03-30 2011-10-04 X6D Limited Cart for 3D glasses
USD650956S1 (en) 2009-05-13 2011-12-20 X6D Limited Cart for 3D glasses
USD672804S1 (en) 2009-05-13 2012-12-18 X6D Limited 3D glasses
JP5794335B2 (ja) * 2009-10-28 2015-10-14 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP5521913B2 (ja) 2009-10-28 2014-06-18 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
USD669522S1 (en) 2010-08-27 2012-10-23 X6D Limited 3D glasses
USD692941S1 (en) 2009-11-16 2013-11-05 X6D Limited 3D glasses
USD671590S1 (en) 2010-09-10 2012-11-27 X6D Limited 3D glasses
IT1397294B1 (it) * 2010-01-07 2013-01-04 3Dswitch S R L Dispositivo e metodo per il riconoscimento di occhiali per visione stereoscopica, e relativometodo di controllo della visualizzazione di un flusso video stereoscopico.
USD662965S1 (en) 2010-02-04 2012-07-03 X6D Limited 3D glasses
US8885890B2 (en) * 2010-05-07 2014-11-11 Microsoft Corporation Depth map confidence filtering
USD664183S1 (en) 2010-08-27 2012-07-24 X6D Limited 3D glasses
JP5454424B2 (ja) 2010-09-03 2014-03-26 ソニー株式会社 撮像方法
JP5831105B2 (ja) * 2011-09-30 2015-12-09 ソニー株式会社 撮像装置及び撮像方法
US9087406B2 (en) 2012-08-01 2015-07-21 Dreamworks Animation Llc Automated stereoscopic computer-animation techniques for determining scaled stereo parameters
USD711959S1 (en) 2012-08-10 2014-08-26 X6D Limited Glasses for amblyopia treatment
US9532032B2 (en) * 2013-04-18 2016-12-27 Ellis Amalgamated, LLC Astigmatic depth from defocus imaging using intermediate images and a merit function map
TW201528775A (zh) 2014-01-02 2015-07-16 Ind Tech Res Inst 景深圖校正方法及系統
WO2018056086A1 (ja) * 2016-09-23 2018-03-29 日本電信電話株式会社 画像生成装置、画像生成方法、データ構造、およびプログラム
JP6615824B2 (ja) * 2016-09-23 2019-12-04 日本電信電話株式会社 画像生成装置、画像生成方法、およびプログラム
TWI683280B (zh) * 2017-08-16 2020-01-21 威盛電子股份有限公司 立體環景影片產生方法及裝置
CN108520232B (zh) 2017-08-16 2020-07-24 威盛电子股份有限公司 立体环景影片产生方法及装置
CA3086592A1 (en) 2017-08-30 2019-03-07 Innovations Mindtrick Inc. Viewer-adjusted stereoscopic image display
KR20220163353A (ko) * 2019-12-19 2022-12-09 아이3디 인크. 입체 이미지를 보여주는 방법 및 디스플레이 시스템
JPWO2023042266A1 (es) * 2021-09-14 2023-03-23
WO2024013850A1 (ja) * 2022-07-12 2024-01-18 日本電信電話株式会社 ステレオ映像生成装置、ステレオ映像生成方法、及びプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3712199A (en) * 1970-09-23 1973-01-23 Video West Inc Three-dimensional color photographic process, apparatus and product
US4761066A (en) * 1986-01-14 1988-08-02 Carter William J Stereoscopic optical system
CA1326082C (en) * 1989-09-06 1994-01-11 Peter D. Macdonald Full resolution stereoscopic display
US5258833A (en) * 1991-04-08 1993-11-02 Schenk Alan G Sterescopic television/video system
US6005607A (en) * 1995-06-29 1999-12-21 Matsushita Electric Industrial Co., Ltd. Stereoscopic computer graphics image generating apparatus and stereoscopic TV apparatus
US6111596A (en) 1995-12-29 2000-08-29 Lucent Technologies Inc. Gain and offset correction for efficient stereoscopic coding and improved display
JP3931392B2 (ja) * 1997-08-25 2007-06-13 ソニー株式会社 立体画像用ビデオ信号生成装置、立体画像用ビデオ信号送出装置および立体画像用ビデオ信号受信装置
US6055274A (en) 1997-12-30 2000-04-25 Intel Corporation Method and apparatus for compressing multi-view video
GB2336963A (en) * 1998-05-02 1999-11-03 Sharp Kk Controller for three dimensional display and method of reducing crosstalk
DE19843296A1 (de) * 1998-09-22 2000-04-13 Alf Holger Tschersich Vorrichtung zur Erzeugung dreidimensionaler Bilder
US6703988B1 (en) * 1999-07-08 2004-03-09 Fergason Patent Properties, Llc Monitor for showing high-resolution and three-dimensional images and method

Also Published As

Publication number Publication date
EP1413148A1 (en) 2004-04-28
JP2004522382A (ja) 2004-07-22
KR20040017333A (ko) 2004-02-26
WO2003010976A1 (en) 2003-02-06
DE60234187D1 (de) 2009-12-10
CN100366096C (zh) 2008-01-30
CN1476729A (zh) 2004-02-18
KR100912418B1 (ko) 2009-08-14
US7085410B2 (en) 2006-08-01
US20030020708A1 (en) 2003-01-30
ATE447298T1 (de) 2009-11-15
JP4098235B2 (ja) 2008-06-11
EP1413148B1 (en) 2009-10-28

Similar Documents

Publication Publication Date Title
ES2332708T3 (es) Aparato y procedimiento de procesamiento de imagenes estereoscopicas.
TWI520569B (zh) 深度資訊產生器、深度資訊產生方法及深度調整裝置
CN100594737C (zh) 立体图像显示方法与系统
JP2008070851A (ja) 画像ディスプレイ装置
CN102802011A (zh) 双视显示方法和显示设备
JPH08205201A (ja) 疑似立体視方法
CA3086592A1 (en) Viewer-adjusted stereoscopic image display
KR20140136701A (ko) 선택적 하이브리드 형태의 입체영상 시각장치 및 이를 이용한 디스플레이 방법
US8400493B2 (en) Virtual stereoscopic camera
CN103718550A (zh) 3d显示装置、方法和结构
Siegel et al. Kinder, gentler stereo
JP2011211488A (ja) 画像処理装置および方法並びにプログラム
CN109151434B (zh) 3d显示控制方法、系统、存储介质及3d显示系统
Pastoor Human factors of 3DTV: an overview of current research at Heinrich-Hertz-Institut Berlin
JP2012134885A (ja) 画像処理装置及び画像処理方法
KR100939080B1 (ko) 합성 영상 생성 방법 및 장치, 합성 영상을 이용한 디스플레이 방법 및 장치
JP2012142800A (ja) 画像処理装置及び画像処理方法、並びにコンピューター・プログラム
CN111684517B (zh) 观看者调节的立体图像显示
US9185381B2 (en) Backward-compatible stereo image processing system and method of generating a backward-compatible stereo image
JP5275760B2 (ja) 立体画像表示システム
JPH0391388A (ja) 画像通信用入出力方法
CN115190284A (zh) 一种图像处理方法
KR101276603B1 (ko) 3차원 영상 디스플레이 장치 및 방법
Knorr et al. Basic rules for good 3D and avoidance of visual discomfort
Tibor et al. Comparison of stereo displaying techniques in POV-Ray 3D generated scenes