ES2662884T3 - Procedimiento y dispositivo para la ampliación de distancia interaxial de imágenes estereoscópicas y secuencia de imágenes - Google Patents
Procedimiento y dispositivo para la ampliación de distancia interaxial de imágenes estereoscópicas y secuencia de imágenes Download PDFInfo
- Publication number
- ES2662884T3 ES2662884T3 ES12724068.7T ES12724068T ES2662884T3 ES 2662884 T3 ES2662884 T3 ES 2662884T3 ES 12724068 T ES12724068 T ES 12724068T ES 2662884 T3 ES2662884 T3 ES 2662884T3
- Authority
- ES
- Spain
- Prior art keywords
- perspective
- wohin
- camera
- fed
- perspectives
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Stereoscopic And Panoramic Photography (AREA)
- Image Processing (AREA)
Abstract
Procedimiento para generar NrP >>= 2 perspectivas sintéticas a partir de una imagen estereoscópica alimentada con al menos N >>= 2 perspectivas, generándose al menos una perspectiva sintética LE en la dirección de visión de la cámara a la izquierda de la perspectiva de cámara alimentada más a la izquierda LC y al menos una perspectiva sintética RE en la dirección de visión de la cámara a la derecha de la perspectiva de cámara alimentada más a la derecha RC, calculándose o alimentándose en una primera etapa una tarjeta de disparidad Wohin de la perspectiva de cámara alimentada más a la izquierda LC hacia la perspectiva de cámara alimentada más a la derecha RC o, generándose en una segunda etapa para cada línea en la tarjeta de disparidad Wohin de las perspectivas de cámara alimentadas LC y RC un campo pLC y un campo pRC, que comprenden como contenido de campo en cada caso punteros, siendo los contenidos de campo de pLC punteros hacia los elementos de imagen en la perspectiva de cámara alimentada más a la izquierda LC y siendo los contenidos de campo de pRC punteros hacia los contenidos de imagen en la perspectiva de cámara alimentada más a la derecha RC, en una tercera etapa se calcula una tarjeta de disparidad LE_Wohin de tal manera que para cada elemento de imagen con posición de píxel jll de cada línea de la nueva tarjeta de disparidad LE_Wohin se calcula un índice jllExtension con**Fórmula** y**Fórmula** con LE_Wohin(jllExtension) >= -1, en el caso de que se trate de una oclusión derecha o LE_Wohin(jllExtension) >= -2, en el caso de que se trate de un elemento de imagen revelado como nuevo, así como se establecen pLC(jllExtension) >= jll y, pRC(jllExtension) >= Wohin(jll), siendo**Fórmula** y leftCapture el número de la perspectiva en la que debe visualizarse LC, rightCapture el número de la perspectiva en la que debe visualizarse RC y siendo NrSegments el número de los píxeles por cada etapa de perspectiva con una disparidad dada de un píxel jll, en una cuarta etapa se generan las perspectivas sintéticas LE y RE mediante el empleo de la tarjeta de disparidad LE_Wohin y de los punteros de los campos pLC y pRC hacia los elementos de imagen de las perspectivas de cámara alimentadas LC y RC, para la tarjeta de disparidad LE_Wohin y la tarjeta de disparidad Wohin se aplica que para cada elemento de imagen de la perspectiva alimentada más a la izquierda se introduce el puntero hacia el pixel correspondiente de la perspectiva alimentada más a la derecha, y estando situadas ambas perspectivas sintéticas LE y RE a la izquierda y a la derecha en la prolongación de la línea de unión entre las perspectivas de cámara alimentadas más a la izquierda y más a la izquierda LC y RC.
Description
5
10
15
20
25
30
35
40
45
50
55
60
65
DESCRIPCION
Procedimiento y dispositivo para la ampliación de distancia interaxial de imágenes estereoscópicas y secuencia de imágenes
La invención se refiere a un procedimiento y un dispositivo para la mejora de la impresión de profundidad de imágenes y secuencia de imágenes estereoscópicas. Esta mejora puede realizarse o bien en la captura en la cámara estereoscópica o puede estar integrada en un dispositivo de visualización estereoscópico.
Ya en 1931 Lüscher [documento 1] estableció en su artículo las reglas fundamentales de la estereoscopía. Su primera regla (a) dice que la imagen parcial izquierda y derecha de una imagen estereoscópica deberían presentar la misma diferencia de ángulo visual, es decir que la distancia interaxial debería situarse en el intervalo de 65mm.
Por motivos técnicos o de diseño esta regla se infringe en ocasiones en el caso de cámaras fotográficas o grabadores de video estereoscópicos. En este caso mediante la expansión de la distancia interaxial descrita en la presente memoria puede realizarse una adaptación.
Si esta distancia de objetivo se cumplía en la captura, entonces se mantiene en el caso de dispositivos de visualización de observador único asistidos con gafas 3D o autoestereoscópicos y lleva a una buena impresión de profundidad.
No obstante, en el caso de dispositivos de visualización de varios observadores autoestereoscópicos se generan en general varias perspectivas intermedias, que en la percepción por parte del observador llevan a un empequeñecimiento de la distancia interaxial. Esto contradice las reglas fundamentales formuladas por Lüscher de que "en la observación deberían mantenerse los mismos ángulos de visión (distancia interaxial) que en la captura". También en este caso la expansión de la distancia interaxial presentada en la presente memoria puede llevar a una mejora esencial, es decir a una impresión de profundidad más realista.
A continuación primeramente se describe la expansión de la distancia interaxial, pero sin limitarse a la universalidad para un dispositivo de visualización de varios observadores estereoscópico y a continuación se amplía a modo de ejemplo para un dispositivo de captura estereoscópico. Dado que los principios para ambos casos son idénticos esto es admisible.
Formulación del objetivo
En dispositivos de visualización asistidos por gafas 3D la imagen estereoscópica capturada por una cámara estereoscópica con dos objetivos en general se alimenta mediante procedimientos de polarización o de obturación al ojo izquierdo o derecho del observador, correspondiente en cada caso. Si varios observadores disponen de gafas 3D, entonces todos los observadores pueden percibir al mismo tiempo una buena impresión 3D. La distancia pupilar percibida corresponde a este respecto exactamente a la distancia de ambos objetivos de cámara. En general esta se sitúa para el mantenimiento de la naturalidad de la impresión espacial a aproximadamente 65mm.
En las pantallas de visualización de único observador autoestereoscópicas existe delante de la pantalla de visualización exactamente una posición de observación óptima, desde la cual solamente un único observador puede percibir una impresión de profundidad óptima. Algunas pantallas de visualización de único observador autoestereoscópicas posibilitan el aumento del movimiento al seguir mediante los denominados sistemas de seguimiento de cabeza la posición ocular del observador y poder adaptar la imagen estereoscópica representada a la posición respectiva del observador.
En el documento [2] se describe por primera vez un sistema en el que varios observadores pueden observarse y seguirse al mismo tiempo
Todos los sistemas tienen en común el hecho de que en cada caso solamente son necesarias dos perspectivas de cámara para generar una impresión de profundidad óptima en el observador.
Para el uso en un salón o en un dispositivo público este modo de procedimiento no es practicable. Varios observadores, en general el mayor número posible, deben poder percibir al mismo tiempo y sin limitaciones de movimiento una impresión de profundidad óptica.
Esto se alcanza en los dispositivos de visualización de varios observadores autoestereoscópicos conocidos hasta el momento porque, entre las perspectivas de cámara capturadas, se genera sintéticamente un cierto número de perspectivas intermedias y este se emplea para generar delante del dispositivo de visualización un grupo de zonas de visión. En cada una de estas zonas de visión pueden moverse uno o varios observadores libremente y percibir una impresión de profundidad.
5
10
15
20
25
30
35
40
45
50
55
60
65
Dependiendo del sensor óptico empleado estas zonas de visión poseen cierto ancho de zona de visión. Si el observador se encuentra en el borde izquierdo de la zona de visión, entonces su ojo izquierdo percibirá la perspectiva de cámara capturada izquierda. Si se encuentra en el borde derecho de una zona de visión, entonces su ojo derecho percibirá la perspectiva de cámara capturada izquierda. En general el ancho de la zona de visión se sitúa entre 300 y 600mm. Si el observador se desplaza de una zona de visión a la siguiente, entonces para un tramo corto se produce una imagen espacial difusa.
Sin embargo dado que la zona de visión es significativamente más ancha que la distancia pupilar (en general aproximadamente 65mm), entonces está claro que en el borde izquierdo el ojo derecho percibe una perspectiva que está situada esencialmente más ceñida a la perspectiva de cámara capturada izquierda que en la perspectiva de cámara capturada derecha. Esto lleva a que la distancia pupilar percibida es significativamente menor que la distancia de cámara capturada, es decir la distancia de ambos objetivos de cámara. El resultado es una reducción significativa de la impresión de profundidad en dispositivos de visualización de varios observadores autoestereoscópicos. Es mucho más intensa cuanto más ancha sea la zona de visión. Por otro lado, no obstante, las zonas de visión deberían ser lo más anchas posible para maximizar la libertad de movimiento de los observadores.
La reducción de la impresión de profundidad representa una desventaja esencial de estos dispositivos de visualización y debe disminuirse mediante el documento de divulgación presentado en este caso y eliminarse incluso completamente en determinados casos.
Esto se alcanza mediante la generación de perspectivas virtuales que se encuentran en la dirección visual de los objetivos de cámara a la izquierda y a la derecha de la perspectiva de cámara capturada más a la izquierda y más a la derecha y registrado en la reivindicación 1. En lo sucesivo esto se denominará ampliación de distancia interaxial dado que la línea de unión entre la perspectiva de cámara capturada más a la izquierda y más a la derecha representa la distancia interaxial y las perspectivas virtuales generadas se encuentran en la prolongación de esta distancia interaxial capturada.
Además se describe un dispositivo que se compone de al menos una unidad de procesamiento y al menos de una unidad de almacenamiento que realiza el procedimiento descrito en el presente documento.
Estado de la técnica
La ampliación de la distancia interaxial se ha descrito hasta ahora solamente en la especialidad de la acústica. Allí la bibliografía se ha publicado ampliamente, sin embargo, no se puede recurrir a la misma para la formulación de objetivos descrita en la presente memoria.
En el documento [3] se describe un procedimiento en el cual, partiendo de una imagen 2D alimentada y una tarjeta de profundidad se generan un gran número de perspectivas a la derecha y a la izquierda de la imagen 2D alimentada. Según el modo de procedimiento allí descrito, la imagen 2D se deforma basándose en la tarjeta de profundidad. Sin embargo allí no pueden producirse perspectivas ópticamente correctas dado que la información sobre la oclusión derecha e izquierda. Para el procedimiento descrito en la presente memoria sin embargo no es obligatoriamente necesaria una imagen estereoscópica alimentada con dos o más perspectivas. Solamente de este modo pueden integrarse oclusiones ópticamente correctas en las diferentes perspectivas sintéticas.
En el documento [4] se genera un número de perspectivas basándose en una tarjeta de disparidad. Mediante el uso de una variable de control s, que se sitúa en una interpolación entre los valores 0 y 1 se extrapolan sin embargo también perspectivas al poder adoptar también la variable de control valores s < 0 o s > 1. Sin embargo esto sucede siempre basándose en la tarjeta de disparidad dada. No se genera una tarjeta de disparidad nueva.
Por otro lado, se conocen numerosos procedimientos para generar perspectivas entre una perspectiva de cámara alimentada izquierda y una derecha. En este caso ha de mencionarse por ejemplo el documento [5]. Todos estos procedimientos no se refieren al objeto de la solicitud de patente expuesta en la presente memoria, dado que no es su propósito generar fuera de la distancia interaxial mediante cálculo de una nueva tarjeta de disparidad otras perspectivas y estos procedimientos tampoco pueden modificarse de manera deseada.
Sin embargo tampoco puede recurrirse a procedimientos de deformación de extrapolación, tales como se describen por ejemplo en el documento [7] para la solución de la formulación del objetivo dado que no pueden cumplir correctamente desde el punto de vista de la óptica con las propiedades geométricas de la escena ni complementarlas.
Además en ese documento se parte de un orden temporal ("..initial and final images..."). Un aspecto esencial allí es el cálculo de la tarjeta de disparidad misma (3.4.2). Una extrapolación se lleva a cabo mediante simple aumento de los valores de interpolación por encima de los valores 0 y 1 (ecuación 3.13). Esto se denomina también "wharphing". Las superposiciones que se forman mediante las diferentes disparidades de píxeles no se procesan allí de acuerdo con la escena, sino que dependen simplemente del orden del píxel procesado. Además se cierran orificios solamente mediante el uso de memorias intermedias de profundidad (z-buffer). Estas no se emplean en el
5
10
15
20
25
30
35
40
45
50
55
60
65
procedimiento presentado en la presente memoria dado que no están disponibles dos tarjetas de profundidad. Tampoco una interpolación, como la que se describe en ese documento, lleva a la solución. En el procedimiento descrito en la presente memoria desde las perspectivas alimentadas se insertan oclusiones a la izquierda y a la derecha de manera correcta desde la óptica.
En el documento [8] se emplean técnicas de la pirámide de información en la que las perspectivas alimentadas disminuyen jerárquicamente como en una pirámide y del flujo óptico "Optical Flows" tal como se emplean en la generación de imágenes intermedias temporales ópticamente correctas para el aumento de la frecuencia de refresco. En el documento [8] se utilizan estos procedimientos para el refinamiento iterativo de un campo de vector de disparidad empleando los denominados procedimientos de gradiente. Estos procedimientos y ecuaciones no se emplean en la presente memoria. No se describe con más exactitud cómo se generan nuevas perspectivas, mientras que esto en el procedimiento descrito en la presente memoria se ejecuta mediante el acceso a los índices de los elementos de imagen de la perspectiva alimentada más a la izquierda y más a la derecha.
En el documento [9] se definen operadores 0 mediante los cuales se lleva a cabo una variación de la disparidad. En
el procedimiento descrito en la presente memoria no se trata de un procedimiento que pueda describirse mediante un operador lineal o no lineal, de manera que no se puede dar lugar a ninguna referencia al documento [9]. Además
allí no se extrapolan perspectivas nuevas sino siguen empleándose las perspectivas alimentadas. En la variación de
las disparidades esto lleva más bien al denominado "efecto de marioneta".
Descripción de los dibujos
la figura 1:
la figura 2:
la figura 3:
la figura 4:
la figura 5:
implementación de la distancia interaxial de una cámara estereoscópica dentro de una zona de visión en los dispositivos de visualización de varios observadores conocidos hasta el momento.
LC: perspectiva de cámara izquierda
RC: perspectiva de cámara derecha
1: distancia pupilar del observador
2: ancho de zona de visión en la posición del observador
3: distancia del objetivo de la cámara estereoscópica
4: distancia pupilar percibida
5: dispositivo de visualización
implementación de la distancia interaxial percibida de una cámara estereoscópica dentro de una zona de visión mediante ampliación de la distancia interaxial.
LC: perspectiva de cámara real izquierda
RC: perspectiva de cámara real derecha
LE: perspectiva de cámara sintética izquierda
RE: perspectiva de cámara sintética derecha
1: distancia pupilar del observador
2: ancho de zona de visión en la posición del observador
3: distancia del objetivo de la cámara estereoscópica real
4: distancia pupilar percibida
5: dispositivo de visualización
escena capturada con 3 objetos desde el objetivo derecho de una cámara estereoscópica.
RR: retina derecha O1: objeto 1 O2: objeto 2 O3: objeto 3
PO1: proyecciones de los segmentos de objeto de O1 PO2: proyecciones de los segmentos de objeto de O2 PO3: proyecciones de los segmentos de objeto de O3
la misma escena que en la figura 3, capturada por el objetivo izquierdo de la cámara estereoscópica.
LR: retina izquierda O1: objeto 1 O2: objeto 2 O3: objeto 3
PO1: proyecciones de los segmentos de objeto de O1 PO2: proyecciones de los segmentos de objeto de O2 PO3: proyecciones de los segmentos de objeto de O3
representación de las disparidades de la imagen izquierda LC de la figura 4 y de la imagen derecha RC de la figura 3.
LC: perspectiva de cámara izquierda RC: perspectiva de cámara derecha PO1: proyecciones de los segmentos de objeto de O1 PO2: proyecciones de los segmentos de objeto de O2 PO3: proyecciones de los segmentos de objeto de O3
5
10
15
20
25
30
35
40
45
50
55
60
65
RV2: oclusiones derechas de objeto 2 RV3: oclusiones derechas de objeto 3 LV2: oclusiones izquierdas de objeto 2 LV3: oclusiones izquierdas de objeto 3
la figura 6: representación de las disparidades de la figura 5 y su reproducción en diferentes perspectivas
intermedias.
LC: perspectiva de cámara izquierda
RC: perspectiva de cámara derecha
Z1: perspectiva intermedia 1
Z2: perspectiva intermedia 2
Z3: perspectiva intermedia 3
Z4: perspectiva intermedia 4
Z5: perspectiva intermedia 5
PO1: proyecciones de los segmentos de objeto de O1 PO2: proyecciones de los segmentos de objeto de O2 PO3: proyecciones de los segmentos de objeto de O3 RV2: oclusiones derechas de objeto 2 RV3: oclusiones derechas de objeto 3 LV2: oclusiones izquierdas de objeto 2 LV3: oclusiones izquierdas de objeto 3
la figura 7: ejecución de la ampliación de la distancia interaxial de la figura 5.
LC: perspectiva de cámara izquierda RC: perspectiva de cámara derecha Z1: perspectiva intermedia 1 Z2: perspectiva intermedia 2 Z3: perspectiva intermedia 3 Z4: perspectiva intermedia 4 Z5: perspectiva intermedia 5 LE: perspectiva de ampliación izquierda RE: perspectiva de ampliación derecha PO1: proyecciones de los segmentos de objeto de O1 PO2: proyecciones de los segmentos de objeto de O2 PO3: proyecciones de los segmentos de objeto de O3 ?: nuevas oclusiones izquierdas y derechas que van a interpolarse la figura 8: representación a modo de ejemplo de los punteros pLC y pRC.
LC: perspectiva de cámara izquierda
RC: perspectiva de cámara derecha
LE: perspectiva de ampliación izquierda
RE: perspectiva de ampliación derecha
PO1: proyecciones de los segmentos de objeto de O1
PO2: proyecciones de los segmentos de objeto de O2
PO3: proyecciones de los segmentos de objeto de O3
pLC(jll): punteros, hacia el elemento de imagen en el punto jll de la perspectiva de ampliación LE de la perspectiva de cámara capturada LC
pRC(jll): punteros, hacia el elemento de imagen en el punto jll de la perspectiva de ampliación LE de la perspectiva de cámara capturada RC
pLC(jll*): punteros, hacia el elemento de imagen en el punto jll* de la perspectiva de ampliación LE de la perspectiva de cámara capturada LC
pRC(jll*): punteros, hacia el elemento de imagen en el punto jll* de la perspectiva de ampliación LE de la perspectiva de cámara capturada RC
la figura 9: generación de perspectivas intermedias adicionales fuera de la distancia interaxial de LC según
RC.
LC: perspectiva de cámara izquierda
RC: perspectiva de cámara derecha
Z1: perspectiva intermedia 1
Z2: perspectiva intermedia 2
Z3: perspectiva intermedia 3
Z4: perspectiva intermedia 4
Z5: perspectiva intermedia 5
LE: perspectiva de ampliación izquierda
RE: perspectiva de ampliación derecha
PO1: proyecciones de los segmentos de objeto de O1
PO2: proyecciones de los segmentos de objeto de O2
PO3: proyecciones de los segmentos de objeto de O3
?: nuevas oclusiones izquierdas y derechas que van a interpolarse
LE1: perspectiva de ampliación izquierda 1
5
10 la figura 10:
15
la figura 11:
20
25
la figura 12:
30
35
40
la figura 13:
45
50
55 la figura 14:
la figura 15:
60
65
LE2: perspectiva de ampliación izquierda 2
LE3: perspectiva de ampliación izquierda 3
LE4: perspectiva de ampliación izquierda 4
LE5: perspectiva de ampliación izquierda 5
RE1: perspectiva de ampliación derecha 1
RE2: perspectiva de ampliación derecha 2
RE3: perspectiva de ampliación derecha 3
RE4: perspectiva de ampliación derecha 4
RE5: perspectiva de ampliación derecha 5
posibilidades de la oclusión izquierda y su tratamiento.
LC: perspectiva de cámara izquierda
RC: perspectiva de cámara derecha
LE: perspectiva de ampliación izquierda
RE: perspectiva de ampliación derecha
PO1: proyecciones de los segmentos de objeto de O1
PO2: proyecciones de los segmentos de objeto de O2
PO3: proyecciones de los segmentos de objeto de O3
?: nuevas oclusiones izquierdas y derechas que van a interpolarse
posibilidades de la oclusión derecha y su tratamiento.
LC: perspectiva de cámara izquierda
RC: perspectiva de cámara derecha
LE: perspectiva de ampliación izquierda
RE: perspectiva de ampliación derecha
PO1: proyecciones de los segmentos de objeto de O1
PO2: proyecciones de los segmentos de objeto de O2
PO3: proyecciones de los segmentos de objeto de O3
?: nuevas oclusiones izquierdas y derechas que van a interpolarse
diagrama de flujo general
1: inicializar LE_Wohin, p LC y pRC
2: jll := inicio
3: Wohin(jll) = -1?
Y: sí N: no
4: Wohin(jll) - Wohin(jll-1) = 0 ?
5: | Wohin(jll) - Wohin(jll-1) | > 1 ?
6: edición oclusión derecha 7: editar directamente oclusión 8: edición oclusión izquierda 9: jll = jll +1 10: jll > fin?
11: transmitir LE_Wohin después de Wohin diagrama de flujo de "edición oclusión derecha"
1: determinar disparidad en el margen izquierdo 2: determinar disparidad en el margen derecho 3: margen izquierdo delante ?
Y: Sí N: no
4: determinar ampliación en el margen izquierdo
5: ir a la derecha y determinar ampliación en el margen derecho
6: determinar ampliación en el margen derecho
7: ir a la izquierda y determinar ampliación en el margen izquierdo
8: establecer límite izquierdo
9: establecer límite derecho
10: desde la izquierda llenar LE_Wohin hasta jll con -1 diagrama de flujo de "edición oclusión izquierda"
1: buscar límite derecho, para el cual por primera vez la ampliación es mayor que el límite izquierdo dado que este se estableció correctamente.
2: establecer límite derecho
estadística del porcentaje del píxel que va a interpolarse dependiendo de la ampliación porcentual
de la escena analizada
PE: ampliación porcentual en %
%: porcentaje del píxel que va a interpolarse de una imagen estereoscópica HD H: escena con alta complejidad L: escena con baja complejidad
5
10
15
20
25
30
35
40
45
50
55
60
65
Descripción de las abreviaturas empleadas
AE:
AA:
AB:
SZ:
KA:
N:
M:
DU:
DO:
F:
PE:
LC:
PC:
LE:
RE:
pLC:
pRC:
Wohin:
LE_Wohin:
K:
Dmax:
ZW:
DSTEP:
NrP:
jll:
leftCapture:
rightCapture:
nrSegments:
jll.
leftBorder:
rightBorder:
Inicio:
Fin:
LE_Wohin_leftBorder:
LE_Wohin_rightBorder:
distancia del objetivo ampliada generada de la distancia alimentada de dos objetivos de una cámara estereoscópica. distancia pupilar del observador.
distancia de las perspectivas que se proyectan desde el dispositivo de visualización hacia el ojo izquierdo y derecho del observador; "distancia pupilar percibida"; distancia interaxial percibida.
ancho de la zona de visión; ancho de zona de visión.
distancia del objetivo de la cámara estereoscópica; ancho de distancia interaxial capturado.
número de las perspectivas de cámara alimentadas. número de las perspectivas de ampliación generadas.
límite inferior de la disparidad que puede representarse en el dispositivo de visualización,
que no debería bajarse para una impresión de profundidad óptima.
límite superior de la disparidad que puede representarse en el dispositivo de visualización,
que no debería sobrepasar para una impresión de profundidad óptima.
factor de ampliación
ampliación porcentual de la máxima disparidad de la imagen estereoscópica alimentada. perspectiva de cámara alimentada más a la izquierda perspectiva de cámara alimentada más a la derecha perspectiva de ampliación más a la izquierda a la izquierda de LC. perspectiva de ampliación más a la derecha a la derecha de RC. campo de los punteros de LE hacia los píxeles capturados que van a caso de LC.
campo de los punteros de LE hacia los píxeles capturados que van a caso de RC.
campo de disparidades alimentadas o calculadas; línea de orden disparidad.
campo de disparidades ampliadas calculadas. número de las líneas des imagen estereoscópica alimentada. disparidad máxima en la imagen estereoscópica alimentada. número de las perspectivas intermedias generadas. magnitud del incremento entre dos perspectivas intermedias. número de las perspectivas que van a indicarse. una posición de píxel determinada en la línea i. número de la perspectiva en la que debe visualizarse LC. número de la perspectiva en la que debe visualizarse RC. número de los píxeles por cada etapa de perspectiva con una disparidad dada de un píxel
posición de píxel en el borde izquierdo de una oclusión posición de píxel en el borde derecho de una oclusión primera posición de píxel que va a procesarse de una línea última posición de píxel que va a procesarse de una línea
disparidad en leftBorder, cuando este continua hasta la ampliación máxima derecha de la distancia interaxial RE.
disparidad en rightBorder, cuando este continua hasta la ampliación máxima derecha de la distancia interaxial RE.
emplearse en cada emplearse en cada i de la matriz de
Descripción detallada
A continuación se explican con detalle las etapas de procedimiento de esta divulgación.
Para simplificar la descripción, pero sin limitar la universalidad deben tomarse como base las siguientes suposiciones:
1. El número N de las perspectivas de cámara alimentadas es 2. Si es mayor, entonces se emplean algunas de las perspectivas de cámara alimentadas como perspectivas intermedias.
2. La imagen estereoscópica alimentada se encuentra en forma estereoscópica normal, de manera que todos los cálculos pueden ejecutarse línea por línea. Si este es el caso entonces o se antepone una rectificación o se ejecuta una indexación a lo largo del epipolar.
3. Además de la imagen estereoscópica alimentada está disponible una tarjeta de disparidad. Se calculó de manera alimentada o en una etapa de procesamiento previo. Wohin designa en esta tarjeta de disparidad la línea de orden i.
5
10
15
20
25
30
35
40
45
50
55
60
4. Si en lo sucesivo se habla de zona de visión entonces quiere decirse siempre todas las zonas de visión en paralelo y al mismo tiempo.
Tal como se ha representado anteriormente la meta del procedimiento descrito en este caso es la realización sobre la base de una imagen estereoscópica alimentada con al menos N >= 2 perspectivas de cámara de una ampliación de la distancia interaxial KA por la cámara estereoscópica con el fin de alcanzar en un dispositivo de visualización de varios observadores una mejor impresión de profundidad dentro de las zonas de visión definidas por la óptica definida del dispositivo. En todos los dispositivos de visualización de varios observadores autoestereoscópicos la óptica del sistema se ocupa de que, dentro de cada zona de visión, la perspectiva de cámara alimentada izquierda se perciba en el borde izquierdo de la zona de visión y la perspectiva de cámara derecha se perciba en el borde derecho de la zona de visión. Este es el caso en todos los lugares delante del dispositivo de visualización. Si el ancho de la zona de visión SZ es mayor que la distancia pupilar AA del observador entonces el observador puede moverse libremente dentro la zona de visión. Por tanto un ancho de zona de visión SZ máximo sería deseable.
Dependiendo de la distancia pupilar AA del observador se proyectan siempre en cada caso dos perspectivas intermedias diferentes en su ojo izquierdo y derecho (figura 1). La impresión de profundidad que percibe el observador en este caso depende de la distancia de ambas perspectivas proyectadas (elemento 4 en la figura 1). Si están alejadas la una de la otra el observador tiene una intensa impresión de profundidad. Si la distancia es pequeña entonces la impresión de profundidad es menor. En caso extremo cuando la distancia de perspectiva es igual a 0, se ve solamente todavía una imagen 2D. Si la distancia de perspectiva es máxima, es decir el ojo izquierdo ve la perspectiva de cámara izquierda y el ojo derecho la perspectiva derecha, entonces también la impresión de profundidad es máxima, como por ejemplo en todas las pantallas de visualización basadas en gafas 3D.
La meta reside en que en un ancho de zona de visión SZ dado y distancia pupilar AA dada las dos perspectivas proyectadas están situadas lo más alejadas posibles la una de la otra.
Esto se alcanza por que según esta divulgación se sintetizan perspectivas de ampliación virtuales LE y RE, que en cada caso se proyectan en la dirección visual de la cámara estereoscópica a la izquierda y a la derecha de las perspectivas de cámara alimentadas LC y RC en el borde izquierdo y derecho de la zona de visión (figura 2). Según la figura 2 estas perspectivas de ampliación LE y RE se encuentran en la prolongación de la distancia interaxial 3 de la perspectiva de cámara LC y RC izquierda y derecha. Si con AB se designa la distancia de las dos perspectivas, que se proyectan en una posición discrecional dentro la zona de visión en cada caso hacia el ojo izquierdo y derecho, entonces esta " distancia pupilar percibida" AB se produce como
AB = AA * KA / SZ. (1)
En un ejemplo realista con KA = 65mm, SZ = 300mm y AA = 63mm, se produce una distancia pupilar percibida AB de 13,7mm.
Sin embargo si se amplía la distancia interaxial, como se describirá más tarde, en por ejemplo PE = 200 %, entonces esto produce para la perspectiva de ampliación izquierda LE una ampliación en 100 %, es decir 65mm más hacia la izquierda, y para la perspectiva de ampliación derecha RE una ampliación en igualmente 100 %, es decir 65mm, más hacia a la derecha en la distancia interaxial 3. En este caso resulta
AB = 63 * (3 *65) / 300 = 40,9mm. (2)
La impresión de profundidad percibida es en este ejemplo casi idéntica a la impresión de profundidad realista de 65mm.
Si ahora con F se designa el factor de ampliación con el cual se amplía la distancia interaxial KA capturada, entonces (1) puede generalizarse en
AB - F * AA * KA / SZ (3)
Esto da como resultado
cuando con una distancia pupilar AA dada, ancho de zona de visión dado SZ y ancho de distancia interaxial capturado KA quiere determinarse el factor de ampliación F dependiendo del ancho de distancia interaxial AB deseado percibido.
5
10
15
20
25
30
35
40
45
50
55
Si se quiere generan una impresión de profundidad realista, es decir AB = AA, resulta
F = SZ / KA. (5)
No se tiene ninguna influencia en general en la distancia KA del objetivo de cámara. Con gran probabilidad se sitúa en aproximadamente 65mm. Por tanto en la práctica puede partirse de un factor de aumento F.
F = 0,0154 * SZ (6)
Con un ancho de zona de visión SZ = 600mm dado, resulta un factor de ampliación F = 9,2. Con
F = 1 + PE / 100 (7)
Resulta del mismo una ampliación porcentual PE en aproximadamente 400 %, es decir 260mm, en cada caso hacia la derecha y a la izquierda.
En una primera forma de realización se escribe ahora cómo se efectúa esta ampliación de la distancia interaxial basándose en la tarjeta de disparidad alimentada. Para ello en la figura 3 y la figura 4 se representa a modo de ejemplo una escena con tres objetos O1, 02 y 03. En la zona inferior de cada dibujo está representada la proyección respectiva hacia la retina del ojo derecho (la figura 3) y del izquierdo (la figura 4) del observador, o hacia una lente de cámara. En ese sentido se representa una línea individual i de un ojo derecho (la figura 3) y uno izquierdo (la figura 4). En la zona superior está representada en cada caso la proyección según el aumento y el reflejo tal como está almacenado en una captura digital y como se alimenta al procedimiento descrito en la presente memoria.
En la figura 5 se aclara la disparidad correspondiente mediante las líneas de unión correspondientes. Se indican en la misma las zonas de oclusión derecha RV2 y RV3 de los objetos 02 y 03.
En un movimiento de cámara virtual de LC a RC se generan perspectivas intermedias de modo que para píxeles correspondientes la disparidad se divide de manera equidistante en las mismas secciones (figura 6). Para un movimiento de cámara virtual de RC a LC se aplica naturalmente lo correspondiente.
En el campo Wohin según la definición de la tarjeta de disparidad para cada Pixel jll de la perspectiva de cámara izquierda LC está indicado con qué píxel Wohin(jll) se corresponde en la perspectiva de cámara RC derecha.
Si ahora se quiere ejecutar una ampliación de la distancia interaxial entonces puede imaginarse las líneas de correspondencia representadas en la figura 5 prolongadas a lo largo de LC y RC. Esto se corresponde con una prolongación lineal de la distancia interaxial KA a lo largo de LC y RC (figura 7). Un modo de procedimiento de este tipo está permitido dado que también la generación de la perspectiva intermedia entre LC y RC se corresponde con un movimiento de cámara lineal entre LC y RC. Este movimiento de cámara se continuaría en cierta manera a lo largo de LC y RC.
Sin embargo en este sentido se producen ciertos problemas para los que ha de encontrarse una solución:
1. Cálculo de las nuevas posiciones de perspectiva para LC y RC dentro de una zona de visión,
2. Cálculo de los píxeles de LE y RE,
3. Establecimiento de qué disparidades deben seguir ejecutándose en el caso de colisión en la ampliación,
4. Procedimiento para la interpolación de las zonas de imagen que son visibles mediante la ampliación de la distancia interaxial
1. Cálculo de las nuevas posiciones de perspectiva de LC y RC dentro de una zona de visión
Si deben indicarse perspectivas NrP entonces en el caso de los dispositivos de visualización actuales se emplean LC para perspectiva 0 y RC para perspectiva NrP-1.
Esto no sucede en el caso de una ampliación de la distancia interaxial y se generaliza de la siguiente manera:
Si leftCapture es el número de la perspectiva, en la que debe visualizarse LC entonces se aplica:
l .eftCapture := (NrP - 1) * (L - 1 / F)/2 y (8)
RightCapture := leftCapture + (NrP - 1) / F. (9)
5
10
15
20
25
30
35
40
45
50
55
Si la ampliación porcentual asciende a PE = 0 %, entonces F es = 1 y leftCapture = 0, así como rightCapture = NrP -
1. Esta generalización por tanto retrocompatible con el modo de procedimiento empleado hasta el momento.
Si por otro lado se selecciona por ejemplo PE = 200 %, entonces la distancia interaxial a la izquierda y a la derecha se ampliaría en cada caso en 100 %, es decir LC y RC se desplazarían en cada caso en1/3 hacia dentro. Las fórmulas (8) y (9) dan como resultado en este caso leftcapture = 1/3*(NrP - 1) y rightCapture = 2/3 * (NrP - 1), lo que se corresponde exactamente con las expectativas.
2. Cálculo de los píxeles de LE y RE
Si hasta ahora en la posición jll debe visualizarse la perspectiva izquierda entonces se accede al píxel LC(jll). Si debe visualizarse el píxel correspondiente de la perspectiva derecha entonces se accede al píxel RC(Wohin(jll)).
Esto no funciona en una ampliación de la distancia interaxial dado que LE(jll) y RE(Wohin(jll)) no están definidos. Se introduce por tanto un campo pLC en el cual está almacenada la posición del píxel de LC a la cual debe accederse desde LE, cuando la perspectiva izquierda ha de visualizarse. Igualmente se introduce un campo pRC en el cual está almacenada la posición del píxel de RC a la que debe accederse desde LE dependiendo de la disparidad en la misma cuando la perspectiva derecha debe visualizarse.
Al comienzo del procedimiento se establece
pLCíjll) “jll y (10)
pRC(jll) := Wohinfjll)
Si ahora en un punto jll se necesita un píxel de LE o RE entonces se aplica
LK(jll) := LC(pLC(jH)) y (H)
RE(Wohin(jll)) := RC(pRC(jll)). (12)
(véase la figura 8) Por ello el procedimiento descrito en la presente memoria en el caso de una ampliación porcentual PE =0 % es retrocompabible con el viejo modo de procedimiento.
3. Establecimiento de qué disparidad va a seguir ejecutándose en el caso de colisión en la ampliación
Sin embargo en el caso de oclusiones izquierdas y derechas en los bordes de estas zonas de oclusión pueden producirse colisiones al superponerse la disparidad prolongada en los bordes de las zonas en la prolongación. Ejemplos para ello está representados en la figura 10 para las oclusiones izquierdas y en la figura 11 para las oclusiones derechas. En este sentido finalmente debe responderse la pregunta de qué objeto está en primer plano. Sus disparidades se continúan mientras que las disparidades del otro objeto llevan a una nueva oclusión o un aumento de una oclusión existente.
La respuesta para ello la da el hecho de que en el caso de una forma estereoscópica normal, como se presupone, la disparidad es inversamente proporcional a la distancia del objeto de la cámara estereoscópica. Los objetos cuya disparidad es mayor, están en el primer plano delante de otros objetos porque se encuentran de manera más ceñida a la cámara estereoscópica y ocultan el otro objeto.
Si por lo tanto en una colisión se comprueban las disparidades en los bordes de la zona, entonces los píxeles cuya disparidad es mayor se continúan, mientras que los otros píxeles llevan a una oclusión (véase la figura 10 y la figura 11).
4. Procedimiento para la interpolación de las zonas de imagen que son visibles mediante la ampliación de la distancia interaxial.
Mediante la ampliación de la distancia interaxial hacia la derecha y a la izquierda se hacen visibles zonas en la escena para las cuales no está presente ninguna información de imagen, dado que hasta ahora estaban ocultas. Puede verse adicionalmente detrás de objetos delanteros, por ejemplo objeto O3 en la figura 4. En la figura 7 tales zonas están marcadas con "?".
5
10
15
20
25
30
35
40
45
50
55
60
En el documento de patente presentado en la presente memoria va a procederse de manera que se haga una réplica del último píxel visible.
En oclusiones izquierdas el píxel más izquierdo de la oclusión izquierda adyacente se repite. En oclusiones derechas el píxel más a la derecha de la oclusión derecha adyacente. No tiene lugar un aplanamiento general a través de píxeles colindantes dado que esto llevaría a un efecto de relieve de los márgenes de objeto que reduce la impresión de 3D.
En general en este sentido ha de considerarse que la imprecisión unida a ello no es tan grande como cabría suponer dado que solamente deben interpolarse aquellos píxeles que también realmente llegan a visualizarse. Los exámenes han dado con resultado en imágenes estereoscópicas de resolución HD que incluso en escenas complejas y una ampliación porcentual de la distancia interaxial PE de 500 % el porcentaje de los píxeles interpolados se sitúa en menos de 4 %. En escenas el porcentaje de los píxeles interpolados asciende en general a menos de 2 %. Por otro lado la mejora de la impresión de profundidad percibida es considerable con respecto a las imágenes estereoscópicas visualizadas hasta ahora.
En la figura 15 se representa el desarrollo del número de los píxeles que va a interpolarse en % de los píxeles totales de la imagen en escenas con elevada complejidad (H) y escenas con baja complejidad (L) para una ampliación porcentual de la distancia interaxial de 0 % a 500 %.
Por tanto se encuentran las soluciones para los problemas anteriormente descritos.
En la figura 12 se representa como diagrama de flujo el marco del modo de procedimiento que sirve de base para este documento de patente. En este sentido se procede de la siguiente manera:
Inicialmente el campo LE_Wohin se ocupa previamente con -2, así como pLC y pRC tal como se ha descrito previamente
Entonces la variable de bucle jll, que deben pasar por todos los píxeles de una línea, se fija en el valor inicial Inicio.
Con la consulta Wohin(jll) = -1 se comprueba si en el caso jll tiene lugar una oclusión derecha. Si se responde con "sí" entonces se continúa con "edición oclusión derecha". Si se responde con "no" se comprueba si con Wohin(jll) - Wohin(jll-1) = 0 da como resultado una nueva oclusión derecha en la ampliación. Si se responde con "sí" entonces se continúa con "edición oclusión derecha". Si se responde con "no" se comprueba si es válido
| Wohin(jU) - WohinCjll - 1) | > 1 (15)
Si este es el caso entonces se continúa con "edición oclusión izquierda". Si este no es el caso se continúa con "calcular ampliación directamente". En todos los tres casos se incrementa después jll = jll +1 y se comprueba si jll es > fin. La oclusión derecha e izquierda están ahora identificadas y pueden guardarse correctamente desde la óptica y complementarse en las etapas parciales "edición oclusión derecha" y "edición oclusión izquierda".
Si este es el caso entonces LE_Wohin se transmite a Wohin. Después el procedimiento de las síntesis de imágenes seleccionado puede ejecutarse basándose en la disparidad establecida como nueva, aunque empleando los nuevos punteros pLC y pRC. A continuación se describe la etapa "edición oclusión derecha" con más exactitud. Esta se representa en la figura 13 como diagrama de flujo. Si se detectó Wohin(jll) = -1 o Wohin(jll) - Wohin(jll - 1) = 0, entonces se determina inicialmente la disparidad en el margen izquierdo de la zona. El margen izquierdo del índice de píxel leftBorder, para el cual Wohin(leftBorder) e > 0 en el caso de Wohin(jll) = -1 o es leftBorder = jll - 1, si Wohin(jll) y Wohin(jll-1) indican hacia el mismo píxel en la perspectiva derecha de cámara RC.
Lo mismo se ejecuta en el margen derecho con rightBorder = jll o cuando por primera vez Wohin(rightBorder) vale >
0.
Por lo tanto se comprueba si la disparidad en el margen izquierdo leftBorder es mayor que en el margen derecho rightBorder. Si este es el caso es decir
Disparidad (leftBorder) - Disparidad (rightBorder) (16)
entonces el objeto en el margen izquierdo está en primer plano. Para ello inicialmente se continúa la disparidad en leftBorder hasta la ampliación derecha máxima de la distancia interaxial RE. El resultado es un valor LE_Wohin_leftBorder. De la misma manera se determina LE_Wohin_rightBorder. Ahora rightBorder se incremente hasta que se aplique LE_Wohin_leftBorder <= LE_Wohin_rightBorder. En este punto la oclusión derecha finaliza también en la ampliación.
5
10
15
20
25
30
35
40
45
Sin embargo si (16) no se cumple, entonces el objeto en el margen derecho está en primer plano. En este caso, de manera similar a lo anterior, se continúa inicialmente la disparidad en rightBorder hasta la ampliación derecha máxima de la distancia interaxial RE. El resultado es también en este caso LE_Wohin_rightBorder.
Ahora se determina de nuevo LE_Wohin_leftBorder. Para ello leftBorder se incremente hasta que se aplique igualmente
LE_WohinJdlBurder <= LE_Wfihin_nghtBt>rder (17)
En este punto la oclusión derecha finaliza igualmente en la ampliación.
Después de que se hayan fijado leftBorder y rightBorder se determinan las continuaciones de leftBorder y rightBorder hacia LE a la izquierda. Para ello se calcula inicialmente
LeñStep := (Wohin(leftBorder) - leftBorder)/NrSegments (18)
y después
LeftExtension = leftBorder - leftCapture * leñStep. (19)
Ahora pueden establecerse
pLC(leftExtensíon) = leftBorder, pRC(leftExíension) = Wohin(leftBorder) y LE_Wohin(leftExtension) =
Wohin(leftBorder) + (NrP - rightCapture - l)/leñStep (20)
De manera correspondiente resultan rightStep, rightExtension, así como pLC(rightExtension), pRC(rightExtension) y LE_Wohin(rightExtension) a partir de rightBorder. Estas etapas son conocidas para el experto con experiencia.
Para finalizar LE_Wohin desde leftExtension a rightExtension se establece en -1 para marcar de manera consistente la oclusión derecha en LE_Wohin. En este sentido un valor de -1 en LE_Wohin designa el píxel de una oclusión derecha ya existente y un valor de -2 un píxel revelado como nuevo que ha de interpolarse. La figura 11 muestra diferentes escenarios y su tratamiento de acuerdo con el modo de procedimiento anterior.
Una nueva oclusión derecha no requiere ningún otro modo de procedimiento diferente al anteriormente descrito.
En el caso de una nueva oclusión izquierda en "edición oclusión izquierda" se procede de la siguiente manera:
Tal como se ha descrito anteriormente se aplica en este caso la ecuación (15). Para la aclaración de los diferentes casos y su tratamiento se remite a la figura 10.
En este caso el límite izquierdo leftBorder está fijado correctamente de manera automática. Aquí por lo tanto solamente debe desplazarse rightBorder hacia la derecha, es decir incrementarse hasta que se aplica
LeftExtension <” rightExtension (21)
calculándose leftExtension y rightExtension tal como se ha descrito anteriormente con valores iniciales leftBorder := jll - 1 y rightBorder := jll. Ahora se calculan pLC(rightExtension), pRC(rightExtension) y LE_Wohin(rightExtension) de la siguiente manera:
pLC(rightExtension) = rightBorder, pRC(rightExtension) = Wohin(rightBorder) y LE_Wohin(rightExtension) =
Wohin(rightBorder) + (NrP rightCapture - l)/leftStep (22)
5
10
15
20
25
30
35
40
45
50
El diagrama de flujo se representa en la figura 14.
Por tanto todos los casos de colisión de la ampliación de la distancia interaxial se han procesado correctamente desde la óptica.
En el caso de que no se presente una oclusión, la disparidad entre jll y jll - 1 no ha variado. Se aplica por lo tanto | Wohin(jll) - Wohin(jll - 1) | = 1. (23)
En este caso puede calcularse jllExtension conforme al documento (19) con
jllExtension = jll - leftCapture*jllStep (24)
y resultan pLC(jllExtension), pRC(jllExtension) así como LE_Wohin(jllExtension):
pLC(jllExtcnsion) = jll, pRC(jllExtens¡on) = Wohin(jll) y LE_Wohin(jUExtension) =
WohinQll) + (NrP - rightCapture - l)/jllStep, (25)
siendo
jllStep = (Wohin(jll) - jll)/NrSegments (26)
Después de que se haya transmitido LE_Wohin hacia Wohin se crea la tarjeta de disparidad para la ampliación de la distancia interaxial y puede emplearse para la síntesis de todas las NrP perspectivas entre LE y RE (figura 9).
En una segunda forma de realización el factor de ampliación F puede modificarse interactivamente por un observador mediante un mando a distancia, de manera que la impresión de profundidad puede adaptarse a la sensación individual de los observadores.
En una tercera forma de realización el factor de aumento F se calcula automáticamente de la siguiente manera:
A través de exámenes en el pasado se sabe que la disparidad máxima D de las imágenes visualizadas en una pantalla de visualización autoestereoscópica no deberían sobrepasar un cierto límite, porque si no, el cerebro humano no puede reunir las perspectivas visualizadas en estas zonas para formar una imagen espacial.
La disparidad máxima D depende de diferentes parámetros como por ejemplo de la resolución de la pantalla de visualización o las propiedades ópticas de los elementos ópticos empleados. En el diseño de la pantalla de visualización puede establecerse por tanto la disparidad máxima D que no debería superarse. Pueden determinarse límite inferior DU y límite superior DO entre los cuales debería situarse la disparidad D de las imágenes visualizadas para poder generar siempre una impresión de profundidad máxima. La impresión de profundidad debería ser siempre lo más grande posible, pero nunca superar el límite superior DO.
Si a partir de una imagen estereoscópica alimentada se conoce la disparidad máxima Dmax entonces el factor de aumento F puede calcularse de la siguiente manera:
F := ((DO + DU)/2 J/Dniux . (27)
Si para la imagen estereoscópica alimentada no se conoce la disparidad máxima D entonces se determina previamente en un proceso de búsqueda por todas las disparidades. Después se procede tal como se ha descrito anteriormente.
En una cuarta forma de realización se describe como el procedimiento que se ha representado anteriormente también puede integrarse en un dispositivo de captura estereoscópico:
5
10
15
20
25
30
35
40
45
50
55
60
65
La ampliación de la distancia interaxial puede aplicarse no sólo en la representación de imágenes y secuencias de imágenes estereoscópicas. Igualmente es posible, ya durante la captura con una cámara estereoscópica ampliar la distancia interaxial para dos objetivos situados de manera muy ceñida el uno del otro. En este sentido se procede de manera que se sincronicen los objetivos en la cámara estereoscópica por ejemplo mediante un procesador de disparidad especial se determinen las disparidades en tiempo real. Una rectificación, es decir captura de las imágenes estereoscópicas en forma estereoscópica normal no es necesaria dado que ya en la fabricación de la cámara puede garantizarse mediante calibración del objetivo. Por lo tanto la ampliación de la distancia interaxial se realiza con un factor de ampliación F empleando las perspectivas capturadas y la tarjeta de disparidad calculada dependiendo del zoom y el foco. Por ello se garantiza que siempre exista una distancia interaxial ampliada de aproximadamente 65mm en la imagen, aunque los objetivos estén colocados a una distancia por ejemplo solo 31mm. También se capturan objetos que han sido acercados con el zoom a grandes distancias se capturan también con buena impresión de profundidad.
Si la cámara estereoscópica está provista de un sensor de profundidad, entonces esto acelera el cálculo de la tarjeta de disparidad esencialmente. En este caso se emplean dos perspectivas y una tarjeta de profundidad para la ejecución de la ampliación de la distancia interaxial.
Los procedimientos descritos en esta solicitud se implementan en un dispositivo de manera que este se compone al menos de una unidad de procesamiento que tiene acceso a al menos una línea de la imagen estereoscópica alimentada y al menos a una unidad de almacenamiento, en la cual la imagen estereoscópica alimentada, la tarjeta de disparidad, los punteros descritos, así como las líneas Wohin y LE_Wohin están almacenados con todas las demás variables y parámetros.
En el caso ideal debería haber al menos 1080 unidades de procesamiento para poder procesar en una imagen estereoscópica con resolución HD todas las líneas en paralelo. Las unidades de almacenamiento pueden estar estructuradas también de manera que para cada unidad de procesamiento hay unidades de almacenamiento locales y adicionalmente unidades de almacenamiento global a las que todas las unidades de procesamiento pueden acceder en paralelo.
Para concluir ha de señalarse lo siguiente:
1. El procedimiento descrito en la presente memoria no está limitados a las imágenes estereoscópicas individuales, sino que puede aplicarse también a secuencias de imágenes estereoscópicas.
2. Como dispositivo de visualización pueden emplearse no sólo pantallas de visualización, sino también sistemas de proyección correspondientes.
3. En el caso de que en el futuro la distancia KA de los objetivos de cámara se seleccionara una vez mayor, entonces puede emplearse el grado de libertad obtenido para el aumento del ancho de zona de visión SZ. Un ancho de zona de visión de 2m = 2000 mm para un salón o una sala de presentación es un tamaño deseado realista. Una ampliación de la distancia interaxial según la divulgación presentada seguirá autorizándose dado que una distancia de objetivo KA = 2m, en la práctica no es realista.
4. Además de la ampliación de la distancia interaxial a lo largo de la prolongación de las rectas de unión entre LC y RC puede seleccionarse también otra forma de la prolongación. Esta podría ser por ejemplo, pero no exclusivamente, un segmento circular. En este caso debido a la consistencia de las perspectivas sintetizadas entre LC, RC y las perspectivas de ampliación sintetizadas a la derecha y a la izquierda también tendrían que generarse estas perspectivas intermedias internas en el segmento circular correspondiente.
5. Si no se alimenta una tarjeta de disparidad, sino una tarjeta de profundidad al procedimiento entonces esta, en una etapa de procesamiento previo, se emplea en el cálculo de la tarjeta de disparidad y allí presta buen servicio para el aumento de la calidad de esta tarjeta.
6. Después de que la final de disparidad ampliada LE_Wohin se haya transmitido a Wohin, la generación de las perspectivas intermedias y perspectivas de ampliación sintetizadas puede realizarse también de manera que siempre solo se generen los píxeles de una línea que también se necesitan realmente para la representación en un dispositivo de visualización autoestereoscópico. Tal procedimiento se describe por ejemplo en el documento [6]. La propiedad especial de este procedimiento es la posibilidad de generar un número discrecional, discrecionalmente grande de perspectivas intermedias y perspectivas de ampliación. Si se aplica el procedimiento descrito en ese documento de la síntesis de imágenes pseudoholográfica entonces en el caso de la distancia KA conocida o aceptada de las perspectivas de cámara capturadas puede calcularse un número de perspectivas de manera que la distancia máxima entre dos perspectivas colindantes es menor que una barrera £ predeterminada. Por ello se reduce el riesgo de que la imagen espacial debido a la distancia demasiado grande entre dos perspectivas colindantes se desintegre.
Referencias
1. Lüscher: "Grundregeln der Stereoskopie", Der Stereoskopiker, N.° 5 de 15.1.1931. Organ der Gesellschaft für Stereokopie e.V.
2. Krah, C.: "Three-dimensional Display System", US7843449 B2
3. Teik, Oh et al: "3D Image Synthesis from Depth Encoded Source VieW, US2004/0100464
5 4. Huang H-C et al:"Generation of Multiviewpoint video from stereoscopic video", IEEE Transactions on
Consumer Electronics, NY, US vol. 45, N.°, febrero 1999
5. Hendrik E et al: "Real time Synthesis of digital multi viewpoint stereoscopic images", Proceedings of SPIE, SPIE, Bellingham, VA, US, Vol. 3639, enero 1999, XP008021883
10
6. Kamins-Naske, S. et al: "Verfahren und Vorrichtung zur pseudoholographischen Bildsynthese", WO 2007/121970, 1.11.2007
7. Humera Noor : "Virtual Image Generation by View Extrapolation of Real Scenes", MUET Journal, 2008 15
8. Fogel S V: "Generation of depth images through interpolation and extrapolation of intermediate images derived from stereo images using disparity vector fields", US 5530774 A, 25 de junio 1996
9. Lang Manuel et al: "Nonlinear disparity mapping for stereoscopic 3D", ACM Transaction on graphics, tomo 29,
20 N.° 4, 26. julio 2010, pág. 1, XP055016814, ISSN: 0730-0301, DOI: 1145/1778765
Claims (5)
- 51015202530354045505560REIVINDICACIONES1. Procedimiento para generar NrP >= 2 perspectivas sintéticas a partir de una imagen estereoscópica alimentada con al menos N >= 2 perspectivas, generándose al menos una perspectiva sintética LE en la dirección de visión de la cámara a la izquierda de la perspectiva de cámara alimentada más a la izquierda LC y al menos una perspectiva sintética RE en la dirección de visión de la cámara a la derecha de la perspectiva de cámara alimentada más a la derecha RC, calculándose o alimentándose en una primera etapa una tarjeta de disparidad Wohin de la perspectiva de cámara alimentada más a la izquierda LC hacia la perspectiva de cámara alimentada más a la derecha RC o,generándose en una segunda etapa para cada línea en la tarjeta de disparidad Wohin de las perspectivas de cámara alimentadas LC y RC un campo pLC y un campo pRC, que comprenden como contenido de campo en cada caso punteros, siendo los contenidos de campo de pLC punteros hacia los elementos de imagen en la perspectiva de cámara alimentada más a la izquierda LC y siendo los contenidos de campo de pRC punteros hacia los contenidos de imagen en la perspectiva de cámara alimentada más a la derecha RC, en una tercera etapa se calcula una tarjeta de disparidad LE_Wohin de tal manera que para cada elemento de imagen con posición de píxel jll de cada línea de la nueva tarjeta de disparidad LE_Wohin se calcula un índice jllExtension conjllExtension = jll - leftCapture*jllStepyLE_Wohin(jllExtension) = Wohin(jll) + (NrP - rightCapture -1 )/jllStep,conLE_Wohin(jllExtension) = -1, en el caso de que se trate de una oclusión derecha o LE_Wohin(jllExtension) = -2, en el caso de que se trate de un elemento de imagen revelado como nuevo, así comose establecen pLC(jllExtension) = jll y, pRC(jllExtension) = Wohin(jll), siendojllStep = (Wohin(jll) - jll)/NrSegmentsyleftCapture el número de la perspectiva en la que debe visualizarse LC, rightCapture el número de la perspectiva en la que debe visualizarse RC ysiendo NrSegments el número de los píxeles por cada etapa de perspectiva con una disparidad dada de un píxel jll, en una cuarta etapa se generan las perspectivas sintéticas LE y RE mediante el empleo de la tarjeta de disparidad LE_Wohin y de los punteros de los campos pLC y pRC hacia los elementos de imagen de las perspectivas de cámara alimentadas LC y RC,para la tarjeta de disparidad LE_Wohin y la tarjeta de disparidad Wohin se aplica que para cada elemento de imagen de la perspectiva alimentada más a la izquierda se introduce el puntero hacia el pixel correspondiente de la perspectiva alimentada más a la derecha, yestando situadas ambas perspectivas sintéticas LE y RE a la izquierda y a la derecha en la prolongación de la línea de unión entre las perspectivas de cámara alimentadas más a la izquierda y más a la izquierda LC y RC.
- 2. Procedimiento según la reivindicación 1, caracterizado por que en el caso de una barrera alimentada el número de las perspectivas LE y RE que van a sintetizarse se calcula de manera que la distancia entre dos perspectivas de cámara LE y RE con respecto a la distancia entre la perspectiva de cámara alimentada más a la izquierda LC y la perspectiva de cámara alimentada más a la derecha RC es menor que la barrera £.
- 3. Procedimiento según una de las reivindicaciones anteriormente mencionadas, caracterizado por que un factor de ampliación F se calcula de manera que la distancia de objetivo expandida resultante entre la perspectiva sintética LE y la perspectiva sintética RE se sitúa dentro de un límite inferior establecido y un límite superior establecido, calculándose en una primera etapa la disparidad máxima Dmax de la tarjeta de disparidad Wohin yen una segunda etapa se establece el factor de ampliaciónF : = (DO + DU)/2)/Dmax
- 4. Procedimiento según una de las reivindicaciones anteriormente mencionadas, caracterizado por que en la primera etapa a partir de las perspectivas de cámara alimentadas, así como de una tarjeta de profundidad alimentada se calcula la tarjeta de disparidad Wohin.
- 5. Dispositivo para generar NrP >= 2 perspectivas sintéticas según un procedimiento descrito en al menos una reivindicación anteriormente mencionada que se compone de al menos una unidad de procesamiento para el cálculo de las perspectivas sintéticas LE y RE y de la tarjeta de disparidad LE_Wohin y al menos de una unidad de almacenamiento, en la que se almacenan las tarjetas de disparidad Wohin y LE_Wohin, las perspectivas de cámara 5 alimentadas LC y RC así como las perspectivas sintéticas LE y RE.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| DE102011008886A DE102011008886A1 (de) | 2011-01-19 | 2011-01-19 | Verfahren und Vorrichtung zur Stereobasis-Erweiterung von stereoskopischen Bildern und Bildfolgen |
| DE102011008886 | 2011-01-19 | ||
| PCT/DE2012/000042 WO2012097802A2 (de) | 2011-01-19 | 2012-01-17 | Verfahren und vorrichtung zur stereobasis-erweiterung von stereoskopischen bildern und bildfolgen |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| ES2662884T3 true ES2662884T3 (es) | 2018-04-10 |
Family
ID=46177188
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| ES12724068.7T Active ES2662884T3 (es) | 2011-01-19 | 2012-01-17 | Procedimiento y dispositivo para la ampliación de distancia interaxial de imágenes estereoscópicas y secuencia de imágenes |
Country Status (8)
| Country | Link |
|---|---|
| US (1) | US9615075B2 (es) |
| EP (1) | EP2676449B1 (es) |
| JP (1) | JP6128442B2 (es) |
| KR (1) | KR101847675B1 (es) |
| DE (2) | DE102011008886A1 (es) |
| ES (1) | ES2662884T3 (es) |
| PL (1) | PL2676449T3 (es) |
| WO (1) | WO2012097802A2 (es) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9451232B2 (en) | 2011-09-29 | 2016-09-20 | Dolby Laboratories Licensing Corporation | Representation and coding of multi-view images using tapestry encoding |
| TWI637348B (zh) * | 2013-04-11 | 2018-10-01 | 緯創資通股份有限公司 | 影像顯示裝置和影像顯示方法 |
| US9866813B2 (en) | 2013-07-05 | 2018-01-09 | Dolby Laboratories Licensing Corporation | Autostereo tapestry representation |
| CN107847226B (zh) * | 2015-06-05 | 2021-01-08 | 视空间工房株式会社 | 视觉认知测定系统、服务器控制方法 |
| KR102446442B1 (ko) | 2015-11-24 | 2022-09-23 | 삼성전자주식회사 | 디지털 촬영 장치 및 그 동작 방법 |
| DE102017203721A1 (de) * | 2017-03-07 | 2018-09-13 | Bitmanagement Software GmbH | Vorrichtung und Verfahren zur Darstellung eines Raumbilds von einem Objekt in einer virtuellen Umgebung |
| EP3422708A1 (en) * | 2017-06-29 | 2019-01-02 | Koninklijke Philips N.V. | Apparatus and method for generating an image |
| DE102019120998A1 (de) | 2019-08-02 | 2021-02-04 | Psholix Ag | Verfahren und Vorrichtung für eine adaptive Disparitätskontrolle |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5973700A (en) * | 1992-09-16 | 1999-10-26 | Eastman Kodak Company | Method and apparatus for optimizing the resolution of images which have an apparent depth |
| US5530774A (en) * | 1994-03-25 | 1996-06-25 | Eastman Kodak Company | Generation of depth image through interpolation and extrapolation of intermediate images derived from stereo image pair using disparity vector fields |
| JPH1013860A (ja) * | 1996-04-26 | 1998-01-16 | Victor Co Of Japan Ltd | 立体画像補間装置及びその方法 |
| JP3440906B2 (ja) | 2000-01-07 | 2003-08-25 | 日本電気株式会社 | プラズマディスプレイパネルの製造装置とその製造方法 |
| US6573912B1 (en) * | 2000-11-07 | 2003-06-03 | Zaxel Systems, Inc. | Internet system for virtual telepresence |
| AU2002952874A0 (en) | 2002-11-25 | 2002-12-12 | Dynamic Digital Depth Research Pty Ltd | 3D image synthesis from depth encoded source view |
| US20060008434A1 (en) | 2004-05-25 | 2006-01-12 | Knopf Michael A | Deodorant body wash with lotion |
| DE102006019169A1 (de) | 2006-04-21 | 2007-10-25 | Expert Treuhand Gmbh | Autostereoskopische Adapterscheibe mit Echtzeit-Bildsynthese |
| JP4958233B2 (ja) * | 2007-11-13 | 2012-06-20 | 学校法人東京電機大学 | 多眼視画像作成システム及び多眼視画像作成方法 |
| DE112007003762A5 (de) * | 2007-12-27 | 2010-11-25 | 3D Television Systems Gmbh & Co Kg | Verfahren und Vorrichtung zur Echtzeit-Multiview-Erzeugung |
| JP5035195B2 (ja) * | 2008-09-25 | 2012-09-26 | Ｋｄｄｉ株式会社 | 画像生成装置及びプログラム |
-
2011
- 2011-01-19 DE DE102011008886A patent/DE102011008886A1/de not_active Withdrawn
-
2012
- 2012-01-17 WO PCT/DE2012/000042 patent/WO2012097802A2/de active Application Filing
- 2012-01-17 EP EP12724068.7A patent/EP2676449B1/de not_active Not-in-force
- 2012-01-17 JP JP2013549716A patent/JP6128442B2/ja active Active
- 2012-01-17 ES ES12724068.7T patent/ES2662884T3/es active Active
- 2012-01-17 PL PL12724068T patent/PL2676449T3/pl unknown
- 2012-01-17 KR KR1020137021439A patent/KR101847675B1/ko active IP Right Grant
- 2012-01-17 US US13/979,557 patent/US9615075B2/en active Active
- 2012-01-17 DE DE112012000508.2T patent/DE112012000508A5/de not_active Withdrawn
Also Published As
| Publication number | Publication date |
|---|---|
| JP2014507873A (ja) | 2014-03-27 |
| PL2676449T3 (pl) | 2018-07-31 |
| DE112012000508A5 (de) | 2014-08-28 |
| KR20140021997A (ko) | 2014-02-21 |
| US9615075B2 (en) | 2017-04-04 |
| WO2012097802A3 (de) | 2012-11-01 |
| US20140347444A1 (en) | 2014-11-27 |
| WO2012097802A2 (de) | 2012-07-26 |
| KR101847675B1 (ko) | 2018-04-10 |
| DE102011008886A1 (de) | 2012-07-19 |
| EP2676449B1 (de) | 2017-12-27 |
| WO2012097802A4 (de) | 2012-12-27 |
| EP2676449A2 (de) | 2013-12-25 |
| JP6128442B2 (ja) | 2017-05-17 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| ES2662884T3 (es) | Procedimiento y dispositivo para la ampliación de distancia interaxial de imágenes estereoscópicas y secuencia de imágenes | |
| US8953023B2 (en) | Stereoscopic depth mapping | |
| KR102181735B1 (ko) | 옴니스테레오 이미징 | |
| KR101629479B1 (ko) | 능동 부화소 렌더링 방식 고밀도 다시점 영상 표시 시스템 및 방법 | |
| CN108141578B (zh) | 呈现相机 | |
| US9154765B2 (en) | Image processing device and method, and stereoscopic image display device | |
| US11785197B2 (en) | Viewer-adjusted stereoscopic image display | |
| KR102066058B1 (ko) | 입체 디스플레이에서 조절 효과로 인한 왜곡 에러를 교정하기 위한 방법 및 장치 | |
| US20130050412A1 (en) | Image processing apparatus and image processing method | |
| Kakeya | Real-image-based autostereoscopic display using LCD, mirrors, and lenses | |
| US20130321389A1 (en) | System and method for 3d imaging | |
| Lim et al. | Experimental development of a multi-view stereo endoscope system | |
| Kang Wei et al. | Three-dimensional scene navigation through anaglyphic panorama visualization | |
| JP2011176823A (ja) | 画像処理装置、立体表示装置及び画像処理方法 | |
| KR101093929B1 (ko) | 깊이 지도를 이용하여 3차원 영상을 표시하는 방법 및 시스템 | |
| KR101883883B1 (ko) | 플립영상을 차단하는 무안경 원통형 홀로그램 디스플레이 방법 | |
| CN111684517B (zh) | 观看者调节的立体图像显示 | |
| KR20180016823A (ko) | 영상 보정 장치 및 방법 | |
| Knorr et al. | Basic rules for good 3D and avoidance of visual discomfort | |
| Wu et al. | Multi-view autostereoscopic display based on tilt-fit lenticular lenses | |
| Soni et al. | Development of 3D endoscope for minimum invasive surgical system | |
| Lee et al. | A method for taking a right scaled depth sense in multiview autostereoscopy: using a recomposed hybrid object space based on the actual images by both multi-Z-depth and common cameras | |
| Grinberg | MW Siegel Robotics Institute, School of Computer Science, Carnegie Mellon University 5000 Forbes Ave., Pittsburgh, PA, 15213 | |
| Sergeyev et al. | Design of the stereoscopic eye-tracking system for quantitative remote sensing applications | |
| JP2008131219A (ja) | 立体画像表示装置および立体画像処理装置 |