ES2561910B1 - Metodología y sistema de visualización natural 3D ampliado - Google Patents

Abstract

Metodología y sistema de visualización bifacial de imágenes reales y sintéticas en color, en dos o tres dimensiones, utilizando captura de imágenes, postprocesado de las mismas basado en técnicas de tratamiento digital de imagen, y técnicas de fotografía computacional. Permite el cálculo de imágenes sintéticas basadas en la simulación de la interacción de la luz con la materia teniendo en cuenta la amplitud de las ondas de luz o la fase (holografía).#Elementos fundamentales: estructura externa, software y hardware generales, técnicas de localización de posición y orientación, dispositivos de display y técnicas de interacción para que el usuario manipule la estación.#El conjunto software/hardware es capaz de procesar, sintetizar y reproducir ficheros de imagen bidimensional y tridimensional. El dispositivo de presentación de imágenes cuenta con dos pantallas (binocular y holográfica), y es capaz de combinar imágenes reales obtenidas del entorno con otras sintéticas precalculadas o calculadas en tiempo real.

Description

5

10

15

20

25

30

35

DESCRIFCION

Metodoloqia vSistema de Visualizacion Natural 3D Ampliado SECTOR DE LA TECNICA

Los dominios economicos que pueden beneficiarse de este dispositivo son los relacionados con las ingenierias para la visualizacion de information de datos cientrfico-tecnicos, resultados de simulaciones, diseno industrial y aspectos esteticos; el entretenimiento -podemos imaginar que la pantalla del sistema es una ventana del pais de las Maravillas de Alicia, en la cual un programador puede representar objetos que obedecen a las leyes de la Naturaleza conocidas, o tambien objetos puramente imaginarios que se rigen por las leyes que el ha escrito en su programa-; la educacion en todos aquellos aspectos en los que la atencion basada en criterios de aprendizaje ocular y auditivo, exaltando - gracias a la realidad aumentada-; la innovation y la creatividad, el de la moda, el cine y la publicidad; la verification del impacto fisico, la protection del patrimonlo y la museologia.

En general, cualquier persona que este relacionada con una disciplina analitica o creativa, tanto si fabrica automoviles o naves espaciales, desarrolla teorias acerca del espacio intergalactico o la materia subatomica, disena recipientes o catalogos en color,.., Para todos ellos, la habilidad para visualizar su trabajo es esencial. El mundo de la empresa, la industria, la ciencia, la educacion, el arte, el entretenimiento y la propia guerra pueden encontrar en el mundo de la imagen digital la respuesta mas apropiada a sus necesidades

Estado de la tecnica anterior:

Existen diferentes perifericos disenados para implementar las ideas de la Realidad Virtual y de la Realidad Aumentada. En Internet pueden encontrarse multiples ejemplos de ello.

Nuestra propuesta es diferente ya que implementa dichas ideas de una forma mucho mas general, haciendo uso de prestaciones de hardware y software que hasta el momento nadie ha ofrecido, anadiendo ademas un formato completamente novedoso.

De cualquier modo se encarga un estado de la tecnica realizado por personas

5

10

15

20

25

30

35

externas a los desarrolladores de esta propuesta con objeto de que sea lo mas objetiva posible.

Ventajas que ofrece con respecto a lo ya existente

Ofrece posibilidades de representacion de imagenes tipicas de lo que se conoce hoy en dia como Tratamiento Digital de Imagen y de Fotografia Computacional (Computational photography) que se refiere a las tecnicas que aumentan y extienden las capacidades tipicas del tratamiento digital de imagen. Todos los resultados obtenibles se basan en la capturar de multiples imagenes de la misma escena, su procesado y su manipulacion para obtener una nueva imagen que jamas podria haber sido tomada por una camara real, digital o analogica; ofrece vision natural (holografica) a varios observadores en los que uno de ellos actua como controlador; ofrece calculo en tiempo real de hologramas sinteticos; ofrece vision estereoscopica (no holografica) a varios observadores en los que uno de ellos actua como controlador.

Presenta la informacion bifacial a dos grupos de personas diferentes, permite una utilization sencilla e intuitiva con una minima indication de las instrucciones de uso, es configurable en prestaciones en base al uso de distintas tecnologias y es desmontable y transportable.

En concreto, Este sistema tecnologico ofrece las siguientes capacidades.

En el lado binocular, el sistema permite observar, capturar y visualizar en 360° el entorno real inmediato; no requiere que el usuario porte ningun tipo de dispositivo encima salvo en cierto tipo de configuraciones que puede requerir algun tipo de gafa; combina imagen real obtenida del entorno real e imagen sintetica calculada en tiempo real o precalculada. Registra (superpone) con exactitud la imagen real adquirida con la imagen virtual calculada o precalculada; ofrece posibilidades de representacion de imagenes tipicas de lo que se conoce hoy en dia como Fotografia Computacional (Computational photography) que se refiere a las tecnicas que aumentan y extienden las capacidades tipicas del tratamiento digital de imagen. Todos los resultados obtenibles se basan en la captura de multiples imagenes de la misma escena, su procesamiento y su manipulacion para obtener una nueva que jamas podria haber sido tomada por una camara real, digital o analogica.

5

10

15

20

25

30

35

Tambien ofrece vision mono o estereoscopica a varios observadores en los que uno de ellos actua como controlador, ofrece posibilidades de representacion de campos de luz calculados o capturados mediante camaras plenopticas y ofrece informacion en formato sonido.

En el lado holografico, no requiere que el usuario porte ningun tipo de dispositivo encima. El sistema permite observar a ojo desnudo y de forma natural cualquier tipo de objeto sintetico relacionado con el entorno real inmediato.

Utilizando tecnicas de superposition de imagen, se puede combinar imagen real obtenida del entorno real e imagen sintetica calculada en tiempo real o precalculada; registra (superpone) con exactitud la imagen real adquirida con la imagen virtual calculada o precalculada. Ofrece posibilidades de representacion de imagenes tipicas de lo que se conoce hoy en dia como Fotografia Computacional (Computational Photography) que se refiere a las tecnicas que aumentan y extienden las capacidades tipicas del tratamiento digital de imagen. Todos los resultados obtenibles se basan en el uso de capturar multiples imagenes de la misma escena, procesarlas y manipularlas para obtener una nueva que jamas podria haber sido tomada por una camara real, digital o analogica. Tambien ofrece posibilidades de representacion de campos de luz calculados o capturados mediante camaras plenopticas e informacion en formato sonido.

Ademas y para ambos tipos de pantallas, permite la presentation de la informacion bifacial a dos grupos de personas diferentes, ofrece interaction en tiempo real, es configurable en prestaciones en base al uso de distintas tecnologias y es desmontable y transportable.

ANTECEDENTES DE LA INVENCION

Durante las ultimas decadas, se han desarrollado varias tecnologias para visualizar escenas 3D sobre pantallas 2D. Entre ellas cabe destacar los dispositivos (a) binoculares (estereoscopicos y autoestereoscopicos), (b) las pantallas multi-vistas que ofrecen imagen integral a partir de diferentes imagenes estereoscopicas o autoestereoscopicas obtenidas desde multiples puntos de vista que cubren el campo visual del observador, (c) los dispositivos de visualization volumetrica y (d) los basados en tecnicas holograficas que ofrecen vision natural.

5

10

15

20

25

30

35

Los dispositivos del tipo a) y b) se basan en proporcionar diferentes imageries de un objeto, una para el ojo izquierdo y otra para el ojo derecho. Dichas imageries se pueden generar de forma simultanea (multiplexando en el espacio) o secuencial (multiplexando en el tiempo). Posteriormente cada imagen se presenta sobre una pantalla que actua como un modulador espacial de luz que permite representar valores de intensidad. De esta manera cada ojo percibe directamente la imagen tal y como la presenta el modulador.

Los dispositivos que se pueden agrupar en el apartado c), crean puntos emisores de luz en el espacio real 3D via fluorescencia o dispersion, o bien mediante haces de luces laser o imagenes estratificadas sobre pantallas moviles. Estos dispositivos proporcionan vision natural para el ojo pero no alcanzan la nitidez y el contraste de las imagenes reales.

Los dispositivos que se agrupan en el apartado d), se basan en el fenomeno de la difraccion mediante el uso de luz coherente. En este caso la imagen se presenta sobre una pantalla que actua como un modulador que permite representar valores de fase y amplitud. Esta tecnologia al ofrecer las capacidades superiores de visualizacion ya que ofrecen vision natural, es la que se considera como la tecnica ideal de visualizacion 3D.

La antiguedad en el mercado de este tipo de tecnologias, su menor precio y su introduccion en el mercado va desde los dispositivos del tipo a) pasando por los b) y los c) hasta llegar a los dispositivos de tipo d). De hecho los dispositivos del tipo c) y d) puede considerarse que estan todavia a nivel de desarrollo de prototipos y la tecnologia mas adecuada se conoce pero todavia no se fabrica a nivel industrial masivo.

La sensacion visual

Entre las muchas pistas que utiliza el cerebro para generar la sensacion visual a partir de la information recibida de los ojos, las que se consideran mas importantes son, a) La convergencia de los dos ojos, b) La acomodacion.

5

10

15

20

25

30

35

Converqencia:

Cuando se observa en la vida real un objeto, se obtienen dos imageries una por ojo. Pero cuando se mira, los dos ojos observan el mismo punto bajo un angulo “alfa” denominado “angulo de convergencia". A partir de la variation de ese angulo cuando se observan diferentes puntos situados a diferentes distancias, el sistema visual humano deduce informacion de profundidad. El angulo "alfa" crece conforme el punto observado esta mas cerca del ojo o decrece si el punto observado se aleja.

Acomodacion:

La otra pista es la acomodacion. Las lentes de los ojos focalizan sobre el objeto y optimizan el contraste percibido. Para focalizar, los diferentes elementos anatomicos que forman el sistema optico se adaptan y el cerebro detecta dicho cambio.

Limitaciones de los dispositivos binoculares (estereoscopicos y a utoestereos co p i c os)

En el caso de los dispositivos binoculares (estereoscopicos y autoestereoscopicos), la situation de vision que proporcionan no es la natural, ya que ofrecen un angulo “alfa” de convergencia correcto con relation a la vision natural, sin embargo las lentes de los ojos focalizan en el piano de la pantalla sobre el que se proyectan las imagenes y no sobre el objeto. Por consiguiente, el cerebro recibe dos informaciones diferentes sobre la profundidad del objeto. Ese desajuste entre convergencia y acomodacion puede conducir a problemas de vision como el aumento de la tension y de la fatiga visual, produciendo incomodidad en periodos de observation largos. Es por lo que esta surgiendo la dificultad a la introduction comercial de este tipo de pantallas en aplicaciones de consumo mayoritarias.

No limitaciones de los dispositivos holograficos

En el caso de los dispositivos holograficos, la vision ofrecida es la correcta tanto en convergencia como en acomodacion, proporcionando a los observadores una vision completamente confortable. Es por ello que esta ya aceptado que las pantallas 3D del futuro deberan ser holograficas.

5

10

15

20

25

30

35

Las camaras que fotografian los campos de luz (las camaras plenopticas)

En fisica, se denomina “campo de luz’’ a la funcion que describe la cantidad de luz que viaja en cada direction para cada punto del espacio.

Todas las camaras destinadas a los consumidores crean imagenes usando una placa plana, ya sea una pelicula quimica o un sensor digital, para registrar la position, el color y la intensidad de la luz que llega a traves de una lente. Pero hay camaras que ademas registran el angulo en el que llegan los rayos de luz al sensor.

Los archivos resultantes no son imagenes, sino minibases de datos que capturan la estructura tridimensional de la luz, conocida en el mundo cientifico como campo de luz, en un momento determinado.

Gracias a ello, el software puede extraer de esas bases de datos muchas fotos y efectos visuales posibles a partir de un solo disparo del obturador. Ejemplos de efectos son la mejora de la profundidad de campo, y enfocar o desenfocar de manera selectiva sin necesidad de que las camaras necesiten sistemas mecanicos de fotografiar en foco y la fotografia de apertura sintetica: a partir de la integration de un subconjunto de las muestras capturadas en un campo de luz, se podria aproximar la vista que se podria obtener a partir de una camara con una apertura finita, obteniendo una profundidad de campo variable, es decir, se podria obtener una fotografia cuyas imagenes podrian ser enfocadas despues de ser tomadas.

Otra posibilidad es utilizar los datos de una instantanea para crear una imagen en 3D. Al presentar un campo de luz utilizando una tecnologia que represente cada muestra como fue tomada en el espacio fisico, se obtendrian imagenes con un efecto autoestereoscopico similar al que se obtiene al observar la escena real.

Las camaras y los monitores de Alto Rango Dinamico (HDR)

En procesamiento de imagenes, de graficos por ordenador y de fotografia, existen un conjunto de tecnicas que permiten obtener las imagenes de alto rango dinamico (HDR). Estas tecnicas generan un mejor rango dinamico de luminancias entre las zonas mas Claras y las mas oscuras de una imagen del que las tecnicas de imagen digital estandar o metodos fotograficos pueden ofrecer.

5

10

15

20

25

30

35

La fotografia de alto rango dinamico permite obtener imageries mas acorde a las visualizadas por el ojo humano, que cuando observa el mundo que nos rodea es capaz de distinguir detalles en zonas con una diferencia de iluminacion muy superior a la soportada por otros fomnatos como la pelfcula o los formatos de imagenes comprimidas.

Este rango dinamico mas extenso permite a las imagenes HDR representar con mas exactitud el extenso rango de niveles de intensidad encontrados en escenas reales, que van desde luz solar directa hasta la debil luz de las estrellas.

Los dos principales origenes de las imagenes HDR son el renderizado por ordenador y la mezcla de multiples fotografias, que a su vez son conocidas como fotografias de bajo rango dinamico (LDR), tambien llamadas de rango dinamico estandar (SDR). Ambas requieren el uso de software para conseguirlas

Tecnicas estandar de tratamiento digital de imagen

El procesamiento digital de imagenes es el conjunto de tecnicas que se aplican a las imagenes digitales con el objetivo de mejorar la calidad o facilitar la busqueda de informacion.

Resultados de la aplicacion de tales tecnicas son el reescalado de la imagen, la compresion del rango dinamico de la escena (reproduction de tono), la gestion de los espacios de color, la restauracion de imagen deteriorada, la compresion del tamano de la imagen, las marcas de agua o los efectos artisticos obtenidos a traves del uso de filtros software

Tecnicas de fotografia computacional

Estas tecnicas hacen referencia a la captura de imagenes digitales y al uso de tecnicas de procesado que usan computation en vez de procesos opticos.

Con dichas tecnicas se pueden aumentar las capacidades de las camaras actuales e introducir caracteristicas que no son fisicamente accesibles hoy en dia.

Ejemplos de este tipo de tecnicas son la obtencion de panoramas digitales, la

5

10

15

20

25

30

35

obtencion de imageries de Alto Rango Dinamico a partir de imageries de Rango Dinamico Estandar y el procesado de campos de luz.

Tecnicas de renderizado por computador (Informatica Grafica)

Son aquellas tecnicas que hacen referenda a la generation por computador de Campos de luz de 4 dimensiones (x, y, z, t), 6 dimensiones (x, y, z, t, 0, <t>) u 8 dimensiones (x, y, z, t, ©, <t>, A, polarizacion) a partir de modelos virtuales 3D, en los que se explicitan, los aspectos geometricos, visuales y del movimiento. (x, y, z) es la position de un punto en el espacio, (t) es el tiempo, (0, O) la orientation, (A) la longitud de onda y polarizacion es el piano de vibration de la luz

Moduladores Espaciales de Luz

Se denomina Modulador Espacial de Luz (SLM-Spatial Light Modulator), a cualquier dispositivo) que nos permita controlar la intensidad, la fase o el estado de polarizacion en funcion del tiempo y el espacio del haz que incide en dicho dispositivo.

En esta propuesta se propone utilizar SLM controladores de intensidad para la visualizacion de imagenes reales o sinteticas habituales y SLM controladores de intensidad y de fase, o tan solo de fase para la visualizacion de imagenes holograficas. En este proyecto seran SLM's de transmision.

Calculo mediante ordenador de un holograma sintetico fullduplex

Dado un punto de vista de un observador virtual, de una escena virtual que esta bien caracterizada de forma geometrica, visual y animada, y para cada punto de la escena virtual y cada componente de color (Red Ar, Green Ag, Blue Ab), que sea visible desde el observador, se calculan su holograma para cada pixel del dispositivo SLM utilizado. Se supone que el SLM viene caracterizado por sus distancias (pitch) entre los pixeles en las direcciones x (px) e y (py). Y se conoce la distancia del observador al piano del holograma.

El holograma final se obtiene sumando los hologramas de todos los puntos que forman la escena, para cada componente de color.

La information que se calcula para cada punto p de la escena virtual en el punto (x, y) del SLM es un valor complejo

5

10

15

20

25

30

35

Ap(x, y) e ~V*'y).

Siendo:

Ap(x, y) la amplitud y <pp (x, y) la fase del holograma.

Para ello se supone que cada punto p emite una onda esferica con centro en el. Es decir, no se hace uso de ningun tipo de transformada matematica.

El calculo final que se realiza en cada pixel del SLM, es la suma de todos los valores previos obtenidos para los puntos de la escena, mas la de la onda de referenda, multiplicado por su conjugado, lo que genera un numero real que es el que se envia al SLM.

EXPL1CACION DE LA INVENCION

Los elementos fundamentales son la estructura externa, el software y hardware generates, las tecnicas de localizacion de posicion y orientacion, los dispositivos de Display y las tecnicas de interaction necesarias para que el usuario pueda manipular la estacion.

Estructura externa: la estructura externa (1) puede ser de hierro, de poli(cloruro de vinilo) rigido o de madera plastica, dependiendo del lugar de colocation y del numero de unidades a instalar, Dicha estructura puede describirse como formada por cuatro bloques:

Pedestal (2): La posibilidad de observar el entorno real se debe a un mecanismo en la base que permite un movimiento de 360° en torno a un eje vertical que es el eje de simetrla del sistema. Este mecanismo esta disenado para evitar el problema de que el cable que suministra energia electrica, a todos los elementos de la estacion, se enrolle sobre si mismo. Esto se consigue mediante el uso de dos carbones a distinta altura que transmiten por friction los polos de la corriente a un cilindro solidario al eje que gira (escobillas) (3).

El anclaje al suelo de la estacion para suelos horizontales es una platina redonda que

5

10

15

20

25

30

35

va atomiliada al suelo mediante pernos o tornillos (4) que esta a su vez unida a un cojinete conico a traves del cual el cable de suministro de energia pasa hasta llegar a dos escobillas (elemento de desacoplo) que dan la corriente al conjunto.

Bloque intermedio (5); La posibilidad de generar, almacenar o procesar tanto la imagen real como la imagen sintetica requerida se debe a un computador (6) que puede estar o no, conectado a una red de alta velocidad. Dicho computador se localiza en la parte superior del pedestal en la que se encuentra una estructura (7) destinada a sujetar, asegurar y proteger al ordenador (6) requerido, de golpes, humedades y demas agentes biologicos. Esta estructura puede abrirse para acceder al mismo. Bloque superior (8): La posibilidad de visualizacion y superposicion de las imagenes se debe a la existencia de dispositivos de visualizacion (9 y 10) y de captura de imagenes (11 y 12). Dichos dispositivos se encuentran localizados y sujetos en el bloque superior de la estructura general junto con los sensores de movimiento (13) que detectan el giro del sistema.

Cubierta anti-vandalica: En el exterior y protegiendo las tres estructuras previamente indicadas, se encuentra un sistema anti vandalismo transparente apoyado en ruedas que permiten tambien el giro de 360°.

Software v hardware general: el software base es modular para permitir cambiar cualquiera de los componentes de forma muy sencilla, de manera que sea posible cambiar cualquier periferico sin necesidad de modificar sustancialmente el codigo, tambien es multiplataforma, preferentemente para los entornos Microsoft y Apple Mac. Las imagenes sinteticas se renderizaran previamente a la superposicion, y se utilizaran como textura para mapear un cilindro, dispuesto de forma de “panorama'’ rodeando el punto de vista del observador.

El hardware estara basado en la utilizacion de un computador tipo torre (6) de proposito general que asegure las prestaciones requeridas para cada tipo de aplicacion. Aspectos a tener en cuenta: procesador multicore, memoria central, ranuras minimas en placa madre compatibles con las tarjetas; grafica y de sonido y disco duro.

Tarjeta grafica que ofrezca como minimo las caracteristicas siguientes: Antialiasing:

5

10

15

20

25

30

35

para disimular el aliasing, efecto que aparece al representar curvas y rectas inclinadas en un espacio discrete y finito como son los pfxeles del monitor, shader: procesado de pixeles y vertices para disenar efectos de iluminacidn, fenomenos naturales e imagenes multicapa, HDR: tecnica que permite representar el amplio rango de niveles de intensidad de las escenas reales (desde luz directa hasta sombras oscuras), mapeado de texturas: tecnica que ahade detalles en las superficies de los modelos, sin aumentar la complejidad de los mismos. Motion Blur: efecto de emborronado debido a la velocidad de un objeto en movimiento cuando la camara mantiene el objetivo abierto durante un intervalo temporal finito, depth Blur: efecto de emborronado que se produce debido a la lejania de un objeto con respecto al punto de vista del observador. Lens flare: imitacion de los destellos producidos por las fuentes de luz sobre las lentes de las camaras; Efecto Fresnel: efectos que se detectan en los reflejos sobre un material dependiendo del angulo entre la superficie normal y la direccion de observacion, y teselado: Consiste en multiplicar el numero de poligonos para representar ciertas figuras geometricas y no se vean totalmente pianas.

Tarjeta de sonido que ofrezca como miniino las caracteristicas siguientes: Procesador de audio integrado (DSP)

Camaras digitales normales o plenopticas (19 y 20), capaces de generar imagenes mono o estereoscopicas, con Alto Rango Dinamico o Rango Dinamico Estandar, dependiendo de la aplicacion. Se precisan tantas camaras como dispositivos de display se utiiicen, que sean capaces de tomar diferentes imagenes desde el mismo punto de vista con configuraciones programables de los parametros opticos de las camaras y que se pueda conectar directamente a la computadora para transferir su informacion mediante: USB, FireWire, Bluetooth o metodo equivalente o superior en prestaciones de transmision de velocidad de transmision.

Cada camara estereo estara dotada con dos o mas lentes.

Tecnicas de localizacion de posicion v orientacion: La posicion y orientacion inicial de las imagenes sinteticas y adquiridas por la camara web se realizara inicialmente etiquetando geograficamente (en forma absoluta) los modelos 3D y compensando la latencia de la camara. Dependiendo de las situaciones, tambien se podran hacer uso

5

10

15

20

25

30

35

de marcas (fiducials).

Posteriormente durante el proceso de trabajo y en virtud de la complejidad de la escena virtual e imagen real adquirida, y para asegurar la fiabilidad de la superposicion durante el proceso de trabajo podra hacerse uso de manera opcional de tecnicas basadas en la vision capaces de detectar las caracterlsticas geometricas mas sobresalientes de los modelos de los objetos que se van a seguir (tracking): Es decir, lineas, circulos, cilindros, esferas o texturas.

Los dispositivos de Display. El sistema es bifacial hibrido, ofreciendo por uno de los dos lados de la estructura una pantalla binocular (9) (estereoscopica o autoestereoscopica) de Alto Rango Dinamico o Rango Dinamico Estandar, dependiendo de la aplicacion del sistema, y por el otro una pantalla holografica (10). Consta, en el lado binocular, de monitores o pantallas de alta resolucion y Alto Rango Dinamico o Rango Dinamico Estandar (10), dependiendo de la aplicacion, con capacidad de visualizacion mono, estereoscopica basada en el uso de gafas o autoestereoscopica. Se requiere siempre que los dispositivos utilizados ofrezcan consistencia adecuada entre la acomodacion y la capacidad de convergencia del ojo de manera que no exista la sensation de mareo.

Tecnologias estereoscopicas; La vision estereo humana se basa en senales de profundidad fisiologica y psicologica que usa el cerebro humano para interpretar la informacion tridimensional de una escena recibida en la retina de cada uno de los dos ojos. Las tecnicas utilizadas para separar y ofrecer la misma informacion que la que recibe los ojos en la realidad son: La visualizacion estereo pasiva basada en la proyeccion simultanea de las imagenes del ojo derecho y del ojo izquierdo, y la utilizacion de gafas que separan cada imagen para cada ojo. Las tecnicas existentes son la anaglifa y la proyeccion 3D polarizada.

La visualizacion estereo activa basada en la presentacion de las imagenes del ojo izquierdo y derecho alternandolas a una frecuencia adecuada y la utilizacion de gafas que separan cada imagen para cada ojo, obturando de forma smcrona cada una de las lentes de un par de gafas (Shutter Glasses).

Tecnologias autoestereoscopicas: se basan en el multiplexado por direccionamiento:

5

10

15

20

25

30

35

Se usan efectos opticos como la difraccion, refraccion, reflexion y oclusion para redirigir la luz emitida por los pixeles de distintas vistas al ojo apropiado. Existen diversos tipos, pero los mas destacados (debido a que estan mas desarrollados tecnologicamente) son los basados en la refraccion y los basados en la oclusion.

En el lado holografico, los aspectos a tener en cuenta para el empleo de pantallas holograficas (10) utiles son: el tamano del Modulador Espacial de Luz (SLM), el angulo medido desde el punto central del (SLM) bajo el que se encuentra la zona de visualizacion (zona en la que puede colocarse el ojo del observador), se denomina angulo de difraccion, la distancia entre el observador y el holograma y el campo angular visual del observador (el angulo medido desde el punto central de la zona de visualizacion y los extremos del SLM).

En holografia clasica, la informacion de toda la escena tiene una gran zona angular desde la que se puede realizar su visualizacion. De hecho si un holograma clasico se rompe en diferentes trozos, cada trozo es capaz de reconstruir toda la escena aunque con menos resolucion y a tamano mas pequeho. Esto es debido a que cada pixel del SLM, recibe informacion de todos los puntos de la escena, lo cual significa que es un proceso de calculo costoso, que puede requerir mucho tiempo de calculo e impedir la generation de hologramas sinteticos en tiempo real. Ahora bien, es posible optimizar el proceso teniendo en cuenta las caracteristicas del sistema visual humano, en particular que solo es util la informacion de la pantalla que puede ser observada por la pupila de un ojo, el resto de la informacion no es util. Por lo que no es necesario que cada pixel de la pantalla holografica recoja la informacion de toda la escena, si no solo la que ve, lo que produce un ahorro sustancial de proceso de calculo de los hologramas sinteticos.

Por lo tanto, hay que tener en cuenta que las caracteristicas de un dispositivo holografico deben estar acotadas por las capacidades del sistema visual humano (campo de vision, resolucion espacial, espectro visible,...) Estudios sobre el sistema visual humano muestran que el campo de visualizacion en el cual la retina tiene su maxima resolucion esta comprendido entre 2° y 5°, con simetria circular.

Se sabe que angulos de difraccion iguales al campo de visualizacion, son los adecuados para soportar un holograma piano y un observador estacionario. Como en

5

10

15

20

25

30

35

un holograma el angulo de difraccion es proporcional a la inversa del tamano del pixel (se suelen medir en micrometros) del SLM, esto fija la maxima frecuencia espacial del holograma dada una longitud de onda “landa” determinada.

Ahora bien esta restriction establecida limita el campo de visualization, por lo que en el caso de utilizar esos procesos de optimization indicados, se requiere el uso de dispositivos de tracking para localizar la position del ojo y recalcular la information requerida por su pupila.

Elementos basicos de los dispositivos holograficos: la iluminacion de una pantalla holografica debe ser coherente y debe tener definida y bien conocida la distribution de fase y de amplitud. Su onda asociada es lo que se denomina como onda de referenda que se requiere para poder realizar la reconstruccion del objeto codificado en el holograma. Por lo tanto, todo el panel del holograma queda iluminado por una onda “casi-plana”. Otros elementos basicos son el Modulador Espacial de Luz (SLM) o (Spatial Light Modulator), el dispositivo de tracking o de seguimiento de la pupila y el software y hardware para el calculo de los hologramas sinteticos en tiempo real.

La generation de un holograma en color, tiene que tener en cuenta que los hologramas son dependientes de la longitud de onda con la que se va a iluminar. Por lo tanto el holograma de una escena 3D en color requiere calcular cada componente de color por separado y la reconstruccion debe utilizar tres fuentes de luz asociadas a las longitudes de onda utilizadas para el calculo. Existen varios metodos para combinar los tres hologramas y las tres fuentes de luz, los que estan basados en multiplexar en el espacio y los que estan basados en multiplexar en el tiempo.

Estructura de la pantalla holografica (10): un aspecto que hay que tener en cuenta en el disefio de la pantalla 3D holografica es que debe intentar ser lo mas parecida posible a las dimensiones de las pantallas estandar LCD, para ello se propone la siguiente estructura, con las capas en section vertical enumeradas desde el interior hacia el exterior de la pantalla: capa 1 (14). Fuente de luz posterior coherente formada por una matriz discretas de luces LED's que proporcionen las tres componentes de color RGB (posiblemente de manera secuencial) emitiendo a longitudes de onda del R del G y del B; capa 2 (15). Una matriz bidimensional de elementos opticos refractivos (lentes), colocados de manera que la luz proveniente de una de las luces quede

5

10

15

20

25

30

35

colimada. Un colimador es un sistema que a partir de un haz (de luz, de electrones, etc.) divergente obtiene un "haz" paralelo. Sirve para homogeneizar las trayectorias o rayos que, emitidos por una fuente, salen en todas direcciones y obtiene un chorro de particulas o conjunto de rayos con las mismas propiedades; capa 3 (16). Un modulador espacial de luz. Este dispositivo va a permitir controlar la intensidad y la fase de una onda monocromatica en funcion del tiempo y el espacio del haz que incide en dicho dispositivo; capa 4 (17). Un separador de haces opticos tambien conocido como divisor de haz, que es un elemento optico que divide un rayo de luz en dos, y capa 5 (18). Lamina transparente protectora de la pantalla

Funcionamiento de la pantalla holografica: inicialmente se genera (se calcula) un holograma digital sintetico formado por numeros complejos. Posteriormente se convierten dichos numeros complejos en valores de intensidad y fase compatibles con el modulador espacial de luz seleccionado (capa 3). Dichos calculos se generan para cada longitud de onda RGB y cada instante temporal asociado al movimiento de los objetos en la escena. Toda esta informacion es la que se pasa al sistema de la pantalla holografica para que genere la sensacion buscada en el usuario.

La fuente discreta matricial 2D de luz (capa 1) esta en una correspondencia m (luces) a 1 (lente) (capa 2) e ilumina al modulador espacial de luz que genera una imagen, multiplexando el color en el tiempo (los colores se presentan uno detras del otro), que actua sobre el divisor de haz (capa 4) de manera que genera dos haces que son capturados respectivamente por el ojo derecho y el ojo izquierdo del observador (multiplexado espacial).

En el caso de que el observador mueva su punto de referenda visual, es necesario incorporar a la pantalla un dispositivo de detection de pupilas (formado por una camara estereo y un algoritmo de reconocimiento de pupilas). Su funcionamiento es el siguiente. En un instante temporal, la camara toma una imagen estereo del observador, entonces se detectan las dos pupilas mediante software o hardware de procesado de imagen. Una vez detectadas los nuevos puntos de observation visual, se recalcula el holograma sintetico para esos dos nuevos puntos de vista y se envia a la pantalla que se propone.

La capa 5 tan solo es una protectora de la pantalla.

5

10

15

20

25

30

35

Las tecnicas de interaction necesarias para aue el usuario oueda manipular la estacion: E! giro de la estructura se detecta mediante un dispositivo que permite calcular la orientacion (13), que es solidario a la misma. El software consulta periodicamente (polling) a dicho dispositivo y despliega las capas virtuales formadas por las imagenes sinteticas y textos con informacion asociada a las imagenes de acuerdo al punto de vista. Se ofrece al usuario interaccion natural basada en la utilizacion de dispositivos tactiles y la deteccion del contacto del dedo con una zona de la pantalla donde esta superpuesto dicho dispositivo tactil; dicha zona, en el caso de alguna posible aplicacion que no requiera el uso de dispositivos tactiles, esta formada por un dispositivo que consiste en una pantalla sensible al tacto, transparente, que va pegada a los dispositivos de visualization.

La interaccion natural, permite al usuario modificar caracteristicas del entorno multimedia formado por la imagen real o imagen real procesada, la imagen sintetica, la imagen superpuesta, la transparencia de las capas, el volumen del sonido de ambiente, etc...

Las capas de informacion que se pueden superponer de forma selectiva por el usuario son del tipo texto, imagen real, campos de luz, imagen de sfntesis, imagen generada a partir de tecnicas de fotografia computational, imagen generada a partir de tecnicas de tratamiento digital de imagen, imagenes holograficas, informacion de control y sonido (voz o musica).

BREVE DESCRIPCION DE LOS DIBUJOS

Para complementar la descripcion que se esta realizando y con objeto de ayudar a una mejor comprension de las caracteristicas de la invencion, se acompaha como parte integrante de dicha descripcion, un juego de dibujos en donde con caracter ilustrativo y no limitativo, se ha representado lo siguiente:

Figura 1.- Muestra una vista general, en perspectiva, del dispositivo de la invencion, con sus compuertas cerradas.

Figura 2.- Muestra una vista general, en perspectiva, del dispositivo de la invencion, con sus compuertas abiertas.

Figura 3.- Vista lateral del dispositivo, donde se aprecian las dos pantallas. Figura 4.- Muestra un detalle de la pantalla holografica del dispositivo.

5 REALIZACION PREFERENTE DE LA INVENCION

A la vista de las mencionadas figuras, la realizacion propuesta y reivindicada es a su vez la realizacion preferente de la invencion.

Claims (1)

1. 5

   10

   15

   20

   25

   30

   35

   REIVINDICACIONES

   1. Sistema para visualization de imagenes reales e imagenes sinteticas en color, en dos (2D) o tres dimensiones (3D), utilizando captura de imagenes reales en Alto Rango Dinamico o Rango Dinamico Estandar, postprocesado de las mismas basado en tecnicas de tratamiento digital de imagen y tecnicas de fotografia computacional. Ademas es posible el calculo de imagenes sinteticas basadas en la simulation de la interaccion de la luz con la materia teniendo en cuenta tan solo la amplitud de las ondas de luz (imagenes tipicas de la Informatica Grafica) o teniendo en cuenta tambien la fase (imagenes tipicas de la holografia). Esta formado poruna estructura externa (1), software y hardware especifico, un sistema de localization de position y orientation (13), dispositivos de presentacion de las imagenes (9 y 10) y dispositivos de interaccion con el usuario (19 y 20). La estructura externa cuenta con un pedestal giratorio (3) respecto al eje vertical, con un angulo de hasta 360 grades y sensor(es) de giro, que se ancla al suelo por medio de pernos o tornillos (4). El software es modular y multiplataforma; las imagenes sinteticas se renderizan previamente a la superposition, y se utilizan como textura para mapear un cilindro, dispuesto de forma de “panorama'’ rodeando el punto de vista del observador. El hardware estara basado en la utilization de un computador tipo torre (6) de proposito general que asegure las prestaciones requeridas para cada tipo de aplicacion. El conjunto software + hardware, segun las caracteristicas descritas, es capaz de procesar, sintetizar y reproducir ficheros de imagen tanto bidimensional como tridimensional. El dispositivo de presentacion de las imagenes cuenta al menos con dos pantallas (9 y 10), y es capaz de combinar imagenes reales obtenidas del entorno con otras sinteticas precalculadas o calculadas en tiempo real.

   Incorpora un sistema de seguimiento de la pupila (19 y 20), que interacciona con el software para calcular el punto de vista del observador en cada momento.

   El sistema de presentacion de las imagenes es bifacial, con una de las pantallas binocular (9) (estereoscopica o autoestereoscopica) basada en el uso de SLM's de intensidad que permiten ofrecer convergencia natural pero no asi la acomodacion, y la otra pantalla es holografica (10) y esta basada en el uso de SLM's de

   intensidad y de fase o tan solo de fase (en ambos casos de transmision) que permiten ofrecer tanto convergencia como acomodacion natural. Dichas pantallas pueden ofrecer interaction tactil.

   5 La captura de imagenes reales 2D o 3D de Alto Rango Dinamico o Rango

   Dinamico Estandar, estan basadas en el uso de camaras digitales o de camaras plenopticas (11 y 12).

   La pantalla binocular (9) precisa para generar la sensation estereo del uso de 10 gafas para la visualization de imagenes reales 2D o 3D de Alto Rango Dinamico o Rango Dinamico Estandar.

   El hardware del sistema (6) dispone de procesadores de calculo, memoria, puertos de entrada/salida estandar, tarjetas graficas de alta calidad, tarjetas de 15 comunicacion inalambricas o alambricas para su posible conexion a redes de

   datos, tarjeta de sonido y altavoces.