ES2953632T3 - Sistema de formación imágenes celulares plenópticas - Google Patents

Sistema de formación imágenes celulares plenópticas Download PDF

Info

Publication number
ES2953632T3
ES2953632T3 ES19704502T ES19704502T ES2953632T3 ES 2953632 T3 ES2953632 T3 ES 2953632T3 ES 19704502 T ES19704502 T ES 19704502T ES 19704502 T ES19704502 T ES 19704502T ES 2953632 T3 ES2953632 T3 ES 2953632T3
Authority
ES
Spain
Prior art keywords
display
layer
sensor
circuit board
facet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES19704502T
Other languages
English (en)
Inventor
Mark Lamkin
Kyle Ringgenberg
Jordan Lamkin
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lockheed Martin Corp
Original Assignee
Lockheed Corp
Lockheed Martin Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lockheed Corp, Lockheed Martin Corp filed Critical Lockheed Corp
Application granted granted Critical
Publication of ES2953632T3 publication Critical patent/ES2953632T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/388—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G02B3/0037—Arrays characterized by the distribution or form of lenses
    • G02B3/0056—Arrays characterized by the distribution or form of lenses arranged along two different directions in a plane, e.g. honeycomb arrangement of lenses
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/27—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/001—Constructional or mechanical details

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Optical Elements Other Than Lenses (AREA)
  • Amplifiers (AREA)
  • Optical Communication System (AREA)
  • Adjustment Of Camera Lenses (AREA)

Abstract

En una realización, un conjunto de pantalla electrónica incluye una capa de microlente y una capa de matriz de píxeles. La capa de microlentes incluye una pluralidad de células. La capa de matriz de píxeles es adyacente a la capa de microlente. La capa de matriz de píxeles incluye una pluralidad de píxeles. Bach, celda de la pluralidad de celdas incluye a. lente transparente y uno o ambos de: una pluralidad de paredes opacas configuradas para evitar que la luz penetre en las células adyacentes; y una capa de filtro en un extremo de cada celda de la pluralidad de celdas. La capa de filtro está configurada para limitar la luz que pasa a través de la capa de filtro a un ángulo de incidencia específico. (Traducción automática con Google Translate, sin valor legal)

Description

DESCRIPCIÓN
Sistema de formación imágenes celulares plenópticas
Campo técnico
Esta descripción se refiere de manera general a visualizadores y cámaras de campo de luz, y más particularmente a sistemas de formación de imágenes celulares plenópticas.
Antecedentes
Los visualizadores electrónicos se utilizan en una variedad de aplicaciones. Por ejemplo, los visualizadores se usan en teléfonos inteligentes, ordenadores portátiles y cámaras digitales. Algunos dispositivos, tales como teléfonos inteligentes y cámaras digitales, pueden incluir un sensor de imágenes además de un visualizador electrónico. Mientras que algunas cámaras y visualizadores electrónicos capturan y reproducen campos de luz por separado, los visualizadores de campo de luz y las cámaras de campo de luz generalmente no están integradas unos con otros.
“Light Field Retargeting from Plenoptic Camera to Integral Display” (Basel Salahieh et al, Imaging and Applied 0ptics 2017 (3D, AIO, COSI, IS, MATH, pcAOP), vol. 3, 1 de enero de 2017, página DTu3F.3, Washington, D.C.) describe la captura de un campo de luz mediante una cámara plenóptica, la extracción de las imágenes de vista sin procesar y la aplicación de eliminación de ruido, la corrección de color y la rectificación. Se realiza una estimación de la disparidad de subpíxeles para todas las vistas. Las vistas del campo de luz se segmentan en un número preestablecido de niveles en base a los mapas de disparidad correspondientes. Las vistas de LF segmentadas se desplazan lateralmente con relación a la vista angular y la distancia de su plano de disparidad a un plano de referencia. Los segmentos desplazados se fusionan entre sí de manera que las capas frontales puedan sobrescribir las posteriores. Una interpolación de vecino más cercano se lleva a cabo para que la nitidez se conserve en las regiones rellenas. Luego, el campo de luz se vuelve a muestrear espacial y angularmente para que pueda ajustarse a una resolución de visualización integral. Las vistas vueltas a muestrear se reordenan para que los píxeles de los mismos índices laterales a través de las vistas se apilen juntos bajo una microlente correspondiente.
“Advances in three-dimensional integral imaging: sensing, display and applications [Invited]” (Xiao Xiao et al, Applied Optics, Sociedad Óptica de América, Washington, DC, EE. Uu ., vol. 52, n° 4, 1 de febrero de 2013, páginas 546­ 550) describe la captura de imágenes de elementos con una arquitectura de captación estándar y la rotación de cada imagen elemental 180° alrededor de su centro.
“Three-dimensional electro-floating display system using an integral imaging method” (Sung-Wook Min et al, Optics Express, vol. 12, n° 12, páginas 4358-4369, 13 de junio de 2005) describe un sistema de visualización electroflotante en el que el componente del objeto se compone de un sistema de visualización de imágenes integral. El dispositivo de visualización consiste en una pantalla difusora y un sistema de proyección.
Compendio de realizaciones particulares
El alcance de la invención se expone en las reivindicaciones adjuntas.
La presente descripción presenta varias ventajas técnicas. Algunas realizaciones proporcionan una recreación completa y precisa de un campo de luz objetivo al tiempo que se mantiene liviano y cómodo de usar por un usuario. Algunas realizaciones proporcionan un sistema electrónico delgado que ofrece tanto opacidad como transparencia emulada unidireccional controlable, así como capacidades de visualización digital, tales como realidad virtual (VR), realidad aumentada (AR) y realidad mixta (MR). Algunas realizaciones proporcionan un sistema directo de sensor a visualizador que utiliza una asociación directa de píxeles de entrada con píxeles de salida de corolario para eludir la necesidad de transformación de imagen. Esto reduce la complejidad, el coste y los requisitos de energía para algunos sistemas. Algunas realizaciones proporcionan configuraciones de procesamiento de señales en la capa que proporcionan procesamiento local y distribuido de grandes cantidades de datos (por ejemplo, 160k de datos de imagen o más), eludiendo por ello los cuellos de botella así como los problemas de rendimiento, potencia y línea de transmisión asociados con las soluciones existentes. Algunas realizaciones utilizan capas de microlentes con matrices de células plenópticas para capturar y mostrar con precisión un volumen de luz a un observador. Las células plenópticas incluyen paredes de células opacas para eliminar la diafonía óptica entre células, mejorando por ello la precisión del campo de luz replicado.
Algunas realizaciones proporcionan electrónica tridimensional mediante facetas geodésicas. En tales realizaciones, una placa de circuito flexible con una matriz de superficies rígidas pequeñas (por ejemplo, facetas de visualizador y/o sensor) se puede formar en cualquier forma 3D, lo que es especialmente útil para acomodar los radios de curvatura estrechos (por ejemplo, 30-60 mm) necesarios para visualizadores envueltos cerca del ojo montados en la cabeza. Algunas realizaciones proporcionan matrices de múltiples pantallas distribuidas para visualizadores de alta densidad. En tales realizaciones, se forma una matriz de microvisualizadores pequeños de alta resolución (por ejemplo, facetas de visualizador) de tamaños y formas personalizados y luego se ensamblan en una placa de circuito más grande y flexible que luego se puede formar en una forma 3D (por ejemplo, una superficie semiesférica). Cada microvisualizador puede actuar independientemente de cualquier otro visualizador, proporcionando por ello una matriz grande de muchos visualizadores de alta resolución con un contenido único en cado uno, de manera que el conjunto completo junto forme esencialmente un único visualizador de extremadamente alta resolución. Algunas realizaciones proporcionan una matriz de cámaras de múltiples aberturas distribuidas. Tales realizaciones proporcionan una matriz de pequeños sensores de imágenes (por ejemplo, facetas de sensores) de tamaños y formas personalizados, todos los cuales se ensamblan en una placa de circuito flexible más grande que luego se forma a una forma 3D (por ejemplo, semiesférica). Cada sensor de imágenes discreto puede actuar independientemente de cualquier otro sensor de imágenes con el fin de proporcionar una matriz grande de muchas aberturas que capturan contenido único en cada una, de manera que el conjunto completo llegue a ser esencialmente una cámara de múltiples nodos sin fisuras y de muy alta resolución.
Otras ventajas técnicas serán fácilmente evidentes para un experto en la técnica a partir de las FIGURAS 1A hasta 42, sus descripciones y las reivindicaciones. Además, aunque las ventajas específicas se han enumerado anteriormente, diversas realizaciones pueden incluir todas, algunas o ninguna de las ventajas enumeradas.
Breve descripción de los dibujos
Para una comprensión más completa de la presente descripción y sus ventajas, ahora se hace referencia a la siguiente descripción, tomada junto con los dibujos que se acompañan, en los que:
las FIGURAS 1A-1C ilustran una escena de referencia con varios objetos tridimensionales (3D) y varias posiciones de visualización;
las FIGURAS 2A-2C ilustran la visualización de los objetos 3D de las FIGURAS 1A-1C a través de un panel transparente;
las FIGURAS 3A-3C ilustran la visualización de los objetos 3D de las FIGURAS 1A-1C a través de un panel de imágenes de cámara;
las FIGURAS 4A-4C ilustran la visualización de los objetos 3D de las FIGURAS 1A-1C a través de un panel electrónico de transparencia emulada;
las FIGURAS 5A-5C ilustran la visualización de los objetos 3D de las FIGURAS 1A-1C a través del panel de imágenes de cámara de las FIGURAS 3A-3C desde un ángulo alternativo;
las FIGURAS 6A-6C ilustran la visualización de los objetos 3D de las FIGURAS 1A-1C a través del panel electrónico de transparencia emulada de las FIGURAS 4A-4C desde un ángulo alternativo;
la FIGURA 7 ilustra una vista en corte de un conjunto de transparencia emulada, según ciertas realizaciones;
la FIGURA 8 ilustra una vista de despiece del conjunto de transparencia emulada de la FIGURA 7, según ciertas realizaciones;
la FIGURA 9 ilustra un método de fabricación del conjunto de transparencia emulada de la FIGURA 7, según ciertas realizaciones;
la FIGURA 10 ilustra un sistema directo de sensor a visualizador que se puede usar por el conjunto de transparencia emulada de la FIGURA 7;
la FIGURA 11 ilustra un método de fabricación del sistema directo de sensor a visualizador de la FIGURA 10; las FIGURAS 12-13 ilustran varias configuraciones de procesamiento de señales en la capa que se pueden usar por el conjunto de transparencia emulada de la FIGURA 7;
la FIGURA 14 ilustra un método de fabricación de los sistemas de procesamiento de señales en la capa de las FIGURAS 12-13;
la FIGURA 15 ilustra un conjunto de células plenópticas que se puede usar por el conjunto de transparencia emulada de la FIGURA 7;
la FIGURA 16 ilustra una sección transversal de una parte del conjunto de células plenópticas de la FIGURA 15; las FIGURAS 17A-17C ilustran secciones transversales de una parte del conjunto de células plenópticas de la FIGURA 15 con varios campos de luz entrantes;
las FIGURAS 18A-18B ilustran un método de fabricación del conjunto de células plenópticas de la FIGURA 15; las FIGURAS 19A-19B ilustran otro método de fabricación del conjunto de células plenópticas de la FIGURA 15; las FIGURAS 20-21 ilustran un conjunto de células plenópticas que se puede fabricar mediante los métodos de FIGURAS 18A-19B;
la FIGURA 22 ilustra una placa de circuito flexible que se puede usar por el conjunto de transparencia emulada de la FIGURA 7;
la FIGURA 23 ilustra detalles adicionales de la placa de circuito flexible de la FIGURA 22;
la FIGURA 24 ilustra un flujo de datos a través de la placa de circuito flexible de la FIGURA 22;
la FIGURA 25 ilustra un método de fabricación de un conjunto electrónico usando la placa de circuito flexible de la FIGURA 22;
la FIGURA 26 ilustra una vista en corte de una matriz curva de múltiples visualizadores;
la FIGURA 27 ilustra una vista de despiece de la matriz curva múltiples visualizadores de la FIGURA 26;
las FIGURAS 28-29 ilustran las facetas lógicas y las facetas de visualizador de la matriz curva de múltiples visualizadores de la FIGURA 26;
la FIGURA 30 ilustra un lado posterior de la placa de circuito flexible de la FIGURA 22;
la FIGURA 31 ilustra
Figure imgf000004_0002
flujo de datos a través de
Figure imgf000004_0001
la placa de circuito flexible de la FIGURA 30;
la FIGURA 32 ilustra la placa de circuito flexible de la FIGURA 30 que se ha formado en una forma semiesférica; la FIGURA 33 ilustra un flujo de datos a través de la placa de circuito flexible de la FIGURA 32;
la FIGURA 34 ilustra una matriz de facetas lógicas que se han formado en una forma semiesférica;
la FIGURA 35 ilustra las comunicaciones entre las facetas lógicas de la FIGURA 34;
la FIGURA 36 ilustra un método de fabricación de la matriz curva de múltiples visualizadores de la FIGURA 26; la FIGURA 37 ilustra una vista en corte de una matriz curva de múltiples cámaras;
las FIGURAS 38-39 ilustran vistas de despiece de la matriz curva de múltiples cámaras de la FIGURA 37;
la FIGURA 40 ilustra una vista posterior de la placa de circuito flexible de la FIGURA 32;
la FIGURA 41 ilustra
Figure imgf000004_0004
flujo de datos a través de
Figure imgf000004_0003
la placa de circuito flexible de la FIGURA 40; y la FIGURA 42 ilustra un método de fabricación de la matriz curva de múltiples cámaras de la FIGURA 37.
Descripción detallada de realizaciones de ejemplo
Los visualizadores electrónicos se utilizan en una variedad de aplicaciones. Por ejemplo, los visualizadores se usan en teléfonos inteligentes, ordenadores portátiles y cámaras digitales. Algunos dispositivos, tales como teléfonos inteligentes y cámaras digitales, pueden incluir un sensor de imágenes además de un visualizador electrónico. No obstante, los dispositivos con visualizadores y sensores de imágenes generalmente están limitados en su capacidad para capturar y mostrar con precisión el entorno fotónico completo.
Para abordar los problemas y limitaciones asociados con los visualizadores electrónicos existentes, las realizaciones de la descripción proporcionan varios conjuntos electrónicos para capturar y mostrar campos de luz. Las FIGURAS 1A-9 están dirigidas a conjuntos de visualizadores con transparencia emulada electrónicamente, las FIGURAS 10-11 están dirigidas a sistemas directos de cámara a visualizador, las FIGURAS 12-14 están dirigidas al procesamiento de señales en la capa, las FIGURAS 15-21 están dirigidas a sistemas de formación de imágenes celulares plenópticas, las FIGURAS 22-25 están dirigidas a distribución electrónica tridimensional (3D) por facetas geodésicas, las FIGURAS 26-36 están dirigidas a matrices de múltiples pantallas distribuidas para visualizadores de alta densidad, y las FIGURAS 37-42 están dirigidas a matrices de cámaras de múltiples aberturas distribuidas.
Para facilitar una mejor comprensión de la presente descripción, se dan los siguientes ejemplos de ciertas realizaciones. Los siguientes ejemplos no se han de leer para limitar o definir el alcance de la descripción. Las realizaciones de la presente descripción y sus ventajas se entienden mejor haciendo referencia a las FIGURAS 1A-42, donde números similares se usan para indicar partes similares y correspondientes.
Las FIGURAS 1A-9 ilustran varios aspectos de un conjunto con transparencia emulada electrónicamente. En general, el conjunto electrónico que se ilustra en detalle en las FIGURAS 7-8 se puede usar en diferentes aplicaciones para proporcionar funciones tales como realidad virtual (VR), realidad aumentada (AR) y realidad mixta (MR). Para aplicaciones de VR, se requiere un visualizador digital que pueda sustituir por completo una vista del mundo real, similar a cómo un monitor de ordenador estándar bloquea la vista de la escena detrás de él. No obstante, para aplicaciones de AR, se requiere un visualizador digital que pueda superponer datos en la parte superior de esa vista del mundo real, tal como un visualizador de visualización frontal de un piloto en un puesto de conducción moderno. Las aplicaciones de MR requieren una combinación de ambos. Los sistemas típicos usados para proporcionar algunas o todas estas características no son deseables por una serie de razones. Por ejemplo, las soluciones típicas no proporcionan una recreación precisa o completa de un campo de luz objetivo. Como otro ejemplo, las soluciones existentes típicamente son voluminosas e incómodas para los usuarios
Para abordar los problemas y las limitaciones de los visualizadores electrónicos existentes, las realizaciones de la descripción proporcionan un sistema electrónico delgado que ofrece tanto opacidad como transparencia emulada unidireccional controlable, así como capacidades de visualización digital. Desde un lado, la superficie parece opaca, pero desde el lado opuesto, la superficie puede parecer completamente transparente, parecer completamente opaca, actuar como un visualizador digital o cualquier combinación de estos. En algunas realizaciones, las tecnologías de visualización y detección plenóptica simultáneas se combinan dentro de una estructura de una sola estructura estratificada para formar lo que parece ser una superficie visualmente transparente unidireccional. El sistema puede incluir múltiples capas de electrónica y ópticas con el propósito de recrear artificialmente la transparencia que puede ser aumentada y/o controlada digitalmente. Los píxeles de sensor de imágenes individuales en un lado se pueden disponer espacialmente para que coincidan con las posiciones de los píxeles de visualizador en el lado opuesto del conjunto. En algunas realizaciones, toda la circuitería de control electrónico, así como alguna circuitería lógica de visualización, se pueden intercalar entre la capa de sensores y la capa de visualizadores, y la señal de salida de cada píxel de sensor se puede canalizar a través de la circuitería hasta el píxel de visualizador correspondiente en el lado opuesto. En algunas realizaciones, esta señal procesada centralmente se agrega con la señal entrante de la matriz de sensores de imágenes plenópticos en el lado opuesto, y se maneja según los siguientes modos de operación. En el modo de VR, la alimentación de video externa anula los datos de la cámara, sustituyendo por completo la vista del usuario del mundo exterior con la vista entrante del video. En el modo de AR, la alimentación de video externa se superpone sobre los datos de la cámara, dando como resultado una vista combinada tanto del mundo externo como de la vista del video (por ejemplo, los datos de video simplemente se añaden a la escena). En el modo de MR, la alimentación de video externa se mezcla con los datos de la cámara, permitiendo que los objetos virtuales parezcan interactuar con objetos reales en el mundo real, alterando el contenido virtual para que parezca integrado con el entorno real a través de la oclusión de objetos, la iluminación, etc.
Algunas realizaciones combinan un sensor de alto rango dinámico (HDR) transparente apilado y píxeles de visualizador en una única estructura, con píxeles de sensor en un lado del conjunto y píxeles de visualizador en el otro, y con alineación píxel por píxel entre la cámara y el visualizador. Las matrices de píxeles tanto de sensor como de visualizador se pueden enfocar por grupos de microlentes para capturar y mostrar campos de luz de cuatro dimensiones. Esto significa que la vista completa del mundo real se captura en un lado del conjunto y se reproduce electrónicamente en el otro, permitiendo la alteración parcial o completa de la imagen entrante mientras que se mantiene la claridad de la imagen, la luminancia y la resolución angular suficiente para el lado del visualizador para parecer transparente, incluso cuando se ve en ángulos oblicuos.
Las FIGURAS 1A-6C se proporcionan para ilustrar las diferencias entre la transparencia emulada electrónicamente proporcionada por las realizaciones de la descripción e imágenes de cámara típicas (tales como a través de un visor de cámara o usando un teléfono inteligente para mostrar su imagen de cámara actual). Las FIGURAS 1A-1C ilustran una escena de referencia con varios objetos 3D 110 (es decir, 110A-C) y una posición de visualización frontal, según ciertas realizaciones. La FIGURA 1A es una vista superior de una disposición de objetos 3D 110 y una dirección de visualización frontal de objetos 3D 110. La FIGURA 1B es una vista en perspectiva de la misma disposición de objetos 3D 110 y dirección de visualización frontal que la FIGURA 1A. La FIGURA 1C es la vista frontal resultante de los objetos 3D 110 desde la posición ilustrada en las FIGURAS 1A y 1B. Como se puede ver, la vista en la FIGURA 1C de los objetos 3D 110 es una vista esperada normal de los objetos 3D 110 (es decir, la vista de los objetos 3D 110 no se altera en absoluto porque no hay nada entre el observador y los objetos 3D 110).
Las FIGURAS 2A-2C ilustran la visualización de los objetos 3D 110 de las FIGURAS 1A-1C a través de un panel transparente 210. El panel transparente 210 puede ser, por ejemplo, una pieza de vidrio transparente. La FIGURA 2A es una vista superior de una dirección de visualización frontal de objetos 3D 110 a través del panel transparente 210, y la FIGURA 2B es una vista en perspectiva de la misma disposición de objetos 3D 110 y dirección de visualización frontal que la FIGURA 2A. La FIGURA 2C es la vista frontal resultante de objetos 3D 110 a través del panel transparente 210 desde la posición ilustrada en las FIGURAS 2A y 2B. Como se puede ver, la vista en la FIGURA 2C de los objetos 3D 110 a través del panel transparente 210 es una vista esperada normal de objetos 3D 110 (es decir, la vista de objetos 3D 110 no se altera en absoluto porque el observador esté mirando a través de un panel transparente 210). En otras palabras, la vista de objetos 3D 110 a través del panel transparente 210 en la FIGURA 2C es la misma que la vista en la FIGURA 1C donde no ningún objeto está entre el observador y los objetos 3D 110 (es decir, transparencia “percibida”). Dicho de otra forma, los bordes de las imágenes proyectadas en el panel transparente 210 se alinean con la vista de los objetos 3D 110 reales detrás del panel transparente 210 para crear una imagen alineada con la vista 220A del objeto 3D 110A, una imagen alineada con la vista 220B del objeto 3D 110B y una imagen alineada con la vista 220C del objeto 3D 110C.
Las FIGURAS 3A-3C ilustran la visualización de los objetos 3D 110 de las FIGURAS 1A-1C a través de un panel de imágenes de cámara 310. El panel de imágenes de cámara 310 puede ser, por ejemplo, un visor de cámara o un visualizador de un teléfono inteligente que está mostrando su imagen de cámara actual. En estas imágenes, el panel de imágenes de cámara 310 está en un ángulo (por ejemplo, 30 grados) con respecto al observador para ilustrar cómo tales sistemas no proporcionan una verdadera transparencia emulada. La FIGURA 3A es una vista superior de una dirección de visualización frontal de los objetos 3D 110 a través del panel de imágenes de cámara 310, y la FIGURA 3B es una vista en perspectiva de la misma disposición de los objetos 3D 110 y la dirección de visualización frontal que la FIGURA 3A. La FIGURA 3C es la vista frontal resultante de los objetos 3D 110 a través del panel de imágenes de cámara 310 desde la posición ilustrada en las FIGURAS 3A y 3B. Como se puede ver, la vista en la FIGURA 3C de los objetos 3D 110 a través del panel de imágenes de cámara 310 es diferente de una vista de objetos 3D 110 a través del panel transparente 210. Aquí, el panel de imágenes de cámara 310 redirige las líneas de vista que son normales al panel de imágenes de cámara 310, no mostrando por ello ninguna transparencia percibida (es decir, la imagen en el panel de imágenes de cámara 310 no está alineada con la vista, sino que, en su lugar, representa la imagen adquirida por las líneas de visión redirigidas). Dicho de otra forma, los bordes de las imágenes proyectadas en el panel de imágenes de cámara 310 no se alinean con la vista de los objetos 3D 110 reales detrás del panel de imágenes de cámara 310. Esto se ilustra mediante una imagen no alineada 320A del objeto 3D 110A y una imagen no alineada 320B del objeto 3D 110B en el panel de imágenes de cámara 310 en la FIGURA 3C.
Las FIGURAS 4A-4C ilustran la visualización de los objetos 3D 110 de las FIGURAS 1A-1C a través de un panel electrónico de transparencia emulada 410. En estas imágenes, el panel de transparencia emulada 410 está en ángulo (por ejemplo, 30 grados) con respecto al observador para ilustrar cómo el panel de transparencia emulada 410 proporciona una verdadera transparencia emulada a diferencia de los paneles de imágenes de cámara 310. La FIGUrA 4A es una vista superior de una dirección de visualización frontal de objetos 3D 110 a través del panel de transparencia emulada 410, y la FIGURA 4B es una vista en perspectiva de la misma disposición de los objetos 3D 110 y dirección de visualización frontal que la FIGURA 4A. La FIGURA 4C es la vista frontal resultante de los objetos 3D 110 a través del panel de transparencia emulada 410 desde la posición ilustrada en las FIGURAS 4A y 4B. Como se puede ver, la vista en la FIGURA 4C de objetos 3D 110 a través del panel de transparencia emulada 410 es diferente de una vista de los objetos 3D 110 a través del panel de imágenes de cámara 310 pero es similar a una vista de los objetos 3D 110 a través del panel transparente 210. Aquí, el panel de transparencia emulada 410 no redirige las líneas de visión del observador a través del panel de transparencia emulada 410, pero las permite permanecer virtualmente sin cambios y, por ello, proporcionar transparencia emulada (es decir, la imagen en el panel de transparencia emulada 410 está alineada con la vista como en el panel transparente 210). Al igual que el panel transparente 210, los bordes de las imágenes proyectadas en el panel de transparencia emulada 410 se alinean con la vista de los objetos 3D 110 reales detrás del panel de transparencia emulada 410 para crear una imagen alineada con la vista 220A del objeto 3D 110A, una imagen alineada con la vista 220B del objeto 3D 110B, y una imagen alineada con la vista 220C del objeto 3D 110C.
Las FIGURAS 5A-5C ilustran la visualización de los objetos 3D 110 de las FIGURAS 1A-1C a través del panel de imágenes de cámara 310 de las FIGURAS 3A-3C, pero desde un ángulo alternativo. En estas imágenes, el panel de imágenes de cámara 310 está en un ángulo diferente de 30 grados con respecto al observador para ilustrar aún más cómo tales sistemas no proporcionan una verdadera transparencia emulada. Como en las FIGURAS 3A-3C, los bordes de las imágenes proyectadas en el panel de imágenes de cámara 310 no se alinean con la vista de los objetos 3D 110 reales detrás del panel de imágenes de cámara 310. Esto se ilustra mediante una imagen no alineada 320C del objeto 3D 110C y una imagen no alineada 320B del objeto 3D 110B en el panel de imágenes de cámara 310 en la FIGURA 5C.
Las FIGURAS 6A-6C ilustran la visualización de los objetos 3D 110 de las FIGURAS 1A-1C a través del panel electrónico de transparencia emulada 410 de las FIGURAS 4A-4C, pero desde un ángulo alternativo. Como en las FIGURAS 4A-4C, los bordes de las imágenes proyectadas en el panel de transparencia emulada 410 en la FIGURA 6C se alinean con la vista de los objetos 3D 110 reales detrás del panel de transparencia emulada 410 para crear una imagen alineada con la vista 220B del objeto 3D 110B y imagen alineada con la vista 220C del objeto 3d 110C.
Como se ilustró anteriormente en las FIGURAS 4A-4C y 6A-6C, el panel de transparencia emulada 410 proporciona imágenes alineadas con la vista 220 de los objetos 3D 110 detrás del panel de transparencia emulada 410, proporcionando por ello transparencia emulada electrónicamente. Las FIGURAS 7-8 ilustran una realización de ejemplo del panel de transparencia emulada 410. La FIGURA 7 ilustra una vista en corte de un conjunto de transparencia emulada 710 que puede ser un panel de transparencia emulada 410, y la FIGURA 8 ilustra una vista de despiece del conjunto de transparencia emulada 710 de FIGURA 7, según ciertas realizaciones.
En algunas realizaciones, el conjunto de transparencia emulada 710 incluye dos matrices de microlentes 720 (es decir, una matriz de microlentes del lado del sensor 720A y una matriz de microlentes del lado del visualizador 720B), una capa de sensores de imágenes 730, una placa de circuito 740 y una capa de visualizadores electrónicos 760. En general, el campo de luz entrante 701 entra en la matriz de microlentes del lado del sensor 720A donde se detecta por la capa de sensores de imágenes 730. El campo de luz saliente 702 replicado electrónicamente luego se genera por la capa de visualizadores electrónicos 760 y se proyecta a través de la matriz de microlentes del lado del visualizador 720B. Como se explica en más detalle a continuación, la disposición y las características únicas del conjunto de transparencia emulada 710 le permiten proporcionar transparencia emulada electrónicamente a través del campo de luz saliente 702 replicado electrónicamente, así como otras características descritas a continuación. Mientras que una forma específica del conjunto de transparencia emulada 710 se ilustra en las FIGURAS 7-8, el conjunto de transparencia emulada 710 puede tener cualquier forma apropiada, incluyendo cualquier forma poligonal o no poligonal, y configuraciones tanto planas como no planas.
Las matrices de microlentes 720 (es decir, la matriz de microlentes del lado del sensor 720A y la matriz de microlentes del lado del visualizador 720B) son generalmente capas de microlentes. En algunas realizaciones, cada microlente de las matrices de microlentes 720 es una célula plenóptica 1510 como se describe con más detalle a continuación en referencia a la FIGURA 15. En general, cada microlente de la matriz de microlentes del lado del sensor 720A está configurada para capturar una parte del campo de luz entrante 701 y dirigirlo a los píxeles dentro de la capa de sensores de imágenes 730. De manera similar, cada microlente de la matriz de microlentes del lado del visualizador 720B está configurada para emitir una parte del campo de luz saliente 702 replicado electrónicamente que se genera por píxeles de la capa de visualizadores electrónicos 760. En algunas realizaciones, cada microlente de la matriz de microlentes del lado del sensor 720A y la matriz de microlentes del lado del visualizador 720B tiene una forma 3D con una lente colimadora en un extremo de la forma 3D. La forma 3D puede ser, por ejemplo, un poliedro triangular, un paralelepípedo rectangular, un poliedro pentagonal, un poliedro hexagonal, un poliedro heptagonal o un poliedro octogonal. En algunas realizaciones, cada microlente de la matriz de microlentes del lado del sensor 720A y la matriz de microlentes del lado del visualizador 720B incluye paredes opacas como las paredes de células 1514 (tratadas a continuación en referencia a la FIGURA 15) que están configuradas para evitar que la luz se salga hacia microlentes adyacentes. En algunas realizaciones, cada microlente de la matriz de microlentes del lado del sensor 720A y la matriz de microlentes del lado del visualizador 720B además o alternativamente incluye un recubrimiento de rechazo del ángulo de incidencia de la luz, tal como la capa de filtro 1640 descrita a continuación para evitar que la luz se salga hacia microlentes adyacentes.
En algunas realizaciones, las microlentes de la matriz de microlentes del lado del sensor 720A están orientadas hacia una primera dirección, y las microlentes de la matriz de microlentes del lado del visualizador 720B están orientadas hacia una segunda dirección que está a 180 grados de la primera dirección. En otras palabras, algunas realizaciones del conjunto de transparencia emulada 710 incluyen una matriz de microlentes del lado del sensor 720A que está orientada exactamente opuesta a la matriz de microlentes del lado del visualizador 720B. En otras realizaciones, es posible cualquier otra orientación de la matriz de microlentes del lado del sensor 720A y la matriz de microlentes del lado del visualizador 720B.
En general, la capa de sensores de imágenes 730 incluye una pluralidad de píxeles de sensor que están configurados para detectar el campo de luz entrante 701 después de que pase a través de la matriz de microlentes del lado del sensor 720A. En algunas realizaciones, la capa de sensores de imágenes 730 incluye una matriz de unidades de sensor 735 (por ejemplo, unidades de sensor 735A-C como se ilustra en la FIGURA 8). Cada unidad de sensor 735 puede ser una parte definida de la capa de sensores de imágenes 730 (por ejemplo, un área específica, tal como una parte de una cuadrícula rectangular) o un número o patrón específico de píxeles de sensor dentro de la capa de sensores de imágenes 730. En algunas realizaciones, cada unidad de sensor 735 corresponde a una unidad lógica 755 específica de la capa de unidades lógicas 750 como se describe a continuación. En algunas realizaciones, la capa de sensores de imágenes 730 está acoplada o, de otro modo, es inmediatamente adyacente a la matriz de microlentes del lado del sensor 720A. En algunas realizaciones, la capa de sensores de imágenes 730 está entre la matriz de microlentes del lado del sensor 720A y la placa de circuito 740. En otras realizaciones, la capa de sensores de imágenes 730 está entre la matriz de microlentes del lado del sensor 720A y la capa de unidades lógicas 750. En algunas realizaciones, se pueden incluir otras capas apropiadas en el conjunto de transparencia emulada 710 a cada lado de la capa de sensores de imágenes 730. Además, aunque se ilustra un número y patrón específico de unidades de sensor 735, se puede usar cualquier número apropiado (incluyendo solamente una) y patrón de unidades de sensor 735.
La placa de circuito 740 es cualquier placa de circuito rígida o flexible adecuada. En general, la placa de circuito 740 incluye varias almohadillas y pistas que proporcionan conexiones eléctricas entre varias capas del conjunto de transparencia emulada 710. Como ejemplo, en las realizaciones que incluyen la placa de circuito 740, la placa de circuito 740 se puede situar entre la capa de sensores de imágenes 730 y la capa de unidades lógicas 750 como se ilustra en las FIGURAS 7-8 con el fin de proporcionar conexiones eléctricas entre la capa de sensores de imágenes 730 y la capa de unidades lógicas 750. En otras realizaciones, la placa de circuito 740 se puede situar entre la capa de unidades lógicas 750 y la capa de visualizadores electrónicos 760 con el fin de proporcionar conexiones eléctricas entre la capa de unidades lógicas 750 y la capa de visualizadores electrónicos 760. En algunas realizaciones, la placa de circuito 740 incluye una matriz de ubicaciones de conexión de unidad 745 (por ejemplo, las ubicaciones de conexión de unidad 745A-C como se ilustra en la FIGURA 8). Cada ubicación de conexión de unidad 745 puede ser una parte definida de la placa de circuito 740 (por ejemplo, un área específica, tal como una parte de una rejilla rectangular) y puede incluir una pluralidad de almohadillas (por ejemplo, almohadilla de matriz de rejilla de bolas (BGA)) y/o vías. En algunas realizaciones, cada ubicación de conexión de unidad 745 corresponde a una unidad de sensor 735 específica de la capa de sensores de imágenes 730 y una unidad de visualizador 765 específica de la capa de visualizadores electrónicos 760 (por ejemplo, la ubicación de conexión de unidad 745A corresponde a la unidad de sensor 735A y la unidad de visualizador 765A) y está configurada para permitir la comunicación eléctrica entre la unidad de sensor 735 específica y la unidad de visualizador 765 específica correspondientes.
La capa de unidades lógicas 750 proporciona lógica y/o procesamiento opcional/adicional para el conjunto de transparencia emulada 710. En general, la capa de unidades lógicas 750 emula la transparencia dirigiendo señales desde la pluralidad de píxeles de sensor de la capa de sensores de imágenes 730 a la pluralidad de píxeles de visualizador de la capa de visualizadores electrónicos 760, emitiendo por ello un campo de luz saliente 702 replicado electrónicamente desde la matriz de microlentes del lado del visualizador 720B en ángulos que corresponden a los ángulos del campo de luz entrante 701 detectado a través de la matriz de microlentes del lado del sensor 720A. Emitiendo un campo de luz saliente 702 replicado electrónicamente desde la matriz de microlentes del lado del visualizador 720B en ángulos que corresponden a ángulos del campo de luz entrante 701 detectado a través de la matriz de microlentes del lado del sensor 720A, se muestra una imagen que coincide con lo que se vería si el conjunto de transparencia emulada 710 no estuviera presente (es decir, la transparencia emulada). En algunas realizaciones, la capa de unidades lógicas 750 incluye una matriz de unidades lógicas 755 (por ejemplo, las unidades lógicas 755A-C como se ilustra en la FIGURA 8). Cada unidad lógica 755 puede ser una parte definida de la capa de unidades lógicas 750 (por ejemplo, un área específica, tal como una parte de una cuadrícula rectangular). En algunas realizaciones, cada unidad lógica 755 es una unidad física rígida separada que más tarde se une o acopla a otras unidades lógicas 755 con el fin de formar la capa de unidades lógicas 750. En algunas realizaciones, cada unidad lógica 755 corresponde a una unidad de sensor 735 específica de la capa de sensores de imágenes 730 y una unidad de visualizador 765 específica de la capa de visualizadores electrónicos 760 (por ejemplo, la unidad lógica 755A corresponde a (y está acoplada eléctricamente a) la unidad de sensor 735A y la unidad de visualizador 765A). En algunas realizaciones, la capa de unidades lógicas 750 está situada entre placa de circuito 740 y capa de visualizadores electrónicos 760. En otras realizaciones, la capa de unidades lógicas 750 está entre la capa de sensores de imágenes 730 y placa de circuito 740. En algunas realizaciones, se pueden incluir otras capas apropiadas en el conjunto de transparencia emulada 710 a cada lado de la capa de unidades lógicas 750. Además, si bien se ilustra un número y patrón de unidades lógicas 755 específicos, se puede usar cualquier número (incluyendo ninguna o solamente una) y patrón de unidades lógicas 755 apropiados.
En general, la capa de visualizadores electrónicos 760 incluye una pluralidad de píxeles de visualizador que están configurados para generar y proyectar un campo de luz saliente 702 replicado electrónicamente a través de la matriz de microlentes del lado del visualizador 720B. En algunas realizaciones, la capa de visualizadores electrónicos 760 incluye una matriz de unidades de visualizador 765 (por ejemplo, unidades de visualizador 765A-C como se ilustra en la FIGURA 8). Cada unidad de visualizador 765 puede ser una parte definida de la capa de visualizadores electrónicos 760 (por ejemplo, un área específica tal como una parte de una cuadrícula rectangular) o un número o patrón de píxeles de visualizador específicos dentro de capa de visualizadores electrónicos 760. En algunas realizaciones, cada unidad de visualizador 765 corresponde a una unidad lógica 755 específica de capa de unidades lógicas 750. En algunas realizaciones, la capa de visualizadores electrónicos 760 está acoplada o, de otro modo, es inmediatamente adyacente a la matriz de microlentes del lado del visualizador 720B. En algunas realizaciones, la capa de visualizadores electrónicos 760 está entre la matriz de microlentes del lado del visualizador 720B y la placa de circuito 740. En otras realizaciones, la capa de visualizadores electrónicos 760 está entre la matriz de microlentes del lado del visualizador 720B y la capa de unidades lógicas 750. En algunas realizaciones, otras capas apropiadas se pueden incluir en el conjunto de transparencia emulada 710 en cualquier lado de la capa de visualizadores electrónicos 760. Además, si bien se ilustran un número y patrón de unidades de visualizador 765 específicos, se puede usar cualquier número (incluyendo solamente una) y patrón de unidades de visualizador 765 apropiados.
En algunas realizaciones, los píxeles de sensor de la capa de sensores de imágenes 730 pueden ser píxeles de sensor 1800 como se describe en las FIGURAS 18-20 y sus descripciones asociadas en la Solicitud de Patente de EE. UU. N° 15/724.027 titulada “Stacked Transparent Pixel Structures for Image Sensor”, que se incorpora en la presente memoria por referencia en su totalidad. En algunas realizaciones, los píxeles de visualizador de la capa de visualizadores electrónicos 760 son píxeles de visualizador 100 como se describió en las FIGURAS 1-4 y sus descripciones asociadas en la Solicitud de Patente de EE. UU. N° 15/724.004 titulada “Stacked Transparent Pixel Structures for Electronic Displays”, que se incorpora en la presente memoria por referencia en su totalidad.
Si bien las FIGURAS 7-8 representan el conjunto de transparencia emulada 710 como que tiene matrices de sensores, visualizadores y electrónica, otras realizaciones pueden tener configuraciones de una única unidad. Además, si bien las realizaciones ilustradas del conjunto de transparencia emulada 710 representan transparencia emulada unidireccional (es decir, que permite la captura del campo de luz entrante 701 desde una única dirección y que muestra un campo de luz saliente 702 replicado electrónicamente correspondiente en la dirección opuesta), otras realizaciones pueden incluir disposiciones y combinaciones de conjuntos de transparencia emulada 710 que permiten la transparencia bidireccional.
La FIGURA 9 ilustra un método 900 de fabricación del conjunto de transparencia emulada 710 de la FIGURA 7, según ciertas realizaciones. El método 900 puede comenzar en el paso 910 donde se forma una pluralidad de ubicaciones de conexión de unidad en una placa de circuito. En algunas realizaciones, la placa de circuito es la placa de circuito 740 y las ubicaciones de conexión de unidad son las ubicaciones de conexión de unidad 145. En algunas realizaciones, cada ubicación conexión de unidad corresponde a una de una pluralidad de unidades de visualizador, tales como las unidades de visualizador 765, y una de una pluralidad de unidades de sensor, tales como las unidades de sensor 735.
En el paso 920, una pluralidad de unidades de sensor se acopla a un primer lado de la placa de circuito. En algunas realizaciones, las unidades de sensor son unidades de sensor 735. En algunas realizaciones, cada unidad de sensor se acopla en el paso 920 a una respectiva de las ubicaciones de conexión de unidad del paso 910. En algunas realizaciones, las unidades de sensor se forman primero en una capa de sensores de imágenes, tal como la capa de sensores de imágenes 730, y la capa de sensores de imágenes se acopla al primer lado de la placa de circuito en este paso.
En el paso 930, una pluralidad de unidades de visualizador se acopla a un segundo lado de la placa de circuito que es opuesto al primer lado. En algunas realizaciones, las unidades de visualizador son unidades de visualizador 765. En algunas realizaciones, cada unidad de visualizador está acoplada a una respectiva de las ubicaciones de conexión de unidad. En algunas realizaciones, las unidades de visualizador se forman primero en una capa de visualización, tal como la capa de visualizadores electrónicos 760, y la capa de visualización se acopla al segundo lado de la placa de circuito en este paso.
En el paso 940, una primera pluralidad de microlentes se acopla a la pluralidad de unidades de sensor del paso 920. En algunas realizaciones, las microlentes son células plenópticas 1510. En algunas realizaciones, las microlentes se forman primero en una capa de matriz de microlentes tal como matriz de microlentes del lado del sensor 720A, y la capa de matriz de microlentes se acopla a las unidades de sensor.
En el paso 950, una segunda pluralidad de microlentes se acopla a la pluralidad de unidades de visualizador del paso 930. En algunas realizaciones, las microlentes son células plenópticas 1510. En algunas realizaciones, las microlentes se forman primero en una capa de matriz de microlentes tal como la matriz de microlentes del lado del visualizador 720B, y la capa de matriz de microlentes se acopla a las unidades de visualizador. Después del paso 950, el método 900 puede finalizar.
En algunas realizaciones, el método 900 puede incluir además acoplar una pluralidad de unidades lógicas entre la placa de circuito del paso 910 y la pluralidad de unidades de visualizador del paso 930. En algunas realizaciones, las unidades lógicas son las unidades lógicas 755. En algunas realizaciones, la pluralidad de unidades lógicas se acopla entre la placa de circuito y la pluralidad de unidades de sensor del paso 920.
Las realizaciones particulares pueden repetir uno o más pasos del método 900, cuando sea apropiado. Aunque esta descripción describe e ilustra pasos particulares del método 900 que ocurren en un orden particular, esta descripción contempla que cualquier paso adecuado del método 900 ocurra en cualquier orden adecuado (por ejemplo, cualquier orden temporal). Además, aunque esta descripción describe e ilustra un método de fabricación de conjuntos de transparencia emulada de ejemplo que incluye los pasos particulares del método 900, esta descripción contempla cualquier método de fabricación de conjuntos de transparencia emulada adecuado que incluye cualquier paso adecuado, que puede incluir todos, algunos o ninguno de los pasos de método 900, cuando sea apropiado. Además, aunque esta descripción describe e ilustra componentes, dispositivos o sistemas particulares que llevan a cabo pasos particulares del método 900, esta descripción contempla cualquier combinación adecuada de cualquier componente, dispositivo o sistema adecuado que lleve a cabo cualquier paso adecuado del método 900.
La FIGURA 10 ilustra un sistema directo de sensor a visualizador 1000 que se puede implementar mediante el conjunto de transparencia emulada de la FIGURA 7, según ciertas realizaciones. En general, la FIGURA 10 ilustra cómo las realizaciones del conjunto de transparencia emulada 710 utilizan una asociación directa de píxeles de entrada con píxeles de salida de corolario. En algunas realizaciones, esto se logra usando un planteamiento estratificado, de manera que la capa de sensores de imágenes 730 y la capa de visualizadores electrónicos 760 estén en estrecha proximidad entre sí, montadas en lados opuestos de un sustrato compartido (por ejemplo, la placa de circuito 740) como se ilustra en FIGURAS 7-8. Las señales de la capa de sensores de imágenes 730 se pueden propagar directamente a la capa de visualizadores electrónicos 760 a través de la placa de circuito 740 (y la capa de unidades lógicas 750 en algunas realizaciones). La capa de unidades lógicas 750 proporciona un procesamiento simple con entrada opcional para cualquier control o aumento necesario. Los pares de sensor/visualizador electrónicos típicos (por ejemplo, una cámara digital) no expresan una relación de uno a uno en el sentido de que el visualizador no está acoplado directamente con el sensor de entrada y, de este modo, requiere algún grado de transformación de imagen. Ciertas realizaciones de la descripción, no obstante, implementan un mapeo uno a uno entre los píxeles de entrada y salida (es decir, los diseños de píxel de sensor y de píxel de visualizador son idénticos), eludiendo por ello la necesidad de cualquier transformación de imagen. Esto reduce los requisitos de complejidad y potencia del conjunto de transparencia emulada 710.
Como se ilustra en la FIGURA 10, cada unidad de sensor 735 se acopla directamente a una unidad de visualizador 765 correspondiente. Por ejemplo, la unidad de sensor 735A se puede acoplar directamente a la unidad de visualizador 765A, la unidad de sensor 735B se puede acoplar directamente a la unidad de visualizador 765B, y así sucesivamente. En algunas realizaciones, la señalización entre las unidades de sensor 735 y las unidades de visualizador 765 pueden ser cualquier señalización diferencial apropiada tal como señalización diferencial de bajo voltaje (LVDS). Más específicamente, cada unidad de sensor 735 puede emitir unas primeras señales en un formato específico (por ejemplo, LVDS) que corresponde al campo de luz entrante 701. En algunas realizaciones, las primeras señales se envían a través de una unidad lógica 755 correspondiente, que a su vez envía segundas señales a la unidad de visualizador 765 en el mismo formato que las primeras señales (por ejemplo, LVDS). En otras realizaciones, las primeras señales se envían directamente a las unidades de visualizador 765 desde las unidades de sensor 735 (por ejemplo, las unidades de sensor 735 y las unidades de visualizador 765 se acoplan directamente a los lados opuestos de la placa de circuito 740). La unidad de visualizador 765 recibe las segundas señales de la unidad lógica 755 (o las primeras señales directamente de la unidad de sensor 735 a través de la placa de circuito 740) y las usa para generar el campo de luz saliente 702.
Debido a que no se necesita conversión en la señalización entre las unidades de sensor 735 y las unidades de visualizador 765, el conjunto de transparencia emulada 710 puede proporcionar muchos beneficios de las combinaciones típicas de visualizador/sensor. En primer lugar, no se necesitan procesadores de señales para convertir las señales de las unidades de sensor 735 a las unidades de visualizador 765. Por ejemplo, no se necesitan procesadores de señales externos para realizar la transformación de imágenes entre las unidades de sensor 735 y las unidades de visualizador 765. Esto reduce los requisitos de espacio, complejidad, peso y coste para el conjunto de transparencia emulada 710. En segundo lugar, el conjunto de transparencia emulada 710 puede proporcionar resoluciones mayores que las que típicamente serían posibles para combinaciones de visualizador/sensor. Acoplando directamente las unidades de sensor 735 con las unidades de visualizador 765 y sin requerir ningún procesamiento o transformación de datos entre las unidades, la resolución de las unidades de sensor 735 y las unidades de visualizador 765 puede ser mucho mayor de lo que típicamente sería posible. Además, el conjunto de transparencia emulada 710 puede proporcionar resoluciones heterogéneas a través de las unidades de sensor 735 y las unidades de visualizador 765 en cualquier momento particular. Es decir, una unidad de sensor particular 735 y la unidad de visualizador 765 correspondiente pueden tener una resolución particular que es diferente de otras unidades de sensor 735 y unidades de visualizador 765 en un momento particular, y las resoluciones de cada unidad de sensor 735 y unidad de visualizador 765 se puede cambiar en cualquier momento.
En algunas realizaciones, cada píxel de sensor particular de una unidad de sensor 735 se mapea con un único píxel de visualizador de una unidad de visualizador 765 correspondiente, y el píxel de visualizador muestra la luz correspondiente a la luz capturada por su píxel de sensor mapeado. Esto se ilustra mejor en las FIGURAS 17A-17B. Como ejemplo, cada píxel de detección central 1725 de una célula plenóptica 1510 particular de la matriz de microlentes del lado del sensor 720A (por ejemplo, la célula plenóptica 1510 inferior de la matriz de microlentes del lado del sensor 720A en la FIGURA 17A) se mapea a un píxel de visualizador central 1735 de una célula plenóptica 1510 correspondiente de la matriz de microlentes del lado del visualizador 720B (por ejemplo, la célula plenóptica 1510 inferior de la matriz de microlentes del lado del visualizador 720B en la FIGURA 17A). Como otro ejemplo, cada píxel de detección 1725 superior de una célula plenóptica 1510 particular de la matriz de microlentes del lado del sensor 720A (por ejemplo, la célula plenóptica 1510 superior de la matriz de microlentes del lado del sensor 720A en la FIGURA 17B) se mapea a un píxel de visualizador 1735 inferior de una célula plenóptica 1510 correspondiente de la matriz de microlentes del lado del visualizador 720B (por ejemplo, la célula plenóptica 1510 superior de la matriz de microlentes del lado del visualizador 720B en la FIGURA 17b ).
En algunas realizaciones, las unidades de sensor 735 están acopladas directamente a la placa de circuito 740 mientras que las unidades de visualizador 765 están acopladas a las unidades lógicas 755 (que a su vez están acopladas a la placa de circuito 740) como se ilustra en la FIGURA 8. En otras realizaciones, las unidades de visualizador 765 están acopladas directamente a la placa de circuito 740 mientras que las unidades de sensor 735 están acopladas a las unidades de lógica 755 (que a su vez están acopladas a la placa de circuito 740). En otras realizaciones, tanto las unidades de sensor 735 como las unidades de visualizador 765 están acopladas directamente a la placa de circuito 740 (es decir, sin ninguna unidad lógica 755 intermedia). En tales realizaciones, las unidades de sensor 735 y las unidades de visualizador 765 están acopladas a lados opuestos de la placa de circuito 740 en las ubicaciones de conexión de unidad 745 (por ejemplo, la unidad de sensor 735A y la unidad de visualizador 765A están acopladas a lados opuestos de la placa de circuito 740 en la ubicación de conexión de unidad 745A).
La FIGURA 11 ilustra un método 1100 de fabricación del sistema directo de sensor a visualizador 1000 de la FIGURA 10, según ciertas realizaciones. El método 1100 puede comenzar en el paso 1110 donde se forma una pluralidad de ubicaciones de conexión de unidad en una placa de circuito. En algunas realizaciones, la placa de circuito es la placa de circuito 740 y las ubicaciones de conexión de unidad son las ubicaciones de conexión de unidad 745. En algunas realizaciones, cada ubicación de conexión de unidad corresponde a una de una pluralidad de unidades de visualizador y una de una pluralidad de unidades de sensor. Las unidades de visualizador pueden ser las unidades de visualizador 765 y las unidades de sensor pueden ser las unidades de sensor 735. En algunas realizaciones, cada ubicación de conexión de unidad particular incluye almohadillas de BGA que están configuradas para acoplarse a una de la pluralidad de unidades de sensor y/o una de la pluralidad de unidades lógicas. En algunas realizaciones, cada ubicación de conexión de unidad particular incluye una pluralidad de almohadillas de interconexión configuradas para acoplar eléctricamente la ubicación de conexión de unidad particular a una o más ubicaciones de conexión de unidad adyacentes. En algunas realizaciones, las ubicaciones de conexión de unidad están dispuestas en una pluralidad de columnas y pluralidad de filas como se ilustra en la FIGURA 8.
En el paso 1120, una pluralidad de unidades de sensor se acopla a un primer lado de la placa de circuito. En algunas realizaciones, cada unidad de sensor está acoplada a una respectiva de las ubicaciones de conexión de unidad del paso 1110. En el paso 1130, una pluralidad de unidades de visualizador está acoplada a un segundo lado de la placa de circuito que es opuesto al primer lado. En algunas realizaciones, cada unidad de visualizador está acoplada a una respectiva de las ubicaciones de conexión de unidad del paso 1110 de manera que cada una particular de la pluralidad de unidades de píxeles de sensor se mapea a una correspondiente de la pluralidad de unidades de píxeles de visualizador. Mapeando cada unidad de píxeles de sensor particular a una de las unidades de píxeles de visualizador, los píxeles de visualizador de cada una particular de la pluralidad de unidades de píxeles de visualizador se configuran para mostrar la luz correspondiente a la luz capturada por los píxeles de sensor de su unidad de píxeles de sensor mapeada. Después del paso 1130, el método 1100 puede finalizar.
Las realizaciones particulares pueden repetir uno o más pasos del método 1100, cuando sea apropiado. Aunque esta descripción describe e ilustra pasos particulares del método 1100 como que ocurren en un orden particular, esta descripción contempla que cualquier paso adecuado del método 1100 ocurra en cualquier orden adecuado (por ejemplo, cualquier orden temporal). Además, aunque esta descripción describe e ilustra un método de fabricación de sistema directo de sensor a visualizador de ejemplo que incluye los pasos particulares del método 1100, esta descripción contempla cualquier método de fabricación de sistema directo de sensor a visualizador adecuado que incluye cualquier paso adecuado, que puede incluir todos, algunos o ninguno de los pasos del método 1100, cuando sea apropiado. Además, aunque esta descripción describe e ilustra componentes, dispositivos o sistemas particulares que llevan a cabo pasos particulares del método 1100, esta descripción contempla cualquier combinación adecuada de cualquier componente, dispositivo o sistema adecuado que lleve a cabo cualquier paso adecuado del método 1100.
Las FIGURAS 12-13 ilustran varias configuraciones de procesamiento de señales en la capa que se pueden usar por el conjunto de transparencia emulada 710 de la FIGURA 7. En general, las configuraciones de las FIGURAS 12­ 13 utilizan una capa de lógica digital (por ejemplo, la capa de unidades lógicas 750) que está intercalada entre la cámara y el visualizador (es decir, entre la capa de sensores de imágenes 730 y la capa de visualizadores electrónicos 760). Estas configuraciones permiten un procesamiento local y distribuido de grandes cantidades de datos (por ejemplo, 160k de datos de imagen o más), eludiendo por ello los cuellos de botella, así como los problemas de rendimiento, de potencia y de línea de transmisión asociados con las configuraciones típicas. La agudeza visual humana representa una enorme cantidad de datos que se deben procesar en tiempo real. Los sistemas de formación de imágenes típicos propagan un único flujo de datos hacia/desde un procesador de alta potencia (por ejemplo, una CPU o GPU), que puede o no serializar los datos para su manipulación. El ancho de banda requerido para este planteamiento con una agudeza visual humana de 20/20 supera con creces el de cualquier protocolo de transmisión conocido. Los sistemas típicos también usan un controlador maestro que es responsable o bien de procesar todos los datos entrantes/salientes o bien gestionar la distribución a nodos de procesamiento más pequeños. Independientemente, todos los datos se deben transportar fuera del sistema/fuera del chip, manipular y luego devolver al dispositivo o dispositivos de visualización. No obstante, este planteamiento típico es incapaz de manejar la enorme cantidad de datos requeridos por la agudeza visual humana. No obstante, las realizaciones de la descripción aprovechan la naturaleza facetada de una combinación de sensor/visualizador como se describe en la presente memoria para descentralizar y localizar el procesamiento de señales. Esto permite un procesamiento de imágenes digitales en tiempo real inalcanzable previamente.
Como se ilustra en las FIGURAS 12-13, ciertas realizaciones del conjunto de transparencia emulada 710 incluyen una capa de unidades lógicas 750 que contiene la lógica necesaria para manipular las señales de entrada desde la capa de sensores de imágenes 730 y proporcionar señales de salida a la capa de visualizadores electrónicos 760. En algunas realizaciones, la capa de unidades lógicas 750 está situada entre la capa de sensores de imágenes 730 y la placa de circuito 740 como se ilustra en la FIGURA 12. En otras realizaciones, la capa de unidades lógicas 750 está situada entre la placa de circuito 740 y la capa de visualizadores electrónicos 760 como se ilustra en la FIGURA 13. En general, la capa de unidades lógicas 750 es una capa de procesamiento de imágenes especializada que es capaz de mezclar una señal de entrada directamente desde la capa de sensores de imágenes 730 y realizar una o más operaciones matemáticas (por ejemplo, transformadas de matriz) sobre la señal de entrada antes de emitir una señal resultante directamente a la capa de visualizadores electrónicos 760. Dado que cada unidad lógica 755 de la capa de unidades lógicas 750 es responsable solamente de su faceta asociada (es decir, unidad de sensor 735 o unidad de visualizador 765), los datos de la unidad lógica 755 particular se pueden manipular sin un impacto apreciable en la I/O a nivel de sistema. Esto elude eficazmente la necesidad de paralelizar cualquier dato de sensor entrante para un procesamiento centralizado. El planteamiento distribuido permite que el conjunto de transparencia emulada 710 proporcione múltiples características, tales como ampliación/zoom (cada faceta aplica una transformación de escala a su entrada), corrección de visión (cada faceta aplica una transformación óptica simulada que compensa los problemas de visión comunes tales como miopía, hipermetropía, astigmatismo, etc.), corrección de daltonismo (cada faceta aplica una transformación de color que compensa los problemas comunes del daltonismo), polarización (cada faceta aplica una transformación que simula la polarización de onda que permite la reducción del deslumbramiento) y reducción del rango dinámico (cada faceta aplica una transformación que oscurece las regiones de alta intensidad (por ejemplo, el sol) y aclara las regiones de baja intensidad (por ejemplo, las sombras)). Además, dado que cualquier transformación de datos permanece localizada en la capa de unidades lógicas 750 de cada faceta, puede que no haya necesidad de largas líneas de transmisión. Esto elude los problemas de diafonía, integridad de la señal, etc. Además, dado que las realizaciones descritas no requieren transparencia óptica (sino que, en su lugar, aprovechan la transparencia emulada), no hay impacto funcional al colocar una capa de procesamiento opaca entre las facetas de sensor y de visualizador.
En algunas realizaciones, la capa de unidades lógicas 750 contiene unidades lógicas discretas (por ejemplo, transistores) que se forman directamente en la placa de circuito 740. Por ejemplo, se pueden usar técnicas de fotolitografía estándar para formar la capa de unidades lógicas 750 directamente en la placa de circuito 740. En otras realizaciones, cada unidad lógica 755 es un circuito integrado (IC) separado que está acoplado o bien a una faceta de sensor o una faceta de visualizador, o bien directamente a la placa de circuito 740. Como se usa en la presente memoria, “faceta” se refiere a una unidad discreta que se fabrica por separado y luego se acopla a la placa de circuito 740. Por ejemplo, una “faceta de visualizador” puede referirse a una unidad que incluye una combinación de una capa de visualizadores electrónicos 760 y un matriz de microlentes del lado del visualizador 720B, y una “faceta de sensor” puede referirse a una unidad que incluye una combinación de una capa de sensores de imágenes 730 y una matriz de microlentes del lado del sensor 720A. En algunas realizaciones, una faceta de visualizador puede incluir una única unidad de visualizador 765, o puede incluir múltiples unidades de visualizador 765. De manera similar, una faceta de sensor puede incluir una única unidad de sensor 735, o puede incluir múltiples unidades de sensor 735. En algunas realizaciones, se puede incluir una unidad lógica 755 o bien en una faceta de sensor o bien en una faceta de visualizador. En realizaciones donde una unidad lógica 755 es un IC separado que está acoplado directamente a una faceta o bien de visualizador o bien de sensor (al contrario de estar formada directamente en la placa de circuito 740), se puede usar cualquier técnica apropiada, tal como el diseño de IC 3D con vías a través de silicio para acoplar el IC de la unidad lógica 755 a una oblea de la faceta.
En algunas realizaciones, la capa de unidades lógicas 750 es un circuito integrado de aplicaciones específicas (ASIC) o una unidad lógica aritmética (ALU), pero no un procesador de propósito general. Esto permite que la capa de unidades lógicas 750 sea eficiente energéticamente. Además, esto permite que la capa de unidades lógicas 750 opere sin enfriamiento, reduciendo aún más los requisitos de coste y energía del conjunto de transparencia emulada 710.
En algunas realizaciones, las unidades lógicas 755 están configuradas para comunicarse usando el mismo protocolo que las unidades de sensor 735 y las unidades de visualizador 765. Por ejemplo, en realizaciones donde las unidades lógicas 755 son IC discretos, los IC se pueden configurar para comunicarse en un mismo protocolo como las facetas de sensor y de visualizador (por ejemplo, LVDS o Circuito Inter Integrado (I2C)). Esto elimina el problema de tener que traducir entre la faceta de sensor y de visualizador, reduciendo por ello la energía y el coste.
En algunas realizaciones, la capa de unidades lógicas 750 realiza una o más operaciones en las señales recibidas desde la capa de sensores de imágenes 730 antes de transmitir las señales de salida a la capa de visualizadores electrónicos 760. Por ejemplo, la capa de unidades lógicas 750 puede transformar las señales recibidas desde la capa de sensores de imágenes 730 para incluir información aumentada para mostrar en la capa de visualizadores electrónicos 760. Esto se puede usar, por ejemplo, para proporcionar AR a un observador. En algunas realizaciones, la capa de unidades lógicas 750 puede sustituir por completo las señales recibidas de la capa de sensores de imágenes 730 con información alternativa para mostrar en la capa de visualizadores electrónicos 760. Esto se puede usar, por ejemplo, para proporcionar VR a un observador.
La FIGURA 14 ilustra un método 1400 de fabricación de los sistemas de procesamiento de señales en la capa de las FIGURAS 12-13. El método 1400 puede comenzar en el paso 1410 donde una pluralidad de unidades de sensor se acopla a un primer lado de una placa de circuito. En algunas realizaciones, las unidades de sensor son las unidades de sensor 735, y la placa de circuito es la placa de circuito 740. En algunas realizaciones, cada unidad de sensor está acoplada a una de una pluralidad de ubicaciones de conexión de unidad, tales como las ubicaciones de conexión de unidad 745. Cada unidad de sensor incluye una pluralidad de píxeles sensores.
En el paso 1420, se forman una pluralidad de unidades de visualizador. En algunas realizaciones, las unidades de visualizador son una combinación de unidades de visualizador 765 y unidades lógicas 755. Cada unidad de visualizador se puede formar combinando un visualizador electrónico y una unidad lógica en un único circuito integrado 3D usando vías a través de silicio. Cada unidad de visualizador incluye una pluralidad de píxeles de visualizador.
En el paso 1430, la pluralidad de unidades de visualizador del paso 1420 se acopla a un segundo lado de la placa de circuito que es opuesto al primer lado. En algunas realizaciones, cada unidad lógica está acoplada a una respectiva de las ubicaciones de conexión de unidad. Después del paso 1430, el método 1400 puede finalizar.
Las realizaciones particulares pueden repetir uno o más pasos del método 1400, cuando sea apropiado. Aunque esta descripción describe e ilustra pasos particulares del método 1400 como que ocurren en un orden particular, esta descripción contempla que cualquier paso adecuado del método 1400 ocurra en cualquier orden adecuado (por ejemplo, cualquier orden temporal). Además, aunque esta descripción describe e ilustra un método de fabricación del sistema de procesamiento de señales en la capa de ejemplo que incluye los pasos particulares del método 1400, esta descripción contempla cualquier método de fabricación del sistema de procesamiento de señales en la capa adecuado que incluye cualquier paso adecuado, que puede incluir todos, algunos o ninguno de los pasos del método 1400, cuando sea apropiado. Además, aunque esta descripción describe e ilustra componentes, dispositivos o sistemas particulares que llevan a cabo los pasos particulares del método 1400, esta descripción contempla cualquier combinación adecuada de cualquier componente, dispositivo o sistema adecuado que lleve a cabo cualquier paso adecuado del método 1400.
Las FIGURAS 15-17C ilustran varias vistas de una matriz 1500 de células plenópticas 1510 que se pueden usar dentro de matrices de microlentes 720A-B del conjunto de transparencia emulada 710. La FIGURA 15 ilustra un conjunto de células plenópticas 1500, la FIGURA 16 ilustra una sección transversal de una parte del conjunto de células plenópticas 1500 de la FIGURA 15, y las FIGURAS 17A-17C ilustran secciones transversales de una parte del conjunto de células plenópticas 1500 de la FIGURA 15 con varios campos de luz entrantes y salientes.
Los visualizadores electrónicos estándar típicamente incluyen disposiciones planas de píxeles que forman una imagen rasterizada bidimensional, que transporta inherentemente datos bidimensionales. Una limitación es que la imagen plana no se puede girar con el fin de percibir una perspectiva diferente dentro de la escena que se trasporta. Con el fin de ver claramente esta imagen, independientemente de lo que se retrate dentro de la imagen en sí misma, o bien los ojos del observador o bien la lente de una cámara debe enfocar sobre la pantalla. Por el contrario, un volumen de luz que entra en los ojos desde el mundo real permite que los ojos se enfoquen naturalmente en cualquier punto dentro de ese volumen de luz. Este “campo” plenóptico de luz contiene rayos de luz de la escena que entran naturalmente en el ojo, a diferencia de una imagen virtual enfocada por una lente externa en un único plano focal. Si bien los visualizadores de campo de luz existentes pueden ser capaces de replicar este fenómeno, presentan compromisos sustanciales entre las resoluciones espacial y angular, dando como resultado que el volumen percibido de luz se vea borroso o escaso en detalle.
Para superar los problemas y limitaciones con los visualizadores de campo de luz existentes, las realizaciones de la descripción proporcionan un sistema de captura y visualización de campo de luz acoplado que es capaz de registrar y luego recrear electrónicamente el volumen de luz plenóptico entrante. Tanto el proceso de captura como el de visualización se logran mediante una disposición de células plenópticas 1510 responsables de registrar o mostrar vistas más pequeñas de una imagen compuesta más grande. Cada célula plenóptica 1510 del sensor está compuesta en sí misma por un grupo denso de píxeles de sensor de imágenes, y cada célula plenóptica del visualizador está compuesta en sí misma por un grupo denso de píxeles de visualizador. En ambos casos, los rayos de luz que entran en las células de sensor o que salen de las células de visualizador se enfocan por una o más lentillas transparentes 1512 para producir una distribución sintonizada con precisión de rayos casi colimados. Esencialmente, esto registra un campo de luz entrante y lo reproduce en el lado opuesto del conjunto. Más específicamente, para el sensor, el volumen de luz que entra en la lente (o serie de lentes) de esta célula se enfoca sobre los píxeles de imagen de manera que cada píxel recoja la luz desde solamente una dirección, que se determina por su posición dentro de la célula y el perfil de la lente. Esto permite la codificación rasterizada de los diversos rayos angulares dentro del campo de luz, y el número de píxeles en la célula que determina la resolución angular registrada. Para el visualizador, la luz emitida desde los píxeles se enfoca por una lente idéntica (o una serie de lentes) para crear un volumen de luz que coincida con lo que se registró por el sensor, más cualquier aumento o alteración electrónica (por ejemplo, de la capa de unidades lógicas 750 descrita anteriormente). El cono de luz emitida desde esta célula contiene un subconjunto de rayos en suficientes ángulos de intervalo para permitir la formación de un campo de luz para el observador, donde cada dirección de rayo de salida se determina por la posición de su píxel de origen dentro de la célula y el perfil de la lente
Las células plenópticas 1510 se pueden utilizar tanto por la matriz de microlentes del lado del sensor 720A como por la matriz de microlentes del lado del visualizador 720B. Por ejemplo, se pueden incluir múltiples células plenópticas 1510A en la matriz de microlentes del lado del sensor 720A, y cada célula plenóptica 1510A se puede acoplar o de otro modo puede ser adyacente a un sensor de imágenes 1520. El sensor de imágenes 1520 puede ser una parte de la capa de sensores de imágenes 730 y puede incluir una matriz de píxeles de sensor 1525 que incluye píxeles de detección 1725. De manera similar, se pueden incluir múltiples células plenópticas 1510B en la matriz de microlentes del lado del visualizador 720B, y cada célula plenóptica 1510B se puede acoplar a o de otro modo puede ser adyacente a un visualizador 1530. El visualizador 1530 puede ser una parte de la capa de visualizadores electrónicos 760 y puede incluir una matriz de píxeles de visualizador 1625 que incluye píxeles de visualizador 1735. Los píxeles de detección 1725 pueden ser píxeles de sensor 1800 como se describe en las FIGURAS 18-20 y sus descripciones asociadas en la Solicitud de Patente de EE. UU. N° 15/724.027 titulada “Stacked Transparent Pixel Structures for Image Sensors”, que se incorpora en la presente memoria por referencia en su totalidad. Los píxeles de visualizador 1735 pueden ser píxeles de visualizador 100 como se describe en las FIGURAS 1-4 y sus descripciones asociadas en la Solicitud de Patente de EE. UU. N° 15/724.004 titulada “Stacked Transparent Pixel Structures for Electronic Displays”, que se incorpora en la presente memoria por referencia en su totalidad.
En algunas realizaciones, la célula plenóptica 1510 incluye una lentilla transparente 1512 y paredes de célula 1514. Específicamente, la célula plenóptica 1510A incluye una lentilla transparente 1512A y paredes de célula 1514A, y la célula plenóptica 1510B incluye una lentilla transparente 1512B y paredes de célula 1514B. En algunas realizaciones, la lentilla transparente 1512 contiene una forma 3D con una lente colimadora en un extremo de la forma 3D. Por ejemplo, como se ilustra en la FIGURA 15, la lentilla transparente 1512 puede ser un paralelepípedo rectangular con una lente colimadora en un extremo del paralelepípedo rectangular. En otras realizaciones, la forma 3D de la lentilla transparente 1512 puede ser un poliedro triangular, un poliedro pentagonal, un poliedro hexagonal, un poliedro heptagonal, un poliedro octagonal, un cilindro o cualquier otra forma apropiada. Cada célula plenóptica 1510A incluye un campo de visión (FOV) de entrada 1610 (por ejemplo, 30 grados), y cada célula plenóptica 1510B incluye un FOV de salida 1620 (por ejemplo, 30 grados). En algunas realizaciones, el FOV de entrada 1610 coincide con el FOV de salida 1620 para las células plenópticas 1510 correspondientes.
La lentilla transparente 1512 se puede formar a partir de cualquier material óptico transparente apropiado. Por ejemplo, la lentilla transparente 1512 se puede formar a partir de un polímero, vidrio de sílice o zafiro. En algunas realizaciones, la lentilla transparente 1512 se puede formar a partir de un polímero tal como policarbonato o acrílico. En algunas realizaciones, las lentillas transparentes 1512 se pueden sustituir con guías de ondas y/o cristales fotónicos con el fin de capturar y/o producir un campo de luz.
En general, las paredes de célula 1514 son barreras para evitar la diafonía óptica entre células plenópticas 1510 adyacentes. Las paredes de célula 1514 se pueden formar a partir de cualquier material apropiado que sea opaco a la luz visible cuando se endurece. En algunas realizaciones, las paredes de célula 1514 se forman a partir de un polímero. La prevención de la diafonía óptica usando las paredes de célula 1514 se describe con más detalle a continuación con referencia a las FIGURAS 17A y 17C.
En algunas realizaciones, el sensor de imágenes 1520 incluye o está acoplado a la circuitería de panel posterior 1630A, y el visualizador 1530 incluye o está acoplado a la circuitería de panel posterior 1630B. En general, la circuitería de panel posterior 1630A-B proporciona conexiones eléctricas para permitir que los datos de imagen fluyan desde el sensor de imágenes 1520 al visualizador 1530. En algunas realizaciones, la circuitería de panel posterior 1630A y la circuitería de panel posterior 1630B son los lados opuestos de un único panel posterior. En algunas realizaciones, la circuitería de panel posterior 1630A y la circuitería de panel posterior 1630B son la placa de circuito 740.
En algunas realizaciones, se puede incluir una capa de filtro 1640 en uno o ambos extremos de la lentilla transparente 1512 con el fin de restringir la entrada o salida de luz a un ángulo de incidencia específico. Por ejemplo, se puede incluir una primera capa de filtro 1640A en el extremo convexo de la lentilla transparente 1512, y/o se puede incluir una segunda capa de filtro 1640B en el extremo opuesto de la lentilla transparente 1512. Similar a las paredes de célula 1514, tal recubrimiento o película también puede limitar que la imagen se salga entre lentillas transparentes 1512 adyacentes en una cantidad aceptable. La capa de filtro 1640 se puede usar además para o en lugar de las paredes de célula 1514.
Las FIGURAS 17A-17C ilustran, cada una, una vista en sección transversal de siete células plenópticas 1510 adyacentes para una matriz de microlentes del lado del sensor 720A y una matriz de microlentes del lado del visualizador 720B correspondiente. Estas figuras muestran cómo los campos de luz entrantes 701 se capturan por los sensores de imágenes 1520 y se replican electrónicamente en el visualizador 1530 para emitir un campo de luz virtualmente idéntico. En la FIGURA 17A, un campo de luz entrante 1710 de objetos directamente en frente de las células plenópticas de sensor 1510 se enfoca por las lentillas transparentes 1512 de las células plenópticas de sensor 1510 sobre los pixeles de detección 1725 centrales. La luz correspondiente luego se transmite por los pixeles de visualizador 1735 centrales correspondientes de las células plenópticas de visualizador 1510 correspondientes. La luz transmitida se enfoca y emite como el campo de luz emitida 1711 por las lentillas transparentes 1512 de las células plenópticas de visualizador 1510. El campo de luz emitida 1711 coincide con precisión con el campo de luz de origen de cero grados (es decir, campo de luz entrante 1710). Además, los rayos de luz emitidos que golpean las paredes de célula 1514 en la ubicación 1740 que, de otro modo, penetrarían en las células plenópticas de visualizador 1510 adyacentes se bloquean por las paredes de célula opacas 1514, evitando por ello la diafonía óptica.
En la FIGURA 17B, un campo de luz entrante 1720 de objetos a catorce grados fuera del eje de las células plenópticas de sensor 1510 se enfoca por las lentillas transparentes 1512 de las células plenópticas de sensor 1510 sobre los píxeles de detección 1725 superiores. La luz correspondiente se transmite luego por los correspondientes píxeles de visualizador 1735 opuestos (es decir, inferiores) de células plenópticas de visualizador 1510 correspondientes. La luz transmitida se enfoca y emite como el campo de luz emitida 1721 por las lentillas transparentes 1512 de las células plenópticas de visualizador 1510. El campo de luz emitida 1721 coincide con precisión con el campo de luz de origen de 14 grados (es decir, el campo de luz entrante 1720).
En la FIGURA 17C, un campo de luz entrante 1730 de objetos a 25 grados fuera del eje de las células plenópticas de sensor 1510 se enfoca por las lentillas transparentes 1512 de las células plenópticas de sensor 1510 completamente sobre las paredes de célula 1514. Debido a que el campo de luz entrante 1730 se enfoca completamente sobre las paredes de célula 1514 de las células plenópticas de sensor 1510 en lugar de los pixeles de detección 1725, ninguna luz correspondiente se transmite por las células plenópticas de visualizador 1510 correspondientes. Además, los rayos de luz entrantes que golpean las paredes de célula 1514 en la ubicación 1750 que de otro modo penetrarían las células plenópticas de sensor 1510 adyacentes se bloquean por las paredes de célula 1514 opacas, evitando por ello la diafonía óptica.
Las FIGURAS 18A-18B ilustran un método de fabricación del conjunto de células plenópticas de la FIGURA 15, según ciertas realizaciones. En la FIGURA 18A, se forma u obtiene una lámina de matriz de microlentes (MLA) 1810. La lámina de MLA 1810 incluye una pluralidad de lentes, como se ilustra. En la FIGURA 18B, se corta una pluralidad de surcos 1820 alrededor de cada una de la pluralidad de lentillas de la lámina de MLA 1810 hasta una profundidad predeterminada. En algunas realizaciones, los surcos 1820 se pueden cortar usando múltiples pasadas para lograr la profundidad deseada. En algunas realizaciones, los surcos 1820 se pueden cortar usando ablación con láser, grabado, procesos litográficos o cualquier otro método apropiado. Después de que se corten los surcos 1820 a la profundidad deseada, se rellenan con un material configurado para evitar que la luz se salga a través de los surcos 1820. En algunas realizaciones, el material es cualquier material absorbente de luz (por ejemplo, nanotubos de carbono) u opaco (por ejemplo, un material opaco no reflectante o polímero teñido) cuando se endurece. El conjunto de células plenópticas resultante después de que los surcos 1820 se llenan y se dejan endurecer se ilustra en las FIGURAS 20-21.
Las FIGURAS 19A-19B ilustran otro método de fabricación del conjunto de células plenópticas de la FIGURA 15. En la FIGURA 19A, se obtiene o se forma una retícula preformada 1830 que tiene vacíos 1840. La retícula 1830 está hecha de cualquier material adecuado como se describió anteriormente para las paredes de célula 1514. La retícula 1830 se puede formar a partir de cualquier método adecuado incluyendo, pero no limitado a, fabricación aditiva y ablación de materia de célula.
En la FIGURA 19B, los vacíos 1840 se llenan con un polímero óptico 1850. El polímero óptico 1850 puede ser cualquier material adecuado como se describió anteriormente para la lentilla transparente 1512. Después de que se llenen los vacío 1840 con el polímero óptico 1850, se crea el perfil de lente final usando moldeo o ablación. En las FIGURAS 20-21 se ilustra un ejemplo del conjunto de células plenópticas resultante después de que se formen las lentes.
La FIGURA 22-23 ilustra una placa de circuito flexible 2210 que se puede usar como placa de circuito 740 por el conjunto de transparencia emulada 710 de la FIGURA 7, según ciertas realizaciones. En general, envolver la electrónica alrededor de una forma 3D, tal como una superficie esférica o semiesférica, no es una tarea trivial. Aunque actualmente están disponibles varios ejemplos de circuitería flexible e incluso extensible, hay varios obstáculos que superar cuando se colocan tales componentes electrónicos en una superficie esférica o semiesférica de radio pequeño (por ejemplo, 30 - 60 mm). Por ejemplo, la flexión de sustratos electrónicos flexibles en una dirección no indica inherentemente la adaptabilidad a una curvatura compuesta, en la medida que las fuerzas de torsión requeridas para tal curvatura pueden ser dañinas para las películas delgadas involucradas. Como otro ejemplo, quedan preguntas acerca del grado de capacidad de estiramiento y la vida útil de la electrónica extensible actualmente disponible.
Para abordar los problemas y las limitaciones de las soluciones actuales, las realizaciones de la descripción presentan un método de fabricación de productos electrónicos en 3D (por ejemplo, esférica o semiesférica) usando un planteamiento de facetas geodésicas que consiste en una matriz de pequeñas superficies rígidas construidas en un único circuito flexible. En algunas realizaciones, el circuito flexible se corta a una forma de red específica y luego se envuelve en una forma 3D (por ejemplo, una forma esférica o semiesférica) y se bloquea en su lugar para evitar el desgaste por flexión repetida. El método es especialmente útil para acomodar los radios de curvatura estrechos (por ejemplo, 30-60 mm) necesarios para visualizadores envolventes para cerca del ojo montados en la cabeza. En algunas realizaciones, el conjunto incluye una única capa de circuito impreso flexible fundamental, con matrices de sensores y visualizadores rígidos estratificadas en lados opuestos del circuito flexible. Todo el conjunto, que incluye las capas de sensor y de visualizador, se puede fabricar mediante procesos estándar de semiconductores planos (por ejemplo, recubrimientos por rotación, fotolitografía, etc.). Las capas de electrónica rígidas se pueden grabar para formar unidades de sensor y de visualizador individuales (es decir, “facetas”) y luego conectar a la circuitería flexible mediante almohadillas de conexión y adherir a través de adhesivos conductores y no conductores estampados. Esto permite que la circuitería flexible se pliegue ligeramente en los bordes entre las facetas rígidas. En algunas realizaciones, siguiendo la fabricación plana, la pila electrónica completamente curada y funcional se forma a la forma 3D final deseada usando un lado de una carcasa de polímero rígido final como molde. De esta forma, las matrices de facetas electrónicas rígidas no se deforman sino que simplemente caen en su lugar en su molde, con la circuitería flexible que se dobla en pliegues/huecos definidos para coincidir con el interior facetado de la carcasa. El conjunto se puede tapar y sellar finalmente usando un lado coincidente opuesto de la carcasa rígida.
Las realizaciones de la descripción no se limitan solamente a formas esféricas o semiesféricas, aunque tales formas ciertamente se contemplan. Las realizaciones descritas se pueden formar en cualquier curvatura compuesta o cualquier otra forma de revolución. Además, las realizaciones descritas se pueden formar en cualquier curvatura no uniforme, así como en superficies no curvas (es decir, planas).
La FIGURA 22 ilustra la placa de circuito flexible 2210 en dos estados diferentes: una placa de circuito flexible plana 2210A y una placa de circuito flexible en forma 3D 2210B. La placa de circuito flexible 2210 incluye ubicaciones de facetas 2220, que en general son ubicaciones en las que las facetas (por ejemplo, facetas de sensor 3735, facetas de visualizador 2665 o facetas lógicas 2655 tratadas a continuación) se pueden instalar en la placa de circuito flexible 2210. En algunas realizaciones, la placa de circuito flexible 2210 incluye huecos 2215. Como se ilustra en la parte inferior de la FIGURA 22, cuando la placa de circuito flexible 2210 es plana, al menos algunas de las ubicaciones de facetas 2220 están separadas de una o más ubicaciones de facetas 2220 adyacentes por uno o más huecos 2215. Como se ilustra en la parte superior de la FIGURA 22, cuando la placa de circuito flexible 2210 se forma en una forma 3D, los huecos 2215 se pueden eliminar sustancialmente, formando por ello una superficie continua a lo largo de al menos algunas de las facetas que se acoplan en las ubicaciones de facetas 2220 (por ejemplo, una superficie de detección continua a través de múltiples facetas de sensor 3735 o una superficie de visualización continua a través de múltiples facetas de visualizador 2665).
En general, las ubicaciones de facetas 2220 pueden tener cualquier forma. En algunas realizaciones, las ubicaciones de facetas 2220 están en forma de un polígono (por ejemplo, un triángulo, cuadrado, rectángulo, pentágono, hexágono, heptágono u octágono). En algunas realizaciones, las ubicaciones de facetas 2220 son todas idénticas. En otras realizaciones, no obstante, las ubicaciones de facetas 2220 comparten todas la misma forma de polígono (por ejemplo, todas son hexagonales), pero tienen diferentes dimensiones. En algunas realizaciones, las ubicaciones de facetas 2220 tienen formas heterogéneas (por ejemplo, algunas son rectangulares y algunas son hexagonales). Se puede usar cualquier forma apropiada de las ubicaciones de facetas 2220.
En algunas realizaciones, las ubicaciones de facetas 2220 están dispuestas en columnas 2201. En algunas realizaciones, las ubicaciones de facetas 2220 están dispuestas además o alternativamente en filas 2202. Si bien se ilustra un patrón específico de ubicaciones de facetas 2220, se puede usar cualquier patrón apropiado de ubicaciones de facetas 2220.
La FIGURA 23 ilustra detalles adicionales de la placa de circuito flexible 2210, según ciertas realizaciones. En algunas realizaciones, cada ubicación de faceta 2220 incluye almohadillas y/o vías para acoplar facetas de sensor o de visualizador a la placa de circuito flexible 2210. Como ejemplo, algunas realizaciones de placa de circuito flexible 2210 incluyen almohadillas de BGA 2240 en cada ubicación de faceta 2220. Cualquier patrón y el número de terminales/vías apropiados se pueden incluir en cada ubicación de faceta 2220.
En general, cada ubicación de faceta 2220 particular está configurada para transmitir señales entre una faceta de sensor particular acoplada a la ubicación de faceta particular y una faceta de visualizador particular acoplada a un lado opuesto de la ubicación de faceta particular. Por ejemplo, una ubicación de faceta 2220 particular puede tener una faceta de sensor 3735 acoplada a un lado, y una faceta de visualizador 2665 acoplada a su lado opuesto. La ubicación de faceta 2220 particular proporciona las conexiones eléctricas necesarias para permitir que las señales de la faceta de sensor 3735 se desplacen directamente a la faceta de visualizador 2665, permitiendo por ello que la faceta de visualizador 2665 muestre la luz que corresponde a la luz capturada por la faceta de sensor 3735.
En algunas realizaciones, se incluyen pistas de cable 2230 en la placa de circuito flexible 2210 para conectar eléctricamente ubicaciones de faceta 2220. Por ejemplo, las pistas de cable 2230 pueden conectarse a las almohadillas de interconexión 2250 de cada ubicación de faceta 2220 con el fin de conectar eléctricamente ubicaciones de faceta 2220 adyacentes. En algunas realizaciones, las ubicaciones de faceta 2220 están conectadas en serie a través de pistas de cable 2230. Por ejemplo, la FIGURA 24 ilustra un flujo de datos en serie a través de una placa de circuito flexible 2210, según ciertas realizaciones. En este ejemplo, a cada ubicación de faceta 2220 se le asigna un identificador único (por ejemplo, “1”, “2”, etc.), y los datos fluyen en serie a través de ubicaciones de facetas 2220 a través de trazas de cables 2230 como se ilustra. De esta manera, cada ubicación de faceta 2220 se puede direccionar por un único procesador o unidad lógica usando su identificador único. Se puede usar cualquier esquema de direccionamiento y patrón de flujo de datos apropiados.
La FIGURA 25 ilustra un método 2500 de fabricación de un conjunto electrónico usando la placa de circuito flexible 2210 de la FIGURA 22, según ciertas realizaciones. En el paso 2510, una pluralidad de ubicaciones de facetas se forma en una placa de circuito flexible. En algunas realizaciones, las ubicaciones de facetas son ubicaciones de facetas 2220, y la placa de circuito flexible es una placa de circuito flexible 2210. Cada ubicación de faceta corresponde a una de una pluralidad de facetas de sensor y una de una pluralidad de facetas de visualizador. Las facetas de sensor pueden ser las facetas de sensor 3735, y las facetas de visualizador pueden ser las facetas de visualizador 2665. En algunas realizaciones, la pluralidad de ubicaciones de facetas está dispuesta en una pluralidad de columnas de facetas, tales como las columnas 2201. En algunas realizaciones, la pluralidad de ubicaciones de facetas está dispuesta adicional o alternativamente en una pluralidad de filas de facetas, tales como las filas 2202. En el paso 2520, la placa de circuito flexible del paso 2510 se corta o de otro modo se conforma en un patrón que permite que la placa de circuito flexible se forme más tarde en una forma 3D tal como una forma esférica o semiesférica. Cuando la placa de circuito flexible es plana, al menos algunas de las ubicaciones de facetas están separadas de una o más ubicaciones de facetas adyacentes por una pluralidad de huecos tales como los huecos 2215. Cuando la placa de circuito flexible se forma en la forma 3D, la pluralidad de huecos se elimina sustancialmente.
En el paso 2530, el conjunto electrónico se ensambla acoplando una primera pluralidad de facetas rígidas a un primer lado de la placa de circuito flexible. La primera pluralidad de facetas rígidas pueden ser facetas de sensor 3735 o facetas de visualizador 2665. Cada faceta rígida está acoplada a una respectiva de las ubicaciones de faceta. En algunas realizaciones, la primera pluralidad de facetas rígidas se acopla a las almohadillas de conexión en el primer lado de la placa de circuito flexible usando adhesivos conductivos y no conductivos estampados.
En algunas realizaciones, la primera pluralidad de facetas rígidas del paso 2530 son facetas de sensor rígidas, tales como la faceta de sensor 3735, y el método 2500 incluye además el acoplamiento de una pluralidad de facetas de visualizador rígidas, tales como la faceta de visualizador 2665, a un segundo lado de la placa de circuito flexible que es opuesto al primer lado. En este caso, cada ubicación de faceta particular está configurada para transmitir señales entre una faceta de sensor rígida particular acoplada eléctricamente a la ubicación de faceta particular y una faceta de visualizador rígida particular acoplada eléctricamente a la misma ubicación de faceta particular. Esto permite que la luz se muestre desde la faceta de visualizador rígida particular que corresponde a la luz capturada por la faceta de sensor rígida correspondiente.
En el paso 2540, el conjunto electrónico ensamblado se forma en la forma 3D deseada. En algunas realizaciones, este paso implica colocar la placa de circuito flexible con sus facetas rígidas acopladas en un lado de una carcasa rígida que tiene la forma deseada. Esto permite que las facetas rígidas caigan en espacios definidos en la carcasa y que la placa de circuito flexible se doble en pliegues/huecos definidos entre las facetas rígidas. Después de colocar la placa de circuito flexible con sus facetas rígidas acopladas en un lado de la carcasa rígida, un lado opuesto coincidente de la carcasa rígida se puede unir al primer lado, sellando por ello el conjunto en la forma deseada.
Las realizaciones particulares pueden repetir uno o más pasos del método 2500, cuando sea apropiado. Aunque esta descripción describe e ilustra pasos particulares del método 2500 como que ocurren en un orden particular, esta descripción contempla que cualquier paso adecuado del método 2500 ocurra en cualquier orden adecuado (por ejemplo, cualquier orden temporal). Además, aunque esta descripción describe e ilustra un método de ejemplo de fabricación de un conjunto electrónico usando una placa de circuito flexible, esta descripción contempla cualquier método adecuado de fabricación de un conjunto electrónico usando una placa de circuito flexible, que puede incluir todos, algunos o ninguno de los pasos del método 2500, cuando sea apropiado. Además, aunque esta descripción describe e ilustra componentes, dispositivos o sistemas particulares que llevan a cabo pasos particulares del método 2500, esta descripción contempla cualquier combinación adecuada de cualquier componente, dispositivo o sistema adecuado que lleve a cabo cualquier paso adecuado del método 2500.
Las FIGURAS 26-36 ilustran matrices de múltiples pantallas distribuidas para visualizadores de alta densidad. En general, para proporcionar un visualizador cercano al ojo capaz de emular todo el campo visual de un solo ojo humano, se requiere un visualizador de imagen de alto rango dinámico con una resolución de órdenes de magnitud mayores que las pantallas de visualización comunes actuales. Tales visualizadores deberían ser capaces de proporcionar un visualizador de campo de luz con suficiente resolución angular y espacial para acomodar una agudeza visual humana de 20/20. Esta es una enorme cantidad de información, que equivale a un recuento total de píxeles horizontales de 100K a 200K. Estos visualizadores también deberían envolverse alrededor de todo el campo de visión de un ojo humano (aproximadamente 160° en horizontal y 130° en vertical). Para representar la visión binocular, sería necesario un par de tales visualizadores que abarquen la totalidad de una superficie curva alrededor de cada ojo. No obstante, los visualizadores típicos disponibles en la actualidad son incapaces de cumplir estos requisitos.
Para abordar estas y otras limitaciones de los visualizadores actuales, las realizaciones de la descripción proporcionan una matriz de microvisualizadores pequeños de alta resolución (por ejemplo, facetas de visualizador 2665) de tamaños y formas personalizadas, todos los cuales se forman y luego se ensamblan en una placa de circuito flexible 22l0 más grande que se puede formar en una forma 3D (por ejemplo, un superficie semiesférica). Los microvisualizadores se pueden montar en el lado interior de la circuitería semiesférica, donde se puede incluir otra capa que contiene una matriz de unidades lógicas de TFT (por ejemplo, las unidades lógicas 755) para manejar toda la gestión de energía y señal. Típicamente, se puede incluir una unidad lógica 755 para cada microvisualizador. Cada microvisualizador opera como una unidad discreta, mostrando datos de la unidad lógica detrás de él. Cualquier información adicional (por ejemplo, tal como video externo para aplicaciones de AR, VR o MR) se puede pasar a toda la matriz a través de un procesador de control central. En algunas realizaciones, la señal de datos externa avanza en serie de un microvisualizador al siguiente como un flujo múltiplex empaquetado, mientras que la unidad lógica de TFT para cada visualizador determina el origen y la sección de la señal a leer. Esto permite que cada unidad actúe independientemente de cualquier otro visualizador, proporcionando una matriz grande de muchos visualizadores de alta resolución con contenido único en cada uno, de manera que todo el conjunto forme en esencia un único visualizador de extremadamente de alta resolución.
Para cumplir los requisitos de resolución, claridad de color y salida de luminancia, cada microvisualizador puede tener una arquitectura de píxeles de alto rendimiento única. Por ejemplo, cada pantalla de microvisualización puede incluir matrices de píxeles de visualizador 100 como se describió en las FIGURAS 1-4 y sus descripciones asociadas en la Solicitud de Patente de EE. UU. N° 15/724,004 titulada “Stacked Transparent Pixel Structures for Electronic Displays”, que se incorpora en la presente memoria por referencia en su totalidad. Las pantallas de microvisualización se pueden ensamblar sobre el mismo sustrato usando cualquier método apropiado. Tal fabricación simultánea usando capas de semiconductores estándar y procesos fotolitográficos elimina virtualmente los gastos generales y los costes asociados con la producción y el empaquetado de muchas pantallas individuales, mejorando en gran medida la asequibilidad.
La FIGURA 26 ilustra una vista recortada de una matriz curva de múltiples visualizadores 2600, según ciertas realizaciones. La FIGURA 26 es esencialmente la parte posterior de la placa de circuito flexible 2210B de la FIGURA 22 con la adición de las facetas lógicas 2655 y las facetas de visualizador 2665 acopladas a la placa de circuito flexible 2210B en ubicaciones de facetas 2220. En general, cada faceta lógica 2655 es una unidad lógica 755 individual de la capa de unidades lógicas 750. De manera similar, cada faceta de visualizador 2665 es una unidad de visualizador 765 individual de la capa de visualización 760 acoplada con una parte de la matriz de microlentes 720.
En algunas realizaciones, cada faceta lógica 2655 individual se acopla a la placa de circuito flexible 2210, y cada faceta de visualizador 2665 individual se acopla luego a una de las facetas lógicas 2655. En otras realizaciones, cada faceta lógica 2655 se acopla primero a una de las facetas de visualizador 2665, y la faceta combinada se acopla luego a la placa de circuito flexible 2210. En tales realizaciones, se puede hacer referencia a la faceta lógica combinada 2655 y a la faceta de visualizador 2665 como facetas de visualizador 2665 por simplicidad. Como se usa en la presente memoria, “faceta de visualizador” puede referirse a ambas realizaciones (es decir, una faceta de visualizador 2665 individual o una combinación de una faceta de visualizador 2665 con una faceta lógica 2655).
En general, cada faceta de visualizador 2665 se puede abordar individualmente (por ejemplo, mediante un procesador de control central no representado), y una colección de facetas de visualizador 2665 puede representar una colección dinámica y heterogénea que forma un colectivo singular. En otras palabras, la matriz de múltiples visualizadores 2600 proporciona un sistema de visualizadores electrónicos en mosaico que muestra imágenes a través de facetas de visualizador 2665 individuales que juntas forman un todo completo. Cada faceta de visualizador 2665 individual es capaz de proporcionar múltiples resoluciones de visualizador diferentes y se puede personalizar sobre la marcha para ejecutar una resolución, rango de colores, tasa de cuadros, etc. diferente. Por ejemplo, una faceta de visualizador 2665 puede tener una resolución de visualización de 512x512 mientras que una faceta de visualizador 2665 adyacente (de igual tamaño) tiene una resolución de visualización de 128x128, en donde la primera representa una concentración más alta de datos de imágenes. En este ejemplo, estos dos visualizadores son heterogéneos, pero son controlables individualmente y funcionan al unísono para formar una imagen de visualización singular.
La colección global de facetas de visualizador 2665 puede seguir cualquier estructura de superficie curva o plana. Por ejemplo, las facetas de visualizador 2665 se pueden formar en una superficie semiesférica, una superficie cilíndrica, una superficie esférica oblonga o cualquier otra superficie conformada.
Las facetas lógicas 2655 y la faceta de visualizador 2665 pueden tener cualquier forma apropiada. En algunas realizaciones, las formas de las facetas lógicas 2655 y las facetas de visualizador 2665 coinciden entre sí y la forma de las ubicaciones de facetas 2220. En algunas realizaciones, las facetas lógicas 2655 y las facetas de visualizador 2665 tienen la forma de un polígono tal como un triángulo, un cuadrilátero, un pentágono, un hexágono, un heptágono o un octágono. En algunas realizaciones, algunas o todas las facetas lógicas 2655 y las facetas de visualizador 2665 tienen formas no poligonales. Por ejemplo, las facetas de visualizador 2665 en los bordes de la placa de circuito flexible 2210 pueden no ser poligonales, en la medida que pueden tener recortes curvos para mejorar la estética del conjunto en general.
Además de tener una resolución de visualización seleccionable/controlable, cada faceta de visualizador 2665 en algunas realizaciones también puede tener un rango de colores seleccionable de una pluralidad de rangos de colores y/o una tasa de cuadro seleccionable de una pluralidad de tasas de cuadro. En tales realizaciones, las facetas de visualizador 2665 de una placa de circuito flexible 2210 particular son configurables para proporcionar tasas de cuadro heterogéneas y rango de colores heterogéneo. Por ejemplo, una faceta de visualizador 2665 puede tener un rango de colores particular mientras que otra faceta de visualizador 2665 tiene un rango de colores diferente. De manera similar, una faceta de visualizador 2665 puede tener una tasa de cuadro particular mientras que otra faceta de visualizador 2665 tiene una tasa de cuadro diferente.
La FIGURA 27 ilustra una vista de despiece de la matriz de múltiples visualizadores curva 2600 de la FIGURA 26, y las FIGURAS 28-29 ilustran detalles adicionales de la faceta lógica 2655 y la faceta de visualizador 2665, según ciertas realizaciones. Como se ilustra en estas figuras, cada faceta lógica 2655 puede incluir almohadillas de interconexiones 2850 que se pueden acoplar eléctricamente a las almohadillas de interconexión 2250 de las facetas lógicas 2655 adyacentes. Esto puede permitir que las facetas de visualizador 2665 se acoplen en serie a través de pistas de cable 2230. Además, cada faceta lógica 2655 puede incluir almohadillas 2840 en un patrón que coincida con las almohadillas 2940 en la parte posterior de la faceta de visualizador 2665. Esto permite que la faceta lógica 2655 y la faceta de visualizador 2665 se acoplen entre sí usando cualquier técnica apropiada en la técnica. En algunas realizaciones, las almohadillas 2840 y las almohadillas 2940 son almohadillas de BGA o cualquier otra almohadilla de montaje en superficie adecuada.
Las FIGURAS 30 y 32 ilustran la parte posterior de la placa de circuito flexible 2210 de la FIGURA 22 y muestran detalles similares como se describió en referencia a la FIGURA 23. Las FIGURAS 31 y 33 ilustran un flujo de datos en serie a través de la placa de circuito flexible 2210, y muestran detalles similares como se describió en referencia a la FIGURA 24. La FIGURA 34 ilustra una matriz de facetas lógicas 2655 que se han formado en una forma semiesférica, según ciertas realizaciones. En esta figura, la placa de circuito flexible 2210 y la faceta de visualizador 2665 se han eliminado por claridad. La FIGURA 35 ilustra las comunicaciones entre las facetas lógicas 2655 de la FIGURA 34, según ciertas realizaciones. Como se ilustra en esta figura, cada faceta lógica 2655 se puede comunicar con facetas lógicas 2655 adyacentes usando las almohadillas de interconexión 2850. Además, cada faceta lógica 2655 puede tener una identificación única, como se ilustra en la FIGURA 35. Esto permite que cada faceta lógica 2655 se direccione de manera única, por ejemplo, mediante una unidad central de procesamiento.
La FIGURA 36 ilustra un método 3600 de fabricación de la matriz de múltiples visualizadores curva de la FIGURA 26. El método 3600 puede comenzar en el paso 3610 donde se forman una pluralidad de ubicaciones de facetas en una placa de circuito. En algunas realizaciones, las ubicaciones de facetas son las ubicaciones de facetas 2220 y la placa de circuito es la placa de circuito flexible 2210. En algunas realizaciones, cada ubicación de faceta corresponde a una de una pluralidad de facetas de visualizador, tales como las facetas de visualizador 2665.
En el paso 3620, la placa de circuito flexible se corta o se forma de otro modo en un patrón que permita que la placa de circuito flexible se forme más tarde en una forma 3D. Cuando la placa de circuito flexible es plana, al menos algunas de las ubicaciones de facetas están separadas de una o más ubicaciones de facetas adyacentes por una pluralidad de huecos, tales como los huecos 2215. Cuando la placa de circuito flexible se forma en la forma 3D, la pluralidad de huecos se eliminan sustancialmente.
En el paso 3630, una pluralidad de facetas lógicas se acopla a un primer lado de la placa de circuito flexible. Cada faceta lógica se acopla a una respectiva de las ubicaciones de facetas del paso 3610. En el paso 3640, una pluralidad de facetas de visualizador se acopla a una respectiva de la pluralidad de facetas lógicas del paso 3630. En realizaciones alternativas, las facetas de visualizador se pueden montar a las facetas lógicas del paso 3630 a nivel de oblea antes de acoplar las facetas lógicas al primer lado de la placa de circuito flexible. En el paso 3650, el conjunto de visualizador electrónico ensamblado se forma en la forma 3D. En algunas realizaciones, este paso puede ser similar al paso 2540 del método 2500 descrito anteriormente. Después del paso 3650, el método 3600 puede finalizar.
Las realizaciones particulares pueden repetir uno o más pasos del método 3600, cuando sea apropiado. Aunque esta descripción describe e ilustra pasos particulares del método 3600 como que ocurren en un orden particular, esta descripción contempla que cualquier paso adecuado del método 3600 ocurra en cualquier orden adecuado (por ejemplo, cualquier orden temporal). Además, aunque esta descripción describe e ilustra un método de fabricación de una matriz de múltiples visualizadores curva de ejemplo, esta descripción contempla cualquier método adecuado de fabricación de una matriz de múltiples visualizadores curva, que puede incluir todos, algunos o ninguno de los pasos del método 3600, cuando sea apropiado. Además, aunque esta descripción describe e ilustra componentes, dispositivos o sistemas particulares que llevan a cabo los pasos particulares del método 3600, esta descripción contempla cualquier combinación adecuada de cualquier componente, dispositivo o sistema adecuado que lleve a cabo los pasos adecuados del método 3600.
Las FIGURAS 37-42 ilustran una matriz de cámaras distribuidas de múltiples aperturas 3700. En general, para capturar el campo de luz completo de todo el campo visual de un solo ojo humano, se necesita un sensor de imágenes grande de alto rango dinámico con una resolución mucho más alta de lo que actualmente está disponible. Tal sensor de imágenes habilitaría una cámara de campo de luz con suficiente resolución angular y espacial para acomodar una agudeza visual humana de 20/20. Esta es una enorme cantidad de información, equivalente a un recuento total de píxeles horizontales de 100K a 200K. Este sensor de imágenes de múltiples aberturas también debe envolverse alrededor de todo el campo de visión de un ojo humano (aproximadamente 160° en horizontal y 130° en vertical). Para formación de imágenes de visión binocular, es necesario un par de tales cámaras que abarquen la totalidad de una superficie curva alrededor de cada ojo. Los conjuntos de sensores de imágenes típicos disponibles en la actualidad son incapaces de cumplir estos requisitos.
Para superar estas y otras limitaciones de los sensores de imágenes típicos, las realizaciones de la descripción proporcionan una matriz de pequeños sensores de imágenes de tamaños y formas personalizados, todos los cuales se ensamblan en una placa de circuito flexible 2210 más grande que tiene una forma 3D (por ejemplo, semiesférica). Los sensores de imágenes (por ejemplo, las facetas de sensor 3735) están montados en el lado exterior de la placa de circuito flexible 2210, donde se puede proporcionar otra capa que contiene una matriz de unidades lógicas de TFT (por ejemplo, las unidades lógicas 755) para manejar toda la gestión de energía y señales - una unidad lógica para cada visualizador. Cada sensor de imágenes opera como una unidad discreta que pasa datos de lectura a la unidad lógica detrás de él (en las realizaciones que incluyen unidades lógicas), donde se maneja y encamina en consecuencia (por ejemplo, a una faceta de visualizador 2665 correspondiente en algunas realizaciones). Esto permite que cada faceta de sensor 3735 actúe independientemente de cualquier otra faceta de sensor 3735, proporcionando una matriz grande de muchas aberturas que capturan contenido único en cada una, de manera que el conjunto completo llegue a ser esencialmente una cámara de múltiples nodos sin fisuras y de muy alta resolución. Se debería señalar que, si bien los sensores de imágenes pueden pasar datos a sus unidades lógicas emparejadas en algunas realizaciones, la funcionalidad de los sensores de imágenes en sí mismos no requiere necesariamente el acoplamiento de unidades lógicas.
Para cumplir los requisitos de resolución, claridad de color y salida de luminancia, cada microsensor puede tener una arquitectura de píxeles de alto rendimiento única. Por ejemplo, cada microsensor puede incluir matrices de píxeles de sensor 1800 como se describe en las FIGURAS 18-20 y sus descripciones asociadas en la Solicitud de Patente de EE. UU. N° 15/724.027 titulada “Stacked Transparent Pixel Structures for Image Sensor”, que se incorpora en la presente memoria por referencia en su totalidad. El microsensor se puede ensamblar en el mismo sustrato usando cualquier método apropiado. Tal fabricación simultánea usando capas de semiconductores estándar y procesos fotolitográficos elimina virtualmente los gastos generales y los costes asociados con la producción y el empaquetado de muchas pantallas individuales, mejorando en gran medida la asequibilidad.
0tra característica de ciertas realizaciones de la matriz de cámaras de múltiples aberturas distribuidas 3700 es la percepción de profundidad integrada en base a la paralaje entre diferentes células plenópticas. Las imágenes producidas por células en lados opuestos de un sensor dado se pueden usar para calcular el desplazamiento del detalle de imagen, donde la distancia de desplazamiento se correlaciona directamente con la proximidad del detalle a la superficie del sensor. Esta información de la escena se puede usar por un procesador central cuando se superpone cualquier señal de video aumentada, dando como resultado que el contenido de AR/MR se coloque frente al observador a la profundidad apropiada. La información también se puede usar para una variedad de tareas de difuminado de enfoque artificial y detección de profundidad, incluyendo profundidad de campo simulada, detección de bordes espaciales y otros efectos visuales.
La FIGURA 37 ilustra una vista en corte de la matriz de cámaras de múltiples aberturas distribuidas 3700. La FIGURA 37 es esencialmente la placa de circuito flexible 2210B de la FIGURA 22 con la adición de la faceta de sensor 3735 acoplada a la placa de circuito flexible 2210B en las ubicaciones de faceta 2220 En algunas realizaciones, cada faceta de sensor 3735 es una unidad de sensor 735 individual de la capa de sensores de imágenes 730.
En algunas realizaciones, cada faceta de sensor 3735 individual está acoplada a una placa de circuito flexible 2210. En otras realizaciones, cada faceta de sensor 3735 individual está acoplada a una de las facetas lógicas 2655 que se ha acoplado a la placa de circuito flexible 2210. En otras realizaciones, cada faceta lógica 2655 se acopla primero a una de las facetas de sensor 3735, y la faceta combinada luego se acopla a la placa de circuito flexible 2210. En tales realizaciones, se puede hacer referencia a la faceta lógica combinada 2655 y la faceta de sensor 3735 como faceta de sensor 3735 por simplicidad. Como se usa en la presente memoria, “faceta de sensor” puede referirse a ambas realizaciones (es decir, una faceta de sensor 3735 individual o una combinación de una faceta de sensor 3735 con una faceta lógica 2655).
En general, cada faceta de sensor 3735 se puede abordar individualmente (por ejemplo, mediante un procesador de control central no mostrado), y una colección de facetas de sensor 3735 puede representar una colección dinámica y heterogénea que forma un colectivo singular. En otras palabras, la matriz de cámaras de múltiples aberturas distribuidas 3700 proporciona un sistema de sensores electrónicos en mosaico que proporciona imágenes capturadas a través de facetas de sensor 3735 individuales que juntas forman un todo completo. Cada faceta de sensor 3735 individual es capaz de capturar imágenes a múltiples resoluciones diferentes y se puede personalizar sobre la marcha para capturar una resolución, rango de colores, tasa de cuadros, etc. diferentes. Por ejemplo, una faceta de sensor 3735 puede tener una resolución de captura de 512x512 mientras que una faceta de sensor 3735 adyacente (de igual tamaño) tiene una resolución de captura de 128x128, en donde la primera representa una concentración más alta de datos de imágenes. En este ejemplo, estos dos sensores son heterogéneos, pero son controlables individualmente y funcionan al unísono para capturar un campo de luz singular.
La colección general de facetas de sensor 3735 puede seguir cualquier estructura de superficie curva o plana. Por ejemplo, las facetas de sensor 3735 se pueden formar en una superficie semiesférica, una superficie cilíndrica, una superficie esférica oblonga o cualquier otra superficie conformada.
Las facetas de sensor 3735 pueden tener cualquier forma apropiada. En algunas realizaciones, las formas de las facetas de sensor 3735 coinciden con las formas de las facetas de visualizador 2665 y la forma de las ubicaciones de facetas 2220. En algunas realizaciones, las facetas de sensor 3735 tienen la forma de un polígono, tal como un triángulo, un cuadrilátero, un pentágono, un hexágono, un heptágono o un octágono. En algunas realizaciones, algunas o todas las facetas de sensor 3735 tienen formas no poligonales. Por ejemplo, las facetas de sensor 3735 en los bordes de la placa de circuito flexible 2210 pueden no ser poligonales, en la medida que pueden tener recortes curvos para mejorar la estética del conjunto en general.
Además de tener una resolución seleccionable/controlable, cada faceta de sensor 3735 en algunas realizaciones también puede tener un rango de colores seleccionable de una pluralidad de rangos de colores y/o una tasa de cuadro seleccionable de una pluralidad de tasas de cuadro. En tales realizaciones, las facetas de sensor 3735 de una placa de circuito flexible 2210 particular son configurables para proporcionar tasas de cuadro heterogéneas y rango de colores heterogéneo. Por ejemplo, una faceta de sensor 3735 puede tener un rango de colores particular mientras que otra faceta de sensor 3735 tiene un rango de colores diferente. De manera similar, una faceta de sensor 3735 puede tener una tasa de cuadros particular mientras que otra faceta de sensor 3735 tiene una tasa de cuadros diferente.
Las FIGURAS 38-39 ilustran vistas de despiece de la matriz de cámaras de múltiples aberturas distribuidas 3700 de la FIGURA 37. Como se ilustra en estas figuras, cada faceta de sensor 3735 puede incluir almohadillas 3940 en un patrón que coincida con las almohadillas 2240 en la placa de circuito flexible 2210 o las almohadillas 2940 en la faceta lógica 2655. Esto permite que la faceta de sensor 3735 se acople a la faceta lógica 2655 o la placa de circuito flexible 2210 usando cualquier técnica apropiada en la técnica. En algunas realizaciones, las almohadillas 3940 son almohadillas de BGA o cualquier otra almohadilla de montaje en superficie apropiada. Las FIGURAS 40-40 ilustran vistas similares de la placa de circuito flexible 2210 como se muestra en las FIGURAS 23-24, excepto que la placa de circuito flexible 2210 se haya formado en una forma tridimensional.
La FIGURA 42 ilustra un método 4200 de fabricación de una matriz de cámaras de múltiples aberturas distribuidas 3700. El método 4200 puede comenzar en el paso 4210 donde se forma una pluralidad de ubicaciones de facetas en una placa de circuito. En algunas realizaciones, las ubicaciones de facetas son las ubicaciones de facetas 2220 y la placa de circuito es la placa de circuito flexible 2210. En algunas realizaciones, cada ubicación de faceta corresponde a una de una pluralidad de facetas de sensor, tales como las facetas de sensor 3735.
En el paso 4220, la placa de circuito flexible se corta o se forma de otro modo en un patrón que permite que la placa de circuito flexible se forme más tarde en una forma 3D. Cuando la placa de circuito flexible es plana, al menos algunas de las ubicaciones de facetas están separadas de una o más ubicaciones de facetas adyacentes por una pluralidad de huecos tales como los huecos 2215. Cuando la placa de circuito flexible se forma en forma 3D, la pluralidad de huecos se elimina sustancialmente.
En el paso 4230, una pluralidad de facetas de sensor se acopla a un primer lado de la placa de circuito flexible. Cada faceta de sensor está acoplada a una respectiva de las ubicaciones de facetas del paso 4210. En el paso 4240, el conjunto de cámaras electrónicas ensambladas se forma en forma 3D. En algunas realizaciones, este paso puede ser similar al paso 2540 del método 2500 descrito anteriormente. Después del paso 4240, el método 4200 puede finalizar.
Las realizaciones particulares pueden repetir uno o más pasos del método 4200, cuando sea apropiado. Aunque esta descripción describe e ilustra pasos particulares del método 4200 como que ocurren en un orden particular, esta descripción contempla que cualquier paso adecuado del método 4200 ocurra en cualquier orden adecuado (por ejemplo, cualquier orden temporal). Además, aunque esta descripción describe e ilustra un método de ejemplo de fabricación de una matriz de cámaras de múltiples aberturas distribuidas, esta descripción contempla cualquier método adecuado de fabricación de una matriz de cámaras de múltiples aberturas distribuidas, que puede incluir todos, algunos o ninguno de los pasos del método 4200, cuando sea apropiado. Además, aunque esta descripción describe e ilustra componentes, dispositivos o sistemas particulares que llevan a cabo pasos particulares del método 4200, esta descripción contempla cualquier combinación adecuada de cualquier componente, dispositivo o sistema adecuado que lleve a cabo cualquier paso adecuado del método 4200.
En la presente memoria, “o” es inclusivo y no exclusivo, a menos que se indique expresamente de otro modo o se indique de otro modo por el contexto. Por lo tanto, en la presente memoria, “A o B” significa “A, B o ambos”, a menos que se indique expresamente de otro modo o se indique de otro modo por el contexto. Además, “y” es tanto conjunto como varios, a menos que se indique expresamente de otro modo o se indique de otro modo por el contexto. Por lo tanto, en la presente memoria, “A y B” significa “A y B, en forma conjunta o por separado”, a menos que se indique expresamente de otro modo o se indique de otro modo por el contexto.
El alcance de esta descripción abarca todos los cambios, sustituciones, variaciones, alteraciones y modificaciones a las realizaciones de ejemplo descritas o ilustradas en la presente memoria que comprendería una persona con experiencia ordinaria en la técnica. El alcance de esta descripción no se limita a las realizaciones de ejemplo descritas o ilustradas en la presente memoria. Además, aunque esta descripción describe e ilustra las realizaciones respectivas en la presente memoria como que incluyen componentes, elementos, funciones, operaciones o pasos particulares, cualquiera de estas realizaciones puede incluir cualquier combinación o permutación de cualquiera de los componentes, elementos, funciones, operaciones o pasos descritos o ilustrados en cualquier parte en la presente memoria que una persona que tenga experiencia ordinaria en la técnica comprendería. Además, la referencia en las reivindicaciones adjuntas a un aparato o sistema o un componente de un aparato o sistema que está adaptado, dispuesto para, capaz de, configurado para, habilitado para, operable para u operativo para realizar una función particular abarca ese aparato, sistema, componente, ya sea que él o esa función particular esté o no activada, encendida o desbloqueada, siempre que ese aparato, sistema o componente esté así adaptado, dispuesto, capacitado, configurado, habilitado, operable u operativo.
Aunque esta descripción describe e ilustra las realizaciones respectivas en la presente memoria como que incluyen componentes, elementos, funciones, operaciones o pasos particulares, cualquiera de estas realizaciones puede incluir cualquier combinación o permutación de cualquiera de los componentes, elementos, funciones, operaciones o pasos descritos o ilustrados en cualquier parte en la presente memoria que comprendería una persona que tenga conocimientos ordinarios en la técnica.
Además, la referencia en las reivindicaciones adjuntas a un aparato o sistema o un componente de un aparato o sistema que está adaptado para, dispuesto para, capaz de, configurado para, habilitado para, operable para u operativo para realizar una función particular abarca ese aparato, sistema, componente, ya sea que él o esa función en particular esté o no activada, encendida o desbloqueada, siempre que ese aparato, sistema o componente esté así adaptado, dispuesto, capacitado, configurado, habilitado, operable u operativo.

Claims (7)

REIVINDICACI0NES
1. Un conjunto de visualizador electrónico (710) que comprende:
una primera capa de microlentes (720A) en un primer lado de una placa de circuito (740), la primera capa de microlentes (720a ) que comprende una primera pluralidad de células;
una segunda capa de microlentes (720B) en un lado opuesto de la placa de circuito (740) de la primera capa de microlentes (720A), la segunda capa de microlentes (720B) que comprende una segunda pluralidad de células; una capa de sensores de imágenes (730) adyacente a la primera capa de microlentes (720A), la capa de sensores de imágenes (730) que comprende una pluralidad de píxeles de sensor configurados para detectar luz entrante a través de la primera pluralidad de células; y
una capa de visualizadores (760) adyacente a la segunda capa de microlentes (720B), la capa de visualizadores (760) que comprende una pluralidad de píxeles de visualización configurados para emitir luz a través de la segunda pluralidad de células;
en donde cada célula de la primera y segunda pluralidad de células comprende:
una lentilla transparente; y
una pluralidad de paredes opacas (1514) configuradas para impedir la entrada de luz en las células adyacentes.
2. El conjunto de visualizador electrónico (710) de la reivindicación 1, que comprende además una capa de filtro (1640) en al menos un extremo de cada célula de la primera y segunda pluralidad de células, la capa de filtro (1640) operable para limitar la luz que pasa a través de la capa de filtro (1640) a un ángulo de incidencia específico.
3. El conjunto de visualizador electrónico (710) de la reivindicación 2, en donde la capa de filtro (1640) comprende un recubrimiento o una película.
4. El conjunto de visualizador electrónico (710) de la reivindicación 1, en donde la lentilla transparente de cada célula de la primera y segunda pluralidad de células está formada por un polímero, vidrio de sílice o zafiro.
5. El conjunto de visualizador electrónico (710) de la reivindicación 4, en donde el polímero comprende policarbonato o acrílico.
6. El conjunto de visualizador electrónico (710) de la reivindicación 1, en donde la lentilla transparente de cada célula de la primera y segunda pluralidad de células comprende una forma tridimensional con una lente colimadora en un extremo de la forma tridimensional, la forma tridimensional que comprende:
un poliedro triangular;
un paralelepípedo rectangular;
un poliedro pentagonal;
un poliedro hexagonal;
un poliedro heptagonal; o
un poliedro octogonal.
7. Un método de fabricación de un visualizador electrónico (710), el método que comprende:
acoplar una capa de sensores de imágenes (730) a un primer lado de una placa de circuito;
acoplar una capa de visualizadores (760) a un segundo lado de la placa de circuito que es opuesto al primer lado; acoplar una primera capa de microlentes (720A) a la capa de sensores de imágenes, la primera capa de microlentes (720A) en el primer lado de una placa de circuito (740) y que comprende una primera pluralidad de células; y acoplar una segunda capa de microlentes (720B) a la capa de visualizadores (760), la segunda capa de microlentes (720B) en el lado opuesto de la placa de circuito (740) desde la primera capa de microlentes (720A) y que comprende una segunda pluralidad de células;
en donde la capa de sensores de imágenes (730) comprende una pluralidad de píxeles de sensor configurados para detectar la luz entrante a través de la primera pluralidad de células, y la capa de visualizadores (760) comprende una pluralidad de píxeles de visualizador configurados para emitir luz a través de la segunda pluralidad de células; en donde cada célula de la primera y segunda pluralidad de células comprende:
una lentilla transparente; y
una pluralidad de paredes opacas (1514) configuradas para impedir la entrada de luz en las células adyacentes.
ES19704502T 2018-02-07 2019-01-23 Sistema de formación imágenes celulares plenópticas Active ES2953632T3 (es)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/890,711 US10979699B2 (en) 2018-02-07 2018-02-07 Plenoptic cellular imaging system
PCT/US2019/014668 WO2019156807A1 (en) 2018-02-07 2019-01-23 Plenoptic cellular imaging system

Publications (1)

Publication Number Publication Date
ES2953632T3 true ES2953632T3 (es) 2023-11-14

Family

ID=65363385

Family Applications (1)

Application Number Title Priority Date Filing Date
ES19704502T Active ES2953632T3 (es) 2018-02-07 2019-01-23 Sistema de formación imágenes celulares plenópticas

Country Status (11)

Country Link
US (1) US10979699B2 (es)
EP (1) EP3750000B1 (es)
JP (1) JP7077411B2 (es)
KR (1) KR102479029B1 (es)
CN (1) CN111902762B (es)
AU (1) AU2019218741B2 (es)
CA (1) CA3090661C (es)
ES (1) ES2953632T3 (es)
MY (1) MY197937A (es)
SG (1) SG11202007486YA (es)
WO (1) WO2019156807A1 (es)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11616941B2 (en) 2018-02-07 2023-03-28 Lockheed Martin Corporation Direct camera-to-display system
US10652529B2 (en) 2018-02-07 2020-05-12 Lockheed Martin Corporation In-layer Signal processing
SG10202002922RA (en) * 2020-03-30 2021-10-28 Sharma Nishant SVVRON Effect - 3D TV & Camera (without Glasses)

Family Cites Families (222)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7075501B1 (en) 1990-12-31 2006-07-11 Kopin Corporation Head mounted display system
US5475514A (en) 1990-12-31 1995-12-12 Kopin Corporation Transferred single crystal arrayed devices including a light shield for projection displays
US6548956B2 (en) 1994-12-13 2003-04-15 The Trustees Of Princeton University Transparent contacts for organic devices
US6744912B2 (en) 1996-11-29 2004-06-01 Varian Medical Systems Technologies, Inc. Multiple mode digital X-ray imaging system
US5731899A (en) 1996-12-20 1998-03-24 Eastman Kodak Company Lenslet array system incorporating an integral field lens/reimager lenslet array
WO1999038046A1 (en) * 1998-01-23 1999-07-29 Burger Robert J Lenslet array systems and methods
JPH11272209A (ja) 1998-01-30 1999-10-08 Hewlett Packard Co <Hp> 表示用集積回路ビデオ・タイル
US6801185B2 (en) * 2000-04-14 2004-10-05 C-360, Inc. Illuminated viewing assembly, viewing system including the illuminated viewing assembly, and method of viewing therefor
US6775048B1 (en) * 2000-10-31 2004-08-10 Microsoft Corporation Microelectrical mechanical structure (MEMS) optical modulator and optical display system
US6724012B2 (en) 2000-12-14 2004-04-20 Semiconductor Energy Laboratory Co., Ltd. Display matrix with pixels having sensor and light emitting portions
JP4543560B2 (ja) 2001-02-09 2010-09-15 日本電気株式会社 表示機能を内蔵した画像入力装置
WO2003014010A1 (en) 2001-08-08 2003-02-20 Jsr Corporation Three-dimensional opto-electronic micro-system
TWI289896B (en) 2001-11-09 2007-11-11 Semiconductor Energy Lab Laser irradiation apparatus, laser irradiation method, and method of manufacturing a semiconductor device
US7233354B2 (en) 2002-10-11 2007-06-19 Hewlett-Packard Development Company, L.P. Digital camera that adjusts resolution for low light conditions
US7015639B2 (en) 2002-10-22 2006-03-21 Osram Opto Semiconductors Gmbh Electroluminescent devices and method of making transparent cathodes
FR2852147B1 (fr) 2003-03-06 2005-09-30 Commissariat Energie Atomique Matrice de pixels detecteurs integree sur circuit de lecture de charges
US6909233B2 (en) 2003-06-11 2005-06-21 Eastman Kodak Company Stacked OLED display having improved efficiency
US8884845B2 (en) 2003-10-28 2014-11-11 Semiconductor Energy Laboratory Co., Ltd. Display device and telecommunication system
DE102004003013B3 (de) 2004-01-20 2005-06-02 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Bilderfassungssystem und dessen Verwendung
US20050206755A1 (en) 2004-03-17 2005-09-22 Fuji Photo Film Co., Ltd. Solid-state imaging device
US20050205879A1 (en) 2004-03-17 2005-09-22 Fuji Photo Film Co., Ltd. Photoelectric converting film stack type solid-state image pickup device
JP2005268609A (ja) 2004-03-19 2005-09-29 Fuji Photo Film Co Ltd 多層積層型多画素撮像素子及びテレビカメラ
US7352415B1 (en) * 2004-04-23 2008-04-01 Geronimi Heather A Electronic image display systems
US20050242712A1 (en) 2004-04-29 2005-11-03 Chao-Chin Sung Multicolor electroluminescent display
AU2005269256B2 (en) 2004-08-03 2008-08-07 Silverbrook Research Pty Ltd Head mounted display with wave front modulator
EP1812968B1 (en) 2004-08-25 2019-01-16 Callahan Cellular L.L.C. Apparatus for multiple camera devices and method of operating same
GB2420536A (en) 2004-11-27 2006-05-31 Tom Vlaming Automotive head up display system
JP2007012359A (ja) 2005-06-29 2007-01-18 Hitachi Displays Ltd 有機ｅｌ表示装置
KR100704765B1 (ko) * 2005-07-12 2007-04-10 에이디반도체(주) 발광표시용 정전용량 스위치
US11428937B2 (en) 2005-10-07 2022-08-30 Percept Technologies Enhanced optical and perceptual digital eyewear
US20070123133A1 (en) 2005-11-30 2007-05-31 Eastman Kodak Company OLED devices with color filter array units
US9101279B2 (en) 2006-02-15 2015-08-11 Virtual Video Reality By Ritchey, Llc Mobile user borne brain activity data and surrounding environment data correlation system
TW200803606A (en) 2006-06-13 2008-01-01 Itc Inc Ltd The fabrication of full color OLED panel using micro-cavity structure
US7542210B2 (en) 2006-06-29 2009-06-02 Chirieleison Sr Anthony Eye tracking head mounted display
JP2008066814A (ja) * 2006-09-05 2008-03-21 Murata Mach Ltd 光学読取装置および画像読取装置
US7714923B2 (en) 2006-11-02 2010-05-11 Eastman Kodak Company Integrated display and capture apparatus
US7697053B2 (en) 2006-11-02 2010-04-13 Eastman Kodak Company Integrated display having multiple capture devices
US7808540B2 (en) 2007-01-09 2010-10-05 Eastman Kodak Company Image capture and integrated display apparatus
US20080218331A1 (en) 2007-03-08 2008-09-11 Itt Manufacturing Enterprises, Inc. Augmented reality-based system and method to show the location of personnel and sensors inside occluded structures and provide increased situation awareness
US8384630B2 (en) 2007-05-31 2013-02-26 Nthdegree Technologies Worldwide Inc Light emitting, photovoltaic or other electronic apparatus and system
US7952059B2 (en) 2007-06-13 2011-05-31 Eyes Of God, Inc. Viewing system for augmented reality head mounted display with rotationally symmetric aspheric lenses
CN101345248B (zh) 2007-07-09 2010-07-14 博立码杰通讯(深圳)有限公司 多光谱感光器件及其制作方法
KR20090038242A (ko) 2007-10-15 2009-04-20 삼성전자주식회사 전하를 트랩하는 광전 발생부를 포함하는 이미지 센서
KR100916321B1 (ko) 2007-12-17 2009-09-11 한국전자통신연구원 유기 발광 다이오드 터치스크린 장치 및 그 제조 방법
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US8339429B2 (en) 2008-07-24 2012-12-25 International Business Machines Corporation Display monitor electric power consumption optimization
US7948547B2 (en) * 2008-08-05 2011-05-24 Eastman Kodak Company Apparatus and method for capturing and viewing images
US8610650B2 (en) 2009-05-20 2013-12-17 Dialog Semiconductor Gmbh Advanced multi line addressing
DE102010000925B4 (de) 2010-01-14 2012-04-19 Kreyenborg Beteiligungen Und Verwaltungen Gmbh & Co. Kg Siebträgerelement für eine Filtriereinrichtung mit wenigstens einer Siebkavität
US8749620B1 (en) 2010-02-20 2014-06-10 Lytro, Inc. 3D light field cameras, images and files, and methods of using, operating, processing and viewing same
US8482859B2 (en) 2010-02-28 2013-07-09 Osterhout Group, Inc. See-through near-eye display glasses wherein image light is transmitted to and reflected from an optically flat film
US20120249797A1 (en) 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
US8964298B2 (en) 2010-02-28 2015-02-24 Microsoft Corporation Video display modification based on sensor input for a see-through near-to-eye display
US9229227B2 (en) 2010-02-28 2016-01-05 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a light transmissive wedge shaped illumination system
CN103026367B (zh) 2010-06-11 2017-07-04 焦点再现 用于渲染显示以补偿观看者的视力损伤的系统和方法
US8163581B1 (en) 2010-10-13 2012-04-24 Monolith IC 3D Semiconductor and optoelectronic devices
US9632315B2 (en) 2010-10-21 2017-04-25 Lockheed Martin Corporation Head-mounted display apparatus employing one or more fresnel lenses
US8576276B2 (en) 2010-11-18 2013-11-05 Microsoft Corporation Head-mounted display device which provides surround video
TWI462265B (zh) 2010-11-30 2014-11-21 Ind Tech Res Inst 影像擷取裝置
WO2012083042A1 (en) 2010-12-16 2012-06-21 Lockheed Martin Corporation Collimating display with pixel lenses
CN105023550B (zh) 2010-12-17 2017-07-11 杜比实验室特许公司 用于宽色域和高亮度的n 调制
US9179134B2 (en) 2011-01-18 2015-11-03 Disney Enterprises, Inc. Multi-layer plenoptic displays that combine multiple emissive and light modulating planes
CN103404124A (zh) 2011-03-01 2013-11-20 松下电器产业株式会社 固体摄像装置
JP2012205015A (ja) 2011-03-24 2012-10-22 Casio Comput Co Ltd 画像処理装置及び画像処理方法、並びにプログラム
US8605082B2 (en) 2011-04-18 2013-12-10 Brian K. Buchheit Rendering adjustments to autocompensate for users with ocular abnormalities
US20150077312A1 (en) 2011-05-13 2015-03-19 Google Inc. Near-to-eye display having adaptive optics
US8508830B1 (en) 2011-05-13 2013-08-13 Google Inc. Quantum dot near-to-eye display
KR101252169B1 (ko) 2011-05-27 2013-04-05 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
US9454851B2 (en) 2011-06-24 2016-09-27 Intel Corporation Efficient approach to estimate disparity map
US20130175557A1 (en) 2011-09-02 2013-07-11 The Procter & Gamble Company Light emitting apparatus
US20130083003A1 (en) 2011-09-30 2013-04-04 Kathryn Stone Perez Personal audio/visual system
US20130188045A1 (en) 2012-01-20 2013-07-25 Nokia Corporation High Resolution Surveillance Camera
US8848006B2 (en) * 2012-01-25 2014-09-30 Massachusetts Institute Of Technology Tensor displays
US9368546B2 (en) 2012-02-15 2016-06-14 Microsoft Technology Licensing, Llc Imaging structure with embedded light sources
US9578318B2 (en) 2012-03-14 2017-02-21 Microsoft Technology Licensing, Llc Imaging structure emitter calibration
US20130286053A1 (en) 2012-04-25 2013-10-31 Rod G. Fleck Direct view augmented reality eyeglass-type display
KR101260287B1 (ko) 2012-04-27 2013-05-03 (주)뷰아이텍 증강 현실을 이용한 안경 렌즈 비교 시뮬레이션 방법
US9210392B2 (en) 2012-05-01 2015-12-08 Pelican Imaging Coporation Camera modules patterned with pi filter groups
US9001427B2 (en) 2012-05-30 2015-04-07 Microsoft Technology Licensing, Llc Customized head-mounted display device
US9179126B2 (en) 2012-06-01 2015-11-03 Ostendo Technologies, Inc. Spatio-temporal light field cameras
JP2015534734A (ja) 2012-06-28 2015-12-03 ペリカン イメージング コーポレイション 欠陥のあるカメラアレイ、光学アレイ、およびセンサを検出するためのシステムおよび方法
US9494797B2 (en) 2012-07-02 2016-11-15 Nvidia Corporation Near-eye parallax barrier displays
US9841537B2 (en) * 2012-07-02 2017-12-12 Nvidia Corporation Near-eye microlens array displays
US9992453B2 (en) 2012-07-20 2018-06-05 Freedom Scientific, Inc. Multiposition magnifier camera
EP2690483A1 (en) 2012-07-25 2014-01-29 Johnson Controls Automotive Electronics SAS Head-up display and method for operating it
US8754829B2 (en) 2012-08-04 2014-06-17 Paul Lapstun Scanning light field camera and display
US9250445B2 (en) * 2012-08-08 2016-02-02 Carol Ann Tosaya Multiple-pixel-beam retinal displays
US9349769B2 (en) * 2012-08-22 2016-05-24 Taiwan Semiconductor Manufacturing Company, Ltd. Image sensor comprising reflective guide layer and method of forming the same
JP2014048652A (ja) 2012-09-04 2014-03-17 Japan Display Inc 液晶表示装置
US9237263B2 (en) 2012-10-05 2016-01-12 Vidinoti Sa Annotation method and apparatus
EP2915156A4 (en) 2012-11-01 2015-10-28 Lellan Inc MODULAR PANEL LIGHTED WITHOUT INTERRUPTION
US9933684B2 (en) 2012-11-16 2018-04-03 Rockwell Collins, Inc. Transparent waveguide display providing upper and lower fields of view having a specific light output aperture configuration
JP6220125B2 (ja) 2012-12-28 2017-10-25 キヤノン株式会社 撮像装置およびその制御方法
US9769365B1 (en) 2013-02-15 2017-09-19 Red.Com, Inc. Dense field imaging
TWI540780B (zh) 2013-03-13 2016-07-01 松下知識產權經營股份有限公司 有機電致發光元件及使用此元件之照明裝置
KR102560629B1 (ko) 2013-03-15 2023-07-26 매직 립, 인코포레이티드 디스플레이 시스템 및 방법
TWI649675B (zh) 2013-03-28 2019-02-01 新力股份有限公司 Display device
US9899598B2 (en) 2013-05-01 2018-02-20 Konica Minolta, Inc. Organic electroluminescent element
US9036078B1 (en) 2013-05-14 2015-05-19 Google Inc. Reducing light damage in shutterless imaging devices
JP6308475B2 (ja) 2013-05-17 2018-04-11 パナソニックＩｐマネジメント株式会社 有機エレクトロルミネッセンス素子及び照明装置
US9519144B2 (en) 2013-05-17 2016-12-13 Nvidia Corporation System, method, and computer program product to produce images for a near-eye light field display having a defect
WO2014188018A1 (es) * 2013-05-21 2014-11-27 BLASCO WHYTE, Isabel Lena Integración monolítica de lentes plenópticas sobre sustratos fotosensores
KR20140140861A (ko) 2013-05-30 2014-12-10 영남대학교 산학협력단 유기발광표시장치
JP6098375B2 (ja) 2013-05-31 2017-03-22 日本精機株式会社 ヘッドアップディスプレイ装置
US9874749B2 (en) 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
CN103353663B (zh) 2013-06-28 2016-08-10 北京智谷睿拓技术服务有限公司 成像调整装置及方法
KR20150006731A (ko) 2013-07-09 2015-01-19 삼성디스플레이 주식회사 표시장치 및 그 구동 방법
US20150022643A1 (en) 2013-07-19 2015-01-22 Google Inc. Asymmetric Sensor Array for Capturing Images
GB201314984D0 (en) 2013-08-21 2013-10-02 Sony Comp Entertainment Europe Head-mountable apparatus and systems
US9158115B1 (en) 2013-09-16 2015-10-13 Amazon Technologies, Inc. Touch control for immersion in a tablet goggles accessory
US9454008B2 (en) 2013-10-07 2016-09-27 Resonance Technology, Inc. Wide angle personal displays
TWI498769B (zh) 2013-11-18 2015-09-01 Quanta Comp Inc 頭戴式顯示裝置及其登入方法
CN107329259B (zh) 2013-11-27 2019-10-11 奇跃公司 虚拟和增强现实系统与方法
US8958158B1 (en) 2013-12-03 2015-02-17 Google Inc. On-head detection for head-mounted display
KR102283111B1 (ko) 2013-12-17 2021-07-29 마수피얼 홀딩스 아이엔시. 통합 마이크로옵틱 이미저, 프로세서 및 디스플레이
US10274731B2 (en) 2013-12-19 2019-04-30 The University Of North Carolina At Chapel Hill Optical see-through near-eye display using point light source backlight
US10381395B2 (en) 2013-12-24 2019-08-13 Sony Semiconductor Solutions Corporation Light control device with stacked light control layers
BR112016012076A2 (pt) 2013-12-27 2017-08-08 Intel Corp Dispositivo, método e sistema de fornecer visor estendido com visor montado na cabeça
WO2015100714A1 (en) 2014-01-02 2015-07-09 Empire Technology Development Llc Augmented reality (ar) system
US9671613B2 (en) 2014-09-26 2017-06-06 Osterhout Group, Inc. See-through computer display systems
US9651784B2 (en) 2014-01-21 2017-05-16 Osterhout Group, Inc. See-through computer display systems
KR102291619B1 (ko) 2014-02-26 2021-08-23 삼성디스플레이 주식회사 유기 발광 표시 장치
WO2015134740A1 (en) 2014-03-05 2015-09-11 Arizona Board Of Regents On Behalf Of The University Of Arizona Wearable 3d augmented reality display with variable focus and/or object recognition
US9568727B2 (en) 2014-03-25 2017-02-14 Amazon Technologies, Inc. Electrowetting display pixel architecture
CN106133583B (zh) 2014-03-26 2019-07-16 依视路国际公司 用于增强现实的方法和系统
US9710881B2 (en) 2014-04-05 2017-07-18 Sony Interactive Entertainment America Llc Varying effective resolution by screen location by altering rasterization parameters
US9843787B2 (en) 2014-04-24 2017-12-12 Qualcomm Incorporated Generation and use of a 3D radon image
WO2015162098A1 (en) 2014-04-24 2015-10-29 Carl Zeiss Meditec, Inc. Functional vision testing using light field displays
CN106464970B (zh) 2014-05-09 2019-11-19 麦克赛尔株式会社 影像再现装置、显示装置和发送装置
EP3146715B1 (en) 2014-05-20 2022-03-23 University Of Washington Through Its Center For Commercialization Systems and methods for mediated-reality surgical visualization
US9706910B1 (en) 2014-05-29 2017-07-18 Vivid Vision, Inc. Interactive system for vision assessment and correction
KR102205856B1 (ko) 2014-06-11 2021-01-21 삼성디스플레이 주식회사 센서를 포함하는 유기 발광 표시 장치
EP3155668B1 (en) 2014-06-16 2021-02-17 B.G. Negev Technologies & Applications Ltd., at Ben-Gurion University Swir to visible image up-conversion integrated device
US20160267851A1 (en) 2014-06-17 2016-09-15 Nato Pirtskhlava One Way Display
US9581821B2 (en) 2014-06-24 2017-02-28 Fakespace Labs, Inc. Head mounted augmented reality display
US10198865B2 (en) 2014-07-10 2019-02-05 Seiko Epson Corporation HMD calibration with direct geometric modeling
US9596456B2 (en) 2014-07-16 2017-03-14 Quanta Computer Inc. Head mounted display system
JP6571110B2 (ja) 2014-07-18 2019-09-04 ビュージックス コーポレーションＶｕｚｉｘ Ｃｏｒｐｏｒａｔｉｏｎ 自己発光型マイクロディスプレイエンジンを有する接眼ディスプレイ
CN104166259B (zh) 2014-07-30 2017-02-08 京东方科技集团股份有限公司 显示基板及其驱动方法和显示装置
US10739882B2 (en) 2014-08-06 2020-08-11 Apple Inc. Electronic device display with array of discrete light-emitting diodes
JP6501462B2 (ja) 2014-08-08 2019-04-17 キヤノン株式会社 光電変換装置及び光電変換装置の駆動方法
US9465991B2 (en) 2014-08-11 2016-10-11 Microsoft Technology Licensing, Llc Determining lens characteristics
US9626936B2 (en) 2014-08-21 2017-04-18 Microsoft Technology Licensing, Llc Dimming module for augmented and virtual reality
KR102271817B1 (ko) 2014-09-26 2021-07-01 삼성전자주식회사 증강현실을 위한 스마트 콘택렌즈와 그 제조 및 동작방법
GB2532003A (en) 2014-10-31 2016-05-11 Nokia Technologies Oy Method for alignment of low-quality noisy depth map to the high-resolution colour image
CN105744257B (zh) 2014-12-08 2018-06-12 北京蚁视科技有限公司 一种光学隐形装置
US9824498B2 (en) 2014-12-30 2017-11-21 Sony Interactive Entertainment Inc. Scanning display system in head-mounted display for virtual reality
KR102311741B1 (ko) 2015-01-14 2021-10-12 삼성디스플레이 주식회사 머리 장착형 디스플레이 장치
US10049495B2 (en) 2015-01-14 2018-08-14 Hashplay Inc. System and method for providing virtual reality content
US20160252727A1 (en) 2015-02-27 2016-09-01 LAFORGE Optical, Inc. Augmented reality eyewear
US9734554B2 (en) 2015-02-27 2017-08-15 Charter Communications Operating, Llc Compensation for viewing with common vision abnormalities
US20160269720A1 (en) 2015-03-11 2016-09-15 Oculus Vr, Llc Flexible substrate display panel and panel geometry for ergonomics
US10417832B2 (en) 2015-03-11 2019-09-17 Facebook Technologies, Llc Display device supporting configurable resolution regions
CN107742501B (zh) 2015-03-17 2019-09-13 深圳云英谷科技有限公司 显示器子像素排布及其驱动电路
CN107615136B (zh) 2015-04-08 2021-05-11 迪斯帕列斯有限公司 光学透视显示元件和使用这样的元件的设备
US10085005B2 (en) 2015-04-15 2018-09-25 Lytro, Inc. Capturing light-field volume image and video data using tiled light-field cameras
US10152906B2 (en) 2015-04-26 2018-12-11 Mems Start, Llc Near-eye display system and method
US9912897B2 (en) 2015-05-11 2018-03-06 Semiconductor Energy Laboratory Co., Ltd. Imaging device and electronic device
CN107847354A (zh) 2015-05-12 2018-03-27 新加坡科技研究局 用于显示视频图像的系统和方法
CN104795026A (zh) 2015-05-13 2015-07-22 京东方科技集团股份有限公司 全彩有机发光二极管像素的驱动电路及其驱动方法
JP2016225221A (ja) 2015-06-02 2016-12-28 コニカミノルタ株式会社 電界発光素子
US9728143B2 (en) 2015-06-29 2017-08-08 Amazon Technologies, Inc. System and method for driving electrowetting display device
US10359630B2 (en) 2015-06-30 2019-07-23 Massachusetts Institute Of Technology Display apparatus comprising first and second optical phased arrays and method for augmented reality
EP3317716B1 (en) 2015-07-03 2020-03-11 Essilor International Methods and systems for augmented reality
KR102348760B1 (ko) 2015-07-24 2022-01-07 삼성전자주식회사 이미지 센서 및 그에 따른 신호 처리 방법
US10359629B2 (en) 2015-08-03 2019-07-23 Facebook Technologies, Llc Ocular projection based on pupil position
CN105093532A (zh) 2015-08-03 2015-11-25 京东方科技集团股份有限公司 虚拟现实眼镜及显示方法
US20170038607A1 (en) 2015-08-04 2017-02-09 Rafael Camara Enhanced-reality electronic device for low-vision pathologies, and implant procedure
KR101808852B1 (ko) 2015-08-18 2017-12-13 권혁제 가상현실 헤드셋을 이용한 안경 렌즈 비교 시뮬레이션 시스템 및 그 방법
WO2017039308A1 (en) 2015-08-31 2017-03-09 Samsung Electronics Co., Ltd. Virtual reality display apparatus and display method thereof
CN105192982B (zh) 2015-09-07 2018-03-23 北京小鸟看看科技有限公司 可调节式虚拟现实头盔的图像矫正方法和系统
KR20170033462A (ko) 2015-09-16 2017-03-27 삼성디스플레이 주식회사 전자 기기 및 헤드 마운트 디스플레이 장치의 영상 표시 방법
KR102404648B1 (ko) 2015-09-21 2022-05-31 엘지디스플레이 주식회사 표시장치
EP3353630B1 (en) 2015-09-24 2021-05-26 Tobii AB Eye-tracking enabled wearable devices
US20170090194A1 (en) 2015-09-24 2017-03-30 Halo Augmented Reality Ltd. System And Method For Subtractive Augmented Reality And Display Contrast Enhancement
US20170092232A1 (en) 2015-09-30 2017-03-30 Brian Mullins Optical true time delay circuit in a head-mounted display
KR102521944B1 (ko) 2015-10-02 2023-04-18 삼성디스플레이 주식회사 머리 탑재형 표시 장치 및 이의 제조 방법
KR102406606B1 (ko) 2015-10-08 2022-06-09 삼성디스플레이 주식회사 유기 발광 소자, 이를 포함하는 유기 발광 표시 장치, 및 이의 제조 방법
US11609427B2 (en) 2015-10-16 2023-03-21 Ostendo Technologies, Inc. Dual-mode augmented/virtual reality (AR/VR) near-eye wearable displays
US20170123488A1 (en) 2015-10-28 2017-05-04 Microsoft Technology Licensing, Llc Tracking of wearer's eyes relative to wearable device
US10338677B2 (en) 2015-10-28 2019-07-02 Microsoft Technology Licensing, Llc Adjusting image frames based on tracking motion of eyes
KR102448611B1 (ko) 2015-10-30 2022-09-27 엘지디스플레이 주식회사 유기 발광 표시 장치
KR102516054B1 (ko) 2015-11-13 2023-03-31 삼성디스플레이 주식회사 유기발광표시장치 및 유기발광표시장치의 제조 방법
KR20170061602A (ko) 2015-11-26 2017-06-05 가부시키가이샤 한도오따이 에네루기 켄큐쇼 반도체 장치 및 전자 기기
US10204451B2 (en) 2015-11-30 2019-02-12 Microsoft Technology Licensing, Llc Multi-optical surface optical design
US10445860B2 (en) 2015-12-08 2019-10-15 Facebook Technologies, Llc Autofocus virtual reality headset
EP3179334A1 (en) 2015-12-09 2017-06-14 Airbus Defence and Space GmbH Device and method for testing function or use of a head worn see through augmented reality device
KR102701853B1 (ko) 2015-12-14 2024-09-02 삼성전자주식회사 이미지 센서
US20170169612A1 (en) 2015-12-15 2017-06-15 N.S. International, LTD Augmented reality alignment system and method
US10438410B2 (en) 2015-12-22 2019-10-08 Intel Corporation Text enhancements for head-mounted displays
JP6641987B2 (ja) 2015-12-25 2020-02-05 セイコーエプソン株式会社 虚像表示装置
US10241319B2 (en) 2015-12-28 2019-03-26 Amazon Technologies, Inc. Electrowetting display pixels with fluid motion initiator
KR102458645B1 (ko) 2015-12-28 2022-10-25 엘지디스플레이 주식회사 표시장치와 그 구동 방법
JP6607777B2 (ja) 2015-12-28 2019-11-20 ルネサスエレクトロニクス株式会社 半導体装置およびその製造方法
KR102570950B1 (ko) 2015-12-28 2023-08-25 엘지디스플레이 주식회사 개인 몰입형 장치의 표시장치
US10038033B2 (en) 2015-12-29 2018-07-31 Industrial Technology Research Institute Image sensor
KR102470377B1 (ko) 2015-12-31 2022-11-23 엘지디스플레이 주식회사 개인 몰입형 기기의 표시장치
US9946073B2 (en) 2015-12-31 2018-04-17 Oculus Vr, Llc Methods and systems for eliminating strobing by switching display modes in response to detecting saccades
WO2017120552A1 (en) 2016-01-06 2017-07-13 Meta Company Apparatuses, methods and systems for pre-warping images for a display system with a distorting optical component
EP3403130A4 (en) 2016-01-12 2020-01-01 eSIGHT CORP. METHODS AND DEVICES FOR INCREASING LANGUAGE ELEMENT VISION
US9998695B2 (en) 2016-01-29 2018-06-12 Ford Global Technologies, Llc Automotive imaging system including an electronic image sensor having a sparse color filter array
JP2017134365A (ja) 2016-01-29 2017-08-03 大日本印刷株式会社 レンズシート、撮像モジュール、及び撮像装置
US9836652B2 (en) 2016-02-02 2017-12-05 International Business Machines Corporation Showing danger areas associated with objects using augmented-reality display techniques
CN105572877B (zh) 2016-02-03 2018-11-09 上海群英软件有限公司 一种头戴式增强现实智能显示装置
EP3442826A4 (en) 2016-04-14 2019-02-20 Gentex Corporation VIEW CORRECTIVE VEHICLE INDICATOR
KR102520143B1 (ko) 2016-07-25 2023-04-11 매직 립, 인코포레이티드 광 필드 프로세서 시스템
CN106309089B (zh) 2016-08-29 2019-03-01 深圳市爱思拓信息存储技术有限公司 Vr视力矫正方法及装置
EP3293959A1 (en) 2016-09-07 2018-03-14 Thomson Licensing Plenoptic imaging device equipped with an enhanced optical system
US11160688B2 (en) 2016-11-10 2021-11-02 Samsung Electronics Co., Ltd. Visual aid display device and method of operating the same
US20190057957A1 (en) 2016-12-21 2019-02-21 PhantaField, Inc. Augmented reality display system
US9977248B1 (en) 2016-12-21 2018-05-22 PhantaField, Inc. Augmented reality display system
DE102017200112B4 (de) 2017-01-05 2021-03-18 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Erzeugung eines dynamischen Lichtfeldes
US20180269260A1 (en) 2017-01-29 2018-09-20 Emagin Corporation Quantum dot array on directly patterned amoled displays and method of fabrication
CN107260505A (zh) 2017-02-14 2017-10-20 合肥中感微电子有限公司 视力保护方法、装置及具有视力保护功能的vr眼镜
US10163963B2 (en) 2017-04-05 2018-12-25 Semiconductor Components Industries, Llc Image sensors with vertically stacked photodiodes and vertical transfer gates
US10178334B2 (en) 2017-04-07 2019-01-08 Raytheon Company System for and method of configurable diagonal and multi-mission line scan array imaging
US10638069B2 (en) 2017-04-07 2020-04-28 Raytheon Company System for and method of configurable line scan array imaging
US10249800B1 (en) 2017-10-03 2019-04-02 Lockheed Martin Corporation Stacked transparent pixel structures for electronic displays
US10930709B2 (en) 2017-10-03 2021-02-23 Lockheed Martin Corporation Stacked transparent pixel structures for image sensors
US10510812B2 (en) 2017-11-09 2019-12-17 Lockheed Martin Corporation Display-integrated infrared emitter and sensor structures
US10690910B2 (en) * 2018-02-07 2020-06-23 Lockheed Martin Corporation Plenoptic cellular vision correction
US10129984B1 (en) 2018-02-07 2018-11-13 Lockheed Martin Corporation Three-dimensional electronics distribution by geodesic faceting

Also Published As

Publication number Publication date
CA3090661A1 (en) 2019-08-15
AU2019218741B2 (en) 2022-02-24
EP3750000B1 (en) 2023-07-05
WO2019156807A1 (en) 2019-08-15
MY197937A (en) 2023-07-25
US10979699B2 (en) 2021-04-13
SG11202007486YA (en) 2020-09-29
CN111902762B (zh) 2022-12-09
JP2021513271A (ja) 2021-05-20
US20190246097A1 (en) 2019-08-08
CA3090661C (en) 2022-10-04
KR102479029B1 (ko) 2022-12-20
AU2019218741A1 (en) 2020-09-03
KR20200113272A (ko) 2020-10-06
JP7077411B2 (ja) 2022-05-30
CN111902762A (zh) 2020-11-06
EP3750000A1 (en) 2020-12-16

Similar Documents

Publication Publication Date Title
KR102634763B1 (ko) 측지 패싯팅에 의한 3차원 전자 기기 분포
US10690910B2 (en) Plenoptic cellular vision correction
US10594951B2 (en) Distributed multi-aperture camera array
US10866413B2 (en) Eccentric incident luminance pupil tracking
ES2953632T3 (es) Sistema de formación imágenes celulares plenópticas
US11146781B2 (en) In-layer signal processing
US10698201B1 (en) Plenoptic cellular axis redirection
ES2928489T3 (es) Conjuntos de visualización con transparencia emulada electrónicamente
US10951883B2 (en) Distributed multi-screen array for high density display
US11616941B2 (en) Direct camera-to-display system
WO2020101917A1 (en) Plenoptic cellular vision correction