CN111902762A - 全光基元成像系统 - Google Patents

全光基元成像系统 Download PDF

Info

Publication number
CN111902762A
CN111902762A CN201980019851.1A CN201980019851A CN111902762A CN 111902762 A CN111902762 A CN 111902762A CN 201980019851 A CN201980019851 A CN 201980019851A CN 111902762 A CN111902762 A CN 111902762A
Authority
CN
China
Prior art keywords
display
sensor
layer
facet
electronic display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201980019851.1A
Other languages
English (en)
Other versions
CN111902762B (zh
Inventor
M·A·拉姆金
K·M·灵根贝格
J·D·拉姆金
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Lockheed Martin Corp
Original Assignee
Lockheed Martin Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Lockheed Martin Corp filed Critical Lockheed Martin Corp
Publication of CN111902762A publication Critical patent/CN111902762A/zh
Application granted granted Critical
Publication of CN111902762B publication Critical patent/CN111902762B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G02B3/0037—Arrays characterized by the distribution or form of lenses
    • G02B3/0056—Arrays characterized by the distribution or form of lenses arranged along two different directions in a plane, e.g. honeycomb arrangement of lenses
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/27—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/388—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/001—Constructional or mechanical details

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Optical Elements Other Than Lenses (AREA)
  • Amplifiers (AREA)
  • Optical Communication System (AREA)
  • Adjustment Of Camera Lenses (AREA)

Abstract

在一个实施例中，一种电子显示组件包括微透镜层和像素阵列层。微透镜层包括多个基元。像素阵列层与微透镜层相邻。所述像素阵列层包括多个像素。所述多个基元中的每个基元包括透明小透镜以及以下中的一者或两者：多个不透明壁，被配置成防止光泄漏到相邻基元中；以及位于所述多个基元中的每个基元的一端的滤光层。所述滤光层被配置成将通过所述滤光层的光限制于特定的入射角。

Description

全光基元成像系统
技术领域
本公开一般地涉及光场显示器和相机，并且更具体地讲，涉及全光基元成像系统。
背景技术
电子显示器被用在各种应用中。例如，显示器被用在智能电话、膝上型计算机和数字相机中。除了电子显示器之外，一些装置(诸如，智能电话和数字相机)还可包括图像传感器。尽管一些相机和电子显示器分开地捕获和再现光场，但光场显示器和光场相机通常未被彼此集成。
发明内容
在一个实施例中，一种电子显示组件包括微透镜层和像素阵列层。微透镜层包括多个基元。像素阵列层与微透镜层相邻。所述像素阵列层包括多个像素。所述多个基元中的每个基元包括透明小透镜以及以下中的一者或两者：多个不透明壁，被配置成防止光泄漏到相邻基元中；以及位于所述多个基元中的每个基元的一端的滤光层。所述滤光层被配置成将通过所述滤光层的光限制于特定的入射角。
本公开提供几个技术优点。一些实施例在保持重量轻并且用户穿戴舒适的同时提供目标光场的完整而准确的重新创建。一些实施例提供一种薄电子系统，所述薄电子系统既提供不透明性又提供可控单向仿真透明度，以及提供数字显示器能力(诸如，虚拟现实(VR)、增强现实(AR)和混合现实(MR))。一些实施例提供一种直接传感器到显示器系统，所述直接传感器到显示器系统使用输入像素到对应输出像素的直接关联以避免对图像变换的需要。对于一些系统，这降低复杂性、成本和功率要求。一些实施例提供层内信号处理结构，所述层内信号处理结构提供大量数据(例如，160k的图像数据或更多)的局部分布式处理，由此避免与已有解决方案关联的瓶颈以及性能、功率和传输线路问题。一些实施例使用具有全光基元的阵列的微透镜层准确地捕获一定量的光并且向观察者显示所述一定量的光。全光基元包括不透明的基元壁以消除基元之间的光学串扰，由此提高复制的光场的准确性。
一些实施例通过测地小面来提供三维电子设备。在这种实施例中，具有小刚性表面(例如，显示器和/或传感器小面)的阵列的柔性电路板可被形成为任何3D形状，这尤其有助于适应头戴式近眼环绕显示器所需的曲率的窄半径(例如，30-60mm)。一些实施例提供用于高密度显示器的分布式多屏幕阵列。在这种实施例中，自定义尺寸和形状的小型高分辨率微显示器(例如，显示器小面)的阵列被形成并且随后组装在更大的柔性电路板上，所述柔性电路板可随后被形成为3D形状(例如，半球形表面)。每个微显示器可独立于任何其它显示器而操作，由此提供许多高分辨率显示器的大型阵列，在每个高分辨率显示器上具有唯一内容，以使得整个组件一起形成本质上单个极高分辨率显示器。一些实施例提供一种分布式多孔径相机阵列。这种实施例提供自定义尺寸和形状的小型图像传感器(例如，传感器小面)的阵列，所有小型图像传感器被组装在更大的柔性电路板上，所述柔性电路板随后被形成为3D(例如，半球形)形状。每个分立图像传感器可独立于任何其它图像传感器而操作，以便提供许多孔径的大型阵列，在每个孔径上捕获唯一内容，以使得整个组件本质上变为无缝的极高分辨率多节点相机。
通过图1A至42、它们的描述和权利要求，对于本领域技术人员而言，其它技术优点将会容易地变得清楚。此外，尽管以上已列举特定优点，但各种实施例可包括全部列举的优点、一些列举的优点或者不包括列举的优点。
附图说明
为了更完整地理解本公开及其优点，现在参照下面结合附图进行的描述，其中：
图1A-1C表示根据某些实施例的具有各种三维(3D)物体和各种观察位置的参考场景；
图2A-2C表示根据某些实施例通过透明面板观察图1A-1C的3D物体；
图3A-3C表示根据某些实施例通过相机图像面板观察图1A-1C的3D物体；
图4A-4C表示根据某些实施例通过仿真透明度电子面板观察图1A-1C的3D物体；
图5A-5C表示根据某些实施例从替代角度通过图3A-3C的相机图像面板观察图1A-1C的3D物体；
图6A-6C表示根据某些实施例从替代角度通过图4A-4C的仿真透明度电子面板观察图1A-1C的3D物体；
图7表示根据某些实施例的仿真透明度组件的剖视图；
图8表示根据某些实施例的图7的仿真透明度组件的分解图；
图9表示根据某些实施例的制造图7的仿真透明度组件的方法；
图10表示根据某些实施例的可由图7的仿真透明度组件使用的直接传感器到显示器系统；
图11表示根据某些实施例的制造图10的直接传感器到显示器系统的方法；
图12-13表示根据某些实施例的可由图7的仿真透明度组件使用的各种层内信号处理结构；
图14表示根据某些实施例的制造图12-13的层内信号处理系统的方法；
图15表示根据某些实施例的可由图7的仿真透明度组件使用的全光基元(plenoptic cell)组件；
图16表示根据某些实施例的图15的全光基元组件的一部分的剖面；
图17A-17C表示根据某些实施例的具有各种进来光场的图15的全光基元组件的一部分的剖面；
图18A-18B表示根据某些实施例的制造图15的全光基元组件的方法；
图19A-19B表示根据某些实施例的制造图15的全光基元组件的另一方法；
图20-21表示根据某些实施例的可通过图18A-19B的方法来制造的全光基元组件；
图22表示根据某些实施例的可由图7的仿真透明度组件使用的柔性电路板；
图23表示根据某些实施例的图22的柔性电路板的另外的细节；
图24表示根据某些实施例的通过图22的柔性电路板的数据流；
图25表示根据某些实施例的使用图22的柔性电路板制造电子组件的方法；
图26表示根据某些实施例的弯曲多显示器阵列的剖视图；
图27表示根据某些实施例的图26的弯曲多显示器阵列的分解图；
图28-29表示根据某些实施例的图26的弯曲多显示器阵列的逻辑小面和显示器小面；
图30表示根据某些实施例的图22的柔性电路板的背面；
图31表示根据某些实施例的通过图30的柔性电路板的数据流；
图32表示根据某些实施例的已被形成为半球形形状的图30的柔性电路板；
图33表示根据某些实施例的通过图32的柔性电路板的数据流；
图34表示根据某些实施例的已被形成为半球形形状的逻辑小面的阵列；
图35表示根据某些实施例的图34的逻辑小面之间的通信；
图36表示根据某些实施例的制造图26的弯曲多显示器阵列的方法；
图37表示根据某些实施例的弯曲多相机阵列的剖视图；
图38-39表示根据某些实施例的图37的弯曲多相机阵列的分解图；
图40表示根据某些实施例的图32的柔性电路板的后视图；
图41表示根据某些实施例的通过图40的柔性电路板的数据流；和
图42表示根据某些实施例的制造图37的弯曲多相机阵列的方法。
具体实施方式
电子显示器被用在各种应用中。例如，显示器被用在智能电话、膝上型计算机和数字相机中。除了电子显示器之外，一些装置(诸如，智能电话和数字相机)还可包括图像传感器。然而，具有显示器和图像传感器的装置通常在其准确地捕获和显示全光子环境的能力方面受到限制。
为了解决与已有电子显示器关联的问题和限制，本公开的实施例提供用于捕获和显示光场的各种电子组件。图1A-9涉及具有电子仿真透明度的显示器组件，图10-11涉及直接相机-显示器系统，图12-14涉及层内信号处理，图15-21涉及全光基元成像系统，图22-25涉及通过测地小面的三维(3D)电子设备分布，图26-36涉及用于高密度显示器的分布式多屏幕阵列，并且图37-42涉及分布式多孔径相机阵列。
为了促进更好地理解本公开，给出下面的某些实施例的示例。下面的示例不应被阅读以限制或定义本公开的范围。通过参照图1A-42来最好地理解本公开的实施例及其优点，其中相同的标号被用于指示相同和对应的部分。
图1A-9表示根据某些实施例的具有电子仿真透明度的组件的各种方面。通常，图7-8中详细地示出的电子组件可被用在不同应用中以提供诸如虚拟现实(VR)、增强现实(AR)和混合现实(MR)的特征。对于VR应用，需要能够完全替换真实世界的视野的数字显示器，类似于标准计算机监视器如何阻挡它后面的场景的视野。然而，对于AR应用，需要能够将数据覆盖在真实世界的视野上面的数字显示器，诸如现代座舱中的飞行员的平视显示器。MR应用需要二者的组合。由于许多原因，用于提供这些特征中的一些或全部特征的典型系统并不令人满意。例如，典型解决方案不提供目标光场的准确的或完整的重新创建。作为另一示例，已有解决方案通常体积较大并且对于用户而言不舒适。
为了解决与已有电子显示器关联的问题和限制，本公开的实施例提供一种薄电子系统，所述薄电子系统既提供不透明度又提供可控单向仿真透明度以及提供数字显示器能力。从一侧，表面看起来不透明，但从相对侧，表面能够看起来完全透明、看起来完全不透明、用作数字显示器或这些的任何组合。在一些实施例中，同时全光感测和显示技术在单个分层结构内被组合以形成看起来单向视觉透明的表面。该系统可包括多层的电子设备和光学器件以便以人工方式重新创建可被增强和/或以数字方式控制的透明度。在一侧的个体图像传感器像素可被在空间上布置以与在组件的相对侧的显示像素的位置匹配。在一些实施例中，所有电子驱动电路系统以及一些显示逻辑电路系统可被夹在传感器层和显示层之间，并且每个传感器像素的输出信号可通过电路系统被引导至在相对侧的对应显示像素。在一些实施例中，这种集中处理的信号被与来自在相对侧的全光成像传感器阵列的进来信号聚合，并且被根据下面的操作模式处理。在VR模式下，外部视频源优先于相机数据，利用来自视频的进来视野完全替换用户的外部世界的视野。在AR模式下，外部视频源被覆盖在相机数据上，导致外部世界和来自视频的视野的组合视野(例如，视频数据被简单地添加到场景)。在MR模式下，外部视频源被与相机数据混合，允许虚拟物体看起来与真实世界中的实际物体相互作用，通过物体闭塞、照明等改变虚拟内容以使其看起来与实际环境结合。
利用在组件的一侧的传感器像素和在另一侧的显示像素，并且利用相机和显示器之间的像素到像素对准，一些实施例将堆叠的透明高动态范围(HDR)传感器和显示像素组合成单个结构。传感器和显示像素阵列都可通过多组微透镜而被聚焦以捕获和显示四维光场。这意味着：真实世界的完整视野在组件的一侧被捕获并且在另一侧被以电子方式再现，在保持图像清晰度、亮度和足够的角分辨率以便即使当在倾斜角度观察时显示器侧也看起来透明的同时，允许进来图像的部分或完全改变。
图1A-6C被提供用于表示由本公开的实施例提供的电子仿真透明度和典型相机图像(诸如，通过相机取景器或使用智能电话显示它的当前相机图像)之间的差别。图1A-1C表示根据某些实施例的具有各种3D物体110(即，110A-C)和正面观察位置的参考场景。图1A是3D物体110的布置和3D物体110的正面观察方向的顶视图。图1B是与图1A相同的3D物体110的布置和正面观察方向的透视图。图1C是从图1A和1B中示出的位置所获得的3D物体110的正视图。能够看出，3D物体110在图1C中的视野是正常的预期的3D物体110的视野(即，3D物体110的视野完全未被改变，因为在观察者和3D物体110之间什么都没有)。
图2A-2C表示根据某些实施例通过透明面板210观察图1A-1C的3D物体110。透明面板210可以是例如一片透明玻璃。图2A是通过透明面板210的3D物体110的正面观察方向的顶视图，并且图2B是与图2A相同的3D物体110的布置和正面观察方向的透视图。图2C是通过透明面板210从图2A和2B中示出的位置所获得的3D物体110的正视图。能够看出，通过透明面板210的3D物体110在图2C中的视野是正常的预期的3D物体110的视野(即，3D物体110的视野完全未被改变，因为观察者正在通过透明面板210观看)。换句话说，图2C中通过透明面板210的3D物体110的视野与没有物体位于观察者和3D物体110之间的图1C中的视野相同(即，“感觉到”的透明度)。换句话说，透明面板210上的投射的图像的边缘与透明面板210后面的实际3D物体110的视野对齐以创建3D物体110A的视野对准图像220A、3D物体110B的视野对准图像220B和3D物体110C的视野对准图像220C。
图3A-3C表示根据某些实施例通过相机图像面板310观察图1A-1C的3D物体110。相机图像面板310可以是例如显示其当前相机图像的相机取景器或智能电话的显示器。在这些图像中，相机图像面板310相对于观察者成一定角度(例如，30度)以表示这种系统如何不提供真实的仿真透明度。图3A是通过相机图像面板310的3D物体110的正面观察方向的顶视图，并且图3B是与图3A相同的3D物体110的布置和正面观察方向的透视图。图3C是从图3A和3B中示出的位置所获得的通过相机图像面板310的3D物体110的正视图。能够看出，通过相机图像面板310的3D物体110在图3C中的视野不同于通过透明面板210的3D物体110的视野。这里，相机图像面板310重新引导垂直于相机图像面板310的视线，由此未显示感觉到的透明度(即，相机图像面板310上的图像不与视野对准，而是替代地描述通过重新引导的视线而获取的图像)。换句话说，相机图像面板310上的投射的图像的边缘不与相机图像面板310后面的实际3D物体110的视野对齐。通过图3C中相机图像面板310上的3D物体110A的未对准图像320A和3D物体110B的未对准图像320B来表示这一点。
图4A-4C表示根据某些实施例通过仿真透明度电子面板410观察图1A-1C的3D物体110。在这些图像中，仿真透明度面板410相对于观察者成一定角度(例如，30度)以表示仿真透明度面板410如何与相机图像面板310不同提供真实的仿真透明度。图4A是通过仿真透明度面板410的3D物体110的正面观察方向的顶视图，并且图4B是与图4A相同的3D物体110的布置和正面观察方向的透视图。图4C是从图4A和4B中示出的位置所获得的通过仿真透明度面板410的3D物体110的正视图。能够看出，通过仿真透明度面板410的3D物体110在图4C中的视野不同于通过相机图像面板310的3D物体110的视野，但类似于通过透明面板210的3D物体110的视野。这里，仿真透明度面板410不通过仿真透明度面板410重新引导观看者的视线，而是允许它们保持几乎不变，并且由此提供仿真透明度(即，像透明面板210一样，仿真透明度面板410上的图像与视野对准)。像透明面板210一样，仿真透明度面板410上的投射的图像的边缘与仿真透明度面板410后面的实际3D物体110的视野对齐以创建3D物体110A的视野对准图像220A、3D物体110B的视野对准图像220B和3D物体110C的视野对准图像220C。
图5A-5C表示通过图3A-3C的相机图像面板310观察图1A-1C的3D物体110，但从替代角度进行观察。在这些图像中，相机图像面板310相对于观察者成不同的30度角以进一步表示这种系统如何不提供真实的仿真透明度。像图3A-3C中一样，相机图像面板310上的投射的图像的边缘不与相机图像面板310后面的实际3D物体110的视野对齐。通过图5C中相机图像面板310上的3D物体110C的未对准图像320C和3D物体110B的未对准图像320B来表示这一点。
图6A-6C表示通过图4A-4C的仿真透明度电子面板410观察图1A-1C的3D物体110，但从替代角度进行观察。像图4A-4C中一样，图6C中的仿真透明度面板410上的投射的图像的边缘与仿真透明度面板410后面的实际3D物体110的视野对齐以创建3D物体110B的视野对准图像220B和3D物体110C的视野对准图像220C。
如以上图4A-4C和6A-6C中所示，仿真透明度面板410提供仿真透明度面板410后面的3D物体110的视野对准图像220，由此提供电子仿真透明度。图7-8表示仿真透明度面板410的示例性实施例。图7表示可以是仿真透明度面板410的仿真透明度组件710的剖视图，并且图8表示根据某些实施例的图7的仿真透明度组件710的分解图。
在一些实施例中，仿真透明度组件710包括两个微透镜阵列720(即，传感器侧微透镜阵列720A和显示器侧微透镜阵列720B)、图像传感器层730、电路板740和电子显示器层760。通常，进来光场701进入传感器侧微透镜阵列720A，在传感器侧微透镜阵列720A，进来光场701被图像传感器层730检测到。以电子方式复制的出去光场702随后由电子显示器层760产生，并且通过显示器侧微透镜阵列720B而被投射。如以下更详细所解释，仿真透明度组件710的独特布置和特征允许它经以电子方式复制的出去光场702以及以下描述的其它特征提供电子仿真透明度。尽管仿真透明度组件710的特定形状被示出在图7-8中，但仿真透明度组件710可具有任何合适的形状(包括任何多边形或非多边形形状)以及平坦和非平坦的结构。
微透镜阵列720(即，传感器侧微透镜阵列720A和显示器侧微透镜阵列720B)通常是多层的微透镜。在一些实施例中，微透镜阵列720的每个微透镜是如以下参照图15更详细所述的全光基元1510。通常，传感器侧微透镜阵列720A的每个微透镜被配置为捕获进来光场701的一部分并且将其引导至图像传感器层730内的像素。类似地，显示器侧微透镜阵列720B的每个微透镜被配置为发射由电子显示器层760的像素产生的以电子方式复制的出去光场702的一部分。在一些实施例中，传感器侧微透镜阵列720A和显示器侧微透镜阵列720B的每个微透镜具有3D形状，准直透镜位于该3D形状的一端。该3D形状可以是例如三角形多面体、矩形长方体、五边形多面体、六边形多面体、七边形多面体或八边形多面体。在一些实施例中，传感器侧微透镜阵列720A和显示器侧微透镜阵列720B的每个微透镜包括不透明壁，诸如基元壁1514(以下参照图15讨论)，所述不透明壁被配置为防止光泄漏到相邻微透镜中。在一些实施例中，传感器侧微透镜阵列720A和显示器侧微透镜阵列720B的每个微透镜另外或者替代地包括光入射角抑制涂层(诸如，以下描述的滤光层1640)以防止光泄漏到相邻微透镜中。
在一些实施例中，传感器侧微透镜阵列720A的微透镜被布置为朝着第一方向，并且显示器侧微透镜阵列720B的微透镜被布置为朝着相对于第一方向成180度的第二方向。换句话说，仿真透明度组件710的一些实施例包括传感器侧微透镜阵列720A，传感器侧微透镜阵列720A被布置为正好与显示器侧微透镜阵列720B相反。在其它实施例中，传感器侧微透镜阵列720A和显示器侧微透镜阵列720B的任何其它取向是可能的。
通常，图像传感器层730包括多个传感器像素，所述多个传感器像素被配置为在进来光场701穿过传感器侧微透镜阵列720A之后检测进来光场701。在一些实施例中，图像传感器层730包括传感器单元735的阵列(例如，传感器单元735A-C，如图8中所示)。每个传感器单元735可以是图像传感器层730的限定的部分(例如，特定区域，诸如矩形网格的一部分)或者图像传感器层730内的特定数量或图案的传感器像素。在一些实施例中，每个传感器单元735对应于如下所述的逻辑单元层750的特定逻辑单元755。在一些实施例中，图像传感器层730被耦合到或者另一方面紧挨着传感器侧微透镜阵列720A。在一些实施例中，图像传感器层730位于传感器侧微透镜阵列720A和电路板740之间。在其它实施例中，图像传感器层730位于传感器侧微透镜阵列720A和逻辑单元层750之间。在一些实施例中，其它合适的层可在图像传感器层730的任一侧被包括在仿真透明度组件710中。另外，尽管示出了特定数量和图案的传感器单元735，但可使用任何合适的数量(包括仅一个)和图案的传感器单元735。
电路板740是任何合适的刚性或柔性电路板。通常，电路板740包括提供仿真透明度组件710的各种层之间的电气连接的各种焊盘和迹线。作为一个示例，在包括电路板740的实施例中，电路板740可如图7-8中所示位于图像传感器层730和逻辑单元层750之间以便在图像传感器层730和逻辑单元层750之间提供电气连接。在其它实施例中，电路板740可位于逻辑单元层750和电子显示器层760之间以便在逻辑单元层750和电子显示器层760之间提供电气连接。在一些实施例中，电路板740包括单元附接位置745的阵列(例如，单元附接位置745A-C，如图8中所示)。每个单元附接位置745可以是电路板740的限定的部分(例如，特定区域，诸如矩形网格的一部分)，并且可包括多个焊盘(例如，球栅阵列(BGA)焊盘)和/或过孔。在一些实施例中，每个单元附接位置745对应于图像传感器层730的特定传感器单元735和电子显示器层760的特定显示单元765(例如，单元附接位置745A对应于传感器单元735A和显示单元765A)，并且被配置为允许对应特定传感器单元735和特定显示单元765之间的电气通信。
逻辑单元层750为仿真透明度组件710提供可选的/另外的逻辑和/或处理。通常，逻辑单元层750通过从图像传感器层730的所述多个传感器像素向电子显示器层760的所述多个显示像素引导信号来对透明度进行仿真，由此按照与通过传感器侧微透镜阵列720A检测到的进来光场701的角度对应的角度从显示器侧微透镜阵列720B发射以电子方式复制的出去光场702。通过按照与通过传感器侧微透镜阵列720A检测到的进来光场701的角度对应的角度从显示器侧微透镜阵列720B发射以电子方式复制的出去光场702，显示与在仿真透明度组件710不存在的情况下将会看见的图像匹配的图像(即，仿真透明度)。在一些实施例中，逻辑单元层750包括逻辑单元755的阵列(例如，逻辑单元755A-C，如图8中所示)。每个逻辑单元755可以是逻辑单元层750的限定的部分(例如，特定区域，诸如矩形网格的一部分)。在一些实施例中，每个逻辑单元755是分开的物理刚性单元，其稍后被接合或耦合到其它逻辑单元755以便形成逻辑单元层750。在一些实施例中，每个逻辑单元755对应于图像传感器层730的特定传感器单元735和电子显示器层760的特定显示单元765(例如，逻辑单元755A对应于(并且电耦合到)传感器单元735A和显示单元765A)。在一些实施例中，逻辑单元层750位于电路板740和电子显示器层760之间。在其它实施例中，逻辑单元层750位于图像传感器层730和电路板740之间。在一些实施例中，其它合适的层可在逻辑单元层750的任一侧被包括在仿真透明度组件710中。另外，尽管示出了特定数量和图案的逻辑单元755，但可使用任何合适的数量(包括零个或仅一个)和图案的逻辑单元755。
通常，电子显示器层760包括多个显示像素，所述多个显示像素被配置为产生以电子方式复制的出去光场702并且通过显示器侧微透镜阵列720B投射以电子方式复制的出去光场702。在一些实施例中，电子显示器层760包括显示单元765的阵列(例如，显示单元765A-C，如图8中所示)。每个显示单元765可以是电子显示器层760的限定的部分(例如，特定区域，诸如矩形网格的一部分)或者电子显示器层760内的特定数量或图案的显示像素。在一些实施例中，每个显示单元765对应于逻辑单元层750的特定逻辑单元755。在一些实施例中，电子显示器层760被耦合到或者另一方面紧挨着显示器侧微透镜阵列720B。在一些实施例中，电子显示器层760位于显示器侧微透镜阵列720B和电路板740之间。在其它实施例中，电子显示器层760位于显示器侧微透镜阵列720B和逻辑单元层750之间。在一些实施例中，其它合适的层可在电子显示器层760的任一侧被包括在仿真透明度组件710中。另外，尽管示出了特定数量和图案的显示单元765，但可使用任何合适的数量(包括仅一个)和图案的显示单元765。
在一些实施例中，图像传感器层730的传感器像素可以是如标题为“StackedTransparent Pixel Structures for Image Sensors”的第15/724,027号美国专利申请中的图18-20及其关联描述中所述的传感器像素1800，该美国专利申请的全部内容通过引用包含于此。在一些实施例中，电子显示器层760的显示像素是如标题为“StackedTransparent Pixel Structures for Electronic Displays”的第15/724,004号美国专利申请中的图1-4及其关联描述中所述的显示像素100，该美国专利申请的全部内容通过引用包含于此。
尽管图7-8将仿真透明度组件710描述为具有传感器、显示器和电子设备的阵列，但其它实施例可具有“单个单元”结构。另外，尽管仿真透明度组件710的示出的实施例描述单向仿真透明度(即，允许来自单个方向的进来光场701的捕获并且沿相反方向显示对应的以电子方式复制的出去光场702)，但其它实施例可包括允许双向透明度的仿真透明度组件710的布置和组合。
图9表示根据某些实施例的制造图7的仿真透明度组件710的方法900。方法900可开始于步骤910，在步骤910中，多个单元附接位置被形成在电路板上。在一些实施例中，电路板是电路板740并且单元附接位置是单元附接位置145。在一些实施例中，每个单元附接位置对应于多个显示单元(诸如，显示单元765)之一和多个传感器单元(诸如，传感器单元735)之一。
在步骤920，多个传感器单元被耦合到电路板的第一侧。在一些实施例中，传感器单元是传感器单元735。在一些实施例中，每个传感器单元在步骤920中被耦合到步骤910的相应一个单元附接位置。在一些实施例中，传感器单元被首先形成为图像传感器层(诸如，图像传感器层730)，并且图像传感器层在这个步骤中被耦合到电路板的第一侧。
在步骤930，多个显示单元被耦合到电路板的与第一侧相反的第二侧。在一些实施例中，显示单元是显示单元765。在一些实施例中，每个显示单元被耦合到相应一个单元附接位置。在一些实施例中，显示单元被首先形成为显示层(诸如，电子显示器层760)，并且显示层在这个步骤中被耦合到电路板的第二侧。
在步骤940，第一多个微透镜被耦合到步骤920的所述多个传感器单元。在一些实施例中，微透镜是全光基元1510。在一些实施例中，微透镜被首先形成为微透镜阵列层(诸如，传感器侧微透镜阵列720A)，并且微透镜阵列层被耦合到传感器单元。
在步骤950，第二多个微透镜被耦合到步骤930的所述多个显示单元。在一些实施例中，微透镜是全光基元1510。在一些实施例中，微透镜被首先形成为微透镜阵列层(诸如，显示器侧微透镜阵列720B)，并且微透镜阵列层被耦合到显示单元。在步骤950之后，方法900可结束。
在一些实施例中，方法900可另外包括将多个逻辑单元耦合在步骤910的电路板和步骤930的所述多个显示单元之间。在一些实施例中，逻辑单元是逻辑单元755。在一些实施例中，所述多个逻辑单元被耦合在电路板和步骤920的所述多个传感器单元之间。
在合适的情况下，特定实施例可重复方法900的一个或多个步骤。虽然本公开将方法900的特定步骤描述和表示为按照特定次序发生，但本公开设想方法900的任何合适的步骤按照任何合适的次序(例如，任何时间次序)发生。此外，虽然本公开描述和表示包括方法900的特定步骤的示例性仿真透明度组件制造方法，但本公开设想任何合适的仿真透明度组件制造方法包括任何合适的步骤，其可在合适的情况下包括方法900的全部步骤、一些步骤或者不包括方法900的步骤。另外，虽然本公开描述和表示执行方法900的特定步骤的特定部件、装置或系统，但本公开设想执行方法900的任何合适的步骤的任何合适的部件、装置或系统的任何合适的组合。
图10表示根据某些实施例的可由图7的仿真透明度组件实现的直接传感器到显示器系统1000。通常，图10表示仿真透明度组件710的实施例如何使用输入像素到对应输出像素的直接关联。在一些实施例中，通过使用分层方法以使得如图7-8中所示图像传感器层730和电子显示器层760位于彼此附近并且被安装在共享基底(例如，电路板740)的相对两侧，来实现这一点。来自图像传感器层730的信号可通过电路板740(在一些实施例中，通过电路板740和逻辑单元层750)而被直接传播到电子显示器层760。逻辑单元层750利用用于任何必要的控制或加强的可选输入提供简单的处理。典型电子传感器/显示器对(例如，数字相机)不表示一一对应关系，因为显示器不直接与输入传感器耦合并且因此需要某种程度的图像变换。然而，本公开的某些实施例实现输入和输出像素之间的一一对应映射(即，传感器像素和显示像素布局是相同的)，由此避免对任何图像变换的需要。这降低仿真透明度组件710的复杂性和功率要求。
如图10中所示，每个传感器单元735被直接耦合到对应显示单元765。例如，传感器单元735A可被直接耦合到显示单元765A，传感器单元735B可被直接耦合到显示单元765B，等等。在一些实施例中，传感器单元735和显示单元765之间的信令可以是任何合适的差分信令，诸如低电压差分信令(LVDS)。更具体地讲，每个传感器单元735可输出与进来光场701对应的特定格式(例如，LVDS)的第一信号。在一些实施例中，经对应逻辑单元755发送第一信号，逻辑单元755又按照与第一信号相同的格式(例如，LVDS)向显示单元765发送第二信号。在其它实施例中，第一信号被直接从传感器单元735发送给显示单元765(例如，传感器单元735和显示单元765被直接耦合到电路板740的相对两侧)。显示单元765从逻辑单元755接收第二信号(或经电路板740直接从传感器单元735接收第一信号)，并且使用它们产生出去光场702。
因为在传感器单元735和显示单元765之间的信令中不需要转换，所以仿真透明度组件710可相对于典型显示器/传感器组合提供许多益处。首先，不需要信号处理器来转换从传感器单元735到显示单元765的信号。例如，不需要板外信号处理器来执行传感器单元735和显示单元765之间的图像变换。这降低仿真透明度组件710的空间、复杂性、重量和成本要求。其次，与显示器/传感器组合将会通常可提供的分辨率相比，仿真透明度组件710可提供更大的分辨率。通过直接将传感器单元735与显示单元765耦合并且不需要各单元之间的数据的任何处理或变换，传感器单元735和显示单元765的分辨率可远大于将会通常可提供的分辨率。另外，仿真透明度组件710可在任何特定时间在传感器单元735和显示单元765提供不同分辨率。也就是说，特定传感器单元735和对应显示单元765可在特定时间具有不同于其它传感器单元735和显示单元765的特定分辨率，并且每个传感器单元735和显示单元765的分辨率可在任何时间改变。
在一些实施例中，传感器单元735的每个特定传感器像素被映射到对应显示单元765的单个显示像素，并且显示像素显示与由它的映射的传感器像素捕获的光对应的光。这被最好地示出在图17A-17B中。作为一个示例，传感器侧微透镜阵列720A的特定全光基元1510(例如，图17A中的传感器侧微透镜阵列720A的底部全光基元1510)的每个中心感测像素1725被映射到显示器侧微透镜阵列720B的对应全光基元1510(例如，图17A中的显示器侧微透镜阵列720B的底部全光基元1510)的中心显示像素1735。作为另一示例，传感器侧微透镜阵列720A的特定全光基元1510(例如，图17B中的传感器侧微透镜阵列720A的顶部全光基元1510)的每个顶部感测像素1725被映射到显示器侧微透镜阵列720B的对应全光基元1510(例如，图17B中的显示器侧微透镜阵列720B的顶部全光基元1510)的底部显示像素1735。
在一些实施例中，传感器单元735被直接耦合到电路板740，而显示单元765被耦合到逻辑单元755(逻辑单元755又被耦合到电路板740)，如图8中所示。在其它实施例中，显示单元765被直接耦合到电路板740，而传感器单元735被耦合到逻辑单元755(逻辑单元755又被耦合到电路板740)。在其它实施例中，传感器单元735和显示单元765都被直接耦合到电路板740(即，没有任何中间逻辑单元755)。在这种实施例中，传感器单元735和显示单元765在单元附接位置745处被耦合到电路板740的相对两侧(例如，传感器单元735A和显示单元765A在单元附接位置745A处被耦合到电路板740的相对两侧)。
图11表示根据某些实施例的制造图10的直接传感器到显示器系统1000的方法1100。方法1100可开始于步骤1110，在步骤1110中，多个单元附接位置被形成在电路板上。在一些实施例中，电路板是电路板740并且单元附接位置是单元附接位置745。在一些实施例中，每个单元附接位置对应于多个显示单元之一和多个传感器单元之一。显示单元可以是显示单元765并且传感器单元可以是传感器单元735。在一些实施例中，每个特定单元附接位置包括BGA焊盘，所述BGA焊盘被配置为耦合到所述多个传感器单元之一和/或所述多个逻辑单元之一。在一些实施例中，每个特定单元附接位置包括多个互连焊盘，所述互连焊盘被配置为按照电气方式将所述特定单元附接位置耦合到一个或多个相邻单元附接位置。在一些实施例中，单元附接位置被布置成多个列和多个行，如图8中所示。
在步骤1120，多个传感器单元被耦合到电路板的第一侧。在一些实施例中，每个传感器单元被耦合到步骤1110的相应一个单元附接位置。在步骤1130，多个显示单元被耦合到电路板的与第一侧相反的第二侧。在一些实施例中，每个显示单元被耦合到步骤1110的相应一个单元附接位置，以使得所述多个传感器像素单元中的每个特定传感器像素单元被映射到所述多个显示像素单元中的对应显示像素单元。通过将每个特定传感器像素单元映射到显示像素单元之一，所述多个显示像素单元中的每个特定显示像素单元的显示像素被配置为显示与由它的映射的传感器像素单元的传感器像素捕获的光对应的光。在步骤1130之后，方法1100可结束。
在合适的情况下，特定实施例可重复方法1100的一个或多个步骤。虽然本公开将方法1100的特定步骤描述和表示为按照特定次序发生，但本公开设想方法1100的任何合适的步骤按照任何合适的次序(例如，任何时间次序)发生。此外，虽然本公开描述和表示包括方法1100的特定步骤的示例性直接传感器到显示器系统制造方法，但本公开设想任何合适的直接传感器到显示器系统制造方法包括任何合适的步骤，其可在合适的情况下包括方法1100的全部步骤、一些步骤或者不包括方法1100的步骤。另外，虽然本公开描述和表示执行方法1100的特定步骤的特定部件、装置或系统，但本公开设想执行方法1100的任何合适的步骤的任何合适的部件、装置或系统的任何合适的组合。
图12-13表示根据某些实施例的可由图7的仿真透明度组件710使用的各种层内信号处理结构。通常，图12-13的结构使用夹在相机和显示器之间(即，夹在图像传感器层730和电子显示器层760之间)的一层数字逻辑(例如，逻辑单元层750)。这些结构允许大量数据(例如，160k的图像数据或更多)的局部分布式处理，由此避免与典型结构关联的瓶颈以及性能、功率和传输线路问题。人类视觉灵敏度代表必须被实时地处理的大量数据。典型成像系统向高性能处理器(例如，CPU或GPU)传播单个数据流/从高性能处理器(例如，CPU或GPU)传播单个数据流，这可为了操纵而使数据串行化或者可不为了操纵而使数据串行化。在人类20/20视觉灵敏度的这个方案所需的带宽远超过任何已知传输协议的带宽。典型系统还使用主控制器，所述主控制器负责处理所有进来/出去数据或管理针对更小的处理节点的分配。无论如何，所有数据必须被系统外/片外传输，操纵，然后返回给显示装置。然而，这个典型方案不能处理人类视觉灵敏度所需的大量数据。然而，本公开的实施例利用如这里所述的传感器/显示器组合的小面性质以使信号处理分散化和局部化。这能够实现以前无法实现的实时数字图像处理。
如图12-13中所示，仿真透明度组件710的某些实施例包括逻辑单元层750，逻辑单元层750包含必要的逻辑以操纵来自图像传感器层730的输入信号并且向电子显示器层760提供输出信号。在一些实施例中，逻辑单元层750位于图像传感器层730和电路板740之间，如图12中所示。在其它实施例中，逻辑单元层750位于电路板740和电子显示器层760之间，如图13中所示。通常，逻辑单元层750是专用图像处理层，其能够混合直接来自图像传感器层730的输入信号并且在直接向电子显示器层760输出所获得的信号之前对输入信号执行一种或多种数学运算(例如，矩阵变换)。由于逻辑单元层750的每个逻辑单元755仅负责它的关联的小面(即，传感器单元735或显示单元765)，所以能够操纵特定逻辑单元755的数据，而不会显著影响系统级I/O。这有效地避免为了集中式处理而使任何进来传感器数据并行化的需要。分布式方案使仿真透明度组件710能够提供多个特征，诸如放大/变焦(每个小面将比例变换应用于它的输入)、视觉校正(每个小面应用仿真光学变换，补偿常见视觉问题，诸如近视、远视、散光等)、色盲校正(每个小面应用颜色变换，补偿常见色盲问题)、偏振(每个小面应用对波偏振进行模拟的变换，允许眩光减少)和动态范围减小(每个小面应用使高强度区域(例如，太阳)变暗并且使低强度区域(例如，阴影)变亮的变换)。另外，由于任何数据变换保持局限于每个小面的逻辑单元层750，所以可不需要长传输线路。这避免串扰、信号完整性等的问题。另外，由于公开的实施例不需要光学透明度(而是替代地利用仿真透明度)，所以对于在传感器和显示器小面之间放置不透明的处理层而言不存在功能影响。
在一些实施例中，逻辑单元层750包含直接形成在电路板740上的分立逻辑单元(例如，晶体管)。例如，标准光刻技术可被用于直接在电路板740上形成逻辑单元层750。在其它实施例中，每个逻辑单元755是分开的集成电路(IC)，其被耦合到传感器小面或显示器小面或直接耦合到电路板740。如这里所使用，“小面”表示分开地制造并且随后耦合到电路板740的分立单元。例如，“显示器小面”可表示包括电子显示器层760和显示器侧微透镜阵列720B的组合的单元，并且“传感器小面”可表示包括图像传感器层730和传感器侧微透镜阵列720A的组合的单元。在一些实施例中，显示器小面可包括单个显示单元765，或者它可包括多个显示单元765。类似地，传感器小面可包括单个传感器单元735，或者它可包括多个传感器单元735。在一些实施例中，逻辑单元755可被包括在传感器小面或显示器小面中。在逻辑单元755是直接耦合到显示器或传感器小面的分开的IC(而非直接形成在电路板740上)的实施例中，任何合适的技术(诸如，具有穿硅通孔的3D IC设计)可被用于将逻辑单元755的IC耦合到小面的晶片。
在一些实施例中，逻辑单元层750是专用集成电路(ASIC)或算术逻辑单元(ALU)，而不是通用处理器。这允许逻辑单元层750是节能的。另外，这允许逻辑单元层750在没有冷却的情况下操作，进一步减小仿真透明度组件710的成本和功率要求。
在一些实施例中，逻辑单元755被配置为使用与传感器单元735和显示单元765相同的协议通信。例如，在逻辑单元755是分立IC的实施例中，所述IC可被配置为按照与传感器和显示器小面相同的协议(例如，LVDS或内置集成电路(I2C))通信。这消除必须在传感器和显示器小面之间转换的问题，由此减小功率和成本。
在一些实施例中，逻辑单元层750在向电子显示器层760发送输出信号之前对从图像传感器层730接收的信号执行一种或多种操作。例如，逻辑单元层750可对来自图像传感器层730的接收的信号进行变换以包括用于显示在电子显示器层760上的增强信息。这可例如被用于向观察者提供AR。在一些实施例中，逻辑单元层750可利用用于显示在电子显示器层760上的替代信息完全替换来自图像传感器层730的接收的信号。这可例如被用于向观察者提供VR。
图14表示根据某些实施例的制造图12-13的层内信号处理系统的方法1400。方法1400可开始于步骤1410，在步骤1410中，多个传感器单元被耦合到电路板的第一侧。在一些实施例中，传感器单元是传感器单元735，并且电路板是电路板740。在一些实施例中，每个传感器单元被耦合到多个单元附接位置(诸如，单元附接位置745)之一。每个传感器单元包括多个传感器像素。
在步骤1420，形成多个显示单元。在一些实施例中，所述显示单元是显示单元765和逻辑单元755的组合。可通过使用穿硅通孔将电子显示器和逻辑单元组合为单个3D集成电路来形成每个显示单元。每个显示单元包括多个显示像素。
在步骤1430，步骤1420的所述多个显示单元被耦合到电路板的与第一侧相反的第二侧。在一些实施例中，每个逻辑单元被耦合到各单元附接位置中的相应一个。在步骤1430之后，方法1400可结束。
在合适的情况下，特定实施例可重复方法1400的一个或多个步骤。虽然本公开将方法1400的特定步骤描述和表示为按照特定次序发生，但本公开设想方法1400的任何合适的步骤按照任何合适的次序(例如，任何时间次序)发生。此外，虽然本公开描述和表示包括方法1400的特定步骤的示例性层内信号处理系统制造方法，但本公开设想任何合适的层内信号处理系统制造方法包括任何合适的步骤，其可在合适的情况下包括方法1400的全部步骤、一些步骤或者不包括方法1400的步骤。另外，虽然本公开描述和表示执行方法1400的特定步骤的特定部件、装置或系统，但本公开设想执行方法1400的任何合适的步骤的任何合适的部件、装置或系统的任何合适的组合。
图15-17C表示可在仿真透明度组件710的微透镜阵列720A-B内使用的全光基元1510的阵列1500的各种视图。图15表示全光基元组件1500，图16表示图15的全光基元组件1500的一部分的剖面，并且图17A-17C表示具有各种进来和出去光场的图15的全光基元组件1500的一部分的剖面。
标准电子显示器通常包括像素的平面布置，所述像素的平面布置形成二维栅格化图像，以固有方式传送二维数据。一个限制在于：平面图像不能被旋转以便感知正在传送的场景内的不同视角。为了清楚地观察这个图像，不管在图像本身内描绘什么，观察者的眼睛或相机的透镜必须聚焦在屏幕上。相比之下，从真实世界进入眼睛的一定量的光允许眼睛自然地聚焦于所述一定量的光内的任何点。因为来自场景的光线自然地进入眼睛，所以光的这个全光“场”包含来自场景的光线，而非由外部透镜在单个焦平面处聚焦的虚拟图像。尽管已有光场显示器可能能够复制这个现象，但它们在空间分辨率和角分辨率之间提供显著折衷，导致感觉到量的光在细节方面看起来模糊或不足。
为了克服与已有光场显示器关联的问题和限制，本公开的实施例提供一种耦合光场捕获和显示系统，所述耦合光场捕获和显示系统能够记录并且随后以电子方式重新创建进来的全光量的光。通过负责记录或显示较大复合图像的较小视野的全光基元1510的布置来完成捕获和显示处理这两者。传感器的每个全光基元1510本身包括一群密集的图像传感器像素，并且显示器的每个全光基元本身包括一群密集的显示像素。在两种情况下，进入传感器基元或离开显示基元的光线由一个或多个透明小透镜1512聚焦以产生几乎准直的光线的精确地调谐的分布。这本质上记录进来光场，并且在组件的相对侧再现所述进来光场。更具体地讲，对于传感器，进入这个基元的透镜(或一系列透镜)的所述一定量的光被聚焦在图像像素上，以使得每个像素聚集仅来自一个方向的光，如它在基元内的位置和透镜的轮廓所确定。这允许光场内的各种角度光线的栅格化编码，基元中的像素的数量确定记录的角分辨率。对于显示器，从像素发射的光由同一透镜(或一系列透镜)聚焦以创建与由传感器记录的图像匹配的一定量的光以及任何电子增强或改变(例如，来自上述逻辑单元层750)。从这个基元发射的光锥包含按照足够的间隔角度的光线的子集以便能够为观察者形成光场，其中每个输出光线方向由其在基元内的发端像素的位置和透镜的轮廓确定。
全光基元1510可被传感器侧微透镜阵列720A和显示器侧微透镜阵列720B二者使用。例如，多个全光基元1510A可被包括在传感器侧微透镜阵列720A中，并且每个全光基元1510A可被耦合到图像传感器1520或者另一方面与图像传感器1520相邻。图像传感器1520可以是图像传感器层730的一部分，并且可包括传感器像素阵列1525，传感器像素阵列1525包括感测像素1725。类似地，多个全光基元1510B可被包括在显示器侧微透镜阵列720B中，并且每个全光基元1510B可被耦合到显示器1530或者另一方面与显示器1530相邻。显示器1530可以是电子显示器层760的一部分，并且可包括显示像素阵列1625，显示像素阵列1625包括显示像素1735。感测像素1725可以是如标题为“Stacked Transparent PixelStructures for Image Sensors”的第15/724,027号美国专利申请中的图18-20及其关联描述中所述的传感器像素1800，该美国专利申请的全部内容通过引用包含于此。显示像素1735可以是如标题为“Stacked Transparent Pixel Structures for ElectronicDisplays”的第15/724,004号美国专利申请中的图1-4及其关联描述中所述的显示像素100，该美国专利申请的全部内容通过引用包含于此。
在一些实施例中，全光基元1510包括透明小透镜1512和基元壁1514。具体地讲，全光基元1510A包括透明小透镜1512A和基元壁1514A，并且全光基元1510B包括透明小透镜1512B和基元壁1514B。在一些实施例中，透明小透镜1512包含3D形状，准直透镜位于该3D形状的一端。例如，如图15中所示，透明小透镜1512可以是矩形长方体，准直透镜位于矩形长方体的一端。在其它实施例中，透明小透镜1512的3D形状可以是三角形多面体、五边形多面体、六边形多面体、七边形多面体、八边形多面体、圆柱体或任何其它合适的形状。每个全光基元1510A包括输入视场(FOV)1610(例如，30度)，并且每个全光基元1510B包括输出FOV1620(例如，30度)。在一些实施例中，输入FOV 1610与对应全光基元1510的输出FOV 1620匹配。
透明小透镜1512可由任何合适的透明光学材料形成。例如，透明小透镜1512可由聚合物、硅石玻璃或蓝宝石形成。在一些实施例中，透明小透镜1512可由聚合物(诸如，聚碳酸酯或丙烯酸)形成。在一些实施例中，透明小透镜1512可被波导和/或光子晶体替换以便捕获和/或产生光场。
通常，基元壁1514是用于防止相邻全光基元1510之间的光学串扰的屏障。基元壁1514可由当硬化时对于可见光而言不透明的任何合适的材料形成。在一些实施例中，基元壁1514由聚合物形成。以下参照图17A和17C更详细地描述使用基元壁1514防止光学串扰。
在一些实施例中，图像传感器1520包括或被耦合到背板电路系统1630a，并且显示器1530包括或被耦合到背板电路系统1630b。通常，背板电路系统1630a-B提供电气连接以允许图像数据从图像传感器1520流动到显示器1530。在一些实施例中，背板电路系统1630a和背板电路系统1630b是单个背板的相对两侧。在一些实施例中，背板电路系统1630a和背板电路系统1630b是电路板740。
在一些实施例中，滤光层1640可被包括在透明小透镜1512的一端或两端以便将光的进入或离开限制于特定入射角。例如，第一滤光层1640A可被包括在透明小透镜1512的凸出端，和/或第二滤光层1640B可被包括在透明小透镜1512的相对端。类似于基元壁1514，这种涂层或膜还可将相邻透明小透镜1512之间的图像泄漏限制于可接受的量。除了基元壁1514之外或替代于基元壁1514，还可使用滤光层1640。
图17A-17C中的每一个表示传感器侧微透镜阵列720A和对应显示器侧微透镜阵列720B的七个相邻全光基元1510的剖视图。这些附图显示进来光场701如何被图像传感器1520捕获并且在显示器1530上以电子方式复制以发射几乎相同的光场。在图17A中，来自传感器全光基元1510正前方的物体的进来光场1710由传感器全光基元1510的透明小透镜1512聚焦在中心感测像素1725上。对应光随后由对应显示器全光基元1510的对应中心显示像素1735发送。发送的光由显示器全光基元1510的透明小透镜1512聚焦并且发射作为发射光场1711。发射光场1711精确地与零度源光场(即，进来光场1710)匹配。另外，原本将会渗入相邻显示器全光基元1510的在位置1740处撞击基元壁1514的发射光线被不透明的基元壁1514阻挡，由此防止光学串扰。
在图17B中，来自偏离传感器全光基元1510的轴线十四度的物体的进来光场1720由传感器全光基元1510的透明小透镜1512聚焦在顶部感测像素1725上。对应光随后由对应显示器全光基元1510的对应相反(即，底部)显示像素1735发送。发送的光由显示器全光基元1510的透明小透镜1512聚焦并且发射作为发射光场1721。发射光场1721精确地与14度源光场(即，进来光场1720)匹配。
在图17C中，来自偏离传感器全光基元1510的轴线25度的物体的进来光场1730由传感器全光基元1510的透明小透镜1512完全聚焦在基元壁1514上。因为进来光场1730被完全聚焦在传感器全光基元1510的基元壁1514而非感测像素1725上，所以没有对应光被对应显示器全光基元1510发送。另外，原本将会渗入相邻传感器全光基元1510的在位置1750处撞击基元壁1514的进来光线被不透明的基元壁1514阻挡，由此防止光学串扰。
图18A-18B表示根据某些实施例的制造图15的全光基元组件的方法。在图18A中，形成或获得微透镜阵列(MLA)板1810。MLA板1810包括多个小透镜，如图中所示。在图18B中，多个凹槽1820在MLA板1810的所述多个小透镜中的每个小透镜周围被切割至预定深度。在一些实施例中，凹槽1820可被使用多程切割以达到预期深度。在一些实施例中，凹槽1820可被使用激光烧蚀、蚀刻、光刻处理或任何其它合适的方法切割。在凹槽1820被切割至预期深度之后，它们被用材料填充，所述材料被配置为防止光通过凹槽1820泄漏。在一些实施例中，当硬化时，所述材料是任何光吸收(例如，碳纳米管)或不透明材料(例如，非反射不透明材料或有色聚合物)。在凹槽1820被填充并且被允许变硬之后所获得的全光基元组件被示出在图20-21中。
图19A-19B表示根据某些实施例的制造图15的全光基元组件的另一方法。在图19A中，获得或形成具有间隙1840的预先形成的栅格结构1830。栅格结构1830由如以上针对基元壁1514所述的任何合适的材料制成。栅格结构1830可通过任何合适的方法而被形成，包括但不限于增量制造和基元物质的烧蚀。
在图19B中，间隙1840被利用光学聚合物1850填充。光学聚合物1850可以是如以上针对透明小透镜1512所述的任何合适的材料。在间隙1840被利用光学聚合物1850填充之后，使用模制成型或烧蚀创建最后的透镜轮廓。在形成透镜之后所获得的全光基元组件的示例被示出在图20-21中。
图22-23表示根据某些实施例的可由图7的仿真透明度组件710用作电路板740的柔性电路板2210。通常，将电子设备缠绕在3D形状(诸如，球形或半球形表面)上是重要任务。虽然当前存在柔性甚至可拉伸的电路系统的各种示例，但当将这种电子设备布置在小半径(例如，30-60mm)球形或半球形表面上时，存在几个需要克服的障碍。例如，柔性电子设备基底沿一个方向的弯曲并不固有地指示对复合曲率的适应性，因为这种曲率所需的扭力能够损伤所涉及的薄膜。作为另一示例，仍然存在关于当前可用的可拉伸电子设备的可拉伸性的程度和寿命的问题。
为了解决当前解决方案的问题和限制，本公开的实施例提供一种使用包括布置在单个柔性电路上的小刚性表面的阵列的测地小面方案的3D(例如，球形或半球形)电子设备制造方法。在一些实施例中，柔性电路被切割成特定网形，然后被缠绕成3D形状(例如，球形或半球形形状)并且被锁定到合适的位置以防止来自重复弯曲的磨损。所述方法尤其有助于适应头戴式近眼环绕显示器所需的曲率的窄半径(例如，30-60mm)。在一些实施例中，所述组件包括单个基础柔性印刷电路系统层，刚性传感器和显示器阵列被布置在柔性电路的相对两侧。包括传感器和显示器层的整个组件可通过标准平面半导体工艺(例如，旋涂、光刻法等)而被制造。刚性电子设备层可被蚀刻以形成个体传感器和显示器单元(即，“小面”)，然后通过连接焊盘而连接到柔性电路系统并且通过图案化导电和非导电粘合剂而粘合。这允许柔性电路系统在刚性小面之间的边缘处稍微折叠。在一些实施例中，之后是平面制造，使用最后刚性聚合物壳体的一侧作为模具，完全固化的功能电子堆栈被形成为预期最后3D形状。以这种方式，刚性电子设备小面的阵列不变形，而是简单地落在它们的模具中的位置，柔性电路系统在限定的折痕/间隙处弯曲以与壳体的小面内部匹配。所述组件可最后被使用刚性壳体的相对匹配侧覆盖和密封。
本公开的实施例不仅仅限于球形或半球形形状，但当然可设想这种形状。公开的实施例可被形成为任何复合曲率或任何其它旋转形状。另外，公开的实施例可被形成为任何不均匀曲率以及非弯曲(即，平坦)表面。
图22表示在两个不同状态下的柔性电路板2210：平坦柔性电路板2210A和3D形状柔性电路板2210B。柔性电路板2210包括小面位置2220，小面位置2220通常是小面(例如，以下讨论的传感器小面3735、显示器小面2665或逻辑小面2655)可在柔性电路板2210上安装的位置。在一些实施例中，柔性电路板2210包括间隙2215。如图22的底部所示，当柔性电路板2210平坦时，至少一些小面位置2220通过一个或多个间隙2215而与一个或多个相邻小面位置2220分离。如图22的顶部所示，当柔性电路板2210被形成为3D形状时，间隙2215可被基本上消除，由此形成跨越在小面位置2220处耦合的至少一些小面的连续表面(例如，跨越多个传感器小面3735的连续感测表面或跨越多个显示器小面2665的连续显示表面)。
通常，小面位置2220可具有任何形状。在一些实施例中，小面位置2220具有多边形的形状(例如，三角形、正方形、矩形、五边形、六边形、七边形或八边形)。在一些实施例中，小面位置2220全部是相同的。然而，在其它实施例中，小面位置2220全部共享相同多边形形状(例如，全部是六边形)，但具有不同尺寸。在一些实施例中，小面位置2220具有不同形状(例如，一些是矩形并且一些是六边形)。可使用小面位置2220的任何合适的形状。
在一些实施例中，小面位置2220被布置为列2201。在一些实施例中，小面位置2220被另外或者替代地布置为行2202。尽管示出了小面位置2220的特定图案，但可使用小面位置2220的任何合适的图案。
图23表示根据某些实施例的柔性电路板2210的另外的细节。在一些实施例中，每个小面位置2220包括用于将传感器或显示器小面耦合到柔性电路板2210的焊盘和/或过孔。作为示例，柔性电路板2210的一些实施例在每个小面位置2220处包括BGA焊盘2240。任何合适的图案和数量的焊盘/过孔可被包括在每个小面位置2220处。
通常，每个特定小面位置2220被配置为在耦合到所述特定小面位置的特定传感器小面和耦合到所述特定小面位置的相对侧的特定显示器小面之间发送信号。例如，特定小面位置2220可具有耦合到一侧的传感器小面3735和耦合到它的相对侧的显示器小面2665。所述特定小面位置2220提供必要的电气连接以允许来自传感器小面3735的信号直接传送到显示器小面2665，由此使显示器小面2665能够显示与由传感器小面3735捕获的光对应的光。
在一些实施例中，配线迹线2230被包括在柔性电路板2210上以按照电气方式连接小面位置2220。例如，配线迹线2230可连接到每个小面位置2220的互连焊盘2250以便按照电气方式连接相邻小面位置2220。在一些实施例中，小面位置2220经配线迹线2230被串联连接。例如，图24表示根据某些实施例的通过柔性电路板2210的串行数据流。在这个示例中，每个小面位置2220被分派唯一标识符(例如，“1”、“2”等等)，并且数据经配线迹线2230逐次流经小面位置2220，如图中所示。以这种方式，每个小面位置2220可由单个处理器或逻辑单元使用它的唯一标识符寻址。可使用任何合适的寻址方案和数据流模式。
图25表示根据某些实施例的使用图22的柔性电路板2210制造电子组件的方法2500。在步骤2510，多个小面位置被形成在柔性电路板上。在一些实施例中，小面位置是小面位置2220，并且柔性电路板是柔性电路板2210。每个小面位置对应于多个传感器小面之一和多个显示器小面之一。传感器小面可以是传感器小面3735，并且显示器小面可以是显示器小面2665。在一些实施例中，所述多个小面位置被布置为多个小面列，诸如列2201。在一些实施例中，所述多个小面位置被另外或者替代地布置为多个小面行，诸如行2202。
在步骤2520，步骤2510的柔性电路板被切割或者另一方面形成为允许柔性电路板稍后形成为3D形状(诸如，球形或半球形形状)的图案。当柔性电路板平坦时，至少一些小面位置通过多个间隙(诸如，间隙2215)而与一个或多个相邻小面位置分离。当柔性电路板被形成为3D形状时，所述多个间隙被基本上消除。
在步骤2530，所述电子组件通过将第一多个刚性小面耦合到柔性电路板的第一侧而被组装。所述第一多个刚性小面可以是传感器小面3735或显示器小面2665。每个刚性小面被耦合到小面位置中的相应一个。在一些实施例中，所述第一多个刚性小面使用图案化导电和非导电粘合剂而被耦合到柔性电路板的第一侧的连接焊盘。
在一些实施例中，步骤2530的所述第一多个刚性小面是刚性传感器小面(诸如，传感器小面3735)，并且方法2500还包括将多个刚性显示器小面(诸如，显示器小面2665)耦合到柔性电路板的与第一侧相反的第二侧。在这种情况下，每个特定小面位置被配置为在按照电气方式耦合到所述特定小面位置的特定刚性传感器小面和按照电气方式耦合到同一特定小面位置的特定刚性显示器小面之间发送信号。这允许从所述特定刚性显示器小面显示与由对应刚性传感器小面捕获的光对应的光。
在步骤2540，组装的电子组件被形成为预期3D形状。在一些实施例中，这个步骤包括：将具有其耦合的刚性小面的柔性电路板放置在具有预期形状的刚性壳体的一侧。这允许刚性小面落在壳体中的限定的空间中并且柔性电路板在刚性小面之间的限定的折痕/间隙处弯曲。在将具有其耦合的刚性小面的柔性电路板放置在刚性壳体的一侧之后，刚性壳体的相对匹配侧可附接到第一侧，由此将所述组件密封成预期形状。
在合适的情况下，特定实施例可重复方法2500的一个或多个步骤。虽然本公开将方法2500的特定步骤描述和表示为按照特定次序发生，但本公开设想方法2500的任何合适的步骤按照任何合适的次序(例如，任何时间次序)发生。此外，虽然本公开描述和表示使用柔性电路板制造电子组件的示例性方法，但本公开设想使用柔性电路板制造电子组件的任何合适的方法，其可在合适的情况下包括方法2500的全部步骤、一些步骤或者不包括方法2500的步骤。另外，虽然本公开描述和表示执行方法2500的特定步骤的特定部件、装置或系统，但本公开设想执行方法2500的任何合适的步骤的任何合适的部件、装置或系统的任何合适的组合。
图26-36表示根据某些实施例的用于高密度显示器的分布式多屏幕阵列。通常，为了提供能够对单只人眼的整个视野进行仿真的近眼显示器，需要一种具有大于当前常见显示屏幕的分辨率数量级的高动态范围图像显示器。这种显示器应该能够提供一种具有足以适应20/20人类视觉灵敏度的角分辨率和空间分辨率的光场显示器。这是大量信息，等同于100K到200K的总水平像素数。这些显示器应该也环绕一只人眼的整个视野(大约水平160°和垂直130°)。为了呈现双眼视觉，将会需要跨越每只眼睛周围的整个弯曲表面的一对这种显示器。然而，今天可用的典型显示器不能满足这些要求。
为了解决当前显示器的这些和其它限制，本公开的实施例提供一种自定义尺寸和形状的小型高分辨率微显示器(例如，显示器小面2665)的阵列，所有小型高分辨率微显示器被形成并且随后组装在更大的柔性电路板2210上，柔性电路板2210可被形成为3D形状(例如，半球形表面)。微显示器可被安装到半球形电路系统的内侧，其中包含TFT逻辑单元(例如，逻辑单元755)的阵列的另一层可被包括以处理所有电源和信号管理。通常，可针对每个微显示器包括一个逻辑单元755。每个微显示器用作分立单元，显示来自它后面的逻辑单元的数据。任何另外的信息(例如，诸如用于AR、VR或MR应用的外部视频)可经中央控制处理器被传递给整个阵列。在一些实施例中，外部数据信号作为打包复用流逐次从一个微显示器前进到下一个微显示器，同时用于每个显示器的TFT逻辑单元确定读取的信号的源和部分。这允许每个单元独立于任何其它显示器而操作，提供许多高分辨率显示器的大型阵列，在每个高分辨率显示器上具有唯一内容，以使得整个组件一起形成本质上单个极高分辨率显示器。
为了满足分辨率、颜色清晰度和亮度输出的要求，每个微显示器可具有唯一高性能像素架构。例如，每个微显示屏幕可包括如标题为“Stacked Transparent PixelStructures for Electronic Displays”的第15/724,004号美国专利申请中的图1-4及其关联描述中所述的显示像素100的阵列，该美国专利申请的全部内容通过引用包含于此。微显示屏幕可被使用任何合适的方法组装在同一基底上。这种使用标准半导体分层和光刻工艺的同时制造几乎消除与许多个体屏幕的生产和包装关联的开销和成本，大大提高可负担性。
图26表示根据某些实施例的弯曲多显示器阵列2600的剖视图。图26本质上是图22的柔性电路板2210B的背面，增加了在小面位置2220处耦合到柔性电路板2210B的逻辑小面2655和显示器小面2665。通常，每个逻辑小面2655是来自逻辑单元层750的个体逻辑单元755。类似地，每个显示器小面2665是与微透镜阵列720的一部分耦合的显示层760的个体显示单元765。
在一些实施例中，每个个体逻辑小面2655被耦合到柔性电路板2210，并且每个个体显示器小面2665随后被耦合到逻辑小面2655之一。在其它实施例中，每个逻辑小面2655被首先耦合到显示器小面2665之一，并且该组合小面随后被耦合到柔性电路板2210。在这种实施例中，组合的逻辑小面2655和显示器小面2665可为了简单而被称为显示器小面2665。如这里所使用，“显示器小面”可表示两种实施例(即，个体显示器小面2665或显示器小面2665与逻辑小面2655的组合)。
通常，每个显示器小面2665能够被个体地寻址(例如，由未示出的中央控制处理器寻址)，并且一批显示器小面2665可代表形成单一集体的动态异质集合。换句话说，多显示器阵列2600提供通过一起形成完整整体的个体显示器小面2665显示图像的拼贴电子显示系统。每个个体显示器小面2665能够提供多种不同显示分辨率，并且能够在运行中被自定义以运行不同分辨率、颜色范围、帧速等。例如，一个显示器小面2665可具有512x512显示分辨率，而相邻显示器小面2665(具有相同尺寸)具有128x128显示分辨率，其中前者代表更高密度的图像数据。在这个示例中，这两个显示器是不同的，但个体可控并且协调工作以形成单一显示图像。
总体的所述一批显示器小面2665能够采用任何弯曲或平坦的表面结构。例如，显示器小面2665可被形成为半球形表面、圆柱形表面、长球形表面(oblong sphericalsurface)或任何其它形状的表面。
逻辑小面2655和显示器小面2665可具有任何合适的形状。在一些实施例中，逻辑小面2655和显示器小面2665的形状彼此匹配并且与小面位置2220的形状匹配。在一些实施例中，逻辑小面2655和显示器小面2665具有多边形的形状，诸如三角形、四边形、五边形、六边形、七边形或八边形。在一些实施例中，一些或全部逻辑小面2655和显示器小面2665具有非多边形形状。例如，在柔性电路板2210的边缘的显示器小面2665可能不是多边形的，因为它们可能具有弯曲的切割以提高总体组件的美感。
除了具有可选择/可控的显示分辨率之外，每个显示器小面2665还可在一些实施例中具有可从多个颜色范围选择的颜色范围和/或可从多个帧速选择的帧速。在这种实施例中，特定柔性电路板2210的显示器小面2665可被配置为提供不同帧速和不同颜色范围。例如，一个显示器小面2665可具有特定颜色范围，而另一显示器小面2665具有不同颜色范围。类似地，一个显示器小面2665可具有特定帧速，而另一显示器小面2665具有不同帧速。
图27表示图26的弯曲多显示器阵列2600的分解图，并且图28-29表示根据某些实施例的逻辑小面2655和显示器小面2665的另外的细节。如这些附图中所示，每个逻辑小面2655可包括互连焊盘2850，互连焊盘2850可被电耦合到相邻逻辑小面2655的互连焊盘2250。这可使显示器小面2665能够经配线迹线2230串联耦合。另外，每个逻辑小面2655可包括具有与显示器小面2665的背面的焊盘2940匹配的图案的焊盘2840。这允许逻辑小面2655和显示器小面2665使用本领域任何合适的技术耦合在一起。在一些实施例中，焊盘2840和焊盘2940是BGA焊盘或任何其它合适的表面安装焊盘。
图30和32表示图22的柔性电路板2210的背面，并且显示如参照图23所述的类似细节。图31和33表示通过柔性电路板2210的串行数据流，并且显示如参照图24所述的类似细节。图34表示根据某些实施例的已被形成为半球形形状的逻辑小面2655的阵列。在这个附图中，为了清楚，柔性电路板2210和显示器小面2665已被去除。图35表示根据某些实施例的图34的逻辑小面2655之间的通信。如这个附图中所示，每个逻辑小面2655可使用互连焊盘2850与相邻逻辑小面2655通信。另外，每个逻辑小面2655可具有唯一标识，如图35中所示。这允许每个逻辑小面2655被例如中央处理单元唯一寻址。
图36表示根据某些实施例的制造图26的弯曲多显示器阵列的方法3600。方法3600可开始于步骤3610，在步骤3610中，多个小面位置被形成在电路板上。在一些实施例中，小面位置是小面位置2220，并且电路板是柔性电路板2210。在一些实施例中，每个小面位置对应于多个显示器小面(诸如，显示器小面2665)之一。
在步骤3620，柔性电路板被切割或者另一方面形成为允许柔性电路板稍后形成为3D形状的图案。当柔性电路板平坦时，至少一些小面位置通过多个间隙(诸如，间隙2215)而与一个或多个相邻小面位置分离。当柔性电路板被形成为3D形状时，所述多个间隙被基本上消除。
在步骤3630，多个逻辑小面被耦合到柔性电路板的第一侧。每个逻辑小面被耦合到步骤3610的相应一个小面位置。在步骤3640，多个显示器小面被耦合到步骤3630的所述多个逻辑小面中的相应一个。在替代实施例中，在将逻辑小面耦合到柔性电路板的第一侧之前，显示器小面可被按照晶片级安装到步骤3630的逻辑小面。在步骤3650，组装的电子显示组件被形成为3D形状。在一些实施例中，这个步骤可类似于上述方法2500的步骤2540。在步骤3650之后，方法3600可结束。
在合适的情况下，特定实施例可重复方法3600的一个或多个步骤。虽然本公开将方法3600的特定步骤描述和表示为按照特定次序发生，但本公开设想方法3600的任何合适的步骤按照任何合适的次序(例如，任何时间次序)发生。此外，虽然本公开描述和表示制造弯曲多显示器阵列的示例性方法，但本公开设想制造弯曲多显示器阵列的任何合适的方法，其可在合适的情况下包括方法3600的全部步骤、一些步骤或者不包括方法3600的步骤。另外，虽然本公开描述和表示执行方法3600的特定步骤的特定部件、装置或系统，但本公开设想执行方法3600的任何合适的步骤的任何合适的部件、装置或系统的任何合适的组合。
图37-42表示根据某些实施例的分布式多孔径相机阵列3700。通常，为了捕获单只人眼的整个视野的全部光场，需要具有远高于当前可用分辨率的分辨率的大型高动态范围图像传感器。这种图像传感器将会能够实现一种具有足以适应20/20人类视觉灵敏度的角分辨率和空间分辨率的光场相机。这是大量信息，等同于100K到200K的总水平像素数。这种多孔径图像传感器必须也环绕一只人眼的整个视野(大约水平160°和垂直130°)。为了对双眼视觉进行成像，需要跨越每只眼睛周围的整个弯曲表面的一对这种相机。今天可用的典型图像传感器组件不能满足这些要求。
为了克服典型图像传感器的这些和其它限制，本公开的实施例提供自定义尺寸和形状的小型图像传感器的阵列，所有小型图像传感器被组装在更大的柔性电路板2210上，柔性电路板2210被形成为3D(例如，半球形)形状。图像传感器(例如，传感器小面3735)被安装到柔性电路板2210的外侧，其中包含TFT逻辑单元(例如，逻辑单元755)的阵列的另一层可被提供以处理所有电源和信号管理–针对每个显示器提供一个逻辑单元。每个图像传感器用作分立单元，将读出的数据传递给它后面的逻辑单元(在包括逻辑单元的实施例中)，其中它被相应地处理和路由(例如，在一些实施例中，处理和路由至对应显示器小面2665)。这允许每个传感器小面3735独立于任何其它传感器小面3735而操作，提供许多孔径的大型阵列，在每个孔径上捕获唯一内容，以使得整个组件本质上变为无缝的极高分辨率多节点相机。应该注意的是，尽管在一些实施例中图像传感器可将数据传递给它们的配对逻辑单元，但图像传感器自身的功能并不必然需要逻辑单元耦合。
为了满足分辨率、颜色清晰度和亮度输出的要求，每个微传感器可具有唯一高性能像素架构。例如，每个微传感器可包括如标题为“Stacked Transparent PixelStructures for Image Sensors”的第15/724,027号美国专利申请中的图18-20及其关联描述中所述的传感器像素1800的阵列，该美国专利申请的全部内容通过引用包含于此。微传感器可被使用任何合适的方法组装在同一基底上。这种使用标准半导体分层和光刻工艺的同时制造几乎消除与许多个体屏幕的生产和包装关联的开销和成本，大大提高可负担性。
分布式多孔径相机阵列3700的某些实施例的另一特性是基于不同全光基元之间的视差的内置深度知觉。由给定传感器的相对两侧的基元产生的图像可被用于计算图像细节的偏移，其中偏移距离直接与该细节和传感器表面的接近程度相关。这种场景信息可由中央处理器在覆盖任何增强视频信号时使用，导致AR/MR内容在合适的深度被放置在观察者前面。所述信息还能够被用于各种人工焦点模糊和深度感测任务，包括模拟景深、空间边缘检测和其它视觉效果。
图37表示根据某些实施例的分布式多孔径相机阵列3700的剖视图。图37本质上是图22的柔性电路板2210B，增加了在小面位置2220处耦合到柔性电路板2210B的传感器小面3735。在一些实施例中，每个传感器小面3735是来自图像传感器层730的个体传感器单元735。
在一些实施例中，每个个体传感器小面3735被耦合到柔性电路板2210。在其它实施例中，每个个体传感器小面3735被耦合到已被耦合到柔性电路板2210的逻辑小面2655之一。在其它实施例中，每个逻辑小面2655被首先耦合到传感器小面3735之一，并且该组合小面随后被耦合到柔性电路板2210。在这种实施例中，组合的逻辑小面2655和传感器小面3735可为了简单而被称为传感器小面3735。如这里所使用，“传感器小面”可表示两种实施例(即，个体传感器小面3735或传感器小面3735与逻辑小面2655的组合)。
通常，每个传感器小面3735能够被个体地寻址(例如，由未示出的中央控制处理器寻址)，并且一批传感器小面3735可代表形成单一集体的动态异质集合。换句话说，分布式多孔径相机阵列3700提供拼贴电子传感器系统，所述拼贴电子传感器系统提供通过一起形成完整整体的个体传感器小面3735捕获的图像。每个个体传感器小面3735能够按照多个不同分辨率捕获图像，并且能够在运行中被自定义以捕获不同分辨率、颜色范围、帧速等。例如，一个传感器小面3735可具有512x512捕获分辨率，而相邻传感器小面3735(具有相同尺寸)具有128x128捕获分辨率，其中前者代表更高密度的图像数据。在这个示例中，这两个传感器是不同的，但个体可控并且协调工作以捕获单一光场。
总体的所述一批传感器小面3735能够采用任何弯曲或平坦的表面结构。例如，传感器小面3735可被形成为半球形表面、圆柱形表面、长球形表面或任何其它形状的表面。
传感器小面3735可具有任何合适的形状。在一些实施例中，传感器小面3735的形状与显示器小面2665的形状和小面位置2220的形状匹配。在一些实施例中，传感器小面3735具有多边形的形状，诸如三角形、四边形、五边形、六边形、七边形或八边形。在一些实施例中，一些或全部传感器小面3735具有非多边形形状。例如，在柔性电路板2210的边缘的传感器小面3735可能不是多边形的，因为它们可能具有弯曲的切割以提高总体组件的美感。
除了具有可选择/可控的分辨率之外，每个传感器小面3735还可在一些实施例中具有可从多个颜色范围选择的颜色范围和/或可从多个帧速选择的帧速。在这种实施例中，特定柔性电路板2210的传感器小面3735可被配置为提供不同帧速和不同颜色范围。例如，一个传感器小面3735可具有特定颜色范围，而另一传感器小面3735具有不同颜色范围。类似地，一个传感器小面3735可具有特定帧速，而另一传感器小面3735具有不同帧速。
图38-39表示根据某些实施例的图37的分布式多孔径相机阵列3700的分解图。如这些附图中所示，每个传感器小面3735可包括具有与柔性电路板2210上的焊盘2240或逻辑小面2655上的焊盘2940匹配的图案的焊盘3940。这允许传感器小面3735使用本领域任何合适的技术而被耦合到逻辑小面2655或柔性电路板2210。在一些实施例中，焊盘3940是BGA焊盘或任何其它合适的表面安装焊盘。图40-40表示如图23-24中所示的柔性电路板2210的类似视图，不同之处在于：柔性电路板2210已被形成为3D形状。
图42表示根据某些实施例的制造分布式多孔径相机阵列3700的方法4200。方法4200可开始于步骤4210，在步骤4210中，多个小面位置被形成在电路板上。在一些实施例中，小面位置是小面位置2220，并且电路板是柔性电路板2210。在一些实施例中，每个小面位置对应于多个传感器小面(诸如，传感器小面3735)之一。
在步骤4220，柔性电路板被切割或者另一方面形成为允许柔性电路板稍后形成为3D形状的图案。当柔性电路板平坦时，至少一些小面位置通过多个间隙(诸如，间隙2215)而与一个或多个相邻小面位置分离。当柔性电路板被形成为3D形状时，所述多个间隙被基本上消除。
在步骤4230，多个传感器小面被耦合到柔性电路板的第一侧。每个传感器小面被耦合到步骤4210的相应一个小面位置。在步骤4240，组装的电子相机组件被形成为3D形状。在一些实施例中，这个步骤可类似于上述方法2500的步骤2540。在步骤4240之后，方法4200可结束。
在合适的情况下，特定实施例可重复方法4200的一个或多个步骤。虽然本公开将方法4200的特定步骤描述和表示为按照特定次序发生，但本公开设想方法4200的任何合适的步骤按照任何合适的次序(例如，任何时间次序)发生。此外，虽然本公开描述和表示制造分布式多孔径相机阵列的示例性方法，但本公开设想制造分布式多孔径相机阵列的任何合适的方法，其可在合适的情况下包括方法4200的全部步骤、一些步骤或者不包括方法4200的步骤。另外，虽然本公开描述和表示执行方法4200的特定步骤的特定部件、装置或系统，但本公开设想执行方法4200的任何合适的步骤的任何合适的部件、装置或系统的任何合适的组合。
这里，“或者”是包括性的而非排他性的，除非明确地指示另外的情况或通过上下文指示另外的情况。因此，这里，“A或B”表示“A、B或二者”，除非明确地指示另外的情况或通过上下文指示另外的情况。此外，“和”既是共同的又是个别的，除非明确地指示另外的情况或通过上下文指示另外的情况。因此，这里，“A和B”表示“A和B，共同地或个别地”，除非明确地指示另外的情况或通过上下文指示另外的情况。
本公开的范围包括本领域普通技术人员将会理解的对这里描述或示出的示例性实施例的所有改变、替换、变化、变更和修改。本公开的范围不限于这里描述或示出的示例性实施例。此外，虽然本公开将这里的各实施例描述和表示为包括特定部件、元件、功能、操作或步骤，但这些实施例中的任何实施例可包括本领域普通技术人员将会理解的这里任何地方描述或示出的任何部件、元件、功能、操作或步骤的任何组合或排列。另外，所附权利要求中对适应于、被布置为、能够、被配置为、使能够、可操作用于或可有效用于执行特定功能的设备或系统或者设备或系统的部件的引用包括该设备、系统、部件，无论它或该特定功能是否被激活、启动或解锁，只要该设备、系统或部件如此适应、被布置、有能力、被配置、使能够、可操作或有效即可。
虽然本公开将这里的各实施例描述和表示为包括特定部件、元件、功能、操作或步骤，但这些实施例中的任何实施例可包括本领域普通技术人员将会理解的这里任何地方描述或示出的任何部件、元件、功能、操作或步骤的任何组合或排列。
另外，所附权利要求中对适应于、被布置为、能够、被配置为、使能够、可操作用于或可有效用于执行特定功能的设备或系统或者设备或系统的部件的引用包括该设备、系统、部件，无论它或该特定功能是否被激活、启动或解锁，只要该设备、系统或部件如此适应、被布置、有能力、被配置、使能够、可操作或有效即可。

Claims (20)

1.一种电子显示组件，包括：
位于电路板的第一侧的第一微透镜层，第一微透镜层包括第一多个基元；
位于所述电路板的与第一微透镜层相反的一侧的第二微透镜层，所述第二微透镜层包括第二多个基元；
与第一微透镜层相邻的图像传感器层，所述图像传感器层包括多个传感器像素，所述多个传感器像素被配置成检测通过所述第一多个基元的进来光；以及
与第二微透镜阵列相邻的显示层，所述显示层包括被配置成通过所述第二多个基元发射光的多个显示像素；
其中，第一和第二多个基元中的每个基元包括：
透明小透镜；以及
多个不透明壁，被配置成防止光泄漏到相邻基元中。
2.根据权利要求1所述的电子显示组件，还包括位于第一和第二多个基元中的每个基元的至少一端的滤光层，所述滤光层可操作以将通过所述滤光层的光限制于特定入射角。
3.根据权利要求2所述的电子显示组件，其中所述滤光层包括涂层或膜。
4.根据权利要求1所述的电子显示组件，其中第一和第二多个基元中的每个基元的透明小透镜由聚合物、硅石玻璃或蓝宝石形成。
5.根据权利要求4所述的电子显示组件，其中所述聚合物包括聚碳酸酯或丙烯酸。
6.根据权利要求1所述的电子显示组件，其中第一和第二多个基元中的每个基元的透明小透镜包括三维形状，准直透镜位于所述三维形状的一端，所述三维形状包括：
三角形多面体；
矩形长方体；
五边形多面体；
六边形多面体；
七边形多面体；或
八边形多面体。
7.一种电子显示组件，包括：
包括多个基元的微透镜层；以及
与微透镜层相邻的像素阵列层，所述像素阵列层包括多个像素；
其中，所述多个基元中的每个基元包括：
透明小透镜；以及
以下中的一者或两者：
多个不透明壁，被配置成防止光泄漏到相邻基元中；以及
位于所述多个基元中的每个基元的一端的滤光层，所述滤光层被配置成将通过所述滤光层的光限制于特定的入射角。
8.根据权利要求7所述的电子显示组件，其中所述滤光层包括涂层或膜。
9.根据权利要求7所述的电子显示组件，其中所述多个基元中的每个基元的透明小透镜由聚合物、硅石玻璃或蓝宝石形成。
10.根据权利要求9所述的电子显示组件，其中所述聚合物包括聚碳酸酯或丙烯酸。
11.根据权利要求7所述的电子显示组件，其中第一和第二多个基元中的每个基元的透明小透镜包括三维形状，准直透镜位于所述三维形状的一端，所述三维形状包括：
三角形多面体；
矩形长方体；
五边形多面体；
六边形多面体；
七边形多面体；或
八边形多面体。
12.根据权利要求7所述的电子显示组件，其中所述多个像素包括：
多个传感器像素，被配置成检测通过所述多个基元的进来光；或
多个显示像素，被配置成通过所述多个基元发射光。
13.一种制造电子显示器的方法，该方法包括：
获得微透镜阵列(MLA)，所述MLA包括多个小透镜；
在所述多个小透镜中的每一个周围切割多个凹槽至预定深度；以及
用材料填充所述多个凹槽，所述材料被配置成防止光通过所述多个凹槽泄露。
14.根据权利要求13所述的制造电子显示器的方法，其中所述切割包括光刻。
15.根据权利要求13所述的制造电子显示器的方法，其中所述切割包括激光蚀刻。
16.根据权利要求13所述的制造电子显示器的方法，其中所述材料包括不透明材料。
17.根据权利要求13所述的制造电子显示器的方法，其中所述不透明材料包括非反射不透明材料或有色聚合物。
18.根据权利要求13所述的制造电子显示器的方法，其中所述材料包括光吸收材料。
19.根据权利要求13所述的制造电子显示器的方法，其中所述光吸收材料包括碳纳米管的溶液。
20.根据权利要求13所述的制造电子显示器的方法，其中将所述多个小透镜中的每个周围的所述多个凹槽切割至预定深度包括进行多程切割以达到预定深度。
CN201980019851.1A 2018-02-07 2019-01-23 全光基元成像系统 Active CN111902762B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/890,711 2018-02-07
US15/890,711 US10979699B2 (en) 2018-02-07 2018-02-07 Plenoptic cellular imaging system
PCT/US2019/014668 WO2019156807A1 (en) 2018-02-07 2019-01-23 Plenoptic cellular imaging system

Publications (2)

Publication Number Publication Date
CN111902762A true CN111902762A (zh) 2020-11-06
CN111902762B CN111902762B (zh) 2022-12-09

Family

ID=65363385

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201980019851.1A Active CN111902762B (zh) 2018-02-07 2019-01-23 全光基元成像系统

Country Status (11)

Country Link
US (1) US10979699B2 (zh)
EP (1) EP3750000B1 (zh)
JP (1) JP7077411B2 (zh)
KR (1) KR102479029B1 (zh)
CN (1) CN111902762B (zh)
AU (1) AU2019218741B2 (zh)
CA (1) CA3090661C (zh)
ES (1) ES2953632T3 (zh)
MY (1) MY197937A (zh)
SG (1) SG11202007486YA (zh)
WO (1) WO2019156807A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10652529B2 (en) 2018-02-07 2020-05-12 Lockheed Martin Corporation In-layer Signal processing
US11616941B2 (en) 2018-02-07 2023-03-28 Lockheed Martin Corporation Direct camera-to-display system
SG10202002922RA (en) * 2020-03-30 2021-10-28 Sharma Nishant SVVRON Effect - 3D TV & Camera (without Glasses)

Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5731899A (en) * 1996-12-20 1998-03-24 Eastman Kodak Company Lenslet array system incorporating an integral field lens/reimager lenslet array
US6775048B1 (en) * 2000-10-31 2004-08-10 Microsoft Corporation Microelectrical mechanical structure (MEMS) optical modulator and optical display system
US6801185B2 (en) * 2000-04-14 2004-10-05 C-360, Inc. Illuminated viewing assembly, viewing system including the illuminated viewing assembly, and method of viewing therefor
KR20070008903A (ko) * 2005-07-12 2007-01-18 에이디반도체(주) 발광표시용 정전용량 스위치
US20070109438A1 (en) * 2004-01-20 2007-05-17 Jacques Duparre Image recognition system and use thereof
JP2008066814A (ja) * 2006-09-05 2008-03-21 Murata Mach Ltd 光学読取装置および画像読取装置
CN102100064A (zh) * 2008-08-05 2011-06-15 伊斯曼柯达公司 用于捕捉和观察图像的装置和方法
US20140043320A1 (en) * 2012-08-08 2014-02-13 Carol Ann Tosaya Beamed-Pixel Retinal Displays
US20140063077A1 (en) * 2012-01-25 2014-03-06 Massachusetts Institute Of Technology Tensor Displays
CN103885582A (zh) * 2012-12-19 2014-06-25 辉达公司 近眼微透镜阵列显示器
CN104600084A (zh) * 2013-10-31 2015-05-06 台湾积体电路制造股份有限公司 包括反射引导层的图像传感器及其制造方法
JP2017134365A (ja) * 2016-01-29 2017-08-03 大日本印刷株式会社 レンズシート、撮像モジュール、及び撮像装置

Family Cites Families (210)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7075501B1 (en) 1990-12-31 2006-07-11 Kopin Corporation Head mounted display system
US5475514A (en) 1990-12-31 1995-12-12 Kopin Corporation Transferred single crystal arrayed devices including a light shield for projection displays
US6548956B2 (en) 1994-12-13 2003-04-15 The Trustees Of Princeton University Transparent contacts for organic devices
US6744912B2 (en) 1996-11-29 2004-06-01 Varian Medical Systems Technologies, Inc. Multiple mode digital X-ray imaging system
WO1999038046A1 (en) 1998-01-23 1999-07-29 Burger Robert J Lenslet array systems and methods
JPH11272209A (ja) 1998-01-30 1999-10-08 Hewlett Packard Co <Hp> 表示用集積回路ビデオ・タイル
US6724012B2 (en) 2000-12-14 2004-04-20 Semiconductor Energy Laboratory Co., Ltd. Display matrix with pixels having sensor and light emitting portions
JP4543560B2 (ja) 2001-02-09 2010-09-15 日本電気株式会社 表示機能を内蔵した画像入力装置
WO2003014010A1 (en) 2001-08-08 2003-02-20 Jsr Corporation Three-dimensional opto-electronic micro-system
TWI289896B (en) 2001-11-09 2007-11-11 Semiconductor Energy Lab Laser irradiation apparatus, laser irradiation method, and method of manufacturing a semiconductor device
US7233354B2 (en) 2002-10-11 2007-06-19 Hewlett-Packard Development Company, L.P. Digital camera that adjusts resolution for low light conditions
US7015639B2 (en) 2002-10-22 2006-03-21 Osram Opto Semiconductors Gmbh Electroluminescent devices and method of making transparent cathodes
FR2852147B1 (fr) 2003-03-06 2005-09-30 Commissariat Energie Atomique Matrice de pixels detecteurs integree sur circuit de lecture de charges
US6909233B2 (en) 2003-06-11 2005-06-21 Eastman Kodak Company Stacked OLED display having improved efficiency
US8884845B2 (en) 2003-10-28 2014-11-11 Semiconductor Energy Laboratory Co., Ltd. Display device and telecommunication system
US20050206755A1 (en) 2004-03-17 2005-09-22 Fuji Photo Film Co., Ltd. Solid-state imaging device
US20050205879A1 (en) 2004-03-17 2005-09-22 Fuji Photo Film Co., Ltd. Photoelectric converting film stack type solid-state image pickup device
JP2005268609A (ja) 2004-03-19 2005-09-29 Fuji Photo Film Co Ltd 多層積層型多画素撮像素子及びテレビカメラ
US7352415B1 (en) * 2004-04-23 2008-04-01 Geronimi Heather A Electronic image display systems
US20050242712A1 (en) 2004-04-29 2005-11-03 Chao-Chin Sung Multicolor electroluminescent display
US20060028674A1 (en) 2004-08-03 2006-02-09 Silverbrook Research Pty Ltd Printer with user ID sensor
WO2006026354A2 (en) 2004-08-25 2006-03-09 Newport Imaging Corporation Apparatus for multiple camera devices and method of operating same
GB2420536A (en) 2004-11-27 2006-05-31 Tom Vlaming Automotive head up display system
JP2007012359A (ja) 2005-06-29 2007-01-18 Hitachi Displays Ltd 有機ｅｌ表示装置
US11428937B2 (en) 2005-10-07 2022-08-30 Percept Technologies Enhanced optical and perceptual digital eyewear
US20070123133A1 (en) 2005-11-30 2007-05-31 Eastman Kodak Company OLED devices with color filter array units
US9101279B2 (en) 2006-02-15 2015-08-11 Virtual Video Reality By Ritchey, Llc Mobile user borne brain activity data and surrounding environment data correlation system
TW200803606A (en) 2006-06-13 2008-01-01 Itc Inc Ltd The fabrication of full color OLED panel using micro-cavity structure
US7542210B2 (en) 2006-06-29 2009-06-02 Chirieleison Sr Anthony Eye tracking head mounted display
US7714923B2 (en) 2006-11-02 2010-05-11 Eastman Kodak Company Integrated display and capture apparatus
US7697053B2 (en) 2006-11-02 2010-04-13 Eastman Kodak Company Integrated display having multiple capture devices
US7808540B2 (en) 2007-01-09 2010-10-05 Eastman Kodak Company Image capture and integrated display apparatus
US20080218331A1 (en) 2007-03-08 2008-09-11 Itt Manufacturing Enterprises, Inc. Augmented reality-based system and method to show the location of personnel and sensors inside occluded structures and provide increased situation awareness
US8456393B2 (en) 2007-05-31 2013-06-04 Nthdegree Technologies Worldwide Inc Method of manufacturing a light emitting, photovoltaic or other electronic apparatus and system
US7952059B2 (en) 2007-06-13 2011-05-31 Eyes Of God, Inc. Viewing system for augmented reality head mounted display with rotationally symmetric aspheric lenses
CN101345248B (zh) 2007-07-09 2010-07-14 博立码杰通讯(深圳)有限公司 多光谱感光器件及其制作方法
KR20090038242A (ko) 2007-10-15 2009-04-20 삼성전자주식회사 전하를 트랩하는 광전 발생부를 포함하는 이미지 센서
KR100916321B1 (ko) 2007-12-17 2009-09-11 한국전자통신연구원 유기 발광 다이오드 터치스크린 장치 및 그 제조 방법
US8866920B2 (en) 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US8339429B2 (en) 2008-07-24 2012-12-25 International Business Machines Corporation Display monitor electric power consumption optimization
US8610650B2 (en) 2009-05-20 2013-12-17 Dialog Semiconductor Gmbh Advanced multi line addressing
DE102010000925B4 (de) 2010-01-14 2012-04-19 Kreyenborg Beteiligungen Und Verwaltungen Gmbh & Co. Kg Siebträgerelement für eine Filtriereinrichtung mit wenigstens einer Siebkavität
US8749620B1 (en) 2010-02-20 2014-06-10 Lytro, Inc. 3D light field cameras, images and files, and methods of using, operating, processing and viewing same
US8964298B2 (en) 2010-02-28 2015-02-24 Microsoft Corporation Video display modification based on sensor input for a see-through near-to-eye display
US20120249797A1 (en) 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
US9229227B2 (en) 2010-02-28 2016-01-05 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a light transmissive wedge shaped illumination system
US8482859B2 (en) 2010-02-28 2013-07-09 Osterhout Group, Inc. See-through near-eye display glasses wherein image light is transmitted to and reflected from an optically flat film
JP5921533B2 (ja) 2010-06-11 2016-05-24 バック イン フォーカスＢａｃｋ Ｉｎ Ｆｏｃｕｓ 観察者の視覚障害を補正するための表示を表現するシステム、方法、およびそのプログラムを格納している記憶媒体
US8163581B1 (en) 2010-10-13 2012-04-24 Monolith IC 3D Semiconductor and optoelectronic devices
US9632315B2 (en) 2010-10-21 2017-04-25 Lockheed Martin Corporation Head-mounted display apparatus employing one or more fresnel lenses
US8576276B2 (en) 2010-11-18 2013-11-05 Microsoft Corporation Head-mounted display device which provides surround video
TWI462265B (zh) 2010-11-30 2014-11-21 Ind Tech Res Inst 影像擷取裝置
JP6246592B2 (ja) 2010-12-16 2017-12-13 ロッキード マーティン コーポレーション 画素レンズを有するコリメーティングディスプレイ
CN102563545B (zh) 2010-12-17 2015-05-06 杜比实验室特许公司 用于显示器的量子点调制
US9179134B2 (en) 2011-01-18 2015-11-03 Disney Enterprises, Inc. Multi-layer plenoptic displays that combine multiple emissive and light modulating planes
CN103404124A (zh) 2011-03-01 2013-11-20 松下电器产业株式会社 固体摄像装置
JP2012205015A (ja) 2011-03-24 2012-10-22 Casio Comput Co Ltd 画像処理装置及び画像処理方法、並びにプログラム
US8605082B2 (en) 2011-04-18 2013-12-10 Brian K. Buchheit Rendering adjustments to autocompensate for users with ocular abnormalities
US8508830B1 (en) 2011-05-13 2013-08-13 Google Inc. Quantum dot near-to-eye display
US20150077312A1 (en) 2011-05-13 2015-03-19 Google Inc. Near-to-eye display having adaptive optics
KR101252169B1 (ko) 2011-05-27 2013-04-05 엘지전자 주식회사 휴대 단말기 및 그 동작 제어방법
WO2012177166A1 (en) 2011-06-24 2012-12-27 Intel Corporation An efficient approach to estimate disparity map
US20130175557A1 (en) 2011-09-02 2013-07-11 The Procter & Gamble Company Light emitting apparatus
US20130083003A1 (en) 2011-09-30 2013-04-04 Kathryn Stone Perez Personal audio/visual system
US20130188045A1 (en) 2012-01-20 2013-07-25 Nokia Corporation High Resolution Surveillance Camera
US9368546B2 (en) 2012-02-15 2016-06-14 Microsoft Technology Licensing, Llc Imaging structure with embedded light sources
US9578318B2 (en) 2012-03-14 2017-02-21 Microsoft Technology Licensing, Llc Imaging structure emitter calibration
US20130286053A1 (en) 2012-04-25 2013-10-31 Rod G. Fleck Direct view augmented reality eyeglass-type display
KR101260287B1 (ko) 2012-04-27 2013-05-03 (주)뷰아이텍 증강 현실을 이용한 안경 렌즈 비교 시뮬레이션 방법
US9210392B2 (en) 2012-05-01 2015-12-08 Pelican Imaging Coporation Camera modules patterned with pi filter groups
US9001427B2 (en) 2012-05-30 2015-04-07 Microsoft Technology Licensing, Llc Customized head-mounted display device
US9179126B2 (en) 2012-06-01 2015-11-03 Ostendo Technologies, Inc. Spatio-temporal light field cameras
WO2014005123A1 (en) 2012-06-28 2014-01-03 Pelican Imaging Corporation Systems and methods for detecting defective camera arrays, optic arrays, and sensors
US9494797B2 (en) 2012-07-02 2016-11-15 Nvidia Corporation Near-eye parallax barrier displays
US9992453B2 (en) 2012-07-20 2018-06-05 Freedom Scientific, Inc. Multiposition magnifier camera
EP2690483A1 (en) 2012-07-25 2014-01-29 Johnson Controls Automotive Electronics SAS Head-up display and method for operating it
US8754829B2 (en) 2012-08-04 2014-06-17 Paul Lapstun Scanning light field camera and display
JP2014048652A (ja) 2012-09-04 2014-03-17 Japan Display Inc 液晶表示装置
US9237263B2 (en) 2012-10-05 2016-01-12 Vidinoti Sa Annotation method and apparatus
US9684483B2 (en) 2012-11-01 2017-06-20 Lellan, Inc. Seamless illuminated panel
US9933684B2 (en) 2012-11-16 2018-04-03 Rockwell Collins, Inc. Transparent waveguide display providing upper and lower fields of view having a specific light output aperture configuration
JP6220125B2 (ja) 2012-12-28 2017-10-25 キヤノン株式会社 撮像装置およびその制御方法
US9497380B1 (en) 2013-02-15 2016-11-15 Red.Com, Inc. Dense field imaging
JP5866552B2 (ja) 2013-03-13 2016-02-17 パナソニックＩｐマネジメント株式会社 有機エレクトロルミネッセンス素子及びそれを用いた照明装置
KR102458124B1 (ko) 2013-03-15 2022-10-21 매직 립, 인코포레이티드 디스플레이 시스템 및 방법
TWI649675B (zh) 2013-03-28 2019-02-01 新力股份有限公司 Display device
US9899598B2 (en) 2013-05-01 2018-02-20 Konica Minolta, Inc. Organic electroluminescent element
US9036078B1 (en) 2013-05-14 2015-05-19 Google Inc. Reducing light damage in shutterless imaging devices
US9786859B2 (en) 2013-05-17 2017-10-10 Panasonic Intellectual Property Management Co., Ltd. Organic electroluminescent element and lighting device
US9519144B2 (en) 2013-05-17 2016-12-13 Nvidia Corporation System, method, and computer program product to produce images for a near-eye light field display having a defect
ES2872927T3 (es) 2013-05-21 2021-11-03 Photonic Sensors & Algorithms S L Integración monolítica de lentes plenópticas sobre sustratos fotosensores
KR20140140861A (ko) 2013-05-30 2014-12-10 영남대학교 산학협력단 유기발광표시장치
JP6098375B2 (ja) 2013-05-31 2017-03-22 日本精機株式会社 ヘッドアップディスプレイ装置
US9874749B2 (en) 2013-11-27 2018-01-23 Magic Leap, Inc. Virtual and augmented reality systems and methods
CN103353663B (zh) 2013-06-28 2016-08-10 北京智谷睿拓技术服务有限公司 成像调整装置及方法
KR20150006731A (ko) 2013-07-09 2015-01-19 삼성디스플레이 주식회사 표시장치 및 그 구동 방법
CN105308953A (zh) 2013-07-19 2016-02-03 谷歌技术控股有限责任公司 用于捕获图像的不均匀传感器阵列
GB201314984D0 (en) 2013-08-21 2013-10-02 Sony Comp Entertainment Europe Head-mountable apparatus and systems
US9158115B1 (en) 2013-09-16 2015-10-13 Amazon Technologies, Inc. Touch control for immersion in a tablet goggles accessory
US9454008B2 (en) 2013-10-07 2016-09-27 Resonance Technology, Inc. Wide angle personal displays
TWI498769B (zh) 2013-11-18 2015-09-01 Quanta Comp Inc 頭戴式顯示裝置及其登入方法
CN110542938B (zh) 2013-11-27 2023-04-18 奇跃公司 虚拟和增强现实系统与方法
US8958158B1 (en) 2013-12-03 2015-02-17 Google Inc. On-head detection for head-mounted display
CA2934528C (en) 2013-12-17 2022-06-28 Marsupial Holdings Inc. Integrated microoptic imager, processor, and display
WO2015095737A2 (en) 2013-12-19 2015-06-25 The University Of North Carolina At Chapel Hill Optical see-through near-eye display using point light source backlight
US10381395B2 (en) 2013-12-24 2019-08-13 Sony Semiconductor Solutions Corporation Light control device with stacked light control layers
EP3525033B1 (en) 2013-12-27 2021-07-21 INTEL Corporation Device, method, and system of providing extended display with head mounted display
WO2015100714A1 (en) 2014-01-02 2015-07-09 Empire Technology Development Llc Augmented reality (ar) system
US9671613B2 (en) 2014-09-26 2017-06-06 Osterhout Group, Inc. See-through computer display systems
US9651784B2 (en) 2014-01-21 2017-05-16 Osterhout Group, Inc. See-through computer display systems
KR102291619B1 (ko) 2014-02-26 2021-08-23 삼성디스플레이 주식회사 유기 발광 표시 장치
CA2941653C (en) 2014-03-05 2021-08-24 Arizona Board Of Regents On Behalf Of The University Of Arizona Wearable 3d augmented reality display
US9568727B2 (en) 2014-03-25 2017-02-14 Amazon Technologies, Inc. Electrowetting display pixel architecture
EP3123232A1 (en) 2014-03-26 2017-02-01 Essilor International (Compagnie Générale D'Optique) Methods and systems for augmented reality
US9710881B2 (en) 2014-04-05 2017-07-18 Sony Interactive Entertainment America Llc Varying effective resolution by screen location by altering rasterization parameters
WO2015162098A1 (en) 2014-04-24 2015-10-29 Carl Zeiss Meditec, Inc. Functional vision testing using light field displays
US9843787B2 (en) 2014-04-24 2017-12-12 Qualcomm Incorporated Generation and use of a 3D radon image
JP6249343B2 (ja) 2014-05-09 2017-12-20 マクセル株式会社 映像再生装置、表示装置及び送信装置
CA2949241A1 (en) 2014-05-20 2015-11-26 University Of Washington Through Its Center For Commercialization Systems and methods for mediated-reality surgical visualization
US9706910B1 (en) 2014-05-29 2017-07-18 Vivid Vision, Inc. Interactive system for vision assessment and correction
KR102205856B1 (ko) 2014-06-11 2021-01-21 삼성디스플레이 주식회사 센서를 포함하는 유기 발광 표시 장치
EP3155668B1 (en) 2014-06-16 2021-02-17 B.G. Negev Technologies & Applications Ltd., at Ben-Gurion University Swir to visible image up-conversion integrated device
US20160267851A1 (en) 2014-06-17 2016-09-15 Nato Pirtskhlava One Way Display
US9581821B2 (en) 2014-06-24 2017-02-28 Fakespace Labs, Inc. Head mounted augmented reality display
US10198865B2 (en) 2014-07-10 2019-02-05 Seiko Epson Corporation HMD calibration with direct geometric modeling
US9596456B2 (en) 2014-07-16 2017-03-14 Quanta Computer Inc. Head mounted display system
EP3129980B1 (en) 2014-07-18 2021-08-25 Vuzix Corporation Near-eye display with self-emitting microdisplay engine
CN104166259B (zh) 2014-07-30 2017-02-08 京东方科技集团股份有限公司 显示基板及其驱动方法和显示装置
US10739882B2 (en) 2014-08-06 2020-08-11 Apple Inc. Electronic device display with array of discrete light-emitting diodes
JP6501462B2 (ja) 2014-08-08 2019-04-17 キヤノン株式会社 光電変換装置及び光電変換装置の駆動方法
US9465991B2 (en) 2014-08-11 2016-10-11 Microsoft Technology Licensing, Llc Determining lens characteristics
US9626936B2 (en) 2014-08-21 2017-04-18 Microsoft Technology Licensing, Llc Dimming module for augmented and virtual reality
KR102271817B1 (ko) 2014-09-26 2021-07-01 삼성전자주식회사 증강현실을 위한 스마트 콘택렌즈와 그 제조 및 동작방법
GB2532003A (en) 2014-10-31 2016-05-11 Nokia Technologies Oy Method for alignment of low-quality noisy depth map to the high-resolution colour image
CN105744257B (zh) 2014-12-08 2018-06-12 北京蚁视科技有限公司 一种光学隐形装置
US9824498B2 (en) 2014-12-30 2017-11-21 Sony Interactive Entertainment Inc. Scanning display system in head-mounted display for virtual reality
KR102311741B1 (ko) 2015-01-14 2021-10-12 삼성디스플레이 주식회사 머리 장착형 디스플레이 장치
US10049495B2 (en) 2015-01-14 2018-08-14 Hashplay Inc. System and method for providing virtual reality content
WO2016138428A1 (en) 2015-02-27 2016-09-01 LAFORGE Optical, Inc. Augmented reality eyewear
US9734554B2 (en) 2015-02-27 2017-08-15 Charter Communications Operating, Llc Compensation for viewing with common vision abnormalities
US20160269720A1 (en) 2015-03-11 2016-09-15 Oculus Vr, Llc Flexible substrate display panel and panel geometry for ergonomics
US10417832B2 (en) 2015-03-11 2019-09-17 Facebook Technologies, Llc Display device supporting configurable resolution regions
WO2016145609A1 (en) 2015-03-17 2016-09-22 Shenzhen Yunyinggu Technology Co., Ltd. Subpixel arrangement for displays and driving circuit thereof
JP6714612B2 (ja) 2015-04-08 2020-06-24 ディスぺリックス オイ 光学透視ディスプレイ素子及びかかる素子を利用する装置
US10085005B2 (en) 2015-04-15 2018-09-25 Lytro, Inc. Capturing light-field volume image and video data using tiled light-field cameras
US10152906B2 (en) 2015-04-26 2018-12-11 Mems Start, Llc Near-eye display system and method
US9912897B2 (en) 2015-05-11 2018-03-06 Semiconductor Energy Laboratory Co., Ltd. Imaging device and electronic device
WO2016182514A1 (en) 2015-05-12 2016-11-17 Agency For Science, Technology And Research A system and method for displaying a video image
CN104795026A (zh) 2015-05-13 2015-07-22 京东方科技集团股份有限公司 全彩有机发光二极管像素的驱动电路及其驱动方法
JP2016225221A (ja) 2015-06-02 2016-12-28 コニカミノルタ株式会社 電界発光素子
US9728143B2 (en) 2015-06-29 2017-08-08 Amazon Technologies, Inc. System and method for driving electrowetting display device
US10359630B2 (en) 2015-06-30 2019-07-23 Massachusetts Institute Of Technology Display apparatus comprising first and second optical phased arrays and method for augmented reality
EP3317716B1 (en) 2015-07-03 2020-03-11 Essilor International Methods and systems for augmented reality
KR102348760B1 (ko) 2015-07-24 2022-01-07 삼성전자주식회사 이미지 센서 및 그에 따른 신호 처리 방법
CN105093532A (zh) 2015-08-03 2015-11-25 京东方科技集团股份有限公司 虚拟现实眼镜及显示方法
US20170038591A1 (en) 2015-08-03 2017-02-09 Oculus Vr, Llc Display with a Tunable Pinhole Array for Augmented Reality
US20170038607A1 (en) 2015-08-04 2017-02-09 Rafael Camara Enhanced-reality electronic device for low-vision pathologies, and implant procedure
KR101808852B1 (ko) 2015-08-18 2017-12-13 권혁제 가상현실 헤드셋을 이용한 안경 렌즈 비교 시뮬레이션 시스템 및 그 방법
WO2017039308A1 (en) 2015-08-31 2017-03-09 Samsung Electronics Co., Ltd. Virtual reality display apparatus and display method thereof
CN105192982B (zh) 2015-09-07 2018-03-23 北京小鸟看看科技有限公司 可调节式虚拟现实头盔的图像矫正方法和系统
KR20170033462A (ko) 2015-09-16 2017-03-27 삼성디스플레이 주식회사 전자 기기 및 헤드 마운트 디스플레이 장치의 영상 표시 방법
KR102404648B1 (ko) 2015-09-21 2022-05-31 엘지디스플레이 주식회사 표시장치
US20170090194A1 (en) 2015-09-24 2017-03-30 Halo Augmented Reality Ltd. System And Method For Subtractive Augmented Reality And Display Contrast Enhancement
EP3353630B1 (en) 2015-09-24 2021-05-26 Tobii AB Eye-tracking enabled wearable devices
US20170092232A1 (en) 2015-09-30 2017-03-30 Brian Mullins Optical true time delay circuit in a head-mounted display
KR102521944B1 (ko) 2015-10-02 2023-04-18 삼성디스플레이 주식회사 머리 탑재형 표시 장치 및 이의 제조 방법
KR102406606B1 (ko) 2015-10-08 2022-06-09 삼성디스플레이 주식회사 유기 발광 소자, 이를 포함하는 유기 발광 표시 장치, 및 이의 제조 방법
US11609427B2 (en) 2015-10-16 2023-03-21 Ostendo Technologies, Inc. Dual-mode augmented/virtual reality (AR/VR) near-eye wearable displays
US10338677B2 (en) 2015-10-28 2019-07-02 Microsoft Technology Licensing, Llc Adjusting image frames based on tracking motion of eyes
US20170123488A1 (en) 2015-10-28 2017-05-04 Microsoft Technology Licensing, Llc Tracking of wearer's eyes relative to wearable device
KR102448611B1 (ko) 2015-10-30 2022-09-27 엘지디스플레이 주식회사 유기 발광 표시 장치
KR102516054B1 (ko) 2015-11-13 2023-03-31 삼성디스플레이 주식회사 유기발광표시장치 및 유기발광표시장치의 제조 방법
KR20170061602A (ko) 2015-11-26 2017-06-05 가부시키가이샤 한도오따이 에네루기 켄큐쇼 반도체 장치 및 전자 기기
US10204451B2 (en) 2015-11-30 2019-02-12 Microsoft Technology Licensing, Llc Multi-optical surface optical design
US10445860B2 (en) 2015-12-08 2019-10-15 Facebook Technologies, Llc Autofocus virtual reality headset
EP3179334A1 (en) 2015-12-09 2017-06-14 Airbus Defence and Space GmbH Device and method for testing function or use of a head worn see through augmented reality device
KR102701853B1 (ko) 2015-12-14 2024-09-02 삼성전자주식회사 이미지 센서
US20170169612A1 (en) 2015-12-15 2017-06-15 N.S. International, LTD Augmented reality alignment system and method
US10438410B2 (en) 2015-12-22 2019-10-08 Intel Corporation Text enhancements for head-mounted displays
JP6641987B2 (ja) 2015-12-25 2020-02-05 セイコーエプソン株式会社 虚像表示装置
KR102570950B1 (ko) 2015-12-28 2023-08-25 엘지디스플레이 주식회사 개인 몰입형 장치의 표시장치
US10241319B2 (en) 2015-12-28 2019-03-26 Amazon Technologies, Inc. Electrowetting display pixels with fluid motion initiator
JP6607777B2 (ja) 2015-12-28 2019-11-20 ルネサスエレクトロニクス株式会社 半導体装置およびその製造方法
KR102458645B1 (ko) 2015-12-28 2022-10-25 엘지디스플레이 주식회사 표시장치와 그 구동 방법
US10038033B2 (en) 2015-12-29 2018-07-31 Industrial Technology Research Institute Image sensor
KR102470377B1 (ko) 2015-12-31 2022-11-23 엘지디스플레이 주식회사 개인 몰입형 기기의 표시장치
US9946073B2 (en) 2015-12-31 2018-04-17 Oculus Vr, Llc Methods and systems for eliminating strobing by switching display modes in response to detecting saccades
US10043305B2 (en) 2016-01-06 2018-08-07 Meta Company Apparatuses, methods and systems for pre-warping images for a display system with a distorting optical component
CA3193007A1 (en) 2016-01-12 2017-07-20 Esight Corp. Language element vision augmentation methods and devices
US9998695B2 (en) 2016-01-29 2018-06-12 Ford Global Technologies, Llc Automotive imaging system including an electronic image sensor having a sparse color filter array
US9836652B2 (en) 2016-02-02 2017-12-05 International Business Machines Corporation Showing danger areas associated with objects using augmented-reality display techniques
CN105572877B (zh) 2016-02-03 2018-11-09 上海群英软件有限公司 一种头戴式增强现实智能显示装置
CN109070803B (zh) 2016-04-14 2021-10-08 金泰克斯公司 提供深度信息的车辆显示系统
CN109788901B (zh) 2016-07-25 2024-01-02 奇跃公司 光场处理器系统
CN106309089B (zh) 2016-08-29 2019-03-01 深圳市爱思拓信息存储技术有限公司 Vr视力矫正方法及装置
EP3293959A1 (en) 2016-09-07 2018-03-14 Thomson Licensing Plenoptic imaging device equipped with an enhanced optical system
US11160688B2 (en) 2016-11-10 2021-11-02 Samsung Electronics Co., Ltd. Visual aid display device and method of operating the same
US20190057957A1 (en) 2016-12-21 2019-02-21 PhantaField, Inc. Augmented reality display system
US9977248B1 (en) 2016-12-21 2018-05-22 PhantaField, Inc. Augmented reality display system
DE102017200112B4 (de) 2017-01-05 2021-03-18 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zur Erzeugung eines dynamischen Lichtfeldes
US20180269260A1 (en) 2017-01-29 2018-09-20 Emagin Corporation Quantum dot array on directly patterned amoled displays and method of fabrication
CN107260505A (zh) 2017-02-14 2017-10-20 合肥中感微电子有限公司 视力保护方法、装置及具有视力保护功能的vr眼镜
US10163963B2 (en) 2017-04-05 2018-12-25 Semiconductor Components Industries, Llc Image sensors with vertically stacked photodiodes and vertical transfer gates
US10638069B2 (en) 2017-04-07 2020-04-28 Raytheon Company System for and method of configurable line scan array imaging
US10178334B2 (en) 2017-04-07 2019-01-08 Raytheon Company System for and method of configurable diagonal and multi-mission line scan array imaging
US10249800B1 (en) 2017-10-03 2019-04-02 Lockheed Martin Corporation Stacked transparent pixel structures for electronic displays
US10930709B2 (en) 2017-10-03 2021-02-23 Lockheed Martin Corporation Stacked transparent pixel structures for image sensors
US10510812B2 (en) 2017-11-09 2019-12-17 Lockheed Martin Corporation Display-integrated infrared emitter and sensor structures
US10129984B1 (en) 2018-02-07 2018-11-13 Lockheed Martin Corporation Three-dimensional electronics distribution by geodesic faceting
US10690910B2 (en) * 2018-02-07 2020-06-23 Lockheed Martin Corporation Plenoptic cellular vision correction

Patent Citations (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5731899A (en) * 1996-12-20 1998-03-24 Eastman Kodak Company Lenslet array system incorporating an integral field lens/reimager lenslet array
US6801185B2 (en) * 2000-04-14 2004-10-05 C-360, Inc. Illuminated viewing assembly, viewing system including the illuminated viewing assembly, and method of viewing therefor
US6775048B1 (en) * 2000-10-31 2004-08-10 Microsoft Corporation Microelectrical mechanical structure (MEMS) optical modulator and optical display system
US20070109438A1 (en) * 2004-01-20 2007-05-17 Jacques Duparre Image recognition system and use thereof
KR20070008903A (ko) * 2005-07-12 2007-01-18 에이디반도체(주) 발광표시용 정전용량 스위치
JP2008066814A (ja) * 2006-09-05 2008-03-21 Murata Mach Ltd 光学読取装置および画像読取装置
CN102100064A (zh) * 2008-08-05 2011-06-15 伊斯曼柯达公司 用于捕捉和观察图像的装置和方法
US20140063077A1 (en) * 2012-01-25 2014-03-06 Massachusetts Institute Of Technology Tensor Displays
US20140043320A1 (en) * 2012-08-08 2014-02-13 Carol Ann Tosaya Beamed-Pixel Retinal Displays
CN103885582A (zh) * 2012-12-19 2014-06-25 辉达公司 近眼微透镜阵列显示器
CN104600084A (zh) * 2013-10-31 2015-05-06 台湾积体电路制造股份有限公司 包括反射引导层的图像传感器及其制造方法
JP2017134365A (ja) * 2016-01-29 2017-08-03 大日本印刷株式会社 レンズシート、撮像モジュール、及び撮像装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
BASEL SALAHIEH等: "Light Field Retargeting from Plenoptic Camera to Integral Display", 《IMAGING AND APPLIED OPTICS 2017》 *
SUNG-WOOK MIN等: "Three-dimensional electro-floating display system using an integral imaging method", 《OPTICS EXPRESS》 *
XIAO XIAO等: "Advances in three-dimensional integral imaging: sensing, display, and applications [Invited]", 《APPLIED OPTICS》 *

Also Published As

Publication number Publication date
WO2019156807A1 (en) 2019-08-15
US20190246097A1 (en) 2019-08-08
EP3750000A1 (en) 2020-12-16
AU2019218741B2 (en) 2022-02-24
KR102479029B1 (ko) 2022-12-20
AU2019218741A1 (en) 2020-09-03
CA3090661A1 (en) 2019-08-15
EP3750000B1 (en) 2023-07-05
US10979699B2 (en) 2021-04-13
ES2953632T3 (es) 2023-11-14
JP7077411B2 (ja) 2022-05-30
CA3090661C (en) 2022-10-04
KR20200113272A (ko) 2020-10-06
SG11202007486YA (en) 2020-09-29
CN111902762B (zh) 2022-12-09
JP2021513271A (ja) 2021-05-20
MY197937A (en) 2023-07-25

Similar Documents

Publication Publication Date Title
CN111837235A (zh) 通过测地小面的三维电子设备分布
US10594951B2 (en) Distributed multi-aperture camera array
US10866413B2 (en) Eccentric incident luminance pupil tracking
US11146781B2 (en) In-layer signal processing
US10698201B1 (en) Plenoptic cellular axis redirection
CN111902762B (zh) 全光基元成像系统
KR102467346B1 (ko) 전자적으로 에뮬레이트된 투명도를 갖는 디스플레이 조립체
US10951883B2 (en) Distributed multi-screen array for high density display
US11616941B2 (en) Direct camera-to-display system

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant