CN104509088A - 空间-时间光场摄影机 - Google Patents

空间-时间光场摄影机 Download PDF

Info

Publication number
CN104509088A
CN104509088A CN201280075013.4A CN201280075013A CN104509088A CN 104509088 A CN104509088 A CN 104509088A CN 201280075013 A CN201280075013 A CN 201280075013A CN 104509088 A CN104509088 A CN 104509088A
Authority
CN
China
Prior art keywords
light field
video camera
light
field video
angle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201280075013.4A
Other languages
English (en)
Other versions
CN104509088B (zh
Inventor
H.S.埃尔-霍劳里
Z.Y.阿尔帕斯兰
蔡靖波
M.迈尔斯
P.瓦纳
D.A.麦克奈尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ostendo Technologies Inc
Original Assignee
Ostendo Technologies Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ostendo Technologies Inc filed Critical Ostendo Technologies Inc
Publication of CN104509088A publication Critical patent/CN104509088A/zh
Application granted granted Critical
Publication of CN104509088B publication Critical patent/CN104509088B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/48—Increasing resolution by shifting the sensor relative to the scene
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B13/00—Optical objectives specially designed for the purposes specified below
    • G02B13/001—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras
    • G02B13/0085—Miniaturised objectives for electronic devices, e.g. portable telephones, webcams, PDAs, small digital cameras employing wafer level optics
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10—Beam splitting or combining systems
    • G02B27/1066—Beam splitting or combining systems for enhancing image performance, like resolution, pixel numbers, dual magnifications or dynamic range, by tiling, slicing or overlapping fields of view
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10—Beam splitting or combining systems
    • G02B27/1073—Beam splitting or combining systems characterized by manufacturing or alignment methods
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/10—Beam splitting or combining systems
    • G02B27/12—Beam splitting or combining systems operating by refraction only
    • G02B27/123—The splitting element being a lens or a system of lenses, including arrays and surfaces with refractive power
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G02B3/0012—Arrays characterised by the manufacturing method
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G02B3/0037—Arrays characterized by the distribution or form of lenses
    • G02B3/0056—Arrays characterized by the distribution or form of lenses arranged along two different directions in a plane, e.g. honeycomb arrangement of lenses
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/27—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/236—Image signal generators using stereoscopic image cameras using a single 2D image sensor using varifocal lenses or mirrors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/286—Image signal generators having separate monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/286—Image signal generators having separate monoscopic and stereoscopic modes
    • H04N13/289—Switching between monoscopic and stereoscopic modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/13—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with multiple sensors
    • H04N23/16—Optical arrangements associated therewith, e.g. for beam-splitting or for colour correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/54—Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/815—Camera processing pipelines; Components thereof for controlling the resolution by using a single image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/951—Computational photography systems, e.g. light-field imaging systems by using two or more images to influence resolution, frame rate or aspect ratio
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Theoretical Computer Science (AREA)
  • Computing Systems (AREA)
  • Manufacturing & Machinery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Stereoscopic And Panoramic Photography (AREA)

Abstract

本发明提出了可以被用来在其空间时间上扩展的角度范围内捕获光场的空间-时间光场摄影机。这样的摄影机可以被用来记录3D图像、可以通过计算方式对焦的2D图像或者具有相对较高空间和方向分辨率的广角全景2D图像。所述光场摄影机还可以被用作具有扩展角度范围的2D/3D可切换摄影机。所述新颖光场摄影机的空间-时间方面允许其捕获并且通过数字方式记录来自广角内的多个方向视图的强度和颜色。所述光场摄影机的固有的体积紧凑性使得有可能将其嵌入在小型移动器件中，以便捕获3D图像或者可以通过计算方式对焦的2D图像。这些光场摄影机的固有的多功能性使其适合于针对3D电影和视频记录应用的多视角光场捕获。

Description

空间-时间光场摄影机
相关申请的交叉引用
本申请要求2012年6月1日提交的美国临时专利申请号61/654,688的权益。
技术领域
本发明涉及光场摄影机、辐射率（radiance）摄影机、定向光捕获、3D摄影机以及2D/3D可切换摄影机的领域。
背景技术
纳米尺度半导体的出现使得有可能在典型的移动器件（比如蜂窝电话或平板PC）内具有足够的计算资源，从而例如处理通过此类器件通常可以连接到的高数据速率移动网络接收和/或传送的高分辨率视觉信息。典型的移动器件现在具有1M像素显示器和8M像素摄影机，从而允许移动用户观看和捕获高分辨率视觉信息。利用这样的视觉通信能力，移动器件现在濒于能够处理3D视觉信息的边缘。虽然现在的主流是由满足移动器件的严格体积约束的超紧凑型摄影机捕获和记录2D视觉信息，但是对于3D视觉信息的捕获和记录则不是这种情况。即使在捕获和记录2D视觉信息的情况下，移动器件的严格体积约束仍然使得难以将具有先进的自动对焦能力的摄影机嵌入在这样的器件中。其主要原因是将先进的自动对焦特征合并到针对移动器件的摄影机中所涉及的较大体积、较差性能和过高的附加成本。有可能克服其中一些前述约束的一种富有希望的前景是被称作光场摄影机的一类摄影机，其能够捕获关于进入摄影机的光线的方向分布的信息。除了为移动用户提供捕获3D图像的能力之外，捕获光的方向信息的能力还将实现计算（数字）对焦，从而将允许移动用户在不考虑对焦的情况下捕获整个光场，随后利用移动器件的充裕处理能力通过计算方式对焦在所捕获的光场的任何所期望的方面上。在这方面，光场移动摄影机将实际上利用如今在移动器件中正变得普遍的充足处理资源来去除昂贵并且体积庞大的自动对焦。但是实现这样的前景的问题在于，现有技术的光场摄影机本身的体积固有地较大，并且完全不适合于嵌入在移动器件中。在继续描述本发明的细节之前，下面将从现有技术的光场摄影机方法及其突出特性方面进行讨论。
传统的摄影机并不记录其所捕获的光的方向信息。传统的摄影机仅仅捕获二维（2D）图像，其代表光从观看场景中的一点发出并且到达其光电检测器（PD）上的相应空间位置（像素）的一一对应关系，因此空间信息被捕获，但是所有方向信息则被丢失。与传统的2D摄影机不同，光场摄影机既捕获光的空间信息也捕获光的方向信息。光场摄影机能够捕获光的空间和方向信息全部二者是因为其能够记录光的辐射率，其描述空间和方向（角度）信息全部二者，并且被定义为每单位立体角每单位面积的入射光的辐射通量（以W.m-2.Sr-1测量）。因此，光场摄影机能够对四维（4D）辐射率进行采样，从而同时捕获其所捕获的光的空间分布的两个维度和方向分布的两个维度全部二者。由于能够记录辐射率，因此光场摄影机捕获了对于进行捕获后对焦、减少噪声或者改变视点所需的所有光场信息；也就是说实现了三维（3D）图像捕获。
图1A示出了利用传统摄影机的阵列实施的现有技术光场摄影机，其中每一个摄影机从不同的视角记录光场的图像。随后可以组合所捕获的图像以形成所捕获的光场。这种方法的缺点相当明显；为了利用阵列中的每一个摄影机捕获合理的角度范围，物镜的阵列将跨越远大于其光电检测器的面积，并且将分别具有相当大的光轨长度，从而使得图1A的整个摄影机阵列在其能够捕获的光场的视图数目方面受到限制并且体积过大，从而完全不适合于嵌入在移动器件中。
图1B示出了利用集成成像的原理实施的另一种现有技术光场摄影机。这种光场摄影机方法也被称作全光（plenoptic）摄影机，其中仅使用一个物镜，并且在摄影机光电检测器附近放置一个小透镜（lenslet）或微透镜阵列以便对摄影机的孔径进行采样。由全光摄影机捕获的图像将由光场的子孔径图像的阵列构成，其中每一幅子孔径图像由处于每一个微透镜元件下方的该组像素记录。由全光摄影机捕获的每一幅子孔径图像将代表光场的一个视差样本。虽然图1B的全光摄影机与图1A的摄影机阵列相比将潜在地提供数目更多的光场视图并且体积也将更小，但是视图数目的增加将以空间分辨率的降低为代价。此外，类似于摄影机阵列，为了使得全光摄影机覆盖合理的角度范围，其必须采用尽可能大直径的物镜，从而又需要较大的光轨长度，从而使得全光摄影机的体积同样较大并且完全不适合于嵌入在移动器件中。
图1C示出了通过使用对于光场的频域分析的原理而实施的另一种现有技术光场摄影机。在这种类型的现有技术场摄影机中，其虽然在概念上等效于图1B的全光摄影机，但是为了进行区分将其称为辐射率摄影机，这是通过在其他方面是传统的摄影机的物镜前方或者主透镜套件与光电检测器之间放置无折射二维针孔阵列（基本上是掩模）而实现的。因此，通过这样的摄影机捕获的图像是传入光场与所述掩模的已知的无折射光场调制加权函数的傅里叶域卷积。该摄影机实际上直接在傅里叶域内捕获4-D光场，因此由摄影机的2-D光电检测器的每一个像素记录的数值代表从多个方向进入摄影机的所有光线的傅里叶域内的已编码线性组合。可以通过软件来解码由无折射掩模光场所叠加的已知线性组合，从而获得4-D光场。总体来说，该辐射率摄影机的性能在其利用给定的光电检测器尺寸所能实现的空间和方向分辨率方面、在像素数方面是类似的，其不同之处在于辐射率分析摄影机可以对于每个视图给出更高的空间分辨率，但是可以被解析的视图数目高度取决于愿意为捕获后处理分配的计算吞吐量。换句话说，辐射率摄影机所能给出的每个视图的空间分辨率方面的改进将以计算资源的增加为代价。此外，在辐射率摄影机中使用的掩模将导致光损失，从而往往会降低捕获图像信噪比（SNR）。此外，类似于摄影机阵列和全光摄影机，为了使得辐射率摄影机覆盖合理的角度范围，其必须采用尽可能大直径的物镜，从而又需要较大的光轨长度，从而使得辐射率分析摄影机的体积同样较大并且完全不适合于嵌入在移动器件中。
总体来说，在图1A、1B和1C中示出的现有技术光场摄影机在其功能和应用方面受到限制是因为：
1、其光场的深度受到其物镜的焦距的限制；
2、其光场的视场受到其物镜的角度范围的限制；
3、其物镜和MLA（微透镜阵列）必须具有匹配的F#，从而导致复杂并且高成本的透镜系统设计；
4、实现具有合理尺寸的视场所需的物镜的大直径通常导致相当大的光轨长度，从而又导致光场摄影机的体积尺寸变大，从而降低了摄影机的实用性并且阻碍了其在移动应用中的使用；
5、物镜系统添加了众所周知的光学失真和像差，比如桶形失真、TV失真等等，从而降低了所捕获的光场的光学质量，从而又使得通过此类摄影机捕获的深度和方向信息存在失真；以及
6、通过此类摄影机捕获的光场通常会因为传感器的有限分辨率而受困于欠采样和所导致的采样伪像，传感器的有限分辨率通常必须在可实现的空间和角度分辨率之间进行分摊，从而限制了这些光场摄影机所能捕获的方向的总数。
因此，本发明的一个目的是引入一种能够克服现有技术的限制和弱点的空间-时间光场摄影机，从而使得有可能产生可以被嵌入在移动器件中的光场摄影机，并且为此类器件的用户给出在较宽的角度范围内对2D图像进行计算对焦以及捕获3D图像的能力。通过后面参照附图对于本发明的一个优选实施例进行的详细描述，本发明的其他目的和优点将变得显而易见。
附图说明
在附图中作为举例而非限制示出了本发明，其中相同的附图标记指代类似的元件。
图1A示出了现有技术光场摄影机阵列。
图1B示出了现有技术全光摄影机。
图1C示出了现有技术先前辐射率捕获摄影机。
图2示出了本发明的空间-时间光场摄影机的各个原理方面的等距视图。
图3示出了本发明的空间-时间光场摄影机的定向光场捕获方面。
图4A示出了通过本发明的空间-时间光场摄影机的时间铰接（temporal articulation）方面而成为可能的角度范围扩展。
图4B示出了本发明的空间-时间光场摄影机的示例性角度时间铰接。
图5示出了本发明的空间-时间光场摄影机的扩展角度覆盖剖面。
图6示出了本发明的空间-时间光场摄影机的一个实施例的等距视图、顶视图和侧视图。
图7示出了本发明的空间-时间光场摄影机的另一个实施例的分解等距视图、侧视图和顶视图。
图8A示出了本发明的空间-时间光场摄影机的微透镜阵列的透镜元件的示例性设计。
图8B示出了本发明的空间-时间光场摄影机的完全组装的剖面的一个示例性实施例。
图8C示出了本发明的空间-时间光场摄影机的一个示例性实施例的顶视图。
图8D示出了具有中心微透镜阵列透镜的本发明的空间-时间光场摄影机的一个示例性实施例。
图8E示出了具有偏心微透镜阵列透镜的本发明的空间-时间光场摄影机的一个示例性实施例。
图9A示出了本发明的空间-时间光场的其中一个空间像素组内的方向可寻址性的一个示例性实施例。
图9B示出了本发明的空间-时间光场的其中一个空间像素组内的方向可寻址性的一个示例性实施例。
图9C示出了可以通过本发明的空间-时间光场捕获的弯曲时间视差。
图10示出了通过拼贴多个本发明的空间-时间光场摄影机而实施的3D/2D可切换光场摄影机的一个示例性实施例的等距视图。
图11示出了解释本发明的空间-时间光场的数据处理方框图的方框图。
图12在跨越其4维空间和方向光场空间的二维切片中示出了通过本发明的空间-时间光场摄影机捕获的光场。
图13示出了通过本发明的空间-时间光场摄影机实现的联网光场摄影的原理。
具体实施方式
因此，本发明的一个目的是引入足够紧凑从而很容易装配到移动器件中的新颖的光场摄影机。本申请的另一个目的是通过能够把本发明的超紧凑的光场摄影机嵌入到联网的移动器件中而引入新的光场摄影的概念。
在后面对于本发明的详细描述中，在提到“一个实施例”或“某一实施例”时意图表明结合该实施例描述的具体特征、结构或特性被包括在本发明的至少一个实施例中。在该详细描述中的各处出现的短语“在一个实施例中”不一定都指的是同一实施例，并且许多方面适用于所有实施例。
这里描述了一类新的光场摄影机，其被称作空间-时间光场摄影机。类似于现有技术的光场摄影机，比如前面简要描述的全光摄影机或辐射率摄影机，本发明的空间-时间光场摄影机同样是基于使用高像素密度光电检测器阵列（PDA）器件来记录其所捕获的图像。因此，在本发明的上下文中，术语“PDA器件”从此意图表明包括微尺度光检测像素的阵列的光电检测器器件。这样的高像素密度光电检测器阵列（PDA）器件在后文中被简称作PDA器件，其可以是电荷耦合器件（CCD）类型的光传感器，或者是固态光（SSL）光传感器，比如CMOS传感器或利用III-V材料制作的光传感器。这样的PDA器件的像素阵列的电输出值将与耦合到像素孔径中的光的颜色或强度相当，其将可由包含在CMOS芯片（或基板）内的驱动电路寻址并且由其收集，其中所述微尺度像素检测器阵列被结合到所述CMOS芯片（或基板）上。构成PDA器件的检测器阵列的像素的尺寸在线性维度中将处于近似2-10微米的范围，所述器件的典型的检测表面积处于近似0.3-5平方厘米的范围。通过其CMOS基板的驱动电路或者通过支持PDA器件的操作的外部电路，可以在空间、色度和时间方面对来自PDA器件的微尺度像素阵列的各个像素的电输出值单独进行寻址。
本发明把PDA器件的微像素阵列能力与无源晶片级光学元件（WLO）和整个套件的铰接移动相组合，从而产生可以实施前面所描述的任何现有技术光场摄影机的功能的光场摄影机。这里所使用的晶片级或晶片意指具有至少2英寸并且更加优选的是4英寸或更大的直径的器件或器件矩阵。WLO是利用紫外（UV）压印光刻从聚合物单片制作在晶片上的。在WLO的主要优点当中特别是制作小特征微透镜阵列（MLA）的能力，以及把多个WLO光学元件（层）精确对准在一起并且与例如PDA器件之类的光电子器件精确对准的能力。通过典型的WLO制作技术所能实现的对准精度可以小于1微米。通过把PDA的微像素阵列的单独像素可寻址性与能够关于PDA器件的微像素阵列精确对准的WLO微透镜阵列（MLA）相组合，使得不再像现有技术中那样需要在系统中具有体积较大的物镜，从而同时减小了系统体积并且降低了复杂度和成本。在本发明中，通过把利用WLO实现的角度范围与整个套件的铰接移动相组合，实现了所检测到的光的定向方面。
图2在概念上示出了本发明的空间-时间光场摄影机。如图2中所示，本发明的空间-时间光场摄影机包括PDA器件210与直接安放在其检测表面孔径之上的WLO微透镜阵列（MLA）220，其中整个套件在时间上围绕其                                                和轴全部二者铰接，并且优选的是分别通过处于和范围内的角度铰接。如图2中所示的PDA/MLA套件230的铰接将是通过把整个套件放置在一个2轴万向节上而实现的，其中该万向节的轴在时间上通过处于范围内的一定角度被致动，并且该万向节的轴通过处于范围内的一定角度被致动。通过2轴万向节提供的轴和轴时间铰接将导致由PDA器件210检测到的撞击在PDA/MLA套件230的顶表面上的光的方向角度在时间上扩展超出由MLA 220的透镜元件提供的角度范围，其中围绕轴扩展并且围绕轴扩展。
参照图3，与构成2维阵列MLA 220的每一个微透镜元件相关联的是一组单独可寻址的PDA像素，从而由该组像素中的每一个像素检测到的光将从其相关联的微透镜元件的数值孔径（角度范围）内的其中一个唯一方向(,,...,)折射。PDA器件210的整个微像素阵列将包括多个像素组,...,)，其在这里被称作像素检测组（或者被同义地称作像素组），从而每一个像素组将与其中一个2维阵列MLA 220透镜元件相关联，并且像素组,...,)于是将总体代表本发明的空间-时间光场摄影机的空间检测阵列。通过图2中所示的时间铰接以及每一个像素组内的各个单独像素与所检测到的光方向(,,...,)之间的一一关联，使得在图2中以概念方式示出的本发明的空间-时间光场摄影机有可能具有与其每一个像素组相关联的多个时间上多路复用的方向(,,...,);，其中每一个方向可以通过对于每一个像素组,...,)内的各个单独像素进行时间寻址而被单独寻址。与图2的2维阵列MLA 220相关联的多个PDA器件像素组,...,)于是将代表本发明的空间-时间光场摄影机的空间阵列，其中在时间上多路复用的各个方向(,,...,);代表通过构成每一个像素调制组的PDA器件210的各个像素的时间可寻址性而单独可寻址的多个光检测方向。换句话说，本发明的空间-时间光场摄影机将能够通过PDA像素组,...,)的可寻址性对光进行空间检测，并且通过构成每一个像素组的各个像素的时间可寻址性对来自各个方向(,,...,);上的每一个像素组的光进行方向检测。因此，图2中所示的本发明的空间-时间光场摄影机将能够对光进行空间和方向二者上的检测，其中由等同于PDA的每一个像素组,...,)的检测区域的每一个空间位置检测到的光通过各个像素组的可寻址性而是单独可寻址的，并且通过每一个像素组内的单独像素的时间可寻址性而是方向可寻址的。
如图2中所示的PDA/MLA套件230的轴和轴铰接将导致其来自方向(,,...,)的光检测能力在时间上被多路复用到多个光方向(,,...,);中，所述多个光方向在由MLA 220的透镜元件提供的角度范围加上方向中的和方向中的上延伸。这方面在图4A中示出，该图出于说明的目的示出了沿着一个铰接轴的PDA/MLA套件230角度范围的时间扩展。参照图4A，角度代表MLA 220的一个透镜元件的角度范围，并且角度代表该透镜元件的复合瞬时铰接角度，其是分别围绕轴和轴的角度为和的万向节铰接的结果。如图2中所示并且通过图4A解释的PDA/MLA套件230的铰接允许PDA器件210的检测阵列内的微尺度像素（其可以通过PDA驱动电路来单独寻址）在空间、色度和方向方面检测光，其中在方向方面检测到的光的角度范围在时间上被扩展超出MLA 220的透镜元件的角度范围（或数值孔径），其中在方向上扩展超出角度并且在方向上扩展超出角度。此外，本发明的空间-时间光场摄影机200的PDA/MLA套件230的时间铰接将在时间上增加可以检测到的光方向(,,...,)的数目，其在每一个铰接方向上的角度范围扩展的比例被表示为。
本发明的空间-时间光场摄影机200的PDA/MLA套件230的2轴铰接可以是时间上连续或离散（步进）的。图4B作为说明示出了当所述铰接是时间上连续的410以及当所述铰接是时间上离散的420时的一个轴上的PDA/MLA套件230的复合时间铰接角度。当本发明的空间-时间光场摄影机200的时间铰接是离散的或步进的（420）时，典型的角度步长将优选地与MLA 220的角度范围和PDA/MLA套件230的空间分辨率的比值成比例。如图5中所示，本发明的空间-时间光场摄影机的PDA/MLA套件230的时间铰接围绕所述2个轴当中的每一个轴通常将是重复性的（或周期性的）并且是独立的。本发明的空间-时间光场摄影机的铰接重复周期通常将与预定义的输出数据帧持续时间成比例并且与之同步（出于参考目的，来自典型的视频摄影机的图像数据以每秒60帧被输出，并且常常被称作60Hz帧率输出）。图4B中示出的时间铰接的最大值将决定可以由空间-时间光场摄影机提供的完全角度范围，其由数值决定，其中角度代表MLA 220的透镜元件的角度范围。轴和轴铰接的周期性总体上通常将被选择成在所需的图像帧捕获持续时间内实现对于本发明的空间-时间光场摄影机200的所期望的完全角度范围的时间覆盖。在静止图像捕获（摄影）中，快门速度将是等效于在前面的讨论中所提到的图像帧捕获持续时间的参数。这意味着当本发明的空间-时间光场摄影机200被使用在静止图像摄影中时，图像帧捕获持续时间将等效于传统摄影机中的快门速度。
图5示出了本发明的空间-时间光场摄影机200的PDA/MLA套件230的角度覆盖剖面510，其由MLA透镜元件的角度覆盖剖面520的时间多重性构成。分别围绕其轴和轴适当地选择的PDA/MLA套件230的时间铰接和将生成角度覆盖510，其由MLA 220透镜元件的时间多路复用的角度覆盖520的多重性构成。取决于PDA/MLA套件230围绕其轴和轴的角度铰接和的量值，可以在长宽比方面调整角度覆盖剖面510的形状。围绕和方向的铰接速率将足以确保角度覆盖510内的时间光检测方向在所需的图像捕获帧持续时间内具有足够的占空比。举例来说，当所需的图像捕获帧持续时间是每秒60图像帧（其通常被称作60Hz图像帧率）时，图5中所示出的每一个时间角度覆盖520内的每一个光方向将需要对于每帧被检测一次，从而使得生成图5中所示的角度覆盖所需的铰接速率是围绕或轴至少180Hz。换句话说，对于图5中所示的角度覆盖示例，其中时间角度覆盖510的大小在每一个轴上是角度覆盖520的大小的三倍，则围绕对应于图5的图示的或方向的铰接速率将需要是图像捕获帧率的至少三倍。MLA透镜元件的角度覆盖520可以是重叠的或无重叠的。一般来说，围绕或轴的PDA/MLA套件230的铰接速率必须至少等于图像捕获帧率乘以一定因数，所述因数等于沿着每一个轴的角度覆盖510的大小（以度数计）与沿着相同轴的角度覆盖520的大小（以度数计）的比值。
参照图5，其中本发明的空间-时间光场摄影机200的PDA/MLA套件230的时间铰接具有角度覆盖520并且包括对应于构成PDA器件210的多个空间像素组的多个光检测方向，将按照流水线方式随着在时间上掉落一些光检测方向而连续地添加新的光检测方向的集合，直到本发明的空间-时间光场摄影机200的完全角度范围510被完全覆盖为止。在任意给定时刻，PDA/MLA套件230的完全孔径都将被利用来随着任意给定方向在时间上保持在铰接孔径510的覆盖之内而累积来自该方向的光。作为多个光检测方向的这一空间-时间流水线操作的结果，可以使得本发明的空间-时间光场摄影机200的响应时间以最小的等待时间与图像捕获帧率相称。给定光捕获方向保持在角度覆盖520内的持续时间将决定可用于捕获从该方向进入空间-时间光场摄影机200的光强度的积分时间。其结果是，除非进行补偿，否则与角度覆盖520的内部区段相比，完全角度覆盖510的外围区域内的光方向可能具有较少的积分时间，从而可能具有较低强度。这一强度边缘锥化效应在某种程度上将类似于通常在光学系统的边缘处遇到的菲涅尔损失，其不同之处在于，在本发明的空间-时间光场摄影机200的情况中，这样的效应可以通过适当地选择本发明的空间-时间光场摄影机200的PDA/MLA套件230的时间铰接的速率来补偿。
作为一种替换方案，所述时间角度铰接可以通过某种步进和重复处理来进行，其中所述时间角度铰接通过角度步进来进行。这样使得每一个像素曝光于来自总体视场的光的时间相同。作为另一种替换方案，所述时间角度铰接可以通过正弦变化来进行，其中在最大铰接位置处暂停，从而增加最大铰接位置处的像素组的曝光时间。
在图6中示出了本发明的一个实施例，其在这里被记作600，其中包括该实施例的等距视图、顶视图和侧视图。如图6中所示，本发明的空间-时间光场摄影机是通过将（图2中描绘的）PDA/MLA套件230结合在利用多个硅基板层（即铰链层621、间隔物层628和基底层630）制作的2轴万向节套件620的顶侧而实现的。如图6中所示，2轴万向节620的铰链层621包括外部框架622、内部环623和内部节段625，PDA/MLA套件230将被结合在其上（625在后文中也被同义地称作结合衬垫625）。外部框架622、内部环623和内部节段625之间的间隙将利用标准半导体光刻技术来进行蚀刻。内部节段625沿着x轴通过两个硅桥622物理地连接到内部环623，每一个硅桥的宽度通常近似处于0.3-0.5mm的范围，其将充当x轴铰链并且还将定义万向节的中性x轴位置并且充当x轴铰接的机械阻力弹簧。内部环623沿着y轴通过两个硅桥626连接到外部框架622，每一个硅桥的宽度通常近似处于0.3-0.5mm的范围，其将充当y轴铰链并且还将定义万向节的中性y轴位置并且充当y轴铰接的机械阻力弹簧。两对硅桥624和626构成将围绕其实施x和y铰接的2轴万向节的枢轴点。万向节套件620的铰链层621的内部节段625包含多个接触衬垫，PDA/MLA套件230利用倒装芯片焊料球之类的标准焊接技术被结合到该处，从而使得内部节段625成为PDA/MLA套件230将被结合在其上的结合衬垫。在万向节套件620的铰链层621的内部节段625内嵌入了多条金属轨，其把内部节段625的顶侧的接触衬垫集合通过x轴和y轴铰链桥区域624和626连接到沿着外部框架622的外围放置的器件接触衬垫集合627。内部节段625的顶侧上的接触衬垫集合是将为PDA/MLA套件230的背侧提供电气和物理接触的接触衬垫。
参照图6的侧视图，PDA/MLA套件230被显示为结合到内部节段625的顶侧。正如前面所解释的那样，这将是利用焊料或共熔球栅阵列类型结合所实现的内部节段625顶侧的接触衬垫与PDA/MLA套件230背侧的接触衬垫之间的电气和物理接触结合全部二者。在图6的侧视图中还示出了将利用苯并环丁烯（BCB）聚合物粘附结合等等在晶片级与基底层630顶侧并且与铰链层背侧结合的间隔物层628。间隔物层626的高度（或厚度）将被选择成适应与所结合的PDA/MLA套件610一起的铰合内部节段625的角落在最大致动角度下的垂直位移。举例来说，如果结合衬垫625的对角线测得是5mm并且角落处的最大铰接角度是15°，则间隔物层626的厚度应当测得是近似0.65mm，以便适应结合衬垫625在最大铰接角度下的垂直位移。
参照图6的侧视图，结合衬垫625与所结合的PDA/MLA套件230在一起的铰接将是利用放置在铰合结合衬垫625背侧的四个角落处的电磁体集合635以及放置在基底层630顶侧的永磁体集合636而实现的，其中所述永磁体与铰合结合衬垫625背侧的四个角落对准。电磁体635将是具有在晶片级利用多层压印光刻形成在铰合结合衬垫625背侧的金属芯的线圈。永磁体636将是通常由钕磁体（Nd2Fe14B）等等形成的磁性细条。前面所描述的铰合结合衬垫625与所结合的PDA/MLA套件230在一起的铰接将是通过利用电信号驱动电磁体集合635来实现的，所述电信号具有适当的时间幅度变化，以便在所述电磁体635与永磁体636集合之间的磁性吸引中实现适当的时间变化，从而将导致铰合结合衬垫625与所结合的PDA/MLA套件230一起像前面所描述的那样在时间上被铰接。去到电磁体集合635的驱动电信号由PDA器件210或外部支持器件生成，其通过如前所述的合并在铰合内部节段625中的金属轨和接触件被提供到电磁体集合635，并且与由PDA器件210实施的图像帧捕获持续时间（速率）同步，从而将对于PDA器件210的像素阵列上的光实现所期望的方向检测。去到电磁体集合635的驱动电信号的时间变化将被选择成围绕其x轴和y轴全部二者实现铰合结合衬垫625与所结合的PDA/MLA套件230一起的时间角度铰接，正如图6中所示出的那样。取决于铰链层621的硅基板的厚度以及硅铰链624和626的所选宽度，通过本发明的实施例600所能实现的图4B中所示的时间角度铰接的最大值通常将处在从±15°到±17°的范围内。
去到电磁体集合635的驱动电信号由PDA器件210或外部支持器件生成，其经由如前所述的合并在铰合内部节段625中的金属轨和接触件被提供到电磁体集合635，并且将包括基础分量和校正分量。去到电磁体集合635的驱动电信号的基础分量将代表标称值，校正分量将是从一个角度铰接误差值导出的，所述角度铰接误差值由位于铰合内部节段625的背侧并且与铰链624和626对准的一组四个传感器生成。这些传感器将是放置在铰合内部节段625背侧的红外（IR）检测器的阵列，并且与放置在基底层630顶侧的四个IR发射器对准。这四个IR检测器阵列的输出值将被传送到PDA器件或外部支持器件，这同样是经由如前所述的合并在铰合内部节段625中的金属轨和接触件而实现的，并且其被用来计算关于所导出的与实际的铰接角度之间的误差的估计，所述估计将作为校正被合并到由PDA器件或外部支持器件提供给电磁体集合635的驱动信号中。位于铰合内部节段625背侧的传感器也可以是微尺度陀螺仪，其被适当地对准来检测沿着万向节的2个轴当中的每一个轴的致动角度。
在图7中示出了本发明的另一个实施例，其在这里被记作700。图7包括该实施例的等距视图和侧视图。如图7中所示，本发明的实施例700由PDA/MLA套件230被结合在其上的2轴万向节720构成。图7还示出了实施例700的分解等距视图，其中示出了该实施例的2轴万向节720的构成各层。如图7中所示，该实施例的空间-时间光场摄影机是通过将（图2中描绘的）PDA/MLA套件230结合在利用多个硅基板层（即衬垫层721、弹簧层725和基底层730）制作的2轴万向节套件720的顶侧而实现的。衬垫层721的顶侧合并有多个接触衬垫，PDA/MLA套件230将利用倒装芯片焊料球之类的标准焊接技术被结合到该处，从而使得衬垫层721是PDA/MLA套件230被结合在其上的结合衬垫723。衬垫层721的背侧合并有球形枢轴735，其将是通过在晶片级利用UV压印光刻等等将聚碳酸酯聚合物模压在铰合衬垫层721的背侧而形成的。衬垫层721与模压在其背侧上的球形枢轴735一同将被称作铰合衬垫721/735。基底层730的顶侧合并有球形窝槽736，其将是通过在晶片级将聚碳酸酯聚合物模压在基底层730的顶侧而形成的。基底层730与模压在其顶侧的球形窝槽736一同将被称作基座730/736。合并在衬垫层721背侧的球形枢轴735以及合并在基底层730顶侧的球形窝槽736的表面弯曲将是匹配的，以便允许铰合衬垫721/735在被放置于基座730/736之上时使其成为2轴铰接衬垫。虽然球形枢轴735和窝槽736的模压表面在表明粗糙度方面将具有大约几nmRMS的光学质量，但是通过为球形枢轴735和窝槽736的表面涂覆一个石墨薄层（50-100nm），将会减少由于铰接移动而导致的两个表面之间的可能摩擦。
铰合衬垫721/735通过弹簧层725在基座730/736的表面弯曲内被保持就位，弹簧层725在其四个角落当中的每一个角落处包含被蚀刻到该弹簧层725中的单一螺旋状弹簧726。如图7中的分解等距视图所示，所述四个螺旋状弹簧当中的每一个的内部末端合并有内部结合衬垫727，其对应于处在衬垫层721背侧的完全相同的结合衬垫722。在螺旋状弹簧726内嵌入了多条金属轨，其被用来把来自内部结合衬垫727的电接口信号传送到位于弹簧层725背侧的外围边缘处的接触衬垫集合728。弹簧层725的外部末端背侧的边缘接触件728对应于处在基底层730的外围边缘处的匹配的结合衬垫集合729。基底层730顶侧的边缘接触件通过嵌入在基底层内的金属轨连接到位于基底层730背侧的器件接触衬垫集合731。在图7的侧视图中示出的本发明的实施例700的最终组装中，当弹簧层725的结合衬垫726的背侧被结合到基底层730的结合衬垫729的顶侧，并且当螺旋弹簧726的内部结合衬垫727被结合到衬垫层721背侧的相应结合衬垫722时，所述四个螺旋状弹簧726将被拉伸。当弹簧层725被结合到衬垫层721的背侧和基底层730的顶侧时，对于刚刚解释的螺旋弹簧726，其四个螺旋弹簧变为完全拉伸，并且在该完全拉伸配置中，其服务于多个目的：（1）产生把球形枢轴735保持在球形窝槽736内所需的弹簧载荷阻力；（2）产生对于维持铰合衬垫721/735的中性位置所需的机械平衡；以及（3）将来自器件接触衬垫731的电接口信号传送到PDA/MLA套件230的接触衬垫723。参照图7的侧视图，PDA/MLA套件230被显示为结合到衬垫层721的顶侧接触衬垫723。这将是利用焊料或共熔球栅阵列类型结合所实现的接触衬垫723与PDA/MLA套件230背侧的接触衬垫之间的电气和物理接触结合全部二者。在操作配置中，完全器件组装700将利用位于基底层背侧的接触衬垫731被集合到基板或印刷电路板，这是利用焊料或共熔球栅阵列类型结合而实现的。
在图7的侧视图中还示出了球形窝槽736的延伸高度，其将被选择成适应与所结合的PDA/MLA套件230一起的铰合衬垫721/735的角落在最大致动角度下的垂直位移。举例来说，如果铰合衬垫721/735与所结合的PDA/MLA套件230一起的对角线测得是5mm并且角落处的最大致动角度是±30°，则球形窝槽736的延伸高度的厚度应当测得是近似1.25mm，以便适应与所结合的PDA/MLA套件710一起的铰合衬垫721/735的角落在最大致动角度下的垂直位移。
铰合衬垫721与所结合的PDA/MLA套件230在一起的致动将是利用嵌入在球形枢轴735内的电磁体集合以及嵌入在球形窝槽736内的永磁体集合而实现的。致动电驱动信号将被传送到嵌入在球形枢轴735内的电磁体，以便实现在前面的段落中描述的致动移动。去到嵌入在球形枢轴735内的电磁体的致动电驱动信号的基础分量将代表标称值，校正分量将是从一个角度铰接误差值导出的，所述角度铰接误差值由位于铰合衬垫721背侧的一组四个传感器生成。这些传感器是放置在铰合衬垫721背侧的红外（IR）检测器的阵列，并且与放置在基底层730顶侧的四个IR发射器对准。这四个IR检测器阵列的输出值将被传送到PDA器件或外部支持器件，这同样是经由如前所述的合并在铰合衬垫721中的金属轨和接触件而实现的，并且其被用来计算关于所导出的与实际的铰接角度之间的误差的估计，所述估计将作为校正被合并到由PDA器件提供给嵌入在球形枢轴735内的电磁体集合的驱动信号中。位于铰合衬垫721背侧的传感器也可以是微尺度陀螺仪，其是利用微电机系统（MEMS）或压电微陀螺仪来实施的，其被适当地对准以便检测沿着万向节的2个轴当中的每一个轴的致动角度。
嵌入在球形窝槽736内的永磁体将是磁性细杆或线，其通常是钕磁体（Nd2Fe14B）等等，并且将被定形成在球形窝槽736的弯曲空腔内提供均匀磁场。如前面所描述的铰合衬垫721与所结合的PDA/MLA套件230一起的致动将是通过利用电信号驱动嵌入在球形枢轴735内的电磁体集合而实现的，所述电信号具有适当的时间幅度变化，以便在嵌入在球形枢轴735内的电磁体集合与嵌入在球形窝槽736内的永磁体之间的磁性吸引中实现适当的时间变化，从而将导致铰合衬垫721与所结合的PDA/MLA套件230一起像前面所描述的那样在时间上被铰接。去到嵌入在球形枢轴735内的电磁体集合的驱动电信号由PDA器件或外部支持器件生成并且通过如前所述的合并铰合衬垫721的金属轨和接触件被传送，其将被使得与由PDA器件210实施的图像帧捕获持续时间（速率）同步，从而将对于PDA器件210的像素阵列上的光实现所期望的方向检测。用于嵌入在球形枢轴735内的电磁体集合的驱动电信号的时间变化将被选择成围绕其x轴和y轴全部二者实现铰合衬垫721与所结合的PDA/MLA套件230一起的时间角度铰接，正如图6中所示出的那样。取决于控制与所结合的PDA/MLA套件230一起的铰合衬垫721的角落的最大垂直位置的球形窝槽736的延伸高度，通过本发明的实施例700所能实现的图6中所示的时间角度铰接的最大值通常将处在从±30°到±35°的范围内。
本领域技术人员将认识到，通过交换电磁体和永磁体的位置，在前面的段落中描述的本发明的实施例600和700的万向节致动器可以被实施来实现基本上相同的目的。此外，本领域技术人员还将认识到，利用不同于在前面的段落中描述的基于电磁体的方法的其他致动驱动方法，在前面的段落中描述的本发明的实施例600和700的万向节致动器可以被实施来实现基本上相同的目的。
本发明的空间-时间光场摄影机的两个实施例600和700的不同之处主要在于其分别能够实现的时间角度铰接的最大值，以及每一个实施例扩展超出PDA/MLA套件230的边界的外部区域。首先，如图7中所示，在本发明的实施例700中，2轴万向节被完全容纳在PDA/MLA套件230的足迹区内（其在后文中被称作零边缘特征），而如图6中所示，在本发明的实施例600中，2轴万向节被容纳在PDA/MLA套件230外部边界的外部外围处。其次，实施例700所能实现的时间角度铰接的最大值可能是对于实施例600所能提供的两倍大。当然，通过实施例700所能实现的时间角度铰接的最大值是以需要大于实施例600的垂直高度为代价。实施例700的零边缘特征使其更加适合于被拼贴来产生大孔径光场摄影机（正如在后面的段落中将解释的那样），而实施例600的低轮廓（低高度）特征则使其更加适合于产生用于移动应用的超紧凑光场摄影机。
图8A示出了可以在本发明的上下文内使用的MLA 220的一个元件与其PDA器件210的相关联的像素组的一个示例性实施例。参照图8A，正如前面所解释的那样，由像素组内的每一个单独像素检测的光通过一个微透镜元件的孔径到达PDA器件210的表面，所述微透镜元件包括三个光学元件810、820和830。行经特定方向的每一道光束在一定角度范围内撞击MLA 220的孔径，所述角度范围在这里被称作本发明的光场摄影机的角度分辨率，所述光束将由MLA 220微透镜系统810、820和830进行准直，并且到达PDA器件210的像素组内的其中一个单独像素。实质上，图8A中示出的包括光学元件810、820和830的微透镜系统将把来自光场内的多个方向（其由MLA 220微透镜系统810、820和830的示例性=±15°角度范围定义）的入射光映射到构成像素组的二维像素的各个单独像素（参见图3）。应当提到的是，为了捕获光场的完全深度，MLA 220微透镜系统810、820和830被设计成具有无限焦深（即对焦在无限远处）。
对于本领域技术人员，图8A中所示的包括微透镜系统810、820和830的MLA 220的一个元件的示例性实施例将被称作傅里叶光学系统，这是因为其把在角度范围（其在图8A的示例性实施例的情况中是示例性的±15°）内撞击MLA 220的孔径的光场的方向方面映射到构成与该MLA 220微透镜元件相关联的PDA器件210的像素组的像素的二维空间阵列中。实质上，本发明的光场摄影机的MLA 220是一个微尺度傅里叶透镜阵列，或者傅里叶微透镜阵列。正如前面所解释的那样，MLA 220将包括多个元件，每一个元件包括示例性透镜系统810、820和830，其中每一个MLA 220将与构成PDA器件210的像素组内的其中一个像素相关联。对于可以包括示例性透镜系统810、820和830的每一个MLA 220微透镜元件，通过把在角度范围内撞击其孔径的光场映射到与之相关联的像素组的二维阵列中，本发明的空间-时间光场摄影机的PDA/MLA套件230将能够以一定方向分辨率和一定空间分辨率捕获在角度范围内撞击在其孔径上的光场，其中所述方向分辨率等于构成每一个像素阵列组的像素(,,...,)的总数，所述空间分辨率等于构成PDA器件210的像素组,...,)的总数。换句话说，本发明的空间-时间光场摄影机的PDA/MLA套件230将能够捕获多个视图，其等于构成在立体角内撞击其孔径的光场的每一个像素组的像素数，并且其所捕获的每一个视图的空间分辨率等于构成PDA器件210的像素组的数目。正如前面所解释的那样，当在具有最大时间铰接=±15°的实施例600或700的情境内使用PDA/MLA套件230时，例如本发明的光场摄影机的该示例性实施例的角度范围将是=±30°，并且其所能捕获的视图数目将是=个视图，其中每一个视图以空间分辨率被捕获。
可以使得包括图8A的微透镜系统810、820和830的MLA 220示例性实施例的角度范围大于或小于±15°，这是通过对于微透镜系统810、820和830的折射表面的适当设计选择或者通过增加或减少其光学元件的数目而实现的。但是应当提到的是，对于给定的方向分辨率，其在这里被定义为通过像素调制组内的像素数定义的方向视图的数目，通过改变MLA 220微透镜系统的角度范围将导致各个方向视图之间的角度分隔的改变，其在这里被定义为通过本发明的空间-时间光场摄影机的PDA/MLA套件230检测到的角度分辨率。例如对于前一个示例性实施例的=±15°角度范围，如果像素组包括（16x16）像素，则由本发明的空间-时间光场摄影机的PDA/MLA套件230检测到的方向光束之间的角度分隔（或角度分辨率）将近似地是=1.875°。这一相同的角度分辨率数值=1.785°还可以通过将MLA 220微透镜系统的角度范围减小到=±7.5°以及将构成像素组的像素数减少到(8x8)像素来实现。一般来说，通过对于MLA 220微透镜系统使用更高的光学孔径F/#（即角度范围的更小数值），将允许利用更小的像素组尺寸实现给定的角度分辨率数值，从而又将导致在PDA器件210的给定像素分辨率内有更多像素可用来产生更多像素组，并且从而允许更高的空间分辨率。
这一设计折中允许在MLA 220微透镜系统设计参数的F/#与可以通过PDA/MLA套件230实现的空间分辨率之间选择适当的平衡。另一方面，当MLA 220微透镜系统的光学孔径F/#被增大以便提高空间分辨率时，正如刚刚所解释的那样，能够通过本发明的空间-时间光场摄影机的PDA/MLA 220实现的角度范围将被减小。此时，本发明的时间角度铰接的最大值将成为所述设计折中的一部分，以便恢复为了提高空间分辨率所牺牲的角度范围。在前一个实例中，当铰接角度的最大值被选择成±7.5°时，本发明的空间-时间光场摄影机将能够利用(8x8)像素的像素组实现=±15°的完全角度范围。实质上，对于的给定角度分辨率数值，铰接角度的最大值成为进行折中的参数，其可以被用来增大本发明的空间-时间光场摄影机所能实现的角度范围或空间分辨率，或者角度范围和空间分辨率的组合。当然，用于角度铰接的适当致动器不一定受限于电磁致动器，如果希望的话可以使用其他类型的致动器。作为举例，特别如果PDA/MLA套件230的角度范围是足够的并且角度铰接被用来提高角度分辨率，则所需的角度铰接的数量将相当小，也就是说小于在没有铰接的情况下的角度分辨率。因此可以使用具有较小偏转的电机械致动器，比如压电致动器。这样的致动器可以是高度可靠、高效、低成本、快速并且易于控制。其还提供了位置与所施加的电压的固定关系，以便在无需由音圈类型的电磁致动器提供参考位置的情况下与和电流成比例的力进行比较，从而不再需要物理万向节，从而进一步简化了机械组装。
图8B示出了本发明的空间-时间光场摄影机的PDA/MLA套件230的完全组装的一个示例性实施例。制作多个微透镜元件810、820和830以形成微透镜阵列层840、850和860，其将利用半导体对准器在晶片级相对于彼此并且相对于PDA器件210像素组,...,)的相关联的阵列被精确地对准，从而可以通常实现低于0.25微米的晶片对晶片对准精度。图8B中示出的示例性实施例还包括PDA器件210和覆盖层870，其通常将是被合并为PDA器件210的保护性封装的玻璃层。微透镜元件810、820和830的设计将考虑到PDA覆盖玻璃870的厚度和光学特性，以便使得图像处于PDA器件210的表面处。图8B的示例性实施例示出了可以在本发明的空间-时间光场摄影机的实施例600或700的情境内使用的PDA/MLA 230的完全组装。利用图8B的示例性实施例，本发明的空间-时间光场摄影机的实施例600和700的典型的总厚度将小于5mm。本发明的光场摄影机的这样的紧凑性无法通过任何现有技术的光场摄影机技术来实现。应当提到的是，如图8C中所示，该图示出了包括微透镜阵列层840、850和860的MLA 220的一个象限的顶视图，每一个MLA 220透镜元件的中心与其对应的像素组的中心对准，以便在没有任何方向覆盖间隙的情况下提供跨越MLA 220的空间范围的光场的完全角度覆盖。
在图8D中示出了本发明的空间-时间光场摄影机的另一个实施例，该图示出了MLA 220的一个象限的顶视图。在图8C中，MLA 220的透镜阵列元件沿着x轴和y轴全部二者被截断以使其剖面匹配其对应像素组的维度方面，并且其光学中心与其对应像素组的中心对准，与图8C中示出的MLA 220微透镜元件相比，图8D中示出的实施例的MLA 220透镜元件的光学中心逐渐偏离其对应像素组的中心。如图8D中所示，MLA 220的中心处的透镜元件将与其对应像素组的中心对准，但是远离MLA 220中心的透镜元件的中心则偏离其对应像素组的中心，并且其偏移量对于更加远离MLA 220中心透镜元件逐渐增大。该实施例的优点在于，其实现了本发明的空间-时间光场摄影机的可实现的角度分辨率、方向分辨率和空间分辨率之间的设计折中的另一方面。正如前面所解释的那样，可实现的角度分辨率将由MLA 220的透镜元件的角度范围以及由像素组的尺寸定义的方向分辨率决定。对于角度范围的给定数值，随着像素组的尺寸增大，角度分辨率降低并且方向分辨率提高。因此，对于在可用像素数方面具有给定尺寸的PDA器件210，提高可实现的方向分辨率将会以降低可实现的空间分辨率为代价。为了在不降低空间分辨率的情况下提高方向分辨率，将必须减小MLA 220的角度范围，从而又将减小光场摄影机的总体角度范围。图8D中示出的本发明的空间-时间光场摄影机的实施例给出了补偿为了提高方向分辨率而导致MLA 220的元件的角度范围减小的另一种替换方案，其中通过逐渐地增加MLA 220的元件的视场的倾斜，以便对于摄影机实现更大的总体视场。如图8D中所示，增加MLA 220的元件的视场的倾斜是通过使得MLA 220透镜元件的中心逐渐地偏离其对应像素组的中心而实现的。但是通过如图8D中所示的MLA 220元件中心的逐渐偏移而导致的MLA 220的元件视场偏斜的逐渐增加将会导致从PDA器件210的中心到边缘的逐渐截断的方向覆盖间隙。另一方面，这样所导致的方向覆盖截断间隙将会被本发明的空间-时间光场摄影机的时间角度铰接所填充。因此，利用由图8D中示出的实施例所给出的设计折中，有可能在不牺牲本发明的空间-时间光场摄影机的空间分辨率或总体角度范围的情况下实现更高的空间分辨率，特别在给定通过本发明的空间-时间光场摄影机的角度时间铰接所能实现的角度范围和方向分辨率扩展的情况下尤其是如此。
应当提到的是，虽然在图8A示出的MLA 220透镜元件的示例性实施例中，PDA器件210的检测表面被显示为放置在MLA 220透镜元件的焦平面处，但是在图8E示出的本发明的另一个实施例中，PDA器件210的检测平面被替换地放置在更加远离MLA 220透镜元件的焦平面的距离。此外，还可以使得PDA器件210的检测平面与MLA 220透镜元件之间的距离是可调节的（大约几微米），这是通过将MLA 220套件放置在z轴电机械致动器上，其将被用来在所设定的范围内改变PDA器件210的检测平面与MLA 220透镜元件之间的距离。这样的z轴电机械致动器将类似于在传统的移动摄影机中被用作对焦机制的致动器。如图8E中所示，当PDA器件210的检测平面与MLA 220透镜元件之间的距离更加远离MLA 220透镜元件的焦平面时，由每一个MLA 220透镜元件在PDA器件210的检测平面上形成的子图像将变得模糊（或失焦），从而导致由MLA 220透镜元件从一个方向中继的光扩散在相应像素组内的多个像素上，并且导致由MLA 220的每一个透镜元件形成在PDA器件210的检测平面上的子图像扩散在超出其对应像素组的边界的像素上。因此其结果是，由MLA 220的给定透镜元件中继到PDA器件210的光的方向信息将被扩散在PDA器件210的其数目比该透镜元件的相应像素组更多的像素上；这又意味着由MLA 220的透镜元件中继的光的方向信息将以更高的方向分辨率被PDA器件210记录；或者替换地是角度范围的更小数值（即更高的角度分辨率）。实际上对于本发明的空间-时间光场摄影机的该实施例，构成与2维阵列MLA 220相关联的每一个PDA器件220像素组,...,)的多个像素将被总体上共享来以更高的角度和方向分辨率记录光场。实现更高的角度分辨率是因为由MLA 220透镜元件从一个方向中继的光被扩散在多个像素上（如图8E中所示），而不是被对焦在仅仅一个像素上（如图8A中所示），从而使得中继自特定方向的每一个MLA 220元件的角度范围内的光将由数目更多的PDA器件210像素采样；从而实现角度范围的更小数值。实现更高的空间分辨率是因为由MLA 220的每一个透镜元件形成在PDA器件210的检测平面上的子图像将被扩散（模糊或失焦）在超出其对应像素组的边界的像素上，从而使得将利用数目更多的PDA器件210像素来采样每一个MLA 220元件的角度范围内的光，从而意味着将检测到数目更多的光方向（或视图）。因此，取决于PDA器件210与MLA 220之间的所选择的距离，由构成每一个像素组的每一个像素记录的信息将是可以通过计算方式解析的由MLA 220的多个透镜元件中继的光场方向信息的已知加权和（其由MLA 220透镜元件的光学转移函数定义）。通过增大PDA器件210与MLA 220之间的距离而导致的子图像扩展所意味的折中将是需要更多的计算资源来解析由本发明的空间-时间光场摄影机记录的光场信息。对于该实施例，本发明的空间-时间光场摄影机的角度和方向分辨率可以被选择在给定数值；并且因此对于解析所捕获的光场所需的计算资源也可以被选择在给定数值，这是通过关于PDA器件210与MLA 220之间的设定距离的先前设计选择而实现的，或者是通过利用前面提到的z轴致动器进行的PDA器件210与MLA 220之间的距离的操作模式调节而实现的。应当提到的是，替代提高本发明的空间-时间光场摄影机的角度和/或方向分辨率，图8E的实施例可以被用来减小对于实现所需的方向或角度分辨率所需要的像素组的尺寸；从而使得给定尺寸的PDA器件210当中的更多像素变得可用于实现更高的空间分辨率。因此，当与本发明的空间-时间光场摄影机的时间角度铰接结合在一起时，图8E的实施例实质上将允许通过时间角度铰接而增加的角度和方向分辨率实现更高的空间分辨率。
应当提到的是，本发明的空间-时间光场摄影机与前面描述的现有技术光场摄影机在许多非常重要的方面有所不同，在这里将讨论最具相关性的方面。首先是不同于所有其他现有技术，本发明的空间-时间光场摄影机不使用物镜并且不依赖于对该物镜的孔径进行采样的原理，相反，本发明的空间-时间光场摄影机使用例如示例性实施例800的微尺寸傅里叶透镜系统的阵列220以最大场深度对光场摄影机的角度范围内的整个光场进行采样，正是因为所述微尺寸傅里叶透镜系统（MLA 220）的各个单独元件将被对焦在无限远处。这种使用例如示例性实施例800的微尺寸傅里叶透镜系统的MLA 220来对光场进行直接采样的方法使得所需的光轨长度（其通常与透镜孔径直径相称）相当小，并且通常大约是几毫米，这与前面所描述的通常具有处于10-15厘米范围或更大的光轨长度的现有技术光场摄影机不同。因此这种方法使得本发明的空间-时间光场摄影机实现了优于所有其他现有技术光场摄影机的前所未有的体积优点。正如前面所解释的那样，现有技术光场摄影机的问题在于，由于其物镜直径较大的事实，其光轨长度（并且因此其体积方面）将相当大；这一因素还增加了其光学像差。通过使用在时间上铰接的较小直径微透镜阵列的阵列，本发明的空间-时间光场摄影机避免了全部这两个问题。
本发明的空间-时间光场摄影机的第二个独特方面在于，不同于前面描述的其中角度范围完全由其物镜决定的现有技术光场摄影机，本发明的空间-时间光场摄影机的角度范围由MLA 220的角度范围加上PDA/MLA套件230的角度时间铰接的组合决定。这一区别使得本发明的空间-时间光场摄影机具有前面描述的现有技术光场摄影机所不具备的几方面优点。前面所描述的这些优点当中的第一项是在于，所述角度铰接的角度可以被用来增大通过本发明的空间-时间光场摄影机所能时间的角度范围、方向分辨率、角度分辨率或空间分辨率。这是一项关键优点，因为其使得有可能与现有技术光场摄影机相比对于来自给定PDA器件的每个视图实现高得多的空间分辨率。这些优点当中的第二项是来自以下事实：前面所描述的现有技术光场摄影机的角度范围完全由其物镜决定，因此增大角度范围的尺寸通常将需要减小孔径光阑（aperture stop）的尺寸，从而又将导致进入摄影机的光的减少并且随之导致所捕获的光场的信噪比的提高。作为比较，由于本发明的空间-时间光场摄影机的角度范围由MLA 220的角度范围加上PDA/MLA套件230的角度时间铰接的组合决定，因此可以在无需降低所捕获的光场的信噪比的情况下增大本发明的空间-时间光场摄影机的角度范围。这些优点当中的第三项是在于，前面所描述的多个光检测方向的空间-时间流水线安排使得本发明的空间-时间光场摄影机的光检测灵敏度和/或响应时间能够以最小等待时间与更高的图像捕获帧率相称，并且不会像现有技术光场摄影机的情况那样牺牲所捕获的光场信噪比。这些优点当中的第四项是在于，通过适当地选择MLA 220的角度范围加上PDA/MLA套件230的角度时间铰接，可以使得本发明的空间-时间光场摄影机以能够达到±45°的宽视场来捕获光场。现有技术光场摄影机在不使用大直径和相当复杂的鱼眼广角透镜系统的情况下无法实现这种水平的宽场摄影，而所述大直径和相当复杂的鱼眼广角透镜系统除了会显著增大光场摄影机的体积尺寸之外，还将对现有技术光场摄影机的光学性能造成负面影响，并且会显著增加其成本。应当提到的是，作为其广角光场捕获能力的结果，本发明的空间-时间光场摄影机可以被用来捕获广角视场的广角2D视图（全景）或3D视图。
图9A和9B示出了本发明的空间-时间光场摄影机的操作原理。图9A示出了由PDA器件210的个像素的二维阵列构成的其中一个像素组的一个示例性实施例，其中为了方便起见，所述像素组沿着每一个轴的尺寸将被选择成=2m。参照图9A，通过像素组所能实现的方向检测可寻址性将是通过利用m比特字沿着其两个轴和当中的每一个对于构成调制组的个的可寻址性而实现的。图9B示出了构成PDA像素调制组的个像素的轴和坐标到由例如图8A中示出的示例性实施例的相关联的MLA 220微透镜元件的角度范围定义的三维光场中的各个单独方向的映射。作为一个说明性实施例，如果PDA器件210的各个单独像素的维度是(2x2)微米，并且PDA像素组由=(23x23)=(8x8)像素阵列构成，并且相关联的MLA 200微透镜元件的角度范围是=±15°，则PDA器件210孔径表面处的尺寸为(16x16)微米的每一个PDA二维像素组将能够检测跨越角度范围=±15°的(8)2=64个单独可寻址的光方向（视图）。当PDA/MLA套件230例如实施例600和700的2轴万向节如前面所描述的那样被铰接时（参见图2和图4A），由PDA/MLA套件230的透镜元件提供的方向角度范围将在时间上被扩展由万向节提供的最大铰接角度。因此，由本发明的空间-时间光场摄影机提供的方向角度范围将在时间上在总共的角度覆盖范围内延伸。例如当MLA 220透镜元件的角度范围是=±15°并且最大铰接角度是=±30°时，则由本发明的空间-时间光场摄影机提供的完全角度范围将是=±45°，并且其将能够在时间上捕获的光检测方向（视图）将是可以通过PDA/MLA套件230检测到的光方向（视图）数目的=9倍（参见图5）；也就是9(8)2=576个光方向（视图）。这意味着可以由本发明的空间-时间方向光场摄影机捕获的视图数目将是(3x3)n，其中n是以PDA器件的像素数计算的与其中一个MLA 220透镜元件相关联的像素组的尺寸。因此，对于该例，本发明的空间-时间方向光调制器将给出作为由PDA/MLA套件230提供的方向检测分辨率的9倍的扩展方向检测分辨率。一般来说，由本发明的空间-时间光场摄影机提供的方向分辨率将是，并且具有在的角度上延伸的角度范围。
除了对应于本发明的空间-时间光场摄影机的方向检测能力之外，利用如在前一个设计实例中描述的PDA器件210像素组的(NxM)的阵列也将是有可能的。例如如果需要产生提供前一个实例的9(8)2=576个方向检测视图的空间分辨率为N=256乘M=256的本发明的光场摄影机，则本发明的空间-时间光场摄影机将包括(256x256)的方向检测组的阵列，其中每一个方向检测组包括(8x8)=64个像素，并且当使用具有(2x2)微米像素尺寸的PDA器件210时，所述PDA器件210将由(2048x2048)=4.194兆像素构成，从而使得本发明的空间-时间光场摄影机的孔径尺寸近似为4.1x4.1毫米。利用前一个实例的角度范围数值，本发明的空间-时间光场摄影机能够以(256x256)=65536像素的空间分辨率在±45°的角度范围内捕获576个光场视图。正如前面所解释的那样，还将有可能在本发明的空间-时间光场摄影机的方向分辨率与更高的空间分辨率之间取得折中。例如在前一个实例中，如果将把像素组尺寸减小到(4x4)像素，则利用由(2048x2048)=1.048兆像素构成的相同的PDA器件，前一个实例的空间-时间光场摄影机将提供(512)2=262144的空间分辨率和(3x4)2=144的方向分辨率。
如前面的实例所示，以给定角度范围内的单独可检测的方向数目计算的本发明的空间-时间光场摄影机的空间和方向检测分辨率将通过选择以下参数来决定：PDA器件210的分辨率和像素间距，MLA 220透镜元件的间距，MLA 220透镜元件的角度范围，以及摄影机万向节的最大铰接角度。本领域技术人员将认识到，根据在前面的讨论中提供的教导，MLA透镜系统可以被设计成允许更宽或更窄的角度范围，万向节设计可以被选择成允许更宽或更窄的铰接角度，并且每一个像素组内的像素数可以被选择成更少或更多，以便产生能够实现任何所期望的空间和方向检测能力的空间-时间光场摄影机。
现在将参照图9A和9B的图示来描述本发明的空间-时间光场摄影机的操作原理。图9A示出了每一个调制组的二维可寻址性，其中对于方向调制使用m比特分辨率。正如前面所解释的那样，由构成像素组的(2mx2m)个单独像素检测到的光被其相关联的MLA 220元件映射到相关联的MLA微透镜元件的角度范围±内的22m个光方向中。利用每一个调制组内的各个单独像素的维坐标，所检测到的光束的方向坐标(θ,)由下式给出：
  等式1
  等式2
其中，和分别是时间纪元处的围绕x轴和y轴的铰接角度的数值，角度θ(t)和(t)是时间纪元处的所检测到的光束的方向球坐标的数值，其中θ=0处的极轴平行于调制组的检测表面的z轴，并且m=log2 是被用来表示调制组内的x和y像素分辨率的比特数。本发明的空间-时间光场摄影机的空间分辨率由构成所述空间-时间光场摄影机的总体孔径的调制组的二维阵列内的每一个单独像素组的坐标定义。实质上，本发明的空间-时间光场摄影机将能够在时间上捕获通过由其检测像素组阵列定义的空间坐标和方向坐标(θ,)所描述的光场，其中后者由检测组内的像素的坐标以及如前面的等式1和2定义的空间-时间光场摄影机的铰接角度的时间值定义。
本发明的空间-时间光场摄影机的另一个独特方面在于，与前面所描述的通常捕获光场的平面静止视差集合的现有技术光场摄影机不同，本发明的空间-时间光场摄影机捕获光场的弯曲时间视差。图9C示出了可以通过本发明的空间-时间光场捕获的弯曲时间视差。如图9C中所示，由于其时间角度铰接，由本发明的空间-时间光场摄影机捕获的光场的视差在时间上以及在其所捕获的光场的每一个2维空间-方向(,)或(,)视差（切片）中实际上都是弯曲的。由于这一独特特征，本发明的空间-时间光场摄影机可以捕获弯曲的波前，这是比现有技术光场摄影机更加自然的记录光场信息的方式，这是因为大多数光学器件（包括人类视觉系统（HVS））都具有自然弯曲的图像平面。此外，所捕获的信息包括光场的时间样本，这意味着本发明的空间-时间光场摄影机不仅可以记录关于光场的空间和方向方面的信息，而且还可以记录关于其所捕获的光场的波前的相位的信息。因此，本发明的空间-时间光场摄影机实质上可以记录光场的4维空间-方向空间的弯曲视差加上其波前的相位。换句话说，本发明的空间-时间光场摄影机可以记录光场的全部5个维度；即两个空间维度、两个方向维度加上相位。通过本发明的空间-时间光场摄影机的这一5维光场特征将实现许多光场摄影和显示能力，在本公开内容的后续段落中将讨论其中的几项。
利用本发明的空间-时间光场摄影机可以实现任何所期望的空间和方向检测能力。前面的实例示出了如何能够利用单一4.1x4.1毫米PDA器件210来实施具有(256)2空间分辨率和(3x8)2方向分辨率的本发明的空间-时间光场摄影机。实现具有更高空间分辨率的本发明的空间-时间光场摄影机的一种可能的方法可以利用更高像素分辨率PDA器件210来实现。例如如果使用包括(512x512)个n=64像素组的PDA器件210，这意味着由(4096x40960=16.8兆像素的PDA器件，则本发明的前一个实例的空间-时间光场摄影机能够以262144像素的空间分辨率在±45°的角度范围内捕获光场的576个视图。在这种情况下，本发明的空间-时间光场摄影机的完全孔径将仅仅是近似8.2x8.2毫米。实现具有更高空间分辨率的本发明的空间-时间光场摄影机的另一种可能的方法可以通过拼贴多个空间分辨率较小的本发明的PDA/MLA套件230来实现。举例来说，当如图10中所示地拼贴前一个实例的PDA/MLA套件230的(3x3)阵列时，所得到的空间-时间光场摄影机将以(3x8)2=576的方向分辨率提供(3x512)2的空间分辨率（多于2.35兆像素）。在这种情况下，本发明的空间-时间光场摄影机的完全孔径尺寸将是近似2.46x2.46厘米，但是其厚度将仍然是近似5毫米。由于其紧凑的体积规格，拼贴多个本发明的空间-时间光场摄影机以实现更高空间分辨率版本是有可能的。举例来说，前一个实例的空间-时间光场摄影机使用了其本身将分别具有8.2x8.2x5mm的宽度、高度和厚度的单一PDA器件210，并且可以被用来产生如图10中所示的将分别具有2.46x2.46x0.5cm的维度的更大分辨率版本。利用位于其背侧的微球栅阵列（MBGA）的电接触件，将有可能通过把多个前一实例的PDA/MLA套件230结合到底板来实施本发明的空间-时间光场摄影机的更高空间分辨率版本，这在给定本发明的实施例700的零边缘特征的情况下将使得有可能实现多个此类光场捕获器件的无缝拼贴，从而实施本发明的空间-时间光场摄影机的任何所期望的尺寸。当然，可以将图10中所示的PDA/MLA套件230的阵列的尺寸增大到实现任何期望的空间分辨率所需要的程度。值得一提的是，通过本发明的实施例700的前面描述的零边缘特征，使得有可能在本发明的空间-时间光场摄影机中拼贴PDA/MLA套件230以实现图10中所示的扩展空间孔径。
图11示出了本发明的空间-时间光场摄影机的数据处理方框图的一个示例性实施例。如图11中所示，来自本发明的空间-时间光场摄影机的输出数据将被格式化在多个比特字中，其中每一个输出字包含三个数据字段。第一数据字段是构成本发明的空间-时间光场摄影机的孔径的检测像素组阵列内的空间组的地址。该第一数据字段实际上将代表本发明的空间-时间光场摄影机的输出的空间地址。其余两个数据字段提供对应于每一个空间坐标的每一个方向坐标(θ,)中的由本发明的空间-时间光场摄影机检测到的光的数据表示。这两个数据字段实际上将代表本发明的空间-时间光场摄影机的每一个空间坐标的方向输出。参照图11，数据处理方框120处理PDA器件210的输出并且解码像素输出地址数据，以便导出空间地址和方向地址。在图11的数据处理方框130中，随后利用代表铰接角度的瞬时值和的两个附加数据字段来增强方向地址。在图11的数据处理方框140中，利用等式（1）和（2）将方向数值与铰接角度的瞬时值和相组合，从而生成方向坐标值(θ,)。数据处理方框150将PDA器件210的像素的数据输出值的所检测到的光强度和颜色数据字段与所映射的空间地址和方向坐标(θ,)串连，从而生成三个数据字段：F1=空间地址，F2=方向坐标(θ,)；F3=所检测到的光强度和颜色数据。
通过使用16比特字来表示所检测到的光场的方向坐标(θ,)以及典型的24比特来表示每一个方向上的已调光强度和颜色，表示对应于每一个空间地址的所检测到的光场的比特总数将是40比特字。在不损失一般性的情况下假设这样的40比特字将从本发明的空间-时间光场摄影机顺序地输出；也就是说使用顺序寻址来输出所述40比特字，图11的方框120将负责对来自指定PDA器件的顺序输出的数据字进行路由。图11的方框150将负责对于每一个空间坐标顺序地格式化和输出所检测到的光场数据的F2和F3数据字段的40比特字。应当提到的是，图11中示出的整个数据处理流程将对于每一个捕获帧周期被执行一次。通过使用其中本发明的空间-时间光场摄影机的空间分辨率是(256x256)的前一个实例，并且假设帧捕获周期是16.67毫秒（等效于60Hz帧率），本发明的空间-时间光场摄影机将对于每个16.67毫秒帧循环输出256x256x40~2.62兆比特；这等效于近似157Mbps输出数据速率。利用对于40比特字顺序数据输出的这一示例性数据处理流程，本发明的空间-时间光场摄影机将在强度、颜色和方向方面检测进入其孔径的光场，并且输出编码在其输出数据内的所检测到的光场信息。
可能的应用
3D摄影机——本发明的空间-时间光场摄影机可以被用来实施具有任意空间和方向分辨率的3D摄影机，其例如是通过多个如图10中所示的PDA/MLA套件230的拼贴阵列而实现的。这样的拼贴阵列功能与大得多的PDA/MLA套件相同。通过本发明的空间-时间光场摄影机所能实现的扩展完全角度范围将允许实现体积上紧凑并且捕获较大视场的3D摄影机，并且无需像现有技术光场摄影机的情况那样使用具有较大体积和较高成本的光学套件。通过本发明的空间-时间光场摄影机所能实现的体积紧凑性水平将允许实现超紧凑的3D光场摄影机，其可以被嵌入在例如蜂窝电话和平板PC等移动器件中。此外，通过在前面的讨论中描述的输出格式所表示的由本发明的空间-时间光场摄影机所捕获的3D光场将与在标题为“Spatio-Optical Directional Light Modulator（空间-光学方向光调制器）”的美国专利申请号13/329,107和标题为“Spatio-Temporal Directional Light Modulator（空间-时间方向光调制器）”的美国专利申请号13/546,858（二者都被转让给本申请的受让人）中描述的该类光场调制器直接兼容，从而使得有可能利用本发明的空间-时间光场摄影机捕获3D光场，并且随后利用在前面提到的申请中所描述的光场调制器直接进行显示。
通过计算方式对焦的2D摄影机——本发明的空间-时间光场摄影机还可以被用来捕获可以通过计算方式（或数字方式）对焦的2D光场图像（静止或视频）。在这种情况下，将通过图像处理器对图11中描述的本发明的空间-时间光场摄影机的输出进行处理，从而产生对焦在所捕获的光场内的任何平面或表面上的图像。图12是通常将由本发明的空间-时间光场摄影机捕获的光场在跨越其空间维度及其方向维度(θ,)的二维切片中的图示。四边形181、182和183表示在来自与本发明的空间-时间光场摄影机处于不同距离处的三个对象的视差切片中捕获的光场。四边形181表示来自与光场摄影机最近的对象的光场，四边形183表示来自与摄影机最远的对象的光场，四边形182则表示来自处于二者之间的距离的对象的光场。如图12中所见，对象与本发明的空间-时间光场摄影机的距离（从而是场深度）由摄影机编码为所捕获光场内的每一个视差切片中的由摄影机捕获的光场的倾斜。相应地，由本发明的空间-时间光场摄影机捕获的深度信息可以被利用来通过计算方式产生被对焦在所捕获光场内的任何所期望的对象、平面、弯曲表面或者甚至3D对象上的2D图像。这样的计算（数字）方式对象可以利用已经确立的计算摄影原理来实现，其中首先通过计算方式把通过MLA 220的各个单独的透镜元件捕获的光场的子图像缩放一定因数，其中该因数与所期望的焦平面和摄影机孔径的距离成比例，并且随后把经过缩放的子图像的坐标偏移一定因数，其中该因数与MLA 220的透镜元件之间的间距成比例，并且随后将其相加在一起从而产生对焦在所期望的平面或弯曲表面处的图像。还将有可能通过计算方式从通过本发明的空间-时间光场摄影机捕获的光场产生具有任何所期望的焦深的图像。在这种情况下，正如前面所解释的那样通过计算方式产生对焦在所期望的焦深内的多个平面或弯曲表面上的多幅图像，并且随后将其相加以产生统一的图像，其于是将具有处于焦点对准的通过计算方式产生的焦深内的所有被成像的对象（也就是说由所述焦深和多个平面或弯曲表面定义的深度体积）。应当提到的是，还将有可能通过计算方式从通过本发明的空间-时间光场摄影机捕获的光场产生对焦在弯曲表面上的图像。这一能力成为可能是因为正如前面所解释的那样（参见图9C），本发明的空间-时间光场摄影机通过其孔径的时间角度铰接固有地捕获光场的弯曲视差，从而产生弯曲的广角视场。利用这一弯曲光场捕获能力，将有可能通过计算方式从通过本发明的空间-时间光场摄影机捕获的光场产生对焦在与摄影机处于不同距离的多个对象上的图像并且同时仍然具有相当窄的焦深，从而将实现通过计算方式产生与摄影机孔径具有不同距离的多个对象的更高分辨率图像的能力。
可切换2D/3D摄影机——还有可能将本发明的空间-时间光场摄影机从2D切换到3D显示模式，这是通过将前面所描述的其输出数据的格式（参见图11）适配成与所期望的操作模式相称而实现的。在任一种操作模式中，所捕获的光场角度范围都将是与其MLA 220微透镜元件相关联的角度范围加上其万向节的铰接角度，其中如前所述，单独调制组的像素分辨率和最大铰接角度定义摄影机的方向分辨率，调制组定义其空间分辨率。
联网光场摄影——如前所述，本发明的空间-时间光场摄影机的体积优点使得有可能将其嵌入在例如蜂窝电话和平板PC之类的移动器件中。由于几乎所有此类寄主移动器件通常都通过无线或有线网络或者通过利用闪存模块的成批数据传输互联，因此有可能利用这样的连接性来进一步扩展通过本发明的光场摄影机捕获的光场。在该实施例中，如图13中所示，位于观看场景的周围环境中的捕获所述观看场景的光场图像的所嵌入的多个本发明的空间-时间光场摄影机的输出将具有表示其所捕获的光场的数据（在图11中描述）。通过合并到寄主移动器件的操作系统中的应用软件，可以利用三个附加的数据字段来增强该数据。第一数据字段将表明摄影机位置，其通常将是同样嵌入在寄主移动器件中的位置感测器件的输出，比如全球定位系统（GPS）接收器或三角定位无线链路；第二数据字段将表明移动器件的指向，从而表明其所嵌入的摄影机的指向，其通常将是同样嵌入在寄主移动器件中的指向感测器件的输出，比如通常嵌入在移动器件中以用于适配显示屏指向以及用于游戏的微陀螺仪；并且第三数据字段将表明由摄影机捕获观看场景的光场的时间，其通常将是内部移动器件时钟的输出，其通常与网络时间保持同步。当与同样具有所嵌入的本发明的空间-时间光场摄影机（其捕获了从不同视角观看的所述场景的光场）的其他移动器件交换这一经过增强的光场数据时，将有可能集成通过多个此类摄影机捕获的所交换的光场数据，并且通过计算方式将其一起融合到单一超级光场数据集合中，其表示由捕获了观看场景的部分视角的所有嵌入的摄影机所捕获的总体光场。这一“联网光场摄影”的计算方面将涉及利用增强每一项所交换的或联网的光场数据的捕获数据字段的位置、指向和时间，以便把这样的所交换的光场数据从捕获该数据的对应的嵌入摄影机集合的坐标传输到将被用作所述联网光场的共同坐标的观看场景坐标集合。一旦实施了光场数据变换（或融合），就把经过变换的总体光场数据交换回到所有参与的移动器件，以便共享由所有参与的寄主移动器件总体捕获的整个光场。在图13中示出了所描述的联网光场摄影实施例的操作概念。
虽然在前面的段落中提到了作为本发明的空间-时间光场摄影机的寄主的联网移动器件（比如蜂窝电话和平板PC）以实现图13中所示的联网光场摄影实施例，但是本领域技术人员将认识到，可以通过产生具有其自身的集成联网能力的联网光场摄影机器件来实施本发明的联网光场摄影实施例，而不是将光场摄影机寄放或嵌入到联网移动器件中，这是因为任一种方法在功能上都将是等效的。
可以通过多种方式当中的一种来实施在前面的段落中描述的联网光场摄影的光场数据交换和计算方面：（1）可以由每一个单独的参与移动器件处理所交换的增强光场数据的超级集合，从而生成聚合由所有参与的联网移动器件捕获的观看场景的光场的总体光场；（2）可以由每一个单独的参与移动器件按照处理负载共享方式部分地处理所交换的增强光场数据的超级集合，直到对于所交换的数据的变换（这可能是在通过数据联网进行多次中间数据交换之后）收敛到由所有参与的联网移动器件总体上捕获的观看场景的聚合总体光场为止；或者（3）可以由联网服务器处理所交换的增强光场数据的超级集合，所述联网服务器接收从具有捕获观看场景的嵌入式摄影机的所有参与的移动器件通过网络发送的增强光场数据，随后由所述服务器对所接收到的数据进行变换，从而生成聚合了由所有参与的联网移动器件捕获的观看场景的光场的总体光场，随后所述服务器将经过变换的总体光场数据下载回到各个参与的移动器件。应当提到的是，在联网光场摄影的交换处理中将始终使用数据压缩，特别是利用固有地存在于所捕获的光场数据中的空间、方向和时间相关性的压缩方案。
应当提到的是，即使当利用捕获的位置、指向和时间来增强嵌入在移动器件中的传统数字摄影机的输出时，在前面的段落中描述的联网光场摄影的实施例也将是有效的（尽管在某种程度上会降低光场捕获分辨率），并且其被用来产生通过如前所述地联网和处理的多个参与移动器件捕获的场景的总体光场。通过使用本发明的空间-时间光场摄影机将进一步增强从在前面的段落中描述的联网光场摄影得到的总体光场捕获分辨率。在前面所描述的联网光场摄影的情境内，还将有可能利用来自通过嵌入在联网移动器件中的传统数字摄影机捕获的图像的经过增强的数据连同通过嵌入在联网移动器件中的本发明的空间-时间光场摄影机捕获的增强光场数据的组合。在这种情况下，全部两种类型的摄影机都将贡献从不同视角捕获的所观看场景的图像，同时由本发明的空间-时间光场摄影机贡献的经过增强的数据还将表示其视场中的整个光场。一般来说，在前面的段落中描述的联网光场摄影实施例使用本发明的空间-时间光场摄影机、嵌入在移动器件中的传统数字摄影机或者全部两种类型摄影机的组合，其在社会事件（比如体育比赛、音乐会等等）的3D捕获中将是有效的，并且在3D监控和3D电影捕获中也可以是有效的。
当如前面的段落中所描述的那样通过联网服务器对所捕获的和经过增强的光场数据实施计算处理时，可以在互联网应用的情境内应用所述联网光场摄影，从而将允许其订户通过向服务器上传利用其嵌入有本发明的空间-时间光场摄影机的移动器件捕获的光场数据来进行参与，并且随后能够下载由服务器从由出席相同社会事件的所有订户捕获的光场数据通过计算方式融合的总体光场。实质上，对于联网光场摄影，分别利用其所嵌入的本发明的空间-时间光场摄影机从不同视角（其相对于观看场景所站立的位置）捕获所述场景的参与者将通过其服务器连接性进行协作，从而总体上产生所有参与者可以通过从服务器下载融合总体光场而共享的观看场景的光场。
在前面描述的替换方法中，其中对于增强光场数据的计算处理由每一个单独参与者的移动器件或者例如PC之类的其他个人计算资产来实施，仍然可以在参与者之间共享观看场景的融合总体光场数据，这或者是利用最初借以共享其所捕获的光场数据的相同介质而实现的，或者是通过例如博客或社交网站之类的互联网可访问站点而实现的。实质上，对于所描述的联网光场摄影实施例的该替换方案，分别利用其所嵌入的本发明的空间-时间光场摄影机从不同视角（其相对于观看场景所站立的位置）捕获所述观看场景的参与者将交换其所捕获的和增强的光场数据，这或者是利用移动无线电话网络、例如WiFi之类的无线局域网（WLAN）、例如Bluetooth之类的个人区域网（WPAN）来实现的，或者是通过利用闪存模块的成批数据传输来实现的，并且所述参与者随后使用其个人计算资产来融合所共享的光场数据从而产生总体光场数据，其随后又可以通过被用来交换各项单独捕获的和增强的光场数据的其中一种介质来与其他参与者共享所述总体光场数据。应当提到的是，联网光场摄影的后一种方法还可以被应用来产生观看场景的2D广角视图（或全景），这将是由多位参与者利用其嵌入有本发明的空间-时间光场摄影机的联网移动器件协作捕获的。
不管联网与否，前面的摄影机实施例记录四维光场（关于光源的X和Y位置以及角度），其在利用来自该摄影机的光场数据或者利用来自所描述的联网的观看场景的融合总体光场数据被显示时，产生由摄影机观看到的所述场景的三维图像。这样的三维图像可以从任何角度观看，并且仍然给出三维图像。举例来说，可以在桌面或咖啡桌高度显示水平图像。在由围绕显示站立于任何位置的人观看时，这样的图像将是摄取所述图像的摄影机的视场内的三维图像。
作为一种替换方案，一些三维图像可以按照预定方式而不是从围绕图像的任何角度来观看。举例来说，三维图像可以被显示在垂直平面中，并且由坐下或站立的直视图像并且头部没有显著倾斜的人观看。在由摄影机记录的图像的该应用中，垂直方向上的所述图像的三维外观不会被观看者感知到，因此所记录的图像只需要在摄影机的视场内记录关于光源的水平角度。对于三维效果来说，唯一至关重要的是在垂直方向上记录来自观看场景中的任一点的全部光，这是因为当观看者眼睛保持水平时，在垂直方向关于光源的角度是不可感知的。这样的实施例可以简化摄影机。
作为一个实例，如果光电检测器阵列具有足够数目的像素在垂直方向上提供所期望的分辨率，则光电检测器阵列不需要围绕两个轴铰接，而是相反只围绕一个轴（在该例中是垂直轴）铰接，从而仅扩展水平视场和/或空间分辨率。取代使用PDA/MLA套件230的3X3拼贴阵列，可以使用3x1阵列，从而消除对应于一个轴的铰接能力、铰接致动器、铰接传感器和互连。
当然在这样的应用中，作为另一种替换方案，可以记录完全的三维图像，并且随后在重放之前或重放时可以对图像数据进行处理，从而消除垂直方向上的三维效果，在这种情况下，在显示图像中的任一点处的光时将不考虑所述光从摄影机的视场内发出的垂直平面中的角度。
总而言之，前面的描述给出了克服现有技术光场摄影机的限制和弱点并且使得有可能产生可以被用来记录静止或运动视频图像的光场摄影机的新颖光场摄影机的多个实施例，其可以被嵌入在移动器件中，并且为此类器件的用户给出了在较宽角度范围内对2D图像进行计算对焦以及捕获3D图像的全部两方面的能力，并且提供了用于联网光场摄影的能力。当然，任何实施例的特征和实现方式都可以被合并在任何其他实施例中，并且不被限制到关于任何单一实施例的使用。
因此，本发明具有若干方面，所述方面按照期望可以被单独实践或者通过各种组合或子组合来实践。虽然在这里出于说明而非限制的目的公开并且描述了本发明的某些优选实施例，但是本领域技术人员将理解的是，在不背离由所附权利要求书的完全广度所限定的本发明的精神和范围的情况下，可以对其中的形式和细节方面做出各种改变。
权利要求书(按照条约第19条的修改)
1.一种光场摄影机，其包括：
具有定义一个像素阵列的光检测表面的微光电检测器阵列器件，每一个像素是单独可寻址的光检测器，其响应于耦合到对应像素的孔径中的光强度输出电信号；以及
由微透镜元件构成的微透镜阵列；
所述微光电检测器阵列器件和微透镜阵列被组装在一起并且在时间上被角度铰接成单一套件，所述角度铰接是围绕平行于微光电检测器阵列器件的光检测表面的平面的至少一个轴并且至少经过最大铰接角度；
所述时间角度铰接的周期性被选择成实现在图像帧捕获持续时间内对于所述最大铰接角度的时间覆盖；
微透镜阵列的每一个微透镜元件与微光电检测器阵列器件的对应的二维像素组阵列内的多个像素相关联并且相对其对准，每一个透镜把从由对应透镜的角度范围定义的光场内的一个离散方向集合撞击在对应透镜的孔径上的光通过光学方式映射到微光电检测器阵列器件的所述二维像素组阵列内的相应的多个像素上，所述离散方向集合定义邻近方向之间的角度分辨率以及所述光方向集合的角度范围；
所述围绕至少一个轴的时间角度铰接在围绕角度铰接轴的方向上扩展角度范围和/或角度分辨率。
2.权利要求1的光场摄影机，其中，每一个像素是单独可寻址的，从而还响应于耦合到对应像素的孔径中的光的颜色输出电信号。
3.权利要求1的光场摄影机，其中，所述时间角度铰接是围绕两个正交轴。
4.权利要求3的光场摄影机，其中，所述微透镜元件被截断成分别具有与构成对应像素组的二维像素阵列匹配的对应维度方面，并且其光学中心与其对应的二维像素阵列的中心对准。
5.权利要求4的光场摄影机，其还包括一起组装在拼贴阵列中的多个微光电检测器阵列器件和微透镜阵列。
6.权利要求5的光场摄影机，其中，所述光场摄影机被嵌入在移动器件中并且联网到其中同样嵌入有光场摄影机的其他移动器件，所述移动器件通过无线或有线网络或者通过利用闪存模块的成批数据传输互连，从而使得有可能与捕获观看场景的不同视角的多个此类移动器件交换光场摄影机输出数据，并且使用这样的联网光场摄影机输出数据产生所观看场景的总体光场。
7.权利要求6的光场摄影机，其中，所述联网移动器件是蜂窝电话或计算机，或者替换地，所述光场摄影机与其自身的网络连接性接口能力集成。
8.权利要求3的光场摄影机，其中，所述角度铰接的重复速率与图像捕获帧率成比例并且与之同步，其中围绕所述两个轴当中的每一个的最大角度铰接决定光场摄影机的完全角度范围、其对向的角度覆盖形状以及其长宽比；以及。
9.权利要求3的光场摄影机，其中，所述光场摄影机捕获二维光场图像，所述二维光场图像随后通过计算方式被对焦在所期望的平面或弯曲表面处，或者通过计算方式被对焦在具有平坦或弯曲表面的所期望的深度体积内。
10.权利要求3的光场摄影机，其中，所述微透镜阵列由相对于彼此并且相对于微光电检测器像素阵列对准的透镜元件的阵列构成。
11.权利要求10的光场摄影机，其中，所述微光电检测器阵列器件的光检测表面被放置在微透镜元件的焦平面处或者与之相距一定距离，所述放置是固定的或者是利用z轴致动器而可变的。
12.权利要求11的光场摄影机：
其中，所述微透镜阵列的每一个透镜元件与微光电检测器阵列器件的对应的二维像素组阵列内的多个像素相关联并且相对其对准，每一个透镜把从由对应透镜的角度范围定义的光场内的一个离散方向集合撞击在对应透镜的孔径上的光通过光学方式映射到微光电检测器阵列器件的所述二维阵列像素组内的相应的多个像素上；以及
其中，所述微光电检测器阵列器件的光检测表面被放置在与微透镜元件的焦平面的一定距离处，从而使得构成微光电检测器阵列器件的每一个像素组的多个像素总体被共享来记录光场，从而与微光电检测器阵列器件被放置在微透镜元件的焦平面处的情况相比允许光场摄影机实现更高的角度和方向分辨率。
13.权利要求12的光场摄影机：
其中，所述微透镜阵列的每一个透镜元件与微光电检测器阵列器件的对应的二维像素组阵列内的多个像素相关联并且相对其对准，每一个透镜把从由对应透镜的角度范围定义的光场内的一个离散方向集合撞击在对应透镜的孔径上的光通过光学方式映射到微光电检测器阵列器件的所述二维阵列像素组内的相应的多个像素上；以及
其中，每一个像素组内的每一个像素记录来自多个方向的光场信息的已知加权和，从而可以通过计算方式解析光场信息以便提高光场摄影机的角度和方向分辨率。
14.权利要求3的光场摄影机，其中，所述微透镜元件被截断成分别具有与构成对应像素组的二维像素阵列匹配的对应维度方面，并且其光学中心与其对应的二维像素阵列的中心对准。
15.权利要求3的光场摄影机：
其中，所述微透镜元件被截断成具有其与对应像素组中的二维像素阵列的维度匹配的对应尺寸；并且
其中，所述微透镜阵列的中心处的透镜元件的光学中心与其对应像素组的中心对准，并且远离微透镜阵列中心的透镜元件的光学中心偏离其对应像素组的中心，其中偏移量对于进一步远离微透镜阵列的中心的透镜元件逐渐增大。
16.权利要求3的光场摄影机，其中，所述角度铰接在时间上是连续的或离散的，其重复速率与图像捕获帧率成比例并且与之同步，其中围绕所述两个轴当中的每一个的最大角度铰接决定光场摄影机的完全角度范围、其对向的角度覆盖形状以及其长宽比。
17.权利要求3的光场摄影机，其中，所述微透镜元件的光学系统是傅里叶光学系统，其对焦在无限远处并且把在角度范围内撞击在其孔径上的光场的方向方面映射到构成像素组的二维像素阵列上。
18.权利要求3的光场摄影机，其中，所述光场摄影机被嵌入在移动器件中。
19.权利要求3的光场摄影机，其具有时间角度铰接，其中所述光场摄影机记录其所捕获的光场的弯曲波前，从而允许光场摄影机捕获光场的弯曲视差。
20.权利要求3的光场摄影机，其中，所述光场摄影机捕获二维光场图像，所述二维光场图像随后通过计算方式被对焦在所期望的平面或弯曲表面处，或者通过计算方式被对焦在具有平坦或弯曲表面的所期望的深度体积内。
21.权利要求3的光场摄影机，其具有用于通过适配所期望的操作模式在作为三维光场摄影机的操作与作为二维光场摄影机的操作之间进行切换的操作模式。
22.权利要求3的光场摄影机，其中，所述光场摄影机被嵌入在移动器件中并且联网到其中同样嵌入有光场摄影机的其他移动器件，所述移动器件通过无线或有线网络或者通过利用闪存模块的成批数据传输互连，从而使得有可能与捕获观看场景的不同视角的多个此类移动器件交换光场摄影机输出数据，并且使用这样的联网光场摄影机输出数据产生所观看场景的总体光场。
23.权利要求22的光场摄影机，其中，所述联网移动器件是蜂窝电话或计算机，或者替换地，所述光场摄影机与其自身的网络连接性接口能力集成。
24.权利要求3的光场摄影机，其中，所述微光电检测器阵列器件的光检测表面被放置在微透镜阵列的微透镜元件的焦平面处或者与之相距一定距离，并且所述放置通过设计选择被固定或者可以利用z轴致动器在规定范围内调节。
25.权利要求24的光场摄影机：
其中，通过把所述微光电检测器阵列器件的光检测表面放置在与微透镜元件的焦平面的一定距离处，使得构成微光电检测器阵列器件的每一个像素组的多个像素总体被共享来记录光场，从而与微光电检测器阵列器件被放置在微透镜元件的焦平面处的情况相比允许光场摄影机实现更高的角度和方向分辨率。
26.权利要求25的光场摄影机：
其中，所述微透镜阵列的每一个透镜元件与微光电检测器阵列器件的一个二维像素组阵列内的多个像素相关联并且与之精确地对准，每一个透镜把从由所述透镜的角度范围定义的光场内的一个离散方向集合撞击在其孔径上的光通过光学方式映射到微光电检测器阵列器件的所述二维像素组阵列内的相应的多个像素上；
其中，所述微光电检测器阵列器件的各个像素的光场记录总体共享使得每一个像素组内的每一个像素记录来自多个方向的光场信息的已知加权和；以及
其中，通过计算方式解析光场信息以便提高光场摄影机的角度和/或方向分辨率。
27.权利要求3的光场摄影机：
其中，所述微透镜元件的光学系统是傅里叶光学系统，其对焦在无限远处并且把在角度范围内撞击在其孔径上的光场的方向方面映射到所述二维像素阵列上。
28.权利要求3的光场摄影机，其中，所述角度铰接在时间上是连续的或离散的，其重复速率与图像捕获帧率成比例并且与之同步，其中围绕所述两个轴当中的每一个的最大角度铰接决定光场摄影机的完全角度范围、其对向的角度覆盖形状以及其长宽比。
29.权利要求1的光场摄影机，其中，每一个微透镜元件是傅里叶透镜系统。
30.权利要求1的光场摄影机，其中，所述微光电检测器阵列器件的光检测表面被放置在与微透镜元件的焦平面的一定距离处，从而使得构成微光电检测器阵列器件的每一个像素组的多个像素总体被共享来记录光场，从而与微光电检测器阵列器件被放置在微透镜元件的焦平面处的情况相比允许光场摄影机实现更高的角度和方向分辨率，并且每一个像素组内的每一个像素记录来自多个方向的光场信息的已知加权和，从而可以通过计算方式解析光场信息以便提高光场摄影机的角度和方向分辨率。
31.权利要求1的光场摄影机，其中，所述角度铰接在时间上是连续的或离散的。
32.权利要求1的光场摄影机，其中，所述微透镜阵列的中心处的透镜元件的光学中心与其对应像素组的中心对准，并且远离微透镜阵列中心的透镜元件的光学中心偏离其对应像素组的中心，其中偏移量对于进一步远离微透镜阵列的中心的透镜元件逐渐增大。
33.权利要求1的光场摄影机，其被配置成具有任意空间和方向分辨率的三维光场摄影机。
34.权利要求1的光场摄影机，其中，所述光场摄影机被嵌入在移动器件中并且联网到其中同样嵌入有光场摄影机的其他移动器件，所述移动器件通过无线或有线网络或者通过利用闪存模块的成批数据传输互连，从而使得有可能与捕获观看场景的不同视角的多个此类移动器件交换光场摄影机输出数据，并且使用这样的联网光场摄影机输出数据产生所观看场景的总体光场。
35.权利要求1的光场摄影机，其被配置成记录静止或运动视频图像。
36.权利要求1的光场摄影机，其中，多个微光电检测器阵列器件和微透镜阵列被多个一起组装在拼贴阵列中，并且在时间上被角度铰接成单一套件。
37.一种光场摄影机，其包括：
包括多个像素的微光电检测器阵列器件；
对准并且物理地结合到微光电检测器阵列器件的表面的微透镜阵列，以及
支持在万向节基座上并且具有结合衬垫的二轴万向节，所述微光电检测器阵列器件与被对准并且物理地结合到其表面的微透镜阵列一起被物理地并且电气地结合在所述结合衬垫上；
与万向节的两个轴对准的两个电机械致动器集合，从而实现所述结合衬垫围绕万向节的两个轴的时间角度铰接；
所述时间角度铰接的周期性被选择成实现在图像帧捕获持续时间内对于所述最大铰接角度的时间覆盖。
38.权利要求37的光场摄影机，其中，所述2轴万向节是利用对应于万向节的2轴枢轴的多个硅基板层以及定义万向节相对于万向节基座的中性位置的机械阻力弹簧来实施的。
39.权利要求38的光场摄影机，其中，所述机械阻力弹簧包括两个硅桥集合。
40.权利要求37的光场摄影机，其中，所述二轴万向节包括处于结合衬垫背侧的球形枢轴以及处于万向节基座顶侧的匹配的球形窝槽。
41.权利要求40的光场摄影机，其中，所述电机械致动器被结合到结合衬垫的背侧并且被结合到万向节基座的顶侧。
42.一种方法，其包括：
提供多个光场摄影机，其分别具有：
　　具有光检测表面的微光电检测器阵列器件；以及
　　由微透镜元件构成的微透镜阵列；
　　其中所述微光电检测器阵列器件和微透镜阵列被组装在一起，并且围绕平行于微光电检测器阵列器件的光检测表面的平面的两个正交轴在时间上被角度铰接成单一套件；
　　所述时间角度铰接处在对应于每一个轴的正负最大角度铰接的范围内；
　　所述时间角度铰接的周期性被选择成实现在图像帧捕获持续时间内对于所述最大铰接角度的时间覆盖；
将每一个光场摄影机嵌入在对应的移动器件中；
将每一个移动器件通过无线或有线网络或者通过利用闪存模块的成批数据传输互连到至少一个寄主器件；
在捕获观看场景的不同视角的各个移动器件以及寄主器件之间交换光场摄影机输出数据，从而形成总体光场摄影机输出数据；以及
利用总体光场摄影机输出数据产生所观看场景的总体光场。
43.权利要求42的方法，其中，为每一个光场摄影机提供微光电检测器阵列器件和微透镜阵列的拼贴阵列。
44.权利要求42的方法，其中，通过以下方式当中的任一种来实施形成总体光场摄影机输出数据的步骤：
（1）由每一个移动器件对总体光场摄影机输出数据进行处理从而生成总体光场，其中每一个移动器件充当寄主器件；
（2）其中所述寄主器件是网络服务器，并且由网络服务器对总体光场摄影机输出数据进行处理，随后将所观看场景的总体光场下载到移动器件。
45.权利要求44的方法，其被应用来产生由多个参与者利用其互连的移动器件协作捕获的观看场景的二维广角视图或全景，其中每一个移动器件具有嵌入的光场摄影机。
46.一种方法，其包括：
提供分别处于对应的移动器件中的多个二维数字摄影机，以便捕获观看场景的二维光场数据；
利用捕获所述二维光场数据的位置、指向和时间来增强所观看场景的二维光场数据；
将每一个移动器件通过无线或有线网络或者通过利用闪存模块的成批数据传输互连到至少一个寄主器件；
在捕获观看场景的不同视角的各个移动器件以及寄主器件之间交换来自所述二维数字摄影机的二维光场数据，从而形成总体光场数据；以及
利用总体光场数据产生所观看场景的总体光场。
47.权利要求46的方法，其还包括将所述数据提供回到表示总体光场的移动器件。
 

Claims (47)

1.一种光场摄影机，其包括：
具有定义一个像素阵列的光检测表面的微光电检测器阵列器件，每一个像素是单独可寻址的光检测器，其响应于耦合到对应像素的孔径中的光强度输出电信号；以及
由微透镜元件构成的微透镜阵列；
所述微光电检测器阵列器件和微透镜阵列被组装在一起并且在时间上被角度铰接成单一套件，所述角度铰接是围绕平行于微光电检测器阵列器件的光检测表面的平面的至少一个轴并且至少经过最大铰接角度；
微透镜阵列的每一个微透镜元件与微光电检测器阵列器件的对应的二维像素组阵列内的多个像素相关联并且相对其对准，每一个透镜把从由对应透镜的角度范围定义的光场内的一个离散方向集合撞击在对应透镜的孔径上的光通过光学方式映射到微光电检测器阵列器件的所述二维像素组阵列内的相应的多个像素上，所述离散方向集合定义邻近方向之间的角度分辨率以及所述光方向集合的角度范围；
所述围绕至少一个轴的时间角度铰接在围绕角度铰接轴的方向上扩展角度范围和/或角度分辨率。
2.权利要求1的光场摄影机，其中，每一个像素是单独可寻址的，从而还响应于耦合到对应像素的孔径中的光的颜色输出电信号。
3.权利要求1的光场摄影机，其中，所述时间角度铰接是围绕两个正交轴。
4.权利要求3的光场摄影机，其中，所述微透镜元件被截断成分别具有与构成对应像素组的二维像素阵列匹配的对应维度方面，并且其光学中心与其对应的二维像素阵列的中心对准。
5.权利要求4的光场摄影机，其还包括一起组装在拼贴阵列中的多个微光电检测器阵列器件和微透镜阵列。
6.权利要求5的光场摄影机，其中，所述光场摄影机被嵌入在移动器件中并且联网到其中同样嵌入有光场摄影机的其他移动器件，所述移动器件通过无线或有线网络或者通过利用闪存模块的成批数据传输互连，从而使得有可能与捕获观看场景的不同视角的多个此类移动器件交换光场摄影机输出数据，并且使用这样的联网光场摄影机输出数据产生所观看场景的总体光场。
7.权利要求6的光场摄影机，其中，所述联网移动器件是蜂窝电话或计算机，或者替换地，所述光场摄影机与其自身的网络连接性接口能力集成。
8.权利要求3的光场摄影机，其中，所述角度铰接的重复速率与图像捕获帧率成比例并且与之同步，其中围绕所述两个轴当中的每一个的最大角度铰接决定光场摄影机的完全角度范围、其对向的角度覆盖形状以及其长宽比；以及。
9.权利要求3的光场摄影机，其中，所述光场摄影机捕获二维光场图像，所述二维光场图像随后通过计算方式被对焦在所期望的平面或弯曲表面处，或者通过计算方式被对焦在具有平坦或弯曲表面的所期望的深度体积内。
10.权利要求3的光场摄影机，其中，所述微透镜阵列由相对于彼此并且相对于微光电检测器像素阵列对准的透镜元件的阵列构成。
11.权利要求10的光场摄影机，其中，所述微光电检测器阵列器件的光检测表面被放置在微透镜元件的焦平面处或者与之相距一定距离，所述放置是固定的或者是利用z轴致动器而可变的。
12.权利要求11的光场摄影机：
其中，所述微透镜阵列的每一个透镜元件与微光电检测器阵列器件的对应的二维像素组阵列内的多个像素相关联并且相对其对准，每一个透镜把从由对应透镜的角度范围定义的光场内的一个离散方向集合撞击在对应透镜的孔径上的光通过光学方式映射到微光电检测器阵列器件的所述二维阵列像素组内的相应的多个像素上；以及
其中，所述微光电检测器阵列器件的光检测表面被放置在与微透镜元件的焦平面的一定距离处，从而使得构成微光电检测器阵列器件的每一个像素组的多个像素总体被共享来记录光场，从而与微光电检测器阵列器件被放置在微透镜元件的焦平面处的情况相比允许光场摄影机实现更高的角度和方向分辨率。
13.权利要求12的光场摄影机：
其中，所述微透镜阵列的每一个透镜元件与微光电检测器阵列器件的对应的二维像素组阵列内的多个像素相关联并且相对其对准，每一个透镜把从由对应透镜的角度范围定义的光场内的一个离散方向集合撞击在对应透镜的孔径上的光通过光学方式映射到微光电检测器阵列器件的所述二维阵列像素组内的相应的多个像素上；以及
其中，每一个像素组内的每一个像素记录来自多个方向的光场信息的已知加权和，从而可以通过计算方式解析光场信息以便提高光场摄影机的角度和方向分辨率。
14.权利要求3的光场摄影机，其中，所述微透镜元件被截断成分别具有与构成对应像素组的二维像素阵列匹配的对应维度方面，并且其光学中心与其对应的二维像素阵列的中心对准。
15.权利要求3的光场摄影机：
其中，所述微透镜元件被截断成具有其与对应像素组中的二维像素阵列的维度匹配的对应尺寸；以及
其中，所述微透镜阵列的中心处的透镜元件的光学中心与其对应像素组的中心对准，并且远离微透镜阵列中心的透镜元件的光学中心偏离其对应像素组的中心，其中偏移量对于进一步远离微透镜阵列的中心的透镜元件逐渐增大。
16.权利要求3的光场摄影机，其中，所述角度铰接在时间上是连续的或离散的，其重复速率与图像捕获帧率成比例并且与之同步，其中围绕所述两个轴当中的每一个的最大角度铰接决定光场摄影机的完全角度范围、其对向的角度覆盖形状以及其长宽比。
17.权利要求3的光场摄影机，其中，所述微透镜元件的光学系统是傅里叶光学系统，其对焦在无限远处并且把在角度范围内撞击在其孔径上的光场的方向方面映射到构成像素组的二维像素阵列上。
18.权利要求3的光场摄影机，其中，所述光场摄影机被嵌入在移动器件中。
19.权利要求3的光场摄影机，其具有时间角度铰接，其中所述光场摄影机记录其所捕获的光场的弯曲波前，从而允许光场摄影机捕获光场的弯曲视差。
20.权利要求3的光场摄影机，其中，所述光场摄影机捕获二维光场图像，所述二维光场图像随后通过计算方式被对焦在所期望的平面或弯曲表面处，或者通过计算方式被对焦在具有平坦或弯曲表面的所期望的深度体积内。
21.权利要求3的光场摄影机，其具有用于通过适配所期望的操作模式在作为三维光场摄影机的操作与作为二维光场摄影机的操作之间进行切换的操作模式。
22.权利要求3的光场摄影机，其中，所述光场摄影机被嵌入在移动器件中并且联网到其中同样嵌入有光场摄影机的其他移动器件，所述移动器件通过无线或有线网络或者通过利用闪存模块的成批数据传输互连，从而使得有可能与捕获观看场景的不同视角的多个此类移动器件交换光场摄影机输出数据，并且使用这样的联网光场摄影机输出数据产生所观看场景的总体光场。
23.权利要求22的光场摄影机，其中，所述联网移动器件是蜂窝电话或计算机，或者替换地，所述光场摄影机与其自身的网络连接性接口能力集成。
24.权利要求3的光场摄影机，其中，所述微光电检测器阵列器件的光检测表面被放置在微透镜阵列的微透镜元件的焦平面处或者与之相距一定距离，并且所述放置通过设计选择被固定或者可以利用z轴致动器在规定范围内调节。
25.权利要求24的光场摄影机：
其中，通过把所述微光电检测器阵列器件的光检测表面放置在与微透镜元件的焦平面的一定距离处，使得构成微光电检测器阵列器件的每一个像素组的多个像素总体被共享来记录光场，从而与微光电检测器阵列器件被放置在微透镜元件的焦平面处的情况相比允许光场摄影机实现更高的角度和方向分辨率。
26.权利要求25的光场摄影机：
其中，所述微透镜阵列的每一个透镜元件与微光电检测器阵列器件的一个二维像素组阵列内的多个像素相关联并且与之精确地对准，每一个透镜把从由所述透镜的角度范围定义的光场内的一个离散方向集合撞击在其孔径上的光通过光学方式映射到微光电检测器阵列器件的所述二维像素组阵列内的相应的多个像素上；
其中，所述微光电检测器阵列器件的各个像素的光场记录总体共享使得每一个像素组内的每一个像素记录来自多个方向的光场信息的已知加权和；以及
其中，通过计算方式解析光场信息以便提高光场摄影机的角度和/或方向分辨率。
27.权利要求3的光场摄影机：
其中，所述微透镜元件的光学系统是傅里叶光学系统，其对焦在无限远处并且把在角度范围内撞击在其孔径上的光场的方向方面映射到所述二维像素阵列上。
28.权利要求3的光场摄影机，其中，所述角度铰接在时间上是连续的或离散的，其重复速率与图像捕获帧率成比例并且与之同步，其中围绕所述两个轴当中的每一个的最大角度铰接决定光场摄影机的完全角度范围、其对向的角度覆盖形状以及其长宽比。
29.权利要求1的光场摄影机，其中，每一个微透镜元件是傅里叶透镜系统。
30.权利要求1的光场摄影机，其中，所述微光电检测器阵列器件的光检测表面被放置在与微透镜元件的焦平面的一定距离处，从而使得构成微光电检测器阵列器件的每一个像素组的多个像素总体被共享来记录光场，从而与微光电检测器阵列器件被放置在微透镜元件的焦平面处的情况相比允许光场摄影机实现更高的角度和方向分辨率，并且每一个像素组内的每一个像素记录来自多个方向的光场信息的已知加权和，从而可以通过计算方式解析光场信息以便提高光场摄影机的角度和方向分辨率。
31.权利要求1的光场摄影机，其中，所述角度铰接在时间上是连续的或离散的。
32.权利要求1的光场摄影机，其中，所述微透镜阵列的中心处的透镜元件的光学中心与其对应像素组的中心对准，并且远离微透镜阵列中心的透镜元件的光学中心偏离其对应像素组的中心，其中偏移量对于进一步远离微透镜阵列的中心的透镜元件逐渐增大。
33.权利要求1的光场摄影机，其被配置成具有任意空间和方向分辨率的三维光场摄影机。
34.权利要求1的光场摄影机，其中，所述光场摄影机被嵌入在移动器件中并且联网到其中同样嵌入有光场摄影机的其他移动器件，所述移动器件通过无线或有线网络或者通过利用闪存模块的成批数据传输互连，从而使得有可能与捕获观看场景的不同视角的多个此类移动器件交换光场摄影机输出数据，并且使用这样的联网光场摄影机输出数据产生所观看场景的总体光场。
35.权利要求1的光场摄影机，其被配置成记录静止或运动视频图像。
36.权利要求1的光场摄影机，其中，多个微光电检测器阵列器件和微透镜阵列被多个一起组装在拼贴阵列中，并且在时间上被角度铰接成单一套件。
37.一种光场摄影机，其包括：
包括多个像素的微光电检测器阵列器件；
对准并且物理地结合到微光电检测器阵列器件的表面的微透镜阵列；以及
支持在万向节基座上并且具有结合衬垫的二轴万向节，所述微光电检测器阵列器件与被对准并且物理地结合到其表面的微透镜阵列一起被物理地并且电气地结合在所述结合衬垫上；
与万向节的两个轴对准的两个电机械致动器集合，从而实现所述结合衬垫围绕万向节的两个轴的时间角度铰接。
38.权利要求37的光场摄影机，其中，所述2轴万向节是利用对应于万向节的2轴枢轴的多个硅基板层以及定义万向节相对于万向节基座的中性位置的机械阻力弹簧来实施的。
39.权利要求38的光场摄影机，其中，所述机械阻力弹簧包括两个硅桥集合。
40.权利要求37的光场摄影机，其中，所述二轴万向节包括处于结合衬垫背侧的球形枢轴以及处于万向节基座顶侧的匹配的球形窝槽。
41.权利要求40的光场摄影机，其中，所述电机械致动器被结合到结合衬垫的背侧并且被结合到万向节基座的顶侧。
42.一种方法，其包括：
提供多个光场摄影机，其分别具有：
　　具有光检测表面的微光电检测器阵列器件；以及
　　由微透镜元件构成的微透镜阵列；
　　其中所述微光电检测器阵列器件和微透镜阵列被组装在一起，并且围绕平行于微光电检测器阵列器件的光检测表面的平面的两个正交轴在时间上被角度铰接成单一套件；
　　所述时间角度铰接处在对应于每一个轴的正负最大角度铰接的范围内；
将每一个光场摄影机嵌入在对应的移动器件中；
将每一个移动器件通过无线或有线网络或者通过利用闪存模块的成批数据传输互连到至少一个寄主器件；
在捕获观看场景的不同视角的各个移动器件以及寄主器件之间交换光场摄影机输出数据，从而形成总体光场摄影机输出数据；以及
利用总体光场摄影机输出数据产生所观看场景的总体光场。
43.权利要求42的方法，其中，为每一个光场摄影机提供微光电检测器阵列器件和微透镜阵列的拼贴阵列。
44.权利要求42的方法，其中，通过以下方式当中的任一种来实施形成总体光场摄影机输出数据的步骤：
（1）由每一个移动器件对总体光场摄影机输出数据进行处理从而生成总体光场，其中每一个移动器件充当寄主器件；
（2）其中所述寄主器件是网络服务器，并且由网络服务器对总体光场摄影机输出数据进行处理，随后将所观看场景的总体光场下载到移动器件。
45.权利要求44的方法，其被应用来产生由多个参与者利用其互连的移动器件协作捕获的观看场景的二维广角视图或全景，其中每一个移动器件具有嵌入的光场摄影机。
46.一种方法，其包括：
提供分别处于对应的移动器件中的多个二维数字摄影机，以便捕获观看场景的二维光场数据；
利用捕获所述二维光场数据的位置、指向和时间来增强所观看场景的二维光场数据；
将每一个移动器件通过无线或有线网络或者通过利用闪存模块的成批数据传输互连到至少一个寄主器件；
在捕获观看场景的不同视角的各个移动器件以及寄主器件之间交换来自所述二维数字摄影机的二维光场数据，从而形成总体光场数据；以及
利用总体光场数据产生所观看场景的总体光场。
47.权利要求46的方法，其还包括将所述数据提供回到表示总体光场的移动器件。
CN201280075013.4A 2012-06-01 2012-12-05 空间-时间光场摄影机 Expired - Fee Related CN104509088B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261654688P 2012-06-01 2012-06-01
US61/654688 2012-06-01
US13/659776 2012-10-24
US13/659,776 US9179126B2 (en) 2012-06-01 2012-10-24 Spatio-temporal light field cameras
PCT/US2012/068028 WO2013180748A1 (en) 2012-06-01 2012-12-05 Spatio-temporal light field cameras

Publications (2)

Publication Number Publication Date
CN104509088A true CN104509088A (zh) 2015-04-08
CN104509088B CN104509088B (zh) 2018-09-07

Family

ID=49669755

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280075013.4A Expired - Fee Related CN104509088B (zh) 2012-06-01 2012-12-05 空间-时间光场摄影机

Country Status (8)

Country Link
US (6) US9179126B2 (zh)
EP (1) EP2856747B1 (zh)
JP (1) JP6177897B2 (zh)
KR (1) KR102076993B1 (zh)
CN (1) CN104509088B (zh)
HK (1) HK1208981A1 (zh)
TW (1) TWI615633B (zh)
WO (1) WO2013180748A1 (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016169503A1 (en) * 2015-04-22 2016-10-27 Beijing Zhigu Rui Tuo Tech Co., Ltd. Image capture control methods and apparatuses
CN108600623A (zh) * 2018-04-20 2018-09-28 维沃移动通信有限公司 重聚焦显示方法以及终端设备
CN109076148A (zh) * 2016-04-12 2018-12-21 奎蒂安特有限公司 日常场景重建引擎
CN110187474A (zh) * 2019-06-28 2019-08-30 杭州行开医学影像技术有限公司 一种用于拍摄3d影像的透镜组
CN110971804A (zh) * 2019-12-19 2020-04-07 京东方科技集团股份有限公司 一种光场信息采集结构、显示装置及其控制方法
CN111432196A (zh) * 2020-04-23 2020-07-17 北京航空航天大学 一种基于光线跟踪的集成成像环扇形微图像阵列生成方法
CN111465885A (zh) * 2017-09-26 2020-07-28 巴里大学 用于对标准图像和全光图像的同时捕捉的设备和过程
WO2021175118A1 (zh) * 2020-03-06 2021-09-10 上海瑞立柯信息技术有限公司 一种动态光场发生方法及发生装置
US11875476B2 (en) 2018-05-02 2024-01-16 Quidient, Llc Codec for processing scenes of almost unlimited detail

Families Citing this family (147)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10298834B2 (en) 2006-12-01 2019-05-21 Google Llc Video refocusing
US8866920B2 (en) * 2008-05-20 2014-10-21 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US11792538B2 (en) 2008-05-20 2023-10-17 Adeia Imaging Llc Capturing and processing of images including occlusions focused on an image sensor by a lens stack array
WO2011063347A2 (en) 2009-11-20 2011-05-26 Pelican Imaging Corporation Capturing and processing of images using monolithic camera array with heterogeneous imagers
US8878950B2 (en) 2010-12-14 2014-11-04 Pelican Imaging Corporation Systems and methods for synthesizing high resolution images using super-resolution processes
US20130070060A1 (en) 2011-09-19 2013-03-21 Pelican Imaging Corporation Systems and methods for determining depth from multiple views of a scene that include aliasing using hypothesized fusion
IN2014CN02708A (zh) 2011-09-28 2015-08-07 Pelican Imaging Corp
JPWO2013051186A1 (ja) * 2011-10-03 2015-03-30 パナソニックＩｐマネジメント株式会社 撮像装置、撮像装置を用いたシステム及び測距装置
EP2817955B1 (en) 2012-02-21 2018-04-11 FotoNation Cayman Limited Systems and methods for the manipulation of captured light field image data
US9179126B2 (en) * 2012-06-01 2015-11-03 Ostendo Technologies, Inc. Spatio-temporal light field cameras
US8662764B2 (en) * 2012-06-14 2014-03-04 Georgia Tech Research Corporation Camera positioning mechanism using an antagonistic pair of compliant contractile actuators
US9858649B2 (en) 2015-09-30 2018-01-02 Lytro, Inc. Depth-based image blurring
JP2015534734A (ja) 2012-06-28 2015-12-03 ペリカン イメージング コーポレイション 欠陥のあるカメラアレイ、光学アレイ、およびセンサを検出するためのシステムおよび方法
US20140002674A1 (en) 2012-06-30 2014-01-02 Pelican Imaging Corporation Systems and Methods for Manufacturing Camera Modules Using Active Alignment of Lens Stack Arrays and Sensors
US8754829B2 (en) * 2012-08-04 2014-06-17 Paul Lapstun Scanning light field camera and display
SG11201500910RA (en) 2012-08-21 2015-03-30 Pelican Imaging Corp Systems and methods for parallax detection and correction in images captured using array cameras
WO2014032020A2 (en) 2012-08-23 2014-02-27 Pelican Imaging Corporation Feature based high resolution motion estimation from low resolution images captured using an array source
US20140092281A1 (en) 2012-09-28 2014-04-03 Pelican Imaging Corporation Generating Images from Light Fields Utilizing Virtual Viewpoints
US9001226B1 (en) * 2012-12-04 2015-04-07 Lytro, Inc. Capturing and relighting images using multiple devices
US9769365B1 (en) 2013-02-15 2017-09-19 Red.Com, Inc. Dense field imaging
US8866912B2 (en) 2013-03-10 2014-10-21 Pelican Imaging Corporation System and methods for calibration of an array camera using a single captured image
US9578259B2 (en) 2013-03-14 2017-02-21 Fotonation Cayman Limited Systems and methods for reducing motion blur in images or video in ultra low light with array cameras
US9497429B2 (en) 2013-03-15 2016-11-15 Pelican Imaging Corporation Extended color processing on pelican array cameras
EP2973476A4 (en) 2013-03-15 2017-01-18 Pelican Imaging Corporation Systems and methods for stereo imaging with camera arrays
US10122993B2 (en) 2013-03-15 2018-11-06 Fotonation Limited Autofocus system for a conventional camera that uses depth information from an array camera
US10334151B2 (en) 2013-04-22 2019-06-25 Google Llc Phase detection autofocus using subaperture images
US9647150B2 (en) * 2013-05-21 2017-05-09 Jorge Vicente Blasco Claret Monolithic integration of plenoptic lenses on photosensor substrates
JP2015008387A (ja) 2013-06-25 2015-01-15 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム並びに撮像装置
US9898856B2 (en) 2013-09-27 2018-02-20 Fotonation Cayman Limited Systems and methods for depth-assisted perspective distortion correction
GB2520261B (en) * 2013-11-12 2017-10-18 Canon Kk Visual servoing
WO2015074078A1 (en) 2013-11-18 2015-05-21 Pelican Imaging Corporation Estimating depth from projected texture using camera arrays
US20150146032A1 (en) * 2013-11-22 2015-05-28 Vidinoti Sa Light field processing method
WO2015081279A1 (en) 2013-11-26 2015-06-04 Pelican Imaging Corporation Array camera configurations incorporating multiple constituent array cameras
JP6223169B2 (ja) * 2013-12-19 2017-11-01 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム
US10244223B2 (en) 2014-01-10 2019-03-26 Ostendo Technologies, Inc. Methods for full parallax compressed light field 3D imaging systems
US10089740B2 (en) 2014-03-07 2018-10-02 Fotonation Limited System and methods for depth regularization and semiautomatic interactive matting using RGB-D images
EP2955913A1 (en) 2014-06-10 2015-12-16 Thomson Licensing Hybrid plenoptic camera
US9420176B2 (en) 2014-06-19 2016-08-16 Omnivision Technologies, Inc. 360 degree multi-camera system
US10539791B2 (en) * 2014-09-02 2020-01-21 Ostendo Technologies, Inc. Split exit pupil multiple virtual image heads-up display systems and methods
EP3467776A1 (en) 2014-09-29 2019-04-10 Fotonation Cayman Limited Systems and methods for dynamic calibration of array cameras
US10356317B2 (en) * 2014-10-30 2019-07-16 Technion Research & Development Foundation Limited Wide-scale terrestrial light-field imaging of the sky
US9544583B2 (en) * 2015-01-09 2017-01-10 Ricoh Company, Ltd. Object space calibration of plenoptic imaging systems
US11328446B2 (en) 2015-04-15 2022-05-10 Google Llc Combining light-field data with active depth data for depth map generation
US10565734B2 (en) 2015-04-15 2020-02-18 Google Llc Video capture, processing, calibration, computational fiber artifact removal, and light-field pipeline
US10444931B2 (en) 2017-05-09 2019-10-15 Google Llc Vantage generation and interactive playback
US10469873B2 (en) 2015-04-15 2019-11-05 Google Llc Encoding and decoding virtual reality video
US10419737B2 (en) 2015-04-15 2019-09-17 Google Llc Data structures and delivery methods for expediting virtual reality playback
US10546424B2 (en) 2015-04-15 2020-01-28 Google Llc Layered content delivery for virtual and augmented reality experiences
US10412373B2 (en) 2015-04-15 2019-09-10 Google Llc Image capture for virtual reality displays
US10341632B2 (en) 2015-04-15 2019-07-02 Google Llc. Spatial random access enabled video system with a three-dimensional viewing volume
US10440407B2 (en) 2017-05-09 2019-10-08 Google Llc Adaptive control for immersive experience delivery
US10540818B2 (en) 2015-04-15 2020-01-21 Google Llc Stereo image generation and interactive playback
US10567464B2 (en) 2015-04-15 2020-02-18 Google Llc Video compression with adaptive view-dependent lighting removal
US10275898B1 (en) 2015-04-15 2019-04-30 Google Llc Wedge-based light-field video capture
KR20160123757A (ko) * 2015-04-17 2016-10-26 삼성전자주식회사 이미지 촬영 장치 및 이미지 촬영 방법
EP3286916A1 (en) 2015-04-23 2018-02-28 Ostendo Technologies, Inc. Methods and apparatus for full parallax light field display systems
CN107430782B (zh) 2015-04-23 2021-06-04 奥斯坦多科技公司 用于利用深度信息的全视差压缩光场合成的方法
JPWO2016181512A1 (ja) * 2015-05-12 2018-02-22 オリンパス株式会社 撮像装置、内視鏡システムおよび撮像装置の製造方法
US10701282B2 (en) * 2015-06-24 2020-06-30 Intel Corporation View interpolation for visual storytelling
US9979909B2 (en) * 2015-07-24 2018-05-22 Lytro, Inc. Automatic lens flare detection and correction for light-field images
US11469265B2 (en) 2015-07-29 2022-10-11 Samsung Electronics Co., Ltd. Imaging apparatus and image sensor including the same
US11089286B2 (en) 2015-07-29 2021-08-10 Samsung Electronics Co., Ltd. Image sensor
US10790325B2 (en) 2015-07-29 2020-09-29 Samsung Electronics Co., Ltd. Imaging apparatus and image sensor including the same
US10403668B2 (en) * 2015-07-29 2019-09-03 Samsung Electronics Co., Ltd. Imaging apparatus and image sensor including the same
CN106559733B (zh) * 2015-09-25 2021-02-12 北京三星通信技术研究有限公司 V2x通信方法及装置
EP3360012A4 (en) * 2015-10-09 2019-05-29 Visby Camera Corporation HOLOGRAPHIC LIGHT FIELD IMAGING DEVICE AND METHOD OF USE THEREOF
US11609427B2 (en) 2015-10-16 2023-03-21 Ostendo Technologies, Inc. Dual-mode augmented/virtual reality (AR/VR) near-eye wearable displays
TWI555378B (zh) * 2015-10-28 2016-10-21 輿圖行動股份有限公司 一種全景魚眼相機影像校正、合成與景深重建方法與其系統
US11106273B2 (en) 2015-10-30 2021-08-31 Ostendo Technologies, Inc. System and methods for on-body gestural interfaces and projection displays
US10448030B2 (en) 2015-11-16 2019-10-15 Ostendo Technologies, Inc. Content adaptive light field compression
US10345594B2 (en) 2015-12-18 2019-07-09 Ostendo Technologies, Inc. Systems and methods for augmented near-eye wearable displays
US9955057B2 (en) * 2015-12-21 2018-04-24 Qualcomm Incorporated Method and apparatus for computational scheimpflug camera
US10578882B2 (en) 2015-12-28 2020-03-03 Ostendo Technologies, Inc. Non-telecentric emissive micro-pixel array light modulators and methods of fabrication thereof
US9808673B2 (en) 2016-01-12 2017-11-07 Julie C. Robinson System for automatically providing high-intensity interval training (HIIT)
US9830755B2 (en) 2016-02-17 2017-11-28 Jvis-Usa, Llc System including a hand-held communication device having low and high power settings for remotely controlling the position of a door of a land vehicle and key fob for use in the system
US9704397B1 (en) 2016-04-05 2017-07-11 Global Ip Holdings, Llc Apparatus for use in a warning system to notify a land vehicle or a motorist of the vehicle of an approaching or nearby emergency vehicle or train
US10284822B2 (en) 2016-02-17 2019-05-07 Jvis-Usa, Llc System for enhancing the visibility of a ground surface adjacent to a land vehicle
US20170269340A1 (en) * 2016-02-19 2017-09-21 Almalence Inc. Collapsible imaging system having lenslet arrays for aberration correction
EP3220351A1 (en) * 2016-03-14 2017-09-20 Thomson Licensing Method and device for processing lightfield data
US10353203B2 (en) 2016-04-05 2019-07-16 Ostendo Technologies, Inc. Augmented/virtual reality near-eye displays with edge imaging lens comprising a plurality of display devices
US10845591B2 (en) 2016-04-12 2020-11-24 Ostendo Technologies, Inc. Split exit pupil heads-up display systems and methods
US10453431B2 (en) 2016-04-28 2019-10-22 Ostendo Technologies, Inc. Integrated near-far light field display systems
US10522106B2 (en) 2016-05-05 2019-12-31 Ostendo Technologies, Inc. Methods and apparatus for active transparency modulation
US10275892B2 (en) 2016-06-09 2019-04-30 Google Llc Multi-view scene segmentation and propagation
EP3261347A1 (en) * 2016-06-22 2017-12-27 Thomson Licensing A method and a device for encoding a signal representative of a light-field content
EP3264759A1 (en) 2016-06-30 2018-01-03 Thomson Licensing An apparatus and a method for generating data representative of a pixel beam
US10127712B2 (en) * 2016-07-08 2018-11-13 Google Llc Immersive content framing
EP3485322A4 (en) * 2016-07-15 2020-08-19 Light Field Lab, Inc. SELECTIVE PROPAGATION OF ENERGY IN A LUMINOUS FIELD AND HOLOGRAPHIC WAVE GUIDE NETWORKS
WO2018062368A1 (ja) * 2016-09-30 2018-04-05 株式会社ニコン 撮像装置および撮像システム
WO2018064502A1 (en) * 2016-09-30 2018-04-05 Visbit Inc. View-optimized light field image and video streaming
WO2018080455A1 (en) * 2016-10-25 2018-05-03 Hewlett-Packard Development Company, L.P. Electronic devices having multiple position cameras
CN106488148B (zh) * 2016-11-01 2019-09-17 首都师范大学 一种超分辨率图像传感器及其构造方法
EP3545675A4 (en) * 2016-11-24 2020-07-01 The University of Washington CAPTURE AND RESTITUTION OF LIGHT FIELD FOR HEADSETS
US10679361B2 (en) 2016-12-05 2020-06-09 Google Llc Multi-view rotoscope contour propagation
CN110462686B (zh) * 2017-02-06 2023-08-11 弗托斯传感与算法公司 用于从场景获得深度信息的设备和方法
US10594945B2 (en) 2017-04-03 2020-03-17 Google Llc Generating dolly zoom effect using light field image data
US10474227B2 (en) 2017-05-09 2019-11-12 Google Llc Generation of virtual reality with 6 degrees of freedom from limited viewer data
US10647061B2 (en) 2017-05-12 2020-05-12 Lawrence Livermore National Security, Llc System and method for computed axial lithography (CAL) for 3D additive manufacturing
US10354399B2 (en) 2017-05-25 2019-07-16 Google Llc Multi-view back-projection to a light-field
US20180350038A1 (en) 2017-06-02 2018-12-06 Ostendo Technologies, Inc. Methods and Systems for Light Field Compression With Residuals
US11051039B2 (en) 2017-06-02 2021-06-29 Ostendo Technologies, Inc. Methods for full parallax light field compression
US10539718B2 (en) * 2017-08-17 2020-01-21 Honeywell International Inc. Fresnel lens array with improved off-axis optical efficiency
US10545215B2 (en) 2017-09-13 2020-01-28 Google Llc 4D camera tracking and optical stabilization
US10817594B2 (en) * 2017-09-28 2020-10-27 Apple Inc. Wearable electronic device having a light field camera usable to perform bioauthentication from a dorsal side of a forearm near a wrist
US10930709B2 (en) 2017-10-03 2021-02-23 Lockheed Martin Corporation Stacked transparent pixel structures for image sensors
EP3487175A1 (en) * 2017-11-21 2019-05-22 Reliance Core Consulting LLC Methods and systems for detecting motion corresponding to a field of interest
US10867398B2 (en) * 2017-11-21 2020-12-15 Reliance Core Consulting LLC Methods, systems, apparatuses and devices for facilitating motion analysis in an environment
US10965862B2 (en) 2018-01-18 2021-03-30 Google Llc Multi-camera navigation interface
US11616941B2 (en) * 2018-02-07 2023-03-28 Lockheed Martin Corporation Direct camera-to-display system
US10979699B2 (en) 2018-02-07 2021-04-13 Lockheed Martin Corporation Plenoptic cellular imaging system
US10838250B2 (en) 2018-02-07 2020-11-17 Lockheed Martin Corporation Display assemblies with electronically emulated transparency
US10690910B2 (en) 2018-02-07 2020-06-23 Lockheed Martin Corporation Plenoptic cellular vision correction
US10951883B2 (en) 2018-02-07 2021-03-16 Lockheed Martin Corporation Distributed multi-screen array for high density display
US10652529B2 (en) 2018-02-07 2020-05-12 Lockheed Martin Corporation In-layer Signal processing
CN108615221B (zh) * 2018-04-10 2020-12-01 清华大学 基于剪切二维极线平面图的光场角度超分辨率方法及装置
US10931956B2 (en) 2018-04-12 2021-02-23 Ostendo Technologies, Inc. Methods for MR-DIBR disparity map merging and disparity threshold determination
US11172222B2 (en) 2018-06-26 2021-11-09 Ostendo Technologies, Inc. Random access in encoded full parallax light field images
CN110891131A (zh) 2018-09-10 2020-03-17 北京小米移动软件有限公司 摄像头模组、处理方法及装置、电子设备、存储介质
US10797461B2 (en) 2018-10-18 2020-10-06 Bae Systems Information And Electronic Systems Integration Inc. Non-linear optical mapping of SAL seeker detector array for removing applied lens distortion from incoming signal
US10866413B2 (en) 2018-12-03 2020-12-15 Lockheed Martin Corporation Eccentric incident luminance pupil tracking
US10665581B1 (en) 2019-01-23 2020-05-26 Sandisk Technologies Llc Three-dimensional semiconductor chip containing memory die bonded to both sides of a support die and methods of making the same
US10879260B2 (en) 2019-02-28 2020-12-29 Sandisk Technologies Llc Bonded assembly of a support die and plural memory dies containing laterally shifted vertical interconnections and methods for making the same
US11375963B2 (en) * 2019-04-10 2022-07-05 Argospect Technologies Inc. Medical imaging systems and methods of using the same
WO2020215050A1 (en) * 2019-04-19 2020-10-22 Arizona Board Of Regents On Behalf Of The University Of Arizona All-in-focus imager and associated method
US11921285B2 (en) 2019-04-19 2024-03-05 Arizona Board Of Regents On Behalf Of The University Of Arizona On-chip signal processing method and pixel-array signal
WO2020246642A1 (ko) * 2019-06-07 2020-12-10 엘지전자 주식회사 이동 단말기 및 그 제어 방법
MX2022003020A (es) 2019-09-17 2022-06-14 Boston Polarimetrics Inc Sistemas y metodos para modelado de superficie usando se?ales de polarizacion.
US11470299B2 (en) * 2019-09-27 2022-10-11 Nevermind Capital Llc Methods and apparatus for encoding frames captured using fish-eye lenses
CA3157197A1 (en) 2019-10-07 2021-04-15 Boston Polarimetrics, Inc. Systems and methods for surface normals sensing with polarization
WO2021077078A1 (en) * 2019-10-18 2021-04-22 Looking Glass Factory, Inc. System and method for lightfield capture
KR102558903B1 (ko) 2019-11-30 2023-07-24 보스턴 폴라리메트릭스, 인크. 편광 신호를 이용한 투명 물체 분할을 위한 시스템 및 방법
JP7462769B2 (ja) 2020-01-29 2024-04-05 イントリンジック イノベーション エルエルシー 物体の姿勢の検出および測定システムを特徴付けるためのシステムおよび方法
WO2021154459A1 (en) 2020-01-30 2021-08-05 Boston Polarimetrics, Inc. Systems and methods for synthesizing data for training statistical models on different imaging modalities including polarized images
CN111258046A (zh) * 2020-02-26 2020-06-09 清华大学 基于前置微透镜阵列的光场显微系统及方法
KR20210124807A (ko) * 2020-04-07 2021-10-15 에스케이하이닉스 주식회사 이미지 센싱 장치
WO2021237065A1 (en) 2020-05-21 2021-11-25 Looking Glass Factory, Inc. System and method for holographic image display
US11195413B1 (en) 2020-05-25 2021-12-07 Hong Kong Applied Science And Technology Research Institute Co., Ltd Method for relaying event information in a multi-tier V2X system
US11953700B2 (en) 2020-05-27 2024-04-09 Intrinsic Innovation Llc Multi-aperture polarization optical systems using beam splitters
WO2021262860A1 (en) 2020-06-23 2021-12-30 Looking Glass Factory, Inc. System and method for holographic communication
WO2022119940A1 (en) 2020-12-01 2022-06-09 Looking Glass Factory, Inc. System and method for processing three dimensional images
US12020455B2 (en) 2021-03-10 2024-06-25 Intrinsic Innovation Llc Systems and methods for high dynamic range image reconstruction
US11954886B2 (en) 2021-04-15 2024-04-09 Intrinsic Innovation Llc Systems and methods for six-degree of freedom pose estimation of deformable objects
US11290658B1 (en) 2021-04-15 2022-03-29 Boston Polarimetrics, Inc. Systems and methods for camera exposure control
US11689813B2 (en) 2021-07-01 2023-06-27 Intrinsic Innovation Llc Systems and methods for high dynamic range imaging using crossed polarizers
WO2023018916A1 (en) * 2021-08-11 2023-02-16 Bedrock Surgical, Inc Method and apparatus for ensuring surgical instrument integrity
WO2023172573A1 (en) 2022-03-07 2023-09-14 Quidient, Llc Systems and methods for generalized scene reconstruction
CN115529450A (zh) * 2022-09-16 2022-12-27 北京邮电大学 基于光场的密集摄像机实时采集设备及数据预处理方法

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060221209A1 (en) * 2005-03-29 2006-10-05 Mcguire Morgan Apparatus and method for acquiring and combining images of a scene with multiple optical characteristics at multiple resolutions
CN1883196A (zh) * 2003-11-14 2006-12-20 诺基亚有限公司 可旋转照相机
CN101610353A (zh) * 2008-01-23 2009-12-23 奥多比公司 用于全分辨率光场捕获和绘制的方法和设备
US20100026852A1 (en) * 2006-02-07 2010-02-04 Yi-Ren Ng Variable imaging arrangements and methods therefor
US20110128393A1 (en) * 2009-12-01 2011-06-02 Nokia Corporation Digital imaging
US20110234841A1 (en) * 2009-04-18 2011-09-29 Lytro, Inc. Storage and Transmission of Pictures Including Multiple Frames
CN102215342A (zh) * 2010-04-09 2011-10-12 索尼公司 成像设备、显示控制方法和程序

Family Cites Families (120)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5059008A (en) 1990-03-26 1991-10-22 General Electric Company Wide angle beam steerer using translation of plural lens arrays
US5986811A (en) 1995-06-07 1999-11-16 Meso Scale Technologies Llp Method of and apparatus for generating a 3-D image from a 2-D image having a changeable focusing micro-lens array
US5691836A (en) 1995-07-11 1997-11-25 Sy Technology, Inc. Optically addressed spatial light modulator and method
JPH0954281A (ja) 1995-08-14 1997-02-25 Komatsu Ltd ３次元立体表示装置および方法
JPH09109455A (ja) 1995-10-20 1997-04-28 Ricoh Co Ltd Ｌｅｄアレイヘッド
US6137535A (en) 1996-11-04 2000-10-24 Eastman Kodak Company Compact digital camera with segmented fields of view
US6151167A (en) 1998-08-05 2000-11-21 Microvision, Inc. Scanned display with dual signal fiber transmission
US6937221B2 (en) 1998-08-05 2005-08-30 Microvision, Inc. Scanned beam display
US6583772B1 (en) 1998-08-05 2003-06-24 Microvision, Inc. Linked scanner imaging system and method
US6795241B1 (en) 1998-12-10 2004-09-21 Zebra Imaging, Inc. Dynamic scalable full-parallax three-dimensional electronic display
US6924476B2 (en) 2002-11-25 2005-08-02 Microvision, Inc. Resonant beam scanner with raster pinch compensation
US6795221B1 (en) 1999-08-05 2004-09-21 Microvision, Inc. Scanned display with switched feeds and distortion correction
US6515781B2 (en) 1999-08-05 2003-02-04 Microvision, Inc. Scanned imaging apparatus with switched feeds
US6433907B1 (en) 1999-08-05 2002-08-13 Microvision, Inc. Scanned display with plurality of scanning assemblies
US6525310B2 (en) 1999-08-05 2003-02-25 Microvision, Inc. Frequency tunable resonant scanner
JP3821614B2 (ja) 1999-08-20 2006-09-13 独立行政法人科学技術振興機構 画像入力装置
US20010056574A1 (en) 2000-06-26 2001-12-27 Richards Angus Duncan VTV system
US7193758B2 (en) 2001-02-06 2007-03-20 Microvision, Inc. Scanner and method for sweeping a beam across a target
US7061450B2 (en) 2001-04-09 2006-06-13 Microvision, Inc. Electronically scanned beam display
EP2420872A3 (en) 2001-12-14 2012-05-02 QUALCOMM MEMS Technologies, Inc. Uniform illumination system
US6860609B2 (en) 2001-12-26 2005-03-01 Infocus Corporation Image-rendering device
JP4012752B2 (ja) * 2002-03-25 2007-11-21 独立行政法人科学技術振興機構 複眼画像入力装置
ATE557382T1 (de) 2002-05-17 2012-05-15 Microvision Inc Anordnung und verfahren zum ablenken eines bildstrahles in einer dimension und zum bidirektionalem ablenken eines bildstrahles in einer zweiten dimension
JP4171786B2 (ja) 2002-10-25 2008-10-29 コニカミノルタホールディングス株式会社 画像入力装置
US7071594B1 (en) 2002-11-04 2006-07-04 Microvision, Inc. MEMS scanner with dual magnetic and capacitive drive
US20040119869A1 (en) 2002-12-24 2004-06-24 Tretter Daniel R. Dual sensor camera
KR100993240B1 (ko) 2003-02-05 2010-11-10 에이유 오프트로닉스 코퍼레이션 가변 표시 장치
JP3709873B2 (ja) * 2003-02-19 2005-10-26 ソニー株式会社 固体撮像装置及び撮像カメラ
JP2005006281A (ja) * 2003-05-16 2005-01-06 Alps Electric Co Ltd 回転台駆動装置
JP2005012619A (ja) * 2003-06-20 2005-01-13 Mitsubishi Electric Corp パノラマ画像生成装置
EP1489449A1 (en) 2003-06-20 2004-12-22 ASML Netherlands B.V. Spatial light modulator
GB2403815A (en) 2003-07-10 2005-01-12 Ocuity Ltd Birefringent lens array structure
US7106519B2 (en) 2003-07-31 2006-09-12 Lucent Technologies Inc. Tunable micro-lens arrays
US8009358B2 (en) 2003-10-17 2011-08-30 Explay Ltd. Optical system and method for use in projection systems
US7232071B2 (en) 2003-11-14 2007-06-19 Microvision, Inc. Scanned beam imager
US7468842B2 (en) 2004-11-22 2008-12-23 Nanoventions Holdings, Llc Image presentation and micro-optic security system
US6999238B2 (en) 2003-12-01 2006-02-14 Fujitsu Limited Tunable micro-lens array
US7485485B2 (en) 2004-02-09 2009-02-03 Microvision, Inc. Method and apparatus for making a MEMS scanner
JP4864869B2 (ja) * 2004-02-26 2012-02-01 カール・ツァイス・エスエムティー・ゲーエムベーハー マイクロリソグラフィ投影露光装置のための照明系
US7724210B2 (en) 2004-05-07 2010-05-25 Microvision, Inc. Scanned light display system using large numerical aperture light source, method of using same, and method of making scanning mirror assemblies
US7292257B2 (en) 2004-06-28 2007-11-06 Microsoft Corporation Interactive viewpoint video system and process
US7324687B2 (en) 2004-06-28 2008-01-29 Microsoft Corporation Color segmentation-based stereo 3D reconstruction system and process
JP2006033493A (ja) * 2004-07-16 2006-02-02 Matsushita Electric Ind Co Ltd 撮像装置
US7486255B2 (en) 2004-07-21 2009-02-03 Microvision, Inc. Scanned beam system and method using a plurality of display zones
US7671893B2 (en) 2004-07-27 2010-03-02 Microsoft Corp. System and method for interactive multi-view video
US7561620B2 (en) 2004-08-03 2009-07-14 Microsoft Corporation System and process for compressing and decompressing multiple, layered, video streams employing spatial and temporal encoding
KR101139661B1 (ko) 2004-08-20 2012-05-15 소니 주식회사 촬상 장치 및 촬상 방법
US7280290B2 (en) * 2004-09-16 2007-10-09 Sony Corporation Movable lens mechanism
US7242541B2 (en) 2004-09-16 2007-07-10 Sony Corporation Fabrication of MEMS zoom lens structure
DE102004045430A1 (de) * 2004-09-18 2006-05-18 Deutsche Telekom Ag Vorrichtung zur Bildstabilisierung
JP4752031B2 (ja) 2004-10-01 2011-08-17 ボード オブ トラスティーズ オブ ザ レランド スタンフォード ジュニア ユニバーシティ 撮像の装置と方法
US7614748B2 (en) 2004-10-25 2009-11-10 The Trustees Of Columbia University In The City Of New York Systems and methods for displaying three-dimensional images
US7619807B2 (en) 2004-11-08 2009-11-17 Angstrom, Inc. Micromirror array lens with optical surface profiles
US7880794B2 (en) 2005-03-24 2011-02-01 Panasonic Corporation Imaging device including a plurality of lens elements and a imaging sensor
US7599555B2 (en) 2005-03-29 2009-10-06 Mitsubishi Electric Research Laboratories, Inc. System and method for image matting
US7656428B2 (en) 2005-05-05 2010-02-02 Avago Technologies General Ip (Singapore) Pte. Ltd. Imaging device employing optical motion sensor as gyroscope
JP4826152B2 (ja) * 2005-06-23 2011-11-30 株式会社ニコン 画像合成方法及び撮像装置
US20070102622A1 (en) 2005-07-01 2007-05-10 Olsen Richard I Apparatus for multiple camera devices and method of operating same
JP4863044B2 (ja) 2005-07-21 2012-01-25 ソニー株式会社 表示装置、表示制御方法、並びにプログラム
US7438423B2 (en) 2005-08-29 2008-10-21 3M Innovative Properties Company Illumination system and projection system incorporating same
US7303327B2 (en) 2005-11-15 2007-12-04 American Tack + Hardware Co., Inc. Directionally controllable night light
JP2007139965A (ja) 2005-11-16 2007-06-07 Konica Minolta Opto Inc 駆動装置
US7491928B2 (en) 2005-12-05 2009-02-17 New York University Extended optical traps by shape-phase holography
US7609906B2 (en) 2006-04-04 2009-10-27 Mitsubishi Electric Research Laboratories, Inc. Method and system for acquiring and displaying 3D light fields
US7620309B2 (en) 2006-04-04 2009-11-17 Adobe Systems, Incorporated Plenoptic camera
US7916934B2 (en) 2006-04-04 2011-03-29 Mitsubishi Electric Research Laboratories, Inc. Method and system for acquiring, encoding, decoding and displaying 3D light fields
US7889430B2 (en) 2006-05-09 2011-02-15 Ostendo Technologies, Inc. LED-based high efficiency illumination systems for use in projection systems
EP2040116B1 (en) 2006-07-10 2013-02-13 Sony Corporation Lens array
US8643928B2 (en) 2006-11-22 2014-02-04 Reald Inc. Illumination systems for visual displays
JP4264569B2 (ja) 2007-01-09 2009-05-20 ソニー株式会社 撮像装置
US7369321B1 (en) 2007-01-16 2008-05-06 University Of Central Florida Research Foundation, Inc. Variable-focus liquid lens
US7872796B2 (en) 2007-01-25 2011-01-18 Adobe Systems Incorporated Light field microscope with lenslet array
US7792423B2 (en) 2007-02-06 2010-09-07 Mitsubishi Electric Research Laboratories, Inc. 4D light field cameras
JP4398990B2 (ja) * 2007-03-28 2010-01-13 株式会社東芝 駆動機構
US8098289B2 (en) 2007-05-02 2012-01-17 Lite-On Technology Corporation Micro-optical image stabilizer
JP5074103B2 (ja) 2007-06-06 2012-11-14 俊郎 樋口 揺動式ディスプレイ装置、及び揺動式アクチュエータ
JP2008312080A (ja) 2007-06-18 2008-12-25 Sony Corp 撮像装置及び撮像方法
US8019215B2 (en) 2007-08-06 2011-09-13 Adobe Systems Incorporated Method and apparatus for radiance capture by multiplexing in the frequency domain
US7623560B2 (en) 2007-09-27 2009-11-24 Ostendo Technologies, Inc. Quantum photonic imagers and methods of fabrication thereof
US7956924B2 (en) 2007-10-18 2011-06-07 Adobe Systems Incorporated Fast computational camera based on two arrays of lenses
US8089518B2 (en) * 2007-11-16 2012-01-03 Samsung Electronics Co., Ltd. System and method for automatic image capture in a handheld camera with a multiple-axis actuating mechanism
US8125512B2 (en) * 2007-11-16 2012-02-28 Samsung Electronics Co., Ltd. System and method for moving object selection in a handheld image capture device
US7791810B2 (en) 2007-12-21 2010-09-07 Microvision, Inc. Scanned beam display having high uniformity and diminished coherent artifacts
JP4483951B2 (ja) * 2008-01-28 2010-06-16 ソニー株式会社 撮像装置
US7742222B2 (en) 2008-02-29 2010-06-22 Corning Incorporated Conversion device with multi-faceted output face and laser projection system incorporating the same
CN101546090B (zh) 2008-03-25 2011-09-28 鸿富锦精密工业（深圳）有限公司 成像装置
US7780364B2 (en) 2008-05-01 2010-08-24 Mitsubishi Electric Research Laboratories, Inc. Apparatus and method for reducing glare in images
US7954953B2 (en) 2008-07-30 2011-06-07 Microvision, Inc. Scanned beam overlay projection
JP2010068435A (ja) 2008-09-12 2010-03-25 Toshiba Corp 光通信装置
KR101441586B1 (ko) 2008-10-06 2014-09-23 삼성전자 주식회사 촬상 장치 및 촬상 방법
US8098265B2 (en) 2008-10-10 2012-01-17 Ostendo Technologies, Inc. Hierarchical multicolor primaries temporal multiplexing system
JP5309908B2 (ja) 2008-11-11 2013-10-09 セイコーエプソン株式会社 電気光学装置、および電子機器
JP5472584B2 (ja) 2008-11-21 2014-04-16 ソニー株式会社 撮像装置
US20100134641A1 (en) * 2008-12-01 2010-06-03 Samsung Electronics Co., Ltd. Image capturing device for high-resolution images and extended field-of-view images
US7949252B1 (en) 2008-12-11 2011-05-24 Adobe Systems Incorporated Plenoptic camera with large depth of field
CN101770059B (zh) * 2008-12-27 2012-06-20 鸿富锦精密工业（深圳）有限公司 相机模组
TWI416944B (zh) * 2009-02-10 2013-11-21 Univ Nat Taiwan Photometric correction method for light field camera
US8107147B2 (en) 2009-03-27 2012-01-31 Microvision, Inc. Two-mirror scanning system
US20120249550A1 (en) 2009-04-18 2012-10-04 Lytro, Inc. Selective Transmission of Image Data Based on Device Attributes
CN101872111B (zh) * 2009-04-21 2013-07-03 鸿富锦精密工业（深圳）有限公司 影像撷取装置
US9083956B2 (en) * 2009-09-28 2015-07-14 Samsung Electronics Co., Ltd. System and method for creating 3D video
JP5558094B2 (ja) 2009-10-07 2014-07-23 オリンパス株式会社 表示方法、表示装置、光学ユニット、表示装置の製造方法、及び電子機器
KR101606797B1 (ko) 2009-10-28 2016-03-29 삼성디스플레이 주식회사 입체 영상 표시 장치 및 영상 표시 방법
KR101608970B1 (ko) * 2009-11-27 2016-04-05 삼성전자주식회사 광 필드 데이터를 이용한 영상 처리 장치 및 방법
US8358924B2 (en) 2009-12-22 2013-01-22 Nokia Corporation Method and apparatus for operating the automatic focus or the optical imaging stabilizing system
CN102111536A (zh) * 2009-12-24 2011-06-29 鸿富锦精密工业（深圳）有限公司 监控装置
KR101643607B1 (ko) * 2009-12-30 2016-08-10 삼성전자주식회사 영상 데이터 생성 방법 및 장치
GB2477294B (en) 2010-01-27 2015-05-06 Au Optronics Corp Autostereoscopic display apparatus
EP2398235A3 (en) 2010-02-08 2013-08-21 Bronstein Bronstein Kimmel Technologies Ltd. Imaging and projection devices and methods
US8749620B1 (en) * 2010-02-20 2014-06-10 Lytro, Inc. 3D light field cameras, images and files, and methods of using, operating, processing and viewing same
JP2012049999A (ja) * 2010-08-30 2012-03-08 Nikon Corp 撮像装置および姿勢調整プログラム
US20120188334A1 (en) 2010-09-22 2012-07-26 Berfort Management Inc. Generating 3D stereoscopic content from monoscopic video content
US8803994B2 (en) 2010-11-18 2014-08-12 Canon Kabushiki Kaisha Adaptive spatial sampling using an imaging assembly having a tunable spectral response
US8908013B2 (en) 2011-01-20 2014-12-09 Canon Kabushiki Kaisha Systems and methods for collaborative image capturing
JP6177786B2 (ja) * 2011-11-04 2017-08-09 アイメックＩｍｅｃ 集積フィルタとセンサアレイ上に投影された多重隣接画像コピーとを有するスペクトルカメラ
US8854724B2 (en) * 2012-03-27 2014-10-07 Ostendo Technologies, Inc. Spatio-temporal directional light modulator
US8928969B2 (en) * 2011-12-06 2015-01-06 Ostendo Technologies, Inc. Spatio-optical directional light modulator
TWI537670B (zh) * 2011-12-13 2016-06-11 鴻海精密工業股份有限公司 雙鏡頭拍攝裝置
US9179126B2 (en) * 2012-06-01 2015-11-03 Ostendo Technologies, Inc. Spatio-temporal light field cameras
US9262801B2 (en) * 2014-04-01 2016-02-16 Gopro, Inc. Image taping in a multi-camera array

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1883196A (zh) * 2003-11-14 2006-12-20 诺基亚有限公司 可旋转照相机
US20060221209A1 (en) * 2005-03-29 2006-10-05 Mcguire Morgan Apparatus and method for acquiring and combining images of a scene with multiple optical characteristics at multiple resolutions
US20100026852A1 (en) * 2006-02-07 2010-02-04 Yi-Ren Ng Variable imaging arrangements and methods therefor
CN101610353A (zh) * 2008-01-23 2009-12-23 奥多比公司 用于全分辨率光场捕获和绘制的方法和设备
US20110234841A1 (en) * 2009-04-18 2011-09-29 Lytro, Inc. Storage and Transmission of Pictures Including Multiple Frames
US20110128393A1 (en) * 2009-12-01 2011-06-02 Nokia Corporation Digital imaging
CN102215342A (zh) * 2010-04-09 2011-10-12 索尼公司 成像设备、显示控制方法和程序

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10582110B2 (en) 2015-04-22 2020-03-03 Beijing Zhigu Rui Tuo Tech Co., Ltd Image incline and capture methods and apparatuses
WO2016169503A1 (en) * 2015-04-22 2016-10-27 Beijing Zhigu Rui Tuo Tech Co., Ltd. Image capture control methods and apparatuses
CN109076148A (zh) * 2016-04-12 2018-12-21 奎蒂安特有限公司 日常场景重建引擎
US11508115B2 (en) 2016-04-12 2022-11-22 Quidient, Llc Quotidian scene reconstruction engine
CN109076148B (zh) * 2016-04-12 2021-02-05 奎蒂安特有限公司 日常场景重建引擎
CN111465885A (zh) * 2017-09-26 2020-07-28 巴里大学 用于对标准图像和全光图像的同时捕捉的设备和过程
CN108600623A (zh) * 2018-04-20 2018-09-28 维沃移动通信有限公司 重聚焦显示方法以及终端设备
US11875476B2 (en) 2018-05-02 2024-01-16 Quidient, Llc Codec for processing scenes of almost unlimited detail
CN110187474A (zh) * 2019-06-28 2019-08-30 杭州行开医学影像技术有限公司 一种用于拍摄3d影像的透镜组
CN110971804A (zh) * 2019-12-19 2020-04-07 京东方科技集团股份有限公司 一种光场信息采集结构、显示装置及其控制方法
US11568833B2 (en) 2019-12-19 2023-01-31 Boe Technology Group Co., Ltd. Structure for collecting light field information, display device, and control method of display device
CN110971804B (zh) * 2019-12-19 2022-05-10 京东方科技集团股份有限公司 一种光场信息采集结构、显示装置及其控制方法
WO2021175118A1 (zh) * 2020-03-06 2021-09-10 上海瑞立柯信息技术有限公司 一种动态光场发生方法及发生装置
CN111432196A (zh) * 2020-04-23 2020-07-17 北京航空航天大学 一种基于光线跟踪的集成成像环扇形微图像阵列生成方法
CN111432196B (zh) * 2020-04-23 2021-05-28 北京航空航天大学 一种基于光线跟踪的集成成像环扇形微图像阵列生成方法

Also Published As

Publication number Publication date
US20160191823A1 (en) 2016-06-30
US20160182782A1 (en) 2016-06-23
EP2856747B1 (en) 2017-07-26
US20170236295A1 (en) 2017-08-17
US9712764B2 (en) 2017-07-18
US9774800B2 (en) 2017-09-26
US20130321581A1 (en) 2013-12-05
EP2856747A1 (en) 2015-04-08
CN104509088B (zh) 2018-09-07
WO2013180748A1 (en) 2013-12-05
TW201350910A (zh) 2013-12-16
KR102076993B1 (ko) 2020-02-13
HK1208981A1 (zh) 2016-03-18
KR20150023574A (ko) 2015-03-05
US9779515B2 (en) 2017-10-03
US9179126B2 (en) 2015-11-03
TWI615633B (zh) 2018-02-21
US9681069B2 (en) 2017-06-13
US9930272B2 (en) 2018-03-27
US20160191765A1 (en) 2016-06-30
JP2015524202A (ja) 2015-08-20
JP6177897B2 (ja) 2017-08-09
US20160028935A1 (en) 2016-01-28

Similar Documents

Publication Publication Date Title
CN104509088A (zh) 空间-时间光场摄影机
US20170139131A1 (en) Coherent fiber array with dense fiber optic bundles for light-field and high resolution image acquisition
Kuthirummal et al. Flexible depth of field photography
Venkataraman et al. Picam: An ultra-thin high performance monolithic camera array
CN102821238B (zh) 宽视场超高分辨率成像系统
JP4981124B2 (ja) 改良型プレノプティック・カメラ
US20120050562A1 (en) Digital imaging system, plenoptic optical device and image data processing method
Konrad et al. Spinvr: towards live-streaming 3d virtual reality video
CN103282827A (zh) 具有自动聚焦与三维成像功能的光学透镜模块组装
JP2022542307A (ja) 光学式手ぶれ補正機構及び制御方法
CN103888641A (zh) 图像处理装置及图像再对焦方法
JP3676916B2 (ja) 立体撮像装置および立体表示装置
JP2011007798A (ja) 立体結像レンズモジュール
KR101608753B1 (ko) 초점 이동 영상 촬영을 통한 3차원 컨텐츠 생성 방법 및 장치
JP2006203833A (ja) 可変ピクセルデジタル撮影
JP2002300609A (ja) 立体撮像装置
Ducrocq et al. A Survey on Adaptive Cameras
KR101683634B1 (ko) 플레놉틱 카메라 원리를 이용한 디지털 촬상 장치
RU2379726C1 (ru) Способ получения и восстановления объемного изображения
Yamada et al. Development of ultra thin three-dimensional image capturing system

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1208981

Country of ref document: HK

GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20180907

Termination date: 20191205

CF01 Termination of patent right due to non-payment of annual fee