CN108369399A - 全息光场成像装置和及其使用方法 - Google Patents

全息光场成像装置和及其使用方法 Download PDF

Info

Publication number
CN108369399A
CN108369399A CN201680066393.3A CN201680066393A CN108369399A CN 108369399 A CN108369399 A CN 108369399A CN 201680066393 A CN201680066393 A CN 201680066393A CN 108369399 A CN108369399 A CN 108369399A
Authority
CN
China
Prior art keywords
light field
imaging device
holography
field
incident
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680066393.3A
Other languages
English (en)
Inventor
阿尔特霍夫·瑞恩·达姆
索邦·克里斯·C
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Weiss Comparison Camera Co
Visby Camera Corp
Original Assignee
Weiss Comparison Camera Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Weiss Comparison Camera Co filed Critical Weiss Comparison Camera Co
Publication of CN108369399A publication Critical patent/CN108369399A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/0402—Recording geometries or arrangements
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/10—Processes or apparatus for producing holograms using modulated reference beam
    • G03H1/12—Spatial modulation, e.g. ghost imaging
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
    • G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
    • G02B30/26—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type
    • G02B30/27—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the autostereoscopic type involving lenticular arrays
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • G03B35/10—Stereoscopic photography by simultaneous recording having single camera with stereoscopic-base-defining system
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/08—Synthesising holograms, i.e. holograms synthesized from objects or objects from holograms
    • G03H1/0866—Digital holographic imaging, i.e. synthesizing holobjects from holograms
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/22—Processes or apparatus for obtaining an optical image from holograms
    • G03H1/2294—Addressing the hologram to an active spatial light modulator
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/34—Systems for reducing the space-spatial bandwidth product
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/229—Image signal generators using stereoscopic image cameras using a single 2D image sensor using lenticular lenses, e.g. arrangements of cylindrical lenses
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H1/00—Holographic processes or apparatus using light, infrared or ultraviolet waves for obtaining holograms or for obtaining an image from them; Details peculiar thereto
    • G03H1/04—Processes or apparatus for producing holograms
    • G03H1/0402—Recording geometries or arrangements
    • G03H2001/0434—In situ recording when the hologram is recorded within the device used for reconstruction
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2223/00—Optical components
    • G03H2223/14—Diffuser, e.g. lens array, random phase mask
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2223/00—Optical components
    • G03H2223/23—Diffractive element
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03H—HOLOGRAPHIC PROCESSES OR APPARATUS
    • G03H2226/00—Electro-optic or electronic components relating to digital holography
    • G03H2226/11—Electro-optic recording means, e.g. CCD, pyroelectric sensors

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Holo Graphy (AREA)
  • Studio Devices (AREA)
  • Lenses (AREA)
  • Diffracting Gratings Or Hologram Optical Elements (AREA)

Abstract

一种全息光场成像装置及其使用方法。全息光场成像装置可通过以已知的可计算的方式变换光场，将光场光学地压缩为用于算法重构的较低维度的编码表示。所得到的波前可在捕获之前被光学地压缩，其中压缩可在稍后通过软件算法被反转，从而恢复原始光场的表示。

Description

全息光场成像装置和及其使用方法
技术领域
本公开一般涉及成像装置，更具体地，涉及捕获全息光场的成像装置。
背景技术
传统相机仅捕获来自单一固定视角(相机透镜入射窗口的位置)的影像，其为通过透镜前部的孔的图像。光进入相机透镜，穿过孔，并通常在记录图像的光敏介质上形成图像。所得到的记录的图像中的每个像素或区域表现出在传感器或胶片上该点处收集的所有光，并从透镜孔的视角创建图像。
为了提供多个视图(如虚拟现实、增强现实、或全息显示所需)，源影像必须包含多个视角。捕获多个视角的一种方式可为：利用例如相机阵列，每个相机捕获单个视角。不过，在各相机之间的插入视图可能产生误差并可能无法捕获高光和适当的视差。重要的是，利用多个相机透镜的任何方式都将欠采样和混叠光场，这是因为，相机不是连续的且透镜的孔遮蔽掉一些光。在光场重构的保真度与捕获光场所需的相机的数量之间存在不幸的折衷，通过相机阵列进行全息成像对于当前的相机技术而言是不切实际的。此外，基于阵列的捕获解决方案的其它缺陷包括：高数据速率、相机元件同步要求等等。
因此，需要一种用于捕获全息光场的装置和方法。装置可为成像装置，其力图对整个光场(照射延伸表面的所有或大多数光)采样，以重新创建可通过该表面看到的任何可能的视图。尽管光场可能基本上是冗余的，但光场通常代表大量的潜在数据。优选地，这种成像装置可光学地改变光场以通过显著较少的数据捕获光并且在对整个光场采样的同时通过极少甚至无误差方式对其重构。
发明内容
为了使所引用文献的限制最小化并使基于本专利文件的阅读和理解将变得显而易见的其它限制最小化，本专利文件公开新的、改进的全息光场成像装置。
一个实施例可为一种全息光场成像装置，其包括：折射表面；一个或多个遮蔽掩模；介电间隔体；漫射器；中继透镜；和区域扫描数字光传感器。折射表面和遮蔽掩模通过测量函数对入射光场卷积，通过光传感器捕获的结果图像表示光场的统计采样。图像自身不是摄制的；其不能直接被视为有意义的图像。相反，其为算法重构的原材料，有效地逆变光学器件的卷积和降维投影，以恢复原始光场的表示。这是可行的，因为光场基本上是冗余的。
公知的是，光场数据的冗余性高，因而是可压缩的。该光场成像装置的一个目的是：将此压缩步骤移入到光学器件中，在模拟域中便宜地执行压缩，并允许在软件中进行数字重构。已知自然光场具有稀疏的(在数学意义上)描述，例如小波域或空间频率域。考虑到在你移动你的视角时给定场景改变有多小，这是直观的。这也是为什么阵列相机在光场捕获时效率相对较低：相邻相机捕获基本相似的场景视图。来自阵列中每个相机的图像中的像素相互高度关联且与相邻相机的像素高度关联，从而使其成为相对冗余的测量值。相关联的测量值不可避免地捕获较少的关于信号的新信息。通过利用光学器件变换光场，该成像装置允许单个传感器上的每个像素更具统计性地独立于其它像素，使得对光场的采样高效得多。
得到的压缩图像中的每个像素表示场景的基本独立的测量值。数字传感器上的熵图像可然后用作重构算法的输入，重构算法使用每个独立测量值恢复稀疏信号。重构算法可以是对熵图像数据和所恢复信号的稀疏性的优化。换言之，该算法试图找到在施加使信号遵守自然光场公知统计学(尤其是其稀疏性)的约束条件的同时，最好地反映熵图像的信号。优化算法可用于解决这种重构问题，包括但不限于：原子范数最小化、梯度下降、随机梯度下降等等。这种重构问题是适定问题：在数学上已知的是，对于足够充足的测量信号而言，这种方式获得的重构是渐进独特的，因而可使其令人满意地准确。
目的在于，克服现有技术的限制。
目的在于，减少光场成像所需的传感器的数量，减少由于在传统相机阵列中对光场非连续采样所致的像差。
一个实施例可为全息光场成像装置，包括：至少一个压缩阵列；至少一个图像传感器；其中，照射所述至少一个压缩阵列的光形成入射光场；其中，所述入射光场穿过所述至少一个压缩阵列，使所述入射光场从四维表示减至二维表示，从而形成降维光场；其中，所述降维光场的所述二维表示由所述图像传感器记录，从而形成一个或多个降维的二维图像。所述一个或多个降维的二维图像可通过计算装置处理，所述计算装置包括重构算法而逆变所述一个或多个降维的二维图像以重构所述入射光场。所述至少一个压缩阵列可包括第一表面；其中，所述第一表面可以是折射表面，其展现局部正曲率以增大所述降维光场的空间熵。所述第一表面可投影所述入射光场以增大所述降维光场的所述空间熵。所述第一表面可包括一个或多个衍射级特征以变换所述入射光场，以增大所述降维光场的所述空间熵。可替代地，所述至少一个压缩阵列的第一表面可大致平坦，并由透明介电材料构成。所述重构算法可按照或通过稀疏基重构所述入射光场。所述稀疏基可通过以下基中的一个或多个构建，包括：傅立叶域、小波域、和稀疏字典。所述至少一个压缩阵列可包括：基本随机的遮蔽图案。所述基本随机的遮蔽图案可通过通知重构算法的发射矩阵进行描述。
所述装置的一个实施例可为全息光场成像装置，包括：至少一个压缩阵列；至少一个图像传感器；其中，所述至少一个压缩阵列可包括一个或多个编码掩模和第一表面；其中，照射所述第一表面的光可创建入射光场；其中，所述入射光场可穿过所述一个或多个编码掩模，使得所述入射光场可从四维表示减小至二维(即，平面图像)表示，从而可形成降维光场；其中所述降维光场的所述二维表示可由所述图像传感器记录，从而可形成一个或多个降维的二维图像；其中，所述一个或多个降维的二维图像可通过计算装置处理，所述计算装置包括可逆变所述一个或多个降维的二维图像以部分地或全部地重构所述入射光场的重构算法。所述系统的第一表面可变换入射光场以最大化降维光场的空间熵。所述第一表面可大致平坦，并由透明介电材料构成。所述透明介电材料可为玻璃或塑料。所述第一表面可以是折射表面，其展现局部正曲率以增大所述降维光场的空间熵。所述第一表面可包括一个或多个衍射级特征以变换所述入射光场，以增大所述降维光场的所述空间熵。所述重构算法可按照稀疏基重构所述入射光场。所述稀疏基可选自以下基中的一个或多个，包括：傅立叶域、小波域、和稀疏字典；或者组合各基的混合方式。压缩阵列的一个或多个部件可根据以可计算方式选择性变换入射光场的目的而选择。所述一个或多个编码掩模可包括：基本随机的遮蔽图案，其中，所述基本随机的遮蔽图案可通过通知所述重构算法的发射矩阵进行描述。入射光场的变换可选自包括至少一种以下变换的组中：衰减、折射、衍射、遮蔽。所述第一表面具有可大于0.75米的直径，且不具有物镜。所述压缩阵列可进一步包括：漫射器。所述图像传感器可包括中继透镜和数字光传感器。所述漫射器可按基本随机方式散射所述降维光场，从而可形成扩散降维光场。所述中继透镜可将所述扩散降维光场中继至所述数字光传感器。
所述装置的另一实施例可为全息光场成像装置，包括：至少一个压缩阵列；至少一个图像传感器；至少一个壳体；其中，所述至少一个压缩阵列可包括一个或多个编码掩模、一个或多个介电间隔体、漫射器、和折射表面；其中，照射所述折射表面的光可形成入射光场；其中，所述入射光场可穿过所述一个或多个编码掩模和一个或多个介电表面，使得所述入射光场可从四维表示减至二维表示，从而可创建降维光场；其中，所述折射表面可包括局部正曲率以增大所述降维光场的空间熵；其中，所述漫射器可按照基本随机的方式散射所述降维光场，从而可形成扩散降维光场；其中所述图像传感器包括中继透镜和数字光传感器；其中，所述中继透镜将所述扩散降维光场中继至所述数字光传感器；其中，所述壳体可基本防止杂散光中继到所述数字光传感器；其中，所述扩散降维光场的所述二维表示可由所述数字光传感器记录，使得可以创建一个或多个降维的二维图像；其中，所述一个或多个降维的二维图像可通过计算装置处理，所述计算装置可包括逆变所述一个或多个降维的二维图像以重构所述入射光场的重构算法。所述至少一个压缩阵列可以是两个或更多个压缩阵列；所述至少一个图像传感器可以是一个图像传感器。所述至少一个压缩阵列可以是一个压缩阵列；所述至少一个图像传感器可以是两个或更多个图像传感器。所述全息光场成像装置可与相似设计的一个或多个全息光场成像装置组合。
通过以下详细描述及其附图，所要求保护的和所公开的用于全息光场捕获的所述系统和方法中固有的其它特征和优点对于本领域技术人员将变得显而易见。
附图说明
附图显示出例示性的实施例，但未图示出所有实施例。对于例示性实施例而言另外地或可替代地，可使用其它实施例。出于节省篇幅的目的或者为了更有效例示，可能显而易见或非必要的细节可被省略。一些实施例可在具有所例示的另外部件或步骤的情况下和/或在不具有所例示的一些或所有部件或步骤的情况下实行。当不同附图包含相同附图标记时，该附图标记表示相同或相似的部件或步骤。
图1例示出全息光场成像装置的一个实施例。
图2是使用全息光场成像装置的方法的一个实施例的流程框图。
图3例示出压缩阵列的一个实施例和全息光场成像装置的一个实施例的顶表面。
图4例示出具有壳体的全息光场成像装置的一个实施例。
图5例示出全息光场成像装置的一个实施例的截面图。
图6例示出几个全息光场成像装置的面向内部的布置。
图7例示出几个全息光场成像装置的面向外的布置。
图8例示出几个全息光场成像装置的面向外的全向的布置。
图9a例示出一场景，图9b的例示中显示出来自该场景的所有光的集合为光场。
图10a例示出入射到全息光场成像装置的一个实施例的表面上的来自该场景的光线，图10b是其输入光场的表示。
图11a例示出全息光场成像装置的一个实施例的压缩阵列的表面，图11b显示出光场在其穿过折射或衍射表面时可被如何弄混。
图12a例示出光线穿过的全息光场成像装置的一个实施例的两个掩模的一个实施例，图12b显示出穿过压缩阵列的光场如何被以遮挡光处的暗点的图案编码。
图13a例示出全息光场成像装置的一个实施例的压缩阵列的漫射器的一个实施例，由此形成图13b中所示的熵图像。
图14是全息光场成像系统的信号流程的一个实施例的流程框图。
具体实施方式
在各种实施例的以下详细描述中，提出多个特定细节以提供对实施例各种方面的透彻理解。不过，这些实施例可在没有一些或所有这些特定细节的情况下实行。在其它情况下，公知的过程和/或部件未详细描述以避免不必要地混淆所述实施例的各方面。
虽然一些实施例在此公开，不过其它实施例由于以下的详细描述而对于本领域技术人员而言将变得显而易见。这些实施例在不背离保护范围的精神的情况下能够进行各种显而易见方面的修改。附图及其详细描述被认为本质上是例示性的，而非限制性的。而且，参照或不参照特定实施例不应被解读为限制保护范围。
在以下描述中，使用特定术语来描述一个或多个实施例的特定特征。出于说明目的，除非另行规定，否则用词“基本”是指动作、特性、性能、状态、结构、项目、或结果的完整或几乎完整的限度或程度。例如，在一个实施例中，物体“基本”位于壳体内，将是指：物体完全在壳体内或几乎完全在壳体内。与绝对完整度的确切的容许的偏离程度可在以下情况下取决于具体应用环境。不过，通常而言，完整接近度将会具有与实现绝对和百分百完整时相同的总体结果。“基本”当用于负面含义以表示动作、特性、性能、状态、结构、项目、或结果的完全或几乎完全缺乏时也同样适合使用。
如在此所用，术语“大约”和“约”通常是指：所指数字或数字范围的5％范围内的偏离。在一个实施例中，术语“大约”和“约”可以是指：与所指数字或数字范围的1－10％的偏离。
如在此所用，术语“熵图像”是指：基本熵增大的非摄制图像，即，图像中的各个像素或区域在全息信号空间内显示出比传统图像中的像素更低的相互关联性。熵图像对于大多数输入光场而言可貌似噪声类斑点状图像。优选地，熵图像中的像素可为光场测量值的任意组合。高保真度的光场重构得益于光学堆叠设计，例如，被设计以生成更高熵图像的光学堆叠设计(在信息理论意义上)。
如在此所用，“输入光场”是指：在压缩阵列的入射表面(典型地为折射表面)上的入射光。输入光场是入射到前表面上的期望被采样的所有光线的集合(拒绝在期望视场外的一些光；这些光线通常不是输入光场的一部分)。
如在此所用，术语“全息信号空间”是指：包含所有可能输入光场信号的矢量空间。虽然光栅化的平面图像是二维的，不过图像空间的维度是图像的分辨率，这是因为，表示图像的矢量将每个像素描述为分立的(数学)维度。这种“维度”的信号处理定义区别于空间和角度的维度，其使用通过上下文应是显见显而易见的。在模拟体系中，全息信号空间是很大的空间。优选地，其维数由于对输入的关于频带限制的假定而受到限制，并通常表示全息光场可取的任意值(且不仅是自然的值)。信号空间的边界典型地部分地通过关于信号最大值的假定以及通过参数化选择而确定。这种参数化选择包括：关于边界、量化、和/或光栅化的决定，所述决定对信号空间尺寸和给定信号表示的稀疏性的产生影响。信号空间很大，大部分信号空间对应于不感兴趣的或者在物理上不太可能发生的输入。信号空间也可以是所有可能光场的集合；这是说明以上内容的更具代数性、集合理论的方式。光栅化和参数化的精确选择不由装置决定，而重构不需要光栅化起作用(即，重构可连续地执行)。
如在此所用，术语“光栅化”或其变体是指：将连续信号转为格栅或光栅上的量化信号。在光场的情况下，光栅化的信号可包括：四维通量中的每个量化仓的一系列值，例如参数化为两个线性空间维度和两个角度维度。这种示例仅为实现此目的的多种方式之一。在此情况下，单个四元组可指定在特定位置以特定光线方向入射的光线束(光线束的角度范围通过所述仓的尺寸暗示：下一仓在角度和空间距离上有多远)。在熵图像或二维摄制图像中，“光栅化”信号可具有两个空间维度，例如指定基于像素的图像的单个像素的Y和’y’值。
如在此所用，术语“空间值”是指：对应于物理空间维度的变量，其例如可在距离的线性测量中指定：毫米、厘米、或甚至像素(其对应于传感器上的物理位置)。例如，光栅化光场中的Y和’y’值可对应于光场所穿过的参考平面中的位置，使得以任意角度穿过特定位置x1，y1的所有光线束在所述参考平面处共享相同的空间值。它们可能彼此分开，并且可能在不同参考平面处具有不同的空间值。这种定义独立于参数化，并且在不丧失一般性的情况下，可包括极坐标、径向坐标等等，。
如在此所用，术语“角度值”是指：描述参考平面处的光线束的入射角度的变量的值。这些可通过多个不同变量名称(和不同参数化)表示。两个常见的表示可为：“高度和方位角”，其描述角度偏移(并且其可对应于纬度和经度)；和“两平面参数化”，其中光线方向可通过相邻参考平面上的两个点(即，连接点(x1,y1)和(x2,y2)的线)指定。这二者可在数学上是等价的，对于角度值的任意引用可包括任意可能的参数化。
如在此所用，术语“压缩阵列”、“压缩堆叠”、或“光学堆叠”是指：光学装置，其操控入射光场而使得参考平面上的每个区域表示光场信号空间的降维的独立测量值系列。以公知和可计算的方式(其当与重构算法配对时可恢复原始光场的重构)操控光场的间隔体、掩模、折射或衍射表面的任意布置可符合要求。任何掩模、折射表面、衍射表面的确切顺序和精确设计并不重要，只要在重构算法中正确描述光学路径即可。光学堆叠优选地减小输入光场信号空间的尺寸，使其可通过比整个入射场更少的测量值和更少的数据进行描述。这在一个实施例中可通过将四维光场投影为二维熵图像的漫射表面实现。其它光学操控优选地在漫射表面之前的光路中进行，并用于将各光线组合为在漫射平面处的复合测量值。复合测量值可为多个离散光线束的线性组合，并可提供用于按稀疏基重构光场的手段。
如在此所用，术语“掩模”、“遮蔽掩模”、和/或“编码掩模”是指这样的结构，其典型地通过墨汁、液晶(用于随时间变化的掩模)、或其它可吸光的遮蔽介质制成，并可具有随机或伪随机的遮蔽图案。遮蔽可通过通知重构算法的发射矩阵描述，重构算法是用于从记录的二维图像重构四维光场的算法。掩模可以是随时间变化的。掩模图案可在运行中和/或基于包括标的物和带宽需求的多个输入而动态确定。掩模可能会衰减，因为其减少穿过给定障碍物的光场，而非将其完全消除。掩模可为遮蔽性的，因为其遮挡部分光场，并可在不同波长上不同地操作(换言之，所述堆叠的各个部分从光学意义上来说可为分散性的，或者可具有带通、低通、或高通特性)。
如在此所用，术语“稀疏基”是指：信号表示的选择，其中感兴趣的信号(自然光场)可以通过相对较少数量的非零值表示。在描述相同(尺寸)信号空间的不同的基中，一些基常以较少量的数据代表特别感兴趣的信号。稀疏表示的这种事实构成现代图像压缩的相当大的基础，因而传统的二维图像和视频可被比任意数据压缩得更多。稀疏基可存在于希尔伯特空间(或无限维希尔伯特空间)中。
图1例示出透镜阵列的一个实施例和用于全息光场成像装置的图像传感器的一个实施例。如图1中所示，光学压缩阵列100的一个实施例可包括：折射表面1、遮蔽掩模2、介电间隔体3、第二遮蔽掩模4、介电间隔体5、和漫射器6。折射表面1可展现局部正曲率以增大每个测量值的独立性，但这不是必要的。折射表面1也可具有衍射功能，而不丧失一般性。图1还显示：图像传感器200可包括中继透镜7和区域扫描数字光传感器8。中继透镜7和区域扫描数字光传感器8是可用于在压缩阵列100(有时被称为压缩堆叠)的后面对光场采样的装置的一个示例。漫射器6散射所述光，使中继透镜7和区域扫描数字光传感器8避免集光率的限制。可能存在少至一个掩模4或多于三个掩模4。优选地，存在两个掩模4和相当数量的间隔体5。
本全息光场成像装置优选地不具有单个物镜；而是其通常具有光学部件的压缩堆叠(通常被称为光学压缩阵列100)以可计算的方式操控波前。理想地，光学压缩阵列100通常是玻璃和不透明掩模的严密堆叠，不过，其可包括弯曲表面(特别是前表面)、具有不同折射率的间隙、或者甚至衍射或反射部件。
光学压缩阵列100的折射表面1可为限定光捕获窗口的物理上大的表面。与标准的透镜孔(其通常以毫米测量直径)相比，该延伸的表面1可以以米为单位表示。照射延伸表面1的光可通常通过光学压缩阵列100被变形、衰减、和变换，然后集成到二维图像中。将光场集成的优选方式通常通过散射实现，例如通过光学漫射器6(其可为磨砂玻璃或全息漫射器板)实现。这避免了集光率和中继系统7的工作f数的限制。
然后通过区域扫描数字光传感器8在传感器200上捕获图像，优选地通过传统中继光学器件(例如中继透镜7)实现。区域扫描数字光传感器8可与压缩阵列100直接接触。实际上，本系统的目的在于：具有一种构造，其对到达压缩阵列100后面的平均照度到可用数字信号的转换进行优化。
被中继到传感器8并且然后通过传感器8创建的所得到的数字图像文件优选地包含照射折射表面1的整个光场的光学编码表示，尽管这种表示被变换，并比未压缩表示具有显著更小的数据大小，且需要更少的像素(每个立体角)来测量信号。
通过采样所有照射表面1的光，本全息光场成像装置可同时捕获每个可能的视角。这通过将四维(4D)光场(两个窗口中位置的维度和两个角度方向的维度)投影为编码的二维(2D)图像而实现。2D图像不是摄制图像，而是入射光场的投影。该编码的2D图像然后可由数字光传感器8捕获。
维数减少意味着：原来入射到表面上的光场被压缩，所有理论的四维原始光场不能在没有模糊的情况下重构。但是，可实现光场变换使得对重构的其它约束条件可实现完美或几乎完美的自然观看场景重构，这主要通过以下方式实现：消除被压缩光场中的冗余信息，以高效方式捕获光场和与光场相关的信息/数据。(请注意，由于光学元件的有限尺寸和二维记录装置的光栅化，该投影也可以实现一定程度的输入光场的低通。这种低通是所希望的，并以牺牲极高频率保真度为代价对恢复信号的尺寸设置限制。)
被捕获和压缩的表示然后可以由连接于或可用于成像装置的计算机系统使用，以通过以下方式重构光场的原始表现：有效地逆变光场的投影压缩变换并在变换的基础上恢复入射光场的高度准确重构。所述逆变可采取许多算法形式，并可包含其它约束或先验信息(例如，关于自然光场结构的数据，关于被捕获的特定人造光场的数据和/或所述数据表示的特定光场，包括来自另一相机或相机系统的影像，或相同光场早些时候或晚些时候的重构)。
光场常常非常冗余，这种冗余允许：表示给定光场的数据可压缩。用于压缩或逆变的算法通常可以利用在一些光场的表示中的自然压缩性/稀疏性(例如，傅立叶域、仔细选择的小波域、离散余弦变换空间、预先计算的字典基、或者其它基)，以毫无疑义地对其重构。
捕获先前假定的算法可然后改变未压缩光场表示，直到其满足先前假定并最大程度地良好地匹配(给定约束)或者在某些误差阈值范围内匹配被捕获的编码光场。重构通常采取优化形式——在信号空间中搜索用于最佳匹配于采样数据的表示——同时施加恢复的信号为稀疏的约束。该约束可被施加为软约束(例如套索回归(lasso回归)、共轭梯度下降)或者被施加为硬约束(例如匹配追踪)。存在许多渐进等价的方法。
通过对光场的整个表面采样，压缩全息相机将优选地确保对所有可能视角和所有方向的采样，而同时允许完全信号重构(对于具有某些属性的景物)或者有界误差重构(对于不可压缩的场景)。不可压缩的场景将包括违反稀疏性假定的或者存在于难以毫无疑义地恢复的信号空间的部分中的光场。
在一些实施例中，外部结构可通过以下方式限制输入光场的范围：拒绝期望视场外的光，例如装蛋箱，其可装配在表面1或漫射器6上方。
图2是使用全息光场成像装置的方法的一个实施例的框图。如图2中所示，方法300可包括以下步骤：提供入射原始光场(302)；提供全息光场成像装置(304)；成像装置可包括：压缩阵列，压缩阵列可包括折射表面、遮蔽掩模、介电间隔体、第二遮蔽掩模、和第二介电间隔体(308)。在操作期间，入射光场可照射折射表面(310)并穿过遮蔽掩模、介电间隔体、第二遮蔽掩模、和介电间隔体(312)。这可形成已计算上失真的波前，从而产生原始光场的压缩的较低维的投影(314)。压缩阵列优选地包括漫射器(316)。所得到的波前现在是波前图案，然后优选地由漫射器散射(318)。全息光场成像装置可进一步包括图像传感器(320)。图像传感器可包括数字光传感器和中继透镜(322)。在被漫射器散射之后，压缩的波前图案通过中继透镜被中继到数字光传感器(324)。所得到的波前图案也可被数字编码(326)。所得到的减小和压缩的波前的数字记录可然后通过如前所述的逆变所述压缩算法而投影回完全维度(328)。所得到的重构波前将优选地具有高保真度和良好的有界误差，而没有混叠。
全息光场成像装置优选地通过以下方式实现功能：折射、遮蔽、和介电板通常包括光学堆叠(压缩堆叠或压缩阵列)，光学堆叠优选地变形光场(也被称为波前或入射光场)。这优选地产生表示入射到折射表面上的四维(4D)光场向下到漫射器6的背面上的2D图像的全息投影的辐射图案(或波前图案)。此图像优选地不是传统的图像，而是将4D函数嵌入到2D表面上(通过将其利用发射函数进行卷积而实现)的编码图案。发射函数可(1)预先计算且其通过光学堆叠对4D光场的状态空间的确切变形而确定，或者(2)其可通过以已知输入校准系统而在后计算。所得到的压缩图像将基本貌似漫射器背面上的阴影图案(如图14b中所示)，并对输入光场的相当多的熵编码。掩模2、4和折射表面1可扰乱输入光场，并当光学系统被正确设计时可以实现将任意输入光线束前向可计算地(且可逆地)投影为漫射器背面上的多个点。该投影仅在利用本图像装置和相关系统和方法时是可逆的。
优选地，通过压缩阵列实现的光场失真有效压缩输入信号(入射光场)，而同时放弃基本冗余的信息。这在通过图像传感器200采样之前以光学方式进行。
所得到的2D图像优选地通过一个或多个中继透镜7中继并在传感器上成像，中继透镜7可将图像发送到一个或多个数字传感器8。然后，2D投影图像可如同任何其它2D数字图像文件那样存储、传输、和复制。通过测量功能的知识，4D光场(图像)可通过2D编码图像重构。为了重构原始信号，所记录的2D投影图像然后可被传递到误差最小化优化算法，所述算法可包括：参照与编码图像一起捕获的传统摄制2D图像、以及与原始编码图像的比较。
在重构期间，波前的压缩表示可投影回完全光场信号空间，并且可以执行误差计算(可通过与其它参考图像的比较实现)。然后误差最小化算法可遵从梯度下降或其它优化例程以找到使重构光场的误差和稀疏性均最小化的重构。这种迭代循环可以继续，直到误差低于阈值或已达到稳定值、和/或稀疏性约束被满足、和/或一些其它预限定的终止条件。
一旦误差已充分最小化且满足稀疏性和其它条件，并且光场被完全重构，则其可然后以正常数据方式被压缩以进行存储、传输、和显示。这包括熵编码以及有损和无损译码。
在一个实施例中，全息光场成像装置可通过首先创建所希望的发射模型来构建。这可通过第一原则执行或根据经验(通过模拟或物理检测)进行。目标在于：优选地产生将波前扰乱为随机或伪随机的基用于稍后重构的波前失真。
发射模型可决定拟包括在压缩堆叠100中的特征：折射表面1(若有的话)的曲率、遮蔽掩模2、4的形状和不透明度、介电板3、5的厚度(用于将折射表面1和遮蔽掩模2、4分开计算的距离)。折射表面1可包括玻璃、塑料、或其它介电体，并可包括薄膜涂层。遮蔽掩模2、4可由墨汁印刷、由不透明或反射性材料制造、或者利用偏振来衰减波前(例如，其可为用于随时间变化的掩模的LCD面板)。
一旦压缩堆叠100被组装，则记录相机可安置在堆叠100之后，中继透镜7将图像来自漫射器6背面的图像忠实传送到相机的传感器8。中继透镜7将理想地无像差，不过中继失真也可包含在所述模型和算法中。
除了物理相机(100和200)以外，重构算法可用于重构原始光场。算法可为原始发射模型的函数，并将2D图像投影回4D(不过不必与原始光场具有相同基，且理想地在恢复的信号很可能为稀疏性的基础上)。由于所述堆叠的作用是投影，因而重构必然是模棱两可的，除非其包括其它约束，例如重构的稀疏性、或施加的额外参考图像的保真度。
为使技术生效，压缩阵列通常被构造为对光场散射和编码而足以将其投影到另一基中——每个记录的像素必须包含关于入射光场的基本不同的信息。不过，第一表面不需要具有任何曲率；在各表面之间的屏障可由塑料、玻璃、介电流体状显微油、或甚至空气(或真空)构建。不需要多重掩模，通过折射表面的仔细构建，即使无掩模的相机也是有效的。
中继透镜和传感器对于将图像投影到小的硅传感器或其它光敏传感器上是有必要的，但当传感器与被成像光场具有相同尺寸时可以是不必要的(在此情况下，这种大传感器可在光学堆叠的背面处替代漫射板)。
为了创建图像，用户可类似于常规数字相机那样操作全息光场成像装置：将其开机，将其指向感兴趣的场景并记录。可能存在校准步骤，但这通常不是必要的。
一旦光学压缩图像被捕获，则用户可如通常所作那样移动、复制、流式传输、和备份数字文件。不过，要观看所述数字文件，通常可要求用户运行软件通行证以重构原始光场。一旦数字文件被重构，则其可在任意现有显示器中使用所得到的光场，所述显示器支持光场——例如虚拟现实头盔、增强现实头盔、或容量/全息显示器。
掩模、折射表面和扩散元件的精确数量和顺序对于所用技术而言可能并不重要，并可重置顺序，而不会显著改变所述系统的有效性。
被捕获的图像可为静止的或视频馈送图像。
图3例示出压缩阵列的一个实施例和全息光场成像装置的一个实施例的顶表面。如图3中所示，压缩阵列350可具有前表面353，前表面353具有一个或多个小透镜355。每个小透镜355可为单个平凸形正型单片透镜。小透镜355也可为菲涅尔透镜、衍射表面、折射表面、或平坦表面。如果为平坦表面，则小透镜355将不会弄混入射光场的光线。虽然图3显示出具有多个小透镜355的方形压缩阵列350，不过压缩阵列可为任意形状和具有比所示多一个或多个的小透镜355。表面353优选地在压缩阵列360的其余部分的顶部，不过这不是必需的。如图所示，表面353可以是非连续的。
图3显示出前表面(有时被称为第一表面)可为折射表面，其展现局部正曲率以增大降维光场的空间熵。
图4例示出具有壳体的全息光场成像装置的一个实施例。图4显示出：在一个实施例中，全息光场成像装置400可包括：压缩阵列350、壳体420和图像传感器404。图像传感器404可包括中继透镜407和区域扫描数字光传感器409。压缩阵列350优选地具有接收入射光场的多个小透镜355。壳体420优选地阻止杂散光到达中继透镜407。
如图4中所示，图像传感器404可为现成的2D数字相机，中继系统407可为现成的透镜。漫射器505(显示在图5中)的背面可以是成像到图像传感器404上的光学表面。图像传感器404可与中继透镜407集成。光学表面505由中继系统404成像到记录介质上。优选地，光学表面505以已知方式随机地或几乎随机地散射穿过压缩阵列350的光。漫射器表面505可为全息漫射器的表面。中继系统407和图像传感器404可展现在材料上不同于压缩阵列350的集光率。压缩阵列有时被称为投影光学系统。传感器409的摄影介质可为电荷耦合器件(CCD)传感器或互补金属氧化物半导体(CMOS)传感器。可以有多个中继系统404和/或记录装置409。
在一些实施例中，表面505可为不同于数字光传感器的摄影记录介质。其可为扫描光敏传感器、数字线扫描传感器、或甚至胶片乳胶。传感器意在用于将收入的光子转换为数字表示以进行后续的重构，使得成像器中的每个区域或图像中的每个像素均表示编码的光场信号的样本。虽然区域扫描数字传感器是用于采集这些测量值的优选形式，不过其它采样形式也可以使用，而不会丧失通用性。在一些实施例中，中继系统404可通过介电体内的全内反射将光传导到记录介质。光可通过锥形光纤单独地或以阵列方式传送到数字传感器，并可将光中继到一个或多个数字传感器。在一些实施例中，图像传感器404可以利用中继透镜(其具有固定的已知的光学共轭体)，从而改进光学系统的像差性能同时将其聚光能力最大化。在其它实施例中，图像传感器404可包括显著的放大或缩小，使得漫射器1300背面上的成像面积大于或小于数字传感器404的面积。
图5例示出全息光场成像装置的一个实施例的截面图。图5显示出壳体420优选地如何从中继透镜407的前部延伸到漫射器505的背面。中继透镜407可优选地是中继系统的一部分，该中继系统映射漫射器505背面的特定区域上的光强度以变为传感器409上的像素。
图6例示出几个全息光场成像装置的向内布置。如图6中所示，全息光场成像装置400可与其它相同或相似的全息光场成像装置401、402组合以形成向内阵列600。阵列600可捕获从周围场景606产生的光场。这可以用于产生向内观看场景的视角，例如这可显示在增强现实头盔中。
图7例示出几个全息光场成像装置的向外布置。图8例示出几个全息光场成像装置的向外的全向布置。如图7和8中所示，显示出向外阵列的两个实施例700、800。在阵列700中，被捕获的光场可为连续延伸的光场。阵列700、800可描述部分或完全包围观看者位置的入射光表面。任意各种视图都可被重构，光场投影可为沉浸式的并且传输视图，无论观看方向如何。
在一个实施例中，前面的光学压缩阵列不必具有与成像传感器的1:1对应关系。而是，多个中继透镜可从单个压缩阵列获取光，或者单个图像传感器可从多个压缩阵列获取图像。单传感器、多压缩阵列的布置可提供更容易的制造，这是因为这减小了必须制造的压缩阵列的尺寸，而仍实现大的图像场。多传感器、单压缩阵列的布置可改善捕获分辨率、改善信号的本底噪声、并改善面板之间的重叠和对准。
图9a例示出一场景，图9b的例示中显示出来自所述场景的所有光聚集为光场。图9a和9b显示出：来自场景900的所有光聚集为光场902。光场902包括场景900的所有可能视角，并可被建模为四维表面：两个空间维度和限定在每个空间点904处的场的方向的两个角度维度。
图10a例示出入射到全息光场成像装置的一个实施例的表面上的来自场景的光线，图10b是其输入光场的表示。如图10a中所示，表面1000(可类似于表面350)捕获一些来自场景的光线(入射到捕获装置)。这创建了输入光场1050。
图11a例示出全息光场成像装置的一个实施例的压缩阵列的表面，图11b显示出光场在其穿过折射或衍射表面时可被如何弄混。如果表面1150是折射的或衍射的，则光1101将在其穿过表面1150和穿出背面1102时被弄混。以此方式，光场1050被弄混为光场1051。光场的一些空间和角度值被交换，这促使更多的场景熵进入空间域。
图12a例示出光线穿过其中的全息光场成像装置的一个实施例的两个掩模的一个实施例，图12b显示出穿过压缩阵列的光场如何被以光已经被遮挡之处的暗点的图案编码。图12a显示出光场穿过的两个遮蔽掩模1200。光场1051被以光已经遮挡处的暗点1202的图案编码。所述编码优选地可以通过局部的折射、衍射、衰减、遮蔽而实现(如图12b中所示)。
图13a例示出全息光场成像装置的一个实施例的压缩阵列的漫射器的一个实施例，由此形成图13b中所示的熵图像。在压缩阵列的后面，优选地可以有漫射器1300。经过掩模的光照射漫射器1300而形成熵图像1301。这完成四维光场到二维表示的变换，无论从哪个方向观看其都是相同的。这允许中继系统在2D传感器上捕获4D光场的代表性样本。
图14是全息光场成像系统的信号流的一个实施例的流程框图。如图14中所示，信号流1400可流经压缩堆叠1402、中继系统1404、传感器1406、重构算法1410。在压缩堆叠1402中，信号可始于入射到光学系统的第一表面上的光场(1412)。在一些实施例中，如果第一表面是折射的或衍射的，则可存在角度－空间弄混(1414)。如图所示，可通过掩模或其它光学操控进行编码(1416)。该编码可被表示为光学模型(1418)，其可用于入射光场的重构中。可存在投影变换，优选地通过漫射实现，并且可形成熵图像(1420)。信号可行进入中继系统1404，在这里图像被传送到传感器；如果传感器和光场具有不同的尺寸，则可以有放大和缩小(1430)。信号可然后行进到传感器1406，在这里熵图像可被转换为数字样本。这可优选地为区域扫描光传感器1440。图14显示出重构算法1410可用于重构原始入射光场，其中，通过重构估计(1450)、源于优化步骤(例如原子范数最小化)的改进估计(1452)、可能包括的误差计算(1454)而确定是否满足终止条件(例如，误差低于特定阈值)(1456)、然后以与原始入射光场大致相似或相同的重构光场结束(1458)。
在一些实施例中，入射或输入光场可用单色表示，或者在由离散数量的色彩通道表示的色域中表示。入射光场可包括连续频谱，重构可恢复该连续频谱。在一些实施例中，光场的光谱可由稀疏字典表示。
入射光场可具有两个角度维度和一个空间维度。在其它的实施例中，入射光场可具有少于两个角度维度和/或少于两个空间维度。第一或获取表面可基本平坦或者可为弯曲的。
重构算法可使用发射矩阵，发射矩阵可由编码掩模和其它光学器件限定和/或体现在编码掩模和其它光学器件中。在其它实施例中，编码掩模可决定于发射矩阵。在其它实施例中，所述算法可被校准以反映出用作全息成像装置一部分的实际光学器件和编码掩模。在一些实施例中，这种校准可通过使预定光场穿过所述装置并观察结果而实现。在其它的实施例中，这通过直接观察光学器件和掩模而实现。在一些实施例中，校准图案(例如基准标记)可被显示在一个或多个编码掩模上以助于系统校准和重构算法精细调整。重构算法可使用优化来重构感测的光场的稀疏表示：该优化可使用原子范数最小化、梯度下降、和/或随机梯度下降来执行重构。在一些实施例中，重构算法可以对稀疏信号空间的哈希变换进行操作。哈希函数可为随机的或伪随机的。
在一些实施例中，可在光学表面上分辨中间图像，其中光学表面通过中继系统成像到记录介质上。
光学堆叠(压缩阵列)的组成决定在入射光场与光传感器上记录的2D图像之间的关系。优选地，所选择的压缩阵列元件在光强度上是线性的。压缩阵列的精确规格可通过许多方式确定，包括根据特定参数或者在进行测量之后构建压缩阵列。已知自然光场具有特定的已知稀疏描述。这可用于协助4D光场的重构和投影。
由于源光场是稀疏性的，因此，找到将会产生与实际记录图像相同或几乎相同的记录图像的稀疏的假设光场将通常导致原始光场的近似重构。确定假设光场的一种方法是：将稀疏约束表述为正则优化问题。另一种可替代方案是：将稀疏性施加为硬约束，并从基成分迭代地(和稀疏地)构建所记录图像的近似。
以下参考文献涉及可能被使用的算法重构，在此通过引用并入本文，如同在此整体阐述：
·S.G.Mallat和Z.Zhang；通过时间－频率字典的匹配跟踪(Matching Pursuits withTime-Frequency Dictionaries),IEEE Transactions on Signal Processing,1993年12月,pp.33973415；
·Candes,Emmanuel J.,Romberg,Justin K.,Tao；从不完整和不准确测量值的特伦斯稳定信号恢复(Terence Stable signal recovery from incomplete and inaccuratemeasurements),Communications on Pure and Applied Mathematics.(2006),59(8):12071223；doi:10.1002/cpa.20124；
·Gill,Patrick R.；Wang,Albert；Molnar,Alyosha；用于快速基跟踪去噪的群内算法(The In-Crowd Algorithm for Fast Basis Pursuit Denoising),IEEE Trans Sig Proc59(10),2011年10月1日,pp.4595-4605。
提供对优选实施例的以上描述，目的在于例示和描述。虽然多个实施例被公开，不过，通过以上详细描述，其它另外的实施例将对本领域技术人员变得显而易见。在均不背离保护精神和保护范围的情况下，这些实施例能够在各种显而易见的方面进行修改。因此，详细描述将被认为本质上是例示性的，而非限制性的。而且，虽然未明确提出，不过一个或多个实施例可按照相互组合或者协同的方式施行。另外，引用或不引用特定实施例应被解读为不限制保护范围。其意在使保护范围不限于此详细描述，而是通过所附的权利要求书及其等同方案限定。
除了上述内容以外，已描述或例示的内容意在或应被解读为不会导致任何部件、步骤、特征、物体、益处、优点、或等同物奉献于公众，无论其是否陈述于权利要求书中。

Claims (29)

1.一种全息光场成像装置，包括：
至少一个压缩阵列；
至少一个图像传感器；
其中，所述至少一个压缩阵列包括一个或多个编码掩模和第一表面；
其中，照射所述第一表面的光创建入射光场；
其中，所述入射光场穿过所述一个或多个编码掩模，使得所述入射光场被从四维表示降低至二维表示，从而创建降维光场；其中所述降维光场的所述二维表示由所述图像传感器记录，从而创建一个或多个减小的二维图像；并且
其中，所述一个或多个降维的二维图像由计算装置处理，所述计算装置包括逆变所述一个或多个减小的二维图像以重构所述入射光场的重构算法。
2.如权利要求1所述的全息光场成像装置，其中，
所述第一表面是折射表面，其展现局部正曲率以增大所述降维光场的空间熵。
3.如权利要求2所述的全息光场成像装置，其中，
所述第一表面投影所述入射光场以增大所述降维光场的所述空间熵。
4.如权利要求2所述的全息光场成像装置，其中，
所述第一表面包括用于变换所述入射光场的一个或多个衍射级特征以增大所述降维光场的所述空间熵。
5.如权利要求1所述的全息光场成像装置，其中，
所述第一表面基本平坦，并由透明介电材料构成。
6.如权利要求1所述的全息光场成像装置，其中，
所述透明介电材料选自包括玻璃和塑料的材料的组。
7.如权利要求1所述的全息光场成像装置，其中，
所述重构算法以稀疏基重构所述入射光场。
8.如权利要求7所述的全息光场成像装置，其中，
所述稀疏基由以下基中的一个或多个构建，所述基包括：傅立叶域、小波域、和稀疏字典。
9.如权利要求1所述的全息光场成像装置，其中，
所述一个或多个编码掩模包括基本随机的遮蔽图案，其中，所述基本随机的遮蔽图案由通知所述重构算法的发射矩阵进行描述。
10.如权利要求4所述的全息光场成像装置，其中，
所述用于变换所述入射光场的所述衍射级特征选自包括至少一个以下特征的组：衰减、折射、遮蔽。
11.如权利要求1所述的全息光场成像装置，其中，
所述第一表面具有大于0.75米的直径，且不具有物镜。
12.如权利要求1所述的全息光场成像装置，其中，
所述压缩阵列进一步包括：漫射器。
13.如权利要求12所述的全息光场成像装置，其中，
所述图像传感器包括中继透镜和数字光传感器。
14.如权利要求13所述的全息光场成像装置，其中，
所述漫射器以基本随机的方式散射所述降维光场，从而创建漫射的、降维的光场。
15.如权利要求14所述的全息光场成像装置，其中，
所述中继透镜将所述漫射的、降维的光场中继至所述数字光传感器。
16.一种全息光场成像装置，包括：
至少一个压缩阵列；
至少一个图像传感器；
至少一个壳体；
其中，所述至少一个压缩阵列包括一个或多个编码掩模、一个或多个介电间隔体、漫射器、和折射表面；
其中，照射所述折射表面的光创建入射光场；
其中，所述入射光场穿过所述一个或多个编码掩模和一个或多个介电表面，使得所述入射光场被从四维表示降低至二维表现，从而创建降维光场；
其中，所述折射表面包括局部正曲率以增大所述降维光场的空间熵；
其中，所述漫射器以基本随机的方式散射所述降维光场，从而形成漫射的、降维的光场；其中所述图像传感器包括中继透镜和数字光传感器；
其中，所述中继透镜将所述漫射的、降维的光场中继至所述数字光传感器；
其中，所述壳体基本防止杂散光被中继到所述数字光传感器；
其中，所述漫射的、降维的光场的所述二维表示由所述数字光传感器记录，从而创建一个或多个减小的二维图像；并且
其中，所述一个或多个减小的二维图像由计算装置处理，所述计算装置包括逆变所述一个或多个减小的二维图像以重构所述入射光场的重构算法。
17.如权利要求16所述的全息光场成像装置，
所述至少一个压缩阵列是两个或更多个压缩阵列；并且
所述至少一个图像传感器是一个图像传感器。
18.如权利要求16所述的全息光场成像装置，
所述至少一个压缩阵列是一个压缩阵列；
所述至少一个图像传感器是两个或更多个图像传感器。
19.如权利要求16所述的全息光场成像装置，其中，
所述全息光场成像装置被与相似设计的一个或多个全息光场成像装置组合。
20.一种全息光场成像装置，包括：
至少一个压缩阵列；
至少一个图像传感器；
其中，照射所述至少一个压缩阵列的光创建入射光场；
其中，所述入射光场穿过所述至少一个压缩阵列，使所述入射光场被从四维表示降低至二维表示，从而形成降维光场；其中，所述降维光场的所述二维表示由所述图像传感器记录，从而创建一个或多个减小的二维图像。
21.如权利要求20所述的全息光场成像装置，其中，
所述一个或多个减小的二维图像由计算装置处理，
所述计算装置包括逆变所述一个或多个减小的二维图像以重构所述入射光场的重构算法。
22.如权利要求20所述的全息光场成像装置，其中，
所述至少一个压缩阵列包括第一表面；
其中，所述第一表面是折射表面，其展现局部正曲率以增大所述降维光场的空间熵。
23.如权利要求22所述的全息光场成像装置，其中，
所述第一表面投影所述入射光场以增大所述降维光场的所述空间熵。
24.如权利要求22所述的全息光场成像装置，其中，
所述第一表面包括用于变换所述入射光场的一个或多个衍射级特征以增大所述降维光场的所述空间熵。
25.如权利要求20所述的全息光场成像装置，其中，
所述至少一个压缩阵列的第一表面基本平坦，并由透明介电材料构成。
26.如权利要求21所述的全息光场成像装置，其中，
所述重构算法以稀疏基重构所述入射光场。
27.如权利要求26所述的全息光场成像装置，其中，
所述稀疏基通过以下基中的一个或多个构建，所述基包括：傅立叶域、小波域、和稀疏字典。
28.如权利要求20所述的全息光场成像装置，其中，
所述至少一个压缩阵列包括：基本随机的遮蔽图案。
29.如权利要求28所述的全息光场成像装置，其中，
所述基本随机的遮蔽图案由通知重构算法的发射矩阵进行描述。
CN201680066393.3A 2015-10-09 2016-10-07 全息光场成像装置和及其使用方法 Pending CN108369399A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562239799P 2015-10-09 2015-10-09
US62/239,799 2015-10-09
PCT/US2016/056091 WO2017062834A1 (en) 2015-10-09 2016-10-07 Holographic light field imaging device and method of using the same

Publications (1)

Publication Number Publication Date
CN108369399A true CN108369399A (zh) 2018-08-03

Family

ID=58488700

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680066393.3A Pending CN108369399A (zh) 2015-10-09 2016-10-07 全息光场成像装置和及其使用方法

Country Status (6)

Country Link
US (2) US10656598B2 (zh)
EP (1) EP3360012A4 (zh)
JP (1) JP2018533066A (zh)
KR (1) KR20180080219A (zh)
CN (1) CN108369399A (zh)
WO (1) WO2017062834A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111583191A (zh) * 2020-04-16 2020-08-25 西安理工大学 基于光场epi傅里叶变换的折射特征检测方法
US11378866B2 (en) 2018-01-31 2022-07-05 Sony Corporation Imaging apparatus and imaging method for capturing bright image without using expensive large-diameter lens

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112105968B (zh) 2018-01-14 2024-08-27 光场实验室公司 全息衍射光学编码系统
CN108492239B (zh) * 2018-03-19 2022-05-03 北京工业大学 面向光场相机的结构化观测与稀疏表示的协同优化方法
WO2019185992A1 (en) * 2018-03-29 2019-10-03 Nokia Technologies Oy Method and apparatus for reconstructing a signal captured by a snapshot compressive sensing system
AU2019346670A1 (en) * 2018-09-28 2021-03-11 Light Field Lab, Inc. Holographic object relay for light field display
CA3148816A1 (en) 2019-08-26 2021-03-04 Light Field Lab, Inc. Light field display system for sporting events
US11256214B2 (en) * 2019-10-18 2022-02-22 Looking Glass Factory, Inc. System and method for lightfield capture
US11754974B2 (en) 2019-11-12 2023-09-12 Light Field Lab, Inc. Relay systems
US11449004B2 (en) 2020-05-21 2022-09-20 Looking Glass Factory, Inc. System and method for holographic image display
US11415935B2 (en) 2020-06-23 2022-08-16 Looking Glass Factory, Inc. System and method for holographic communication
US11388388B2 (en) 2020-12-01 2022-07-12 Looking Glass Factory, Inc. System and method for processing three dimensional images
CN113917819B (zh) * 2021-10-13 2023-03-21 中国工程物理研究院激光聚变研究中心 基于菲涅尔掩膜的非相干三维全息分层重构方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2342395Y (zh) * 1997-12-01 1999-10-06 中国科学院广州电子技术研究所 一种动态全息图拍摄装置
US20040021871A1 (en) * 2002-07-25 2004-02-05 California Institute Of Technology Holographic imaging spectrometer
CN104570000A (zh) * 2015-01-07 2015-04-29 太原理工大学 一种基于混沌压缩编码的光学综合孔径成像系统及方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7218448B1 (en) 1997-03-17 2007-05-15 The Regents Of The University Of Colorado Extended depth of field optical systems
US6998196B2 (en) * 2001-12-28 2006-02-14 Wavefront Technology Diffractive optical element and method of manufacture
US6934060B2 (en) * 2002-07-25 2005-08-23 California Institute Of Technology Holographic filters for spectroscopic identification of substances
US7792423B2 (en) 2007-02-06 2010-09-07 Mitsubishi Electric Research Laboratories, Inc. 4D light field cameras
JP5245716B2 (ja) * 2008-10-27 2013-07-24 株式会社ニコン カメラレンズアダプタ及びカメラシステム
WO2011044463A1 (en) * 2009-10-09 2011-04-14 Massachusetts Institute Of Technology System, method and apparatus for contrast enhanced multiplexing of images
US9407833B2 (en) * 2010-01-22 2016-08-02 The Trustees Of Columbia University In The City Of New York Systems, methods, and media for recording an image using an optical diffuser
US20130201343A1 (en) 2012-02-07 2013-08-08 Hong Jiang Lenseless compressive image acquisition
JP2012147088A (ja) * 2011-01-07 2012-08-02 Nikon Corp 撮像装置
US8690339B2 (en) * 2011-04-27 2014-04-08 Aptina Imaging Corporation Complete digital holographic image sensor-projector computing unit having a modulator for receiving a fourier image
JP2015019119A (ja) * 2011-11-10 2015-01-29 パナソニック株式会社 画ブレ補正装置
JP5360190B2 (ja) * 2011-12-27 2013-12-04 カシオ計算機株式会社 画像処理装置、画像処理方法およびプログラム
US9179126B2 (en) 2012-06-01 2015-11-03 Ostendo Technologies, Inc. Spatio-temporal light field cameras
GB201311314D0 (en) * 2013-06-26 2013-08-14 Ucl Business Plc Apparatus and method for performing photoacoustic tomography
JP6223169B2 (ja) * 2013-12-19 2017-11-01 キヤノン株式会社 情報処理装置、情報処理方法およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN2342395Y (zh) * 1997-12-01 1999-10-06 中国科学院广州电子技术研究所 一种动态全息图拍摄装置
US20040021871A1 (en) * 2002-07-25 2004-02-05 California Institute Of Technology Holographic imaging spectrometer
CN104570000A (zh) * 2015-01-07 2015-04-29 太原理工大学 一种基于混沌压缩编码的光学综合孔径成像系统及方法

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
ADELSON, EH等: "Singe Lens Stereo with a Plenoptic Camera", 《IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE》 *
ASHOK AMIT等: "Compressive light field imaging with weighted random projections", 《UNCONVENTIONAL IMAGING, WAVEFRONT SENSING, AND ADAPTIVE CODED APERTURE IMAGING AND NON-IMAGING SENSOR SYSTEMS》 *
MARWAH, K等: "Compressive Light Field Photography using Overcomplete Dictionaries and Optimized Projections", 《ACM TRANSACTIONS ON GRAPHICS》 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11378866B2 (en) 2018-01-31 2022-07-05 Sony Corporation Imaging apparatus and imaging method for capturing bright image without using expensive large-diameter lens
CN111583191A (zh) * 2020-04-16 2020-08-25 西安理工大学 基于光场epi傅里叶变换的折射特征检测方法

Also Published As

Publication number Publication date
JP2018533066A (ja) 2018-11-08
EP3360012A1 (en) 2018-08-15
WO2017062834A1 (en) 2017-04-13
US20170102671A1 (en) 2017-04-13
KR20180080219A (ko) 2018-07-11
EP3360012A4 (en) 2019-05-29
US20210063963A1 (en) 2021-03-04
US10656598B2 (en) 2020-05-19

Similar Documents

Publication Publication Date Title
CN108369399A (zh) 全息光场成像装置和及其使用方法
Lin et al. Spatial-spectral encoded compressive hyperspectral imaging
Marwah et al. Compressive light field photography using overcomplete dictionaries and optimized projections
Fergus et al. Random lens imaging
US9900562B2 (en) System and method for light-field imaging
US9380221B2 (en) Methods and apparatus for light field photography
US20150139560A1 (en) Coded image system and method thereof
CN108955882B (zh) 基于液晶高光谱计算成像系统的三维数据重构方法
Lanman et al. Shield fields: Modeling and capturing 3D occluders
CN104065891A (zh) 机器视觉3d线扫描图像获取及处理
CN107622515B (zh) 压缩光场的物理重建方法
CN106170052A (zh) 双传感器超光谱运动成像系统
US20200404248A1 (en) System and method for compressed sensing light field camera
CN110501071A (zh) 一种基于模糊编码的压缩高光谱掩膜优化方法
CN108646538A (zh) 一种单次曝光复振幅物体全息重建方法、设备及系统
US9906691B2 (en) Methods and system for sparse blue sampling
KR101986998B1 (ko) 하이퍼스펙트럼 이미지 장치
Nguyen et al. Multi-mask camera model for compressed acquisition of light fields
CN115307577B (zh) 一种目标三维信息测量方法和系统
CN111854956A (zh) 一种基于微透镜阵列的多光谱成像系统及图像重建方法
CN111854945B (zh) 一种单像素紫外偏振成像方法及系统
Galvis-Carreno Coded aperture design in compressive spectral imaging
Ye et al. High resolution multi-spectral image reconstruction on light field via sparse representation
Hua 3D Lensless Imaging: Theory, Hardware, and Algorithms
Dlab et al. Overcoming spatio-angular trade-off in light field acquisition using compressive sensing

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information

Address after: 550 Bryant street, San Francisco, California, USA

Applicant after: VISBY CAMERA Corp.

Address before: Fairfax County, USA

Applicant before: VISBY CAMERA Corp.

CB02 Change of applicant information
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180803

WD01 Invention patent application deemed withdrawn after publication