CN105210361B - 全光成像设备 - Google Patents

全光成像设备 Download PDF

Info

Publication number
CN105210361B
CN105210361B CN201480019293.6A CN201480019293A CN105210361B CN 105210361 B CN105210361 B CN 105210361B CN 201480019293 A CN201480019293 A CN 201480019293A CN 105210361 B CN105210361 B CN 105210361B
Authority
CN
China
Prior art keywords
camera
imaging
image
light
additives
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201480019293.6A
Other languages
English (en)
Other versions
CN105210361A (zh
Inventor
O·克莱姆
I·埃尔克
J·莱斯瑞坡
A·玛纳科夫
R·荷吉杜斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
K Raines Co.,Ltd.
Original Assignee
Max Planck Gesellschaft zur Foerderung der Wissenschaften eV
Universitaet des Saarlandes
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Max Planck Gesellschaft zur Foerderung der Wissenschaften eV, Universitaet des Saarlandes filed Critical Max Planck Gesellschaft zur Foerderung der Wissenschaften eV
Publication of CN105210361A publication Critical patent/CN105210361A/zh
Application granted granted Critical
Publication of CN105210361B publication Critical patent/CN105210361B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0075—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for altering, e.g. increasing, the depth of field or depth of focus
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/04—Prisms
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/257—Colour aspects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/02—Viewing or reading apparatus
    • G02B27/08—Kaleidoscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/02—Diffusing elements; Afocal elements
    • G02B5/0273—Diffusing elements; Afocal elements characterized by the use
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • G02B5/20—Filters
    • G02B5/201—Filters in the form of arrays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/214—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spectral multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/001—Constructional or mechanical details

Abstract

根据本发明的全光成像设备包括：图像倍增器(130)，用于获得物体或场景的大量光学图像；以及拾取系统(140)，用于将大量图像中的至少一些在公共图像传感器(170)的相同曝光期间成像到该传感器。

Description

全光成像设备
技术领域
本发明涉及用于高动态范围、多光谱、偏振和光场成像的非永久性、可配置的照相机附加物。
背景技术
全光函数(plenoptic function)的成像维度一直是长期目标[Adelson和Bergen1991]。在传感器上获取入射光的全部特性(例如，方向、频谱、时间变化、偏振和其他性质)在科学成像、工业质量控制、远程感测、计算机视觉和计算机图形中有大量的应用。
针对传统的多光谱和偏振成像，存在大量的专业设备(范围从天基成像仪到显微镜照相机)。最近，在计算机图形中，高动态范围成像和光场捕获已经成为主要焦点。为了获得图像的这些物理维度，必须采用光集成。
在时间复用方法中，图像堆叠被记录并且不同曝光的滤波器被放置在光路上。该方法只能被应用到静态或准静态的场景中。准静态场景要求各个图像的对齐，这本身就是一个难题。在硬件并行采集方法中，光学图像借助于分束器装置倍增并且被投影到空间离域的不同传感器单元上。不同光学预滤波器可以插入不同的光学光路。该装置允许成像动态场景。但是，其代价是大型、昂贵以及必须被定制的笨重设置。此外，不同传感器相对于彼此的同步和辐射校正是另一个有问题的方面。最后，在空间复用方法中，采用单个传感器单元，其中每个像素与不同的光学预滤波器相关联。该设计允许单曝光(快照)提取。其最熟悉的应用是经由彩色滤波器阵列来彩色成像。目前，其要求定制传感器设计或标准传感器的永久修改。
现有技术
在Wetzstein等人[2011]和Zhou等人[2011]中描述了一般的全光图像采集。在单次曝光中，快照成像捕获被不同地滤波的图像。简单的硬件平行设置是将几个照相机放置得互相接近(例如，[Wilburn等人2005])，其中每个照相机具有不同的预滤波器或者经修改的记录参数。虽然如此，如果在如除了方向之外的大多数全光维度中光场成像不满意，则需要补偿照相机的不同视点。可以采用光流[Horn和Schunck 1981]，但是在实践中，其使用受限，因为其基于亮度恒定的假设，而当使用不同的光学预滤波器时，亮度恒定的假设可能被违反。
对于单眼快照而言，场景将通过普通主镜头来观察以避免被不同地滤波的图像之间的视差。硬件并行解决方案使用光学分离树[McGuire等人2007]。光路被分束器系统分开进入不同的分支。在每个光路的末端安装有标准传感器并且可以在每个传感器中引入单独的光学滤波器。该成像模式被应用在多个实际系统中：HRD成像[Tocci等人2011]、偏振成像[Pezzaniti等人2008]和多光谱成像[Spiering 1999；McGuire等人2007]。单传感器设置经常使用复用，其有两种方式：直接复用，其中光学预滤波的图像在传感器上被重新分布和直接成像；以及计算复用，其中观察超定位(super-positioned)的全光数量。在后一种情况中，计算反演必须恢复感兴趣的全光数量。经常，该反演步骤是病态的并且必须使用关于信号的先前信息加以规范。
捕获不同颜色的原色在以下领域中有多种应用：计算机图形和视觉(例如，超越白点调整重新照明或者改进的追踪和分割精度[Park等人2007；Cao等人2011])和一般科学成像(例如，基于卫星的远程感测、微缩复制、光学质量控制)。通常，直接复用法使用插入到光路中的分散元件，而光被同时重新引导或者阻挡，以使其不能接触附近的记录不同波长信息的传感器像素。对于彩色摄影，经常使用Bayer(拜耳)滤波器，其被直接放置在传感器的前面。在实践中，可以采用这一方法捕获各种原色或其他全光维度[Narasimhan和Nayar2005]。其他的示例包括使用反射镜阵列、所谓的图像拼接机[Bonnet等人2004]或者阻挡遮罩[Du等人2009；Cao等人2011]。产生的结果通常是低的空间分辨率。目前的趋势是捕获与低分辨率多光谱图像相结合的高分辨率RGB图像并且将光谱信息传送到高分辨率RGB图像[Rump和Klein 2010；Cao等人2011]。
高动态范围HDR成像规避标准成像传感器的动态范围限制。曝光序列被主要用于实践。快照可能具有不同的像素曝光[Nayar和Mitsunaga 2000]，但是该方法共有前述的缺点。
反射离开场景物体的场的偏振受到材料的类型、粗糙度、表面取向、照明的偏振状态以及周围介质的散射特性的影响。因此，偏振携带关于材料和场景性质的重要信息，使得能够例如去雾[Schechner等人2001]或者移除和编辑镜面反射[Neumann等人2008]。而对于相对简单的物理波长的多光谱成像，通过分散或衍射的分离机制是可能的(双折射仅是比较小的效果)。因此，通过滤光轮或分束的快速时间复用被应用[Pezzaniti等人2008]。可选择地，可以使用Schechner和Nayar的广义镶嵌[Schechner和Nayar 2005]，其也被应用到其他全光维度。
光场表示在每个传感器元件处的入射光的角度变化。即使该原理一个世纪之前已被发现[Ives 1903；Lippmann 1908]，但是只有数码照相机技术的出现才使得它们切实可行。不但在主相机镜头的限制内的虚拟再聚焦和视点改变[Isaksen等人2000；Ng 2005]是可能的应用，而且深度估计[Wanner和Goldluecke 2012a；Wanner和Goldluecke 2012b]也是可能的应用。
当前记录单眼(即，在照相机中)光场的主要方法是采用小透镜阵列[Adelson和Wang 1992；Ng等人2005]，但是也可以采用衰减面罩(被放置得接近传感器但是不与传感器冲突)[Veeraraghavan等人2007；Lanman等人2008]，尽管后者由于光吞吐较差导致更低的SNR。Levoy实现了超过光场的照相机光阑[2004]，其使用反射镜阵列来合成光阑成像和投影。与本发明最相关的是Han等[2003]，其通过万花筒反射镜获得平面物体的半球成像。Reshetouski等[2001]将用于测量双向纹理函数的该布置扩展到三维物体。
本发明的目的
因此，本发明的一个目的是使得图像的全光维度的快照成像成为可能，但是，同时避免定制相机设计的必要性。本发明的另一目的是设计这样的光学元件，其能可逆地与任何现有成像设备(诸如，DLR、手机或平板电脑的摄像头、工业相机、电影照相机或显微镜)组合，但可以很容易地被移除以供正常使用，从而使用户能够广泛采用全光成像。
发明内容
该目的通过根据独立权利要求的全光成像设备来实现。优选实施例在从属权利要求中限定。
根据本发明，通过简单的光学设计实现了可逆地修改标准相机硬件以灵活地获得若干个全光维度(诸如波长、时间和方向)。此外，在照相机和摄像机中相似，其可用于高动态范围和偏振成像。
本发明设备借助于重复反射操作的方法物理上倍增光学图像，这使得它适合于时间关键的拍摄。所得到的等效图像的阵列保持物理图象的全光特性。这些副本被投影到一个平面上，在该平面上这些副本被光学预滤波，并且然后通过1∶1成像单元成像到标准相机的传感器上。根据所提出的光学元件的配置，光学元件可以被容易地和可逆地插入标准相机的镜头与机身之间，将其转换成高动态范围、多光谱、偏振、光场成像单元或它们的组合。
本发明包括利用用于单眼快照全光成像的直接空间复用方案的新颖的光学设计。它依赖于反射镜系统内的内反射，并且可以非永久性地被添加到任何标准相机，并且可以被重新配置以在统一的设计中成像不同的全光维度。相对于其他的方法，根据本发明的光场的设计最适于低方向性但高空间分辨率的成像。高品质的再聚焦和视点改变是可能的，并且可以以前所未有的大虚拟光阑和高的空间分辨率来实现。
与已建立的基于小透镜的设计相比，本发明的技术方案探索了设计空间的正交端。尽管基于小透镜的光场相机提供了高的角分辨率，但是其空间分辨率是有限的，并且必须被内插以使得可接受的图像尺寸成为可能。相反，本发明的设计最适于具有较少数量的角视图的高空间分辨率的成像。尽管如此，角分辨率必须被内插以使得令人信服的再聚焦效果成为可能。这些折衷是两种设计的固有特征。降低角分辨率以获得空间分辨率对于基于小透镜的设计是困难的，因为微透镜的尺寸代表了限制因素。此外，当接近低的角分辨率时，用彩色滤波器阵列进行彩色成像变得不可行。与此相对，在本发明的设计中增加角视图的数目使得设备尺寸变小变得不可行。本发明设计的一个独特的优点在于：各光场视图的场的深度可以由拾取透镜的光阑来调节。光场混叠因此可以由用户来控制。在这两种情况下可达到的最大视差是受限于主镜头的光阑大小并且此性能参数对于两个设计是相同的。
附图说明
当结合所附附图考虑本发明的各种实施例的以下详细描述时，本发明的这些和其它方面及优点将变得更加清楚，其中
图1示出了根据本发明第一实施例的全光成像设备的示意概览。不同地着色的光路指示相同场景点的经不同地滤波的副本。
图2示出了当观察在最外侧镜像副本中的图像边界处的点时，如何可以获得在入口平面处的最大观测角α。最大角度是由在相反侧离开拾取系统光阑的射线形成的。
图3示出了根据本发明第二实施例的全光成像设备的示意图。不同第着色的光路指示系统的入口平面中的不同观察方向，其对应于在基于小透镜光场相机中的微透镜的平面。
图4示出对于在图1和图3中示出的实施例，主镜头的出射光瞳和图像倍增器的入射光瞳如何必须匹配。
图5示出结合图4描述的光场光瞳匹配系统的效果。(仿真)：没有光瞳匹配透镜(顶部)，有光瞳匹配透镜(底部)。在不调整主镜头和图像倍增器的光瞳的情况下，龙的大的部分被晕映出来。
图6显示了拾取系统的光阑如何决定的光场视图的景深(示出中心视图，但其它视图行为相似)。顶部：拾取光阑打开，可以清楚地观察到景深效果。底部：拾取光阑关闭，视图被在整个深度范围上尖锐成像。
图7示出本发明的实施例的原型设置的照片。插图显示了滤波器平面组件的特写。
图8示出用原型高动态范围装置捕获的三个示例场景的色调映射结果。
图9示出了根据本发明实施例的多光谱成像管线的真实值评价。
图10示出了使用原型实施方式的示例性的多光谱图像。
图11示出了照相机附加物原型的示例性应用。
图12示出了使用原型实施方式的示例性的偏振成像。
图13示出光场成像应用的示例。
具体实施方式
图1示出了根据本发明第一实施例的全光成像设备的示意概览。
主镜头110的原始图像被投影到漫射器120上，该漫射器120被放置在通常会被相机传感器占据的位置。该漫射器120被通过图像倍增器130(例如，反射镜装置)观察，该图像倍增器130产生仍然携带全光函数的物理信息(除了方向性光变化之外)的原始成像的许多副本。拾取系统140将离开反射镜系统的信息投影到滤波器平面150上。在滤波器平面150上的投影图像具有原始传感器的维度，但是包含原始图像的空间分离的副本。这些副本可以由放置在滤波器平面中的光学滤波器单独调制，从而，能够使得快照具有高动态范围、多光谱和偏振成像等等。可以在相应滤波器附连到普通传感器表面上的状态下在该平面上放置该普通传感器。为了获得可逆的附加，经滤波的结果被通过采用1∶1成像系统160投影到原始照相机传感器170上。
主镜头110正在将场景成像到通常会包含相机传感器的平面。根据本发明，漫射器120被放置在该位置。由于像视场这样的重要成像特性直接依赖于漫射器屏幕的尺寸，所以其尺寸与主要光学器件所针对进行优化的事物相匹配。漫射器120充当后部投影屏幕，即，从左侧观察该漫射器120将示出将由在该位置的传感器观察到的图像。因为本实施例的漫射器屏幕经由其双向透过率分布函数(BTDF)移除了所有方向性变化，但是在别的方面却保留了全光函数的所有物理属性，因此，当从不同的方向看时，该图像直观上看起来相同。
图像倍增器130使用复用将图像内容从漫射器传送到全光函数的方向成分。重要的是，漫射器波瓣足够宽，以容纳创建该图像副本的不同观察方向，否则，出现渐晕。但是，如果波瓣太宽，杂散光扩散到系统中。因此，漫射器散射轮廓应适应于最大观测角α(见图)，以获得系统的最佳性能和光效率。
此外，光瞳匹配透镜可以用于使整图像倍增器的入射光瞳适应于主镜头的出射光瞳。在本实施例中，在弱漫射器的情况下，该透镜使从入射面拾取的照明均匀化，否则对于该弱漫射器，强且方向性变化的照明可能使该照明本身体现在该系统的非均匀传输中。
一旦图像在漫射器120上可见，则图像倍增器130例如通过镜面反射的方式来复制它。平行壁的万花筒是合适的倍增器，产生图像副本的虚拟平面。
由于图像倍增器的宽度和高度由传感器尺寸所定义的，所以唯一的变量是其沿着光轴的长度。该长度通过由拾取成像系统及其焦距fpS实现的1：N的缩小率而确定。拾取器成像系统的作用是将漫射器的NxN视图压缩到标准传感器图像的尺寸，并使其作为在滤波器平面中的实像而可以被获得。在以下几何光学中，图像倍增器长度N·z、图像副本数N的数目和拾取系统的焦距fps之间的关系由薄透镜公式近似给出
在实践中，这意味着短焦距fps和小的图像倍增系数N导致图像倍增器的长度较短。
该设计的另一个方面是拾取镜头的光阑。其与漫射波瓣一起决定系统的光效率。从而，其应该被选择得尽可能大。在平面物体(即，入口平面)的情况下，拾取系统的大的光阑不涉及图像质量的损失。然而，在一般情况下，对于短焦距镜头难以得到大口径，因为它们变得笨重并具有较强的弯曲，导致显著偏离几何光学模型。当设置图像倍增器的长度时，存在光阑和拾取系统的焦距之间的折衷。长度参数的附加效果是观察角，入口平面的不同副本在该观察角下被看见。更大的长度导致更小的观察角并且因此导致更弱的漫射要求。
例如，依赖于传感器尺寸和拾取系统的焦距，拾取系统的视场可以根据需要看到多少份副本来确定尺寸。然后，可以相应地设置剩余的密度。
图2示出当观察在最外的镜像副本中的一个的图像边界处的点时如何在入口平面处可以获得最大观察角α。
更具体地，最大观察角α通过以下给出
其中，lf为原始传感器(以及因此为漫射器)的尺寸，N为图像副本的目标数量，αps为拾取镜头的光阑，以及lmt为图像倍增器的长度。角度α可以通过更长的图像倍增器、更小数量的图像副本、更小的传感器尺寸来减小，并且通过减小拾取系统的光阑影响较小。
为了获得最佳的光学质量和几何精度，倍增器可以由玻璃制成，利用全内反射的效果来创建镜像图像。在这种情况下，其长度大约被乘以玻璃的折射率，这可以通过考虑两个平面的空气/玻璃-玻璃/空气的界面来导出。关于最大观测角的条件不变，因为漫射波瓣折射进入图像倍增器，其缩小了与最大观测角相同的量。
系统生成了标准照相机将捕获的物理图像的NxN副本的实像，并且系统使得这些副本在滤波器平面上可被访问，在滤波器平面上光纤阵列允许访问不同全光维度。
为了防止在滤波器平面中的图像在传感器方向上发散，从而造成渐晕，所述图像倍增器系统的出射光瞳可以被调整到1∶1的成像系统的入射光瞳。在本实施例中，一对平凸透镜被插入到滤波器平面，从而在拾取系统的光阑平面和1∶1成像系统的光阑平面之间一起形成附加光学中继系统。
该1∶1成像系统160将漫射器平面图像的NxN经光学预滤波的副本投影到对入射光子进行积分的传感器170。由于1∶1成像在两个焦距处发生，该系统相对于1∶1成像透镜的焦距f确定尺寸。选择将拾取系统140放置在距滤波器平面2f的距离处是通过保持该系统的所有成像平面在尺寸上等于原始传感器尺寸来确定的。从而该系统的总体长度是(6+2N)·f并且这一对平凸透镜的各个透镜组件具有2f的焦距且拾取透镜焦距长为2N/(N+1)f。
图3示出了根据本发明的第二实施例的能被用于光场成像的成像设备的设计。这里，省略了滤波器平面和基于滤波器的设计的1∶1成像系统，并且拾取系统的输出被直接成像到传感器上。光场成像效果基于主镜头光阑的子采样[Ng等人2005]。
通过省略漫射器组件，保留了全光函数在入口平面上的方向性并且可以在子图像中对其采样。一个困难是由主镜头投射到入口平面的图像的发散性质(见图4的(a))。为了清楚起见，示出了拾取系统的针孔状光阑，其包括各自从三个方向成像的两个场景点。可以看到出现渐晕；上部场景点的蓝色视图被完全阻断，下部场景点的绿色视图丢失。该问题来自主镜头的出射光瞳和拾取系统的入射光瞳之间的失配。拾取系统将主镜头光阑的区域成像到远在其物理极限之外(图5，顶部)。
该问题通过引入将主镜头的光阑平面成像到拾取系统的光阑平面上的光瞳匹配系统来规避。由图像倍增器引入的镜像操作通过被成像到主镜头光阑的稳定区域上的镜像的拾取光阑生成虚拟视点。如图4的(b)中所示的，这将主镜头的出射光瞳与拾取系统的入射光瞳匹配。现在用于无渐晕成像的条件仅依赖于最大观测角α的选择。其应当被设计为与主镜头的出射光瞳的最大角相匹配。图5(底部)中示出了视觉的示例。
另外的修改是为拾取系统配备光阑。以这种方式，各个光场视图的景深可以以光效率为代价来调节。此选项不是在任何现有的集成光场照相机设计中都可用的；例如，在基于小透镜的光场相机中[Ng等人2005]，此效果不能被控制，因为微透镜中的每一个将必须被配备单独的光阑，所有这些光阑都必须以同步的方式移动。
图6(底部)示出了通过用光效率进行交换(能够通过缩小光阑获得)来提高景深。
图7示出根据本发明的设备的原型实施方式。由于实验的限制和合适的库存零件的有限可用性，实际实施方式与图1和3所讨论的实施例略有不同。更具体地，建立了提出的设计的光学平台设置，以评估其有效性。照相机是具有2千2百万像素的分辨率并采用了全画幅传感器的佳能EOS 5D Mark II。对于基于滤波器的设计，系统生成场景的3×3副本，而对于光场成像的情况，系统在场景中生成3×3不同的视图。该选择导致对于HDR成像有9个不同的曝光设置或对于多光谱成像的情况有27个不同的光谱测量结果，因为三色通道的每个对9个滤波器成像，9个信道用于偏振测量或者对于光场成像的情况有3×3的不同视图。
原型的漫射器的厚度约为1毫米并且具有偏振保持性能，因为它被设计用于基于偏振的3D背投影屏幕(ScreenTech GmbH，材料类型：ST-Professional-DCF)。漫射器散射轮廓在约离轴20″428处降到50％的透射率，这远大于系统最大观察角(对于15mm拾取镜头光阑为12.95″429)。因此消除方向性光变化的要求被满足。
为了创建已被成像的场景的副本，采用了36mm×24mm×300mm尺寸的长方形万花筒。它由光学前表面反射镜制成，并且由工匠万花筒制造商搭建(Kaleidoskope GmbH)。因为单独的像素覆盖约18μm的漫射表面，反射镜的完全平行排列是必要的。由于不对准，万花筒遭受大多在万花筒的角落视图中最突出地表现的一些成像缺陷之苦。在替换实施方式中，利用全内反射的矩形棱镜可以用作精确图像倍增器。
而理想的设计特征在于：两个平凸透镜，而滤波器阵列被放置在所得的有效双凸透镜的光阑中，在实践中，这布置更容易由在距该滤波器阵列较小距离处的单个双凸透镜实施。将滤波器阵列从光阑移动出来具有掩蔽光学滤波器本身中的缺陷的附加优点：人工搭建滤波器阵列导致不可避免的划痕以及从无限宽度的完全平面光学滤波器的其他微小偏离。如果该滤波器阵列被直接放入滤波器-平面光瞳匹配装置的光阑中，这些缺陷将很容易在所记录的图像中变得明显，而它们现在则模糊且不太明显。
该1：1成像系统的原型是通过使用佳能100mm、f/2.8的微距镜头实施的。这导致透镜和滤波器平面之间的约300mm的距离。另外，该拾取系统和滤波器平面之间的距离必须被调整到该长度以确保1∶1成像，保留成像系统的总体宽度和高度以匹配全画幅的传感器的宽度和高度，即36毫米×24毫米。总的来说，这导致约1000mm的整个系统的长度(包括相机和原型系统的主镜头)。
预处理过程包括将由传感器记录的3×3的子图像彼此对齐。由于图像位于入口平面并且一致，单个几何校准过程足够用于下面提出的所有应用。子图像在传感器上遭受不对齐之苦主要有两个原因：由于人工搭建造成的反射镜平面的不完美排列和由原型光学设置引起的几何畸变/色差。
这些缺陷用两个步骤来解决。在保持漫射器在原位并移除主镜头的同时，使用被放置在距漫射器近距离处的具有棋盘图案的透明滑块。然后用远点光源照明该滑块，以此将图案投影到漫射器上。考虑由于反射镜的不对准引入的扭曲。3×3矩阵的视图的角落图像遇到两个级别的反射。这些图像沿对角线显示出明显不一致。因此，这些图像的每一半分别被补偿。
该第一补偿通过估计外部和中央视图之间的单应性并将所有图像对准到中央视图来执行。
在用透明滑块作为棋盘的情况下，残余对齐缺陷是由用小波噪声模式[Cook和DeRose 2005]解决的几何畸变和色差引起的。该失真通过先前具有强平滑度的光流[Horn和Schunck 1981]来估计。
为了将外部视图对齐到中央图像，使用所有位移(即基于单应的翘曲)和残留光流补偿的复合。在基于滤波器的系统中，该处理与图像相匹配。在光场成像的情况下，如由几何构建所期望的，使得视图达成一致；水平邻近视图仅显示水平视差，而垂直邻近视图仅显示垂直视差，对角位移视图显示它们的组合。
该系统还示出了辐射的扭曲，即能够在几何对齐的图像的各处观察到渐晕。为了测量该效果，主镜头被重新加入到系统中并且添加强的漫射器，其被远漫射光源照亮。所得的图像被用于约去由光学系统引起的的渐晕效应。
由于这些前处理步骤的结果，获得了被光学预滤波的就像以时间顺序的方式拍摄的一堆图像Ii：
该公式包括偏振参数。全光函数lλ由四部分组成；四个斯托克斯参数sj具有以下定义：
其中，EX和EY是电场E的两个正交平面波分量，并且＊表示复共轭。光学滤波器用集合{Mi，fi}标记，其由标准光学滤波器fi和Mueller矩阵Mi组成。对于全光维度，波长被标记为λ，方向被标记为ω，并且时间被标记为t。乘以[1 0 0 0]矢量提取出正在被传感器对齐的辐射测量结果。夹逼运算模拟由真实传感器施加的饱和极限。不是所有的滤波器维度(长度、偏振和方向)都在以下被同时使用。而是，所描述的应用领域中的每个一次使用一个维度。
图8示出用高动态范围设置捕获的三个示例场景的经色调映射的结果。
对于HDR成像，滤波器阵列由3x 3的中性密度滤波器组成并且等式2中的光学滤波器变成具有单位Mueller矩阵以及恒定频谱滤波器fi(λ)＝ci的{1，ci}，i＝1...9。选择了一组透射值{1.0，0.5，0.25，0.126，0.063，0.032，0.016，0.008，0.004}，得到在传感器动态范围上的约8的光圈级数的动态范围改进。这些图像具有经过验证的线性响应，并且可以通过标准机制合并[Debevec和Malik 1997]。对于视频操作，相机采用自适应响应曲线。该辐射响应通过Mitsunaga和Nayars[1999]多项式技术的变化形式来估计，该多项式技术在最终曲线上强制执行曲率限制的同时估计来自Macbeth颜色检查器的一系列照片的响应[Ihrke2012]。
对于多光谱成像，系统装备有如由Rosco Labs(Roscolux swatchbook)制造的3x3宽带光谱滤波器。等式2中的滤波器变为{1，ci}，i＝1...9。
使用宽带光谱滤波器的原因是成像系统以彩色滤波器阵列为特征。9个光谱滤波器各自通过三个不同的拜耳滤波器，产生了27个经宽带滤波的图像的整体测量结果。使用窄带滤波器就只产生9个不同的测量结果，因为拜耳滤波器很大程度上是正交的。阵列中的滤波器为{青色#4360，黄色#4590，红色#26，橙色#23，绿色#89，蓝-绿色#93，淡紫色#4960，蓝色#80，品红色#4760}。它们的光谱响应使用光谱仪(Thorlabs CCS 200)测量。
对于拜耳滤波器的光谱校准，包含MacBeth颜色检查器的场景用具有先前获得的频谱Smv的高压汞蒸汽灯照明。在多光谱成像成像的情况下，等式2可以简化为
其中fr/g/b(λ)代表照相机对于R、G、B信道的光谱敏感度，fi(λ)是Roscolux滤波器的已知频谱，并且s为光源的频谱。在这种情况下，全光函数lλ(χ，y，λ)仅取决于光谱场景反射率，通过从http：//www.babelcolor.com/main_level/ColorChecker.htm获得的所收集的测量结果，其频谱lλ(χ，y，λ)是已知的。光源的频谱为Smv。从而，除了拜耳滤波器响应fr/g/b(λ)之外，等式3中积分的所有成分是已知的并且可以通过扩展到类似Toyooka和Hayasaka[Toyooka和Hayasaka 1997]的基本函数来估计。分布在400和700纳米之间的范围内的一组50个重叠高斯分布被选择为基础。优化问题采用通过所有116个Roscolux滤波器的图像并且通过二次规划强制执行非负性约束。
一旦传感器的光谱响应是已知的，可以对任意场景进行成像。如果光源的频谱s(λ)是已知的，中性反射率频谱可以被恢复，否则，只有乘积lλ(χ，y，λ)s(λ)是可获得的。场景光谱类似于传感器的光谱校准而被恢复，所不同的是现在的传感器的光谱灵敏度fr/g/b(λ)是已知的，而场景频谱lλ(χ，y，λ)或其与照明频谱的乘积lλ(χ，y，λ)s(λ)是估计的。在此情况下，光谱白平衡(类似于RGB白色平衡)可以通过将所有的光谱除以已知的白色场景补丁的频谱来执行。
与光谱校准步骤相比，必须对每个像素估计图像光谱并且二次规划变得代价太高。相反，非负约束可以被丢弃并且对每个像素求解最小二乘问题且负值被夹逼到零。为了改善规范化，如[Toyooka和Hayasaka 1997]中的PCA基础被使用。原型多光谱成像管线的性能通过在已知照明下对Gretag Macbeth颜色检查器成像来验证。重新搭建的光谱反射率与所收集的数据(嘈杂颜色(babelcolor))符合得很好，见图9。
图10示出使用所述原型的多光谱成像应用的示例。光谱用不同温度的理想普朗克(Planckian)黑体光源重新照明，以及用自然光线和高压钠路灯(顶部行)重新照明。路灯导致了熟悉的绿色损失。对于低色温，场景是条件等色(metameric)的，但在目光照明下，塑料和两个真实的花能够被清楚地区分。对于颜色检查器和自然风光(底部行)，模拟颜色缺陷视觉。红色弱视觉将红色敏感锥体的响应向绿色移动约10纳米，绿色弱视觉将绿色锥体响应向红色移动约10纳米。
图11示出了照相机附加物原型的示例性应用。顶部行示出多光谱成像：未处理的输出(左)、处理后的图像的光谱堆叠(中间)、用平坦频谱重新照明的中性影像(右)。中间行示出了高动态范围(HDR)成像的例子：未处理的输出(左)、对比率为100：1的模拟曝光扫描(中)、HDR图像的色调映射版本(右)。底部行示出光场成像的例子：未处理的输出(左)、在前景上虚拟重新聚焦(中)和背景(右)。
图12示出了使用本发明的原型实施方式的偏振成像的例子。在顶部行，在左侧的标志被显示在屏幕上，而右边的标志装备有印在纸上的偏振滤波器。纸作为漫射器并且破坏LED的光的偏振。示出了由眼睛察觉出的图像(左)、移除LCD的光的线性偏振器的模拟(中间)和偏振度(右边白色表示未偏振状态)。娃娃的示例示出通过虚拟偏振滤波器移除反射。偏振应力分析(底行)：透明压克力玻璃窗被附连到充当偏振化的光的光源的LED屏幕。该窗包含以标志的轮廓的形式的、在材料中诱导应力的钻孔。图像示出了来自系统输出的不同的仿真结果，使得应力图案以彩色条纹的形式出现。左上图示出显示在LED屏幕上的将被人类肉眼所感知的标志。
由此，照相机对光的偏振状态敏感并且作为逐个像素的偏振状态分析仪。至此，已经完成了至少三种独立的测量，如果将检索还包括圆偏振分量的全偏振状态的话是四种独立的测量[Goldstein 2003]。
原型的范围被限制于线性偏振成像，因为，除了某些特殊情况(例如，圆二色性和圆偏振光发光)，显著水平的圆偏振在自然界中很少遇到[Hegedus等人2006]。
为此，五个具有约等于{0°，36°，72°，108°，144°}的不同取向透射轴的线性偏振片被置于该系统的滤波器阵列中。就等式2而言，滤波器变成{Mi，1}，i＝1...5，其中1表示光学滤波器fi＝1。阵列的四个角落被放空的并且相应的子图像被忽略。该设置为每个像素仍然提供了比需要更多的测量。由二阶反射产生的那些图像被避免，这些图像更易受光学像差和复杂偏振调制的影响。
当只测量线性偏振时，前三个斯托克斯分量sj，j＝0...2可以被检索并且第四圆形分量s3(如果有的话)被认为是光的非偏振分量S0的一部分。与此相应，3×3的Mueller矩阵被采用，这在线性偏振测定法中是常用方法[Neumann等人2008]。为了确定斯托克斯矢量，该3×5的矩阵W被构造为其连续行与相应的Mueller矩阵Mi，i＝0...4的上行相同。
对于每个像素，测量的穿过五个偏振滤波器的强度被存储在矢量p中，通过最小二乘回归法获得Stokes矢量s＝(s0，s1，S2)
s＝(WTW)-1WT p (4)
需要一些额外的小心，因为滤波器阵列被放置在光学系统内，其反射和散射影响光的偏振状态。包括偏振滤波器影响的系统的总的影响可以通过取决于空间的有效Mueller矩阵Msys(χ，y)来表征。最突出的效果是由图像倍增器的反射镜造成的。这种关于像素Mueller矩阵通过校准过程来确定，其使用真实值偏振计(ground truth polarimeter)来获得具有均匀(即不取决于空间的)偏振状态的6个场景的Stokes矢量并且将这些值关联到由系统观测到的那些。然后针对Msys，在最小二乘法意义上解出的线性关系。这里，是由系统测量的Stokes参数，而是由真实值偏振计测量的Stokes参数。在实践中，30个不同的偏振器/分析器成对图像被用于执行偏振校准。
为了在系统的焦平面外的合理距离处执行有说服力的再聚焦和视点改变，该3×3的光场的低角分辨率需要角度上采样方案。在实践中，在系统中所观察到的视差可能超过100个像素。但是，由系统返回的图像的空间分辨率较大，对于每个子视图具有大约为1800x1200像素的分辨率。角内插的问题可以通过首先执行深度估计和基于视差的变形操作来解决。该变形也使得视图外推成为可能，这使得光阑合成超出主镜头的极限。
光流技术和Horn-Schunck[Horn和Schunck 1981]的变化例被用来估计深度。
修改包括在不同视图的流变量之间引入耦合。已知的是光流遭受所谓的光阑问题之苦，即，在每个图像位置处查找两个变量，但是只有单个约束条件可用。在光场成像的情况下，该流程被已知为约束视图之间的极线的方向。
此外，由于虚视图之间的固定间距，这些极线的结构非常有规律。因此，光流矢量由深度估计d(χ，y)取代，该深度估计通过深度引起的视差d(χ，y)·[ui，vi]耦合所有周围光场视图中的流估计，其中矢量[ui，vi]对于每个视图Ii是常数并且描述了极线的斜率。由于原型设置的限制，可以安全地假设极线在每个子视图中是平行的。
该深度估计是基于光流亮度恒定假设的，因此，不估计真实场景的深度。然而，它计算表观深度的估计。因为人们对于深度本身不感兴趣，而对于其内插特性感兴趣，这种方法对于角度光场上采样是合理的。
针对子视图中的每个估计深度图，视图内插和外推，这允许根据视差位移d·[ui，vi]T通过变形子视图Ii来生成新的图。对于高质量内插的主要挑战是适当地处理闭塞边界、处理的输入视图的映射到同一目的像素的多个像素以及避免由于向前翘曲而引起的内插孔。所提出的变形使用向前和向后的翘曲步骤以及其后的混合过程。
九个子视图中的每个都可能包含在任何其他子视图中不可用，但是对于内插视图有价值的专属信息。然而，变形所有视图可能会导致模糊，因为深度估计只是近似的。利用在主镜头光阑上的内插位置的4个相邻视图是很好的折衷。类似的方案可用于外推；使用两个(用于外推u或v)或使用一个最接近的视图(用于外推u和v)。
图13示出的光场成像应用的例子。最上面的一行示出用匹配真正的佳能EF 50毫米f/1.4USM镜头(其用来记录场景)的虚拟光阑的强再聚焦。全聚焦的视图是内插的光场视图的示例。第二和第三行示出在包括镜面、反射和折射物体的挑战设置中的再聚焦。第二行示出了真实光阑的物理极限内的再聚焦，第三行使用外推来将光阑在每一侧上虚拟地扩展一个全尺寸，导致虚拟的f/0.7。该模式使标准透镜和宽视场的微距拍摄效果变得可能。当比较聚焦区域的质量时，对于扩展光阑的情况，没有观察到锐度的显著损失，验证了根据本发明的深度估计和视图变形过程的适用性。第四行显示了立体图像形式的具有三个光场场景的自适应基线的虚拟立体图像。第5行表示基于深度的风格化示例：从左至右为美术/真实风格、发光+对比度+着色/真实和锐化/模糊。
该图示出发明的外推技术方案允许虚拟地扩展主镜头的光阑，以产生增加的视差和极浅深度的场的效果。
整个系统的尺寸由传感器和光学设计的第一成像元件之间的距离来确定。在SLR型照相机中，该距离自下而上由这些相机的动镜限制，并且对于全画幅传感器可以假定为50mm左右。在基于滤波器的设计中，该要求确定1：1成像系统的焦距f，并且如果NxN副本将被成像，该要求用焦距f确定光学系统的总长度为(6+2N)·f。
因此，焦距f被固定到约为25mm。对于N＝3(9个子图像)，长度约为300mm。1∶1成像透镜和拾取透镜的直径确定最大拾取光阑，因此不关键。然而，在滤波器平面和入口平面中的光瞳匹配透镜必须覆盖全传感器尺寸。幸运的是，鉴于全画幅传感器的先前的考虑和传感器与光学系统之间的50mm的距离，这些透镜每个具有约为50mm的焦距。因此，所有需要的透镜将能够作为具有合理光学性能的堆叠部分。
对于光场设计，该1∶1成像系统和滤波器平面光学器件可以被省略。现在该系统的最小距离由拾取镜头可以采取的最近位置来确定。
鉴于这些考虑，z在方程1中等于50mm并且对于3×3副本，整个系统的长度为4·z＝200mm。
总体而言，该系统适合于成像较小数量的副本，而对于更大的数量的副本，系统的尺寸线性地增加。该系统的尺寸也随着采用的相机的传感器尺寸而线性地缩放。更小的单元因此可以被设计用于更小的传感器。
另外，也可以移除SLR相机中的反光镜，因为对于计算型相机，光学取景器不是严格必需的，因此将该设计更进一步小型化。
参考文献
ADELSON，E.H.，和BERGEN，J.R.1991.
The Plenoptic Function and the Elements of Early Vision.InComputational Models of Visual Processing，MIT Press，3-20.
ADELSON，E.，和WANG，J.1992.
Single Lens Stereo with a Plenoptic Camera.IEEE Trans.PAMI14，2，99-106.
BAYER，B.E.，1976.
Color Imaging Array.US Patent 3，971，065.
BONNET，H.，ABUTER，R.，BAKER，A.，等人2004.
First Light of SINFONI at the VLT.ESO Messenger 117，17，17-24.
CAO，X.，TONG，X.，DAI，Q.，和LIN，S.2011.
High-Resolution Multi-Spectral Video Capture with a Hybrid CameraSystem.In Proc.CVPR，297-304.
COOK，R.L.，和DEROSE，T.2005.
Wavelet Noise.ACM TOG 24，3，735-744.
DEBEVEC，P.E.，和MALIK，J.1997.
Recovering High Dynamic Range Radiance Maps from Photographs.InProc.SIGGRAPH，369-378.
DESCOUR，M.，和DERENIAK，E.1995.
Computed-tomography Imaging Spectrometer：Experimental Calibration andReconstruction Results.Appl.Optics 34，22，4817-4826.
DU，H.，TONG，X.，CAO，X.，和LIN，S.2009.
A Prism-Based System for Multispectral Video Acquisition.InProc.ICCV，175-182.
GEHM，M.E.，JOHN，R.，BRADY，D.J.，WILLETT，R.M.，和SCHULZ，T.J.2007.
Single-Shot Compressive Spectral Imaging with a Dual-DisperserArchitecture.Optics Exp.15，21，14013-14027.
GOLDSTEIN，D.H.2003.
Polarized Light，2nd edition.CRC Press，New York，US.
GORTLER，S.，GRZESZCZUK，R.，SZELINSKI，R.，和COHEN，M.1996.
The Lumigraph.In Proc.SIGGRAPH，43-54.
HABEL，R.，KUDENOV，M.，和WIMMER，M.2012.
Practical Spectral Photography.CGF 31，2(May)，449-458.
HAN，J.Y.，和PERLIN，K.2003.
Measuring Bidirectional Texture Reflectance with a Kaleidoscope.
In Proc.SIGGRAPH，741-748.
HEGEDUS，R.，SZEL，G.，和HORVATH，G.2006.
Imaging polarimetry of the circularly polarizing cuticle of scarabbeetles
(Coleoptera：Rutelidae，Cetoniidae).Vision Research 46，2786-2797.
HORN，B.K.P.，和SCHUNCK，B.G.1981.
Determining Optical Flow.Artif.Intell.17，(1-3)，185-203.
HORSTMEYER，R.，EULISS，G.，ATHALE，R.，和LEVOY，M.2009.
Flexible Multimodal Camera Using a Light Field Architecture.InProc.ICCP，1-8.
IHRKE，I.，WETZSTEIN，G.，和HEIDRICH，W.2010.
A Theory of Plenoptic Multiplexing.In Proc.CVPR，1-8.
IHRKE，I.，2012.
Color Calibration Toolbox for MATLAB v2.0.http：//giana.mmci.uni- saarland.de/software.html.
ISAKSEN，A.，MCMILLAN，L.，和GORTLER，S.J.2000.
Dynamically Reparameterized Light Fields.In Proc.SIGGRAPH，297-306.
IVES，H.，1903.
Parallax Stereogram and Process of Making Same.US patent 725，567.
KUDENOV，M.，和DERENIAK，E.2011.
Compact Snapshot Real-Time Imaging Speetrometer.
In SPIE Conf.on Elec.-Opt.Rem.Sens.，Phot.Tech.，and Appl.V，81860W-1-81860W-12.
LANMAN，D.，RASKAR，R.，AGRAWAL，A.，和TAUBIN，G.2008.
Shield Fields：Modeling and Capturing 3D Oceluders.ACM TOG27，5，131.
LEVOY，M.，和HANRAHAN，P.1996.
Light Field Rendering.In Proc.SIGGRAPH，31-42.
LEVOY，M.，CHEN，B.，VAISH，V.，HOROWITZ，M.，MCDOWALL，I.，和BOLAS，M.2004.
Synthetic Aperture Confocal Imaging.ACM TOG 23，3，825-834.
LIPPMANN，G.1908.
La Photographie Inte′grale.Academie des Sciences 146，446-451.
LUMSDAINE，A.，和GEORGIEV，T.2009.
The Focused Plenoptic Camera.In Proc.ICCP，1-8.
MANN，S.，和PICARD，R.W.1995.
Being’Undigital’with Digital Cameras：Extending Dynamic Range byCombining Differently Exposed Pictures.In Proc.IS&T，442-448.
MCGUIRE，M.，MATUSIK，W.，PFISTER，H.，CHEN，B.，HUGHES，J.F.，和NAYAR，S.K.2007.
Optical Splitting Trees for High-Precision Monocular Imaging.IEEE CG&A27，2，32-42.
MITSUNAGA，T.，和NAYAR，S.K.1999.
Radiometric Self Calibration.In Proc.CVPR，374-380.
NARASIMHAN，S.，和NAYAR，S.2005.
Enhancing Resolution along Multiple Imaging Dimensions nsing AssortedPixels.
IEEE Trans.PAMI 27，4，518-530.
NAYAR，S.，和MITSUNAGA，T.2000.
High Dynamic Range Imaging：Spatially Varying Pixel Exposures.InProc.CVPR，vol.1，472-479.
NEUMANN，L.，HEGEDUS，R.，HORVATH，G.，和GARCIA，R.2008.
Applications of High Precision Imaging Polarimetry.InProc.Computational Aesthetics in Graphics，Visualization and Imaging，89-97.
NG，R.，LEVOY，M.，BRE′DIF，M.，DUVAL，G.，HOROWITZ，M.，和HANRAHAN，P.2005.
Light Field Photography with a Hand-Held PlenopticCamera.Tech.Rep.Computer Science CSTR 2005-02，Stanford University.
NG，R.2005.
Fourier Slice Photography.ACM TOG 24，3，735-744.
OKAMOTO，T.，和YAMAGUCHI，I.1991.
Simultaneous Acquisition of Spectral Image Information.OpticsLett.16，16，1277-1279.
PARK，J.-I.，LEE，M.-H.，GROSSBERG，M.D.，和NAYAR，S.K.2007.
Multispectral Imaging Using Multiplexed Illumination.In Proc.ICCV，1-8
PEZZANITI，J.L.，CHENAULT，D.，ROCHE，M.，REINHARDT，J.，PEZZANITI，J.P.，和SCHULTZ，H.2008.
Four Camera Complete Stokes Imaging Polarimeter.In Proc.SPIE 6972，Polarization：Measurement，Analysis，and Remote Sensing VIII，69720J-1-69720J-12.
REINHARD，E.，WARD，G.，DEBEVEC，P.，PATTANAIK，S.，HEIDRICH，W.，和MYSZKOWSKI，K.2010.
High Dynamic Range Imaging：Acquisition，Display and Image-BasedLighting.Morgan Kaufmann Publishers.
RESHETOUSKI，I.，MANAKOV，A.，SEIDEL，H.-P.，和IHRKE，I.2011.
Three-Dimensional Kaleidoscopic Imaging.In Proc.CVPR，353-360.
RUMP，M.，和KLEIN，R.2010.
Spectralization：Reconstructing spectra from sparse data.In Proc.EGSR，1347-1354.
SCHECHNER，Y.，和NAYAR，S.2005.
Generalized Mosaicing：Polarization Panorama.IEEE Trans.PAMI 27，4，631-636.
SCHECHNER，Y.，NARASIMHAN，S.G.，和NAYAR，S.K.2001.
Instant Dehazing of Images using Polarization.In Proc.CVPR，325-332.
SPIERING，B.A.，1999.
Multispectral Imaging System.US Patent 5，900，942.
TOCCI，M.D.，KISER，C.，TOCCI，N.，和SEN，P.2011.
A Versatile HDR Video Production System.ACM TOG 30，4.
TOYOOKA，S.，和HAYASAKA，N.1997.
Two-Dimensional Spectral Analysis using Broad-Band Filters.OpticalCommunications 137(Apr)，22-26.
VEERARAGHAVAN，A.，RASKAR，R.，AGRAWAL，A.，MOHAN，A.，和TUMBLIN，J.2007.
Dappled Photography：Mask Enhanced Cameras For Heterodyned LightFields and Coded Aperture Refocussing.ACM TOG 26，3，69.
WANNER，S.，和GOLDLUECKE，B.2012.
Globally Consistent Depth Labeling of 4D Lightfields.In Proc.CVPR，41-48.
WANNER，S.，和GOLDLUECKE，B.2012.
Spatial and Angular Variational Super-Resolution of 4D LightFields.In Proc.ECCV，608-621.
WETZSTEIN，G.，IHRKE，I.，LANMAN，D.，和HEIDRICH，W.2011.
Computational Plenoptic Imaging.CGF 30，8，2397-2426.
WILBURN，B.，JOSHI，N.，VAISH，V.，等人2005.
High Performance Imaging using Large Camera Arrays.ACM TOG 24，3，765-776.
ZHOU，C.，和NAYAR，S.2011.
Computational Cameras：Convergence of Optics and Precessing.IEEETrans.IP 20，12(Dec)，3322-3340.

Claims (5)

1.一种用于光场成像的照相机附加物，能够插入照相机的机身和镜头之间，所述照相机包括图像传感器，所述照相机附加物包括：
万花筒或涂覆有反射材料的棱镜，用于获得物体或场景的大量光场视图；
拾取系统，用于将所述大量光场视图中的至少一些在图像传感器的相同曝光期间成像到该图像传感器，
其特征在于，
当照相机附加物被插入时，拾取系统被布置在万花筒或棱镜以及照相机的图像传感器之间；以及
拾取系统具有用于调节光场视图的景深的光阑，使得光场混叠能够由用户控制。
2.如权利要求1所述的照相机附加物，还包括光场光瞳匹配系统，以针对外部光学设备有关光瞳的性质进行调节。
3.一种照相机，包括根据权利要求1所述的照相机附加物。
4.一种用于成像的系统，包括根据权利要求1所述的照相机附加物和物镜。
5.一种计算机实现方法，包括以下步骤：
接收数字图像或视频，其中，数字图像或视频包括使用组合有根据权利要求1所述的照相机附加物的成像设备获取的至少一些图像或图像序列；
基于所述至少一些图像或图像序列，重建数字图像或视频；以及
输出数字图像或视频。
CN201480019293.6A 2013-02-13 2014-02-12 全光成像设备 Active CN105210361B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361764084P 2013-02-13 2013-02-13
US61/764,084 2013-02-13
EP13155094 2013-02-13
EP13155094.9 2013-02-13
PCT/EP2014/052747 WO2014124982A1 (en) 2013-02-13 2014-02-12 Plenoptic imaging device

Publications (2)

Publication Number Publication Date
CN105210361A CN105210361A (zh) 2015-12-30
CN105210361B true CN105210361B (zh) 2019-04-12

Family

ID=47713963

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201480019293.6A Active CN105210361B (zh) 2013-02-13 2014-02-12 全光成像设备

Country Status (6)

Country Link
US (2) US9936188B2 (zh)
EP (1) EP2957099B1 (zh)
JP (1) JP6409006B2 (zh)
KR (1) KR101871034B1 (zh)
CN (1) CN105210361B (zh)
WO (1) WO2014124982A1 (zh)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014132257A (ja) * 2012-12-03 2014-07-17 Ricoh Co Ltd 類似度判定システム及び類似度判定方法
US10176562B2 (en) * 2014-02-24 2019-01-08 Rambus Inc. Optical flow sensing and pattern recognition with anti-symmetric phase gratings
EP3161554A4 (en) * 2014-06-25 2018-03-14 Ramot at Tel-Aviv University Ltd. System and method for light-field imaging
FR3030041B1 (fr) * 2014-12-12 2017-12-22 Bertin Technologies Sa Dispositif de filtrage optique pour la detection de gaz
EP3128750A1 (en) * 2015-08-04 2017-02-08 Thomson Licensing Plenoptic camera and method of controlling the same
JP6834134B2 (ja) * 2016-01-21 2021-02-24 オムロン株式会社 撮像装置および情報コード読取装置
US20210168352A1 (en) * 2016-01-26 2021-06-03 Imax Corporation Stereo image projection with high intra-frame contrast
US10089788B2 (en) 2016-05-25 2018-10-02 Google Llc Light-field viewpoint and pixel culling for a head mounted display device
EP3264755A1 (en) * 2016-06-30 2018-01-03 Thomson Licensing Plenoptic sub aperture view shuffling for a richer color sampling
US11300450B2 (en) * 2016-08-10 2022-04-12 Korea Advanced Institute Of Science And Technology Hyperspectral imaging spectroscopy method using kaleidoscope and system therefor
JP7058881B2 (ja) * 2017-03-30 2022-04-25 国立大学法人 奈良先端科学技術大学院大学 撮像装置及び画像処理装置
CN107478858B (zh) * 2017-07-24 2020-02-18 大连理工大学 基于斯托克斯矢量光流的运动速度检测传感器装置及检测方法
CN110999283B (zh) * 2017-08-01 2023-02-03 索尼公司 成像装置、成像方法以及存储介质
US11310481B2 (en) 2017-10-26 2022-04-19 Sony Corporation Imaging device, system, method and program for converting a first image into a plurality of second images
CN107991838B (zh) * 2017-11-06 2020-10-23 万维科研有限公司 自适应三维立体成像系统
CN111344605B (zh) 2017-11-14 2023-10-20 图像影院国际有限公司 针对影院的直视型显示器的光调节
CN107860315A (zh) * 2017-11-17 2018-03-30 浙江大学城市学院 一种结构光全向光场视觉系统组合结构
CN112840643B (zh) * 2018-10-09 2022-01-14 富士胶片株式会社 摄像装置
EP3805819A1 (en) 2019-10-08 2021-04-14 FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. Light-field sensor, light-field sensor arrangement and camera apparatus
DE112021000369T5 (de) 2020-02-19 2022-10-06 Hanon Systems Luftklappe mit fussgängerschutzfunktion
LU102086B1 (de) 2020-09-22 2022-03-23 K/Lens Gmbh Verfahren zur Erstellung einer Bildaufzeichnung
WO2022063806A1 (de) 2020-09-22 2022-03-31 K|Lens Gmbh Verfahren zur erstellung einer bildaufzeichnung
LU102084B1 (de) 2020-09-22 2022-03-23 K/Lens Gmbh Abbildungssystem, insbesondere für eine Kamera
LU102085B1 (de) 2020-09-22 2022-03-23 K/Lens Gmbh Abbildungssystem, insbesondere für eine Kamera
LU102087B1 (de) 2020-09-22 2022-03-23 K/Lens Gmbh Abbildungssystem, insbesondere für eine Kamera
DE102021105689A1 (de) * 2021-03-09 2022-09-15 Cubert GmbH Mehrkanaloptik zur synchronen Aufnahme von Abbildungen
CN113267789B (zh) * 2021-04-30 2022-02-08 西安工业大学 一种红外全波段二维四向偏振调制光栅
EP4123361A3 (en) 2021-07-23 2023-04-12 Burney Kelley 3-dimensional viewing device with stereoscopic affect and interchangeable image discs and components
FR3127836A1 (fr) * 2021-10-06 2023-04-07 Ecole Polytechnique Dispositif d’imagerie plénoptique avec image intermédiaire virtuelle
CN116405649A (zh) * 2022-01-04 2023-07-07 南昌理工学院 高散射环境的复杂场景下成像计算及数据恢复方法
WO2024032966A1 (en) 2022-08-10 2024-02-15 K|Lens Gmbh Method for digital image processing

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101455071A (zh) * 2006-04-04 2009-06-10 奥多比公司 改进的全光照相机
JP2009128421A (ja) * 2007-11-20 2009-06-11 Hiroko Ishibashi 万華鏡模様印刷装置
US8290358B1 (en) * 2007-06-25 2012-10-16 Adobe Systems Incorporated Methods and apparatus for light-field imaging

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US725567A (en) 1902-09-25 1903-04-14 Frederic E Ives Parallax stereogram and process of making same.
GB796102A (en) 1955-06-10 1958-06-04 Ronald Morris Davies Improvements in or relating to kaleidoscopic apparatus
US3661439A (en) 1970-10-30 1972-05-09 John L Burnside Telescopic kaleidoscope
US3971065A (en) 1975-03-05 1976-07-20 Eastman Kodak Company Color imaging array
US4162117A (en) * 1977-09-30 1979-07-24 Gantz Jeanne A Optical image multiplying device
JPS6134520A (ja) 1984-12-28 1986-02-18 Hamai Seisakusho:Kk 万華鏡式撮影具
US4733960A (en) 1985-09-10 1988-03-29 Carolyn Bennett Lens adapter for creating photographically reproduced designs with turnable mirror tube
JPH01119867A (ja) 1987-11-02 1989-05-11 Haisensu:Kk 模様作成方法
JPH08233658A (ja) * 1995-02-24 1996-09-13 Olympus Optical Co Ltd 分光装置及び分光画像記録装置
US5900942A (en) 1997-09-26 1999-05-04 The United States Of America As Represented By Administrator Of National Aeronautics And Space Administration Multi spectral imaging system
US6147702A (en) * 1998-04-17 2000-11-14 Intel Corporation Calibration of digital cameras
GB0208869D0 (en) * 2002-04-18 2002-05-29 Qinetiq Ltd Imaging spectrometer
US7830522B2 (en) * 2002-09-25 2010-11-09 New York University Method and apparatus for determining reflectance data of a subject
JP2004313523A (ja) * 2003-04-17 2004-11-11 Pentax Corp 固体撮像素子、電子内視鏡
US7489342B2 (en) * 2004-12-17 2009-02-10 Mitsubishi Electric Research Laboratories, Inc. Method and system for managing reference pictures in multiview videos
JP2005004487A (ja) * 2003-06-12 2005-01-06 Sony Corp 捕捉パス上で撮影されたサラウンド画像を処理する装置及び方法
JP2005031558A (ja) * 2003-07-10 2005-02-03 Noritake Co Ltd 多波長複数画面光学系
JP4023494B2 (ja) * 2005-01-18 2007-12-19 ソニー株式会社 撮像装置および撮像方法、並びに撮像装置の設計方法
US20070041722A1 (en) * 2005-08-22 2007-02-22 Fong Gary M Light diffuser
CN200984460Y (zh) 2006-12-22 2007-12-05 宋璋嘉 一种拼搭式光学智力玩具
US7792423B2 (en) * 2007-02-06 2010-09-07 Mitsubishi Electric Research Laboratories, Inc. 4D light field cameras
JP4462288B2 (ja) * 2007-05-16 2010-05-12 株式会社日立製作所 映像表示装置及びそれを適用した３次元映像表示装置
US20090262182A1 (en) * 2007-10-15 2009-10-22 The University Of Connecticut Three-dimensional imaging apparatus
US8229294B2 (en) * 2007-12-10 2012-07-24 Mitsubishi Electric Research Laboratories, Inc. Cameras with varying spatio-angular-temporal resolutions
US8265338B2 (en) * 2009-07-02 2012-09-11 Lockheed Martin Corporation System and method for analysis of image data
US8228417B1 (en) * 2009-07-15 2012-07-24 Adobe Systems Incorporated Focused plenoptic camera employing different apertures or filtering at different microlenses
US8525912B2 (en) * 2009-10-16 2013-09-03 Samsung Electronics Co., Ltd. Method and apparatus for photographing an image of digital camera in a mobile communication terminal
US8497934B2 (en) * 2009-11-25 2013-07-30 Massachusetts Institute Of Technology Actively addressable aperture light field camera
US20120154595A1 (en) * 2010-12-17 2012-06-21 Sony Ericsson Mobile Communications Ab Integrated Camera-Projection Device
US20120200829A1 (en) * 2011-02-09 2012-08-09 Alexander Bronstein Imaging and projecting devices and methods
EP2533199B1 (en) 2011-06-10 2014-08-13 Universität des Saarlandes Multi-view imaging system
US20130076931A1 (en) * 2011-09-22 2013-03-28 John Norvold Border Plenoptic lens unit providing refocusable imaging mode

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101455071A (zh) * 2006-04-04 2009-06-10 奥多比公司 改进的全光照相机
US8290358B1 (en) * 2007-06-25 2012-10-16 Adobe Systems Incorporated Methods and apparatus for light-field imaging
JP2009128421A (ja) * 2007-11-20 2009-06-11 Hiroko Ishibashi 万華鏡模様印刷装置

Also Published As

Publication number Publication date
WO2014124982A1 (en) 2014-08-21
EP2957099A1 (en) 2015-12-23
US20180205938A1 (en) 2018-07-19
JP2016511980A (ja) 2016-04-21
JP6409006B2 (ja) 2018-10-17
EP2957099B1 (en) 2018-08-29
US9936188B2 (en) 2018-04-03
KR20150116872A (ko) 2015-10-16
CN105210361A (zh) 2015-12-30
US20160057407A1 (en) 2016-02-25
KR101871034B1 (ko) 2018-07-19

Similar Documents

Publication Publication Date Title
CN105210361B (zh) 全光成像设备
Manakov et al. A reconfigurable camera add-on for high dynamic range, multispectral, polarization, and light-field imaging
Wetzstein et al. Computational plenoptic imaging
Ihrke et al. Principles of light field imaging: Briefly revisiting 25 years of research
Huang et al. Lensless imaging by compressive sensing
Nayar Computational cameras: Redefining the image
CN102356628B (zh) 图像处理装置及图像处理方法
Cossairt et al. When does computational imaging improve performance?
Zhou et al. Computational cameras: convergence of optics and processing
Wetzstein et al. Hand-held schlieren photography with light field probes
JP5723881B2 (ja) マルチスペクトル撮像
CN108780142A (zh) 3d成像系统和方法
WO2015015717A1 (ja) 撮像装置、並びにそれを用いた撮像システム、電子ミラーシステムおよび測距装置
Nayar Computational cameras: approaches, benefits and limits
TW201230773A (en) Image capture using three-dimensional reconstruction
JP2006276863A (ja) シーンの複数の光学特性を複数の分解能で取得するカメラシステム
WO2012137485A1 (ja) ３次元撮像装置、画像処理装置、画像処理方法および画像処理プログラム
CN103098480B (zh) 图像处理装置及方法、三维摄像装置
CN108495115B (zh) 图像传感器及其像素组和像素阵列，获取图像信息的方法
CN109792511A (zh) 用于更丰富颜色采样的全光子孔径视图滑移
CN109417590A (zh) 具有改进的分辨率的全光子孔径视图改组
JP2002218510A (ja) ３ｄ画像取得装置
Mignard-Debise Tools for the paraxial optical design of light field imaging systems
WO2012053143A1 (ja) ３次元撮像装置および画像処理装置
Zhang Investigations into applications of photometric stereo and single-pixel imaging

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20211203

Address after: Saarbrucken, Germany

Patentee after: K Raines Co.,Ltd.

Address before: Saarbrucken, Germany

Patentee before: UNIVERSITAT DES SAARLANDES

Patentee before: Mapu Technology Promotion Association