CN101610353A

CN101610353A - 用于全分辨率光场捕获和绘制的方法和设备

Info

Publication number: CN101610353A
Application number: CNA2009100039509A
Authority: CN
Inventors: T·G·乔吉夫; A·卢姆斯戴尼
Original assignee: Adobe Systems Inc
Current assignee: Adobe Inc
Priority date: 2008-01-23
Filing date: 2009-01-23
Publication date: 2009-12-23
Anticipated expiration: 2029-01-23
Also published as: US8160439B2; US8380060B2; US20110211824A1; US20120177356A1; US7962033B2; US20090185801A1; CN101610353B

Abstract

本发明涉及用于全分辨率光场捕获和绘制的方法和设备。描述了一种辐射度照相机，其中微透镜阵列中的微透镜聚焦于主透镜的图像平面，而不是如同传统全光照相机那样聚焦于主透镜。微透镜阵列可以定位在与光传感器距离为f的位置，其中f是微透镜的焦距。描述了一种辐射度照相机，其中从光传感器到微透镜阵列的距离是可调节的，并且其中照相机的其他特性是可调节的。全分辨率光场绘制方法可以应用于由辐射度照相机捕获的光场，以绘制较高分辨率的输出图像，所述分辨率以比传统全光照相机和绘制方法所能够提供的分辨率更高。

Description

用于全分辨率光场捕获和绘制的方法和设备

技术领域

本发明涉及用于全分辨率光场捕获和绘制的方法和设备。

优先权信息

本申请要求于2008年1月23日提交的名为“Full-resolutionLightfield Rendering”的美国临时申请序列号No.61/023,036的优先权，在此通过引用并入其全部内容。

背景技术

在传统照相机中，主透镜将照相机外部场景中的3D世界映射为照相机内部的3D世界。图1示出了传统照相机中的成像。“内部世界”表示相机内部。阴影椭圆形区域表示外部世界中深度状况以及照相机内部的相应深度。示出了照相机内部的一个特定图像平面。照相机以外场景的3D世界映射到照相机内部3D世界的映射遵循如下透镜等式：

\frac{1}{A} + \frac{1}{B} = \frac{1}{F}

其中A和B分别是从透镜到对象平面的距离以及从透镜到图像平面的距离。通常，使用此等式来描述在两个固定平面之间的单一图像映射的结果。然而在实践中，透镜等式描述无穷数量的映射——其对在距离A和距离B的值之间的关系进行约束而不是固定。即，由物镜(objective lens)将外部场景中的每个平面(将其描述距物镜透镜某距离A)映射至处于距离B处的照相机内部的相应平面。在将传感器(例如，传统胶片、电荷耦合设备(CCD)等)放置在照相机内部的F与∞(无穷大)之间的距离B的位置处时，传感器捕获位于A处相应平面的焦点对准的图像，该图像从透镜之前的场景被映射。

传统照相机将三维场景绘制到二维传感器之上。在操作期间，传统数字照相机捕获二维(2D)图像，其表示每个点到达照相机内部光传感器上的光的总量。然而，2D图像不包含关于到达光传感器的光的方向的信息。由传统照相机捕获的图像基本上是在其角度部分上对辐射率函数进行积分，这得到了作为位置的函数的二维强度。原始辐射的角度信息被丢失。由此，传统照相机不能捕获大量的光学信息。

光场或者辐射度捕获照相机

相对于传统照相机，光场或称辐射度(radiance)捕获照相机对四维(4D)光学相位空间或称光场进行采样，以此来捕获关于光线方向分布的信息。由光场照相机捕获的这一信息可以称作光场、全光函数或者辐射度。在计算摄影中，光场是3D中所有光线的4D记录。辐射度描述空间信息和角度信息两者，其被定义为每个立体角度(以弧度为单位)单位区域的能量密度。光场照相机捕获辐射度，由此，可以对原始拍摄时焦点未对准的光场图像进行重新聚焦，并且可以降低噪声、改变视点、并且可以实现其他光场效果。

光场(即，辐射度)可以利用传统照相机来捕获。在一个传统方法中，可以利用传统照相机从不同位置来捕获场景的M×N的图像。例如，如果从64个不同位置捕获了8×8的图像，则产生64个图像。来自每个图像中的每个位置(i，j)的像素被拍摄并且被放置在块之中，以生成64个块。图2示出了示例性现有技术的光场照相机或者照相机阵列，其使用了两个或者更多物镜透镜110的阵列。每个物镜透镜聚焦于光传感器108的特定区域，或者备选地聚焦于分离的光传感器108。此光场照相机100可以看作两个或者更多传统照相机的组合，其中每个传统照相机同时将对象的图像记录在光传感器108的特定区域上，或者备选地记录在特定的光传感器108上。继而，可以将捕获的图像进行结合以形成一个图像。

图3示出了一个示例性现有技术的全光照相机，即，另一类型的辐射度捕获照相机，其使用单个物镜透镜以及微透镜或者小透镜(lenslet)阵列106，该阵列106包括例如大约100,000个小透镜。在传统全光照相机102中，小透镜阵列106固定在距光传感器108很小的距离处(～0.5mm)，其中所述光传感器例如是电荷耦合设备(CCD)。在传统全光照相机中，精确地布置或者调节微透镜，以便将其准确地定位在距传感器108一个焦距长度f的位置处。这可以通过将微透镜阵列置于距离传感器f的位置处来实现，其中f是微透镜的焦距长度。另一种说法是，对于微透镜来说，将f选择为与到光传感器108的距离相等。换言之，如果微透镜与主透镜之间的距离相对于微透镜焦距来说较大，则微透镜聚焦于无穷远，这基本上等于将微透镜聚焦于主透镜104。由此，由全光照相机102捕获的原始图像由主透镜108的小图像(通常是圆)的阵列构成。这些小图像可以称作微图像。然而，在传统全光照相机102中，每个微透镜不是在传感器108上创建内部世界的图像，而是创建主照相机透镜104的图像。

小透镜阵列106使得全光照相机102能够捕获光场，即，不但记录图像强度，还记录在每个点处沿不同方向的强度分布。每个小透镜将从主透镜104将到达该小透镜的光束划分成为来自主透镜104的孔径上不同位置的光线。这些光线中的每条光线在光传感器108上被记录为像素，并且在每个小透镜下的像素一起形成了n像素的图像。在每个小透镜下的这个n像素区域可以称作宏像素，并且照相机102在每个宏像素处生成宏图像。例如，由具有100,000个小透镜的照相机102捕获的全光照片将包含100,000个宏像素，并且由此生成对象的100,000个宏图像。每个宏像素包含到达给定微透镜的光线的不同角度采样。每个宏像素仅对场景的不同角度视图中的一个像素有所贡献；即，在给定的角度视图中，仅使用来自一个宏像素的一个像素。结果，每个角度视图包含100,000个像素，每个像素由不同宏像素来贡献。另一类积分或者光场相机类似于图3的全光照相机，只是其在主透镜以及光传感器之间使用针孔阵列而不是使用小透镜阵列。

图4进一步示出了一个示例性现有技术的全光照相机模型。在传统全光照相机102中，微透镜空间系统对微透镜处辐射度的位置坐标和角度坐标进行交换。为清楚起见，仅示出了通过一个微透镜的光线。此类全光照相机的传统光学分析认为这是符合微透镜系统的主透镜系统的层叠。层叠系统的基本操作如下。由主透镜104聚焦的光线被微透镜106分离，并且在传感器108上被捕获。在其交点处，光线具有相同的位置但是具有不同斜度。这种斜度的差异导致了光线通过微透镜空间系统时的光线分离。更具体地，每个微透镜功能在于交换辐射度的位置和角度坐标，继而，该新位置信息由传感器108所捕获。由于交换，其表示微透镜处的角度信息。结果，由传感器108捕获的每个微透镜图像表示相应微透镜的光轴位置处辐射度的角度信息。

光场是辐射度密度函数，其描述在三维(3D)空间中沿所有光线的能量流。由于描述光线的位置和朝向需要四个参数(例如，两个维度的位置信息和两个维度的角度信息)，所以辐射度是四维(4D)函数。此函数可以称作全光函数。另一方面，图像传感器技术仅是二维的，并且由此光场影像必须以平面(二维)形式来捕获和表示。已经开发了各种技术，以便按照与2D传感器技术兼容的方式来转换和捕获4D辐射度。这可以称作4D辐射度的平面或者光场表示。

为了适应维度的其他度数，捕获平面辐射度需要极高的传感器分辨率。即使这样，图像仍是以比传感器分辨率低得多的分辨率而从平面被绘制的，即，以辐射度的位置坐标的分辨率而被绘制。如果对角度信息进行精细采样，则来自平面光场影像的大量像素被用来创建所绘制图像中的仅一个像素。每个微透镜确定所绘制图像中的仅一个像素；在对一个微透镜下的角度信息进行积分时，在所绘制图像中仅确定一个像素。由此，所绘制图像具有的分辨率量级可能小于原始平面光场图像自身的分辨率量级。例如，在一个示例性传统光场照相机中，可以通过24,872×21,818的像素阵列在2D中表示“平面”。所表示的4D辐射度例如可以是408×358×61×61。利用现有绘制技术，图像以408×358(即，0.146百万像素)从该辐射度被绘制。这不但是一种令人失望的有限分辨率(当今的任意移动电话都具有更好的分辨率)，而且任意特定绘制的视图仅使用来自平面影像的每3,720像素中的一个。在平面和所绘制图像的分辨率之间的较大差异对于摄影师来说是极端的浪费，因为摄影师极度关心的是所拍摄的照片而不是所捕获辐射度的平面表示。

发明内容

描述了用于全分辨率光场捕获和绘制的方法和设备的各种实施方式。描述了一种全分辨率辐射度照相机的实施方式，以及用于从该全分辨率辐射度照相机的实施方式所捕获的平面光场影像来绘制高分辨率图像的方法。使用传统光场照相机和传统光场绘制方法而从光场绘制的图像具有非常低的分辨率。相比于传统光场照相机以及绘制方法，全分辨率辐射度照相机以及全分辨率光场绘制方法的实施方式更充分地满足现代摄影术对于分辨率和图像大小的期望。

在辐射度照相机的实施方式中，微透镜聚焦于由照相机内部的主透镜创建的图像(主透镜的图像平面)，而不是像传统全光照相机中那样聚焦于主透镜本身。这有助于提高或者最大化空间分辨率，并且由此实现更为清晰、更高空间分辨率的微透镜图像。在图像平面中，在照相机之前存在真实的场景图像，并且其由主透镜折射至图像平面，但是在物理上什么都没有(除了光以外)；图像平面仅仅是空间中的平面位置，可将其视为具有由主透镜创建的“空中”图像。微透镜聚焦于图像平面而不是主透镜，其可以捕获图像平面处的图像。每个微透镜捕获图像平面处的图像的小范围或者小区域，并且将所捕获的区域映射或者投影至光传感器的相应区域之上。辐射度照相机的成像属性可以看作两个步骤：从世界通过主透镜到图像平面，以及继而从图像平面通过微透镜到光传感器。这类似于两个照相机的层叠，但是第二照相机实际上是多个小照相机，因为每个微透镜实际上是捕获来自图像平面的小图像的小照相机。与传统全光照相机进一步不同，辐射度照相机实施方式中的微透镜可以定位在或者移动至与光传感器的距离大于f或者小于f的位置，其中f是微透镜的焦距。在一个示例性实施方式中，微透镜阵列可以放置在与光传感器的距离为4/3f的位置。其他实施方式可以将微透镜阵列放置在与光传感器的距离大于或者小于f的其他位置。另外，描述了辐射度照相机的如下实施方式中，其中光传感器与微透镜阵列的距离是可变或者可调节的，并且其中照相机的其他特征是可调节的。在数字照相机以及胶片照相机中实现的全分辨率辐射度照相机的各种实施方式是可预期的，并且描述了两种类型的示例性实施方式。

在全分辨率光场绘制方法的实施方式中，可以获取由辐射度照相机所捕获的平面光场图像。可以检查光场图像的区域中的微图像，以确定在微图像中的边缘相对于移动方向的移动方向。如果确定区域微图像中的边缘正在相对于微图像中心沿着与移动方向相同的方向移动，则可以将该区域中的微图像相对于其各自的中心进行翻转。可以将微图像分别进行切割，以生成每个微图像的m×m的子区域或称切割，其中m是大于2的整数。可以将来自微图像的子区域或者切割进行适当组合以形成场景的最终高分辨率图像。

通过使微透镜聚焦于由主透镜产生的图像，辐射度照相机的实施方式能够完全捕获光场的位置信息。全分辨率光场绘制方法的实施方式可用以从辐射度照相机的实施方式所捕获的光场图像来绘制全分辨率图像，其产生的输出图像的分辨率远远高于传统光场绘制技术的分辨率。实施方式可以按照满足现代摄影术期望(例如，一千万以及更高的像素)的空间分辨率来绘制图像，这使得光场摄影术更为切实可行。

附图说明

图1示出了传统照相机中的成像；

图2示出了使用了两个或者更多物镜透镜阵列的示例性现有技术光场照相机或者照相机阵列；

图3示出了使用单个物镜透镜和微透镜阵列的示例性现有技术全光照相机；

图4进一步示出了一个示例性现有技术的全光照相机；

图5A示出了由全光照相机捕获的原始光场图像；

图5B示出了根据传统绘制方法的、从图5A的光场图像绘制的最终图像；

图5C示出了根据全分辨率光场绘制方法实施方式的、从图5A的光场图像绘制的最终图像；

图6是示出了根据一个实施方式的全分辨率辐射度的框图；

图7示出了具有可以集成在照相机中的各种其他元件的辐射度照相机示例性实施方式；

图8示出了基于大格式胶片照相机的辐射度照相机200的一个示例性实施方式；

图9示出了来自利用全光照相机获得的原始光场图像的示例切割；

图10示出了全光照相机的望远镜情况；

图11示出了来自图9中的屋檐区域的切割，并且可视地示出了光场照相机中的“望远镜”行为；

图12示出了全光照相机的显微镜情况；

图13示出了来自图9中树木区域的切割，并且可视地示出了光场照相机中的“显微镜”行为；

图14A示出了n＝4的望远镜情况下的光线几何；

图14B示出了n＝4的望远镜情况下的光线几何；

图15示出了直径D的透镜圆(或者微图像)以及大小为m的块或者切割，其中m是大于或者等于2的整数；

图16示出了对示例性微透镜阵列的放大；

图17示出了数字化光场图像的部分；

图18A至图18C示出了使用传统绘制方法而从光场图像绘制的输出图像；

图19示出了光场的全分辨率绘制，假定该绘制是根据一个全分辨率光场绘制方法的实施方式的望远镜情况；

图20示出了光场的全分辨率绘制，假定该绘制是根据一个全分辨率光场绘制方法的实施方式的显微镜情况；

图21是示出了根据一个实施方式的在辐射度照相机内部如何指引光线的流程图；

图22是根据一个实施方式的全分辨率光场绘制方法的流程图；

图23示出了根据一个实施方式的、从例如由辐射度照相机所捕获的光场来绘制高分辨率图像的全分辨率光场绘制模块；以及

图24示出了在实施方式中可以使用的一个示例性计算机系统。

尽管在此以多个实施方式以及示意性附图的示例方式描述了本发明，但是本领域技术人员应该理解，本发明不局限于所描述的实施方式或者附图。应该理解，在此的附图和详细描述并不旨在将本发明限制于所公开的特定形式；而是相反，其旨在于涵盖落入本发明的精神和范围以内的所有修改、等效方式和备选方式。在此使用的标题仅用于组织的目的，而并不意味着显示描述的范围。如在本申请中通篇使用的，词语“可以”是以许可型方式(即，意味着具有可能性)使用，而不是以强制性方式(即，意味着必须)使用。类似地，各种形式的“包括”意味着包括而不限于。

具体实施方式

本发明描述了用于全分辨率光场捕获和绘制的方法和设备的各种实施方式。本发明描述了全分辨率辐射度照相机的实施方式，以及用于从该全分辨率辐射度照相机的实施方式所捕获的平面光场影像来绘制高分辨率图像的绘制方法。将用于从全分辨率辐射度照相机的实施方式所捕获的平面光场影像来绘制高分辨率图像的方法称作全分辨率光场绘制方法，或者简称为光场绘制方法。为简单起见，将全分辨率辐射度照相机称作辐射度照相机。

光场摄影术支持数字成像的多种新可能性，因为光场摄影术捕获场景的空间信息和角度信息两者，即，场景的全部四个维度的辐射度。需要高分辨率以便利用二维传感器来捕获四维数据。然而，使用传统光场照相机以及传统光场绘制方法，作为四维辐射度到两个空间维度的映射而从该数据被绘制的图像具有非常低的分辨率。相对于使用传统光场照相机以及绘制方法，全分辨率辐射度照相机以及全分辨率光场绘制方法的实施方式可以更充分地满足现代摄影师的分辨率和图像尺寸的期望。

在全分辨率光场照相机的实施方式中，微透镜阵列中的微透镜聚焦于主照相机透镜的图像平面，而不是像传统全光照相机中那样聚焦于主照相机透镜本身。在图像平面中，在照相机之前存在真实的场景图像，并且其由主透镜折射至图像平面，但是在物理上什么都没有(除了光以外)；图像平面仅仅是空间中的平面位置，可以认为其是由主透镜创建的“空中”图像。微透镜聚焦于图像平面而不是主透镜，其可以捕获图像平面处的图像。每个微透镜捕获图像平面处的图像的小范围或者小区域，并且将所捕获的区域映射或者投影至光传感器的相应区域之上。辐射度照相机的成像属性可以看作两个步骤：从世界通过主透镜到图像平面，以及继而从图像平面通过微透镜到光传感器。这类似于两个照相机的层叠，但是第二照相机实际上是多个小照相机，由于每个微透镜实际上是捕获来自图像平面的小图像的小照相机。这还类似于望远镜操作的方式。通过使微透镜聚焦于由主透镜产生的图像，辐射度照相机的实施方式能够完全捕获辐射度的位置信息。全分辨率光场绘制方法的实施方式可用以从辐射度照相机的实施方式所捕获的光场图像来绘制全分辨率图像，其产生的输出图像的分辨率远远高于传统光场绘制技术的分辨率。实施方式可以按照满足现代摄影术期望(例如，一千万以及更高的像素)的空间分辨率绘制图像，这使得光场摄影术更为切实可行。

在下文中给出了对光场照相机结构和光学器件的分析，其深入研究了光场照相机中的主透镜系统与微透镜阵列之间的交互。基于此分析结果，实施方式利用了如下事实：在每个深度平面，辐射度包含关于场景的数量可观的位置信息，所述信息编码于该平面处的角度信息中。由此，实施方式可以称作全分辨率，这是因为实施方式对在四维辐射度中可用的角度信息以及位置信息两者进行充分使用，如在分析中所见的那样。超分辨率(super-resolution)技术从子像素偏移的低分辨率图像来创建高分辨率图像，与之不同，实施方式直接从辐射度数据来绘制高分辨率图像。此外，实施方式可以生成光场图像，其可由辐射度处理技术(诸如，傅立叶切片重聚焦)来处理。

出于比较目的，图5A至图5C示出了传统全光照相机和绘制方法的结果以及在此所述的全分辨率辐射度照相机和全分辨率光场绘制方法的结果。图5A示出了由全光照相机捕获的原始光场图像。注意，对于未经训练的人眼来说，由传统全光照相机捕获的原始光场图像看起来类似于由全分辨率辐射度照相机的实施方式捕获的原始光场图像。图5B示出了传统绘制的最终图像，图5C示出了根据在此所述的全分辨率光场绘制方法而绘制的最终图像。当与图5B中的空间分辨率相比较时，即使在这种小的、灰度级格式中，在图5C中的空间分辨率的巨大改进也是显而易见的。

全分辨率辐射度照相机

描述了全分辨率辐射度照相机的各种实施方式。在诸如图3和图4中示出的传统全光照相机中，精确地放置和调节微透镜，以便使其准确地处于距离光传感器一个焦距f的位置，其中f是微透镜的焦距。另外，在传统全光照相机中，微透镜阵列固定于照相机的主透镜或者物镜透镜的图像平面处，并且阵列中的微透镜聚焦于无穷远。相反，在此描述的辐射度照相机的实施方式中，为了提高或者最大化空间分辨率(即，为了实现更为锐利、更高空间分辨率的微透镜图像)，微透镜聚焦于由照相机内部的主透镜所创建的图像，并且位于微透镜(主透镜的图像平面)之前，而不是如同传统全光照相机那样聚焦于主透镜本身。与传统全光照相机进一步相反，在此描述的辐射度照相机的实施方式中的微透镜可以定位在或者移动至与光传感器的距离大于f或者小于f的位置，其中f是微透镜的焦距。在一个实施方式中，微透镜阵列可以放置在与光传感器的距离为4/3f的位置处。其他实施方式可以将微透镜阵列放置在f倍数的其他位置处，例如1.5f或者3/4f。另外，描述辐射度照相机的如下实施方式，其中光传感器与微透镜阵列的距离是可变或者可调节的，并且其中照相机的其他特征是可调节的。例如，在一个实施方式中，可以在0.5f至1.5f的范围内调节光传感器与微透镜的距离。对于望远镜情况(光传感器与微透镜阵列的距离＞f)，最大可用距离可以是1.5f，尽管不实际，但大于1.5f的距离也是可能的。由此，对于望远镜情况，光传感器与微透镜阵列距离的实际范围可以是f＜b≤1.5f。

在数字照相机和胶片照相机中实现全分辨率辐射度照相机的各种实施方式是可预期的，并且描述了两种类型的示例性实施方式。在数字照相机中，光传感器是诸如电荷耦合设备(CCD)的数字光捕获设备或者介质，其以数字格式来捕获并且记录光。在胶片照相机中，光传感器是胶片。由此，在此使用的“光传感器”是指在数字照相机中使用的捕获光的数字介质以及在胶片照相机中使用的捕获光的胶片介质，更一般地，是指可用来捕获光的设备或者介质。使用胶片照相机实施方式在胶片上捕获的光场图像可以随后进行数字化，例如，使用高分辨率扫描仪来进行，从而例如可以使用在此所述的高分辨率光场绘制方法来进行绘制，以便产生高分辨率输出图像。使用数字照相机实施方式捕获的光场图像可以直接绘制。

除了数字和胶片实施方式以外，全分辨率辐射度照相机的数字照相机和胶片照相机实施方式二者的固定的和可调节的实施方式是可预期的，并且描述了两种类型的示例性实施方式。在固定的实施方式中，光传感器和微透镜位于彼此具有固定距离b(该距离b是f的倍数，例如4/3f、3/4f或者1.5f，其中f是微透镜的焦距)的位置。注意，在此使用b来表示在微透镜以及光传感器之间的距离，在此使用a来表示在微透镜和主透镜或者物镜透镜的图像平面之间的距离。在某些实施方式中，微透镜阵列/光传感器组合可以固定在照相机机身中的某个位置。在某些实施方式中，微透镜阵列的光学特征及其物理位置可以都是固定的。在某些实施方式中，照相机的主透镜的光学特性和位置可以是固定的，同时可以允许快门速度、孔径焦距等有所变化。在可调节实施方式中，可以使用各种手工装置或者自动装置来改变光传感器与微透镜阵列之间的距离b，以便改变照相机机身中的微透镜阵列/光传感器组合的位置，改变从主透镜到微透镜阵列的距离，改变微透镜与图像平面之间的距离a，和/或交换或者替换各种组件(诸如，微透镜阵列和主透镜)。另外，照相机的主透镜可以是可交换的，以便使用不同的主透镜，并且可以根据孔径、快门速度、焦距、与微透镜阵列的距离等来进行调节。可以使用并且可能使用微透镜阵列可交换的实施方式，从而使微透镜阵列具有不同数量的微透镜和/或微透镜具有不同的光学特性。

光学系统的光学特性包括透镜的光学特性以及各种组件或者元件之间的距离，所述光学特性在捕获光场中是重要的，如在此所描述的，该光场可以被绘制以获得高分辨率输出图像。由此，在固定实施方式中，微透镜、主透镜、光传感器以及这些组件在照相机中的相对物理位置可以根据在此描述的公式和等式来确定，以便捕获适当和令人满意的光场图像。在可调节实施方式中，某些实施方式可以包括自动装置，该自动装置自动地调节一个或者多个组件的定位或者其他方面，以便捕获适当的和令人满意的光场图像。例如，如果用户调节或者替换一个组件，则照相机可以自动调节一个或者多个其他组件来适应该变化。备选地，可调节辐射度照相机的人类操作者可以手工调节一个或者多个组件的定位或者其他方面，可以利用具有不同特性的单元来替换一个或者多个组件，或者可以插入其他组件(例如，微片(microsheet)玻璃，这将在下文描述)，以便捕获适当的和令人满意的光场图像。

图6至图8示出了在此所述的辐射度照相机的示例性胶片照相机以及数字照相机的实施方式，并且进一步示出了辐射度照相机的固定实施方式以及可调实施方式二者。应该注意，这些是示例性实施方式而并不旨在进行限制。其他实施方式也是可能并且是可以想到的。

图6是示出根据一个实施方式的全分辨率辐射度照相机的框图。辐射度照相机200可以包括主(物镜)透镜230、微透镜阵列220以及光传感器210。微透镜阵列220可以定位在与光传感器210距离大于f的位置，其中f是阵列220中微透镜的焦距。另外，阵列220中的微透镜聚焦于主透镜230的图像平面240。相反，在诸如图3和图4中的传统全光照相机中，微透镜阵列106固定在与光传感器108距离为f的位置处，并且阵列106中的微透镜聚焦于主透镜104。在某些实施方式中，光传感器210可以是传统胶片；在其他实施方式中，光传感器210可以是用于以数字方式来捕获光的设备(例如，CCD)。在微透镜阵列220的一个实施方式中，其可以在辐射度照相机200的实施方式中使用，或者在如图7和图8中所示的其他实施方式中使用，微透镜阵列220可以包括直径0.25mm和焦距0.7mm的146,000个微透镜。微透镜阵列220的其他配置(包括不同数量的微透镜和/或具有不同光学特性的微透镜)是可能的并且是可以想到的。图16示出了对示例性微透镜阵列的放大，并且示出了个体微透镜以及微透镜之间的(黑)铬遮罩。

图7示出了具有可在照相机200中集成的各种其他元件的辐射度照相机的示例性实施方式200。在辐射度照相机200的某些实施方式中，物镜透镜230、微透镜阵列220以及光传感器210可以是固定的。在其他实施方式中，上述元件的一个或者多个是可替换的和/或可调节的。在某些实施方式中，光传感器210可以是传统胶片；在其他实施方式中，光传感器210可以是用于以数字方式来捕获光的设备(例如，CCD)。通常，除了主透镜230、微透镜阵列220以及光传感器210以外，在此所述的辐射度照相机200的实施方式可以包括在数字照相机或者其他照相机(包括光场和全光照相机以及大格式胶片照相机)中常见的任何其他类型的元件和特征，并且还可以包括在传统照相机中不常见的其他元件和特征。

在一个实施方式中，可以在捕获数据处理模块260中实现用于从辐射度照相机200所捕获的光场来绘制高分辨率图像的全分辨率光场绘制方法和/或应用于辐射度照相机200的实施方式所捕获光场的其他图像处理算法。可以通过硬件、软件或者其组合的方式来实现捕获数据处理模块260。备选地，如在此所述，可以根据在独立设备(例如，计算机系统)上执行的全分辨率光场绘制模块中所实现的全分辨率光场绘制方法来绘制由辐射度照相机200捕获的光场，以便生成所捕获场景的一个或者多个高分辨率输出图像。在图24中示出了可以实现全分辨率光场绘制方法的实施方式的示例性计算机系统。

辐射度照相机200可以包括快门314。快门314可以位于物镜透镜230之前或者之后。辐射度照相机200可以包括一个或者多个处理器300。辐射度照相机200可以包括功率源或者电源304，诸如一个或者多个可替换或者可充电电池。辐射度照相机200可以包括存储器存储设备或者系统302，用于存储所捕获的光场图像和/或所绘制的最终图像或者诸如软件的其他信息。在一个实施方式中，存储器302可以是可移除的/可交换的存储设备，诸如存储棒。辐射度照相机200可以包括屏幕306(例如，LCD屏幕)，其用于在捕获之前查看照相机前方的场景，和/或用于查看先前已经捕获和/或绘制的图像。屏幕306还可用以向用户显示一个或者多个菜单或者其他信息。辐射度照相机200可以包括一个或者多个I/O接口312(诸如，FireWire或者通用串行总线(USB)接口)，用于与外部设备(诸如，计算机系统甚至其他照相机)双向传输例如所捕获的光场图像、软件更新等的信息。辐射度照相机200可以包括快门线(shutter release)308，其被激活以捕获对象或者场景的光场图像。

辐射度照相机200可以包括一个或者多个控件310，例如用于控制辐射度照相机200的光学方面的控件(诸如快门速度)、用于控制查看以及管理和操纵存储在照相机存储器中的已捕获图像的一个或者多个控件等。可调节辐射度照相机200可以包括一个或者多个控件，用于调节在照相机200中组件的相对位置(之间的距离)，诸如微透镜阵列220与光传感器210之间的距离b。可调节辐射度照相机200可以包括一个或者多个人工或者自动调节装置320或者调节器，其配置用于调节照相机200中组件的相对位置(组件之间的距离)，诸如微透镜阵列220与光传感器210之间的距离b。在某些实施方式中，调节机构320可以用于响应于控件310来调节一个或者多个组件。

图8示出了基于大格式胶片照相机的辐射度照相机200的示例性实施方式。与用来对从底片或者照片捕获的图像进行数字化的当前高分辨率扫描仪相结合使用，大格式胶片照相机实施方式对于4D辐射度(原始光场图像)的平面或者光场表示能够达到1G像素或者甚至更高的分辨率。例如，一个示例性实施方式可以在使用135mm物镜透镜430和4×5格式胶片作为“光传感器”的大格式胶片照相机中实现(在大格式照相机中，在胶片夹402或者胶卷中通常放置单一底片，可以将该胶片夹402或者胶卷插入照相机机身或者从其中移除)。在各种实施方式中可以使用其他物镜透镜和/或其他胶片格式，例如8×10格式的胶片。辐射度照相机400包括微透镜阵列406。图16示出了对示例性微透镜阵列的放大，并且示出了个体微透镜和微透镜之间的(黑)铬遮罩。在可以在辐射度照相机400的实施方式中使用或者可以在如图6和图7所示出的其他实施方式使用中的微透镜阵列的一个实施方式中，微透镜阵列406可以包括具有0.25mm直径以及0.7mm焦距的146,000个微透镜。包括不同数量微透镜和/或具有不同光线特性的微透镜的微透镜阵列406的其他配置也是可能的并且可以想到的。

在一个实施方式中，大格式胶片照相机的胶片夹402内部的装置保持微透镜阵列406，从而使阵列406的玻璃基底的平面侧抵靠胶片。在一个实施方式中，微透镜阵列406的厚度是这样的，当抵靠胶片放置时，微透镜与胶片的距离为f。微透镜阵列406还可以是其他配置，并且大格式胶片照相机的配置使其可以通过简单地使用不同微透镜阵列406而容易地改变微透镜的配置。在装配中可以使用玻璃微片404作为微透镜阵列406与胶片夹402中胶片之间的间隔物或者垫片，以便增加微透镜和胶片之间的距离，使该距离大于f(例如，4/3f)。一种可以使用的示例性微片404厚度为0.23mm。插入微片玻璃404以严格控制的方式来提供间隔。在一个实施方式中，可以通过在胶片夹402和微透镜阵列406之间增加单个微片404来产生额外间隔，以便将微透镜从传感器再偏移1/3f，约0.2mm。还可以添加附加的微片404来提供附加间隔。在某些实施方式中，还可以使用微片玻璃以外的其他装置作为微透镜阵列406与胶片夹402之间的间隔物，以便调节微透镜阵列406与胶片夹402之间的距离。

如图8中所示，在一个实施方式中，胶片夹402可以与微透镜阵列406耦合，以创建组合件410。根据需要或者期望，一个或者多个微片404可以可选地插入胶片夹402与微透镜阵列406之间以提供附加间隔。组合件410继而可以插入大格式胶片照相机。大格式胶片照相机和组合件410的结合可以有效地形成辐射度照相机400。继而可以使用辐射度照相机400在胶片夹402中的胶片上捕获场景的光场图像。继而，组合件410可以从照相机400中移除、拆装，并且可以对胶片进行适当处理。光场图像的胶片底片和/或照片继而可以被数字化，例如使用高分辨率扫描仪或者从底片生成数字图像的设备来进行数字化。数字化的光场图像可以存储至存储器设备，诸如盘驱动器、DVD、CD等。可以根据在计算机系统上运行的全分辨率光场绘制模块中实现的全分辨率光场绘制方法来绘制数字化的光场图像，以便生成在此描述的场景的一个或者多个高分辨率输出图像。在图24中示出了一种示例性计算机系统，在该系统中可以实现全分辨率光场绘制方法的实施方式。

在此提供的对全分辨率光场绘制方法和设备的分析示出：微透镜聚焦于在辐射度照相机中的图像平面，而不是如同在传统全光照相机中那样聚焦于主透镜本身，这使得全分辨率光场绘制方法和设备的实施方式可以更完全地利用所捕获的平面光场影像(即，由光场照相机捕获的原始光场图像)中可用的位置信息。基于微透镜的高分辨率以及良好的聚焦，相对于传统全光照相机以及传统绘制方法而言，所述方法和设备的实施方式能够实现非常高的绘制图像分辨率。例如，在与来自传统全光照相机和传统绘制方法的结果相比时，一个实施方式实现了每个空间维度分辨率的27倍的提高。

全分辨率光场绘制方法

描述了用于绘制来自光场高分辨率图像的方法和设备的实施方式，所述光场例如由全分辨率辐射度照相机的实施方式所捕获。用于从光场来绘制高分辨率图像的方法可以称作全分辨率光场绘制方法。光场绘制方法可以称为“全分辨率”是因为该方法对于在所捕获辐射度数据中可用的位置信息和角度信息两者进行完全的使用。全分辨率光场绘制方法可以在工具、模块、库函数、插件、单独应用等中实现。为简单起见，可以将全分辨率光场绘制方法的实施方式的实现称作全分辨率光场绘制模块。备选地或者附加地，还可以对全分辨率光场绘制模块和/或其他模块所捕获的光场图像应用其他光场绘制或者处理技术。图24示出了可以实现全分辨率光场绘制模块的实施方式的示例性计算机系统。

给出了对所述方法的限制和折衷的分析以及全分辨率光场绘制方法的描述。当相比于传统方法时，可以通过使用传统绘制方案以及使用在此所述的全分辨率光场绘制方案从542兆像素的光场绘制图像，以此通过试验来示例性说明全分辨率光场绘制方法的有效性。在实验中，传统绘制方法产生0.146兆像素的最终图像，而全分辨率光场绘制方法产生106兆像素的最终图像。实验结果显示，本方法可以产生高分辨率图像，该分辨率接近了利用传统(非光场)高分辨率照相机直接捕获图像的分辨率。

行为的全光照相机模式

可以通过分析全光照相机的光学系统来得出全分辨率光场绘制方法。首先给出对所捕获光场影像的某些观察，并且使用这些观察来推动后续分析。

图9示出了由全光照相机获取的原始光场图像的示例切割。在图9中，可以观察到多个圆内部的重复边缘。微透镜阵列中的每个微透镜创建微图像；由此，结果光场影像是微图像的阵列。在大比例尺上，可以感知到整个图像，而单独微透镜图像与大比例尺场景之间对应性较不明显。有趣的是，如将要示出的那样，在实施方式中，可以利用由微透镜所捕获的内容与整体场景中的内容之间的关系来产生高分辨率图像。

在图9中，在小比例尺上，可以观察到圆内部的多个清晰的区别特征(诸如，边缘)。边缘通常从一个圆重复到下一个圆。相同边缘(或者特征)可以在多个圆中看到，在圆与圆之间略微偏移了不同位置。如果主照相机透镜是手工重聚焦的，则给定边缘可以进行移动，并且实际上在不同数量的圆之间改变其多样性。

微透镜间的特征重复表示场景的该部分是离焦的。在对来自大比例尺场景的对象进行聚焦时，相同特征在微图像阵列中仅出现一次。

在解译微图像时，重要的是应该注意，如同利用上文所述的基础传统照相机，基础全光照相机的操作远比将主透镜之前某平面处的辐射度函数简单地映射到传感器上丰富得多。即，实际上存在从透镜之前场景到图像传感器的无穷个映射。对于一个特定距离，这对应于辐射度函数的映射。针对其他距离处的场景部分的对应性、以及它们在传感器处如何显示自己较不明显。这将是本章节其余部分的话题。

接着，考虑可以在全光照相机的行为中识别的两种有限情况：望远镜(其中，光传感器与微透镜阵列之间的距离b大于阵列中微透镜的焦距f)以及显微镜(其中，b小于f)。这些情况都不是严格确切的真实全光照相机，但其特征在每个全光图像中都可以看到。如下文所示，两者都是可实现的，并且是非常有用的。

全光照相机：望远镜情况

图10示出了全光照相机的望远镜情况(b＞f)。全光照相机可以认为是利用普通物镜透镜的(开普勒)望远镜阵列(这里，出于该目的，透镜没有严格聚焦的问题将被忽略)。阵列中的每个个体望远镜在大的照相机内部具有微照相机(目镜透镜以及眼)。恰好类似于任何其他照相机，这种微照相机聚焦于一个单个平面，并且将来自该平面的图像映射到视网膜上，其中图像被翻转并且尺寸上有所缩小。照相机可以根据以下透镜等式仅针对在从f到无穷远(∞)的距离处的平面进行聚焦：

\frac{1}{a} + \frac{1}{b} = \frac{1}{f}

在这里，a、b和f的含义与大照相机中相同，只是比例尺较小。可见，由于a和b必须是正数，所以其不可能聚焦于比f更近的位置。在传统全光照相机中，图像平面固定在微透镜处。更为自然的是，考虑将图像平面固定在微透镜前方的距离f处。在两种情况下，微图像是离焦的。

随着边缘在圆之间的移动，可以观察到平面光场中望远镜成像的特性行为。图11示出了从图9中屋檐区域的切割。图11可以用来在视觉上示出“望远镜”行为。可以观察到，在图11中，当从屋檐移开时，边缘重复了两次。圆距离屋檐越远，则出现在圆内部的边缘越远。沿着任何给定方向移动，边缘相对于圆心沿着相同方向移动。只要在给定区域中检测到该行为，该行为是一致的(在该区域中的所有方向中都成立)。仔细的观察显示：小圆中的图像实际上是从高分辨率图像翻转的块，将像通过望远镜观察到的那样。

对于望远镜情况，b的实际范围可以是f＜b≤1.5f。

全光照相机：显微镜情况

图12示出了全光照相机的显微镜(伽利略型望远镜)情况(b＜f)。图13示出了从图9中树木区域的切割，并且用于示出在光场照相机中“显微镜”成像的详细情况。注意，该图像在图13中没有翻转。全光照相机还可以认为是“不完全聚焦”的照相机，即，在胶片平面之后聚焦的照相机(就像在伽利略望远镜/显微镜中那样)。如果将适当的正透镜放置在胶片之前，则图像将聚焦于胶片上。对于伽利略望远镜，将图像聚焦于视网膜上的是眼睛透镜。对于全光照相机，由具有焦距f的微透镜来完成这一任务。在显微镜情况下，微透镜需要放置在与胶片的距离小于f的位置。还应该注意，尽管望远镜操作翻转内部图像，但显微镜操作不对其进行翻转。

如同利用望远镜成像那样，在全光照相机中可以观察到显微镜成像的特性行为。参见图13，该图是来自图9中左上角的切割。在图13中可以观察到，当远离树枝移动时，边缘大约重复二至三次。距离树枝越远，则在圆内部出现的边缘越靠近树枝。沿着任意给定方向移动，边缘相对于圆心沿着相反方向移动。只要在给定区域中检测到该行为，则该行为是一致的(在该区域中的所有方向中均成立)。这归因于该位置处图像中的深度。仔细观察显示：小圆中的图像实际上是来自高分辨率图像中的相应区域的块，仅仅是尺寸有所缩减。在圆中特征重复的次数越多，则其显得越小，并且由此在每个个体圆内部成像的区域越大。

综上，可以认为近似聚焦的全光照相机(即，b≠f的全光照相机)是微照相机阵列，该微照相机阵列正考虑该阵列之前或者该阵列之后的图像平面。每个微照相机图像仅仅是该平面的小部分。这些小图像之间的偏移从几何上来看是明显的，这将在下文标题为“分析”的章节中进行解释。如果至少一个微照相机可以成像该整个平面，则其可以直接捕获高分辨率图像。然而，小图像在尺寸上受到主透镜孔径的限制。

这些微照相机图像的放大以及其间的偏移由到图像平面的距离来定义。该距离可以在相对于微透镜的正距离或者负距离，这对应于上文描述的望远镜(正)和显微镜(负)的情况。通过对微透镜平面进行微小调节(从而使透镜处于聚焦状态)，实施方式可以利用望远镜行为或者显微镜行为来从平面生成高分辨率图像。在下文的章节中描述此过程。

分析

在某些实施方式中，微透镜没有准确聚焦于将要成像的平面上，这导致个体微透镜图像变得模糊。这将限制可实现的分辨率的量。一种改进此类结果的方式是去卷积(deconvolution)。另一种方式是缩小微透镜的孔径。

在图14A和图14B中，考虑使用针孔阵列来代替微透镜阵列的“全光”照相机的情况。在图14A和图14B中，针孔(或者微透镜)阵列将该阵列之前的图像映射至传感器。与图像的距离定义了放大因子M＝n-1。在光线光学中，理论上，针孔图像不会产生未聚焦的模糊，这样其是完美的。但是这是在理论上；在实际世界中，使用有限但很小的孔径和微透镜来代替针孔。

从如下透镜等式：

\frac{1}{a} + \frac{1}{b} = \frac{1}{f}

可见，如果与对象的距离为a＝nf，则与图像的距离是：

b = \frac{nf}{n - 1}

n = \frac{b}{b - f}

几何放大因子可以定义为M＝a/b，其中作为替代给出了：

M＝n-1

图14A示出了在n＝4的望远镜情况下的光线几何，图14B示出了在n＝2的望远镜情况下的光线几何。注意，从微透镜到传感器的距离b总是大于f(在图14A和图14B中没有表示)。参见图14A和图14B中的几何，图像是被缩小M倍、被翻转的并且被重复M次。

全分辨率光场绘制算法

上文描述了两个不同行为(望远镜和显微镜)，并且全分辨率光场绘制方法的实施方式可以根据在辐射度照相机捕获的光场图像中包含的微图像中观察到哪种行为而执行不同动作。在一个实施方式中，如果全分辨率光场绘制方法检测到边缘(或者特征)相对于微图像中心(微图像通常是圆形，因而可以称作圆)沿着与移动方向相同的方向移动，则将该区域中的所有微图像相对于其各自的中心进行翻转(这是望远镜情况)。如果全分辨率光场绘制方法检测到边缘相对于微图像中心沿着与移动方向相反的方向移动，则该方法不进行处理(这是显微镜情况)。

光场图像中的小圆或者说微图像有效地拼成了大图像的块，并且全分辨率光场绘制方法的实施方式通过将微图像放置得足够靠近来再现大图像。还可以这样来再现大图像：对块进行放大，从而使来自任何给定块的特征匹配于相邻块的那些特征。将重新设置大小的块进行组合以再现实际的高分辨率图像。

在这些方案的任何一种中，个体块可能重叠。图15示出了直径为D的透镜圆(或者说微图像)以及大小为m的块，其中m是大于或者等于2的整数。全分辨率光场绘制方法的一个实施方式通过丢弃大小为m的方块以外的所有像素来避免这种重叠，有效地将微图像剪切为m×m的方块。注意，其他实施方式可以切割为其他形状，诸如矩形。

传统绘制方法不对像素进行上述重组；传统全光照相机算法的每个微透镜产生一个像素的输出图像。使用上述算法，全分辨率光场绘制方法的实施方式产生分辨率增益，其大约等于原始块中的像素数量m。即，实施方式中每个微图像产生m×m个像素(或者m²的像素)，而不是一个像素。

在上文中已经示出，放大M＝n-1。还存在这样的情况M＝D/M。由此得出如下等式：

n = 1 + \frac{D}{m}

从上文可见，到微透镜之前的图像平面的距离(以焦距数来测量)与D和m有关。

重点注意，即使在透镜没有准确聚焦时，透镜也产生可接受的图像。另外，可以对离焦的图像进行去卷积或者简单地锐化。出于这些原因，上述分析实际上适用于很大范围的图像平面位置。即使不是最优，此类结果通常也是有效的折衷。

在确定每个微图像质量时，作为照相机的微透镜光学元件是主要的因素。对来自光学设备的模糊图像可以进行去卷积，并且锐利的图像在某些程度上得以恢复。为此，光学系统的有效核心应当是已知的。由于这其中存在与位深度和噪声有关的限制，实施方式可以将分辨率提高至传统全光照相机和传统绘制方法分辨率的m倍。与传统方法和设备并在没有去卷积的情况相比，示例性实施方式已经展示了在一个平面中提高27倍分辨率，并且在另一平面中提高10倍分辨率。在与传统方法和设备对比时，其他实施方式可以在分辨率中产生其他的提高。

示例性结果

可以在胶片照相机中实现在此所述的全分辨率辐射度照相机的某些实施方式。例如，实施方式可以在大格式胶片照相机中实现。在图8中示出了一个示例性大格式胶片照相机的实施方式。例如，在使用135mm物镜透镜以及4×5格式胶片的大格式胶片照相机中可以实现一个示例性实施方式。出于实验目的，可以使用基于大格式胶片照相机而不是数字照相机的全分辨率辐射度照相机，以便避免数字传感器对分辨率的约束。然而，全分辨率辐射度照相机设计的胶片照相机实施方式是切实可行的，并且可以具有实际应用。与用来对从底片或者照片捕获的图像进行数字化的当前高分辨率扫描仪相结合，对于4D辐射度(原始光场图像)的平面或者光场表示，大格式胶片照相机实施方式能够达到1G像素或者甚至更高的分辨率。

全分辨率辐射度照相机的组件是微透镜阵列。图16示出了对示例性微透镜阵列的放大，并且示出了个体微透镜以及在微透镜之间的(黑)铬遮罩。在可以在基于大格式胶片照相机的示例性实施方式中使用的微透镜阵列的一个实施方式中，微透镜阵列包括146,000个0.25mm直径、0.7mm焦距的微透镜。在大格式胶片照相机的4×5英寸胶片夹内的装置保持微透镜阵列，使玻璃基底的平面侧抵靠胶片。在一个实施方式中，微透镜阵列的厚度是这样的：当抵靠胶片放置时，微透镜与胶片的距离为f。微透镜阵列的其他配置也是可以的，并且大格式胶片照相机的配置使其可以通过简单地使用不同微透镜阵列而容易地改变微透镜的配置。在装配中可以使用玻璃微片作为微透镜阵列与胶片之间的间隔物或者垫片，以便增加微透镜与胶片之间的距离，使该距离大于f(例如，4/3f)。一种可以使用的示例性微片厚度为0.23mm。插入微片玻璃以严格控制的方式来提供间隔。在一个实施方式中，可以通过在胶片和微透镜之间增加单个微片来产生额外间隔，以便将微透镜从传感器再偏移1/3f，约0.2mm。还可以添加附加的微片来提供附加间隔。

在用于测试的示例性胶片照相机中，可以在微透镜阵列与胶片之间插入以及不插入玻璃微片作为间隔物或者垫片的两种情况下来进行实验。在两种情况下，微透镜的焦距都是f＝0.700mm。在两个实验性条件下的间隔区别如下：

●b＝0.71mm，使得n＝71且M＝70，这可以直接通过微透镜阵列装配其自身的玻璃厚度来实现；以及

●基于微透镜阵列与胶片之间的微片玻璃，b＝0.94mm。作为结果，近似地n＝3.9(大约4)且M＝3。

高分辨率绘制结果

图17至图20用以示出将全分辨率绘制方法应用于平面(即，光场)图像的实验性结果，其中所述图像是利用基于上文所述的大格式胶片照相机的示例性全分辨率辐射度照相机来捕获的。具体地，示出并描述了在望远镜和显微镜两种情况下的绘制操作。

使用基于大格式胶片照相机的示例性辐射度照相机在胶片上捕获图像，以及使用高分辨率扫描仪通过扫描处理对该图像进行数字化，从而生成原始的未绘制光场图像(也称作平面)。在图17中示出了经数字化的光场图像的部分。在数字化之后，整个原始光场图像是24,862×21,818像素，其中在图17中示出了2,250×1,950像素。在图18C中，通过小实心白色矩形示出了被提取以产生图17的原始光场图像的大致区域。

在图18A至图18C中示出了使用传统绘制方法从光场而绘制的输出图像。整个光场图像都是利用传统方法绘制的，得到了408×357像素图像。图18A是以300ppi来绘制的，而图18C是以72ppi绘制的。在300ppi时，图像仅仅是大约1英寸乘以1英寸。图18B示出为来自图18A中的300ppi图像的路边区域切割的27倍放大。图18C中的实心白色矩形示出了来自图17中所示光场的区域。图18C中的虚线白色矩形示出了根据图19和图20中所示的全分辨率光场方法的实施方式而绘制的区域。

图19示出了试验性光场的全分辨率绘制，其中该光场是假设根据在此描述的全分辨率光场绘制方法的一个实施方式的望远镜情况而绘制的。由图18C中的白色虚线矩形示出了图像的这一区域。为了该绘制，采用大约2.4的按比例缩小因子，从而使全分辨率绘制的图像测量为11016×9666，即超过100兆像素。虽然图像处于300dpi，但在图19中仅示出了2,250×1,950的区域。该图像在房屋的区域是以全分辨率良好对焦的，但是在树木的树枝处不是良好对焦的。

图20示出了试验性光场的全分辨率绘制，其中该光场是假设根据在此描述的全分辨率光场绘制方法的一个实施方式的显微镜情况而绘制的。图18C中的白色虚线矩形示出了图像的这一区域。注意，与图20中的图像不同，此图像在树木树枝的区域中是以全分辨率良好对焦的，而房屋处不是良好对焦的。

图21是示出了根据一个实施方式的、在辐射度照相机内部如何引导光的流程图。如700所示，在辐射度照相机的主透镜处接收来自场景的光。图6、图7以及图8示出了示例性辐射度照相机。如702所示，由主透镜将接收到的光折射至图像平面。如704所示，微透镜阵列(其中的微透镜聚焦于图像平面)将来自所述图像的光折射至光传感器之上，所述光传感器相对于微透镜定位在距离为微透镜焦距f的倍数的位置处。例如，微透镜与光传感器之间的距离可以是3/4f、4/3f、5/3f、1.5f等。如706所示，在光传感器的不同区域处捕获由微透镜折射至光传感器之上的图像平面的不同视图，以生成光场图像。在某些实施方式中，光传感器可以是被配置用于以数字方式来捕获光的设备，诸如CCD；而在其他实施方式中，光传感器可以是传统胶片。如708所示，可以绘制所捕获的光场图像，以产生场景的一个或者多个最终的高分辨率图像，例如使用如图22中所述的全分辨率光场绘制方法进行绘制。对于在传统胶片上捕获的光场图像，可以将光场图像进行数字化以在绘制前生成数字化的光场图像。

图22是示出了根据一个实施方式的全分辨率光场绘制方法的流程图。如800所示，可以获取由辐射度照相机捕获的光场图像(参见例如图9，其是这样的光场图像对人类观察者而言看起来像什么的示例)。如802所示，可以检查光场图像的区域中的微图像，以确定微图像中边缘相对于算法的移动方向的移动方向。在804处，如果确定区域微图像中的边缘正在相对于微图像中心沿着与移动方向相同的方向移动，则可以将该区域中的微图像相对于其各自的中心进行翻转。如806所示，可以对每个微图像进行切割，以生成每个微图像的m×m的子区域或者说切割，其中m是大于2的整数。如808所示，可以将来自微图像的子区域或者切割进行适当组合以形成场景的最终高分辨率图像。

图23示出了根据一个实施方式的全分辨率光场绘制模块，该模块绘制从例如由辐射度照相机捕获的光场来绘制高分辨率图像。光场绘制模块920可以实现如图22中所述的全分辨率光场绘制方法。图24示出了可以实现光场绘制模块920的示例性计算机系统。在辐射度照相机的某些实施方式中，光场绘制模块920可以实现在照相机中，例如实现在图7中所示出的辐射度照相机200的捕获数据处理模块260中。参考图23，光场绘制模块920接收由辐射度照相机(诸如在此所述的全分辨率辐射度照相机的一个实施方式)所捕获的输入光场图像910。在图9和图17中示出了辐射度照相机的一个示例性实施方式所捕获的光场图像的示例性部分。继而，光场绘制模块920根据在此所述的全分辨率光场绘制方法来处理输入图像910。光场绘制模块920生成高分辨率图像930作为输出。图19和图20示出了示例性高分辨率图像，该示例性高分辨率图像可以由光场绘制模块920来绘制和输出。输出图像930例如可以存储至存储介质940，所述存储介质940诸如系统存储器、盘驱动、DVD、CD等。从输入图像910到存储介质940的虚线表示还可以存储原始(输入)光场图像910。

在全分辨率光场绘制模块920中实现的一个全分辨率光场绘制方法的实施方式中，绘制图像所需的时间与微透镜的数量乘以每个微透镜下的采样像素的数量呈比例。换言之，绘制图像所需的时间直接与输出图像的大小呈比例。

示例性系统

可以在一个或者多个计算机系统上实现用于在此所述的全分辨率光场绘制方法的组件，所述一个或者多个计算机系统可以与各种其他设备交互。图24示出了一个此类计算机系统。在示出的实施方式中，计算机系统1000包括一个或者多个处理器1010，所述处理器1010经由输入/输出(I/O)接口1030耦合至系统存储器1020。计算机系统1000进一步包括：耦合至I/O接口1030的网络接口1040以及一个或者多个输入/输出设备1050，该输入/输出设备1050诸如光标控制设备1060、键盘1070、音频设备1090、以及显示器1080。在某些实施方式中，期望可以使用计算机系统1000的单个实例来实现实施方式，然而在其他实施方式中，可以配置多个此类系统或者构成计算机系统1000的多个节点以主管实施方式的不同部分或者实例。例如，在一个实施方式中，可以经由计算机系统1000的一个或者多个节点来实现某些元素，所述一个或者多个节点不同于实现其他元素的那些节点。

在各种实施方式中，计算机系统1000可以是包括一个处理器1010的单处理器系统，或者可以是包括多个处理器1010(例如，两个、四个、八个、或者其他适合数目)的多处理器系统。处理器1010可以是能够执行指令的任意适合的处理器。例如，在各种实施方式中，处理器1010可以是通用或者嵌入处理器，该处理器实现多种指令集架构(ISA)中的任一项，诸如x86、PowerPC、SPARC或者MIPS ISA或者任何其他合适的ISA。在多处理器系统中，每个处理器1010可以共同实现相同的ISA，但这不是必须的。

系统存储器1020可以配置以存储由处理器1010可访问的数据和/或程序指令。在各种实施方式中，可以使用各种适合的存储器技术来实现系统存储器1020，诸如静态随机访问存储器(SRAM)、同步动态RAM(SDRAM)、非易失性/闪存类型存储器、或者任何其他类型的存储器。在示出的实施方式中，将实现期望功能(诸如，上文所述的用于全分辨率光场绘制模块的实施方式)的程序指令和数据分别作为程序指令1025以及数据存储1035来存储在系统存储器1020内部。在其他实施方式中，可以接收、发送程序指令和/或数据，或者将其存储在不同类型的计算机可访问介质、或者独立于系统存储器1020的类似介质、或者计算机系统1000之上。一般而言，计算机可访问介质可以包括诸如磁性或者光性介质的存储介质或者存储器介质，例如经由I/O接口1030耦合至计算机系统1000的盘或者CD/DVD-ROM。经由计算机可访问介质存储的程序指令和数据可以通过传输介质或者信号(诸如，电信号、电磁信号或者数字信号)来传送，这些信号可以经由诸如网络和/或无线链接的通信介质来传送，诸如可以经由网络接口1040来实现。

在一个实施方式中，I/O接口1030可以配置以协调在处理器1010、系统存储器1020以及设备中的任何外围设备之间的I/O流量，所述外围设备包括网络接口1040或者诸如输入/输出设备1050的其他外围接口。在某些实施方式中，I/O接口1030可以执行任何必要的协议、定时或者其他数据变换，以便将数据信号从适用于一个组件(例如，系统存储器1020)的格式转换至适于由另一组件(例如，处理器1010)使用的格式。在某些实施方式中，I/O接口1030例如可以包括用于对通过各种类型的外围总线而附接的设备的支持，所述外围总线诸如不同的外围组件互联(PCI)总线标准或者通用串行总线(USB)标准。在某些实施方式中，I/O接口1030的功能例如可以划分成为两个或者多个独立的部分，诸如北桥和南桥。另外，在某些实施方式中，可以将I/O接口1030的某些或者全部功能性(诸如对系统存储器1020的接口)直接结合到处理器1010之中。

网络接口1040可以配置以允许在计算机系统1000和附接至网络的其他设备(诸如，其他计算机系统)之间交换数据，或者在计算机系统1000的节点之间交换数据。在各种实施方式中，网络接口1040例如可以支持经由有线或者无线通用数据网络(诸如，任意适合类型的以太网)进行通信；经由电信/电话网络(诸如，模拟语音网络或者数字光纤通信网络)进行通信；经由存储区域网络(诸如光纤信道SAN)进行通信，或者经由任何其他适合类型的网络和/或协议进行通信。

在某些实施方式中，输入/输出设备1050包括一个或者多个显示终端、键盘小键盘、触摸板、扫描设备、语音或者光学识别设备、或者适用于由一个或者多个计算机系统1000输入或者获取数据的任何其他设备。多个输入/输出设备1050可以存在于计算机系统1000中、或者可以分布在计算机系统1000的各种节点上。在某些实施方式中，类似的输入/输出设备可以独立于计算机系统1000，并且可以通过有线或者无线连接(诸如通过网络接口1040)来与计算机系统1000的一个或者多个节点交互。

如图24中所示，存储器1020可以包括：程序指令1025，配置以实现在此所述的全分辨率光场绘制模块的实施方式，例如直接光照模块300、间接光照模块800或者全局照度绘制模块900；以及数据存储1035，包括由程序指令1025可访问的各种数据。在一个实施方式中，程序指令1025可以包括如上文附图中所示出的全分辨率光场绘制模块的实施方式的软件元件。数据存储1035可以包括在实施方式中使用的数据。在其他实施方式中，可以包括其他或者不同的软件元素和数据。

本领域技术人员还应该理解，在使用时，尽管各种项目示出为存储在存储器或者存储设备中，然而出于存储器管理和数据完整性的目的，这些项目或者项目的部分还可以在存储器以及其他存储设备之间传送。可替换地，在其他实施方式中，可以在存储器中或者在其他设备上执行某些或者所有软件组件，并且经由计算机内通信与示出的计算机系统进行通信。某些或者所有系统组件或者数据结构还可以(作为指令或结构化数据)存储在计算机可访问介质上，或者存储在用于由适当驱动装置读取的便携制品上，在上文中示出了各种示例。在某些实施方式中，在独立于计算机系统1000的计算机可访问介质上存储的指令可以经由传输介质或者经由通信介质(诸如，网络和/或无线链接)递送的信号来传送至计算机系统1000，所述信号诸如电信号、电磁信号和/或数字信号。各种实施方式可以进一步包括对根据基于计算机可访问介质的上述描述实现数据的和/或指令进行接收、发送或者存储。由此，开可以利用其他计算机系统配置来实现本发明。

结论

各种实施方式可以进一步包括对根据基于计算机可访问介质的上述描述实现数据和/或指令进行接收、发送或者存储。一般而言，计算机可访问的介质可以包括诸如磁性介质或者光学介质的存储介质或者存储器介质，例如，盘或者DVD/CD-ROM、易失性介质或者非易失性介质，诸如，RAM(例如，SDRAM、DDR、RDRAM、SRAM等)、ROM等，以及传输介质或者经由诸如网络和/或无线链路的通信介质递送的信号(诸如电信号、电磁信号或者数字信号)。

在附图中示出以及在此所述的各种方法表示方法的示例性实施方式。可以在软件、硬件或者其结合中实现该方法。可以改变方法的顺序，并且可以对各种元素进行添加、重新排序、结合、忽略、修改等。

对于受益于本公开的本领域技术人员易见的是，可以进行各种修改和变化。旨在于使得本发明涵盖所有此类修改和变化，并由此认为上述说明是示出性方式而并非限制性方式。

Claims

1.一种照相机，包括：

光传感器，其被配置用于捕获投射到所述光传感器上的光；

物镜透镜，其中所述物镜透镜被配置用于对来自位于所述照相机之前的场景的光进行折射，以便在所述物镜透镜的图像平面处形成所述场景的图像；以及

微透镜阵列，其定位在所述物镜透镜与所述光传感器之间，其中所述微透镜阵列包括多个微透镜，其中所述多个微透镜聚焦于所述图像平面而不是聚焦于所述物镜透镜；

其中所述微透镜阵列的每个微透镜被配置用于将在所述图像平面处形成的所述场景的图像的分离部分投影到所述光传感器上的分离位置。

2.根据权利要求1所述的照相机，其中所述微透镜阵列中的所述微透镜位于与所述光传感器距离为b的位置处，其中f是所述微透镜的焦距，并且其中b大于f。

3.根据权利要求2所述的照相机，其中b是4/3f。

4.根据权利要求2所述的照相机，其中b小于或者等于1.5f。

5.根据权利要求2所述的照相机，其中对所述照相机进行配置，从而在所述微透镜阵列与所述光传感器之间插入一个或者多个间隔物，以确定所述距离b。

6.根据权利要求1所述的照相机，其中所述微透镜阵列中的所述微透镜位于与所述光传感器距离为b的位置处，其中f是所述微透镜的焦距，并且其中b小于f。

7.根据权利要求1所述的照相机，其中所述微透镜阵列中的所述微透镜位于与所述光传感器距离为b的位置处，其中对所述照相机进行配置，使得所述距离b是可调节的。

8.根据权利要求7所述的照相机，其中所述照相机包括调节器，其被配置用于调节所述距离b。

9.根据权利要求8所述的照相机，其中所述调节器被配置用于：响应于用户对所述照相机的输入，来调节所述距离b。

10.根据权利要求8所述的照相机，其中所述调节器被配置用于响应于检测到所述照相机的光学特性的变化，来自动地调节所述距离b。

11.根据权利要求1所述的照相机，其中所述光传感器被配置用于捕获所述场景的光场图像，所述光场图像在所述光场图像的分离区域中包括被投影到所述光传感器上的所述场景的所述图像的每个所述分离部分。

12.根据权利要求11所述的照相机，其中所述照相机被配置用于将所述已捕获的光场图像存储至存储器设备。

13.根据权利要求12所述的照相机，其中所述存储器设备是所述照相机的组件。

14.根据权利要求12所述的照相机，其中所述存储器设备实现在独立于所述照相机的计算设备中。

15.根据权利要求1所述的照相机，其中所述光传感器是数字介质。

16.根据权利要求15所述的照相机，其中所述数字介质是电荷耦合设备(CCD)。

17.根据权利要求1所述的照相机，其中所述光传感器是胶片。

18.一种用于捕获光场图像的方法，包括：

在照相机的物镜透镜处接收来自场景的光；

对来自所述物镜透镜的光进行折射，以在所述物镜透镜的图像平面处形成所述场景的图像；

在位于所述物镜透镜与所述照相机的光传感器之间的微透镜阵列处接收来自所述图像平面的光，其中所述微透镜阵列包括多个微透镜，并且其中所述多个微透镜聚焦于所述图像平面而不是聚焦于所述物镜透镜；

在所述光传感器处从所述微透镜阵列接收光，其中在所述光传感器的分离位置处，所述光传感器从所述微透镜阵列的每个微透镜接收由所述物镜透镜在所述图像平面处形成的所述场景的所述图像的分离部分。

19.根据权利要求18所述的方法，其中所述微透镜阵列中的所述微透镜位于与所述光传感器距离为b的位置处，其中f是所述微透镜的焦距，并且其中b大于f。

20.根据权利要求19所述的方法，其中b是4/3f。

21.根据权利要求19所述的方法，其中b小于或者等于1.5f。

22.根据权利要求18所述的方法，其中所述微透镜阵列中的所述微透镜位于与所述光传感器距离为b的位置处，其中f是所述微透镜的焦距，并且其中b小于f。

23.根据权利要求18所述的方法，其中所述微透镜阵列中的所述微透镜位于与所述光传感器距离为b的位置处，其中所述方法进一步包括：改变所述距离b。

24.根据权利要求23所述的方法，其中所述改变所述距离b包括：在所述微透镜阵列与所述光传感器之间手工地插入或者移除一个或者多个间隔物。

25.根据权利要求23所述的方法，其中所述改变所述距离b包括：

接收指定不同距离b的用户输入；以及

将所述光传感器与所述微透镜阵列之间的所述距离调节至所述指定的不同距离b。

26.根据权利要求23所述的方法，其中所述改变所述距离b包括：

检测所述照相机的光学特性中的变化；以及

根据在所述照相机的光学特性中检测到的所述变化，来自动地调节所述光传感器与所述微透镜阵列之间的所述距离。

27.根据权利要求18中所述的方法，进一步包括：在所述光传感器处捕获所述场景的光场图像，其中所述光场图像在所述光场图像的分离区域中包括所述场景图像的每个所述分离部分。

28.根据权利要求27中所述的方法，进一步包括：将所述已捕获光场图像存储至存储器设备。

29.根据权利要求18中所述的方法，其中所述光传感器是数字介质。

30.根据权利要求18中所述的方法，其中所述光传感器是胶片。

31.一种设备，包括：

照相机，其包括物镜透镜，其中所述物镜透镜被配置用于对来自位于所述照相机之前的场景的光进行折射，以在所述物镜透镜的图像平面处形成所述场景的图像；

胶片夹，其被配置用于保持胶片，并且被配置用于被插入至所述照相机以及从所述照相机移除；以及

微透镜阵列，其被配置用于抵靠所述胶片而放置在所述胶片夹中，使得当所述胶片夹被插入所述照相机时，所述微透镜阵列处于所述胶片与所述照相机的所述物镜透镜之间，其中所述微透镜阵列在一个面上包括多个微透镜，其中所述微透镜阵列的相对面是平滑的玻璃，其中所述平滑的玻璃表面被配置用于定位在所述胶片旁边，并且其中当所述胶片夹被插入所述照相机时，所述多个微透镜聚焦于所述图像表面而不是聚焦于所述物镜透镜；

其中所述微透镜阵列的每个微透镜被配置用于将由所述物镜透镜在所述图像平面处形成的所述场景的所述图像的分离部分投影到所述胶片上的分离位置。

32.根据权利要求31所述的设备，其中所述微透镜阵列中的所述微透镜位于与所述胶片距离为b的位置处，其中f是所述微透镜的焦距，并且其中b等于f。

33.根据权利要求31所述的设备，其中所述微透镜阵列中的所述微透镜位于与所述胶片距离为b的位置处，其中f是所述微透镜的焦距，并且其中b大于f。

34.根据权利要求33所述的设备，其中b是4/3f。

35.根据权利要求33所述的设备，其中b小于或者等于1.5f。

36.根据权利要求31所述的设备，其中所述微透镜阵列中的所述微透镜位于与所述胶片距离为b的位置处，其中f是所述微透镜的焦距，并且其中b小于f。

37.根据权利要求31所述的设备，进一步包括：一个或者多个间隔物，其配置用于插入所述微透镜阵列与所述胶片夹中的所述胶片之间，以调节所述微透镜阵列与所述胶片之间的所述距离。

38.根据权利要求36所述的设备，其中所述间隔物是清澈的玻璃片。