CN102282590A - 光场相机图像、文件和配置数据以及对其进行使用、存储和传递的方法 - Google Patents

Abstract

某些装置和方法涉及采集、产生和/或输出与场景对应的图像数据。一方面，该方法包括(i)采集代表场景中光场的光场数据，(i)采集代表光线如何穿过数据采集装置(用于采集光场数据)进行光学传播的配置数据，(iii)利用光场数据和配置数据产生第一图像数据，其中第一图像数据包括与光场数据的焦点或焦深不同的焦点或焦深，(iv)产生第一电子数据文件，该文件包括(a)第一图像数据，(b)光场数据和(c)配置数据，以及(v)输出第一电子数据文件。

Description

光场相机图像、文件和配置数据以及对其进行使用、存储和传递的方法

相关申请

本申请要求于2009年4月18日递交的序列号为61/170,620、标题为“Light Field Camera Image，File and Configuration Data，andMethod of Using，Storing and Communicating Same”的美国临时申请的优先权。序列号为61/170,620的美国临时申请的内容通过引用整体并入本文。

技术领域

背景技术

一方面，除其他内容外，本发明涉及采集光场数据(如具体实施方式中的定义)或信息的光场数据采集装置(依旧如具体实施方式中的定义，例如光场相机)、与这种装置有关的后处理系统和使用这种相机和系统的方法。另一方面，本发明涉及获取、导出、计算、估计、确定、存储和/或记录对由此捕获或采集的图像数据进行后处理所使用的光场数据采集装置的一个或一个以上的特性、参数和/或配置。又一方面，本发明涉及提供或传递(i)这种特性、参数和/或配置和/或(ii)代表产生、导出、计算、估计和/或确定图像数据采集装置的光学和/或几何模型(例如，与某些采集的光场数据关联的图像数据采集装置的光学和/或几何模型)和/或在其中使用的信息。特别地，光场相机的这种特性、参数和/或配置便于这种相机和/或系统产生、操作和/或编辑例如场景的光场数据(例如，在最初采集或记录光场数据和/或信息之后，调整、选择、限定和/或重新限定焦点和/或场深)。(参见，例如，公开号为2007/0252074的美国专利申请和要求其优先权的临时申请(即，序列号为60/615,179和60/647,492的临时申请)和Ren Ng在斯坦福大学的题为“Digital Light Field Photography(数字光场照相)”的博士论文，这些内容通过引用整体合并在本文中，和图1A和1B中的光场相机的框图说明)。

在一个实施例中，光场数据采集装置的特性、参数和/或配置可以提供代表图像数据采集装置(其可包括相机光学器件(例如，任意种类或类型的一个或更多透镜)、成像传感器以获取和/或采集光场数据或信息以及图像数据采集装置的元件之间的相对距离的光学和/或几何模型的信息)。通过这种方式，后处理电路(例如，布置在或集成在图像数据采集装置内的电路(参见图1B)或在图像数据采集装置外部的后处理电路(参见图1C))可以获取、接收、采集和/或确定光场数据采集装置的这种特性、参数和/或配置，并且可以确定、解析和/或解释与成像传感器关联的一个、一些或所有成像传感器像素值对应的光线几何以产生、操作和/或编辑例如场景的图像数据和/或信息(例如，在最初采集和/或记录图像数据和/或信息之后，调整、选择、限定和/或重新限定焦距和/或场深)。

可以在利用采集装置(例如，光场相机)的成像传感器收集或采集光场数据之前、期间和/或之后获取、确定和/或记录代表光场数据采集装置特性、参数和/或配置的数据(下文中统称为“配置数据”)。这种配置数据可以与关联的光场数据存储在相同的数据文件中和/或以相同的文件格式存储，或者与关联的光场数据存储在不同的数据文件中和/或以不同的文件格式存储。在某些实施例中，配置数据文件与每个包含光场数据的多个文件关联。

在后处理“脱离相机”执行或在与光场数据采集装置分离的装置或系统中执行的情况下，这种配置数据可以与图像数据一起或分别发送、提供和/或传递给外部后处理系统。(参见，例如，图1C)。事实上，该数据可以与包含光场数据的电子数据文件串行或并行发送。

特别地，光场数据采集装置的特性为用户提供计算聚焦在深度范围内的图像的能力，所述深度范围对应于数据采集期间光场传感器(其可包括微透镜阵列和照片传感器阵列)所在的物理平面周围的虚拟图像平面的范围。参考图2A，该聚焦范围对应于物理光场传感器平面周围的(虚拟)图像平面深度距离ε的范围。

在图2A中：

·透镜平面可以表述为透镜的主平面；在说明图中使用透镜的薄透镜规格是有利的，但是这些发明适用于任意透镜配置和/或系统；

·远焦平面可以表述为与外界可以使用光场的后图像数据采集聚焦技术集中在预定焦点上(例如，清晰地集中在焦点上)的最远物体光学共轭(conjugate to)的虚拟平面；

·焦平面可以表述成通过光学器件将从光学无限远的距离发散的光线最清晰地集中在焦点上的平面；

·光场传感器平面可以表述为光场传感器中微透镜阵列(例如，微透镜阵列和图像传感器部件)的主平面实际所在的数据采集装置中的平面；

·近焦平面可以描述成与外界可以通过光场的软件聚焦技术清晰集中在焦点上的最近物体光学共轭的虚拟平面；

·v等于透镜平面和光场传感器平面之间的距离；并且

·ε₁和ε₂等于自感光之后(也就是在采集图像数据之后)可清晰聚焦的光场传感器平面的最大距离。

继续参考图2A，“外界”或光场数据采集装置外的任何事物图示位于透镜平面的左侧，而内部装置图示位于透镜平面的右侧。值得注意的是，图2A并非按比例绘制；事实上，ε₁和ε₂通常小于v(例如，ε₁＜0.01*v，而ε₂＜0.01*v)。

如本文所公开的，尽管本发明(采集或获取可重新聚焦的数据或信息和/或采集、产生、操作和/或编辑这种可重新聚焦的图像数据的过程和/或方法)通常是在光场数据采集装置的背景下进行描述，但是本发明适用于其他系统、装置、采集、产生、操作和/或编辑可重新聚焦的图像数据的过程和/或方法。在这一点上，可重新聚焦的图像数据是可以在采集或记录数据或信息之后可以聚焦和/或重新聚焦的图像数据或信息，无论这些数据或信息是如何采集或获取的。例如，在一个实施例中，可以重新聚焦的图像数据或信息是，例如，通过光场数据采集装置采集或获取的光场数据或信息。

特别地，如以下的详细讨论，产生、操作和/或编辑光场数据或信息的技术可以通过光场数据采集装置上/中的电路和技术和/或外部后处理系统实现。重要的是，本发明并不局限于任何单一的方面，也不局限于任何单一的实施例，也不局限于这些方面和/或实施例的任意组合和/或置换。而且，可以单独使用本发明的每个方面和/或实施例或者与一个或更多其他方面和/或其实施例结合使用。为了简明的目的，本文将不会分别讨论和/或图示这些置换和组合。

发明内容

本文描述并图解了多个发明。本发明并不局限于任何单一的方面，也不局限于其实施例，也不局限于这些方面和/或实施例的任意组合和/或置换。而且，可以单独使用本发明的每个方面和/或实施例或者与本发明的一个或更多其他方面和/或实施例结合使用。为了简明的目的，本文将不会单独讨论这些置换和组合中的许多置换和组合。

第一主要方面，本发明的某些内容涉及产生与场景对应的图像数据的方法，该方法包括：(a)采集代表来自所述场景的光场的光场数据，其中利用数据采集装置来采集所述光场数据；(b)采集代表光线如何通过所述数据采集装置进行光学传播的配置数据；(c)使用光场数据和配置数据产生第一图像数据，其中第一图像数据包括与光场数据的焦点或焦深不同的焦点或焦深；(e)产生第一电子数据文件，包括(1)第一图像数据，(2)光场数据，和(3)配置数据；和(f)输出第一电子数据文件(例如，输出到存储器、处理电路、标准显示机械装置(如打印机或显示器))。

在一个实施例中，产生第一电子数据文件还包括以标准图像格式排列第一电子数据文件的第一图像数据(例如，JPEG、EXIF、BMP、PNG、PDF、TIFF和/或HD Photo数据格式)。在另一实施例中，产生第一电子数据文件还包括交织、串连、水印标记、编码、多元化和/或网格化第一图像数据和光场数据。事实上，产生第一电子数据文件还可包括产生第一电子数据文件的数据头，其中该数据头包括配置数据。

本发明此方面的方法还可包括：(g)读取第一电子数据文件；(h)显示第一图像数据；(i)接收用户输入；(j)响应于用户输入，利用(1)电子数据文件的光场数据和(2)配置数据产生第二图像数据，其中第二图像数据与第一图像数据不同；(k)产生第二电子数据文件，包括(1)第二图像数据，(2)光场数据，和(3)配置数据；以及(I)输出第二电子数据文件(例如，输出到存储器、处理电路、标准显示机械装置(如打印机或显示器))。

第二图像数据可包括与第一图像数据的焦点或焦深不同的焦点或焦深。而且，第二图像数据可以以标准图像格式进行排列。特别地，产生第二电子数据文件还可包括交织、串连、水印标记、编码、多元化和/或网格化第二图像数据和光场数据。

本发明此方面的方法可以进一步包括压缩光场数据以产生压缩的光场数据，其中第一电子数据文件的光场数据是该压缩的光场数据。

在另一实施例中，该方法可以进一步包括：(g)读取第一电子数据文件；(h)显示第一图像数据；(i)接收用户输入；(j)响应于用户输入，利用(1)电子数据文件的光场数据和(2)配置数据产生第二图像数据，其中第二图像数据与第一图像数据不同；(k)产生包括第二图像数据的第二电子数据文件；和(I)输出第二电子数据文件。

在一个实施例中，采集配置数据包括采集N位键；并且该方法进一步包括通过将该N位键与预先确定的光学模型数据关联来确定光学模型数据，并且其中产生第一图像数据包括利用光场数据和光学几何数据产生第一图像数据。

配置数据可包括代表孔径函数或出瞳的数据，其中孔径函数或出瞳与光场数据的采集关联。除此之外，或代替性地，配置数据可包括代表从数据采集装置捕获的2D阵列像素值上的二维位置到来自场景的光场的四维参数化的映射的数据。

另一主要方面，本发明的某些内容涉及一种产生场景的图像的系统，其包括：读取电路，用于读取存储在存储器中的第一电子数据文件，其中第一电子数据文件包括(i)第一图像数据，(ii)代表来自场景的光场的光场数据，和(iii)代表光线如何通过光场数据采集装置进行光学传播的配置数据。系统进一步包括显示装置、用户接口和处理电路，显示装置用于利用第一图像数据视觉输出图像，用户接口用于接收用户输入，处理电路连接到读电路、显示装置和用户接口，用于：(i)利用配置数据确定光学模型数据，其中光学模型数据代表光场数据采集装置的光学模型，(ii)响应于所述用户输入，利用光场数据和光学模型数据产生第二图像数据，其中第二图像数据包括与第一图像数据的焦点或焦深不同的焦点或焦深，和(iii)产生包括第二图像数据的第二电子数据文件。这方面的系统还包括连接到处理电路的写电路，用于向存储器写入第二电子数据文件。

在一个实施例中，第二电子数据文件还包括(i)代表场景的光场的光场数据，和(ii)配置数据和/或光学模型数据。配置数据可包括代表孔径函数或出瞳的数据，其中孔径函数或出瞳与采集光场数据的光场数据采集装置关联。

处理电路可通过交织、串连、水印标记、编码、多元化和/或网格化第二图像数据和光场数据产生第二电子数据文件。除此之外，或代替性地，第二电子数据文件包括数据头，或者处理电路可产生第二电子数据文件的数据头，其中数据头包括配置数据和/或光学模型数据。事实上，处理电路可通过压缩光场数据以产生压缩的光场数据产生第一电子数据文件，并且其中第二电子数据文件的光场数据是该压缩的光场数据。

在一个实施例中，处理电路以标准图像格式排列第一图像数据和/或第二电子数据文件的第二图像数据(例如，JPEG、EXIF、BMP、PNG、PDF、TIFF和/或HD Photo数据格式)。

在一个实施例中，第一电子数据文件的配置数据包括N位键，其中处理电路通过将N位键与多个不同的、预先确定的光学模型数据关联来确定光学模型数据。

另一个主要方面，本发明的某些内容涉及采集场景的光场图像数据的光场采集装置，包括：光学器件、光场传感器、用户接口和处理电路，光场传感器位于光学器件的光学路径中，用于采集光场图像数据，用户接口用于接收用户输入，其中，响应于用户输入，光场传感器采集场景的光场图像数据，处理电路连接到光场传感器和用户接口以产生和输出电子数据文件，处理电路用于：(a)确定代表光线如何穿过所述光学器件和光场传感器进行光学传播的配置数据，和(b)产生和输出电子数据文件，其中电子数据文件包括(i)图像数据(其可以以标准图像格式排列)，(ii)代表场景的光场的光场数据，和(iii)配置数据(例如，(1)代表光场采集装置的孔径函数或出瞳的数据和/或(2)代表从捕获的2D阵列像素值上的二维位置到来自场景的光场的四维参数化的映射的数据的数据)。本发明此方面的光场采集装置还包括连接到处理电路的存储器，其用于在其中存储电子数据文件。

在一个实施例中，处理电路通过交织、串连、水印标记、编码、多元化和/或网格化图像数据和光场数据产生电子数据文件。在另一实施例中，处理电路通过形成数据头产生电子数据文件，其中数据头包含配置数据。事实上，在另一实施例中，处理电路通过压缩光场数据以产生压缩的光场数据产生电子数据文件，并且其中电子数据文件的光场数据是该压缩的光场数据。

电子数据文件的配置数据可包括代表预先确定的光学模型数据的N位键。

在另一实施例中，处理电路可以产生电子数据文件的数据头，其中该数据头包括配置数据和/或光学模型数据。

此外，本文描述并图示了多个发明以及这些发明的多个方面。此部分发明内容并未穷举本发明的范围。事实上，此部分发明内容并不能反映本申请或其延续/分案申请中权利要求所保护的发明或使其相互关联。

而且，此部分发明内容并非为了限制本发明或权利要求(无论是当前提出的权利要求还是分案/延续申请的权利要求)，并且不应当以这种方式来解释。尽管此部分发明内容中描述和/或略述了某些实施例，但是应当理解本发明并不受限于这些实施例、描述和/或略述，权利要求也不受此方式的限制(也不应当解释为受此部分发明内容的限制)。

事实上，根据以下说明、图示和权利要求，与此部分发明内容中提出的方面、发明和实施例不同和/或类似的很多其他方面、发明和实施例将是显而易见的。此外，尽管在此部分发明内容中已经描述了各种特征、属性和优点，并且根据此部分发明内容，这些特征、属性和优点是显著的，但是应当理解在本发明的一个、一些或所有实施例中，这些特征、属性和优点并非必须的，并且事实上，这些特征、属性和优点可以不存在于本发明的任意实施例中。

附图说明

在以下详细说明中，将参考附图进行说明。这些附图显示本发明的不同方面，并且不同附图中以类似的方式标注了图示类似的结构、组件、原料和/或元件的适当参考数字。应当理解除了那些明确显示的以外，这些结构、组件、原料和/或元件的各种组合都将属于并且处于本发明的范围内。

而且，本文描述并图解了多个发明。本发明并不局限于任何单一的方面，也不局限于其实施例，也不局限于这些方面和/或实施例的任意组合和/或置换。而且，可以单独使用本发明的每个方面和/或实施例或者与本发明的一个或更多其他方面和/或实施例结合使用。为了简明的目的，本文将不会分别讨论和/或图示这些置换和组合。

图1A是示例性光场数据采集装置的示意框图；

图1B是其中包括集成的后处理电路等组件的示例性光场数据采集装置的示意框图；

图1C和1F是包括光场数据采集装置和后处理电路的示例性光场数据采集系统的示意框图；

图1D是包括存储器(集成在其中)以存储光场数据的示例性光场数据采集装置的示意框图；

图1E是其中包括集成的后处理电路和存储器等组件的示例性光场数据采集装置的示意框图；

图1G是包括光学器件、编码的孔径和传感器(以记录、采集、采样和/或捕获光场数据)等组件的示例性光场数据采集装置(包括集成在其中的存储器)的框图；

图1H是包括多个光学器件和传感器(以记录、采集、采样和/或捕获光场数据)等组件的示例性光场数据采集装置(包括集成在其中的存储器)的示意框图；

图2A是包括如远焦面、物理光场传感器平面和近焦(close-focus)平面等特定焦平面的示例性光场数据采集装置的某些光学特性的原理示意图；

图2B是根据本发明的某些实施例的至少某些方面和/或可实施本发明的某些实施例的某些方面的除其他事项外包括微透镜阵列和成像传感器的示例性光场传感器的原理示意图，所述微透镜阵列和成像传感器可以由微透镜阵列的焦距分离(或基本分离)；

图2C是根据本发明的某些实施例的至少某些方面和/或可以实施本发明的某些实施例的某些方面的光场传感器平面的原理示意图，该光场传感器平面可以布置在微透镜阵列的主平面；

图2D是根据本发明的某些实施例的至少某些方面和/或可以实现本发明的某些实施例的某些方面的示例性光场传感器体系结构的原理示意图，除其他事项外，所述光场传感器体系结构包括主透镜(代表光学器件)、微透镜阵列和成像传感器，该图图解说明两个出射瞳孔位置，这两个出射瞳孔位置提供或导致投射的小透镜的中心在微透镜阵列中的不同位置；特别地，相对与出瞳1对应的位置，在与出瞳2对应位置处定位出瞳导致较大的圆盘图像投射到成像传感器的表面上；

图3A是除其他事项外包括主透镜(代表光学器件)、微透镜阵列和成像传感器的示例性光场传感器体系结构的原理示意图，其中出射瞳孔记录和/或存储为单个数字，该数字是出射瞳孔的中心到微透镜阵列(或者在替代实施例中与成像传感器表面)的距离；

图3B是除其他事项外包括主透镜(代表光学器件)、微透镜阵列和成像传感器的示例性光场传感器体系结构的原理示意图，其中出射瞳孔可以是三维空间中的位置(例如，出射瞳孔的中心)；

图3C是除其他事项外包括主透镜(代表光学器件)、微透镜阵列和成像传感器的示例性光场传感器体系结构的原理示意图，其中出射瞳孔可以是三维空间中的位置和形状(在图示实施例中，出射瞳孔的中心的位置和具有指定半径的圆盘)；

图4是来自外界的示例性光线穿过透镜进入光场采集装置并撞击到光场传感器表面上的传播过程的原理示意图；其中对于进入采集装置的给定光线(3D位置和3D方向矢量表示)，后处理电路/系统可以通过“跟踪”穿过光学器件的透镜元件的光线并根据光线基于物理规律、给定的光学器件的每个透镜元件的玻璃类型、曲率和厚度在穿过光学器件的每个元件时进行物理折射和传播的方式来计算或确定光线如何在采集装置内光学器件的最后透镜元件和光场传感器阵列的微透镜阵列之间传播；

图5图示微透镜阵列投射到成像传感器表面上的一组小透镜圆盘(或其部分)的放大视图；特别地，投射的圆盘的位置、大小和形状覆盖在捕获的图像上；确定微透镜圆盘的中心和大小可以基于本文详述的关键的光学参数执行；

图6图示示例性成像传感器(或其部分)的表面的放大图，该图突出/概述投射的微透镜阵列的小透镜圆盘的半径、微透镜阵列的小透镜圆盘的邻近中心之间的间距(节距)、X和Y平移偏移量和旋度；该示例性图示中的X和Y偏移值是传感器上的中心像素和中央投射的微透镜圆盘的中心之间的空间距离；并且，邻近圆盘中心之间的间距是投射的微透镜阵列的节距。特别地，尽管图中投射的圆盘的直径与节距呈现近似相同的大小，但是数量是不同的并且用于区分的目的。

图7A和7B是包括六角形网格(图7A)和方形网格(图7B)的微透镜阵列的示例性网格体系结构的示意框图，其中结合以上网格突出/概述这种体系结构的阵列的小透镜的节距；

图8A-8C是包括六角形网格(图8A)、方形网格(图8B)和方形与八角形网格(图8C)的微透镜阵列的示例性网格体系结构的示意框图；特别地，微透镜阵列的图案对于预定模型、系列或版本的光场数据采集装置可以是固定的或者恒定的；

图9是(例如，光场传感器的)传感器阵列的传感器像素的示意框图，其中结合该框图突出/概述这种体系机构的传感器阵列的像素的节距；传感器的像素/传感器的节距可以表述为邻近传感器像素的中心之间的距离，并且对于预定模型、系列或版本的光场数据采集装置，这种节距可以是固定的或不变的；

图10是校准光源、微透镜阵列和图像传感器用以创建光点图像或光的小圆盘图像的原理示意图；在该图示实施例中，传感器在微透镜阵列已经固定到传感器后制造过程中的任意时间采样校准的光源的光线，其中所有光线与光场传感器的表面垂直；

图11是产生的图像的示例性图示，其为微透镜阵列向成像传感器配准提供光点网格或小圆盘图像，微透镜阵列中每个小透镜对应一个；配准可以使用光点图像或小圆盘(例如，通过图10和/或12的体系结构产生的)；X和Y偏移量是从记录的图像的中心到附近的(例如，最近的)光点/小圆盘图像之间的距离，而旋度为一行光点确定的线和一行传感器像素确定的线之间的角度差；

图12是孔径、微透镜阵列和图像传感器用于将微透镜阵列向图像传感器配准的原理示意图，其中小的孔径提供近似均匀的光源；当采集装置“光圈缩小”(stop down)(即，其光学透镜孔径的尺寸变小)为最小的可用孔径时，可以自均匀或近似均匀的光场的完全或近似完全组装的光场采集装置捕获图像(例如，白墙)；值得注意的是，产生的图像将是光点网格或小圆盘图像，微透镜阵列中每个小透镜对应一个；X和Y偏移量是从记录的图像的中心到附近的(例如，最近的)光点/小圆盘图像之间的距离，而旋度为一行光点确定的线和一行传感器像素确定的线之间的角度差(参见图11)；

图13A和13B是除其他事项外包括传感器(例如，线性或旋转电位计、编码器和/或压电或MEMS(微机电系统)变换器和/或图像传感器，如CCD(电荷耦合元件)或CMOS(互补金属氧化物半导体)-特别地，现在已知的或以后开发的任何传感器均属于本发明的范围)的示例性光场数据采集装置的示意框图，所述传感器用于感测、检测和/或确定(i)采集装置的透镜系统的配置，和/或(ii)确定光场数据采集装置的透镜系统相对微透镜阵列的出瞳或孔径函数(例如，出瞳的大小和/或形状和/或其他特性中的一个或更多特性(相对微透镜阵列))；特别地，传感器可以用于本文描述和/或图示的任何采集装置，包括图1A-1H中的采集装置-为了简洁的目的，将不在其中图示说明这种传感器；

图14A-14C是微透镜阵列和图像传感器的原理示意图，其突出小透镜投射到微透镜阵列上的光的圆盘；特别地，邻近圆盘中心之间的间距是投射的微透镜阵列的节距；每个投射的小透镜圆盘的半径可以认为是小透镜投射到微透镜阵列中的光的圆盘的范围，其中(i)投射的圆盘的大小可以小于圆盘之间的间距(图14A)，(ii)投射的圆盘的大小接近与圆盘之间的间距(图14B)相同，和(iii)投射的圆盘的大小可能大于圆盘之间的间距(如14C)；

图15A和15B是根据本发明的某些实施例的至少某些方面和/或可实施本发明的某些实施例的某些方面的具有一组或更多组光场数据的示例性电子光场数据文件的示意框图，其中光场数据文件的文件格式或结构可以包括起始代码和/或结束代码以分别指示光场数据的开始和/或结束；特别地，电子数据文件格式或结构可以具有包含元数据的数据头部分，元数据可包括和/或由光场配置数据组成(参见图15B)；

图15C是根据本发明的某些实施例的至少某些方面和/或可实施本发明的某些实施例的某些方面的具有光场配置数据的示例性电子文件的框图，该电子文件与具有一组或更多组光场数据的一个或更多电子光场数据文件关联；

图16A和16B是根据本发明的某些实施例的至少某些方面和/或可实施本发明的某些实施例的某些方面的与后处理电路通信的存储器(除其他事项外，其可存储具有一组或更多组光场数据的电子数据文件)的示意框图，其中该存储器可以与后处理电路分离或与其集成(分别参见图16A和16B)；

图16C和16D是根据本发明的某些实施例的至少某些方面和/或可实施本发明的某些实施例的某些方面的示例性光场数据采集装置的示意框图，其中示例性光场数据采集装置包括显示器(标准显示机械装置)以允许用户查看通过光场数据文件中的一组或更多组光场数据产生的图像或视频；

图16E和16F是根据本发明的某些实施例的至少某些方面和/或可实施本发明的某些实施例的某些方面的示例性光场数据采集装置的示意框图，其中光场数据采集装置连接到包括外部显示装置的外部系统/装置(例如，外部存储装置、视频显示装置、打印机、记录装置和/或处理器电路)以允许用户查看通过光场数据文件中的一组或更多组光场数据产生的图像或视频；这种外部装置或电路可以便于例如包括光场图像数据的电子数据文件、包括光场配置数据的电子文件和/或包括光场图像数据与光场配置数据的组合的电子文件的存储；

图16G是根据本发明的某些实施例的至少某些方面和/或可实施本发明的某些实施例的某些方面的与后处理电路通信的存储器(其可存储具有一组或更多组光场数据和/或光场配置数据的电子数据文件)的示意框图，其中后处理电路包括写电路和读电路以与存储器通信，还包括处理电路以实现例如光场处理，该光场处理包括在采集或记录与光场数据对应的图像数据后产生、操作和/或编辑(例如，调整、选择、限定和/或重新限定焦点和/或场深)该图像数据；

图17A是根据本发明的某些实施例的至少某些方面和/或可实施本发明的某些实施例的某些方面的示例性电子数据文件的示意框图，该电子数据文件具有图像数据(代表图像)和一组或更多组光场数据，其中图像数据以具体实施方式中所定义的标准图像格式排列、组织和/或存储；

图17B-17D是根据本发明的某些实施例的至少某些方面和/或可实施本发明的某些实施例的某些方面的示例性电子数据文件的示意框图，该电子数据文件具有以标准图像格式排列、组织和/或存储的图像数据(代表图像)和一组或更多组光场数据；其中这种电子数据文件可包括具有元数据的一个或更多数据头，该元数据包括例如一组或更多组光场配置数据；

图17E和17F是根据本发明的某些实施例的至少某些方面和/或可实施本发明的某些实施例的某些方面的示例性电子数据文件的示意框图，该电子数据文件具有以标准图像格式排列、组织和/或存储的图像数据(代表图像)和一组或更多组“原始”图像数据，其中这种电子数据文件可包括具有元数据的一个或更多数据头；

图18A-18E是根据本发明的某些实施例的至少某些方面和/或可实施本发明的某些实施例的某些方面的对具有数据(例如，一组或更多组光场数据)的示例性电子数据文件进行后处理的示例性处理流程，其中该示例性后处理流程可以与图17A-17F的电子数据文件结合使用；

图19是根据本发明的某些实施例的至少某些方面和/或可实施本发明的某些实施例的某些方面的示例性电子数据文件结合对包含在其中的数据进行后处理的示例性处理流程的示意框图，其中这种电子数据文件包括以标准图像格式排列、组织和/或存储的图像数据(代表图像)和一组或更多组光场数据，并且该处理可以利用任何标准显示机械装置查看电子数据文件的标准图像部分；特别地，这种电子文件可以包括具有元数据(其包括例如一组或更多组光场配置数据)的一个或更多数据头(未图示)；而且，在处理流程中；和

图20是根据本发明的某些方面的例如光场数据采集装置和/或后处理系统的示例性用户接口的示意框图；特别地，在一个实施例中，用户接口可以包括输出装置/机械装置(例如，显示器和/或扬声器)和/或用户输入装置/机械装置(例如，按钮、开关、触摸屏、指示装置(例如，鼠标或轨迹球)和/或麦克风)以允许用户和/或操作人员监视、控制和/或编程光场数据采集装置和/后处理电路/系统的操作。

而且，本文描述并图解了多个发明。本发明并不局限于任何单一的方面，也不局限于其实施例，也不局限于这些方面和/或实施例的任意组合和/或置换。可以单独使用本发明的每个方面和/或实施例或者与本发明的一个或更多其他方面和/或实施例结合使用。为了简明的目的，本文不会分别讨论这些组合和置换中的一些组合和置换。

具体实施方式

本文描述并图解了多个发明以及这些发明的多个方面和实施例。一方面，除其他内容外，本发明涉及光场数据采集装置(例如，光场相机)、与其有关的后处理系统以及使用这类装置和系统的方法。另一方面，本发明涉及获取、导出、计算、估计、确定、存储和/或记录光场数据采集装置的一个或多于一个的特性、参数和/或配置，用于从而对捕获或采集的图像数据实施后处理(例如，在最初采集和/或记录图像数据后，调整、选择、限定和/或重新限定焦点和/或场深(depthof field))。又一方面，本发明涉及向后处理电路传输、提供或传递这类特性、参数和/或配置-无论这种后处理电路布置在光场数据采集装置中/上(见图1B和1E)还是在光场数据采集装置的外部(见图1C和1F)。可以在利用采集装置(例如，光场相机)的成像传感器收集或采集光场数据之前、期间和/或之后获取、确定和/或记录代表光场数据采集装置的特性、参数和/或配置的数据(统称“配置数据”)。

特别地，这种配置数据可由后处理电路用来产生、导出、计算、估计和/或确定光场数据采集装置的光学和/或几何模型(例如，与采集的特定光场数据关联的特定装置的光学和/或几何模型)。后处理电路可以采用光场数据采集装置的光学和/或几何模型产生、操作和/或编辑(例如，限定和/或重新限定光场图像数据的焦点(focus))与用于采集或收集这种光场数据的光场数据采集装置的光学和/或几何模型关联或对应的光场图像数据。

定义：具体实施方式部分中描述的发明是从示例性实施例的角度介绍的，这些示例性实施例在一些情形下采用以下术语进行讨论。

光场数据 除其他内容外，意指一组值，其中每个值代表对应的一组光线内沿着每个几何光线(或接近几何光线的光束)行进的光。在一个示例性实施例中，光场数据代表由光场采集装置(例如，包括主透镜、微透镜阵列和光电传感器的光场相机，如公开号为2007/0252074的美国专利申请，和/或要求其优先权的临时申请，和/或Ren Ng在斯坦福大学的博士论文”Digital Light Field Photography”中所示的光场相机，这些内容通过引用整体合并在本文中；和/或图1A和1B中的框图示意的光场相机)中的图像传感器像素阵列采样并从其读取的二维图像数据。光场数据可以表示为一个函数L(x，y，u，v)，其中L是沿着穿过透镜在二维位置(u，v)且传感器在二维位置(x，y)的相机的光学孔径的光线(x，y，u，v)行进的光量(例如，辐射能)-例如，参见公开号为2007/0252074的专利申请和以上提到的博士论文。此外，光场数据可以意指使用编码的孔径系统收集的图像数据(参见图1G)和/或以光场的频谱编码和/或记录的数据。事实上，光场数据可以是以不同的深度聚焦的图像集合和/或自不同视点的图像集合。(参见图1H)。特别地，光场数据可以意指可用于产生、导出、计算、估计和/或确定上述光场函数L(x，y，u，v)的全部或部分表示或逼近的图像或光照数据的任何集合。

光场配置数据意指可用于解释(全部或部分)光场数据的数据。例如，光场配置数据是可以用来解释光场数据值如何与光的特性关联或映射光的特性的数据，其中所述光是在特定的光线上或与光场有关的场景中的光线组上流动的光。这种特性可包括或取决于例如场景中光的强度、颜色、波长、偏振等。光场配置数据可以代表和/或用于产生、导出、计算、估计和/或确定图像数据采集装置的光学和/或几何模型(例如，与采集的特定光场数据关联的图像数据采集装置的光学和/或几何模型)。光场配置数据可包括下列事项中的一个、一些或所有事项，和/或代表和/或用于产生、导出、计算、估计和/或确定以下事项中的一个、一些或所有事项的数据：

·光场数据采集装置的一个或多于一个的特性、参数和/或配置

·光场数据采集装置的几何和/或光学模型，其可能，例如，足以使能计算、估计、确定、表示光线如何穿过采集装置进行光传播(例如，折射、反射、衰减、散射(scatter)和/或色散(disperse))。几何和/或光学模型可以是和/或包括代表光场数据采集装置中传感器表面上的二维(x，y)位置至上述光场中光线的四维(x，y，u，v)参数表示的映射的数据，并且相应地，代表捕获的自图像传感器读取的像素值的二维阵列上的二维(x’，y’)位置至场景中光场的四维(x，y，u，v)参数化表示的映射的数据。

·孔径函数(Aperture Function)，如下所述。

·出瞳(Exit Pupil)，如下所述。

·用于记录光场的光场相机中微透镜和像素的相对节距(pitch)。

·透镜系统的变焦和/或焦点位置。

·微透镜阵列的特性、属性、几何形状和/或参数(例如，微透镜阵列的网格图案(grid pattern)、透镜大小、焦点范围和/或透镜公式)。

·微透镜阵列相对成像传感器的位置(例如，微透镜阵列相对于传感器的垂直间隔、X和Y偏移量和/或旋度)。

·利用自外界穿过成像传感器表面上的微透镜阵列传递的光而出现在成像传感器上的图像的特性、属性、几何形状和/或参数(例如，在一些实施例中，出现在成像传感器表面上的图像圆盘阵列的图案、间隔、X和Y偏移量和/或旋度)。

·主透镜系统(例如，透镜公式、f/数(f/number)和/或代表出瞳的数据)。

·将采集装置内的光线(可能异常的)映射为外界光线的光线修正函数(参见例如之前引用的Ren Ng的博士论文。

特别地，光场配置数据并不局限于任何单一的方面或其实施例，也不局限于这些方面和/或实施例的任意组合和/或置换。事实上，在一些示例性实施例中，光场配置数据可以包含现在已知的或以后开发的任何信息，这些信息代表和/或用于产生、导出、计算、估计和/或确定光场数据采集装置的光学和/或几何模型。

孔径函数是关于和/或代表经过光学系统的光传输的数据术语。在一个示例性实施例中，孔径函数是为照射到传感器的几何光线指定多少光从采集装置的外部穿过该透镜(或多个透镜)并沿着光线轨迹照射到传感器的函数。孔径函数可以由一个四维函数A(x，y，u，v)表示，其中A代表通过该透镜(或多个透镜)沿光线(x，y，u，v)传输并且来自于入射方向所在半球上的方向(u，v)的一部分光(fractionof light)，其中光线(x，y，u，v)在二维位置(x，y)照射到传感器。特别地，使用照射到传感器上的光线的其他参数表示的其他实施例包括在本发明中。特别地，与这样的函数对应的孔径函数可以由下述出瞳表示或逼近。

出瞳是关于或代表可用于描述、产生、表示、构造和/或重构光学出射瞳孔的模型和/或函数的透镜系统的光学出射瞳孔的数据术语。出瞳也可以意指光学出射瞳孔的实际或逼近表示，包括其尺寸、形状和/或三维位置的一个、一些或所有。例如，出瞳可以表示为相对于传感器平面和/或微透镜阵列处于特定的垂直距离、具有指定半径的圆盘。在其他示例性实施例中，出瞳是形状和/或距离和/或三维位置随在传感器上查看出瞳的位置而变化的表示。表示出瞳的数据可以是一个简洁的参数或参数组。

在一个示例性实施例中，表示出瞳的数据记录和/或存储为单个数字，该数字是出射瞳孔的中心与微透镜阵列或成像传感器表面之间的距离(参见图3A)。在另一实施例中，表示出瞳的数据可以是在三维空间中的位置(如出射瞳孔的中心)(参见图3B)。在另一示例性实施例中，表示出瞳的数据可以是在三维空间中的位置和形状(如出射瞳孔的中心的位置和具有指定半径的圆盘)(参见图3C)。特别地，表示出瞳的数据可以以多种不同的形式记录和/或存储，并且表示出瞳的数据并不局限于任何单一的方面或其实施例，也不局限于这些方面和/或实施例的任意组合和/或置换。事实上，表示出瞳的数据可以是现在已知或以后开发的任何形式。

术语孔径函数和出瞳在本文中可以被同义地使用。

光场处理意指处理光场数据以，例如，计算输出结果，例如图像。在本发明的某些方面，光场处理包括产生、操作和/或编辑(例如，在采集、采样和/或捕获光场数据期间，调整、选择、限定和/或重新限定焦点和/或相对焦点的场深和/或采集装置的光学器件提供的场深)与光场数据对应的图像数据-在采集或记录该数据之后。光场处理可以在解释光场数据中使用光场配置数据以实现特殊处理，从而产生特殊的输出结果。在本发明的不同实施例中可以使用不同类型的光场处理。在一个示例性实施例中，光场处理可包括重调焦距-即，处理光场数据以计算图像，其中图像的至少部分在该场景中的期望或虚拟焦平面被重调焦距(相对采集系统的光学焦点)。在另一个示例性实施例中，光场处理可包括异常修正，其中光场中的光线被处理以减少光学异常在用于记录光场数据的光学系统中的影响。在各示例性实施例中，这种异常修正根据使用光场数据采集装置的几何和/或光学模型处理L(x，y，u，v)光场函数的方法实施，如2008年8月7日提交、题为“光学异常修正”的美国专利申请12/278,708(其全文通过引用包含在本文中)和/或Ren Ng 2006年在斯坦福大学的博士论文”Digital LightField Photography”所示。在另一示例性实施例中，光场处理可包括更改(增大或减小)深度场，其中光线被处理以计算图像，其中场深被更改(增大或减小)以例如为焦点或预定焦点提供外界中不同的深度范围。这些示例并非要在以下实施例的描述中限制与光场处理关联的处理的范围或类型。

上面已经提到，光场处理可包括为修正记录的光场数据中固有的透镜异常而进行的处理-在初始采集或记录例如场景的光场数据和/或信息之后。在另一示例性实施例中，光场处理包括仿真新的透镜系统-在初始采集或记录例如场景的光场数据和/或信息之后。在另一示例性实施例中，光场处理包括更改观察视角-在初始采集或记录例如场景的光场数据和/或信息之后。在另一示例性实施例中，光场处理包括自光场数据创建全息图像-在初始采集或记录例如场景的光场数据和/或信息之后。特别地，光场处理并不局限于任何单一的方面或其实施例，也不局限于这些方面和/或实施例的任意组合和/或置换。事实上，光场处理包括产生、操作、编辑和/或处理现在已知的或以后开发的光场数据中的任意行为。

标准图像格式是用来表示以标准编码形式进行存储、显示或传输而排列、组织和/或存储(下文中，此背景下为“存储”)的图像或图像数据的术语。示例性实施例包括JPEG、EXIF、BMP、PNG、PDF、TIFF和/或HD Photo数据格式。

光场数据采集装置意指用于采集、记录、测量、估计、确定和/或计算光场数据的任何装置或系统。简言之，参考图1A-1F、2B和2C，光场数据采集装置(在示例性实施例中图示为光场数据采集装置10)可包括光学器件12(包括，例如，主透镜)、包括微透镜阵列15和传感器16(例如，光电传感器)的光场传感器14。微透镜阵列15包含在光学路径中以便于通过传感器16采集、捕获、采样、记录和/或获取光场数据。这种光场数据可以存储在存储器18中。特别地，公开号为2007/0252074的美国专利申请中记载的内容、要求其优先权的临时申请(即，序列号为60/615,179和60/647,492的美国临时专利申请)和Ren Ng的题为”Digital Light Field Photography”用于采集光场数据的博士论文通过引用包含在本文中。

光场数据采集装置10也可以包括用于对光场数据的采集、采样、捕获、记录和/或获取进行管理或控制(自动地或响应于用户输入)的控制电路。光场数据采集装置10可以将光场数据(例如，传感器16的输出)存储在外部数据存储装置和/或系统自带的数据存储装置中。光场数据的数据存储格式的所有置换和组合和/或光场数据的表示将落入本发明的范围内。

特别地，本发明的光场数据采集装置10可以是单机采集系统/装置(参见图1A、1C、1D和1F)或者可以与后处理电路20集成(参见图1B和1E)。也就是说，光场数据采集装置10可以与可执行光场处理(例如，用于产生、操作和/或编辑(例如，在最初采集和/或记录光场数据之后，调整、选择、限定和/或重新限定焦点和/或场深)例如场景的光场图像数据和/或信息)的后处理电路20集成(或基本集成)；并且，在其他示例性实施例中，光场数据采集装置10与后处理电路20分离。后处理电路20包括处理电路(例如，一个或多于一个的处理器、一个或多于一个的状态机、一个或多于一个的处理器实施软件、一个或多于一个的门阵列、可编程门阵列和/或现场可编程门阵列)以实施或执行光场处理。

特别地，光场数据采集装置可以在捕获和/或采集期间设置光场传感器，从而关于光场传感器的“光学场深”不包括主体的位置。(参见图2A)。如果将光学数据采集装置用作包含传统成像传感器的传统成像装置，则“光学场深”可以表征为装置具有的场深/景深。有关这一点，参考图2C，光场传感器平面22的位置可以视为与微透镜阵列15中的元件的主平面相同。在此，光场传感器平面22的位置可以称为光场传感器14的位置和/或方位(例如，在描述相对光场数据采集装置10中的其他组件和/或模块(例如，光学器件12)的位置和/或方位时)。

描述以上光场数据采集装置的示例性实施例是为了图解基本原理。事实上，用于采集、记录、测量、估计、确定和/或计算光场数据的现在已知的或以后开发的任意装置将属于术语光场数据采集装置的范围并且将属于本发明的范围。

记录和传递数据：一方面，本发明涉及获取、导出、计算、估计、确定、存储和/或记录光场配置数据(例如，光场数据采集装置(例如图1A-2C中图示的光场数据采集装置)的一个或一个以上的特性、参数和/或配置)。光场配置数据可以提供代表图像数据采集装置(可以包括，例如，相机光学器件(例如，任意种类或类型的一个或一个以上透镜)、成像传感器以获取和/或采集光场数据或信息以及图像数据采集装置的元件之间的相对距离)的光学和/或几何模型的信息。事实上，光场配置数据可以包括使能或便于计算、估计、确定、代表光线如何通过光场数据采集装置进行光传播(例如，折射、反射、衰减、散射和/或色散)的数据以及传感器(例如，图2A-2C的传感器16)采集、捕获、采样和/或记录的数据。

下文中，后处理电路(其可以与图像数据采集系统集成(例如，参见图1A、1B和1E)或与其分离(例如，参见图1C和1F))可以获取、接收和/或采集(i)光场数据和/或(ii)光场配置数据(其可以存储在存储器18中)。后处理电路利用图像数据和关联的光场配置数据可以确定、解析和/或解释对应于与图像数据采集系统的成像传感器关联的一个、一些或所有成像传感器像素值的光线几何并从而执行光场处理(例如，产生、操作和/或编辑(例如，在采集或记录图像数据之后，调整、选择、限定和/或重新限定焦点和/或场深)该图像数据。)

如上所述，可以在收集、采集和/或采样图像数据之前、期间和/或之后利用采集装置(例如，图1A-2C的光场采集装置10)的成像传感器获取、确定和/或记录光场配置数据。这种光场配置数据可以与关联的图像数据存储在相同的数据文件中和/或以相同的文件格式存储，或者存储在不同的数据文件中和/或以不同的文件格式存储。在后处理“在相机外”执行或者在与采集装置分离的装置(例如，光场相机)中执行的情况下，这种光场配置数据可以与关联的图像数据一起提供和/或传递给单独的后处理系统(例如，同时、串行或并行)或者分别提供和/或传递给独立的后处理系统(例如，在收集、采集和/或采样图像数据之前、期间和/或之后)。(参见，例如，图1C和1F)。

因此，在一个实施例中，光场数据采集装置和/或后处理电路/系统存储、记录和/或确定构造光场数据采集装置的光学和/或几何模型的数据或信息。光场数据采集装置和/或后处理电路/系统可以结合光场数据存储、记录和/或确定光场数据采集装置的预定和/或选定的特性、参数和/或配置。在一个实施例中，光场数据采集装置在收集、采集和/或采样光场数据期间、同时和/或之后立即存储或记录预定或选定的光场配置数据。光场数据采集装置可以例如在包含关联的图像数据的电子数据文件数据头中存储光场配置数据。除此之外，或代替性地，光场数据采集装置可以在例如与包含关联的光场数据和/或图像数据的电子数据文件不同的单独电子数据文件中存储光场配置数据。该光场配置数据可以与包括关联的光场数据和/或图像数据(即，根据关联的光场配置数据的数据配置的装置所采集的数据)的一个或一个以上电子数据文件相关联。

在示例性实施例中，光场数据采集装置在某些光场采集参数可能更改或在连续采集或多次采集之间变化之前立即、同时和/或之后立即确定、记录和/或存储光场配置数据(例如，光学器件的变焦和焦点位置在采集时间之前、采集时、采集之后被确定、采集、记录和/或存储，例如在光场配置数据的某些参数中的一个或一个以上变更或变化之前)。光场数据采集装置可以例如在包含关联的光场和/或图像数据的电子数据文件数据头中存储光场配置数据。除此之外，或代替性地，光场数据采集装置可以在例如与包含关联的光场和/或图像数据的数据文件不同的单独电子数据文件中存储光场配置数据。

在一个实施例中，后处理系统可以利用(i)光场数据和/或图像数据和(ii)关联的光场配置数据对图像数据执行光场处理(例如，产生、操作和/或编辑(例如，调整、选择、限定和/或重新限定焦点和/或场深))-在采集或记录该图像数据之后-以产生或显示预定、选定和/或期望的图像。在一个实施例中，后处理系统使用光场配置数据构建或重新构建用于采集或捕获图像数据的光场数据采集装置的光学和/或几何模型。如本文所述，后处理系统可以与光场数据和/或图像数据一起获得光场配置数据或者从光场数据和/或图像数据单独获取光场配置数据。

特别地，光场配置数据可以包括光场数据捕获系统的光学和/或几何模型的表示，其中光场数据捕获系统包括或提供将来自图像传感器像素的数据转换成入射光线的表示或将二者关联的信息。在一个实施例中，光学和/或几何模型将输入作为在成像传感器上的位置(例如，像素的X和Y偏移量)，并利用该像素位置提供捕获的该组光线的四维表示(例如，如上所述，(x，y，u，v)光线空间中的一组光线)。例如，参见公开号为2007/0252074的美国专利申请、要求其优先权的临时申请(即，序列号为60/615,179和60/647,492的美国临时专利申请)和Ren Ng的题为”Digital Light Field Photography”的博士论文。

光学和/或几何模型可包括(i)数字、形状(例如，曲率和厚度)、光学元件在装置内的绝对和/或相对位置(包括但未必局限于透镜元件、镜像元件/镜元、微透镜阵列元件和图像传感器元件)；(ii)一个、一些或所有元件的特性、参数、配置和/或属性(例如，玻璃类型、折射率、阿贝数)；(iii)制造公差；(iv)测量的制造偏差；(v)透镜模组中光学元件的倾斜和/或偏心；(vi)涂覆信息等。在示例性实施例中，几何和/或光学模型足以使能计算、估计、确定、表示和/或导出进入装置(例如，进入装置的第一透镜元件)的至少一条光线的轨迹、提供光线在装置内(例如，在透镜和微透镜阵列之间的相机的主体内)的位置和方向和/或光线在装置的图像传感器上的终止位置和/或穿过系统的光学器件传播的光的数量、颜色和/或色散。

在一个示例性实施例中，几何和/或光学模型包括以下项中一项或更多(或所有)项的表示法：(i)每个透镜元件的曲率和厚度，(ii)透镜元件和微透镜阵列之间的间距和方位，(iii)每个元件的玻璃类型，(iv)最后透镜元件和微透镜阵列之间的间距和方位，(v)微透镜阵列的几何形状，包括具有给定节距和曲率的小透镜(lenslet)的六角形图案的几何形状，(vi)微透镜阵列和图像传感器阵列之间的相对间距和方位，和(vii)图像传感器阵列的节距、图案和相对方位。该几何和光学模型可用于根据采集装置对进入装置的光线的光学效果的计算仿真来确定该采集装置的光线传递函数。特别是，对于进入采集装置的给定光线(由三维位置和三维方向矢量表示)，后处理电路/系统可通过跟踪穿过光学器件的透镜元件的光线并根据光线基于物理规律、每个透镜元件的给定的玻璃类型、曲率和厚度在穿过每个元件时进行物理折射和传播的方式来计算在光学器件的最后透镜元件和光场传感器的微透镜阵列之间的采集装置主体内传播的光线(例如，参见图4)。

记录装置的特性、参数和/或配置：在一个示例性实施例中，光场数据采集装置的一个、一些或所有以下特性、参数和/或配置被采集、存储或记录：

·代表光场数据采集装置相对微透镜阵列的孔径函数或出瞳的数据或信息(例如，光学器件或透镜系统的光学出射瞳孔的大小和/或形状和/或三维位置)(或代表光场数据采集装置的数据/信息)。在一个实施例中，出瞳可能随着光场数据采集装置的透镜或光学系统的每种配置而变化。事实上，出瞳的大小和/或形状可能依照射(on ashot-by-shot basis)变化。(参见图2D、5和6)；和/或

·光场传感器几何模型，其通常定义为记录光场数据的传感器的光学和/或几何模型。在示例性实施例中，光场传感器包括布置在或位于图像传感器前面的微透镜阵列(例如，参见图2A-2C)，并且光场传感器几何模型可以包括以下特性、参数和/或配置中的一个、一些或所有：

о微透镜阵列的几何模型。在本发明的背景下，“微透镜阵列”是通常可以指代具有微光学图案的任意窗口的术语。因此，微透镜阵列的几何形状将包括微光学图案的表面几何形状；和/或

о微透镜阵列中小透镜的节距。微透镜阵列中小透镜的节距可以表征为邻近微透镜的中心之间的距离，并且对于预定模型、系列或版本的光场数据采集装置可以是固定的或恒定的。在一些实施例中，节距可以是单个数字，其对于微透镜阵列上的所有小透镜而言是恒定且有效的(参见，图7A和7B)。在其他示例性实施例中，节距可以基于在微透镜阵列中的空间位置而变化。在其他示例性实施例中，术语“节距”通常用于代表微透镜阵列的图案，该图案可以是规则的、不规则的、重复的或不重复的；和/或

о微透镜阵列和成像传感器的表面之间的距离。在某些实施例中，该距离优选与微透镜阵列的焦距相同(或基本相同)。(参见图2D)。和/或

о微透镜阵列相对成像传感器的偏移量和旋度。微透镜阵列的偏移量和旋度对于预定模型、系列或版本的光场数据采集装置可以是固定的或者是恒定的，或者可以在光场数据采集装置之间(甚至在其模型、版本或各部分之间)变化。(参见图6)；和/或

о微透镜阵列的图案(例如，六角形或方形)。对于预定模型、系列或版本的光场数据采集装置，微透镜阵列的图案可以是固定的或恒定的。(参见图8A、8B和8C)；和/或

о成像传感器的像素/传感器的节距。传感器的多个像素/传感器的节距(例如，光电传感器阵列)可以表征为邻近传感器像素的中心之间的距离，并且对于预定模型、系列或版本的光场数据采集装置而言可以是固定的或恒定的。(参见图9)。

如上所述，光场配置数据中的一个、一些或所有数据可以被确定、存储和/或记录-并且与使用这种感光特性、参数和/或配置采集或收集的光场数据关联。尽管在某些实施例中，光场数据采集装置的所有感光特性、参数和/或配置用于执行光场处理(例如，在采集或记录图像数据之后，产生、操作和/或编辑(例如，调整、选择、限定和/或重新限定焦点和/或场深)该图像数据)，然而并非所有感光特性、参数和/或配置可以使用关联的或对应的光场数据来确定、存储和/或记录。因此，在某些实施例中，一个或一个以上(并且，同样，并非所有)可以被确定、存储和/或记录用于关联或对应的光场数据。这种光场配置数据(例如，包括光场数据采集装置的感光特性、参数和/或配置)的所有置换和组合可以使用关联或对应的光场数据来确定、存储和/或记录。为了简明的目的，本文将不会分别讨论这些置换和组合。同样，本发明并不局限于其任何单一方面或实施例，也不局限于使用关联或对应的光场数据确定、存储和/或记录这种光场配置数据的这些方面和/或实施例的任意组合和/或置换。

特别地，从成像传感器的角度，在一些实施例中孔径函数或出瞳可以表征为主透镜的孔径的三维图像。出射瞳孔在成像传感器位置上的相对位置可以至少部分地通过光场数据采集装置的光学器件来确定。同样，出瞳在成像传感器位置上的相对位置可以取决于，例如，透镜、变焦和焦点。(例如，参见图2D，其中通过修改、调整和/或更改大小和位置(例如，通过变焦)“出瞳1”将第一组光线投射在微透镜阵列的小透镜上，“出瞳2”将第二组光线投射在微透镜阵列的小透镜上-其影响来自每个小透镜的光到成像传感器表面的圆盘的投射)。

此外，投射的微透镜节距的大小(例如，成像传感器表面上投射的小透镜中心的距离，或者在其他示例性实施例中，当投射到成像传感器表面上时沿相对侧上邻近小透镜的中心之间的线穿过小透镜的距离)可以利用以下关系表示或确定：

投射的节距＝(MLA_Pitch*(D+FL_m))/D

其中：

D是感测阵列和出瞳之间的距离；

FL_m是微透镜阵列的焦距；和

MLA_Pitch是微透镜阵列上邻近微透镜的中心之间的横向间隔。

此外，微透镜阵列相对传感器的X偏移量、Y偏移量、图案、传感器像素节距和旋度可以确定圆盘如何与传感器像素对齐。传感器节距允许模型将几何坐标(通常以毫米或微米测量)映射到像素位置。传感器节距和微透镜阵列网格图案可以是基于制造规范的已知值。在一个示例性实施例中，微透镜阵列相对于成像传感器的x偏移量、y偏移量和旋度可以通过配准(registration)过程确定。在一个实施例中，可以在微透镜阵列已经固定到成像传感器之后在制造过程中的任意时间利用微透镜阵列和成像传感器的组合、校准光源和垂直于光场传感器表面的所有光线的组合来采集图像。在该示例性实施例中，产生的图像将为光点或小圆盘图像网格，在微透镜阵列中每个小透镜对应一个这样的网格。X和Y偏移量是从记录的图像的中心到附近的(例如，最近的)光点/小圆盘图像之间的距离，并且旋度为一行光点确定的线和一行传感器像素确定的线之间的角度差(参见图10和11)。

在另一示例性实施例中，当采集装置“光圈缩小”(stop down)(即，其光学透镜孔径的尺寸变小)为最小的可用孔径时，可以自均匀或近似均匀的光场(例如，白墙)的完全或近似完全组装的光场采集装置捕获图像。在该示例性实施例中，产生的图像将为小圆盘或光点网格，在微透镜阵列中每个小透镜对应一个这样的网格。X和Y偏移量是从记录的图像的中心到附近的(例如，最近的)光点/小圆盘图像的中心之间的距离，并且旋度为一行光点确定的线和一行传感器像素确定的线之间的角度差(参见图11和12)。

之前对示例性实施例的描述仅仅是为了图解说明测量、确定、配准和/或校准光场数据采集装置的特性、参数、配置和/或属性(属于光场配置数据)的一般原理，并且测量、确定、配准和/或校准现在已知或将来发明的任何相关过程均应落入本发明的范围内，认识到这些是至关重要的。

在某些实施例中，可以不指定其中一个测量的值或已知的值，并且可以将其他测量的值或已知的值相对于未指定的参数存储在单元中。例如，在一个实施例中，可以不指定传感器像素节距，并且从而一些或所有距离参数(例如，微透镜阵列与传感器的间隔、微透镜阵列相对成像传感器的x偏移量和y偏移量和/或微透镜阵列的节距)可以具有相对于传感器像素的节距的单元。

在某些实施例中，所有特性、参数和/或配置可用于建模微透镜圆盘图像到传感器表面的投射。尽管如此，光场数据采集装置的某些特性、参数和/或配置对于给定或预定模型、版本或系列的光场数据采集装置可以是固定的或几乎固定的、恒定的或几乎恒定的、预定的和/或固有的。例如，透镜可以设计成出瞳不因图片的变化而变化。结果，出瞳可以是固有的。而且，对于特定装置模型、版本或系列，微透镜阵列的位置可以视为固定的(特别是在制造处于特定公差内的情形下)，并且同样地，这些特性、参数和/或配置可以是预先确定的或暗含的。类似地，特定装置模型、特定模型的版本或系列的整个焦平面的微透镜节距、焦距、传感器节距和微透镜图案也可以是恒定的，并且同样地，这些特性、参数和/或配置可以是预先确定的或暗含的。

特别地，一些示例性实施例的光场配置数据可以分成三类。这些类中的第一类可以称为“模型静态光场配置数据”，并且其对于特定模型的所有光场采集装置、特定模型的系列或版本来说是相同或近似相同的光场配置数据(例如，传感器像素的节距可以是模型静态的)。这些类中的第二类可以称为“装置静态光场配置数据”，并且其对于通过该装置采集的所有光场可以是固定或近似固定的光场配置数据(例如，一些实例中，微透镜阵列相对于传感器表面的x偏移量、y偏移量和旋度可以是装置静态的)，其中不包括模型静态光场配置数据。第三类可以称为“动态光场配置数据”，并且是可以在来自给定或特定光场数据采集装置的连续或多个采集之间变化的光场配置数据(例如，通过给定或特定装置执行采集时的变焦和/或光学焦点位置)。

在某些实施例中，可以(i)基于个体在制造期间和/或之后，(ii)利用一个或一个以上光场数据采集装置的实验数据，(iii)利用统计近似值(例如基于一个或一个以上光场数据采集装置的一个或一个以上实验数据)和/或利用基于计算机的建模来确定光场数据采集装置的这些特性、参数和/或配置，这些特性、参数和/或配置是固定的、恒定的、预先确定的和/或固有的(模型和/或装置静态光场配置数据)。事实上，可以利用现在已知的或以后开发的任何技术或装置确定光场数据采集装置的这种固定的、恒定的、预先确定的和/或固有的特性、参数和/或配置。

此外，代表光场数据采集装置的这种固定的、恒定的、预先确定的和/或固有的特性、参数和/或配置的数据(模型和/或装置静态光场配置数据)可以存储在存储器中或光场数据采集装置上。除此之外，或代替性地，光场采集装置的特定模型的模型、版本或系列可以存储在存储器中，并且可以由此确定光场数据采集装置的这种固定的、恒定的、预先确定的和/或固有的特性、参数和/或配置(模型和/或装置静态光场配置数据)。同样地，在一个实施例中，光场数据采集装置的这种固定的、恒定的、预先确定的和/或固有的特性、参数和/或配置中的一个、一些或所有存储或记录(在相同和/或不同的数据文件中)在存储器中或光场数据采集装置上。(参见，例如，图1D和1E)。因此，光场数据采集装置的这种固定的、恒定的、预先确定的和/或固有的特性、参数和/或配置(模型和/或装置静态光场配置数据)中的一个、一些或所有可以存储在常驻存储器中、存储在具有关联或对应的光场数据的数据文件中和/或存储在与关联或对应的光场数据的文件不同的数据文件中。

这种模型和/或静态光场配置数据可以在感光(即，采集或采样光场数据)之前、期间、感光的同时或之后存储或记录在存储器中或光场数据采集装置上。在一个实施例中，可以在将关联的或对应的光场数据传递给后处理电路/系统之前(例如，在这之前立即)将模型和/或装置静态光场配置数据附加到关联或对应的光场数据。通过这种方式，后处理系统可以采集代表光场数据采集装置的这种恒定的、预先确定的和/或固有的特性、参数和/或配置的数据(模型和/或装置静态光场配置数据)和关联的或对应的光场数据(在相同或不同的数据文件中)-并且在采集或记录光场数据之后利用这种光场数据产生、操作和/或编辑一个或更多图像(例如，调整焦深)。

在另一实施例中，一个、一些或所有模型和/或装置静态光场配置数据存储在存储器中或后处理系统上。(参见，例如，图1F)。在此实施例中，后处理系统可以基于，例如，代表特定模型的光场采集装置的模型、版本或系列的数据确定光场数据采集装置的一个或更多恒定的、预定的和/或固有的特性、参数和/或配置。代表特定模型的光场采集装置的模型、版本或系列的这种数据(模型静态光场配置数据)可以存储在通过用户(例如，通过用户接口)和/或通过光场数据采集装置传递给后处理系统的数据文件中(例如，包含(i)光场数据和(ii)模型静态光场配置数据的数据文件中或与光场数据不同的数据文件中)。

后处理系统中或其上的存储器可以包括提供光场数据采集装置的这种固定的、恒定的、预先确定的和/或固有的特性、参数和/或配置的查找表或类似项。例如，用户可以通过用户接口输入数据以指示光场数据采集装置的固定的、恒定的、预先确定的和/或固有的与光场数据关联的特性、参数和/或配置。除此之外，或代替性地，后处理系统可以通过存储在数据文件中的数据和/或光场数据采集装置提供给后处理系统的数据将光场数据与光场数据采集装置的固定的、恒定的、预定的和/或固有的特性、参数和/或配置相关联(例如，在光场数据采集装置与后处理系统连接的实例中)。如上所述，代表光场数据采集装置的固定的、恒定的、预定的和/或固有的特性、参数和/或配置的数据可以是特定模型的光场采集装置的模型、版本或系列的数据。

在另一实施例中，后处理系统可通过预定的检索系统使用一个、一些或所有模型和/或静态光场配置数据。例如，在一个实施例中，后处理系统可以从一个或多个本地、网络化和/或互联网源中查询数据库来重新获得一个、一些或所有模型和/或静态光场配置数据。在另一实施例中，后处理系统可以从一个或多个本地、网络化和/或外部(例如，互联网)源检查和/或安装软件更新。代表特定模型的光场采集装置的模型、版本或系列的这类数据(模型静态光场配置数据)可以存储在通过用户(例如，通过用户接口)和/或通过光场数据采集装置传递给后处理系统的数据文件中(例如，包含(i)光场数据和(ii)模型静态光场配置数据的数据文件或与光场数据不同的数据文件中)。

在光场数据采集装置的特性、参数和/或配置并非固定、恒定、预定和/或固有的实例中，这类特性、参数和/或配置可以通过现在已知或以后开发的任何技术或装置来确定。例如，在一个实施例中，一个或更多传感器用于确定光场数据采集装置的透镜系统相对微透镜阵列的出瞳或孔径函数。在某一示例性实施例中，一个或更多传感器(例如，线性或旋转电位计、编码器和/或压电或MEMS(微机电系统)变换器和/或图像传感器，如CCD(电荷耦合元件)或CMOS(互补金属氧化物半导体)-特别地，现在已知的或以后开发的任何传感器都将属于本发明的范围)可以通过感测、检测和/或确定光场数据采集装置的透镜系统的配置来感测、检测和/或确定出瞳(相对微透镜阵列)的大小和/或形状和/或其他特性中的一个或更多。(参见，例如，图13A和13B)。

在一个示例性实施例中，与光学系统之间具有已知微透镜阵列的图像传感器阵列用于感测光学系统的出射瞳孔。基于出现在图像传感器阵列上的图像信号，可以自每个微透镜下方出现的微透镜圆盘图像之间的间隔推断出出射瞳孔的形状和/或位置。可以利用各微透镜图像的形状(可能重叠)确定出射瞳孔的形状-例如，圆形图像指示圆形出射瞳孔，六角形图像指示六角形出射瞳孔，而方形图像指示方形出射瞳孔。在一些实施例中，该形状可能在图像传感器内发生变化，这指示自传感器上的显视点出射瞳孔的形状变化。出射瞳孔与微透镜阵列和传感器间的距离可以通过微透镜图像的节距(相对中心之间的距离)来确定。如图2D所示，根据该图所示的线性几何关系，较小的节距指示较远的距离。

在一个特定示例中，光学出射瞳孔与微透镜阵列之间的距离L可以表示为以下方程：

L＝F*X/(Y-X)

其中：

F是微透镜阵列和传感器之间的间隔；

X是两个给定微透镜(例如，邻近的)中心(A和B)之间的间隔；且

Y是出现在A和B下面图像传感器上的微透镜图像的中心之间的间隔。

在另一示例性实施例中，传感器或其他机械装置用于检测、确定、测量或跟踪变焦透镜的配置。例如，传感器可以检测、确定和/或测量用于驱动变焦透镜的步进马达的位置，并且该位置可用作变焦透镜配置的指示器。在这些示例性实施例中，变焦透镜的配置可以与将配置映射至预定出射瞳孔配置的数据库或表格相结合。在一些实施例中，步进马达位置的数量可以是离散且有限的，并且N位键可用于唯一地表示每个位置，其中每个N位键对应于数据库或表格中的一个入口，该入口对应于与对应的步进马达位置有关的预定出射瞳孔配置。

特别地，在光场数据采集装置连接到后处理系统的这些实施例中，这种连接可以通过有线和/或无线体系结构利用现在已知的或以后开发的任何信号传输(signaling)技术实现。此外，可以利用任何现在已知或以后开发的任何格式将配置数据与关联的光场数据一起或分别提供和/或传递给后处理系统。事实上，可以将模型和/或装置静态光场配置数据与动态光场配置数据(即，光场数据采集装置的特性、参数和/或配置不是固定的、恒定的、预定的和/或固有的)一起或分别提供和/或传递给后处理系统。例如，在一个实施例中，可以在初始连接后立即将模型和/或装置静态光场配置数据提供和/或传递给后处理系统，并且此后可以将动态光场配置数据与关联的光场数据一起或分别传递给后处理系统。与其有关的所有通信策略、格式、技术和/或体系结构均属于本发明的范围。

在一个实施例中，光场数据采集装置采集、确定、存储和/或记录代表出瞳和传感器节距的数据。有关这一点，在一个实施例中，光场采集装置在采集、收集、采样和/或获取光场数据时(即，当“感光”时或进行“照射”时)采集、确定、存储和/或记录有关透镜配置的数据或信息(例如，变焦位置和范围)。光场采集装置中的电路可以利用例如透镜配置计算、确定和/或估计出射瞳孔的位置。

特别地，总的来说，光场捕获系统的光学和/或几何模型可以包括或提供将来自图像传感器像素的数据转换成入射光线的表示或使二者关联的信息。具有将像素值转换为来自光场采集装置的入射光线或将二者关联的模型的后处理电路可以执行光场处理(例如，计算包括例如具有不同焦平面的图像，以及计算修正、捕获或处理伪影(artifact)的图像)。在某些方面，本发明记录、存储和/或确定主透镜系统和光场捕获传感器的光学参数，这便于确定光场数据采集装置的某些方面的光学和/或几何模型。

一旦记录、存储和/或确定透镜系统和光场传感器的特性、参数和/或配置，后处理电路可以产生将传感器像素“映射”为几何光线或几何光线组或使二者关联的光学和/或几何模型。

在某些情况下，出瞳或孔径函数可以视为光场数据采集装置的简洁参数，其描述或表征采集装置的透镜系统(可包括一个或更多任意种类或类型的透镜)。通过这种方式，后处理电路可以使用代表出瞳或孔径函数的数据(例如，一些实施例中出射瞳孔的大小和/或形状)来促进和/或允许光场处理，包括例如以不同的深度聚焦或重新聚焦一个或更多图像-在数据采集后或在光场数据采集装置采集光场数据后。

在系统执行透镜系统异常修正的实例中，可以使用透镜系统的表征或表示和/或光线修正函数。在一个示例性实施例中，透镜系统可以表征或表示为一组透镜公式，所述公式描述每个透镜元件的形状、反射率和/或之间的间距。这种公式或关系可以描述如何确定光线在被图像传感器采集之前越过或穿过光学系统。事实上，光线如何越过或穿过光学系统的表征或表示促进光线失真函数的光线跟踪计算，该计算可用于修正光学异常。(参见，例如，Ren Ng 2006年在斯坦福大学的博士论文”Digital Light Field Photography”，第135页)。在另一示例性实施例中，透镜系统可以通过公式和光线修正函数(或光线失真函数)本身的离散逼近来描述。

在传感器表面上捕获的光受透镜的渐晕(vignetting)影响的实例中，使用技术和电路修正、减少、最小化和/或消除渐晕将是有利的。这种渐晕的示例是由于斜视时的遮挡和/或面积的减小和/或出射瞳孔的闭塞(例如，由于透镜镜筒内透镜元件边界、孔径或其他不透明元件造成的内部阻塞)造成照片接近边角的地方变暗。如果不表征及建模透镜系统的渐晕，则以一些透镜系统捕获的光场可能在图像边缘周围遇到伪影。在一个示例性实施例中，透镜系统由出射瞳孔参数和基于像素位置表征出射瞳孔遮挡的公式来表征、描述和/或表示。通过这种方式，可以通过每个像素位置处被遮挡的出射瞳孔的面积进行标准化(normalizing)来修正、减小、最小化和/或消除渐晕。

在一个示例性实施例中，查找表或类似项可用于测试光线是否发生渐晕。在一个特定实施例中，当系统执行光场处理时，可以检查二进制查找表，该表使用几何光线或光线组的“离散”X、Y、U和V分量进行存取。如果二进制查找表的几何光线参数存储假或零值，则可以丢弃与该几何光线关联的信息(例如，像素值)。在另一特定示例性实施例中，可以在系统执行光场处理时检查值范围从0.0到1.0的数字查找表，该查找表利用几何光线或光线组的X、Y、U和V分量存取。在系统执行光场处理时可以修改和/或调整(例如，通过调整像素值来解决闭塞或通过使用查找值来标准化像素值)与几何光线参数关联的信息(例如，像素值)。

可以通过实验获得查找表，例如在光场数据采集装置的制造过程中的校准步骤期间，通过使用该装置来采集预定光场(例如，具有恒定且均匀(或接近恒定且接近均匀)照明的场景或除此之外预定且已知的场景或光场)的光场数据，并存储通过分割光场数据中的每个值而标准化的查找表的值、由预定场景或光场通过实验记录的值。在该示例性实施例的光场处理方面，查找表通过标准化光场数据中的每个值在光场处理期间被使用，标准化光场数据中的每个值通过利用查找表中匹配值的倒数对其按比例放缩来实现。例如，对于具有图像传感器的光场数据采集装置，查找表可以作为标准化的传感器图像存储在提供给光场处理的光场配置数据中。在对给定输入光场数据组(包括图像传感器值)的光场处理期间，每个值与标准化传感器图像(查找表)中对应的图像传感器值的倒数成比例地被加权。

在又一示例性实施例中，查找表通过逼近标准化传感器图像的解析函数来表示(例如，为了简洁、有效和/或优化)。例如，使用的解析函数和/或逼近可以是传感器图像的存储子集(例如，一个微透镜下的值)，其与一个过程或进程结合以将图像其他部分中的传感器图像像素映射为在存储子集中的对应位置或将二者关联。在一个示例性实施例中，映射或关联过程或进程是为了确定自预定位置的二维偏移量(例如，最接近的微透镜的中心)，并在自存储子集中的微透镜的中心相同或接近相同的二维(2D)偏移量处使用存储子集中的值。事实上，确定2D偏移量的方法依赖于微透镜阵列的图案，并且针对利用与传感器图像中微透镜图像的中心位置和半径有关的光场配置数据中的数据的示例性实施例对计算方法进行了以下讨论。

特别地，对示例性实施例之前的描述仅仅为了图解测量、确定、配准和/或校准类似查找表的功能的基本原理，用于修正光场数据采集装置的渐晕方面或其他不良特性并用于并入光场配置数据。现在已知或以后开发的用于测量、确定、配准、校准、逼近、表示和/或存储这类查找表功能作为光场配置数据的部分的任何适当进程都将属于本发明范围的这个方面。

传递光场数据采集装置的特性、参数和/或配置的光学表示：如上所述，可以基于或利用光场数据采集装置的描述光场传感器和主透镜系统或光场数据采集装置的光学系统的一个或更多特性、参数和/或配置构建将记录的像素数据转换为几何光线信息的光学模型。例如，模型和/或装置静态光场配置数据可以存储在光场数据采集装置上的存储器中，例如，非易失性存储器(如，只读型存储器-例如，电可编程只读存储器(“EPROM”)、电可擦除可编程只读存储器(“EEPROM”)和/或闪存(例如，NOR(或非型)或NAND(与非型)))。代表这种静态特性、参数和/或配置的数据可以在任何时间写入存储器，例如在制造过程中。在某些实施例中，这种模型和/或装置静态光场配置数据包括微透镜节距、微透镜图案和/或传感器像素节距。该模式和/或装置静态光场配置数据也可以包括微透镜阵列和传感器表面之间的间距。

特别地，在光场数据采集装置包括“固定”透镜系统的实施例中(例如，光场采集装置可以制造为具有附加的透镜系统)，可以基于例如光场数据采集装置的光学系统的变焦和/或焦点位置来确定出射瞳孔的大小和形状。由于与一个或更多变焦和焦点位置有关，因此出射瞳孔或孔径函数表示可以预定和/或存储在光场数据采集装置上的存储器中(以查找表、公式或类似的形式)或者外部后处理系统上的存储器中。

某些装置静态光场配置数据(例如，微透镜阵列相对传感器表面的偏移量和旋度)可依每个单独的光场数据采集装置而变化。同样，在光场数据采集装置的某些特性、参数和/或配置基于逐个装置而变化的情况下，可以在例如构造光场数据采集装置之后配准进程期间存储和/或更新这种特性、参数和/或配置。该数据或信息可以存储在光场数据采集装置上或中的非易失性存储器中(例如，SRAM(静态存储器)、NOR或NAND闪存或EEPROM)，并且事实上，该数据或信息可以在构造采集装置之后设置为装置校准过程的一部分。

可互换透镜系统中的特性、参数和/或配置的传递和存储：在某些实施例中，光场数据采集装置可以包括一个或更多可互换的透镜。在这些实施例中，光场数据采集装置可以被提供(例如，由用户通过用户接口)和/或检测(例如，通过从可互换的透镜采集的数据)细节和/或对其光学系统的更改。在一个实施例中，光场数据采集装置从可互换的透镜中检索信息以确定特性、参数和/或配置和/或光学系统对其所作的更改。在另一实施例中，用户可以通过用户接口输入特性、参数和/或配置和/或光学系统对其所作的更改。可以利用现在已知或以后开发的任何通信技术、电路、(电子或机械的)接口和/或体系结构传递这种信息。

在某些示例性实施例中，可互换透镜(即，合并到光场数据采集装置的光学系统中或该光学系统上的透镜)和/或光场数据采集装置包含存储器中的查找表，该查找表将(i)光学系统的变焦和焦点与(ii)出瞳(或孔径函数)的表示关联或者将(i)“映射”到(ii)。出瞳可以提供给后处理电路(布置在光场数据采集装置和/或单机后处理系统上)以促进和/或使能光场处理。在另一实施例中，可以基于光学系统的变焦和焦点利用数学关系确定出瞳。特别地，在具有固定聚点或变焦位置的实施例中，出射瞳孔的大小和形状的确定可取决于不同的参数(例如，在具有固定变焦位置的实施例中，出射瞳孔可以仅仅随焦点位置的变化而变化)。

在另一示例性实施例中，如果互换透镜合并到光学系统中，则对光场数据采集装置应用固件更新。该更新可以以“补丁”的方式实施并且可以由用户安装或者可以在透镜首次连接到光场数据采集装置时自动安装。固件更新可以提供一种基于透镜在感光或收集、采集和/或捕获光场数据时可以提供的信息确定光学或透镜系统的某些光学参数的机制。例如，固件更新允许光场数据采集装置基于透镜的配置(例如，透镜的一个或更多预定的变焦或焦点位置)查找代表透镜的出瞳或孔径函数的数据。

在又一实施例中，光场数据采集装置中的存储器包括可以实施或合并到光场数据采集装置的光学系统中的一个或更多可互换透镜的数据。在该实施例中，存储器(例如，非易失性存储器)包括代表可实施或合并到光场数据采集装置的光学系统中的多个可互换透镜的特性、参数和/或配置的数据。同样，存在于光场数据采集装置中的存储器可包括将(i)变焦和焦点“映射”为(ii)代表出瞳的数据的查找表。在一个实施例中，存在的存储器包括多种数学关系，其中预定数学关系中选定的一个，基于实施或合并到光场数据采集装置的光学系统中的特定可互换透镜，用于基于例如光学系统的特定变焦和焦点确定出射瞳孔大小和/或形状。

在一个示例性实施例中，光场数据采集装置的存储器包含适于主体的所有可用可互换透镜构成的一个数据库。每个条目可以由透镜系统使其对相机可用的信息进行键控(keyed)。该键可以在透镜模型号的形式上是唯一的、或者在可用参数(如最小变焦、最大变焦和f比例)的组合上是唯一的。事实上，该键可用于查找确定出射瞳孔的大小和/或形状的特定或预定数学关系-例如，通过将透镜的当前变焦和焦点位置转换为出射瞳孔位置。

在另一示例性实施例中，当可互换透镜附连到光场数据采集装置时，该装置可以查询一个外部源或多个外部源(例如，具有互联网功能的相机可以查询网络化的数据库)以利用有线(例如，至本地计算机的USB电缆连接)或无线连接(例如，具有Wi-Fi功能的装置)进行更新。在该实施例中，当可实施或合并到光场数据采集装置的光学系统中的可互换透镜首次、每次或任何时间附连到光场数据采集装置以检查和/或更新代表多个可互换透镜的特性、参数和/或配置的数据时，该装置可以查询该外部源或多个源。

在之前的讨论中，“变焦和焦点”通常用作透镜的光学配置的示例特性。本文中任何使用“变焦和焦点”的地方，应当理解光学系统的配置的特性的任何子集以及事实上采集装置的光学和/或几何模型的任何表示均可以替代变焦和焦点特性，或者除此之外，这种替代和概括都将属于本发明的范围。

微透镜阵列的光学表示：在某些实施例中，可以记录或存储代表微透镜阵列的数据以允许通过后处理电路对图像进行处理。这种数据可以存储在单独的配置数据文件中或者连同光场数据文件。配置数据文件可以与每个包含光场数据的一个或更多文件关联。例如，配置数据文件可以存储在存储光场数据的电子文件数据头中。可替代地，相对包括关联的光场数据的电子文件，配置数据文件可以存储在单独的电子文件中。而且，包括配置数据的电子文件可以与每个包含不同光场数据的多个电子文件关联并与其分离。

在一个示例性实施例中，相关/关联的光场配置数据可以以标准图像格式存储在光场数据文件数据头中。在此实施例中，除其他事项外，数据头包括光场配置数据(例如，包括代表光学系统的特性、参数和/或配置的数据)。例如，单机后处理系统中的后处理电路可以读取或解释数据文件的数据头以便于模型的构建，从而用于处理关联的或对应的光场数据。通过这种方式，后处理电路可以转换或解释来自图像传感器的数据以执行光场处理，例如使用光场数据产生、操作和/或编辑一个或更多图像(例如，在不同的深度聚焦或重新聚焦一个或更多图像-在数据采集后或在光场数据采集装置采集光场数据后)。例如，后处理电路可以将来自图像传感器像素位置的光场数据转换或解释成入射光线表示。

投射的圆盘的中心位置和形状：在一个实施例中，系统采集或确定代表投射在成像传感器表面的微透镜圆盘的中心位置和大小的数据。参照图5，投射的圆盘的大小和形状覆盖到捕获的图像上。后处理电路可以使用小透镜投射的图像的位置、大小和形状信息进行光场处理。事实上，确定微透镜圆盘的中心和大小可以基于之前列出的关键光学参数来确定，例如使用以下示例性实施例中描述的计算进程。

投射的微透镜圆盘位置和形状：在一个实施例中，系统可以存储或记录代表以下事项的数据，(i)投射到图像传感器的中心的中心小透镜的X和Y偏移量(或表示微透镜阵列相对图像传感器的平移的任何其他偏移量)，(ii)微透镜阵列相对成像传感器的旋度，(iii)微透镜网格图案(例如，六角形或方形)，(iv)投射的小透镜的半径，和/或(v)投射小透镜的邻近中心之间的间距。后处理电路可以使用这样的数据确定光学和/或几何模型以用于进行光场处理(例如，例如，以不同的深度聚焦或重新聚焦一个或更多图像-在数据采集后或在光场数据采集装置采集光场数据后)。(参见，例如，图6)。特别地，X和Y偏移量值是传感器上的中心像素与中央投射的微透镜圆盘的中心之间的空间距离(在微透镜包括圆盘形状的情形下)。此外，邻近圆盘中心之间的间距是投射的微透镜阵列的节距。可以将每个投射的小透镜圆盘的半径认为是微透镜阵列中小透镜投射的光的圆盘的范围(参见图14A-14C)。请注意，尽管图中投射的圆盘的直径似乎近似与节距具有相同的大小，但是数字是不同的并且用于区分的目的。

在该实施例中，电路可以通过以下方式构建将传感器位置(例如，像素坐标的X和Y位置)转换成代表一组入射光线的信息的几何或光学模型：

X和Y偏移量指定传感器表面上中央微透镜形成的图像的位置，分别被称为MLXOnSensor和MLYOnSensor。微透镜形成的图像的大小通过投射的小透镜的半径指定，称为MLROnSensor。

对于中心位于PXOnSensor和PYOnSensor的每个像素，如果：

$\sqrt{({(\mathrm{PXOnSensor}-\mathrm{MLXOnSensor})}^2+{(\mathrm{PYOnSensor}-\mathrm{MLYOnSensor})}^2)}<\mathrm{MLROnSensor},$

则像素可以视为处于指定微透镜投射的图像中。

所有投射到传感器表面上的微透镜图像的中心的位置可以通过在邻近小透镜之间添加间距来确定，用于计算旋度。在一个具有方形微透镜网格图案、相对于传感器表面的旋度为Theta、传感器表面上微透镜图像之间的间距为MLSpacing的示例性实施例中，4个邻近微透镜的中心处于以下位置：

·MLXOnSensor+MLSpacing*COS(Theta)，MLYOnSensor+MLSpacing*SIN(Theta)

·MLXOnSensor-MLSpacingCOS*(Theta)，MLYOnSensor+MLSpacing*SIN(Theta)

·MLXOnSensor-MLSpacing*SIN(Theta)，MLYOnSensor+MLSpacing*COS(Theta)

·MLXOnSensor+MLSpac ing*SIN(Theta)，MLYOnSensorMLSpacing*COS(Theta)

微透镜圆盘在传感器表面上的投射的位置和间距可以确定4维几何光线组在X和Y分量/坐标中的位置和范围。在将成像传感器上的位置转换成X、Y、U和V中的值组的实施例中，包含在投射的微透镜图像中的所有像素的X和Y分量可以认为中心处于微透镜投射的中心并且与微透镜的整个面积具有相同的大小。U和V分量可以认为是角信息，并且在一些实施例中，针对微透镜中心位于MLXOnSensor、MLYOnSensor、像素中心位于PXOnSensor、PYOnSensor的像素，U和V分量可以通过以下方式确定：

·U＝(PXOnSensor-MLXOnSensor)/MLSpacing

·V＝(PYOnSensor-MLYOnSensor)/MLSpacing

在这些实施例中，U和V处于标准化的坐标空间中，变化范围是-0.5到0.5。

特别地，在此实施例中，未照射的任何传感器像素(不存在以下投射的微透镜图像，从像素的位置到其中心的距离小于或等于一个投射的圆盘半径)不可用于光场处理。在某些实施例中，投射到捕获的图像上的小透镜圆盘的位置和大小在外观上规则或接近规则可能是有利的。

捕获系统的简洁光学规格：在一个实施例中，系统可以存储或记录代表以下事项的数据：(i)3维空间(3-space)中微透镜阵列相对于成像传感器的位置和方位，(ii)微透镜网格图案(例如，六角形或方形)，(iii)微透镜阵列的透镜公式或逼近，(iv)主透镜系统的透镜公式和间距或逼近，和/或(v)光场传感器相对主透镜系统的位置和方位。(参见，例如，图5和6)。可以通过后处理电路使用这种数据以确定光场数据采集装置的光学路径的模型。

后处理电路可以使用该模型执行光场处理(例如，使用光场图像数据产生、操作和/或编辑一个或更多图像(例如，在不同的深度聚焦或重新聚焦一个或更多图像-在数据采集后或在光场数据采集装置采集光场图像数据后)。

在一个示例性实施例中，后处理系统采集和/或确定(i)微透镜阵列中中央小透镜相对成像传感器的中心的x偏移量，(ii)微透镜阵列中中央小透镜相对成像传感器的中心的y偏移量，(iii)微透镜阵列的旋度，(iv)微透镜阵列与成像传感器之间的间隔，(v)微透镜阵列的节距，(vi)微透镜阵列的图案，和(vii)出射瞳孔的中心相对微透镜阵列的位置。

特性、参数和/或配置光学系统和查找：在一个实施例中，系统通过查找系统提供系统、电子、场景依赖的和/或光学特性、参数、属性、模型和/或配置。在查找系统中，根据一个实施例，光场数据采集装置以一个或更多键存储或保存光场数据，所述键标识光学系统或采集装置的光学系统的组件。例如，在一个实施例中，光场数据采集装置可以存储多个键(例如，两个键)，其中一个键可以唯一地标识光场数据采集装置，而另一个键可以在取得、采集和/或捕获光场数据时唯一地标识采集装置的特性、参数和/或配置。事实上，在一个特定的示例性实施例中，根据本发明的该方面的光场数据采集装置可以具有固定数量的变焦配置和针对每个变焦配置的唯一标识符-其中每个对应于预定的键。

特别地，在一个实施例中，光场数据采集装置可以(除此之外或代替性地)存储或保存N位键以标识与采集或捕获的光场数据关联或对应的采集装置的特性、参数和/或配置。在一个示例性实施例中，光场数据采集装置包括一个唯一标识光场数据采集装置的一个、一些或所有(动态和/或静态的)感光特性、参数和/或配置的键，包括：

·代表光场数据采集系统相对微透镜阵列的孔径函数或出瞳的数据或信息(例如，透镜系统的光学出射瞳孔的大小和/或形状和/或三维位置)(或代表光场数据采集系统的数据/信息)。在一个实施例中，出瞳可以随着光场数据采集装置的透镜系统的每种配置而变化。事实上，出瞳的大小和/或形状可能依照射(on a shot-by-shot basis)变化。(参见图2D、5和6)；和/或

·光场传感器几何模型，其通常限定为记录光场数据的传感器的光学和/或几何模型。在特定的示例性实施例中，传感器是图像传感器阵列前面的微透镜阵列，并且光场传感器几何模型可包括一个、一些或所有以下特性、参数和/或配置：

о微透镜阵列的几何学(geometry)。在本发明的背景下，“微透镜阵列”是通常可以指代具有微光学图案的任意窗口的术语。因此，微透镜阵列的几何学将包括微光学图案的表面几何学；和/或

о微透镜阵列中小透镜的节距。微透镜阵列中小透镜的节距可以表述为邻近微透镜的中心之间的距离，并且对于预定模型、系列或版本的光场数据采集装置，小透镜的节距可以是固定的或恒定的。在一些实施例中，节距可以是单个数字，其对于微透镜阵列上的所有小透镜而言是恒定且有效的(参见，图7A和7B)。在其他示例性实施例中，节距可以基于在微透镜阵列中的空间位置而变化。在其他示例性实施例中，术语“节距”通常用于指代微透镜阵列的图案，其可以是规则的、不规则的、重复的或不重复的；和/或

о微透镜阵列和成像传感器的表面之间的距离。在某些实施例中，该距离优选与微透镜阵列的焦距相同(或基本相同)。(参见图2B-2D)。和/或

о微透镜阵列相对成像传感器的偏移量和旋度。微透镜阵列的偏移量和旋度对于预定模型、系列或版本的光场数据采集装置可以是固定的或者是恒定的，或者可以在光场数据采集装置之间变化(甚至在模型、版本或其各部分之间)。(参见图6)；和/或

о微透镜阵列的图案(例如，六角形或方形)。微透镜阵列的图案对于预定模型、系列或版本的光场数据采集装置可以是固定的或恒定的。(参见，图8A、8B和8C)；和/或

о成像传感器的像素/传感器的节距。成像传感器的像素/传感器的节距可以表述为邻近传感器像素的中心之间的距离，并且对于预定模型、系列或版本的光场数据采集装置可以是固定的或恒定的。(参见图9)。

N位键可以提供给后处理电路，其可以使用查找表或类似项构建或重新构建光场数据采集装置的光学特性。在一个实施例中，后处理电路可以存取常驻存储器、本地数据库或查询外部源(例如，互联网源)以获得与N位键关联的光学信息。

在采用一个或多个键的其他示例性实施例中，一个、一些或所有键可以是光场配置数据内特定特性、参数、模型和或配置的值的编码或表示。举一个特定示例，在一些实施例中，变焦配置的焦距可以表示或存储为N位键，其中该N位值编码N位浮点位模式获得单位为毫米的变焦位置的焦距。特别地，如上所述，每个实施例可以单独使用或与一个或更多其他实施例组合。例如，在一个实施例中，光场数据采集装置的光学模型或数据可以使用存储一些配置参数以及唯一标识采集装置的某些元件或部件的一些信息的组合表示(例如，基于以上讨论的N位键实施例)。通过这种方式，后处理电路可以读取或解释图像数据、配置数据和N位键的数据文件以创建或重新创建用于采集和/或捕获光场数据的光场数据采集装置的光学模型(即，与光场数据关联的采集系统的光学模型)。

在一个示例性实施例中，微透镜阵列相对图像传感器的平移和旋转配置参数以及相机模型数和变焦位置被存储、记录或保存到文件中。当后处理电路(例如，后处理系统)读取该数据时，可以通过在特定变焦位置确定或查找相机模型的光学系统(基于N位键)，之后应用微透镜阵列的平移和旋转参数以更为完整地表达与光场数据关联的采集系统的几何和/或光学模型来构建适当的几何和/或光学模型。

特别地，在本发明的示例性实施例中，数据处理、解析、计算、产生和/或操作可以在布置于(部分或整体)相机内/上或外部后处理系统内/上的电路内实施或使用该电路实施。这种电路可包括一个或更多微处理器、专用集成电路(ASIC)、数字信号处理器(DSP)和/或可编程门阵列(例如，现场可编程门阵列(FPGA))。事实上，电路可以是现在已知或以后开发的任何类型或形式的电路。例如，后处理电路可以包括有源和/或无源的单个组件或多个组件(微处理器、FPGA、ASIC和DSP)，这些组件连接在一起以实现、提供和/或执行预期的操作/功能/应用；所有这些均属于本发明的范围。

除其他事项外，术语“电路”可意指有源和/或无源的单个组件(例如，与电有关的/电子的)或多个组件(集成电路形式、分立形式或其他形式)，并且这些组件连接在一起以提供或执行预期的功能。除其他事项外，术语“电路”可意指一个电路(集成的、分立的或其他形式)，一组这种电路，一个或更多处理器，一个或更多状态机，一个或更多处理器实施软件或一个或更多电路(集成的、分立的或其他形式)、一个或更多状态机、一个或更多处理器和/或一个或更多处理器实施软件的组合。而且，术语“光学器件”意指包括用于影响光传播的多个组件的系统，包括但不限于透镜元件、窗口、孔径和镜子。

而且，如上所述，在操作中，后处理电路可以完成或执行实现本文描述和图解的特定方法、技术、任务或操作的一个或更多应用程序、例程、程序和/或数据结构。这些应用程序、例程或程序的功能可以组合或分散。而且，可以由后处理电路使用现在已知的或以后开发的任何编程语言实现这些应用程序例程或程序，所述编程语言包括，例如，汇编、FORTRAN、C、C++和BASIC，编译或未编译代码；所有应用程序例程或程序都将属于本发明的范围。

光场数据的示例性文件和文件结构：光场数据文件是包括一组或更多组光场数据的电子数据文件。(参见，例如，图15A和15B)。光场数据文件可包括一组或更多组光场数据，其整体或部分是压缩或未压缩的和/或处理的或未处理的。一组光场数据可以是通过光场数据采集装置采集、捕获和/或采样的场景、图像或“感光”数据。

光场数据文件可包括任何文件形式或结构，其中包含的数据整体或部分是压缩形式的或未压缩形式的，和/或其中包含的数据整体或部分是处理的或未处理的。在一个示例性实施例中，光场数据文件的文件形式或结构包括起始代码和/或结束代码以分别指示一组光场数据的开始和/或结束。除此之外，或代替性地，该组光场数据可包括预定或预先限定数量的数据。(参见，例如，图15A)。同样地，给定的光场数据组的开始或结束可以间接基于相当数量的数据(具有或不具有开始和/或结束代码)。特别地，现在已知或以后开发的光场数据文件的任意文件形式或文件结构都属于本发明的范围。

在一个示例性实施例中，光场数据的文件形式或结构可包括元数据(例如，作为数据头部分)。(参见，例如，图15B，其中在此示例性实施例中，这种数据头位于文件的开始-尽管它不需要)。在一个实施例中，元数据可以是定义类型的数据，其提供有关采集、捕获和/或采样的光场数据和/或环境或参数的信息。例如，元数据可包括光场配置数据和/或由光场配置数据组成。

如上所述，光场数据文件可包括通过光场数据采集装置采集、捕获和/或采样的图像或“感光”的一组或更多组光场数据。其中，该文件包括多组光场数据，这些组可以是使用相同或基本相同的采集设置采集的一系列图像或感光(时间上连续的)或多个图像。在这样的情形下，数据头部分可包括可应用于多组光场数据的光场配置数据和/或由这些数据组成。

光场数据文件可以存储和/或保持在存储器(例如，DRAM(动态随机存取存储器)、SRAM(静态随机存取存储器)、闪存、传统型硬盘驱动器、磁带、CD和/或DVD)中。(参见，例如，图16A-16C)。这种存储器可以由后处理电路进行存取以执行光场处理(例如，产生、操作和/或编辑与光场数据对应的图像数据-在采集或记录该图像数据后(包括，例如，在采集光场数据之后调整、选择、限定和/或重新限定焦点和/或场深))。存储器可以在光场数据采集装置内部的或外部。而且，相对光场数据采集装置中的电路，存储器可以是分立的或集成的。除此之外，或代替性地，相对后处理电路/系统，存储器可以是分立的或集成的。

在一个实施例中，后处理电路可以访问光场数据文件(具有一组或更多组光场数据)，并且基于或响应于用户输入或指令执行光场处理(例如，在采集与图像关联的光场数据后，调整、选择、限定和/或重新限定这种图像的焦点和/或场深)。此后，后处理电路可以在光场数据文件内存储图像(例如，将这种图像附加到该文件)和/或重写包含在光场数据文件内的关联的光场数据。除此之外，或代替性地，后处理电路可以创建(响应于用户输入/指令)包含利用关联的光场数据产生的图像的独立文件。可以重复该过程以执行进一步的光场处理和利用光场数据产生额外的图像(例如，再次在采集与这种图像关联的光场数据之后，重新调整、重新选择和/或重新限定第二图像的第二焦点和/或第二场深，其中第二图像所关联的光场数据与第一图像所关联的光场数据相同)。

特别是，光场数据采集装置可以包括显示器以允许用户查看利用一组或更多组光场数据产生的图像或视频。(参见，例如，图16C和16D)。显示器可以促使用户实现对光场数据文件中一组或更多组光场数据的预期或预定的光场处理。

光场数据采集装置也可以连到外部显示器以及，例如，记录装置、存储器、打印机和/或处理器电路(参见，例如，图16E和16F)。通过这种方式，光场数据采集装置或后处理电路可以输出图像数据至显示器、处理器电路(例如，专用或通用处理器)和/或视频记录装置。(参见，例如，图16E和16F)。而且，这种外部装置或电路可以促进，例如，光场数据文件的存储和光场数据文件的光场处理。

光场数据采集装置(和/或后处理系统)可以通过写电路和读电路与存储器(其可以存储具有一组或更多组光场数据和/或光场配置数据的电子数据文件)通信。(参见图16G)。写电路和读电路可以连到处理电路以实现，例如，光场处理，光场处理在采集或记录图像数据后，产生、操作和/或编辑(例如，调整、选择、限定和/或重新限定焦点和/或场深)与光场数据对应的该图像数据。处理电路(例如，一个或多于一个的处理器、一个或多于一个的状态机、一个或多于一个的处理器实施软件、一个或多于一个的门阵列、可编程门阵列和/或现场可编程门阵列)可产生包括光场数据的电子数据文件(例如，压缩或非压缩形式)。如以下详细讨论，这种文件可包括被交织、串连(thread)、水印标记、编码、多元化和/或网格化成标准图像格式数据的光场数据。

特别地，如本文所述，光场配置数据可以存储在数据头或与包含关联的光场数据的(一个或多个)电子文件分离的电子文件中。(参见，例如，图15B和15C)。其中光场配置数据存储在独立的电子文件中，这种文件可以存储和/或保持在存储器中(例如，DRAM、SRAM、闪存、传统型硬盘驱动器、磁带、CD和/或DVD)。(参见，例如，图16A-16C)。如上所述，这种存储器可以由后处理电路进行存取以执行光场处理(例如，产生、操作和/或编辑与光场数据对应的图像数据-在采集或记录该图像数据后(包括，例如，在使用光场配置数据采集光场数据之后调整、选择、限定和/或重新限定焦点和/或场深))。此外，存储器相对于光场数据采集装置和/或后处理系统可以是内部的或外部的。而且，相对光场数据采集装置中的电路，存储器可以是分立的或集成的。除此之外，或代替性地，相对后处理电路/系统，存储器可以是分立的或集成的。

额外的包括光场数据和/或原始图像数据的示例性文件和文件结构：在另一组实施例中，一组或更多组光场数据可以附加或集成到采用标准图像格式的图像数据中或具有标准图像格式的图像数据中。(参见，例如，图17A-17C)。在这些实施例中，所述一组或更多组光场数据与标准图像格式的图像数据关联，其中这种一组或更多组光场数据可用于产生以标准图像格式表示的图像。光场数据可包括一组或更多组光场数据，其整体或部分是压缩或未压缩的和/或处理的或未处理的。特别地，标准图像格式可以是开放格式或专有格式。

标准图像格式-光场数据文件中的光场数据可以包括以上结合光场数据文件讨论的任何属性和/或特性。例如，在一个示例性实施例中，电子数据文件可包括元数据。(参见，例如，图17B)。在一个示例性实施例中，光场数据可包括元数据(例如，数据头部分中的光场配置数据)。(参见，例如，图17C，其中在此示例性实施例中，这种数据头位于文件的开始-尽管它不需要)。事实上，光场数据的元数据可以合并到与标准图像格式关联的元数据中。尽管以上讨论的光场数据文件的属性和/或特性可应用于标准图像格式-光场数据文件中的光场数据，但为了简明的目的，这里将不再重复这种讨论。

在一个实施例中，光场数据被交织、串连、水印标记、编码、多元化和/或网格化成标准图像格式的数据。(参见，例如，图17D)。在该实施例中，处理或读电路可以相对光场数据的(一个或多个)数据组提取和/或解码标准图像格式的图像数据。

特别地，在另一组实施例中，用于产生标准图像格式的图像数据的非光场原始图像数据可以附加或集成到标准图像格式的图像数据中。(参见，例如，图17E和17F)。在这些实施例中，与标准图像格式的图像数据关联的原始图像数据(可以是光场数据或不是光场数据)与标准图像格式的图像数据存储在相同的文件中。这种原始图像数据可以是压缩的或非压缩的和/或处理的(整体或部分)或未处理的。在一个示例性实施例中，这种原始数据是从具有彩色马赛克滤波阵列的(例如，Bayer型彩色滤波阵列)传感器读出的最初单通道原始像素值的表示。在另一特定示例性实施例中，这种原始像素值来自于光场数据采集装置，因此该原始数据是这种装置记录的光场数据的表示。

在这些实施例中，光场配置数据可以存储在与关联的光场数据分离的数据头或电子文件中。(参见，例如，图15C、17B和17C)。在光场配置数据存储在单独的电子文件中的情况下，这种文件可以存储在和/或保持在存储器中并且可以在处理与标准图像格式对应或采用标准图像格式的图像和/或光场数据期间被存取(例如，如以下马上要讨论的)。

文件和文件结构的示例性处理包括光场数据和/或原始图像数据：参照图18A，在一个实施例中，电路可以访问图17A-17F中图解的数据文件(例如，标准图像格式-光场数据文件)和读取或显示与标准图像格式对应的图像。此后，基于或响应于一个或更多输入或指令(例如，用户输入或指令)，可以使用例如与图像关联的光场数据的一个或更多数据组修改与标准图像格式对应的图像。在一个实施例中，基于或响应于一个或更多输入或指令，电路可以执行光场处理(例如，在采集与图像关联的光场数据之后，调整、选择、限定和/或重新限定这种图像的焦点和/或场深(其中该图像在采集期间包括最初的焦点和场深))来修改图像，并从而提供新的图像(具有，例如，新的焦点和/或场深)。此后，电路可以在数据文件内存储或再存储(re-store)图像(例如，(i)通过存储代表新图像的标准图像格式的数据来替换或重写之前的图像或(ii)附加代表这种新图像的标准图像格式的数据)。除此之外，或代替性地，电路可以创建(响应于，例如用户输入/指令)包含与新图像对应的数据的独立文件。事实上，除了代表图像的数据(标准图像格式)外，这种新的或独立的文件可以包括或不包括与其关联的光场数据。

特别地，当电路执行光场处理产生修改的图像时，电路可以使用标准图像格式-光场数据文件(或其部分)作为帧缓冲区。这一技术提供对存储器资源的有效使用。

在另一示例性实施例中，本发明利用标准图像格式-光场数据文件的标准图像部分作为“文件帧缓冲区”。具体地，代表要显示的像素的文件帧缓冲区通过任意标准显示机械装置(即，现在已知或将来开发的可以读取、解释和/或显示数据文件的标准图像部分的方法或系统)显示在任意显示器上。为了图解这些原理，标准显示机械装置可以，例如，是以下装置之一：Web浏览器；可能与操作系统集成的图像查看器；用于图像组织、查看编辑和/或幻灯片放映的第三方软件；基于互联网的照片共享网站或服务；打印服务，诸如百货大楼中的广告亭；和能够上传标准图像格式的基于互联网的打印服务。特别地，这种标准显示机械装置可能无法解释、处理和/或显示标准图像-光场数据文件的光场数据部分。在该示例性实施例中，修改-存储/再存储组件使用文件中的光场数据部分通过光场处理创建修改的图像，修改的图像替换“文件帧缓冲区”以向标准显示机械装置提供新像素。特别地，“文件帧缓冲区”用作本发明像素的持久性存储以存储/再存储“修改”组件在任何标准显示机械装置上进行的可能显示的效果。读取/显示-修改-存储/再存储的过程可包括很多置换和/或组合。例如，在修改图像产生新图像之后(利用与其关联的光场数据)，可以再次读取或再次显示这种新图像。(参见，例如，图18B)。事实上，在存储/再次存储代表新图像的数据(标准图像格式)之前，用户可以指示电路执行再次修改(即，再次修改最初图像或修改新图像)。(参见，例如，图18C)。读取/显示-修改-存储/再存储的所有置换和/或组合都将属于本发明的范围(参见，例如图18D和18E)；但是，为了简明的目的，不会在本文中分别讨论读取/显示-修改-存储/再存储的这种置换和/或组合。

特别地，当在数据文件内存储或再存储图像(例如，(i)通过存储代表新图像的标准图像格式的数据来替换或重写之前的图像)或(ii)附加代表这种新图像的标准图像格式的数据)时，电路可以响应于用户输入或指令而产生新的标准图像格式-光场数据文件(其中，可以基本不更改光场数据)或只产生标准图像文件(即，丢弃光场图像数据)。用户也可以指示电路在存储或再存储代表修改的图像的数据(采用选定的标准图像格式)之前更改标准格式的标准图像文件。

如上所述，读取/显示-修改-存储-再存储过程也适用于图17D和17E中图示的标准图像格式-原始图像数据文件。与标准图像格式-原始图像数据文件有关的过程基本类似于标准图像格式-光场图像数据文件的过程(以上刚刚讨论的)，并且同样地，为了简明的目的，将不重复讨论。

在对标准图像-原始图像数据文件的读取/显示-修改-存储/再存储过程的示例性实施例中，该过程的修改部分包括可访问的和/或可能来自于原始图像数据的任意类型的处理。特别地，这种类型的过程可以是不可访问的和/或并非仅仅来自于标准图像数据。例如，这种过程包括但不限于：更改白平衡信息以影响颜色呈现方式；更改感光级数以使图像变亮或变暗；应用动态范围改变以例如通过提高暗区的亮度和降低亮区的亮度来降低动态范围。特别地，现在已知的或将来开发的可应用于原始图像数据的任意类型的图像处理属于本发明的范围。

示例性混合模式显示、处理和通信。

参照图19，在一个实施例中，用户可以利用任何标准显示机械装置来查看数据文件的标准图像部分(例如，图17A-17F的示例性电子数据文件)，同时读取和/或显示与标准图像格式对应的图像；用户也可以利用以上描述的读取/显示-修改-存储/再存储过程，在可能的情况下更改数据文件内的标准图像和/或光场数据。随后，用户可以对产生的数据文件应用标准显示机械装置，例如，以通过互联网查看或共享图像，或者通过打印服务对其进行打印。随后，用户可以重复该过程任意次数。

以下内容是利用本发明的一个实施例的示例性方案，并且同样地，其并不局限于读取/显示-修改-存储/再存储实施例的置换和/或组合。考虑到这一点，在一个实施例中，例如，用户通过来自光场数据采集装置的记录采集标准图像格式-光场数据格式的数据文件。响应于输入/指令(例如，用户输入/指令)，光场数据采集装置将数据文件传给包括图像查看计算机程序(例如，标准显示机械装置)的计算机系统以提供和允许在显示器上以图像的方式查看数据文件。光场数据采集装置和/或计算机系统也可以响应输入/指令(例如，用户输入/指令)将数据文件传给互联网图像共享站点(另一标准显示机械装置)，例如，以便于数据文件的共享。

之后，另一用户可以从共享站点下载数据文件并在计算机(标准显示机械装置，例如，第二用户本地的标准显示机械装置)上查看该数据文件。使用计算机系统的第二用户可以使用实现读取/显示-修改-存储/再存储过程的软件程序打开该数据文件。第二用户查看图像并应用或实施光场处理(例如，更改图像的光学焦点到较近的焦面上)，还将产生的图像存储到包括标准图像格式的数据文件的标准图像部分的文件帧缓冲区中。之后，第二用户利用打印机(另一标准显示机械装置)打印数据文件。之后，第二用户可以将该数据文件上传到互联网图像共享站点(标准显示机械装置)，该互联网图像共享站点可以是相同或不同的共享站点。另一用户(即，第一用户或第三用户)下载并打印数据文件。之前的方案图解了本发明的某些方面和示例性实施例。

特别地，光场数据采集装置和/或后处理系统可包括允许用户/操作人员监视、控制和/或编程采集装置和/或后处理系统的用户接口。(参见，例如，图1B、1C、1E、1F、16C、16F和20)。参照图20，在一个实施例中，用户接口可包括输出装置/机械装置(例如，打印机和/或显示器(标准显示机械装置))和/或用户输入装置/机械装置(例如，按钮、开关、触摸屏、指示装置(例如，鼠标或轨迹球)和/或麦克风)以允许用户和/或操作人员监视、控制和/或编程光场数据采集装置的操作参数和/或特性和/或后处理电路/系统(例如，(i)采集、采样、捕获、存储和/或记录光场数据的速度，(ii)采集装置的焦面、视场或场深，和/或(iii)后处理电路/系统实施的后处理操作)。

本文描述并图解了多个发明。尽管已经描述和图示了本发明的某些实施例、特征、属性和优点，但是应当理解根据以上描述和图示，本发明许多其他的以及不同的和/或类似的实施例、特征、属性和优点是显而易见的。同样，本发明的以上实施例仅仅是示例性的。这些实施例不是也不打算是详尽的或将本发明局限于所公开的精确形式、技术、材料和/或配置。应当理解本发明的这种其他的、类似的以及不同的实施例、特征、原料、配置、属性、结构和优点属于本发明的范围。应当进一步理解可以使用其他实施例，并且可以做操作上的更改而不偏离本发明的范围。本发明的范围并不仅仅局限于以上描述，因为介绍上述实施例的描述是为了示例性图示和说明的目的。

例如，在光场数据采集装置连接到后处理系统的这些实施例中，这种连接可以通过有线和/或无线体系结构利用现在已知的或以后开发的任何信号传输技术进行。此外，可以利用任何现在已知或以后开发的任何格式将配置数据与关联的光场数据一起或分别提供和/或传递给后处理系统。事实上，静态型配置数据可以与动态型配置数据一起或分别提供和/或传递给后处理系统。与其有关的所有通信策略、设计、格式、技术和/或体系结构都将属于本发明的范围。

应当进一步注意到，可以利用计算机辅助设计工具描述本文公开的各种电路和电路系统，并且在这些电路和电路系统的行为、寄存器传输、逻辑组件、晶体管、几何布局和/或其他特性方面，可以将其表述(或表现)为包含在各种计算机可读介质中的数据和/或指令。可以实现这种电路表述的文件和其他对象的格式包括但不限于支持诸如C、Verilog和HLDL等行为语言的格式，如RTL等支持寄存器级描述语言的格式、如GDSII、GDSIII、GDSIV、CIF、MEBES等支持几何描述语言的格式和任意其他适当格式和语言。可以包含这种格式化数据和/或指令的计算机可读介质包括但不限于各种形式的非易失性存储介质(例如，光学、磁性或半导体存储介质)和可用于通过无线、光学或有限信号传输介质或其任意组合传输这种格式化数据和/或指令的载波。通过载波进行这种格式化数据和/或指令的传输示例包括但不限于在互联网和/或其他计算机网络上通过一种或更多数据传输协议(例如，HTTP、FTP、SMTP等)进行的传输(上传、下载、电子邮件等)。

事实上，在计算机系统内通过一种或更多计算机可读介质接收时，上述电路的这种基于数据和/或指令的表述可以由计算机系统内的处理实体(例如，一个或更多处理器)来处理并由一个或更多其他计算机程序执行以产生这种电路的物理实体的表示或图像，所述计算机程序包括但不限于网表产生程序、布局和路由程序等。此后，可以在装置制造中使用这种表示或图像，例如通过使能产生用于形成装置制造过程中电路的各种组件的一个或更多掩膜的方式。

如上所述，本文描述并图解了多个发明。重要的是，可以单独使用本发明的每个方面和/或实施例或者与一个或更多这种方面和/或实施例结合使用。为了简明的目的，本文将不会分别讨论这些置换和组合。同样，本发明并不局限于任何单一的方面或其实施例，也不局限于这些方面和/或实施例的任意组合和/或置换。

在权利要求中，术语(i)“光场数据”意指光场数据，(ii)“光场配置数据”意指光场配置数据，(iii)“孔径函数”意指孔径函数，(iv)″出瞳″意指出瞳，(v)“光场处理”意指光场处理，(vi)″光场数据文件″意指光场数据文件，(vi)″光学模型″意指光学和/或几何模型，(vii)″标准图像格式″意指标准图像格式。

而且，在权利要求中，除其他事项外，术语“电路”意指有源和/或无源的单个组件(例如，与电有关的/电子的)或多个组件(集成电路形式、分立形式或其他形式)，并且这些组件连接在一起以提供或执行预期的操作。除其他事项外，权利要求中的术语“电路”意指一个电路(集成的或其他形式)、一组这种电路、一个或更多处理器、一个或更多状态机、一个或更多处理器实施软件、一个或更多门阵列、可编程门阵列和/或现场可编程门阵列，或一个或更多电路(集成的或其他形式)、一个或更多状态机、一个或更多处理器、一个或更多处理器实施软件、一个或更多门阵列、可编程门阵列和/或现场可编程门阵列的组合。除其他事项外，术语“数据”意指模拟或数字形式的(一个或多个)电流或电压信号(复数或单数个)，其可以是单比特(或类似的)或多比特(或类似的)。而且，术语“光学器件”意指一个或更多组件和/或包括用于影响光传播的多个组件的系统，包括但不限于透镜元件、窗口、微透镜阵列、孔径和镜。

Claims (34)

1.一种产生和输出与场景对应的图像数据的方法，所述方法包括：

采集代表来自所述场景的光场的光场数据，其中利用数据采集装置来采集所述光场数据；

采集代表光线如何通过所述数据采集装置进行光学传播的配置数据；

使用所述光场数据和所述配置数据产生第一图像数据，其中所述第一图像数据包括与所述光场数据的焦点或焦深不同的焦点或焦深；

产生第一电子数据文件，其包括(i)所述第一图像数据，(ii)所述光场数据，和(iii)所述配置数据；和

输出所述第一电子数据文件。

2.根据权利要求1所述的方法，其中产生所述第一电子数据文件还包括以标准图像格式排列所述第一电子数据文件的所述第一图像数据。

3.根据权利要求1所述的方法，其中产生所述第一电子数据文件还包括以JPEG格式排列所述第一电子数据文件的所述第一图像数据。

4.根据权利要求2所述的方法，产生第一电子数据文件还包括交织、串连、水印标记、编码、多元化和/或网格化所述第一图像数据和所述光场数据。

5.根据权利要求2所述的方法，其中产生第一电子数据文件还包括产生所述第一电子数据文件的数据头，其中所述数据头包括所述配置数据。

6.根据权利要求2所述的方法，还包括：

读取所述第一电子数据文件；

显示所述第一图像数据；

接收用户输入；

响应于所述用户输入，利用(i)所述电子数据文件的所述光场数据和(ii)所述配置数据产生第二图像数据，其中所述第二图像数据与所述第一图像数据不同；

产生第二电子数据文件，其包括(i)所述第二图像数据，(ii)所述光场数据，和(iii)所述配置数据；和

输出所述第二电子数据文件。

7.根据权利要求6所述的方法，其中所述第二图像数据包括与所述第一图像数据的所述焦点或焦深不同的焦点或焦深。

8.根据权利要求7所述的方法，其中产生所述第二电子数据文件还包括以标准图像格式排列所述第二电子数据文件的所述第二图像数据。

9.根据权利要求6所述的方法，产生第二电子数据文件还包括交织、串连、水印标记、编码、多元化和/或网格化所述第二图像数据和所述光场数据。

10.根据权利要求2所述的方法，还包括压缩所述光场数据以产生压缩的光场数据，并且其中所述第一电子数据文件的所述光场数据是所述压缩的光场数据。

11.根据权利要求2所述的方法，其中：

采集配置数据包括采集N位键；和

所述方法还包括通过将所述N位键与预先确定的光学模型数据关联来确定光学模型数据，并且其中产生第一图像数据包括利用所述光场数据和所述光学模型数据产生第一图像数据。

12.根据权利要求2所述的方法，还包括：

读取所述第一电子数据文件；

显示所述第一图像数据；

接收用户输入；

响应于所述用户输入，利用(i)所述电子数据文件的所述光场数据和(ii)所述配置数据产生第二图像数据，其中所述第二图像数据与所述第一图像数据不同；

产生包括所述第二图像数据的第二电子数据文件；和

输出所述第二电子数据文件。

13.根据权利要求12所述的方法，其中所述第二图像数据包括与所述第一图像数据的所述焦点或焦深不同的焦点或焦深。

14.根据权利要求13所述的方法，其中产生所述第二电子数据文件还包括以标准图像格式排列所述第二电子数据文件的所述第二图像数据。

15.根据权利要求1所述的方法，其中所述配置数据包括代表孔径函数或出瞳的数据，所述孔径函数或出瞳与所述光场数据的采集关联。

16.根据权利要求1所述的方法，其中所述配置数据包括代表从所述数据采集装置捕获的二维阵列像素值上的二维位置到来自所述场景的光场的四维参数化的映射的数据。

17.一种系统，其包括：

读取电路，用于读取存储在存储器中的第一电子数据文件，其中所述第一电子数据文件包括(i)第一图像数据，(ii)代表来自场景的光场的光场数据，和(iii)代表光线如何通过光场数据采集装置进行光学传播的配置数据；

显示装置，用于利用所述第一图像数据视觉输出所述场景的图像；

用户接口，用于接收用户输入；

连接到所述读取电路、显示装置和用户接口的处理电路，用于：

利用所述配置数据确定光学模型数据，其中所述光学模型数据代表所述光场数据采集装置的光学模型，

响应于所述用户输入，利用所述光场数据和所述光学模型数据产生第二图像数据，其中所述第二图像数据包括与所述第一图像数据的焦点或焦深不同的焦点或焦深，和

产生包括所述第二图像数据的第二电子数据文件；以及

连接到所述处理电路的写入电路，用于向所述存储器写入所述第二电子数据文件。

18.根据权利要求17所述的系统，其中所述第二电子数据文件还包括(i)代表所述场景的光场的所述光场数据，和(ii)所述配置数据和/或所述光学模型数据。

19.根据权利要求18所述的系统，其中所述配置数据包括代表孔径函数或出瞳的数据，所述孔径函数或出瞳与采集所述光场数据的所述光场数据采集装置关联。

20.根据权利要求18所述的系统，其中所述处理电路通过交织、串连、水印标记、编码、多元化和/或网格化所述第二图像数据和所述光场数据产生所述第二电子数据文件。

21.根据权利要求18所述的系统，其中所述第二电子数据文件包括数据头，其中所述数据头包括所述配置数据和/或所述光学模型数据。

22.根据权利要求18所述的系统，其中所述处理电路通过压缩所述光场数据以产生压缩的光场数据来产生所述第一电子数据文件，并且其中所述第二电子数据文件的所述光场数据是所述压缩的光场数据。

23.根据权利要求17所述的系统，其中所述处理电路以标准图像格式排列所述第二电子数据文件的所述第二图像数据。

24.根据权利要求17所述的系统，其中所述处理电路以JPEG格式排列所述第二电子数据文件的所述第二图像数据。

25.根据权利要求17所述的系统，其中所述第一电子数据文件的所述配置数据包括N位键，并且其中所述处理电路通过将N位键与多个不同的、预先确定的光学模型数据关联来确定所述光学模型数据。

26.一种采集场景的光场图像数据的光场采集装置，所述装置包括：

光学器件，其中所述光学器件包括光学路径；

光场传感器，其位于所述光学器件的光学路径中，用于采集光场图像数据；

接收用户输入的用户接口，其中，响应于所述用户输入，所述光场传感器采集所述场景的所述光场图像数据；和

连接到所述光场传感器和所述用户接口以产生和输出电子数据文件的处理电路，所述处理电路用于：

确定代表光线如何穿过所述光学器件和光场传感器进行光学传播的配置数据；和

产生和输出所述电子数据文件，其中所述电子数据文件包括(i)图像数据，(ii)代表所述场景的光场的光场数据，和(iii)配置数据；和

连接到所述处理电路的存储器，用于在其中存储所述电子数据文件。

27.根据权利要求26所述的装置，其中所述配置数据包括代表光场采集装置的孔径函数或出瞳的数据。

28.根据权利要求26所述的装置，其中所述配置数据包括代表从捕获的2D阵列像素值上的二维位置到来自所述场景的光场的四维参数化的映射的数据。

29.根据权利要求26所述的装置，其中所述处理电路通过交织、串连、水印标记、编码、多元化和/或网格化所述图像数据和所述光场数据产生所述电子数据文件。

30.根据权利要求26所述的装置，其中所述处理电路产生包括所述配置数据的数据头，其中所述电子数据文件包括所述数据头。

31.根据权利要求26所述的装置，其中所述处理电路通过压缩所述光场数据以产生压缩的光场数据来产生所述电子数据文件，并且其中所述电子数据文件的所述光场数据是所述压缩的光场数据。

32.根据权利要求26所述的装置，其中所述处理电路以标准图像格式排列所述电子数据文件的所述图像数据。

33.根据权利要求26所述的装置，其中所述处理电路以JPEG格式排列所述电子数据文件的所述图像数据。

34.根据权利要求26所述的装置，其中所述电子数据文件的所述配置数据包括代表预先确定的光学模型数据的N位键。

Images