CN108353120B - 用于生成表示像素束的数据的装置和方法 - Google Patents

Abstract

存在若干类型的市场上可获得的全光设备和相机阵列，并且所有这些光场采集设备都具有其专有的文件格式。然而，没有支持多维信息的采集和传输的标准。感兴趣的是获得与所述光学采集系统的传感器的像素和所述光学采集系统的物空间之间的对应关系有关的信息。实际上，知道光学采集系统的物空间的哪个部分被属于所述光学采集系统的传感器的像素正在感测能实现信号处理操作的改进。因此引入像素束的概念，其表示光射线集在相机的光学系统的物空间中所占据的体积。

Description

用于生成表示像素束的数据的装置和方法

技术领域

本发明涉及表示光场的数据的生成。

背景技术

Anat Levin等人在ECCV 2008会议记录中发表的文章“Understanding camera trade-offs through a Bayesian analysis of light field projections”中解释的四维或4D光场数据的采集(其可以视为4D光场的采样，即光线的记录)是个热门的研究主题。

与从相机获得的传统二维或2D图像相比，4D光场数据使用户能够具有对较多后处理特征的访问，这增强图像的呈现和与用户的交互性。例如，利用4D光场数据，可以以自由选择的聚焦距离来执行图像的重新聚焦，意味着可以后验地规定/选择焦平面的位置，以及略微改变图像在场景中的视点。为了采集4D光场数据，可以使用若干技术。例如，全光相机能够采集4D光场数据。图1A中提供了全光相机的架构细节。图1A是示意性表示全光相机100的图。全光相机100包括主透镜101、包括以二维阵列排列的多个微透镜103的微透镜阵列102、以及图像传感器104。

采集4D光场数据的另一个方式是使用如图1B中描绘的相机阵列。图1B表示多阵列相机110。多阵列相机110包括透镜阵列112和图像传感器114。

在如图1A中所示的全光相机100的示例中，主透镜101接收来自主透镜101的物场中的物体(图上未示出)的光，并使光经过主透镜101的图像场。

最后，采集4D光场的另一个方式是使用被配置为捕获不同焦平面处的同一场景的2D图像序列的传统相机。例如，J.-H.Park等人在2014年10月的OPTICS EXPRESS，第22卷，第21期中发表的文献“Light ray field capture using focal plane sweeping and its optical reconstruction using 3D displays”中描述的技术可以用于通过传统相机来实现4D光场数据的采集。

存在若干方式来表示4D光场数据。实际上，Ren Ng在2006年7月发表的题为“Digital Light Field Photography”的博士论文的第3.3章中描述了表示4D光场数据的三个不同方式。首先，4D光场数据可以在通过全光相机记录时，通过微透镜图像集合来表示。该表示下的4D光场数据称为原始图像或原始4D光场数据。第二，4D光场数据可以在通过全光相机或通过相机阵列记录时，通过子孔径图像集来表示。子孔径图像对应于从视点捕获的场景的图像，视点在两个子孔径图像之间略微不同。这些子孔径图像给出关于成像场景的视差和深度的信息。第三，4D光场数据可以通过核线图像(epipolar image)集来表示，例如参见S.Wanner等人在ISVC 2011会议记录中发表的题为“Generating EPI Representation of a 4D Light Fields with a Single Lens Focused Plenoptic Camera”的文章。

存在若干类型的市场上可获得的全光设备和相机阵列，并且所有这些光场采集设备都具有其专有的文件格式。因此，由于没有支持多维信息的采集和传输的标准，所以看来光场技术无法存在于常规的2D或3D成像之外。考虑到前述内容而设计了本发明。

发明内容

根据本发明的第一方面，提供了一种计算机实现的生成数据的方法，该数据表示经过光学采集系统的光瞳以及所述光学采集系统的传感器的至少一个像素的共轭的光射线集在所述光学采集系统的物空间中所占据的体积，所述光射线集所占据的所述体积称为像素束，所述方法包括生成数字文件，该数字文件包括表示所述像素束的数据，所述数据包括：

-定义所述光学采集设备的光瞳的参数，

-定义所述像素束的最小截面的参数，该最小截面称为腰部，其对应于传感器的至少所述像素在物空间中的共轭，

其中基于定义所述至少一个像素的参数来计算定义所述像素束的腰部的所述参数。

根据本发明的实施例，从由光学采集系统捕获的光场数据获得的表示由所述像素捕获的光强度的参数与所述数字文件中的表示像素束的参数相关联。

根据本发明的实施例，定义光瞳的参数包括光瞳的半径、光瞳中心在与光学采集系统相关联的坐标系中的坐标、以及定义光瞳在所述坐标系中的取向的角度。

根据本发明的实施例，表示像素束的腰部的参数包括像素束的腰部与光瞳的中心之间的距离、像素束的腰部在坐标系中的取向。

本发明的另一目的涉及一种用于生成数据的装置，该数据表示经过光学采集系统的光瞳以及所述光学采集系统的传感器的至少一个像素的共轭的光射线集在所述光学采集系统的物空间中所占据的体积，所述光射线集所占据的所述体积称为像素束，所述装置包括被配置为生成数字文件的处理器，该数字文件包括表示所述像素束的数据，所述数据包括：

-定义所述光学采集设备的光瞳的参数，

-定义所述像素束的最小截面的参数，该最小截面称为腰部，其对应于传感器的至少所述像素在物空间中的共轭，

其中基于定义所述至少一个像素的参数来计算定义所述像素束的腰部的所述参数。

根据本发明的实施例，从由光学采集系统捕获的光场数据获得的表示由所述像素捕获的光强度的参数与所述数字文件中的表示像素束的参数相关联。

根据本发明的实施例，定义光瞳的参数包括光瞳的半径、光瞳中心在与光学采集系统相关联的坐标系中的坐标、以及定义光瞳在所述坐标系中的取向的角度。

本发明的另一目的涉及一种光场成像设备，包括：

-以规则点阵(lattice)结构排列的微透镜阵列；

-光传感器，被配置为捕获从所述微透镜阵列投影到所述光传感器上的光，所述光传感器包括像素集，每个像素集在光学上与所述微透镜阵列中的相应微透镜相关联；以及

-根据权利要求5的用于提供数字文件的设备，该数字文件包括数据，该数据表示经过光学采集系统的光瞳以及所述光学采集系统的传感器的至少一个像素的共轭的光射线集在所述光学采集系统的物空间中所占据的体积，所述光射线集所占据的所述体积称为像素束。

本发明的另一目的涉及一种用于从光场数据呈现图像的设备，其使用根据权利要求1至4中任一项所述的方法获得的数字文件，该数字文件包括数据，该数据表示经过光学采集系统的光瞳以及所述光学采集系统的传感器的至少一个像素的共轭的光射线集在所述光学采集系统的物空间中所占据的体积，所述光射线集所占据的所述体积称为像素束。

本发明的另一目的涉及一种数字文件，该数字文件包括数据，该数据表示经过光学采集系统的光瞳以及所述光学采集系统的传感器的至少一个像素的共轭的光射线集在所述光学采集系统的物空间中所占据的体积，所述光射线集所占据的所述体积称为像素束，所述数据包括：

-定义所述光学采集设备的光瞳的参数，

-定义所述像素束的最小截面的参数，该最小截面称为腰部，其对应于传感器的至少所述像素在物空间中的共轭，

其中基于定义所述至少一个像素的参数来计算定义所述像素束的腰部的所述参数，以及

-从由光学采集系统捕获的光场数据获得的由所述像素捕获的光强度。

由本发明的元件实现的一些处理可以是计算机实现的。因此，这样的元件可以采取完全硬件实施例、完全软件实施例(包括固件、驻留软件、微代码等)的形式，或者将软件和硬件方面(其通常都可以在此称为“电路”、“模块”或“系统”)组合的实施例的形式。此外，这样的元件可以采用包含在任何有形的表达介质中的、具有包含在介质中的计算机可用程序代码的计算机程序产品的形式。

由于本发明的元件可以以软件实现，所以本发明可以被实施为用于在任何合适的载体介质上提供到可编程装置的计算机可读代码。有形载体介质可以包括诸如软盘、CD-ROM、硬盘驱动器、磁带设备或固态存储设备等的存储介质。瞬态载体介质可以包括诸如电信号、电子信号、光信号、声信号、磁信号或电磁信号(例如微波或RF信号)之类的信号。

附图说明

现在将仅通过示例的方式并且参考以下附图来描述本发明的实施例，附图中：

图1A是示意性地表示全光相机的图；

图1B表示多阵列相机；

图2表示光射线集在相机或光学采集系统的光学系统的物空间中所占据的体积；

图3表示单叶双曲面；

图4表示单叶双曲面的另一视图；

图5是示出根据本公开的实施例的用于生成表示像素束的数据的装置的示例的示意性框图；

图6是用于解释根据本公开的实施例的用于生成表示像素束的数据的处理的流程图；

图7表示根据本公开的实施例的根据用于生成表示像素束的数据的处理所生成的数字文件；

图8是示出根据本公开的实施例的用于处理由光学采集系统捕获的图像的装置的示例的示意性框图；

图9是用于解释根据本公开的实施例的用于处理由光学采集系统捕获的图像的处理的流程图；

图10表示高斯束的几何形状。

具体实施方式

如本领域技术人员将理解的，本原理的方面可以实施为系统、方法或计算机可读介质。因此，本原理的方面可以采取完全硬件实施例、完全软件实施例(包括固件、驻留软件、微代码等)的形式，或者将软件和硬件方面(其通常都可以在此称为“电路”、“模块”或“系统”)组合的实施例的形式。此外，本原理的方面可以采取计算机可读存储介质的形式。可以使用一个或多个计算机可读存储介质的任何组合。

对于任何光学采集系统，其可以是全光的或不是全光的，除了表示由光学采集系统捕获的4D光场数据的原始图像或核线图像之外，感兴趣的是获得与所述光学采集系统的传感器的像素和所述光学采集系统的物空间之间的对应关系有关的信息。知道光学采集系统的物空间的哪个部分被属于所述光学采集系统的传感器的像素正在感测能实现诸如去多路复用、去马赛克、重新聚焦等的信号处理操作的改进，以及由具有不同特性的不同光学系统捕获的图像的混合。此外，与光学采集系统的传感器的像素和所述光学采集系统的物空间之间的对应关系有关的信息与光学采集系统无关。

本公开引入图2上所示的像素束10的概念，其表示光射线集在相机或光学采集系统(图2上未示出)的光学系统11的物空间中所占据的体积。该光射线集通过所述光学系统21的光瞳24被相机的传感器23的像素22感测。光学系统21可以是适合于照相机或摄像机的透镜的组合。光学系统的光瞳被定义为通过所述光学系统(即在所述孔径光阑之前的光学采集系统的透镜)看到的孔径光阑的图像。孔径光阑是限制经过光学采集系统的光学系统的光量的开口。例如，位于相机镜头内部的可调节叶片光圈是用于镜头的孔径光阑。被许可通过光圈的光量由光圈开口的直径来控制，光圈开口的直径可以根据相机的用户想要许可的光量来适配。例如，使孔径较小能减少被许可通过光圈的光量，并且同时增加焦点深度。由于透镜的一部分的折射作用，光阑的表观尺寸可以大于或小于其物理尺寸。正式地说，光瞳是通过位于物理光阑与观察空间之间的光学采集系统的所有透镜的孔径光阑的图像。

像素束10被定义为当经由入射光瞳24传播通过光学系统21时到达给定像素22的光射线的光线锥。由于光在自由空间中在直线上行进，所以这样的像素束20的形状可以由两个截面来定义，一个是像素22的共轭25，并且另一个是入射光瞳24。像素22由其非空表面及其灵敏度图来定义。

因此，如图3上所示，像素束30可以由单叶双曲面来表示，由两个元素支持：光瞳34以及像素22在物空间中的共轭35。

单叶双曲面是规则表面，其可以支持光射线的光线锥的概念，并且符合物理光束的“集光率(étendue)”的概念，与物理光束的截面上的能量保存有联系的概念。

单叶双曲面对应于高斯束的几何。实际上，在光学中，高斯束是单色电磁辐射束，其横向磁场和电场幅度分布由高斯函数给出；这也隐含了高斯强度分布。这种基本横向高斯模式描述大部分激光的预期输出，因为这样的光束可以聚焦成最集中的光点。

下面的方程假设束在所有

值处具有圆形横截面；这可以通过注意到单个横向尺寸r出现而看出。

在沿着束的位置

处(从焦点测量)，光点大小参数w由以下给出：

其中w₀是腰部大小。

如图10上所示，在离腰部的距离等于z_R处，束的宽度w等于

虽然高斯函数的尾部实际上不曾达到零。这意味着远离腰部，束“边”是锥形的。沿着该锥(其r＝w(z))的线与束的中心轴(r＝0)之间的角度称为束的散度。

束远离腰部的总角度展开则由Θ＝2θ给出。

如图4上所示，单叶双曲面40与其渐近锥41、42大部分相同，除了在其最小截面的基本区域，称为腰部45，其对应于物空间中的共轭25。对于诸如光场相机之类的全光系统，这是执行通过多路径射线的空间采样的区域。在该区域中以锥对空间进行采样是不适当的，因为像素22灵敏度在其表面上的几十平方微米上是显著的，并且不能由具有无限小的表面的数学点(就像是锥顶)来表示。

在本发明的第一实施例中，每个像素束20、30、40通过四个参数z_P,θ_x,θ_y,a(定义在光瞳24、34前面的像素共轭25、45的位置和大小)并且通过六个光瞳参数x_O,y_O,z_O,θ_x0,θ_y0,r(其定义光瞳24、34的位置、取向和半径)来定义。这六个光瞳参数共用于共享相同的光瞳24、34的像素束集合。实际上，像素束表示通过光瞳24由像素22感测的光学系统21的物空间中的光射线集所占据的体积，即给定对耦像素22/光瞳24、34对应于唯一的像素束20、30、40，但是多个不同的像素束可以由相同的光瞳24、34支持。

如图2上所示，在其中对像素束20、30、40的参数进行定义的坐标系(x,y,z)的原点O对应于光瞳24的中心，其中z轴定义正交于光瞳24、34的表面的方向。

参数θ_x,θ_y定义相对于光瞳24中心的入射的主射线方向。它们取决于传感器23上的像素22位置和光学系统21的光学元件。更准确地说，参数θ_x,θ_y表示定义像素22的共轭25离开光瞳24的中心的方向的剪切角。

参数z_P表示像素束20、30、40的腰部45或像素22的共轭25与光瞳中心之间沿着z轴的距离。

参数a表示像素束20、30、40的腰部45的半径。

对于可以使光学失真和场曲率模型化的光学系统21，参数z_P和a可以经由参数函数取决于参数θ_x和θ_y。

四个参数z_P,θ_x,θ_y,a与像素22及其共轭25有关。

定义像素束20、30、40的六个补充光瞳参数是：

-r，其表示光瞳24、34半径，

-x_O,y_O,z_O，其表示光瞳24、34中心在(x,y,z)坐标系中的坐标，以及

-θ_x0,θ_y0，其表示光瞳24、34在参考(x,y,z)坐标系中的取向。

这六个光瞳参数与光瞳24、34有关。另一个参数C被定义。这样的参数c取决于与像素22及其共轭25有关的参数z_P和a并且取决于与光瞳24、34有关的参数r。参数c定义像素束20、30、40的角孔径α，并由公式

给出。

因此，参数c的表达式由以下方程给出：

在物空间中，属于限定像素束20、30、40的表面的点的坐标(x,y,z)是以上定义的与光瞳24以及像素的共轭25有关的参数集的函数。因此，使得能够生成表示像素束20、30、40的单叶双曲面的方程(2)是：

表示像素束20、30、40的相同双曲面的参数方程(3)是：

其中v是从生成双曲线实现像素束20、30、40的生成的(x,y)平面中的角度，v在[0,2π]区间中变化，并且z∈[0,∞]是沿着定义正交于光瞳24、34的表面的方向的z轴的坐标。方程(2)和(3)是在像素22及其共轭25的截面为圆形并且光瞳24、34的截面也是圆形的假设上写的。

为了获得像素束20、30、40如何对光学系统21的物空间进行采样的精确描述，感兴趣的是确定像素22的截面的几何和光瞳24、34的截面的几何如何铺设物空间。这导致对物空间中发射的光如何在传感器23的不同像素22之间分布的知识。

因此，定义另一参数集，以便描述光瞳24、34的截面形状、和像素22的截面形状、以及像素22的共轭25的截面形状。

定义第一参数A_O。参数A_O表示允许非对称光瞳24、34的纵横比。

定义第二参数A_P。参数A_P表示允许像素22的共轭25、45(腰部)处的非对称像素束的纵横比。

如下定义第三参数依赖参数α：

α为系数，其表示像素束20、30、40形状沿着z轴在光瞳24、34与像素22的共轭25、45之间的传播，与光瞳24、34的截面形状和像素22的截面形状无关；并且从像素22的共轭25、45到无穷远。参数k是调整像素束20、30、40形状沿着z轴的发展的参数。k≈1.3的值接近参数α在光瞳24、34与像素22的共轭25、45之间的线性变化。

称为极半径因子的两个参数ρ_O和ρ_P分别描述光瞳24、34的形状和像素22的共轭25、45的形状。由以下方程定义参数ρ_O和ρ_P：

其中ρ是定义角度v的单位平方点的极半径。

下表(称为表1)给出当A_O＝A_P＝1.0时参数ρ_O和ρ_P的值的示例：

ρ<sub>O</sub>	ρ<sub>P</sub>
			1.0	1.0	圆形光瞳24、34和像素共轭25、45
1.0	ρ	圆形光瞳24、34和方形像素共轭25、45
			ρ	1.0	方形光瞳24、34和圆形像素共轭25、45
ρ	ρ	方形光瞳24、34和方形像素共轭25、45

表1

考虑到与光瞳24、34的截面形状和像素22的截面形状以及像素22的共轭25的截面形状有关的以上定义的参数，表示像素束20、30、40的双曲面的扩展参数方程(6)为：

在像素束将由其参数方程表示时，与所述光学采集系统的传感器的像素和所述光学采集系统的物空间之间的对应关系有关的信息可以采取参数集的形式，包括四个参数：z_P,θ_x,θ_y,a(定义在光瞳24、34前面的像素共轭25、45的位置和大小)，以及六个光瞳参数x_O,y_O,z_O,θ_x0,θ_y0,r(其定义光瞳24、34的位置、取向和半径)。因此，除了表示光学采集系统捕获的4D光场数据的原始图像或核线图像之外，提供该参数集，以便在处理4D光场数据时使用。

那些与像素束有关的附加信息是与给定的光学采集系统相关联的元数据。它们可以作为数据文件提供，例如存储在随光学采集系统提供的CD-ROM或快闪驱动器上。包含与像素束有关的附加信息的数据文件也可以从属于光学采集系统的制造商的服务器下载。在本发明的实施例中，这些与像素束有关的附加信息也可以嵌入在光学采集系统捕获的图像的首标中。

这些与像素束有关的信息的知识使得能够独立于专有文件格式并且独立于用于捕获要处理的图像的光学采集系统的特征而处理由任何光学采集系统捕获的图像。

图5是示出根据本公开的实施例的用于对由光学采集系统捕获的图像进行编码的装置的示例的示意性框图。这样的装置可以是诸如相机之类的光学采集系统。

装置500包括通过总线506连接的处理器501、存储单元502、输入设备503、显示设备504和接口单元505。当然，计算机装置500的组成元件可以通过除总线连接以外的连接而连接。

处理器501控制装置500的操作。存储单元502存储要由处理器501执行的能够对由光学采集系统捕获的图像进行编码的至少一个程序，以及存储各种数据，包括与传感器23上的像素22的位置有关的参数，与光瞳的位置有关的参数或与光学采集系统的光学系统21有关的参数，由处理器501执行的计算所使用的参数，由处理器501执行的计算的中间数据，等等。处理器501可以由任何已知的且合适的硬件或软件或硬件和软件的组合来形成。例如，处理器501可以由诸如处理电路之类的专用硬件形成，或者由执行存储在其存储器中的程序的诸如CPU(中央处理单元)之类的可编程处理单元形成。

存储单元502可以由能够以计算机可读的方式存储程序、数据等的任何合适的存储器或部件形成。存储单元502的示例包括诸如半导体存储器件之类的非临时性计算机可读存储介质，以及加载到读取和写入单元中的磁、光或磁光记录介质。该程序使处理器501执行根据在下文中参照图6描述的本公开的实施例的用于计算表示光射线集在光学系统的物空间中所占据的体积的参数以及对这些参数与由光学采集系统捕获的图像进行编码的处理。

输入设备503可以由键盘、诸如鼠标之类的指点设备等形成，以供用户使用以输入命令，以进行对用于生成光射线集在光学系统的物空间中所占据的体积的参数化表示的参数的用户选择。输出设备504可以由显示设备形成，以显示例如图形用户界面(GUI)，根据本公开的实施例生成的图像。例如，输入设备503和输出设备504可以由触摸屏面板一体地形成。

接口单元505提供装置500与外部装置之间的接口。接口单元505可以经由缆线或无线通信与外部装置进行通信。在实施例中，外部装置可以是光学采集系统，诸如相机、智能电话、平板等。

图6是用于解释根据本公开的实施例的用于生成表示像素束的数据的处理的流程图。

装置500的处理器501执行程序，该程序能够计算表示属于光学采集系统的像素束集合的像素束的参数，并且对这些参数与由光学采集系统捕获的图像进行编码。

因此，在步骤601期间，处理器501计算六个光瞳参数x_O,y_O,z_O,θ_x0,θ_y0,r，其定义光瞳24、34的位置、取向和半径。针对光学采集系统的每个光瞳24和传感器23的每个像素22执行该步骤601。

例如，在光学采集系统的校准阶段期间，通过运行能够使光射线通过光学系统11的传播模型化的程序来实现该计算。这样的程序例如是光学设计程序，诸如

或Code

光学设计程序用于设计和分析光学系统11。光学设计程序使光射线通过光学系统11的传播模型化；并且可以使诸如简单透镜、非球面透镜、梯度指数透镜、反射镜和衍射光学元件等的光学元件的效果模型化。商业透镜库存储在装置500的存储单元502中，并且在处理器501执行光学设计程序时对于处理器501可存取。

在步骤602期间，处理器501计算四个参数：z_P,θ_x,θ_y,a(定义在光瞳24、34前面的像素共轭25、45的位置和大小)。该计算基于在步骤601期间计算的定义光瞳24、34的参数，以及存储在装置500的存储单元502中的定义传感器23上的像素22的位置的参数。也在光学采集系统的校准阶段通过运行能够使光射线通过光学系统11的传播模型化的程序来实现该计算。针对传感器23的每个像素22执行步骤602。

在步骤603期间，处理器501从由光学采集装置捕获的光场数据计算表示由传感器23的像素22捕获的光强度的参数。取决于传感器23的类型，表示由像素22捕获的光强度的参数例如是诸如R、G或B或者其组合RGB之类的颜色通道属性，或者亮度属性L或红外属性IR等。

在步骤604中，处理器501生成数字文件，该数字文件包括定义光学采集系统的光瞳24、34的参数，以及与每个光瞳相关联的定义像素22的共轭35(其与光瞳一起定义像素束)的参数。表示由像素22(其共轭35定义像素束)捕获的光强度的参数与定义光瞳24、34的参数相关联。所生成的数据文件例如存储在随光学采集系统提供的CD-ROM或快闪驱动器上，或者存储在属于光学采集系统的制造商的服务器上。

在图7上表示这样的数字文件70。数字文件70表示诸如相机之类的光学采集系统的像素束集合。当相机是全光相机时，每个光瞳1至Y对应于相机的微透镜，或者在相机阵列的情况下，对应于不同相机的透镜。

数字文件70的字段71专用于相机的每个光瞳1至Y。在该字段中，存储与所考虑的光瞳有关的所有参数，诸如六个光瞳参数x_O,y_O,z_O,θ_x0,θ_y0,r(其定义光瞳的位置、取向和半径)、参数A_O(表示允许非对称光瞳的纵横比)、以及参数ρ_O(称为极半径因子，描述光瞳的形状)。

在专用于光瞳1至Y的每个字段中，与由所述光瞳定义的像素束1至X有关的参数存储在专用子字段72中。在这些子字段72中存储四个参数：z_P,θ_x,θ_y,a(定义在光瞳24、34前面的像素共轭25、45的位置和大小)、参数A_P(表示允许非对称像素的纵横比)、和参数ρ_P(称为极半径因子，描述像素的形状)、以及表示由像素(其共轭定义像素束)捕获的光强度的参数。

在本发明的实施例中，数字文件70包括定义至少两个不同光学采集设备的光瞳和像素的共轭的参数。每个光学采集设备通过诸如3×3旋转矩阵和3×1平移向量之类的外在参数来表征，旋转矩阵和平移向量都通过采集设备的外在校准而获得。

在本发明的另一实施例中，在步骤605期间，处理器501将数字文件与由光学采集系统捕获的图像相关联，该数字文件包括表示与光学采集系统的传感器的不同像素相关联的像素束的参数。数据文件例如存储在所捕获图像的首标的特定字段中。

在步骤606期间，处理器501生成要发送到能够处理由光学采集系统捕获的图像的装置的消息。在本发明的第一实施例中，该消息包括数据文件，该数据文件包括所计算的表示与光学采集系统的传感器的不同像素相关联的像素束的参数，与由光学采集系统捕获的图像相关联。在本发明的第二实施例中，该消息包括由光学采集系统捕获的图像，该图像将数据文件嵌入在其首标的字段中。

然后，将该消息通过接口单元505传送到外部装置。接口单元505经由缆线或无线通信将携带包括参数的消息的信号传送到外部装置。外部装置能够使用在装置500传送的消息中接收到的参数来处理由光学系统21捕获的图像。

图8是示出根据本公开的实施例的用于处理由光学采集系统捕获的图像的装置的示例的示意性框图。

装置800包括通过总线806连接的处理器801、存储单元802、输入设备803、显示设备804和接口单元805。当然，计算机装置800的组成元件可以通过除总线连接以外的连接而连接。

处理器801控制设备800的操作。存储单元802存储要由处理器801执行的能够对由光学采集系统捕获的图像进行处理的至少一个程序，以及存储各种数据，包括与传感器23上的像素22的位置有关的参数或与光学采集系统的光学系统21有关的参数，由处理器801执行的计算所使用的参数，由处理器801执行的计算的中间数据，等等。处理器801可以由任何已知的且合适的硬件或软件或硬件和软件的组合来形成。例如，处理器801可以由诸如处理电路之类的专用硬件形成，或者由执行存储在其存储器中的程序的诸如CPU(中央处理单元)之类的可编程处理单元形成。

存储单元802可以由能够以计算机可读的方式存储程序、数据等的任何合适的存储器或部件形成。存储单元802的示例包括诸如半导体存储器件之类的非临时性计算机可读存储介质，以及加载到读取和写入单元中的磁、光或磁光记录介质。该程序使处理器801执行根据在下文中参照图9描述的本公开的实施例的用于基于与要处理的图像一起提供的像素束的参数来处理由光学采集系统捕获的图像的处理。

输入设备803可以由键盘、诸如鼠标之类的指点设备等形成，以供用户使用以输入命令，以进行对用于处理由光学采集系统捕获的图像的参数的用户选择。输出设备804可以由显示设备形成，以显示例如图形用户界面(GUI)，根据本公开的实施例生成的图像。例如，输入设备803和输出设备804可以由触摸屏面板一体地形成。

接口单元805提供装置800与外部装置之间的接口。接口单元805可以经由缆线或无线通信与外部装置进行通信。在实施例中，外部装置可以是光学采集系统或装置600。

图9是用于解释根据本公开的实施例的用于处理由光学采集系统捕获的图像的处理的流程图。

装置800的处理器801执行程序，该程序能够基于表示与要处理的图像相关联的像素束的参数来处理由光学采集系统捕获的图像。

因此，在步骤901期间，处理器801从随光学采集系统提供的CD-ROM或快闪驱动器、或者通过从属于光学采集系统的制造商的服务器下载包括所述参数的数据文件，取回要用于处理所捕获图像的、表示像素束的参数。在本发明的实施例中，处理器801在要处理的图像的首标中取回这些参数。

然后，在步骤902期间，基于在步骤901期间取回的表示像素束10、20、30、40、50的参数，处理在步骤901期间由光学采集系统捕获的图像。

对所捕获图像的处理可以包括去多路复用、去马赛克、重新聚焦、呈现、或者将所捕获图像与由不同光学采集系统捕获的至少另一图像混合，或者这些动作中的任何一个的组合。

虽然在上文中已经参考具体实施例描述了本发明，但是本发明不限于具体实施例，并且修改对于本领域技术人员而言将是显而易见的，其在本发明的范围内。

在参考前述说明性实施例时，许多另外的修改和变型将向本领域技术人员暗示它们自己，前述说明性实施例仅以示例的方式给出，并且不旨在限制仅由所附权利要求确定的本发明的范围。特别地，在适当的情况下，来自不同实施例的不同特征可以互换。

Claims (9)

1.一种计算机实现的生成数据的方法，该数据表示经过光学采集系统的光瞳以及所述光学采集系统的传感器的至少一个像素的共轭的一组光射线在所述光学采集系统的物空间中所占据的体积，该组光射线所占据的体积被称为像素束，所述方法包括生成数字文件，该数字文件包括表示所述像素束的数据，所述数据包括：

- 定义所述光学采集系统的光瞳的参数，

- 定义所述像素束的最小截面的参数，该最小截面被称为腰部，其对应于传感器的至少所述像素在物空间中的共轭，

其中基于定义所述至少一个像素的参数来计算定义所述像素束的腰部的所述参数，并且表示像素束的腰部的参数包括像素束的腰部与光瞳的中心之间的距离，以及像素束的腰部在与光学采集系统的物空间相关联的坐标系中的取向。

2.根据权利要求1所述的方法，其中从由光学采集系统捕获的光场数据获得的表示由所述像素捕获的光强度的参数与所述数字文件中的表示像素束的参数相关联。

3.根据权利要求2所述的方法，其中定义光瞳的参数包括光瞳的半径、光瞳中心在与光学采集系统相关联的坐标系中的坐标、以及定义光瞳在所述坐标系中的取向的角度。

4.一种用于生成数据的装置，该数据表示经过光学采集系统的光瞳以及所述光学采集系统的传感器的至少一个像素的共轭的一组光射线在所述光学采集系统的物空间中所占据的体积，该组光射线所占据的所述体积被称为像素束，所述装置包括被配置为生成数字文件的处理器，该数字文件包括表示所述像素束的数据，所述数据包括：

- 定义所述光学采集系统的光瞳的参数，

- 定义所述像素束的最小截面的参数，该最小截面被称为腰部，其对应于传感器的至少所述像素在物空间中的共轭，

其中基于定义所述至少一个像素的参数来计算定义所述像素束的腰部的所述参数，并且表示像素束的腰部的参数包括像素束的腰部与光瞳的中心之间的距离，以及像素束的腰部在与光学采集系统的物空间相关联的坐标系中的取向。

5.根据权利要求4所述的装置，其中从由光学采集系统捕获的光场数据获得的表示由所述像素捕获的光强度的参数与所述数字文件中的表示像素束的参数相关联。

6.根据权利要求4所述的装置，其中定义光瞳的参数包括光瞳的半径、光瞳中心在与光学采集系统相关联的坐标系中的坐标、以及定义光瞳在所述坐标系中的取向的角度。

7.一种光场成像设备，包括：

- 以规则点阵结构排列的微透镜阵列；

- 光传感器，被配置为捕获从所述微透镜阵列投影到所述光传感器上的光，所述光传感器包括像素集，每个像素集在光学上与所述微透镜阵列中的相应微透镜相关联；以及

- 用于提供数字文件的设备，该数字文件包括数据，该数据表示经过光学采集系统的光瞳以及所述光学采集系统的传感器的至少一个像素的共轭的一组光射线在所述光学采集系统的物空间中所占据的体积，该组光射线所占据的所述体积被称为像素束，其中所述数据包括：

- 定义所述光学采集系统的光瞳的参数，

- 定义所述像素束的最小截面的参数，该最小截面被称为腰部，其对应于传感器的至少所述像素在物空间中的共轭，

其中基于定义所述至少一个像素的参数来计算定义所述像素束的腰部的所述参数，并且表示像素束的腰部的参数包括像素束的腰部与光瞳的中心之间的距离，以及像素束的腰部在与光学采集系统的物空间相关联的坐标系中的取向。

8.一种用于从光场数据呈现图像的设备，其使用根据权利要求1至3中任一项所述的方法获得的数字文件，该数字文件包括数据，该数据表示经过光学采集系统的光瞳以及所述光学采集系统的传感器的至少一个像素的共轭的一组光射线在所述光学采集系统的物空间中所占据的体积，该组光射线所占据的所述体积被称为像素束。

9.一种计算机读取介质，包括指令序列，该指令序列在由设备执行时使所述设备进行根据权利要求1所述的方法。

Images