CN108352061A - 用于产生表示像素光束的数据的装置和方法 - Google Patents

Abstract

市场上有若干种类型的可用的全光设备和相机阵列，所有这些光场获取设备都有其专有的文件格式。但是，没有标准支持多维信息的获取和发送。有兴趣获得与所述光学获取系统的传感器的像素与所述10光学获取系统的物体空间之间的对应关系相关的信息。实际上，知道光学获取系统的物体空间的哪个部分正在感测属于所述光学获取系统的传感器的像素能够改善信号处理操作。由此引入了像素光束的概念，像素光束表示由相机的光学系统的物体空间中的光射线集合占据的体积以及用于存储这种信息的紧凑格式。

Description

用于产生表示像素光束的数据的装置和方法

技术领域

本发明涉及表示光场的数据的产生。

背景技术

在ECCV 2008会议论文集中发表的Anat Levin等人的文章“Understanding camera trade-offs through a Bayesian analysis of light field projections”中说明了四维或4D光场数据的获取(可以看作是4D光场的采样，即光射线的记录)，这是一个狂热的研究主题。

与从相机获得的经典二维或2D图像相比，4D光场数据使用户能够访问更多的后处理特征，这些后处理特征增强图像的呈现和与用户的交互性。例如，利用4D光场数据，可以使用自由选择的聚焦距离来执行图像的重新聚焦，这意味着焦平面的位置可以被后验地指定/选择，并且可以稍微改变图像场景中的视点。为了获取4D光场数据，可以使用若干种技术。例如，全光相机能够获取4D光场数据。图1A中提供了全光相机的结构细节。图1A是示意性示出了全光相机100的图。全光相机100包括主透镜101、包括布置成二维阵列的多个微透镜103在内的微透镜阵列102、和图像传感器104。

获取4D光场数据的另一种方法是使用如图1B所示的相机阵列。图1B示出了多阵列相机110。多阵列相机110包括透镜阵列112和图像传感器114。

在如图1A所示的全光相机100的示例中，主透镜101从主透镜101的物场中的物体(图中未示出)接收光，并且使光通过主透镜101的像场。

最后，获取4D光场的另一种方式是使用传统相机，传统相机被配置为在不同焦平面处捕获相同场景的2D图像的序列。例如，在J.-H.Park等人的于2014年10月发表在OPTICSEXPRESS第22卷第21期的文件“Light ray field capture using focal plane sweeping and its optical reconstruction using 3D displays”中描述的技术可以用于借助于常规相机来实现4D光场数据的获取。

存在用于表示4D光场数据的若干种方法。事实上，在Ren Ng于2006年7月发表的题为“Digital Light Field Photography”的博士论文3.3章中，描述了用于表示4D光场数据的三种不同方式。首先，当由全光相机记录时，可以借助于一系列微透镜图像来表示4D光场数据。该表示中的4D光场数据被命名为原始图像或原始4D光场数据。其次，当由全光相机记录或者由相机阵列记录时，也可以由子光圈图像集合来表示4D光场数据。子光圈图像与从视点捕获的场景的图像相对应，视点在两个子光圈图像之间略微不同。这些子光圈图像给出与成像场景的视差和深度有关的信息。再次，可以通过极线图像集合来表示4D光场数据，参见例如S.Wanner等人发表于ISVC 2011会议论文集中的题为“Generating EPI Representation of a 4D Light Fields with a Single Lens Focused Plenoptic Camera”的文章。

光场数据会占用大量的存储空间，这会使存储变得繁琐并且处理效率降低。此外，光场获取设备是非常多样的。光场相机具有不同类型，例如全光或相机阵列。每种类型之间都存在许多差异，例如不同的光学布置或不同焦距的微透镜。每种相机都有自己的专有文件格式。目前，没有支持获取和发送多维信息以便详细了解光场所依赖的不同参数的标准。因此，针对不同相机而获取的光场数据具有多种格式。基于上述内容，设计出本发明。

发明内容

根据本发明的第一方面，提供了一种用于产生表示如下体积的数据的计算机实现方法，所述体积为在光学获取系统的物体空间中由如下光射线集合占据的体积，所述光射线通过所述光学获取系统的光瞳以及所述光学获取系统的传感器的至少一个像素的共轭，由所述光射线集合占据的所述体积被称为像素光束，所述方法包括：

-获取光射线集合以及定义像素的共轭的至少第一参数，其中所述集合中的每个光射线表示像素光束；

-获得相交数据，所述相交数据定义表示像素光束的射线与多个给定参考平面的相交，所述参考平面彼此平行且与物体空间中的不同深度相对应；

-获得定义相交数据在2D射线图中的图形表示的射线图参数，以及

-将所述射线图参数与定义像素的共轭的至少第一参数相关联，以提供表示所述像素光束的数据。

根据本发明的实施例，所述方法还包括：

-对定义像素的共轭的第一参数的第一值和第二值之间的差进行编码，所述差与所述射线图参数相关联以提供表示所述像素光束的数据。

根据本发明的实施例，与表示像素光束的射线相对应的截距数据在射线图中被图形化地表示为数据线，并且射线图参数包括表示以下至少一项的数据：

-数据线的斜率；以及

-数据线与射线图的轴相交而形成的截距。

在本发明的实施例中，通过应用拉东变换在2D射线图中检测所述数据线。

根据本发明的实施例，所述图形表示被提供为单元矩阵以提供数字化数据线，每个数字化数据线格式由多个单元来定义，所述多个单元包括表示线与轴相交而形成的截距的至少一个第一单元、以及根据其来确定线的斜率的至少一个第二单元。

根据本发明的实施例，通过应用Bresenham算法来产生每个数字化数据线。

根据本发明的实施例，表示像素光束的数据还包括对表示像素光束的对应射线的颜色加以表示的颜色数据。

根据本发明的实施例，表示像素光束的数据被提供为元数据，元数据的头部包括定义相交数据在2D射线图中的图形表示的射线图参数，并且元数据的主体包括表示射线的颜色的数据和定义像素的共轭在物体空间中的位置和大小的参数。

本发明的另一目的涉及一种用于产生表示如下体积的数据的设备，所述体积为在光学获取系统的物体空间中由如下光射线集合占据的体积，所述光射线通过所述光学获取系统的光瞳以及所述光学获取系统的传感器的至少一个像素的共轭，由所述光射线集合占据的所述体积被称为像素光束，所述设备包括被配置为执行以下操作的处理器：

-获取光射线集合以及定义像素的共轭的至少第一参数，其中所述集合中的每个光射线表示像素光束；

-获得相交数据，所述相交数据定义表示像素光束的射线与多个给定参考平面的相交，所述参考平面彼此平行且与物体空间中的不同深度相对应；

-获得定义相交数据在2D射线图中的图形表示的射线图参数，以及

-将所述射线图参数与定义像素的共轭的至少第一参数相关联，以提供表示所述像素光束的数据。

根据本发明的实施例，设备的处理器还被配置为：

-对定义像素的共轭的第一参数的第一值和第二值之间的差进行编码，所述差与所述射线图参数相关联以提供表示所述像素光束的数据。11.一种光场成像设备，包括：

-微透镜阵列，按照规则点阵结构布置；

-光电传感器，被配置为捕获从微透镜阵列投影到所述光电传感器上的光，光电传感器包括像素集合，每个像素集合与微透镜阵列中的相应微透镜光学相关联；以及

根据权利要求11所述的用于提供元数据的设备。

本发明的另一目的涉及一种包括表示如下体积的数据在内的数字文件，所述体积为在光学获取系统的物体空间中由如下光射线集合占据的体积，所述光射线通过所述光学获取系统的光瞳以及所述光学获取系统的传感器的至少一个像素的共轭，由所述光射线集合占据的所述体积被称为像素光束，所述数据包括：

-射线图参数，射线图参数定义表示像素光束的射线的相交数据在2D射线图中的图形表示，相交数据定义表示像素光束的光场射线与多个给定参考平面的相交，所述参考平面彼此平行并且与物体空间中的不同深度相对应；

-定义表示像素光束的光场射线的颜色的颜色数据，以及

-定义像素的共轭在光学获取系统的物体空间中的位置和大小的参数。由本发明的元素实现的一些处理可以是计算机实现的。从而，这些元素可以采取全硬件实施例、全软件实施例(包括固件、驻留软件、微代码等)或组合了软硬件方面的实施例的形式，它们在本文中可以统称为“电路”、“模块”或“系统”。此外，这些元素可以采取由在任意有形介质中具体实现的计算机可用程序代码表达的具体实现于所述介质中的计算机程序产品的形式。

由于本发明的元素可以以软件来实现，因此本发明可以体现为在任何合适的载体介质上的用于提供给可编程装置的计算机可读代码。有形载体介质可以包括存储介质，例如软盘、CD-ROM、硬盘驱动器、磁带设备或固态存储器设备等。暂时性载体介质可以包括信号，例如电信号、电子信号、光信号、声信号、磁信号或电磁信号(例如微波或RF信号)。

附图说明

现在参考附图，以仅作为示例的方式对本发明的实施例进行描述，在附图中：

图1A是示意性示出了全光相机的图；

图1B示出了多阵列相机；

图2A是根据本发明的实施例的光场相机的功能图；

图2B是根据本发明的实施例的光场数据格式化器和光场数据处理器的功能图；

图3是在光电传感器阵列上形成的2D光场图像的示例；

图4示出了在相机或光学获取系统的光学系统的物体空间中由光射线占据的体积；

图5示出了一张双曲面；

图6A和图6B图形化地示出了根据本发明的一个或多个实施例的使用参考平面来参数化光场数据；

图7示意性地示出了根据本发明的实施例的相对于参考平面的光场射线的表示；

图8A是示出了根据本发明的一个或多个实施例的方法的步骤的流程图；

图8B是示出了根据本发明的一个或多个实施例的用于提供光数据格式的设备的模块的功能框图；

图9示意性地示出了根据本发明的实施例的用于表示光场射线的参数；

图10是图形化地示出了根据本发明的实施例的相交数据的2D射线图；

图11图形化地示出了根据本发明的实施例而产生的数字线；

图12图形化地示出了根据本发明的实施例而产生的数字线；

图13至图13C图形化地示出了根据本发明的实施例的应用于数字线的拉东变换；以及

图14是图形化地示出了根据本发明的实施例的多个相机的相交数据的2D射线图；

图15A和图15B是示出了根据本发明的一个或多个实施例的方法的步骤的流程图；

图16示出了高斯光束的几何形状。

具体实施方式

本领域技术人员应当认识到，本发明原理的各方面可以被具体实现为系统、方法或计算机可读介质。因此，本发明原理的各方面可以采用全硬件实施例的形式、全软件实施例(包括固件、驻留软件、微代码等)的形式或组合了软硬件方面的实施例的形式，它们在本文中可以统称为“电路”、“模块”或“系统”。此外，本发明原理的各个方面可以采用计算机可读存储介质的形式。可以使用一个或多个计算机可读存储介质的任意组合。

本发明的实施例提供光场数据的格式化以用于进一步处理应用，例如格式转换、重新聚焦、视点改变和3D图像产生。

图2A是根据本发明的实施例的光场相机设备的框图。光场相机包括根据图1A的光场相机的光圈/快门202、主透镜(物镜)201、微透镜阵列210和光电传感器阵列220。在一些实施例中，光场相机包括快门释放，该快门释放被激活以捕获主体或场景的光场图像。应该理解，功能特征也可以应用于图1B的光场相机。

光电传感器阵列220提供光场图像数据，光场图像数据由LF数据获取模块240获取，以用于由光场数据格式化模块250产生光场数据格式和/或由光场数据处理器255处理。根据本发明的实施例，光场数据可以在被获取之后和处理之后以原始数据格式存储在存储器290中作为子光圈图像或者焦点堆栈，或以光场数据格式存储在存储器290中。

在所示示例中，光场数据格式化模块150和光场数据处理器255设置在光场相机200中或者集成到光场相机200中。在本发明的其它实施例中，光场数据格式化模块250和/或光场数据处理器255可以设置在光场捕获相机外部的分离的组件中。相对于光场图像捕获设备，分离的组件可以是本地的或远程的。应该理解，可以使用任何合适的有线或无线协议来向格式化模块250或光场数据处理器255发送光场图像数据；例如，光场数据处理器可以经由互联网、蜂窝数据网络、WiFi网络、蓝牙通信协议和/或任何其它合适的手段来传输捕获的光场图像数据和/或其它数据。

根据本发明的实施例，光场数据格式化模块250被配置为产生表示所获取的光场的数据。光场数据格式化模块250可以用软件、硬件或其组合来实现。

根据本发明的实施例，光场数据处理器255被配置为对直接从LF数据获取模块240接收的原始光场图像数据进行操作，以例如产生焦点堆栈或视图矩阵。可以产生输出数据，例如捕获的场景的静止图像、2D视频流等。光场数据处理器可以用软件、硬件或其组合来实现。

在至少一个实施例中，光场相机200还可以包括用户接口260，用户接口260用于使用户能够提供用户输入以通过控制器270控制相机100的操作。对相机的控制可以包括对相机的光学参数(例如，快门速度)的控制中的一个或多个，或者在可调整的光场相机的情况下，微透镜阵列与光电传感器之间的相对距离的控制、或者物镜和微透镜阵列之间的相对距离的控制。在一些实施例中，可以手动调整光场相机的光学元件之间的相对距离。对相机的控制还可以包括对相机的其它光场数据获取参数、光场数据格式化参数或光场处理参数的控制。用户接口260可以包括任何合适的用户输入设备，比如触摸屏、按钮、键盘、定点设备等。以这种方式，由用户接口接收的输入可以用于控制和/或配置用于控制数据格式化的LF数据格式化模块250、用于控制所获取的光场数据的处理的LF数据处理器255、以及用于控制光场相机200的控制器270。

光场相机包括电源280，例如一个或多个可更换或可充电电池。光场相机包括存储器290，存储器290用于存储捕获的光场数据和/或呈现的最终图像或其它数据(例如，用于实现本发明实施例的方法的软件)。存储器可以包括外部存储器和/或内部存储器。在至少一个实施例中，可以在与相机200分离的设备和/或位置处提供存储器。在一个实施例中，存储器包括可移除的/可插拔的存储设备(比如，存储棒)。

光场相机还可以包括显示单元265(例如，LCD屏幕)，显示单元265用于在捕获之前观看相机前方的场景和/或观看先前捕获的和/或呈现的图像。屏幕265还可以用于向用户显示一个或多个菜单或其它信息。光场相机还可以包括一个或多个I/O接口295，比如火线或通用串行总线(USB)接口、或者用于经由互联网、蜂窝数据网络、WiFi网络、蓝牙通信协议、和/或任何其它合适的手段进行数据通信的有线或无线通信接口。I/O接口295可以用于传输去往和来自外部设备(比如，用于呈现应用的计算机系统或显示单元)的数据(比如，由根据本发明的实施例的LF数据格式化模块产生的光场表示数据、以及诸如原始光场数据之类的光场数据或由LF数据处理器255处理的数据)。

图2B是示出了光场数据格式化模块250和光场数据处理器253的可能实现的特定实施例的框图。

电路2000包括存储器2090、存储器控制器2045和包括一个或多个处理单元(CPU)在内的处理电路2040。所述一个或多个处理单元2040被配置为运行存储器2090中存储的各种软件程序和/或指令集，以便执行包括光场数据格式化和光场数据处理在内的各种功能。存储器中存储的软件组件包括根据本发明实施例的用于产生表示获取的光数据的数据的数据格式化模块(或指令集)2050和根据本发明的实施例的用于处理光场数据的光场数据处理模块(或指令集)2055。针对光场相机设备的应用，存储器中可以包括其它模块，比如操作系统模块2051，用于控制通用系统任务(例如，电力管理、存储器管理)并且用于促进在设备2000的各种硬件和软件组件之间的通信；以及接口模块2052，用于控制并管理经由I/O接口端口与其它设备的通信。

图3示出了在图1A的光电传感器阵列104或图1B的光电传感器阵列114上形成的2D图像的示例。2D图像(通常被称为原始4D光场图像)由微图像MI的阵列组成，每个微图像由微透镜阵列102、112的相应微透镜(i，j)产生。微图像被布置成具有由i轴和j轴定义的矩形点阵结构形式的阵列。微透镜图像可以由相应的微透镜坐标(i，j)来引用。光电传感器104、114的像素PI可以由像素的空间坐标(x，y)来引用。与给定像素相关联的4D光场数据可以被称为(x，y，i，j)。

存在表示(或定义)4D光场图像的若干种方法。例如，可以通过前面参考图3描述的一系列微透镜图像来表示4D光场图像。当由全光相机记录时，4D光场图像也可以由子光圈图像集合来表示。每个子光圈图像是由从每个微透镜图像中选择的相同位置的像素组成的。此外，在非像素光束(pixel beam)的情况下，4D光场图像可以由极线图像(epipolarimage)集合来表示。

本发明的实施例基于像素光束的概念来提供光场数据的表示。以这种方式，可以考虑格式和光场设备的多样性。事实上，基于射线的格式的一个缺点在于：参数化平面必须被采样以反映像素格式和大小。因此，需要与其它数据一起定义采样，以便恢复物理上有意义的信息。

如图4所示，像素光束40表示在相机的光学系统41的物体空间中由光射线集合占据的体积。光射线通过所述光学系统41的光瞳44而被相机的传感器43的像素42感测到。与射线相反，像素光束40可以随意采样，因为它们本身传达与对物理光射线的部分上的能量保持相对应的“范围”。

光学系统的光瞳被定义为通过所述光学系统(即，在所述光圈光阑之前的相机的透镜)看到的光圈光阑的图像。光圈光阑是限制通过相机的光学系统的光量的开口。例如，位于相机透镜前部附近的可调节隔膜是透镜的光圈光阑。被允许通过隔膜的光量由隔膜开口的直径控制，而隔膜开口的直径可以根据相机用户希望允许的光量进行调整。例如，使光圈更小会减少被允许通过隔膜的光量，但会增加焦点深度。由于透镜的折射作用，光阑的有效大小可以大于或小于其物理大小。形式上，光瞳是通过相机的光学系统的光圈光阑的图像。

像素光束40被定义为在经由入射光瞳44传播通过光学系统41时到达给定像素42的一束光射线。当光线在自由空间中以直线行进时，这样的像素光束40的形状可以由两个部分定义，一个是像素42的共轭45，而另一个是入射光瞳44。像素42由其非零表面及其灵敏度图来定义。

因此，如图5所示，像素光束可以由一张双曲面50表示，双曲面50是由两个元素支持的：相机的物体空间中的像素42的光瞳54和共轭55。

一张双曲面是可以支持一束光射线的概念的、并且与物理光束的“范围”的概念相兼容的规则表面。

一张双曲面与高斯光束的几何形状相对应。事实上，在光学中，高斯光束是一束单色的电磁辐射，该电磁辐射的横向磁场和电场幅度分布由高斯函数给出；这也意味着高斯强度分布。这种基本的横向高斯模式描述了大多数激光器的预期输出，因为这样的光束可以被聚焦到最集中的光斑(spot)上。

下面的方程假设光束在z的所有值处具有圆形横截面；这可以通过注意到出现单个横向尺寸r来看出。

在沿着光束的位置z处(从焦点测量)，光斑大小参数w由下式给出：

其中，w₀是腰部大小。

如图16所示，在距腰部等于z_R的距离处，光束的宽度w等于

尽管高斯函数的尾部从未真正达到零，对于。这意味着远离腰部，光束“边缘”是锥形的。沿着该圆锥(其r＝w(z))的线和光束的中心轴(r＝0)之间的角度称为光束的发散。

然后，通过下式给出远离腰部的光束的总角展度：Θ＝2θ。在本发明的实施例中，像素光束40、50由四个独立参数定义：z_P、θ_x、θ_y、a，这四个独立参数定义了在光瞳44、54前面的像素共轭45、55的位置和大小。

表示像素光束的一张双曲面可以由以下方程定义：

其中，t_x＝tan θx和t_y＝tan θy。

其中，定义像素光束40、50的参数的坐标系(x，y，z)的原点0与如图4所示的像素的共轭的中心相对应，a，b，c分别与沿着Ox，Oy，Oz的半轴长度同源，其中a表示沿着Ox的腰部的半径；b表示沿着Oy的腰部的半径，并且c定义像素光束的角度光圈。在本发明的一些实施例中，a和b具有相同的值，在这些情况下，腰部具有圆形形状。

参数θ_x、θ_y定义了相对于入射光瞳44中心的主射线方向。它们取决于像素42在传感器43上的位置和在光学系统41的光学元件上的位置。更确切地，参数θ_x、θ_y表示定义像素42的共轭45相对于光瞳44的中心的方向的剪切角。

参数z_P表示像素光束40、50的腰部55或像素42的共轭45沿z轴的距离。

参数a表示像素光束40、50的腰部55的半径，并且c由以下方程给出：

其中，r是光瞳44、54的半径。

在给定相机的校准阶段期间，针对该相机的每个像素光束来实现对参数z_P、a和c的值的计算。例如，该校准阶段包括运行能够对通过相机的光学系统的光射线的传播进行建模的程序。这样的程序例如是光学设计程序，比如或光学设计程序用于设计和分析光学系统。光学设计程序对通过光学系统的光射线的传播进行建模；以及可以对诸如简单透镜、非球面透镜、渐变折射率透镜、反射镜和衍射光学元件之类的光学元件的效果进行建模。

因此，像素光束40、50可以由其主射线和参数z_P、a和c定义。

然而，像素光束40、50的这种表示占用了大量的存储空间，因为用于存储射线的传统文件格式包括存储在3D空间中的位置和方向。

为了提出一种用于存储射线的、需要较少存储空间的文件格式，可以参考图6A中所示的立方体来描述用于参数化光场辐射的四个维度的方法。立方体的所有六个面可以用于参数化光场。为了参数化方向，可以添加平行于立方体的面的第二平面集合。以这种方式，可以相对于法线沿轴方向的六对平面来定义光场，如下所示：

图6B示出了通过用于参数化的两个参考平面P1和P2的光场射线，所述两个参考平面彼此平行并且分别位于已知深度z₁和z₂处。光场射线与深度z₁处的第一参考平面P₁在相交点(x₁，y₁)处相交，并且与深度z₂处的第二参考平面P₂在相交点(x₂，y₂)处相交。以这种方式，可以通过四个坐标(x₁，y₁，x₂，y₂)来识别光场射线。因此，光场可以由用于参数化的一对参考平面P₁、P₂(在本文中也称为参数化平面)进行参数化，其中每个光场射线被表示为4D射线空间中的点(x₁，y₁，x₂，x₂，)∈R⁴。

例如，参考坐标系的原点可以置于由坐标轴系统的基矢量产生的平面P₁的中心处。轴与产生的平面P₁垂直，并且为了简单起见，可以将第二平面P2放置在沿着轴与平面P₁相距z＝Δ的距离处。为了考虑六个不同的传播方向，整个光场可以由六对这样的平面表征。通常被称为光板的一对平面表征沿着传播方向与光场相机的传感器或传感器阵列相互作用的光场。

用于参数化的参考平面的位置可以如下给出：

其中，是法线，d是沿着法线方向与3D坐标系原点的偏移。

用于参数化的参考平面的笛卡尔方程可以如下给出：

如果光场射线具有已知的位置：

和标准化的传播矢量：

则3D形式的射线的一般参数方程可以如下给出：

光场射线与参考平面之间的相交的坐标如下给出：

如果不满足以下条件，则光场射线与参考参数化之间不存在相交：

由于用于参数化光场的参考平面对与系统中的轴中的一个轴垂直，因此对于每个平面来说，射线相交的分量中的一个分量总是恒定的。因此，如果光场射线与第一参考平面有相交并且所述光场与第二参考平面有相交则四个坐标变化，并且方程A可以用于计算光场射线的四个参数。这四个参数可以用于建立光场的4D射线图。

假设参考两个参数化参考平面对光场进行参数化，可以如下获得表示光场的数据。如果参考系统被设置为如图7所示的那样，则第一参数化平面P1在z＝z1处与z轴垂直，第二参数化平面P2被布置为在z＝z2处与z轴垂直，并且其光场参数为L(x1；y1；x2；y2)的射线将被呈现在光场相机的光电传感器阵列所在的位置z＝z3处。根据方程(A)：

其中

推导上述表达式以给出：

z₃＝z₃

z₃＝z₃

两个方程集合都应该提供相同的点作为新位置处呈现光场射线。通过利用如和的函数那样的对应的表达式来替换u_x、u_y、u_z，如果使用了前面块中的第二方程集合，并且将x3和y3加在一起，则：

进而形成如下表达式：

(z₂-z₃)(x₁+y₁)+(z₃-z₁)(x₂+y₂)＝(z₂-z₁)(x₃+y₃) (B)

带有下标3的坐标与呈现光场的已知点(x₃，y₃，z₃)相关。所有深度坐标z_i都是已知的。参数化平面处于传播或呈现的方向。光场数据参数L是(x₁，y₁，x₂，y₂)。

在点(x₃，y₃，z₃)处形成图像的光场射线通过表达式(B)连接，表达式(B)定义了R⁴下的超平面。

这意味着：如果要根据两个平面参数化光场来呈现图像，则只需要呈现超平面附近的射线，而无需追踪这些射线。图8A是示出了根据本发明的一个或多个实施例的用于产生表示光场的数据的方法的步骤的流程图。图8B是示意性地示出了根据本发明的一个或多个实施例的用于产生表示光场的数据的系统的主要模块的框图。

在所述方法的预备步骤S801中，通过对相机进行校准或者通过从远程服务器中或本地存储单元(比如，相机的存储器290或者与相机连接的闪存盘)上存储的数据文件取回这样的参数来获取定义与相机的传感器的像素相关联的不同像素光束的参数。

这些参数是不同像素光束的主射线的坐标和定义在相机的校准期间针对每个像素光束而获得的光瞳前方的像素共轭的位置和大小的参数z_P和a。像素光束的主射线是通过腰部的中心和支持像素光束的光瞳的中心的直线。在另一预备步骤S802中，通过光场相机801获取原始光场数据。原始光场数据例如可以具有如参考图3所描述的微图像的形式。光场相机可以是诸如图1A或图1B以及图2A和图2B中所示的光场相机设备。

在步骤S803中，通过射线参数模块802处理所获取的光场数据，以提供相交数据(x₁，y₁，x₂，y₂)，相交数据(x₁，y₁，x₂，y₂)定义与像素光束40、50的主射线相对应的捕获的光场射线与相应深度z₁、z₂处的用于参数化的参考平面对P₁、P₂的相交。

根据相机的校准，可以确定以下参数：投影中心(x₃，y₃，z₃)、相机的光轴的取向、以及从相机的针孔到光电传感器的平面的距离f。图9示出了光场相机参数。光电传感器平面位于深度z_p处。光电传感器的像素输出被转换为光场射线的几何表示。包括分别在位于z₃的一边的深度z₁和z₂处的两个参考平面P₁和P₂在内的光板在相机投影中心的相对于光电传感器的另一侧。通过对光射线应用三角原理，可以通过应用以下表达式将记录从微透镜阵列投影的光的像素坐标(x_p，y_p，z_p)映射到射线参数，即参考平面相交点(x₁，y₁，x₂，y₂)：

上述计算可以扩展到具有不同的三元组对(x_p，y_p，z_p)(x₃，y₃，z₃)的多个相机：

在全光相机的情况下，使用具有光圈的相机模型，并且在相位空间中将光场射线描述为具有原点(x_p，y_p，z_p)和方向(x’₃，y’₃，1)。光场射线到在深度z₃处的平面(x₃，y₃)的传播可以被描述为矩阵变换。透镜将用作为ABCD矩阵以折射射线，并且另一ABCD传播矩阵将射线带到光板参考平面P₁和P₂上。

根据该步骤，获得几何上定义光场射线与参考平面P₁、P₂的相交的相交数据(x₁，y₁，x₂，y₂)。

在步骤S804中，通过射线图产生器模块803获得图形化地表示相交数据(x₁，y₁，x₂，y₂)的2D射线图。

图10是图形化地示出了在位置x₃＝2和深度z₃＝2处、具有光圈|A|＜0.5的相机捕获的光场射线的相交数据(x₁，x₂)的2D射线图。用于参数化的射线图的数据线是通过提供256×256个像素的图像的256个单元而采样的。

如果图10中所示的射线图被解释为矩阵，则可以看到该矩阵被稀疏地填充。如果射线要单独保存在文件(file)中而不是4D相位空间矩阵中，则对于每个射线来说需要保存的为针对每个位置x_i或x₃的至少2个字节(整型16)再加上针对颜色的3个字节，即对于2D薄片光场来说每个射线7个字节，而对于全4D表示来说每个射线11个字节。即使这样，射线也会随机存储在文件中，这可能不适合需要操纵该表示的应用。本发明的发明人已经确定如何仅从射线图矩阵中提取表示性数据并且以结构化的方式将数据存储在文件中。

由于光场射线沿着2D射线图的数据线进行映射，因此存储定义数据线的参数而不是线值本身更为有效。定义数据线的参数(例如，斜率定义参数s和轴截距d)可以与属于该数据线的光场射线集合一起存储。

这可能需要例如斜率参数s仅仅为2个字节、斜率参数d为2个字节，然后每个射线仅3个字节。此外，可以在文件中沿线对射线进行排序。为了设置通过矩阵单元的线，产生与射线近似且误差最小的所谓的数字线。

为了定位数据线并且获得斜率参数s和截距参数d，执行步骤S805，以由线检测模块804对在步骤S804中产生的射线图执行拉东变换。

根据获得的斜率参数s和截距参数d，在步骤S806中通过数字线产生模块805来产生代表性数字线。在这一步骤中，例如通过应用Bresenham算法，通过将分析线近似到其最近的网格点来产生数字线。事实上，Bresenham算法提供了一种以最少的操作来提供数字线的方法。其它方法可以应用快速离散拉东变换计算。Bresenham应用的示例是根据以下参考文献改编的一种应用：http://www.cs.helsinki.fi/group/goa/mallinnus/lines/ bresenh.html。

数字格式通过网格的两点(0，d)和(N-1，s)来定义数据线，其中d是当x₁＝0时与x₂的值相对应的截距，并且s是当x₁＝N-1时与x₂的值相对应的斜率参数。根据产生的数字格式，每个单独的线的斜率a可以表示为d和s的函数，如下所示：

其中：

s∈{0，1，....N-1}和d∈{0，1，....N-1}

图11示出了应用Bresenham算法产生的数字线的示例。

图12示出了具有相同斜率a(或s-d)但不同截距d的一组数字线，该组数据线是连续的。这组数据线在这里被称为一束线，并且与由并非理想定位的相机产生的光束相对应。每条线寻址不同的像素。换句话说，一个像素仅属于具有相同斜率但不同截距的唯一一束线。轴截距d的上边界和下边界分别为d_max和d_min。

由采样线对(2D形式的)参数化并且属于一个相机的射线数据属于用于表示数据的相位空间中的一系列数字线(光束)。光束的头部可以简单地包含斜率a和由轴截距的上边界和下边界定义的光束的厚度d_max-d_min。沿着头部可以是d和s的数字线，将射线值存储为RGB颜色。不需要存储采样空间中的射线图的空白单元。可以根据参数d、s和根据单元沿数字线的位置导出射线的坐标x1、x2。

要根据光场或根据相机的几何形状估计的参数是斜率a、数字线截距的下界线和上界线(d_min，d_max)、数字线参数(d_i，s_i)。离散拉东变换已经被作为用于测量射线图中的光场的支持位置的工具而进行了讨论。

图13B示出了图13A的数据线的数字线参数空间(d，s)中的离散拉东变换。图13C是图12B中包括的感兴趣区域的放大图。数字线的光束通过搜索最大值参数来定位。由于图像内容，DRT的几何对称中心与最大值的实际位置之间可能存在一些偏移，因此稍后使用算法来精确定位对称中心而不是最大值。然后，很容易找到如图13C所示的光束变换的腰部，以给出值(d_min，d_max)。点(d_min＝74，s＝201)是来自图12A的数字线的光束的下包络，并且点(d_max＝81，s＝208)是数字线的光束的上包络。

根据方程B将两个正交2D薄片空间的方程给出为：

(z₂-z₃)(x₁+y₁)+(z₃-z₁)(x₂+y₂)＝(z₂-z₁)(x₃+y₃) (C)

如果获得了针对x_i坐标的2D薄片，则通过在(x₃，y₃，z₃)处的大小为A的光圈的射线数据将映射的线束的方程如下给出：

类似地，如果针对y_i坐标获得了2D切片，则：

如前所述，可以在离散域中评价m和的值，为了定位由前面讨论的格式定义的光场的特性，不需要执行4D离散拉东变换。如果获得了两个正交的2D DRT，则可以对超平面的斜率m和在4D射线图中所有数据会聚的数字超平面的束宽度执行测量。

这个更简单的位置过程假设圆形的入射光瞳A，以便 将包括所有的超平面截距，被写到格式中的一些值将不包含任何值。

将有兴趣获得针对4D情况的格式，获得方式与针对2D情况提出的获得方式相似。为此，将有兴趣将在Π(x₁，x₂)平面上找到的2D线与在Π(y₁，y₂)位置上找到的线相关联，即，线是对应的超平面与两个正交薄片Π(x₁，x₂)和Π(y₁，y₂)的相交的结果。根据表达式D和E可知，对应的线具有相同的斜率m。这是用于将Π(x₁，x₂)中的每条线与Π(y₁，y₂)中的线相关联的、针对在某个深度处的相机的第一参数。如果在同一深度处有多台相机(即，图13A的情况)，则Π(x₁，x₂)中有三条线，并且Π(y₁，y₂)中有三条线，这些线的估计斜率相同都为m。然后，确定这两个平面中的线之间的线偏移中的对应关系。为此，利用表达式D和E中线的公式。特别表示为

偏移如下：

以及

可以针对k，x₃和y₃对方程集合进行求解。请注意，(x₃，y₃，z₃)与相机的坐标相对应，或者换句话说，与对应的光束集中在半径为A的圆上的体素相对应。我们假设在位于z₃处的平面上的光圈是圆形的，因此并且通过求解以前的方程集合得到：

可以使用Bresenham数字线像以前那样对Π(x₁，x₂)扫描数字线；针对每个单独的(x₁，x₂)值，存储在光场中捕获的对应的(y₁，y₂)值。为了找到这样的值，利用表达式(C)。以下所有参数x3、y3、z3、z1、z2都是已知的或者是根据表达式F和G估计出的。

在Π(x₁，x₂)中的每一行上移动，对于每个获得(y₁，y₂)的以下关系：

或者

对于Π(x₁，x₂)中的每个点，保存Π(y₁，y₂)中的线的集合。d_off与针对扫描和保存的线的偏移相对应。其表示为：

参考图12，每个正方形是点并且对于这些点中的每一个点，都存在沿着由如下方程定义的数字束的、脱离图中平面的Bresenham数字线集合：

但在4D空间中，所述Bresenham数字线集合垂直于所描绘的数据线。

表1中示出了每个相机的一束数据线的示例性数据格式。

表1

首先，提供了4D空间的一般元数据：包括4个轴x₁、x₂、y₁、y₂的边界及其对应的采样。还提供了相机(束)的数量。对于每个相机j，保存以下参数：

光圈的大小：A_j，与像素光束的光瞳的直径相对应，

相机的焦点：cam_j；焦点＝(u₃，u₃，w₃)

(x1_x，2)中的最小截距d＝d_j

陡度＝m_j

在每个相机上，对于每个(x^q ₁；x^q ₂)，使用Bresenham数字线关于表达式(k)开始对(y₁，y₂)扫描，并且保存每个光场射线的RGB值。特别地，根据表达式(K)计算至以及对应的d_off。

由于光场射线与像素光束的主射线相对应，因此给定像素光束的参数z_P、a的值将被存储在对应的光场射线的RGB值的旁边，如表1所示。由于这两个参数都是以浮点数的形式存储的，这使得每个相机的一束数据线的数据格式要大得多。实际上，在表1中，每个射线占用3个字节，参数z_P、a各占用4个字节。因此，参数z_P、a严重影响全局文件大小。

为了减少存储空间量，因此根据例如由光场数据格式化模块250执行的并且在图15A和图15B中所示的以下方法来编码这两个参数z_P、a。

浮点数用有效数字(也称为有效数)和使用指数的标度来表示，术语“浮点数”来自可以在有效数中浮动的基数或逗号符号。

因此，为了减少表1中所示的每个相机的针对一束数据线的数据格式中存储的浮点数的量，建议对参考起始值的数的增量进行编码。或者为正或者为负的数的变化被编码在例如从-254到+255的512个级别上。在本发明的其它实施例中，数的变化可以被编码在256或128个级别上。增量的值根据给定参数的值和变化进行调整。

因此，在步骤S150中，将起始浮点数用作为参考，所述起始浮点数例如是针对相机的像素光束集合中的第一像素光束的参数z_p的第一值。

在本发明的实施例中，在步骤S151期间，计算表示针对像素光束集合中的另一像素光束的参数z_p的第二值的第二浮点数和参数z_p的第一值之间的差。参数z_p的第二值和第一值是表示光场的数据流中的连续浮点数。该差被存储在表1中，而不是参数z_p的第二值被存储在表1中。由于定义像素光束的参数是以有序的空间角度方式来存储的，因此相同参数的两个连续值的变化量非常小。

在步骤S152期间，计算表示针对像素光束集合中的另一像素光束的参数z_p的第三值的第三浮点数和参数z_p的第二值之间的差。在本发明的实施例中，参数z_p的第三值和第二值是表示光场的数据流中的连续浮点数，即，相同参数的不同值在数据流中被分组一起，诸如RGB，RGB，...，z，z，...，a，a，...。在本发明的该实施例中，使用称为“紧缩(deflate)”的方法来压缩数据更容易，所述“紧缩”方法的示例由https：//en.wikipedia.org/wiki/DEFLATE给出。该差被存储在表1中，而不是参数z_p的第三值被存储在表1中。

针对表示相机的像素光束集合的参数z_p的值来执行那些步骤S151、S152。对参数a的值也执行相同的步骤。

为了同步数据流并且确保表示像素光束的不同参数的编码值是可靠的，在步骤S153中，将参数z_p的第四值存储为浮点数，而不是作为参数z_p的两个连续值之间的差。步骤S153例如每100个浮点数执行一次。

在本发明的另一实施例中，在步骤S250中，将起始浮点数用作为参考，所述起始浮点数例如是针对相机的像素光束集合中的第一像素光束的参数z_p的第一值。

在步骤S251期间，计算表示针对像素光束集合中的另一像素光束的参数z_p的第二值的第二浮点数和参数z_p的第一值之间的差。在本发明的实施例中，参数z_p的第二值和第一值是表示光场的数据流中的连续浮点数，即，相同参数的不同值在数据流中被分组在一起，诸如RGB，RGB，...，z，z，...，a，a，...。在本发明的该实施例中，使用称为“紧缩(deflate)”的方法来压缩数据更容易，所述“紧缩”方法的示例由https：//en.wikipedia.org/wiki/DEFLATE给出。该差被存储在表1中，而不是参数z_p的第二值被存储在表1中。

在步骤S252期间，计算表示针对像素光束集合中的另一像素光束的参数z_p的第三值的第三浮点数和参数z_p的第一值之间的差。该差被存储在表1中，而不是参数z_p的第三值被存储在表1中。

针对表示相机的像素光束集合的参数z_p的值来执行那些步骤S251、S252。因此，对于参数z_p的每个值，计算与作为参考值的参数z_p的第一值的差，并且将所计算出的差存储在表1中。对参数a的值也执行相同的步骤。

为了同步数据流并且确保表示像素光束的不同参数的编码值是可靠的，在步骤S253中，将参数z_p的第四值存储为浮点数，而不是作为参数z_p的两个连续值之间的差，并且将所存储的第四值视为是用于计算将被存储在表1中的差的新的参考，而不是参数z_p的对应的值。步骤S253例如每100个浮点数执行一次。

这种方法依赖于对于两个连续的浮点数只有很小的变化的断言；F_t＋1＝F_t+ε。这个较小的差ε被编码在8比特上。在本发明的其它实施例中，差可以被编码在4、12或16比特上。这使得能够优化设备和网络带宽上使用的存储器。

使用存储的元数据在解码步骤中执行相同的计算。特别地，使用方程(H)找到k。因此，格式保持紧凑。不需要为系统中的每条射线存储四个索引，并且无需为定义像素光束的参数存储两个浮点数。请注意：上面的超平面的采样是4D射线空间的采样，因此不会缺失单个x1；y1；x2；y2位置。这仅是用于以非常紧凑的形式保存所有数据的4D射线空间的系统扫描的一个示例。当然，也可以应用其它处理。参数化形式似乎适用于探索超平面，因为参数化形式允许跨空间探索。

在多个相机从而处理包含若干束超平面在内的数据(由于多个相机而导致的拉东变换中有若干个极点)的情况下，可以使用更复杂的算法。作为预处理步骤，针对∏(x₁，x₂)的拉东变换中的所有峰值来找到参数(m，k)，并且将这些找到的参数(m，k)放入一个集合中。针对(y₁，y₂)中的峰值也这样做，并且将得到的参数放在另一集合中。现在，在贪婪算法的每次迭代中，在(x₁，x₂)的2D拉东变换中找到最大峰值强度，并且通过匹配先前找到的参数(m，k)来找到(y₁，y₂)中的对应峰值。在如上一部分中提及的保存数据之后，将这些峰值从拉东变换中清除，然后开始下一次迭代，直到在光场中没有任何有意义的数据为止。

虽然本发明以上是参照具体实施例进行描述的，但本发明不限于具体实施例，在本发明的范围内的修改对于本领域技术人员是显然的。

对本领域技术人员来讲，通过参照上述说明性实施例，将设想许多另外的修改和变形，这些说明性实施例仅为作为示例给出而不意在限制仅由所附权利要求确定的本发明的范围。具体地，在适当的情况下，来自不同实施例的不同特征可互换使用。

Claims (15)

1.一种用于产生表示如下体积的数据的计算机实现方法，所述体积为在光学获取系统的物体空间中由如下光射线集合占据的体积，所述光射线通过所述光学获取系统的光瞳以及所述光学获取系统的传感器的至少一个像素的共轭，由所述光射线集合占据的所述体积被称为像素光束，所述方法包括：

-获取光射线集合以及定义像素的共轭的至少第一参数，其中所述集合中的每个光射线表示像素光束；

-获得相交数据，所述相交数据定义表示像素光束的射线与多个给定参考平面的相交，所述参考平面彼此平行且与物体空间中的不同深度相对应；

-获得定义相交数据在2D射线图中的图形表示的射线图参数，以及

-将所述射线图参数与定义像素的共轭的至少第一参数相关联，以提供表示所述像素光束的数据。

2.根据权利要求1所述的方法，还包括：

-对定义像素的共轭的第一参数的第一值和第二值之间的差进行编码，所述差与所述射线图参数相关联以提供表示所述像素光束的数据。

3.根据权利要求2所述的方法，其中，与表示像素光束的射线相对应的截距数据在射线图中被图形化地表示为数据线，并且射线图参数包括表示以下至少一项的数据：

-数据线的斜率；以及

-数据线与射线图的轴相交而形成的截距。

4.根据权利要求3所述的方法，其中，通过应用拉东变换在2D射线图中检测数据线。

5.根据权利要求3或4所述的方法，其中，图形表示被提供为单元矩阵以提供数字化数据线，每个数字化数据线格式由多个单元来定义，所述多个单元包括表示线与轴相交而形成的截距的至少一个第一单元、以及根据其来确定线的斜率的至少一个第二单元。

6.根据权利要求5所述的方法，其中，每个数字化数据线是通过应用Bresenham算法来产生的。

7.根据前述任一权利要求所述的方法，其中，表示像素光束的数据还包括对表示像素光束的对应射线的颜色加以表示的颜色数据。

8.根据权利要求7所述的方法，其中，表示像素光束的数据被提供为元数据，元数据的头部包括定义相交数据在2D射线图中的图形表示的射线图参数，并且元数据的主体包括表示射线的颜色的数据和定义像素的共轭在物体空间中的位置和大小的参数。

9.一种用于产生表示如下体积的数据的设备，所述体积为在光学获取系统的物体空间中由如下光射线集合占据的体积，所述光射线通过所述光学获取系统的光瞳以及所述光学获取系统的传感器的至少一个像素的共轭，由所述光射线集合占据的所述体积被称为像素光束，所述设备包括被配置为执行以下操作的处理器：

-获取光射线集合以及定义像素的共轭的至少第一参数，其中所述集合中的每个光射线表示像素光束；

-获得相交数据，所述相交数据定义表示像素光束的射线与多个给定参考平面的相交，所述参考平面彼此平行且与物体空间中的不同深度相对应；

-获得定义相交数据在2D射线图中的图形表示的射线图参数，以及

-将所述射线图参数与定义像素的共轭的至少第一参数相关联，以提供表示所述像素光束的数据。

10.根据权利要求9所述的设备，其中，所述处理器还被配置为：

-对定义像素的共轭的第一参数的第一值和第二值之间的差进行编码，所述差与所述射线图参数相关联以提供表示所述像素光束的数据。

11.一种光场成像设备，包括：

-微透镜阵列，按照规则点阵结构布置；

-光电传感器，被配置为捕获从微透镜阵列投影到所述光电传感器上的光，光电传感器包括像素集合，每个像素集合与微透镜阵列中的相应微透镜光学相关联；以及

-根据权利要求9所述的用于提供元数据的设备。

12.一种用于使用根据权利要求1至8中任一项所述的方法而获得的光场数据来呈现图像的设备。

13.一种包括表示如下体积的数据在内的数字文件，所述体积为在光学获取系统的物体空间中由如下光射线集合占据的体积，所述光射线通过所述光学获取系统的光瞳以及所述光学获取系统的传感器的至少一个像素的共轭，由所述光射线集合占据的所述体积被称为像素光束，所述数据包括：

-射线图参数，射线图参数定义表示像素光束的射线的相交数据在2D射线图中的图形表示，相交数据定义表示像素光束的光场射线与多个给定参考平面的相交，所述参考平面彼此平行并且与物体空间中的不同深度相对应；

-定义表示像素光束的光场射线的颜色的颜色数据，以及

-定义像素的共轭在光学获取系统的物体空间中的位置和大小的参数。

14.根据权利要求13所述的数字文件，其中，所述数字文件是根据权利要求1至8中任一项所述的方法而获得的。

15.一种用于可编程装置的计算机程序产品，所述计算机程序产品包括用于在加载到所述可编程装置中并由所述可编程装置执行时实现根据权利要求1至8中任一项所述的方法的指令序列。