CN106165387A

CN106165387A - 光场处理方法

Info

Publication number: CN106165387A
Application number: CN201380081989.7A
Authority: CN
Inventors: L.里梅; B.M.阿鲁拉; K.尼斯达
Original assignee: Vidinoti SA
Current assignee: Vidinoti SA
Priority date: 2013-11-22
Filing date: 2013-11-22
Publication date: 2016-11-23
Also published as: EP3072289A1; KR20160106045A; JP2016537901A; WO2015074718A1

Abstract

用于处理对应于光场的数据的光场处理方法，包括：利用全光相机捕获以与所述全光相机有关的格式表示光场的初始数据；将所述初始数据转换成以相机无关格式表示所述光场的经转换数据；处理所述经转换数据以便生成表示不同光场的经处理数据。

Description

光场处理方法

技术领域

本发明涉及光场处理方法。

背景技术

捕获光场的设备正变得越来越流行。光场通常利用全光相机（plenoptic camera）来捕获。全光相机的流行示例包括例如Lytro（光场）相机。

每一个全光相机生成以相机相关格式表示所捕获的光场的数据。例如，Lytro相机通过矩阵序列表示光场；每一个矩阵包括指示从各方向到达微透镜的光的强度的多个单元（cell）。单元的数目对应于微透镜的数目。

由于所捕获的信息的格式对于每一个设备不同，所以在由不同全光相机的集合所捕获的光场数据上应用处理是冗长的。

发明内容

因此，本发明的目标是限定一种设备无关全光表示，在其上可以应用各种后续处理方法，而不管用于捕获该信息的全光相机如何。

根据本发明，这些目标借助于一种用于处理对应于光场的数据的光场处理方法而实现，该方法包括：

利用全光相机捕获以与所述全光相机有关的格式表示光场的初始数据；

将所述初始数据转换成以相机无关格式表示所述光场的经转换的数据；

处理所述经转换的数据以便生成表示不同光场的经处理的数据。

针对表示光场的数据的相机无关表示的使用具有以下优势：对于数据处理软件的编程者而言，可以针对各种全光相机而编程单个方法。

附图说明

借助于作为示例给出并且通过附图图示的实施例的描述，将更好地理解本发明，其中：

图1A-1E示意性表示针对光场的不同参数化方法。

图2图示了来自相同物理点（在左侧的图上）以及使用双平面表示重新计算（在右侧的图上）的两个射线值。U-V平面表示设备主透镜平面。Rx-Ry表示所观察的实际世界。

图3图示了来自分别位于焦平面11之前和之后的两个不同物理点B、C（在左侧的图上）以及使用双平面表示重新计算（在右侧的图上）的两个射线值。

图4图示了全光相机1设计的第一示例。

图5和6图示了全光相机1设计的第二示例。

图7图示了全光相机1设计的第三示例。

图8图示了用于从已知参考图像（此处为棋盘）的全光表示确定未知全光相机设备的参数的过程。

图9图示了来自具有不同距离处的物体的场景的光场的双平面表示。

图10图示了用于使用来自相同点的多个射线之间的三角测量而确定场景的每一个点的深度的第一方法。

图11图示了通过与两个平面Rx-Ry和U-V相交的单个物理点A发射的光射线。

图12图示了出现在U-Rx绘图中的表极线。

图13示出了针对U-V平面的高斯滤波器的示例，其漫射穿过单个点(Rx,Ry)并且撞击到U-V平面的光射线。

图14图示了通过针对U-V平面的高斯滤波器的光射线模糊。

图15图示了物体尺寸调整的过程。

图16简要地示出用于垂直平面平移的示意图。

具体实施方式

定义

物方焦平面（object focal plane）：场景中的平面，其平行于相机主透镜并且全光相机聚焦在其上。

像方焦平面（image focal plane）：相机内的平面，其平行于相机主透镜并且其中位于物方焦平面上的物理点聚焦地投影在像方焦平面上。

焦平面：当没有提到“物体”或“图像”时，其意味着物方焦平面或者像方焦平面中的任一个。

表示

全光功能是利用作为其自变量的多个参数描述光场的功能。

典型全光功能表示在给定时间和波长处从3D空间中的给定点（x,y,z）发射并且在2D平面上的给定位置（u,v）处观察到的光的发光度。表示光射线的强度的全光函数P采取以下形式：

其中t和λ分别是观察时间和波长。

可替换地，人们可以将光射线视为以给定角度从(x,y,z)所发射的。射线然后参数化为：

。

4D全光函数

并不是所有7个参数都是强制性的。例如，如果场景中的所有光射线静止（即，t恒定，诸如在静态全光图片中）并且具有单个波长λ，则以上提及的7D全光函数可以约简成5D函数。此外，假定射线行进通过透明空气而没有被任何物体遮挡，则光射线的发光度沿其线性路径保持恒定。作为结果，光射线可以通过四个参数而完全参数化。例如，光射线可以利用两个预限定的表面上的两个相交点的位置来表示。例如，代替起始点(x,y,z)和另一表面上的观看/观察位置(u,v)，我们仅仅需要考虑其中射线穿过的某一表面上的位置(x',y')和(u,v)。

4D全光函数可以公式表示为：

其中(x',y')是光射线与表面的坐标中的第一预确定表面的交叉点，并且(u,v)是射线与第二预确定表面的交叉点。

用于利用四个参数（当需要时，加上时间和/或波长）表征光场的每一个光射线的参数化方法优选地考虑到全光相机设计以便以有意义且容易处理的方式表示所捕获的光场。例如，利用平行平面表示光场可能对于包括彼此平行的主透镜、微透镜阵列和传感器平面的常见全光相机是简明直接的。另一方面，可能有意义的是使其中多个相机布置在球体上的球形全光相机在球坐标系统中表示光场。

优选地，与特定相机设计无关的参数化方法被选择用于表示光场的每一个光射线。这样，常见参数化方法可以用于表示利用不同类型或设计的相机所捕获的光场。

现在将关于图1A-1E描述光场的五种相机无关的参数化方法：分别是双平面、球形、球体-球体、球体-平面和极向。

图1A图示了利用两个平面的光场的参数化方法。射线r_i、r_j通过其中它与彼此平行的两个平面U-V、Rx-Ry相交的位置来表征。平面上的位置是基于例如笛卡尔坐标系统或者极坐标系统。第一和第二平面分别放置在z=0, z=1处，其中z轴垂直于两个平面。(U_i,V_i)是射线r_i与第一平面U-V相交的位置，并且(Rx_i,Ry_i)是该射线r_i与第二平面Rx、Ry相交的位置。发光度P从U_i,V_i,Rx_i,Ry_i四个参数唯一地确定。考虑到z轴，对应射线x,y,z被获取为

其中k是可以取任何实正值的参数。

该方法很好地适用于具有彼此平行的微透镜阵列和传感器平面的全光相机。这种表示的一个缺点在于，其不能表示平行于平面U-V、Rx-Ry行进的光射线。

图1B图示了利用彼此外切的两个球体s1,s2的光场的参数化方法。两个球体s1,s2彼此相切。射线r_i、r_j通过与第一球体s1的传出交叉点以及与第二球体s2的传出交叉点来参数化，第二球体s2与第一球体在第一交叉点处外切。是关于第一球体的球坐标，并且是关于第二球体的球坐标。射线r被获取为穿过两个点的线：

该表示在由布置于球体上的相机的阵列捕获全光图像的情况下是有用的。这种类型的相机典型地用于捕获街道视图。这种表示的另一优点在于，与球体交叉的所有光射线可以以这种表示来描述。然而，不与该球体交叉的射线不能被表示。

图1C图示了利用一个单个球体s的光场的参数化方法。它使用每一个射线与球体s的两个交叉点、。假定球体s的半径对于光场而言足够大，则所有射线可以通过四个角参数、来表征。射线被获取为：

这种表示与图1B的球形表示是双射的，因而两种表示可以向彼此可转换而没有任何信息丢失。相应地，其优点和缺点等同于球形表示的那些。

图1D图示了利用一个球体s和一个平面P的光场的参数化方法。射线r_i利用与平面P的交叉点(x,y)以及射线关于球坐标的角度来表示。平面P选择成垂直于射线r_i并且穿过球体的中心使得其法线可以由定向球体上的位置所表示。

相比于以上提及的表示，这种球体-平面表示可以表示来自任何位置、朝向任何方向的光射线，而不管其是否与球体交叉。然而，从球体-平面表示向笛卡尔坐标的转换比之前的表示更复杂。

在图1E的极向表示中，射线r_i利用以下四个参数表示：。r是坐标原点与射线上的最接近点A之间的距离。是最接近点A在球坐标中的坐标。是射线在射线所位于的平面p内的角度，其中该平面垂直于从原点到最接近点A的向量。

极向表示与球体-平面表示是双射的，因而可以表示在任何方向上整流（fair）并且与球体交叉或不交叉的所有射线。不管怎样，表示可能听起来较不直观，因为一个参数是距离，其它三个参数是从不同中心点的角度。类似于球体平面表示，向笛卡尔坐标的转换是复杂的。

所有那些参数化表示或格式在以下含义上是相机无关的：从利用任何全光相机所捕获的任何全光数据向那些表示中的任一个的转换是可能的，而与相机设计无关。然而，如所指示的，一些表示更加适配于一些相机并且要求用于转换的较少处理。

全光数据转换

由于所有以上描述的表示参数化在相同条件下捕获的光射线信息，所以人们可以从全光数据的一种表示向其它表示转换。

从一种表示向另一种表示的数据转换可以用于促进数据处理。例如，可能难以在球形表示中的全光数据上应用深度重构算法，而在双平面表示中较不复杂。因此，当想要从存储在球形表示中的全光数据计算深度时，在应用双平面表示内的深度重构算法之前，人们可以首先从球形表示向双平面表示转换。更一般地，处理光场可能包括以下步骤：将光场表示从第一相机无关表示转换成更好地适配用于处理的不同的相机无关表示。

由于全光数据是被表示为线的光射线的集合，所以从一种表示向另一种的转换等同于坐标系统中的线的参数向另一坐标系统中的对应参数的转换。

用于转换的一般方案

表示格式算法的转换取决于输入和输出数据表示。然而，方案可以一般地总结为以下转换方法。

转换方法

对于被表示为原始坐标中的4个参数p1、p2、p3、p4的每一个光射线：

1. 将线参数p1、p2、p3、p4转换成笛卡尔坐标中的对应线L

2. 提取线L关于目的地坐标的特征（例如寻找与球体的交叉点）

3. 将特征转换成目的地坐标中的对应4个参数q1、q2、q3、q4

4. 将P(p1,p2,p3,p4)分配给P(q1,q2,q3,q4)

现在我们将作为示例而描述双平面表示与球体-球体表示之间的转换方法。

对于双平面表示中的每一个光射线(Rx,Ry,U,V)，进行如下操作：

1. 将四个参数转换成3D笛卡尔坐标中的两个点(Rx,Ry,1)和(U,V,0)，并且将穿过两个点的线计算为：

其中k是可以取任意实数的参数。

2. 计算线和球体的交叉点。我们考虑具有半径1的球体。其给出

其中k1和k2是以下方程的解，其通过向球体公式代入步骤b中的x,y,z而获得：

3. 将两个交叉点转换成如下的球坐标：

4. 作为结果，我们获取从每一个光射线P(Rx,Ry,U,V)所转换的如下光射线:

相机有关到相机无关的表示转换

现在我们将描述关于如何将利用全光相机设备所捕获的全光数据转换成与设备无关的全光数据的不同示例。描述了针对现今市场上可获得的若干全光相机的示例。所考虑的全光相机有Lytro、Raytrix和Pelican成像全光相机（所有都是注册商标）。每一个相机使用不同的光学设计。

在该示例中，我们将描述向设备无关的双平面表示的转换。向另一种表示的转换也是可能的。双平面表示更好地适于设计有平行平面以捕获光射线的全光捕获设备。

我们将参照作为Rx-Ry和U-V的目标表示的两个平面。U-V平面可以对应于全光相机设备1主透镜10平面（即，在Pelican成像相机的情况下，微相机主透镜平面）。Rx-Ry平面平行于U-V平面；其是全光相机的（多个）物方焦平面14在捕获的时刻处的归一化版本。坐标系统可能限定成使得U-V平面处于Z=0处并且Rx-Ry平面处于Z=1处。

图2图示了来自相同物理点A（在左侧的图上）以及使用双平面表示重新计算（在右侧的图上）的两个射线r_i、r_j。U-V平面表示归一化相机设备主透镜10平面。Rx-Ry平面表示归一化场景（实际世界）14。

从物体A焦平面14到Rx-Ry平面的归一化过程对应于将相机1的物方焦平面14移动到Z=1并且然后重新计算所捕获的射线r_i、r_j与该新平面（即Rx-Ry）的新交叉部。在其中若干焦距用于微透镜或微相机的Raytrix或Pelican成像的情况下，归一化针对每一个物方焦平面（由每一个不同的透镜焦距给定）而进行。这对应于将每一个不同的物方焦平面移动到Z=1并且然后重新计算射线与该新平面（即Rx-Ry）的交叉部。

不管利用分立全光相机1捕获光场这一事实，两个平面U-V、Rx-Ry都在连续空间中考虑。实际上，这确保了由不同相机（即具有不同本征参数）捕获的射线r_i、r_j可以全部表示在相同的连续表示上而没有信息的丢失。这明显地不会限制人们决定离散化该空间以用于例如某种处理或渲染（render）。

图2图示了来自物理点A的两个射线r_i、r_j。所配准的光场数据包含所有光射线的强度和方向。这种所存储的光场数据无论如何具有与设备有关的不便利性。焦平面上的物理点A通过两个射线r_i、r_j而由全光相机设备1所看到，两个射线r_i、r_j强度可能在其中该物理点取决于视角而反射不同射线（非朗伯体表面的原理）的情况下不同。两个射线r_i、r_j来自焦平面14并且它们中的每一个具有特定强度和方向。它们来自相同物理点A的这一事实不再已知。将在随后描述一些算法以使射线与物理点匹配，并且因而导出深度信息。

这些所记录的射线r_i、r_j可以使用之前描述的双平面表示来表示。设备1的主透镜由U-V平面表示。场景由Rx-Ry平面表示。所记录的射线利用其它们与这两个平面相交的位置来描述。Rx-Ry平面相对于U-V平面定位在距离Z=1处。由于焦平面14与U-V平面之间的距离以及射线方向已知，所以可以计算两个射线与平面之间的相交位置。Rx（或Ry）是其中一个射线与平面交叉的x（或y）方向中的Rx-Ry平面上的坐标。类似地，U和V对应于一个射线与U-V平面的交叉部。

图3图示了来自分别位于焦平面14之前和之后的两个不同物理点B、C（在左侧的图上）以及使用双平面表示重新计算（在右侧的图上）的两个射线值。捕获设备1不知晓物理点位于什么地方。A点可能例如在焦平面之前、之后或者在焦平面上，并且仍旧在相机上生成相同射线光。

我们现在将关于图4描述具有与Lytro（注册商标）销售的一种全光相机对应的设计的设备1的示例。

该全光相机设备1包括主透镜10，其将光射线r_i、r_j聚焦在相机传感器平面13正前方的微透镜12的阵列上。参考标记14是物方焦平面并且主透镜平面利用U-V指代。Rx-Ry平面表示距相机主透镜平面U-V的距离1处的场景。由于主透镜聚焦10在微透镜阵列12上，所以在微透镜阵列12上交叉的射线r_i、r_j还在相机的焦平面14上交叉。每一个微透镜在传感器13上形成微图像，其不与相邻的微图像重叠。所有微透镜的焦距相同。微透镜12相比于主透镜明显小（例如大约小300倍）并且放置在使得主透镜10处于微透镜的光学无穷远处的距离处。该设计给出令人感兴趣的以下性质：到达相同微透镜的光射线的方向对应于属于场景中的聚焦物体的物理点的不同视角。换言之，聚焦物体的每一个物理点看到由单个微透镜捕获的所有其光射线并且因此在单个微图像中存储在传感器13上，微图像的每一个像素对应于该物理点的不同射线方向。

传感器13平面上的每一个微图像对应于一个微透镜并且具有坐标X和Y。微图像内的每一个像素作为坐标P和Q。每一个微图像相对于光轴编索引。给定微图像中的像素相对于微透镜光轴编索引。假定N_x（或N_y）对应于x（或y）方向上的微图像的数据，并且N_p（或N_y）对应于x（或y）方向上的微图像内的像素的数目。此外，然后可以如下形式化参数：

射线r_i撞击利用其(X;Y)坐标标识的微透镜120。射线r_i在其中撞击的微图像内的所选像素130使用其(P_i;Q_i)坐标描述。其中射线穿过的主透镜10内的区域利用其(U;V)坐标标识。Rx-Ry平面与以特定方向在(U;V)处撞击设备的主透镜10的射线r_i的交叉部使用(Rx;Ry)坐标描述。对于每一个射线，Rx-Ry平面上的坐标(Rx;Ry)以及主透镜上的坐标(U;V)必须使用作为其中射线穿过的微透镜坐标(X;Y)和微图像中的像素坐标(P;Q)的已知设备参数来确定。

用于将使用设备相关参数表述的所捕获射线向设备无关平面-平面表示的变换可以如下公式化：

其中，

我们现在将利用图5和6描述与Pelican（注册商标）所提出的那个类似的全光相机设计的示例。

图5的全光捕获设备1包括微相机16的阵列，其透镜对准在相同平面U-V上并且优选地彼此等距离。这些微相机16为薄的并且因此可以集成在移动设备内，诸如便携式计算机、掌上电脑、智能电话或类似设备。可以使用若干个（例如在所图示的示例中四个）不同的相机类型，其具有不同的焦距f₁、f₂，使得该全光相机捕获更多角度信息。每一个微相机从稍微不同的位置和焦距捕获场景的子视图。光场因此通过组合不同微相机的图像来创建。

参考标记19指代从其中在公式中计算所有位置的合成光轴。

每一个微相机16捕获场景的子视图。通过使微相机平面160与U-V平面对准，每一个微相机捕获撞击特定U-V坐标的射线。这对应于仅考虑撞击特定U-V坐标但是来自所有可能的Rx-Ry坐标的射线，即从U-V平面上的特定位置看向场景。

由于每一个微相机16具有不同的焦距f₁,f₂...，所以焦平面14需要单独地归一化以便形成Rx-Ry平面。

每一个微相机16可以由其坐标X和Y限定，微相机内的每一个像素使用P和Q描述。此外，

其中N_x（或N_y）对应于x（或y）方向上的微相机的数目，并且N_p（或N_y）对应于x（或y）方向上的微相机内的像素的数目。

每一个微相机16相对于合成光轴19编索引。用于每一个微相机的像素位置还相对于该合成光轴转换。所计算的Rx-Ry平面上的Rx、Ry位置和U-V平面上的U、V位置也是相对于该轴线。

如在图6上所示，每一个所捕获的射线r_i、r_j可以表示在两个平面上，在具有一对坐标(U;V)的U-V平面中，以及在使用(Rx;Ry)坐标的Rx-Ry平面中。射线首先撞击使用(U;V)坐标描述的微相机U-V平面。然后，该射线在描述所选微图像内的射线的位置的特定坐标(P;Q)处撞击传感器13。坐标(Rx;Ry)实际上使用所记录的(P;Q)坐标获得并且考虑如下微相机相对偏移量：

其中，

其中

图7图示了可以对应由Raytrix（注册商标）提出的全光相机的全光相机1设计的示例。该相机1包括使光射线r_i、r_y、r_k聚焦在相机内的像方焦平面15上的主透镜10。微透镜12的阵列聚焦在像方焦平面15上并且位于它后方。微透镜12然后使射线会聚在相机传感器13上。每一个微透镜以不同的视角看向像方焦平面15的场景。聚焦在物体图像平面14上的点A因此成像在像方焦平面15上，其由微透镜12从不同视图位置处观察。若干个（例如三个）不同类型的焦距用于微透镜。因此，它们聚焦在三个不同的像方焦平面15上，这导致增多的所捕获角度信息。

传感器平面13上的每一个微图像可能由其坐标X和Y标识，微图像内的每一个像素作为P和Q。此外，

其中N_x（或N_y）对应于x（或y）方向上的微图像的数目，并且N_p（或N_y）对应于x（或y）方向上的微图像内的像素的数目。

每一个微图像相对于主透镜光轴编索引，并且给定微透镜中的像素相对于微透镜光轴编索引。

每一个所捕获的射线r_i、r_y、r_k必须表示在两个平面上，在具有一对坐标(U;V)的U-V平面中，在使用(Rx;Ry)坐标的Rx-Ry平面中。该射线首先使用设备参数捕获。射线首先撞击被视为U-V平面的主透镜平面10，其使用(U;V)坐标描述。该射线然后撞击使用(X;Y)描述的特定微透镜12。然后，其在描述所选微图像内的射线的位置的特定坐标(P;Q)处撞击传感器13。

坐标(Rx;Ry)可以使用如下所记录的(P;Q)和(X;Y)坐标来获得：

其中

其中，

在其中由于未知或太复杂的相机结构而不大可能在理论上导出相机转换函数的一般全光相机的情况下，转换函数可以仍旧通过测量相机系统的特性来获得。例如，人们可以通过使用其参数完美已知的参考场景来测量如何捕获场景并将其存储在全光相机中。

作为示例，如果我们想要确定用于具有至少一些未知参数的相机1的转换函数，我们可以通过以类似于相机校准的方式推得未知参数来标识相机转换函数F。如在图8上所图示的，利用未知全光相机1捕获的棋盘20的全光图像21可以用于确定相机1的参数。例如，如果人们知晓相机1模型的设计与已知相机的设计相同，但是仅其焦距未知，则我们可以通过沿光轴移动参考图像并且寻找其中来自相同物理点的所有射线构成一个单个微图像的位置来推得焦距。

作为另一方案，假定我们不知道相机设计也不知道其参数，我们可以使用可以朝向某一方向发射单个光射线的设备（例如锐利激光定向器）来寻找与全光数据的像素的对应性。该单个光射线然后由全光相机捕获。该方案通过以下事实而不同于之前的方案：全光相机仅记录来自发射设备的仅一个单个射线，而在之前，其记录从相同物理点整流的若干射线。所捕获的光射线去往全光设备中并且最终撞击单个像素。我们可以观察到该像素，其具有与场景的其它像素不同的强度值。测量若干所发射的射线方向与其对应像素之间的对应性使得我们限定转换图，其引起转换函数。可能接连地和/或同时地以不同的波长和/或调制发射若干射线，以便确定每一个光射线所撞击的全光相机的像素，并且因而确定转换函数。

标准向光场转换

还可能的是将标准1D、2D或3D图像数据或者立体数据转换成相机无关全光表示，以便处理那些经转换的表示并且可能地将它们与利用全光相机捕获并转换成相同的相机无关全光格式的全光表示合并。

当应对标准2D图像和3D模型时，我们需要能够将它们转换成无关的全光表示以便能够合并它们或者以与我们将针对全光捕获数据所做的相同方式来处理它们。

如以上情况那样，出于简单和清楚的目的，我们考虑向双平面表示的转换。

1D或2D图像数据的转换

具有特定宽度（W）和高度（H）的2D图像包括W*H个像素。每一个像素可以使用一对2D坐标Ix-Iy表示并且与Rx-Ry平面上的特定坐标Rx-Ry匹配。撞击Rx-Ry平面上的这些坐标的射线的强度将替换为2D图像的像素值。更精确地，Ix-Iy与Rx-Ry之间的匹配通过在X和Y上的期望位置处将2D图像放置在Ry-Ry平面（即Z=1）而完成。由于从U-V上的不同点整流的众多射线在特定坐标处与Rx-Ry平面交叉，所以放置在该Rx-Ry坐标上的2D图像像素的强度值被复制到穿过该坐标的所有射线。2D图像的每一个像素因此被转换到具有在不同方向上整流但具有相同强度的光射线的物理点。

方案还可用于合成图像。假定特定宽度（W）和高度（H），它们包括W*H个像素，比如标准图像，每一个像素遵循与上面相同的过程而与特定坐标Rx-Ry匹配。

1D图像也可以转换到光场。该过程与上面的相同，除了我们仅考虑一个维度（例如Ix）而不是两个之外。

考虑作为2D帧的接连的视频，每一个帧也可以按照与以上描述的确切相同的原理而转换成光场。

3D模型向以相机无关格式的全光数据的转换

3D模型也可以转换成光场。一个第一方案是作为无关表示中的3D点而对3D模型积分。如针对以上1D或2D图像的情况，光射线在不同方向上从3D模型的每一个3D点整流。不同方向上的射线强度由3D模型参数限定。在简单情况下，所有射线强度将在每一个方向上相同（朗伯体模型），但是情况可能不总是如此。一旦我们已知从空间中的每一个3D点整流的所有射线，我们就需要计算它们与Rx-Ry和U-V平面的交叉部以计算用于无关表示的交叉部。要指出的是，因为我们具有3D模型，所以我们可以应对阻碍并且因此我们仅保留可以从U-V平面直接看到的射线。与U-V平面交叉的那些射线然后扩展到Rx-Ry平面，其中计算它们的交叉部。这样，我们模拟了通过全光相机对3D模型的视图。该方案具有以下缺点：需要考虑到3D模型的每一个可能的观看条件并且将其表示在无关表示中，这可能耗费一些存储器空间。然而，由于所有可能的视图已经预转换成无关表示，所以不存在想要利用它们时所要求的附加处理时间。

在另一实施例中，只有想要利用它时，人们才将3D模型转换成相机无关表示。在该情况下，我们进行与上文确切相同的处理，但是仅针对期望的观看条件。作为结果，所要求的存储器空间较少，但是可能由于针对一些后续处理的3D模型的按需转换而引入一些延迟。

光场处理

以上提及的转换过程的输出是与相机无关并且直接可用于另外的处理的光场的表示。实际上，对于具有大基础硬件差异的各种相机，维持用于直接应用到该相机产生的数据的后续处理的方法和算法将是复杂的。如在本发明中所提出的，所呈现的不同变换可以用于使后续算法免受相机规范的影响。

我们现在将描述允许修改经转换的光场的若干后续处理方法。这可以是用于进行增强（augmented）现实或改进场景指令。

场景中心表示

光场表示基于相机位置唯一地描述空间中的每一个光射线。取决于表示，在捕获系统可以搜集＞=180°的视场内的光的情况下，也可能包括光射线方向。

该相机中心表示可以被处理以定心在场景的任何物体上。实际上，光射线来自场景物体，诸如光源，我们的其它物体反射直接或间接的光源。为了处理所捕获和变换的光场，有用的是具有这样的场景中心表示以便能够在添加、移除或修改物体时修改光射线。

例如，在增强现实处理中，人们常常需要利用某种视觉/人工视觉信息来增强所捕获的光场。在当前描述中，增强现实还包括其中人们实际上从场景移除物体的情况，这有时候被称为削减现实。

遍及下一章节，我们使用利用以上所述双平面参数化的光场的表示的示例，但是相同方法可以等同地应用于其它表示，诸如例如球体-平面。

图9图示了来自场景20的光场的双平面表示。图示了四个射线r₁-r₄。前两个r₁、r₂对应于相机1的焦平面Rx、Ry中的对焦点A，其中后两个r₃、r₄对应于不同距离处没有对焦的点B。

如之前所解释的，不可能从该表示知晓射线r₁-r₄中的哪些个是否表示相同物理点。我们此处提出将该表示变换成场景中心表示，其中射线将由场景20发射并且因此将在场景点处开始，并且当它们撞击相机平面U-V时停止。我们因此处置片段而不是表示光射线的半线。这是其中射线开始于相机并且在其长度或深度未知时绝不停止的之前所提及表示的双重情况。

变换可以以如下方式完成：

1. 以场景的场景中心全光表示开始

2. 对于相机无关表示中的每一个射线，进行以下操作

2.1 估计射线与场景的物理点的交叉点（参见针对可能方法的概述的下一章节）。在知道这一点的情况下，我们可以推得场景点的深度。

2.2 与相机平面（U-V平面）平行，关于相机推算物理点的2D位置。

2.3 搜索由2D位置+在前两个步骤中所计算的深度信息而创建的3D点。

2.3.1 如果该3D点已经存在于场景中心表示中，则向场景中心表示添加新射线，其开始于3D点并且具有与相机无关表示中的当前射线相同的方向。射线的其它性质（例如颜色强度）也被复制。

2.3.2 如果该3D点不存在于场景中心表示中，则创建场景中心表示中的新点并且向它添附新射线，该新射线从该点发射并且具有与相机无关表示中的当前射线相同的方向。射线的其它性质（例如强度）也被复制。

该变换的输出是具有附连到每一点的点云。每一个射线具有描述物理物体（其利用当前光照亮、从定心在射线上的视点看到）的颜色的特定颜色强度。这完全描述场景几何结构以及其视觉外观。

值得注意的是，光射线方向不取决于场景，而是仅取决于捕获设备。因此，对于具有相同本征参数的相同捕获设备，仅相机无关表示中的射线的深度和颜色信息将改变。

利用这种新场景中心表示，我们可以实际地修改光场使得射线的每一个修改将实际地修改表示中心处的物体的视觉外观。对抗的相机无关表示不包括关于场景的任何信息。因此，改变射线性质（诸如其颜色强度）将得到所捕获场景中的改变，而没有与场景本身的实际相关。

推导深度

如在以上用于将光场转换到物体或场景中心光场的方法中所提及的，人们需要具有每一个射线的深度信息。

我们在此简要地呈现用于重构深度的两个方法。

在图10上图示的第一方法背后的主要原理是标识哪些射线r₁,r₂...r_i来自相同物理点A。一旦两个射线（此处r₁和r₂）已经被标识为对应于相同物理点A，则可以使用三角测量推导深度。这给出相对于表示参数的深度估计。如果需要绝对深度，则人们需要还具有将光场表示链接到物理世界的参数。

在图10中，一个物理点A发射两个射线r₁和r₂。还图示了不是由该点发射的第三射线r₃。

以下进程可以用于推导射线的深度，比方说射线1的深度：

1. 对于除r₁之外的场景中的每一个射线r_i，标识射线是否属于相同物理点或者来自相同点A（参见针对不同方法的下一段落）。

2. 一旦已经标识表示相同物理物体的射线r₂，则通过使用光场表示参数计算紫色点到相机平面U-V的距离以用于对它进行三角测量。实际上，射线r₁、r₂关于相机平面U-V的角度以及其在相同相机平面上的相对距离是已知的。

3. 使用三角法方程，我们可以从相机平面U-V和点A推断距离，即其深度。

射线-物体标识

用于评估两个射线是否对应于相同物理物体或点（即由它们所发射）的方法可以是基于以下假设：物理物体表面是完全朗伯体，即对于物体上的给定点，物体所反射的光在所有方向上相同。通过运用这一约束，我们建立相似性度量，其限定两个射线如何良好地表示相同物体。这实际上是评估每一个射线的视觉外观，或者更准确地强度。可以使用若干度量。一个可能的度量是如下限定的绝对差异：

该度量可以使用在以上进程的步骤1中以确定两个给定射线是否表示相同物体。较小的AD值表示那些情况。

值得注意的是，通过仅使用射线强度作为相似性的度量，高度易于产生噪音。因此希望的是通过应用迭代过程或同意法来减少噪音的影响以便统计地并且全局地求解深度三角测量问题而不是仅将两个射线视为推导深度所需要的信息。

第二方法是基于光场的表极线图像表示并且更准确地表极线。我们在下文呈现通过利用该文档中所提到的双平面表示的表极线深度重构方法。

使用表极线的深度重构

假设朗伯体模型，可以使用参照图11所描述的方法在Rx-Ry-U-V坐标系统中提取物理点。

光场可能表示在Rx-Ry-U-V表示中。物理点A放置在距Rx-Ry平面的距离d处，其中在平行于Rx轴的方向上具有偏移量h_x。出于简单性，我们假设物理点A以Ry=0和V=0而位于平面中。Rx平面与U平面之间的距离为，其在我们的双平面表示中等于1。物体A发射射线r_i。射线与Rx-Ry和U-V平面二者交叉，但是交叉位置取决于射线的角度而稍微不同。

以下方程成立，因为三元组和三元组类似：

通过变换方程，我们得到Rx关于u的线性方程：

这意味着来自源的光射线形成U-Rx绘图上的线L，所谓的表极线，并且其梯度是深度的函数。图12示出了U-Rx绘图。

通过向U分配0，Rx截距如下导出：

此外，以下方程针对梯度和深度成立：

因此，我们可以通过提取U-Rx绘图中的线并且计算其梯度和Rx截距来获取深度d和偏移量h_x。

表极线提取

可以考虑从2D数据（例如图像）提取线的若干方法。Radon变换适用于实现这一目标。函数f(a,b)的Radon变换R被限定为：

在Radon变换中，原始图像平面被变换成平面，其中每一个点对应于图像平面中的线。点的强度然后与其对应线的长度成比例。以下算法1示出Hough变换的算法，其可以被视为计算Radon变换的离散化版本的算法。

Hough变换使用极坐标（即参数化）而不是熟悉的斜率-截距形式的原因在于，斜率和截距二者是无边界的，甚至对于有限的x-y平面（即数字图像）。

Radon（和Hough）变换的一个关键性质在于，图像平面中的旋转（即的改变）被转换成平面中的简单平移。

算法1：Hough（Radon）变换算法

要求：表示图像的二维矩阵I

1. 离散化向量中的值的范围。

2. 将ρ参数离散化成nρ分立值。

3. 构造长度()*nρ输出矩阵H。

4. 最初将H的所有元素设置成0。

5. 对于I中的每一个特征点(x,y)，进行

6. 对于每一个，进行

7.

8.

9. 结束对于

10. 结束对于

11. 返回输出图像H

作为Hough变换的结果，表极线由和ρ表征，其中以下关系成立：

因而，期望的参数d和h_x获得为：

深度重构算法

在实际世界中，物体可以放置在3D坐标中的任意位置处，这意味着深度估计算法需要不仅针对Ry=0和V=0的平面上的点而且还在任何点处进行工作。为了考虑到Ry（或V）轴中的物理点的偏移量h_x，我们在U-V平面上针对所有可能的Ry值执行深度重构。换言之，我们在每一个Ry处在U-V切片上提取表极线，其中V=0。

依照以上章节中所描述的原理，我们提出一种算法来重构所捕获场景的几何结构。

要求：全光数据表示在UVRxRy坐标系统中。

1. 对于作为Ry'的每一个Ry

2. 在(V,Ry)=(0,Ry')处在U-Rx平面上应用Hough变换

3. 对于每一个所提取的表极线，计算深度d_i、x偏移量h_xi和y偏移量h_yi

4. 返回所有推导的3d点(h_xi,h_yi,d_i)

用于增强现实的应用

该场景中心表示允许以与场景的物理性质符合的方式向所捕获的光场执行修改和/或改进。

我们在此处给出两个不同示例。第一个是关于改进特定场景元素的图像质量。通常希望选择图像的元素，诸如物体或者场景的很好定界的部分，并且使图像的特定部分较亮、较暗、具有更大对比度或者具有不同的曝光设置。为了在常规成像系统中应用所希望的图片校正，让我们取明亮度，用户必须手动地选择必须要修改哪些像素使得滤波器仅应用在这些像素上。这在大量情况下可能实际上是繁重的（取人头发的示例）。

在如该章节中刚刚解释的经转换的场景的光场捕获的情况下，人们可以不仅基于其视觉外观而且关于其在场景空间中的物理位置来选择元素。在该系统的情况下，用户不选择像素而是空间中的点。系统然后可以通过分析场景点云的深度非连续性以便对每一个物体分段来帮助用户选择属于特定物体的所有点。在之前的头发示例中，用户将因此仅点击人的头部以使其整个头部由所应用的滤波器进行校正。由人头部“发射”的不同射线将根据滤波器进行选择和校正，在该情况下滤波器是将增加每一个射线的颜色强度的明亮度滤波器。

通过具有这两个步骤变换（相机光场->相机无关光场->场景中心光场），不同滤波器与相机完全无关并且可以以使得它们尊重场景的不同物理法则的这种方式来容易地应用到场景本身，因为几何结构和照明信息二者已知。

第二示例是关于在光场空间中进行增强现实。增强现实是关于利用附加/其它信息改变场景。因此，存在场景中的改变与要添加的内容之间的直接“物理”链接。让我们以在行人水平处进行的街道的光场捕获为示例。此处给定的示例使用情况是利用另一物体（诸如要建设的较新的建筑物）更换某一物体（诸如现有建筑物）。较新的物体采取计算机生成的虚拟3D模型的形式，其具有纹理和表面信息，诸如反射性等。目标是使该3D模型完美地放置在光场捕获中使得其替换当前物体。

给定光场的场景中心表示，以下过程可以用于该目的：

1. 用户选择所捕获的光场场景中的物体（诸如建筑物）的主正面。这创建场景的点云表示中的锚定点。

2. 系统将虚拟3D模型放置在场景中使得所捕获的光场中的物体的主正面与虚拟3D模型的主正面重叠。

3. 归因于虚拟3D模型的3D信息和光场点云中所包含的深度信息，系统可以推得哪些射线表示光场捕获中的物体，并且因此哪些射线必须由表示虚拟3D模型的射线来替换。

4. 系统将虚拟3D模型射线与场景的射线合并以创建具有人为放置到其中的新物体的场景的接近实际表示。

以上进程可以用于在光场中添加/改变物体。在增强现实情况下，通常存在所涉及的两个步骤：1）基于单个光场捕获，与场景的物理性质直接链接地，用户A通过移动元素或者通过添加新元素而修改场景，以及2）用户B采取另一光场捕获（或者它的视频，或者连续实时捕获）使得场景基于之前的用户输入而自动改变（或者本身标注）。第一步骤可以使用以上4步进程而完成。第二步骤涉及能够配准由用户A所捕获的光场与由用户B所捕获的光场。在配准之后，我们确切地知晓场景A射线与场景B射线之间的映射。以上进程中的步骤编号4因此可以自动地应用以基于用户A的场景修改而创建用户B的场景的增强版本。这被称为基于光场的增强现实。

基于光场的削减现实

在某些情况下，通常期望修改表示场景的所捕获光场以便从它移除实际物体。

从场景移除物体要求对场景的某种认知。例如，从场景移除立方体要求知晓立方体后方（关于相机平面位置）的背景看起来如何的方法。

这是光场可能变得有用的情况。实际上，我们具有关于场景从不同侧看起来如何的更多信息并且我们因此将能够更容易地重构“物体后方”。

移除物体因此要求两个不同步骤：

1. 标识要移除的物体。这要求确切地知晓光场的哪些射线对应于物体。该过程被称为分段。

2. 通过将仿效物体的背景的射线替换物体射线。这被称为补色（inpainting）。

我们现在在此之后呈现在此处以上所描述的光场的双平面表示中完成以上两个步骤的方法。

分段

为了标识哪些射线属于我们想要从场景移除的物体，我们执行被称为物体分段的任务以便具有场景的更好“语义学”理解。对于这一点，我们以在之前的章节中解释的场景中心光场表示开始。

在现有该表示的情况下，我们力图标识由场景的物体发射的哪些射线实际上属于相同物体。存在这样做的若干方法，特别地源自从立体视场的物体分段。这些方法还可以应用在该场景中心光场情况中，其中主要优点在于，由于由光场捕获设备所捕获的信息的附加数量，深度估计通常具有更好的质量。这得到更好的分段结果。

工作于场景中心光场上的典型物体分段算法将如下工作：

1. 将每一个光射线发射点表示为6D向量，3个维度表示点的位置，并且3个其它维度是从该点向外的所有射线的光强度（或颜色）的平均。值得注意的是，代替于对强度进行平均，算法也可以对它们量化以具有每光射线发射方向（其选自预限定的方向的集合）的一个强度。将方向数目设置成N将创建表示发射点的N+3维向量。

2. 基于距离对该6D点的集合进行集群，其典型地以与颜色不一致性不同的方式对几何结构不一致性的成本进行加权。更多的权重将典型地放置在几何结构不一致性上。

3. 集群的结果由集群形成，每一个集群表示场景上的不同物体。算法的最后一步是向场景的每一个射线分配对应于射线所属于的集群的物体标识符。

在使所有射线与物体相关联之后，必须选择要移除的物体。这可以例如通过向用户呈现场景的图像并且允许他点击区而完成。通过将点击向后投影在场景上，我们可以知晓点击已经应用到哪个物体并且因此标识属于该物体的射线。

我们现在将描述典型的使用情况，其中场景中心光场表示中的物体分段可能是有用的：

由全光相机捕获的光场场景具有特定角度和空间分辨率。两个分辨率主要是由于相机本征参数。利用两个不同全光相机参数所得到的类似场景可能具有不同的角度和空间分辨率。假设它们具有相同的空间分辨率，则从利用不同相机参数（诸如短焦透镜和均焦透镜）所捕获的场景的透射图可能不同。

假设摄影师使用具有给定短焦透镜（例如24mm）的特定全光相机参数捕获具有给定观点（perspective）的场景。在第二较长焦的透镜（诸如100mm）的情况下，他再次捕获具有另一观点的场景。在两个所捕获的场景上，所研究的物体出现在前景中，但是可能利用两个不同的透视图而看到。现在假定摄影师想要捕获的场景的前景具有如第一图像中的相同观点，但是背景具有第二图像的观点。

为了实现这一点，一种可能性是物理地改变针对两个图像的捕获的位置。第一图像从具有一些相机参数的一个位置来捕获。在该图像上，前景具有某一特定观点。在第二图像上，摄像师想要前景具有与第一图像中相似的观点（因而，物理捕获位置必须调节），但是背景具有另一观点。对于此，他需要物理地左右移动以能够捕获这样的视觉效果，这在摄影方面是重要的。

针对该方案的可替换方案是在捕获之后处理场景。通过使用全光相机捕获场景，这变得可能。实际上，前景中的物体可以使用分段技术而从背景隔离。然后，图像的前景和背景可以分离地处理并且因此可以特别地将滤波器应用于前景或背景。我们可以想象设计不改变图像的前景的观点的滤波器，但是具有确实改变背景的射线参数以计算新的观点的第二滤波器。所计算的图像因此将包含具有原始观点的前景和具有另一观点的背景。

为了减少计算成本，场景中心表示可能仅应用在物体所位于的图像部分上。涉及物体的所有射线将与滤波器将应用在其上的其它射线区分开。滤波器可能模拟相机参数（诸如定焦透镜），其处理应用在场景上的新角度和空间分辨率，排除所研究的物体。

光场补色

削减现实处理的最后一步是对之前步骤中所标识的射线进行变换以使得它们看起来就像通过要移除的物体的背景发射的。

在标准图像处理领域中，利用应当看起来与将处于物体后方的纹理相同的像素来替换像素被称为补色。我们在此呈现该方法的一般概念以及它可以如何应用于我们的场景中心光场。可以在（在论文的章节6中给出补色示例）中找到更多细节。

对光场补色的主要想法是恢复光场的丢失信息。在一个情况下，丢失信息是由所选物体的射线所表示的区域。那些射线可以被移除并且通过假设那些物体射线丢失而重构光场。该问题更加正式地如下陈述，假设混乱区对应于事先从称为F的所捕获光场移除的物体的射线。

作为第二示例，我们讨论在射线空间上补色。假设为其中输入光场F未知的射线空间区。目标是恢复函数U，其修复丢失值。对此，我们发现：

使得。

解决该优化/正则化问题给出关于如何由背景发射不同光射线的解。场景因此可以使用所修复的光场来重新渲染，其将看起来与之前的场景相同，但是没有物体。

修整

全光图像的修整对应于选择四个参数Rx、Ry、U、V的范围。除其中修整类似于在Rx-Ry平面上执行修整的2D图像修整之外，全光修整允许在U-X平面上以及Rx-Ry平面上修整图像。通过设置针对每一个参数Rx、Ry、U、V的范围，人们可以从光射线的整个集合选择光射线的子集。修整的可能实现方式是基于角度的修整，其允许约束物体的观看角度。其可能使用在以下情况中：用户在全光图像上添附全光标注使得标注看起来仅来自某一观看区域。基于角度的修整采取所添附物体的3D位置(x,y,z)和两个角度的输入以约束观看区域，并且输出Rx-Ry和U-V的对应范围。

Rx-Ry平面的范围被确定为：

其中z是到U-V平面的垂直距离，并且x、y符合于Rx、Ry。和分别是从垂直于U-V平面的线的水平和竖直角度。

类似地，U-V平面的范围被计算为：

射线强度修改

全光图像的射线强度可以全局地以及局部地修改。

全局射线强度修改允许用户调节全光图像的明亮度、颜色平衡、对比度、饱和度等，并且修改均匀地应用在所有射线上。更高级的处理，诸如通过分析和优化颜色柱状图的自动化图像增强，也可以在全光图像上执行。

局部射线强度修改允许用户在场景（即R-Ry平面）和观看点（即U-V平面）二者方面选择全光图像的感兴趣区，然后应用以上在所选区内所列出的修改。

射线滤波

类似于对2D图像滤波，还可能在全光数据上应用滤波器。低通滤波器（诸如高斯模糊滤波器）被解释为光场中的光射线的漫射。对2D图像滤波被表示为图像和2D滤波器元件的卷积，同样地，对全光数据滤波被表示为全光图像与4D滤波器元件的卷积。

其中H是滤波器元件。

作为结果，利用滤波器F滤波的物体A看起来模糊，如由图14中的A'所描绘的。在该示例中，如人们可以从图中注意到的，Rx-Ry平面附近的物体变得较不模糊并且远离平面的那些变得更加模糊。此外，可能通过构造适当滤波器元件锐利地维持某一深度处的物体而同时使所有其它物体模糊。

尺寸调整

全光图像的尺寸调整被限定为参数的重定比例单元。与对2D图像尺寸调整类似，在图15上图示的用于对物体A尺寸调整的尺寸调整过程R将轴线上的值变换成该值与缩放因子的乘积，

其中是缩放因子。

例如，如果，则输出在每一个观看点处在Rx（或U）方向上看起来缩小至一半。图17示出将Rx-Ry和U-V平面尺寸调节成一半尺寸的示意图。

平面的垂直平移

所捕获场景的光射线通过双平面表示中的Rx、Ry、U、V参数化，并且U-V平面表示观看位置。人们可以在平面上任意改变观看位置并且获取对应的Rx、Ry值。然而，人们可能想要不仅在平面内而且还在平面外移动。当人们尝试将观看位置移动得更靠近物体时，该情况发生。

需要重新计算整体光射线参数，因为两个平面需要沿其垂直轴线偏移以便将观看位置改变到U-V平面之外的点。新参数的计算可以如下执行：

a）使两个平面沿其垂直轴线偏移使得新的观看点位于U-V平面上，

b）针对所有光射线计算与两个平面的新交叉点。

由于这是线性操作，所以计算可以描述为与输入参数的向量的矩阵乘法。矩阵的值从两个平面与平移因子z之间的距离计算。图16简要地示出了示意图和平移矩阵。

重新聚焦

所捕获的光场可能利用特定物方焦平面而取得。由于我们捕获从不同方向来自相同物理点的射线，所以我们可以重新布置射线以便重新创建重新聚焦。

在设备无关表示中，这可以通过移动Rx-Ry平面并且计算射线与该新平面的新交叉部而完成。人们可以注意到，该过程等同于在我们建立无关表示时所必要的归一化过程。

全光数据的融合

如以上章节中所述，光场包括有限数目的参数。在双平面表示的示例中，射线通过针对与U-V和Rx-Ry平面的交叉部及其射线强度的4个参数来描述。4个交叉部参数的坐标值可以对应于不同表示，如例如双平面表示或者球形表示。因而，当融合对应于两个全光图像的数据时，我们需要考虑到其表示不同的情况。

具有不同表示的两个全光数据可以通过将第二表示中的第二全光数据转换成第一表示中的等同数据并且在第一表示中融合两个数据而合并或融合。取决于数据表示，经转换数据的采样可能不与第二数据的采样相同。在该情况下，可能需要将量化应用在全光数据上以应对不同采样。

在量化过程中，每一个参数被分配到小的箱体（bin），其尺寸对应于坐标中的两个采样点的距离。例如，如果Rx轴上的样本数目为640，则要在Rx轴上合并的区域被分成640个箱体并且撞击区域的每一个射线的Rx值被量化到箱体之一。可能发生的是，两个不同的光射线被量化到相同箱体，这意味着原始不同射线的经量化参数变得相同。在该情况下，我们需要决定融合过程，其可能例如是基于某一准则选择射线之一或者合并它们以获得平均射线强度。作为另一问题，所有箱体可能没有填充有强度值，而是一些保持为空。在该情况下，空箱体处的值可以通过相邻箱体而填充有内插值或者保持为没有值。各种内插方法是可能的。双线性内插是一个示例。

光场存储

由于双平面表示中的光射线的强度值使用4个参数（例如Rx、Ry、U、V）参数化，所以我们可以通过存储所有强度值及其对应参数而存储整个所捕获的光场。4个参数可以取任何实值。强度值可以针对每一个颜色红色、绿色和蓝色而限定，或者是其它表示中的任何其它值，诸如HSV或CMYK。因此，光场可以以矩阵状格式存储，其中其行对应于每一个光射线并且其列分别对应于每一个参数或强度值。假设光射线具有一个强度值，则矩阵的大小等于要存储的光射线的数目的5（即4个参数+1个强度值）倍。

然而，因为通常使用以恒定间隔并排布置的正常成像传感器捕获全光数据，所以我们可以运用相机结构的这种先验知识来优化所要求的存储。因而，在该条件下，使用传统图像格式存储所捕获的全光场可能是有利的。以该格式，在该文档的开头处所呈现的双平面表示很好地适用。

使用图像状格式存储光场要求双平面表示参数预先已知。那些参数也可以使用元数据存储在图像中，但是因为我们需要相机无关表示，所以参数通常先验已知。那些参数包括两个平面之间的距离以及射线的采样率（对应于微透镜和成像传感器参数）。

具有固定的表示参数使表示在两个平面之间的不同射线与场景完全无关。实际上，与场景B不同的场景A将具有由两个平面表示的射线方向。仅有的改变是在射线强度方面，其将明显地改变，因为它们表示不同物体。

为了存储这样的双平面表示，可以使用传统图像格式。图像包括像素，每一个像素表示撞击U-V平面的射线。图像的2D笛卡尔坐标系统直接映射到U-V平面坐标系统，从而使U-V平面与该图像存储之间的关系完全简明直接。图像的像素数目直接对应于U-V平面的采样率，其等于撞击这后一平面的射线的数目。

高效地存储光场的格式可以针对另一类型的表示构造，诸如通过运用表示的特性的球形表示。

为了在实时系统中运用该存储格式，人们可以使用预计算的查找表，其做出图像中的一个像素（对应于一个射线）与其射线方向之间的对应性。归因于这一点，在运行时间处获得射线方向变成从对于所有所捕获的光场而言公共的预计算查找表检索值。

全光数据的可视化

所存储的光射线的可视化是使得人类能够感知由射线所表示的场景所必要的步骤。尽管可视化可以以各种方式执行，例如全息可视化，但是在不损失一般性的情况下，我们在该章节中考虑普通2D可视化（即渲染），其将场景可视化为单个/多个2D图像。所存储的光场在我们的双平面表示的示例中可以通过将撞击某一观看位置的4D光射线投影到2D表面上而可视化。2D图像通过搜索每一个射线与表面的交叉点并且将其强度值分配到2D图像的对应像素中而生成。最简单的示例是存储在Rx-Ry、U-V表示中的光场的渲染。在该情况下，Rx-Ry平面对应于其中光射线被投影的表面（即图像表面），并且UV平面上的点对应于观看位置。通过将在UV平面上的点(U,V)处交叉的每一个射线的强度值分配到图像平面上的点(Rx,Ry)中，我们获得由观看位置(U,V)观看的所捕获场景的所渲染图像。

观看位置可以放置在任意位置处。观看位置的改变被称为观点偏移。例如，在Rx-Ry-U-V表示的情况下，观点偏移通过将观看点(U,V)改变到U-V平面上的另一观看点(U',V')而进行。以观点偏移对光场的渲染引起相机位置平移到新位置的视觉效果。

除在屏幕上显示场景的2D图像之外，光场渲染可以用于更高级的使用情况。例如，场景的3D视图通过从以瞳孔间距分开的两个观看位置生成两个图像并且分别针对右眼显示一个而针对左眼显示另一个来模拟。已经存在显示立体图像的技术，诸如快门3D系统和自立体显示（autostereoscopy）。

全光取景器（viewer）可以用于将数据作为重新合成的2D图像而呈现给用户。向用户给出使全光场景重新聚焦到特定焦点或者改变场景视点的可能性。全光取景器使得直接使用由全光设备捕获的射线而没有解译它们，并且因此不易于出错，如3D重构的情况下那样。实际上，这种对射线的直接使用没有做出关于场景物体的反射率或纹理的任何假设。

焦点的改变可以通过直接单击所呈现的2D图像中的点以调节该点上的聚焦而完成。可替换地，用户可以使用滚轮来改变场景中的焦点。这在视觉上类似于图像的扫描，其中聚焦点是锐利的并且其余的模糊。让我们注意到，使图像重新聚焦在焦距处的这种能力具有看到由阻碍物所隐藏的物体后方的性质。从用户观点，这类似于沿不同焦平面扫描场景而不管阻碍物是否存在。在人们可以使用这样的Plenoptic取景器而看穿树丛或颗粒的密集体积的情况下，这是强有力的性质。

全光取景器还可以通过改变3D空间中的视点而渲染不同视图。视点改变可以例如通过用户鼠标在场景上的点击和拖拽动作来触发。这样，全光取景器根据鼠标的新位置来改变视图位置直到鼠标按钮被释放。可替换地，键盘按键可以用作触发以取决于所按压的按键来改变视图位置。简单的示例将是使用键盘箭头以用于该动作。

一旦用户已经就场景焦点和视图位置做出决定，他然后就可以标注场景元素。用户可以将标注仅添附到在全光取景器的当前2D视图中对焦的场景元素，这对他而言更好理解。用户还可以标注2D视图的模糊部分。

为了标注场景，用户可以在2D取景器上拖拽和丢掷标注。标注可以从可能的标注的列表选取，或者上载给取景器或在运行中创建。所选标注看起来集成在全光取景器中。系统已经将射线与场景射线恰当地合并。用户然后可以在全光场景环境中向它应用一些变换。变换可以是3D平移、旋转或缩放。那些变换例如由按钮或键盘按键触发。

在全光取景器情况下，标注和场景之间的射线的合并直接在标注水平下完成，因为取景器直接以射线信息工作。

所记录的全光数据还可以可视化在3D取景器中。所记录的场景可以在三个维度上偏移和操控。其准许用户向场景空间中的直观导航。由于仅实际世界的部分已经被捕获，所以所重构的3D场景可能由于场景的一些数据丢失而有裂纹。

所有所捕获的射线可以用于计算该3D映射图。每一个所生成的彩色像素将定位到该3D空间中。全光图像具有向后可聚焦的关键特征。在其它方面，用户可以选择他想要聚焦哪些区域。所以，所存储数据也可以被看作具有不同最锐利区域的图像的堆叠。使用每一个图像焦距，其相对位置可以已知。来自该堆叠的所有图像用于计算3D映射图。对于每一个图像，仅来自最锐利区域的像素被考虑，并且因为所选图像焦距已知，所以这些像素可以重新定位到3D映射图中。这种所计算的映射图将包括来自多个图像、定位在若干平面上的像素，从而给出深度印象。实际上，在文献中存在更高级的技术来使用全光图像计算复杂的3D映射图。研究领域在该领域方面相当活跃。全光相机的关键优点是角度分辨率，可以建立高级映射图，其尽可能地减少可能的部分阻碍。

其中AR发现对全光空间感兴趣的应用

显微镜法领域

显微镜法可能是其中当前最适合使用全光技术的领域。标准的光学系统由于光学限制（减小的场深度、对于细胞或神经元而言太长的曝光）而不能呈现高效解决方案。例如，因为细胞的分析是要求苛刻的过程，所以能够例如通过标记细胞进行标注示出了强烈的兴趣。

· 全光增大场的深度（以因子6）。

· 在阻碍的情况下，全光可以在不同层处分辨信息，而其它深度设备不能。

· 全光减少针对细胞的曝光，因为其一次捕获更多观看角度（对于活神经元是良好的）。

· 全光增大图像的分辨率（以因子8）。

· 不需要实际标注。

颗粒速度测量

3D轨迹的测量是要在若干领域中对付的难题。当在诸如水的相同体积中追踪众多颗粒的轨迹时，分析所有不同路径变为冗长的工作。全光设备具有以下强烈优点：利用数千只微眼睛看向场景并且因此能够解决在颗粒运动期间出现的众多阻碍。增加标注用于实时追踪的场景中的颗粒的可能性具有强烈的兴趣。

· 在阻碍的情况下，全光可以在不同层处分辨信息以得到更好的3D轨迹分析。

· 不再需要利用多个非常准确对准的相机的复杂校准。仅一个唯一相机来设置。

· 不需要实际标注。

· 养鱼池中的鱼类的水生分析。

植物生长分析

归因于其中研究者分析植物演变并且调查新解决方案的植物分析实验室，新植物物种的高效创建是可能的。针对3D分析的需要是强烈的，然而，在受控环境中完成培养，其中例如光是重要的参数。全光技术很好地解决了3D分析的问题是这样的受控环境，因为其是非侵入式的，并且不需要修改用于重构鲁棒3D模型的光照条件。作为已知性质，全光设备很好地应对多个阻碍，其也是该领域中的主要感兴趣点。

· 全光相机可以使用场景的当前照明分辨3D信息。在这样的情况下，向场景添加光照将更改植物发展。

· 在阻碍的情况下，全光可以在不同层处分辨信息以得到更好的3D分析。

· 不需要实际标注。

街道视图广告

下面的那些点是其中需要完成另外的调查的使用情况。一些技术问题（诸如光照分析）可能尚未利用我们当前对技术的理解而解决。

使用全光技术移除商店窗户中的反射。商店窗户上的实际广告（例如街道视图）与Vidinoti-1&Vidinoti-7的组合以用于准确定位。

实际设计和架构

通过仿效标注所应用于的表面的纹理来创建实际标注：架构模拟、场景的照明中的家具/墙壁颜色……。在广播体育赛事期间的非侵入式（意味着很好地集成）广告（例如在曲棍球比赛期间关于冰的广告）。

针对电话呼叫的3D化身（avatar）

在电话呼叫期间运行中的快速3D化身。

以上描述的方法的各种操作可以通过能够执行操作的任何适当的构件来执行，诸如（多个）各种硬件和/或软件组件、电路和/或（多个）模块。一般地，在本申请中描述的任何操作可以通过能够执行该操作的对应功能构件来执行。各种构件、逻辑块和模块可以包括（多个）各种硬件和/或软件组件、电路和/或（多个）模块，包括但不限于电路、专用集成电路（ASIC）或者通用处理器、数字信号处理器（DSP）、专用集成电路（ASIC）、现场可编程门阵列信号（FPGA）或者其它可编程逻辑器件（PLD）、离散门或晶体管逻辑、离散硬件组件或者设计成执行本文描述的功能的其任何组合。

如本文中使用的，术语“确定”涵盖各种各样的动作。例如，“确定”可以包括计算、运算、处理、导出、调查、查找（例如在表、数据库或另一数据结构中查找）、查明、估计等。而且，“确定”可以包括接收（例如接收信息）、访问（例如访问存储器中的数据）等。另外，“确定”可以包括分辨、选择、选取、建立等。

结合本公开内容所描述的方法或算法的步骤可以直接地体现在硬件中、由处理器执行的软件模块中、或者二者的组合中。软件模块可以驻留在本领域中已知的任何形式的存储器介质中。可以使用的存储介质的一些示例包括随机存取存储器（RAM）、只读存储器（ROM）、闪速存储器、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移除盘、CD-ROM等。软件模块可以包括单个指令、或者许多指令，并且可以跨若干不同代码片段、在不同程序之中、以及跨多个存储介质而分布。软件模块可以包括可执行程序、在完整程序中使用的例程或库的部分、多个互连的程序、由许多智能电话、平板电脑或计算机执行的“应用”、窗口小部件、闪速应用、HTML代码的部分等。存储介质可以耦合到处理器使得处理器可以从存储介质读取信息并且向存储介质写入信息。在可替换方案中，存储介质可以一体化到处理器。数据库可以实现为任何结构化的数据集群，包括SQL数据库、XML文档的集合、语义学数据库、或者在IP网络之上可获得的信息的集合、或者任何其它适当的结构。

因而，某些方面可以包括用于执行本文呈现的操作的计算机程序产品。例如，这样的计算机程序产品可以包括具有存储（和/或编码）在其上的指令的计算机可读介质，指令由一个或多个处理器可执行以实施本文描述的操作。对于某些方面，计算机程序产品可以包括封装材料。

要理解到，权利要求不限于以上说明的精确配置和组件。

可以在以上描述的方法和装置的布置、操作和细节方面做出各种修改、改变和变形而不脱离权利要求的范围。

Claims

1.一种用于处理对应于光场的数据的光场处理方法，包括：

利用全光相机（1）捕获以与所述全光相机有关的格式表示光场的初始数据；

将所述初始数据转换成以相机无关格式表示所述光场的经转换数据；

处理所述经转换数据以便生成表示不同光场的经处理数据。

2.权利要求1所述的方法，其中所述光场中的每一个光射线的方向以通过确切四个参数的所述相机无关格式参数化。

3.权利要求2所述的方法，其中所述光场中的每一个光射线的方向以利用其中所述光射线与两个预限定的平面交叉的位置的所述相机无关格式参数化。

4.权利要求2所述的方法，其中所述光场中的每一个光射线的方向以利用其中其与彼此相切的两个球体相交的位置的所述相机无关格式参数化，所述位置之一是切点。

5.权利要求2所述的方法，其中所述光场中的每一个光射线的方向以利用其中其与一个单个球体相交的两个位置的所述相机无关格式参数化。

6.权利要求2所述的方法，其中所述光场中的每一个光射线的方向以利用一个平面与一个球体的交叉部的所述相机无关格式参数化。

7.权利要求2所述的方法，其中所述光场中的每一个光射线以利用射线上的最接近点（A）距球体的中心的距离（r）、该最接近点关于球坐标的极坐标、以及在所述最接近点处与球体相切的平面与射线之间的角度（ω）的所述相机无关格式参数化。

8.权利要求1至7之一所述的方法，包括将所述光场的每一个光射线从一个所述相机无关表示转换到不同的所述相机无关表示的步骤。

9.权利要求1至8之一所述的方法，其中转换所述初始数据的所述步骤使用取决于相机的模型的转换函数。

10.权利要求9所述的方法，包括使用已知场景的全光表示来确定所述转换函数的步骤。

11.权利要求1至10之一所述的方法，包括处理以所述相机无关格式的光场的表示来产生相同光场的场景中心表示的步骤。

12.权利要求11所述的方法，包括修改所述场景中心表示的光射线以便修改表示的中心处的物体的视觉外观的步骤。

13.权利要求11或12之一所述的方法，还包括通过标识由某一点发射的多个射线（r₁、r₂）以及通过三角测量计算到该点的距离来确定该点的深度。

14.权利要求11或12之一所述的方法，还包括通过提取表极线来确定某一点的深度。

15.权利要求1至14之一所述的方法，处理的所述步骤包括向以相机无关格式表示所述光场的经转换数据应用滤波器。

16.权利要求1至15之一所述的方法，处理的所述步骤包括识别所述经转换数据中的至少一个图像特征，以及取决于所述特征向所述经转换数据添加表示至少一个增强现实元素的数据，所述表示至少一个增强现实元素的数据以所述相机无关格式。

17.权利要求1至16之一所述的方法，处理的所述步骤包括基于如从所述经转换数据所确定的空间中的物体的位置来选择场景的物体。

18.权利要求17所述的方法，处理的所述步骤还包括替换从所选物体发射的射线。

19.权利要求11至18之一所述的方法，处理的所述步骤包括通过从所述场景中心表示开始以及标识哪些射线实际上属于相同物体来执行物体分段。

20.权利要求1至19之一所述的方法，处理的所述步骤包括对物体进行尺寸调整。

21.权利要求1至20之一所述的方法，处理的所述步骤包括通过移动Rx-Ry平面而重新聚焦。

22.权利要求1至21之一所述的方法，处理的所述步骤包括：

将对应于不同光场的第二数据检索成与用于表示所述经转换数据的格式不同的第二相机无关格式，

将所述第二数据转换成所述相机无关数据；

融合所述数据和所述第二数据。

23.权利要求1至22之一所述的方法，还包括可视化以所述相机无关格式存储的光场作为单个或多个2D或3D图像的步骤。

24.权利要求23所述的方法，所述相机无关格式包括通过其中每一个射线与两个预限定的平面（U-V；Rx-Ry）相交的位置的每一个射线的表示，渲染的所述步骤包括生成2D图像的步骤，在所述2D图像中每一个像素对应于在给定位置处与所述平面之一相交的射线的明亮度。

25.权利要求23至24之一所述的方法，渲染的所述步骤包括应用观点偏移以便从任意位置生成所述光场的视图。

26.一种用于处理对应于光场的数据的光场处理装置，包括：

全光相机，其布置用于捕获以与所述全光相机有关的格式表示光场的初始数据；

数据转换器，其用于将所述初始数据转换成以相机无关格式表示所述光场的经转换数据；

光场处理器，其用于处理所述经转换数据以便生成表示不同光场的经处理数据。

27.一种计算机载体，其存储利用权利要求1至25之一的方法处理的数据。