CN108353188B - 用于编码光场内容的方法 - Google Patents

Abstract

在一个实施例中，提出了一种用于编码光场内容的方法。所述方法的特征在于，其包括：对于与所述光场内容关联的光线(401)的组，从所述光场内容的两个平面参数化(2000；402、403)获得每个光线的四个坐标；对于来自所述组的每个光线，从所述四个坐标获得(2001)两个坐标，其对应于来自所述组的所述光线到垂直于在所述两个平面参数化中使用的两个平面的平面(404、405、P)上的投影，限定第一2D光线图(Π(x₁,x₂),Π(y₁,y₂)中的点；对所述第一2D光线图(Π(x₁,x₂),Π(y₁,y₂)应用(2002)离散拉东变换，其递送所述第一2D光线图中的感兴趣线；将所述感兴趣线编码(2003)成编码感兴趣线；以及存储(2004)所述编码感兴趣线。

Description

用于编码光场内容的方法

技术领域

本公开涉及计算成像、光场采集装置和全光相机的领域。更确切地说，本公开涉及可以用于光场数据的传输、绘制、处理、混合的光场的表示格式。

背景技术

该部分旨在向读者介绍可能与以下描述和/或要求保护的本发明的各个方面相关的技术的各个方面。相信该讨论有助于向读者提供背景信息以便于更好地理解本发明的各个方面。因此，应当理解的是，这些陈述应当就此而言被理解，而不是对现有技术的承认。

可以视为4D光场的采样(即，光线的记录，如以下文章的图1中所解释的：“Understanding camera trade-offs through a Bayesian analysis of light field projections”，Anat Levin等人，在ECCV 2008的会议记录中发表)的4D光场数据的采集是热门的研究课题。

事实上，与从相机获得的经典2D图像相比，4D光场数据使用户能够访问更多的后处理特征，所述特征增强了图像的绘制和/或与用户的交互性。例如，使用4D光场数据，可能容易地后验执行图像的重新聚焦(即，用自由选择的聚焦距离重新聚焦，意味着可以后验指定/选择焦平面的位置)，以及稍微改变图像的场景中的视点。为了采集4D光场数据，可以使用几种技术。例如，如文献WO 2013/180192或文献GB 2488905中所述的全光相机能够采集4D光场数据。在本文献的图1和2中提供了全光相机的架构的细节。采集4D光场数据的另一种方式是使用本文献的图3中所示的相机阵列。在图3中提供了相机阵列的架构的细节。最后，采集4D光场的另一种方式是使用传统相机，其配置成在不同焦平面处捕捉相同场景的2D图像的序列。例如，在以下文献中描述的技术可以用于实现4D光场数据的采集：“Light ray field capture using focal plane sweeping and its optical reconstruction using 3D displays”，J.-H.Park等人，在OPTICSEXPRESS中发表，第22卷，第21号，2014年10月。

在下文中仅描述全光相机和相机阵列，但是应当注意的是，本公开也可以应用于采集4D光场数据的其他装置，如包括编码光圈元件的装置，如文献US 2010/0265386，或A.Levin等人在SIGGRAPH 2007的论文集中发表的题为“Image and depth from a conventional camera with a coded aperture”的文章中所述，或使用波阵面编码技术的装置，如Edward R.Dowski，Jr.和W.Thomas Cathe于1995年4月10日在Applied Optics中发表的题为“Extended depth of field through wave-front coding”的文章中所述。

在现有技术中，有几种方法来表示(或定义)4D光场数据。事实上，在Ren Ng于2006年7月发表的题为“Digital Light Field Photography”的博士论文的3.3章中，描述了表示4D光场数据的三种不同方式。首先，当由例如图1中所示的全光相机记录时，4D光场数据可以由微透镜图像的收集表示(参见本文献中的图2的描述)。该表示中的4D光场数据称为原始图像(或原始4D光场数据)。其次，当由全光相机或由相机阵列记录时，4D光场数据可以由子光圈图像的集合表示。子光圈图像对应于从视点捕捉的场景的图像，该视点在两个子光圈图像之间略微不同。这些子光圈图像提供关于成像场景的视差和深度的信息。第三，4D光场数据可以由极线图像的集合表示(例如参见文章：题为“GeneratingEPI Representation of a 4D Light Fields with a Single Lens Focused Plenoptic Camera”，S.Wanner等人，在ISVC 2011的会议记录中发表)。

然而，由于全光装置非常不均匀(例如，我们可以区分类型1或2的全光装置(其定义微透镜的特定光学布置(例如具有不同焦距的微透镜等)))，并且相机阵列具有不同的风格，因此看起来所有这些光场采集装置都具有其专有的文件格式，使得除了常规的2D或3D成像之外，光场技术不能存在，原因是没有支持采集和传输多维信息的标准。例如，在将4D光场数据表示为原始4D光场数据的情况下，为了处理原始4D光场数据，需要诸如微透镜的尺寸等的一些附加信息，并且目前还没有列出所有需要的附加信息的标准。

然而，应当注意的是，如前所述的4D光场数据也可以由参数化处理导出的值表示，如以下详述：题为“Light Field Analysis for Modeling Image Formation”的文章的名为“Light Field Representation”的章节A第III段，Chi-Kai Liang等人，在IEEETransactions on Image Processing中发表，第20卷，第2期，2011年2月，或题为“Light Field Rendering”的文章，Mar Levoy和Pat Hanrahan，或文献US 8,237,708，US 6,097,394或US 6,023,523。因此，4D光场数据可以表示为坐标系中的点(与光线关联)的集合(参见文献WO 2013/180192的第[0028]至[0030]段)。更确切地说，为了表示4D光场数据，通过使用两个平面(平行或不平行)来使用4D光场的参数化(即，每个光线由对应于这样的光线与两个平面的交点的坐标值的集合表示)可以是避免使用专有格式并且促进4D光场装置(即，例如全光装置和/或相机阵列，但也用于4D光场显示装置，如由D.Lanman和D.Luebke在2013年7月在SIGGRAPH 2013会议上发表的题为“Near-Eye Light Field Displays”的文章中所述的装置)之间的互操作性的一种方式。

事实上，代替与复杂的交叉结构共享RAW信息，似乎更好的是共享已捕获的光线的表示，以及其所有规约。然后，可以独立于采集数据的方式处理，共享，传输和绘制数据。应当注意的是，参数化的光场在先前提到的题为“Light Field Rendering”的文章中也被称为光板表示。

然而，该4D光场表示的一个缺点是待存储的内容是巨大的，如本文献第23页所述。

事实上，使用这样的表示意味着为每个参数化光线存储两个平面中的坐标(即，有必要存储4-uplet和这样的光线的辐射亮度值)。例如在文献US 6,023,523中描绘了将2D图像的集合(定义采样光场)转换为光线表示(每个光线与4-uplet和辐射亮度值关联)的过程。

因此，需要提供一种技术，用于在其克服先前提到的存储问题的意义上提供紧凑的光场表示。

发明内容

在说明书中对“一个实施例”，“实施例”，“示例性实施例”的引用指示所描述的实施例可以包括特定特征，结构或特性，但是每个实施例可能不一定包括特定特征，结构或特性。而且，这样的短语不一定是指相同的实施例。此外，当结合实施例描述特定特征，结构或特性时，认为结合无论是否明确描述的其它实施例实现这样的特征，结构或特性是在本领域技术人员的知识范围内。

本公开涉及一种用于编码光场内容的方法。所述方法的特征在于，其包括：

-对于与所述光场内容关联的光线的组，从所述光场内容的两个平面参数化获得每个光线的四个坐标；

-对于来自所述组的每个光线，从所述四个坐标获得两个坐标，其对应于来自所述组的所述光线到垂直于在所述两个平面参数化中使用的两个平面的平面上的投影，限定第一2D光线图中的点；

-对所述第一2D光线图应用离散拉东变换，其递送所述第一2D光线图中的感兴趣线；

-将所述感兴趣线编码成编码感兴趣线；以及

-存储所述编码感兴趣线。

在优选实施例中，所述方法的特征在于，所述编码还包括应用Bresenham算法。

在优选实施例中，所述方法的特征在于，在所述两个平面参数化中使用的所述两个平面，称为第一平面和第二平面，是包括矩形元素的离散化平面，其中所述第一平面中的矩形元素的长边的最大值等于

其中z_f是包括在具有像素间距p的相机装置中的传感器阵列的深度值，f是所述相机装置的焦距，并且z₁是与所述第一平面关联的第一深度值，并且其中所述第二平面中的矩形元素的长边的最大值等于

其中z₂是与所述第二平面关联的第二深度值。

在优选实施例中，所述方法的特征在于，所述存储包括，对于属于所述第一2D光线图中的第一编码感兴趣线的至少一个第一点：

-存储与属于第二2D光线图中的第二编码感兴趣线的至少一个第二点关联的光线的辐射亮度(radiance)，所述第二编码感兴趣线具有与所述第一编码感兴趣线相同的斜率，并且存储指示光线存在的第一附加信息；和/或

-存储指示没有光线与属于所述第二编码感兴趣线的至少一个第三点关联的第二附加信息。

在优选实施例中，所述方法的特征在于，所述第一附加信息和/或所述第二附加信息是位，并且其中光线的所述辐射亮度由三字节值编码。

在优选实施例中，所述方法的特征在于，其还包括估计至少一个投影中心的坐标和与所述至少一个投影中心关联的半径，所述估计包括：

-获得所述第一2D光线图中的感兴趣线的至少一个斜率参数m和厚度参数

所述感兴趣线与投影中心x₃,y₃,z₃和半径A关联；

-从所述至少一个斜率参数m和所述厚度参数

估计所述投影中心的坐标x₃,y₃,z₃和所述半径A。

在优选实施例中，所述方法的特征在于，在所述两个平面参数化中使用的所述两个平面，称为第一平面和第二平面，分别与第一深度值z₁和第二深度值z₂关联，并且其中所述估计包括获得

其中

并且

在优选实施例中，所述方法的特征在于，所述存储所述编码感兴趣线还包括存储与编码感兴趣线关联的斜率，并且对于属于所述第一2D光线图中的编码感兴趣线的每个点，存储属于第二2D光线图的点的集合，并且在与所述第一2D光线图中的经处理的编码感兴趣线关联的斜率大于与所述第一2D光线中的其他编码感兴趣线关联的另一斜率的情况下，当所述第一2D光线图中的点属于所述经处理的编码感兴趣线和所述其他编码感兴趣线之间的交点时，避免存储属于所述第二2D光线图的所述点的集合。

在优选实施例中，所述方法的特征在于，所述避免还包括存储指示遮挡的信息。

在优选实施例中，所述方法的特征在于，所述信息是空值。

在变型中，提出了一种用于从表示光场内容的表格递送图像的集合的方法，每个图像包括m×n个像素，m和n是大于1的整数。所述方法的特征在于，所述表格基于光场内容的2D光线图表示，并且其包括：

-获得包括指向表示所述光场内容的所述表格中的数据的指针的二维查找表；以及，对于所述集合中的每个图像，

-对于由索引(i,j)寻址的像素，通过获得位于相同索引(i,j)处的所述二维查找表中的指针，从表示所述光场内容的所述表格获得光线的辐射亮度值。

在优选实施例中，光线的所述辐射亮度由三字节值编码。

在优选实施例中，所述方法的特征在于，对于包括在所述图像中的所有像素完成所述获得所述辐射亮度值。

在优选实施例中，所述方法的特征在于，基于光场内容的所述2D光线图表示的所述表格包括定义线的集合的参数。

在优选实施例中，所述方法的特征在于，所述二维查找表中的每个指针是两个元素的索引。

在本公开的另一实施例中，提出了一种生成二维查找表的方法。所述方法的特征在于，其包括：

-获得表示光场内容的表格，所述表格基于光场内容的2D光线图表示；

-对于寻址所述二维查找表中的元素的索引值(i,j)，确定指向表示所述光场内容的所述表格中的辐射亮度值的指针值。

在优选实施例中，所述用于生成二维查找表的方法的特征在于，所述确定包括对于由所述索引(i,j)寻址的像素应用像素反向跟踪处理；通过双平面参数化确定与由所述索引(i,j)寻址的所述像素关联的光线的交点坐标；以及在表示所述光场内容的所述表格中确定对应于与所述交点坐标关联的辐射亮度值的位置。

在优选实施例中，所述用于生成的方法的特征在于，所述二维查找表中的每个指针是两个元素的索引。

在另一实施例中，提出了一种用于将辐射亮度值存储到表示光场内容的表格中的方法。所述方法的特征在于，所述表格基于光场内容的2D光线图表示，并且其包括：

-获得包括指向表示光场内容的所述表格中的数据位置的指针的二维查找表；

-对于由索引(i,j)寻址的像素，从包括m×n个像素的图像获得光线的辐射亮度值，m和n是大于1的整数；以及

-通过获得位于相同索引(i,j)处的所述二维查找表中的指针，将获得的辐射亮度值存储到所述表格中。

在优选实施例中，所述用于存储的方法的特征在于，对于包括在所述图像中的所有辐射亮度值完成所述存储。

在优选实施例中，所述用于存储的方法的特征在于，并行完成所述图像中的所有像素的获得的辐亮度值的所述存储。

这些方法的共同创新特征是二维查找表。

在本公开的另一实施例中，提出了一种用于绘制4D光场数据的方法。这样的方法由电子装置执行，并且其特征在于，其包括：

-获得至少两个笛卡尔坐标，每个笛卡尔坐标与三维空间中的相机位置关联；

-从所述至少两个笛卡尔坐标获得与选定的笛卡尔坐标关联的至少一个4D光场数据；以及

-绘制获得的4D光场数据。

在优选实施例中，所述方法的特征在于，获得所述至少一个4D光场数据包括接收所述至少一个4D光场数据的数字线表示。

在优选实施例中，所述方法的特征在于，所述获得至少一个4D光场数据包括基于所述选定的笛卡尔坐标从表格选择数据。

在优选实施例中，所述表格存储在远程服务器上。

根据示例性实现方式，前述方法的不同步骤由一个或多个计算机软件程序实现，该软件程序包括软件指令，所述软件指令设计成由根据本公开的中继模块的数据处理器执行，并且设计成控制该方法的不同步骤的执行。

因此，本公开的方面也涉及一种易于由计算机或由数据处理器执行的程序，该程序包括命令执行如上所述的方法的步骤的指令。

该程序可以使用任何编程语言，并且以源代码，目标代码或介于源代码和目标代码之间的代码的形式，例如以部分编译形式或以任何其他期望的形式。

本公开也涉及一种信息介质，其由数据处理器可读取并且包括如上所述的程序的指令。

信息介质可以是能够存储程序的任何实体或装置。例如，介质可以包括诸如ROM(其代表“只读存储器”)的存储装置，例如CD-ROM(其代表“光盘-只读存储器”)，或微电子电路ROM，或再次是磁记录装置，例如软盘或硬盘驱动器。

此外，信息介质可以是可传输的载体，例如可以通过无线电或通过其他手段通过电缆或光缆传输的电信号或光信号。程序可以特别下载到因特网类型的网络中。

替代地，信息介质可以是集成了程序的集成电路，该电路适于执行或用于执行所讨论的方法。

根据一个实施例，本公开的实施例借助于包括软件和/或硬件部件的模块来实现。从该观点来看，术语“模块”在本文献中可以对应于软件部件和硬件部件或对应于硬件和软件部件的组。

软件部件对应于一个或多个计算机程序，程序的一个或多个子程序，或更一般地对应于能够根据下文针对涉及的模块描述的内容实现功能或一组功能的程序或软件程序的任何元件。一个这样的软件部件由物理实体(终端，服务器等)的数据处理器执行并且能够访问该物理实体的硬件资源(存储器，记录介质，通信总线，输入/输出电子板，用户接口等)。

类似地，硬件部件对应于能够根据下文针对涉及的模块描述的内容实现功能或一组功能的硬件单元的任何元件。它可以是可编程硬件部件或具有用于执行软件的集成电路的部件，例如集成电路，智能卡，存储卡，用于执行固件的电子板等。在变型中，硬件部件包括作为集成电路(如中央处理单元)的处理器，和/或微处理器，和/或专用集成电路(ASIC)，和/或专用指令集处理器(ASIP)，和/或图形处理单元(GPU)，和/或物理处理单元(PPU)，和/或数字信号处理器(DSP)，和/或图像处理器，和/或协处理器，和/或浮点单元，和/或网络处理器，和/或音频处理器，和/或多核处理器。而且，硬件部件也可以包括接收或发射无线电信号的基带处理器(包括例如存储器单元和固件)和/或无线电电子电路(其可以包括天线)。在一个实施例中，硬件部件符合一个或多个标准，如ISO/IEC 18092/ECMA-340，ISO/IEC 21481/ECMA-352，GSMA，StoLPaN，ETSI/SCP(智能卡平台)，GlobalPlatform(即，安全元素)。在变型中，硬件部件是射频识别(RFID)标签。在一个实施例中，硬件部件包括实现蓝牙通信，和/或Wi-Fi通信，和/或Zigbee通信，和/或USB通信和/或火线通信和/或NFC(用于近场)通信的电路。

也应当注意的是，获得本文献中的元素/值的步骤可以被视为读取电子装置的存储器单元中的这样的元素/值的步骤，或通过通信手段从另一电子装置接收这样的元素/值的步骤。

在本公开的另一实施例中，提出了一种用于编码光场内容的电子装置。所述电子装置的特征在于，其包括：存储器；以及联接到所述存储器的至少一个处理器，所述至少一个处理器配置成：

-对于与所述光场内容关联的光线的组，从所述光场内容的两个平面参数化获得每个光线的四个坐标；

-对于来自所述组的每个光线，从所述四个坐标获得两个坐标，其对应于来自所述组的所述光线到垂直于在所述两个平面参数化中使用的两个平面的平面上的投影，限定第一2D光线图中的点；

-对所述第一2D光线图应用离散拉东变换，其递送所述第一2D光线图中的感兴趣线；

-将所述感兴趣线编码成编码感兴趣线；以及

-存储所述编码感兴趣线。

在优选实施例中，所述电子装置的特征在于，所述至少一个处理器还配置成用Bresenham算法编码所述感兴趣线。

在优选实施例中，所述电子装置的特征在于，在所述两个平面参数化中使用的所述两个平面，称为第一平面和第二平面，是包括矩形元素的离散化平面，其中所述第一平面中的矩形元素的长边的最大值等于

其中z_f是包括在具有像素间距p的相机装置中的传感器阵列的深度值，f是所述相机装置的焦距，并且z₁是与所述第一平面关联的第一深度值，并且其中所述第二平面中的矩形元素的长边的最大值等于

其中z₂是与所述第二平面关联的第二深度值。

在优选实施例中，所述电子装置的特征在于，所述至少一个处理器还配置成，对于属于所述第一2D光线图中的第一编码感兴趣线的至少一个第一点：

-存储与属于第二2D光线图中的第二编码感兴趣线的至少一个第二点关联的光线的辐射亮度，所述第二编码感兴趣线具有与所述第一编码感兴趣线相同的斜率，并且存储指示光线存在的第一附加信息；和/或

-存储指示没有光线与属于所述第二编码感兴趣线的至少一个第三点关联的第二附加信息。

在本公开的另一实施例中，提出了一种用于从表示光场内容的表格递送图像的集合的电子装置，每个图像包括m×n个像素，m和n是大于1的整数。所述电子装置的特征在于，所述表格基于光场内容的2D光线图表示，并且其包括：

-配置成获得包括指向表示所述光场内容的所述表格中的数据的指针的二维查找表的模块；以及，对于所述集合中的每个图像，

-配置成对于由索引(i,j)寻址的像素，通过获得位于相同索引(i,j)处的所述二维查找表中的指针，从表示所述光场内容的所述表格获得光线的辐射亮度值的模块。

在优选实施例中，所述电子装置的特征在于，配置成获得所述辐射亮度值的所述模块用于处理包括在所述图像中的所有像素。

在优选实施例中，所述电子装置的特征在于，基于光场内容的所述2D光线图表示的所述表格包括定义线的集合的参数。

在优选实施例中，所述电子装置的特征在于，所述二维查找表中的每个指针是两个元素的索引。

在本公开的另一实施例中，提出了一种用于生成二维查找表的电子装置。所述电子装置的特征在于，其包括：

-配置成获得表示光场内容的表格的模块，所述表格基于光场内容的2D光线图表示；

-配置成对于寻址所述二维查找表中的元素的索引值(i,j)，确定指向表示所述光场内容的所述表格中的辐射亮度值的指针值的模块。

在本公开的优选实施例中，所述电子装置的特征在于，配置成确定的所述模块还配置成：对于由所述索引(i,j)寻址的像素应用像素反向跟踪处理；通过双平面参数化确定与由所述索引(i,j)寻址的所述像素关联的光线的交点坐标；以及在表示所述光场内容的所述表格中确定对应于与所述交点坐标关联的辐射亮度值的位置。

在优选实施例中，所述电子装置的特征在于，所述二维查找表中的每个指针是两个元素的索引。

在本公开的另一实施例中，提出了一种用于将辐射亮度值存储到表示光场内容的表格中的电子装置。所述电子装置的特征在于，所述表格基于光场内容的2D光线图表示，并且其包括：

-配置成获得包括指向表示光场内容的所述表格中的数据位置的指针的二维查找表的模块；

-配置成对于由索引(i,j)寻址的像素，从包括m×n个像素的图像获得光线的辐射亮度值的模块，m和n是大于1的整数；以及

-配置成通过获得位于相同索引(i,j)处的所述二维查找表中的指针，将获得的辐射亮度值存储到所述表格中的模块。

在本公开的另一实施例中，提出了一种用于绘制4D光场数据的电子装置。所述电子装置的特征在于，其包括：

配置成获得至少两个笛卡尔坐标的第一模块，每个笛卡尔坐标与三维空间中的相机位置关联；

配置成从所述至少两个笛卡尔坐标获得与选定的笛卡尔坐标关联的至少一个4D光场数据的第二模块；以及

配置成绘制获得的4D光场数据的第三模块。

在优选实施例中，所述第二模块还配置成接收所述至少一个4D光场数据的数字线表示。

在优选实施例中，所述第二模块还配置成基于所述选定的笛卡尔坐标从表格选择数据。

附图说明

通过参考附图对本发明的示例性实施例的以下详细描述，本发明的以上和其他方面将变得更明显，在附图中：

图1是根据本公开的实施例的作为光场相机的全光相机的示意图；

图2示出了图1中公开的传感器阵列的另一视图；

图3是根据本公开的实施例的作为光场相机的多相机阵列的示意图；

图4示出了根据本公开的实施例的通过使用至少两个平面进行光线的参数化；

图5(a)至(h)示出了根据本公开的实施例的2D切片的两个不同表示；

图6示出了根据本公开的实施例的随机光线扇的2D光线图；

图7(a)-(b)示出了根据本公开的实施例的从图6的2D光线图进行光场过滤的结果；

图8示出了根据本公开的实施例的用于一般视点绘制的坐标系；

图9示出了根据本公开的实施例的光线的选择；

图10示出了根据本公开的实施例的图9的选定光线的绘制光线踪迹；

图11示出了根据本公开的实施例的具有选定光线的2D光线图；

图12示出了根据本公开的实施例的图11的选定光线的绘制光线踪迹；

图13示出了根据本公开的实施例的具有选定光线的2D光线图；

图14示出了根据本公开的实施例的图13的选定光线的绘制光线踪迹；

图15是根据本公开的实施例的三个相机的两个组的2D光线图。第一组将针孔设置在平面z₃＝2处，并且第二组设置在平面z₃＝14处；

图16是图15的光场表示的拉东变换的正弦图；

图17示出了根据本公开的实施例的用于3D空间中的一般视点绘制的坐标系；

图18是根据本公开的一个实施例的由具有|A|＜0,5的光圈的坐标x₃＝2，z₃＝2处的一个相机捕捉的光线的2D光线图。用于参数化的线由256个单元采样；

图19示出了根据本公开的实施例的2D光线图中的线的示例；

图20是根据本公开的实施例的包括六个线或数字线的2D光线图；

图21是根据本公开的实施例的光场光线的表示的示例；

图22(a)是根据本公开的实施例的光场光线的表示的另一示例；

图22(b)是根据本公开的实施例的光场光线的表示的另一示例；

图22(c)-(d)示出了根据本公开的实施例的双立方体中的封闭对象；

图23示出了对来自图18的数据应用离散拉东变换的结果；

图24是图23中区域的缩放；

图25在左侧示出了x中的2D光线图以及对这样的2D光线图中的数据应用离散拉东变换的结果，并且在右侧示出了y中的2D光线图以及对这样的2D光线图中的数据应用离散拉东变换的结果；

图26(a)示出了根据本公开的实施例的用于提供紧凑光场表示的方法的一些步骤；

图26(b)示出了根据本公开的实施例的合成方案，示出了基于通过使用两个平面进行的光线的参数化从4D光场数据或常规2D图像转换成表示；

图26(c)-(d)示出了根据本公开的实施例的如何从像素(或虚拟像素)传感器“提取”光线；

图27(a)示出了根据本发明的一个实施例的用于导出方法的采样步骤的参数；

图27(b)示出了根据本公开的一个实施例的投影过程中涉及的平面的透视图；

图27(c)示出了根据本公开的一个实施例的用于执行光场的参数化的平面的离散化；

图28示出了根据本公开的一个实施例的通过使用相机从其获得图像的场景(包括两个对象)。更准确地说，图像从两个相机的三个组获得；

图29示出了根据本公开的一个实施例的两个相机的三个组的2D光线图；

图30示出了根据本公开的一个实施例的用于处理光场内容中的遮挡的方法；

图31示出了根据本公开的实施例的对于将由电子装置递送的图像，用于从例如作为图22(a)的表格的光场内容的紧凑表示获得这样的图像的像素的值的方案；

图32示出了用于从图像和二维查找表生成例如作为图22(a)的表格的光场内容的紧凑表示的方案；

图33示出了根据本公开的实施例的包括3D表示的菜单，用户可以从其选择与4D光场数据关联的相机的位置；

图34示出了可以用于执行本文献中公开的方法的一个或几个步骤的电子装置的示例。

具体实施方式

图1示意性地示出了全光相机中包括的主要部件。更确切地说，全光相机包括标记为101的主透镜，和标记为104的传感器阵列(即，像素阵列)。在主透镜101和传感器阵列104之间，标记为102的微透镜阵列包括标记为103的一组微透镜。应当注意的是，可选地，一些间隔物可能位于每个透镜周围的微透镜阵列和传感器之间，以防止来自一个透镜的光与传感器侧的其他透镜的光重叠。因此，全光相机可以被视为传统相机加上位于传感器前方的微透镜阵列，如图1中所示。通过微透镜的光线覆盖记录这些光线的辐射亮度的传感器阵列的一部分。由传感器的该部分进行的记录限定微透镜图像。

图2示出了传感器阵列104的另一个视图。事实上，在这样的视图中，看起来传感器阵列104包括标记为201的像素的集合。穿过微透镜的光线覆盖多个像素201，并且这些像素记录入射/接收的光线的能量值。

因此全光相机的传感器阵列104记录包括布置在2D图像(其也被称为原始4D光场图像)内的2D小图像(即，标记为202的微透镜图像)的收集。事实上，每个小图像(即，微透镜图像)由透镜产生(透镜可以通过来自透镜阵列的坐标(i,j)识别)。因此，光场的像素与4个坐标(x,y,i,j)关联。作为由传感器记录的4D光场的L(x,y,i,j)示出由传感器记录的图像。每个微透镜产生由圆圈表示的微图像(小图像的形状取决于通常为圆形的微透镜的形状)。像素坐标(在传感器阵列中)标记为(x,y)。p是2个连续微图像之间的距离，p不一定是整数值。选择微透镜使得p大于像素尺寸δ。微透镜图像由它们的坐标(i,j)参考。每个微透镜图像用(u,v)坐标系对主透镜的瞳孔进行采样。一些像素可能不会从任何微透镜接收到任何光子，特别是如果微透镜的形状为圆形。在该情况下，微透镜间空间被遮蔽以防止光子从微透镜传出，导致微图像中的一些暗区域。(如果微透镜具有正方形形状，则不需要掩蔽)。微透镜图像(i,j)的中心在传感器上位于坐标(x_i,j,y_i,j)处。θ是像素的正方形网格和微透镜的正方形网格之间的角度，在图2中θ＝0。假设微透镜根据正方形网格布置，则可以通过考虑微透镜图像(0,0)的像素坐标(x_0,0,y_0,0)的以下方程来计算(x_i,j,y_i,j)：

图2也示出了来自场景的对象在几个连续的微透镜图像(暗点)上可见。对象的2个连续视图之间的距离为w，该距离称为复制距离。因此，物体在r个连续的微透镜图像上可见，其中：

r是一维中的连续微透镜图像的数量。物体在r²个微透镜图像中可见。取决于微透镜图像的形状，对象的一些r²视图可能不可见。

如本文献中先前所述，4D光场数据可以由子光圈图像表示(当4D光场数据已由例如1.0型的全光相机采集时)。每个子光圈图像由从每个微透镜图像选择的相同位置的像素组成。

根据像素的位置，多视图子光圈图像可以获得并且相应地具有不同的入射光线信息。常规照片等于所有子光圈图像的综合，将所有入射光相加。

因此，由子光圈图像表示的4D光场图像被定义为m×n个子光圈图像的集合(或收集)，其中每个子光圈图像对应于相同场景的略微不同的透视图，并且其中参数m和n是大于或等于1的整数。这样的4D光场图像在现有技术中也被称为视图矩阵。为了获得这样的表示，来自原始传感器图像的像素被重新布置以创建图像阵列，其中每个中的像素来自每个微透镜下的相同位置。每个子光圈图像可以被认为捕捉仅穿过相机的透镜的小子光圈区域的光的传统图像。尽管这些图像非常相似，但它们均在相机的光圈平面内具有独特的光学中心，因此相同的真实世界对象将出现在每个子光圈图像的不同位置。也就是说，子光圈图像在捕捉的场景上提供视差：前景对象比背景对象具有相邻子光圈图像之间的相对更高位移。

通常，在由1.0型的全光相机采集光场图像的情况下，位于微透镜下方的像素的数量确定子光圈图像的数量，并且微透镜的数量确定每个子光圈图像中的像素的数量。

与全光相机相关的更多细节可以在下面找到：文章“The Light Field Camera: Extended Depth of Field,Aliasing,and Superresolution”中的名为“Image formationof a Light field camera”的第4章，Tom E.Bishop和Paolo Favaro，在IEEETransactions on Pattern Analysis and Machine Intelligence中发表，第34卷，第5期，2012年5月。

应当注意的是，在这样的传统相机的像素的至少一部分以与文献US2013258098中描述的相同的方式(或类似的方式)设计的情况下，本技术也可以应用于“传统相机”(在没有附加的微透镜阵列位于主透镜和像素阵列之间的意义上)。事实上，文献US2013258098公开了由于使用几个光接收部段(例如在文献US2013258098中标记为116和117)而可以记录光场数据的像素。因此，本领域技术人员可以将这样的传统相机与整合文献US2013258098的技术的像素阵列同化为如图1中所示的一种全光相机，其中每个微透镜将光线集中在包括在传感器104中的两个像素上。应当注意的是，文献US2013258098的技术可以概括为：如果更多的接收部段整合在像素的架构中，则像素可以记录两个以上的数据信息(由两个低和高接收部段获得)。本公开可以减小整合可以记录光场数据的像素的这样的“传统相机”的主透镜的像差，如前所述。

也应当注意的是，本公开也可以应用于采集4D光场数据的其他装置，如包括编码光圈元件的装置，如文献US 2010/0265386，或A.Levin等人在SIGGRAPH 2007的论文集中发表的题为“Image and depth from a conventional camera with a coded aperture”的文章中所述，或使用波阵面编码技术的装置，如Edward R.Dowski，Jr.和W.Thomas Cathe于1995年4月10日在Applied Optics中发表的题为“Extended depth of field throughwave-front coding”的文章中所述。

图3以示意性方式示出了标记为300的多相机阵列。多相机阵列300包括标记为301的透镜阵列(其包括标记为302的包括几个透镜)，和标记为304的一个或几个传感器阵列。多相机阵列300没有主透镜。透镜阵列通常是一个小型装置，通常被称为微透镜阵列。值得注意的是，具有单个传感器的多相机阵列可以被认为是主透镜具有无限焦距的全光相机的特例。事实上，具有无限焦距的透镜对光线没有影响。

例如，多相机阵列可以是如文献WO 2014149403 A1中所述的Pelican阵列相机，或者是由斯坦福大学在以下文章中开发的多相机阵列：题为“High Performance ImagingUsing Large Camera Arrays”，B.Wilburn等人，发表于ACM Transactions on Graphics，第24卷，第3期，2005年7月，第765-776页(Proceedings of ACM SIGGRAPH 2005)。

图4示出了如何通过在3D空间中使用标为402和403的两个平面来参数化标记为401的光线。每个平面402、403由两个法向矢量定义(对于平面402，矢量

对其进行定义，并且可以使用2D坐标系(即，由正交轴(x₁)和(y₁)定义的坐标系，并且对于平面403，矢量

对其进行定义，并且可以使用2D坐标系(即，由正交轴(x₂)和(y₂)定义的坐标系))。当光线与平面相交时，可能在3D空间中确定交点的坐标(其包括三个分量)。然而，为了获得光线的方向，必须使用另一平面来识别3D空间中的光线的方向。通过考虑用于参数化的两个平面是平行的并且具有已知的z值(在3D笛卡尔坐标空间中)，可以仅通过四个坐标(由正交轴(x₁)和(y₁)定义的2D坐标系统中的两个值，以及由正交轴(x₂)和(y₂)定义的的2D坐标系中的两个值)和对应于这样的光线的强度/辐射亮度的值L来识别光线(参见题为“Light Field Rendering”的前述文章中关于这样的参数化的更多细节))。因此，可以通过一对平面对可以被视为场景中的光线集合的光场进行参数化，并且将光场的每个光线表示为具有四个坐标的点(例如，光线401具有坐标

以及辐射亮度值

按照符号表示的惯例，光线的坐标被符号表示为

(这可能会引起误解，原因是术语x₁,y₁,x₂,y₂也提到轴)。

应当注意的是，也可以将光线投影(通过正射投影或正交投影)到标记为404的平面或标记为405的平面上。平面404是垂直于两个平面402和403的平面，其中3D笛卡尔坐标空间中的y具有恒定值。平面405是与两个平面402和403垂直的平面，其中3D笛卡尔坐标空间中的x具有恒定值。图5(a)、5(c)、5(e)和5(g)中示出了一些光线投影到平面404上的结果。然后，在图5(b)、5(d)、5(f)和5(h)中给出了相应地在图5(a)、5(c)、5(e)和5(g)中示出的光线的2D光线图中的表示。事实上，每个投影光线(如图5(a)、5(c)、5(e)和5(g)中表示)由2D光线图中的点表示(也如文献WO 2013/180192的图4B中解释)。因此，2D光线图中的点对应于投影光线。应当注意的是，类似的图可以通过考虑平面405上的投影而获得。

事实上，由于光场是四个变量的函数，因此一般而言很难说明。然而，我们可以采用2D切片，并且以两种不同的方式找出特定光线组如何映射到2D图形中。图5(a)至(h)显示了限制到x₁和x₂轴的这样的2D切片的两种不同表示。图5(a)示出了准直光线组，图5(c)示出了发散光线扇，图5(e)示出了会聚光线扇，并且图5(g)示出了会聚光线扇，其聚焦在平面403上。图5(b)、5(d)、5(f)和5(h)示出了将光场数据(即，具有其方向的光线)标绘到2D光线坐标系中的另一种方式，其可能更容易处理或创建，但更难可视化。

从图5(b)开始，我们已在2D光线图中标绘了具有各种入射角的准直光线组。当光线组与z轴平行时，则沿着45°线标绘每个光线(由于x₂＝x₁+常数)。当光线组指向上时，该线在2D图中向上移动，并且当光线组指向下时，该线也向下移动(负x₂))。结论是平行光线将成45°映射到线上，并且如果平行光线组与z轴成角度，则x₂线截距相应地移位。

图5(d)示出了发散光束。事实上，标绘了不同程度的发散。红线上的标记代表一组从无穷远发散的光线组。基本上，这意味着该组是准直的。图5(a)示出该线成45°并且x₁和x₂之间的关系是线性的。当发散点从无穷远向x₁轴移动时，2D光线图仍然是线性的，但是线的陡度随着发散量的增加而增加。

在极限处，如果光线组发散的点在x₁轴上，则光线将沿着2D光线图上的竖直轴x₂标绘。

图5(e)示出了会聚光线组。再次，红色标记线成45°并且代表从无穷远会聚的光束，其再次是平行的光线组。应当注意的是，当会聚点被拉向x₂轴时，光线将映射在斜率递减的线上。

图5(g)是当会聚点在x₂上时的极限，聚焦光线组，然后图上的所有光线都在水平轴上。

应当注意的是，在使用两个2D光线图(从投影到平面404上导出的光线图(参见图5(a)、5(c)、5(e)和5(g)，表示为Π(x₁,x₂)，和从投影到平面405上导出的光线图，表示为Π(y₁,y₂))表示光线的情况下，有必要存储另一信息，其能够进行一个2D光线图中的点(即，Π(x₁,x₂)中的点)和包括在另一2D光线图中的点(即，Π(y₁,y₂)中的点)之间的联系，反之亦然。在图26中，对于采样光场中的所有光线描述了能够绕过这样的显性附加信息的存储的技术。然而，为了理解这样的技术，考虑图6至24，应当给出一些评论和注解。

图6示出了随机光线扇的2D光线图。

为了生成随机光场，可以使用均匀随机数发生器。然后将2D光线图作为光场的基本表示，然后以简单的方式从格式再生光场的选定部分。

x值将在[-10；10]上延伸，传播方向为z，用于参数化的第二平面置于z＝1处，并且光线将被分配随机方向。为了生成均匀分布的随机光线方向，更好的是用均匀数字发生器随机生成x₂分量，例如在[-15；15]内。图6示出了对应的2D光线图。正如预期，在||x₁||＜10和||x₂||＜15内的任何地方都有光线，其中||.||是欧几里得范数。

我们希望在这里得到先前在图5(a)-(g)中确定的观测结果的证据。它将给我们一些特定绘制的公式。尤其需要回答的问题是：如何绘制视点，如何重新聚焦别处，2D光线图中的哪些光线用于什么目的？在像图6的光线图的2D光线图中可能会有数百万个点。我们是否需要测试或跟踪它们中的所有以绘制某个特定图像？

在计算机图形学中，绘制使用针孔相机来生成图像。通过在平面前方的一定焦距的微小孔过滤光场，在该平面上形成图像(参见例如前面提到的题为“Understanding camera trade-offs through a Bayesian analysis of light field projections”的文章)。因此，绘制图像是“孔”的问题。从光线观点来看，这相当于搜索光线组的会聚或发散。

图17示出了用于分析光场和光线图之间关系的符号。从该图，如果z₁≠z₂，并且z₃≠z₁：

作为方程1引用的该公式将针孔或视点(x₃,z₃)与记录的光场参数(x₁,z₁,x₂,z₂)联系，所述参数是2D光线图中的位置，因为z₁和z₂是已知的。从前部分预期，方程1是ax+by＝c形式的线。同样，正如预期，它的斜率(x₁的系数是在z₃处的绘制针孔到平面之一的深度的函数，并且y截距是针孔的离轴位置x₃的函数。我们现在考虑该方程的一些极限情况：

a)轴上准直光线扇(z₃→±∞，x₃＝0)

如果z₃→±∞且x₃＝0，则存在平行于z轴和来自方程1的准直光线扇，

其确实是线性关系x₂＝x₁。因此，如果从图6的2D光线图，我们只选择和绘制符合关系x₂＝x₁的光线，我们将只跟踪来自平行于z轴传播的光场的光线。

b)离轴准直光线扇(z₃→±∞,x₃≠0)

对于离轴准直光线扇，z₃和x₃之间有仿射关系：x₃＝az₃＋b，使得如果我们将其代入方程1：

a(z₂-z₁)，其在图5(a)中示出，其中离轴光束是45°线，其中y轴截距随着准直光束与z轴的斜率而变化。再次，如果从2D光线图，我们只选择和绘制符合关系x₂＝x₁+c的光线，我们将跟踪来自整个光场中的光线，其作为相对于z轴成某个角度的平行光线组传播。图7(a)和7(b)正好示出了该情况，通过从图6的2D图中选择光线，我们看到离轴平行光线被跟踪。事实上，图7(a)和7(b)示出了来自图6的2D光线图的光线的光场过滤和重建。更确切地说，图7(a)示出了根据选择标准||L_2D(x₁,x₂)-(x₁+5)||＜0.1选择图6的2D光线图中的光线，其能够选择具有方向传播的平行光线组，如图7(b)中所示。事实上，图7(b)示出了从图6的2D光线图中的选定光线重建的光场。

c)聚焦光线扇

所谓“聚焦”是指会聚到z＝z₂处的第二采样线之后的点的扇。在该情况下，我们使z₃＞z₂和z₂＞z₁，于是方程1可以写成

并且条件z₃＞z₂和z₂＞z₁，意指

and

轴上光线扇会聚到x₃＝0，类似于图5(e)和5(f)，该关系描述倾斜角小于45°(α＜1)的线。

让我们来证明这是如何实际使用的。我们假设有两个平面采样的光场，我们从其建立光线图。我们仍处于4D光场的2D切片中。该光线图是来自图6的光线图。我们也假设我们想绘制三个视图。为此，我们定义三个针孔，或者z＝z₂之后的三个点，光线应当会聚到那里。我们现在知道可以沿着线x₂＝αx₁+βx₃在2D光线图上选择那些光线，其中|α|＜1。

我们定义分别位于位置C₀(z₃＝+2,x₃＝0)，C_-1(z₃＝+2,x₃＝-2)和C₊₁(z₃＝+2,x₃＝+3)的三个相机。我们设置z₁＝0和z₂＝1。一旦在方程1中设置那些值，我们必须选择符合以下三个关系的2D光线图上的光线：

图9示出了图6中的光线的选择，选择标准为||L_2D(x₁,x₂)-x12≤0.1。图10示出了选定光线(如图9中选择)的绘制。

d)发散光线扇

“发散”表示似乎从z＝z₁处的第一线之前设置的点(z₃＜z₁，x₃)发散的光线扇。使z₃＜z₁＜z₂，我们得到z₂-z₃＞z₁-z₃＞0，然后斜率α为：

发散光束以大于45°的斜率作为线映射到2D光线图中。

e)第一参数化线上的发散光线扇

发散点可以置于z₃＝z₁处。在该情况下，方程1可以被重写，并且我们得到x₁＝x₃。为了对看起来从第一平面发散的那些光线进行光线跟踪，我们必须在2D光线图上选择竖直线。

f)第二参数化线上的会聚光线扇

从方程1，如果我们设置z₃＝z₂，那么我们得到x₂＝x₃。会聚到第二平面的光线扇作为2D光线图上的水平线映射。已用(z₃,x₃)＝(1,5)获得了图11和12。

g)真实透镜的情况

针孔是抽象的对象，如果我们想通过使用真实透镜模型来绘制光场，我们需要知道透镜的入射瞳孔的位置和尺寸，并且然后在光线图中选择将通过入学瞳孔的那些光线。如果入射瞳孔在(z_l,x_l)处，并且如果它具有光圈直径A且透镜轴与z平行，那么我们需要在光线图中选择其坐标满足方程1的光线图的所有光线点，但是x₃在

内变化。

在图13和14中，入射瞳孔在(z_l,x_l)＝(4,7)处，其尺寸A＝6，并且由于该尺寸，2D光线图中有平行线的整个集合，其需要被选择并且跟踪属于整个线集合的光线。

现在，我们关注对2D光线图应用拉东变换的观察结果。如前所述，如果有光线朝其集中的针孔，则那些光线的两个平面参数化表示为2D光线图中的线。为了便于说明我们设置由三个相机的两个组捕捉的光场。相机的第一组处于第一深度(x₃,z₃)＝{(10,2)；(2,2)；(-5,2)}，并且第二组处于另一深度(x₃,z₃)＝{(6,14)；(-3,14)；(-9,14)}。所有相机具有0.1单位(单位可以是米，厘米等)的入射瞳孔。参数化平面设置在z₁＝0；z₂＝1，并且平面的尺寸为|x₁|≤10；|x₂|≤10单位。两个平面都由1000个单元进行采样，使得2D光线图表示为1000×1000像素图像(参见图15)。

然后，如前所述，仅通过观察图15(其是三个相机的两个组的2D光线图，第一组具有设置在平面z₃＝2处的针孔，并且第二组设置在平面z₃＝14处，我们看到有三个线的两个组，每组设置在不同深度处，原因是在2D光线图上，不同的深度会导致不同的斜率。因此，从该观察结果我们可以看到在该图中，只有某些线对于传输或对于绘制光场是重要的，使得有空间来充分压缩该表示。

定义来自2D光线图的哪些值重要的一种自然方法是检测来自图的所有线。这可以通过使用拉东变换来实现。以奥地利数学家Johann Radon命名的二维拉东变换被定义为由直线上的函数积分组成的积分变换。

该变换将2D光线图映射到有效表征光场的参数空间中。图16是正弦图，其是对图15的2D光线图应用的拉东变换的可视化。我们看到它在三个的两组中具有六个局部最大值。第一个沿着线θ≈42，并且第二个沿着θ≈27度。

图17示出了用于3D空间中的一般视点绘制的坐标系。

由于图4中描述的参数化，也可以证明我们想要绘制参数化光场的点(这样的点位于z＝z₃处的平面中，参见图17)和与参数化过程中使用的两个平面(参见图17中分别在z＝z₁和z＝z₂处垂直于z轴的两个平面)的交点之间的以下关系成立：

(z₂-z₃)(x₁+y₁)+(z₃-z₁)(x₂+y₂)＝(z₂-z₁)(x₃+y₃)

由于所有的z_i都是已知的，作为方程2引用的该方程的唯一参数是四个参数(x₁,y₁,x₂,y₂)。方程2基本上意味着通过点(x₃,y₃,z₃)影响(或会聚到，或等效表述将是“形成图像”)的所有光线将其4个坐标联系。

也应当注意的是，方程2定义了

中的超平面(参见题为“Polyhedral geometry and the two-plane parameterization”的文章，X.Gu等人，在Rendering Techniques'97中发表，Proceedings of the Eurographics Workshop in St.Etienne，法国，6月16-18，1997。

再次，这意味着如果我们想要从双平面参数化光场绘制图像，我们将只绘制超平面附近的光线。不需要全部跟踪它们。当然一切都表现良好，因为我们总是在传播方向或绘制方向上选择参数化平面。

关于2D中的表示格式的一些注解

如果光场由两个平面参数化，则其在相空间(即，4D光线图)中的表示占据4D空间的一部分。由于平面具有有限的尺寸，因此该相空间中的全光函数的4D支持是紧凑的。我们可以估计存储以该方式参数化的光场所需的空间。让我们考虑2D切片的情况和整个4D情况。让我们也假设平面由1000×1000个单元进行采样。这意味着2D相空间由1000×1000个单元的矩阵表示，而4D相空间由1000⁴个单元的矩阵表示。如果与单元关联的光线的光谱由用8位量化的三个带(通常是红色(R)，绿色(G)和蓝色(B))采样，则该颜色被存储为24位或3字节值。我们可以看到，在该特殊情况下每个4D表示需要2.8TB的存储空间。

从图15我们也看到矩阵将非常稀疏地填充，将会有很多没有任何值的单元，并且该情况通常与光场有关，原因是它将由离散采集手段捕捉。4D表示矩阵甚至将更少比例地填充，使得处理巨大的矩阵是没有意义的。与稀疏矩阵表示类似，也许我们可以找到避免它的方式。

我们也已看到，对于2D切片表示，光线确实沿着线的附近映射。在4D的情况下，它们在超平面附近映射。

让我们将下面的讨论限制在2D情况。由于我们有手段通过离散拉东变换找到线的参数，我们可以定位存在代表性值的矩阵的区域。

为了说明解释，我们将举例说明后面提到的主要构思。图18示出了标题中描述的系统的2D光线图。更确切地说，图18示出了由位置x₃＝2，z₃＝2处的一个相机捕捉的光线的2D光线图，其中光圈为|A|＜0.5，并且其中用于参数化的线由256个单元进行采样。如果图18中所示的图像被解释为矩阵，我们可以看到其是非常稀疏填充的。出现的问题是：如何可能从该矩阵只提取代表性数据？将其存储在文件中的最佳方式是什么(当然是以结构化的方式)？即使光线单独保存在文件中而不是4D相空间矩阵中，对于每个光线，这也需要保存用于每个位置x_i或y_i的至少2个字节加上用于颜色的3个字节。这对于2D切片光场的每个光线，是7个字节，并且对于其完整4D表示，是11个字节。即使如此，光线也会随机存储在文件中，这对于需要处理表示的很多应用程序来说可能是非常不适宜的。

数字线束

由于我们知道光线是沿着线进行映射的，因此更高效的是按顺序存储线的参数(相关斜率s和截距d)，然后存储属于该线的光线集合，然后存储下一个线的参数和相应的光线，等等。

这需要用于s的2个字节和用于d的2个字节，以及每个光线的仅仅3个字节，如果我们忽略与颜色数据相比的线参数开销，其相应地为2D和4D光线表示提供1:2和1:4的压缩比。而且，光线将沿着文件中的线排序。为了通过矩阵单元设置线，我们需要定义以最小误差接近它们的所谓的数字线。我们遵循在专用于离散拉东变换的文献中定义的的通用定义和数字线(参见例如题为“A fast digital radon transform-an efficient means for evaluating the hough transform”的文章，W.A.

和H.J.Druckmüller，在PatternRecogn.中发表，28(12)：1985-1992，1995年12月，以及题为“Discrete Radon transform has an exact，fast inverse and generalizes to operations among any summs along lines”的文章，W.H.Press，Proc.Natl.Acad.Sci.USA，103(51)：19249-19254，2006)。

在该阶段，数字线是用Bresenham算法生成的。更高级的递归型数字线生成将在稍后说明。从先前的参考文献，数字线由网格的两个点(0,d)和(N-1,s)定义，其中参数s通过以下方程与线的斜率耦合：

其中s∈{0,1,…,N-1}。d是截距并且d∈{0,1,…,N-1

例如参见图19，图19是d，s和数字线的x轴的编号的图示。正如我们先前所见，我们可以将数字线限制到一个卦限，在

内的第一卦限，或第二卦限

到现在为止，我们只有线的两个点。这对于分析线来说足够了，但是现在我们还必须提供接近分析线的网格点。获得数字线最直接的方式是将分析线舍入到最近的网格点。Bresenham的算法提供了以最小操作数完成它的方式，而在前面提到的文章中开发的方法提供了更好地适用于快速离散拉东变换计算的替代定义。Bresenham实现方式已从以下参考进行了调整：http://www.cs.helsinki.fi/group/goa/mallinnus/lines/bresenh.html。如前所述，分析被限制到一个卦限。在该特殊情况下，我们使0≤a≤1，使得d≤s。

现在考虑具有相同斜率a但截距d不同的数字线的系列，并且该线系列是连续的。该数字线系列将被命名为“束”。图20示出了根据该定义的6个数字线的束，具有相同的s-d值，但是具有不同的d截距。该线束所击中的区域内的特定像素仅属于一个唯一线。

因此，总起来说，由采样的一对线(在2D中)参数化并属于一个相机的光线数据属于用于表示数据的相空间中的数字线的系列(束)。束的标头可以简单地包含束的斜率a和厚度d_max-d_min。光线值将作为RGB颜色沿着数字线存储，其标头可以是d和s。该文件不会存储光线图采样空间的空单元。它也不会存储光线的坐标x₁，x₂，后者将从d，s和从沿着数字线的单元的位置推导。图21是考虑这些注释的格式描述，如后面所述。

用于表征数字线束的离散拉东变换

为了使以前的格式可实现或可用作交换和绘制基础，至少希望能够测量或猜测必须在格式内部写入的基本参数。需要从光场或从相机的几何结构估计的参数是斜率a，数字线截距的下限和上限(d_min,d_max)，以及数字线参数(d_i,s_i)。已讨论了离散拉东变换作为测量光线图中光场的支持位置的工具。

图23示出了数字线参数空间(d,s)中的离散拉东变换，其不应当与正弦图的(ρ,θ)空间混淆。

更确切地说，图23示出了来自图18的分布的离散拉东变换，图24示出了图23中包括的感兴趣区域的放大。通过搜索最大值参数而发现数字线束。由于图像内容，DRT的几何对称中心和最大值的实际位置之间可能存在一些偏移，使得稍后必须找到算法来针对对称中心而不是最大值。不是沿着积分线对RGB值进行求和，而是可以通过沿着积分线对每个单元的多个光线求和来完成找到没有内容偏差的最大值，其更多地是Hough变换(Radon的二进制版)。然后，如图24所示的束变换的收敛部很容易找到，并且其直接给出格式中使用的值(d_min,d_max)。事实上，点(d_min＝74,s＝201)是来自图18的数字线束的下包络，并且(d_max＝81,s＝208)是数字线束的上包络。

一旦我们获得那些值，我们就可以开始将数据填入图21所指定的格式中。

正交2D拉东变换对超平面位置的评估

a)原理

也许在表示光场的该方法中最令人害怕的是在4D空间中定位光线数据的超平面的必要性。在下面的分析中，我们将说明我们可以通过仅仅两个正交的2D DRT来评估整个超平面的位置和体积。

让我们从方程2写下两个正交2D切片空间的方程。

(z₂-z₃)(x₁+y₁)+(z₃-z₁)(x₂+y₂)＝(z₂-z₁)(x₃+y₃)

如果我们取2D切片用于x_i坐标，那么在(x₃,y₃,z₃)处通过尺寸A的光圈的光线数据将映射的线束的方程为：

类似地，如果我们取2D切片用于y_i坐标：

根据前面的章节，我们可以在离散域中评估m以及

的值。

为了定位由前面讨论的格式定义的光场特性，不需要执行4D离散拉东变换。如果我们进行两个正交2D DRT，我们可以测量超平面的斜率m和数字超平面的束宽度，其中所有数据将集中在4D光线图中。

该更简单的定位过程假设圆形入射瞳孔A，使得

将包含所有的超平面截距，在该格式中写入的一些值将不包含任何值。

b)示例

让我们将第3章节的示例扩展到4D情况。假设我们有一台相机位于(x₃,y₃,z₃)＝(2,5,2)处。(即，相机位置是(x₃,y₃,z₃))x中的采样光线图中的2D切片将与图18中所示的相同，并且2D-DRT是来自图23的一个。图25还示出了在y2D切片中的正交2D-DRT。更确切地说，图25示出了两个2D光线图：Π(x₁,x₂)和Π(y₁,y₂)，以及应用于这些2D光线图的离散拉东变换的结果。

从2D-xSlice DRT，我们得到超平面的斜率的评估m＝0.5059，并且从2D-ySliceDRT，得到另一独立评估m＝0,4980。从章节a)中的方程，真值是m＝0.5。该小差异来自于我们变换数字线束的事实。因此2D拉东变换的最大值是宽泛的，并且在最大值的评估中存在不确定性。从收敛部的测量结果，在两个2D-DRT上，我们发现对于x中的束包络，

s＝208，

s＝201，对于y中的束包络，

s＝214，

s＝208。那些值正是预期的。

现在仍然需要找到一种将图21中引入的格式扩展到4D情况的方式。

c)多相机的情况

如果我们具有属于多相机系统的光场，我们可以继续利用DRT的线性来递归地估计每个相机占用的参数量。

我们可以开始进行两个正交DRT并寻找最大值和属于该最大值的数字超平面的包络。一旦我们拥有了所有的参数，我们就可以从4D光线图或从存储它们的文件删除所有光线，并且再次通过一对正交DRT开始以定位第二最大值，依次类推，直到我们清空4D光线图。

我们希望获得4D情况的格式，其类似于2D情况提出的格式，即图21中的表格。为此，我们希望将Π(x₁,x₂)平面上找到的2D线与Π(y₁,y₂)平面上找到的线(即，作为对应超平面与Π(x₁,x₂)和Π(y₁,y₂)的两个正交切片相交的结果的线)关联。从章节a)中提到的方程，我们知道对应的线具有相同的斜率m。对于处于某个深度的相机，这是将Π(x₁,x₂)上的每个线与Π(y₁,y₂)中的线关联的第一参数。现在，如果我们具有处于相同深度的多个相机(即，图15的情况)，则我们在Π(x₁,x₂)中有三个线并且在Π(y₁,y₂)中有三个线，其具有相同的估计斜率m。然后我们需要确定这两个平面中的线之间的线偏移的对应性。为此，我们利用章节a)中提到的方程中的线的公式。特别地，表示

我们得到如下偏移：

以及

我们可以求解k，x₃和y₃的这些方程组。应当注意，(x₃,y₃,z₃)是相机的坐标，或换句话说，投影的中心，其也是相机的半径A的出射瞳孔的中心。我们假设位于z₃处的平面上的光圈为圆形，使得

并且通过求解以前的方程组：

现在，我们使用Bresenham数字线在Π(x₁,x₂)上扫描与之前相同的数字线。对于Π(x₁,x₂)中的每个单独的(x₁,x₂)值，我们需要存储Π(y₁,y₂)中的对应的(y₁,y₂)值，其在光场中捕捉。为了找到这样的值，我们利用方程2。以下所有都是已知的或者是根据前面提到的方程估计的。

现在在Π(x₁,x₂)中的每个线上移动，对于每个

我们在(y₁,y₂)中得到以下关系：

因此，

应当注意的是，在我们想要在该格式中存储线Π(y₁,y₂)中的线参数(而不是在Π(x₁,x₂)中识别的线的线参数)的情况下，可以应用相同的公式以便从Π(y₁,y₂)中的线的点恢复Π(x₁,x₂)中的对应值。

在相机的光圈是半径为A的圆的情况下。所以，变量y₃ ^*在y₃±A之间变化。作为结果，对于Π(x₁,x₂)中的每个点，我们需要保存Π(y₁,y₂)中的线的集合。所以，

对应于针对

需要扫描和保存的线的偏移。为了说明这是如何工作的，我们可以参考图20。每一个有色方块是

点，并且对于这些点中的每个点，存在Bresenham数字线的集合，其沿着由方程

定义的数字束从图的平面伸出，垂直于所描绘的，但是在4D空间中。

现在，紧凑的光场表示格式定义如下(参见图22(a))：我们首先提供4D空间的一般元数据：4个轴的边界及其对应的采样。然后我们提供相机(束)的数量。对于每个相机，我们在表格中创建块，并且保存相机j的以下参数：

-cam_j对应于光圈的尺寸A_j；

-焦点＝(x₃,y₃,z₃)；

-(x₁,x₂)中的最低cam_j截距，标注为d_j；

-m_j，其对应于cam_j陡度；

-

其对应于cam_j的(x₁,x₂)中的数字线的数量；

-

其对应于cam_j的(y₁,y₂)中的数字线的数量。

然后在该相机上，对于每个

我们开始扫描(y₁,y₂)。相对于使用Bresenham数字线的方程

并且我们保存RGB值。特别地，将y₃ ^*从y₃ ^*-A变为y₃ ^*+A，并且根据

计算对应的d_off。使用存储的元数据在解码步骤中执行相同的计算。特别地，通过确

找到k。因此，格式保持紧凑。我们不需要为系统中的每个光线存储四个索引。此外，应当注意，我们假设光圈尺寸是已知的，并且对于所有相机都是相同的。然而，我们建议为每个相机保存它以保持格式通用。

应当注意的是，上面的超平面采样是4D光线空间的采样，并且我们确信不会丢掉单个的x₁y₁,x₂,y₂位置。

这只是系统扫描4D光线空间以便将所有数据保存为非常紧凑的形式的示例。当然可以有其他的方案。参数形式似乎适用于探索超平面，原因是它允许交织空间探索。

多相机的情况

为了处理包含几束超平面的数据(由于多个相机而产生的拉东变换中的几个最大值)，我们可以使用贪婪算法。作为预处理步骤，在Π(x₁,x₂)上的拉东变换中找到所有峰值的参数(m,k)，并且将其置于一个集合中。对于(y₁,y₂)中的峰值也是这样做，并且将参数置于另一集合中。现在，在贪婪算法的每次迭代中，在(x₁,x₂)的2D拉东变换中找到最大峰值强度，并且通过匹配先前找到的参数(m,k)找到(y₁,y₂)中的对应峰值。在保存如上一章节提到的数据之后，将这些峰值将从拉东变换清除，然后开始下一次迭代，直到光场中没有留下任何有意义的东西。

应当注意的是，图22(a)中的情况仅限于一个光板。然而，当使用六个光板时，它可以推广到该情况。图22(c)和22(d)示出了对象(企鹅)，其可以被封闭在双盒中，该盒的侧面用于建造光板以便参数化通过放置在双盒/立方体的外部的一些随机分布的相机捕捉的发射光场。因此，可以扩展图22(a)的文件格式以保存六个光板的标签。+z先前已经被假设，但是可以添加-z,+x,-x,-y,+y以具有整个光场的完整参数化。

然后，六个取向的每一个然后被分配坐标系以用于参考参数化平面。假设我们想要参数化方向w∈{-z,+z,+x,-x,-y,+y}。该方向被分配具有分量(u,v,w)的坐标系

平面设置在w₁和w₂，并且它们的尺寸为u_min,u_max和v_min,v_max。4D光线空间将具有u₁,u₂,v₁,v₂内的分量。

图22(b)示出了图22(a)中的格式的概括。图22(b)仅示出了两个光板，但一般而言，取决于应用以及场景，也可以包含一到六个之间的区间的任何数量。值1将是仅在一个方向上的光场传播的格式，而值6将是在所有方向上的光场传播。应当注意的是，用于参数化光场的平面不是立方体/盒的必要面，并且每个平面不需要对其尺寸进行限制，从而构造凸面立方体。

图26(a)示出了用于提供紧凑的光场表示的方法的一些步骤。

在本公开的一个实施例中，将光场内容提供给电子装置。这样的光场内容可以是例如先前详述的4D光场数据或光线的两个平面参数化。

在标记为2000的步骤中，如果光场内容不是通过使用两个平面的光线参数化来表示，则通过使用两个平面来完成光场内容的光线的参数化。图26(b)示出了合成方案，其示出了从4D光场数据或常规2D图像转换为基于通过使用两个平面进行的光线参数化的表示，其对应于所述步骤2000。

然后，在标记为2001的步骤中，完成在一个平面上(在平面405或平面404上)的光线投影，并且完成2D光线图的生成(即，在使用平面404上的投影的情况下为2D光线图Π(x₁,x₂)，或在使用平面405上的投影的情况下为2D光线图Π(y₁,y₂))。显然，所述一个2D光线图的生成可以从两个参数化平面的采样直接获得。

在标记为2002的步骤中，将离散拉东变换应用于在步骤2001中输出的2D光线图(即，取决于输出步骤2001，将离散拉东变换应用于Π(x₁,x₂)或Π(y₁,y₂))以便识别2D光线图中的一些感兴趣线。

在标记为2003的步骤中，在步骤2002中使用Bresenham算法以便编码识别线。它递送例如识别线参数d和s。在变型中，它只递送参数d和识别线的斜率。在几个识别线属于一束的情况下(如前所述)，可以存储该束的斜率和厚度。

在标记为2004的步骤中，以紧凑的方式存储光场内容。事实上，由于可以将步骤2002中的识别线与另一2D光线图中的线关联，因此不必将坐标存储在所述另一2D光线图中。事实上，在步骤2001中输出的2D光线图对应于2D光线图Π(x₁,x₂)的情况下，我们知道Π(x₁,x₂)中的识别线必须与2D光线图Π(y₁,y₂)中具有相同斜率的线关联，并且更确切地说，下面的方程成立：

于是，对于识别线上的每个点(即，具有坐标

的点，其不必明确地存储，原因是其属于识别线)，存储“穿过”点集

中的点的对应光线的值(即，RGB值)。然而，在一些情况下，对应的光线不存在，并且存储空值。例如，取示出识别线的图19中的值，然后当电子装置必须存储光场内容时，将存储“穿过”坐标x₁＝0，x₂＝5，y₁＝0，以及y₂＝m.0+d_off(0,5,x₃,y₃ ^*)的光线(或更准确地说，这样的光线的投影)的值(即，RGB值)，以及“穿过”x₁＝0，x₂＝5，y₁＝1，以及y₂＝m.1+d_off(0,5,x₃,y₃ ^*)的光线的值(即，RGB值)，等等，直到y₂超出平面的边界(例如，不存储“穿过”x₁＝0，x₂＝5，y₁＝15，以及y₂＝m.15+d_off(0,5,x₃,y₃ ^*)的光线的值(即，RGB值)，原因是它超出平面的边界。然后，将存储“穿过”坐标x₁＝1，x₂＝6，y₁＝0，以及y₂＝m.0+d_off(1,6,x₃,y₃ ^*)的光线的值(即，RGB值)，以及“穿过”x₁＝1，x₂＝6，y₁＝1，以及y₂＝m.1+d_off(1,6,x₃,y₃ ^*)的光线的值(即，RGB值)，等等，直到y₂的值超出平面的边界。对于识别线上的每个点重复相同的过程(即，直到点x₁＝15，x₂＝13的处理)。当属于在步骤2002中识别的线的所有点已被处理时，以该紧凑方式编码光场。

图26(b)示出了合成方案，其示出了从4D光场数据或常规2D图像转换成基于通过使用两个平面进行的光线参数化的表示。

在一个实施例中，应当注意的是，可以通过像素反向跟踪操作从传统相机(即，从包括像素的集合的常规2D图像)获得对应于粗略/平均光场表示的光线组。

在本公开的一个实施例中，输入的4D光场数据(例如通过全光相机或相机阵列获得)包括可以从其提取光线集合的像素的集合。为了提取这样的光线集合，用于转换的方法包括可以将像素转换成光线的像素反向跟踪方法/操作。事实上，由于可以将4D光场数据的表示之一转换成子光圈图像的集合(即，在相同或接近的时间拍摄的来自不同视点的图像的集合，每个图像可以与像素传感器虚拟地关联)，因此通过对包括在子光圈图像的集合中的每个图像应用像素反向跟踪，可以获得4D光场数据的光线表示。

一旦已从像素(或虚拟像素)提取光线组，参数化操作由电子装置执行。这样的参数化操作包括使用两个平面(显然，这些平面是有限平面)以便将光线表示为4个坐标(即，光线与两个平面的交点的坐标)。

在下文中，给出了与从“常规”2D图像进行像素反向跟踪操作有关的细节(然后，将该像素反向跟踪操作应用于子光圈图像的集合中包括的几个(或全部)图像，以便获得4D光场数据的光线表示，如前所述)。为了简单起见，我们假设相机的投影中心位于(0,0,0)，图像平面以(0,0,f)为中心。相机未旋转；其主轴指向Z方向。我们也假设像素是正方形，使得m_u＝m_v＝m像素/米。最后，图像平面以这样的方式平移(t_u,t_v)使得左下方的像素位于(u＝0,v＝0)。像素由它们的列索引对(i,j)寻址。如果I是像素(i,j,1)中的图像位置矢量，则像素和通过中心投影映射到该像素的点P(X,Y,Z)之间的关系为：

并且现在，m，f，t_u，t_v从校准步骤获知，反向跟踪像素简单导出：

K^-1I＝P

P是3D空间中的点，从像素(i,j)发出的光线将穿过所述点。因此我们有一个位置P，得到该方向是证据的问题，原因是该光线也穿过(0,0,0)，方向是矢量P(X,Y,Z)。

该示例说明了如何反向跟踪像素，或换句话说，如何从像素转到光场。

在处理4D光场数据的情况下，可以使用多相机模型(即，相机与每个子光圈图像关联)。

参数化是用一些标签唯一识别每个光线的处理。当光线穿过位置并且具有方向时，最直接的参数化将是混合空间和方向坐标的6个实数的集合(x,y,z,u,v,w)。为了简单起见，我们将在这里采用先前已经讨论的双平面参数化。经常被问到的问题是那些平面相对于采集系统放在哪里。通常在文献中，特别是对于全光相机，为了便于计算，一个放置在传感器上，另一个放置在小透镜阵列或主透镜上。那些位置应当避免，原因是微透镜有厚度，因此我们到底应当将平面中的一个放置在哪里？主透镜具有非常复杂的透镜规定，其是未知的。因此在一个实施例中，解决方案是将平面放置在采集系统的外部。

我们假设在z＝z₁处有一个平面并且在z＝z₂处有另一平面，其中z₂＞z₁。我们可以找到已从像素(i,j)反向跟踪的光线的参数：

一旦写出方程组，两个第一条直线必须除以z₁，因为它是均匀坐标的规则。

来自与第二平面的交点的第二组参数也可以写为：

由于配对(z₁,z₂)是已知的，因此我们可以从前面的推导看出，该光线可以用

唯一地描述。另外，光线被分配RGB值。因此，为了在该参数化中表示光线，我们需要4个浮点数和3个字节，总共19个字节(但我们目前还未对光线空间进行采样)！在基于图像的格式中，元数据仅由2个浮点数和3个字节表示。因此我们可以看到，该参数化为内容添加大量数据，并且通常，光场是四维数据集，它需要大量的存储空间，而这实际上不可管理。

图26(c)和图26(d)示出了如何从像素(或虚拟像素)传感器“提取”光线。事实上，从标记为261或264的像素(或虚拟像素)，可以获得主光线(标记为262或263)(即，通过像素位置处的圆锥(标记为265的圆锥)的峰部传到圆锥的基部的中心(基部被定义为相机的主透镜尺寸的函数)的光线)。

应当注意的是，在用于参数化的两个平面的采样太宽的情况下，当使用图26(a)中所述的方法时，仍然可能发生丢失数据或像素串扰。在本公开的一个实施例中，下面描述与用于对参数化平面进行采样的技术有关的细节。这样的技术使得能够以这样的方式在图21和22中所述的光场格式中填充数据使得采样避免丢失数据或像素串扰。

图27(a)示出了用于导出根据本公开的一个实施例的方法的采样步骤的参数。图27(a)中的视图对应于平面P上的投影。应当注意的是，这样的平面与Π(x₁,x₃)或Π(x₂,x₃)等相同。

图27(b)对应于具有一些附加元素的图17的3D表示。

更确切地说，让我们假设我们有一个相机开始，并且让我们将分析限制到2D切片而没有一般性的任何损失。焦距为f的相机的投影中心在坐标(x₃,y₃,z₃)处，并且我们具有在深度z_f处的像素阵列，其中z_f-z₃＝f。像素间距是p。事实上，标记为272的像素阵列(也称为像素传感器)包括像素元素，每个元素具有等于p²的表面。

标记为277的带有蜡烛的生日蛋糕表示从其发射光线的对象空间(即，真实场景)中的对象，并且它们穿过相机的投影中心，该相机也被简称为相机，位于3D空间中的坐标(x₃,y₃,z₃)处。这样的相机具有标记为A的光圈(即半径为r的圆)。

从等效三角形和从图27(a)，我们可以建立以下方程：

其导致图27(a)中标记为270的光线到达Π₂上的位置：

对于相邻像素，来自图27(a)标记为271的光线，同样可以写成：

如果我们设置z_f-z₃＝f，并且我们希望来自像素传感器272的每个像素接收一个光线，并且该光线被两个平面唯一地参数化，则x₂(和/或x₁)上的最大采样间隔为

(相应地

应当如下界定：

如果我们不将分析限制到2D切片，这同样适用于y采样步骤。

因此，以下方程也成立：

在这样的实施例中，两个平面(x₁,y₁)和(x₂,y₂)在外部被全局选择并且对于采集具有生日蛋糕277的场景的所有相机是共同的。平面(x₃,y₃)位于每个相机的光圈上。

图27(c)示出了用于执行光场参数化的平面的离散化。为了在图27(a)和27(b)中详述的配置中在像素传感器上仅具有一个光线，必须使标记为275和276的离散化平面满足前面提到的限制。

例如，像素间距可以等于4μm(全帧相机)，参数f＝50mm，值z₃-z₂＝5m和z₃-z₁＝6m。如果传感器包括6000x 4000个像素，则离散化平面包括6000个单元(在平面x₁,x₂中)和4000个单元(在平面y₁,y₂中)。

现在，我们假设我们有多个相机，其投影中心位于

焦距为fⁱ，并且像素间距为pⁱ，那么确保每个光线将被唯一映射到光场光线文件格式中的两个平面上的最大采样步长为：

如果我们不将分析限制到2D切片，那么同样的方程组适用于y维度。参数化平面上的采样间隔可以小于该值。唯一的影响将是缺乏存储效率，但它绝不能大于那些值。

应当注意的是，本技术也可以用于估计与半径A关联的坐标x₃,y₃,z₃处的投影中心处的强度。

强度的这样的估计可以通过电子装置完成，所述电子装置执行x₁,x₂平面和y₁,y₂平面的拉东变换上的对应区域的求和。特别地，将

和

之间所捕捉的强度求和以提供平面Π(x₁,x₂)上的强度的一个近似值。对于Π(y₁,y₂)同样做以获得结果，并且最后将两个值求和以得到投影中心处的强度的最终近似值。应当注意的是，该技术只能给出投影中心处的光强度的近似值，并且只有在投影中心之间的相对强度是感兴趣的时才能使用。

在本公开的一个实施例中，两个平面(x₁,y₁)和(x₂,y₂)在外部被全局选择并且对于所有相机是公共的，并且平面(x₃,y₃)位于每个相机的光圈上，并且z₁，z₂和z₃被定义为正的。在该情况下，m的更大值(在前面提到的方程

中)意味着z₃的更大值(注意

)。具有两个不同值m₁和m₂的两个束，如果m₁＞m₂，可以推断第一束在某些坐标中由第二线遮挡。所以，第一束上的对应坐标的光线强度是未知的。

图26(a)中描述的方法能够获得以高效方式编码的光场内容(即，这样的光场内容的存储大小紧凑)。然而，应当注意的是，在真实场景中，可能发生一些遮挡，如图28中所示。图21和22中所述的建议格式没有解决场景中存在遮挡的问题，意味着遮挡场景的部分的信息也被存储。

使用特定或附加特征可以克服该问题，并且能够获得更高效编码的光场内容。图28示出了场景(包括两个对象)，通过使用相机从所述场景获得图像。更确切地说，图像从两个相机的三个组获得。

应当注意的是，相机的组被定义为在相同深度平面中的相机的集合。

第一组包括第一相机和第二相机，其分别具有笛卡尔坐标值

和

其中

第一相机也与光圈值A₁关联，并且第二相机与光圈值A₂关联。

第二组包括第三相机和第四相机，其分别具有笛卡尔坐标值

和

其中

第三相机也与光圈值A₃关联，并且第四相机与光圈值A₄关联。

第三组包括第五相机和第六相机，其分别具有笛卡尔坐标值

和

其中

第五相机也与光圈值A₅关联，并且第六相机与光圈值A₆关联。

图28示出了一种配置，其中发生相机之间的一些遮挡。例如，由于一些光线被第一相机或第二相机遮挡的事实，第四相机不能捕捉其场景的视场中的来自对象的所有光线。

图29示出了两个相机的三个组的2D光线图。

由于与第一相机关联的2D光线图中的线的厚度比另一相机厚，因此第一相机的光圈的值(即，A₁的值)大于来自其他相机的其他光圈的值。

先前在图28中提到的遮挡可以由2D光线图中的交叉表示。例如，图29中标记为A的集合对应于属于与第二相机和第三相机关联的线的点的集合。本技术详述了用于存储对应于两个(或更多个)线的交点的2D光线图中的点(与光线关联的点)的解决方案。

图30示出了用于处理光场内容中的遮挡的方法。更确切地说，该方法采用如先前定义的两个2D光线图Π(x₁,x₂)和Π(y₁,y₂)中表示的光场的输入光线光。

在标记为380的作为预处理步骤的步骤中，通过在输入的2D光线图Π(x₁,x₂)上应用离散拉东变换而识别的每个线的参数(m,k)存储在第一集合Ω₁上。然后，通过在输入的2D光线图Π(y₁,y₂)上应用离散拉东变换而识别的每个线的参数(m,k)存储在第二集合Ω₂上。

在标记为381的步骤中，根据参数m分类第一集合Ω₁。

在标记为382的步骤中，具有最小m值的束被完全捕捉并且因此以图22(a)中所示的方式完全存储。

然后，在标记为383的步骤中，在第一集合Ω₁上迭代以下步骤：

-我们考虑下一个最小斜率m_n，并且找出该束中的光线与斜率小于m_n的束的所有光线的交点；这样的束的集合用符号表示为

-对于该束的每个线i，我们具有斜率m_i＝m_n，并且Π(x₁,x₂)中的线公式写成如下：

x₂＝m_ix_i+d_i

其中d_i由对应束的

和

界定。现在我们考虑属于ω_inf的束的具有斜率m_j＜m_i的所有线j。我们通过下式找到i和j之间的所有交点

线i上的这些交点被线j遮挡。所以，当我们存储图22(a)中的线i的值时，我们应当存储这些

的空值或未知值；

-最后，在清除步骤中，我们从Π(x₁,x₂)和Π(y₁,y₂)的2D拉东变换中清除对应的强度峰值，并且然后开始下一次迭代，直到光场中没有留下任何有意义的东西。

所以，通过将这样的方法应用于图28中所示的示例，看起来属于具有斜率m₀的线的所有点被存储。

然后，处理具有斜率m₁的线。不存储属于集合A，B，C和D的点。

然后，处理具有斜率m₂的线。不存储属于集合E，F，G，H，I和J的点。

更确切地说，通过图19的示例，如果具有较小斜率的另一个线与图19的线相交(例如如果坐标(x₁,x₂)＝(5,8)，(x₁,x₂)＝(6,8)，(x₁,x₂)＝(7,9)，(x₁,x₂)＝(8,9)处的点属于这两个线之间的交点，则在如先前所述处理图19中的线的点时，不同于存储点(x₁,x₂)＝(5,8)，(x₁,x₂)＝(6,8)，(x₁,x₂)＝(7,9)，(x₁,x₂)＝(8,9)的点集

的值，存储这些点的指示没有值可用的信息(例如存储空值或任何符号)。

在另一实施例中，在经处理的2D光线图如先前所述是Π(y₁,y₂)而不是Π(x₁,x₂)的情况下，当处理Π(y₁,y₂)中的线时可以应用相同的方法，即，属于交叉区域(具有斜率较小的线)的点(y₁,y₂)的点集

的值未被存储(或遮挡的指示信息被存储)。

在本公开的一个实施例中，如果对于包括在Π(x₁,x₂)中的识别线上的具有坐标

的点，不存在“穿过”具有形式

的特定点的光线，那么代替存储等于零的RGB值(即，3个字节设置为零)，所提出的技术使用附加信息(例如位)来避免等于零的三个字节的存储。事实上，这样的附加信息与用于表示光场内容的所有RGB值关联。事实上，如果对于包括在Π(x₁,x₂)中的识别线上的具有坐标

的点，存在穿过具有形式

的特定点的光线，那么将附加信息设置为1，并且在该附加信息之后存储RGV值。如果对于包括在Π(x₁,x₂)中的识别线上的具有坐标

的点，没有“穿过”具有形式

的特定点的光线，那么将附加信息设置为零，并且在附加信息之后不存储RGV值。

这里是来自4D采样光线图的编码数据线的示例：

1 201 180 128 1 002 090 255 0 1 206 025 009 1 201 201 201 0 0 0 1 255255 255

其解释如下：

第一数据单元包含RGB值201 180 128，第二数据单元包含RGB值002 090 255，第三数据单元不包含任何光线，第四数据单元包含RGB值206 025 009，第五数据单元包含RGB值201 201 201，第六、第七和第八数据单元不包含任何光线，第九数据单元包含RGB值255255 255。

而且，使用这样的附加信息允许在黑色像素和非常不同的根本没有光线信息之间进行区分。而且，由于可能存在许多空单元，因此这样的技术能够获得更紧凑编码的光场内容。

图31示出了根据本公开的实施例的对于将由电子装置递送的图像，用于从例如作为图22(a)的表格的光场内容的紧凑表示获得这样的图像的像素的值的方案。

根据本公开的实施例，为了从基于光场内容的至少两个2D光线图表示的标记为282的表格(例如图22(a)或图22(b)中所述的表格)填充待递送的标记为280的图像的像素的值，所述图像包括m×n个像素，m和n是大于1的整数，建议：

-获得标记为281的二维查找表，其包括指向表格282(例如图22(a)或图22(b)的表格)中的数据的指针；以及

-对于由索引(i,j)寻址的像素，通过获得位于相同索引(i,j)处的所述二维查找表中的指针，从图22(a)或图22(b)的表格获得光线的辐射亮度值。

然后，将位于位置(l,k)的这样的辐射亮度值插入图像280中以在索引(i,j)处的像素处递送。

对于所有像素重复用于将像素值填充到图像中的这样的处理。它能够避免用于确定从图22(a)或图22(b)的表格获得/提取哪些值的计算。

应当注意的是，为了生成/创建图31中使用的二维查找表，电子装置可以执行图26(b)中所述的像素反向跟踪以便对于来自采集装置/相机的传感器平面的每个像素，确定对应光线的坐标。具有这样的坐标的这样的光线将其辐射亮度值存储在如图22(a)所示的表格中。但是，由于使用的紧凑存储表示，4个坐标不会被存储。因此，具有与待递送的图像中的一个相同的索引的二维查找表包括指针(如索引，每个索引具有例如两个元素)，用于容易地定位作为光线的图22(a)中所示的一个的表格中的辐射亮度值。这样的二维查找表的指针的生成可以并行进行以加速该处理。

应当注意的是，使用这样的二维查找表可以加速从如图22(a)或图22(b)中表示的数据生成图像的处理。

图32示出了根据本公开的另一实施例的用于从图像和二维查找表生成例如作为图22(a)的表格的光场内容的紧凑表示的方案。

更确切地说，根据本公开的实施例，为了在基于光场内容的至少两个2D光线图表示的表格282(例如图22(a)或图22(b)中所述的表格)中填充辐射亮度值，建议：

-获得标记为281的二维查找表，其包括指向表格282(例如图22(a)或图22(b)的表格)中的数据位置的指针；以及

-对于由索引(i,j)寻址的像素，从包括m×n个像素的图像280获得光线的辐射亮度值，m和n是大于1的整数；

-通过获得位于相同索引(i,j)处的所述二维查找表中的指针，将获得的辐射亮度值存储到表格282(即，图22(a)或图22(b)的表格)中。所以，获得的辐射亮度值存储在表格282中的位置(l,k)处。

对于图像280的所有像素重复用于将辐射亮度值填充到表格282中的这样的处理。

在本公开的一个实施例中，辐射亮度值在并行处理中存储在表格282中。

在本公开的另一实施例中，提出了一种帮助用户导航通过光场光线格式的方式。这与前面章节中定义的格式描述非常紧密地联系。也许有一些方式在多视图捕捉(其不是光场)中导航，但我们在这里示出的是利用我们特定格式的一种方式。

图22(a)描述了一种特定的紧凑光线格式。在该格式中，不同的相机以有组织的方式存储。它们的位置由x_3i,y_3i,z_3i三元组标记，并且我们可以决定排序cam_i，首先通过深度z_3i从最近到最远，然后通过x_3i从下到上，并且最后通过y_3i也是从下到上，相对于它们的轴取向。

当光场通过网络传输或通过天线传播时，它可以仅仅部分传输以节省带宽，使得只传输一个视点。使用该视点，我们也可以传输所有的cam_i焦点。

然后观众可以从菜单按钮将可视化以原始格式可用的其他光场视点的3D屏幕覆盖显示在他的显示器上。这可以是在3D中显示的3D轴系统的形式，其中其他视点相对于实际观众位置定位。

使用方向键盘，用户导航到期望位置，验证位置，并且通过网络将反馈发送到服务器。然后服务器定位必须流式传输或广播到最终用户的选定数据线。

屏幕覆盖也可以在通过视点的方位和导航上变化。

可以修改文件格式以标记修正的相机对，使得在用户想观看立体内容的情况下，屏幕覆盖也显示立体内容的指示，在该情况下必须传输两个数字线数据时隙。

相对于表示格式使这样的技术可能的是特定光场分析。由于我们知道更接近的超平面比远离的超平面具有更小的m，因此我们可以根据距离开始对不同的数据线进行分类。m由离散拉东变换计算，如前所述。而且，如前所述，可以计算x_3i，y_3i和z_3i，并且根据焦点分量的符号和模数对格式中不同的数据线进行分类。

数据线根据它们在卷中的3D聚焦位置进行分类的事实使得能够快速访问广播所需的一个。广播的是视点，或在立体的情况下是一对视点，并且在数学上，它是一个特定的超平面束(或其一对)，其是根据4D Bresenham扫描线或参数数据扫描存储的光线集合。

图33示出了包括3D表示的菜单，用户可以从其选择与4D光场数据关联的相机的位置。

更确切地说，标记为370的显示装置向用户呈现几个相机的3D空间中的位置(标记为371至375的位置对应于几个相机的位置)。

然后用户通过标记为376的遥控单元可以选择这些位置中的一个。一旦已完成选择，由所述显示装置获得与选定的相机关联的4D光场数据。然后，显示装置显示这样的4D光场数据。

在本公开的另一实施例中，用户可以通过触摸显示装置(即，它是一种触摸屏)而不是使用遥控单元376来选择这些位置中的一个。

而且，在本公开的一个实施例中，用户可以从其选择与4D光场数据关联的相机的位置的被显示3D表示对应于有界空间区域。然而，在本公开的一些实施例中，包括相机位置的空间区域可以大于所显示的空间区域。因此，可以显示用于指示相机位置可用的方向的附加视觉指示器(如箭头等)。在另一实施例中，显示轴线x，y，z以及原点。在一个实施例中，原点的位置根据用户的输入居中。

在本公开的一个实施例中，可以执行三个轴线的旋转。在本公开的一个实施例中，用户可以放大或缩小由用户选择的选定区域。

图34示出了可以用于执行本文献中公开的方法的一个或几个步骤的电子装置的示例。

标记为340的这样的电子装置包括标记为341的计算单元(例如，用于“中央处理单元”的CPU)，和标记为342的一个或多个存储单元(例如，在执行计算机程序的指令期间中间结果可以临时存储在其中的RAM(用于“随机存取存储器”)块，或尤其计算机程序存储在其中的ROM块，或EEPROM(“电可擦除可编程只读存储器”)块，或闪存块)。计算机程序由可以由计算单元执行的指令组成。这样的电子装置340也可以包括标记为343的专用单元，其构成输入-输出接口以允许装置340与其他电子装置通信。特别地，该专用单元343可以与天线(为了执行无接触通信)或与串行端口(用于执行通信“接触”)连接。应当注意的是，图34中的箭头表示链接的单元可以例如通过总线一起交换数据。

在替代实施例中，先前描述的方法的一些或全部步骤可以在可编程FPGA(“现场可编程门阵列”)部件或ASIC(“专用集成电路”)部件中以硬件实现。

在替代实施例中，可以在如图34中公开的包括存储器单元和处理单元的电子装置上执行先前描述的方法的一些或全部步骤。

在本公开的一个实施例中，图34中所示的电子装置可以包括在配置成捕捉图像(常规2D图像或光场的采样)的相机装置中。这些图像存储在一个或多个存储器单元上。因此，这些图像可以被视为位流数据(即，位的序列)。显然，位流也可以在字节流上转换，反之亦然。

Claims (14)

1.一种用于编码光场内容的方法，所述方法的特征在于，其包括：

-对于与所述光场内容关联的光线(401)的组，从所述光场内容的两个平面参数化(2000；402、403)获得每个光线的四个坐标；

-对于来自所述组的每个光线，从所述四个坐标获得(2001)两个坐标，其对应于来自所述组的所述光线到垂直于在所述两个平面参数化中使用的两个平面的平面(404、405、P)上的投影，限定第一2D光线图中的点；

-对所述第一2D光线图应用(2002)离散拉东变换，其递送所述第一2D光线图中的感兴趣线；

-将所述感兴趣线编码(2003)成编码感兴趣线；以及

-存储(2004)所述编码感兴趣线，其中所述方法还包括：

-估计至少一个投影中心的坐标和与所述至少一个投影中心关联的半径，所述估计包括：

-获得所述第一2D光线图中的感兴趣线的至少一个斜率参数m和厚度参数

所述感兴趣线与投影中心x₃,y₃,z₃和半径A关联；

-从所述至少一个斜率参数m和所述厚度参数

估计所述投影中心的坐标x₃,y₃,z₃和所述半径A。

2.根据权利要求1所述的用于编码光场内容的方法，其中所述编码(2003)所述感兴趣线还包括应用Bresenham算法。

3.根据权利要求1至2中任一项所述的用于编码光场内容的方法，其中在所述两个平面参数化中使用的所述两个平面，称为第一平面和第二平面，是包括矩形元素(Δx₁,Δy₁；Δx₂,Δy₂)的离散化平面(275、276)，其中所述第一平面中的矩形元素的长边的最大值等于

其中z_f是包括在具有像素间距p的相机装置中的传感器阵列的深度值，f是所述相机装置的焦距，并且z₁是与所述第一平面关联的第一深度值，并且其中所述第二平面中的矩形元素的长边的最大值等于

其中z₂是与所述第二平面关联的第二深度值。

4.根据权利要求1至2中任一项所述的用于编码光场内容的方法，其中所述存储(2004)包括，对于属于所述第一2D光线图中的第一编码感兴趣线的至少一个第一点：

-存储与属于第二2D光线图中的第二编码感兴趣线的至少一个第二点关联的光线的辐射亮度，所述第二编码感兴趣线具有与所述第一编码感兴趣线相同的斜率，并且存储指示光线存在的第一附加信息；和/或

-存储指示没有光线与属于所述第二编码感兴趣线的至少一个第三点关联的第二附加信息。

5.根据权利要求4所述的用于编码光场内容的方法，其中所述第一附加信息和/或所述第二附加信息是位，并且其中光线的所述辐射亮度由三字节值编码。

6.根据权利要求1或2所述的用于编码光场内容的方法，其中在所述两个平面参数化中使用的所述两个平面，称为第一平面和第二平面，分别与第一深度值z₁和第二深度值z₂关联，并且其中所述估计包括获得

其中

并且

7.根据权利要求1至2中任一项所述的用于编码光场内容的方法，其中所述存储(2004)所述编码感兴趣线还包括存储与编码感兴趣线关联的斜率，并且对于属于所述第一2D光线图中的编码感兴趣线的每个点，存储属于第二2D光线图的点的集合，并且在与所述第一2D光线图中的经处理的编码感兴趣线关联的斜率大于与所述第一2D光线中的其他编码感兴趣线关联的其它斜率的情况下，当所述第一2D光线图中的点属于所述经处理的编码感兴趣线和所述其他编码感兴趣线之间的交点时，避免存储属于所述第二2D光线图的所述点的集合。

8.根据权利要求7所述的用于编码光场内容的方法，其中所述避免还包括存储指示遮挡的信息。

9.根据权利要求8所述的用于编码光场内容的方法，其中所述信息是空值。

10.一种存储计算机程序的计算机可读和非暂时性存储介质，所述计算机程序包括计算机可执行指令的集合，从而当由计算机执行所述指令时执行用于编码光场内容的方法，其中所述指令包括当执行时将计算机配置成执行权利要求1所述的方法的指令。

11.一种用于编码光场内容的电子装置，所述电子装置的特征在于，其包括：存储器；以及耦合到所述存储器的至少一个处理器，所述至少一个处理器配置成：

-对于与所述光场内容关联的光线(401)的组，从所述光场内容的两个平面参数化(2000；402、403)获得每个光线的四个坐标；

-对于来自所述组的每个光线，从所述四个坐标获得(2001)两个坐标，其对应于来自所述组的所述光线到垂直于在所述两个平面参数化中使用的两个平面的平面(404、405、P)上的投影，限定第一2D光线图中的点；

-对所述第一2D光线图应用(2002)离散拉东变换，其递送所述第一2D光线图中的感兴趣线；

-编码(2003)所述感兴趣线；以及

-存储(2004)所述编码感兴趣线，其中所述至少一个处理器还配置成：

-估计至少一个投影中心的坐标和与所述至少一个投影中心关联的半径，所述估计包括：

-获得所述第一2D光线图中的感兴趣线的至少一个斜率参数m和厚度参数

所述感兴趣线与投影中心x₃,y₃,z₃和半径A关联；

-从所述至少一个斜率参数m和所述厚度参数

估计所述投影中心的坐标x₃,y₃,z₃和所述半径A。

12.根据权利要求11所述的用于编码光场内容的电子装置，其中所述至少一个处理器还配置成用Bresenham算法编码所述感兴趣线。

13.根据权利要求12所述的用于编码光场内容的电子装置，其中在所述两个平面参数化中使用的所述两个平面，称为第一平面和第二平面，是包括矩形元素(Δx₁,Δy₁；Δx₂,Δy₂)的离散化平面(275、276)，其中所述第一平面中的矩形元素的长边的最大值等于

其中z_f是包括在具有像素间距p的相机装置中的传感器阵列的深度值，f是所述相机装置的焦距，并且z₁是与所述第一平面关联的第一深度值，并且其中所述第二平面中的矩形元素的长边的最大值等于

其中z₂是与所述第二平面关联的第二深度值。

14.根据权利要求12至13中任一项所述的用于编码光场内容的电子装置，其中所述至少一个处理器还配置成对于属于所述第一2D光线图中的第一编码感兴趣线的至少一个第一点：

-存储与属于第二2D光线图中的第二编码感兴趣线的至少一个第二点关联的光线的辐射亮度，所述第二编码感兴趣线具有与所述第一编码感兴趣线相同的斜率，并且存储指示光线存在的第一附加信息；和/或

-存储指示没有光线与属于所述第二编码感兴趣线的至少一个第三点关联的第二附加信息。

Images