CN108292431A - 光场数据表示 - Google Patents

光场数据表示 Download PDF

Info

Publication number
CN108292431A
CN108292431A CN201680067390.1A CN201680067390A CN108292431A CN 108292431 A CN108292431 A CN 108292431A CN 201680067390 A CN201680067390 A CN 201680067390A CN 108292431 A CN108292431 A CN 108292431A
Authority
CN
China
Prior art keywords
data
light field
ray
intersection
light
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201680067390.1A
Other languages
English (en)
Other versions
CN108292431B (zh
Inventor
瓦尔特·德拉季奇
纪尧姆·布瓦松
莫扎德·赛菲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital VC Holdings Inc
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from EP15306434.0A external-priority patent/EP3144884A1/en
Priority claimed from EP15306436.5A external-priority patent/EP3144885A1/en
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN108292431A publication Critical patent/CN108292431A/zh
Application granted granted Critical
Publication of CN108292431B publication Critical patent/CN108292431B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/206—Drawing of charts or graphs
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/21—Indexing scheme for image data processing or generation, in general involving computational photography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)
  • Image Generation (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)
  • Image Analysis (AREA)

Abstract

一种用于减少定义获取的光场射线的参数的方法，所述获取的光场射线使得仅存储与光场射线相关联的颜色，而不存储4个光场坐标(x，y，i，j)及其相关联的颜色。

Description

光场数据表示
技术领域
本发明涉及表示光场的数据的产生。本发明的一个方面涉及光场元数据的提供和处理。
背景技术
常规的相机在对可见光敏感的二维传感器设备上捕获来自三维场景的光。用于这样的成像设备中的光敏技术通常基于能够将光子转换成电子的半导体技术，比如电荷耦合器件(CCD)或互补型金属氧化物技术(CMOS)。例如，数字图像光电传感器通常包括光敏单元的阵列，每个单元被配置为捕获入射光。提供空间信息的2D图像是根据对由图像传感器设备的每个光敏单元捕获的光的总量的测量来获得的。尽管2D图像可以提供与光电传感器的空间点处的光的强度和光的颜色有关的信息，但是没有提供与入射光的方向有关的信息。
除了2D空间信息之外，光场相机(也称为辐射捕获相机)可以提供与入射光射线有关的方向信息。方向信息可以通过使用微透镜的阵列(通常称为与图像传感器相关联的微透镜阵列(MLA))来获得。例如，光场阵列相机设置有微透镜阵列和光电传感器。光场相机包括全光相机、相机阵列和分布式相机。全光相机设置有将光聚焦在MLA上的主透镜、以及与MLA相关联的光电传感器。在光场相机的其它配置中，可以使用各自设置有其自己的透镜和传感器的多个相机来获得光场数据。
光场通常被定义为表征在场景中的不同点处的来自不同方向的光的4D函数。与光射线的方向分布有关的信息通常被称为光场数据或4D数据。由于信息提供4个参数(二维位置信息和二维角度信息)，因此方向分布与四维(4D)函数相对应。光场可以被解释为场景的2D图像的二维集合。
获得的光场数据可以被处理用于许多应用，例如，用于产生场景的重新聚焦图像、从不同视点产生图像、提供与捕获的场景有关的深度信息或产生3D图像。
光场数据会占用大量的存储空间，这会使存储变得繁琐并且处理效率降低。此外，光场获取设备是非常多样的。光场相机具有不同类型，例如全光或相机阵列。每种类型之间都存在许多差异，例如不同的光学布置或不同焦距的微透镜。每种相机都有自己的专有文件格式。目前，没有支持获取和发送多维信息以便详细了解光场所依赖的不同参数的标准。由于针对不同相机而获取的光场数据具有多种格式。
基于上述内容，设计出本发明。
发明内容
本发明的实施例提出了一种用于减少定义获取的光场射线的参数的方法，所述获取的光场射线使得仅存储与光场射线相关联的颜色，而不存储4个光场坐标(x，y，i，j)及其相关联的颜色。
根据本发明的第一方面，提供了一种根据从场景捕获的具有像素形式的光场数据来产生几何数据的方法，所述几何数据定义了来自与所捕获的光场数据相对应的光场射线的场景的路径；
根据几何数据获得相交数据，所述相交数据定义来自场景的光场射线与多个给定参考平面的相交，所述参考平面与所述场景中的不同深度相对应，每个相交数据集合与具有颜色值的光场射线相对应；
定义采样单元的参数空间，以表示相交数据；
例如通过离散拉东变换或根据校准数据，来确定表示相交数据的参数空间中的一个或多个数字化数据超平面；
提供表示光场的数据格式，所述数据格式包括定义参数空间中的数据超平面的数据参数、以及与每个产生的光场射线相关联的颜色值。
4D空间中的数据超平面是通过类型为a.x1+b.x2+c.y1+d.y2+e＝0的方程连接在一起的点的集合；例如，该方程可以定义与光场参数数据相关的超平面，如下所示：
(z2-z3)(x1+y1)+(z3-z1)(x2+y2)＝(z2-z1)(x3+y3)
其中，z1和z2定义参考平面的深度，x1、y1定义光场射线与参考平面1的相交，x2和y2定义光场射线与参考平面1的相交，x3、y3和z3定义光场射线与呈现平面的相交。
在实施例中，定义数据超平面的数据参数包括表示以下至少一项的数据：
第一参考平面的相交数据的最小值；
第一参考平面的相交数据的最大值；
第二参考平面的相交数据的最小值；
第二参考平面的相交数据的最大值；
在实施例中，定义数据超平面的数据参数包括表示以下至少一项的数据：
定义参数空间的采样单元的数量；
第一参考平面的位置；以及
第二参考平面的位置。
在实施例中，在参数空间中应用两个正交离散拉东变换，以获得一个或多个数字线。
在实施例中，每个数据超平面格式由参数空间的多个单元定义，所述多个单元包括表示线与轴相交而形成的截距的至少一个第一单元、以及可以根据其来确定线的斜率的至少一个第二单元。
在实施例中，通过应用Bresenham算法来产生每个数字超平面。
在实施例中，射线束被表示为具有相同斜率和不同轴截距点的多个线。
在实施例中，表示获取的光场数据的数据包括表示束的粗细的数据，所述束的粗细基于束中线的轴截距数据的上边界和下边界。
在实施例中，表示所获取的光场数据的数据被提供为元数据，所述元数据的头部包括射线图参数，射线图参数定义相交数据在2D射线图中的图形表示，以及所述元数据的主体包括表示射线颜色的数据。
本发明的另一方面提供了一种用于提供所捕获的光场数据的元数据的设备，
所述设备包括：
光场数据获取模块，用于获取由光场相机捕获的光场数据；以及
光场数据产生模块，被配置为：
根据从场景捕获的具有像素形式的光场数据来产生几何数据，所述几何数据定义了来自与所捕获的光场数据相对应的光场射线的场景的路径；
根据几何数据获得相交数据，所述相交数据定义来自场景的光场射线与多个给定参考平面的相交，所述参考平面彼此平行，并且与所述场景中的不同深度相对应，每个相交数据集合与具有颜色值的光场射线相对应；
定义采样单元的参数空间，以表示相交数据；
通过离散拉东变换，来确定表示相交数据的参数空间中的一个或多个数字化数据超平面；
提供表示光场的数据格式，所述数据格式包括定义参数空间中的数据超平面的数据参数、以及与每个产生的光场射线相关联的颜色值。
本发明的另一方面提供了一种光场成像设备，包括：微透镜阵列，按照规则点阵结构布置；光电传感器，被配置为捕获从所述微透镜阵列投影到所述光电传感器上的光，所述光电传感器包括像素集合，每个像素集合与所述微透镜阵列中的相应微透镜光学相关联；以及根据本发明的第二方面的任何实施例所述的用于提供元数据的设备。
本发明的另一方面提供了一种用于根据使用根据本发明的第一方面的任何实施例所述的方法而获得的光场数据来呈现图像的设备。
本发明的另一方面提供了用于表示光场射线的数据的数据包，包括：
射线图参数，所述射线图参数定义所述光射线的相交数据在射线图中的图形表示，所述相交数据定义来自场景的所述光场射线与多个给定参考平面的相交，所述参考平面与所述场景中的不同深度相对应；以及
定义所述光场射线的颜色的颜色数据。
数据包可以由例如信号携带或者在非暂时性介质上提供。
本发明的另一方面提供了一种用于产生表示光场的数据的计算机实现的方法，所述方法包括：
获得相交数据，所述相交数据定义来自场景的光场射线与多个给定参考平面的相交，所述参考平面与所述场景中的不同深度相对应，每个相交数据集合与具有颜色值的光场射线相对应；
确定采样单元的参数空间中的表示所述相交数据的一个或多个数字化数据超平面；
借助于参数方程在所述数据超平面上或附近扫描数据，以采样表示所述光场射线的数据；
提供表示所述光场的数据格式，所述数据格式包括定义所述参数空间中的所述至少一个数据超平面的至少一个数据参数、以及与每个产生的光场射线相关联的所述颜色值。
在实施例中，一个或多个数字化数据超平面是通过离散拉东变换来确定的。
在实施例中，在参数空间中应用两个正交的离散拉东变换，以获得一个或多个数字超平面。
在实施例中，根据定义相机获取参数的数据来确定一个或多个数据超平面。
在实施例中，扫描数据包括应用以下算法：
本发明的另一方面涉及表示光场射线的数据的数据包，所述数据包包括定义参数空间中的超平面的至少一个数据参数，所述超平面表示相交数据，所述相交数据定义来自场景的光场射线与多个给定参考平面的相交，所述参考平面与所述场景中的不同深度相对应，每个相交数据集合与具有颜色值的光场射线相对应；以及与每个光场射线相关联的颜色值。
本发明的另一方面提供了一种用于产生表示光场的数据的计算机实现的方法，所述方法包括：获取表示从场景捕获的光场射线的光场数据；根据所获取的光场数据来获得相交数据，所述相交数据定义来自所述场景的所述光场射线与多个给定参考平面的相交，所述参考平面与所述场景中的不同深度相对应；以及获得定义相交数据在射线图中的图形表示的射线图参数，以提供表示所获取的光场数据的数据。
在实施例中，与光场射线相对应的截距数据在射线图中被图形化地表示为数据线，并且射线图参数包括表示以下至少一项的数据：数据线的斜率；以及
数据线与所述射线图的轴相交而形成的截距。
在实施例中，通过应用拉东变换在所述射线图中检测所述数据线。
在实施例中，所述图形表示被提供为单元矩阵以提供数字化数据线，每个数字化数据线格式由多个单元定义，所述多个单元包括表示线与轴相交而形成的截距的至少一个第一单元、以及根据其来确定线的斜率的至少一个第二单元。
在实施例中，通过应用Bresenham算法来产生每个数字化数据线。
在实施例中，表示所获取的光场数据的数据包括定义单元矩阵的数据。
在实施例中，表示所获取的光场数据的数据还包括表示对应的光场射线的颜色的颜色数据。
在实施例中，表示所获取的光场数据的数据包括定义用于捕获光场射线的相机的数量的数据。
在实施例中，射线束被表示为具有相同斜率和不同轴截距点的多个线。
在实施例中，表示获取的光场数据的数据包括表示束的粗细的数据，所述束的粗细基于束中线的轴截距数据的上边界和下边界。
在实施例中，表示所获取的光场数据的数据被提供为元数据，所述元数据的头部包括射线图参数，射线图参数定义相交数据在射线图中的图形表示，以及所述元数据的主体包括表示射线颜色的数据。
另一方面提供了一种用于为捕获的光场数据提供元数据的设备，
所述设备包括：光场数据获取模块，用于获取由光场相机捕获的光场数据；以及光场数据产生模块，被配置为：
根据所获取的光场数据来获得相交数据，所述相交数据定义来自所述场景的所述光场射线与多个给定参考平面的相交，所述参考平面与所述场景中的不同深度相对应；以及获得定义相交数据在射线图中的图形表示的射线图参数，以提供表示所获取的光场数据的数据。
另一方面提供了一种光场成像设备，包括：以规则点阵结构布置的微透镜阵列；光电传感器，被配置为捕获从所述微透镜阵列投影到所述光电传感器上的光，所述光电传感器包括像素集合，每个像素集合与所述微透镜阵列中的相应微透镜光学相关联；以及如上所述的用于提供元数据的设备。
根据本发明的实施例的方法的至少一部分可以是计算机实现的。从而，这些元素可以采取全硬件实施例、全软件实施例(包括固件、驻留软件、微代码等)或组合了软硬件方面的实施例的形式，它们在本文中可以统称为“电路”、“模块”或“系统”。此外，本发明可以采取由在任意有形介质中具体实现的计算机可用程序代码表达的具体实现于所述介质中的计算机程序产品的形式。
由于本发明的元件可以实现为软件，因此本发明可以具体实现为计算机可读代码，用于预配置到任意合适载体介质上的可编程装置。有形载体介质可以包括存储介质，例如软盘、CD-ROM、硬盘驱动器、磁带设备或固态存储器设备等。暂时性载体介质可以包括信号，例如电信号、电子信号、光信号、声信号、磁信号或电磁信号(例如微波或RF信号)。
附图说明
现在参考附图，以仅作为示例的方式对本发明的实施例进行描述，在附图中：
图1A是根据本发明的第一实施例的光场相机的示意图；
图1B是根据本发明的第二实施例的光场相机的示意图；
图2A是根据本发明的实施例的光场相机的功能图；
图2B是根据本发明的实施例的光场数据格式化器和光场数据处理器的功能图；
图3是在光电传感器阵列上形成的2D光场图像的示例；
图4A和图4B图形化地示出了根据本发明的一个或多个实施例的使用参考平面来参数化光场数据；
图5示意性地示出了根据本发明的实施例的相对于参考平面的光场射线的表示；
图6A至图6D图形化地示出了根据本发明的一个或多个实施例的包括2D射线图中的射线的表示在内的射线的参数化；
图7示意性地示出了根据本发明的实施例的用于表示光场射线的参数；
图8是图形化地示出了根据本发明的实施例的相交数据的2D射线图；
图9图形化地示出了根据本发明的实施例而产生的数字线；
图10图形化地示出了根据本发明的实施例而产生的数字线；
图11A至图11C图形化地示出了根据本发明的实施例的应用于数字线的拉东变换；
图12A是示出了根据本发明的一个或多个实施例的方法的步骤的流程图；
图12B是示出了根据本发明的一个或多个实施例的用于提供光数据格式的设备的模块的功能框图；
图13A示意性地示出了根据本发明的实施例的像素反向追踪的示例；
图13B示意性地示出了用于射线反向追踪的获取设备的示例；
图14是根据本发明的实施例的参数空间的示例；以及
图15至图17是根据本发明的实施例的采样光射线参数的示例；
图18A是示出了根据本发明的一个或多个实施例的方法的步骤的流程图；
图18B是示出了根据本发明的一个或多个实施例的用于提供光数据格式的设备的模块的功能框图；
图18C是示出了根据本发明的一个或多个实施例的显示设备的模块的功能框图；
图19是图形化地示出了根据本发明的实施例的多个相机的相交数据的2D射线图。
具体实施方式
光场相机通常用于在由像素阵列组成的传感器上记录4D光场。4D光场数据提供与入射光有关的二维空间信息和二维角度信息。这种光场相机可以是例如：如图1A所示的全光相机100，其包括主透镜101、透镜阵列110和光电传感器120；或者如图1B所示的多相机阵列，其包括透镜阵列210和没有主透镜的光电传感器220。多阵列相机可以被认为是其中主透镜具有无限焦点的全光相机的特殊情况。
本发明的实施例提供光场数据的格式化，以用于进一步处理应用，例如格式转换、重新聚焦、视点改变和3D图像产生。
图1A是可以应用本发明的一个或多个实施例的光场相机的示意图。
图1A的光场相机100是包括微透镜阵列110和与微透镜阵列110相关联的图像传感器120在内的全光型光场相机。可以提供其它光学器件，比如用于使可选择光量能够进入光场相机的光圈102。透镜布置还包括用于将光聚焦到微透镜阵列110的主透镜(物镜)101。
微透镜阵列110由布置成规则点阵结构的微透镜阵列111、112、113...11n组成。例如，该结构可以是行和列的矩形点阵。微透镜阵列也可以被称为小透镜阵列。为了说明的目的，微透镜阵列110被示出为具有相对少量的微透镜，但是应该理解，微透镜的数量可以达到几千甚至几百万个微透镜。
可选地，可以在微透镜阵列110和图像传感器120之间、在微透镜阵列110的每个微透镜周围放置间隔件，以防止来自一个微透镜的光与微透镜阵列110的其它微透镜的光在图像传感器120处重叠。
图像传感器包括光电传感器阵列120，光电传感器阵列120由布置成点阵结构的m个光电传感器121、122、123、124....12m组成。例如，该结构可以是行和列的矩形点阵。每个光电传感器121、122、123、124....12m与由光电传感器阵列120捕获的场景的原始图像的像素或像素组相对应，每个像素覆盖场景的一部分(也称为点)。出于说明的目的，光电传感器阵列120被示出为具有相对少量的光电传感器121至121m。然而，应该理解的是，光电传感器的数量不限于图1A所示的数量，而是可以扩展到任何数量的光电传感器，例如几千或几百万个光电传感器。作为说明性示例，可以通过4088×3040个像素/光电传感器阵列来提供1240万像素的图像。图像传感器可以是例如电荷耦合器件(CCD)。
微透镜阵列110的微透镜111、112、11n被布置为使得每个微透镜与光电传感器阵列120的光电传感器在光学上相关联。光电传感器阵列120通常比微透镜阵列具有更精细的间距。因此，每个微透镜与光电传感器阵列120的多个光电传感器相关联。微透镜和光电传感器组之间的光学关联意味着穿过给定微透镜的光射线到达与给定微透镜光学相关联的光电传感器组中的至少一个。
在主透镜101和光电传感器120之间插入微透镜阵列110导致在光电传感器阵列120上形成多个图像。微透镜阵列110的每个微透镜将各自的图像投影到光电传感器阵列120的相关联的光电传感器上。因此，由图像传感器120捕获的原始图像由小图像(通常称为微图像)的阵列组成，例如在图3中示出的。每个微图像与来自相应不同视点的部分视场相对应，并且与微透镜阵列的微透镜相对应。光电传感器120的每个像素可以被看作对应于4维光场坐标，其中两个维度指定相应像素在传感器上的空间位置，并且两个维度根据该像素在其所属的微图像内的2D位置来指定入射在该像素上的光的角度或方向信息。
在一些情况下，滤色器阵列(CFA)可以被布置在微透镜阵列110上或光电传感器阵列120上。CFA通常在光电传感器或微透镜阵列上布置RGB(红、绿和蓝)滤色器，RGB布置采用例如拜耳滤色器马赛克的形式。一个滤色器(红、绿或蓝滤色器)可以与根据预定图案的MLA相关联，在拜耳滤色器的示例中包括50％绿色、25％红色和25％蓝色，这种图案也被称为作为RGBG、GRGB或RGGB图案。应该理解的是，微透镜阵列110或光电传感器阵列120上的滤色器的布置不限于RGGB图案。在其它实施例中，预定图案可以是RGBE图案，其中绿色滤色器中的一个被修改为“绿宝石色”(对于四个滤色器的块)；CYYM图案，其中一个“青色”滤色器、两个“黄色”滤色器和一个“品红色”滤色器(针对四个滤色器的块)；CYGM图案，其中一个“青色”滤色器、一个“黄色”滤色器、一个“绿色”滤色器、和一个“品红色”滤色器；RGBW图案，其中一个“红色”滤色器、一个“绿色”滤色器、一个“蓝色”滤色器、和一个“白色”滤色器，可以有若干种布置(例如，四个滤色器的块上的布置为：左上的“白色”滤色器、右上的“红色”滤色器、左下的“蓝色”滤色器、和右下的“绿色”滤色器；或在4×4彩色滤色器上的块的布置为：第一行是“白色”、“蓝色”、“白色”、“绿色”；下面第二行是“蓝色”、“白色”、“绿色”、“白色”；第二行下面的第三行是“白色”、“绿色”、“白色”、“红色”；第三行下面的第四行是“绿色”、“白色”、“红色”、“白色”)。
微透镜阵列和光电传感器阵列之间的间隙可以由气体、具有折射率n的光学材料(例如，玻璃层)、或包括至少一层空气层和至少一个光学材料层在内的多个层组成。使用玻璃层来形成间隙具有如下优点：使微透镜阵列110与光电传感器阵列120相距恒定距离、均匀地横跨光电传感器阵列120，并且在需要时减小该距离。如果d是微透镜阵列110的输出与光电传感器阵列120之间沿纵轴的距离，则在微透镜阵列110和光电传感器阵列120之间的由具有折射率n(n＞1，例如n＝1.5)的光学材料组成的层使得能够将距离设置为d/n，而不改变距离d。通过调整/修改形成间隙的层的光学材料的折射率，可以调整/修改表示微透镜阵列110和光电传感器阵列120之间的距离的参数，而不修改距离d。
图1B是根据本发明的第二实施例的光场相机的示意图。
根据本发明的第二实施例的光场相机200是包括微透镜阵列210和与微透镜阵列210相关联的图像传感器220在内的多相机阵列类型光场相机。在该实施例中，不存在用于将光聚焦到微透镜阵列210的主透镜201。诸如光电传感器阵列220和微透镜阵列210之类的元件以与图1A的全光型相机的对应元件类似的方式操作。主要区别在于图1B的实施例中不存在主透镜。每个微图像与来自相应不同视点的全视场相对应。
图2A是根据本发明的实施例的光场相机设备的框图。光场相机包括根据图1A的光场相机的光圈/快门102、主透镜(物镜)101、微透镜阵列110和光电传感器阵列120。在一些实施例中，光场相机包括快门释放装置，该快门释放装置被激活以捕获主体或场景的光场图像。应该理解，功能特征也可以应用于图1B的光场相机。
光电传感器阵列120提供由LF数据获取模块140获取的光场图像数据，用于由光场数据格式化模块150产生光场数据格式和/或由光场数据处理器155处理。根据本发明的实施例，光场数据可以在被获取之后和处理之后以原始数据格式存储在存储器190中作为子光圈图像，或以光场数据格式存储在存储器190中。
在所示示例中，光场数据格式化模块150和光场数据处理器155设置在光场相机100中或者集成到光场相机100中。在本发明的其它实施例中，光场数据格式化模块150和/或光场数据处理器155可以设置在光场捕获相机外部的分离的组件中。相对于光场图像捕获设备，分离的组件可以是本地的或远程的。应该理解，可以使用任何合适的有线或无线协议来向格式化模块150或光场数据处理器155发送光场图像数据；例如，光场数据处理器可以经由互联网、蜂窝数据网络、WiFi网络、蓝牙通信协议和/或任何其它合适的手段来传输捕获的光场图像数据和/或其它数据。
根据本发明的实施例，光场数据格式化模块150被配置为产生表示所获取的光场的数据。光场数据格式化模块150可以用软件、硬件或其组合来实现。
根据本发明的实施例，光场数据处理器155被配置为对直接从LF数据获取模块140接收的原始光场图像数据进行操作，以例如产生焦点堆栈或视图矩阵。可以产生输出数据，例如捕获的场景的静止图像、2D视频流等。光场数据处理器可以用软件、硬件或其组合来实现。
在至少一个实施例中，光场相机100还可以包括用户接口160，用户接口160用于使用户能够提供用户输入以通过控制器170控制相机100的操作。对相机的控制可以包括对相机的光学参数(例如，快门速度)的控制中的一个或多个，或者在可调整的光场相机的情况下，微透镜阵列与光电传感器之间的相对距离的控制、或者物镜和微透镜阵列之间的相对距离的控制。在一些实施例中，可以手动调整光场相机的光学元件之间的相对距离。对相机的控制还可以包括对相机的其它光场数据获取参数、光场数据格式化参数或光场处理参数的控制。用户接口160可以包括任何合适的用户输入设备，比如触摸屏、按钮、键盘、定点设备等。以这种方式，由用户接口接收的输入可以用于控制和/或配置用于控制数据格式化的LF数据格式化模块150、用于控制所获取的光场数据的处理的LF数据处理器155、以及用于控制光场相机100的控制器170。
光场相机包括电源180，例如一个或多个可更换或可充电电池。光场相机包括存储器190，存储器190用于存储捕获的光场数据和/或呈现的最终图像或其它数据(例如，用于实现本发明实施例的方法的软件)。存储器可以包括外部存储器和/或内部存储器。在至少一个实施例中，可以在与相机100分离的设备和/或位置处设置存储器。在一个实施例中，存储器包括可移除/可插拔存储设备(比如，存储棒)。
光场相机还可以包括显示单元165(例如，LCD屏幕)，显示单元165用于在捕获之前观看相机前方的场景和/或观看先前捕获的和/或呈现的图像。屏幕165还可以用于向用户显示一个或多个菜单或其它信息。光场相机还可以包括一个或多个I/O接口195，比如火线或通用串行总线(USB)接口、或者用于经由互联网、蜂窝数据网络、WiFi网络、蓝牙通信协议、和/或任何其它合适的手段进行数据通信的有线或无线通信接口。I/O接口195可以用于传输去往和来自外部设备(比如，用于呈现应用的计算机系统或显示单元)的数据(比如，由根据本发明的实施例的LF数据格式化模块产生的光场表示数据、以及诸如原始光场数据之类的光场数据或由LF数据处理器155处理的数据)。
图2B是示出了光场数据格式化模块150和光场数据处理器153的可能实现的特定实施例的框图。
电路300包括存储器390、存储器控制器345和包括一个或多个处理单元(CPU)在内的处理电路340。所述一个或多个处理单元340被配置为运行存储器390中存储的各种软件程序和/或指令集，以便执行包括光场数据格式化和光场数据处理在内的各种功能。存储器中存储的软件组件包括根据本发明实施例的用于产生表示获取的光数据的数据的数据格式化模块(或指令集350)和根据本发明的实施例的用于处理光场数据的光场数据处理模块(或指令集)355。针对光场相机设备的应用，存储器中可以包括其它模块，比如操作系统模块351，用于控制通用系统任务(例如，电力管理、存储器管理)并且用于促进在设备300的各种硬件和软件组件之间的通信；以及接口模块352，用于控制并管理经由I/O接口端口与其它设备的通信。
图3示出了在图1A的光电传感器阵列120或图1B的光电传感器阵列220上形成的2D图像的示例。2D图像(通常被称为原始4D光场图像)由微图像MI的阵列组成，每个微图像由微透镜阵列110、210的相应微透镜(i，j)产生。微图像被布置成具有由i轴和j轴定义的矩形点阵结构形式的阵列。微透镜图像可以由相应的微透镜坐标(i，j)来引用。光电传感器120、220的像素PI可以由像素的空间坐标(x，y)来引用。与给定像素相关联的4D光场数据可以被称为(x，y，i，j)，其中x和y被引用用于每个微透镜；例如，对于微透镜来说，其具有坐标(i，j)和20×20个像素，其中0＜x＜19和0＜y＜19。
存在表示(或定义)4D光场图像的若干种方法。例如，可以通过前面参考图3描述的一系列微透镜图像来表示4D光场图像。当由全光相机记录时，4D光场图像也可以由子光圈图像集合来表示。每个子光圈图像是由从每个微透镜图像中选择的相同位置的像素组成的。此外，4D光场图像可以由极线图像(epipolar image)集合来表示。
本发明的实施例基于来自光场场景的射线穿过多个给定的几何平面的相交提供光场数据的表示。以这种方式，可以考虑格式和光场设备的多样性。
为了简单起见，用于参数化光场辐射的四个维度的方法可以参考图4A中所示的立方体。立方体的所有六个面可以用于参数化光场。为了参数化方向，可以添加平行于立方体的面的第二平面集合。以这种方式，可以相对于法线沿轴方向的六对平面来定义光场，如下所示：
图4B示出了穿过用于参数化的两个参考平面P1和P2的光场射线，所述两个参考平面彼此平行并且分别位于已知深度z1和z2处。光场射线与在深度z1处的第一参考平面P1的相交点为(x1，y1)，并且与在深度z2处的第二参考平面P2的相交点为(x2，y2)。以这种方式，可以通过四个坐标(x1，y1，x2，y2)来识别光场射线。因此，光场可以由用于参数化的一对参考平面P1、P2(在本文中也称为参数化平面)进行参数化，其中每个光场射线被表示为4D射线空间中的点(x1，y1，x2，x2)∈R4。
例如，参考坐标系的原点可以放置在由坐标轴系统的基矢量产生的平面P1的中心处。轴与产生的平面P1垂直，并且为了简单起见，可以将第二平面P2放置在沿着轴与平面P1相距z＝Δ的距离处。为了考虑到六个不同的传播方向：
整个光场可以由六对这样的平面表征。通常被称为光板的一对平面表征沿着传播方向与光场相机的传感器或传感器阵列相互作用的光场。
用于参数化的参考平面的位置可以如下给出：
其中，是法线，d是沿着法线方向与3D坐标系原点的偏移。
用于参数化的参考平面的笛卡尔方程可以如下给出：
由于光场是四个变量的函数，因此一般难以说明。为了便于说明，可以使用2D薄片，并且将特定集合的光场射线映射成2D图形表示。图6示出了限制在x1和x2轴上的这种2D薄片的两种不同表示的示例。图6的左侧示出了用于光场射线的不同布置的各个2D薄片。在右侧上，每一射线集合的光场数据被图形化地示出在2D射线坐标系或2D射线图(也被称为相位空间系统)中。每个点与光射线相对应，并且由相应的光射线与第一参考平面P1的x相交点x1和该相应光射线与第二参考平面P2的x相交点x2定义。
图6A示出了准直射线集合，图6B示出了发散射线扇形，图5C示出了会聚射线集合，而图5D描绘了聚焦射线扇形。
在图6A的2D射线图中，表示了具有不同入射角的准直光场射线集合。当射线集合与k轴平行时，则沿45°线绘制每个光场射线。当射线集合更倾斜时，该线在2D图中向上偏移，并且当光场射线集合向下指向时，该线也向下偏移(负x2)。因此，平行射线将映射到45°的线上，如果平行射线集合与z轴成某一角度，则x2线截距相应地偏移。在图6B的二维射线图中，绘制了各种不同的发散程度。随着发散点从无穷远向轴x1移动，2D射线线表示保持线性，但线的陡度随发散量增加而增加。在极限情况下，如果射线集合发散所起始的点位于x1轴上，则将在2D射线图上沿着垂直轴x2绘制射线。图6C的2D射线图图形化地示出了会聚的射线集合。随着会聚点被拉向x2轴，射线映射到递减梯度的线。图6D的射线图是当会聚点在x2上时射线为聚焦射线集合、然后图上的所有射线都位于水平轴上的极限情况。
在本发明的实施例中，4D射线图可以用作为由一个或多个光场相机捕获的光场的基本表示，其中光场数据的某些部分是根据原始捕获的格式而产生的。
如果光场射线具有已知的位置：
和标准化的传播矢量：
则3D形式的射线的一般参数方程可以如下给出：
光场射线与参考平面之间的相交的坐标如下给出：
如果不满足以下条件，则光场射线与参考参数化之间不存在相交：
由于与用于参数化光场的一对参考平面的系统中的轴中的一个轴垂直，因此对于每个平面来说，射线相交的分量中的一个分量总是恒定的。因此，如果光场射线与第一参考平面有相交并且所述光场与第二参考平面有相交则四个坐标变化，并且方程A可以用于计算光场射线的四个参数。这四个参数可以用于建立光场的4D射线图。
假设参考两个参数化参考平面对光场进行参数化，可以获得如下表示光场的数据。如果参考系统被设置为如图5所示的那样，则第一参数化平面P1在z＝z1处与z轴垂直，第二参数化平面P2被布置为在z＝z2处与z轴垂直，并且其光场参数为L(x1；y1；x2；y2)的射线将被呈现在光场相机的光电传感器阵列所在的位置z＝z3处。根据方程(A)：
其中
推导上述表达式以给出：
z3＝z3
z3＝z3
两个方程集合都应该提供相同的点作为新位置处呈现光场射线。通过利用如和的函数那样的对应的表达式来替换ux、uy、uz，如果使用了前面块中的第二方程集合，并且将x3和y3加在一起，则：
进而形成如下表达式：
(z2-z3)(x1+y1)+(z3-z1)(x2+y2)＝(z2-z1)(x3+y3)(B)
带有下标3的坐标与呈现光场的已知点(x3，y3，z3)相关。所有深度坐标zi都是已知的。参数化平面处于传播或呈现的方向。光场数据参数L是(x1，y1，x2，y2)
在点(x3，y3，z3)处形成图像的光场射线通过表达式(B)连接，表达式(B)定义了下的超平面。
这意味着：如果要根据两个平面参数化光场来呈现图像，则只需要呈现超平面附近的射线，而无需追踪这些射线。
根据相机的校准，可以确定以下参数：投影中心(x3，y3，z3)、相机的光轴的取向、以及从相机的针孔到光电传感器的平面的距离f。图7示出了光场相机参数。光电传感器平面位于深度zp处。光电传感器的像素输出被转换为光场射线的几何表示。包括分别在位于z3的一边的深度z1和z2处的两个参考平面P1和P2在内的光板在相机投影中心的相对于光电传感器的另一侧。通过对光射线应用三角原理，可以通过应用以下表达式将记录从微透镜阵列投影的光的像素坐标(xp，yp，zp)映射到射线参数(即，参考平面相交点(x1，y1，x2，y2))
上述计算可以扩展到具有不同的三元组对(xp，yp，zp)(x3，y3，z3)的多个相机：
在全光相机的情况下，使用具有光圈的相机模型，并且在相位空间中将光场射线描述为具有原点(xp，yp，zp)和方向(x’3，y’3，1)。光场射线到在深度z3处的平面(x3，y3)的传播可以被描述为矩阵变换。透镜将用作为ABCD矩阵以折射射线，并且另一ABCD传播矩阵将射线带到光板参考平面P1和P2上。
图8是图形化地示出了在位置x3＝2和深度z3＝2处、具有光圈|A|＜0.5的相机捕获的光场光线的相交数据(x1，x2)的2D射线图。用于参数化的射线图的数据线是通过提供256×256个像素的图像的256个单元而采样的。
如果图8中所示的射线图被解释为256×256元素的矩阵，则可以看到该矩阵被稀疏地填充。如果射线要单独保存在文件(file)中而不是4D相位空间矩阵中，则对于每个射线来说需要保存的为针对每个位置xi或x3的至少2个字节(整型16)再加上针对颜色的3个字节，即对于2D薄片光场来说每个射线7个字节，而对于全4D表示来说每个射线11个字节。即使这样，射线也会随机存储在文件中，这可能不适合需要操作该表示的应用。本发明的发明人已经确定如何仅从射线图矩阵中提取表示性数据并且以结构化的方式将数据存储在文件中。
由于光场射线沿着2D射线图的数据线进行映射，因此存储定义数据线的参数而不是线值本身更为有效。定义数据线的参数(例如，斜率定义参数s和轴截距d)可以与属于该数据线的光场射线集合一起存储。
这可能需要斜率参数s例如仅仅2个字节、斜率参数d为2个字节，然后每个射线仅3个字节。此外，可以沿文件中的线排序射线。为了设置通过矩阵单元的线，产生与射线近似且误差最小的所谓的数字线。
为了定位数据线并且获得斜率参数s和截距参数d，执行步骤S704，以由线检测模块704对在步骤S703中产生的射线图执行拉东变换(参见图18A)。
根据获得的斜率参数s和截距参数d，在步骤S705中通过数字线产生模块705来产生代表性数字线(参见图18A)。在这一步骤中，例如通过应用Bresenham算法，通过将分析线近似到其最近的网格点来产生数字线。事实上，Bresenham算法提供了一种以最少的操作来提供数字线的方法。其它方法可以应用快速离散拉东变换计算。Bresenham申请的示例是根据以下参考文献改编的一种应用：http：//www.cs.helsinki.fi/group/goa/mallinnus/ lines/bresenh.html。
数字格式通过网格的两点(0，d)和(N-1，s)来定义数据线，其中d是当x1＝0时与x2的值相对应的截距，并且s是当x1＝N-1时与x2的值相对应的斜率参数。根据产生的数字格式，每个单独的线的斜率a可以表示为d和s的函数，如下所示：
其中：
s∈{0，1，....N-1}和d∈{0，1，....N-1}
图9示出了应用Bresenham算法产生的数字线的示例。
图10示出了具有相同斜率a(或s-d)但不同截距d的一组数字线，该组数据线是连续的。这组数据线在这里被称为一束线，并且与由并非理想定位的相机产生的束相对应。每个线寻址不同的像素。换句话说，一个像素仅属于具有相同斜率但不同截距的唯一一束线。轴截距d的上边界和下边界分别为dmax和dmin。
由采样线对(在2D下的)参数化并且属于一个相机的射线数据属于用于表示数据的相位空间中的一系列数字线(束)。束的头部可以简单地包含斜率a和由轴截距的上边界和下边界定义的束的粗细dmax-dmin。，沿着头部可以是d和s的数字线，将射线值存储为RGB颜色。不需要存储采样空间中的射线图的空白单元。可以根据参数d、s和根据单元沿数字线的位置导出射线的坐标x1、x2。
表1是在2D射线图存储的情况下根据本发明实施例的数据表示格式的示例。可以理解的是，对于4D情况，该表将在y1和y2维度上扩展。
表1数据表示格式
数据包括以下参数：
-截距数据x1、x2的2D图的矩阵(N乘以M)的单元的数量，其中N与x1个单元的数量相对应，并且M与x2个单元的数量相对应。
-定义数字化数据线的参数d和s，数字化数据线与从(0，d)到(N-1，s)的在(矩阵N乘以M的)网格中延伸的一个或多个光场射线相对应，如图9所示。
-获取相机的数量n
-每个数据线的RGB数据
要根据光场或根据相机的几何形状估计的参数是斜率a、数字线截距的下界线和上界线(dmin，dmax)、数字线参数(di，si)。离散拉东变换已经被作为用于测量射线图中的光场的支持位置的工具而进行了讨论。
图11B示出了图11A的数据线的数字线参数空间(d，s)中的离散拉东变换。图11C是图11B中包括的感兴趣区域的放大图。数字线的束通过搜索最大值参数来定位。由于图像内容，DRT的几何对称中心与最大值的实际位置之间可能存在一些偏移，因此稍后使用算法来精确定位对称中心而不是最大值。然后，很容易找到如图11C所示的束变换的腰部，以给出值(dmin，dmax)。点(dmin＝74，s＝201)是来自图11A的数字线的束的下包络，并且点(dmax＝81，s＝208)是数字线的束的上包络。
根据方程B将两个正交2D薄片空间的方程给出为：
(z2-z3)(x1+y1)+(z3-z1)(x2+y2)＝(z2-z1)(x3+y3) (C)
如果获得了针对xi坐标的2D薄片，则通过在(x3，y3，z3)处的大小为A的光圈的射线数据将映射的线束的方程给出如下：
类似地，如果针对yi坐标获得了2D切片，则：
如前所述，可以在离散域中评价m和的值。为了定位由前面讨论的格式定义的光场的特性，不需要执行4D离散拉东变换。如果获得了两个正交的2D DRT，则可以对超平面的斜率m和在4D射线图中所有数据会聚的数字超平面的束宽度执行测量。
这个更简单的位置过程假设圆形的入口光瞳A，以便 将包括所有的超平面截距，被写到格式中的一些值将不包含任何值。
在本发明的实施例中，如将要描述的，通过反向追踪和参数化的步骤来获得在几何上定义光场射线与参考平面P1、P2的相交的相交数据(x1，y1，x2，y2)。
图12A是示出了根据本发明的一个或多个实施例的用于产生表示光场的数据的方法的步骤的流程图。图12B是示意性地示出了根据本发明的一个或多个实施例的用于产生表示光场的数据的系统的主要模块的框图。
在方法的预备步骤S801中，通过光场相机801获取原始光场数据。原始光场数据例如可以为具有参考图3所描述的微图像的形式。光场相机可以是诸如图1A或图1B以及图2A和图2B中所示的光场相机设备。通常，数据以与检测光的光传感器的像素相对应的像素形式提供。
在步骤S802中，通过反向跟踪模块702处理获取的光场数据，以产生像素数据，光场射线与捕获的光场相对应。
像素反向追踪指的是根据像素和相机数据产生射线的操作。这个处理通常是相机特定的。每种相机类型都有其自己的将射线映射到像素的特定技术。全光相机以非常特定的方式来登记2D图像阵列。其它类型的相机可以获取4π球面度立体角，并且该设备被不同地处理以重新产生射线。由于像素反向追踪特定于每个获取系统，因此不得不开发不同的反向追踪器模块。传统的光场相机可以被描述和建模为针孔，并且反向追踪很简单。全光2.0相机更难以进行反向追踪，特别是在微透镜阵列具有三个不同的小透镜焦点的情况下。对于后一种情况，反向追踪可以通过焦点堆栈(focal stack)间接获得。
图13A示意性地示出了反向追踪的示例。图13B示出了用于要指定算法的射线反向追踪的获取设备的示例。如图13A所示的射线反向追踪的处理由针孔相机建模。
无论原始像素阵列是否应该被演示为全RGB阵列还是保存为原始数据阵列，都可以通过为反向追踪的射线指派完整的RGB值或仅指派唯一的颜色值来处理。
为了用针孔相机模型进行反向追踪，执行相机校准以定位针孔的位置，该位置用作为每条射线相交的共同点。校准还提供像素大小和像素平面到投影中心的距离，使得每个像素都可以很容易地被转换为全局坐标系中的通过针孔的射线，并且射线的方向是从像素到针孔的方向。
如通过简单针孔模型设想的那样，在每个像素处集成并且被透镜输出光瞳所对向(sustended)的每个射线束可以被减小到从透镜到像素的平均束传播方向。可以在＜http：//www.ics.uci.edu/～majumder/vispercep/cameracalib.pdf＞处找到如何使用相机固有的和外在因素来反向追踪像素的示例。
为了说明像素反向追踪过程，为了简单起见，假设相机的投影中心在(0，0，0)处，图像平面的中心位于(0；0；f)处。相机未旋转，其主轴指向Z方向。也假设像素是正方形的，以便mu＝mv＝m像素.米-1。最后，通过以使得左下方的像素在(u＝0；v＝0)处的方式将图像平面平移(tu，tv)。像素通过它们的行列索引对(i，j)来寻址。如果I是像素(i，j，1)中的图像位置矢量，则像素与通过中央投影映射到该像素的点P(X，Y，Z)之间的关系为：
从校准步骤知道m、f、tu、tv，反向追踪像素得到：
P＝K-1I (G)
P是来自像素(i，j)的射线将通过的三维空间中的点。在一个位置P处，由于射线通过(0，0，0)，因此方向由矢量P(X，Y，Z)给出。
在步骤S803中，执行参数化的处理。参数化是用标签来唯一标识每个射线的处理。当射线通过某一位置并且具有某个方向时，最直接的参数化将是6个实数(x，y，z，u，v，w)混合空间和方向坐标的集合。为了简单起见，采用已经讨论的两个平面参数化。常常被问到的问题是相对于获取系统将这些平面放置在哪里。通常在文献中，特别是对于全光相机，为了便于计算，将一个平面放置在传感器处，将另一平面放置在小透镜阵列或主透镜上。这些位置应该避免，因为微透镜有厚度，因此我们到底应该将平面之一准确地放置在哪里呢？主透镜有非常复杂的透镜规定(prescription)，而该规定是未知的。因此，最好的做法是把平面放置在获取系统之外。假设第一位置位于z＝z1处，第二位置位于z＝z2处，其中z2＞z1。从等式(F)可以发现，已经根据像素(I，j)反向追踪的射线的参数为：
根据均匀坐标的规则，将等式的前两行除以Z1。根据与第二平面的相交而获取的第二参数集合也可以写为：
由于配对(z1，z2)是已知的，因此从以前的推导可以看出，射线由4元组(4-uplet)(x1，y1，x2，y2，)∈R4唯一地描述。
此外，射线指派有RGB值。因此，通过这种参数化来表示射线，将需要4个浮点数和3个字节，总共需要19个字节(但是射线空间尚未被采样)。在基于图像的格式中，元素数据仅由2个整数和3个字节表示。因此，可以看出，这种参数化将大量数据添加到内容中，并且通常情况下，光场是四维数据集合，它需要大量的不可管理的存储空间。
在步骤S804中，执行采样和缩小。为了建立光场数据格式，需要光场数据的数字表示。由于到目前为止，射线是用实数描述的，因此射线空间坐标系被采样，以便为每条射线指派唯一的4元组整数索引而不是实数。为此，4D射线空间x1，y1，x2，y2以Δx1，Δy1，Δx2，Δy2，步长进行采样。因此，每个射线都由4个索引(i，j，k，l)∈N4唯一定义，即(x1，y1，x2，y2，)≈(x1min，y1min，x2min，y2min)，+(iΔx1，jΔy1，kΔx2，lΔy2)，其中索引最接近真实射线的参数。这实际上意味着这些索引是这样的：
该缩小是定义由如下射线产生的光场的紧凑支持空间的处理，所述射线是根据光场相机获取的像素而反向追踪到的。图14示意性地示出了限于3D空间的缩小过程，其中遮蔽了光场的支持单元。该图示出了采样空间中的支持，但是该支持也可以通过分析推导在连续区域中获知。在离散域中，支持可以通过4D参数空间中的光场的离散拉东变换来找到。更确切地，支持是由两个正交DRT发现的。
在图15中，通过阴影单元描绘了参数空间中的光场域的支持。
该支持是连续支持。通过构建单元的网格线对该支持进行采样。存在范围为[0，N-1；0，M-1]的N×M个单元。
数字线从列行索引(i＝0；j＝d)处开始，并且在(i＝N-1；j＝s)处结束。
以下说明性示例仅限于2D薄片。从前面的部分可以看出，对于投影中心位于已知坐标(x3，y3，＝0，z3，)∈R3的系统，可以找到块的线的解析方程。
如果有两条参数化线位于(z1，z2，)∈R2，那么也知道光场射线将位于如下方程的仿射线上：
其中：
是对界定所有射线参数(x1，x2)的参数化线的限制。仿射线沿着数字线通过阴影单元。单元大小是：
现在，4D空间可以被一般化。获取的光场的超平面支持如下给出：
(z2-z3)(x1+y1)+(z3-z1)(x2+y2)＝(z2-z1)(x3+y3)
其中，已知由3索引的变量以及Z1和Z2。为了简化元数据，以规范形式将方程书写为：
给出了下面的下界限和上界限：
并且给出了以下单元大小：
由于4D参数空间被填满(或图15所示示例中的2D空间)，单元索引可以用于扫描数据，并且将RGB值单独保存为格式(或包)。文件格式的元数据将包含用于将每个写入文件格式的值转换回针对射线的采样的4元组参数的所有必要值，所述转换回的处理反转了打包的动作(称为解包)，该处理可以通过切割光场并将光场缩小到二维空间中的小视觉示例来说明，如果来自前一子部分的数学符号被遵循，那么第一列索引是i＝0。在单元j＝2处，该列中存在数据。为了找到数字线的像素的索引，需要以下数据：
其中，E表示整数函数，它将任何实数舍入为较小的自然数(整数)。因此，扫描数据是将i从0递增到N-1的简单事情。对于每个i，数据位于单元(i，j)中，其中j是通过前一方程集合而计算出的。对于每个i，存储由射线携带的RGB值，并且在该单元(i，j)中找到该RGB值。为了稍后从格式中解压缩数据，已知格式的每个单元由等级i索引，并且为了重新产生射线参数(i，j)，将x1m、x2m、x1M、x2M、N、M、a、b、z1、z2的值作为元数据存储在文件格式中。图16示出了扫描n个包的处理以及元数据所需的并且被存储的文件格式结构。可以注意两个方面：首先，数据部分包含其中RGB射线数据被排序的N个单元，其次，射线参数(x1，x2)未被存储。用于参数化射线z1和z2的线的位置被给出，与投影中心x3和z3的位置相关的其它数据可以通过以下操作来导出：根据等式H利用与x3和z3有关的表达式来识别a和b，然后求解未知数。
在相机不能被建模为针孔的情况下，该格式适应于稍微不同的布置，该布置可以被认为是上面的子部分中所呈现的布置的一般化。
事实上，已经证明，这些射线将沿着一束数字线进行映射，而不是沿着唯一的数字线映射。如图17所示，元数据应包含一个补充值n，n是必须被扫描的数字线的数量，格式的数据部分将附加行的RGB数据的附加矢量打包。
同样，如前所述，现在已经使用2D示例来说明该处理，2D示例可以被一般化为真实空间，即4D参数空间。在4D射线空间中，射线
的参数将映射到由4个自然数(i，j，k，l)∈R4索引的4D单元。这些索引的范围将为[0，N-1；0，M-1；0，K-1；0，L-1]。为了扫描包含数据的单元，可以使用超平面的参数方程的数字等价物：
接着：
根据以下方程可以导出最后缺失的索引l：
表明4D中的扫描和打包算法可以通过例如以下方式给出：
注释1：计算
注释2：存储位于单元i，j，k，l中的射线的RGB值
表2总结了在元数据格式中使用的参数类型，其中数据部分包含RGB数据的两个矢量。使用RGB数据的两个矢量来说明更一般的情况，其中通过假设n＝2作为示例说明数字超平面对存储在格式中，以将来自光场的射线映射到多于一个超平面上。
表24D光场的格式布局
格式用于产生射线。首先，2D情况被用于说明目的。首先，读取元数据。然后，一个RGB单元接一个RGB单元地扫描数据部分。
假设读出是在单元编号i处，则为了产生(x1i，x2j)，(x1i，x2j)是具有存储在位置i处的RGB值的射线的参数，应用3个方程(F)。从头部读取附加数据，可以包括：格式的数据部分中的存储在位置i处的射线具有参数(x1i，z1，x2j，z2)，参数(x1i，z1，x2j，z2)全部都是根据文件计算出来的，并且该参数唯一地定义射线。
图12C示出了用于根据光场数据来呈现至少一个图像的设备，该设备包括：处理器811，用于处理根据如上所述的本发明的任何实施例的方法获得的数据；以及显示器812，用于根据处理后的数据来呈现图像。
图18A是示出了根据本发明的一个或多个实施例的用于产生表示光场的数据的方法的步骤的流程图。图18B是示意性地示出了根据本发明的一个或多个实施例的用于产生表示光场的数据的系统的主要模块的框图。
在方法的预备步骤S701中，通过光场相机701获取原始光场数据。原始光场数据例如可以为具有参考图3所描述的微图像的形式。光场相机可以是诸如图1A或图1B以及图2A和图2B中所示的光场相机设备。
在步骤S702中，通过射线参数模块702处理所获取的光场数据，以提供相交数据(x1，y1，x2，y2)，相交数据(x1，y1，x2，y2)定义捕获的光场射线与在相应深度z1、z2处的用于参数化的参考平面对P1、P2的相交。
根据该步骤，获得几何上定义光场射线与参考平面P1、P2的相交的相交数据(x1，y1，x2，y2)。
在步骤S703中，通过射线图产生器模块703获得图形化地表示相交数据(x1，y1，x2，y2)的2D射线图。
将有兴趣获得针对4D情况的格式，获得方式与针对2D情况提出的获得方法相似。为此，将有兴趣将在∏(x1，x2)平面上找到的2D线与在∏(y1，y2)位置上找到的线相关联，即，线是对应的超平面与两个正交薄片∏(x1，x2)和∏(y1，y2)的相交的结果。根据表达式D和E可知，对应的线具有相同的斜率m。这是用于将∏(x1，x2)中的每个线与∏(y1，y2)中的线相关联的、针对在某个深度处的相机的第一参数。如果在同一深度处有多台相机，则∏(x1，x2)中有三个线，并且∏(y1，y2)中有三个线，这些线的估计斜率相同都为m。然后，确定这两个平面中的线之间的线偏移中的对应关系。为此，利用表达式D和E中的线的方程式。特别表示为
偏移如下：
以及
可以针对k，x3和y3对方程集合进行求解。请注意，(x3，y3，z3)与相机的坐标相对应，或者换句话说，对应的束集中在半径为A的圆上的体素。我们假设在位于z3处的平面上的光圈是圆形的，因此并且通过求解以前的方程集合得到：
可以使用Bresenham数字线像以前对∏(x1，x2)那样扫描数字线；对于每个单独的(x1，x2)值，存储在光场中捕获的对应的(y1，y2)值。为了找到这样的值，利用表达式(C)。x3、y3、z3、z1、z2所有内容都是已知的或根据表达式(F)和(G)估计的。
在∏(x1，x2)中的每一行上移动，对于每个获得(y1，y2)中的以下关系：
或者
对于∏(x1，x2)中的每个点，保存∏(y1，y2)中的线的集合。doff与针对扫描和保存的线的偏移相对应。注意到：
参考图11，每个正方形是点并且对于这些点中的每一个点，都存在沿着由如下方程定义的数字束的、脱离图中平面的Bresenham数字线集合：
但在4D空间中，所述Bresenham数字线集合垂直于所描绘的数据线。这里，在y3-A到y3+A之间变化。
表2中示出了每个相机的一束数据线的示例性数据格式。
表2
首先，提供了4D空间的一般元数据：包括4个轴x1、x2、y1、y2的边界及其对应的采样。也提供相机(束)的数量。对于每个相机j，保存以下参数：
光圈的大小：Aj；
相机的焦点：camj；焦点＝(x3，y3，z3)
在(xlx，2)中最小截距d＝dj
抖度＝mj
中数字线的数量
中数字线的数量
在每个相机上，对于每个(xq 1；xq 2)，使用Bresenham数字线关于表达式(K)开始扫描(y1，y2)，并且保存RGB值。在y3-A至y3+A之间变化，并且根据表达式(K)计算对应的doff。
使用存储的元数据在解码步骤中执行相同的计算。具体地，使用方程式(H)找到k。因此，格式保持紧凑。无需为系统中的每个射线存储四个索引。请注意：上面的超平面的采样是4D射线空间的采样，因此不会缺失单个x1；y1；x2；y2位置。这仅是用于以非常紧凑的形式保存所有数据的4D射线空间的系统扫描的一个示例。当然，也可以应用其它处理。参数化形式似乎适用于探索超平面，因为参数化形式允许跨空间探索。
在多个相机从而处理包含若干束超平面(由于多个相机而导致的拉东变换中的若干个极值)在内的数据的情况下，可以使用更复杂的算法。作为预处理步骤，针对拉东变换∏(x1，x2)中的所有峰值来找到参数(m，k)，并且将这些找到的参数(m，k)放入一个集合中。针对(y1，y2)中的峰值也这样做，并且将得到的参数放在另一集合中。现在，在贪婪算法的每次迭代中，在(x1，x2)的2D拉东变换中找到最大峰值强度，并且通过匹配先前找到的参数(m，k)来找到(y1，y2)中的对应峰值。在如上一部分中提到的保存数据之后，将这些峰值从拉东变换中清除，然后开始下一次迭代，直到光场中没有任何有意义的数据为止。
图13C示出了用于根据光场数据来呈现至少一个图像的设备，该设备包括：处理器711，用于处理根据如上所述的本发明的任何实施例的方法获得的数据；以及显示器，用于根据处理后的数据来呈现图像。
对本领域技术人员来讲，通过参考上述说明性实施例，将设想许多另外的修改和变形，这些说明性实施例仅为作为示例给出而不意在限制仅由所附权利要求确定的本发明的范围。具体地，在适当的情况下，来自不同实施例的不同特征可互换使用。

Claims (31)

1.一种用于产生表示光场的数据的计算机实现的方法，所述方法包括：
获得相交数据，所述相交数据定义来自场景的光场射线与多个给定参考平面的相交，所述参考平面与所述场景中的不同深度相对应，每个相交数据集合与具有颜色值的光场射线相对应；
确定采样单元的参数空间中的表示所述相交数据的一个或多个数据超平面；
借助于参数方程在所述数据超平面上或附近扫描数据，以采样表示所述光场射线的数据；
提供表示所述光场的数据格式，所述数据格式包括定义所述参数空间中的所述至少一个数据超平面的至少一个数据参数、以及与每个光场射线相关联的所述颜色值。
2.根据权利要求1所述的方法，其中，所述一个或多个数据超平面是由离散拉东变换确定的。
3.根据权利要求2所述的方法，其中，在所述参数空间中应用两个正交离散拉东变换，以获得所述一个或多个超平面。
4.根据权利要求1所述的方法，其中，所述一个或多个数据超平面是根据定义相机获取参数的数据而确定的。
5.根据前述权利要求中任一项所述的方法，其中，扫描所述数据包括应用以下算法：
6.根据前述权利要求中任一项所述的方法，其中，定义所述至少一个数据超平面的数据参数包括表示以下至少一项的数据：
第一参考平面的相交数据的最小值；
所述第一参考平面的相交数据的最大值；
第二参考平面的相交数据的最小值；
所述第二参考平面的相交数据的最大值；
定义所述参数空间的采样单元的数量；
所述第一参考平面的位置；以及
所述第二参考平面的位置。
7.根据前述权利要求中任一项所述的方法，其中，每个数据超平面由所述参数空间的多个单元定义，所述多个单元包括表示线与轴相交而形成的截距的至少一个第一单元、以及根据其来确定线的斜率的至少一个第二单元。
8.根据前述权利要求中任一项所述的方法，其中，每个数字超平面是通过应用Bresenham算法来产生的。
9.根据前述权利要求中任一项所述的方法，其中，射线束被表示为具有相同斜率和不同轴截距点的多个超平面。
10.根据权利要求9所述的方法，其中，表示所述获取的光场数据的数据包括表示所述束的粗细的数据，所述束的粗细基于所述束中线的轴截距数据的上边界和下边界。
11.一种用于根据前述权利要求中任一项所述的方法提供的光场数据来产生光场射线的方法，包括：
逐单元地读取定义数据参数的元数据并且读取颜色数据，其中所述数据参数定义至少一个超平面。
12.一种用于为捕获的光场数据提供元数据的设备，
所述设备包括：
光场数据获取模块，用于获取由光场相机捕获的光场数据；以及
光场数据产生模块，被配置为：
获得相交数据，所述相交数据定义来自场景的光场射线与多个给定参考平面的相交，所述参考平面与所述场景中的不同深度相对应，每个相交数据集合与具有颜色值的光场射线相对应；
确定采样单元的参数空间中的表示相交数据的一个或多个数据超平面；
借助于参数方程在所述数据超平面上或附近扫描数据，以采样表示所述光场射线的数据；
提供表示所述光场的数据格式，所述数据格式包括定义所述参数空间中的所述超平面的至少一个数据参数、以及与每个产生的光场射线相关联的所述颜色值。
13.一种光场成像设备，包括：
微透镜阵列，按照规则点阵结构布置；
光电传感器，被配置为捕获从所述微透镜阵列投影到所述光电传感器上的光，所述光电传感器包括像素集合，每个像素集合与所述微透镜阵列中的相应微透镜光学相关联；以及
根据权利要求12所述的用于提供元数据的设备。
14.一种用于根据使用根据权利要求1至11中任一项所述的方法而获得的光场数据来呈现图像的设备。
15.一种针对表示光场射线的数据的数据包，包括：
定义参数空间中的超平面的至少一个数据参数，所述超平面表示相交数据，所述相交数据定义来自场景的光场射线与多个给定参考平面的相交，所述参考平面与所述场景中的不同深度相对应，每个相交数据集合与具有颜色值的光场射线相对应；以及
与每个光场射线相关联的颜色值。
16.一种用于产生表示光场的数据的计算机实现的方法，包括：
获取(S701)表示从场景捕获的光场射线的光场数据；
根据所获取的光场数据来获得(S702)相交数据，所述相交数据定义来自所述场景的所述光场射线与多个给定参考平面的相交，所述参考平面与所述场景中的不同深度相对应；以及
获得定义相交数据在射线图中的图形表示的射线图参数(S704，S705)，以提供表示所获取的光场数据的数据。
17.根据权利要求16所述的方法，其中，与所述光场射线相对应的截距数据在所述射线图中被图形化地表示为数据线，并且所述射线图参数包括表示以下至少一项的数据：
数据线的斜率；以及
数据线与所述射线图的轴相交而形成的截距。
18.根据权利要求17所述的方法，其中，通过应用拉东变换在所述射线图中检测所述数据线。
19.根据权利要求17或18所述的方法，其中，所述图形表示被提供为单元矩阵以提供数字化数据线，每个数字化数据线格式由多个单元定义，所述多个单元包括表示线与轴相交而形成的截距的至少一个第一单元、以及根据其来确定线的斜率的至少一个第二单元。
20.根据权利要求19所述的方法，其中，每个数字化数据线是通过应用Bresenham算法来产生的。
21.根据权利要求19或20所述的方法，其中，表示所获取的光场数据的数据包括定义单元矩阵的数据。
22.根据权利要求16至21中任一项所述的方法，其中，表示所获取的光场数据的数据还包括表示对应的光场射线的颜色的颜色数据。
23.根据权利要求16至22中任一项所述的方法，其中，表示所获取的光场数据的数据包括定义用于捕获光场射线的相机的数量的数据。
24.根据权利要求17至23中任一项所述的方法，其中，射线束被表示为具有相同斜率和不同轴截距点的多条线。
25.根据权利要求24所述的方法，其中，表示所述获取的光场数据的数据包括表示所述束的粗细的数据，所述束的粗细基于所述束中线的轴截距数据的上边界和下边界。
26.根据权利要求25所述的方法，其中，表示所获取的光场数据的数据被提供为元数据，所述元数据的头部包括射线图参数，射线图参数定义相交数据在射线图中的图形表示，以及所述元数据的主体包括表示射线颜色的数据。
27.一种用于为捕获的光场数据提供元数据的设备，
所述设备包括：
光场数据获取模块，用于获取由光场相机捕获的光场数据；以及
光场数据产生模块，被配置为：
根据所获取的光场数据来获得相交数据，所述相交数据定义来自场景的光场射线与多个给定参考平面的相交，所述参考平面与所述场景中的不同深度相对应；以及
获得定义相交数据在射线图中的图形表示的射线图参数，以提供表示所获取的光场数据的数据。
28.一种光场成像设备，包括：
微透镜阵列，按照规则点阵结构布置；
光电传感器，被配置为捕获从所述微透镜阵列投影到所述光电传感器上的光，所述光电传感器包括像素集合，每个像素集合与所述微透镜阵列中的相应微透镜光学相关联；以及
根据权利要求12所述的用于提供元数据的设备。
29.一种用于根据光场数据来呈现图像的设备，包括：
用于处理根据权利要求16至26中任一项所述的方法获得的数据的处理器；以及
用于根据处理后的数据来呈现图像的显示器。
30.一种针对表示光场射线的数据的数据包，包括：
射线图参数，所述射线图参数定义所述光射线的相交数据在射线图中的图形表示，所述相交数据定义来自场景的所述光场射线与多个给定参考平面的相交，所述参考平面与所述场景中的不同深度相对应；以及
定义所述光场射线的颜色的颜色数据。
31.一种用于可编程装置的计算机程序产品，所述计算机程序产品包括用于在加载到所述可编程装置中并由所述可编程装置执行时实现根据权利要求1至10或16至26中任一项所述的方法的指令序列。
CN201680067390.1A 2015-09-17 2016-09-16 光场数据表示 Active CN108292431B (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP15306434.0A EP3144884A1 (en) 2015-09-17 2015-09-17 Light field data representation
EP15306434.0 2015-09-17
EP15306436.5 2015-09-17
EP15306436.5A EP3144885A1 (en) 2015-09-17 2015-09-17 Light field data representation
PCT/EP2016/072043 WO2017046372A1 (en) 2015-09-17 2016-09-16 Light field data representation

Publications (2)

Publication Number Publication Date
CN108292431A true CN108292431A (zh) 2018-07-17
CN108292431B CN108292431B (zh) 2022-08-02

Family

ID=56979550

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680067390.1A Active CN108292431B (zh) 2015-09-17 2016-09-16 光场数据表示

Country Status (10)

Country Link
US (1) US10887576B2 (zh)
EP (1) EP3350769A1 (zh)
JP (1) JP6878415B2 (zh)
KR (1) KR102635003B1 (zh)
CN (1) CN108292431B (zh)
BR (1) BR112018005399A2 (zh)
CA (1) CA2998670A1 (zh)
MX (1) MX2018003269A (zh)
RU (1) RU2018113713A (zh)
WO (1) WO2017046372A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9497380B1 (en) * 2013-02-15 2016-11-15 Red.Com, Inc. Dense field imaging
MX2018003263A (es) * 2015-09-17 2018-05-16 Thomson Licensing Metodo para codificar un contenido de campo luminoso.
EP3579561A1 (en) * 2018-06-05 2019-12-11 InterDigital VC Holdings, Inc. Prediction for light-field coding and decoding
KR20200067020A (ko) * 2018-12-03 2020-06-11 삼성전자주식회사 캘리브레이션 방법 및 장치
KR20220027836A (ko) 2019-06-07 2022-03-08 피씨엠에스 홀딩스, 인크. 분산 애퍼처들에 기초한 라이트 필드 디스플레이들을 위한 광학 방법 및 시스템
CN114009024B (zh) 2019-06-21 2024-04-02 北京字节跳动网络技术有限公司 视频编解码中自适应环内颜色空间变换的选择性启用
JP2022540350A (ja) 2019-06-28 2022-09-15 ピーシーエムエス ホールディングス インコーポレイテッド 調整可能な液晶（ｌｃ）ディフューザに基づいたライトフィールド（ｌｆ）ディスプレイのための光学的方法およびシステム
CN115152219A (zh) * 2019-11-07 2022-10-04 抖音视界有限公司 视频编解码的自适应环内颜色空间变换的量化特性
CN117015966A (zh) * 2021-03-15 2023-11-07 华为技术有限公司 一种光场预测模型的生成方法及相关装置
US20230010620A1 (en) * 2021-07-06 2023-01-12 3D Patents, Llc Bowtie processing for radiance image rendering

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104618704A (zh) * 2013-11-05 2015-05-13 三星电子株式会社 用于图像处理的方法和设备
US20150177062A1 (en) * 2013-12-19 2015-06-25 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and storage medium
US20150319344A1 (en) * 2012-08-04 2015-11-05 Paul Lapstun Light Field Camera with MEMS Scanners

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6097394A (en) * 1997-04-28 2000-08-01 Board Of Trustees, Leland Stanford, Jr. University Method and system for light field rendering
RU2249257C2 (ru) 1999-03-24 2005-03-27 Эвикс Инк. Способ и устройство для представления данных многоцветного изображения побитового отображения на точечном матричном дисплейном экране, на котором размещены лампы трех основных цветов
JP2000322576A (ja) 1999-05-11 2000-11-24 Toshiba Corp ３次元画像データ作成方法および３次元画像データを用いた任意視点画像作成方法
US20040114807A1 (en) * 2002-12-13 2004-06-17 Dan Lelescu Statistical representation and coding of light field data
US7643675B2 (en) 2003-08-01 2010-01-05 Microsoft Corporation Strategies for processing image information using a color information data structure
US8237708B2 (en) 2006-08-18 2012-08-07 William Edward Mantzel Data structure representing a plenoptic function via compressible layered orthographic projections from multiple orientations
US20130113981A1 (en) 2006-12-01 2013-05-09 Lytro, Inc. Light field camera image, file and configuration data, and methods of using, storing and communicating same
ES2372515B2 (es) * 2008-01-15 2012-10-16 Universidad De La Laguna Cámara para la adquisición en tiempo real de la información visual de escenas tridimensionales.
WO2009114482A1 (en) 2008-03-10 2009-09-17 Dilithium Holdings, Inc. Method and apparatus for video services
EP2244484B1 (en) 2009-04-22 2012-03-28 Raytrix GmbH Digital imaging method for synthesizing an image using data recorded with a plenoptic camera
KR20130003135A (ko) 2011-06-30 2013-01-09 삼성전자주식회사 다시점 카메라를 이용한 라이트 필드 형상 캡처링 방법 및 장치
US9298006B2 (en) 2013-01-18 2016-03-29 Intel Corporation Layered light field reconstruction for defocus blur
US9380221B2 (en) 2013-02-27 2016-06-28 Massachusetts Institute Of Technology Methods and apparatus for light field photography
US9412172B2 (en) * 2013-05-06 2016-08-09 Disney Enterprises, Inc. Sparse light field representation
CN103402108A (zh) 2013-07-30 2013-11-20 上海易维视科技有限公司 一种多视点3d格式排列方法
CN106165387A (zh) * 2013-11-22 2016-11-23 维迪诺蒂有限公司 光场处理方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150319344A1 (en) * 2012-08-04 2015-11-05 Paul Lapstun Light Field Camera with MEMS Scanners
CN104618704A (zh) * 2013-11-05 2015-05-13 三星电子株式会社 用于图像处理的方法和设备
US20150177062A1 (en) * 2013-12-19 2015-06-25 Canon Kabushiki Kaisha Information processing apparatus, information processing method, and storage medium

Also Published As

Publication number Publication date
US10887576B2 (en) 2021-01-05
US20190174115A1 (en) 2019-06-06
MX2018003269A (es) 2018-11-09
KR102635003B1 (ko) 2024-02-07
BR112018005399A2 (pt) 2018-10-09
CN108292431B (zh) 2022-08-02
JP6878415B2 (ja) 2021-05-26
EP3350769A1 (en) 2018-07-25
RU2018113713A3 (zh) 2020-04-02
CA2998670A1 (en) 2017-03-23
JP2018536211A (ja) 2018-12-06
KR20180053669A (ko) 2018-05-23
WO2017046372A1 (en) 2017-03-23
RU2018113713A (ru) 2019-10-18

Similar Documents

Publication Publication Date Title
CN108292431A (zh) 光场数据表示
US10021340B2 (en) Method and an apparatus for generating data representative of a light field
US10897608B2 (en) Capturing light-field images with uneven and/or incomplete angular sampling
CN107534718A (zh) 光场的元数据
US10762612B2 (en) Method and an apparatus for generating data representative of a pixel beam
Afshari et al. A spherical multi-camera system with real-time omnidirectional video acquisition capability
US20210329217A1 (en) Method and an apparatus for generating data representative of a pixel beam
KR102478989B1 (ko) 명시야 데이터와 연관된 보케를 표현하는 데이터를 생성하기 위한 방법 및 장치
CN108352061B (zh) 用于产生表示像素光束的数据的装置和方法
US20190101765A1 (en) A method and an apparatus for generating data representative of a pixel beam
US11882259B2 (en) Light field data representation
CA2998661A1 (en) An apparatus and a method for encoding an image captured by an optical acquisition system
KR102454773B1 (ko) 픽셀 빔을 나타내는 데이터를 생성하기 위한 장치 및 방법
KR102402432B1 (ko) 픽셀 빔을 표현하는 데이터를 생성하기 위한 장치 및 방법
Corke Image Formation
EP3144884A1 (en) Light field data representation

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right
TA01 Transfer of patent application right

Effective date of registration: 20191105

Address after: Delaware, USA

Applicant after: Interactive Digital VC Holdings

Address before: Icelemulino, France

Applicant before: THOMSON LICENSING

GR01 Patent grant
GR01 Patent grant