CN107534718A - 光场的元数据 - Google Patents

光场的元数据 Download PDF

Info

Publication number
CN107534718A
CN107534718A CN201680022582.0A CN201680022582A CN107534718A CN 107534718 A CN107534718 A CN 107534718A CN 201680022582 A CN201680022582 A CN 201680022582A CN 107534718 A CN107534718 A CN 107534718A
Authority
CN
China
Prior art keywords
light field
field data
metadata
data
lightfield camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201680022582.0A
Other languages
English (en)
Inventor
G.布瓦松
M.塞菲
B.范达姆
N.萨巴特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital VC Holdings Inc
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN107534718A publication Critical patent/CN107534718A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/232—Image signal generators using stereoscopic image cameras using a single 2D image sensor using fly-eye lenses, e.g. arrangements of circular lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/218—Image signal generators using stereoscopic image cameras using a single 2D image sensor using spatial multiplexing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
    • H04N13/229—Image signal generators using stereoscopic image cameras using a single 2D image sensor using lenticular lenses, e.g. arrangements of cylindrical lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H04N25/136—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements using complementary colours

Abstract

一种为所采集的光场数据提供元数据的方法，所述方法包括提供聚合元数据的数据格式，该元数据描述以下至少一个的特征：被用于采集光场数据的光场摄像机、从光场数据导出的视图矩阵以及从光场数据导出的焦点堆叠。

Description

光场的元数据
技术领域
本发明涉及用于光场数据和光场数据的处理的元数据。
背景技术
传统摄像机在对可见光敏感的二维传感器设备上采集来自三维场景的光。在这种成像设备中所使用的光敏技术通常基于能够将光子转换为电子的半导体技术，例如电荷耦合设备(CCD)或互补金属氧化物技术(CMOS)。例如，数字图像光传感器典型地包括光敏单元的阵列，每个单元被配置为采集入射光。从由图像传感器设备的每个光敏单元采集的光的总量的测量获得2D图像，该2D图像提供空间信息。虽然2D图像可以提供在光传感器的空间点处关于光的强度和光的颜色的信息，但是没有提供关于入射光的方向的信息。
光场摄像机(也称为辐射采集摄像机)可以提供除二维空间信息外的关于入射光线的方向信息。可以通过使用微透镜阵列获得方向信息，该微透镜阵列通常被称为与图像传感器相关联的微透镜阵列(MLA)。例如，光场阵列摄像机设置有微透镜阵列和光传感器。全光摄像机设置有聚焦在MLA上的主透镜，以及与MLA相关联的光传感器。在其他的光场摄像机配置中，可以使用各自设置有自己的透镜和传感器的多个摄像机来获得光场数据。
光场通常被定义为表征来自场景中不同点处的不同方向的光的4D功能。关于光线的方向分布的信息典型地被称为光场数据或4D数据。由于信息提供4个参数-二维位置信息和二维角度信息，所以方向分布对应于四维(4D)功能。光场可以被解释为场景的2D图像的二维集合。
可以针对许多应用处理所获得的光场数据，例如，以生成场景的重新聚焦图像、以从不同视点生成图像、以提供关于所采集的场景的深度信息或者以生成3D图像。
应该适当地管理从光场摄像机所获得的数据，从而在不同的应用中合理地利用。
本发明是考虑到前述内容而设计的。
发明内容
根据本发明的第一方面，提供了一种为所采集的光场数据提供元数据的方法，所述方法包括提供聚合元数据的数据格式，所示元数据描述以下至少一个的特征：被用于采集光场数据的光场摄像机，从光场数据导出的视图矩阵，以及从光场数据导出的焦点堆叠。
在一个实施例中，该方法包括获得描述以下至少一个的特征的光场数据元数据：被用于采集光场数据的光场摄像机，从光场数据导出的视图矩阵，以及从光场数据导出的焦点堆叠；以及基于由元数据提供的信息渲染光场数据。
在一个实施例中，在光图像文件中聚合所述元数据。
在一个实施例中，以符合XML的标记语言来定义所述元数据。
在一个实施例中，描述被用于采集所述光场数据的所述光场摄像机的特征的所述元数据包括定义所述光场摄像机的以下技术特征中的一个或多个的数据：
光场摄像机的光传感器；
光场摄像机的主透镜；以及
光场摄像机的微透镜阵列。
在一个实施例中，描述所述光场摄像机的光传感器的元数据包括表示以下参数中的一个或多个的数据：
光传感器的空间分辨率；
光传感器的滤色器的颜色采样；
光传感器的滤色器的透射率；
光传感器的像素的动态范围；
定义由像素输出的信号与入射光之间的非线性关系的颜色变换矩阵；
光传感器的两个相邻像素之间的间距；以及
指定非正方形像素的形状比的缩放因子。
在一个实施例中，描述所述光场摄像机的主透镜的元数据包括表示以下参数中的一个或多个的数据：
主透镜的焦距；
光瞳(pupil)与焦距之间的比率；以及
主透镜的渐晕模型。
在一个实施例中，描述所述光场摄像机的微透镜阵列的元数据包括表示以下参数中的一个或多个的数据：
微透镜阵列的图案；
被布置在微透镜阵列上的滤色器的图案；
微透镜阵列的两个相邻微透镜之间的间距；
指定微透镜的形状比的缩放因子；以及
校准微透镜中心的数量；以及
一个或多个微透镜中心的空间坐标。
在一个实施例中，描述从所述光场数据导出的视图阵列的特征的元数据包括表示以下参数中的一个或多个的数据：
阵列中的视图的数量；
一个或每个视图的空间分辨率；
视图中可用的颜色；
视图的参考点的空间坐标；
视图的水平焦距和垂直焦距。
在一个实施例中，描述从所述光场数据导出的焦点堆叠的特征的元数据包括表示以下参数中的一个或多个的数据：
焦点堆叠中的聚焦图片的数量；
聚焦图片的空间分辨率；
聚焦图片的聚焦的距离。
本发明的第二方面提供了一种用于为所采集的光场数据提供元数据的设备，所述设备包括：
用于获取由光场摄像机采集的光场数据的光场数据获取模块以及
用于提供聚合元数据的数据格式化器，所述元数据描述以下至少一个的特征：
被用于采集光场数据的光场摄像机，
从光场数据导出的视图矩阵，以及
从光场数据导出的焦点堆叠。
本发明的第三方面提供了一种光场成像设备，包括：
以规则晶格结构排列的微透镜阵列；
光传感器，被配置为采集从微透镜阵列投影在光传感器上的光，所述光传感器包括一组像素，每组像素与微透镜阵列的相应微透镜光学相关；以及
用于为所获取的光场数据提供元数据的设备，所述设备包括
用于获取由光场摄像机采集的光场数据的光场数据获取模块以及
用于提供聚合元数据的数据格式化器，所述元数据描述以下至少一个的特征：
被用于采集光场数据的光场摄像机，
从光场数据导出的视图矩阵，以及
从光场数据导出的焦点堆叠。
本发明的另一方面提供一种用于使用描述以下至少之一的特征的元数据从光场数据渲染图像的设备：
被用于采集光场数据的光场摄像机，
从光场数据导出的视图矩阵，以及
从光场数据导出的焦点堆叠，所述设备包括
处理器和包含渲染应用的存储器，所述光场数据和所述元数据，其中所述渲染应用配置所述处理器基于所述元数据中提供的信息来渲染所述光场数据。
本发明的另一方面提供了一种数据包，包括
从光场摄像机采集的光场数据；以及
描述以下至少一个的特征的元数据：
被用于采集光场数据的光场摄像机，
从光场数据导出的视图矩阵，以及
从光场数据导出的焦点堆叠。
根据本发明的另一方面，提供一种处理光场数据的方法，包括将光场数据从第一光场数据格式转换为与第一光场格式不同的第二光场数据格式，该转换是使用从描述光场数据的元数据获得的参数，其中第一光场数据格式和第二光场数据格式从由以下各项组成的组中选择：由光场摄像机采集的原始光场数据、子孔径图像的矩阵和焦点堆叠。
本发明的另一方面提供了一种用于处理光场数据的设备，包括处理器和包含格式转换应用的存储器，其中格式转换应用配置处理器以将光场数据从第一光场数据格式转换为与第一光场格式不同的第二光场数据格式，该转换是使用从描述光场数据的元数据获得的参数，其中第一光场数据格式和第二光场数据格式从由以下各项组成的组中选择：由光场摄像机采集的原始光场数据、子孔径图像的矩阵和焦点堆叠。
在一个实施例中，存储器还包括渲染应用，其中渲染应用配置处理器基于元数据中提供的信息来渲染光场数据。
本发明的另一方面提供一种光场成像设备，包括：以规则晶格结构排列的微透镜阵列；光传感器，被配置为采集从微透镜阵列投影在光传感器上的光，所述光传感器包括一组像素，每组像素与微透镜阵列的相应微透镜光学相关；以及用于处理光场数据的设备，包括处理器和包含格式转换应用的存储器，其中格式转换应用配置处理器以将光场数据从第一光场数据格式转换为与第一光场格式不同的第二光场数据格式，该转换是使用从描述光场数据的元数据获得的参数，其中第一光场数据格式和第二光场数据格式从由以下各项组成的组中选择：由光场摄像机采集的原始光场数据、子孔径图像的矩阵和焦点堆叠。
在一个实施例中，光场元数据描述了以下至少一个的特征：被用于采集光场数据的光场摄像机、从光场数据导出的子孔径图像的矩阵以及从光场数据导出的焦点堆叠。
在一个实施例中，第一光场数据格式是由光场摄像机采集的原始光场数据，原始光场数据包括微图像阵列，每个微图像由微透镜阵列的相应微透镜投影，并且第二光场格式是子孔径图像的矩阵，每个子孔径图像是从微图像的并置样本生成的，并且其中使用被包含在元数据中的光场摄像机的技术参数导出焦距和子孔径图像的矩阵的轴间基线距离中的至少一个。
在一个实施例中，焦距是从光场摄像机的主透镜的焦距、光场摄像机的光传感器的水平因子和缩放因子以及光传感器的像素间距中的至少一个导出的。
在一个实施例中，轴间基线从光场摄像机的光传感器的缩放因子、光传感器的像素间距、微透镜阵列的间距和微透镜阵列的缩放因子中的至少一个导出。
在一个实施例中，其中，在其中子孔径图像的外在矩阵Vk,l由以下循环矩阵和平移矩阵组成：
和
其中，bx和by是相应的水平轴间基线距离和垂直轴间基线距离，并且k和l是整数。
在一个实施例中，第一光场数据格式是由光场摄像机采集的原始光场数据，原始光场数据包括微图像阵列，每个微图像由微透镜阵列的相应微透镜投影，并且第二光场格式是焦点堆叠，通过对原始光场数据的偏移的微图像进行拼接来计算焦点堆叠，其中聚焦图像的聚焦距离是从主透镜的焦距、光传感器的像素间距和微透镜阵列的透镜间距中的至少一个导出。
在一个实施例中，基于以下表达式来确定聚焦距离：
其中w表示定义聚焦图片的偏移，F是主透镜的焦距，以及是的微透镜的直径的、光传感器的像素的数量，rμL表示光场摄像机的微透镜间距，并且rp表示光场摄像机的光传感器间距。
在一个实施例中，导出的聚焦距离被包括在元数据中。
在一个实施例中，第一光场数据格式是子孔径图像的矩阵，并且第二光场数据格式是焦点堆叠，通过拼接偏移的子孔径图像来计算焦点堆叠，其中聚焦的倒数从子孔径图像矩阵的焦距和轴间基线距离中的至少一个导出。
在一个实施例中，聚焦聚散度v由表达式来确定：
或者
其中bx和by是轴间基线距离，fx和fy是子孔径图像矩阵的焦距，d是潜在的差异。
本发明的另一方面提供了一种电子设备，包括存储器、一个或多个处理器；以及存储在存储器中并被配置为由一个或多个处理器执行的一个或多个模块，所述一个或多个模块包括用于根据本发明的实施例处理或格式化光场数据的指令。
本发明的另一方面提供了一种包括指令的计算机可读存储器，当该指令由便携式设备的处理器执行时，使得该设备执行包括包含用于根据本发明的实施例处理或格式化光场数据的指令的操作。
由本发明的元件实现的一些过程可以是计算机实现的。因此，这样的元件可以采取完全硬件的实施例，完全软件的实施例(包括固件、驻留软件、微代码等)的形式，或软件方面和硬件方面组合的实施例，这些方面可以在本文中通常被称为“电路”、“模块”或“系统”。此外，这些元件可以采用体现在具有在介质中体现的计算机可用程序代码的任何有形介质中的、计算机程序产品的形式。
由于本发明的元件可以以软件实现，因此本发明可以被体现为用于向任何合适的载体介质上的可编程装置提供计算机可读代码。有形载体介质可以包括存储介质，比如软盘、CD-ROM、硬盘驱动器、磁带装置或固态存储装置等。瞬态载体介质可以包括信号，比如电信号、电子信号、光信号、音频信号、磁信号或电磁信号的信号，例如微波或RF信号。
附图说明
现在将仅通过示例的方式并且参考以下附图来描述本发明的实施例，其中：
图1A是根据本发明的第一实施例的光场摄像机的示意图；
图1B是根据本发明的第二实施例的光场摄像机的示意图；
图2A是根据本发明的实施例的光场摄像机的功能图；
图2B是根据本发明的实施例的光场数据形成器和光场数据处理器的功能图；
图3是在光传感器阵列上形成的2D光场图像的示例；
图4是根据本发明的实施例的光场数据的格式化和处理的步骤的示例；
图5和图6是示出根据本发明的实施例的数据文件的示例的屏幕截图。
具体实施方式
光场摄像机典型地被用于在由像素阵列组成的传感器上记录4D光场。4D光场数据提供关于入射光的二维空间信息和二维角度信息。这种光场摄像机可以是例如：全光摄像机100，其包括主透镜101、透镜阵列110和如图1A所示的光传感器120；或者如图1B所示的包括透镜阵列210和光传感器220、但不包括主透镜的多摄像机阵列。多阵列摄像机可以被认为是全光摄像机的特定情形，其中主透镜具有无限焦点。
本发明的实施例提供了用于进一步处理应用的光场数据的格式化，例如格式转换、重新聚焦、视点改变和3D图像生成。
图1A是可应用于本发明的一个或多个实施例的光场摄像机的示意图。
图1A的光场摄像机100是全光型光场摄像机，该全光型光场摄像机包括微透镜阵列110和与微透镜阵列110相关联的图像传感器120。可以提供另外的光学元件，例如用于使能可选择量的光进入光场摄像机的孔102。透镜装置还包括主(物镜)透镜101，该主(物镜)透镜101用于将光聚焦到微透镜阵列110。
微透镜阵列110由以规则晶格结构排列的微透镜111、112、113...11n的阵列组成。例如，该结构可以是行和列的矩形晶格。微透镜阵列也可以被称为小透镜阵列。为了说明的目的，微透镜阵列110被示出为具有相对较少数量的微透镜，但是应当理解，微透镜的数量可以达到数千个甚至数百万个微透镜。
可选地，间隔物可以被放置在微透镜阵列110和图像传感器120之间的微透镜阵列110的每个微透镜周围，从而防止在图像传感器120处来自一个微透镜的光与微透镜阵列110的其它微透镜的光重叠。
图像传感器包括光传感器阵列120，该光传感器阵列120由以晶格结构排列的光传感器121、122、123、124….12m组成。例如，该结构可以是行和列的矩形晶格。每个光传感器121、122、123、124….12m对应于由光传感器阵列120所采集的场景的原始图像的像素或一组像素，每个像素覆盖场景的一部分(也称为点)。为了说明的目的，光传感器阵列120被示为具有相对较少数量的光传感器121至121m。然而，应当理解，光传感器的数量不限于图1A所示的数量，而是可以扩展到任何数量的光传感器，例如数千个或数百万个光传感器。作为说明性示例，可以通过4088×3040像素/光传感器的阵列来提供12.4兆像素的图像。图像传感器可以是例如电荷耦合设备(CCD)。
微透镜阵列110的微透镜111、112、11n被布置成使得每个微透镜与光传感器阵列120的光传感器光学相关联。光传感器阵列120通常具有比微透镜阵列更细的间距。相应地，每个微透镜与光传感器阵列120的多个光传感器相关联。微透镜和一组光传感器之间的光学意味着光线穿过给定微透镜到达与给定微透镜光学相关联的一组光传感器中的至少一个。
在主透镜101和光传感器120之间插入微透镜阵列110导致在光传感器阵列120上形成多个图像。微透镜阵列110的每个微透镜将相应的图像投射到光传感器阵列120的相关联的光传感器上。相应地，由图像传感器120采集的原始图像由例如图3所示的小图像阵列组成，典型地被称为微图像。每个微图像对应于来自相应不同视点的部分视野，并且对应于微透镜阵列的微透镜。可以将光传感器120的每个像素视为对应于4D光场坐标，根据在该像素所属于的微图像内该像素的2D位置，其中两个维度指定其在传感器上的空间位置，并且两个维度指定入射在该像素上的光的角度或方向信息。
在一些情形下，滤色器阵列(CFA)可以被布置在微透镜阵列110上或光传感器阵列120上。CFA典型地在光传感器或微透镜阵列上布置RGB(红，绿和蓝)滤色器，RGB布置采用例如拜耳(Bayer)滤光器马赛克的形式。可以根据预定图案将一个滤色器(红色，绿色或蓝色滤色器)与MLA相关联，在Bayer滤光器的示例中包括50％的绿色、25％的红色和25％的蓝色，这样的图案也被称为作为RGBG、GRGB或RGGB图案。应当理解，在微透镜阵列110或光传感器阵列120上的滤色器的布置不限于RGGB图案。在其他实施例中，预定图案可以是RGBE图案，其中绿色滤色器中的一个被修改为“翡翠”(对于四个滤色器的块)；具有一个“青色”滤光器、两个“黄色”滤光器和一个“品红色”滤光器的CYYM图案(用于四个滤色器的块)；具有一个“青色”滤光器、一个“黄色”滤光器和一个“绿色”滤光器和一个“品红色”滤光器的CYGM图案；具有一个“红色”滤光器、一个“绿色”滤光器和一个“蓝色”滤光器和一个“白色”滤光器的RGBW图案，数个布置是可能的(例如，在四个滤色器的块上布置左上滤光器为“白色”、右上滤光器为“红色”、左下滤光器为“蓝色”以及右下滤光器为“绿色”；或者在4x4滤色器的块上布置第一行为“白色”、“蓝色”、“白色”、“绿色”，第一行下面的第二行为“蓝色”、“白色”、“绿色”、“白色”，第二行下面的第三行为“白色”、“绿色”、“白色”、“红色”，第三行下面的第四行为“绿色”、“白色”、“红色”、“白色”)。
微透镜阵列和光传感器阵列之间的间隙可以由空气、具有折射率n的光学材料(例如玻璃层)或包括至少一个层空气层和至少一个光学材料层的多个层组成。使用玻璃层来形成间隙具有优点，该优点是将微透镜阵列110保持在均匀跨过光传感器阵列120、离光传感器阵列120的恒定距离处，并且在需要时减小该距离。如果d是沿着纵轴的、微透镜阵列110的输出与光传感器阵列120之间的距离，在微透镜阵列110和光传感器阵列120之间，具有由具有折射率n(n>1，例如n＝1.5)的光学材料组成的层，使能将距离设置为d/n而不修改距离d。通过适应/修改形成间隙的层的光学材料的折射率，可以适应/修改表示微透镜阵列110和光传感器阵列120之间的距离的参数而不修改距离d。
图1B是根据本发明的第二实施例的光场摄像机的示意图。
根据本发明第二实施例的光场摄像机200是多摄像机阵列型光场摄像机，该多摄像机阵列型光场摄像机包括微透镜阵列210和与微透镜阵列210相关联的图像传感器220。在本实施例中，不存在用于将光聚焦到微透镜阵列210的主透镜201。比如光传感器阵列220和微透镜阵列210的元件以与图1A的全光型摄像机的对应元件类似的方式操作。主要区别在于在图1B的实施例中主透镜不存在。每个微图像对应于来自相应不同视点的完整视野。
图2A是根据本发明的实施例的光场摄像机设备的方框图。光场摄像机包括光圈/快门102、主(物镜)透镜101、微透镜阵列110和根据图1A的光场摄像机的光传感器阵列120。在一些实施例中，光场摄像机包括快门释放，该快门释放被激活以采集对象或场景的光场图像。应当理解，功能特征也可以被应用于图1B的光场摄像机。
光传感器阵列120提供光场图像，该光场图像由LF数据获取模块140获取的以便通过光场数据格式化模块150进行格式化和/或由光场数据处理器155进行处理。在获取之后和处理之后，可以将光场数据以原始数据格式，或者作为子孔径图像或焦点堆叠存储在存储器190中。
在所示的示例中，光场数据格式化模块150和光场数据处理器155被设置在光场摄像机100中或被集成到光场摄像机100中。在本发明的其他实施例中，可以在光场采集摄像机外部的单独组件中提供光场数据格式化模块150和/或光场数据处理器155。相对于光场图像采集设备，单独的组件可以是本地的或远程的。应当理解，可以使用任何合适的有线或无线协议来将光场图像数据传输到格式化模块150或光场数据处理器155；例如，光场数据处理器可以经由因特网、蜂窝数据网络、WiFi网络、蓝牙通信协议和/或任何其它合适的方法传送所采集的光场图像数据和/或其他数据。
根据本发明的实施例，光场数据格式化模块150被配置为提供数据格式，该数据格式聚合描述被用于采集光场数据的光场摄像机中的至少一个的特征的元数据、从光场数据导出的视图矩阵和从光场数据导出的焦点堆叠。光场数据格式化模块150可以以软件、硬件或其组合来实现。
根据本发明的实施例，光场数据处理器155被配置为对从LF数据获取模块140直接接收到的原始光场图像数据进行操作，例如，以生成焦点堆叠或视图矩阵。可以生成输出数据，比如所采集的场景的静止图像、2D视频流等。光场数据处理器可以以软件、硬件或其组合来实现。
在至少一个实施例中，光场摄像机100还可以包括用户界面160，以便使能用户能够提供用户输入以通过控制器170来控制摄像机100的操作。摄像机的控制可以包括一个或多个对摄像机的光学参数的控制，例如快门速度，或者在可调光场摄像机的情形下，微透镜阵列和光传感器之间的相对距离或在物镜和微透镜阵列之间的相对距离的控制。在一些实施例中，可以手动调整光场摄像机的光学元件之间的相对距离。摄像机的控制还可以包括对摄像机的其他光场数据获取参数、光场数据格式化参数或光场处理参数的控制。用户界面160可以包括任何合适的用户输入设备，比如触摸屏、按钮、键盘、点击设备等。以这种方式，可以使用由用户接口接收到的输入来控制和/或配置LF数据格式化模块150以便控制数据格式化、LF数据处理器155以便控制所获取的光场数据的处理以及控制器170以便控制光场摄像机100。
光场摄像机包括电源180，比如一个或多个可替换或可充电电池。光场摄像机包括存储器190，以便存储所采集的光场数据和/或所渲染的最终图像或其他数据，比如用于实现本发明的实施例的方法的软件。存储器可以包括外部和/或内部存储器。在至少一个实施例中，可以在单独的设备处和/或摄像机100位置处提供存储器。在一个实施例中，存储器包括可移动/可交换存储设备，比如记忆棒。
光场摄像机还可以包括显示单元165(例如，LCD屏幕)，以便在采集之前在摄像机前面观看场景和/或以便观看之前所采集的和/或所渲染的图像。屏幕165还可以被用于向用户显示一个或多个菜单或其他信息。光场摄像机还可以包括一个或多个I/O接口195，比如FireWire或通用串行总线(USB)接口，或有线或无线通信接口，以便通过因特网、蜂窝数据网络、WiFi网络、蓝牙通信协议和/或任何其他合适的方式进行数据通信。I/O接口195可以被用于将数据传送到外部设备以及从外部设备传送数据以便渲染应用，数据比如根据本发明的实施例的由LF数据格式化模块所格式化的元数据和光场数据，光场数据比如原始光场数据或由LF数据处理器155所处理的数据，外部设备比如计算机系统或显示单元。
图2B是示出光场数据格式化模块和光场数据处理器的潜在实现的实施例的方框图。
电路300包括存储器390、存储器控制器345和包括一个或多个处理单元(CPU)的处理电路340。一个或多个处理单元340被配置为运行存储在存储器390中的各种软件程序和/或指令集，以执行包括光场数据格式化和光场数据处理的各种功能。存储在存储器中的软件组件包括数据格式化模块(或指令集)350，以便提供聚合根据本发明的实施例的光场元数据的数据格式，以及光场数据处理模块(或指令集)355以便处理根据本发明的实施例的光场数据，根据本发明的实施例的光场数据处理模块(或指令集)355包括格式转换模块3555(或指令集)以便将光场数据的一种格式转换为另一不同格式的光场数据。其他模块可以被包括在用于光场摄像机装置的应用的存储器中，比如操作系统模块351以便控制通用系统任务(例如电源管理、存储器管理)以及以便促进设备300的各种硬件和软件组件之间的通信，以及接口模块352以便控制和管理通过I/O接口端口与其他设备的通信。
图3示出了在图1A的光传感器阵列120或图1B的光传感器阵列220上形成的2D图像的示例。该图像由微图像的阵列MI组成，每个微图像由相应的微透镜阵列110、210的微透镜(i，j)产生。在阵列中以由轴i和j所定义的矩形晶格结构排列微图像。微透镜图像通过相应的微透镜坐标(i，j)表示。光传感器120、220的像素PI由其空间坐标(x，y)表示。与给定像素相关联的4D数据可以被表示为(x，y，i，j)。
本发明的实施例提供聚合元数据的数据格式，该元数据描述了原始光场数据内容、视图矩阵和焦点堆叠。在一些实施例中，元数据可以被用于处理光场数据，例如用于将光场数据内容从一种格式转换为另一格式，例如从原始光场数据转换为视图矩阵或焦点堆叠；或从视图矩阵到焦点堆叠；或用于常见的光场应用，比如视点改变和重新聚焦。
图4概述了根据本发明的一个或多个实施例的处理和格式化光场数据的方法的步骤。在步骤S401中，光场数据由数据获取模块140从全光摄像机获取的，该全光摄像机比如图1A所示的摄像机，或从多摄像机阵列获取的，该多摄像机阵列比如图1B所示的摄像机。光场数据处理器155接收原始格式的光场数据。在步骤S402中，通过去镶嵌和重新网格化的处理将原始光场数据转换为视图矩阵(子光圈图像)。在步骤S403中，通过拼接(积累偏移的微图像)的处理将原始光场数据转换为焦点堆叠(在不同焦点平面处的一组图像)。在步骤S404中，通过分割(累积偏移的子孔径图像)的处理将视图矩阵转换为焦点堆叠。
在步骤S410中，提供并格式化所获取的光场数据的元数据。元数据包括定义摄像机的技术特征的摄像机元数据、定义视图矩阵的视图矩阵元数据和定义焦点堆叠的焦点堆叠元数据；在步骤S420中可以使用视图矩阵和定义视图矩阵的光场元数据来执行视点改变。在步骤S430中可以使用焦点堆叠和定义焦点堆叠的元数据来进行重新聚焦。通过以给定的差距偏移微图像，并通过添加图像以形成单个2D图像，从微图像生成2D图像。为了使图像在给定距离z处重新聚焦，微图像被偏移与距离z相关联的差距。为了执行视点的改变，仅添加一部分微图像(例如左/右视点的左/右部分)。
在本发明的实施例中，提供了用于表征光场数据内容的元数据的格式化语法。表征光场数据内容的元数据包括：
摄像机特征数据：表征传感器、主透镜和采集光场数据的光场摄像机的μ透镜阵列，并且具体地，μ透镜的中心的位置；元数据可以包括表示例如传感器分辨率、颜色采样、滤色器透射率、动态范围、颜色变换矩阵、像素间距、透镜间距、焦距、渐晕的数据。
查看特征数据-数据表征视图矩阵，比如表征每个视图/子孔径图像的相应的内在和外在参数的元数据；以及每个视图/子孔径图像的颜色信息；
焦点堆叠数据表征焦点堆叠，比如表征每个聚焦图片的聚焦距离的元数据；例如索引图。
格式化语法还可以包括恢复用于视频和帧序列的管理的文件位置和文件名所需的基本信息。
元数据可以被提供为存储在文件或一组文件中的数字数据。在本发明的一个实施例中，格式化语法被呈现为符合例如XML规则的标记语言。接下来，格式化语法被称为光场标记语言(简称为Ifml)。在以下示例中，用于元数据的格式化语法包括部分(附有标签)和对应的属性(元数据本身)的定义。
根部分和类型属性
表1示出了光场元数据文件的根部分和属性的示例。*.lfml文件的主体被附在<LightFieldContent>部分中。它包含指定内容类型的属性，在示例中表示为
LFtype＝“RAW”指示原始全光图片，“MATRIX_OF_VIEWS”指示视图阵列，以及“FOCAL_STACK”指示焦点堆叠。
表1：示例性*.lfml文件的根部分和属性
文件夹和文件属性
如果每个文件被存储并且被一致地命名，则可以在根级别找到文件命名属性。如果某些文件没有共享相同的路径或前缀或数量，那么文件命名属性也可以在更低级别部分找到。
path属性是指定文件夹路径的字符串。
filePrefix属性是指定文件名前缀的字符串。
storageMode属性是由冒号分隔的两部分字符串，描述了文件存储模式和所使用的文件格式的。它可以是以下任一项：“FILE_SEQUENCE：PNG”；“FILE_SEQUENCE：PGM”；“FILE_SEQUENCE：RAW”；“VIDEO_FILE：YUV”；“VIDEO_FILE：AVI”。
第一帧索引属性和最后一帧索引属性分别指示光场序列的第一帧和最后一帧的索引。digitSuffix属性是字符串，例如哈希符号，指定文件名后缀中专用于帧编号的数字数量。在静态成像的情形下，这三个字段可能丢失或为空(见表2和图5)。在图像序列的情形下，文件名后缀为帧的索引(参见图3和图6)。
表2:用于原始光场静态图像的文件命名属性
表3:用于光场视频(这里CGI多视图视频序列)的文件命名属性可以注意到，在视图矩阵和焦点堆叠的情形下，可以默认地在文件夹中取到文件，例如文件夹分别被命名为\view#和\focus#(参见例如图6)。预定的前缀规则和后缀规则也可以默认构建文件名。但是，可以在子部分中使用属性路径、文件夹、文件名和后缀，从而指定可替代位置和名称。
坐标系属性
处理光场成像需要坐标系约定。坐标系可以是隐式的，具有被预定义的默认值，或在具有属性CSx和CSy的描述文件中被明确说明的，其可以分别具有以下值：“向左/向右”和“向上/向下”。
坐标系属性可以位于*.lfml文件的任何级别，直到根级别，只要所有使用的坐标系统彼此一致。
原始全光图片
在原始全光图片(LFtype＝“RAW”)的情形下，光场元数据文件(*.lfml文件)提供一个部分<RawPlenopticPictures>，该部分可包括以下部分中的一个或多个，具体取决于校准的完整性：<Sensor>、<MainLens>和<μLensArray>(见表4)。
<Sensor>部分可以包含描述光场摄像机的技术特征的以下属性中的一个或多个。这些属性可以由制造商提供：
raysResolution属性指定传感器的分辨率(“WidthxHeight”，例如Raytrix R11摄像机是“4008x2672”，第一个Lytro的“光场”摄像机是“3280x3280”等)。
colorFilter属性指定传感器上的颜色采样(例如，“BayerGRBG”或“Foveonx3RGB”或“Monochrome”)。
colorFilterTransmittance属性指定传感器的滤色器的透射率。它具有一个或三个或四个值，这取决于滤色器。这个属性可丢失或为空。
dynamicRange属性指定像素的范围。它具有两个值，超过下限和上限的信号可以被认为是噪声。
colorTransformMatrix是一个3x3矩阵，指定由像素输出的信号与入射光之间的非线性关系。
pixelPitch属性指定两个相邻像素之间的距离，单位为米。
ScaleFactorX属性和scaleFactorY属性可被用于指定矩形(非正方形)像素的形状比。
<MainLens>部分包含一个或多个以下属性，可由制造商提供：
focalLength属性指定主透镜的焦距，单位为米。
numericalAperture属性指定光瞳和焦距之间的比率。这个属性可丢失或为空。
whitelmage属性指定从哪个文件夹位置检索与实际焦距对应的白色图像。白色图像被用于消除晕影的影响。这个属性可丢失或为空。
vignetting属性指定主透镜渐晕的模型。这个属性可丢失或为空。
<μLensArray>部分包含以下属性。一些可以由制造商提供，一些可以通过进一步的校准来确定。
pattern属性指定μ透镜阵列的图案(“Square”，或“HexagonalRowMajor”或“HexagonalColumnMajor”)。
如果适用，colorArrangement属性指定被布置在μ透镜阵列上的滤色器的图案。这个属性可丢失或为空。
μLensPitch属性指定两个相邻μ透镜之间的距离，单位为米。
μLensArrayRotation属性指定在所定义的坐标系中，μ透镜阵列相对于传感器网格的旋转角度(单位为度)。
scaleFactorX属性和scaleFactorY属性可被用于指定μ透镜的形状比。
nbμCentersCalibrated属性指定所校准的微图像的中心的数量(μ-中心)(即μ-图像的中心的数量)。它可以等于零。
<μLensArray>部分包含相应数量的<μCenter>子部分(见表5)，其包含以下属性：
μCenterld属性是μ-中心的索引。
cx属性和cy属性分别指定μ-中心的x坐标和y坐标(单位为像素)。
表4:用于原始光场图片的*.lfml文件的示例
表5：μ-中心子部分的示例
视图矩阵
在视图矩阵(或阵列)的情形下(LFtype＝“MATRIX_OF_VIEWS”)，*.lfml文件呈现<MatrixOfViews>部分，其包含数个<SubAperturelmage>子部分。该语法适用于从原始全光材料(见表6)重建的一组子孔径图像和从摄像机阵列所获取的内容(见表7)。
<MatrixOfViews>部分包含以下属性：
nbSubAperturelmages指定视图/子孔径图像的数量。
<MatrixOfViews>部分包含<SubAperturelmage>子部分的相应数量。
pixelResolution属性指定以像素为单位的视图/子孔径图像的分辨率(“WidthxHeight”)，假设对于所有视图都是相同的。如果没有，这个属性将被填入每个后续的<SubAperturelmage>子部分。如果对应的图片文件的标题可用，则这个属性可丢失或为空。
<SubAperturelmage>子部分包含以下属性：
subAplmld属性是视图/子孔径图像的索引。
extrinsics属性指定在所定义的坐标系中的视图/子孔径图像的外在矩阵。
color属性指定在视图/子孔径图像中可用的颜色(“R”、“G”、“B”、“RGB”、“L”)。如果由每个视图/子孔径图像共享，则可以将这个属性填入<MatrixOfViews>部分。
cx属性和cy属性分别指定主点的x坐标和y坐标(单位为像素)。这些属性可丢失或为空。如果由每个视图/子孔径图像共享，则也可以将它们填入<MatrixOfViews>部分。
fx属性和fy属性分别指定视图/子孔径视图的水平焦距和垂直焦距(单位为像素)。这些属性可丢失或为空。如果由每个视图/子孔径图像共享，则也可以将它们填入<MatrixOfViews>部分。
numerAperture属性指定光瞳和焦距之间的比例，如<MainLens>部分所示。这个属性可丢失或为空。如果由每个视图/子孔径图像共享，则也可以将它填入<MatrixOfViews>部分。
distortionCoeff icients属性指定失真模型(例如，Bouguet的径向和切向失真的5-参数模型)。这个属性可丢失或为空。如果由每个视图/子孔径图像共享，则也可以将它填入<MatrixOfViews>部分。
表6：描述从鹈鹕(Pelican)成像相机设备重建的视图矩阵的*lfml文件的摘录的示例
表7：描述计算机生成的视图矩阵的*lfml文件的摘录
焦点堆叠
在焦点堆叠的情形下(LFtype＝“FOCAL_STACK”)，*lfml文件呈现<FocalStack>部分，其包含数个<FocalStack>子部分，并且可选地包含子部分<lndexMap>(请参阅错误！返回源的存在.8)。
<FocalStack>部分包含以下属性：
nbFocusedPictures指定堆叠中聚焦图片的数量。<FocalStack>部分包含相应数量的<FocusedPicture>子部分。
focusedPicldxMap属性指定索引映射是否可用(“AVAILABLE”或“UNAVAILABLE”)。
如在视图矩阵的情形下，pixelResolution属性指定以像素为单位的聚焦图片的分辨率(“WidthxHeight”)，假设每个人都相同。如果没有，则将这个属性填入每个后续的<FocusedPicture>子部分。如果对应图片文件的标题可用，这个属性可丢失或为空。
<FocusedPicture>子部分包含以下属性：
focusPicld属性是焦点图像的索引。
distance属性指定聚焦图片的聚焦距离，单位为米。这个属性可丢失或为空。
vergence属性指定聚焦图片的聚焦距离的倒数(单位为米的负一次幂)。这个属性可丢失或为空。
<lndexMap>子部分包含检索对应文件所需的属性(filename或suffix，可选path或folder)。
表8：用于焦点堆叠的*lfml文件的示例
元数据可以被用于处理光场数据，例如将光场数据内容从一种格式转换为另一种格式。例如，从原始光场数据转换为视图矩阵或焦点堆叠；或从视图矩阵到焦点堆叠；并且被用于常见的光场应用，比如视点改变和重新聚焦。根据本发明的实施例，现在将描述由光场数据处理器对LF场数据执行的处理的示例。
格式转换
从原始全光内容到视图矩阵
可以通过对从光场摄像机获取的原始光场数据进行去镶嵌和重新网格化来重建视图阵列(微图像)。
(Ri,j)表示原始光场图像中的一组微图片。子光圈图像Vk,l由每个μ-图像的并置样本组成：Vk,l[i,j]＝Ri,j[k,l]。
对应视图阵列的焦距(单位为像素)，即描述视图矩阵的元数据的水平焦距fx属性和垂直焦点fy属性，由下面的等式给出：
其中，
●F表示主透镜的焦距，单位为米(即<MainLens>部分的focalLength属性的值)；
●sx和sy分别表示传感器的水平缩放因子和垂直缩放因子(即<Sensor>部分的scaleFactorX属性和scaleFactorY属性的值)；
●以及rp表示像素间距，单位为米(即<Sensor>部分的pixelPitch属性的值)。
并且，潜在的轴间基线距离由下面的等式给出：
其中，
●rμL表示μ-透镜间距，单位为米(即μLensPitch属性的值)；
●σx和σy分别表示μ-透镜阵列的水平缩放因子和垂直缩放因子(即<μLensArray>部分的scaleFactorX属性和scaleFactorY属性的值)。
视图的外在矩阵Vk,l(对应于<SubApertureImage>部分的extrinsics属性)由以下循环矩阵和平移矩阵组成：
和
假设视图的光学中心V0,被选为坐标系的原点。
从原始全光内容到焦点堆叠
焦点堆叠可以通过累积(“拼接”)偏移的μ-图像来计算。
w表示定义聚焦图片的偏移。考虑到μ-图像Ri,j对焦点堆叠中每个像素新坐标的影响由下面的等式给出：
X＝u.x-u.w.i
Y＝u.y-u.w.j
其中，
●在整个原始图像坐标系中表示；
●以及u是缩放因子。
潜在的聚焦距离(单位为米)，即<FocusedPicture>部分的distance属性，由下面的等式给出：
其中，是对应于μ镜头的直径的像素数目。
那么，vergence属性就是它的倒数。
从视图矩阵到焦点堆叠
焦点堆堆叠也可以通过累积(“拼接”)偏移的视图来计算，假设偏移的视图是被注册的。
可以使用相同的公式，考虑到这个时间子孔径图像(Vk,l)的收集：
X＝u.i-u.d.k
Y＝u.j-u.d.l
其中，在每个视图的坐标系中表示
潜在的聚焦聚散度(单位为米的负一次方)，即<FocusedPicture>部分的vergence属性，由下面的等式给出：
或者
对应的distance属性是聚散度v的倒数。
所提出的描述光场数据的元数据的格式也适用于光场数据的常见应用，比如视点改变和重新聚焦。
3D效果可以通过改变视点来实现。这是通过在视图矩阵内的视图插值获得的。
重新聚焦是焦点堆叠的常见应用。目的是强调景深，在这种情形下，用户选择他想要对焦的图片的一个或多个区域(场景的剩余对象是模糊的，好像远离聚焦深度平面一样)。另一个目的在于提供全焦点图片。在这两种方式中，本地检索索引图，以便在焦点堆堆叠的一个聚焦图片中获取样本。
尽管在上文中参照具体实施例描述了本发明，但是本发明不限于该具体实施例，并且对于本领域技术人员而言修改是显而易见的，该修改也在本发明的范围内。
参考上述说明性实施例，许多进一步的修改和变形对本领域技术人员给出暗示，上述说明性实施例仅以示例的方式给出，并且不旨在限制本发明的范围，本发明的范围仅由所附权利要求来确定。具体地，在适当的情形下，来自不同实施例的不同特征可以互换。

Claims (15)

1.一种为所采集的光场数据提供元数据的方法，所述方法包括提供聚合元数据的数据格式，所述元数据描述以下至少一个的特征：
被用于采集光场数据的光场摄像机，
从光场数据导出的视图矩阵，以及
从光场数据导出的焦点堆叠。
2.一种用于从光场数据渲染图像的方法，所述方法包括获得光场数据元数据，所述光场数据元数据描述以下至少一个的特征：
被用于采集光场数据的光场摄像机，
从光场数据导出的视图矩阵，以及
从光场数据导出的焦点堆叠；以及
基于由元数据提供的信息渲染光场数据。
3.根据权利要求1或2所述的方法，其中在光图像文件中聚合所述元数据。
4.根据上述权利要求中任一项所述的方法，其中，描述被用于采集所述光场数据的所述光场摄像机的特征的所述元数据包括定义所述光场摄像机的以下技术特征中的一个或多个的数据：
光场摄像机的光传感器；
光场摄像机的主透镜；以及
光场摄像机的微透镜阵列。
5.根据权利要求4所述的方法，其中，描述所述光场摄像机的光传感器的元数据包括表示以下参数中的一个或多个的数据：
光传感器的空间分辨率；
光传感器的滤色器的颜色采样；
光传感器的滤色器的透射率；
光传感器的像素的动态范围；
定义由像素输出的信号与入射光之间的非线性关系的颜色变换矩阵；
光传感器的两个相邻像素之间的间距；以及
指定非正方形像素的形状比的缩放因子。
6.根据权利要求4或5所述的方法，其中，描述所述光场摄像机的主透镜的元数据包括表示以下参数中的一个或多个的数据：
主透镜的焦距；
光瞳与焦距之间的比率；以及
主透镜的渐晕模型。
7.根据权利要求4至6中任一项所述的方法，其中，描述所述光场摄像机的微透镜阵列的元数据包括表示以下参数中的一个或多个的数据：
微透镜阵列的图案；
被布置在微透镜阵列上的滤色器的图案；
微透镜阵列的两个相邻微透镜之间的间距；
指定微透镜的形状比的缩放因子；以及
校准微透镜中心的数量；以及
一个或多个微透镜中心的空间坐标。
8.根据上述权利要求中任一项所述的方法，其中，以符合XML的标记语言来定义所述元数据。
9.根据上述权利要求中任一项所述的方法，其中，描述从所述光场数据导出的视图阵列的特征的元数据包括表示以下参数中的一个或多个的数据：
阵列中的视图的数量；
一个或每个视图的空间分辨率；
视图中可用的颜色；
视图的参考点的空间坐标；
视图的水平焦距和垂直焦距。
10.根据上述权利要求中任一项所述的方法，其中，描述从所述光场数据导出的焦点堆叠的特征的元数据包括表示以下参数中的一个或多个的数据：
焦点堆叠中的聚焦图片的数量；
聚焦图片的空间分辨率；
聚焦图片的聚焦的距离。
11.一种用于为所采集的光场数据提供元数据的设备，所述设备包括
用于获取由光场摄像机采集的光场数据的光场数据获取模块以及
用于提供聚合元数据的数据格式化器，所述元数据描述以下至少一个的特征：
被用于采集光场数据的光场摄像机，
从光场数据导出的视图矩阵，以及
从光场数据导出的焦点堆叠。
12.一种光场成像设备，包括：
以规则晶格结构排列的微透镜阵列；
光传感器，被配置为采集从微透镜阵列投影在光传感器上的光，所述光传感器包括一组像素，每组像素与微透镜阵列的相应微透镜光学相关；以及
用于提供根据权利要求11所述的元数据的设备。
13.一种用于使用描述以下至少之一的特征的元数据从光场数据渲染图像的设备：
被用于采集光场数据的光场摄像机，
从光场数据导出的视图矩阵，以及
从光场数据导出的焦点堆叠，所述设备包括
处理器和包含渲染应用的存储器，所述光场数据和所述元数据，其中所述渲染应用配置所述处理器基于所述元数据中提供的信息来渲染所述光场数据。
14.一种数据包，包括
从光场摄像机采集的光场数据；以及
描述以下至少一个的特征的元数据：
被用于采集光场数据的光场摄像机，
从光场数据导出的视图矩阵，以及
从光场数据导出的焦点堆叠。
15.一种用于可编程装置的计算机程序产品，所述计算机程序产品包括用于在被加载到所述可编程装置并由所述可编程装置执行时实现根据权利要求1至10中任一项所述的方法的指令序列。
CN201680022582.0A 2015-03-05 2016-02-26 光场的元数据 Pending CN107534718A (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP15305340.0A EP3065394A1 (en) 2015-03-05 2015-03-05 Light field metadata
EP15305340.0 2015-03-05
PCT/EP2016/054041 WO2016139134A1 (en) 2015-03-05 2016-02-26 Light field metadata

Publications (1)

Publication Number Publication Date
CN107534718A true CN107534718A (zh) 2018-01-02

Family

ID=52774156

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201680022582.0A Pending CN107534718A (zh) 2015-03-05 2016-02-26 光场的元数据

Country Status (11)

Country Link
US (1) US20180047185A1 (zh)
EP (2) EP3065394A1 (zh)
JP (1) JP2018514969A (zh)
KR (1) KR20170125078A (zh)
CN (1) CN107534718A (zh)
BR (1) BR112017019004A2 (zh)
CA (1) CA2978072A1 (zh)
MX (1) MX2017011323A (zh)
RU (1) RU2017134151A (zh)
TW (1) TW201633773A (zh)
WO (1) WO2016139134A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3145168A1 (en) * 2015-09-17 2017-03-22 Thomson Licensing An apparatus and a method for generating data representing a pixel beam
EP3494543B1 (en) * 2016-08-05 2023-06-28 InterDigital CE Patent Holdings A method for obtaining at least one sub-aperture image being associated with one view
JPWO2018062368A1 (ja) * 2016-09-30 2019-08-15 株式会社ニコン 撮像装置および撮像システム
KR102646437B1 (ko) 2016-11-25 2024-03-11 삼성전자주식회사 멀티 렌즈 기반의 촬영 장치 및 방법
JP6668298B2 (ja) * 2017-08-30 2020-03-18 株式会社東芝 スマートカメラ、画像処理装置、スマートカメラシステム、データ送信方法およびプログラム
CN110710199B (zh) * 2017-08-22 2021-03-02 株式会社东芝 智能摄像机、图像处理装置以及数据通信方法
RU2690757C1 (ru) 2018-08-21 2019-06-05 Самсунг Электроникс Ко., Лтд. Система синтеза промежуточных видов светового поля и способ ее функционирования
KR20200067020A (ko) 2018-12-03 2020-06-11 삼성전자주식회사 캘리브레이션 방법 및 장치
CN110389140A (zh) * 2019-07-11 2019-10-29 中国科学院上海应用物理研究所 实现元素空间定位的双能焦点堆栈三维重构方法
WO2021249955A1 (en) * 2020-06-09 2021-12-16 Interdigital Vc Holdings France, Sas Metadata to describe color filter on top on camera sensors
WO2022120104A2 (en) * 2020-12-04 2022-06-09 Dolby Laboratories Licensing Corporation Processing of extended dimension light field images

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120249550A1 (en) * 2009-04-18 2012-10-04 Lytro, Inc. Selective Transmission of Image Data Based on Device Attributes
US20130077880A1 (en) * 2011-09-28 2013-03-28 Pelican Imaging Corporation Systems and methods for encoding light field image files
WO2014204009A1 (en) * 2013-06-21 2014-12-24 Canon Kabushiki Kaisha Apparatus, system, and method for processing information and program for the same
US20150264246A1 (en) * 2014-03-11 2015-09-17 Sony Corporation Method, electronic device, and server for generating digitally processed pictures

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004120069A (ja) * 2002-09-24 2004-04-15 Canon Inc 画像処理装置、画像処理方法および該方法を実現するためのプログラム
US20100265385A1 (en) * 2009-04-18 2010-10-21 Knight Timothy J Light Field Camera Image, File and Configuration Data, and Methods of Using, Storing and Communicating Same
JP2013255172A (ja) * 2012-06-08 2013-12-19 Canon Inc 画像処理装置及び画像処理方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120249550A1 (en) * 2009-04-18 2012-10-04 Lytro, Inc. Selective Transmission of Image Data Based on Device Attributes
US20130077880A1 (en) * 2011-09-28 2013-03-28 Pelican Imaging Corporation Systems and methods for encoding light field image files
WO2014204009A1 (en) * 2013-06-21 2014-12-24 Canon Kabushiki Kaisha Apparatus, system, and method for processing information and program for the same
US20150264246A1 (en) * 2014-03-11 2015-09-17 Sony Corporation Method, electronic device, and server for generating digitally processed pictures

Also Published As

Publication number Publication date
JP2018514969A (ja) 2018-06-07
US20180047185A1 (en) 2018-02-15
CA2978072A1 (en) 2016-09-09
EP3065394A1 (en) 2016-09-07
MX2017011323A (es) 2017-12-07
EP3266194A1 (en) 2018-01-10
TW201633773A (zh) 2016-09-16
WO2016139134A1 (en) 2016-09-09
KR20170125078A (ko) 2017-11-13
RU2017134151A3 (zh) 2019-10-02
BR112017019004A2 (pt) 2018-04-17
RU2017134151A (ru) 2019-04-03

Similar Documents

Publication Publication Date Title
CN107534718A (zh) 光场的元数据
US10311649B2 (en) Systems and method for performing depth based image editing
CN204697179U (zh) 具有像素阵列的图像传感器
CN102037717B (zh) 使用具有异构成像器的单片相机阵列的图像拍摄和图像处理
US20140204183A1 (en) Photographing device and photographing method for taking picture by using a plurality of microlenses
KR102635003B1 (ko) 라이트 필드 데이터 표현
EP3065395A1 (en) Processing of light field data
CN103370943B (zh) 成像装置和成像方法
CN105814875A (zh) 选择用于立体成像的相机对
CN104641624B (zh) 图像处理装置、摄像装置及图像处理方法
CN105678736B (zh) 具有孔径改变深度估计的图像处理系统及其操作方法
CN107852450A (zh) 具有用于较低f数全光相机的双表面微透镜阵列的方法和设备
US9288472B2 (en) Image processing device and method, and image capturing device
WO2019065260A1 (ja) 情報処理装置、情報処理方法、及び、プログラム、並びに、交換レンズ
WO2019000810A1 (zh) 一种图像采集装置及电子设备
US9743007B2 (en) Lens module array, image sensing device and fusing method for digital zoomed images
EP3657786A1 (en) Light field reconstruction
US11882259B2 (en) Light field data representation
EP3144884A1 (en) Light field data representation
JP6239982B2 (ja) 画像変換装置及びプログラム
JP5942428B2 (ja) 再構成画像生成装置、再構成画像生成方法、及びプログラム

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20190916

Address after: Delaware

Applicant after: Interactive Digital VC Holding Company

Address before: I Si Eli Murli Nor, France

Applicant before: Thomson Licensing SA

TA01 Transfer of patent application right
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20180102

WD01 Invention patent application deemed withdrawn after publication