CN107194965B - 用于处理光场数据的方法和设备 - Google Patents

用于处理光场数据的方法和设备 Download PDF

Info

Publication number
CN107194965B
CN107194965B CN201710281208.9A CN201710281208A CN107194965B CN 107194965 B CN107194965 B CN 107194965B CN 201710281208 A CN201710281208 A CN 201710281208A CN 107194965 B CN107194965 B CN 107194965B
Authority
CN
China
Prior art keywords
ray
light field
rays
groups
elements
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710281208.9A
Other languages
English (en)
Other versions
CN107194965A (zh
Inventor
N·萨巴特
M·霍格
C·吉耶莫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital CE Patent Holdings SAS
Original Assignee
InterDigital CE Patent Holdings SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by InterDigital CE Patent Holdings SAS filed Critical InterDigital CE Patent Holdings SAS
Publication of CN107194965A publication Critical patent/CN107194965A/zh
Application granted granted Critical
Publication of CN107194965B publication Critical patent/CN107194965B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00—Simple or compound lenses
    • G02B3/0006—Arrays
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/162—Segmentation; Edge detection involving graph-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/305—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

适用于处理表示场景的光场数据的方法和设备，所述光场数据包括多个元素，4维坐标与每个元素相关联。执行以下操作：将光线与每个元素关联，从与每个元素相关联的4维坐标获得该光线；确定每个元素的深度信息；根据深度信息确定每个光线在场景中的原点；将在场景中具有相同原点的光线分组以形成多个组；根据多个组处理光场数据。

Description

用于处理光场数据的方法和设备
技术领域
本公开一般涉及光场成像，更具体地涉及用于编辑和处理光场数据的技术。
背景技术
本节旨在向读者介绍本领域的各个方面，其可能与下面描述和/或要求保护的本公开的各个方面相关。相信本讨论有助于向读者提供背景信息以便于更好地理解本发明的各个方面。因此，应当理解，这些陈述应该照此阅读，而非是对现有技术的承认。
传统的图像捕获设备将三维场景渲染在二维传感器上。在操作期间，传统的捕获设备捕获二维(2-D)图像，该二维图像反映到达该设备内光电传感器(或光电检测器)的光的量。然而，该2-D图像不包含关于到达该光电传感器的光线的方向分布信息(其可以被称为光场)。例如，深度在获取期间丢失。因此，传统的捕获设备不存储大多数关于来自场景的光分布的信息。
光场捕获设备(也称为“光场数据获取设备”)已经被设计为通过从场景的不同视点或角度捕获光，来测量该场景的四维(4D)光场。因此，通过测量沿着与光电传感器相交的每束光行进的光的量，这些设备可以捕获附加光学信息(关于光线束的方向分布的信息)，以通过后处理提供新的成像应用。由光场捕获设备获取/获得到的信息被称为光场数据。光场捕获设备在本文中被定义为能够捕获光场数据的任何设备。存在几种类型的光场捕获设备，其中全光(plenoptic)设备使用放置在图像传感器和主透镜之间的微透镜阵列，以及相机阵列，其中所有相机成像到单个共享图像传感器上。
光场数据处理特别包括但不限于：分割场景的图像、生成场景的重聚焦图像、生成场景的透视图、生成场景的深度图、生成扩展景深(EDOF)图像、生成立体图像、生成焦点堆栈(其包括图像的集合、其中每一个聚焦于不同的焦距)、和/或这些的任何组合。
由于利用光场数据获取设备获取的大量数据，处理光场数据成为具有挑战性的任务。
发明内容
本公开涉及一种处理表示场景的光场数据的方法，所述光场数据包括多个元素，4维坐标与所述多个元素中的每个元素相关联，其中所述方法包括：
-将光线与每个元素关联，从与每个所述元素相关联的4维坐标获得所述光线；
-确定每个所述元素的深度信息；
-根据所述深度信息确定每个所述光线在场景中的原点；
-将在场景中具有相同原点的光线分组以形成多个组；
-根据所述多个组处理所述光场数据。
根据一个特征，当满足以下条件时：
xi+(si-sj)×D(si，ti，xi，yi)-xj＜E1，且
yi+(ti-tj)×D(si，ti，xi，yi)-yj＜E2
将用4维坐标(si，ti，xi，yi)表示的第一光线和用4维坐标(sj，tj，xj，yj)表示的第二光线分组至所述多个组中的第一同一组中，其中D(si，ti，xi，yi)对应于与所述第一光线相关联的深度信息，E1对应于第一确定值，且E2对应于第二确定值。
根据特定特征，当满足以下条件时：
xj+(sj-si)×D(sj，tj，xj，yj)-xi＜E1，且
yj+(tj-ti)×D(sj，tj，xj，yj)-yi＜E2
将所述第一光线和所述第二光线分组至所述同一第一组中，其中D(sj，tj，xj，yj)对应于与所述第二光线相关联的深度信息。
根据具体特征，至少一条光线未被分配到所述多个组中的一组。
根据另一特征，对于所述多个组中的至少一对组，所述方法还包括：建立形成所述至少一对组的第二组光线和第三组光线之间的关系，一权重与所述关系相关联并且由以下确定：
-对于所述第二组的每条第四光线，当所述第三组的第三光线被包括在所述第四光线的邻域中时，计算所述第三光线和所述第四光线之间的差异；
-通过对所述差异求和来确定所述权重；
根据另一特征，所述处理包括根据所述关系分割所述光场数据。
本公开涉及一种装置，被配置为和/或适于执行处理光场数据的方法。
本公开还涉及包括程序代码的指令的计算机程序产品，用于当在计算设备上执行该程序时，执行处理光场数据的方法的步骤。
本公开还涉及具有存储其上的指令的处理器可读介质，所述指令用于使处理器执行处理光场数据的方法的至少一个步骤。
本公开还涉及一种通信终端，其包括光场相机和/或被配置为实现处理光场数据的方法的处理单元。
附图说明
通过阅读下面的描述，本公开将被更好地理解，并且其他具体特征和优点将显现，该描述将参考附图，其中：
图1是根据本原理的一个实施例的光场相机的示意框图；
图2A和图2B是根据本原理的实施例的光场相机的图示；
图3是描绘处理单元的实施例的图示，该处理单元被配置为处理由根据图1或图2A和图2B以及图8的实施例的光场相机提供的数据；
图4示出了示例性光场相机捕获的光场数据，例如结合图1或2A和图2B所描述的实施例提供的光场相机；
图5是由结合图1的实施例描述的示例性光场相机获得的光场数据的图示；
图6示出根据一个实施例的与图4的光场数据相关联的光线的分组；
图7和图8是描绘如两组光线之间提供的关系存在的图示，该两组光线与诸如在图4示例性实施例中提供的一部分光场数据相关联；
图9是示出处理根据图4或图5所描绘的实施例的光场数据的流程图；以及
图10是根据本原理的一个实施例的示例性设备的框图图示，其描绘诸如使用图9所示的处理流程图的电信设备。
具体实施方式
现在参考附图描述主题，其中相同的附图标记始终用于指代相同的元件。在下面的描述中，为了解释的目的，阐述了许多具体细节以便提供对主题的透彻理解。然而，明显可以在没有这些具体细节的情况下实施该主题实施例。
图1是根据一个实施例的示例性光场获取设备的框图描绘。图1示出了全光相机1，其具有透镜单元101(对应于光学组件)和相机主体102。
透镜单元101较优地适于与相机主体102相关联。相机主体102包括光电传感器阵列13，其包括m个光电传感器131、132、133至13m。每个光电传感器对应于由光电传感器阵列获取的场景的原始图像的像素，每个像素包含场景的一部分(也称为点)。由每个光电传感器获得的用于表示场景的数据形成一组光场数据，该光场数据最终形成光场图像。在处理原始图像之前(在解复用(demultiplex)和/或去马赛克之前)，光场图像也可以根据一个实施例对应于原始图像。在该实施例中，在原始图像的解复用之后，光场图像可随后被提供以使其对应于子孔径(sub-aperture)图像。在去马赛克之后，光场图像将相应地对应于场景的一组视图。为了说明的目的，所示的光电传感器阵列13仅提供相对较少数量的光电传感器131至13m。然而，在替代实施例中，图1中光电传感器的数量可以改变，或可增加或可减少。例如，在替代实施例中，可以使用几千或几百万个光电传感器。在另一示例中，在12.4兆像素的相机中，像素可被提供以使其对应于每个光电传感器(例如，对应于4088×3040像素/光电传感器的阵列)。在一个实施例中，滤色器阵列(CFA)12可以与光电传感器阵列13结合使用。CFA 12通常在光电传感器阵列上提供RGB(红、绿和蓝)滤色器，该RGB布置采用例如拜耳(Bayer)滤波器马赛克的形式。根据替代实施例，在小透镜(lenslet)阵列11上布置CFA(额外于CFA 12或替代CFA 12)。为了将透镜单元101与相机主体102相关联，透镜单元101包括第一附接部分并且相机主体102包括第二附接部分，该第一和第二附接部分彼此兼容。归功于该第一和第二附接部分，透镜单元101可以夹在相机主体102上，或者透镜单元101可以与相机主体102螺纹连接。该第一和第二附接部分以这样的方式配置，一旦透镜单元101和相机主体102被放置在一起，透镜单元101和相机主体102形成全光相机，其被配置为在每次获取场景时获取场景的多个视图。为此，相机主体102还包括小透镜阵列11，其包括n个微透镜111、112、113、11n，n是大于或等于2的整数。小透镜阵列11也称为微透镜阵列。为了说明的目的，小透镜阵列11被示出具有相对较少数量的微透镜，但是微透镜的数量可以多达数千或甚至一或几百万个微透镜。光电传感器阵列13的一组光电传感器与小透镜阵列11的每个微透镜111至11n光学相关联。例如，小透镜阵列11的每个微透镜111至11n的尺寸被设置为对应于2×1、4×4或10×10光电传感器的阵列。与微透镜相关联的一组光电传感器(或换言之，微透镜下的一组光电传感器)形成与该微透镜相关联的微图像，该组光电传感器中的每个光电传感器形成该微图像的像素。多个光电传感器中的每个光电传感器与一个单一微透镜光学相关联，以能够根据一个位置获取表示场景的像素的原始数据(获取与像素一样多的视差)。根据不同的实施例，透镜单元101和相机主体102共同地形成一个单一主体，并且不可拆卸地组装。
透镜单元101包括相机透镜10，也称为主透镜或主要透镜，其较优地由一个或多个透镜元件形成，为了清楚的目的仅在图1中示出了一个透镜元件10。
全光相机1是1.0类型，对应于其中小透镜阵列11和光电传感器阵列13之间的距离等于微透镜焦距的全光相机，否则为2.0类型(也称为聚焦全光相机)。
图2A和图2B提供了光场获取设备的其他示例。更具体地，根据本原理的两个特定实施例，图2A和图2B各自示出了相机阵列2A、2B(也称为多相机阵列)。
相机阵列2A包括标记为20的透镜或微透镜阵列，以及标记为21的一个或多个传感器阵列，该透镜或微透镜阵列包括几个标记为201、202至20p的微透镜，其中p是对应于微透镜的个数的整数。相机阵列2A不具有主透镜。透镜阵列20可以是小型设备，通常被命名为微透镜阵列。值得注意的是，具有单个传感器的相机阵列可以被认为是全光相机的特殊情况，其中主透镜具有无限焦点。根据其中光电传感器的数量等于微透镜的数量，即一个光电传感器与一个微透镜光学相关联的特定排列，相机阵列20可以被视为几个单独的相机(例如微型相机)彼此紧密间隔的排列，例如正方形排列(如图2A所示)或例如梅花形排列。
相机阵列2B对应于各自包括透镜和光电传感器阵列的单独相机的装配。相机彼此间隔开，例如以等于几厘米或更小的距离，例如5、7或10cm。
由这样的相机阵列2A或2B获得的光场数据(形成所谓的光场图像)对应于场景的多个视图，即对应于将由例如图1的全光相机的全光相机获得的原始图像进行解复用和去马赛克而获得的最终视图。相机阵列的相机根据任何已知的方法校准，即已知相机的内在和外在参数。
图3示出了说明用于处理光场数据的装置3的示例的示意性框图。例如从图1或图2A、图2B的光场获取设备接收光场数据。根据另一示例，从其上存储有光场数据的存储设备接收光场数据。
装置3包括处理器31、存储单元32、输入设备33、显示设备34和接口单元35，这些通过总线36连接。当然，计算机装置3的组成元件可以使用除了使用总线36的总线联结以外的联结来连接。
处理器31控制装置3的操作。存储单元32存储将由处理器31执行的至少一个程序以及各种数据，该数据包括由光场相机捕获和提供的4D光场图像的数据(光场数据)、由处理器31执行的计算所使用的参数、由处理器31执行的计算的中间数据等。处理器31可以由任何已知的且合适的硬件、软件、或硬件和软件的组合形成。例如，处理器31可以由诸如处理电路的专用硬件、或者可编程处理单元形成、可编程处理单元诸如执行存储在其存储器中程序的CPU(中央处理单元)和/或GPU(图形处理单元)。
存储单元32可以由能够以计算机可读方式存储程序、数据等的任何合适的存储器或装置形成。存储单元32的示例包括非暂时性计算机可读存储介质，例如半导体存储器设备，以及加载到读写单元中的磁、光或磁-光记录介质。根据如下文参考图9描述的本公开的实施例，程序使处理器31执行用于处理(例如编辑或分割)光场数据的处理。
输入设备33可以由键盘、诸如鼠标之类的指示设备等形成，以供用户使用以输入命令，以实现用户对场景内感兴趣的对象的选择。输出设备34可以由显示设备形成，以显示例如图形用户界面(GUI)、焦点堆栈的图像或深度图图像。输入设备33和输出设备34可以例如由触摸屏面板一体地形成。
接口单元35提供装置3和外部装置之间的接口。接口单元35可以经由电缆或无线通信与外部装置通信。在该实施例中，外部装置可以是光场获取设备，例如光场相机。在这种情况下，由光场获取设备捕获的4D光场图像的数据可以从光场获取设备通过接口单元35输入到装置3，然后存储在存储单元32中。
在该实施例中，示例性地讨论了装置3为其与光场获取设备分离，在一个实施例中二者可以经由有线或无线通信而彼此通信。在一个实施例中，装置3可以与光场获取设备集成。
尽管在图3中仅示出了一个处理器31，但是应当理解根据本公开的实施例，这样的处理器可以包括实现由装置3执行的功能的不同模块和单元，诸如：
-用于分割光场数据的模块，即根据元素所代表的场景的对象来对光场数据的元素进行分组；
-用于识别场景中感兴趣的对象的模块；
-用于评估感兴趣对象的深度的模块；
-用于确定要与每个感兴趣对象相关联的聚焦图像的数量的模块；
-深度计算模块，用于根据光场数据集或根据从光场数据集生成的视图矩阵来计算深度；
-用于根据所计算的深度来计算场景中感兴趣对象的位置的计算单元。
在替代实施例中，模块和单元可以相应体现在彼此通信和协作的多个处理器31中。
图4示出了根据本原理的一个实施例由光场相机1或2获得的光场数据4的第一示例。在图4的示例中，光场数据由视图400至403、410至413、420至423以及430至433的集合来表示，其如图所示由4行和4列的矩阵4所表示。每个视图的每个参考数字的后两位指示着与该视图相关联的相应行和列。例如，标记为400的视图属于具有标记0的第一行和具有标记0的第一列，标记为421的视图属于具有标记2的第三行和具有标记1的第二列，其中该行从0到3索引，且该列也从0到3索引。
每个视图400至403、410至413、420至423以及430至433是根据特定视点的场景的图像，每个视图与不同的视点相关联。每个视图包括多个像素，例如N行×M列个像素(也称为元素)，每个像素/元素具有与例如RGB颜色信息或CMY(青色、品红色和黄色)颜色信息相关联的颜色信息。
这些视图例如从光场相机2直接获得，其中一个视图直接通过透镜阵列20的一个透镜获取，或者通过处理由光场相机1获取的原始图像，即通过对原始图像进行解复用(如在由Hae-Gan Jeon Jaesik Park Gyeongmin Choe Jinsun Park，Yunsu Bok Yu-Wing TaiIn So Kweon所著的题为“小透镜光场相机的精确深度图估计(Accurate Depth MapEstimation from a Lenslet Light Field Camera)”的文章中所描述的)和去马赛克(如在由Li，Gunturk and Zhang所著的题为“图像去马赛克：系统调查(Image demosaicing：asystematic Survey)”，Proc.SPIE，vol.6822，p.68221J(2008)文章中所描述的)获取。去马赛克能够恢复全色原始图像，即恢复原始图像的像素的全色信息(例如RGB信息)，而由全光图像获取的原始图像仅将一个颜色分量(例如R、G或B)与每个像素进行关联。解复用包括以这样的方式重组原始图像的像素，使得所有捕获具有特定入射角的光线的像素被存储在同一图像中以创建所谓的子孔径图像。每个子孔径图像是在不同角度下的场景的投射。子孔径图像的集合创建了块矩阵，其中中心图像存储了捕获垂直于光电传感器阵列的光线的像素。
视图的数量不限于16，但在替代实施例中可以相应地扩展到任何整数，例如4个视图、10个视图、100个视图或n个视图。视图的排列也不限于矩形矩阵排列，并且可以是任何几何形状，例如圆形矩阵排列，梅花形矩阵排列或其他。
光场数据包括多个元素(或像素)，其中每个元素由4维坐标表示(即，两个坐标用于标识该元素所属的视图，另外两个坐标用于标识元素在其所代表的视图中的位置)。例如，光场数据的元素‘i’由4个坐标(si，ti，xi，yi)表示。si和ti对应于元素‘i’所属的视图的标记(例如，si对应于视图矩阵中的视图的行标记，ti对应于视图的列标记)。xi和yi对应于例如元素‘i’在视图(si，ti)内的行标记和列标记，0≤x≤N-1且0≤y≤M-1。
光线ri可以与元素‘i’相关联，光线ri由元素‘i’的4维坐标(si，ti，xi，yi)表示。光场数据由使用两个平面参数化的一组光线来表示(一个光线用于光场数据的一个元素)，其中第一平面的坐标(s，t)和第二平面的坐标(x，y)。第一平面和第二平面配备有2D坐标系，其在基本矢量平行并且原点位于与第一平面和第二平面正交的线上的意义上是兼容的。
图5示出根据一个实施例的由使用光场相机1获得的光场数据5的第二示例。在图5的示例中，光场数据5可以是使用诸如图1所示的全光相机获取的原始图像所对应的像素矩阵(也称为光场数据元素)。微透镜阵列中的微透镜各自与一组元素相关联，形成一组微图像51至58。每个微图像包括多个元素，其具有与例如红色、绿色或蓝色信息相关联的颜色信息。
自然地，微透镜(或等效地微图像)的数量不限于8，而是扩展到任何整数，例如4、10、100个或更多个微透镜。微透镜的排列不限于梅花形矩阵排列，而是扩展到任何排列，例如矩形矩阵排列。
光场数据包括多个元素(或像素)，其中每个元素由4维坐标表示，即两个坐标用于标识该元素与之相关联(或分别属于)的视图微透镜(或微图像)，另外两个坐标用于识别该元素在其所属的微图像内的位置。例如，光场数据的元素‘i’由4个坐标(si，ti，xi，yi)表示。si和ti对应于元素‘i’所属的微图像的标记(即，该微图像在微图像的排列内的位置)(例如，si对应于微图像/微透镜在微图像/微透镜的矩阵中的行标记，ti对应于微图像/微透镜的列标记)。xi和yi对应于例如元素‘i’在微图像(si，ti)内的行标记和列标记，xi和yi例如通过相对于微图像的中心来表示。
光线ri可以与元素‘i’相关联，光线ri由元素‘i’的4维坐标(si，ti，xi，yi)表示。光场数据由使用两个平面参数化的一组光线来表示(一个光线用于光场数据的一个元素)，其中第一平面的坐标(s，t)和第二平面的坐标(x，y)。第一平面和第二平面配备有2D坐标系，其在基本矢量平行并且原点位于与第一平面和第二平面正交的线上的意义上是兼容的。
图6示出根据一个实施例的对与光场数据4相关联的光线的分组。图6示出了第一组光线600(也称为光线束)，第一组600中每条光线的原点是场景中相同的3D点60，每条光线与光场数据的元素相关联，即元素61至68。元素61、62、63、64、65、66、67和68分别被包含在相应的视图400、401、402、410、411、412、420和421中。元素61至68被称为对应元素，因为它们都指代场景的相同点60。
与光场数据4的给定元素‘i’相关联的光线ri的原点是通过使用深度信息D(ri)来确定的，该深度信息D(ri)以与所述给定元素相关联的深度值(也记为D(si，ti，xi，yi))的形式表示。使用与元素‘i’相关联的4维坐标(si，ti，xi，yi)定义光线。光线ri的原点是通过沿着光线ri在远离元素‘i’的方向上行进、在对应于距离D(ri)处获取的。光线ri的原点对应于场景中属于光线ri的、并且位于沿着光线ri且与元素‘i’的距离为D(ri)之处的点。
例如，可以通过在坐标si，ti的参考视图(例如，具有行索引0和列索引0的视图400)中使用具有坐标xi，yi的一个元素61来获得一组光线。元素61被投射到其他视图中，以在其他视图中找到与元素61的投射相对应的元素。例如，视图400中元素61的投射是视图401中的元素62、视图402中的元素63、视图410中的元素64、视图411中的元素65、视图412中的元素66、视图420中的元素67和视图421中的元素68。元素61在其他视图中的投射例如通过使用与元素61相关联的深度信息来获得，该深度信息以视差值(例如以多个像素表示)的形式来表示。例如，如果元素62(对应于元素61在视图401中的投射)具有坐标(sj，tj，xj，yj)、相关联的光线rj以及相关联的深度信息D(rj)(也记为D(sj，tj，xj，yj))，则当以下情况时，光线ri和rj被认为属于同一组：
xi+(si-sj)×D(si，ti，xi，yi)-xj≤E1且
yi+(ti-tj)×D(si，ti，xi，yi)-yj≤E2
其中E1和E2是考虑到例如在确定投射元素时的不精准性的确定值(例如阈值)。E1和E2可以是相同的值或不同的值，并且可以例如等于接近0的值，例如0.01、0.02或0.5。
根据变型，在将光线ri和rj分配到同一个组之前，还可检查是否满足：
xj+(sj-si)×D(sj，tj，xj，yj)-xi≤E1且
yj+(tj-ti)×D(sj，tj，xj，yj)-yi≤E2
该第二检查使得能够检查元素62也投射到元素61上。如果不是，则意味着已经检测到遮挡(occlusion)，并且其还防止两个不相干深度值被错误地分配到同一组光线。
根据替代实施例，在E1＝E2＝0的情况下，当以下情况时，光线ri和rj被认为属于同一组：
xi+(si-sj)×D(si，ti，xi，yi)-xj≤0且
yi+(ti-tj)×D(si，ti，xi，yi)-yj≤0
和/或
xj+(sj-si)×D(sj，tj，xj，yj)-xi≤0且
yj+(tj-ti)×D(sj，tj，xj，yj)-yi≤0
对元素61的每个投射元素执行相同的操作，以检查与元素61的投射元素相关联的所有光线是否属于相同的第一组光线，即对应于场景的相同点。
参考视图(例如视图400)的元素被逐个考虑，并且对每个元素执行上文描述的操作以生成不同的光线组。一旦参考视图中的每个元素都已被处理，则其它视图的剩余元素(即其相关联的光线未被分配到一组光线的元素)可被逐个处理，以测试光场数据的所有元素。
在另一个实施例中，可选地，可以通过(使用用于获取视图400的相机的内部和外部参数以及与元素61相关联的深度值)确定元素61在场景中的投射来获得元素61在其他视图中的投射，场景中对应于元素61的投射的点随后被重新投射到每个其他视图中。为了检查潜在的遮挡，还通过使用相机的内部和外部参数以及与投射元素相关联的深度信息，来检查与元素61的投射相对应的元素是否投射到元素61上。
根据又一个实施例，根据原点在场景的空间中的3维坐标来分类与光场数据的元素相关联的阵列的原点。获取确定数量的3D点的聚类(cluster)，每个聚类对应于一组光线。
未分配到任何组的光线被称为自由光线，因为它们各自对应场景中作为单个光线的原点的(或与光场数据的单个元素相关联的)一点。
图7和图8示出了根据一个实施例的两组光线之间的关系。图7具体示出了光场数据4的一部分7，例如4个左上视图400、401、410和411以及相关联的元素。元素61、62、64和65以及分别相关联的光线601、602、603和604与场景中相同3D点60相关联，光线601至604是关于图6描述的第一组600的一部分，并且用虚线表示。元素71、72和73分别属于视图400、401和410，且分别与光线701、702和703相关联，并且指代场景中相同的3D点70。光线701、702和703形成第二组光线或第二组光线中的一部分，并且用实线表示。
在一个实施例中，当两个不同组是相邻的时确定该两个不同组之间的关系。当两个不同的组具有至少一个在彼此的元素的邻域(neighbourhood)中的元素时，这两个组被认为是相邻的。考虑第一组的例如光线601的光线，搜索是否存在与第二组的光线相关联的、位于与元素61相关联的元素的邻域的元素，其中该元素61与第一组中所考虑的光线61相关联。
图8是示出元素61的邻域的实施例。在图8中，示出了包括由黑色单元所示的光场元素61的视图400。元素81至88被定义为属于元素61的邻域，因为它们对应于相同的视图400并且与元素61邻近。在替代实施例中，只有元素81至88中的一部分被认为属于元素61的邻域，在这种情况下，具体地，元素82、84、86和88(即，属于与元素61相同行或相同列并且与元素61邻近的元素)。根据又一实施例，元素61的邻域可以包括元素81至88以及与元素81至88相邻的元素。元素71属于与元素61相同的视图400，并且元素71与第二组中的光线701相关联，元素71同样属于该元素的邻域。因此，第一组光线和第二组光线被认为是相邻的，并且在它们之间建立了关系。为此，对于第一组中的每条光线建立一关系，该关系将一元素与第二组中位于与第一组中每条光线相关联的该元素的邻域的光线相关联。根据图7的示例，元素71、72和73分别与第二组的光线701、702和703相关联，元素71、72和73又分别在元素61、62和64的邻域并且还与第一组中的光线601、602和603相关联。在图7的示例中，与第一组的光线604相关联的元素65在其邻域中没有任何与第二组的光线相关联的元素。通过计算第一组的每条光线与第二组中位于第一组的每条光线邻域的光线之间的差异、并对所有计算的差异求和，来建立第一组光线和第二组光线之间的关系。
第一组和第二组的相邻光线之间的差异，是根据与相邻光线相关联的元素之间存在的颜色差异信息来确定的。例如，光线601和701之间的差异对应于元素61和元素71之间的颜色信息的差异，光线602和702之间的差异对应于元素62和元素72之间的颜色信息的差异，以及光线603和703之间的差异对应于元素64和元素73之间的颜色信息的差异。根据变型，所述差异是根据与第一组和第二组的相邻光线的相邻元素相关联的深度信息来确定的。根据变型，所述差异是通过考虑颜色信息的差异和深度信息的差异来确定的。
根据一个实施例，进一步建立所确定的光线组与位于所确定的该光线组的邻域的自由光线之间的关系，即当自由光线位于所确定的该光线组中一个光线的邻域时。根据变型，建立任何光线组与位于该光线组邻域的任何自由光线之间的关系。
将光线分成多个组并且在不同的光线组之间、以及在不同的光线组和自由光线之间建立关系，能够获得光场的简化表示(例如以图形的形式)，其利用的数据量小于当光场数据由单独考虑光场的每个元素表示时所需的数据量。
图9示出了根据一个实施例的用于处理例如对应于光场数据4或5的光场数据91的流程图。在该实施例中，光场数据从光场获取设备、从存储设备或从例如经由互联网位于远程的服务器接收。光场数据包括多个光场元素，例如以元素(或像素)的矩阵的形式排列。
在步骤92中，将光线与光场数据91的元素进行关联，其中该光线通过使用光场数据中元素的4维坐标获得。然后可以通过使用两个平面参数化的一组光线(一个光线对应光场数据中一个元素)来表示光场数据。与光场的给定元素相关联的4维坐标例如对应于两个标记和两个坐标，所述两个标记用于标识给定元素所属的视图或微透镜，所述两个坐标用于标识给定元素在视图/微透镜内的位置。根据变型，4维坐标包括用于在元素矩阵(对应于光场数据)中定位给定元素的两个坐标、以及两个角坐标。
在步骤93中，确定与光场数据的元素相关联的深度信息。深度信息例如对应于深度值(例如以米表示)或对应于视差值(例如以像素的数目表示)。深度信息例如在Wanner、Sven、Christoph Straehle和Bastian Goldluecke所著的发表于关于计算机视觉和模式识别的IEEE会议(IEEE Conference on Computer Vision and Pattern Recognition，2013)的会刊中的“在4d光场的光线空间的全局一致的多标签分配(Globally consistentmulti-label assignment on the ray space of 4d light fields)”一文中所描述的；或者例如在Wanner、Sven和Bastian Goldluecke所著的发表于模式分析和机器智能(PatternAnalysis and Machine Intelligence，IEEE Transactions on 36.3(2014)：606-619)的“用于差异估计和超分辨率的变化光场分析(Variational light field analysis fordisparity estimation and super-resolution)”一文中所描述的；或者例如在由BastianGoldluecke、Sven Wanner所著的发表于国际计算机视觉和模式识别会议(InternationalConference on Computer Vision and Pattern Recognition，2013)的会刊中的“4D光场的差异化和规则化的变量结构(The Variational Structure of Disparity andRegularization of 4D Light Fields)”一文中所描述的；或者例如在由Drazic、Valter和NeusSabater所著的发表于第27届新西兰图像和视觉计算会议(the 27th Conference onImage and Vision Computing New Zealand，ACM，2012)的会刊中的“一种精准实时立体算法(A precise real-time stereo algorithm)”一文中所描述的。
在步骤94中，确定每条光线的原点，该原点对应于由光场数据表示的场景中的3D点。从光场数据的元素离开并且知晓与该元素相关联的深度信息，则光线的原点对应于场景中位于沿着光线在光线之上对应于与该元素关联的深度的距离处的3D点。换句话说，从给定元素跟踪光线，并且原点是该光线与场景之间的沿着与给定元素关联的光线的、在对应于与该给定元素相关联的深度的距离处的交叉点。对一部分或整个光场数据91的每个元素执行相同的操作。
在步骤94中，对与光场数据91的元素相关联的光线进行分组，在场景中具有相同原点的光线属于同一组。假定使用两个平面参数化来对光场进行参数化，令ri为由其4-D坐标(si，ti，xi，yi)表示的光线。其局部(local)深度测量被表示为D(ri)，表示从坐标为(s，t)(的一个视图到δ很小的相邻视图(s+δs，t+δt)的像素偏移。一组光线(也称为光线束)bi被定义为根据它们的深度测量D(ri)描述相同3D场景点的所有光线的集合。形式上，两条光线ri和rj属于同一组，当且仅当xi+(si-sj)×D(si，si，xi，yi)＝xj(以及对于t-y方向同义)或xi+(si-sj)×D(si，si，xi，yi)-xj≤ε1时，其中ε1对应于接近0或等于0的确定值。
在替代实施例中，在将两条光线分配到同一组光线之前，检查同样的等式是否反向成立：xj+(sj-si)×D(sj，yj，xj，yj)＝xi(或xj+(sj-si)×D(sj，yj，xj，yj)-xi≤ε1)。这种检查使得能够检测遮挡，因为当等式不反向成立时可以检测到遮挡。在光线分组操作结束时还未被分配到任何组光线的光线被称为自由光线。每个光线组例如用唯一的标识符来标识，每个自由光线也用唯一的标识符来标识。
在步骤95中，通过使用关于光线组的信息和/或关于自由光线的信息(自由光线可以被看作包括单条光线的组)来处理光场数据。该处理可以例如对应于遮挡的检测(对应于自由光线)。
根据替代实施例，该处理可对应于光场数据的分割。为了达到分割的目的，可以确定光线组和自由光线之间的关系。集合R被定义为包含所有自由光线，超集合B被定义为包含所有光线组。在该设置中，如果LF表示所有光线(即光场)的集合，则无论它们是否自由，LF＝R∪B。为了定义自由光线和光线束之间的相邻关系，令N(ri)为每个视图上ri的4个相连邻域元素，也就是说光线集合{rj，rk，rl，rm}，具有：
·坐标为(si，ti，xi-1，yi)的rj
·坐标为(si，ti，xi+1，yi)的rk
·坐标为(si，ti，xi，yi-1)的rl
·坐标为(si，ti，xi，yi+1)的rm
且仅当bi的一个光线元素与一个自由光线ri相邻时(即
Figure BSA0000143829410000141
Figure BSA0000143829410000142
)，该自由光线ri在与光线束bi的相邻。类似地，如果两组光线bi和bj具有至少一个位于彼此的元素的邻域中的元素(即
Figure BSA0000143829410000143
Figure BSA0000143829410000144
)，则两组光线bi和bj相邻。构建图G＝{V，E}，使得图的每个节点对应于R和B的一个元素(使用符号V＝B∪R)，并且由两条光线之间、两个组之间、以及光线和组之间的相邻关系来定义边缘(E＝(ri，rj)|rj∈N(ri)∪(bi，ri)|ri∈N(bi)∪(b_i，b_j)|bi∈N(bj))。这种方法能够显著地减少输入至例如RMF(随机马尔可夫场，Random Markov Field)算法的数据量。实际上，使用众所周知的使用最大流的图像切割算法(Graph-Cut Algorithm)，典型的求解复杂度为O(f|E|)或O(|V||E|2)，其中f为最大流，|V|、|E|为节点和边缘的数量。自由光线的确定避免了与遮挡相关的问题并避免深度图中的伪像(artifact)。
具有节点(即光线组和自由光线)和边缘(节点组和自由光线之间的关系)的光场数据的表示的一种可能的使用，是使用图切割的图像多标签分割。如果L对应于向每个自由光线和光线组分配标签α的标签函数。寻求最小化的能量具有以下形式：
Figure BSA0000143829410000151
其中U表示数据项，P表示平滑度项。由于在常规非迭代图切割中，m是用户调节的系数，其在邻域自由光线或光线组之间实施更多的标签一致性。自由光线和颜色组的数据项可以例如使用高斯混合模型(Gaussian Mixture Model，GMM)来定义。给定光场，则可通过用户交互来获得涂写图像(scribble)。用户在他/她想要分割的对象上提供不同的颜色。如在常规图形切割中，涂写需要覆盖每个对象的不同颜色的不同部分。
光线的颜色表示为Lf(ri)，并且光线组的颜色是它所包括的光线的平均值：
Figure BSA0000143829410000152
S被称为涂写图像，其具有与用于编辑的坐标为(s，t)的视图相同的大小。涂写下的每个元素/像素值表示标签代码(从1到涂写数量)，否则为0。
如果П表示根据学习GMM及光线或光束的颜色、该光线或光束属于对象α的概率，则标签α的光线r_i的数据项随后被定义为光线颜色前向(forward)概率的负对数似然。通过将涂写下自由光线的一元项设置为0和∞，该输入涂写被作为硬约束(hardconstraint)：
Figure BSA0000143829410000161
类似地，组/束数据项定义为：
Figure BSA0000143829410000162
如在常规颜色连续性(continuty)中，成对概率被定义用于自由光线对以及自由光线和光线组之间：
Figure BSA0000143829410000163
Figure BSA0000143829410000164
其中σ是局部颜色方差，ΔE是CIELab颜色距离。
对于光线组对来说，成对项根据彼此相邻的每个束的光线的总和来定义：
Figure BSA0000143829410000165
随后使用阿尔法(alpha)扩展有效地最小化能量，例如在Boykov Yuri、OlgaVeksler和RaminZabih所著的发表于模式分析和机器智能(Pattern Analysis andMachine Intelligence，IEEE Transactions on 23.11.2001：122-1239)的“通过图切割的快速接近能量最小化(Fast approximate energy minimization via graph cuts)”一文中所述的。
图10示意性地示出了根据一个实施例的电信设备100的硬件实施例，其例如在一个实施例中对应于移动设备，例如智能手机、平板电脑或其他类似的实现了光场相机的设备。
在图10提供的实施例中示出了电信设备100，其包括通过地址和数据的总线1004彼此连接的以下元件，该总线还传送时钟信号：
-微处理器1001(或CPU)，
-ROM(只读存储器)类型的非易失性存储器1002，
-随机存取存储器或RAM 1003，
-无线接口1006，
-适于发送数据的接口1005，
-光场相机1007，例如对应于图1的全光相机1或对应于图2的多相机阵列2，
-适于为用户显示信息和/或输入数据或参数的MMI(人机接口，Man MachineInterface)1008。
需要注意的是，在存储器1002和1003的描述中使用的术语“寄存器”在所提及的每个存储器中指定低容量的存储器区以及高容量的存储器区(使得能够存储整个程序或表示接收和解码的数据的数据的全部或部分)。
存储器ROM 1002特别包括“prog”程序。
实现本公开特有的和下面描述的方法的步骤的算法存储在与实现这些步骤的电信设备100相关联的ROM 1002存储器中。当上电时，微处理器1001加载和运行这些算法的指令。
随机存取存储器1003特别包括：
-在寄存器中，负责接通电信设备100的微处理器1001的操作程序，
-接收参数(例如用于调制、编码、MIMO、帧重现的参数)，
-发送参数(例如用于调制、编码、MIMO、帧重现的参数)，
-与由接收器1006接收和解码的数据相对应的进入(incoming)数据，
-形成为要在应用1005的接口处发送的解码数据，
-光场相机的参数，
-形成原始图像和/或视图的光场数据，
-代表光线组和/或自由光线的数据，
-代表深度的信息，例如包含在深度图中。
除了关于图100的那些描述之外，电信设备100的其它结构也与本公开兼容。特别地，根据变型，电信设备可以根据纯硬件实现，例如以专用组件(例如以ASIC(专用集成电路)、或FPGA(现场可编程门阵列)、或VLSI(超大规模集成))，或以嵌入在设备中的几个电子部件的形式来实现，甚至或者以硬件元件和软件元件混合的形式来实现。
无线接口1006和接口1005例如适于根据一个或多个电信标准来接收和发送信号，例如IEEE 802.11(Wi-Fi)、符合IMT-2000规范(也称为3G)、3GPP LTE(也称为4G)、IEEE802.15.1(也称为蓝牙)等的标准。
在替代实施例中，电信设备不包括任何ROM而仅包括RAM，实现本公开特有的方法的步骤并且结合图9所描述的算法被存储在RAM中。根据另一变型，电信设备100包括SSD(Solid-State Drive固态驱动器)存储器，而非ROM和/或RAM。
总体上，本公开不限于之前描述的实施例。
具体地，本公开不限于被配置为处理光场数据的装置或处理光场数据的方法，而且还扩展到如下的方法/装置：用于显示光场数据的表示和/或用于重建场景的一个或多个视图或场景的部分，例如通过去除前景对象并且通过使用关于光线组和/或存储在深度图中的深度信息的信息来重建场景的背景部分，或用于包括这样的装置或实现这样的方法的任何设备，例如电信设备。
电信设备包括例如智能手机、智能手表、平板电脑、计算机、移动电话、便携式/个人数字助理(“PDA”)、透视眼镜、头戴式显示器(HMD)以及便于终端用户之间通信的其他设备，还包括机顶盒。
获得本文所述的深度图的方法可以由处理器执行的指令来实现，并且这样的指令(和/或由实现方式产生的数据值)可以被存储在处理器可读介质上，例如，集成电路、软件载体或其他存储设备，诸如硬盘、压缩磁盘(“CD”)、光盘(例如DVD，通常称为数字通用盘或数字视频盘)、随机存取存储器(“RAM”)或只读存储器(“ROM”)。这些指令可以形成能够有形地体现在处理器可读介质上的应用程序。指令可以在例如硬件、固件、软件或其组合上。指令可以出现在例如操作系统，单独的应用或两者的组合中。因此，处理器可以被表征为例如被配置为执行处理的设备和包括具有用于执行处理的指令的处理器可读介质(诸如存储设备)的设备。此外，处理器可读介质可以存储除了指令之外或者代替指令的、由实现方式产生的数据值。
如对于本领域技术人员显而易见的，实现方式可以产生各种信号，被格式化为携带可以例如被存储或传输的信息。该信息可以包括例如用于执行方法的指令或者由所描述的一种实现方式产生的数据。例如，信号可以被格式化为将用于写入或读取所描述的实施例的语法规则作为数据携带，或者将由所描述的实施例写入的实际语法值作为数据携带。这样的信号可以被格式化为例如电磁波(例如，使用频谱的射频部分)或者作为基带信号。格式化可以包括例如编码数据流和用编码数据流调制载波。信号携带的信息可以是例如模拟或数字信息。众所周知，可以通过各种不同的有线或无线链路来传送信号。该信号可以存储在处理器可读介质上。
已经描述了多种实现方式。然而，应当理解，可以进行各种修改。例如，可以组合、补充、修改或移除不同实现方式的元素以产生其他实现方式。另外，普通技术人员将理解，其他结构和处理可以替代所公开的那些，并且所得到的实现方式将以至少基本上相同的方式，执行至少基本上相同的功能，以实现至少基本上与所公开的实施方式相同的结果。因此，本申请已经预期到这些和其他实施方式。

Claims (13)

1.一种处理表示场景的光场数据(4)的方法，所述光场数据包括多个元素，4维坐标与所述多个元素中的每个元素相关联，其中所述方法包括：
将光线(601)与每个元素(61)关联，从与每个所述元素(61)相关联的4维坐标获得所述光线；
确定每个所述元素(61)的深度信息；
根据所述深度信息确定每个所述光线在场景中的原点(60)；
将在场景中具有相同原点的光线(600)分组以形成多个组；
对于所述多个组中的至少一对组，建立形成所述至少一对组的第一组光线和第二组光线之间的关系，所述关系由以下确定：
对于所述第一组的光线的至少一部分中的每条光线，当所述第二组的光线被包括在所述第一组的所述光线的邻域中时，计算与所述第二组的所述光线相关联的元素和与所述第一组的所述光线相关联的元素之间的差异；
通过对所述差异求和来确定所述关系；
根据所述多个组和所述关系处理所述光场数据(4)。
2.根据权利要求1所述的方法，其中当满足以下条件时：
xi+(si-sj)×D(si,ti,xi,yi)-xj<E1，且
yi+(ti-tj)×D(si,ti,xi,yi)-yj<E2，
将被标记为“i”且用4维坐标(si,ti,xi,yi)表示的第一光线和被标记为“j”且用4维坐标(sj,tj,xj,yj)表示的第二光线分组至所述多个组中的同一组中，
其中D(si,ti,xi,yi)对应于与所述第一光线相关联的深度信息，E1对应于第一确定值，且E2对应于第二确定值，
其中xi,yi表示在坐标si,ti的参考视图中与所述第一光线相关联的元素的坐标，并且xj,yj表示在坐标sj,tj的参考视图中与所述第二光线相关联的元素的坐标。
3.根据权利要求2所述的方法，其中当进一步满足以下条件时：
xj+(sj-si)×D(sj,tj,xj,yj)-xi<E1，且
yj+(tj-ti)×D(sj,tj,xj,yj)-yi<E2，
将所述第一光线和所述第二光线分组至所述同一组中，
其中D(sj,tj,xj,yj)对应于与所述第二光线相关联的深度信息。
4.根据权利要求1至3中任一项所述的方法，还包括确定光线未被分配到所述多个组中的组。
5.根据权利要求1所述的方法，其中所述处理包括根据所述关系分割所述光场数据。
6.一种适于处理表示场景的光场数据的设备(3)，所述光场数据包括多个元素，4维坐标与所述多个元素中的每个元素相关联，其中所述设备包括至少一个处理器，所述至少一个处理器被配置为：
将光线与每个元素关联，从与每个所述元素相关联的4维坐标获得所述光线；
确定每个所述元素的深度信息；
根据所述深度信息确定每个所述光线在场景中的原点；
将在场景中具有相同原点的光线分组以形成多个组；
对于所述多个组中的至少一对组，建立形成所述至少一对组的第一组光线和第二组光线之间的关系，所述关系由以下确定：
对于所述第一组的光线的至少一部分中的每条光线，当所述第二组的光线被包括在所述第一组的所述光线的邻域中时，计算与所述第二组的所述光线相关联的元素和与所述第一组的所述光线相关联的元素之间的差异；
通过对所述差异求和来确定所述关系；
根据所述多个组和所述关系处理所述光场数据。
7.根据权利要求6所述的设备，其中，所述至少一个处理器被配置为当满足以下条件时：
xi+(si-sj)×D(si,ti,xi,yi)-xj<E1，且
yi+(ti-tj)×D(si,ti,xi,yi)-yj<E2，
将被标记为“i”且用4维坐标(si,ti,xi,yi)表示的第一光线和被标记为“j”且用4维坐标(sj,tj,xj,yj)表示的第二光线分组至所述多个组中的同一组中，
其中D(si,ti,xi,yi)对应于与所述第一光线相关联的深度信息，E1对应于第一确定值，且E2对应于第二确定值，
其中xi,yi表示在坐标si,ti的参考视图中与所述第一光线相关联的元素的坐标，并且xj,yj表示在坐标sj,tj的参考视图中与所述第二光线相关联的元素的坐标。
8.根据权利要求7所述的设备，其中所述至少一个处理器被配置为当进一步满足以下条件时：
xj+(sj-si)×D(sj,tj,xj,yj)-xi<E1，且
yj+(tj-ti)×D(sj,tj,xj,yj)-yi<E2，
将所述第一光线和所述第二光线分组至所述同一组中，
其中D(sj,tj,xj,yj)对应于与所述第二光线相关联的深度信息。
9.根据权利要求6至8中任一项所述的设备，所述至少一个处理器还被配置为确定光线未被分配到所述多个组中的组。
10.根据权利要求6所述的设备，其中所述至少一个处理器还被配置为根据所述关系分割所述光场数据。
11.一种多媒体终端，包括光场获取设备和根据权利要求6、7、8和10中任一项所述的设备。
12.一种计算机程序产品，包括程序代码的指令，所述计算机程序产品用于当在计算机上执行所述程序时执行根据权利要求1、2、3和5中任一项所述的方法。
13.一种处理器可读介质，其中存储有用于使处理器执行根据权利要求1、2、3和5中任一项所述的方法的操作的指令。
CN201710281208.9A 2016-03-14 2017-03-14 用于处理光场数据的方法和设备 Active CN107194965B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP16305273.1 2016-03-14
EP16305273.1A EP3220351A1 (en) 2016-03-14 2016-03-14 Method and device for processing lightfield data

Publications (2)

Publication Number Publication Date
CN107194965A CN107194965A (zh) 2017-09-22
CN107194965B true CN107194965B (zh) 2021-11-09

Family

ID=55642383

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710281208.9A Active CN107194965B (zh) 2016-03-14 2017-03-14 用于处理光场数据的方法和设备

Country Status (5)

Country Link
US (1) US10055856B2 (zh)
EP (2) EP3220351A1 (zh)
JP (1) JP6847718B6 (zh)
KR (1) KR102354260B1 (zh)
CN (1) CN107194965B (zh)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10298834B2 (en) 2006-12-01 2019-05-21 Google Llc Video refocusing
US9858649B2 (en) 2015-09-30 2018-01-02 Lytro, Inc. Depth-based image blurring
US10334151B2 (en) 2013-04-22 2019-06-25 Google Llc Phase detection autofocus using subaperture images
US10440407B2 (en) 2017-05-09 2019-10-08 Google Llc Adaptive control for immersive experience delivery
US10546424B2 (en) 2015-04-15 2020-01-28 Google Llc Layered content delivery for virtual and augmented reality experiences
US10540818B2 (en) 2015-04-15 2020-01-21 Google Llc Stereo image generation and interactive playback
US11328446B2 (en) 2015-04-15 2022-05-10 Google Llc Combining light-field data with active depth data for depth map generation
US10444931B2 (en) 2017-05-09 2019-10-15 Google Llc Vantage generation and interactive playback
US10412373B2 (en) 2015-04-15 2019-09-10 Google Llc Image capture for virtual reality displays
US10565734B2 (en) 2015-04-15 2020-02-18 Google Llc Video capture, processing, calibration, computational fiber artifact removal, and light-field pipeline
US10567464B2 (en) 2015-04-15 2020-02-18 Google Llc Video compression with adaptive view-dependent lighting removal
US10341632B2 (en) 2015-04-15 2019-07-02 Google Llc. Spatial random access enabled video system with a three-dimensional viewing volume
US10275898B1 (en) 2015-04-15 2019-04-30 Google Llc Wedge-based light-field video capture
US10469873B2 (en) 2015-04-15 2019-11-05 Google Llc Encoding and decoding virtual reality video
US10419737B2 (en) 2015-04-15 2019-09-17 Google Llc Data structures and delivery methods for expediting virtual reality playback
US9979909B2 (en) 2015-07-24 2018-05-22 Lytro, Inc. Automatic lens flare detection and correction for light-field images
US10275892B2 (en) 2016-06-09 2019-04-30 Google Llc Multi-view scene segmentation and propagation
US10679361B2 (en) 2016-12-05 2020-06-09 Google Llc Multi-view rotoscope contour propagation
US9900510B1 (en) * 2016-12-08 2018-02-20 Lytro, Inc. Motion blur for light-field images
US10594945B2 (en) 2017-04-03 2020-03-17 Google Llc Generating dolly zoom effect using light field image data
US10474227B2 (en) 2017-05-09 2019-11-12 Google Llc Generation of virtual reality with 6 degrees of freedom from limited viewer data
US10354399B2 (en) 2017-05-25 2019-07-16 Google Llc Multi-view back-projection to a light-field
US10545215B2 (en) 2017-09-13 2020-01-28 Google Llc 4D camera tracking and optical stabilization
US10776995B2 (en) * 2017-10-17 2020-09-15 Nvidia Corporation Light fields as better backgrounds in rendering
EP3493155A1 (en) * 2017-12-01 2019-06-05 Thomson Licensing Surface color segmentation
US10965862B2 (en) 2018-01-18 2021-03-30 Google Llc Multi-camera navigation interface
US10678056B2 (en) * 2018-02-26 2020-06-09 Google Llc Augmented reality light field head-mounted displays
JP7297891B2 (ja) 2018-07-19 2023-06-26 アクティブ サージカル， インコーポレイテッド 自動化された外科手術ロボットのためのビジョンシステム内の深度のマルチモード感知のためのシステムおよび方法
CN109360235B (zh) * 2018-09-29 2022-07-19 中国航空工业集团公司上海航空测控技术研究所 一种基于光场数据的混合深度估计方法
JP2022526626A (ja) 2019-04-08 2022-05-25 アクティブ サージカル， インコーポレイテッド 医療撮像のためのシステムおよび方法
WO2021035094A1 (en) 2019-08-21 2021-02-25 Activ Surgical, Inc. Systems and methods for medical imaging
CN112884877A (zh) * 2021-02-19 2021-06-01 中国科学院微电子研究所 光场显示方法、装置、电子设备及存储介质
CN116630134A (zh) * 2023-05-23 2023-08-22 北京拙河科技有限公司 一种光场相机图像数据多线程处理方法及装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103108452A (zh) * 2013-01-10 2013-05-15 北京航空航天大学 一种动态光场数据驱动的场景光照重现方法
CN104156916A (zh) * 2014-07-31 2014-11-19 北京航空航天大学 一种用于场景光照恢复的光场投影方法
CN102439979B (zh) * 2009-04-22 2014-12-17 雷特利克斯股份有限公司 数字成像系统，全光光学设备及图像数据处理方法
CN104598744A (zh) * 2015-01-27 2015-05-06 北京工业大学 一种基于光场的深度估计方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7129943B2 (en) * 2002-11-15 2006-10-31 Microsoft Corporation System and method for feature-based light field morphing and texture transfer
US20130070222A1 (en) * 2011-09-19 2013-03-21 D2S, Inc. Method and System for Optimization of an Image on a Substrate to be Manufactured Using Optical Lithography
KR101675961B1 (ko) * 2010-12-29 2016-11-14 삼성전자주식회사 적응적 부화소 렌더링 장치 및 방법
GB2501936B (en) 2012-05-11 2016-11-30 Canon Kk Micro lens array and imaging apparatus
US9179126B2 (en) * 2012-06-01 2015-11-03 Ostendo Technologies, Inc. Spatio-temporal light field cameras
EP2901671A4 (en) * 2012-09-28 2016-08-24 Pelican Imaging Corp CREATING IMAGES FROM LIGHT FIELDS USING VIRTUAL POINTS OF VIEW
US9786062B2 (en) * 2013-05-06 2017-10-10 Disney Enterprises, Inc. Scene reconstruction from high spatio-angular resolution light fields
US9460515B2 (en) 2013-10-25 2016-10-04 Ricoh Co., Ltd. Processing of light fields by transforming to scale and depth space
EP3072289A1 (en) * 2013-11-22 2016-09-28 Vidinoti SA A light field processing method
US9305375B2 (en) 2014-03-25 2016-04-05 Lytro, Inc. High-quality post-rendering depth blur
JP2015198336A (ja) * 2014-04-01 2015-11-09 キヤノン株式会社 画像処理装置およびその制御方法、並びにプログラム
CN104867129A (zh) 2015-04-16 2015-08-26 东南大学 一种光场图像分割方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102439979B (zh) * 2009-04-22 2014-12-17 雷特利克斯股份有限公司 数字成像系统，全光光学设备及图像数据处理方法
CN103108452A (zh) * 2013-01-10 2013-05-15 北京航空航天大学 一种动态光场数据驱动的场景光照重现方法
CN104156916A (zh) * 2014-07-31 2014-11-19 北京航空航天大学 一种用于场景光照恢复的光场投影方法
CN104598744A (zh) * 2015-01-27 2015-05-06 北京工业大学 一种基于光场的深度估计方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
《Multi-View Object Segmentation in Space and Time》;Abdelaziz Djelouah et al;《2013 IEEE International Conference on Computer Vision》;20131201;全文 *
《On Linear Structure from Motion for Light Field Cameras》;Ole Johannsen et al;《2015 IEEE International Conference on Computer Vision》;20151207;全文 *

Also Published As

Publication number Publication date
JP6847718B6 (ja) 2021-05-26
KR102354260B1 (ko) 2022-01-21
CN107194965A (zh) 2017-09-22
EP3220351A1 (en) 2017-09-20
JP2017182796A (ja) 2017-10-05
KR20170106931A (ko) 2017-09-22
US10055856B2 (en) 2018-08-21
EP3220352B1 (en) 2020-12-02
JP6847718B2 (ja) 2021-03-24
EP3220352A1 (en) 2017-09-20
US20170263012A1 (en) 2017-09-14

Similar Documents

Publication Publication Date Title
CN107194965B (zh) 用于处理光场数据的方法和设备
US10867430B2 (en) Method and system of 3D reconstruction with volume-based filtering for image processing
CN110036410B (zh) 用于从视图中获得距离信息的设备和方法
US10334229B2 (en) Method for obtaining a refocused image from a 4D raw light field data using a shift correction parameter
JP6887223B2 (ja) プレンオプティック・フォービエイテッド・カメラ
EP2947627B1 (en) Light field image depth estimation
KR20170005009A (ko) ３ｄ 라돈 이미지의 생성 및 사용
JP2016502704A (ja) 奥行きアーチファクトを除去するための画像処理方法および装置
US10785502B2 (en) Method and apparatus for encoding and decoding a light field based image, and corresponding computer program product
WO2017046272A1 (en) Method for encoding a light field content
CN110782412B (zh) 图像处理方法及装置、处理器、电子设备及存储介质
KR20160140453A (ko) 4d 원시 광 필드 데이터로부터 리포커싱된 이미지를 획득하기 위한 방법
US20210314543A1 (en) Imaging system and method
US10366478B2 (en) Method and device for obtaining a HDR image by graph signal processing
CN115035235A (zh) 三维重建方法及装置
CN114080627A (zh) 三维模型生成方法及三维模型生成装置
JP7432793B1 (ja) 三次元点群に基づくマッピング方法、装置、チップ及びモジュール機器
Liu et al. Two-stream refinement network for RGB-D saliency detection
CN115514877B (zh) 图像处理装置和降低噪声的方法
WO2023098362A1 (zh) 一种基于亿级像素相机的目标区域安防与监控系统
EP3099054A1 (en) Method and apparatus for determining a focal stack of images from light field data associated with a scene, and corresponding computer program product
EP3200151A1 (en) Method and device for obtaining a depth map
Zhang et al. A cost minimization with light field in scene depth MAP estimation
Chen Enhanced processing methods for light field imaging
Mustaniemi Image fusion algorithm for a multi-aperture camera

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20190606

Address after: France

Applicant after: Interactive Digital CE Patent Holding Company

Address before: Issy-les-Moulineaux

Applicant before: Thomson Licensing SA

TA01 Transfer of patent application right
GR01 Patent grant
GR01 Patent grant