CN111527518B - 基于超射线表示的使用来处理光场视频的方法 - Google Patents

基于超射线表示的使用来处理光场视频的方法 Download PDF

Info

Publication number
CN111527518B
CN111527518B CN201880084712.2A CN201880084712A CN111527518B CN 111527518 B CN111527518 B CN 111527518B CN 201880084712 A CN201880084712 A CN 201880084712A CN 111527518 B CN111527518 B CN 111527518B
Authority
CN
China
Prior art keywords
hyper
centroid
ray
light field
processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880084712.2A
Other languages
English (en)
Other versions
CN111527518A (zh
Inventor
N.萨巴特
M.霍格
C.吉尔莫特
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital CE Patent Holdings SAS
Original Assignee
InterDigital CE Patent Holdings SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by InterDigital CE Patent Holdings SAS filed Critical InterDigital CE Patent Holdings SAS
Publication of CN111527518A publication Critical patent/CN111527518A/zh
Application granted granted Critical
Publication of CN111527518B publication Critical patent/CN111527518B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/21—Indexing scheme for image data processing or generation, in general involving computational photography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10052—Images from lightfield camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

在一个实施例中，提出了一种用于处理光场视频的方法，该光场视频包括每单位时间的一组图像视图，该光场视频与没有剪辑的场景相关联。该方法的显著之处在于它包括：确定给定时间处的该组图像视图中包括至少一个参考图像视图的第一超射线表示，所述超射线表示基于质心，并且每个质心与唯一的超射线相关联；基于所述至少一个参考图像视图的质心的去投影和再投影，在所述给定时间之后的后续的一组图像视图中确定至少一个对应参考视图的第二超射线表示；基于跟踪过程确定所述第一超射线表示和所述第二超射线表示之间的质心位移；在所述第二超射线表示的质心上应用确定的位移，以获得修改后的质心的位置。

Description

基于超射线表示的使用来处理光场视频的方法
技术领域
本公开涉及用于处理光场视频的技术。更精确地说，它涉及用于简化光场视频内的内容的编辑以及光场视频的处理的技术。
背景技术
本部分旨在向读者介绍本领域的各个方面，这些方面可能与下面描述和/或要求保护的本发明的各个方面相关。该讨论被认为有助于向读者提供背景信息，以便于更好地理解本发明的各个方面。因此，应该理解的是，这些陈述应该从这个角度来理解，而不是作为对现有技术的承认。
光场图像(经由全光相机或相机阵列获得或获取获取)为终端用户提供了更多特征。事实上，光场图像的处理能够实现重新聚焦特征以及视点的改变、或者场景的视场的改变。由于这些提供的可能性，移动设备(诸如平板电脑或移动电话)的制造商开始提出集成若干个相机(即相机阵列)以获取光场图像的移动设备。
正如Matthieu Hog,Neus Sabater和Christine Guillemot发表在IEEE journalof selected topics in signal Processing中的题为“Super-rays for Efficient Light Field Processing”的文章中所详述的，经由超射线(super-ray)的使用可以对(由与不同角度位置相关联的一组图像表示的)光场图像进行分段(segment)。这些超射线可以被视为用于对经典或传统图像进行分段的超像素的等效物或对应物。获得超射线表示的处理受到SLIC方法的启发(该方法由Achanta,Radhakrishna等人在题为“SLIC superpixels compared to state-of-the-art superpixel methods”的文章中提出，其发表在IEEEtransactions on pattern analysis and machine intelligence 34.11(2012)2274-2282)，该方法被认为是静态图像中超像素计算的目前技术。更精确地说，SLIC方法可以被看作是对每个像素颜色和空间位置的k-means问题的重构，包括每个聚类质心分布的紧性先验(compactness prior)。此外，SLIC方法使用具有有界搜索窗口S的Loyd算法来降低复杂度。
一旦光场图像被转换成超射线表示(例如，参见前面提到的文章的图7(b)和图8(b)，其示出了超射线表示)，编辑这样的内容就更容易了，尤其是对于在场景中移除或插入对象。
然而，在光场视频由采集设备获取的情况下，在必须获得超射线表示以编辑光场视频的一些帧(即，作为光场图像的帧)或序列的情况下，本领域技术人员将会使用前述文章中描述的方法在选择或识别的时间段期间以相同的方式处理每个帧。然而，这种方法不能保证时间上的一致性。
在一个变型中，本领域技术人员将使用超像素方法来代替超射线表示。例如，本领域技术人员可以使用Reso，Matthias等人发表在2013年的期刊IEEE InternationalConference on Computer Vision中的题为“Temporally consistent superpixels”的文章中描述的技术，其中在20帧的滑动窗口中计算动态SLIC超像素。密集流(dense flow)用于将分配从一个帧传播到另一个帧，并运行若干次SLIC迭代。像素之间仅共用质心(centroid)颜色。超像素列表更新标准仅基于超像素大小。然而，这种方法有不同的缺点：它需要加载整个视频序列或大的窗口用于存储，这在光场视频的情况下是禁止的；它仅限于密集采样的视频；并且它不适合处理大量数据所必需的GPU实施方式。然而，这种方法不能保证角度一致性。
本技术提出了这些方法的替代方案，并且至少克服了所识别的缺点中的一个。
发明内容
说明书中对“一个实施例”、“实施例”、“示例实施例”的引用表示所描述的实施例可以包括特定的特征、结构或特性，但是每个实施例不一定包括特定的特征、结构或特性。此外，这些短语不一定指同一实施例。此外，当结合实施例描述特定的特征、结构或特性时，无论是否明确描述，结合其他实施例影响这样的特征、结构或特性都在本领域技术人员的知识范围内。
在本公开的一个实施例中，提出了一种用于处理光场视频的方法，该光场视频包括每单位时间的一组图像视图，该光场视频与没有剪辑的场景相关联。该方法的显著之处在于它包括：
确定给定时间处的该组图像视图包括至少一个参考图像视图的第一超射线表示，所述超射线表示基于质心，并且每个质心与唯一的超射线相关联；
基于所述至少一个参考图像视图的质心的去投影和再投影，在所述给定时间之后的后续的一组图像视图中确定至少一个对应参考视图的第二超射线表示；
基于跟踪过程确定所述第一超射线表示和所述第二超射线表示之间的质心位移；
在所述第二超射线表示的质心上应用确定的位移，以获得修改后的质心的位置。
因此，所提出的技术提供了一种为光场视频处理时间上一致的超射线的方法。但是应该注意到所提出的技术也可以用于其他媒体(例如，RGB-D或多视图加深度视频)。
应该注意，跟踪过程可以是最小化过程，也可以使用通过深度匹配技术获得的功能(例如参见Philippe Weinzaepfel等人的题为“DeepFlow：Large displacement optical flow with deep matching”的文章，或者James Thewlis等人的题为“Fully-Trainable Deep Matching”的文章)。
显然，光场视频可以包括剪辑(例如，视图的改变)。然而，本方法可以仅应用于不发生剪辑的所述光场视频的一组帧。
在一个优选实施例中，用于处理的方法还包括将修改后的质心去投影和再投影到所述后续的该组图像视图中的至少一个另一图像视图上，以获得所述后续的该组图像视图的超射线表示。
在一个优选实施例中，用于处理的方法还包括通过考虑投影的射线的平均值来更新所述质心的位置，所述射线位于所述第一超射线表示中的质心的附近。
在一个优选实施例中，用于处理的方法的显著之处在于，所述跟踪过程是最小化过程，其包括确定 其中/>对应于与帧f相关联的、深度为d的、坐标为(s,t,x,y)的射线r的投影的RGB像素值。
在一个优选实施例中，用于处理的方法的显著之处在于，使用了至少两个参考图像视图，并且所述至少两个参考图像视图从视点角度来看彼此远离。
在一个优选实施例中，用于处理的方法的显著之处在于，所述光场视频已经由相机阵列获取。
在一个优选实施例中，用于处理的方法的显著之处在于，所述光场视频已经由全光相机获取。
根据示例性实施方式，前述方法的不同步骤由一个或多个计算机软件程序实施，该软件程序包括被设计成由根据本公开的中继模块的数据处理器执行的软件指令，并且被设计成控制该方法的不同步骤的执行。
因此，本公开的一个方面还涉及一种易于由计算机或数据处理器执行的程序，该程序包括用于命令执行如上所述的方法的步骤的指令。
该程序可以使用任何编程语言，并且可以是源代码、目标代码或介于源代码和目标代码之间的代码的形式，诸如部分编译的形式或任何其他可取的形式。
本公开还涉及一种可由数据处理器读取的信息介质，包括如上所述的程序指令。
信息介质可以是能够存储程序的任何实体或设备。诸如，该介质可以包括存储装置，诸如ROM(代表“只读存储器”)，例如CD-ROM(代表“光盘只读存储器”)，或微电子电路ROM或磁记录装置(例如软盘或硬盘驱动器)。
此外，信息介质可以是可传输的载体，诸如可以通过电缆或光缆、通过无线电或其他方式传送的电信号或光信号。该程序尤其可以下载到互联网类型的网络中。
可替代地，信息介质可以是程序被结合到其中的集成电路，该电路适用于执行或用于执行所讨论的方法。
根据一个实施例，本公开的实施例通过包括软件和/或硬件组件的模块来实施。从这个观点来看，术语“模块”在本文档中可以对应于软件组件和硬件组件，或者对应于硬件和软件组件的集合。
软件组件对应于一个或多个计算机程序、程序的一个或多个子程序，或者更一般地，对应于能够根据下面针对相关模块所描述的来实施一个功能或功能的集合的程序或软件程序的任何元素。一个这样的软件组件由物理实体(终端、服务器等)的数据处理器执行，并且能够访问该物理实体的硬件资源(存储器、记录介质、通信总线、输入/输出电子板、用户界面等)。
类似地，硬件组件对应于硬件单元的任何元件，该元件能够根据下面针对相关模块所描述的来实施一个功能或功能的集合。它可以是可编程硬件组件，也可以是具有用于执行软件的集成电路的组件，例如集成电路、智能卡、存储卡、用于执行固件的电子板等。在一种变型中，硬件组件包括作为集成电路的处理器，诸如中央处理单元、和/或微处理器、和/或专用集成电路(Application-Specific Integrated Circuit，ASIC)、和/或专用指令集处理器(Application-Specific Instruction-Set Processor，ASIP)、和/或图形处理单元(Graphics Processing Unit，GPU)、和/或物理处理单元(Physics Processing Unit，PPU)、和/或数字信号处理器(Digital Signal Processor，DSP)、和/或图像处理器、和/或协处理器、和/或浮点单元、和/或网络处理器、和/或音频处理器、和/或多核处理器。此外，硬件组件还可以包括基带处理器(包括例如，存储单元和固件)和/或接收或发送无线电信号的(可以包括天线的)无线电电子电路。在一个实施例中，硬件组件符合一个或多个标准，诸如ISO/IEC 18092/ECMA-340、ISO/IEC 21481/ECMA-352、GSMA、StoLPaN、ETSI/SCP(智能卡平台)、GlobalPlatform(即，安全元素)。在一种变型中，硬件组件是射频识别(Radio-Frequency Identification，RFID)标签。在一个实施例中，硬件组件包括能够实现蓝牙通信、和/或Wi-fi通信、和/或Zigbee通信、和/或USB通信、和/或火线通信、和/或(用于近场的)NFC通信的电路。
还应该注意，在本文档中获得元素/值的步骤可以被视为在电子设备的存储单元中读取这种元素/值的步骤，或者经由通信装置从另一电子设备接收这种元素/值的步骤。
在一个变型中，提出了一种用于处理光场视频的电子设备，该光场视频包括每单位时间的一组图像视图，该光场视频与没有剪辑的场景相关联。该电子设备包括至少一个处理器和耦合到所述至少一个处理器的存储单元，该处理器被配置为：
确定给定时间的该组图像视图中包括的至少一个参考图像视图的第一超射线表示，所述超射线表示基于质心，并且每个质心与唯一的超射线相关联；
基于所述至少一个参考图像视图的质心的去投影和再投影，在所述给定时间之后的后续的一组图像视图中确定至少一个对应参考视图的第二超射线表示；
基于跟踪过程确定所述第一超射线表示和所述第二超射线表示之间的质心位移；
在所述第二超射线表示的质心上应用确定的位移，以获得修改后的质心的位置。
附图说明
通过参考附图对本发明的示例性实施例的以下详细描述，本发明的上述和其他方面将变得更加明显，其中：
-图1示出了对应于为确定给定帧的超射线表示而执行的主要步骤的流程图；
-图2将图1的流程图表示为算法；
-图3(a)示出了对应于9幅图像的集合的光场图像；
-图3(b)示出了作为图3(a)中示出的一组图像视图中的左上角的图像视图的图像视图；
-图3(c)示出了当图1或图2的过程应用于图3(a)的光场图像时，图3(b)中示出的图像视图的超射线表示；
-图4(a)以示意的方式示出了用于确定光场视频的超射线表示的方法；
-图4(b)示出了根据本公开的一个实施例的用于确定光场视频的超射线表示的方法的执行的图解；
-图5(a)示出了根据本公开的一个实施例的用于确定光场视频的超射线表示的方法中使用的近似邻域的搜索区域；
-图5(b)示出了在本公开的一个实施例中，作为算法描述的用于确定光场视频的超射线表示的方法的步骤；
-图6示出了根据本公开的一个实施例的能够执行过程的设备的示例。
具体实施方式
图1示出了对应于为确定给定帧(一组图像视图)的超射线表示而执行的主要步骤的流程图。这样的给定帧属于光场视频的序列，并且在这样的序列中，给定帧被认为是第一帧(或接近第一帧)。序列中的其他帧将被不同地处理以获得超射线表示。
图1中描述的处理的目的是确定给定帧中包括的图像视图的超射线表示。提醒一下，超射线是由它的质心射线rc来描述的。因此，根据定义，质心的超射线rc中的所有光射线都被标记c。现在，给定帧f0处的质心光射线rc由四个坐标(参考视图坐标s0，t0和空间坐标))以及视差值/>表示。每个质心射线都用颜色/>初始化(用参考视图颜色初始化)。让我们更精确地解释如何在给定帧上估计超射线：
在标记为101的步骤中，电子设备执行初始化步骤。更精确地说，在本公开的一个实施例中，提出使用中心视图作为参考，并将质心的空间坐标播种(seed)在规则的阶梯网格S上。每个种子的稀疏深度假定是已知的，或者可以用目前技术中任何公知的方法来计算。
然后，在标记为102的步骤中，电子设备执行分配步骤。更精确地说，电子设备使用估计的深度dc来确定每个图像视图上的射线质心投影，并将质心射线的相同标签c分配给投影像素的具有相似颜色和小距离的小窗口中的像素。
形式上，我们用表示坐标为/>并且深度为d的射线r到另一视图(s′，t′)的投影的空间坐标：
应该注意，上面的等式代表具有校正视图的光场，但是使用校准参数推广到未校正视图的情况。
如果ΔLab和Δxy分别表示Lab色差和空间欧几里德距离，NS×S表示像素周围的窗口S×S并且m是平衡颜色对空间紧凑性(compactness)的重要性的参数，则分配步骤102可以被概括为确定与质心相关联的每条射线r的标签(即，根据质心对射线进行分组)：
这样，我们就建立了对应关系，不仅针对在一个视图中外观相似的光射线，而且针对在外观相似且可能来自同一场景点的所有视图中捕获的光射线。应该注意，取决于图像分辨率，像素周围的窗口S×S范围可以从10×10像素到100×100像素。
然后，在标记为103的步骤中，电子设备执行更新步骤。更精确地说，每个超射线的新颜色是通过对具有相同标签的所有光射线的颜色值进行平均来确定的。参考视图中质心的新位置是对具有相同标签的所有光射线在参考视图上的投影坐标求平均而获得的：
当质心位置没有改变或修改、或者达到最大迭代次数时，迭代过程停止。在本公开的一个实施例中，提出使用等于10的迭代次数。
此外，在标记为104的兼性(facultative)步骤中，电子设备可以执行清除步骤。实际上，类似于SLIC方法，步骤101至103的执行不强制超射线空间连通性。因此，在对质心周围的射线进行分组之后，一些射线可能保持孤立，尤其是当方程 中的空间项权重较低时。因此，电子设备可以在步骤104中执行简单的后处理方法，该方法包括用最接近的超射线标签重新标记超射线未连接的分量(具有低于值/>的像素数量)。
图2将图1的流程图表示为算法；
图3(a)示出了对应于9幅图像的集合的光场图像；
图3(b)示出了作为图3(a)中示出的一组图像视图中的左上角的图像视图的图像视图；
图3(c)示出了当图1或图2的过程应用于图3(a)的光场图像时，图3(b)中示出的图像视图的超射线表示；
应该注意的是，一些与超射线相关的“区域”似乎有不止一个质心(例如，见灯)。然而，图3(c)中示出的质心对应于来自图3(a)的所有图像视图的所有质心的叠加(即来自所有图像视图的所有确定的质心的一种映射)。
应该注意，超射线表示可以经由其他技术获得。实际上，在更广泛的解释中，在本公开的另一个实施例中，提出将光场图像的超射线表示同化或定义为经由其他技术获得的光场图像的分段表示，其在于将来自光场图像的射线聚集成射线组，或者分配与来自光场图像的射线组相关联的标签。然后，一旦光场图像的分段完成，就确定质心(或几何中心)。
事实上，为了实施图4至图5中描述的技术，有必要定义质心。例如，通过应用Zhu等人发表在2017年的Computer Vision and Pattern Recognition(CVPR)中的题为“4D Light Field SuperPixel and Segmentation”的文章中描述的技术，可以获得具有EPI表示的光场超像素。然后，在执行用于获得光场图像的表示为图像视图矩阵的结果分段的转换过程之后，确定质心。
在一种变型中，用于确定超像素的其他技术可以适用于获得超射线表示。实际上，通过考虑图像视图之间的强相关性，可以修改这些技术。这些适用的技术的输出在下面仍然被命名为超射线表示。
在下文中，我们将重点讨论光场视频中帧序列的超射线表示的确定。例如，帧序列包括要处理的N个帧，并且每个帧与图像视图矩阵相关联。
在本公开的一个实施例中，电子设备基于图1和2中描绘的过程对第一帧f执行超射线表示的确定。然后，对于后续帧f+1，根据本公开的一个实施例，提出考虑场景中物体的移动，以确定后续帧的超射线表示。
在本公开的一个实施例中，电子设备为帧f和f+1.之间的参考视图确定每个质心射线在x、y和d中的位移，表示为这个问题被称为场景流，或者在我们的情况下称为稀疏场景流。
电子设备可以通过搜索使每个质心周围的补片(patch)中的颜色距离最小化的向量来解决这个问题： 其中RGBf是帧f的颜色值，||B表示大小为B的补片中的平方差之和。因此，根据这种方法，通过将先前确定的位移向量(即，与给定质心相关联的向量/>)的对应集合应用于帧f中所有图像视图的所有质心，来确定帧f+1中所有图像视图的质心。
在本公开的另一个实施例中，提出将搜索划分成仅在参考图像视图上的x，y位移搜索，以及深度值的更新。参考视图可以是中心图像视图或另一个选择的图像视图。
在另一个实施例中，可以使用块匹配技术来确定并且可以使用如在Revaud等人在International Journal of Computer Vision 120(3)：300-323，201t上发表的题为“Deepmatching：Hierarchical deformable dense matching”的文章中所述的深度匹配来计算/>
图4(a)以示意的方式示出了用于确定光场视频的超射线表示的方法；帧f包括给定时间(t＝0)时、场景的4个图像视图。在将图1或图2中描绘的方法或过程应用于帧f之后，获得超射线表示，并且每个超射线与质心(图4中用401表示的质心)相关联。然后，在帧f中选择参考图像视图。在本公开的一个实施例中，参考图像视图可以是中心图像视图。然后，参考图像的质心被投影到后续帧(对于时间t＝1)，帧f+1)中的对应图像视图，并且根据前述方法确定向量例如，参考图像视图中坐标为/>的质心被投影在帧f+1中的相应图像视图中，并且确定位移向量/>使得能够确定修改后的质心402。参考图像视图的每个质心与其自身的位移向量/>相关联。
然后，在本公开的一个实施例中，一旦获得了帧f+1中的参考图像视图的等效物内的修改后的质心402，电子设备就执行到帧f+1的其他图像视图上的去投影和再投影方法(因为修改后的质心402在深度上的精确值是从值和/>获得的)。在本公开的一个实施例中，投影/去投影函数可以是前面提到的函数/>对于任意的相机阵列几何图形，标准的极线几何图形关系(在Richard Szeliski的题为“Computer Vision：Algorithms andApplications”的文档的第11章中描述)可以用于执行去投影和再投影方法。
在一个变型中，不是在帧f和f+1之间仅使用一个参考图像视图，而是提出使用若干个参考图像视图。当场景中出现遮挡时，这种实施例是令人感兴趣的。应该注意的是，对于给定图像视图，来自从显然相同的超射线的参考图像视图的质心的再投影/去投影过程的质心不完全重合的情况下，提出将唯一的质心定义为位于链接这些靠近的质心(closecentroids)的坐标(根据x，y或z轴)的每个分段的中间。
在本公开的一个实施例中，提出使用在图像视图矩阵或一组图像视图中彼此远离(就角度距离而言)的两个参考图像视图。
应该注意，在本公开的一个实施例中，一旦已经经由前述技术初始化或确定了帧f+1处的质心，电子设备就执行更新步骤103。在一种变型中，电子设备还对帧f+1的图像视图执行清理阶段104。
图4(b)示出了根据本公开的一个实施例的用于确定光场视频的超射线表示的方法的执行的图解；
更精确地说，在2×1光场图像的连续帧上跟踪标记为403的前景超射线。因为背景是静态的，所以其他的超射线不会移动。深度d用于强制视图之间的角度一致性，而场景流δx，δy保证时间一致性。在帧3上，移动的超射线403变得离标记为406的超射线太近，离标记为404的超射线太远，触发标记为405的超射线的创建和标记为406的超射线删除。
应该注意的是，为了应对当前光场相机阵列的低帧速率，在传感器上给出大的物体位移，可以使用如Weinzaepfel，Philippe等人发表在2013年的期刊IEEE InternationalConference on Computer Vision中的题为“DeepFlow：Large displacement optical flow with deep matching”的文章中所述的特征匹配技术。这种方法可以在GPU处理器上有效地实施。从f和f+1之间的视图s0t0，以标度N(在我们的情况下，N＝3)获得对应的列表。通过这种方法，电子设备可以获得坐标为的匹配m的集合M。然后，为了确定每个质心的值并避免噪声或错误匹配，可以使用三边滤波器，该滤波器使用颜色、空间和匹配置信度来为每个超射线质心分配位移值：/> 其中，Cm是匹配的置信度值，σxy，σLab，σm是控制每个项的重要性的树参数(tree parameter)。应该注意，通过在小窗口中搜索最小化颜色距离的深度值来更新深度。
然后，一旦每个质心在随后的帧上被移位，新一轮的分配和更新就按照Reso，Matthias等人发表在2013年的期刊IEEE International Conference on ComputerVision中的题为“Temporally consistent superpixels”的文章中所提出的那样运行。
然而，Reso等人的技术感兴趣的是对象分段，而不是时间上一致的超像素。如果我们希望超射线从一帧到另一帧是一致的，我们必须防止质心在更新后从它们的位置移动太多。换句话说，属于场景的静态部分的超射线不应该随时间移动。为此，我们运行分配步骤102的5次迭代，随后是修改后的更新步骤。修改后的更新步骤使用随流移动后的质心的位置来限制质心位移：
参数p允许控制先前质心位置在计算新质心时的影响的大小。在p＝0的情况下，更新步骤103，当p＝1时，质心在流传播之后被禁止移动。
在一种变型中，提出确定下式：
其中，p′也是控制允许超射线从理论位置移动的距离的参数。当p′＝1时，该步骤对应于相同的SLIC迭代。从前面描述的步骤中新创建的质心总是有p′＝1，允许它们适应场景变化。当p′＝0时，超射线质心完全不允许移动，提供了最好的一致性。
因为遮挡、可变形物体或进入或离开场景的物体，超射线的跟踪可能从一帧到另一帧丢失。为了解决这个问题，我们利用超射线提供的深度信息，采取了以下策略。
我们开始计算每个质心的近似右、左、上、下邻域，如图5(a)所示。实际上，图5(a)示出了我们的近似邻域的搜索区域，其中选择的质心被标记为501，可能的邻域被标记为502。标记为503的暗区(具有十字形状)示出了首要的点搜索区域M。
设Mup(c1)，Mdown(c1)、Mleft(c1)、Mright(c1)是位于索引c1的质心的4个主轴周围的质心列表，例如
其中，S是超像素的大小。
质心的近似邻域是N(c)＝{Nup(c1)，Ndown(c1)，Nleft(c1)，Nright(c1)}，其中
为了决定更新哪个质心，我们基于空间和颜色距离以及深度使用以下新规则：
-如果质心变得离其邻域近，则“后面”的一个质心，即具有最大的分配深度dc的质心，将被放在要删除的质心列表中。
-如果质心距离其一个邻域太远，则两个质心都将被放置在质心列表中，该列表将用于在两个质心的中间创建新的质心。
在搜索结束时，删除并创建等于任一质心列表中元素的最大数量的数字k。
创建的超射线的深度是从头开始或使用其邻域的深度值重新计算的；
使用p＝0更新已创建的质心，以允许它们移动以适应可能的轮廓。
该方法已经在合成数据和真实数据上进行了测试。我们看到，质心事实上在一帧和另一帧之间是一致的，在一个视图和另一个视图之间仍然是一致的。
因为超射线提供了光场在时间和角度上一致的表示，所以很容易想象在图像压缩的情况下，如何使用它来减小光场视频的大小。
例如，在Fracastoro，Giulia等人发表在2015年的Image Processing(ICIP),2015IEEE International Conference on.IEEE中的题为“Superpixel-driven graph transform for image compression”的文章中，提出了使用针对超像素的聚类计算的基于图的傅里叶变换来对单个图像进行编码的技术。然后传输编码分段和系数，在质量和比特率方面都优于DCT。如果单个变换可以用于视图和帧之间的分段，那么不难想象这种增益是倍增的。
另一个可能的应用是利用每个质心的深度。事实上，假设我们想要将一个光场的对象插入另一个光场(视频或静态)，则将该对象分段，如在题为“Super-rays for Efficient Light Field Processing”的文章中所述。质心的深度可以用作z缓冲区来决定在每个视图上呈现哪个像素。此外，如果需要运行颜色或风格转移来使两个光场均匀化，则可以使用超射线来保证转移的角度和时间一致性(例如，在Giraud,Rémi,Vinh-Thong Ta和Nicolas Papadakis发表在2017年的IEEE International Conference on ImageProcessing(ICIP)中的题为“Superpixel-based Color Transfer”的文章中，提出了基于超像素的颜色转移，我们可以想象通过动态(或静态)超射线进行单一颜色转换来避免时间或角度闪烁)。
图5(b)示出了在本公开的一个实施例中，作为算法描述的用于确定光场视频的超射线表示的方法的步骤；
实际上，如在题为“Super-rays for Efficient Light Field Processing”的文章中所提出的，处理(作为光场视频的一部分的)光场帧序列的第一帧。
然后，通过使用确定的移动向量来移动质心。
然后，由于场景中的物体移动，部分超射线会被遮挡和不被遮挡、或者进入和离开光场。因此，创建或删除超射线可能是必要的。虽然在其他研究工作中，超像素大小或颜色一致性已被用于确定创建或删除，但我们提出利用与超射线相关联的深度信息来检测遮挡和不遮挡。
最后，考虑到非刚性变形和超射线部分遮挡，需要更新分段以适应新的帧。
在M.Reso,J.Jachalsky,B.Rosenhahn,和J.Ostermann发表在2013年的期刊IEEEInternational Conference on Computer Vision的第385-392页的“Temporally consistent superpixels”中，运行了五次SLIC迭代，其中质心被允许自由移动。其结果是，不应该改变的静态对象的超像素会受到附近超像素的创建、删除和移动的影响。为了弥补这一点，我们在k-means迭代之前强制超像素质心考虑其位置。
图6示出了可以用于执行本文档中公开的方法的一个或若干个步骤的电子设备的示例。
标记为600的这种电子设备包括标记为601的计算单元(例如，CPU,“中央处理单元”)和标记为602的一个或多个存储单元(例如，在计算机程序指令执行期间可以临时存储中间结果的RAM(随机存取存储器)块、或其中存储有计算机程序等的ROM块、或EEPROM(电可擦除可编程只读存储器)块或闪存块)。计算机程序由可由计算单元执行的指令组成。这种电子设备600还可以包括标记为603的专用单元，其构成输入输出接口以允许设备600与其他电子设备通信。具体地，该专用单元603可以与天线连接(以便在没有接触的情况下执行通信)，或者与串行端口连接(以承载通信“”接触)。应该注意，图6中的箭头表示链接的单元可以例如一起通过总线交换数据。
在替代实施例中，先前描述的方法的一些或所有步骤可以在可编程FPGA(“现场可编程门阵列”)组件或ASIC(“专用集成电路”)组件中的硬件中实施。
在替代实施例中，先前描述的方法的一些或所有步骤可以在包括如图6中公开的存储单元和处理单元的电子设备上执行。
在本公开的一个实施例中，图6中描绘的电子设备可以被包括在被配置为捕获图像(传统的2D图像或者光场的采样)的相机设备中。这些图像存储在一个或多个存储单元中。因此，这些图像可以被视为比特流数据(即比特序列)。显然，比特流也可以在字节流上转换，反之亦然。

Claims (15)

1.一种用于处理光场视频的方法，所述光场视频包括每单位时间的一组图像视图，所述光场视频与没有剪辑的场景相关联，所述方法的特征在于它包括：
确定给定时间处的该组图像视图中包括至少一个参考图像视图的第一超射线表示，所述超射线表示基于质心，并且每个质心与唯一的超射线相关联；
基于所述至少一个参考图像视图的质心的去投影和再投影，在所述给定时间之后的后续的一组图像视图中确定至少一个对应参考视图的第二超射线表示；
基于跟踪过程确定所述第一超射线表示和所述第二超射线表示之间的质心位移；
在所述第二超射线表示的质心上应用所确定的位移，以获得修改后的质心的位置。
2.根据权利要求1所述的用于处理的方法，其中，还包括将修改后的质心去投影和再投影到所述后续的该组图像视图中的至少一个另一图像视图上，以获得后续的该组图像视图的超射线表示。
3.根据权利要求2所述的用于处理的方法，其中，还包括通过考虑投影的射线的平均值来更新所述质心的位置，所述射线位于所述第一超射线表示中的质心的附近。
4.根据权利要求1至3中任一项所述的用于处理的方法，其中，所述跟踪过程是最小化过程，包括确定
其中对应于与帧f相关联的、深度为d且坐标为(s,t,x,y)的射线r的投影的RGB像素值。
5.根据权利要求1至3中任一项所述的用于处理的方法，其中，使用至少两个参考图像视图，并且所述至少两个参考图像视图从视点角度来看彼此远离。
6.根据权利要求1至3中任一项所述的用于处理的方法，其中，所述光场视频已经由相机阵列获取。
7.根据权利要求1至3中任一项所述的用于处理的方法，其中，所述光场视频已经由全光相机获取。
8.一种用于处理光场视频的电子设备，所述光场视频包括每单位时间的一组图像视图，所述光场视频与没有剪辑的场景相关联，其中所述电子设备包括至少一个处理器和耦合到所述至少一个处理器的存储器单元，所述处理器被配置为：
确定给定时间处的该组图像视图中包括至少一个参考图像视图的第一超射线表示，所述超射线表示基于质心，并且每个质心与唯一的超射线相关联；
基于所述至少一个参考图像视图的质心的去投影和再投影，在所述给定时间之后的后续的一组图像视图中确定至少一个对应参考视图的第二超射线表示；
基于跟踪过程确定所述第一超射线表示和所述第二超射线表示之间的质心位移；
在所述第二超射线表示的质心上应用所确定的位移，以获得修改后的质心的位置。
9.根据权利要求8所述的用于处理的电子设备，其中，所述至少一个处理器还被配置为将修改后的质心去投影和再投影到所述后续的该组图像视图中的至少一个另一图像视图上，以获得所述后续的该组图像视图的超射线表示。
10.根据权利要求9所述的用于处理的电子设备，其中，所述至少一个处理器还被配置为通过考虑投影的射线的平均值来更新所述质心的位置，所述射线位于所述第一超射线表示中的质心的附近。
11.根据权利要求8至10中任一项所述的用于处理的电子设备，其中所述跟踪过程是最小化过程，包括确定
其中对应于与帧f相关联的、深度为d且坐标为(s,t,x,y)的射线r的投影的RGB像素值。
12.根据权利要求8至10中任一项所述的用于处理的电子设备，其中使用至少两个参考图像视图，并且所述至少两个参考图像视图从视点角度来看彼此远离。
13.根据权利要求8至10中任一项所述的用于处理的电子设备，其中所述光场视频已经由相机阵列获取。
14.根据权利要求8至10中任一项所述的用于处理的电子设备，其中，所述光场视频已经由全光相机获取。
15.一种存储计算机程序的计算机可读非瞬态存储介质，所述计算机程序包括计算机可执行指令集，以实施用于处理光场视频的方法，所述指令在由计算机执行时，能够配置所述计算机执行根据权利要求1至7所述的方法。
CN201880084712.2A 2017-11-15 2018-11-13 基于超射线表示的使用来处理光场视频的方法 Active CN111527518B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP17306585.5A EP3486866A1 (en) 2017-11-15 2017-11-15 A method for processing a light field video based on the use of a super-rays representation
EP17306585.5 2017-11-15
PCT/EP2018/081080 WO2019096789A1 (en) 2017-11-15 2018-11-13 A method for processing a light field video based on the use of a super-rays representation

Publications (2)

Publication Number Publication Date
CN111527518A CN111527518A (zh) 2020-08-11
CN111527518B true CN111527518B (zh) 2023-09-05

Family

ID=60484303

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201880084712.2A Active CN111527518B (zh) 2017-11-15 2018-11-13 基于超射线表示的使用来处理光场视频的方法

Country Status (4)

Country Link
US (1) US11195288B2 (zh)
EP (2) EP3486866A1 (zh)
CN (1) CN111527518B (zh)
WO (1) WO2019096789A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11790593B2 (en) * 2020-03-13 2023-10-17 Advanced Micro Devices, Inc. Ray-tracing multi-sample anti-aliasing

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102077143A (zh) * 2008-06-30 2011-05-25 康宁股份有限公司 用于显微光刻投影系统的远心性校正器
CN106101522A (zh) * 2015-04-30 2016-11-09 汤姆逊许可公司 使用非光场成像设备获得光场数据的方法和设备
CN106210538A (zh) * 2015-05-29 2016-12-07 汤姆逊许可公司 在用户设备上显示基于光场的图像的方法和装置及程序
CN106207481A (zh) * 2016-09-14 2016-12-07 重庆大学 一种基于金属条形天线阵列的反射式超衍射线聚焦器件

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102109532A (zh) 2010-11-26 2011-06-29 中国科学院上海技术物理研究所 一种基于联合变换相关器的全局运动检测方法
EP3113478A1 (en) 2015-06-30 2017-01-04 Thomson Licensing Plenoptic foveated camera
KR101723738B1 (ko) 2015-08-21 2017-04-18 인하대학교 산학협력단 딕셔너리 학습 기반 해상도 향상 장치 및 방법
CN105913070B (zh) 2016-04-29 2019-04-23 合肥工业大学 一种基于光场相机的多线索显著性提取方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102077143A (zh) * 2008-06-30 2011-05-25 康宁股份有限公司 用于显微光刻投影系统的远心性校正器
CN106101522A (zh) * 2015-04-30 2016-11-09 汤姆逊许可公司 使用非光场成像设备获得光场数据的方法和设备
CN106210538A (zh) * 2015-05-29 2016-12-07 汤姆逊许可公司 在用户设备上显示基于光场的图像的方法和装置及程序
CN106207481A (zh) * 2016-09-14 2016-12-07 重庆大学 一种基于金属条形天线阵列的反射式超衍射线聚焦器件

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"Supperrays for efficient light field processing";matthieu hog etal.;《IEEE》;第1187-1199页 *

Also Published As

Publication number Publication date
US20200279379A1 (en) 2020-09-03
EP3711017A1 (en) 2020-09-23
WO2019096789A1 (en) 2019-05-23
CN111527518A (zh) 2020-08-11
EP3486866A1 (en) 2019-05-22
US11195288B2 (en) 2021-12-07

Similar Documents

Publication Publication Date Title
CN108122208B (zh) 用于对对象分割的前景掩模校正的图像处理设备和方法
US10509954B2 (en) Method and system of image segmentation refinement for image processing
Meyer et al. Deep video color propagation
US10134114B2 (en) Apparatus and methods for video image post-processing for segmentation-based interpolation
CN112802033B (zh) 图像处理方法及装置、计算机可读存储介质和电子设备
US11948280B2 (en) System and method for multi-frame contextual attention for multi-frame image and video processing using deep neural networks
US11783489B2 (en) Method for processing a light field image delivering a super-rays representation of a light field image
CN111402170A (zh) 图像增强方法、装置、终端及计算机可读存储介质
CN110378250B (zh) 用于场景认知的神经网络的训练方法、装置及终端设备
CN102014281A (zh) 具有非线性运动场平滑的运动估计的方法和系统
WO2016173631A1 (en) An image processing apparatus and method
CN111527518B (zh) 基于超射线表示的使用来处理光场视频的方法
CN113192101B (zh) 图像处理方法、装置、计算机设备和存储介质
KR101921608B1 (ko) 깊이 정보 생성 장치 및 방법
US20150248767A1 (en) Method of sampling colors of images of a video sequence, and application to color clustering
Dutta et al. Weighted low rank approximation for background estimation problems
CN113283319A (zh) 人脸模糊度的评价方法及装置、介质和电子设备
KR101825218B1 (ko) 깊이 정보 생성 장치 및 방법
CN111145107A (zh) 一种图像美化方法、装置、介质及设备
WO2015189369A1 (en) Methods and systems for color processing of digital images
CN116266356A (zh) 全景视频转场渲染方法、装置和计算机设备
CN111630559B (zh) 图像恢复方法
Cao et al. A novel segmentation based video-denoising method with noise level estimation
Khorasani Ghassab et al. Plug-and-Play video reconstruction using sparse 3D transform-domain block matching
Chen et al. Improving Graph Cuts algorithm to transform sequence of stereo image to depth map

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant