CN107529062A - 用于对代表光场内容的信号进行编码的方法和设备 - Google Patents

用于对代表光场内容的信号进行编码的方法和设备 Download PDF

Info

Publication number
CN107529062A
CN107529062A CN201710481124.XA CN201710481124A CN107529062A CN 107529062 A CN107529062 A CN 107529062A CN 201710481124 A CN201710481124 A CN 201710481124A CN 107529062 A CN107529062 A CN 107529062A
Authority
CN
China
Prior art keywords
parameter sets
light
light field
parameter
field content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201710481124.XA
Other languages
English (en)
Inventor
P.克尔比里乌
D.多延
S.拉塞尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital CE Patent Holdings SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of CN107529062A publication Critical patent/CN107529062A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/20—Contour coding, e.g. using detection of edges
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/186—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a colour or a chrominance component
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2355—Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving reformatting operations of additional data, e.g. HTML pages

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)
  • Color Television Systems (AREA)
  • Optical Communication System (AREA)

Abstract

本发明涉及数据和元数据的集合的传送，并且更具体地涉及光场内容的传送。光场数据占用大量的存储空间，这使得存储麻烦和处理低效。另外，光场采集设备是非常多样的，每个相机具有其自己的专有文件格式。由于从不同相机采集的光场数据具有多种格式，所以在接收器侧引起复杂处理。为此，提出了一种对代表光场内容的信号进行编码的方法，其中将通过传感器的不同像素感测的光线的参数映射在传感器上。经编码的参数的第二集合用于从表示通过传感器的不同像素感测的光线的参数重建光场内容。

Description

用于对代表光场内容的信号进行编码的方法和设备
技术领域
本发明涉及数据和元数据的集合的传送，并且更具体地涉及光场内容的传送。
背景技术
在Anat Levin等人于ECCV 2008会议记录中已经发表的文章“Understanding camera trade-offs through a Bayesian analysis of light field projections”中解释了四维或4D光场数据的采集，四维或4D光场数据可以被视为4D光场的采样，即光线的记录。
与从相机获得的经典二维或2D图像相比，4D光场数据使得用户能够访问更多的后处理特征，其增强图像的呈现和与用户的交互性。例如，利用4D光场数据，可以以自由选择的聚焦距离执行图像的重聚焦，意味着焦平面的位置可以被指定/选择后验，以及稍微改变图像的场景中的视点。
存在几种方式来表示4D光场数据。实际上，在Ren Ng于2006年7月发表的题为“Digital Light Field Photography”的博士论文的第3.3章中描述了用于表示4D光场数据的三种不同的方式。第一，当由全光相机通过微透镜图像的集合来记录时，可以表示4D光场数据。该表示中的4D光场数据被称为原始图像或原始4D光场数据。第二，当由全光相机或相机阵列通过一组子孔径图像来记录时，可以表示4D光场数据。子孔径图像对应于来自视点的场景的捕获图像，视点在两个子孔径图像之间略有不同。这些子孔径图像给出关于成像场景的视差和深度的信息。第三，4D光场数据可以由一组对极(epipolar)图像表示，例如参见S.Wanner等人在ISVC 2011会议记录中发表的题目为“Generating EPI Representation of a 4D Light Fields with a Single Lens Focused Plenoptic Camera”的文章。
光场数据占用大量的存储空间，这使得存储麻烦和处理低效。另外，光场采集设备是非常多样的。光场相机具有不同类型，例如全光或相机阵列。在每种类型中，存在许多不同，诸如不同的光学布置或者不同焦距的微透镜。每个相机具有其自己的专有文件格式。目前，没有支持多维信息的采集和传送的标准，用于光场所依赖的不同参数的详尽概论。由于从不同相机采集的光场数据具有多种格式，所以在接收器侧引起复杂处理。
考虑到前述内容而设计了本发明。
发明内容
根据本发明的第一方面，提供了一种对代表光场内容的信号进行编码的计算机实现的方法，所述方法包括：
-对于传感器的至少一个像素，对表示通过所述像素感测的光线的第一参数集合进行编码，
-对意图用于从第一参数集合重建光场内容的第二参数集合进行编码。
根据根据本发明的实施例的编码方法传送的参数独立于用于采集要传送并由接收设备处理的光场内容的光学采集系统。
在根据本发明的实施例的方法中，表示通过光采集系统的传感器的不同像素感测的光线的参数，即第一参数集合中的参数被映射在传感器上。因此，这些参数可以被认为是图片。例如，当通过光学采集系统的像素感测的光线用四个参数表示时，表示通过光学采集系统的传感器的像素感测的光线的参数被分组在四个图片中。
这样的图片可以根据诸如MPEG-4第10部分AVC(也称为h264)、h265/HEVC或它们的可能的后继者h266之类的视频标准被编码和传送，并且在连接的视频比特流中传送。可以使用补充增强信息(SEI)消息对第二编码集合进行编码。在根据本发明的实施例的方法中定义的格式使得能够传送数据的强压缩，而不引入任何强误差(无损编码)或有限量的误差(有损编码)。
根据本发明的实施例的方法不限于通过光学设备直接采集的光场数据。这些数据可以是针对给定场景描述通过计算机完全或部分模拟的计算机图形图像(CGI)。光场数据的另一个来源可以是经修改的后期制作数据，例如颜色分级，从光学设备或CGI获得的光场数据。现在在电影产业中也常常具有作为使用光学采集设备获取的数据和CGI数据二者的混合的数据。应理解，传感器的像素可以通过计算机生成的场景系统来模拟，并且通过扩展可以通过所述系统模拟整个传感器。从这里应理解，对“传感器的像素”或“传感器”的任何引用可以是附接到光学采集设备的物理对象或者通过计算机生成的场景系统所获得的模拟实体。
根据编码方法的实施例，所述编码方法还包括：
-对表示颜色数据的第三参数集合进行编码，所述颜色数据关联到通过所述第一参数集合表示的光线。
根据编码方法的实施例，第一参数集合中的至少一个参数表示所述光线的坐标与拟合通过光学采集系统的多个像素感测的多个光线的坐标集合的平面之间的距离，并且第二参数集合中的至少一个参数表示拟合平面的坐标。
对光线的坐标与拟合通过传感器的不同像素感测的多个光线的坐标集合的平面之间的距离进行编码，使得能够压缩要传送的数据，因为所计算的距离的不同值之间的幅度通常低于坐标的不同值之间的幅度。
根据编码方法的实施例，第一参数集合中的至少一个参数表示：
-表示通过所述像素感测的光线的值与表示通过一行传感器中的所述像素之前的另一个像素感测的光线的值之间的差，或者
-当所述像素是一行传感器的第一像素时，表示通过所述像素感测的光线的值与表示通过所述像素所属的行之前的行的最后一个像素感测的光线的值之间的差。
表示光线的值可以是表示光线的坐标或者坐标或拟合通过传感器的不同像素感测的多个光线的坐标集合的平面之间的距离。
这使得能够通过减小要传送的参数的不同值之间的幅度来压缩数据。
根据编码方法的实施例，使用独立的编解码器对第一参数集合中的参数进行编码。
根据编码方法的实施例，当第二参数集合包括指示第一参数集合自从第一参数集合的最后的传送以来未改变的参数时，仅传送所述第二参数集合。
这使得能够减少要传送到解码设备的数据量。
根据编码方法的实施例，光场数据由光场数据的子集的序列组成。例如，子集在时间上被索引以便表示动态或移动的场景。通常，该序列的元素(或子集)称为帧。在这种情况下，代表光内容的信号的传送速率(通常通过但不限于每秒的帧数来表征)高于经编码的第一参数集合和经编码的第二参数集合的传送速率。
这使得能够减少要传送到解码设备的数据量。
本发明的另一目的涉及一种用于对代表光场内容的信号进行编码的设备，其包括处理器，该处理器被配置为：
-对于传感器的至少一个像素，对表示通过所述像素感测的光线的第一参数集合进行编码，
-对意图用于从第一参数集合重建光场内容的第二参数集合进行编码。
本发明的另一方面涉及一种对代表光场内容的信号进行解码的计算机实现的方法，所述方法包括：
-对于传感器的至少一个像素，对表示通过所述像素感测的光线的第一参数集合进行解码，
-对意图用于从经解码的第一参数集合重建光场内容的第二参数集合进行解码，
-基于经解码的第一参数集合和经解码的第二参数集合来重建光场内容。
根据解码方法的实施例，所述解码方法还包括：
-对表示颜色数据的第三参数集合进行解码，所述颜色数据关联到通过所述第一参数集合表示的光线，
-基于经解码的第三参数集合与经解码的第一参数集合和经解码的第二参数集合一起来重建光场内容。
本发明的另一方面涉及一种用于对代表光场内容的信号进行解码的设备，其包括处理器，该处理器被配置为：
-对于传感器的至少一个像素，对表示通过所述像素感测的光线的第一参数集合进行解码，
-对意图用于从第一参数集合重建光场内容的第二参数集合进行解码，
-基于经解码的第一参数集合和经解码的第二参数集合来重建光场内容。
本发明的另一方面涉及一种信号，其通过用于对代表光场内容的信号进行编码的设备传送到用于对代表光场内容的所述信号进行解码的设备，所述信号承载消息，所述消息包括：
-第一参数集合，表示通过传感器的至少一个像素感测的光线，
-第二参数集合，意图用于从第一参数集合重建光场内容，
-通过解码设备进行的光场内容的重建是基于经解码的第一参数集合和经解码的第二参数集合。
由本发明的元件实现的一些处理可以是计算机实现的。因此，这样的元件可以采取完全硬件实施例、完全软件实施例(包括固件、驻留软件、微代码等)的形式，或者将软件和硬件方面(其通常都可以在此称为“电路”、“模块”或“系统”)组合的实施例的形式。此外，这些元件可以采用包含在任何有形的表达介质中的计算机程序产品的形式，具有包含在介质中的计算机可用程序代码。
由于本发明的元件可以以软件实现，所以本发明可以被实施为用于在任何合适的载体介质上提供到可编程装置的计算机可读代码。有形载体介质可以包括诸如软盘、CD-ROM、硬盘驱动器、磁带设备或固态存储设备等的存储介质。瞬态载体介质可以包括诸如电信号、电子信号、光信号、声信号、磁信号或电磁信号之类的信号，例如微波或RF信号。
附图说明
现在将仅通过示例的方式并且参考以下附图来描述本发明的实施例，附图中：
图1是根据本发明实施例的光场相机设备的框图；
图2是图示光场数据格式化模块的可能的实现方式的特定实施例的框图；
图3图示了穿过用于参数化的两个参考平面P1和P2的光线；
图4图示了穿过位于已知深度处的参考平面P3的光线；
图5是图示根据本发明的实施例的对光场数据进行格式化的方法的步骤的流程图；
图6是图示根据本发明的实施例的对光场数据进行格式化的方法的步骤的流程图；
图7表示当使用四个独立的单色编解码器向接收器传送时的映射、映射或映射；
图8表示当在单个图像中分组时的映射、映射或映射。
具体实施方式
如本领域技术人员将理解的，本原理的方面可以体现为系统、方法或计算机可读介质。因此，本原理的方面可以采取完全硬件实施例、完全软件实施例(包括固件、驻留软件、微代码等)的形式，或者将软件和硬件方面(其通常都可以在此称为“电路”、“模块”或“系统”)组合的实施例的形式。此外，本原理的方面可以采取计算机可读存储介质的形式。可以使用一个或多个计算机可读存储介质的任何组合。
本发明的实施例提供了对光场数据的格式化，以用于另外的处理应用，诸如格式转换、重聚焦、视点改变等。所提供的格式化使得能够在接收器侧适当且容易地重建光场数据，以便对其处理。所提供的格式的优点在于与用于采集光场数据的设备无关。
图1是根据本发明实施例的光场相机设备的框图。光场相机包括光圈/快门102、主(物镜)透镜101、微透镜阵列110和光传感器阵列。在一些实施例中，光场相机包括被激活以捕获对象或场景的光场图像的快门释放。
光传感器阵列120提供光场图像数据，其通过LF数据采集模块140采集，用于通过光场数据格式化模块150生成光场数据格式和/或通过光场数据处理器155进行处理。根据本发明的实施例，采集之后和处理之后，光场数据可以以原始数据格式存储在存储器190中，作为子孔径图像或焦堆栈，或者以光场数据格式存储在存储器190中。
在所示示例中，光场数据格式化模块150和光场数据处理器155布置在光场相机100中或者集成到光场相机100中。在本发明的其他实施例中，光场数据格式化模块150和/或光场数据处理器155可以设置在光场捕获相机外部的分离组件中。相对于光场图像捕获设备，该分离组件可以是本地的或远程的。应理解，任何合适的有线或无线协议可以用于将光场图像数据传送到格式化模块150或光场数据处理器155；例如，光场数据处理器可以经由因特网、蜂窝数据网络、WiFi网络、通信协议和/或任何其他合适的部件来传输所捕获的光场图像数据和/或其他数据。
根据本发明的实施例，光场数据格式化模块150被配置为生成代表所采集的光场的数据。光场数据格式化模块150可以以软件、硬件或其组合来实现。
根据本发明的实施例，光场数据处理器155被配置为对从LF数据采集模块140直接接收的原始光场图像数据进行操作，以例如生成格式化数据和元数据。可以生成输出数据，诸如例如所捕获的场景的静止图像、2D视频流等。光场数据处理器可以以软件、硬件或其组合来实现。
在至少一个实施例中，光场相机100还可以包括用户界面160，用于使用户能够提供用户输入以控制通过控制器170进行的对相机100的操作。对相机的控制可以包括以下中的一个或多个：控制相机的光学参数，诸如快门速度，或者在可调光场相机的情况下，控制微透镜阵列与光传感器之间的相对距离或物镜透镜与微透镜阵列之间的相对距离。在一些实施例中，可以手动调节光场相机的光学元件之间的相对距离。对相机的控制还可以包括控制相机的其他光场数据采集参数、光场数据格式化参数或光场处理参数。用户界面160可以包括任何合适的用户输入设备，诸如触摸屏、按钮、键盘、指点设备和/或等等。以这种方式，可以使用通过用户界面接收到的输入来控制和/或配置用于控制数据格式化的LF数据格式化模块150、用于控制所采集的光场数据的处理的LF数据处理器155以及用于控制光场相机100的控制器170。
光场相机包括电源180，诸如一个或多个可替换或可充电电池。光场相机包括存储器190，用于存储所捕获的光场数据和/或经处理的光场数据，或者诸如用于实现本发明的实施例的方法的软件之类的其他数据。存储器可以包括外部和/或内部存储器。在至少一个实施例中，存储器可以在与相机100分离的设备和/或位置处提供。在一个实施例中，存储器包括可移动/可交换存储设备，诸如记忆棒。
光场相机还可以包括显示单元165(例如，LCD屏幕)，用于在捕获之前观看相机前面的场景和/或用于观看先前捕获和/或呈现的图像。屏幕165还可以用于向用户显示一个或多个菜单或者其他信息。光场相机还可以包括一个或多个I/O接口195，诸如火线或通用串行总线(USB)接口，或者用于经由因特网、蜂窝数据网络、WiFi网络、通信协议和/或任何其他合适的部件进行数据通信的有线或无线通信接口。I/O接口195可以用于向外部设备(诸如计算机系统或显示单元)和从外部设备传输数据，诸如根据本发明的实施例的通过LF数据格式化模块生成的光场代表数据和诸如原始光场数据或通过LF数据处理器155处理的数据之类的光场数据，以用于呈现应用。
图2是图示光场数据格式化模块250和光场数据处理器253的可能的实现方式的特定实施例的框图。
电路200包括存储器290、存储器控制器245和包括一个或多个处理单元(CPU)的处理电路240。一个或多个处理单元240被配置为运行存储在存储器290中的各种软件程序和/或指令集，以执行包括光场数据格式化和光场数据处理的各种功能。根据本发明的实施例，存储在存储器中的软件组件包括用于生成代表所采集的光数据的数据的数据格式化模块(或指令集)250，以及用于处理光场数据的光场数据处理模块(或指令集)255。其他模块可以包括在存储器中，以用于光场相机设备的应用，诸如用于控制一般系统任务(例如电源管理、存储器管理)并且用于促进设备200的各种硬件和软件组件之间的通信的操作系统模块251，以及用于经由I/O接口端口来控制和管理与其他设备的通信的接口模块252。
本发明的实施例提供基于通过相机的传感器的像素感测的光线或者通过计算机生成的场景系统模拟的光线的光场数据的表示。实际上，光场数据的另一个来源可以是经修改的后期制作数据，例如颜色分级，从光学设备或CGI获得的光场数据。现在在电影产业中也常常具有作为使用光学采集设备获取的数据和CGI数据二者的混合的数据。应理解，传感器的像素可以通过计算机生成的场景系统来模拟，并且通过扩展可以通过所述系统模拟整个传感器。从这里应理解，对“传感器的像素”或“传感器”的任何引用可以是附接到光学采集设备的物理对象或者通过计算机生成的场景系统所获得的模拟实体。
知道无论采集系统的类型如何，对于所述采集系统的传感器的像素至少对应于在采集系统外的空间中的线性光轨迹或光线，计算表示三维(或3D)空间中的光线的数据。
在第一实施例中，图3图示了穿过用于参数化的、彼此平行安置并且分别位于已知深度和处的两个参考平面P1和P2的光线。光线在交点处与在深度处的第一参考平面P1相交，并且在交点处与在深度处的第二参考平面P2相交。以这种方式，给定和可以通过四个坐标 来识别光线。因此，可以通过用于参数化的一对参考平面P1、P2(在此也称为参数化平面)对光场进行参数化，其中每个光线被表示为4D光线空间中的点(x1,y1,x2,y2,)∈R4。
在图4所示的第二实施例中，通过位于已知深度的参考平面P3与光线之间的交点对光线进行参数化。光线在交点处与在深度处的参考平面P3相交。提供空间中的光线的方向的归一化向量v具有以下坐标：由于将假设为正，并且其可以在知道vx和vy的情况下重新计算，所以可以只通过其两个第一坐标(vx,vy)来描述向量。
根据该第二实施例，可以通过四个坐标(x3,y3,vx,vy)来识别光线。因此，可以通过用于参数化的参考平面P3(在此也称为参数化平面)对光场进行参数化，其中每个光线被表示为4D光线空间中的点(x3,y3,vx,vy,)∈R4。
通过光场数据格式化模块150计算表示4D光线空间中的光线的参数。图5是图示根据本发明的实施例的对通过相机100采集的光场数据进行格式化的方法的步骤的流程图。该方法通过光场数据格式化模块150执行。
在使用针孔模型来校准光场采集系统的情况下，无失真的基本投影模型由下式给出：
其中
●f是相机100的主透镜的焦距，
●cu和cv是相机100的光轴与传感器的交点的坐标，
●(Xc,Yc,Zc,1)T是通过相机感测的空间中的点在相机坐标系中的位置，
●(u,v,1)T是在相机坐标系中坐标为(Xc,Yc,Zc,1)T的点在相机的传感器上的投影在传感器坐标系中的坐标。
在步骤501中，光场数据格式化模块150计算表示通过在传感器坐标系中坐标为(u,v,1)T的传感器的像素感测的空间中的光线的方向的向量V的坐标。在传感器坐标系中，向量V的坐标为：
(u-cu,v-cv,f)T。
在针孔模型中，由坐标为(u,v,1)T的像素感测的光线与从针孔在坐标Z1处放置并且平行于传感器平面的平面的交点的坐标为：
并且在步骤502期间计算。
在将几个采集混合的情况下，即通过不同类型的相机采集光场数据，使用单个坐标系。在这种情况下，应当相应地修改点和向量的坐标的修正。
根据本发明的实施例，将定义通过相机的传感器的像素感测的光线并在步骤501和502期间计算的坐标的集合重组在映射中。在另一实施例中，光线通过模拟光线的传播的计算机生成的场景系统直接计算。
在本发明的实施例中，这些映射与要传送到接收器的光场数据的颜色映射相关联。因此，在该实施例中，对于相机的传感器的每个像素(u,v)，代表颜色数据的参数关联到通过给定像素感测的光线和浮点值的四元组(χ1 χ2 χ3 χ4)，其当光场可以因此通过用于参数化的一对参考平面P1、P2进行参数化时对应于(x1,y1,x2,y2,)，或者当光线通过归一化向量进行参数化时对应于(x3,y3,vx,vy,)。在以下描述中，浮点值的四元组(χ1 χ2 χ3 χ4)由下式给出：
在另一实施例中，不使用针孔模型对采集系统进行校准，因此不会从模型重新计算通过两个平面进行的参数化。相反，在相机的校准操作期间必须测量通过两个平面进行的参数化。这可以是例如全光相机的情况，其包括在相机的主透镜和传感器之间的微透镜阵列。
在又一实施例中，这些映射通过计算机生成的场景系统直接模拟，或者从所采集的数据后期制作。
由于通过相机的传感器的像素感测的光线由浮点的四元组(χ1 χ2 χ3 χ4)表示，所以可以将这四个参数放入四个参数映射中，例如，包括通过相机的传感器的像素感测的每个光线的参数χ1的第一映射，包括参数χ2的第二映射，包括参数χ3的第三映射和包括参数χ4的第四映射。四个上述映射中的每一个(称为χi映射)具有与所采集的光场图像本身相同的大小，但具有浮点内容。
在一些适配考虑到表示通过相邻像素感测的光线的参数之间的强相关性并且排列光线群体以及因此表示它们的参数之后，可以使用与用于视频数据类似的工具来压缩这四个映射。
为了压缩浮点的值(χ1 χ2 χ3 χ4)并因此减小要传送的χi映射的大小，光场数据格式化模块150在步骤503中为每个χi映射计算拟合包含在χi映射中的所述参数χi的值的平面的等式。参数χi的拟合平面的等式由下式给出：
其中u和v是相机的传感器的给定像素的坐标。
在步骤504中，对于每个χi映射，计算参数αi,βi,γi以最小化误差：
步骤504的计算结果是参数：
其对应于参数χi的值与拟合所述参数χi的值的平面的差，得到比包含在χi映射中的值的幅度低得多的范围。
可以通过在步骤505中计算来压缩值
然后，在步骤506中，可以计算前面的参数χi的值使得参数的值范围从0到2N-1(包括在内)，其中N是与意图用于对要发送的光场数据进行编码的编码器的能力相对应的所选位数。参数的值由下式给出：
在步骤507中，光场数据格式化模块150生成四个映射，映射、映射、映射和映射，对应于表示通过相机的传感器的像素感测的光线的参数(χ1 χ2 χ3χ4)中的每一个。
在步骤508中，光场数据格式化模块150生成SEI(补充增强信息)消息，该SEI(补充增强信息)消息包括意图在接收器侧的互反计算(reciprocal computation)期间使用以取回原来的映射的以下固定参数αi,βi, 这四个参数被认为是在SEI消息中传送的元数据，SEI消息的内容由下表给出：
表1
在接收器侧，使得能够取回原来的映射的互反计算由下式给出
在步骤509中，映射、颜色映射和SEI消息被至少传送到处理这些数据的接收器，以便呈现光场内容。
在它们传送到接收器之前，可以进一步减小表示光场数据的映射的大小以下实施例与由最小化误差构成的实施例是互补的：
在图6所示的第一实施例中，由于映射包含具有低空间频率的值，所以可以传送信号在沿空间中的方向上的导数。
例如，给定关联到坐标(0,0)的像素的参数χi的值光场数据格式化模块150在步骤601中计算关联到坐标(1,0)的像素的参数χi的值与关联到坐标(0,0)的像素的参数χi的值之间的差
更一般地，在步骤601期间，光场数据格式化模块150计算关联到传感器的给定像素的参数χi的值与关联到光学采集系统或计算机生成的场景系统的一行传感器中的给定像素之前的另一个像素的参数χi的值之间的差：
当给定像素是一行传感器的第一像素时，光场数据格式化模块150计算关联到给定像素的参数χi的值与关联到给定像素所属的行的之前的行的第一像素的参数χi的值之间的差：
在步骤602中，映射、颜色映射和SEI消息(在步骤508期间生成)被至少传送到处理这些数据的接收器，以便呈现光场内容。
在第二实施例中，由于映射、映射或映射包含具有非常慢的空间频率的值，所以可以在映射的两个维度上执行空间下采样，然后通过在所传送的所述映射的样本之间进行线性插值来在接收器侧恢复整个映射。
例如，在我们可以将映射的大小从N_rows*M_columns缩小到从N_rows/2*M_columns/2的情况下。在接收处，映射可以扩展到原来的大小；可以通过插值方法(或所谓的上采样处理)填充所产生的空缺。简单的双线性插值通常是足够的
在图7所示的第三实施例中，可以使用四个独立的单色编解码器(诸如例如h265/HEVC)将每个映射、映射或映射传送到接收器。
在第四实施例中，映射、映射或映射可以被分组在单个图像中，如图8所示。为了达到该目标，一种方法在于使用子采样方法将映射的大小减小因子2，如第二实施例中那样，然后将映射、映射或映射各自连接在具有与颜色映射相同大小的图像的象限中。这种方法通常称为“帧打包”，因为它将多个帧打包成单一个。应当传送足够的元数据，例如在SEI消息中，以发信号通知已执行帧打包的方式，使得解码器可以足够地对帧进行解包。然后可以使用单个单色编解码器(诸如但不限于例如h265/HEVC)来传送单个帧中的打包映射。
在这种情况下，如表1所示的SEI消息还必须包含标志，该标志指示帧打包方法已被用于将4个映射打包成单一个(参考表1b)。
表1b
当几个相机被分组以形成装备时，定义单个世界坐标系和所有相机通用的2个参数化平面是更好和更一致的。然后，描述消息(例如SEI)可以包含公共信息(表示类型、z1和z2)加上每个相机的4个映射(映射、映射或)的描述参数，如表2所示。
在这种情况下，可以考虑到例如诸如MPEG多视图视频编码(MVC)或MPEG多视图高效率视频编码(MV-HEVC)之类的配置的多视图方面，使用单色编解码器将映射、映射或映射传送到接收器。
表2
在第五实施例中，当在一定量的时间期间对映射、映射或映射的修改为零时，这些映射、映射或被标记为跳过的并且不被传输到接收器。在这种情况下，SEI消息包含向接收器指示在映射、映射或上自从其最后的传送以来没有发生改变的标志。这样的SEI消息的内容如表3所示：
表3
在第六实施例中，由于在映射、映射或中表示的采集系统参数的修正在时间上被缓慢修改，所以值得以慢于颜色映射的帧速率的帧速率将它们传送到接收器。映射、映射或的传送频率必须至少是IDR帧之一。
在第七实施例中，颜色映射使用YUV或RGB格式，并且用诸如MPEG-4AVC、h265/HEVC或h266等的视频编码器或者诸如JPEG、JPEG2000、MJEG的图像编码器进行编码。当使用几个相机来采集光场内容时，可以使用MV-HEVC编解码器相关地对颜色颜色进行编码。
虽然在上文中已经参考具体实施例描述了本发明，但是本发明不限于具体实施例，并且修改对于本领域技术人员而言将是显而易见的，其在本发明的范围内。
在参考前述说明性实施例时，许多另外的修改和变型将向本领域技术人员暗示自己，前述说明性实施例仅以示例的方式给出，并且不旨在限制仅由所附权利要求确定的本发明的范围。特别地，在适当的情况下，来自不同实施例的不同特征可以互换。

Claims (14)

1.一种对代表光场内容的信号进行编码的计算机实现的方法，所述方法包括：
-对于传感器的至少一个像素，对表示通过所述像素感测的光线的第一参数集合进行编码，
-对意图用于从所述第一参数集合重建所述光场内容的第二参数集合进行编码。
2.根据权利要求1所述的方法，还包括：
-对表示颜色数据的第三参数集合进行编码，所述颜色数据关联到通过所述第一参数集合表示的光线。
3.根据权利要求1或2所述的方法，其中，所述第一参数集合中的至少一个参数表示所述光线的坐标与拟合通过光学采集系统的多个像素感测的多个光线的坐标集合的平面之间的距离，并且所述第二参数集合中的至少一个参数表示拟合平面的坐标。
4.根据前述权利要求中任一项所述的方法，其中，所述第一参数集合中的至少一个参数表示：
-表示通过所述像素感测的光线的值与表示通过一行传感器中的所述像素之前的另一个像素感测的光线的值之间的差，或者
-当所述像素是一行传感器的第一像素时，表示通过所述像素感测的光线的值与表示通过所述像素所属的行之前的行的最后一个像素感测的光线的值之间的差。
5.根据前述权利要求中任一项所述的方法，其中，使用独立的编解码器对所述第一参数集合中的参数进行编码。
6.根据前述权利要求中任一项所述的方法，其中，当所述第二参数集合包括指示所述第一参数集合自从所述第一参数集合的最后的传送以来未改变的参数时，仅传送所述第二参数集合。
7.根据权利要求2所述的方法，其中，代表光内容的信号的传送速率高于经编码的第一参数集合和经编码的第二参数集合的传送速率。
8.一种用于对代表光场内容的信号进行编码的设备，其包括处理器，所述处理器被配置为：
-对于传感器的至少一个像素，对表示通过所述像素感测的光线的第一参数集合进行编码，
-对意图用于从所述第一参数集合重建所述光场内容的第二参数集合进行编码。
9.一种对代表光场内容的信号进行解码的计算机实现的方法，所述方法包括：
-对于传感器的至少一个像素，对表示通过所述像素感测的光线的第一参数集合进行解码，
-对意图用于从经解码的第一参数集合重建所述光场内容的第二参数集合进行解码，
-基于经解码的第一参数集合和经解码的第二参数集合来重建所述光场内容。
10.根据权利要求9所述的方法，还包括：
-对表示颜色数据的第三参数集合进行解码，所述颜色数据关联到通过所述第一参数集合表示的光线，
-基于经解码的第三参数集合与经解码的第一参数集合和经解码的第二参数集合一起来重建所述光场内容。
11.一种用于对代表光场内容的信号进行解码的设备，其包括处理器，所述处理器被配置为：
-对于传感器的至少一个像素，对表示通过所述像素感测的光线的第一参数集合进行解码，
-对意图用于从第一参数集合重建所述光场内容的第二参数集合进行解码，
-基于经解码的第一参数集合和经解码的第二参数集合来重建所述光场内容。
12.一种信号，其通过用于对代表光场内容的信号进行编码的设备传送到用于对代表光场内容的所述信号进行解码的设备，所述信号承载消息，所述消息包括：
-第一参数集合，表示通过传感器的至少一个像素感测的光线，
-第二参数集合，意图用于从所述第一参数集合重建所述光场内容，
通过解码设备进行的光场内容的重建是基于经解码的第一参数集合和经解码的第二参数集合。
13.一种计算机程序，其特征在于，其包括程序代码指令，用于当程序由处理器执行时实现根据权利要求1至7中任一项所述的对光场内容进行编码的方法。
14.一种计算机程序，其特征在于，其包括程序代码指令，用于当程序由处理器执行时实现根据权利要求9至10中任一项所述的对光场内容进行解码的方法。
CN201710481124.XA 2016-06-22 2017-06-22 用于对代表光场内容的信号进行编码的方法和设备 Pending CN107529062A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP16305757.3A EP3261347A1 (en) 2016-06-22 2016-06-22 A method and a device for encoding a signal representative of a light-field content
EP16305757.3 2016-06-22

Publications (1)

Publication Number Publication Date
CN107529062A true CN107529062A (zh) 2017-12-29

Family

ID=56511475

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710481124.XA Pending CN107529062A (zh) 2016-06-22 2017-06-22 用于对代表光场内容的信号进行编码的方法和设备

Country Status (10)

Country Link
US (1) US11665369B2 (zh)
EP (3) EP3261347A1 (zh)
JP (1) JP7171169B2 (zh)
KR (1) KR102505130B1 (zh)
CN (1) CN107529062A (zh)
AU (1) AU2017204215C1 (zh)
BR (1) BR102017013446A2 (zh)
CA (1) CA2971337A1 (zh)
MX (1) MX2017008222A (zh)
RU (1) RU2746344C2 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190052089A (ko) * 2016-09-19 2019-05-15 인터디지털 브이씨 홀딩스 인코포레이티드 명시야 데이터를 사용하여 장면을 표현하는 포인트 클라우드를 재구성하기 위한 방법 및 디바이스
CN112183637B (zh) * 2020-09-29 2024-04-09 中科方寸知微(南京)科技有限公司 一种基于神经网络的单光源场景光照重渲染方法及系统
CN116528065B (zh) * 2023-06-30 2023-09-26 深圳臻像科技有限公司 一种高效虚拟场景内容光场获取与生成方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070229653A1 (en) * 2006-04-04 2007-10-04 Wojciech Matusik Method and system for acquiring and displaying 3D light fields
CN101212566A (zh) * 2006-12-26 2008-07-02 奥林巴斯映像株式会社 编码方法、电子相机、记录有编码程序的记录介质以及解码方法
CN101438318A (zh) * 2006-05-08 2009-05-20 三菱电机株式会社 减少场景图像中的模糊的方法和场景图像去模糊装置
CN102282590A (zh) * 2009-04-18 2011-12-14 瑞芳克斯成像公司 光场相机图像、文件和配置数据以及对其进行使用、存储和传递的方法
JP2014086968A (ja) * 2012-10-25 2014-05-12 Ricoh Co Ltd 画像処理装置、画像処理方法及びプログラム

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6097394A (en) * 1997-04-28 2000-08-01 Board Of Trustees, Leland Stanford, Jr. University Method and system for light field rendering
EP1264281A4 (en) * 2000-02-25 2007-07-11 Univ New York State Res Found ARRANGEMENT AND METHOD FOR PROCESSING AND PLAYING A VOLUME
US6693964B1 (en) * 2000-03-24 2004-02-17 Microsoft Corporation Methods and arrangements for compressing image based rendering data using multiple reference frame prediction techniques that support just-in-time rendering of an image
RU2331919C2 (ru) * 2006-03-21 2008-08-20 Алексей Евгеньевич Субботин Проекционное кодирование
US20130113981A1 (en) * 2006-12-01 2013-05-09 Lytro, Inc. Light field camera image, file and configuration data, and methods of using, storing and communicating same
US8229294B2 (en) * 2007-12-10 2012-07-24 Mitsubishi Electric Research Laboratories, Inc. Cameras with varying spatio-angular-temporal resolutions
US8749620B1 (en) * 2010-02-20 2014-06-10 Lytro, Inc. 3D light field cameras, images and files, and methods of using, operating, processing and viewing same
CN103748612B (zh) * 2011-01-24 2018-04-27 英特尔公司 用于获取、表示、比较和传输三维数据的方法和系统
CN104081414B (zh) * 2011-09-28 2017-08-01 Fotonation开曼有限公司 用于编码和解码光场图像文件的系统及方法
CN104247433B (zh) * 2012-04-06 2018-02-06 索尼公司 解码装置和解码方法以及编码装置和编码方法
US9179126B2 (en) * 2012-06-01 2015-11-03 Ostendo Technologies, Inc. Spatio-temporal light field cameras
GB2503656B (en) * 2012-06-28 2014-10-15 Canon Kk Method and apparatus for compressing or decompressing light field images
WO2014009603A1 (en) * 2012-07-02 2014-01-16 Nokia Corporation Method and apparatus for video coding
US9743064B2 (en) * 2012-09-11 2017-08-22 The Directv Group, Inc. System and method for distributing high-quality 3D video in a 2D format
US9462164B2 (en) * 2013-02-21 2016-10-04 Pelican Imaging Corporation Systems and methods for generating compressed light field representation data using captured light fields, array geometry, and parallax information
US9582922B2 (en) * 2013-05-17 2017-02-28 Nvidia Corporation System, method, and computer program product to produce images for a near-eye light field display
US9264661B2 (en) * 2013-06-07 2016-02-16 Apple Inc. Adaptive post-processing for mobile video calling system
KR102156402B1 (ko) * 2013-11-05 2020-09-16 삼성전자주식회사 영상 처리 방법 및 장치
US9414087B2 (en) 2014-04-24 2016-08-09 Lytro, Inc. Compression of light field images
US9712820B2 (en) * 2014-04-24 2017-07-18 Lytro, Inc. Predictive light field compression
US9961333B1 (en) * 2016-06-10 2018-05-01 X Development Llc System and method for light field projection

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070229653A1 (en) * 2006-04-04 2007-10-04 Wojciech Matusik Method and system for acquiring and displaying 3D light fields
CN101438318A (zh) * 2006-05-08 2009-05-20 三菱电机株式会社 减少场景图像中的模糊的方法和场景图像去模糊装置
CN101212566A (zh) * 2006-12-26 2008-07-02 奥林巴斯映像株式会社 编码方法、电子相机、记录有编码程序的记录介质以及解码方法
CN102282590A (zh) * 2009-04-18 2011-12-14 瑞芳克斯成像公司 光场相机图像、文件和配置数据以及对其进行使用、存储和传递的方法
JP2014086968A (ja) * 2012-10-25 2014-05-12 Ricoh Co Ltd 画像処理装置、画像処理方法及びプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
ANONYMOUS: "Technical report of the joint ad hoc group for digital representations of light/sound fields for immersive media applications", 《115.MPEG MEETING GENEVEI》 *
J.M. SCHUMPERT: "A TWO-CONPONENT IMAGE CODING SCHEME BASED ON TWO-DIMENSIONAL INTERPOLATION AND THE DISCRETE COSINE TRANSFOR", 《IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS SPEECH AND SIGNALPROCESSING》 *

Also Published As

Publication number Publication date
EP3261347A1 (en) 2017-12-27
EP4054194A1 (en) 2022-09-07
CA2971337A1 (en) 2017-12-22
US20170374388A1 (en) 2017-12-28
JP7171169B2 (ja) 2022-11-15
BR102017013446A2 (pt) 2018-05-02
AU2017204215A1 (en) 2018-01-18
AU2017204215B2 (en) 2022-04-28
KR102505130B1 (ko) 2023-03-02
EP3261348A1 (en) 2017-12-27
KR20180000319A (ko) 2018-01-02
RU2746344C2 (ru) 2021-04-12
JP2018033127A (ja) 2018-03-01
US11665369B2 (en) 2023-05-30
RU2017121569A3 (zh) 2020-09-25
MX2017008222A (es) 2018-09-10
RU2017121569A (ru) 2018-12-24
AU2017204215C1 (en) 2023-02-02

Similar Documents

Publication Publication Date Title
US20190387211A1 (en) A method and a device for reconstructing a point cloud representative of a scene using light-field data
US10757423B2 (en) Apparatus and methods for compressing video content using adaptive projection selection
KR102468178B1 (ko) 몰입형 비디오 포맷을 위한 방법, 장치 및 스트림
JP6630891B2 (ja) 明視野画像ファイルを符号化および復号するためのシステムおよび方法
JP6837056B2 (ja) ライトフィールドベースの画像を符号化及び復号する方法及び機器並びに対応するコンピュータプログラム製品
CN102939763B (zh) 计算三维图像的视差
US20210176496A1 (en) Method, apparatus and stream for encoding/decoding volumetric video
CN107529062A (zh) 用于对代表光场内容的信号进行编码的方法和设备
WO2016003340A1 (en) Encoding and decoding of light fields
US20190158877A1 (en) Method and apparatus for encoding and decoding a light field based image, and corresponding computer program product
CN108234863A (zh) 用于对传输数据以重建稀疏矩阵的信号进行编码的方法和装置
EP3301926A1 (en) A method and a device for reconstructing a point cloud representative of a scene using light-field data
US11948268B2 (en) Immersive video bitstream processing
TW202126036A (zh) 具有輔助修補之容積視訊
KR102607709B1 (ko) 3 자유도 및 볼류메트릭 호환 가능한 비디오 스트림을 인코딩 및 디코딩하기 위한 방법들 및 디바이스들
WO2011094164A1 (en) Image enhancement system using area information
JP7382186B2 (ja) 符号化装置、復号装置、及びプログラム
KR20200128755A (ko) 구형의 멀티미디어 컨텐트를 위한 회전 각도를 결정하는 방법 및 장치.
Kukolj et al. 3D content acquisition and coding
CN115104121A (zh) 用于处理图像内容的方法和设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
TA01 Transfer of patent application right

Effective date of registration: 20190604

Address after: France

Applicant after: Interactive Digital CE Patent Holding Company

Address before: I Si Eli Murli Nor, France

Applicant before: Thomson Licensing SA

TA01 Transfer of patent application right