CN109792528A - 使用光场数据重构表示场景的点云的方法和设备 - Google Patents

使用光场数据重构表示场景的点云的方法和设备 Download PDF

Info

Publication number
CN109792528A
CN109792528A CN201780057373.4A CN201780057373A CN109792528A CN 109792528 A CN109792528 A CN 109792528A CN 201780057373 A CN201780057373 A CN 201780057373A CN 109792528 A CN109792528 A CN 109792528A
Authority
CN
China
Prior art keywords
parameter sets
light
scene
parameter
indicate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780057373.4A
Other languages
English (en)
Inventor
瓦尔特·德拉季奇
迪迪埃·杜瓦扬
保罗·凯尔比里乌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital VC Holdings Inc
Original Assignee
InterDigital VC Holdings Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from EP16306287.0A external-priority patent/EP3301926A1/en
Application filed by InterDigital VC Holdings Inc filed Critical InterDigital VC Holdings Inc
Publication of CN109792528A publication Critical patent/CN109792528A/zh
Pending legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/557—Depth or shape recovery from multiple images from light fields, e.g. from plenoptic cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/15—Processing image signals for colour aspects of image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H04N19/463—Embedding additional information in the video signal during the compression process by compressing encoding parameters before transmission
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/95—Computational photography systems, e.g. light-field imaging systems
    • H04N23/957—Light-field or plenoptic cameras or camera modules
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Abstract

本发明涉及对表示场景的点云的重构。点云数据占用大量存储空间，这使得存储繁琐且处理效率降低。为此，提出了一种用于对表示场景的信号进行编码的方法，该方法包括将表示由传感器的不同像素感测的光线的参数映射在传感器上。第二编码参数集合用于根据表示由传感器的不同像素感测的光线的参数来重构光场内容，表示由所述第一参数集合表示的所述光线与至少所述场景的对象的相交点的深度的第三参数集合以及表示颜色数据的第四参数集合用于在接收器侧对点云进行重构。

Description

使用光场数据重构表示场景的点云的方法和设备
技术领域
本发明涉及数据集和元数据的传输，更具体地，涉及能够重构表示场景的点云的数据的传输。
背景技术
点云是用计算机图形表示3D(三维)场景的众所周知的方式。将场景表示为点云有助于查看此场景的不同视点。在点云中，3D空间中的每个坐标点(x，y，z)a对应于RGB值。但是，场景仅被表示为空间中的点的集合，而没有强的连续性。
压缩表示点云的数据并非易事。实际上，由于属于点云的所有点并不像标准视频那样位于简单的矩形形状中，因此对这些数据进行编码的方式并不简单。
此外，点云表示占用大量存储空间，这使得存储繁琐且处理效率较低。
考虑到前述情况，设计了本发明。
发明内容
根据本发明的第一方面，提供了一种用于对表示从光学设备获得的场景的信号进行编码的计算机实现的方法，所述方法包括针对所述光学设备的传感器的至少一个像素对以下各项进行编码：
-第一参数集合，表示由所述像素感测的光线，
-第二参数集合，用于根据所述第一参数集合重构所述光线，
-第三参数集合，表示由所述第一参数集合表示的所述光线与至少所述场景的对象的相交点沿所述光学设备的光轴的位置，
-第四参数集合，表示由所述像素感测的所述场景的所述对象的颜色数据，
所述第三参数集合连同所述第四参数集合和所述重构的光线一起用于重构表示所述场景的点云。
根据本发明实施例，根据所述编码方法发送的参数独立于用于获取要由接收设备发送和处理的场景的光学系统。
在根据本发明实施例的方法中，表示由光学系统的传感器的不同像素感测的光线的参数，即第一参数集合中的参数，被映射在传感器上。因此，这些参数可以被视为图片。例如，当由光学系统的像素感测的光线用四个参数表示时，表示由光学系统的传感器的像素感测的光线的参数被分组在四个图片中。
可以根据诸如MPEG-4第10部分AVC(也被称为h264)、h265/HEVC或其可能的后续h266之类的视频标准对这些图片进行编码和发送，并且以联合视频比特流发送这些图片。可以使用补充增强信息(SEI)消息对第二编码集合进行编码。在根据本发明实施例的方法中定义的格式使得能够在不引入任何强误差(无损编码)或引入有限量的误差(有损编码)的情况下对待传输数据进行强压缩。
根据本发明实施例的方法不限于由光学设备直接获取的数据。这些数据可以是计算机图形图像(CGI)，其完全或部分地由计算机针对给定的场景描述来进行模拟。另一数据源可以是经修改的(例如，被颜色分级的)后期制作数据、从光学设备或CGI获得的光场数据。现在在电影工业中常见的是具有使用光学获取设备获取的数据和CGI数据两者的混合数据。应当理解，传感器的像素可以通过计算机生成场景系统来模拟，并且扩展而言，整个传感器可以通过所述系统来模拟。从这里可以理解的是，对“传感器的像素”或“传感器”的任何引用可以是附接到光学获取设备的物理对象或者是由计算机生成场景系统获得的模拟实体。
这种编码方法使得能够以紧凑格式对用于重构表示所述场景的点云的数据进行编码。
根据编码方法的实施例，所述第一参数集合中的至少一个参数表示所述光线的坐标与对由所述光学系统的多个像素感测的多个光线的坐标集合进行拟合的拟合平面之间的距离，并且所述第二参数集合中的至少一个参数表示所述拟合平面的坐标。
对所述光线的坐标与拟合由所述传感器的不同像素感测的多个光线的坐标集合的平面之间的距离进行编码使得能够压缩待传输数据，这是因为计算出的不同距离值之间的幅度通常低于不同坐标值之间的幅度。
根据编码方法的实施例，所述第一参数集合中的至少一个参数表不：
-表示由所述像素感测的所述光线的值与表示由在所述传感器的一行中、在所述像素之前的另一像素感测的光线的值之间的差值，或者
-当所述像素是所述传感器的一行中的第一个像素时，表示由所述像素感测的所述光线的值与表示由在所述像素所属行的前一行中的第一个像素感测的光线的值之间的差值。
表示光线的值可以是表示光线的坐标，或者是坐标与拟合由传感器的不同像素感测的多个光线的坐标集合的平面之间的距离。
这使得能够通过减小待传输的参数的不同值之间的幅度来压缩数据。
根据编码方法的实施例，使用独立的编解码器对所述第一参数集合中的参数进行编码。
根据编码方法的实施例，当所述第二参数集合包括指示自所述第一参数集合的上一次传输以来所述第一参数集合未改变的参数时，仅传输所述第二参数集合。
这使得能够减小待向解码设备传输的数据量。
本发明的另一目的涉及一种用于对表示从光学设备获得的场景的信号进行编码的设备，所述设备包括处理器，所述处理器被配置为针对所述光学设备的传感器的至少一个像素对以下各项进行编码：
-第一参数集合，表示由所述像素感测的光线，
-第二参数集合，用于根据所述第一参数集合重构所述光线，
-第三参数集合，表示由所述第一参数集合表示的所述光线与至少所述场景的对象的相交点沿所述光学设备的光轴的位置，
-第四参数集合，表示由所述像素感测的所述场景的所述对象的颜色数据，
所述第三参数集合连同所述第四参数集合和所述重构的光线一起用于重构表示所述场景的点云。
本发明的另一方面涉及一种用于重构表示从光学设备获得的场景的点云的计算机实现的方法，所述方法包括：
-对信号进行解码，所述信号包括：
·第一参数集合，表示由所述光学设备的传感器的至少一个像素感测的光线，
·第二参数集合，用于根据解码的第一参数集合重构光场内容，
·第三参数集合，表示由所述第一参数集合表示的所述光线与至少所述场景的对象的相交点沿着所述光学设备的光轴的位置，
·第四参数集合，表示由所述像素感测的所述场景的所述对象的颜色数据，
-基于解码的第一参数集合、解码的第二参数集合、解码的第三参数集合和解码的第四参数集合来重构所述点云。
根据本发明的实施例，重构所述点云包括：
-针对所述传感器的至少一个像素计算以下各项：
·与所述光线与至少所述场景的对象的相交点相对应的点在三维空间中的位置，
·观察方向，所述光学设备沿着所述观察方向观察所述点，
-将表示由所述传感器的所述像素感测的颜色数据的参数与所计算的点相关联。
本发明的另一方面涉及一种用于重构表示从光学设备获得的场景的点云的设备，所述设备包括处理器，所述处理器被配置为：
-解码信号，包括：
·第一参数集合，表示由所述光学设备的传感器的至少一个像素感测的光线，
·第二参数集合，用于根据解码的第一参数集合重构光场内容，
·第三参数集合，表示由所述第一参数集合表示的所述光线与至少所述场景的对象的相交点沿着所述光学设备的光轴的位置，
·第四参数集合，表示由所述像素感测的所述场景的所述对象的颜色数据，
-基于解码的第一参数集合、解码的第二参数集合、解码的第三参数集合和解码的第四参数集合来重构所述点云。
本发明的另一方面涉及一种由设备发送的信号，所述设备用于对表示从光学设备获得的场景的信号进行编码，所述信号针对所述光学设备的传感器的至少一个像素携带包括以下各项的消息：
-第一参数集合，表示由所述像素感测的光线，
-第二参数集合，用于根据所述第一参数集合重构所述光线，
-第三参数集合，表示由所述第一参数集合表示的所述光线与至少所述场景的对象的相交点沿所述光学设备的光轴的位置，
-第四参数集合，表示由所述像素感测的所述场景的所述对象的颜色数据，
所述第三参数集合连同所述第四参数集合和所述重构的光线一起用于重构表示所述场景的点云。
本发明的另一目的是一种数字文件，包括表示从光学设备获得的场景的数据，所述数据针对所述光学设备的传感器的至少一个像素包括以下各项：
-第一参数集合，表示由所述像素感测的光线，
-第二参数集合，用于根据所述第一参数集合重构所述光线，
-第三参数集合，表示由所述第一参数集合表示的所述光线与至少所述场景的对象的相交点沿所述光学设备的光轴的位置，
-第四参数集合，表示由所述像素感测的所述场景的所述对象的颜色数据，
所述第三参数集合连同所述第四参数集合和所述重构的光线一起用于重构表示所述场景的点云。
由本发明的元件实现的一些处理可以是计算机实现的。因此，这些元件可以采取以下形式：完全硬件实施例、完全软件实施例(包括固件、常驻软件、微代码等)、或者组合软件方面和硬件方面的实施例，它们在本文中一般都可以被称为“电路”、“模块”或“系统”。此外，这些元件可以采取体现在任何有形表达介质中的计算机程序产品的形式，该计算机程序产品具有体现在介质中的计算机可用程序代码。
由于本发明的元件可以用软件来实现，因此本发明可以体现为计算机可读代码，以便在任何适当的载体介质上向可编程装置提供。有形载体介质可以包括存储介质，例如软盘、CD-ROM、硬盘驱动器、磁带设备或固态存储设备等。瞬态载体介质可以包括诸如电信号、电子信号、光信号、声学信号、磁信号或电磁信号(例如，微波或RF信号)之类的信号。
附图说明
现在将仅以举例的方式并参考以下附图来描述本发明的实施例，在附图中：
图1是根据本发明实施例的光场相机设备的框图；
图2是示出了光场数据格式化模块的可能实施方式的特定实施例的框图，
图3示出了穿过用于参数化的两个参考平面P1和P2的光线，
图4示出了穿过位于已知深度Z3的参考平面P3的光线，
图5是示出了根据本发明实施例的用于格式化光场数据的方法的步骤的流程图，
图6是示出了根据本发明实施例的用于对表示从光学设备获得的场景的信号进行编码的方法的步骤的流程图，
图7是示出了根据本发明实施例的用于格式化光场数据的方法的步骤的流程图，
图8表示使用四个独立的单色编解码器被传输到接收器时的图、图或图，
图9表示被分组在单个图像中时的图、图或图，
图10表示根据本发明实施例的穿过用于重构3D空间中的点的两个参考平面P1和P2的光线，
图11是示出了根据本公开实施例的用于重构点云的装置的示例的示意框图，
图12是示出了根据本发明实施例的用于重构表示从光学设备获得的场景的点云的方法的步骤的流程图。
具体实施方式
如本领域技术人员将理解的，本原理的各方面可以体现为系统、方法或计算机可读介质。因此，本原理的各方面可以采取以下形式：完全硬件实施例、完全软件实施例(包括固件、常驻软件、微代码等)、或者组合软件方面和硬件方面的实施例，它们在本文中一般都可以被称为“电路”、“模块”或“系统”。此外，本原理的各方面可以采取计算机可读存储介质的形式。可以使用一个或多个计算机可读存储介质的任何组合。
本发明的实施例依赖于对光场数据的格式化，该光场数据用于重构代表场景的点云。这样的点云将用于进一步处理的应用，例如重新聚焦、视点改变等。所提供的格式化使得能够在接收器侧正确且容易地重构光场数据和点云以便对其进行处理。所提供的格式的优点在于，它对于用于获取光场数据的设备是不可知的，并且它使得能够以紧凑格式传输用于重构表示场景的点云所需的所有数据。
图1是根据本发明实施例的光场相机设备的框图。光场相机包括光圈/快门102、主透镜(物镜)101、微透镜阵列110和光电传感器阵列。在一些实施例中，光场相机包括快门释放器，该快门释放器被激活以捕捉对象或场景的光场图像。
光电传感器阵列120提供由LF数据获取模块140获取的光场图像数据，用于由光场数据格式化模块150生成光场数据格式和/或由光场数据处理器155进行处理。根据本发明的实施例，光场数据可以在获取之后并在处理之后以原始数据格式存储在存储器190中作为子孔径图像或焦点堆栈(focal stack)，或者以光场数据格式存储。
在所示示例中，光场数据格式化模块150和光场数据处理器155设置在光场相机100中或集成在光场相机100中。在本发明的其他实施例中，光场数据格式化模块150和/或光场数据处理器155可以设置在光场捕捉相机外部的单独组件中。该单独组件可以相对于光场图像捕捉设备是本地的或远程的。应当理解，可以使用任何适当的有线或无线协议向格式化模块150或光场数据处理器155发送光场图像数据；例如，光场数据处理器可以经由互联网、蜂窝数据网络、WiFi网络、通信协议和/或任何其他适当的手段来传送捕捉的光场图像数据和/或其他数据。
根据本发明的实施例，光场数据格式化模块150被配置为生成表示所获取的光场的数据。光场数据格式化模块150可以用软件、硬件或其组合来实现。
根据本发明的实施例，光场数据处理器155被配置为对直接从LF数据获取模块140接收的原始光场图像数据进行操作，例如以生成格式化数据和元数据。可以生成输出数据，例如捕捉的场景的静止图像、2D视频流等。光场数据处理器可以用软件、硬件或其组合来实现。
在至少一个实施例中，光场相机100还可以包括用户接口160，用于使用户能够提供用户输入，以通过控制器170控制相机100的操作。对相机的控制可以包括以下一项或多项：对相机的光学参数(例如，快门速度)的控制，或者在可调节光场相机的情况下，对微透镜阵列与光电传感器之间的相对距离、或者物镜与微透镜阵列之间的相对距离的控制。在一些实施例中，可以手动调节光场相机的光学元件之间的相对距离。对相机的控制还可以包括对相机的其他光场数据获取参数、光场数据格式化参数或光场处理参数的控制。用户接口160可以包括任何适当的用户输入设备，例如触摸屏、按钮、键盘、指示设备等。以这种方式，用户接口接收到的输入可以用于控制和/或配置用于控制数据格式化的LF数据格式化模块150、用于控制对所获取的光场数据的处理的LF数据处理器155以及用于控制光场相机100的控制器170。
光场相机包括电源180，例如一个或多个可更换或可充电电池。光场相机包括存储器190，该存储器190用于存储所捕捉的光场数据和/或经处理的光场数据或其他数据，例如用于实现本发明实施例的方法的软件。存储器可以包括外部存储器和/或内部存储器。在至少一个实施例中，存储器可以设置在与相机100分开的设备和/或位置处。在一个实施例中，存储器包括可移除/可调换的存储设备，例如存储棒。
光场相机还可以包括显示单元165(例如，LCD屏幕)，该显示单元165用于在捕捉之前观看相机前面的场景和/或用于观看先前捕捉的图像和/或渲染的图像。屏幕165还可以用于向用户显示一个或多个菜单或其他信息。光场相机还可以包括一个或多个I/O接口195，例如FireWire或通用串行总线(USB)接口，或用于经由互联网、蜂窝数据网络、WiFi网络、通信协议和/或任何其他适当的手段进行数据通信的有线或无线通信接口。I/O接口195可以用于向诸如计算机系统或显示单元之类的外部设备并从它们传送数据，例如，根据本发明的实施例由LF数据格式化模块生成的光场表示数据、以及诸如原始光场数据或由LF数据处理器155处理过的数据的光场数据，以用于渲染应用。
图2是示出了光场数据格式化模块250和光场数据处理器253的可能实施方式的特定实施例的框图。
电路200包括存储器290、存储器控制器245和包括一个或多个处理单元(CPU)的处理电路240。一个或多个处理单元240被配置为运行存储在存储器290中的各种软件程序和/或指令集，以执行包括光场数据格式化和光场数据处理在内的各种功能。存储在存储器中的软件组件包括：数据格式化模块(或指令集)250，用于根据本发明的实施例生成表示所获取的光学数据的数据；以及光场数据处理模块(或指令集)255，用于根据本发明的实施例处理光场数据。其他模块可以包括在存储器中以用于光场相机设备的应用，例如：操作系统模块251，该操作系统模块251用于控制一般系统任务(例如，电力管理、存储器管理)和促进设备200的各种硬件组件和软件组件之间的通信；和接口模块252，该接口模块252用于控制和管理通过I/O接口端口与其他设备的通信。
本发明的实施例依赖于光场数据的表示，该光场数据基于由相机的传感器(或者更一般地由光学设备的传感器)的像素感测到的或者由计算机生成场景系统模拟的光线及其在空间中的取向。实际上，另一光场数据源可以是经修改的(例如，被颜色分级的)后期制作数据、从光学设备或CGI获得的光场数据。现在在电影工业中常见的是具有使用光学获取设备获取的数据和CGI数据两者的混合数据。应当理解，传感器的像素可以通过计算机生成场景系统来模拟，并且扩展而言，整个传感器可以通过所述系统来模拟。由此可以理解的是，对“传感器的像素”或“传感器”的任何提及可以是附接到光学获取设备的物理对象或者是由计算机生成场景系统获得的模拟实体。
已知无论何种类型的获取系统，所述获取系统的传感器的像素至少对应于获取系统外部的空间中的线性光轨迹或光线，计算表示三维(或3D)空间中的光线的数据。
在第一实施例中，图3示出了穿过用于参数化的两个参考平面P1和P2的光线，这两个参考平面P1和P2彼此平行地定位并且分别位于已知深度Z1和Z2。Z方向或深度方向对应于用于获得光场数据的光学设备的光轴方向。
光线在相交点(xi，yi)处与处于深度Z1的第一参考平面P1相交，并且在相交点(x2，y2)处与处于深度Z2的第二参考平面P2相交。以这种方式，给定Zl和Z2，光线可以通过四个坐标(x1，y1，x2，y2)来识别。因此，可以通过用于参数化的一对参考平面P1和P2(在本文中也被称为参数化平面)来对光场进行参数化，其中每条光线被表示为4D光线空间中的点(x1，y1，x2，y2，)∈R4。
在图4上所示的第二实施例中，通过位于已知深度Z3处的参考平面P3与光线之间的相交点来对光线进行参数化。光线在相交点(x3，y3)处与处于深度Z3的参考平面P3相交。提供光线在空间中的方向的归一化矢量v具有以下坐标：因为vz被假定是正的并且在已知vx和vy的情况下可以重新计算vz，该矢量可以仅通过其前两个坐标(vx，vy)来描述。
根据该第二实施例，可以通过四个坐标(x3，y3，vx，vy)来识别光线。因此，可以通过用于参数化的参考平面P3(在本文中也被称为参数化平面)来对光场进行参数化，其中每个光线被表示为4D光线空间中的点(x3，y3，vx，vy，)∈R4。
通过光场数据格式化模块150来计算表示4D光线空间中的光线的参数。图5是示出了根据本发明实施例的用于格式化由相机100获取的光场数据的方法的步骤的流程图。该方法由光场数据格式化模块150来执行。
在使用针孔模型校准光场获取系统的情况下，由下式给出无失真的基本投影模型：
其中
·f是相机100的主透镜的焦距，
·cu和cv是相机100的光轴与传感器的相交点的坐标，
.(Xc，Yc，Zc，1)T是相机感测到的空间中的点在相机坐标系中的位置，
·(u，v，1)T是相机传感器上在相机坐标系中坐标为(Xc，Yc，Zc，1)T的点在传感器坐标系中的投影的坐标。
在步骤501中，光场数据格式化模块150计算矢重V的坐标，该矢量V表示由在传感器坐标系中坐标为(u，v，1)T的传感器像素感测的光线在空间中的方向。在传感器坐标系中，矢量V的坐标为：
(u-cu，v-cv，f)T
在针孔模型中，由坐标为(u，v，1)T的像素感测的光线与自针孔开始位于坐标Z1处并且平行于传感器平面的平面的相交点的坐标为：
并且该坐标是在步骤502期间计算的。
如果混合若干次获取，即通过不同类型的相机获取光场数据，则使用单个坐标系。在这种情况下，应相应地修改点和矢量的坐标的修改。
根据本发明实施例，定义由相机的传感器的像素感测的光线并且在步骤501和502期间计算的坐标集合在图中被重新分组(regroup)。在另一实施例中，直接由计算机生成场景系统计算光线，该计算机生成场景系统模拟光线的传播。
在本发明实施例中，这些图与要向接收器发送的场景的颜色图和深度图相关联。因此，在该实施例中，相机的传感器的每个像素(u，v)对应于以下各项：表示与给定像素感测的光线相关联的深度数据的参数；和表示与由同一给定像素感测的同一光线相关联的颜色数据的参数；和四个浮点值(χ1 χ2 χ3 χ4)，当通过用于参数化的一对参考平面P1、P2对光线进行参数化时，该浮点值对应于(x1，y1，x2，y2，)，或者当通过归一化矢量对光线进行参数化时，该浮点值对应于(x3，y3，vx，vy，)。在以下描述中，四个浮点值(χ1 χ2 χ3 χ4)由下式给出：
在另一实施例中，未使用针孔模型校准获取系统，因此未根据模型重新计算通过两个平面进行的参数化。取而代之的是，必须在相机的校准操作期间测量通过两个平面进行的参数化。这可以是例如全光相机的情况，该全光相机在相机的主透镜与传感器之间包括微透镜阵列。
在又一实施例中，这些图直接由计算机生成场景系统模拟或者根据获取的数据来后期制作。
由于由相机的传感器的像素感测的光线用四个浮点(χ1 χ2 χ3 χ4)来表示，因此可以将这四个参数放入四个参数图中，例如包括由相机的传感器的像素感测的每条光线的参数χ1的第一图，包括参数χ2的第二图，包括参数χ3的第三图，以及包括参数χ4的第四图。被称为χi图的上述四个图中的每个图具有与获取的光场图像本身相同的大小，但具有浮点内容。
在考虑到表示由相邻像素感测的光线的参数之间的强相关性并布置光线总体、因此表示它们的参数而进行一些调整之后，可以使用与视频数据类似的工具来压缩这四个图。
为了压缩浮点值(χ1 χ2 χ3 χ4)并因此减小要发送的χi图的大小，光场数据格式化模块150在步骤503中针对每个χi图计算拟合χi图中包括的所述参数χi的值的平面的等式。参数χi的拟合平面的等式由下式给出：
其中，u和v是相机的传感器的给定像素的坐标。
在步骤504中，针对每个χi图，计算参数αi，βi，γi以最小化误差：
步骤504的计算结果是参数：
该参数对应于参数χi的值与拟合所述参数χi的值的平面的差值，使得χi图中包括的值的幅度范围要小得多。
可以通过在步骤505中计算来压缩值
然后，在步骤506中，可以计算前一参数χi的值使得包括在0到2N-1的范围内的参数的值，其中，N是与旨在用于编码待发送的光场数据的编码器的容量相对应的所选比特数。参数的值由下式给出：
在步骤507中，光场数据格式化模块150生成四个图，图、图、图和图，对应于表示由相机的传感器的像素感测的光线的参数(χ1 χ2 χ3 χ4)中的每个参数。
在步骤508中，光场数据格式化模块150生成SEI(补充增强信息)消息的内容。SEI消息的所述内容包括以下固定参数这些参数旨在在接收器侧进行相互计算期间使用以获取原始图。这四个参数被视为在SEI消息中传达的元数据，其SEI消息的内容由下表给出：
表1
在接收器侧，能够获取原始图的相互计算由下式给出：
i.
ii.
图6是示出了根据本发明实施例的用于对表示从光学设备获得的场景的信号进行编码的方法的步骤的流程图。该方法例如由光场数据处理器模块155来执行。
在步骤601中，光场数据处理器模块155获取在步骤507期间由光场数据格式化模块150生成的四个图。这四个图可以嵌入在消息中，或者从存储器中获取等。
在步骤602中，光场数据处理器模块155生成SEI消息，该SEI消息包括以下固定参数这些参数旨在在接收器侧进行相互计算期间使用以获取原始图。
在步骤603中，光场数据处理器模块155获取深度图，该深度图包括与光场内容相关联的场景的对象的深度信息。深度图包括相机的传感器的每个像素的深度信息。深度图可以从另一设备接收，或者从存储器中获取等。
与传感器的像素相关联的深度信息例如是由所述像素感测的光线与至少所述场景的对象的相交点沿着光学设备的光轴的位置。
在包括多个相机的实施例中，例如，可以通过相机间视差估计来计算该深度图，并且然后借助校准数据而将其转换为深度。系统内可以有深度传感器，将将深度图与具有特定校准的每个相机对准。
相关联的深度数据可以以单色格式存储，并用视频编码器(MPEG-4AVC、HEVC、h266......)或图像编码器(JPEG、JPEG2000、MJEG)编码。当存在若干传感器时，可以使用3DHEVC(多视图编码+深度)编解码器对颜色数据和深度数据进行联合编码。
深度信息可以在z方向上具有两个不同的参考，所述z方向对应于用于获得场景的光学设备的光轴的方向。深度信息可以被定义为与平面z1的位置相关联或者与世界坐标系相关联。所述信息在元数据消息中定义：
在步骤604中，光场数据处理器模块155获取颜色图，该颜色图包括例如与光场内容相关联的场景的对象的RGB信息。颜色图包括相机的传感器的每个像素的颜色信息。可以从另一设备接收颜色图，或者从存储器中获取颜色图等。
在步骤605中，向至少一个接收器发送图、颜色图、深度图和SEI消息，在该至少一个接收器中处理这些数据，以便连同与点的取向(即，传感器的像素感测该点的视点)有关的信息一起以3D(三维)空间中的点的形式渲染光场内容。
在向接收器传输它们之前，可以进一步减小表示光场数据的图的大小。以下实施例是包括最小化误差的实施例的补充：
在图7上所示的第一实施例中，由于图包含具有低空间频率的值，所以仅发送信号在空间方向上的导数。
例如，给定即为参数χi与坐标(0，0)的像素相关联的值，光场数据格式化模块150在步骤601中计算参数χi与坐标(1，0)的像素相关联的值和参数χi与坐标(0，0)的像素相关联的值之间的差值
更一般地，在步骤701期间，光场数据格式化模块150计算参数χi与光学系统或计算机生成场景系统的传感器的给定像素相关联的值和参数χi与传感器的一行中给定像素之前的另一像素相关联的值之间的差值：
当给定像素是传感器的行中的第一像素时，光场数据格式化模块150计算参数χi与给定像素相关联的值和参数χi与给定像素所属行的前一行中的第一像素相关联的值之间的差值：
在步骤702中，向至少一个接收器发送图、颜色图、深度图以及在步骤602期间生成的SEI消息，在该至少一个接收器中处理这些数据，以便渲染光场内容。
在第二实施例中，由于图、图或图包含具有非常慢的空间频率的值，可以在图的两个维度中执行空间下采样，然后通过在所述图的发送样本之间进行线性插值在接收器侧恢复整个图。
例如，如果我们可以将图的大小从N_行*M_列减小到N_行/2*M_列/2。在接收时，图可以扩展到原始大小；产生的孔洞可以通过插值方法(或所谓的上采样过程)填充。简单的双线性插值通常就足够了
在图8所示的第三实施例中，可以向使用四个独立的单色编解码器(例如，h265/HEVC)的接收器发送每个图、图或图。
在第四实施例中，图、图或图可以被分组在单个图像中，如图9所示。为了实现该目标，一种方法包括如在第二实施例中那样使用子采样方法将图的大小减小2倍，然后在大小与颜色图相同的图像的象限中联合每个图、图或图。这种方法通常被命名为“帧打包”，这是因为它将若干帧打包成一个帧。例如，应当在SEI消息中发送适当的元数据，以发信号通知已经执行的帧打包的方式，使得解码器可以适当地对帧进行解包。然后可以使用单个单色编解码器(例如，但不限于，h265/HEVC)来发送被打包成单个帧的打包图。
在这种情况下，如表1中所示的SEI消息还必须包含标志，该标志指示已经使用帧打包方法将4个图打包在单个图中(参见表1b)。
表1b
当若干相机被分组以形成装备时，定义所有相机共用的单个世界坐标系和2个参数化平面是更好而且更一致。于是，描述消息(例如，SEI)可以包含共用信息(表示类型，z1和z2)加上每个相机的4个图(图、图或)的描述参数，如表2所示。
在那种情况下，例如，考虑到诸如MPEG多视图视频编码(MVC)或MPEG多视图高效视频编码(MV-HEVC)之类的配置的多视图方面，可以使用单色编解码器向接收器发送图、图或图。
表2
在第五实施例中，当图、图或图的修改在一定时间量内为空时，这些图、图或被标记为跳过并且不向接收器传送。在这种情况下，SEI消息包括标志，该标志向接收器指示自从其上次传输以来图、图或未发生变化。这种SEI消息的内容如表3所示：
表3
在第六实施例中，由于在图、图或中表示的获取系统参数的修改是在时间上很慢地修改的，所以值得以比颜色图的帧速率更慢的帧速率向接收器发送它们。图、图或的传输频率必须是至少IDR帧的传输频率。
在第七实施例中，颜色图使用YUV或RGB格式，并用用诸如MPEG-4AVC、h265/HEVC或h266等之类的视频编码器或者诸如JPEG、JPEG2000、MJEG之类的图像编码器来编码。当使用若干相机来获取光场内容时，可以使用MV-HEVC编解码器相关地编码颜色图。
图10表示由光学设备的传感器的像素感测的光线R，所述光线R穿过两个参考平面P1和P2，这两个参考平面P1和P2用于根据本发明实施例重构从光学设备获得的场景的点云。光线R与所述场景的对象O相交。zcam指示的方向对应于光学设备的光轴方向。
图11是示出了根据本公开的实施例的用于重构表示场景的点云的装置的示例的示意框图。
装置1100包括通过总线1106连接的处理器1101、存储单元1102、输入设备1103、显示设备1104和接口单元1105。当然，计算机装置1100的组成元件可以通过除总线连接之外的连接来进行连接。
处理器1101控制装置1100的操作。存储单元1102存储将由处理器1101执行的至少一个程序以及各种数据，包括由光场相机捕捉和提供的4D光场图像的数据、由处理器1101执行的计算所使用的参数、由处理器1101执行的计算的中间数据等等。处理器1101可以由任何已知的适当硬件、或软件、或硬件和软件的组合形成。例如，处理器1101可以由诸如处理电路之类的专用硬件形成，或者由诸如CPU(中央处理单元)之类的可编程处理单元形成，其执行存储在其存储器中的程序。
存储单元1102可以由能够以计算机可读方式存储程序、数据等的任何适当的存储器或装置形成。存储单元1102的示例包括非暂时性计算机可读存储介质，例如半导体存储器器件以及被加载到读取和写入单元中的磁性、光学或磁光记录介质。程序使得处理器1101如参考图12所述的根据本公开的实施例重构表示场景的点云。
输入设备1103可以由键盘、诸如鼠标之类的指示设备等形成，以供用户用来输入命令。输出设备1104可以由显示设备形成，以显示例如根据本公开的实施例生成的图形用户界面(GUI)点云。例如，输入设备1103和输出设备1104可以由触摸屏面板一体形成。
接口单元1105提供装置1100与外部装置之间的接口。接口单元1105可以经由有线或无线通信与外部装置通信。在实施例中，外部装置可以是光场相机。在这种情况下，由光场相机捕捉的4D光场图像的数据可以通过接口单元1105从光场相机输入到装置1100，然后存储在存储单元1102中。
在该实施例中，装置1100被示例性地说明成它与光场相机分离并且它们可以通过有线或无线通信彼此进行通信，但是应该注意，装置1100可以与这种光场相机集成。在后一种情况下，装置1100可以是例如嵌入光场相机的便携式设备(例如，平板计算机或智能电话)。
图12是示出了根据本发明实施例的用于重构表示从光学设备获得的场景的点云的方法的步骤的流程图。该方法例如由装置1100的处理器1101来执行。
在步骤1201中，装置1100接收与光学设备获得的场景相关联的图、颜色图、深度图和SEI消息。
在步骤1202中，处理器1101处理图、颜色图、深度图以及包括在SEI消息中的固定参数以便针对传感器的每个像素重构表示场景对象的3D(三维)空间中的点，所述点由传感器的所述像素感测。
实际上，知道点P的深度zp，就可以在3D空间中找到点P的坐标xp和yp。在这种情况下，四个参数χ1，χ2，χ3，χ4允许定义由所考虑的像素感测的光线与两个参数化平面P1和P2的两个相交点。
点P属于由与两个参数化平面P1和P2相交的这两个点定义的光线，如图9所示，并且点P位于深度z＝zp，该深度是与装置1100接收的深度图中的像素相关联的深度值。于是，获得的等式是
即，
在给定观察方向上，由光学设备观察到点P。由于图和固定参数是光场数据，因此可以计算定义观察方向的矢量相机在该观察方向上观察点P。
因此，在步骤1203中，处理器1101如下计算向量的坐标：
针对光学设备的传感器的所有像素执行步骤1201至1203，以便生成表示从光学设备获得的场景的点云。
针对给定场景的所有像素计算出的点P的集合被称为点云。与每点观察方向相关联的点云被称为“有向”点云。借助四个图，即图、图、图和图，获得构成点云的点的取向，所述图与表示由相机的传感器的像素感测的光线的参数(χ1 χ2 χ3 χ4)中的每个参数相对应。
当用相对位置已被校准的若干相机来观察场景时，可以针对同一点P，获得与不同相机相关联的不同观察方向和颜色。这会提供关于场景的更多信息，并且可以有助于例如提取光位置和/或材料的反射特性。当然，由两个不同相机获取的数据的重投影不会完全匹配同一点P。定义了在给定位置附近的近似，以认为在该范围内两个重投影在空间中与同一点相关联。
尽管上文已经参考特定实施例描述了本发明，但是本发明不限于这些特定实施例，并且对于本领域技术人员而言，在本发明的范围内的修改是显而易见的。
本领域技术人员在参考前述说明性实施例时很容易想到许多进一步的修改和变型，这些说明性实施例仅作为示例给出而并非旨在限制本发明的范围，本发明的范围仅由所附权利要求来确定。特别地，在适当的情况下，可以互换不同实施例中的不同特征。

Claims (13)

1.一种用于对表示从光学设备获得的场景的信号进行编码的计算机实现的方法，所述方法包括针对所述光学设备的传感器的至少一个像素对以下各项进行编码：
-第一参数集合，表示由所述像素感测的光线，
-第二参数集合，用于根据所述第一参数集合重构所述光线，
-第三参数集合，表示由所述第一参数集合表示的所述光线与至少所述场景的对象的相交点沿所述光学设备的光轴的位置，
-第四参数集合，表示由所述像素感测的所述场景的所述对象的颜色数据，
所述第三参数集合连同所述第四参数集合和所述重构的光线一起用于重构表示所述场景的点云。
2.根据权利要求1所述的方法，其中，所述第一参数集合中的至少一个参数表示所述光线的坐标与对由所述光学系统的多个像素感测的多个光线的坐标集合进行拟合的拟合平面之间的距离，并且所述第二参数集合中的至少一个参数表示所述拟合平面的坐标。
3.根据前述权利要求中任一项所述的方法，其中，所述第一参数集合中的至少一个参数表示：
-表示由所述像素感测的所述光线的值与表示由在所述传感器的一行中的、在所述像素之前的另一像素感测的光线的值之间的差值，或者
-当所述像素是所述传感器的一行中的第一个像素时，表示由所述像素感测的所述光线的值与表示由在所述像素所属行的前一行中的第一个像素感测的光线的值之间的差值。
4.根据前述权利要求中任一项所述的方法，其中，使用独立的编解码器对所述第一参数集合中的参数进行编码。
5.根据前述权利要求中任一项所述的方法，其中，当所述第二参数集合包括指示自所述第一参数集合的上一次传输以来所述第一参数集合未改变的参数时，仅传输所述第二参数集合。
6.一种用于对表示从光学设备获得的场景的信号进行编码的设备，所述设备包括处理器，所述处理器被配置为针对所述光学设备的传感器的至少一个像素对以下各项进行编码：
-第一参数集合，表示由所述像素感测的光线，
-第二参数集合，用于根据所述第一参数集合重构所述光线，
-第三参数集合，表示由所述第一参数集合表示的所述光线与至少所述场景的对象的相交点沿所述光学设备的光轴的位置，
-第四参数集合，表示由所述像素感测的所述场景的所述对象的颜色数据，
所述第三参数集合连同所述第四参数集合和所述重构的光线一起用于重构表示所述场景的点云。
7.一种用于重构表示从光学设备获得的场景的点云的计算机实现的方法，所述方法包括：
-对信号进行解码，所述信号包括：
·第一参数集合，表示由所述光学设备的传感器的至少一个像素感测的光线，
·第二参数集合，用于根据解码的第一参数集合重构光场内容，
·第三参数集合，表示由所述第一参数集合表示的所述光线与至少所述场景的对象的相交点沿着所述光学设备的光轴的位置，
·第四参数集合，表示由所述像素感测的所述场景的所述对象的颜色数据，
-基于解码的第一参数集合、解码的第二参数集合、解码的第三参数集合和解码的第四参数集合来重构所述点云。
8.根据权利要求7所述的方法，其中，重构所述点云包括：
-针对所述传感器的至少一个像素计算以下各项：
·与所述光线与至少所述场景的对象的相交点相对应的点在三维空间中的位置，
·观察方向，所述光学设备沿着所述观察方向观察所述点，
-将表示由所述传感器的所述像素感测的颜色数据的参数与所计算的点相关联。
9.一种用于重构表示从光学设备获得的场景的点云的设备，所述设备包括处理器，所述处理器被配置为：
-解码信号，所述信号包括：
·第一参数集合，表示由所述光学设备的传感器的至少一个像素感测的光线，
·第二参数集合，用于根据解码的第一参数集合重构光场内容，
·第三参数集合，表示由所述第一参数集合表示的所述光线与至少所述场景的对象的相交点沿着所述光学设备的光轴的位置，
·第四参数集合，表示由所述像素感测的所述场景的所述对象的颜色数据，
-基于解码的第一参数集合、解码的第二参数集合、解码的第三参数集合和解码的第四参数集合来重构所述点云。
10.一种由设备发送的信号，所述设备用于对表示从光学设备获得的场景的信号进行编码，所述信号针对所述光学设备的传感器的至少一个像素携带包括以下各项的消息：
-第一参数集合，表示由所述像素感测的光线，
-第二参数集合，用于根据所述第一参数集合重构所述光线，
-第三参数集合，表示由所述第一参数集合表示的所述光线与至少所述场景的对象的相交点沿所述光学设备的光轴的位置，
-第四参数集合，表示由所述像素感测的所述场景的所述对象的颜色数据，
所述第三参数集合连同所述第四参数集合和所述重构的光线一起用于重构表示所述场景的点云。
11.一种数字文件，包括表示从光学设备获得的场景的数据，所述数据针对所述光学设备的传感器的至少一个像素包括以下各项：
-第一参数集合，表示由所述像素感测的光线，
-第二参数集合，用于根据所述第一参数集合重构所述光线，
-第三参数集合，表示由所述第一参数集合表示的所述光线与至少所述场景的对象的相交点沿所述光学设备的光轴的位置，
-第四参数集合，表示由所述像素感测的所述场景的所述对象的颜色数据，
所述第三参数集合连同所述第四参数集合和所述重构的光线一起用于重构表示所述场景的点云。
12.一种计算机程序，其特征在于，所述计算机程序包括程序代码指令，用于当处理器执行所述程序时，实现根据权利要求1至5中任一项所述的方法。
13.一种计算机程序，其特征在于，所述计算机程序包括程序代码指令，用于当处理器执行所述程序时，实现根据权利要求7至8中任一项所述的方法。
CN201780057373.4A 2016-09-19 2017-09-14 使用光场数据重构表示场景的点云的方法和设备 Pending CN109792528A (zh)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
EP16306193.0 2016-09-19
EP16306193 2016-09-19
EP16306287.0A EP3301926A1 (en) 2016-09-30 2016-09-30 A method and a device for reconstructing a point cloud representative of a scene using light-field data
EP16306287.0 2016-09-30
PCT/EP2017/073077 WO2018050725A1 (en) 2016-09-19 2017-09-14 A method and a device for reconstructing a point cloud representative of a scene using light-field data

Publications (1)

Publication Number Publication Date
CN109792528A true CN109792528A (zh) 2019-05-21

Family

ID=59856540

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780057373.4A Pending CN109792528A (zh) 2016-09-19 2017-09-14 使用光场数据重构表示场景的点云的方法和设备

Country Status (6)

Country Link
US (1) US20190387211A1 (zh)
EP (1) EP3516873A1 (zh)
JP (1) JP2019534606A (zh)
KR (1) KR20190052089A (zh)
CN (1) CN109792528A (zh)
WO (1) WO2018050725A1 (zh)

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11818401B2 (en) 2017-09-14 2023-11-14 Apple Inc. Point cloud geometry compression using octrees and binary arithmetic encoding with adaptive look-up tables
US10861196B2 (en) 2017-09-14 2020-12-08 Apple Inc. Point cloud compression
US10897269B2 (en) 2017-09-14 2021-01-19 Apple Inc. Hierarchical point cloud compression
US11113845B2 (en) 2017-09-18 2021-09-07 Apple Inc. Point cloud compression using non-cubic projections and masks
US10909725B2 (en) 2017-09-18 2021-02-02 Apple Inc. Point cloud compression
US10607373B2 (en) 2017-11-22 2020-03-31 Apple Inc. Point cloud compression with closed-loop color conversion
US10909727B2 (en) 2018-04-10 2021-02-02 Apple Inc. Hierarchical point cloud compression with smoothing
US11010928B2 (en) 2018-04-10 2021-05-18 Apple Inc. Adaptive distance based point cloud compression
US10939129B2 (en) 2018-04-10 2021-03-02 Apple Inc. Point cloud compression
US10867414B2 (en) 2018-04-10 2020-12-15 Apple Inc. Point cloud attribute transfer algorithm
US10909726B2 (en) 2018-04-10 2021-02-02 Apple Inc. Point cloud compression
KR102537946B1 (ko) * 2018-04-17 2023-05-31 삼성전자주식회사 포인트 클라우드에 관한 데이터를 프로세싱하기 위한 방법 및 장치
US11017566B1 (en) 2018-07-02 2021-05-25 Apple Inc. Point cloud compression with adaptive filtering
US11202098B2 (en) 2018-07-05 2021-12-14 Apple Inc. Point cloud compression with multi-resolution video encoding
CN110708529B (zh) * 2018-07-09 2020-08-14 上海交通大学 动态点云投影压缩方法、系统、装置及介质
US11012713B2 (en) 2018-07-12 2021-05-18 Apple Inc. Bit stream structure for compressed point cloud data
US11367224B2 (en) 2018-10-02 2022-06-21 Apple Inc. Occupancy map block-to-patch information compression
EP3671628A1 (en) * 2018-12-18 2020-06-24 InterDigital CE Patent Holdings A method and a device for obtaining data representative of a scene from a plurality of three-dimensional (3d) points representing said scene
US11057564B2 (en) 2019-03-28 2021-07-06 Apple Inc. Multiple layer flexure for supporting a moving image sensor
WO2020256244A1 (ko) * 2019-06-21 2020-12-24 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
US11711544B2 (en) 2019-07-02 2023-07-25 Apple Inc. Point cloud compression with supplemental information messages
US11562507B2 (en) 2019-09-27 2023-01-24 Apple Inc. Point cloud compression using video encoding with time consistent patches
US11627314B2 (en) 2019-09-27 2023-04-11 Apple Inc. Video-based point cloud compression with non-normative smoothing
US11538196B2 (en) 2019-10-02 2022-12-27 Apple Inc. Predictive coding for point cloud compression
US11895307B2 (en) 2019-10-04 2024-02-06 Apple Inc. Block-based predictive coding for point cloud compression
US11798196B2 (en) 2020-01-08 2023-10-24 Apple Inc. Video-based point cloud compression with predicted patches
US11475605B2 (en) 2020-01-09 2022-10-18 Apple Inc. Geometry encoding of duplicate points
US11615557B2 (en) 2020-06-24 2023-03-28 Apple Inc. Point cloud compression using octrees with slicing
US11620768B2 (en) 2020-06-24 2023-04-04 Apple Inc. Point cloud geometry compression using octrees with multiple scan orders
KR20220001312A (ko) * 2020-06-29 2022-01-05 삼성전자주식회사 무선 통신 시스템에서 데이터의 송수신을 제어하기 위한 방법 및 장치
CN116210219A (zh) * 2020-07-21 2023-06-02 Oppo广东移动通信有限公司 光场图像的处理方法、编码器、解码器及存储介质
US11948338B1 (en) 2021-03-29 2024-04-02 Apple Inc. 3D volumetric content encoding using 2D videos and simplified 3D meshes

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11353496A (ja) * 1998-06-10 1999-12-24 Ken Nishimura 光線追跡のための交点探索装置
EP1600890A2 (en) * 2004-05-28 2005-11-30 Kabushiki Kaisha Toshiba Distortion correction of fish-eye image
CN101627280A (zh) * 2006-11-21 2010-01-13 曼蒂斯影像有限公司 三维几何建模和三维视频内容创建
CN102656878A (zh) * 2009-11-27 2012-09-05 三星电子株式会社 图像处理设备和方法
CN103856777A (zh) * 2012-12-04 2014-06-11 中山大学深圳研究院 一种基于光场渲染的视频编解码方法
CN104469343A (zh) * 2014-11-26 2015-03-25 北京智谷技术服务有限公司 光场显示控制方法和装置、光场显示设备

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE9700384D0 (sv) * 1997-02-04 1997-02-04 Biacore Ab Analytical method and apparatus
KR100940148B1 (ko) * 2001-07-12 2010-02-03 도 랩스 디지털 영상을 그 잡음을 고려하여 수정하기 위한 방법 및시스템
AT504582B1 (de) * 2006-11-23 2008-12-15 Arc Austrian Res Centers Gmbh Verfahren zur generierung eines bildes in elektronischer form, bildelement für einen bildsensor zur generierung eines bildes sowie bildsensor
US20100328308A1 (en) * 2008-07-10 2010-12-30 C-True Ltd. Three Dimensional Mesh Modeling
US8983449B1 (en) * 2011-09-26 2015-03-17 Klone Mobile, LLC End user controlled temporary mobile phone service device swapping system and method
GB201208088D0 (en) * 2012-05-09 2012-06-20 Ncam Sollutions Ltd Ncam
EP2992357A4 (en) * 2013-04-29 2017-01-18 Nokia Technologies OY A method and apparatus for fusing distance data from a distance sensing camera with an image
EP3522522B1 (en) * 2014-03-03 2020-04-29 Photoneo S.R.O Methods and apparatus for superpixel modulation
DE102014005181A1 (de) * 2014-04-03 2015-10-08 Astrium Gmbh Positions- und Lagebestimmung von Objekten
US20170353711A1 (en) * 2016-06-04 2017-12-07 Shape Labs Inc. System for capturing a textured 3d scan of a human body
EP3261347A1 (en) * 2016-06-22 2017-12-27 Thomson Licensing A method and a device for encoding a signal representative of a light-field content
CN107662869B (zh) * 2016-07-29 2021-06-29 奥的斯电梯公司 用于乘客运送装置的大数据分析处理系统和方法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11353496A (ja) * 1998-06-10 1999-12-24 Ken Nishimura 光線追跡のための交点探索装置
EP1600890A2 (en) * 2004-05-28 2005-11-30 Kabushiki Kaisha Toshiba Distortion correction of fish-eye image
CN101627280A (zh) * 2006-11-21 2010-01-13 曼蒂斯影像有限公司 三维几何建模和三维视频内容创建
CN102656878A (zh) * 2009-11-27 2012-09-05 三星电子株式会社 图像处理设备和方法
CN103856777A (zh) * 2012-12-04 2014-06-11 中山大学深圳研究院 一种基于光场渲染的视频编解码方法
CN104469343A (zh) * 2014-11-26 2015-03-25 北京智谷技术服务有限公司 光场显示控制方法和装置、光场显示设备

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
J.M.SCHUMPERT, R.J.JENKINS: "A TWO-CONPONENT IMAGE CODING SCHEME BASED ON TWO—DIMENSIONAL INTERPOLATION AND THE DISCRETE COSINE TRANSFORM", 《IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH AND SIGNAL PROCESSING (ICASSP ‘83)》 *
MOTION PICTURE EXPERTS GROUP ISO/IEC JTC1/SC29/WG11: "Joint ad hoc group for digital representation of light/sound field for immersive media application", 《115.MPEG MEETING GENEVA》 *

Also Published As

Publication number Publication date
US20190387211A1 (en) 2019-12-19
KR20190052089A (ko) 2019-05-15
JP2019534606A (ja) 2019-11-28
WO2018050725A1 (en) 2018-03-22
EP3516873A1 (en) 2019-07-31

Similar Documents

Publication Publication Date Title
CN109792528A (zh) 使用光场数据重构表示场景的点云的方法和设备
US10757423B2 (en) Apparatus and methods for compressing video content using adaptive projection selection
EP3301926A1 (en) A method and a device for reconstructing a point cloud representative of a scene using light-field data
JP7171169B2 (ja) ライトフィールド・コンテンツを表す信号を符号化する方法および装置
US11968349B2 (en) Method and apparatus for encoding and decoding of multiple-viewpoint 3DoF+ content
WO2019008222A1 (en) METHOD AND APPARATUS FOR ENCODING MULTIMEDIA CONTENT
TW202126036A (zh) 具有輔助修補之容積視訊
KR102607709B1 (ko) 3 자유도 및 볼류메트릭 호환 가능한 비디오 스트림을 인코딩 및 디코딩하기 위한 방법들 및 디바이스들
US20230128826A1 (en) Generating holographic or lightfield views using crowdsourcing
KR102548327B1 (ko) 코딩된 이미지 또는 화상을 디코딩하기 위한 방법, 장치 및 매체
CN112243585B (zh) 调整平面源图像中的样本块的量化参数qp值的方法和编码设备
US11295541B2 (en) Method and apparatus of 360 degree camera video processing with targeted view
EP3709659A1 (en) A method and apparatus for encoding and decoding volumetric video
WO2019008233A1 (en) METHOD AND APPARATUS FOR ENCODING MULTIMEDIA CONTENT
RU2809180C2 (ru) Способ и аппаратура для кодирования и декодирования глубины
US20220345681A1 (en) Method and apparatus for encoding, transmitting and decoding volumetric video
Kim et al. Compression Efficiency Evaluation for Virtual Reality Videos by Projection Scheme

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
WD01 Invention patent application deemed withdrawn after publication
WD01 Invention patent application deemed withdrawn after publication

Application publication date: 20190521