CN111742549B - 在数据流中编码及解码来自数据流的三维场景的方法和装置 - Google Patents

在数据流中编码及解码来自数据流的三维场景的方法和装置 Download PDF

Info

Publication number
CN111742549B
CN111742549B CN201980014201.8A CN201980014201A CN111742549B CN 111742549 B CN111742549 B CN 111742549B CN 201980014201 A CN201980014201 A CN 201980014201A CN 111742549 B CN111742549 B CN 111742549B
Authority
CN
China
Prior art keywords
color
data
depth
picture
geometry
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201980014201.8A
Other languages
English (en)
Other versions
CN111742549A (zh
Inventor
J.弗勒罗
R.多尔
F.托多尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
InterDigital VC Holdings Inc
Original Assignee
InterDigital VC Holdings Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by InterDigital VC Holdings Inc filed Critical InterDigital VC Holdings Inc
Priority to CN202310826030.7A priority Critical patent/CN116939185A/zh
Publication of CN111742549A publication Critical patent/CN111742549A/zh
Application granted granted Critical
Publication of CN111742549B publication Critical patent/CN111742549B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • G06T9/001—Model-based coding, e.g. wire frame
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/756—Media network packet handling adapting media to device capabilities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H04N13/178—Metadata, e.g. disparity information

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Library & Information Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Generation (AREA)
  • Processing Or Creating Images (AREA)

Abstract

提供用于编码和解码承载表示三维场景的数据的数据流的方法和设备，该数据流包括打包在色彩图像中的色彩画面；打包在深度图像中的深度画面；以及包括去投影数据的一组补片数据项；用于在色彩图像取回色彩画面的数据和几何数据。两种类型的几何数据是可能的。第一种类型的数据描述如何在深度图像中取回深度画面。第二种类型的数据包括参数化函数的标识符和标识出的参数化函数的参数值的列表。

Description

在数据流中编码及解码来自数据流的三维场景的方法和装置
技术领域
本原理一般涉及在数据流中编码以及解码来自数据流的三维场景或三维场景的序列的编码和解码。具体地，但不排他地，本原理的技术领域涉及对场景的纹理的色彩图像和深度图像或者场景的几何形状的分析参数的编码/解码。
背景技术
本部分旨在向读者介绍本领域的各个方面，其可能与以下描述和/或要求保护的本原理的各个方面有关。认为该讨论有助于向读者提供背景信息，以有助于更好地理解本原理的各个方面。因此，应该理解的是，要鉴于此地阅读这些陈述，而不作为对现有技术的承认。
沉浸式视频(也称为360°平面视频)允许用户通过围绕静止视点的头部旋转来观看自己周围的一切。旋转仅允许3自由度(3DoF)体验。即使3DoF视频足以用于首次全向视频体验(例如使用头戴式显示设备(HMD))，对于将期望更大自由度的观看者来说，例如通过体验视差，3DoF视频也可能很快变得令人沮丧。另外，3DoF也可能引起头晕，因为用户绝不是仅仅旋转其头部，而是还在三个方向上平移头部，平移在3DoF视频体验中不被再现。
体积式视频(也称为6自由度(6DoF)视频)是3DoF视频的替代。当观看6DoF视频时，除了旋转之外，用户还可以在观看的内容内平移其头部以及甚至身体，并体验视差以及甚至体积。这样的视频极大地增加沉浸的感觉和场景深度的感知，并且也通过在头部平移期间提供一致的视觉反馈而防止头晕。内容通过专用传感器创建，允许同时记录感兴趣场景的色彩和深度。结合摄影机技术使用的一套色彩相机是进行这种记录的一种常用方式。
体积式视频是3D场景的序列。编码体积式视频的一种解决方案是将3D场景的序列中的每个3D场景投影到被聚类为色彩画面和深度画面(称为补片)的投影图上。补片以存储在视频流的视频轨道中的色彩图像和深度图像打包。这种编码具有使用标准的图像和视频处理标准的优点。在解码时，色彩图像的像素以由存储在相关联的深度画面中的信息确定的深度被去投影。这样的解决方案是有效的。然而，将这种大量数据编码为视频流的视频轨道中的图像产生问题。比特流的大小引起有关存储空间，网络传输和解码性能的比特率技术问题。
发明内容
以下提出本原理的简要概述，以便提供对本原理的一些方面的基本理解。本概述不是对本原理的广泛综述。不意图标识本原理的关键或重要要素。以下概述仅以简化形式提出本原理的一些方面，作为下面提供的更详细描述的序言。
本原理涉及一种在流中编码3D场景的方法。本公开涉及一种在流中编码三维场景的方法。该方法包括：
～-获得一组补片，补片包括：
·去投影数据；
·色彩图像；和
·属于两种几何类型的集合的几何类型的几何数据：第一种几何类型的几何数据包括深度画面；第二种几何类型的几何数据包括参数化函数的标识符和标识出的参数化函数的参数值的列表；
-通过打包所述补片的色彩画面并将色彩数据存储在对应的补片中来生成色彩图像，色彩数据包括打包在色彩图像中的所述补片的色彩画面的位置的描述；
-通过打包具有第一种几何类型的几何数据的补片的深度画面并通过深度图像中打包的所述补片的深度画面的位置的描述来替换对应补片的几何数据中的深度画面来生成深度图像；
-在流中编码：
·生成的色彩图像；
·生成的深度图像；
·一组补片数据项，补片数据项包括补片的去投影数据，所述补片的色彩数据和所述补片的几何数据。
本公开还涉及一种适于在流中编码三维场景的设备。该设备包括与处理器相关联的存储器，该处理器被配置为执行在流中编码三维场景的本方法。
本公开还涉及从数据流解码三维场景的方法。该方法包括：
-从所述数据流中获得：
·色彩图像，包括打包在所述色彩图像中的色彩画面；
·深度图像，包括打包在所述深度图像中的深度画面；和
·一组补片数据项，补片数据项包括：
-去投影数据；
-色彩数据，包括色彩画面在色彩图像中的位置的描述；和
-属于两种几何类型的集合的几何类型的几何数据；第一种几何类型的几何数据包括深度画面在深度图像中的位置的描述；第二种几何类型的几何数据包括参数化函数的标识符和标识出的参数化函数的参数值的列表；
-对于该组补片数据项：
·如果几何数据是第一种几何类型，则根据由几何数据描述的深度画面的像素确定出的深度值，使用去投影数据去投影由色彩数据描述的色彩画面的像素；
·如果几何数据是第二种几何类型，则以由几何数据的参数化函数确定出的深度值，使用去投影数据去投影由色彩数据描述的色彩画面的像素，所述参数化用参数值的列表初始化。
本公开还涉及适于从数据流解码三维场景的设备。该设备包括与处理器相关联的存储器，该处理器被配置为执行从数据流中解码三维场景的本方法。
本公开还涉及一种承载表示三维场景的数据的数据流。该数据流包括：
-至少一个色彩图像，包括打包在所述色彩图像中的色彩画面；
-至少一个深度图像，包括打包在所述深度图像中的深度画面，深度图像与第一色彩图像相关联；和
-与所述第一色彩图像相关联的一组补片数据项，补片数据项包括：
·去投影数据；
·色彩数据，其包括色彩画面在第一色彩图像中的位置的描述；和
·属于两种几何类型的集合的几何类型的几何数据；第一种几何类型的几何数据包括深度画面在与第一色彩图像相关联的深度图像中的位置的描述；第二种几何类型的几何数据包括参数化函数的标识符和标识出的参数化函数的参数值的列表。
附图说明
在阅读以下描述时，将更好地理解本公开，并且将出现其他特定特征和优点，该描述参考附图，在附图中：
-图1示出根据本原理的非限制性实施例的对象的三维(3D)模型和与3D模型对应的点云的点；
-图2示出根据本原理的非限制性实施例的表示三维场景的图像，三维场景包括被捕获为点云的若干个对象的表面表示；
-图3例示根据本原理的非限制性实施例的3D场景的序列的编码，传输和解码的示例；
-图4例示根据本原理的非限制性实施例的相对于图2的3D场景的两个补片，每个补片包括色彩画面，深度画面和去投影数据。
-图5示出根据本原理的非限制性实施例的相对于图2的3D场景的两个补片，每个补片包括色彩画面，深度画面，去投影数据以及包含分析函数的标识符和用于初始化该函数的参数值的数据；
-图6例示根据本原理的非限制性实施例的将获得的补片打包在色彩图像和深度图像中；
-图7示出根据本原理的非限制性实施例的，当通过基于分组的传输协议来传输数据时的流的语法的实施例的示例；
-图9例示根据本原理的非限制性实施例的，在被配置为图3的编码器31的图8的设备中，用于在流中编码点云的方法；
-图10例示根据本原理的非限制性实施例的，在被配置为图3的设备33的图8的设备中，用于从流解码三维场景的方法。
具体实施方式
在下文中将参考附图更全面地描述本原理，附图中示出本原理的示例。然而，本原理可以以许多替代形式实施，并且不应该被解释为限于这里阐述的示例。因此，虽然本原理易于进行各种修改和替换形式，但是其具体示例通过附图中的示例示出并且将在本文中详细描述。然而，应该理解，不意图将本原理限制于公开的特定形式，相反，本公开要覆盖落入权利要求定义的本原理的精神和范围内的所有修改，等同物和替代物。
本文使用的术语仅用于描述特定示例的目的，并不旨在限制本原理。如本文使用的，单数形式“一”，“一个”和“该”旨在也包括复数形式，除非上下文另有明确说明。将进一步理解，当在本说明书中使用时，术语“包括”，“包含”，“包括”和/或“包括”指定陈述的特征，整数，步骤，操作，要素和/或组件的存在，但是不排除存在或附加一个或多个其他特征，整数，步骤，操作，要素，组件和/或其分组。此外，当元件被称为“响应”或“连接”到另一个元件时，它可以直接响应或连接到另一个元件，或者可以存在中间元件。相反，当元件被称为“直接响应”或“直接连接”到其他元件时，不存在中间元件。如本文使用，术语“和/或”包括一个或多个相关所列项目的任何和所有组合，并且可以缩写为“/”。。
将理解，尽管本文可以使用术语第一，第二等来描述各种要素，但是这些元件不应受这些术语的限制。这些术语仅用于区分一个要素与另一个要素。例如，第一要素可以被称为第二要素，并且类似地，在不脱离本原理的教导的情况下，第二要素可以被称为第一要素。
尽管一些图包括通信路径上的箭头以示出通信的主要方向，但是要理解，通信可以在与所示箭头相反的方向上发生。
关于框图和操作流程图描述一些示例，其中每个框表示用于实现(多个)指定逻辑功能的电路元件，模块或包括一个或多个可执行指令的代码部分。还应注意，在其他实现方式中，框中标注的(多个)功能可以不按所述顺序发生。例如，连续示出的两个框实际上可以基本上同时执行，或者这些框有时取决于所涉及的功能可以以相反的顺序执行。
本文对“根据示例”或“在示例中”的引用意味着结合该示例描述的特定特征，结构或特性可以包括在本原理的至少一个实现方式中。在说明书中各处出现的短语“根据示例”或“在示例中”不一定都指代相同的示例，也不一定是与其他示例相互排斥的单独或替代示例。
权利要求中出现的附图标记仅是示例性的，并且对权利要求的范围没有限制作用。虽然没有明确描述，但是这些示例和变型可以以任何组合或子组合使用。
描述了本原理用于在数据流中编码/解码来自数据流的三维(3D)场景或三维场景的序列。
图1示出对象10的三维(3D)模型以及与3D模型10对应的点云11的点。模型11可以是3D网格表示，并且点云10的点可以是网格的顶点。点10也可以是散布在网格的各个面的表面上的点。模型10也可以表示为云11的点的喷溅版本；通过喷溅点云11的点来创建模型10的表面。模型10可以由许多不同的表示(诸如，体素或样条)来表示。图1例示出总是有可能从3D对象的表面表示中定义点云。反之，总是有可能从云的点创建3D对象的表面表示。如本文使用，将3D对象的点(通过3D场景的扩展点)投影到图像上等同于将该3D对象的任何表示投影到图像上。
图2示出表示三维场景的图像20，该三维场景包括被捕获为点云的若干个对象的表面表示。图像20从与获取视点不同的视点生成。例如，图像20右侧的人物不完整，其左臂和后背的点不可用(例如，其没有被捕获)来完成表面表示。3D场景可以包括不同类型的表示。例如，场景中的人物表示为点云，而雕像表示为带纹理的网格。总是从视点呈现3D场景。不是场景的所有点都从视点可见，场景的某些部分被可见部分遮挡。体积式视频的观看者可以在定义一组可能的视点的区域中的3D场景内移动。从该组可能的视点可见的3D场景的每个点都必须被编码。
图3例示3D场景的序列的编码，传输和解码的示例。根据本编码方法的原理，由编码器31在流32中编码至少3D场景30的序列。解码器33从源获得流32。例如，源属于包含以下的集合：
-本地存储器，例如，视频存储器或RAM(随机存取存储器)，闪存，ROM(只读存储器)，硬盘；
-存储接口，例如，具有大容量存储器，RAM，闪存，ROM，光盘或磁性载体的接口；
-通信接口，例如，有线接口(例如，总线接口，广域网接口，局域网接口)或无线接口(诸如，IEEE 802.11接口或
Figure BDA0002639924750000061
接口)；
-用户界面，诸如，图形用户界面，使用户能够输入数据。
解码器33根据本解码方法解码来自流32的3D场景34的序列。根据本原理，3D场景34的序列尽可能类似于3D场景30的序列。可以由呈现的35从源获得3D场景34的序列。呈现器35计算要显示的图像用于6DoF视频观看体验。
根据本原理，通过根据投影映射将3D场景的点投影到投影图上来获得画面。许多投影映射可以用于生成补片，诸如，等矩形映射，立方体映射，金字塔形映射或正交映射。补片包括：
-色彩画面，将纹理投影到投影图上的结果，
-深度画面，存储几何信息，即，场景的点与投影图之间的距离；和
-去投影数据，其是允许取回两个画面中编码的场景的部分的数据。去投影数据由解码器使用，从而将3D空间中色彩画面的色彩像素以由深度画面的像素值确定的深度进行去投影。
图4例示相对于图2的3D场景的两个补片，每个补片包括色彩画面，深度画面和去投影数据。可以使用不同的投影过程来生成补片。例如，可以通过剥离投影过程来生成补片。另一种可能性是使用立方体映射投影的八叉树。可以使用任何合适的投影过程来生成补片。适用于本原理的投影过程生成一组补片，这些补片包括色彩画面，深度画面(或存储两者像素数据的唯一画面)和去投影数据，以允许解码器从两个画面中解码三维场景。在等矩形投影映射的示例中，去投影数据可以包括投影的中心的坐标，补片所对应的参考系中的立体角(例如，[θmin，θmax]，
Figure BDA0002639924750000071
)和用于编码深度画面中的深度的深度值的范围。通过投影过程去投影存储在两个画面中的信息所需的每个数据都包括在去投影数据中。这些数据允许解码器取回3D坐标和在两个投影图中投影的点的色彩。在图4的示例中，生成包括色彩画面401，深度画面402和一组投影数据403的补片40。该补片编码表示图2的3D场景的人物之一的正面的数据。色彩画面401是场景的这一部分的点在场景3D空间中定位的平面上的投影结果。深度画面402的像素存储该平面与3D场景的该部分之间的距离。在图4的示例中，深度像素越亮，场景的点越靠近平面。黑色深度像素意味着在色彩画面中的这些坐标处没有色彩信息。在图4上提供补片41的第二示例。补片41与图2的3D场景的第二人物的一部分对应。补片41包括色彩画面411，深度画面412和去投影数据413。去投影数据413是不同的id去投影数据403。在等矩形投影映射的示例中，投影的中心可能不同，在这两个画面中编码的3D空间的立体角不同并且深度画面的深度编码的动态性也可能不同。补片可以具有不同的大小和不同的形状。在本文档的示例中，每个补片是矩形。这仅是示例，并且根据投影过程，补片可以具有任何形状(例如，椭圆形或梯形)。如果未被缺省地设置，则此信息包含在去投影数据中。
根据本原理，根据任何合适的方法获得表示要编码的3D场景的一组补片。然后将这些补片打包到色彩图像和深度图像中，以便例如根据ISO BMFF标准添加到数据流的视频轨道中。3D场景的补片的色彩画面和深度画面的累积大小可能很可观。
图5示出相对于图2的3D场景的两个补片，每个补片包括色彩画面，深度画面，去投影数据以及包含分析函数的标识符和用于初始化该函数的参数值的数据。补片50编码表示圆柱体柱的3D场景的一部分。补片50包括色彩画面501，是将柱的色彩投影到投影图上的结果；深度画面502，其根据选取的投影映射编码投影图与对象之间的距离；去投影数据503，包括需要从画面中取回3D场景的部分的每个参数。另外(或代替深度画面502)，补片50包括数据项504，其包括分析函数的标识符和用于初始化该函数的参数值。
第一类别的参数化落入3D分析形状的组。典型地，当发现平面图(plan)与给定补片的几何形状(geometry)非常近似时，可以使用一组四个浮点系数(a，b，c，d)有利地替换深度画面用于传输后者的几何信息。在那种情况下，在解码侧，可以将感兴趣补片的给定像素的几何形状恢复为由3D空间的任何点(x，y，z)的等式a*x+b*y+c*z+d＝0定义的平面图与由该特定像素的去投影方向定向的射线的交点。替代地，对于二次近似(球状体，椭球体，圆柱体，双曲面)，要求一组十个浮点系数，并且由等式a*x+b*y+c*z+d*x*y+e*x*z+f*y*z+g*x*x+h*y*y+i*z*z+j＝0定义的表面与由去投影方向定向的射线之间的交点可以用于在该情况下在客户端侧恢复几何形状。
第二类别的参数化落入2D深度近似的组。在那种情况下，替代尝试近似补片的底层3D形状的几何形状，构思是要近似色彩补片的每个像素的深度值。如果将一个像素存储在像素坐标(a，b)，则尝试将该深度近似为(a，b)的函数f。在那种情况下，例如，可以通过等于补片上的恒定深度值的单个参数Z来参数化补片上的恒定深度。
根据本原理，分析和参数化函数的列表存储在存储器中。从色彩画面的2D空间到3D场景的3D空间的这些函数对应于简单的几何形状，诸如平面，圆柱体，球体或立方体。可以参数化这些函数，以设置3D空间中3D形状的大小，位置和取向。生成深度画面时，分析该结果，以确定场景的投影的部分的几何形状是否可以通过已知函数的列表中的参数化函数来近似。不同的技术可用于执行这种确定。可以计算由参数化函数生成的形状与在深度画面中编码的几何形状之间的距离，并且如果该距离小于给定阈值，则可以将参数化函数视为几何形状的良好近似。可以根据投影的部分相对于3D场景和/或定义一组可能视点的区域的大小或位置来确定此阈值。例如，近似对于小对象或距离可能的视点较远的对象可能不太准确。在本编码方法的该步骤可以使用任何合适的方法来确定在深度画面中编码的几何形状是否可以通过参数化的分析函数来近似。这样的补片具有两个几何类型的组中的第一类型的几何数据(深度画面)。
图5的补片51包括色彩画面511，深度画面512，去投影数据513和表示参数化分析函数514的数据。数据514例如包括指向已知函数列表中的平面函数的标识符以及用于在3D空间中定位和定向平面的一组参数值。除了深度画面之外，还提供数据514。在变型中，提供数据514而不是深度画面512。关于图4的补片40和41，因为没有参数化的分析函数被确定为场景的投影的部分的几何形状的良好近似，所以仅提供深度画面以编码该几何形状。这样的补片具有两个几何类型的组中的第二类型的几何数据。
根据本原理，获得关于图4和图5描述的一组补片。该组补片承载按照由一组可能的视点确定的必须在数据流中编码的场景中每个点的数据。
图6例示将获得的补片打包在色彩图像和深度图像中。对为3D场景获得的每个色彩画面执行打包操作，以生成色彩图像61。存在许多启发式算法来解决将矩形单元打包到矩形箱(即，要生成的图像)中的NP完全问题。例如Jukka
Figure BDA0002639924750000091
的“A Thousand Ways toPack the Bin”中描述的算法或“MaxRects”算法(即，单箱–最佳短边第一配置)，其以相当低的计算成本提供良好的填充率。在打包操作结束时，图像中色彩画面的位置(x，y)(例如，左下角位置)，形状(例如，矩形，椭圆形)和大小，并且根据打包算法，指示补片是否已旋转的布尔值被分配给补片数据项列表的每个补片。可以通过在视频编码器的编码单元上对齐色彩画面来优化打包，以改进解码阶段。图6示出其中图4和5的打包后的色彩画面的画面。
对为具有第一类型的几何数据的补片而获得的深度画面执行打包操作，以生成深度图像62。仅将不能被简化为已知函数的标识符和参数列表的深度画面存储在打包后的深度图像中。
图7示出当通过基于分组的传输协议来传输数据时的流的语法的实施例的示例。图7示出体积式视频流的示例结构70。该结构包含容器，该容器以独立的语法元素来组织流。该结构可以包括首部部分71，该首部部分是该流的每个语法元素共用的一组数据。例如，首部部分包括有关语法元素的元数据，以描述它们中每个的性质和作用。首部部分还可以包括用于编码6DoF呈现的第一色彩图像的一组可能视点的坐标，以及有关画面的大小和分辨率的信息。该结构包括有效载荷，也称为视频轨道，包括色彩画面72和深度画面73。图像可能已经根据视频压缩方法被压缩。
视频轨道的第三语法元素74包括一组补片数据项。补片数据项是包括被编码为字节的值的数据结构。可以使用任何合适的方法来压缩该数据结构。补片数据项包括去投影数据，色彩画面在色彩图像中的位置(以及可选的形状和大小)以及几何数据。有两种几何类型。第一种几何类型的几何数据包括深度画面在深度图像中的位置(以及可选地，形状和大小)。第二种几何类型的几何数据包括参数化函数的标识符和所标识的参数化函数的参数值的列表。
流的这三个语法元素相关联在一起。根据本原理，流可以包括这些数据的三元组的序列。对于流的第一语法元素中的每个色彩画面，深度画面与第二语法元素中的色彩画面相关联，并且一组补片数据项与流的第三语法元素中的色彩画面相关联。这些三元组被排序，并与时间信息(诸如，用于动态视频呈现的时间戳)相关联。
出于说明目的，在ISOBMFF文件格式标准的上下文中，将典型在MOOV类型的框内的ISOBMFF轨道中参考色彩图，深度图和元数据，而色彩图和深度图数据本身嵌入在mdat类型的媒体数据框中。
图8示出可以被配置为实现关于图9和/或10描述的方法的设备80的示例架构。设备80可以被配置为图3的编码器31或解码器33。
设备80包含以下元件，这些元件通过数据和地址总线81链接在一起：
-微处理器82(或CPU)，例如是DSP(或数字信号处理器)；
-ROM(或只读存储器)83；
-RAM(或随机存取存储器)84；
-存储接口85；
-I/O接口86，用于接收来自应用的要发送的数据；和
-电源，例如，电池。
根据示例，电源在设备外部。在每个提到的存储器中，说明书中使用的“寄存器”一词可以对应于小容量的区域(一些比特)或非常大的区域(例如，整个程序或接收的或解码的大量数据)。ROM 83至少包括程序和参数。ROM 83可以存储用于执行根据本原理的技术的算法和指令。当接通时，CPU 82将程序上载到RAM中并执行相应指令。。
RAM 84在寄存器中包括由CPU 82执行并在设备80接通之后上载的程序，寄存器中的输入数据，寄存器中方法的不同状态的中间数据，以及寄存器中用于执行方法的其他变量。
本文描述的实现方式可以在例如方法或处理，装置，软件程序产品，数据流或信号中实现。即使仅在单个实现方式的形式的上下文中讨论(例如，仅作为方法或设备讨论)，讨论的特征的实现方式也可以以其他形式(例如，程序)实现。装置可以在例如适当的硬件，软件和固件中实现。方法可以在例如诸如例如处理器之类的装置中实现，该处理器通常涉及处理设备，一般包括例如计算机，微处理器，集成电路或可编程逻辑设备。处理器还包括通信设备，诸如例如计算机，蜂窝电话，便携式/个人数字助理(“PDA”)，以及便于终端用户之间的信息通信的其他设备。
根据图3的编码或编码器31的示例，三维场景30从源获得。例如，源属于包含以下的集合：
-本地存储器(83或84)，例如，视频存储器或RAM(随机存取存储器)，闪存，ROM(只读存储器)，硬盘；
-存储接口(85)，例如，具有大容量存储器，RAM，闪存，ROM，光盘或磁性载体的接口；
-通信接口(86)，例如，有线接口(例如，总线接口，广域网接口，局域网接口)或无线接口(诸如，IEEE 802.11接口或
Figure BDA0002639924750000121
接口)；
-用户界面，诸如，图形用户界面，使用户能够输入数据。
根据图3的解码器或(多个)解码器33的示例，流被发送到目的地；具体而言，目的地属于包含以下的集合：
-本地存储器(83或84)，例如，视频存储器或RAM，闪存，硬盘；
-存储接口(85)，例如，具有大容量存储器，RAM，闪存，ROM，光盘或磁性载体的接口；和
-通信接口(86)，例如，有线接口(例如，总线接口(例如USB(或通用串行总线))，广域网接口，局域网接口，HDMI(高清多媒体接口)接口)或无线接口(诸如，IEEE 802.11接口，
Figure BDA0002639924750000122
或/>
Figure BDA0002639924750000123
接口)。
根据编码或编码器的示例，包括表示体积式场景的数据的比特流被发送到目的地。作为示例，比特流存储在本地或远程存储器中，例如，视频存储器(84)或RAM(84)，硬盘(83)。在变型中，比特流被发送到存储接口(85)，例如，具有大容量存储器，闪存，ROM，光盘或磁性载体的接口和/或通过通信接口(85)传输，例如，到点对点链路，通信总线，点对多点链路或广播网络的接口。
根据图3的解码或解码器或呈现器33的示例，从源获得比特流。示例性地，从本地存储器读取比特流，例如，视频存储器(84)，RAM(84)，ROM(83)，闪存(83)或硬盘(83)。在变型中，比特流从存储接口(85)接收，例如，具有大容量存储器，RAM，ROM，闪存，光盘或磁性载体的接口和/或从通信接口(85)接收，例如，到点对点链路，总线，点对多点链路或广播网络的接口。
根据示例，设备80被配置为实现上面关于图9或10描述的方法，并且属于包括以下的集合：
-移动设备；
-通信设备；
-游戏设备；
-平板电脑(或平板计算机)；
-膝上型计算机；
-照相机；
-摄像机；
-编码芯片；
-服务器(例如，广播服务器，视频点播服务器或网络服务器)。
图9例示根据本原理的非限制性实施例的，在被配置为编码器的设备80(参照图8描述)中用于在流中编码点云的方法。
在步骤90中，设备80的不同参数被更新。特别地，从源获得3D场景，在3D场景的空间中确定一组可能的视点，初始化投影映射，并且确定投影图，画面和图像的大小和分辨率。
在步骤91中，对3D场景执行投影处理，以获得表示从该组可能的视点的每个视点可见的场景部分的一组色彩画面和深度画面。可以使用任何合适的方法来获得该组色彩画面和深度画面。色彩画面和深度画面存储在称为补片的数据结构中。执行色彩画面和深度画面的去投影所需的数据从投影过程参数进行计算，并且存储在补片数据结构中。
在步骤91的第二部分中或同时，对每个生成的深度图执行处理，以确定深度图中编码的几何形状是否可以通过由参数值的列表参数化的函数来近似。从深度画面的2D空间到3D场景的3D空间的已知函数的列表存储在存储器中，每个函数由标识符(例如，列表中的顺序号)标识。可以直接对深度画面的标量深度值(标量近似)或去投影的3D点(矢量3D近似)执行近似。例如，常数，平面，球面，圆柱或多项式近似可以作为涉及很少系数的近似被提及，并且实际上很可能在3D场景中发现(例如，墙壁，地板或屋顶的片段经常是平面的)。如果标识出良好的近似性，则将深度画面从所考虑的补片中移除，并将包括使用的函数的标识符的几何数据以及用于最佳近似的参数值存储在补片中。在变型中，深度画面不从补片中移除。在此分析过程之前，称补片为两种类型的几何类型的组中的第一类型。如果找到用于其几何形状的近似，则补片变成该组的第二类型。
在步骤92中，对获得的该组补片的每个色彩画面执行打包过程，以生成色彩图像。在该步骤可以使用任何合适的方法来将色彩画面有效地打包在色彩图像中。色彩图像也称为色彩补片图集。根据色彩画面的点的投影将在色彩补片图集中占据的大小以给定的角分辨率(例如，每个像素3秒或每个像素5秒)，将色彩画面布置在色彩图像中。色彩画面在色彩图像中的位置存储在称为色彩数据的数据结构中。如果色彩画面的形状没有按缺省设置(例如，矩形)，则用于色彩图像中该色彩画面的形状被存储在色彩数据结构中。如果打包在色彩图像中的色彩画面的分辨率不是常数(即，对于每个色彩画面不是相同的)，则色彩图像中色彩图像的大小被存储在色彩数据中。
在步骤93中，将第一类型的几何形状的补片的深度画面打包在深度图像中。仅打包第一类型的补片的深度画面(这是为什么可以从第二类型的几何形状的补片的几何数据中移除深度画面的原因)。由于深度图像明显小于色彩图像，并且明显小于其中将打包每个深度画面的深度图像，因此这具有节省流中的很多比特率的优点。标识符和参数值的简短列表需要流中少量的字节，而编码为画面的相同信息需要多得多的字节。
在步骤94中，根据关于图7描述的结构生成表示3D场景的流。
图10例示根据本原理的非限制性实施例的，在被配置为图3的设备33的设备80(关于图8描述)中，用于从流解码三维场景的方法。
在步骤100中，设备80的不同参数被更新。具体地，从源获得流，在3D场景的空间中确定一组可能的视点。在变型中，从流中解码该组可能的视点。从存储介质取回从画面的2D空间到3D场景的3D空间的函数的列表并且存储在存储器中。在变型中，从流的首部部分取回函数的该列表。
在步骤101中，从流获得表示3D场景的数据。这些数据包括色彩图像，深度图像和称为补片数据项的一组数据结构。补片数据项包括去投影数据，色彩画面在色彩图像中的位置(以及可选的形状和大小)以及几何数据。存在两种几何类型。第一种几何类型的几何数据包括深度画面在深度图像中的位置(以及可选地，形状和大小)。第二种几何类型的几何数据包括参数化函数的标识符和标识出的参数化函数的参数值的列表。
然后对于至少一个补片数据项，优选地对于每个补片数据项，重复本方法的后续步骤。
在步骤102中，执行测试。如果补片的几何数据是第一几何类型，则执行步骤103。否则，如果补片的几何数据是第二几何类型，则执行步骤104。
在步骤103中，使用色彩数据结构的数据从色彩图像中取回色彩画面。使用补片的几何数据的数据从深度图像中取回深度画面。根据深度画面中的对应像素计算出的深度通过使用去投影数据来对色彩画面的像素进行去投影。因此，场景的一部分被解码。
在步骤104中，使用色彩数据结构的数据从色彩图像中取回色彩画面；根据补片的几何数据中包含的标识符，在存储在存储器中的函数的列表中取回函数。该函数使用相关联的参数值初始化。根据初始化的参数化函数计算出的深度通过使用投影数据对色彩画面的像素进行去投影。因此，场景的一部分被解码。
当已经对每个补片数据项执行步骤103或步骤104时，整个3D场景已经被解码。在步骤105中，将解码的3D场景发送到另一模块，例如图3的呈现器35。
自然地，本公开不限于先前描述的实施例。特别地，本公开不限于用于编码/解码承载表示三维场景(或三维场景的序列)的数据的流的方法和设备，而是还扩展到以3个自由度方式或以体积方式(即，3DoF+或6DoF)呈现三维场景的方法或者实现这些方法的任何设备以及尤其是包括至少一个CPU和/或至少一个GPU的任何设备。
本公开还涉及一种用于显示从包括表示三维场景的信息的数据流呈现的图像的方法(和配置的设备)。
本公开还涉及一种用于发送和/或接收根据本原理编码的流的方法(和配置的设备)。
本文描述的实现方式可以在例如方法或处理，装置，软件程序产品，数据流或信号中实现。即使仅在单个实现方式的形式的上下文中讨论(例如，仅作为方法或设备讨论)，讨论的特征的实现方式也可以以其他形式(例如，程序)实现。装置可以在例如适当的硬件，软件和固件中实现。方法可以在例如诸如处理器之类的装置中实现，该处理器通常涉及处理设备，一般包括例如计算机，微处理器，集成电路或可编程逻辑设备。处理器还包括通信设备，诸如例如智能电话、平板电脑、计算机，移动电话，便携式/个人数字助理(“PDA”)，以及便于终端用户之间的信息通信的其他设备。
本文描述的各种处理和特征的实现方式可以体现在各种不同的设备或应用中，特别是例如，与数据编码、数据解码、视图生成、纹理处理以及图像和相关纹理信息和/或深度信息的其他处理相关联的设备或应用中。这样的设备的示例包括编码器，解码器，处理来自解码器的输出的后处理器，提供输入给编码器的预处理器，视频编码器，视频解码器，视频编解码器，网络服务器，机顶盒，膝上型计算机，个人计算机，蜂窝电话，PDA以及其他通信设备。应该清楚的是，该设备可以是移动的，甚至可以安装在移动车辆中。
另外，可以通过由处理器执行的指令来实现方法，并且可以将这样的指令(和/或由实现方式产生的数据值)存储在诸如例如集成电路，软件载体之类的处理器可读介质上，或其他存储设备上，诸如例如硬盘，致密盘(CD)，光盘(诸如，例如DVD，通常称为数字多功能盘或数字视频盘)，随机存取存储器(“RAM”)或只读存储器(“ROM”)。指令可以形成有形地体现在处理器可读介质上的应用程序。指令可以在例如硬件，固件，软件或其组合中。指令可以在例如操作系统，单独的应用或两者的组合中找到。因此，处理器的特征可以在于例如被配置为实施处理的设备和包括具有用于实施处理的指令的处理器可读介质的设备(诸如，存储设备)。此外，除了或代替指令，处理器可读介质可以存储由实现方式产生的数据值。
对于本领域技术人员明显的是，实现方式可以产生各种信号，这些信号被格式化以承载可以例如被存储或传输的信息。该信息可以包括例如用于执行方法的指令，或者由描述的实现方式之一产生的数据。例如，信号可以被格式化以承载用于写入或读取描述的实施例的语法的规则作为数据，或者承载由描述的实施例写入的实际语法值作为数据。这样的信号可以被格式化，例如，作为电磁波(例如，使用频谱的射频部分)或者作为基带信号。格式化可以包括，例如，编码数据流和用编码的数据流调制载波。信号承载的信息可以是例如模拟或数字信息。如已知的，信号可以通过各种不同的有线或无线链路传输。信号可以存储在处理器可读介质上。
已经描述多个实现方式。然而，将理解，可以进行各种修改。例如，可以组合，补充，修改或移除不同实现方式的元素以产生其他实现方式。另外，普通技术人员将理解，其他结构和处理可以替代公开的那些，并且作为结果的实现方式将以至少基本相同的(多个)方式执行至少基本相同的(多个)功能，以至少实现与公开的实现方式基本相同的(多个)结果。因此，本申请考虑这些和其他实现方式。

Claims (18)

1.一种从数据流中解码三维场景的方法，该方法包括：
-从所述数据流中获得：
·打包在色彩图像中的色彩画面；
·打包在深度图像中的深度画面；和
·元数据，对于所述色彩图像的每个色彩画面，所述元数据包括：
-去投影数据；
-色彩数据，包括色彩画面在色彩图像中的位置的描述；和
-属于类型的组的类型的几何数据包括：第一种几何类型，其包括深度画面在深度图像中的位置的描述；以及第二种几何类型，其包括参数化函数的标识符和标识出的参数化函数的参数值的列表；
-对于所述色彩图像的色彩画面：
·在几何数据是第一种几何类型的情况下，根据由几何数据描述的深度画面的像素确定出的深度值，使用去投影数据去投影由色彩数据描述的色彩画面的像素；
·在几何数据是第二种几何类型的情况下，以由几何数据的参数化函数确定出的深度值，使用去投影数据去投影由色彩数据描述的色彩画面的像素，所述参数化函数用参数值的列表进行初始化。
2.根据权利要求1所述的方法，其中，色彩数据还包括色彩图像中的色彩画面的大小和/或形状的描述。
3.根据权利要求1所述的方法，其中，所述参数化函数的标识符指向存储在存储器中的参数化函数的列表的函数。
4.根据权利要求1所述的方法，其中，所述流包括色彩图像、深度图像和相关联的元数据的序列，深度图像和有关元数据与色彩图像相关联；色彩图像由时间信息进行结构化。
5.一种用于在数据流中编码三维场景的方法，该方法包括：
-获得一组补片，所述一组补片包括：
·去投影数据；
·色彩画面；和
·第一种几何类型的几何数据，其包括深度画面；
-通过打包所述补片的色彩画面和色彩数据生成色彩图像，色彩数据包括打包在色彩图像中的色彩画面的位置的描述；
-通过打包具有第一种几何类型的几何数据的补片的深度画面并通过深度图像中打包的深度画面的位置的描述来替换对应补片的几何数据中的深度画面来生成深度图像；
-在流中编码：
·生成的色彩图像；
·生成的深度图像；
·元数据，其包括每个补片的几何数据、色彩数据和去投影数据。
6.根据权利要求5所述的方法，其中，色彩数据还包括色彩图像中的色彩画面的大小和/或形状的描述。
7.根据权利要求5所述的方法，其中，所述流包括色彩图像、深度图像和相关联的元数据的序列，深度图像和有关元数据与色彩图像相关联；色彩图像由时间信息进行结构化。
8.根据权利要求5所述的方法，其中，所述一组补片包括：第二种几何类型的几何数据，其包括参数化函数的标识符和标识出的参数化函数的参数值的列表。
9.根据权利要求8所述的方法，其中，所述参数化函数的标识符指向存储在存储器中的参数化函数的列表的函数。
10.一种用于从数据流中解码三维场景的设备，该设备包括与处理器相关联的存储器，该处理器被配置为：
-从所述数据流中获得：
·打包在色彩图像中的色彩画面；
·打包在深度图像中的深度画面；和
·元数据，对于所述色彩图像的每个色彩画面，所述元数据包括：
-去投影数据；
-色彩数据，包括色彩画面在色彩图像中的位置的描述；和
-属于类型的组的类型的几何数据包括：第一种几何类型，其包括深度画面在深度图像中的位置的描述；以及第二种几何类型，其包括参数化函数的标识符和标识出的参数化函数的参数值的列表；
-对于所述色彩图像的色彩画面：
·在几何数据是第一种几何类型的情况下，根据由几何数据描述的深度画面的像素确定出的深度值，使用去投影数据去投影由色彩数据描述的色彩画面的像素；
·在几何数据是第二种几何类型的情况下，以由几何数据的参数化函数确定出的深度值，使用去投影数据去投影由色彩数据描述的色彩画面的像素，所述参数化函数用参数值的列表进行初始化。
11.根据权利要求10所述的设备，其中，色彩数据还包括色彩图像中的色彩画面的大小和/或形状的描述。
12.根据权利要求10所述的设备，其中，所述参数化函数的标识符指向存储在存储器中的参数化函数的列表的函数。
13.根据权利要求10所述的设备，其中，所述流包括色彩图像、深度图像和相关联的元数据的序列，深度图像和有关元数据与色彩图像相关联；色彩图像由时间信息进行结构化。
14.一种用于在数据流中编码三维场景的设备，该设备包括与处理器关联的存储器，该处理器配置为：
-获得一组补片，所述一组补片包括：
·去投影数据；
·色彩画面；和
·第一种几何类型的几何数据，其包括深度画面；
-通过打包所述补片的色彩画面和色彩数据来生成色彩图像，色彩数据包括打包在色彩图像中的色彩画面的位置的描述；
-通过打包具有第一种几何类型的几何数据的补片的深度画面并通过深度图像中打包的所述补片的深度画面的位置的描述来替换对应补片的几何数据中的深度画面来生成深度图像；
-在流中编码：
·生成的色彩图像；
·生成的深度图像；
·元数据，其包括每个补片的几何数据、色彩数据和去投影数据。
15.根据权利要求14所述的设备，其中，色彩数据还包括色彩图像中的色彩画面的大小和/或形状的描述。
16.根据权利要求14所述的设备，其中，所述流包括色彩图像、深度图像和相关联的元数据的序列，深度图像和有关元数据与色彩图像相关联；色彩图像由时间信息进行结构化。
17.根据权利要求14所述的设备，其中，所述一组补片包括：第二种几何类型的几何数据，其包括参数化函数的标识符和标识出的参数化函数的参数值的列表。
18.根据权利要求17所述的设备，其中，所述参数化函数的标识符指向存储在存储器中的参数化函数的列表的函数。
CN201980014201.8A 2018-01-19 2019-01-14 在数据流中编码及解码来自数据流的三维场景的方法和装置 Active CN111742549B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310826030.7A CN116939185A (zh) 2018-01-19 2019-01-14 在数据流中编码及解码来自数据流的三维场景的方法和装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP18305043.4A EP3515068A1 (en) 2018-01-19 2018-01-19 A method and apparatus for encoding and decoding three-dimensional scenes in and from a data stream
EP18305043.4 2018-01-19
PCT/US2019/013422 WO2019143545A1 (en) 2018-01-19 2019-01-14 A method and apparatus for encoding and decoding three-dimensional scenes in and from a data stream

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202310826030.7A Division CN116939185A (zh) 2018-01-19 2019-01-14 在数据流中编码及解码来自数据流的三维场景的方法和装置

Publications (2)

Publication Number Publication Date
CN111742549A CN111742549A (zh) 2020-10-02
CN111742549B true CN111742549B (zh) 2023-07-04

Family

ID=61027625

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201980014201.8A Active CN111742549B (zh) 2018-01-19 2019-01-14 在数据流中编码及解码来自数据流的三维场景的方法和装置
CN202310826030.7A Pending CN116939185A (zh) 2018-01-19 2019-01-14 在数据流中编码及解码来自数据流的三维场景的方法和装置

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202310826030.7A Pending CN116939185A (zh) 2018-01-19 2019-01-14 在数据流中编码及解码来自数据流的三维场景的方法和装置

Country Status (4)

Country Link
US (2) US11790562B2 (zh)
EP (2) EP3515068A1 (zh)
CN (2) CN111742549B (zh)
WO (1) WO2019143545A1 (zh)

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10861196B2 (en) 2017-09-14 2020-12-08 Apple Inc. Point cloud compression
US11818401B2 (en) 2017-09-14 2023-11-14 Apple Inc. Point cloud geometry compression using octrees and binary arithmetic encoding with adaptive look-up tables
US10897269B2 (en) 2017-09-14 2021-01-19 Apple Inc. Hierarchical point cloud compression
US10909725B2 (en) 2017-09-18 2021-02-02 Apple Inc. Point cloud compression
US11113845B2 (en) 2017-09-18 2021-09-07 Apple Inc. Point cloud compression using non-cubic projections and masks
US10699444B2 (en) 2017-11-22 2020-06-30 Apple Inc Point cloud occupancy map compression
US10607373B2 (en) 2017-11-22 2020-03-31 Apple Inc. Point cloud compression with closed-loop color conversion
EP3515066A1 (en) * 2018-01-19 2019-07-24 Thomson Licensing A method and apparatus for encoding and decoding three-dimensional scenes in and from a data stream
US10909727B2 (en) 2018-04-10 2021-02-02 Apple Inc. Hierarchical point cloud compression with smoothing
US11010928B2 (en) 2018-04-10 2021-05-18 Apple Inc. Adaptive distance based point cloud compression
US10909726B2 (en) 2018-04-10 2021-02-02 Apple Inc. Point cloud compression
US10939129B2 (en) 2018-04-10 2021-03-02 Apple Inc. Point cloud compression
US11017566B1 (en) 2018-07-02 2021-05-25 Apple Inc. Point cloud compression with adaptive filtering
US11202098B2 (en) 2018-07-05 2021-12-14 Apple Inc. Point cloud compression with multi-resolution video encoding
US11012713B2 (en) 2018-07-12 2021-05-18 Apple Inc. Bit stream structure for compressed point cloud data
US11386524B2 (en) 2018-09-28 2022-07-12 Apple Inc. Point cloud compression image padding
US11367224B2 (en) 2018-10-02 2022-06-21 Apple Inc. Occupancy map block-to-patch information compression
US11430155B2 (en) 2018-10-05 2022-08-30 Apple Inc. Quantized depths for projection point cloud compression
US11057564B2 (en) 2019-03-28 2021-07-06 Apple Inc. Multiple layer flexure for supporting a moving image sensor
US11711544B2 (en) 2019-07-02 2023-07-25 Apple Inc. Point cloud compression with supplemental information messages
US11627314B2 (en) 2019-09-27 2023-04-11 Apple Inc. Video-based point cloud compression with non-normative smoothing
US11562507B2 (en) 2019-09-27 2023-01-24 Apple Inc. Point cloud compression using video encoding with time consistent patches
US11538196B2 (en) 2019-10-02 2022-12-27 Apple Inc. Predictive coding for point cloud compression
US11895307B2 (en) 2019-10-04 2024-02-06 Apple Inc. Block-based predictive coding for point cloud compression
US11798196B2 (en) 2020-01-08 2023-10-24 Apple Inc. Video-based point cloud compression with predicted patches
US11475605B2 (en) 2020-01-09 2022-10-18 Apple Inc. Geometry encoding of duplicate points
US20230239451A1 (en) * 2020-06-24 2023-07-27 Interdigital Vc Holdings France, Sas A method and apparatus for encoding and decoding volumetric content in and from a data stream
US11615557B2 (en) 2020-06-24 2023-03-28 Apple Inc. Point cloud compression using octrees with slicing
US11620768B2 (en) 2020-06-24 2023-04-04 Apple Inc. Point cloud geometry compression using octrees with multiple scan orders
US11948338B1 (en) 2021-03-29 2024-04-02 Apple Inc. 3D volumetric content encoding using 2D videos and simplified 3D meshes

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111742548A (zh) * 2018-01-19 2020-10-02 交互数字Vc控股公司 在数据流中编码及解码来自数据流的三维场景的方法和装置

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5379371A (en) * 1987-10-09 1995-01-03 Hitachi, Ltd. Displaying method and apparatus for three-dimensional computer graphics
DE60127253T2 (de) * 2000-06-08 2007-11-22 Imagination Technologies Ltd., Kings Langley Bildkachelung und -kompression für die 3D-Bilddarstellung
US8988420B2 (en) * 2006-08-11 2015-03-24 Siemens Product Lifecycle Management Software Inc. Visual file representation
RU2689191C2 (ru) * 2009-01-26 2019-05-24 Томсон Лайсенсинг Упаковка кадров для кодирования видео
US8854365B2 (en) 2010-01-15 2014-10-07 Microsoft Corporation Rendering parametric surface patches
US8854366B1 (en) * 2010-03-24 2014-10-07 University Of South Florida Automated geometric representation of discrete point sets
US9117281B2 (en) * 2011-11-02 2015-08-25 Microsoft Corporation Surface segmentation from RGB and depth images
EP2614490B1 (en) * 2011-11-11 2013-12-18 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Concept for determining a measure for a distortion change in a synthesized view due to depth map modifications
WO2014056150A1 (en) * 2012-10-09 2014-04-17 Nokia Corporation Method and apparatus for video coding
US20140063024A1 (en) 2012-12-19 2014-03-06 Iowa State University Research Foundation, Inc. Three-dimensional range data compression using computer graphics rendering pipeline
KR101728588B1 (ko) * 2014-03-27 2017-05-02 한국전자통신연구원 디지털 의류를 이용하여 가상 체험 서비스 방법을 제공하는 스마트 단말 및 가상 체험 제공 서버
US20170163980A1 (en) 2014-06-30 2017-06-08 Sony Corporation Information processing device and method
WO2016003340A1 (en) 2014-07-03 2016-01-07 Telefonaktiebolaget L M Ericsson (Publ) Encoding and decoding of light fields
CN107074259A (zh) 2014-07-25 2017-08-18 杰纳拉尔因皮安蒂有限责任公司 用于获得关于铁路轨道或转撤器的元件的上部轮廓的数据的方法
CN109313816B (zh) * 2016-05-24 2023-11-14 皇家飞利浦有限公司 深度增强的断层合成重建
EP3249921A1 (en) * 2016-05-24 2017-11-29 Thomson Licensing Method, apparatus and stream for immersive video format
US20180053324A1 (en) * 2016-08-19 2018-02-22 Mitsubishi Electric Research Laboratories, Inc. Method for Predictive Coding of Point Cloud Geometries
CN106570934B (zh) 2016-11-07 2020-02-14 中国科学院自动化研究所 针对大场景的空间隐函数建模方法
US10102671B2 (en) * 2017-02-09 2018-10-16 Wisconsin Alumni Research Foundation Systems for generalizing non-uniform rational B-spline and application of systems
CN110291788B (zh) * 2017-02-20 2022-03-08 索尼公司 图像处理设备和图像处理方法
US10417810B2 (en) 2017-05-31 2019-09-17 Verizon Patent And Licensing Inc. Methods and systems for rendering virtual reality content based on two-dimensional (“2D”) captured imagery of a three-dimensional (“3D”) scene
US10460515B2 (en) 2017-08-07 2019-10-29 Jaunt, Inc. Systems and methods for reference-model-based modification of a three-dimensional (3D) mesh data model
US11405643B2 (en) * 2017-08-15 2022-08-02 Nokia Technologies Oy Sequential encoding and decoding of volumetric video
US10735707B2 (en) 2017-08-15 2020-08-04 International Business Machines Corporation Generating three-dimensional imagery
US10909725B2 (en) * 2017-09-18 2021-02-02 Apple Inc. Point cloud compression
US10699444B2 (en) * 2017-11-22 2020-06-30 Apple Inc Point cloud occupancy map compression
WO2019194434A1 (ko) 2018-04-05 2019-10-10 엘지전자 주식회사 복수의 뷰포인트들에 대한 메타데이터를 송수신하는 방법 및 장치

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111742548A (zh) * 2018-01-19 2020-10-02 交互数字Vc控股公司 在数据流中编码及解码来自数据流的三维场景的方法和装置

Also Published As

Publication number Publication date
CN116939185A (zh) 2023-10-24
EP3515068A1 (en) 2019-07-24
EP3741112A1 (en) 2020-11-25
US20210074029A1 (en) 2021-03-11
US20230351641A1 (en) 2023-11-02
US11790562B2 (en) 2023-10-17
WO2019143545A1 (en) 2019-07-25
CN111742549A (zh) 2020-10-02

Similar Documents

Publication Publication Date Title
CN111742549B (zh) 在数据流中编码及解码来自数据流的三维场景的方法和装置
CN111034201B (zh) 编码和解码体积视频的方法、设备和流
CN111279705B (zh) 用于编码和解码体积视频的方法、设备和流
CN111656762B (zh) 编码表示三维对象的点云的方法和装置
CN111742548B (zh) 在数据流中编码及解码来自数据流的三维场景的方法和装置
CN112189345B (zh) 用于编码或解码表示3d场景的数据的方法、设备或介质
CN111264058A (zh) 用于对三自由度和体积兼容视频流进行编码和解码的方法、设备
CN111742547B (zh) 用于在数据流中编码和从数据流中解码三维场景的方法和装置
CN113906761A (zh) 利用修补补片对3d场景进行编码和渲染的方法和装置
CN114945946A (zh) 具有辅助性分块的体积视频
US20220138990A1 (en) Methods and devices for encoding and decoding three degrees of freedom and volumetric compatible video stream
CN115443654A (zh) 用于对体积视频进行编码和解码的方法和装置
WO2020185529A1 (en) A method and apparatus for encoding and decoding volumetric video
US20230224501A1 (en) Different atlas packings for volumetric video
CN115885513A (zh) 用于对体积视频进行编码和解码的方法和装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant