CN110383342B

CN110383342B - 用于沉浸式视频格式的方法，装置和流

Info

Publication number: CN110383342B
Application number: CN201880014763.8A
Authority: CN
Inventors: R.多勒; F.加尔平; G.布里安德; J.弗勒劳
Original assignee: InterDigital VC Holdings Inc
Current assignee: InterDigital VC Holdings Inc
Priority date: 2017-01-13
Filing date: 2018-01-08
Publication date: 2023-06-20
Anticipated expiration: 2038-01-08
Also published as: US10891784B2; EP3568834A1; KR102468178B1; WO2018130491A1; JP2020515937A; EP3349182A1; CN110383342A; KR20190105011A; JP7241018B2; US20190371051A1; EP3568834B1

Abstract

用于生成表示3D云的数据流的方法和设备。3D点云被分割为多个3D基本部分。确定一组二维2D参数化，每个2D参数化表示具有一组参数的点云的一个3D部分。每个3D部分表示为2D像素图像。深度图和色彩图被确定为第一补片图集和第二补片图集。通过组合和/或编码2D参数化的参数、第一补片图集、第二补片图集以及将每个2D参数化和分别在第一补片图集和第二补片图集中的与其相关联的深度图和色彩图链接的映射信息来生成数据流。

Description

用于沉浸式视频格式的方法，装置和流

技术领域

本公开涉及沉浸式视频内容的领域。也在表示沉浸式内容的数据的格式化的上下文中理解本公开，例如用于在诸如移动设备或头戴式显示器的终端用户设备上的呈现。

背景技术

该部分旨在向读者介绍本领域的各个方面，其可以与下面描述和/或要求保护的本公开的各个方面相关。相信该讨论有助于向读者提供背景信息以有助于更好地理解本发明的各个方面。因此，应该理解，这些陈述应该鉴于此地阅读，而不作为对现有技术的承认。

诸如头戴式显示器(HMD)或CAVE之类的显示系统使得用户浏览沉浸式视频内容。可以利用CGI(计算机生成的图像)技术获得沉浸式视频内容。利用这样的沉浸式视频内容，能够根据观看内容的用户的观点来计算内容，但是具有不切实际的图形质量。可以利用在诸如球体或立方体的表面上的视频(例如，由若干相机获取的视频)的映射来获得沉浸式视频内容。这样的沉浸式视频内容提供良好的图像质量，但是出现与视差有关的问题，特别是对于前景的场景的对象，即，靠近相机的对象。

在沉浸式视频内容的上下文中，自由视点视频(FVV)是用于多视图视频的表示和编码以及随后从任意视点重新呈现的技术。在增加沉浸式环境中的用户体验的同时，要传输到呈现器的数据量非常重要并且可能是个问题。

发明内容

说明书中对“一个实施例”，“实施例”，“示例实施例”，“特定实施例”的引用指示描述的实施例可以包括特定特征，结构或特性，但是每个实施例可以不必包括特定的特征，结构或特性。而且，这样的短语不一定指代同一实施例。此外，当结合实施例描述特定特征，结构或特性时，认为无论是否明确描述，结合其他实施例影响这样的特征，结构或特性在本领域技术人员的知识内。

本公开涉及一种生成表示场景的对象的数据的流的方法，该方法包括：

-在多个三维部分中分割三维点云，每个三维部分包括三维点云的至少一个点，所述三维点云表示从视点的范围看到的所述对象；

-对于所述多个三维部分的至少一部分的每个三维部分：

·根据表示与所述三维部分相关联的二维参数化的参数和与所述三维部分中包括的至少一个点相关联的数据，确定与所述三维部分相关联的深度图，所述二维参数化响应于与所述至少一个点相关联的几何信息和响应于与视点的所述范围相关联的姿势信息；和

·根据所述参数和与所述三维部分中包括的至少一个点相关联的数据，确定与所述三维部分相关联的色彩图；

多个确定的深度图在第一补片图集中表示，每个深度图对应于第一补片图集的一个补片，并且多个确定的色彩图在第二补片图集中表示，每个色彩图对应于第二补片图集的一个补片；

-生成包括表示二维参数化的参数、表示第一补片图集的数据、表示第二补片图集的数据和表示所述二维参数化与第一补片图集中的对应深度图和第二补片图集中的对应色彩图之间的映射的第一映射信息的所述流。

本公开还涉及一种被配置为生成包括表示场景的对象的数据的流的设备，所述设备包括与至少一个处理器相关联的存储器，所述处理器被配置为：

-对于所述多个三维部分的至少一部分的每个三维部分：

本公开还涉及被配置为生成包括表示场景的对象的数据的流的设备，所述设备包括：

-在多个三维部分中分割三维点云的部件，每个三维部分包括三维点云的至少一个点，所述三维点云表示从视点的范围看到的所述对象；

-对于所述多个三维部分的至少一部分的每个三维部分，确定以下内容的部件：

-生成包括表示二维参数化的参数、表示第一补片图集的数据、表示第二补片图集的数据和表示所述二维参数化与第一补片图集中的对应深度图和第二补片图集中的对应色彩图之间的映射的第一映射信息的所述流的部件。

根据特定特征，多个二维参数化与多个三维部分中的至少一部分的每个三维部分相关联。

根据特定特征，流还包括表示标识三维补片的信息和分别表示第一补片图集和第二补片图集的第一和第二图像的像素之间的映射的第二映射信息。

根据特定特征，所述点云的分割随时间变化。

本公开还涉及承载表示场景的对象的数据的流，其中，数据包括：

-代表用于表示从视点的范围看到的对象的点云的三维部分的二维参数化的参数，所述参数是根据与所述三维部分中包括的点云的点相关联的几何信息并根据与所述视点的范围相关联的姿势信息获得的；

-表示第一补片图集的数据，第一补片图集包括多个深度图，每个与所述三维部分之一相关联并且根据所述参数和与包含在所述三维部分中的点云的点相关联的数据确定；

-表示第二补片图集的数据，第二补片图集包括多个色彩图，每个与所述三维部分之一相关联并且根据所述参数和与包含在所述三维部分中的点云的点相关联的数据确定；和

-表示所述二维参数化、第一补片图集中的所述深度图和第二补片图集中的所述色彩图之间的映射的第一映射信息。

根据特定特征，所述流还包括表示用于标识所述三维补片的信息和分别表示第一补片图集和第二补片图集的第一和第二图像的像素之间的映射的第二映射信息。

本公开还涉及从承载表示对象的数据的流中获得表示对象的点云的方法，该方法包括：

-从流获得代表用于表示从视点的范围看到的对象的点云的三维部分的二维参数化的参数；

-从流获得表示第一补片图集的数据，第一补片图集包括多个深度图，每个与二维参数化之一相关联；

-从流获得表示第二补片图集的数据，第二补片图集包括多个色彩图，每个与二维参数化之一相关联；

-从表示二维参数化的所述参数、第一补片图集中的相关联的深度图的数据、第二补片图集中的相关联的色彩图的数据和从流获得并且表示所述二维参数化与分别在第一补片图集和第二补片图集中的对应深度图和色彩图之间的映射的第一映射信息，获得与表示所述对象的点云的点相关联的数据。

本公开还涉及一种设备，被配置为从承载表示对象的数据的流中获得表示所述对象的点云，所述设备包括与至少一个处理器相关联的存储器，所述处理器被配置为：

本公开还涉及一种设备，被配置为从承载表示对象的数据的流中获得表示所述对象的点云，该设备包括：

-从流获得代表用于表示从视点的范围看到的对象的点云的三维部分的二维参数化的参数的部件；

-从流获得表示第一补片图集的数据的部件，第一补片图集包括多个深度图，每个与二维参数化之一相关联；

-从流获得表示第二补片图集的数据的部件，第二补片图集包括多个色彩图，每个与二维参数化之一相关联；

-从表示二维参数化的所述参数、第一补片图集中的相关联的深度图的数据、第二补片图集中的相关联的色彩图的数据和从流获得并且表示所述二维参数化与分别在第一补片图集和第二补片图集中的对应深度图和色彩图之间的映射的第一映射信息，获得与表示所述对象的点云的点相关联的数据的部件。

根据特定特征，根据获得的表示点云的数据来呈现表示对象的图像。

本公开还涉及一种计算机程序产品，包括程序代码指令，用于当在计算机上执行该程序时，执行生成包括表示场景的对象的数据的流的方法的步骤。

本公开还涉及一种计算机程序产品，包括程序代码指令，用于当在计算机上执行该程序时，执行从承载表示对象的数据的流中获得表示对象的点云的方法的步骤。

本公开还涉及一种(非暂时性)处理器可读介质，具有存储在其中的指令，用于当该程序在计算机上执行时使处理器至少执行生成包括表示场景的对象的数据的流的方法。

本公开还涉及一种(非暂时性)处理器可读介质，具有存储在其中的指令，用于使得当该程序在计算机上执行时使处理器执行至少从承载表示对象的数据的流获得表示对象的点云的上述方法。

附图说明

在阅读以下参考附图的描述后将更好地理解本公开，并且将出现其他具体特征和优点，其中：

-图1示出根据本原理的特定实施例的沉浸式内容；

-图2A和2B示出根据本原理的特定实施例的光场获取装置，其被配置为获取场景[或场景的一部分]的图像以获得图1的沉浸式内容的至少一部分；

-图3示出根据本原理的特定实施例的利用图2A和2B的获取设备获取的场景的对象的一部分的表示；

-图4示出根据本原理的特定实施例的与图3的对象的表示的3D部分相关联的2D参数化；

-图5和图6示出根据本原理的特定实施例的与图4的3D部分相关联的补片图集；

-图7示出根据本原理的非限制性实施例的图5和图6的补片图集的生成；

-图8A，8B，8C和8D各自示出图3的对象的3D表示的分割的非限制性示例；

-图9示出根据本原理的示例的被配置用于实现图12和/或图13的(多个)方法的设备的架构的示例；

-图10示出根据本原理的示例的通过通信网络通信的图9的两个远程设备；

-图11示出根据本原理的示例的承载图3的对象的描述的信号的语法；

-图12示出根据本原理的示例的生成描述图3的对象的数据流的方法；

-图13示出根据本原理的示例的呈现图3的对象的图像的方法。

具体实施方式

现在参考附图描述主题，其中相同的附图标记始终用于指代相同的元件。在以下描述中，出于解释的目的，阐述许多具体细节以提供对主题的透彻理解。然而，显而易见的是，可以在没有这些具体细节的情况下实践主题实施例。

本说明书例示本公开的原理。因此将理解，本领域技术人员将能够设计各种布置，这些布置虽然未在本文中明确描述或示出，但体现本公开的原理。

将参考一种生成表示场景的一个或多个对象的数据流的方法和/或呈现来自生成的数据流的该/这些对象的一个或多个图像的方法的特定实施例来描述本原理。根据确定的视点范围，用三维(3D)点云表示场景的(多个)对象。点云例如从场景的图像获得，每个图像根据确定的视点范围内的不同视点来表示场景或其一部分。3D点云被分割为多个3D基本部分，每个3D基本部分包括3D点云的一个或多个点。确定一组二维(2D)参数化，每个2D参数化表示具有一组参数的点云的一个3D部分。通过用于每个2D像素表示的一些参数，用一个或多个2D像素表示来表示每个3D部分。使用与每个3D部分相关联的2D参数化的参数为每个3D部分并且与每个3D部分相关联地确定深度图(也称为高度图)和色彩图(也称为纹理图)。获得的深度图在第一补片图集中表示(第一补片图集的补片对应于一个深度图)，并且获得的色彩图在第二补片图集中表示(第二补片图集的补片对应于一个色彩图)。通过组合和/或编码2D参数化的参数、表示第一补片图集的数据、表示第二补片图集的数据以及将链接每个2D参数化的信息与其在第一和第二补片图集中相关联的深度图和色彩图进行匹配来生成数据流。

在解码器/呈现侧，可以通过从流中解码/提取2D参数化的参数以及相关联的高度和纹理映射来重建点云，并且可以从点云呈现(多个)对象的一个或多个图像。

使用多个2D参数化作为用于使用纹理和高度信息来表示对象的参考，使得与利用点云的表示相比能够减少表示对象所需的数据量，同时使得能够以最佳细节水平表示具有复杂拓扑的对象。

图1示出根据本原理的特定且非限制性实施例的在4π球面度视频内容的非限制性示例性形式中的沉浸式内容10的示例。图1对应于沉浸式内容10的平面表示。沉浸式内容10例如对应于利用一个或多个相机获取的真实场景或者对应于包括真实和虚拟对象的混合现实场景，虚拟对象例如通过使用3D呈现工具合成。沉浸式内容10的部分11例如对应于被显示在适于可视化沉浸式内容的显示设备上的沉浸式内容的一部分(称为视口)，部分11的大小例如等于由显示设备提供的视场。

用于可视化沉浸式内容10的显示设备例如是戴在用户头部上或作为头盔的一部分的HMD(头戴式显示器)。HMD有利地包括一个或多个显示屏幕(例如LCD(液晶显示器)，OLED(有机发光二极管)或LCOS(硅上液晶))和(多个)传感器，配置用于根据真实世界的一个，两个或三个轴(俯仰，偏转和/或滚动轴)测量HMD的位置的(多个)改变，例如陀螺仪或IMU(惯性测量单元)。对应于HMD的测量位置的沉浸式内容10的部分11有利地利用特定函数来确定，该特定函数建立与真实世界中的HMD相关联的视点和与沉浸式内容10相关联的虚拟相机的视点之间的关系。根据HMD的测量位置控制要在HMD的(多个)显示屏幕上显示的视频内容的部分11使得佩戴HMD的用户能够浏览大于与HMD的(多个)显示屏幕相关联的视场的沉浸式内容。例如，如果由HMD提供的视场等于110°(例如关于偏转轴)并且如果沉浸式内容提供180°的内容，则佩戴HMD的用户可以向右或向左旋转他/她的头部以看到HMD提供的视场之外的视频内容的部分。根据另一示例，沉浸式系统是CAVE(洞穴自动虚拟环境)系统，其中沉浸式内容被投影到房间的墙壁上。CAVE的壁例如由背投屏幕或平板显示器组成。因此，用户可以在房间的不同墙壁上浏览他/她的注视。CAVE系统有利地设置有获取用户的图像的相机，以通过视频处理这些图像来确定用户的注视方向。根据变型，用跟踪系统确定用户的注视或姿势，例如红外跟踪系统，用户佩戴红外传感器。根据另一变型，沉浸式系统是具有触觉显示屏幕的平板电脑，用户通过用一个或多个手指滑动到触觉显示屏幕上滚动内容来浏览内容。

沉浸内容10和部分11也可以包括(多个)前景对象和(多个)背景对象。

当然，沉浸式内容10不限于4π球面度视频内容，而是扩展到尺寸大于视场11的任何视频内容(或视听内容)。沉浸式内容可以是例如2π，2.5π，3π球面度内容等。

图2A和2B示出光场获取设备的示例。更具体地，图2A和2B各自示出根据本原理的两个特定实施例的相机阵列2A，2B(也称为多个相机阵列)。

相机阵列2A包括透镜或微透镜阵列20，其包括若干微透镜201，202至20p(其中p是对应于微透镜的数量的整数)，以及一个或多个传感器阵列21。相机阵列2A不包括主透镜。透镜阵列20可以是小型设备，其通常被称为微透镜阵列。具有单个传感器的相机阵列可以被认为是全光相机的特殊情况，其中主透镜具有无限焦距。根据其中光电传感器的数量等于微透镜的数量的特定布置，即一个光电传感器与一个微透镜在光学相关联，相机阵列20可被视为多个紧密间隔的单独相机的布置(例如，微相机)，诸如正方形布置(如图2A例示)或例如梅花形布置，或例如在圆柱形表面上的非平坦布置。

相机阵列2B对应于一套单独的相机，每个包括透镜和光电传感器阵列。相机被间隔开例如等于几厘米或更小或5，7或10厘米的距离。

利用这样的相机阵列2A或2B获得的光场数据(形成所谓的光场图像)对应于场景的多个视图，即通过对利用全光相机获得的原始图像进行去复用和去马赛克而可以获得的最终视图，全光相机诸如是1.0型全光相机，对应于小透镜阵列和光电传感器阵列之间的距离等于微透镜焦距的全光相机，或者其他2.0型的全光相机(也称为聚焦全光相机)。根据任何已知方法校准相机阵列2B的相机，即相机的内在的和外在的参数是已知的。

利用光场获取设备获得的不同视图使得能够使用能够例如基于视差来计算深度的算法来获得沉浸式内容或沉浸式内容的至少一部分。当然，沉浸式内容可以利用与光场获取设备不同的获取设备获得，例如利用与深度传感器相关联的相机(例如红外发射器/接收器，例如微软的Kinect或利用激光发射器)。

图3示出用沉浸式内容表示的场景的对象或其一部分的两种不同表示。根据图3的示例，对象是例如在场景内移动的人，并且对应于头部的对象的一部分在图3中例示。

对象的一部分的第一表示30是点云。点云对应于表示对象(例如，对象的外部表面或外部形状)的点的大的集合。点云可以被视为基于矢量的结构，其中每个点具有其坐标(例如，三维坐标XYZ，或者距给定视点的深度/距离)和一个或多个属性，也称为分量。分量的示例是可以用不同色彩空间表示的色彩分量，例如RGB(红色，绿色和蓝色)或YUV(Y是亮度分量和UV两个色度分量)。点云是从给定的视点或视点的范围看到的对象的表示。点云可以通过不同的方式获得，例如：

·从捕获由一套相机(如图2A和图2B的相机阵列)拍摄的真实对象，可选地由深度有源感测设备补充；

·从捕获由建模工具中的一套虚拟相机拍摄的虚拟/合成对象；

·从真实和虚拟对象的混合。

在第一种情况下(从捕获真实对象)，该组相机生成对应于不同视图(不同视点)的一组图像或图像序列(视频)。深度信息-意味着从每个相机中心到对象表面的距离–或者通过有源深度感测设备获得，例如，在红外范围内并且基于结构化光分析或飞行时间，或者基于视差算法获得。在这两种情况下，所有相机都需要内在和外在地被校准。视差算法包括在一对经校正的相机图像上搜索相似的视觉特征，典型沿着一维线进行：像素列差异越大，越靠近该特征的表面。在相机阵列的情况下，可以从多个对等视差信息的组合获得全局深度信息，以利用多个相机对的优势从而提高信号过噪比。

在第二种情况(合成对象)中，建模工具直接提供深度信息。

可以从点云表示30获得对象的一部分的第二表示31，第二表示对应于表面表示。可以处理点云以计算其表面。为此目的，对于点云的给定点，使用该给定点的相邻点以便计算该给定点处的局部表面的法线，与该给定点相关联的表面元素从法线推导。对于所有点迭代该处理以获得该表面。用于从点云重建表面的方法例如由Matthew Berger等人在State of the Art Report，2014年“State of the Art in Surface Reconstructionfrom Point Clouds”中描述。根据变型，通过将飞溅呈现(splat rendering)应用于该给定点来获得与点云的给定点相关联的表面元素。通过混合与点云的点相关联的所有飞溅(例如，椭球)来获得对象的表面(也称为对象的隐式表面或外部表面)。

在特定实施例中，点云仅表示对象的部分视图，而不是整个的对象，并且这对应于如何在呈现侧观察对象的方式，例如在电影场景中。例如，面向平面相机阵列的角色的拍摄仅在装备的该侧生成点云。角色的背部甚至不存在，对象本身不闭合，并且因此该对象的几何特征是在装备的方向上定向的该组所有的表面(每个局部表面的法线和返回到获取装置的射线之间角度例如小于90°)。

图4示出根据本原理的特定实施例的与利用相机4001，4002，4003和4004获取的场景的对象的表示40的3D部分相关联的2D参数化41，42和43。相机4001至4004例如对应于图2B的该装备的一些相机。该对象用其表面40表示，如图3的示例31中，但是可以用点云本身表示，如图3的示例30中。每个2D参数化与对象的表示的3D部分相关联，每个3D部分对应于包括点云的一个或多个点的体积。通过以下方式考虑获取设备的姿势信息来确定每个2D参数化：浏览被包含在与所述每个2D参数化相关联的3D部分中的点云的最大点数(由获取设备的视点范围生成)。当利用相关联的3D部分的点的线性透视投影获得2D参数化时，确定的视点与每个2D参数化相关联，每个视点被包括在对应于用于获取场景的视点范围内的视点范围。2D参数化41与视点401相关联，2D参数化42与视点402相关联，并且2D参数化43与视点403相关联。如图4中可以看到的，每个视点401至403位于分别对应于获取设备的视点范围的左极限4001和右极限4004的视点4001和4002之间。点云从有限且确定的视点范围获得，并且点云的3D部分的2D表示(即，2D参数化)都是从位于用于获得点云的有限且确定的范围内的视点可看到的。每个2D参数化是与其相关联的点云的3D部分的2D表示。可以用一个或若干2D参数化(例如，利用2个，3个或更多个2D参数化)来表示相同的3D部分。如上所述，与点云的一个给定3D部分相关联的2D参数化对应于点云的给定3D部分的2维浏览，其允许对给定3D部分进行采样，即该给定3D部分的内容的2D表示(即，(多个)点)包括多个样本，其数量取决于所应用的采样步骤。可以以不同方式获得2D参数化，例如通过实现以下方法中的任何一种：

-点云的3D部分的点到与视点相关联的平面上的线性透视投影，表示线性透视投影的参数包括虚拟相机的位置，空间采样步骤和2维视场；

-点云的3D部分的点在表面上的正交投影，表示正交投影的参数包括投影表面的几何形状(形状、大小和取向)和空间采样步骤；

-对应于降维的数学运算的LLE(局部线性嵌入)，这里应用于从3D转换/变换为2D，表示LLE的参数包括变换系数。

2D参数化41，42和43可以用有限数量的参数表示，并且例如用一个或多个参数方程定义。通过考虑给定3D部分的几何特征(例如，给定3D部分的极端点和/或与被包括在给定3D部分中的对象的部分的外表面的元素相关联的法线信息，其从位于3D部分内的点获得)和(多个)获取设备的姿势信息(例如，用于定向2D参数化)来确定与点云的给定3D部分相关联的2D参数化。考虑到3D部分的几何特征和姿势信息使得能够获得位于面向3D部分的空间中的2D参数化，即，位于获取设备和点云之间的2D参数化。

如在图4中可以看到，2D参数化41，42和43可以彼此重叠，重叠例如是由于2D参数化相关联的3D部分的重叠。

为了获得3D部分，可以根据不同的方法分割点云。例如，可以根据图8A至8D的示例来分割点云。根据图8A的非限制性示例，由点云占据的3D空间81(例如，半球)根据球面坐标(r，θ，φ)，即根据对应于半球的半径的距离“r”和角度“θ”和“φ”来分割，每个维度“r”，“θ”和“φ”被均匀地分割。根据变型，维度“r”，“θ”和/或“φ”中的一个或多个可以变化，例如3D部分的深度可以随维度“r”变化。根据变型，确定每个3D部分的大小以将点云的点均匀地分布到3D部分中，3D点的大小取决于由点云占据的空间的不同区域中的点的局部密度。在图8B的示例中，由点云占据的3D空间82(例如，半球)以交错的方式根据球面坐标(r，θ，φ)分割。在图8A和8B的示例中，3D部分可以被视为视图相机平截头(frustum)体积。根据图8C的非限制性示例，由点云占据的3D空间83(例如，对应于限定点云的框的平行六面体)根据笛卡尔坐标(x，y，z)分割，即根据3D笛卡尔参考系的3个维度。每个3D部分可以具有立方体或长方体的形式。每个3D部分可以具有相同的大小，或者3D部分可以具有不同的大小，例如以将点均匀地分布到所有3D部分中。图8D示出图8C的分割的变型，其中平行六面体以交错的方式分布在由点云占据的3D空间84内。即使未在图8A，8B，8C和8D上示出，由点云的分割产生的3D部分可以彼此部分地重叠，这意味着点云的空间的一些部分可以属于若干个3D部分。点云的分割可以是固定的，或者可以随时间变化。例如，点云的分割可以从一GOP(画面组)到另一个GOP而改变。当在MPEG-DASH(HTTP上的动态自适应流传输)的上下文中应用时，分割可以从一分段到另一分段改变，并且在ISOBMFF标准的帧中，该分段可以是ISOBMFF分段，

图5示出根据本原理的非限制性示例的深度图和色彩图与帧i和时间上在帧i之后的帧j的点云的3D部分的关联性。表示对象5的3D点云(图5的示例中的人)以灰色阴影例示。对象5的分割51对应于图8A的示例，即根据球面坐标的分割，相邻3D部分之间部分重叠。为清楚起见，点云及其分割仅根据θ和φ以2D表示。由分割产生的3D部分用以矩阵方式排列的正方形5100，5110，51mn示出，其中“m”对应于行索引，并且“n”对应于列索引。例如，参考数字5100指向属于索引为“0”的行和索引为“1”的列的正方形，并且参考编号5110指向属于索引为“1”的行和索引为“0”的列的正方形。一个深度图与点云5的每个3D部分相关联。以相同的方式，一个色彩图与点云5的每个3D部分相关联。

通过使用与给定3D部分5110相关联的2D参数化的参数来获得与给定3D部分(例如3D部分5110)相关联的深度图，并且通过使用与3D部分5320相关联的2D参数化的参数来获得深度图5320。例如，当2D参数化对应于线性透视投影时，表示2D参数化的参数是视点的位置(即，虚拟相机位置)(例如，这可以从与3D部分中包括的点云的点相关联的法线获得)以及水平和垂直视场。例如已知世界空间中的点坐标和视点坐标(在线性透视投影的情况下)，要存储在深度图中的深度信息对应于在线性透视的情况下虚拟相机位置或者在正交投影的情况下的2D投影表面与沿着从线性透视的情况下的视点或者正交投影的情况下的投影表面正交开始并且在3D部分中包括的点云的点结束的射线的3D部分中包括的点云的点之间的距离。当用从点云的点获得的隐式表面来表示对象时，要存储在深度图中的距离对应于一方面射线和2D参数化表面之间的交点与另一方面射线和隐式表面之间的交点之间的距离。深度信息的数量可以取决于依赖于采样步长的2D参数化表面的分辨率。例如，通过应用飞溅呈现技术获得深度图，即，将与点相关联的深度值分配给与该点相关联的2D参数化表面的样本(该样本取决于所使用的2D参数化的类型，例如，线性透视投影，正交投影或LLE)以及也分配给位于交叉样本的邻域的样本(这些样本形成飞溅)。根据变型，通过应用射线跟踪技术，即通过从2D参数化表面的样本发射射线并且通过向给定样本分配对应于与该点(该点与从该给定样本发射的射线相交)(或最接近射线的点)相关联的深度值的深度值来获得深度图。

深度信息的编码可以在第一补片图集53中从深度图到另一深度图变化。例如，给定深度图的深度信息的编码可以适应于与该给定深度图相关联的3D部分的深度值的范围，和/或适应于3D部分中包含的点的数量。例如，取决于针对3D部分计算的最小深度值和最大深度值，确定对应深度图中的深度信息的编码以适应这些最小值和最大值之间的差异。如果差异小，则深度信息可以例如在8或10比特上编码，并且如果差异大，则深度信息可以例如在12，14或更多比特上编码。变化从深度图到另一个深度图的编码使得能够优化比特率编码。根据变型，对于每个3D图，深度信息被编码在相同的比特深度(例如，8，10，12或14比特)上，无论最小和最大深度值之间的差异如何，但是通过考虑最小和最大值。当差异小时，这样的变型能够减少量化步长，这使得能够减少与深度信息的编码相关联的量化噪声。

以相同的方式，通过使用与给定3D部分相关联的2D参数化的参数来获得与给定3D部分相关联的色彩图。从被包括在给定3D部分中的点云的点取得的色彩信息或从自视点投射的射线相交的对象的隐式表面取得的色彩信息与2D参数化表面的样本相关联以形成色彩图。对于深度图，例如通过应用飞溅呈现技术获得色彩图，即，将与点相关联的(多个)色彩值分配给与该点相关联的2D参数化表面的样本(该样本取决于所使用的2D参数化的类型，例如线性透视投影，正交投影或LLE)，以及也分配给位于交叉样本的邻域的样本(这些样本形成飞溅)。根据变型，通过应用射线跟踪技术，即通过从2D参数化表面的样本发射射线并通过向给定样本分配对应于与由从该给定样本发射的射线相交的点(或最接近射线的点)相关联的色彩值的色彩值来获得色彩图。对于深度信息，给定色彩图的色彩信息的编码可以适应于与给定色彩图相关联的3D部分的色彩值的范围和/或3D部分中包括的点的数量。例如，取决于为3D部分计算的最小色彩值和最大色彩值，确定对应色彩图中的色彩信息的编码以适应这些最小值和最大值之间的差异。如果差异小，则色彩信息可以例如在8或10比特上编码，并且如果差异大，则色彩信息可以例如在12，14或更多比特上编码。变化从色彩图到另一个的编码使得能够优化比特率编码。根据变型，对于每个色彩图，色彩信息被编码在相同的比特深度(例如，8，10，12或14比特)上，无论最小和最大色彩值之间的差异如何，但是考虑最小和最小色彩值。当差异小时，这样的变型能够减少量化步长，这使得更高的色彩动态范围或更高的亮度范围成为可能，这可以用于获得用点云表示的对象的HDR(高动态范围)表示。

获得的该组深度图根据确定的或随机的布置排列在第一补片图集53中，例如以具有行和列的矩阵方式，其中第一补片图集53的补片对应于一个深度图。例如，补片531是与3D部分5110相关联的深度图。

以相同的方式，获得的该组色彩图例如根据与第一补片图集53中的深度图相同的布置被布置在第二补片图集54中。

可以生成第一映射信息以分别在第一和第二补片图集中保持2D参数化与相关联的深度图和色彩图之间的连接。第一映射信息可以例如具有以下形式：

{2D参数化的参数；深度图ID；色彩图ID}

其中深度图ID可以是整数值或深度图属于第一补片图集的补片矩阵的包括列索引U和行索引V的一对值；色彩图ID可以是整数值或色彩图属于第二补片图集的补片矩阵的包括列索引U'和行索引V'的值的一对值。

当深度图和色彩图根据第一补片图集和第二补片图集中的相同布置排列时，深度图ID和色彩图ID是相同的，并且第一映射信息可以是例如以下形式：

{2D参数化的参数；深度和色彩图ID}

其中，或者通过与深度和色彩图相关联的相同整数值或者通过深度和色彩图分别属于第一补片图集和第二补片图集的列索引U和行索引V的一对值，“深度和色彩图ID”标识第一补片图集中的深度图和第二图集图集中的色彩图。

为每个2D参数化和相关联的深度和色彩图生成相同的映射信息。这样的第一映射信息使得能够通过建立2D参数化与对应的深度和色彩图的关联来重建点云。如果2D参数化是投影，则可以通过对相关联的深度图中包括的深度信息和相关联的色彩图中的色彩信息进行去投影(执行逆投影)来重建点云。然后，第一映射信息对应于映射信息的列表：

{2D参数化的参数；深度和色彩图ID}_i，

对于i＝1到n，n为2D参数化的数量。

第一补片图集53和第二补片图集可以被视为具有相同分辨率的图像，即具有以K列和L行的矩阵方式排列的相同数量的像素，K和L是整数。每个补片(对应于第一补片图集53的深度图或第二补片图集54的色彩图)包括图像的像素子集，其表示第一补片图集53或第二补片图集。

根据可选的变型，第二映射信息可以与表示第一补片图集53或第二补片图集54的图像的像素相关联，第二映射信息有利地对于表示第一补片图集53的图像和表示第二补片图集54的图像是共同的，对于两个图像的分辨率是相同的，并且指代相同2D参数化的补片根据在第一和第二补片图集中相同布置来组织。第二映射信息指示表示第一补片图集(或第二补片图集)的图像的每个像素或每组像素参考哪个2D参数化或与之相关联。为了达到该目标，标识信息与每个2D参数化相关联(例如，对于每个2D参数化整数值不同)。第二映射信息可以例如是以行和列排列的单元的图的形式，每个单元对应于图像的像素或像素组，并且包括对应2D参数化的标识信息。根据另一示例，第二映射信息对应于例如以下形式的列表：

{3D部分标识；像素/像素组标识}，用于表示第一/第二补片图集的图像的每个像素或每组像素。

第二映射信息使得能够通过简化与每个3D部分相关联的标识信息的取得来加速解码器/呈现侧的信息的解码，这应该针对图像的每个像素发生。解码器的典型实现方式需要在GPU(图形处理单元)上对图像的每个像素并行实现该取得，其必须避免浏览列表。根据该可选变型，该第二映射信息是通常具有比色彩和深度图像更低分辨率的图像，其中每个像素直接给出与像素/点所属的每个3D部分相关联的标识信息。

对象5的分割可以随时间变化，例如从GOP到GOP之后的另一个，或者当对象5的拓扑的改变已经改变时或每q帧，q是大于或等于1的整数。分割的这样的变化在图5中用帧j例示。在帧j处的对象5的分割52与在帧i处的同一对象5的分割51不同。在图5的示例中，帧j处的对象5的拓扑不同于帧i处的对象5的拓扑。帧j可以例如属于在时间上跟随包括帧i的GOP的GOP。使用表示与由分割和表示3D部分中包括的点的几何的数据(例如坐标)产生的3D部分相关联的2D参数化的参数来获得包括与3D部分和对应的2D参数化相关联的深度图的第一补片图集55，如关于帧i描述。由于由分割52产生的3D部分的数量小于由分割51产生的3D部分的数量，因此第一补片图集55中的深度图的数量小于第一补片图集53中包括的深度图的数量。以相同的方式，使用表示与由分割52和表示3D部分中包括的点的几何的数据(例如坐标)产生的3D部分相关联的2D参数化的参数来获得包括与3D部分和对应的2D参数化相关联的色彩图的第二补片图集56，如关于帧i描述。由于由分割52产生的3D部分的数量小于由分割51产生的3D部分的数量，因此第二补片图集56中的色彩图的数量小于第二补片图集54中包括的深度图的数量。

图6示出与表示对象5的点云的3D部分相关联的第一或第二补片图集的另一非限制性示例。图6示出对应于例如图5的分割51的点云的第一分割61和同一点云的第二分割62。从第一分割61生成第一补片图集63，第一补片图集63包括从与由分割61产生的3D部分相关联的2D参数化获得的深度图。第二补片图集64从第一补片图集61生成，第二补片图集64包括从与由分割61产生的3D部分相关联的2D参数化获得的色彩图。

在第一分割61的一些3D部分已被分组到第二分割62的单个3D部分的意义上，第二分割62与第一分割61不同。例如，表示人的躯干的第一分割61的6个3D部分已被分组以在第二分割62中形成一个3D部分622。以相同的方式，表示人的肩部和手臂的部分的第一分割61的4个3D部分已被分组以在第二分割62中形成一个3D部分621。3D部分例如根据与3D部分中包括的点云的点相关联的几何特征来分组。例如，当从包含在这些3D部分中的每一个中的点获得的隐式表面具有类似的拓扑结构时，例如，法线彼此接近和/或相关联的深度值的范围彼此接近，3D部分可以被分组在一起。

从第二分割62生成第一补片图集65，第一补片图集65包括从与由第二分割62产生的3D部分相关联的2D参数化获得的深度图。如图6例示，第一补片图集65中的深度图的形状和数量与第一补片图集63中的深度图的形状和数量不同。与第一补片图集63中的对应深度图比较，与3D部分621，622的2D参数化相关联的一些深度图651，652的大小不同。以相同的方式，从第二分割62生成第二补片图集66，第二补片图集66包括从与由第二分割62产生的3D部分相关联的2D参数化获得的色彩图。第二补片图集64中的色彩图的数量小于第一分割61的3D部分的分组之后的第二补片图集64的色彩图的数量以获得第二分割62。该分组允许减少补片的数量，并因此减少锐边界的数量和高空间频率信息。减少这些降低了色彩和深度图的压缩比特率。

图7例示根据本原理的非限制性示例的从表示对象5的点云的3D部分生成第一和第二补片图集。

表示对象5的点云被分割为多个3D部分，例如，50个，100个，1000个或更多个3D部分，其中3个在图7中例示，即3D部分71，72和73，3D部分71包括表示人的头部的部分的点云的点，3D部分72包括表示人的腋窝的点云的点，并且3D部分73包括表示人的手部的点云的点。生成每个3D部分或3D部分的一部分的一个或多个2D参数化以在二维中表示每个3D部分。例如，针对3D部分71获得2D参数化701，针对3D部分72获得2D参数化702，并且针对3D部分73获得2个不同的2D参数化703和704。2D参数化可以与3D部分到另一个变化。例如，根据不同视点，与3D部分71相关联的2D参数化701是线性透视投影，而与3D部分72相关联的2D参数化702是LLE，并且与3D部分73相关联的2D参数化703和704都是正交投影。用于获得2D参数化的所有视点被选择为位于用于获得对象5的图像并且获得相关联的点云的获取设备的视点范围内。根据变型，与所有3D部分相关联的所有2D参数化都是相同类型的，例如，线性透视投影或正交投影。根据变型，不同的2D参数化可以用于相同的3D部分。如关于图5和6解释的，生成收集与获得的2D参数化相关联的深度图的第一补片图集74。第一补片图集除了其他深度图之外包括与2D参数化701相关联的深度图741，与2D参数化702相关联的深度图742，与2D参数化703相关联的深度图743和与2D参数化704相关联的深度图744。如关于图5和6解释的，生成收集与获得的2D参数化相关联的色彩图的第二补片图集75。

每个3D部分的2D参数化的选择例如基于优化处理，例如以减少第一和第二补片图集中的图的数量，和/或最小化3D到2D变换处理期间可能丢失的3D部分的点。。

每个深度或色彩图有利地具有矩形形状，以便易于在第一补片图集和第二补片图集上进行包装处理。

利用将在解码器侧被丢弃的边界来分开分别在第一补片图集和第二补片图集中的深度图和色彩图，以便消除在锐视觉边界处发生的压缩伪像。在解码器侧取得的用于点云的重新生成的深度和色彩图的信息的确切部分(例如，深度/色彩图的宽度和高度)由一些2D参数化参数提供，就像例如在线性或正交透视投影的情况下给出以像素表示的投影表面的2维中的跨度的参数。

根据变型，第一补片图集和第二补片图集形成单个补片图集，包括信息的映射信息使得能够取得与相同3D部分相关联的深度图和色彩图。

图12示出根据本原理的非限制性实施例的用于生成流的方法，该流包括表示例如在设备9(关于图9描述)中实现的场景的对象的数据。

在步骤1200中，更新设备9的不同参数。特别地，与对象的表示相关联的数据以任何方式初始化。

在操作1201中，从视点的范围看到的表示对象的3D点云被分割为多个3D部分，例如，5个，10个，50个，100个，1000个或更多个3D部分，每个包括3D点云的一个或多个点。获得与表示对象(或对象的一部分)的3D点云的点相关联的数据，即，例如从诸如设备9的本地存储器的存储器设备或诸如服务器的远程贮存设备(例如，通过诸如因特网或局域网的网络)接收的。根据另一示例，从用于获取包括对象的场景的一个或多个视图的一个或多个获取设备接收数据。数据包括例如色彩信息(或纹理信息)和距离信息(例如，对应于所考虑的点和与所考虑的点相关联的视点之间的距离的深度或高度，即，用于获取考虑的点的获取设备的视点)。

在操作1202中，从表示各自与3D点云的一个3D部分相关联的2D参数化的参数并且从与包括在2D参数化相关联的3D部分中的点相关联的几何信息确定包括深度图集合的第一补片图集。每个深度图对应于第一补片图集的补片，并且与点云的一个3D部分的一个2D参数化相关联。与3D部分相关联的2D参数化是从与所述3D部分中包括的点相关联的几何数据获得的3D隐式表面的2D像素/样本表示，2D参数化在对象的空间中的位置和与2D参数化相关联的视点根据与从中看到点云的视点范围相关联的姿势信息。2D参数化以这样的方式定位在由点云表示的对象的表面和视点的范围之间，即，利用2D参数化获得的2D表面面向与其相关联的3D部分。为每个3D部分或点云的仅一部分的每个3D部分生成一个或多个2D参数化。为每个生成的2D参数化生成一个深度图，并且将由此生成的深度图收集在图像中并以第一补片图集的形式排列。当数据与第一补片图集的像素相关联时，该数据对应于距离或深度信息。第一补片图集的某些像素没有与它们相关的信息，例如位于两个补片之间的像素。

在操作1203中，从表示各自与3D点云的一个3D部分相关联的2D参数化的参数并且从与包括在与2D参数化相关联的3D部分中的点相关联的几何信息确定包括色彩图的集合的第二补片图集。每个色彩图对应于第二补片图集的补片，并且与点云的一个3D部分的一个2D参数化相关联。为每个生成的2D参数化生成一个色彩图，并且将由此生成的色彩图收集在图像中并以第二补片图集的形式排列。当数据与第二补片图集的像素相关联时，该数据对应于色彩(例如，红色，绿色，蓝色或青色，品红色，黄色，黑色)信息。第一补片图集的某些像素没有与它们相关的信息，例如位于两个补片之间的像素。

第一补片图集的不同深度图和第二补片图集的不同色彩图与对应于点云的一个3D部分的每个2D参数化相关联。与给定2D参数化相关联的深度图和色彩图分别排列在第一补片图集和第二补片图集中的相同位置(例如，相同行，相同列)。根据变型，与给定2D参数化相关联的深度图和色彩图被分别排列在第一补片图集和第二补片图集中的不同位置(例如，用行索引和列索引描述)。

在操作1204中，生成包括表示第一补片图集的数据，表示第二补片图集的数据，表示2D参数化的参数和第一映射信息的数据流。第一映射信息使得能够分别在第一补片图集和第二补片图集中取得2D参数化和与其相关联的深度图和色彩图之间的对应信息。

图13例示从利用图12的方法获得的流中获得表示代表对象的点云的数据的方法。该方法根据本原理的非限制性实施例例如在设备9(关于图9描述)中实现。

在操作1300中，更新设备9的不同参数。特别地，以任何方式初始化与对象的至少一部分的表示相关联的数据。

在操作1301中，从数据流获得表示每个2D参数化的参数，关于图11描述这样的流的结构的示例。

在操作1302中，从数据流获得表示包括与在步骤1301获得的2D参数化相关联的深度图的第一补片图集的数据。表示第一补片图集的数据例如对应于在操作1202获得的数据。

在操作1303中，从数据流获得表示包括与在步骤1301获得的2D参数化相关联的色彩图的第二补片图集的数据。表示第二补片图集的数据例如对应于在操作1203获得的数据。

在操作1304中，从在操作1301获得的2D参数化的参数、在操作1302获得的第一补片图集的数据和在步骤1303获得的第二补片图集的数据，获得与点云的点相关联的数据，给定2D参数化及其在第一补片图集中的对应深度图以及第二补片图集中的对应色彩图的关联性是从包括在数据流中的第一映射信息获得的。通过对利用2D参数化获得的2D表面的样本/像素执行用于与获得2D参数化(例如，去投影或逆LLE)的逆操作来获得点。

在可选操作中，从可以被包括在流1100中的位置信息约束的视点呈现用2D参数化和相关联的第一补片图集和第二补片图集表示的对象的图像，位置信息例如对应于从中看到点云的视点的范围。对象的外表面可以例如通过将飞溅呈现技术应用于获得的点云的点来获得。在变型中，当流包括表示对象或者其一部分的信息用于对于帧序列(即图像)时，呈现图像序列。

图9示出设备9的示例性架构，其可以被配置为实现关于图12和/或13描述的方法。

设备9包括通过数据和地址总线91链接在一起的以下元件：

-微处理器92(或CPU)，其是例如DSP(或数字信号处理器)；

-ROM(或只读存储器)93；

-RAM(或随机存取存储器)94；

-贮存接口95；

-用于从应用程序接收要发送的数据的I/O接口96；和

-电源，例如电池。

根据示例，电源在设备外部。在每个提到的存储器中，说明书中使用的词语寄存器可以对应于小容量(一些比特)区域或非常大区域(例如整个程序或接收或解码的大量数据)。ROM 93至少包括程序和参数。ROM 93可以存储用于执行根据本原理的技术的算法和指令。当通电时，CPU 92将程序上载到RAM中并执行对应指令。

RAM 94包括寄存器中的由CPU 92执行并在设备9通电之后上载的程序，寄存器中的输入数据，寄存器中方法的不同状态的中间数据，以及用于该寄存器中执行该方法的其他变量。

本文描述的实现方式可以在例如方法或处理，装置，计算机程序产品，数据流或信号中实现。即使仅在单个实现形式的上下文中讨论(例如，仅作为方法或设备讨论)，所讨论的特征的实现方式也可以以其他形式(例如程序)实现。装置可以在例如适当的硬件，软件和固件中实现。方法可以在例如诸如处理器之类的装置中实现，该处理器通常指代处理设备，包括例如计算机，微处理器，集成电路或可编程逻辑器件。处理器还包括通信设备，诸如例如计算机，蜂窝电话，便携式/个人数字助理(“PDA”)，以及便于最终用户之间的信息通信的其他设备。

根据编码或编码器的示例，从源获得第一，第二，第三和/或第四语法元素。例如，源属于包含以下的组：

-本地存储器(93或94)，例如视频存储器或RAM(或随机存取存储器)，闪存，ROM(或只读存储器)，硬盘；

-贮存接口(95)，例如，具有大容量贮存器，RAM，闪存，ROM，光盘或磁性载体的接口；

-通信接口(96)，例如，有线接口(例如总线接口，广域网接口，局域网接口)或无线接口(诸如IEEE 802.11接口或蓝牙接口)；和

-用户界面，例如使用户能够输入数据的图形用户界面。

根据解码或(多个)解码器的示例，将第一，第二和/或第三信息发送到目的地；特别地，目的地属于包括以下的组：

-本地存储器(93或94)，例如视频存储器或RAM，闪存，硬盘；

-贮存接口(95)，例如，具有大容量贮存器，RAM，闪存，ROM，光盘或磁性载体的接口；和

-通信接口(96)，例如，有线接口(例如总线接口(例如USB(或通用串行总线))，广域网接口，局域网接口，HDMI(高清多媒体接口)接口)或无线接口(诸如，IEEE 802.11接口，

或/>

接口)。

根据编码或编码器的示例，包括表示对象的数据的比特流被发送到目的地。作为示例，比特流存储在本地或远程存储器中，例如，视频存储器(94)或RAM(94)，硬盘(93)。在变型中，比特流被发送到贮存接口(95)(例如具有大容量贮存器，闪存，ROM，光盘或磁性载体的接口)和/或通过通信接口(96)(例如，点对点链路，通信总线，点对多点链路或广播网络的接口)传输。

根据解码或解码器或呈现器的示例，从源获得比特流。示例性地，从本地存储器读取比特流，例如，视频存储器(94)，RAM(94)，ROM(93)，闪存(93)或硬盘(93)。在变型中，比特流从贮存接口(95)(例如，具有大容量贮存器，RAM，ROM，闪存，光盘或磁性载体的接口)接收，和/或从通信接口(95)(例如，点对点链路，总线，点对多点链路或广播网络的接口)接收。

根据示例，设备9被配置为实现关于图12描述的方法，并且属于包括以下的组：

-移动设备；

-通信设备；

-游戏设备；

-平板电脑(或平板计算机)；

-膝上型计算机；

-照相机；

-摄像机；

-编码芯片；

-服务器(例如广播服务器，视频点播服务器或网络服务器)。

根据示例，设备9被配置为实现关于图13描述的呈现方法，并且属于包括以下的组：

-移动设备；

-通信设备；

-游戏设备；

-机顶盒；

-电视机；

-平板电脑(或平板计算机)；

-膝上型计算机；和

-显示器(例如HMD)。

根据图10中例示的示例，在通信网络NET 1000上的两个远程设备1001和1002(设备9的类型)之间的传输上下文中，设备1001包括被配置为实现用于如关于图12所描述的生成流的方法的部件，并且设备1002包括被配置为实现如关于图13所描述的用于呈现图像的方法的部件。

根据示例，网络1000是LAN或WLAN网络，适于将具有相关音频信息的静止画面或视频画面从设备1001广播到包括设备1002的解码/呈现设备。

图11示出当通过基于分组的传输协议传输数据时这样的信号的语法的实施例的示例。图11示出沉浸式视频流的示例结构1100。该结构包含以独立的语法元素组织流的容器。该结构可以包括首标部分1101，该首标部分1101是流的每个语法元素共用的一组数据。例如，首标部分包含有关语法元素的元数据，以描述他们中每一个的性质和作用。首标部分还可以包括第一映射信息，以及可选地包括第二和第三映射信息。该结构可以包括其中包含语法元素1102，1103，1104的有效载荷，第一语法元素1102相对于定义2D参数化的参数，第二语法元素相对于表示第一补片图集的数据和第三语法元素相对于表示第二补片图集的数据。表示第一补片图集的数据可以包括关于每个深度图中包括的像素的信息(例如，深度图的参考像素的坐标，例如左上角像素的坐标，深度图的宽度以像素的数量表示，深度图的高度以像素的数量表示)。表示第二补片图集的数据可以包括关于每个色彩图中包括的像素的信息(例如，色彩图的参考像素的坐标，例如左上像素的坐标，深度图的宽度以像素的数量表示，色彩图的高度以像素的数量表示)。根据可选的变型，表示第一补片图集的数据还可以包括关于每个深度图中包括的最小和最大深度值的信息。表示第二补片图集的数据还可以包括关于每个色彩图中包括的最小和最大色彩值的信息。

出于例示目的，在ISOBMFF文件格式标准的上下文中，色彩图，深度图和元数据典型将在MOOV类型的框中的ISOBMFF轨道中被引用，其中色彩图和深度图数据本身嵌入在mdat类型的媒体数据框中。

自然地，本公开不限于先前描述的实施例。

特别地，本公开不限于用于生成流的方法和设备，而是还扩展到用于编码/解码包括表示场景的对象的数据的分组的方法以及实现该方法的任何设备，特别是包括至少一个CPU和/或至少一个GPU的任何设备。

本公开还涉及用于显示从包括表示场景的对象的信息的数据流呈现的图像的方法(和配置的设备)，并且涉及用于呈现和显示具有平面视频的对象的方法(和配置的设备)。

本公开还涉及用于发送和/或接收流的方法(和配置的设备)。

本文描述的实现方式可以在例如方法或处理，装置，计算机程序产品，数据流或信号中实现。即使仅在单个实现形式的上下文中讨论(例如，仅作为方法或设备讨论)，所讨论的特征的实现方式也可以以其他形式(例如程序)实现。装置可以在例如适当的硬件，软件和固件中实现。方法可以在例如诸如例如处理器之类的装置中实现，其通常指代处理设备，包括例如计算机，微处理器，集成电路或可编程逻辑设备。处理器还包括通信设备，诸如例如智能电话，平板电脑，计算机，移动电话，便携式/个人数字助理(“PDA”)，以及便于最终用户之间的信息通信的其他设备。

本文描述的各种处理和特征的实现方式可以体现在各种不同的设备或应用中，特别是，例如与数据编码，数据解码，视图生成，纹理处理以及图像的其他处理和相关的纹理信息和/或深度信息相关联的设备或应用。这样的设备的示例包括编码器，解码器，处理来自解码器的输出的后处理器，提供给编码器的输入的预处理器，视频编码器，视频解码器，视频编解码器，网络服务器，机顶盒，膝上型计算机，个人计算机，蜂窝电话，PDA和其他通信设备。应该清楚的是，该设备可以是移动的，甚至可以安装在移动车辆中。

另外，该方法可以由处理器执行的指令来实现，并且这样的指令(和/或由实现方式产生的数据值)可以存储在处理器可读介质上，诸如例如集成电路，软件载体或其他贮存设备，诸如例如硬盘，压缩盘(“CD”)，光盘(例如DVD，通常称为数字通用光盘或数字视频盘)，随机存取存储器(“RAM”)或只读存储器(“ROM”)。指令可以形成有形地体现在处理器可读介质上的应用程序。指令可以是例如硬件，固件，软件或组合。指令可以在例如操作系统，单独的应用或两者的组合中找到。因此，处理器可以特征在于，例如，被配置为实施处理的设备和包括具有用于实施处理的指令的处理器可读介质(诸如存储设备)的设备。此外，除了指令之外或代替指令，处理器可读介质可以存储由实现方式产生的数据值。

对于本领域技术人员显而易见的是，实现方式可以产生各种信号，这些信号被格式化以承载可以例如存储或传输的信息。该信息可以包括例如用于执行方法的指令，或者由所描述的实现方式之一产生的数据。例如，信号可以被格式化以承载用于写入或读取所描述的实施例的语法的规则作为数据，或者承载由所描述的实施例写入的实际语法值作为数据。这样的信号可以被格式化，例如，作为电磁波(例如，使用频谱的射频部分)或者作为基带信号。格式化可以包括，例如，编码数据流和用编码数据流调制载波。信号承载的信息可以是例如模拟或数字信息。如已知的，信号可以通过各种不同的有线或无线链路传输。信号可以存储在处理器可读介质上。

已经描述了许多实现方式。然而，将理解，可以进行各种修改。例如，可以组合，补充，修改或移除不同实现方式的元素以产生其他实现方式。另外，普通技术人员将理解，其他结构和处理可以替代所公开的那些，并且产生的实现方式将以至少基本相同的(多个)方式执行至少基本相同的(多个)功能，以至少实现与公开的实现方式基本相同的(多个)结果。因此，本申请考虑了这些和其他实现方式。

Claims

1.一种用于生成流的方法，该方法包括：

在多个三维部分(71，72，73)中分割(1201)三维点云(5)，每个三维部分包括三维点云的至少一个点；

对于所述三维部分(71，72，73)中的每个三维部分：

根据表示二维参数化(701，702，703，704)的参数，确定所述三维部分的深度图(741，742，743，744)，所述二维参数化响应于与所述至少一个点相关联的几何信息以及响应于与视点的范围相关联的姿势信息；和

根据所述参数，确定所述三维部分的色彩图；

在第一补片图集(74)中表示确定的多个深度图，每个深度图对应于第一补片图集的一个补片，并且在第二补片图集(75)中表示确定的多个色彩图，每个色彩图对应于第二补片图集的一个补片；

生成包括表示二维参数化的参数、表示第一补片图集的数据、表示第二补片图集的数据和第一映射信息的流(1100)，所述第一映射信息表示所述二维参数化与第一补片图集中的对应深度图和第二补片图集中的对应色彩图之间的映射。

2.根据权利要求1所述的方法，其中，多个二维参数化与所述多个三维部分的至少一部分的每个三维部分相关联。

3.根据权利要求1或2所述的方法，其中，所述流还包括第二映射信息，所述第二映射信息表示用于标识所述三维部分的信息与分别表示第一补片图集和第二补片图集的第一图像和第二图像的像素之间的映射。

4.根据权利要求1或2所述的方法，其中，所述点云的分割随时间变化。

5.一种被配置为生成流的设备(9)，所述设备包括与处理器(92)相关联的存储器(94)，所述处理器(92)被配置为：

在多个三维部分中分割三维点云，每个三维部分包括三维点云的至少一个点；

对于所述三维部分的每个三维部分：

根据表示二维参数化的参数，确定所述三维部分的深度图，所述二维参数化响应于与所述至少一个点相关联的几何信息以及响应于与视点的范围相关联的姿势信息；和

根据所述参数，确定所述三维部分的色彩图；

在第一补片图集中表示确定的多个深度图，每个深度图对应于第一补片图集的一个补片，并且在第二补片图集中表示确定的多个色彩图，每个色彩图对应于第二补片图集的一个补片；

生成包括表示二维参数化的参数、表示第一补片图集的数据、表示第二补片图集的数据和第一映射信息的流，所述第一映射信息表示所述二维参数化与第一补片图集中的对应深度图和第二补片图集中的对应色彩图之间的映射。

6.根据权利要求5所述的设备，其中，多个二维参数化与所述多个三维部分的至少一部分的每个三维部分相关联。

7.根据权利要求5或6所述的设备，其中，所述流还包括第二映射信息，所述第二映射信息表示用于标识所述三维部分的信息与分别表示第一补片图集和第二补片图集的第一图像和第二图像的像素之间的映射。

8.根据权利要求5或6所述的设备，其中，所述点云的分割随时间变化。

9.一种承载数据的流，其中，所述数据包括：

表示点云的三维部分(71，72，73)的二维参数化(701，702，703，704)的参数，所述参数是根据与所述三维部分中包括的点云的点相关联的几何信息并根据与视点的范围相关联的姿势信息而获得的；

表示第一补片图集(74)的数据，第一补片图集包括多个深度图(741，742，743，744)，每个与所述三维部分(71，72，73)之一相关联并且是根据所述参数和与包含在所述三维部分(71，72，73)中的点云的点相关联的数据而确定的；

表示第二补片图集(75)的数据，第二补片图集包括多个色彩图，每个与所述三维部分(71，72，73)之一相关联并且是根据所述参数和与包含在所述三维部分(71，72，73)中的点云的点相关联的数据而确定的；和

表示所述二维参数化、第一补片图集中的所述深度图和第二补片图集中的所述色彩图之间的映射的第一映射信息。

10.根据权利要求9所述的流，其中，多个二维参数化与多个三维部分中的至少一部分的每个三维部分相关联。

11.根据权利要求9或10所述的流，其中，所述流还包括第二映射信息，第二映射信息表示用于标识所述三维部分的信息与分别表示第一补片图集和第二补片图集的第一图像和第二图像的像素之间的映射。

12.一种从承载表示对象的数据的流中获得点云的方法，该方法包括：

从流获得(1301)表示点云的三维部分的二维参数化的参数；

从流获得(1302)表示第一补片图集的数据，第一补片图集包括多个深度图，每个与二维参数化之一相关联；

从流获得(1303)表示第二补片图集的数据，第二补片图集包括多个色彩图，每个与二维参数化之一相关联；

从表示二维参数化的所述参数、第一补片图集中的相关联的深度图的数据、第二补片图集中的相关联的色彩图的数据以及第一映射信息，获得(1304)与点云的点相关联的数据，第一映射信息从所述流获得并且表示所述二维参数化与分别在第一补片图集和第二补片图集中的对应深度图和色彩图之间的映射。

13.根据权利要求12所述的方法，其中，多个二维参数化与多个三维部分的至少一部分的每个三维部分相关联。

14.根据权利要求12或13所述的方法，其中，所述流还包括第二映射信息，第二映射信息表示所述三维部分与分别表示第一补片图集和第二补片图集的第一图像和第二图像的像素之间的映射。

15.根据权利要求12或13所述的方法，其中，根据获得的表示点云的数据来呈现表示所述对象的图像。

16.一种从承载表示对象的数据的流中获得点云的设备，所述设备包括与至少一个处理器(92)相关联的存储器(94)，所述处理器(92)被配置为：

从流获得表示点云的三维部分的二维参数化的参数；

从流获得表示第一补片图集的数据，第一补片图集包括多个深度图，每个与二维参数化之一相关联；

从流获得表示第二补片图集的数据，第二补片图集包括多个色彩图，每个与二维参数化之一相关联；

从表示二维参数化的所述参数、第一补片图集中的相关联的深度图的数据、第二补片图集中的相关联的色彩图的数据以及第一映射信息，获得与点云的点相关联的数据，第一映射信息从所述流获得并且表示所述二维参数化与分别在第一补片图集和第二补片图集中的对应深度图和色彩图之间的映射。

17.根据权利要求16所述的设备，其中，多个二维参数化与多个三维部分的至少一部分的每个三维部分相关联。

18.根据权利要求16或17所述的设备，其中，所述流还包括第二映射信息，所述第二映射信息表示识所述三维部分与分别表示第一补片图集和第二补片图集的第一图像和第二图像的像素之间的映射。

19.根据权利要求16或17所述的设备，其中，根据获得的表示点云的数据来呈现表示所述对象的图像。

20.一种非暂时性处理器可读介质，存储有用于使处理器至少执行根据权利要求1所述的方法的步骤的指令。

21.一种非暂时性处理器可读介质，存储有用于使处理器至少执行根据权利要求12所述的方法的步骤的指令。