CN111615715A

CN111615715A - 编码/解码体积视频的方法、装置和流

Info

Publication number: CN111615715A
Application number: CN201880086698.XA
Authority: CN
Inventors: F.图多尔; B.丘佩奥; R.多尔; T.塔皮; J.弗勒罗
Original assignee: InterDigital VC Holdings Inc
Current assignee: InterDigital VC Holdings Inc
Priority date: 2017-11-23
Filing date: 2018-11-06
Publication date: 2020-09-01
Anticipated expiration: 2038-11-06
Also published as: WO2019103838A1; EP3489900A1; US20200380765A1; CN111615715B; KR20200083616A; KR102594003B1; US11367247B2; EP3714429A1

Abstract

根据视点范围对表示场景的3D表示的数据进行编码/解码可以涉及根据表示与3D表示的部分相关联的二维参数化的参数和与该部分中包括的点相关联的数据，生成与该部分相关联的深度图，其中二维参数化可以响应于与点相关联的几何信息，并且响应于与视点范围相关联的姿势信息。可以根据与点相关联的参数和数据生成与该部分相关联的纹理图。可以获得表示该部分的一部分中的点的点密度的第一信息。在比特流的相应语法元素中可以包括深度图、纹理图、参数和第一信息。

Description

编码/解码体积视频的方法、装置和流

技术领域

本公开涉及体积视频(volumetric video)内容的领域。还可以在表示体积内容的数据的编码和/或格式化的上下文中理解本公开，例如用于在诸如移动设备或头戴式显示器的最终用户设备上进行渲染。

背景技术

本部分旨在向读者介绍本领域的各个方面，其可能与以下描述和/或要求保护的本公开的各个方面有关。认为本讨论有助于向读者提供背景信息，以有助于更好地理解本发明的各个方面。因此，应该理解的是，应从此角度来阅读这些陈述，而不是作为对现有技术的承认。

近来，可用的大视野内容(高达360°)日益增长。这类内容可能并不能由用户在诸如头戴式显示器、智能眼镜、PC屏幕、平板、智能电话等沉浸式显示设备上观看内容时完全看到。这意味着在给定时刻，用户可能仅在观看内容的一部分。然而，用户通常可以通过诸如头部移动、鼠标移动、触摸屏、语音等各种手段在内容之内导航。通常期望对该内容进行编码和解码。

沉浸式视频(也称为360°平面视频)允许用户通过其头部围绕静止视点的旋转来观看自己周围的一切。旋转仅允许3自由度(3DoF)体验。即使3DoF视频对于首次全向视频体验(例如使用头戴式显示设备(HMD))是足够的，但对于希望获得更大自由度(例如通过体验平行视差(parallax))的观看者而言，3DoF视频可能很快变得令人失望。另外，3DoF还可能引起头晕，因为用户不仅旋转了头部，而且还在三个方向上平移了头部，这些平移在3DoF视频体验中不被再现。

大视野内容尤其可以是三维计算机图形图像场景(3D CGI场景)、点云或沉浸式视频。可以使用许多术语来设计这类沉浸式视频：例如，虚拟现实(VR)、360、全景、4π球面弧度、沉浸式、全向或大视野。

体积视频(也称为6自由度(6DoF)视频)是3DoF视频的替代。当观看6DoF视频时，除了旋转之外，用户还可以在观看的内容之内平移其头部甚至身体，并且体验平行视差甚至体积。此类视频大大提高沉浸感和景深感知，并通过在头部平移期间提供一致的视觉反馈来防止头晕。通过允许同时记录感兴趣场景的颜色和深度的专用传感器来创建内容。彩色相机装备与摄影测量技术的结合使用是执行此类记录的常用方式。

虽然3DoF视频包括从纹理图像的去映射中得到的图像序列(例如根据纬度/经度投影映射或等矩形投影映射而编码的球形图像)，但6DoF视频帧嵌入了来自多个视点的信息。可以将它们视为从三维捕获得到的点云的时间序列。取决于观看状况，可以考虑两种体积视频。第一种(即完整的6DoF)允许在视频内容之内进行完全自由的导航，而第二种(也称为3DoF+)将用户的观看空间限制为有限的体积，从而限制了头部平移和平行视差体验。这第二种情况是在自由导航与坐下的观众的被动观看状况之间的一种有益权衡。

在增加沉浸式环境中的用户体验的同时，要传输到渲染器的数据量非常重要，并且可能是一个问题。

发明内容

说明书中对“一个实施例”、“实施例”、“示例实施例”、“特定实施例”的引用指示所描述的实施例可包括特定的特征、结构或特性，但是每个实施例不一定包括该特定的特征、结构或特性。而且，此类短语不一定指代相同的实施例。此外，当结合实施例描述特定的特征、结构或特性时，可以认为无论是否明确描述，结合其他实施例来影响这些特征、结构或特性在本领域技术人员的知识范围内。

本公开涉及一种将表示场景的3D表示的数据编码到比特流中的方法，该3D表示根据视点范围，该方法包括：

-根据表示与3D表示的至少一部分相关联的至少一个二维参数化的至少一个参数以及与所述至少一部分中包括的至少一个点相关联的数据，生成与所述至少一部分相关联的至少一个深度图，所述至少一个二维参数化响应于与至少一个点相关联的几何信息，并且响应于与视点范围相关联的姿势信息；

-根据至少一个参数以及与所述至少一部分中包括的至少一个点相关联的数据，生成与所述至少一部分相关联的至少一个纹理图；

-获得表示至少一部分3D表示的至少一部分中包括的点的点密度的第一信息；

-将至少一个深度图编码成比特流的第一语法元素，将至少一个纹理图编码成比特流的第二语法元素，将至少一个参数编码成比特流的第三语法元素，将第一信息编码成比特流的第四语法元素，以及将表示至少一个二维参数化与对应的至少一个深度图和至少一个纹理图之间的映射的第二信息编码成比特流的第五语法元素。

本公开还涉及一种配置为将表示场景的3D表示的数据编码到比特流中的设备，该3D表示根据视点范围，该设备包括与至少一个处理器相关联的存储器，该处理器配置为：

本公开涉及一种配置为将表示场景的3D表示的数据编码到比特流中的设备，该3D表示根据视点范围，该设备包括：

-生成器，其配置为根据表示与3D表示的至少一部分相关联的至少一个二维参数化的至少一个参数以及与所述至少一部分中包括的至少一个点相关联的数据，生成与所述至少一部分相关联的至少一个深度图，所述至少一个二维参数化响应于与至少一个点相关联的几何信息，并且响应于与视点范围相关联的姿势信息；

-生成器，其配置为根据至少一个参数以及与所述至少一部分中包括的至少一个点相关联的数据，生成与所述至少一部分相关联的至少一个纹理图；

-接口，配置为获得表示至少一部分3D表示的至少一部分中包括的点的点密度的第一信息；

-编码器，配置为将至少一个深度图编码成比特流的第一语法元素，将至少一个纹理图编码成比特流的第二语法元素，将至少一个参数编码成比特流的第三语法元素，将第一信息编码成比特流的第四语法元素，以及将表示至少一个二维参数化与对应的至少一个深度图和至少一个纹理图之间的映射的第二信息编码成比特流的第五语法元素。

本公开还涉及一种配置为将表示场景的3D表示的数据编码到比特流中的设备，该3D表示根据视点范围，该设备包括：

-用于根据表示与3D表示的至少一部分相关联的至少一个二维参数化的至少一个参数以及与所述至少一部分中包括的至少一个点相关联的数据，生成与所述至少一部分相关联的至少一个深度图的部件，所述至少一个二维参数化响应于与至少一个点相关联的几何信息，并且响应于与视点范围相关联的姿势信息；

-用于根据至少一个参数以及与所述至少一部分中包括的至少一个点相关联的数据，生成与所述至少一部分相关联的至少一个纹理图的部件；

-用于获得表示至少一部分3D表示的至少一部分中包括的点的点密度的第一信息的部件；

-用于将至少一个深度图编码成比特流的第一语法元素，将至少一个纹理图编码成比特流的第二语法元素，将至少一个参数编码成比特流的第三语法元素，将第一信息编码成比特流的第四语法元素，以及将表示至少一个二维参数化与对应的至少一个深度图和至少一个纹理图之间的映射的第二信息编码成比特流的第五语法元素的部件。

本公开涉及一种从比特流中解码表示场景的3D表示的数据的方法，该3D表示根据视点范围，该方法包括：

-从比特流中解码表示3D表示的至少一部分的至少一个二维参数化的至少一个参数；

-从比特流中解码表示与3D表示的至少一部分相关联的至少一个纹理图的数据；

-从比特流中解码表示与3D表示的至少一部分相关联的至少一个深度图的数据；

-从至少一个参数、表示至少一个纹理图的数据、表示至少一个深度图的数据、从比特流中获得的并且表示至少一部分3D表示的至少一部分中包括的点的点密度的第一信息、以及从比特流中获得的并且表示至少一个二维参数化与对应的至少一个深度图和至少一个纹理图之间的映射的第二信息中，确定与3D表示的至少一部分中包括的至少一个点相关联的数据。

本公开涉及一种配置为从比特流中解码表示场景的3D表示的数据的设备，该3D表示根据视点范围，该设备包括与至少一个处理器相关联的存储器，该处理器配置为：

本公开涉及一种配置为从比特流中解码表示场景的3D表示的数据的设备，该3D表示根据视点范围，该设备包括：

-解码器，配置为从比特流中解码表示3D表示的至少一部分的至少一个二维参数化的至少一个参数；

-解码器，配置为从比特流中解码表示与3D表示的至少一部分相关联的至少一个纹理图的数据；

-解码器，配置为从比特流中解码表示与3D表示的至少一部分相关联的至少一个深度图的数据；

-处理器，配置为从至少一个参数、表示至少一个纹理图的数据、表示至少一个深度图的数据、从比特流中获得的并且表示至少一部分3D表示的至少一部分中包括的点的点密度的第一信息、以及从比特流中获得的并且表示至少一个二维参数化与对应的至少一个深度图和至少一个纹理图之间的映射的第二信息中，确定与3D表示的至少一部分中包括的至少一个点相关联的数据。

-用于从比特流中解码表示3D表示的至少一部分的至少一个二维参数化的至少一个参数的部件；

-用于从比特流中解码表示与3D表示的至少一部分相关联的至少一个纹理图的数据的部件；

-用于从比特流中解码表示与3D表示的至少一部分相关联的至少一个深度图的数据的部件；

-用于从至少一个参数、表示至少一个纹理图的数据、表示至少一个深度图的数据、从比特流中获得的并且表示至少一部分3D表示的至少一部分中包括的点的点密度的第一信息、以及从比特流中获得的并且表示至少一个二维参数化与对应的至少一个深度图和至少一个纹理图之间的映射的第二信息中，确定与3D表示的至少一部分中包括的至少一个点相关联的数据的部件。

根据特定特性，第一信息包括关于3D表示的哪些部分的点密度低于确定密度值的指示。

根据具体特性，通过根据视点范围中包括的视点检测场景的至少一个图像中的场景的对象之间的至少一个边界来获得第一信息，3D表示的部分的点密度低于与包括边界的场景的区域相对应的确定密度值。

根据另一特性，通过计算3D表示的多个体积元素中的每个体积元素中包括的点的数量从而获得每个体积元素的点密度，并且通过将每个体积的点密度与确定密度值进行比较来获得第一信息。

根据又一特性，除了从经解码的至少一个深度图获得的点之外，在点密度低于确定密度值的3D表示的部分中生成附加点。

本公开还涉及一种承载表示场景的3D表示的数据的比特流，该3D表示根据视点范围，其中，该数据包括：

-表示部分3D表示的至少一部分的至少一个二维参数化的至少一个参数，该参数是根据与3D表示的至少一部分的至少一个点相关联的几何信息以及根据与视点范围相关联的姿势信息而获得的；

-表示至少一个纹理图的数据，该至少一个纹理图与3D表示的至少一部分相关联，并且是从至少一个参数和与3D表示的至少一部分中包括的至少一个点相关联的数据中确定的；

-表示至少一个深度图的数据，该至少一个深度图与3D表示的至少一部分相关联，并且是从至少一个参数和与3D表示的至少一部分中包括的至少一个点相关联的数据中确定的；

-表示至少一部分3D表示中的至少一部分中包括的点的点密度的第一信息；以及

-表示至少一个二维参数化与对应的至少一个深度图和至少一个纹理图之间的映射的第二信息。

本公开还涉及一种包括程序代码指令的计算机程序产品，当在计算机上执行该程序时，该程序代码指令执行编码或解码表示场景的3D表示的数据的方法的步骤。

本公开还涉及一种(非暂时性)处理器可读介质，该介质中存储有用于使处理器至少执行上述编码或解码表示场景的3D表示的数据的方法的指令。

附图说明

通过阅读以下描述，将更好地理解本公开，并且其他具体特征和优点也将显现，该描述参考附图，其中：

-图1示出了根据本原理的特定实施例的体积内容；

-图2A和图2B示出了根据本原理的特定实施例的光场采集设备，其配置为采集3D场景(或3D场景的一部分)的图像以获得图1的体积内容的至少一部分；

-图3示出了根据本原理的特定实施例的用图2A和图2B的采集设备采集的3D场景或其一部分的表示；

-图4示出了根据本原理的特定实施例的与图3的3D场景的表示的3D部分相关联的2D参数化；

-图5和图6示出了根据本原理的特定实施例的与图4的3D部分相关联的补丁图集；

-图7示出了根据本原理的非限制性实施例的图5和图6的补丁图集的生成；

-图8A、图8B、图8C和图8D各自示出了对图3的3D场景的3D表示的分割的非限制性示例；

-图9示出了根据本原理的示例的图3的3D场景的表示的编码/解码方案的示例；

-图10示出了根据本原理的非限制性实施例的在对图3的3D场景的表示进行编码中实现的处理的示例；和

-图11示出了根据本原理的非限制性实施例的用于解码比特流以获得图3的3D场景的经解码的3D表示的处理的示例；

-图12示出了根据本原理的示例的配置用于实现图10、图11、图15和/或图16的方法的设备的架构的示例；

-图13示出了根据本原理的示例的通过通信网络进行通信的图12的两个远程设备；

-图14示出了根据本原理的示例的承载图3的3D场景的3D表示的描述的信号的语法；

-图15示出了根据本原理的示例的对表示图3的3D场景的3D表示的数据进行编码的方法；

-图16示出了根据本原理的示例的对表示图3的3D场景的3D表示的数据进行解码的方法。

具体实施方式

现在参考附图描述主题，其中贯穿全文相似的附图标记用于指代相似的元件。在下面的描述中，出于解释的目的，阐述了许多具体细节以便提供对主题的透彻理解。然而，显而易见的是，主题实施例在没有这些具体细节的情况下也可以实践。

本描述示出了本公开的原理。因此，应当理解，本领域技术人员将能够设计出尽管未在本文中明确描述或示出但体现本公开原理的各种布置。

根据本公开的非限制性实施例，公开了用于将体积视频(也称为3DoF+或6DoF视频)的图像编码成比特流的方法和设备。还公开了用于从比特流中解码体积视频的图像的方法和设备。还公开了用于对体积视频的一个或多个图像进行编码的比特流的语法的示例。

根据第一方面，将参考将表示场景的3D表示(用全向内容表示，也称为沉浸式视频)的数据编码成比特流的方法(以及配置用于对该数据进行编码的设备)的第一特定实施例来描述本原理。为了达到该目的，获得用于3D表示的一个或多个2D参数化，2D参数化例如对应于场景的3D表示或场景的3D表示的一部分的2D像素表示。使用描述与每个部分相关联的2D参数化的一个或多个参数来对于3D表示的每个部分确定深度图(也称为高度图)和纹理图(也称为颜色图)，并将该深度图和纹理图与该3D表示的每个部分相关联。与3D表示(或3D表示的一部分)相关联的深度图包括与3D表示中包括(相应地，3D表示的一部分中包括)的元素(例如点)相关联的深度或距离信息。与3D表示(或3D表示的一部分)相关联的纹理图包括与3D表示中包括(相应地，3D表示的一部分中包括)的元素(例如点)相关联的纹理信息(例如RGB值)。3D表示的元素(例如，网格元素的点或顶点)的密度可以在空间上变化，即，元素的密度(每体积单位的元素数)可以在3D表示的各3D部分/区域之间彼此不同。可以通过组合和/或编码2D参数化的参数、表示深度图的数据、表示纹理图的数据、关于密度或密度的变化的信息、以及将每个2D参数化与其关联的深度图和纹理图链接的映射信息，来生成比特流。

在解码器/渲染侧，可以通过从流中解码/提取2D参数化的参数以及具有关于元素密度/多个密度的信息的相关联的深度图和纹理图来重构3D表示(例如点云或网格)，并且可以从3D表示中渲染3D场景的一个或多个图像。例如，取决于密度水平，可以将特定处理应用于元素密度低于确定的水平/值的3D表示的区域。

与用点云或3D网格的表示相比，使用多个2D参数化作为用于用纹理和深度信息表示对象的参考使得能够减少表示场景所需的数据量，同时使得能够用最佳细节水平表示具有复杂拓扑的对象。传输关于元素密度的信息使得能够对3D表示的某些部分应用特定处理(例如，对具有低元素密度(即，低于确定的水平/值)的3D表示的部分的元素进行过采样)，这可以用于减少要传输的数据量，同时增强重构的3D场景的表示的质量。

图1示出了根据本原理的特定且非限制性实施例的体积内容10(也称为沉浸式内容或全向内容)的示例。图1示出了表示三维场景的图像，该场景包括若干对象的表面表示。可能已经使用任何合适的技术来捕获该场景。例如，其可能已经使用计算机图形图像(CGI)工具来创建。其可能已被颜色图像和深度图像采集设备捕获。在此类情况下，可能无法在场景中表示从采集设备(例如相机)不可视的部分对象。图1中所示的示例场景包括房屋、两个角色和一口井。图1上的立方体11示出了用户可能从其观察3D场景的视图空间。

用于对体积内容10进行可视化的显示设备例如是佩戴在用户的头上或作为头盔的一部分的HMD(头戴式显示器)。HMD有利地包括一个或多个显示屏(例如LCD(液晶显示器)、OLED(有机发光二极管)或LCOS(硅上液晶))，以及(多个)传感器，配置用于根据现实世界的一个、两个或三个轴(俯仰轴、偏航轴和/或横滚轴)，测量HMD位置的(多项)改变，例如陀螺仪或IMU(惯性测量单元)。有利地，利用建立了现实世界中与HMD相关联的视点和与体积内容10相关联的虚拟相机的视点之间的关系的特定函数，确定与HMD的测量位置相对应的体积内容10的部分。根据HMD的测量位置控制要显示在HMD的一个或多个显示屏上的视频内容的部分，使得佩戴HMD的用户能够浏览沉浸式内容，该沉浸式内容大于与HMD的一个或多个显示屏相关联的视野。例如，如果HMD提供的视野等于110°(例如围绕偏航轴)，并且如果沉浸式内容提供180°的内容，则佩戴HMD的用户可以将其头部旋转到右或左来看到HMD提供的视野之外的视频内容的部分。根据另一示例，沉浸式系统是CAVE(Cave AutomaticVirtual Environment，洞穴自动虚拟环境)系统，其中沉浸式内容被投影到房间的墙壁上。CAVE的墙壁例如由背投屏幕或平板显示器组成。因此，用户可以在房间的不同墙壁上浏览其注视。CAVE系统有利地设置有采集用户的图像的相机，以通过对这些图像的视频处理来确定用户的注视方向。根据变型，用跟踪系统确定用户的注视或姿势，例如红外跟踪系统，用户佩戴红外传感器。根据另一变型，沉浸式系统是具有触觉显示屏的平板，用户通过用在触觉显示屏上滑动的一个或多个手指滚动内容来浏览内容。

体积内容10可以例如是2π、2.5π、3π或4π球面弧度内容。

图2A和图2B示出了可用于采集体积内容10的光场采集设备的示例。更具体地，图2A和图2B分别示出了根据本原理的两个特定实施例的相机阵列2A、2B(也称为多个相机阵列)。

相机阵列2A包括透镜或微透镜的阵列20，其包括若干微透镜201、202至20p，其中p是对应于微透镜数量的整数，以及一个或若干个传感器阵列21。相机阵列2A不包括主透镜。透镜阵列20可以是小型设备，其通常被称为微透镜阵列。具有单个传感器的相机阵列可以被视为全光相机的特例，其中主透镜具有无限的焦距。根据其中光传感器的数量等于微透镜的数量(即，一个光传感器与一个微透镜光学地相关联)的特定布置，相机阵列20可以看作是紧密间隔的多个单独相机(例如微型相机)的布置，诸如正方形布置(如图2A所示)或例如梅花形布置，或非平坦布置(例如在圆柱表面上)。

相机阵列2B对应于多个单独的相机的装备，每个相机包括透镜和光传感器阵列。相机间隔开例如等于几厘米或更短或者5、7或10cm的距离。

用此类相机阵列2A或2B获得的光场数据(形成所谓的光场图像)对应于场景的多个视图，即，对应于可以通过对用全光相机获得的原始图像进行解复用和去马赛克来获得的最终视图，该全光相机诸如1.0型全光相机，对应于其中小透镜阵列与光传感器阵列之间的距离等于微透镜焦距的全光相机，或者否则为2.0型全光相机(也称为聚焦全光相机)。根据任何已知方法对相机阵列2B的相机进行校准，即，相机的内部参数和外部参数是已知的。

用光场采集设备获得的不同视图使得能够使用能够例如基于视差(disparity)计算深度的算法来获得沉浸式内容或沉浸式内容的至少一部分。自然地，可以用不同于光场采集设备的采集设备来获得沉浸式内容，例如，用与深度传感器相关联的相机(例如，红外发射器/接收器，诸如Microsoft的Kinect，或激光发射器)来获得沉浸式内容。

图3示出了用体积内容10表示的场景的对象或其一部分的两种不同表示。根据图3的示例，对象是例如在场景内移动的人，并且对应于头部的对象的部分在图3中示出。

对象的部分的第一3D表示30是点云。点云对应于表示对象(例如对象的外表面或外部形状)的大的点集合。点云可被视为是基于向量的结构，其中每个点具有其坐标(例如，三维坐标XYZ，或距给定视点的深度/距离)和一个或多个属性(也称为分量)。分量的示例是可以在不同的颜色空间中表示的颜色分量，例如RGB(红色、绿色和蓝色)或YUV(Y是亮度分量，而UV是两个色度分量)。点云是从给定视点或视点范围看到的对象的表示。点云可以通过不同的方式获得，例如：

·来自于由相机装备(如图2的相机阵列)拍摄的真实对象的捕获，可选地通过深度有源感应设备进行补充；

·来自于由建模工具中的虚拟相机装备拍摄的虚拟/合成对象的捕获；

·来自于真实对象和虚拟对象两者的混合。

根据变型，3D表示对应于3D网格表示，并且在第一表示上示出的点对应于形成网格的网格元素(例如三角形)的顶点。

在第一种情况下(来自于真实对象的捕获)，该组相机生成对应于不同视图(不同视点)的一组图像或图像序列(视频)。深度信息(意指从每个相机中心到对象表面的距离)是通过有源深度感应设备获得的，例如，在红外范围内并基于结构化光分析或飞行时间，或者是基于视差算法获得的。在这两种情况下，所有相机都需要被内部校准和外部校准。视差算法包括在一对经过校正的相机图像上搜索相似的视觉特征，通常沿一维直线进行该搜索：像素列差越大，该特征的表面越近。在相机阵列的情况下，可以利用多个相机对，从多个对等视差信息的组合中获得全局深度信息，从而改善信噪比。

在第二种情况下(合成对象)，建模工具直接提供深度信息。

形成第一3D表示30的元素(例如点或网格元素)的密度可以在空间上变化。每个体积单位的元素数量可能在各体积单位之间彼此不同，在各组体积单位之间彼此不同，或在各3D部分之间彼此不同。体积单位例如对应于体素或确定规格的立方体(例如，具有各自尺寸等于1、2或10cm的边缘的立方体)。密度对应于每个体积单位的元素数量，例如每个体素的点的数量。

例如，通过考虑已经利用相机阵列2A采集了人的头部的图像并且该头部在图像的采集期间面向相机阵列2A，可以用相机阵列2A中的许多相机来采集面向相机的头部的一个或多个部分301，而可以用少的或少于一个或多个部分301的相机来采集其他一个或多个部分302。例如，一个或多个部分301可以对应于其法线基本正交于由相机阵列2A的相机形成的平面的对象/场景的区域，而一个或多个部分302可以对应于其法线基本平行于由相机阵列2A的相机形成的平面的对象/场景的区域。从用相机阵列采集的图像中生成3D表示导致部分301具有用于表示它们的元素的数量大于用于表示部分302的元素的数量。一个或多个部分301的元素密度大于一个或多个部分302的元素密度，与一个或多个部分301相比，从减少数量的相机中看到一个或多个部分302。

在对表示如上所述获得的3D场景的3D表示的数据(例如纹理和深度)进行编码/解码后重构3D场景的3D表示时，用低密度的元素(即密度低于确定的水平/值)表示3D场景的部分可能会产生问题。

在由场景的3DoF+表示提出的视图空间内浏览/导航到重构的3D场景时，可能会出现其他问题。实际上，用户可以根据视点来观看重构的3D场景，该视点渲染用有限数量的元素(即，在渲染方面具有有限的质量)获得的3D场景的3D表示的可视部分。

可以从点云(或3D网格)表示30中获得对象的部分的第二表示31，第二表示对应于表面表示。可以处理点云以便计算其表面。为此，对于点云的给定点，使用该给定点的相邻点，以便计算该给定点处局部表面的法线，与该给定点相关联的表面元素是从该法线导出的。对所有点重复该处理以获得表面。例如，Matthew Berger等人在“State of the Art inSurface Reconstruction from Point Clouds”(State of the Art Report，2014年)中描述了从点云重构表面的方法。根据变型，与点云的给定点相关联的表面元素是通过对该给定点应用散斑渲染(splat rendering)获得的。对象的表面(也称为对象的隐式表面或外表面)是通过混合与点云中的点相关联的所有散斑(例如椭圆形)而获得的。

在特定实施例中，点云仅表示对象的部分视图，而不表示对象的全部，并且这对应于应该如何在渲染侧(例如，在电影放映场景中)观看对象的方式。例如，对面向平面相机阵列的角色进行拍摄只会在装备的一侧生成点云。角色的背面甚至不存在，对象本身不是闭合的，因此该对象的几何特性是在装备的方向上定向的所有表面的集合(每个局部表面的法线与返回到采集设备的射线之间的角度例如小于90°)。

可以进一步获得或确定关于3D场景的3D表示的密度的信息。可以以各种方式获得密度信息，已知场景的几何形状(例如，可以从根据不同视点采集或获得的不同图像中确定的深度)。例如，可以通过对3D表示的每个元素(或一部分元素中的每个元素)(例如，点或网格元素)计数相邻点的数量N，例如以所述每个元素为中心的半径R的球体或以所述每个元素为中心的立方体中的相邻点的数量，来确定密度。密度可以用相邻点的数量N表示，表面密度等于相邻点的数量除以邻域表面(即N/(Pi·R²))，或体积密度等于相邻点的数量除以邻域体积(N/(4/3·Pi·R³))。

根据另一示例，可以通过对3D表示的每个元素或一部分元素中的每个元素确定到最近的相邻点的距离来估计密度。该距离被视为等于上述球形邻域半径R(并且N＝1)。

根据又一示例，例如，如关于图8A至图8D所描述的，将3D表示分割为多个部分(可以对应于体素或基本表面区域)，并且计算每个3D部分内的元素数量(例如，根据场景的几何形状，例如与每个元素相关联的深度，以及例如根据从例如相机阵列2A采集的场景图像确定的深度)。

根据另一示例，可以通过确定3D表示内的边界来获得关于密度的信息。根据该示例，表示视差的信息可以指示3D表示的哪些部分的密度水平低于确定水平，该密度水平在重构3D表示时可能引起问题。实际上，具有低元素密度的3D表示的区域位于边界(场景对象之间和/或一个或多个对象的多个部分之间)可能出现在用于生成3D表示的3D场景图像中的位置。为了达到该目的，例如，从利用相机阵列2A获得的场景的光场数据或从与用于采集场景图像的一个或多个相机相关联的深度传感器中，确定包括表示场景的几何形状的信息的一个或多个图(例如深度图)。然后可以执行基于深度的分割算法以根据几何信息分割场景。例如在

和B.Chupeau的“Depth-Based Segmentation”(IEEE学报关于视频技术的电路和系统，第7卷，第1期，1997年2月)中描述了此类基于深度的算法的示例，该文章还描述了一种从立体图像中确定深度图的方法。一旦根据深度对场景的不同部分进行了分割，就可以直接检测场景的部分之间或场景的对象之间的边界(即，场景的分割部分的轮廓)。自然地，场景的分割可以基于场景图像的颜色或纹理，诸如在J.Malik、S.Belongie、T.Leung和J.Shi的“Contour and Texture Analysis for Image Segmentation”(国际计算机视觉杂志，43(1)，7-27页，2001年)中所描述的。

根据另一示例，可以通过确定3D场景的哪个(哪些)部分或区域的法向量基本正交于(例如，90°+/-5°)用于采集3D场景图像的采集设备的平面的法线，来获得关于密度的信息。这些区域对应于用有限数量的相机和/或以锐利的采集角度采集的场景的区域。根据该示例，密度信息提供关于密度水平低于确定的水平/值的场景的一个或多个部分/区域的信息。场景的3D表示可以被分割为多个区域，并且确定与这些区域相关联的法向量。还可以从与3D表示的3D部分相关联的2D参数化中确定法向量，并获得该法向量，如关于图4所说明的。

图4示出了根据本原理的特定实施例的与已经用相机4001、4002、4003和4004采集的场景对象的表示40的3D部分相关联的2D参数化41、42和43。相机4001至4004例如对应于图2B的装备中的一些相机。如图3的示例31所示，对象用其表面40表示，但如图3的示例30所示，对象可以用点云本身表示。每个2D参数化都与对象的表示的3D部分相关联，每个3D部分对应于包括点云中的一个或多个点的一个体积。以如下方式通过考虑采集设备的姿势信息来确定每个2D参数化：浏览与所述每个2D参数化相关联的3D部分中包括的点云中的最大数量的点(由采集设备的视点范围生成)。当用相关联的3D部分的点的线性透视投影获得2D参数化时，将确定的视点与每个2D参数化相关联，每个视点都包括在与用于采集场景的视点范围相对应的视点范围内。2D参数化41与视点401相关联，2D参数化42与视点402相关联，2D参数化43与视点403相关联。如在图4上可以看到的，视点401至403中的每一个位于视点4001与4002之间，视点4001与4002分别对应于采集设备的视点范围的左极限4001和右极限4004。点云是从有限且确定的视点范围中获得的，并且点云的3D部分的2D表示(即2D参数化)从位于有限且确定的用于获得点云的视点范围内的视点都被看到。每个2D参数化都是与其相关联的点云的3D部分的2D表示。相同的3D部分可以用一个或若干个2D参数化(例如用两个、三个或更多个2D参数化)来表示。如上所述，与点云的一个给定3D部分相关联的2D参数化对应于点云的给定3D部分的二维浏览，该二维浏览允许对给定3D部分采样，即该给定3D部分的内容(即一个或多个点)的2D表示包括多个样本，该样本的数量取决于所应用的采样率。可以通过各种方式获得2D参数化，例如，通过实施以下任何一种方法：

-点云的3D部分的点在与视点相关联的平面上的线性透视投影，表示线性透视投影的参数包括虚拟相机的位置、空间采样率和二维视野；

-点云的3D部分的点在表面上的正交投影，表示正交投影的参数包括投影表面的几何形状(形状、尺寸和取向)以及空间采样率；

-与降维的数学运算相对应的LLE(局部线性嵌入)，此处被应用于从3D到2D的转换/变换，表示LLE的参数包括变换系数。

2D参数化41、42和43可以用有限数量的参数表示并且例如用一个或多个参数方程式定义。通过考虑给定3D部分的几何特性(例如，给定3D部分的极点和/或与从位于3D部分内的点获得的给定3D部分中包括的对象的部分的外表面的元素相关联的法线信息)以及一个或多个采集设备的姿势信息(例如，用于定向2D参数化)，来确定与点云的给定3D部分相关联的2D参数化。考虑3D部分的几何特性和姿势信息使得能够获得位于面向3D部分的空间中的2D参数化，即，位于采集设备与点云之间的2D参数化。

如在图4上可以看到的，2D参数化41、42和43可以彼此重叠，该重叠例如是由于与2D参数化相关联的3D部分的重叠。

为了获得3D部分，可以根据不同的方法来分割点云。例如，可以根据图8A至图8D的示例来分割点云。根据图8A的非限制性示例，由点云占据的3D空间81(例如半球)根据球坐标(r，θ，

)(即根据对应于半球的半径的距离“r”以及角度“θ”和

)进行分割，每个维度“r”、“θ”和

均等地分割。根据变型，维度“r”、“θ”和/或

中的一个或多个可以变化，例如3D部分的深度可以随维度“r”而变化。根据变型，确定每个3D部分的尺寸以将点云的点均匀地分布到3D部分中，3D点的尺寸取决于在由点云占据的空间的不同区域中的点的局部密度。在图8B的示例中，根据球坐标(r，θ，

)以交错的方式分割由点云占据的3D空间82(例如，半球)。在图8A和图8B的示例中，可以将3D部分看作是视图相机锥台体积。根据图8C的非限制性示例，根据笛卡尔坐标(x，y，z)，即根据3D笛卡尔参照系的三个维度，分割由点云占据的3D空间83(例如，对应于限定点云的框的平行六面体)。每个3D部分可以具有立方体或矩形平行六面体的形式。每个3D部分可以具有相同的尺寸，或者3D部分可以具有不同的尺寸，例如以将点均匀地分布到所有3D部分中。图8D示出了图8C的分割的变型，其中，平行六面体以交错的方式分布在由点云占据的3D空间84内。即使未在图8A、图8B、图8C和图8D上示出，由点云的分割所产生的3D部分也可能彼此部分重叠，意味着点云空间的某些部分可能属于若干个3D部分。点云的分割可以是固定的，也可以随时间变化。例如，点云的分割在各个GOP(Group of Pictures，图片组)之间可以是变化的。当在MPEG-DASH(HTTP上的动态自适应流传输)的上下文中应用时，分割在各分段(segment)之间可以是变化的，并且在ISOBMFF标准的帧中，该分段可以是ISOBMFF分段。

图5示出了根据本原理的非限制性示例，对于帧i和时间上位于帧i之后的帧j，深度图和纹理图与点云的3D部分的关联。表示对象5(在图5的示例中为人)的3D点云以灰色阴影示出。对象5的分割51对应于图8A的示例(即根据球坐标的分割)，在相邻的3D部分之间具有部分的重叠。为了清楚起见，仅根据θ和

以2D表示点云及其分割。由分割所产生的3D部分用以矩阵方式布置的正方形5100、5110、51mn示出，其中“m”对应于行索引，而“n”对应于列索引。例如，参考数字5100指向属于索引为'0'的行和索引为'1'的列的正方形，参考数字5110指向属于索引为'1'的行和索引为“0”的列的正方形。一个深度图与点云5的每个3D部分相关联。以同样的方式，一个纹理图与点云5的每个3D部分相关联。

密度信息可以与每个深度图和/或每个纹理图相关联。密度信息可以例如采用与每个深度图相关联的元数据的形式。密度信息可以例如表示与每个深度图(或纹理图)相关联的3D部分的平均元素密度。根据另一示例，密度信息可以例如表示密度值的范围，该密度值的范围表示所考虑的3D部分中的密度值的范围。根据另一示例，密度信息可以对应于与每个深度图相关联的标志，该标志指示包括在相关联的3D部分中的元素的密度是否低于确定的密度水平/值(例如，当密度大于确定值时标志可以等于0，当密度小于确定值时标志可以等于1，或以相反方式)。

通过使用与给定3D部分5110相关联的2D参数化的参数来获得与给定3D部分(例如3D部分5110)相关联的深度图，并且通过使用与3D部分5320相关联的2D参数化的参数来获得深度图5320。例如，当2D参数化对应于线性透视投影时，表示2D参数化的参数是视点的位置(即虚拟相机位置)(例如，可以从与3D部分中包括的点云的点相关联的法线获得)以及水平和垂直视野。例如已知世界空间中的点的坐标和视点的坐标(在线性透视投影的情况下)，要存储在深度图中的深度信息对应于在线性透视情况下的虚拟相机位置或在正交投影情况下的2D投影表面与3D部分中包括的点云的点之间的、沿着开始于在线性透视情况下的视点或在正交投影情况下的投影表面的正交并终止在3D部分中包括的点云的点处的射线的距离。当用从点云的点获得的隐式表面表示对象时，要存储在深度图中的距离对应于一方面的射线与2D参数化表面之间的交点、与另一方面的射线与隐式表面之间的交点之间的距离。深度信息的数量可以取决于2D参数化表面的分辨率，该分辨率取决于采样间隔。例如，通过应用散斑渲染技术获得深度图，即，将与点相关联的深度值分配给与该点相关联的2D参数化表面的样本(该样本取决于所使用的2D参数化的类型，例如，线性透视投影、正交投影或LLE)，并且还分配给位于交叉样本的邻域中的样本(这些样本形成散斑)。根据变型，通过应用射线追踪技术，即通过从2D参数化表面的样本发射射线，并通过向给定样本分配对应于与由从给定样本发射的射线相交的点(或最接近射线的点)相关联的深度值的深度值，来获得深度图。

深度信息的编码可以在第一补丁图集(patch atlas)53中的各深度图之间变化。例如，用于给定深度图的深度信息的编码可以适于与给定深度图相关联的3D部分的深度值的范围和/或适于3D部分中包括的点的数量。例如，取决于针对3D部分计算的最小深度值和最大深度值，确定对应深度图中的深度信息的编码以适于这些最小值与最大值之间的差异。如果该差异小，则深度信息可以例如以8或10位编码，而如果该差异大，则深度信息可以例如以12、14或更多位编码。在各深度图之间变化编码使得能够优化比特率编码。根据变型，无论最小深度值与最大深度值之间的差异如何，但是通过考虑最小值和最大值，对于每个3D图，深度信息被编码在相同的比特深度(例如8、10、12或14位)上。此类变型使得能够当差异小时减少量化步长，这使得能够减少与深度信息的编码相关联的量化噪声。

以相同的方式，通过使用与给定3D部分相关联的2D参数化的参数来获得与给定3D部分相关联的纹理图。从给定3D部分中包括的点云的点取回的颜色信息或从与从视点投射的射线相交的对象的隐式表面取回的颜色信息与2D参数化表面的样本相关联，以形成颜色图。对于深度图，例如通过应用散斑渲染技术获得颜色图，即，将与点相关联的一个或多个颜色值分配给与该点相关联的2D参数化表面的样本(该样本取决于所使用的2D参数化的类型，例如线性透视投影、正交投影或LLE)，并且还分配给位于交叉样本的邻域中的样本(这些样本形成散斑)。根据变型，通过应用射线追踪技术，即通过从2D参数化表面的样本发射射线，并通过向给定样本分配对应于与由从给定样本发射的射线相交的点(或最接近射线的点)相关联的颜色值的颜色值，来获得纹理图。关于深度信息，用于给定颜色图的颜色信息的编码可以适于与给定颜色图相关联的3D部分的颜色值的范围和/或适于3D部分中包括的点的数量。例如，取决于针对3D部分计算的最小颜色值和最大颜色值，确定对应颜色图中的颜色信息的编码以适于这些最小值与最大值之间的差异。如果该差异小，则纹理/颜色信息可以例如以8或10位编码，而如果该差异大，则纹理/颜色信息可以例如以12、14或更多位编码。在各颜色图之间变化编码使得能够优化比特率编码。根据变型，无论最小颜色值与最大颜色值之间的差异如何，但是通过考虑最小值和最大值，对于每个纹理图，颜色信息被编码在相同的比特深度(例如8、10、12或14比特)上。此类变型使得能够当差异小时减少量化步长，这使得能够实现更高的色彩动态范围或更高的亮度范围，这可以用于获得用点云表示的对象的HDR(高动态范围)表示。

可以根据确定的或随机的布置，例如以具有行和列的矩阵方式，将获得的深度图的集合布置在第一补丁图集53中，其中第一补丁图集53中的补丁对应于一个深度图。例如，补丁531是与3D部分5110相关联的深度图。

以相同的方式，例如根据与第一补丁图集53中的深度图相同的布置，将获得的纹理图的集合布置在第二补丁图集54中。

可以将一个或多个附加补丁添加到第一补丁图集53和/或第二补丁图集。一个或多个附加补丁可以用于嵌入密度信息，一个或多个附加补丁的像素包括关于第一和/或第二补丁图集中的其他补丁的密度信息。映射信息可以与一个或多个附加补丁相关联，以指示一个或多个附加补丁的像素与第一和/或第二补丁图集的关联补丁之间的关联。例如，附加补丁的一个像素可以与一个深度图相关联，并且可以传输与该深度图相关联的密度信息。

可以生成第一映射信息以保持2D参数化与分别在第一补丁图集和第二补丁图集中的关联的深度图和纹理图之间的连接。第一映射信息可以是例如以下形式：

{2D参数化的参数；深度图ID；纹理图ID}

其中，深度图ID可以是整数值，或是包括深度图在第一补丁图集的补丁矩阵中所属的列索引U和行索引V的一对值；纹理图ID可以是整数值，或是包括纹理图在第二补丁图集的补丁矩阵中所属的列索引U’和行索引V’的一对值。

当深度图和纹理图在第一补丁图集和第二补丁图集中根据相同的布置被布置时，深度图ID和纹理图ID相同，并且第一映射信息可以是例如以下形式：

{2D参数化的参数；深度图和纹理图ID}

其中，“深度图和纹理图ID”经由与深度图和纹理图两者相关联的相同整数值或经由深度图和纹理图分别在第一补丁图集和第二补丁图集中所属的列索引U和行索引V的一对值，来标识第一补丁图集中的深度图和第二图图集中的颜色图两者。

为每个2D参数化以及关联的深度图和纹理图生成相同的映射信息。此类第一映射信息使得能够通过建立2D参数化与对应的深度图和纹理图的关联来重构点云。如果2D参数化是投影，则可以通过对关联深度图中包括的深度信息和关联纹理图中的纹理/颜色信息进行解投影(执行逆投影)来重构点云。然后，第一映射信息对应于映射信息列表：

{2D参数化的参数；深度图和纹理图ID}_i，

针对i＝1到n，其中n为2D参数化的数量。

第一补丁图集53和第二补丁图集可以被视为具有相同分辨率的图像，即具有以具有K列和L行的矩阵方式布置的相同数量的像素，K和L是整数。每个补丁(对应于第一补丁图集53的深度图或对应于第二补丁图集54的纹理图)包括表示第一补丁图集53或第二补丁图集的图像的像素子集。

根据可选变型，第二映射信息可以与表示第一补丁图集53或第二补丁图集54的图像的像素相关联，第二映射信息有利地对于表示第一补丁图集53的图像和表示第二补丁图集54的图像是共同的，分辨率对于这两个图像是相同的，并且涉及相同2D参数化的补丁是根据第一补丁图集和第二补丁图集两者中的相同布置来组织的。第二映射信息指示表示第一补丁图集(或第二补丁图集)的图像的每个像素或每个像素组涉及哪个2D参数化或与哪个2D参数化相关联。为了达到该目的，将标识信息与每个2D参数化相关联(例如，整数值对于每个2D参数化不同)。第二映射信息可以例如具有以行和列布置的单元的图的形式，每个单元对应于图像的像素或像素组，并且包括对应的2D参数化的标识信息。根据另一示例，第二映射信息对应于列表，例如具有以下形式：

{3D部分标识；像素/像素组标识}，针对表示第一/第二补丁图集的图像的每个像素或每个像素组。

第二映射信息使得能够通过简化与每个3D部分相关联的标识信息的取回，在解码器/渲染侧加速信息的解码，这对于图像中的每个像素都应当发生。解码器的典型实施方式需要在GPU(图形处理单元)上对图像的每个像素并行实现该取回，这必须避免浏览列表。根据该可选变型，该第二映射信息是通常具有比颜色和深度图像低的分辨率的图像，其中每个像素直接给出与像素/点所属的每个3D部分相关联的标识信息。

对象5的分割可能会随时间变化，例如从一个GOP到随后的另一个GOP变化，或者当对象5的拓扑的改变已经改变时或每q帧，其中q为大于或等于1的整数。在图5中用帧j示出了此类分割的变化。对象5在帧j处的分割52不同于对象5在帧i处的分割51。在图5的示例中，对象5在帧j处的拓扑不同于对象5在帧i处的拓扑。帧j例如可以属于在时间上在包括帧i的GOP后面的GOP。使用表示与由分割和表示3D部分中包括的点的几何形状(例如坐标)的数据所产生的3D部分相关联的2D参数化的参数来获得第一补丁图集55，该第一补丁图集55包括与3D部分和对应的2D参数化相关联的深度图，如关于帧i所述。由于由分割52所产生的3D部分的数量小于由分割51所产生的3D部分的数量，所以第一补丁图集55中的深度图的数量小于第一补丁图集53中包括的深度图的数量。以相同的方式，使用表示与由分割52和表示3D部分中包括的点的几何形状(例如坐标)的数据所产生的3D部分相关联的2D参数化的参数来获得第二补丁图集56，该第二补丁图集56包括与3D部分和对应的2D参数化相关联的纹理图，如关于帧i所述。由于由分割52所产生的3D部分的数量小于由分割51所产生的3D部分的数量，所以第二补丁图集56中的纹理图的数量小于第二补丁图集54中包括的深度图的数量。

图6示出了与表示对象5的3D表示的3D部分(例如，点云)相关联的第一或第二补丁图集的其他非限制性示例。图6示出了例如对应于图5的分割51的点云的第一分割61，以及相同点云的第二分割62。从第一分割61生成第一补丁图集63，第一补丁图集63包括从与由分割61所产生的3D部分相关联的2D参数化获得的深度图。从第一分割61生成第二补丁图集64，第二补丁图集64包括从与由分割61所产生的3D部分相关联的2D参数化获得的纹理图。

在第一分割61的一些3D部分已经被分组到第二分割62的单个3D部分的意义上，第二分割62与第一分割61不同。例如，已经将第一分割61中表示人的躯干的6个3D部分分组，以形成第二分割62中的一个3D部分622。以相同的方式，已经将第一分割61中表示人的肩膀和手臂的4个3D部分分组，以形成第二分割62中的一个3D部分621。3D部分例如根据与3D部分中包括的点云的点相关联的几何特性而被分组。例如，当从3D部分中的每一个中包括的点获得的隐式表面具有类似的拓扑时(例如，法线彼此接近和/或关联深度值的范围彼此接近)，这些3D部分可以被分组到一起。

从第二分割62生成第一补丁图集65，第一补丁图集65包括从与由第二分割62所产生的3D部分相关联的2D参数化获得的深度图。如图6所示，第一补丁图集65中深度图的形状和数量不同于第一补丁图集63中深度图的形状和数量。相较于第一补丁图集63中对应的深度图，与3D部分621、622的2D参数化相关联的一些深度图651、652在尺寸方面是不同的。以相同的方式，从第二分割62生成第二补丁图集66，第二补丁图集66包括从与由第二分割62所产生的3D部分相关联的2D参数化获得的纹理图。在对第一分割61的3D部分进行分组以获得第二分割62之后，第二补丁图集66中的颜色图的数量小于第二补丁图集64中的颜色图的数量。该分组允许减少补丁的数量，并因此减少锐利边沿和高空间频率信息的数量。减少此数量降低了纹理图和深度图的压缩比特率。

根据另一示例，单个2D参数化可以与整个对象5相关联，可以对于整个对象5生成单个深度图和单个纹理图。

图7示出了根据本原理的非限制性示例，从表示对象5的点云的3D部分生成第一和第二补丁图集。

表示对象5的点云被分割为多个3D部分，例如50、100、1000个或更多3D部分，其中的3个在图7中示出，即3D部分71、72和73，3D部分71包括表示人的头部的部分的点云的点，3D部分72包括表示人的腋窝的点云的点，而3D部分73包括表示人的手的点云的点。生成每个3D部分或3D部分的一部分的一个或多个2D参数化，来以二维表示每个3D部分。例如，对于3D部分71获得2D参数化701，对于3D部分72获得2D参数化702，并且对于3D部分73获得2个不同的2D参数化703和704。2D参数化可以在各3D部分之间变化。例如，根据不同的视点，与3D部分71相关联的2D参数化701是线性透视投影，而与3D部分72相关联的2D参数化702是LLE，并且与3D部分73相关联的2D参数化703和704都是正交投影。选择用于获得2D参数化的所有视点，以使其位于用于获得对象5的图像并用于获得关联点云的采集设备的视点范围内。根据变型，与所有3D部分相关联的所有2D参数化是相同类型，例如，线性透视投影或正交投影。根据变型，不同的2D参数化可以用于相同的3D部分。如关于图5和图6所解释的，生成收集与获得的2D参数化相关联的深度图的第一补丁图集74。第一补丁图集包括与2D参数化701相关联的深度图741、与2D参数化702相关联的深度图742、与2D参数化703相关联的深度图743和与2D参数化704相关联的深度图744，以及其他深度图。如关于图5和图6所解释的，生成收集与获得的2D参数化相关联的纹理图的第二补丁图集75。

每个3D部分的2D参数化的选择例如基于优化处理，例如以减少第一和第二补丁图集中图的数量，和/或以使3D部分在3D到2D转换处理期间会丢失的点最小化。

每个深度或纹理图有利地具有矩形形状，以简化对第一补丁图集和第二补丁图集的打包处理。

分别在第一补丁集和第二补丁集中的深度图和纹理图将由边界分开，该边界将在解码器侧被丢弃，以消除出现在锐利视觉边沿处的压缩伪像。由某些2D参数化参数提供用于点云的再生的、在解码器侧针对深度图和纹理图取回的信息的确切部分(例如深度图/纹理图的宽度和高度)，例如在线性或正交透视投影的情况下，给出以像素表示的投影表面的二维跨度的参数。

图9示意性地示出了根据本原理的特定且非限制性实施例的3D场景的编码/解码方案的图，例如诸如点云的场景的3D表示。

经由在模块M91中实现的编码处理91，以比特流902的形式将点云901编码成编码数据。比特流被传输到模块M92，模块M92实施解码处理92来解码经编码的数据以获得经解码的点云903。模块M91和M92可以是硬件、软件或硬件和软件的组合。

点云901可以是随时间演化的动态点云，即，点的数量可能随时间而变化和/或一个或多个点的位置(例如，坐标X、Y和Z中的至少一个)可能随时间而变化。点云的演化可以对应于由点云表示的对象的运动和/或对应于对象或对象的一个或多个部分的形状的任何改变。

点云901可以以图片或一组或多组时间上连续的图片来表示，每个图片包括在确定时间“t”处的点云的表示。一组或多组时间上连续的图片可以形成表示点云901的至少一部分的视频。

编码处理91可以例如实施图片内编码和/或图片间编码。图片内编码基于图片内预测，所述图片内预测通过从已经编码像素外推来计算预测值以进行有效的增量编码来利用空间冗余度(即一个图片内像素之间的相关性)。图片间编码基于利用时间冗余的图片间预测。时间独立编码的所谓的帧内图片“I”仅使用帧内编码。时间编码的预测图片“P”(或“B”)可以使用图片内和图片间预测。

解码处理92可以例如对应于编码处理91的逆操作，以对用编码处理编码的数据进行解码。

图10示出了根据本原理的特定且非限制性实施例，用于对3D场景或其3D表示(例如点云901)进行编码的操作。这些操作可以是编码处理91的一部分，并且可以由图12的装置12实施。

在操作101中，由编码器ENC1对点云901的图片100的数据(例如，对应于第一或第二补丁集)进行编码。图片例如是图片组(GOP)的一部分，并且包括表示在确定时间“t”的点云的数据。图片可以包括一组图像，每个图像对应于补丁(即，深度图或纹理图)，每个补丁包括属性(例如深度和/或纹理属性)。可以通过根据确定的2D参数化将每个点云的一部分投影到每个图像中来获得属性，所述属性对应于被投影到所述每个图像上的点云的部分中的点的属性。属性可以对应于纹理(或颜色)信息和/或深度(或到视点的距离)信息。编码器ENC1例如与诸如以下的传统编码器兼容：

·JPEG，规范ISO/CEI 10918-1UIT-T建议T.81，https://www.itu.int/rec/T-REC-T.81/en，

·AVC，也称为MPEG-4AVC或h264。在UIT-T H.264和ISO/CEI MPEG-4第10部分(ISO/CEI 14496-10)中指定，http://www.itu.int/rec/T-REC-H.264/en

·HEVC(其规范可在ITU网站上找到，T建议，H系列，h265，http://www.itu.int/rec/T-REC-H.265-201612-I/en)，或者

·3D-HEVC(HEVC的扩展，其规范可在ITU网站上找到，T建议，H系列，h265，http://www.itu.int/rec/T-REC-H.265-201612-I/en附录G和I)。

与图片100相关联的密度信息由编码器ENC1进一步编码。

编码的数据可以被存储和/或传输到比特流902中。

在操作102中，图片100的编码数据由解码器DEC1解码。解码器DEC1与编码器ENC1兼容，例如与诸如以下的传统解码器兼容：

·JPEG，

·AVC，也称为MPEG-4AVC或h264，

·HEVC，或

·3D-HEVC(HEVC的扩展)。

在操作101处编码的属性在操作102处进行解码和取回，例如，将其存储在缓冲存储器中，以用于生成与图片100相关联的参考图片103。

参考图片103可以在由模块M104实施的操作104中使用。操作104包括例如用于帧间预测的预测器的生成，所述预测器用于对与图片100不同的点云的一个或多个图片进行编码(例如，在与图片100的时间“t”不同的确定时间处的点云的图片)。然后可以通过参考参考图片103来对点云901或表示点云的图片进行编码。根据变型，模块M104是编码器ENC1的一部分。

自然地，可以以与参考图片103相同的方式获得多个参考图片，多个参考图片中的每个参考图片是从表示点云的特定图片中获得的，对点云901的编码参考一个或若干个参考图片。

图11示出了根据本原理的特定且非限制性实施例的用于从比特流902解码点云901的编码版本的操作。这些操作可以是解码处理92的一部分，并且可以由图12的装置12实施。

在操作111中，解码器DEC2从接收到的比特流902中解码点云的一个或多个图片(例如，一个或多个GOP中的图片或一个帧内周期中的图片)的编码数据。比特流902包括一个或多个图片的编码数据，具有表示与一个或多个图片相关联的密度的信息。图片可以包括一组图像，每个图像对应于补丁(即，深度图或纹理图)，每个补丁包括属性(例如深度和/或纹理属性)。从解码操作111获得与该组图像相关联的属性。属性可以对应于纹理(或颜色)信息和/或深度(或到视点的距离)信息。解码器DEC2可以对应于图12的解码器DEC1，并且例如与诸如以下的传统解码器兼容：

·JPEG，

·AVC，也称为MPEG-4AVC或H264，

·HEVC，或

·3D-HEVC(HEVC的扩展)。

在操作111期间，由解码器DEC2对比特流902中包括的经编码的密度信息进行解码。

取回在操作111处解码的属性，例如将其存储在缓冲存储器中，以用于一个或多个参考图片112的生成，每个参考图片与一个图片相关联。

可以从经解码的图片中获得参考图片112(可以与图10的参考图片103相同)。参考图片可以包括与图片相同的结构，即，该组图像的相同空间布置。

可以在由模块M113实施的操作113中使用参考图片112。操作113包括例如从对比特流中包括的编码数据的解码中生成用于帧间预测的预测器。这些与预测器的生成相关联的数据可以包括：

-预测类型，例如指示预测模式是帧内还是帧间的标志，

-运动向量，和/或

-从参考图片列表中指示参考图片的索引。

自然地，可以以与参考图片113相同的方式获得多个参考图片，多个参考图片中的每个参考图片是从表示点云的特定图片的解码数据中获得的，对比特流902的数据的解码可以基于一个或若干个参考图片，以获得经解码的点云903。

然后可以进一步处理经解码的点云903，以从包括属性(深度和纹理)的经解码的图片、从经解码的密度信息、从经解码的表示2D参数化的参数、以及从用于在2D参数化与经解码的图片中包括的深度图和纹理图之间进行映射的经解码的映射信息重构场景的3D表示。点云的点是通过根据逆2D参数化对深度图和纹理图的像素进行解投影而获得的。点云的几何形状(即点的坐标或距与2D参数化相关联的视点的距离)是通过对深度图进行解投影而获得的，并且与点云的点相关联的纹理是从纹理中图获得的。从深度图和纹理图的解投影获得的点在下文中称为重构点。

可以进一步处理从解码的密度信息中标识的重构点云的部分，所述重构点云的部分的点密度小于确定密度水平。

在从经解码的比特流获得的成对的重构点之间可以生成附加点。附加点可以通过从与重构点相关联的深度和纹理计算所述附加点的关联深度和纹理而被生成。生成的附加点的数量例如可以是分开重构点的距离的函数，该距离越大，则附加点的数量越大。可以根据确定的目标密度水平来确定生成的附加点的数量，该确定的目标密度水平由用户进一步定义或者对应于场景渲染的期望质量水平的水平。根据另一示例，目标密度水平被设置为等于密度大于所述确定水平的重构点云的部分的平均密度。

在重构点之间生成的附加点可以接收与用于生成所述附加点的重构点相关联的纹理值的平均值作为纹理信息，以及与用于生成所述附加点的重构点相关联的深度值的平均值作为深度信息。根据另一示例，要与生成的附加点相关联的纹理信息对应于用于生成该附加点的重构点之一的纹理信息。

根据变型，将上采样处理(诸如M.Alexa、J.Behr、D.Cohen-Or、S.Fleishman、D.Levin和CT Silva，2009年1月，在IEEE TVCG9中的“Computing and rendering pointset surfaces”中描述的处理)应用于从经解码的密度信息中标识的点云的部分，所述点云的部分的点密度小于确定密度水平。

图12示出了可以配置为实施关于图10、图11、图15和/或图16描述的方法的设备12的示例架构。设备12可以配置为图9和图13中的编码器91、131或解码器92、132。

设备12包括以下元素，这些元素通过数据和地址总线121链接在一起：

-微处理器122(或CPU)，其为例如DSP(或数字信号处理器)；

-ROM(或只读存储器)123；

-RAM(或随机存取存储器)124；

-储存接口125；

-I/O接口126，用于从应用接收要传输的数据；以及

-电源，例如电池。

根据示例，电源在设备外部。在每个提到的存储器中，说明书中使用的词语“寄存器”可以对应于小容量(一些比特)的区域，也可以对应于非常大的区域(例如整个程序或大量接收或解码的数据)。ROM 123至少包括程序和参数。ROM 123可以存储算法和指令以执行根据本原理的技术。当接通时，CPU 122将程序上载到RAM中并执行相应的指令。

RAM 124包括寄存器中的由CPU 122执行并在设备120接通之后上载的程序，寄存器中的输入数据，寄存器中的处于方法的不同状态的中间数据，以及寄存器中的用于执行方法的其他变量。

本文描述的实施方式可以例如以方法或处理、装置、计算机程序产品、数据流或信号来实施。即使仅在单一实现形式的上下文中进行了讨论(例如，仅作为方法或设备进行了讨论)，但是所讨论特征的实施方式也可以以其他形式(例如程序)来实施。装置可以例如以适当的硬件、软件和固件来实施。例如，方法可以在诸如例如处理器之类的装置中实施，所述处理器通常指的是处理设备，包括例如计算机、微处理器、集成电路或可编程逻辑器件。处理器还包括通信设备，诸如计算机、蜂窝电话、便携式/个人数字助理(“PDA”)，以及其他有助于最终用户之间信息通信的设备。

根据编码或编码器91、131的示例，三维场景10是从源获得的。例如，源属于包括以下内容的集合：

-本地存储器(123或124)，例如，视频存储器或RAM(或随机存取存储器)、闪存、ROM(或只读存储器)、硬盘；

-储存接口(125)，例如，与大容量储存、RAM、闪存、ROM、光盘或磁性支撑件的接口；

-通信接口(126)，例如，有线接口(例如总线接口、广域网接口、局域网接口)或无线接口(诸如IEEE 802.11接口或

接口)；以及

-用户接口，诸如图形用户接口，使用户能够输入数据。

根据解码或一个或多个解码器92、132的示例，该流被发送到目的地；具体而言，目的地属于包括以下的集合：

-本地存储器(123或124)，例如，视频存储器或RAM、闪存、硬盘；

-储存接口(125)，例如，与大容量储存、RAM、闪存、ROM、光盘或磁性支撑件的接口；以及

-通信接口(126)，例如，有线接口(例如总线接口(例如USB(或通用串行总线))、广域网接口、局域网接口、HDMI(高清晰度多媒体接口)接口)或无线接口(诸如IEEE 802.11接口、

或

接口)。

根据编码或编码器的示例，将包括表示体积场景的数据的比特流发送到目的地。作为示例，比特流被存储在本地或远程存储器中，例如视频存储器或RAM、硬盘。在变型中，将比特流发送到储存接口，例如与大容量储存、闪存、ROM、光盘或磁性支撑件的接口，和/或通过通信接口(例如到点对点链接、通信总线、点对多点链接或广播网络的接口)传输比特流。

根据解码或解码器或渲染器的示例，从源获得比特流。示例性地，从本地存储器(例如，视频存储器、RAM、ROM、闪存或硬盘)读取比特流。在变型中，从储存接口(例如与大容量储存、RAM、ROM、闪存、光盘或磁性支撑件的接口)接收比特流，和/或从通信接口(例如到点对点链接、通信总线、点对多点链接或广播网络的接口)接收比特流。

根据示例，设备12配置为实施结合图10、图11、图15和/或图16描述的方法，并且属于包括以下的集合：

-移动设备；

-通信设备；

-游戏设备；

-平板(或平板电脑)；

-膝上型计算机；

-静止图片相机；

-视频相机；

-编码芯片；

服务器(例如广播服务器、视频点播服务器或网络服务器)。

根据图13中所示的示例，在通信网络NET 130上的两个远程设备131与132(装置12的类型)之间的传输上下文中，设备151包括配置为实施如关于图10和/或图15所描述的用于对数据进行编码的方法的部件，并且设备132包括配置为实施如关于图11和/或图16所描述的解码方法的部件。

根据示例，网络130是LAN或WLAN网络，其适于从设备131向包括设备132的解码/渲染设备广播具有相关联的音频信息的静止图片或视频图片。

根据另一示例，该网络是广播网络，其适于从设备131向包括设备132的解码设备广播经编码的3D表示(例如，点云或网格)。

意图由设备131传输的信号承载比特流14。

图14示出了当通过基于分组的传输协议来传输数据时，此类信号的语法的实施例的示例。图14示出了体积内容流的示例结构14。该结构包含容器，该容器以独立的语法元素组织流。

结构可以包括首标(header)部分141，该首标部分是该流的每个语法元素所共有的一组数据。例如，首标部分包含有关语法元素的元数据，其描述了每个语法元素的性质和作用。

该结构可以包括有效载荷，该有效载荷包括语法元素142至146。第一语法元素142例如关于定义2D参数化的参数。第二语法元素143例如关于表示一个或多个深度图的数据。第三语法元素144例如关于表示一个或多个纹理图的数据。第四语法元素145例如关于与3D场景的3D表示的至少一部分的密度有关的信息。第五语法元素146例如关于与2D参数化和对应的深度图和纹理图之间的映射有关的信息。

出于说明目的，在ISOBMFF文件格式标准的上下文中，纹理图、深度图和元数据通常在“moov”类型的框中的ISOBMFF轨道中被引用，其中纹理图和深度图数据本身嵌入“mdat”类型的媒体数据框中。

图15示出了根据本原理的非限制性实施例的用于编码表示场景(例如3D场景10)的3D表示的数据的方法。该方法可以例如在编码器91、131和/或设备12中实施。可以更新设备12的不同参数。例如，可以从源获得3D表示，可以在3D场景的空间中确定一个或多个视点，可以初始化与一个或多个投影映射和/或一个或多个2D参数化相关联的参数。

在第一操作151中，生成一个或多个深度图，每个深度图与场景的3D表示的部分相关联。深度图各自从各自与3D表示的一个部分相关联的2D参数化的一个或多个参数以及从与关联于2D参数化的3D表示的部分中包括的点相关联的几何信息中生成。每个深度图可以例如对应于第一补丁图集中的补丁，并且与3D表示的一个部分的一个2D参数化相关联。与3D表示的部分相关联的2D参数化是3D隐式表面的2D像素/样本表示，该3D隐式表面是从与所述部分中包括的点相关联的几何数据、场景空间中的2D参数化的位置、以及与2D参数化相关联的视点中获得的，该视点根据与从看到3D表示的视点范围相关联的姿势信息。2D参数化可以例如以此类方式定位，使其位于由3D表示所表示的场景的表面与视点范围之间，即用2D参数化获得的2D表面面向与之相关联的部分。对于3D表示的每个部分或仅一部分的每个部分生成一个或多个2D参数化。根据变型，对于整个3D表示生成单个2D参数化。当数据与深度图的像素相关联时，该数据对应于距离或深度信息。

在第二操作152中，生成一个或多个纹理图，每个纹理图与场景的3D表示的部分相关联。从与3D表示的一个部分相关联的2D参数化的参数以及从与关联于2D参数化的3D表示的部分中包括的点相关联的纹理/颜色信息中生成纹理图。每个纹理图可以例如对应于第二补丁图集中的补丁，并且与3D表示的一个部分的一个2D参数化相关联。与纹理图的像素相关联的数据可以对应于颜色(例如，红色、绿色、蓝色或青色、品红色、黄色、黑色)信息。

在第三操作153中，生成表示3D表示的一个或多个部分中包括的点的点密度的第一信息。与3D表示的给定部分相关联的第一信息可以包括以下信息中的一个或多个：

-指示给定部分中包括的点的点密度大于或小于确定的密度水平的信息。确定的密度水平可以例如是用户设置的水平/值，或者可以是根据例如给定部分所属的场景的对象或地区的平均密度来确定(计算)的水平/值；

-指示对于给定部分确定的点密度范围的信息；

-指示给定部分中包括的点的平均点密度的信息；和/或

-指示在给定部分内确定的所有点密度的信息。

在第四操作154中，至少一个深度图被编码成比特流的第一语法元素；至少一个纹理图被编码成比特流的第二语法元素；所述至少一个参数被编码成第三语法元素；第一信息被编码成第四语法元素；表示一个或多个二维参数化与对应的一个或多个深度图与一个或多个纹理图之间的映射的第二信息被编码成比特流的第五语法元素。

图16示出了根据本原理的非限制性实施例的用于解码表示场景(例如3D场景10)的3D表示的数据的方法。该方法可以例如在解码器92、132和/或设备12中实施。

在第一操作161中，从接收到的比特流中解码表示3D表示的至少一部分的至少一个二维参数化的至少一个参数。

在第二操作162中，从比特流中解码表示与3D表示的至少一部分相关联的至少一个纹理图的数据。

在第三操作163中，从比特流中解码表示与3D表示的至少一部分相关联的至少一个深度图的数据。

在第四操作164中，从至少一个参数、表示一个或多个纹理图的数据，表示一个或多个深度图的数据、从比特流中获得/解码并且表示3D表示的一个或多个部分中包括的点的第一信息、以及从比特流中获得/解码并且表示一个或多个2D参数化与对应的深度图和纹理图之间的映射的第二信息中确定与所述3D表示的至少一部分中包括的至少一个点相关联的数据。

经解码的数据和信息还可用于生成/重构3D场景的3D表示，以用于渲染和/或显示重构的3D场景。可以从视点范围看到重构的3D场景，这可能会生成一些渲染质量问题，尤其是当根据能够看到被标识为具有低点密度(经由第一信息)的场景区域的视点观看3D场景时。为了克服这些问题，可以将上采样处理应用于点密度低于确定的水平/值的场景区域以增加点的数量。

然后可以将散斑渲染应用于重构的3D表示(还应用于已上采样的部分)，以生成/渲染场景。散斑渲染是一种允许在点云中填充无量纲的点之间的孔的技术。其包括对于点云中的每个点基于其邻域估计一个定向的椭圆，即椭圆的两个半轴和法线。

通过将少量数据(即第一信息)添加到比特流来提高3D场景的渲染质量。

自然地，本公开不限于先前描述的实施例。

特别地，本公开不限于用于编码/解码表示3D场景的数据的方法和设备，而是还扩展到用于生成包括编码数据的比特流的方法，并且扩展到实现该方法的任何设备，尤其是包括至少一个CPU和/或至少一个GPU的任何设备。

本公开还涉及一种用于显示从比特流的解码数据中渲染的图像的方法(和被配置用于显示从比特流的解码数据中渲染的图像的设备)。

本公开还涉及一种用于传输和/或接收比特流的方法(和被配置用于传输和/或接收比特流的设备)。

本文描述的实施方式可以例如以方法或处理、装置、计算机程序产品、数据流或信号来实施。即使仅在单一实现形式的上下文中进行了讨论(例如，仅作为方法或设备进行了讨论)，但是所讨论特征的实施方式也可以以其他形式(例如程序)来实施。装置可以例如以适当的硬件、软件和固件来实施。例如，方法可以在诸如例如处理器之类的装置中实施，所述处理器通常指的是处理设备，包括例如计算机、微处理器、集成电路或可编程逻辑器件。处理器还包括通信设备，诸如智能电话、平板、计算机、移动电话、便携式/个人数字助理(“PDA”)，以及其他有助于最终用户之间信息通信的设备。

本文描述的各种处理和特征的实施方式可以体现在各种不同的装备或应用中，尤其是例如与数据编码、数据解码、视图生成、纹理处理以及图像和相关纹理信息和/或深度信息的其他处理的装备或应用。此类装备的示例包括编码器、解码器、处理来自解码器的输出的后处理器、向编码器提供输入的预处理器、视频编码器、视频解码器、视频编解码器、网络服务器、机顶盒、膝上型计算机、个人计算机、蜂窝电话、PDA和其他通信设备。应当清楚的是，装备可以是移动的，甚至可以安装在移动车辆中。

另外，可以通过由处理器执行的指令来实施所述方法，并且此指令(和/或由实施方式产生的数据值)可以被存储在处理器可读介质上，诸如例如集成电路、软件载体或其他存储设备，诸如例如硬盘、压缩盘(CD)、光盘(诸如例如DVD，通常称为数字多功能盘或数字视频盘)、随机存取存储器(“RAM”)或只读存储器(“ROM”)。指令可以形成有形地体现在处理器可读介质上的应用程序。指令可以是例如是以硬件、固件、软件或其组合的形式。指令可以在例如操作系统、单独的应用、或两者的组合中找到。因此，处理器可以表征为例如配置为执行处理的设备和包括具有用于执行处理的指令的处理器可读介质(诸如存储设备)的设备两者。此外，除了指令之外或代替指令，处理器可读介质可以存储由实施方式产生的数据值。

对于本领域的技术人员将明显是，实施方式可以产生各种信号，这些信号被格式化以承载例如可以被存储或传输的信息。信息可以包括例如用于执行方法的指令或由所描述的实施方式之一产生的数据。例如，信号可以被格式化以承载用于写入或读取所描述的实施例的语法的规则作为数据，或者承载由所描述的实施例所写入的实际语法值作为数据。此类信号可以被格式化为例如电磁波(例如，使用频谱的射频部分)或基带信号。格式化可以包括例如对数据流进行编码以及用经编码的数据流来调制载波。信号承载的信息可以是例如模拟或数字信息。如已知的，可以通过各种不同的有线或无线链路传输信号。信号可以存储在处理器可读介质上。

已经描述了许多实施方式。然而，将理解可以进行各种修改。例如，不同实施方式的元素可以被组合、补充、修改或移除以产生其他实施方式。另外，本领域普通技术人员将理解，可以用其他结构和处理代替所公开的结构和处理，并且所得的实施方式将以至少基本相同的方式执行至少基本相同的功能，以实现与所公开的实施方式至少基本相同的结果。因此，本申请考虑了这些和其他实施方式。

Claims

1.一种将表示场景的3D表示的数据编码到比特流中的方法，所述3D表示根据视点范围，所述方法包括：

-根据表示与所述3D表示的至少一部分相关联的二维参数化的至少一个参数，并且根据与所述至少一部分中包括的至少一个点相关联的数据，确定与所述至少一部分相关联的深度图，所述至少一个二维参数化响应于与所述至少一个点相关联的几何信息，并且响应于与所述视点范围相关联的姿势信息；

-根据所述至少一个参数和与所述至少一部分中包括的所述至少一个点相关联的数据，确定与所述至少一部分相关联的纹理图；

-获得表示所述3D表示的所述至少一部分中的至少一部分中包括的至少一些点的点密度的第一信息；

-将所述深度图、所述纹理图、所述至少一个参数、所述第一信息以及表示所述二维参数化与对应的深度图和纹理图之间的映射的第二信息编码到所述比特流中。

2.一种配置为将表示场景的3D表示的数据编码到比特流中的设备，所述3D表示根据视点范围，所述设备包括与至少一个处理器相关联的存储器，所述至少一个处理器被配置为：

3.根据权利要求1所述的方法或根据权利要求2所述的设备，其中，所述第一信息包括关于所述3D表示的哪些部分的点密度低于确定密度值的指示。

4.根据权利要求3所述的方法或根据权利要求3所述的设备，其中，通过根据所述视点范围中包括的视点检测场景的至少一个图像中的场景的对象之间的至少一个边界来获得所述第一信息，所述3D表示的所述部分的点密度低于与包括边界的场景的区域相对应的确定密度值。

5.根据权利要求3所述的方法或根据权利要求3所述的设备，其中，通过计算所述3D表示的多个体积元素中的每个体积元素中包括的点的数量从而获得所述每个体积元素的点密度，并且通过将所述每个体积元素的点密度与所述确定密度值进行比较来获得所述第一信息。

6.一种承载表示场景的3D表示的数据的流，所述3D表示根据视点范围，其中，所述数据包括：

-表示部分所述3D表示的至少一部分的二维参数化的至少一个参数，所述至少一个参数是根据与所述3D表示的所述至少一部分的至少一个点相关联的几何信息以及根据与所述视点范围相关联的姿势信息而获得的；

-表示纹理图的数据，所述纹理图与所述3D表示的所述至少一部分相关联并且是从所述至少一个参数以及与所述3D表示的所述至少一部分中包括的至少一个点相关联的数据中确定的；

-表示深度图的数据，所述深度图与所述3D表示的所述至少一部分相关联并且是从所述至少一个参数以及与所述3D表示的所述至少一部分中包括的至少一个点相关联的数据中确定的；

-表示所述3D表示的所述至少一部分中的至少一部分中包括的至少一些点的点密度的第一信息；以及

-表示所述二维参数化与对应的深度图和纹理图之间的映射的第二信息。

7.根据权利要求6所述的流，其中，所述第一信息包括关于所述3D表示的哪些部分的点密度低于确定密度值的指示。

8.根据权利要求7所述的流，其中，通过根据所述视点范围中包括的视点检测场景的至少一个图像中的场景的对象之间的至少一个边界来获得所述第一信息，所述3D表示的所述部分的点密度低于与包括边界的场景的区域相对应的确定密度值。

9.根据权利要求7所述的流，其中，通过计算所述3D表示的多个体积元素中的每个体积元素中包括的点的数量从而获得所述每个体积元素的点密度，并且通过将所述每个体积元素的点密度与所述确定密度值进行比较来获得所述第一信息。

10.一种从比特流中解码表示场景的3D表示的数据的方法，所述3D表示根据视点范围，所述方法包括：

-从所述比特流中解码表示所述3D表示的至少一部分的二维参数化的至少一个参数；

-从所述比特流中解码表示与所述3D表示的所述至少一部分相关联的纹理图的数据；

-从所述比特流中解码表示与所述3D表示的所述至少一部分相关联的深度图的数据；

-从所述至少一个参数、表示所述纹理图的所述数据、表示所述深度图的所述数据、从所述比特流中获得并且表示所述3D表示的所述至少一部分中的至少一部分中包括的至少一些点的点密度的第一信息、以及从所述比特流中获得并且表示所述二维参数化与对应的深度图和纹理图之间的映射的第二信息中确定与所述3D表示的所述至少一部分中包括的至少一个点相关联的数据。

11.一种配置为从比特流中解码表示场景的3D表示的数据的设备，所述3D表示根据视点范围，所述设备包括与至少一个处理器相关联的存储器，所述至少一个处理器配置为：

12.根据权利要求10所述的方法或根据权利要求11所述的设备，其中，所述第一信息包括关于所述3D表示的哪些部分的点密度低于确定密度值的指示。

13.根据权利要求12所述的方法或根据权利要求12所述的设备，其中，除了从经解码的至少一个深度图获得的点之外，在点密度低于确定密度值的所述3D表示的部分中生成附加点。

14.一种计算机程序产品，包括程序代码指令，当在计算机上执行所述计算机程序产品时，所述程序代码指令执行至少根据权利要求1所述的方法的步骤和/或至少根据权利要求10所述的方法的步骤。

15.一种具有存储在其中的指令的非暂时性处理器可读介质，所述指令用于使处理器执行至少根据权利要求1所述的方法的步骤和/或至少根据权利要求10所述的方法的步骤。