CN114073092A - 用于处理点云数据的设备和方法 - Google Patents

Abstract

根据实施方式的用于处理点云数据的方法可包括以下步骤：对点云数据进行编码；以及发送编码的点云数据。根据实施方式的用于处理点云数据的方法可包括以下步骤：接收点云数据；以及对所接收的点云数据进行解码。

Description

用于处理点云数据的设备和方法

技术领域

本公开提供一种用于提供点云内容以向用户提供诸如虚拟现实(VR)、增强现实(AR)、混合现实(MR)和自驾驶服务的各种服务的方法。

背景技术

点云内容是由点云表示的内容，点云是属于表示三维空间的坐标系的点集合。点云内容可表达在三个维度配置的媒体，并且用于提供诸如虚拟现实(VR)、增强现实(AR)、混合现实(MR)和自驾驶服务的各种服务。然而，需要数万至数十万的点数据来表示点云内容。因此，需要一种有效地处理大量点数据的方法。

发明内容

技术问题

实施方式提供了一种用于有效地处理点云数据的装置和方法。实施方式提供了一种用于解决延迟和编码/解码复杂度的点云数据处理方法和装置。

实施方式的技术范围不限于上述技术目的，可扩展至本领域技术人员基于本文所公开的整个内容可推断出的其它技术目的。

技术方案

为了实现这些目的和其它优点并且根据本公开的目的，在一些实施方式中，一种发送点云数据的方法可包括以下步骤：对包括几何信息和属性信息的点云数据进行编码并且发送包括编码的点云数据的比特流。在一些实施方式中，几何信息表示点云数据的点的位置，属性信息表示点云数据的点的属性。

在一些实施方式中，一种处理点云数据的方法可包括以下步骤：接收包括点云数据的比特流。在一些实施方式中，点云数据包括几何信息和属性信息，其中，几何信息表示点云数据的点的位置，属性信息表示点云数据的点的一个或更多个属性。该点云数据处理方法可包括以下步骤：对点云数据进行解码。

在一些实施方式中，一种用于处理点云数据的方法可包括以下步骤：接收包括点云数据的比特流；以及对点云数据进行解码。在一些实施方式中，点云数据包括几何信息和属性信息，其中，几何信息表示点云数据的点的位置，属性信息指示点云数据的点的一个或更多个属性。

在一些实施方式中，一种用于处理点云数据的装置可包括：接收器，其被配置为接收包括点云数据的比特流；以及解码器，其被配置为对点云数据进行解码。在一些实施方式中，点云数据包括几何信息和属性信息，其中，几何信息表示点云数据的点的位置，并且属性信息指示点云数据的点的一个或更多个属性。

有益效果

根据实施方式的装置和方法可高效地处理点云数据。

根据实施方式的装置和方法可提供高质量点云服务。

根据实施方式的装置和方法可提供点云内容以用于提供诸如VR服务和自驾驶服务的通用服务。

附图说明

附图被包括以提供本公开的进一步理解，并且被并入本申请中并构成本申请的一部分，附图示出本公开的实施方式并与描述一起用于说明本公开的原理。

为了更好地理解下面描述的各种实施方式，应该结合附图参考以下实施方式的描述。附图中：

图1示出根据实施方式的示例性点云内容提供系统。

图2是示出根据实施方式的点云内容提供操作的框图。

图3示出根据实施方式的捕获点云视频的示例性处理。

图4示出根据实施方式的示例性点云编码器。

图5示出根据实施方式的体素的示例。

图6示出根据实施方式的八叉树和占用代码的示例。

图7示出根据实施方式的邻居节点图案的示例。

图8示出根据实施方式的各个LOD中的点配置的示例。

图9示出根据实施方式的各个LOD中的点配置的示例。

图10示出根据实施方式的示例性点云解码器。

图11示出根据实施方式的示例性点云解码器。

图12示出根据实施方式的示例性发送装置。

图13示出根据实施方式的示例性接收装置。

图14示出根据实施方式的用于流传输基于G-PCC的点云数据的架构。

图15示出根据实施方式的示例性点云发送装置。

图16示出根据实施方式的示例性点云接收装置。

图17示出根据实施方式的操作上可与发送和接收点云数据的方法/装置连接的示例性结构。

图18示出根据实施方式的点云数据的发送和接收的配置。

图19示出根据实施方式的点云数据的八叉树结构和比特流。

图20示出根据实施方式的示例性点云数据处理装置。

图21示出几何比特流和属性比特流的层。

图22示出根据实施方式的对子比特流进行排序的方法。

图23示出根据实施方式的SPS的示例。

图24示出根据实施方式的几何切片比特流的示例性句法。

图25示出根据实施方式的属性切片比特流的示例性句法。

图26示出根据实施方式的信令信息的结构。

图27示出根据实施方式的信令信息的结构。

图28示出根据实施方式的信令信息的结构。

图29示出根据实施方式的示例性点云数据处理装置。

图30示出根据实施方式的点云解码操作。

图31示出根据实施方式的点云数据的发送和接收的配置。

图32是根据实施方式的处理点云数据的方法的示例性流程图。

图33是根据实施方式的处理点云数据的方法的示例性流程图。

具体实施方式

现在将详细参考本公开的优选实施方式，其示例示出于附图中。下面将参照附图给出的详细描述旨在说明本公开的示例性实施方式，而非示出可根据本公开实现的仅有实施方式。以下详细描述包括具体细节以便提供本公开的彻底理解。然而，对于本领域技术人员而言将显而易见的是，本公开可在没有这些具体细节的情况下实践。

尽管本公开中使用的大多数术语选自本领域中广泛使用的通用术语，但是一些术语由申请人任意选择并且在以下描述中根据需要详细说明其含义。因此，本公开应该基于术语的预期含义而非其简单名称或含义来理解。

图1示出根据实施方式的示例性点云内容提供系统。

图1所示的点云内容提供系统可包括发送装置10000和接收装置10004。发送装置10000和接收装置10004能够有线或无线通信以发送和接收点云数据。

根据实施方式的点云数据发送装置10000可取得和处理点云视频(或点云内容)并将其发送。根据实施方式，发送装置10000可包括固定站、基站收发器系统(BTS)、网络、人工智能(AI)装置和/或系统、机器人、AR/VR/XR装置和/或服务器。根据实施方式，发送装置10000可包括被配置为使用无线电接入技术(例如，5G新RAT(NR)、长期演进(LTE))与基站和/或其它无线装置执行通信的装置、机器人、车辆、AR/VR/XR装置、便携式装置、家用电器、物联网(IoT)装置和AI装置/服务器。

根据实施方式的发送装置10000包括点云视频获取器10001、点云视频编码器10002和/或发送器(或通信模块)10003。

根据实施方式的点云视频获取器10001通过诸如捕获、合成或生成的处理过程来获取点云视频。点云视频是由点云表示的点云内容，点云是位于3D空间中的点集合，并且可被称为点云视频数据。根据实施方式的点云视频可包括一个或更多个帧。一个帧表示静止图像/画面。因此，点云视频可包括点云图像/帧/画面，并且可被称为点云图像、帧或画面。

根据实施方式的点云视频编码器10002对所获取的点云视频数据进行编码。点云视频编码器10002可基于点云压缩编码对点云视频数据进行编码。根据实施方式的点云压缩编码可包括基于几何的点云压缩(G-PCC)编码和/或基于视频的点云压缩(V-PCC)编码或下一代编码。根据实施方式的点云压缩编码不限于上述实施方式。点云视频编码器10002可输出包含编码的点云视频数据的比特流。比特流可不仅包含编码的点云视频数据，而且包括与点云视频数据的编码有关的信令信息。

根据实施方式的发送器10003发送包含编码的点云视频数据的比特流。根据实施方式的比特流被封装在文件或片段(例如，流片段)中，并且经由诸如广播网络和/或宽带网络的各种网络发送。尽管图中未示出，发送装置10000可包括被配置为执行封装操作的封装器(或封装模块)。根据实施方式，封装器可包括在发送器10003中。根据实施方式，文件或片段可经由网络发送到接收装置10004，或者存储在数字存储介质(例如，USB、SD、CD、DVD、蓝光、HDD、SSD等)中。根据实施方式的发送器10003能够经由4G、5G、6G等网络与接收装置10004(或接收器10005)有线/无线通信。另外，发送器可根据网络系统(例如，4G、5G或6G通信网络系统)执行必要的数据处理操作。发送装置10000可按照按需方式发送封装的数据。

根据实施方式的接收装置10004包括接收器10005、点云视频解码器10006和/或渲染器10007。根据实施方式，接收装置10004可包括被配置为使用无线电接入技术(例如，5G新RAT(NR)、长期演进(LTE))与基站和/或其它无线装置执行通信的装置、机器人、车辆、AR/VR/XR装置、便携式装置、家用电器、物联网(IoT)装置和AI装置/服务器。

根据实施方式的接收器10005从网络或存储介质接收包含点云视频数据的比特流或者封装有比特流的文件/片段。接收器10005可根据网络系统(例如，4G、5G、6G等的通信网络系统)执行必要的数据处理。根据实施方式的接收器10005可将所接收的文件/片段解封装并输出比特流。根据实施方式，接收器10005可包括被配置为执行解封装操作的解封装器(或解封装模块)。解封装器可被实现为与接收器10005分离的元件(或组件)。

点云视频解码器10006将包含点云视频数据的比特流解码。点云视频解码器10006可根据点云视频数据被编码的方法(例如，按点云视频编码器10002的操作的相反过程)来将点云视频数据解码。因此，点云视频解码器10006可通过执行点云解压缩编码(点云压缩的逆过程)来将点云视频数据解码。点云解压缩编码包括G-PCC编码。

渲染器10007渲染解码的点云视频数据。渲染器10007可通过不仅渲染点云视频数据，而且渲染音频数据来输出点云内容。根据实施方式，渲染器10007可包括被配置为显示点云内容的显示器。根据实施方式，显示器可被实现为单独的装置或组件而非包括在渲染器10007中。

图中由虚线指示的箭头表示接收装置10004所获取的反馈信息的传输路径。反馈信息是反映与消费点云内容的用户的交互性的信息，并且包括关于用户的信息(例如，头部取向信息、视口信息等)。具体地，当点云内容是用于需要与用户交互的服务(例如，自驾驶服务等)的内容时，反馈信息可被提供给内容发送方(例如，发送装置10000)和/或服务提供商。根据实施方式，反馈信息可在接收装置10004以及发送装置10000中使用，或者可不提供。

根据实施方式的头部取向信息是关于用户的头部位置、取向、角度、运动等的信息。根据实施方式的接收装置10004可基于头部取向信息来计算视口信息。视口信息可以是关于用户正在观看的点云视频的区域的信息。视点是用户通过其观看点云视频的点，并且可指视口区域的中心点。即，视口是以视点为中心的区域，并且区域的尺寸和形状可由视场(FOV)确定。因此，除了头部取向信息之外，接收装置10004还可基于装置所支持的垂直或水平FOV来提取视口信息。另外，接收装置10004执行注视分析等以检查用户消费点云的方式、点云视频中用户注视的区域、注视时间等。根据实施方式，接收装置10004可将包括注视分析结果的反馈信息发送到发送装置10000。根据实施方式的反馈信息可在渲染和/或显示过程中获取。根据实施方式的反馈信息可由包括在接收装置10004中的一个或更多个传感器取得。根据实施方式，反馈信息可由渲染器10007或单独的外部元件(或装置、组件等)取得。图1中的虚线表示发送渲染器10007所取得的反馈信息的过程。点云内容提供系统可基于反馈信息来处理(编码/解码)点云数据。因此，点云视频数据解码器10006可基于反馈信息来执行解码操作。接收装置10004可将反馈信息发送到发送装置10000。发送装置10000(或点云视频数据编码器10002)可基于反馈信息来执行编码操作。因此，点云内容提供系统可基于反馈信息有效地处理必要数据(例如，与用户的头部位置对应的点云数据)而非处理(编码/解码)整个点云数据，并将点云内容提供给用户。

根据实施方式，发送装置10000可被称为编码器、发送装置、发送器等，接收装置10004可被称为解码器、接收装置、接收器等。

根据实施方式的图1的点云内容提供系统中(通过获取/编码/传输/解码/渲染的一系列过程)处理的点云数据可被称为点云内容数据或点云视频数据。根据实施方式，点云内容数据可用作涵盖与点云数据有关的元数据或信令信息的概念。

图1所示的点云内容提供系统的元件可由硬件、软件、处理器和/或其组合实现。

图2是示出根据实施方式的点云内容提供操作的框图。

图2的框图示出图1中描述的点云内容提供系统的操作。如上所述，点云内容提供系统可基于点云压缩编码(例如，G-PCC)来处理点云数据。

根据实施方式的点云内容提供系统(例如，点云发送装置10000或点云视频获取器10001)可获取点云视频(20000)。点云视频由属于用于表达3D空间的坐标系的点云表示。根据实施方式的点云视频可包括Ply(Polygon文件格式或Stanford Triangle格式)文件。当点云视频具有一个或更多个帧时，所获取的点云视频可包括一个或更多个Ply文件。Ply文件包含诸如点几何和/或属性的点云数据。几何包括点的位置。各个点的位置可由表示三维坐标系(例如，由X、Y和Z轴组成的坐标系)的参数(例如，X、Y和Z轴的值)表示。属性包括点的属性(例如，关于各个点的纹理、颜色(YCbCr或RGB)、反射率r、透明度等的信息)。点具有一个或更多个属性。例如，点可具有颜色属性或者颜色和反射率两个属性。根据实施方式，几何可被称为位置、几何信息、几何数据等，并且属性可被称为属性、属性信息、属性数据等。点云内容提供系统(例如，点云发送装置10000或点云视频获取器10001)可从与点云视频获取过程有关的信息(例如，深度信息、颜色信息等)取得点云数据。

根据实施方式的点云内容提供系统(例如，发送装置10000或点云视频编码器10002)可对点云数据进行编码(20001)。点云内容提供系统可基于点云压缩编码对点云数据进行编码。如上所述，点云数据可包括点的几何和属性。因此，点云内容提供系统可执行对几何进行编码的几何编码并输出几何比特流。点云内容提供系统可执行对属性进行编码的属性编码并输出属性比特流。根据实施方式，点云内容提供系统可基于几何编码来执行属性编码。根据实施方式的几何比特流和属性比特流可被复用并作为一个比特流输出。根据实施方式的比特流还可包含与几何编码和属性编码有关的信令信息。

根据实施方式的点云内容提供系统(例如，发送装置10000或发送器10003)可发送编码的点云数据(20002)。如图1所示，编码的点云数据可由几何比特流和属性比特流表示。另外，编码的点云数据可与点云数据的编码相关的信令信息(例如，与几何编码和属性编码有关的信令信息)一起以比特流的形式发送。点云内容提供系统可将承载编码的点云数据的比特流封装并以文件或片段的形式将其发送。

根据实施方式的点云内容提供系统(例如，接收装置10004或接收器10005)可接收包含编码的点云数据的比特流。另外，点云内容提供系统(例如，接收装置10004或接收器10005)可将比特流解复用。

点云内容提供系统(例如，接收装置10004或点云视频解码器10005)可将比特流中发送的编码的点云数据(例如，几何比特流、属性比特流)解码。点云内容提供系统(例如，接收装置10004或点云视频解码器10005)可基于比特流中包含的与点云视频数据的编码有关的信令信息将点云视频数据解码。点云内容提供系统(例如，接收装置10004或点云视频解码器10005)可将几何比特流解码以重构点的位置(几何)。点云内容提供系统可通过基于重构的几何对属性比特流进行解码来重构点的属性。点云内容提供系统(例如，接收装置10004或点云视频解码器10005)可根据重构的几何和解码的属性基于位置来重构点云视频。

根据实施方式的点云内容提供系统(例如，接收装置10004或渲染器10007)可渲染解码的点云数据(20004)。点云内容提供系统(例如，接收装置10004或渲染器10007)可使用各种渲染方法来渲染通过解码过程解码的几何和属性。点云内容中的点可被渲染为具有特定厚度的顶点、以对应顶点位置为中心的具有特定最小尺寸的立方体或者以对应顶点位置为中心的圆。渲染的点云内容的全部或部分通过显示器(例如，VR/AR显示器、一般显示器等)提供给用户。

根据实施方式的点云内容提供系统(例如，接收装置10004)可取得反馈信息(20005)。点云内容提供系统可基于反馈信息对点云数据进行编码和/或解码。根据实施方式的点云内容提供系统的反馈信息和操作与参照图1描述的反馈信息和操作相同，因此省略其详细描述。

图3示出根据实施方式的捕获点云视频的示例性过程。

图3示出参照图1至图2描述的点云内容提供系统的示例性点云视频捕获过程。

点云内容包括表示位于各种3D空间(例如，表示真实环境的3D空间、表示虚拟环境的3D空间等)中的对象和/或环境的点云视频(图像和/或视频)。因此，根据实施方式的点云内容提供系统可使用一个或更多个相机(例如，能够取得深度信息的红外相机、能够提取与深度信息对应的颜色信息的RGB相机等)、投影仪(例如，取得深度信息的红外图案投影仪)、LiDAR等来捕获点云视频。根据实施方式的点云内容提供系统可从深度信息提取由3D空间中的点组成的几何形状并且从颜色信息提取各个点的属性以取得点云数据。根据实施方式的图像和/或视频可基于面向内技术和面向外技术中的至少一个来捕获。

图3的左侧部分示出面向内技术。面向内技术是指利用定位在中心对象周围的一个或更多个相机(或相机传感器)来捕获中心对象的图像的技术。面向内技术可用于生成向用户提供关键对象的360度图像的点云内容(例如，向用户提供对象(例如，诸如角色、玩家、对象或演员的关键对象)的360度图像的VR/AR内容)。

图3的右侧部分示出面向外技术。面向外技术是指利用定位在中心对象周围的一个或更多个相机(或相机传感器)来捕获中心对象的环境而非中心对象的图像的技术。面向外技术可用于生成提供从用户的视角出现的周围环境的点云内容(例如，可提供给自驾驶车辆的用户的表示外部环境的内容)。

如图所示，可基于一个或更多个相机的捕获操作来生成点云内容。在这种情况下，在相机之间坐标系可不同，因此点云内容提供系统可在捕获操作之前校准一个或更多个相机以设定全局坐标系。另外，点云内容提供系统可通过将任意图像和/或视频与通过上述捕获技术捕获的图像和/或视频合成来生成点云内容。点云内容提供系统在生成表示虚拟空间的点云内容时可不执行图3中描述的捕获操作。根据实施方式的点云内容提供系统可对捕获的图像和/或视频执行后处理。换言之，点云内容提供系统可去除不想要的区域(例如，背景)，识别捕获的图像和/或视频连接至的空间，并且当存在空间空洞时，执行填充空间空洞的操作。

点云内容提供系统可通过对从各个相机取得的点云视频的点执行坐标变换来生成一条点云内容。点云内容提供系统可基于各个相机的位置坐标对点执行坐标变换。因此，点云内容提供系统可生成表示一个宽范围的内容，或者可生成具有高密度点的点云内容。

图4示出根据实施方式的示例性点云编码器。

图4示出图1的点云视频编码器10002的示例。点云编码器重构并编码点云数据(例如，点的位置和/或属性)以根据网络条件或应用调节点云内容的质量(例如无损、有损或接近无损)。当点云内容的总大小较大(例如，对于30fps给出60Gbps的点云内容)时，点云内容提供系统可能无法实时流传输内容。因此，点云内容提供系统可基于最大目标比特率来重构点云内容以根据网络环境等提供点云内容。

如参照图1和图2描述的，点云编码器可执行几何编码和属性编码。几何编码在属性编码之前执行。

根据实施方式的点云编码器包括坐标变换器(变换坐标)40000、量化器(量化和去除点(体素化))40001、八叉树分析器(分析八叉树)40002和表面近似分析器(分析表面近似)40003、算术编码器(算术编码)40004、几何重构器(重构几何)40005、颜色变换器(变换颜色)40006、属性变换器(变换属性)40007、RAHT变换器(RAHT)40008、LOD生成器(生成LOD)40009、提升变换器(提升)40010、系数量化器(量化系数)40011和/或算术编码器(算术编码)40012。

坐标变换器40000、量化器40001、八叉树分析器40002、表面近似分析器40003、算术编码器40004和几何重构器40005可执行几何编码。根据实施方式的几何编码可包括八叉树几何编码、直接编码、三联体几何编码和熵编码。直接编码和三联体几何编码选择性地或组合应用。几何编码不限于上述示例。

如图所示，根据实施方式的坐标变换器40000接收位置并将其变换为坐标。例如，位置可被变换为三维空间(例如，由XYZ坐标系表示的三维空间)中的位置信息。根据实施方式的三维空间中的位置信息可被称为几何信息。

根据实施方式的量化器40001将几何量化。例如，量化器40001可基于所有点的最小位置值(例如，X、Y和Z轴中的每一个上的最小值)来将点量化。量化器40001执行量化操作：将最小位置值与各个点的位置值之间的差乘以预设量化标度值，然后通过对通过乘法获得的值进行舍入来寻找最近整数值。因此，一个或更多个点可具有相同的量化位置(或位置值)。根据实施方式的量化器40001基于量化位置执行体素化以重构量化点。如像素(包含2D图像/视频信息的最小单元)的情况中一样，根据实施方式的点云内容(或3D点云视频)的点可包括在一个或更多个体素中。作为体积和像素的复合体，术语体素是指当基于表示3D空间的轴(例如，X轴、Y轴和Z轴)将3D空间划分成单元(单位＝1.0)时生成的3D立方空间。量化器40001可使3D空间中的点组与体素匹配。根据实施方式，一个体素可仅包括一个点。根据实施方式，一个体素可包括一个或更多个点。为了将一个体素表示为一个点，体素的中心的位置可基于包括在体素中的一个或更多个点的位置来设定。在这种情况下，包括在一个体素中的所有位置的属性可被组合并指派给体素。

根据实施方式的八叉树分析器40002执行八叉树几何编码(或八叉树编码)以按八叉树结构呈现体素。八叉树结构表示基于八进制树结构与体素匹配的点。

根据实施方式的表面近似分析器40003可分析并近似八叉树。根据实施方式的八叉树分析和近似是分析包含多个点的区域以有效地提供八叉树和体素化的过程。

根据实施方式的算术编码器40004对八叉树和/或近似八叉树执行熵编码。例如，编码方案包括算术编码。作为编码结果，生成几何比特流。

颜色变换器40006、属性变换器40007、RAHT变换器40008、LOD生成器40009、提升变换器40010、系数量化器40011和/或算术编码器40012执行属性编码。如上所述，一个点可具有一个或更多个属性。根据实施方式的属性编码同样应用于一个点所具有的属性。然而，当属性(例如，颜色)包括一个或更多个元素时，对各个元素独立地应用属性编码。根据实施方式的属性编码包括颜色变换编码、属性变换编码、区域自适应分层变换(RAHT)编码、基于插值的分层最近邻居预测(预测变换)编码以及具有更新/提升步骤的基于插值的分层最近邻居预测(提升变换)编码。根据点云内容，可选择性地使用上述RAHT编码、预测变换编码和提升变换编码，或者可使用一个或更多个编码方案的组合。根据实施方式的属性编码不限于上述示例。

根据实施方式的颜色变换器40006执行变换包括在属性中的颜色值(或纹理)的颜色变换编码。例如，颜色变换器40006可变换颜色信息的格式(例如，从RGB到YCbCr)。可选地，可根据包括在属性中的颜色值来应用根据实施方式的颜色变换器40006的操作。

根据实施方式的几何重构器40005重构(解压缩)八叉树和/或近似八叉树。几何重构器40005基于分析点分布的结果来重构八叉树/体素。重构的八叉树/体素可被称为重构的几何(恢复的几何)。

根据实施方式的属性变换器40007执行属性变换以基于重构的几何和/或不执行几何编码的位置来变换属性。如上所述，由于属性取决于几何，所以属性变换器40007可基于重构的几何信息来变换属性。例如，基于包括在体素中的点的位置值，属性变换器40007可变换该位置处的点的属性。如上所述，当基于包括在体素中的一个或更多个点的位置来设定体素的中心位置时，属性变换器40007变换一个或更多个点的属性。当执行三联体几何编码时，属性变换器40007可基于三联体几何编码来变换属性。

属性变换器40007可通过计算距各个体素的中心位置(或位置值)特定位置/半径内的邻居点的属性或属性值(例如，各个点的颜色或反射率)的平均来执行属性变换。属性变换器40007可在计算平均时根据从中心到各个点的距离来应用权重。因此，各个体素具有位置和计算的属性(或属性值)。

属性变换器40007可基于K-D树或莫顿码(Morton code)搜索存在于距各个体素的中心位置特定位置/半径内的邻居点。K-D树是二叉搜索树，并且支持能够基于位置来管理点的数据结构，使得可快速地执行最近邻搜索(NNS)。通过将表示所有点的3D位置的坐标(例如，(x,y,z))呈现为比特值并将比特混合来生成莫顿码。例如，当表示点位置的坐标为(5,9,1)时，坐标的比特值为(0101,1001,0001)。根据比特索引按z、y和x的顺序混合比特值产生010001000111。该值被表示为十进制数1095。即，具有坐标(5,9,1)的点的莫顿码值为1095。属性变换器40007可基于莫顿码值对点进行排序并通过深度优先遍历过程执行NNS。在属性变换操作之后，当在用于属性编码的另一变换过程中需要NNS时使用K-D树或莫顿码。

如图所示，变换的属性被输入到RAHT变换器40008和/或LOD生成器40009。

根据实施方式的RAHT变换器40008基于重构的几何信息来执行用于预测属性信息的RAHT编码。例如，RAHT变换器40008可基于与八叉树中较低级别的节点关联的属性信息来预测八叉树中较高级别的节点的属性信息。

根据实施方式的LOD生成器40009生成细节级别(LOD)来执行预测变换编码。根据实施方式的LOD是点云内容的细节程度。随着LOD值减小，指示点云内容的细节劣化。随着LOD值增大，指示点云内容的细节增强。点可按LOD分类。

根据实施方式的提升变换器40010执行基于权重来变换点云属性的提升变换编码。如上所述，可以可选地应用提升变换编码。

根据实施方式的系数量化器40011基于系数来量化属性编码的属性。

根据实施方式的算术编码器40012基于算术编码对量化的属性进行编码。

尽管图中未示出，图4的点云编码器的元件可由包括被配置为与包括在点云提供装置中的一个或更多个存储器通信的一个或更多个处理器或集成电路的硬件、软件、固件或其组合实现。一个或更多个处理器可执行上述图4的点云编码器的元件的操作和/或功能中的至少一个。另外，一个或更多个处理器可操作或执行用于执行图4的点云编码器的元件的操作和/或功能的软件程序和/或指令集合。根据实施方式的一个或更多个存储器可包括高速随机存取存储器，或者包括非易失性存储器(例如，一个或更多个磁盘存储装置、闪存装置或其它非易失性固态存储器装置)。

图5示出根据实施方式的体素的示例。

图5示出位于由三个轴(X轴、Y轴和Z轴)所组成的坐标系表示的3D空间中的体素。如参照图4所述，点云编码器(例如，量化器40001)可执行体素化。体素是指当基于表示3D空间的轴(例如，X轴、Y轴和Z轴)将3D空间划分成单元(单位＝1.0)时生成的3D立方空间。图5示出通过八叉树结构生成的体素的示例，其中由两个极点(0,0,0)和(2d,2d,2d)限定的立方轴对齐边界框被递归地再分。一个体素包括至少一个点。可从与体素组的位置关系来估计体素的空间坐标。如上所述，体素具有类似2D图像/视频的像素的属性(例如，颜色或反射率)。体素的细节与参照图4描述的那些相同，因此省略其描述。

图6示出根据实施方式的八叉树和占用代码的示例。

如参照图1至图4所描述的，点云内容提供系统(点云视频编码器10002)或点云编码器(例如，八叉树分析器40002)基于八叉树结构来执行八叉树几何编码(或八叉树编码)以有效地管理体素的区域和/或位置。

图6的上部示出八叉树结构。根据实施方式的点云内容的3D空间由坐标系的轴(例如，X轴、Y轴和Z轴)表示。通过由两个极点(0,0,0)和(2^d,2^d,2^d)限定的立方轴对齐边界框的递归再分来创建八叉树结构。这里，2^d可被设定为构成围绕点云内容(或点云视频)的所有点的最小边界框的值。这里，d表示八叉树的深度。d的值在下式中确定。在下式中，

表示量化的点的位置(或位置值)。

如图6的上部的中间所示，整个3D空间可根据分区被划分成八个空间。各个划分的空间由具有六个面的立方体表示。如图6的右上部所示，八个空间中的每一个基于坐标系的轴(例如，X轴、Y轴和Z轴)再次划分。因此，各个空间被划分成八个更小的空间。所划分的更小的空间也由具有六个面的立方体表示。应用该分割方案，直至八叉树的叶节点变为体素。

图6的下部示出八叉树占用代码。生成八叉树的占用代码以指示通过划分一个空间而生成的八个划分的空间中的每一个是否包含至少一个点。因此，单个占用代码由八个子节点表示。各个子节点表示划分的空间的占用，并且子节点具有1比特的值。因此，占用代码被表示为8比特代码。即，当与子节点对应的空间中包含至少一个点时，节点被指派值1。当与子节点对应的空间中不包含点(空间为空)时，节点被指派值0。由于图6所示的占用代码为00100001，所以指示与八个子节点当中的第三子节点和第八子节点对应的空间各自包含至少一个点。如图所示，第三子节点和第八子节点中的每一个具有八个子节点，并且子节点由8比特占用代码表示。附图示出第三子节点的占用代码为10000111，并且第八子节点的占用代码为01001111。根据实施方式的点云编码器(例如，算术编码器40004)可对占用代码执行熵编码。为了增加压缩效率，点云编码器可对占用代码执行帧内/帧间编码。根据实施方式的接收装置(例如，接收装置10004或点云视频解码器10006)基于占用代码来重构八叉树。

根据实施方式的点云编码器(例如，图4的点云编码器或八叉树分析器40002)可执行体素化和八叉树编码以存储点位置。然而，点并不总是在3D空间中均匀分布，因此可能有存在较少点的特定区域。因此，对整个3D空间执行体素化是低效的。例如，当特定区域包含很少点时，在该特定区域中不需要执行体素化。

因此，对于上述特定区域(或八叉树的叶节点以外的节点)，根据实施方式的点云编码器可跳过体素化并执行直接编码以直接对包括在特定区域中的点位置进行编码。根据实施方式的直接编码点的坐标被称为直接编码模式(DCM)。根据实施方式的点云编码器还可基于表面模型执行三联体几何编码，其要基于体素来重构特定区域(或节点)中的点位置。三联体几何编码是将对象表示为一系列三角形网格的几何编码。因此，点云解码器可从网格表面生成点云。根据实施方式的直接编码和三联体几何编码可选择性地执行。另外，根据实施方式的直接编码和三联体几何编码可与八叉树几何编码(或八叉树编码)组合执行。

为了执行直接编码，应该启用使用直接模式以应用直接编码的选项。要应用直接编码的节点不是叶节点，在特定节点内应该存在小于阈值的点。另外，要应用直接编码的点的总数不应超过预设阈值。当满足上述条件时，根据实施方式的点云编码器(或算术编码器40004)可对点位置(或位置值)执行熵编码。

根据实施方式的点云编码器(例如，表面近似分析器40003)可确定八叉树的特定级别(小于八叉树的深度d的级别)，并且可从该级别开始使用表面模型以执行三联体几何编码，以基于体素来重构节点区域中的点位置(三联体模式)。根据实施方式的点云编码器可指定要应用三联体几何编码的级别。例如，当特定级别等于八叉树的深度时，点云编码器不在三联体模式下操作。换言之，仅当指定的级别小于八叉树的深度值时，根据实施方式的点云编码器才可在三联体模式下操作。根据实施方式的指定级别的节点的3D立方区域被称为块。一个块可包括一个或更多个体素。块或体素可对应于方块。几何被表示为各个块内的表面。根据实施方式的表面可与块的各条边相交至多一次。

一个块具有12条边，因此一个块中存在至少12个交点。各个交点被称为顶点。当共享边的所有块当中存在与边相邻的至少一个占用体素时，检测沿着边存在的顶点。根据实施方式的占用体素是指包含点的体素。沿着边检测到的顶点位置是沿着共享边的所有块当中与边相邻的所有体素的边的平均位置。

一旦检测到顶点，根据实施方式的点云编码器就可对边的起点(x,y,z)、边的方向向量(Δx,Δy,Δz)和顶点位置值(边内的相对位置值)执行熵编码。当应用三联体几何编码时，根据实施方式的点云编码器(例如，几何重构器40005)可通过执行三角形重构、上采样和体素化过程来生成恢复的几何(重构的几何)。

位于块的边处的顶点确定穿过块的表面。根据实施方式的表面是非平面多边形。在三角形重构过程中，基于边的起点、边的方向向量和顶点的位置值来重构由三角形表示的表面。三角形重构过程这样执行：1)计算各个顶点的质心值，2)从各个顶点值减去中心值，并且3)估计通过减法获得的值的平方和。

估计和的最小值，并且根据具有最小值的轴执行投影过程。例如，当元素x最小时，各个顶点相对于块的中心投影在x轴上，并且投影在(y,z)平面上。当通过(y,z)平面上的投影获得的值为(ai,bi)时，通过atan2(bi,ai)估计θ的值，并且基于θ的值对顶点进行排序。下表示出根据顶点数量创建三角形的顶点组合。顶点从1至n排序。下表示出对于四个顶点，可根据顶点组合构造两个三角形。第一个三角形可由排序的顶点当中的顶点1、2和3组成，第二个三角形可由排序的顶点当中的顶点3、4和1组成。

表.从排序为1的顶点形成的三角形

[表1]

执行上采样过程以沿着三角形的边在中间添加点，并且执行体素化。所添加的点基于上采样因子和块的宽度来生成。添加的点被称为细化顶点。根据实施方式的点云编码器可将细化顶点体素化。另外，点云编码器可基于体素化的位置(或位置值)来执行属性编码。

图7示出根据实施方式的邻居节点图案的示例。

为了增加点云视频的压缩效率，根据实施方式的点云编码器可基于上下文自适应算术编码来执行熵编码。

如参照图1至图6所描述的，点云内容提供系统或点云编码器(例如，点云视频编码器10002、图4的点云编码器或算术编码器40004)可立即对占用代码执行熵编码。另外，点云内容提供系统或点云编码器可基于当前节点的占用代码和邻近节点的占用来执行熵编码(帧内编码)，或者基于先前帧的占用代码执行熵编码(帧间编码)。根据实施方式的帧表示同时生成的点云视频的集合。根据实施方式的帧内编码/帧间编码的压缩效率可取决于所参考的邻近节点的数量。当比特增加时，运算变得复杂，但是编码可偏向一侧，这可增加压缩效率。例如，当给出3比特上下文时，需要使用2³＝8种方法来执行编码。为编码划分的部分影响实现复杂度。因此，有必要满足适当级别的压缩效率和复杂度。

图7示出基于邻居节点的占用来获得占用图案的过程。根据实施方式的点云编码器确定八叉树的各个节点的邻居节点的占用并且获得邻居图案的值。邻居节点图案用于推断节点的占用图案。图7的左侧部分示出与节点对应的立方体(位于中间的立方体)以及与该立方体共享至少一个面的六个立方体(邻居节点)。图中所示的节点是相同深度的节点。图中所示的数字分别表示与六个节点关联的权重(1、2、4、8、16和32)。根据邻近节点的位置依次指派权重。

图7的右侧部分示出邻居节点图案值。邻居节点图案值是乘以占用邻居节点(具有点的邻居节点)的权重的值之和。因此，邻居节点图案值为0至63。当邻居节点图案值为0时，指示节点的邻居节点当中不存在具有点的节点(无占用节点)。当邻居节点图案值为63时，指示所有邻居节点均是占用节点。如图所示，由于指派有权重1、2、4和8的邻居节点是占用节点，所以邻居节点图案值为15(1、2、4和8之和)。点云编码器可根据邻居节点图案值执行编码(例如，当邻居节点图案值为63时，可执行64种类型的编码)。根据实施方式，点云编码器可通过改变邻居节点图案值(例如，基于将64改变为10或6的表)来降低编码复杂度。

图8示出根据实施方式的各个LOD中的点配置的示例。

如参照图1至图7描述的，在执行属性编码之前将编码的几何重构(解压缩)。当应用直接编码时，几何重构操作可包括改变直接编码的点的放置(例如，将直接编码的点放置在点云数据前面)。当应用三联体几何编码时，通过三角形重构、上采样和体素化来执行几何重构过程。由于属性取决于几何，所以基于重构的几何来执行属性编码。

点云编码器(例如，LOD生成器40009)可按LOD对点进行分类(重新组织)。图中示出与LOD对应的点云内容。图中最左侧画面表示原始点云内容。图中左起第二个画面表示最低LOD中的点分布，图中最右侧画面表示最高LOD中的点分布。即，最低LOD中的点稀疏分布，最高LOD中的点密集分布。即，随着LOD在图底部所指示的箭头所指的方向上升高，点之间的空间(或距离)变窄。

图9示出根据实施方式的用于各个LOD的点配置的示例。

如参照图1至图8所描述的，点云内容提供系统或点云编码器(例如，点云视频编码器10002、图4的点云编码器或LOD生成器40009)可生成LOD。通过根据设定的LOD距离值(或欧几里得距离集合)将点重新组织为细化级别的集合来生成LOD。LOD生成过程不仅由点云编码器执行，而且由点云解码器执行。

图9的上部示出分布在3D空间中的点云内容的点的示例(P0至P9)。在图9中，原始顺序表示在LOD生成之前点P0至P9的顺序。在图9中，基于LOD的顺序表示根据LOD生成的点的顺序。点按LOD重新组织。另外，高LOD包含属于较低LOD的点。如图9所示，LOD0包含P0、P5、P4和P2。LOD1包含LOD0的点、P1、P6和P3。LOD2包含LOD0的点、LOD1的点、P9、P8和P7。

如参照图4所描述的，根据实施方式的点云编码器可选择性地或组合地执行预测变换编码、提升变换编码和RAHT变换编码。

根据实施方式的点云编码器可为点生成预测器以执行用于设定各个点的预测属性(或预测属性值)的预测变换编码。即，可为N个点生成N个预测器。根据实施方式的预测器可基于各个点的LOD值、关于存在于各个LOD的设定距离内的邻居点的索引信息以及到邻居点的距离来计算权重(＝1/距离)。

根据实施方式的预测属性(或属性值)被设定为通过将各个点的预测器中设定的邻居点的属性(或属性值)(例如，颜色、反射率等)乘以基于到各个邻居点的距离计算的权重(或权重值)而获得的值的平均。根据实施方式的点云编码器(例如，系数量化器40011)可量化和逆量化通过从各个点的属性(属性值)减去预测属性(属性值)而获得的残差(可称为残差属性、残差属性值或属性预测残差)。量化过程如下表所示配置。

属性预测残差量化伪代码

[表2]

属性预测残差逆量化伪代码

[表3]

当各个点的预测器具有邻居点时，根据实施方式的点云编码器(例如，算术编码器40012)可如上所述对量化和逆量化的残差值执行熵编码。当各个点的预测器没有邻居点时，根据实施方式的点云编码器(例如，算术编码器40012)可对对应点的属性执行熵编码，而不执行上述操作。

根据实施方式的点云编码器(例如，提升变换器40010)可生成各个点的预测器，设定计算的LOD并在预测器中注册邻居点，并且根据到邻居点的距离来设定权重以执行提升变换编码。根据实施方式的提升变换编码类似于上述预测变换编码，但不同之处在于，对属性值累积地应用权重。根据实施方式对属性值累积地应用权重的过程配置如下。

1)创建用于存储各个点的权重值的阵列量化权重(QW)。QW的所有元素的初始值均为1.0。将预测器中注册的邻居节点的预测器索引的QW值乘以当前点的预测器的权重，并将通过乘法获得的值相加。

2)提升预测过程：从现有属性值减去通过将点的属性值乘以权重而获得的值，以计算预测属性值。

3)创建称为updateweight和update的临时阵列，并且将临时阵列初始化为零。

4)将通过将针对所有预测器计算的权重乘以存储在与预测器索引对应的QW中的权重而计算的权重与updateweight阵列累加，作为邻居节点的索引。将通过将邻居节点索引的属性值乘以所计算的权重而获得的值与update阵列累加。

5)提升更新过程：将所有预测器的update阵列的属性值除以预测器索引的updateweight阵列的权重值，并将现有属性值与通过除法获得的值相加。

6)针对所有预测器通过将通过提升更新过程更新的属性值乘以通过提升预测过程更新的权重(存储在QW中)来计算预测属性。根据实施方式的点云编码器(例如，系数量化器40011)量化预测属性值。另外，点云编码器(例如，算术编码器40012)对量化属性值执行熵编码。

根据实施方式的点云编码器(例如，RAHT变换器40008)可执行RAHT变换编码，其中使用与八叉树中较低级别的节点关联的属性来预测较高级别的节点的属性。RAHT变换编码是通过八叉树向后扫描进行属性帧内编码的示例。根据实施方式的点云编码器从体素开始扫描整个区域并且在每一步重复将体素合并为更大的块的合并过程，直至到达根节点。仅对占用节点执行根据实施方式的合并过程。不对空节点执行合并过程。对空节点正上方的上节点执行合并过程。

下式表示RAHT变换矩阵。在该式中，

表示级别l的体素的平均属性值。

可基于

和

来计算。

和

的权重为

和

这里，

是低通值并且在次高级别的合并过程中使用。

表示高通系数。每一步的高通系数被量化并经受熵编码(例如，由算术编码器400012编码)。权重被计算为

通过

和

创建根节点如下。

类似于高通系数，gDC的值也被量化并经受熵编码。

图10示出根据实施方式的点云解码器。

图10所示的点云解码器是图1中描述的点云视频解码器10006的示例，并且可执行与图1所示的点云视频解码器10006的操作相同或相似的操作。如图所示，点云解码器可接收包含在一个或更多个比特流中的几何比特流和属性比特流。点云解码器包括几何解码器和属性解码器。几何解码器对几何比特流执行几何解码并输出解码的几何。属性解码器基于解码的几何和属性比特流执行属性解码，并且输出解码的属性。解码的几何和解码的属性用于重构点云内容(解码的点云)。

图11示出根据实施方式的点云解码器。

图11所示的点云解码器是图10所示的点云解码器的示例，并且可执行解码操作，其是图1至图9所示的点云编码器的编码操作的逆过程。

如参照图1和图10所描述的，点云解码器可执行几何解码和属性解码。几何解码在属性解码之前执行。

根据实施方式的点云解码器包括算术解码器(算术解码)11000、八叉树合成器(合成八叉树)11001、表面近似合成器(合成表面近似)11002和几何重构器(重构几何)11003、坐标逆变换器(逆变换坐标)11004、算术解码器(算术解码)11005、逆量化器(逆量化)11006、RAHT变换器11007、LOD生成器(生成LOD)11008、逆提升器(逆提升)11009和/或颜色逆变换器(逆变换颜色)11010。

算术解码器11000、八叉树合成器11001、表面近似合成器11002、几何重构器11003和坐标逆变换器11004可执行几何解码。根据实施方式的几何解码可包括直接编码和三联体几何解码。直接编码和三联体几何解码选择性地应用。几何解码不限于上述示例，并且作为参照图1至图9描述的几何编码的逆过程执行。

根据实施方式的算术解码器11000基于算术编码将所接收的几何比特流解码。算术解码器11000的操作对应于算术编码器40004的逆过程。

根据实施方式的八叉树合成器11001可通过从解码的几何比特流获取占用代码(或关于作为解码结果取得的几何的信息)来生成八叉树。占用代码如参照图1至图9详细描述那样配置。

当应用三联体几何编码时，根据实施方式的表面近似合成器11002可基于解码的几何和/或生成的八叉树来合成表面。

根据实施方式的几何重构器11003可基于表面和/或解码的几何重新生成几何。如参照图1至图9所描述的，选择性地应用直接编码和三联体几何编码。因此，几何重构器11003直接导入关于应用了直接编码的点的位置信息并将其相加。当应用三联体几何编码时，几何重构器11003可通过执行几何重构器40005的重构操作(例如，三角形重构、上采样和体素化)来重构几何。细节与参照图6描述的那些相同，因此省略其描述。重构的几何可包括不包含属性的点云画面或帧。

根据实施方式的坐标逆变换器11004可通过基于重构的几何变换坐标来获取点位置。

算术解码器11005、逆量化器11006、RAHT变换器11007、LOD生成器11008、逆提升器11009和/或颜色逆变换器11010可执行参照图10描述的属性解码。根据实施方式的属性解码包括区域自适应分层变换(RAHT)解码、基于插值的分层最近邻居预测(预测变换)解码以及具有更新/提升步骤的基于插值的分层最近邻居预测(提升变换)解码。上述三个解码方案可选择性地使用，或者可使用一个或更多个解码方案的组合。根据实施方式的属性解码不限于上述示例。

根据实施方式的算术解码器11005通过算术编码对属性比特流进行解码。

根据实施方式的逆量化器11006逆量化关于解码的属性比特流或作为解码结果取得的属性的信息，并且输出逆量化的属性(或属性值)。可基于点云编码器的属性编码选择性地应用逆量化。

根据实施方式，RAHT变换器11007、LOD生成器11008和/或逆提升器11009可处理重构的几何和逆量化的属性。如上所述，RAHT变换器11007、LOD生成器11008和/或逆提升器11009可选择性地执行与点云编码器的编码对应的解码操作。

根据实施方式的颜色逆变换器11010执行逆变换编码以逆变换包括在解码的属性中的颜色值(或纹理)。可基于点云编码器的颜色变换器40006的操作选择性地执行颜色逆变换器11010的操作。

尽管图中未示出，图11的点云解码器的元件可由包括被配置为与包括在点云提供装置中的一个或更多个存储器通信的一个或更多个处理器或集成电路的硬件、软件、固件或其组合实现。一个或更多个处理器可执行上述图11的点云解码器的元件的操作和/或功能中的至少一个或更多个。另外，一个或更多个处理器可操作或执行用于执行图11的点云解码器的元件的操作和/或功能的软件程序和/或指令集合。

图12示出根据实施方式的示例性发送装置。

图12所示的发送装置是图1的发送装置10000(或图4的点云编码器)的示例。图12所示的发送装置可执行与参照图1至图9描述的点云编码器的那些相同或相似的一个或更多个操作和方法。根据实施方式的发送装置可包括数据输入单元12000、量化处理器12001、体素化处理器12002、八叉树占用代码生成器12003、表面模型处理器12004、帧内/帧间编码处理器12005、算术编码器12006、元数据处理器12007、颜色变换处理器12008、属性变换处理器12009、预测/提升/RAHT变换处理器12010、算术编码器12011和/或传输处理器12012。

根据实施方式的数据输入单元12000接收或获取点云数据。数据输入单元12000可执行与点云视频获取器10001的操作和/或获取方法(或参照图2描述的获取过程20000)相同或相似的操作和/或获取方法。

数据输入单元12000、量化处理器12001、体素化处理器12002、八叉树占用代码生成器12003、表面模型处理器12004、帧内/帧间编码处理器12005和算术编码器12006执行几何编码。根据实施方式的几何编码与参照图1至图9描述的几何编码相同或相似，因此省略其详细描述。

根据实施方式的量化处理器12001量化几何(例如，点的位置值)。量化处理器12001的操作和/或量化与参照图4描述的量化器40001的操作和/或量化相同或相似。细节与参照图1至图9描述的那些相同。

根据实施方式的体素化处理器12002将点的量化的位置值体素化。体素化处理器120002可执行与参照图4描述的量化器40001的操作和/或体素化过程相同或相似的操作和/或过程。细节与参照图1至图9描述的那些相同。

根据实施方式的八叉树占用代码生成器12003基于八叉树结构对点的体素化的位置执行八叉树编码。八叉树占用代码生成器12003可生成占用代码。八叉树占用代码生成器12003可执行与参照图4和图6描述的点云编码器(或八叉树分析器40002)的操作和/或方法相同或相似的操作和/或方法。细节与参照图1至图9描述的那些相同。

根据实施方式的表面模型处理器12004可基于表面模型执行三联体几何编码以基于体素重构特定区域(或节点)中的点位置。表面模型处理器12004可执行与参照图4描述的点云编码器(例如，表面近似分析器40003)的操作和/或方法相同或相似的操作和/或方法。细节与参照图1至图9描述的那些相同。

根据实施方式的帧内/帧间编码处理器12005可对点云数据执行帧内/帧间编码。帧内/帧间编码处理器12005可执行与参照图7描述的帧内/帧间编码相同或相似的编码。细节与参照图7描述的那些相同。根据实施方式，帧内/帧间编码处理器12005可包括在算术编码器12006中。

根据实施方式的算术编码器12006对点云数据的八叉树和/或近似八叉树执行熵编码。例如，编码方案包括算术编码。算术编码器12006执行与算术编码器40004的操作和/或方法相同或相似的操作和/或方法。

根据实施方式的元数据处理器12007处理关于点云数据的元数据(例如，设定值)，并将其提供给诸如几何编码和/或属性编码的必要处理过程。另外，根据实施方式的元数据处理器12007可生成和/或处理与几何编码和/或属性编码有关的信令信息。根据实施方式的信令信息可与几何编码和/或属性编码分开编码。根据实施方式的信令信息可被交织。

颜色变换处理器12008、属性变换处理器12009、预测/提升/RAHT变换处理器12010和算术编码器12011执行属性编码。根据实施方式的属性编码与参照图1至图9描述的属性编码相同或相似，因此省略其详细描述。

根据实施方式的颜色变换处理器12008执行颜色变换编码以变换包括在属性中的颜色值。颜色变换处理器12008可基于重构的几何来执行颜色变换编码。重构的几何与参照图1至图9描述的相同。另外，其执行与参照图4描述的颜色变换器40006的操作和/或方法相同或相似的操作和/或方法。省略其详细描述。

根据实施方式的属性变换处理器12009执行属性变换以基于重构的几何和/或不执行几何编码的位置来变换属性。属性变换处理器12009执行与参照图4描述的属性变换器40007的操作和/或方法相同或相似的操作和/或方法。省略其详细描述。根据实施方式的预测/提升/RAHT变换处理器12010可通过RAHT编码、预测变换编码和提升变换编码中的任一种或组合对变换的属性进行编码。预测/提升/RAHT变换处理器12010执行与参照图4描述的RAHT变换器40008、LOD生成器40009和提升变换器40010的操作相同或相似的至少一个操作。另外，预测变换编码、提升变换编码和RAHT变换编码与参照图1至图9描述的那些相同，因此省略其详细描述。

根据实施方式的算术编码器12011可基于算术编码对编码的属性进行编码。算术编码器12011执行与算术编码器400012的操作和/或方法相同或相似的操作和/或方法。

根据实施方式的传输处理器12012可发送包含编码的几何和/或编码的属性和元数据信息的各个比特流，或者发送配置有编码的几何和/或编码的属性和元数据信息的一个比特流。当根据实施方式的编码的几何和/或编码的属性和元数据信息被配置为一个比特流时，比特流可包括一个或更多个子比特流。根据实施方式的比特流可包含信令信息和切片数据，信令信息包括用于序列级别信令的序列参数集(SPS)、用于几何信息编码信令的几何参数集(GPS)、用于属性信息编码信令的属性参数集(APS)和用于拼块级别信令的拼块参数集(TPS)。切片数据可包括关于一个或更多个切片的信息。根据实施方式的一个切片可包括一个几何比特流Geom0⁰以及一个或更多个属性比特流Attr0⁰和Attr1⁰。根据实施方式的TPS可包括关于一个或更多个拼块中的各个拼块的信息(例如，关于边界框的坐标信息和高度/大小信息)。几何比特流可包含头和有效载荷。根据实施方式的几何比特流的头可包含GPS中所包括的参数集标识符(geom_parameter_set_id)、拼块标识符(geom_tile_id)和切片标识符(geom_slice_id)以及关于包含在有效载荷中的数据的信息。如上所述，根据实施方式的元数据处理器12007可生成和/或处理信令信息并将其发送到传输处理器12012。根据实施方式，执行几何编码的元件和执行属性编码的元件可如虚线所指示彼此共享数据/信息。根据实施方式的传输处理器12012可执行与发送器10003的操作和/或传输方法相同或相似的操作和/或传输方法。细节与参照图1和图2描述的那些相同，因此省略其描述。

图13示出根据实施方式的示例性接收装置。

图13所示的接收装置是图1的接收装置10004(或图10和图11的点云解码器)的示例。图13所示的接收装置可执行与参照图1至图11描述的点云解码器的那些相同或相似的一个或更多个操作和方法。

根据实施方式的接收装置包括接收器13000、接收处理器13001、算术解码器13002、基于占用代码的八叉树重构处理器13003、表面模型处理器(三角形重构、上采样、体素化)13004、逆量化处理器13005、元数据解析器13006、算术解码器13007、逆量化处理器13008、预测/提升/RAHT逆变换处理器13009、颜色逆变换处理器13010和/或渲染器13011。根据实施方式的各个解码元件可执行根据实施方式的对应编码元件的操作的逆过程。

根据实施方式的接收器13000接收点云数据。接收器13000可执行与图1的接收器10005的操作和/或接收方法相同或相似的操作和/或接收方法。省略其详细描述。

根据实施方式的接收处理器13001可从所接收的数据获取几何比特流和/或属性比特流。接收处理器13001可包括在接收器13000中。

算术解码器13002、基于占用代码的八叉树重构处理器13003、表面模型处理器13004和逆量化处理器13005可执行几何解码。根据实施方式的几何解码与参照图1至图10描述的几何解码相同或相似，因此省略其详细描述。

根据实施方式的算术解码器13002可基于算术编码对几何比特流进行解码。算术解码器13002执行与算术解码器11000的操作和/或编码相同或相似的操作和/或编码。

根据实施方式的基于占用代码的八叉树重构处理器13003可通过从解码的几何比特流(或关于作为解码结果取得的几何的信息)获取占用代码来重构八叉树。基于占用代码的八叉树重构处理器13003执行与八叉树的合成器11001的操作和/或八叉树生成方法相同或相似的操作和/或方法。当应用三联体几何编码时，根据实施方式的表面模型处理器13004可基于表面模型方法来执行三联体几何解码和相关几何重构(例如，三角形重构、上采样、体素化)。表面模型处理器13004执行与表面近似合成器11002和/或几何重构器11003的操作相同或相似的操作。

根据实施方式的逆量化处理器13005可逆量化解码的几何。

根据实施方式的元数据解析器13006可解析包含在所接收的点云数据中的元数据(例如，设定值)。元数据解析器13006可将元数据传递给几何解码和/或属性解码。元数据与参照图12描述的元数据相同，因此省略其详细描述。

算术解码器13007、逆量化处理器13008、预测/提升/RAHT逆变换处理器13009和颜色逆变换处理器13010执行属性解码。属性解码与参照图1至图10描述的属性解码相同或相似，因此省略其详细描述。

根据实施方式的算术解码器13007可通过算术编码对属性比特流进行解码。算术解码器13007可基于重构的几何对属性比特流进行解码。算术解码器13007执行与算术解码器11005的操作和/或编码相同或相似的操作和/或编码。

根据实施方式的逆量化处理器13008可逆量化解码的属性比特流。逆量化处理器13008执行与逆量化器11006的操作和/或逆量化方法相同或相似的操作和/或方法。

根据实施方式的预测/提升/RAHT逆变换器13009可处理重构的几何和逆量化的属性。预测/提升/RAHT逆变换处理器13009执行与RAHT变换器11007、LOD生成器11008和/或逆提升器11009的操作和/或解码相同或相似的一个或更多个操作和/或解码。根据实施方式的颜色逆变换处理器13010执行逆变换编码以逆变换包括在解码的属性中的颜色值(或纹理)。颜色逆变换处理器13010执行与颜色逆变换器11010的操作和/或逆变换编码相同或相似的操作和/或逆变换编码。根据实施方式的渲染器13011可渲染点云数据。

图14示出根据实施方式的用于流传输基于G-PCC的点云数据的架构。

图14的上部示出由图1至图13中描述的发送装置(例如，发送装置10000、图12的发送装置等)处理和发送点云内容的过程。

如参照图1至图13所描述的，发送装置可获取点云内容的音频Ba(音频获取)，对获取的音频进行编码(音频编码)，并且输出音频比特流Ea。另外，发送装置可获取点云内容的点云(或点云视频)Bv(点获取)，并且对所获取的点云执行点云编码以输出点云视频比特流Eb。发送装置的点云编码与参照图1至图13描述的点云编码(例如，图4的点云编码器的编码)相同或相似，因此将省略其详细描述。

发送装置可将所生成的音频比特流和视频比特流封装到文件和/或片段中(文件/片段封装)。封装的文件和/或片段Fs,File可包括诸如ISOBMFF或DASH片段的文件格式的文件。根据实施方式的点云相关元数据可包含在封装的文件格式和/或片段中。元数据可包含在ISOBMFF文件格式上的各种级别的盒中，或者可包含在文件内的单独轨道中。根据实施方式，发送装置将元数据封装到单独的文件中。根据实施方式的发送装置可经由网络传送封装的文件格式和/或片段。发送装置的封装和传输处理方法与参照图1至图13描述的相同(例如，发送器10003、图2的传输步骤20002等)，因此将省略其详细描述。

图14的下部示出由参照图1至图13描述的接收装置(例如，接收装置10004、图13的接收装置等)处理和输出点云内容的过程。

根据实施方式，接收装置可包括被配置为输出最终音频数据和最终视频数据的装置(例如，扬声器、耳机、显示器)以及被配置为处理点云内容的点云播放器(点云播放器)。最终数据输出装置和点云播放器可被配置成单独的物理装置。根据实施方式的点云播放器可执行基于几何的点云压缩(G-PCC)编码、基于视频的点云压缩(V-PCC)编码和/或下一代编码。

根据实施方式的接收装置可取得包含在所接收的数据(例如，广播信号、经由网络发送的信号等)中的文件和/或片段F’,Fs’并将其解封装(文件/片段解封装)。接收装置的接收和解封装方法与参照图1至图13描述的那些(例如，接收器10005、接收单元13000、接收处理单元13001等)相同，因此将省略其详细描述。

根据实施方式的接收装置取得包含在文件和/或片段中的音频比特流E’a和视频比特流E’v。如图所示，接收装置通过对音频比特流执行音频解码来输出解码的音频数据B’a，并且渲染解码的音频数据(音频渲染)以通过扬声器或耳机输出最终音频数据A’a。

另外，接收装置对视频比特流E’v执行点云解码并输出解码的视频数据B’v。根据实施方式的点云解码与参照图1至图13描述的点云解码(例如，图11的点云解码器的解码)相同或相似，因此将省略其详细描述。接收装置可渲染解码的视频数据并通过显示器输出最终视频数据。

根据实施方式的接收装置可基于所发送的元数据来执行解封装、音频解码、音频渲染、点云解码和点云视频渲染中的至少一个。元数据的细节与参照图12至图13描述的那些相同，因此将省略其描述。

如图中所示的虚线所指示，根据实施方式的接收装置(例如，点云播放器或点云播放器中的感测/跟踪单元)可生成反馈信息(取向、视口)。根据实施方式，反馈信息可在接收装置的解封装过程、点云解码过程和/或渲染过程中使用，或者可被传送至发送装置。反馈信息的细节与参照图1至图13描述的那些相同，因此将省略其描述。

图15示出根据实施方式的示例性发送装置。

图15的发送装置是被配置为发送点云内容的装置，并且对应于参照图1至图14描述的发送装置(例如，图1的发送装置10000、图4的点云编码器、图12的发送装置、图14的发送装置)的示例。因此，图15的发送装置执行与参照图1至图14描述的发送装置相同或相似的操作。

根据实施方式的发送装置可执行点云获取、点云编码、文件/片段封装和传送中的一个或更多个。

由于图中所示的点云获取和传送的操作与参照图1至图14描述的操作相同，所以将省略其详细描述。

如上面参照图1至图14描述的，根据实施方式的发送装置可执行几何编码和属性编码。几何编码可被称为几何压缩，属性编码可被称为属性压缩。如上所述，一个点可具有一个几何和一个或更多个属性。因此，发送装置对各个属性执行属性编码。图中示出发送装置执行一个或更多个属性压缩(属性#1压缩、...、属性#N压缩)。另外，根据实施方式的发送装置可执行辅助压缩。对元数据执行辅助压缩。元数据的细节与参照图1至图14描述的那些相同，因此将省略其描述。发送装置还可执行网格数据压缩。根据实施方式的网格数据压缩可包括参照图1至图14描述的三联体几何编码。

根据实施方式的发送装置可将根据点云编码输出的比特流(例如，点云流)封装到文件和/或片段中。根据实施方式，发送装置可执行媒体轨道封装以用于承载元数据以外的数据(例如，媒体数据)，并且执行元数据轨道封装以用于承载元数据。根据实施方式，元数据可被封装到媒体轨道中。

如参照图1至图14所描述的，发送装置可从接收装置接收反馈信息(取向/视口元数据)，并且基于所接收的反馈信息执行点云编码、文件/片段封装和传送操作中的至少一个。细节与参照图1至图14描述的那些相同，因此将省略其描述。

图16示出根据实施方式的示例性接收装置。

图16的接收装置是用于接收点云内容的装置，并且对应于参照图1至图14描述的接收装置的示例(例如，图1的接收装置10004、图11的点云解码器和图13的接收装置、图14的接收装置)。因此，图16的接收装置执行与参照图1至图14描述的接收装置相同或相似的操作。图16的接收装置可接收从图15的发送装置发送的信号，并且执行图15的发送装置的操作的相反过程。

根据实施方式的接收装置可执行传送、文件/片段解封装、点云解码和点云渲染中的至少一个。

由于图中所示的点云接收和点云渲染操作与参照图1至图14描述的那些相同，所以将省略其详细描述。

如参照图1至图14描述的，根据实施方式的接收装置将从网络或存储装置获取的文件和/或片段解封装。根据实施方式，接收装置可执行媒体轨道解封装以用于承载元数据以外的数据(例如，媒体数据)，并且执行元数据轨道解封装以用于承载元数据。根据实施方式，在元数据被封装到媒体轨道中的情况下，省略元数据轨道解封装。

如参照图1至图14描述的，接收装置可对通过解封装取得的比特流(例如，点云流)执行几何解码和属性解码。几何解码可被称为几何解压缩，属性解码可被称为属性解压缩。如上所述，一个点可具有一个几何和一个或更多个属性，其各自由发送装置编码。因此，接收装置对各个属性执行属性解码。图中示出接收装置执行一个或更多个属性解压缩(属性#1解压缩、...、属性#N解压缩)。根据实施方式的接收装置还可执行辅助解压缩。对元数据执行辅助解压缩。元数据的细节与参照图1至图14描述的那些相同，因此将省略其混乱。接收装置还可执行网格数据解压缩。根据实施方式的网格数据解压缩可包括参照图1至图14描述的三联体几何解码。根据实施方式的接收装置可渲染根据点云解码输出的点云数据。

如参照图1至图14描述的，接收装置可使用单独的感测/跟踪元件来取得取向/视口元数据，并且将包括其的反馈信息发送到发送装置(例如，图15的发送装置)。另外，接收装置可基于反馈信息执行接收操作、文件/片段解封装和点云解码中的至少一个。细节与参照图1至图14描述的那些相同，因此将省略其描述。

图17示出根据实施方式的操作上可与发送和接收点云数据的方法/装置连接的示例性结构。

图17的结构表示服务器1760、机器人1710、自驾驶车辆1720、XR装置1730、智能电话1740、家用电器1750和/或HMD 1770中的至少一个连接到云网络1700的配置。机器人1710、自驾驶车辆1720、XR装置1730、智能电话1740或家用电器1750被称为装置。此外，XR装置1730可对应于根据实施方式的点云数据(PCC)装置或者可操作上连接到PCC装置。

云网络1700可表示构成云计算基础设施的一部分或存在于云计算基础设施中的网络。这里，云网络1700可使用3G网络、4G或长期演进(LTE)网络或5G网络来配置。

服务器1760可经由云网络1700连接到机器人1710、自驾驶车辆1720、XR装置1730、智能电话1740、家用电器1750和/或HMD 1770中的至少一个，并且可辅助连接的装置1710至1770的至少一部分处理。

HMD 1770表示根据实施方式的XR装置和/或PCC装置的实现类型之一。根据实施方式，HMD型装置包括通信单元、控制单元、存储器、I/O单元、传感器单元和电源单元。

以下，将描述应用了上述技术的装置1710至1750的各种实施方式。图17所示的装置1710至1750可操作上连接/联接到根据上述实施方式的点云数据发送/接收装置。

<PCC+XR>

XR/PCC装置1730可采用PCC技术和/或XR(AR+VR)技术，并且可被实现为HMD、设置在车辆中的平视显示器(HUD)、电视、移动电话、智能电话、计算机、可穿戴装置、家用电器、数字标牌、车辆、固定机器人或移动机器人。

XR/PCC装置1730可分析通过各种传感器或从外部装置获取的3D点云数据或图像数据并生成关于3D点的位置数据和属性数据。由此，XR/PCC装置1730可获取关于周围空间或真实对象的信息，并且渲染和输出XR对象。例如，XR/PCC装置1730可使包括关于所识别的对象的辅助信息的XR对象与所识别的对象匹配并输出匹配的XR对象。

<PCC+自驾驶+XR>

自驾驶车辆1720可通过应用PCC技术和XR技术被实现为移动机器人、车辆、无人驾驶飞行器等。

应用了XR/PCC技术的自驾驶车辆1720可表示设置有用于提供XR图像的手段的自主车辆，或者作为XR图像中的控制/交互目标的自主车辆。具体地，作为XR图像中的控制/交互目标，自驾驶车辆1720可与XR装置1730相区分并且可操作上与之连接。

具有用于提供XR/PCC图像的手段的自驾驶车辆1720可从包括相机的传感器获取传感器信息，并且基于所获取的传感器信息来输出所生成的XR/PCC图像。例如，自驾驶车辆1720可具有HUD并向其输出XR/PCC图像以向乘客提供与真实对象或呈现在画面上的对象对应的XR/PCC对象。

在这种情况下，当XR/PCC对象被输出到HUD时，可输出XR/PCC对象的至少一部分以与乘客的眼睛所指向的真实对象交叠。另一方面，当XR/PCC对象输出在设置在自驾驶车辆内的显示器上时，可输出XR/PCC对象的至少一部分以与画面上的对象交叠。例如，自驾驶车辆1220可输出与诸如道路、另一车辆、交通灯、交通标志、两轮车、行人和建筑物的对象对应的XR/PCC对象。

根据实施方式的虚拟现实(VR)技术、增强现实(AR)技术、混合现实(MR)技术和/或点云压缩(PCC)技术适用于各种装置。

换言之，VR技术是仅提供真实世界对象、背景等的CG图像的显示技术。另一方面，AR技术是指在真实对象的图像上显示虚拟创建的CG图像的技术。MR技术与上述AR技术的相似之处在于，要显示的虚拟对象与真实世界混合和组合。然而，MR技术与AR技术的不同之处在于，AR技术在真实对象和作为CG图像创建的虚拟对象之间明确区分并且使用虚拟对象作为真实对象的补充对象，而MR技术将虚拟对象当作具有与真实对象等同的特性的对象。更具体地，MR技术应用的示例是全息服务。

最近，VR、AR和MR技术通常被称为扩展显示(XR)技术，而非彼此明确区分。因此，本公开的实施方式适用于VR、AR、MR和XR技术中的任一种。基于PCC、V-PCC和G-PCC技术的编码/解码适用于这种技术。

根据实施方式的PCC方法/装置可被应用于提供自驾驶服务的车辆。

提供自驾驶服务的车辆连接到PCC装置以进行有线/无线通信。

当根据实施方式的点云数据(PCC)发送/接收装置连接到车辆以进行有线/无线通信时，装置可接收/处理与AR/VR/PCC服务(可与自驾驶服务一起提供)有关的内容数据，并将其发送到车辆。在PCC发送/接收装置安装在车辆上的情况下，PCC发送/接收装置可根据通过用户接口装置输入的用户输入信号接收/处理与AR/VR/PCC服务有关的内容数据并将其提供给用户。根据实施方式的车辆或用户接口装置可接收用户输入信号。根据实施方式的用户输入信号可包括指示自驾驶服务的信号。

根据实施方式的可伸缩解码是由接收装置(例如，图1的接收装置10004、图10和图11的点云解码器或图13的接收装置)根据接收装置的解码性能对一些或所有几何和/或属性选择性地执行的解码。根据实施方式的一些几何和属性被称为部分几何和部分属性。根据实施方式应用于几何的可伸缩解码被称为可伸缩几何解码或几何可伸缩解码。根据实施方式应用于属性的可伸缩解码被称为可伸缩属性解码或属性可伸缩解码。如参照图1至图17描述的，点云内容的点分布在三维空间中，并且分布的点以八叉树结构表示。八叉树结构是八元树结构，其深度从较高节点到较低节点增加。根据实施方式的深度被称为级别和/或层。因此，为了提供低分辨率点云内容，接收装置可从八叉树结构中与特定深度或级别对应的较高节点到较低节点对部分几何执行几何解码(或几何可伸缩解码)和/或对部分属性执行属性解码(或属性可伸缩解码)。另外，接收装置可执行与整个八叉树结构对应的几何和属性解码以提供高分辨率点云内容。根据实施方式的接收装置通过执行可伸缩解码来提供可伸缩点云表示或可伸缩表示以用于点云的部分以及全部的表示。根据实施方式的可伸缩表示的级别对应于八叉树结构的深度。随着根据实施方式的级别的值增加，分辨率或细节增加。

可伸缩解码支持表现出各种性能的接收装置，并且使得接收装置即使在自适应比特率环境中也能够提供点云服务。然而，由于属性解码是基于几何解码执行的，所以需要几何信息来执行准确的属性解码。例如，基于几何分布信息(或几何结构信息(例如，八叉树结构))来确定RAHT编码的变换系数。另外，预测变换编码和提升变换编码需要整个几何分布信息(或几何结构信息(例如，八叉树结构))以便获得属于各个LOD的点。

因此，接收装置可接收并处理所有几何以便执行稳定的属性解码。然而，发送和接收根据接收装置的性能实际不显示的几何信息在比特率方面低效。另外，接收装置对所有几何进行解码可能在提供点云内容服务时导致延迟。此外，当接收装置的解码器具有低性能时，并非所有几何均可被解码。

图18示出根据实施方式的点云数据的发送和接收的配置。

图18示出用于可伸缩解码和可伸缩表示的点云数据的发送和接收的配置。

图18的顶部所示的示例1800是发送和接收部分PCC比特流的配置的示例。根据实施方式的发送装置(例如，参照图1描述的发送装置10000或参照图12描述的发送装置)对源几何和源属性执行全编码而不执行可伸缩编码，然后将其存储。即，由于发送装置无法对一部分几何和属性进行编码，所以无法选择性地发送接收装置所需的一些数据。因此，根据实施方式的发送装置对所存储的编码的几何和属性进行解码，对一些或所有解码的几何和属性执行转码以用于部分编码，并且生成包括部分几何和部分属性的比特流(例如，部分PCC比特流)(1801)。根据实施方式的接收装置(例如，图1的接收装置10004、图10和图11的点云解码器或图13的接收装置)接收并解码比特流，并且输出部分几何和部分属性(1802)。由于示例1800所示的配置需要发送装置的附加数据处理(例如，解码和转码)，所以在数据处理过程中可能出现延迟。

图18的底部所示的示例1810是发送和接收完整PCC比特流的配置的示例。根据实施方式的发送装置(例如，参照图1描述的发送装置10000或参照图12描述的发送装置)不执行可伸缩编码，而是执行全编码并存储编码的几何和属性。根据实施方式的发送装置对低质量点云内容的一部分存储的几何和属性执行转码，并且生成包括完整几何和属性的比特流(例如，完整PCC比特流)(1811)。根据实施方式的比特流可包括用于接收装置的可伸缩解码的信令信息。根据实施方式的接收装置接收比特流并通过执行可伸缩解码来输出源几何和源属性，或者选择一些解码的数据(数据选择)并输出部分几何和部分属性(1812)。示例1810所示的配置需要传输不必要的数据(例如，一部分未选几何和属性)，因此降低了带宽效率。另外，当使用固定带宽时，发送装置可降低质量并发送编码的点云数据。

图19示出根据实施方式的点云数据的八叉树结构和比特流。

根据实施方式的点云内容的点分布于三维空间中。分布的点被表示为八叉树。如参照图6描述的，通过边界框的递归再分来生成八叉树。八叉树具有包括与递归再分的区域对应的节点的占用代码。根据实施方式，节点对应于通过递归再分生成的空间或区域。因此，根据一个或更多个点是否存在于对应区域中，根据实施方式的节点具有值0或1。例如，当一个或更多个点存在于与节点对应的区域中时，节点具有值1。当不存在一个或更多个点时，节点具有值0。

图19所示的示例1900表示八叉树结构。根据实施方式，八叉树的最高节点被称为根节点，最低节点被称为叶节点。根据上述递归再分，数据量或数据密度从上节点到下节点增加，因此根据实施方式的八叉树结构以三角形形状表示。根据实施方式的根节点对应于初始深度或最低级别(例如，级别0)。根据实施方式的叶节点对应于最终深度或最高级别(例如，级别n)。在图中所示的八叉树中，最高级别是级别7。

如参照图8描述的，根据实施方式的点云编码器(例如，图1的点云视频编码器10002、图4的点云编码器、参照图12、图14和图15描述的点云编码器等)可将点云的点分类为一个或更多个细节级别(LOD)。根据实施方式的LOD用于属性编码。根据实施方式的LOD对应于八叉树结构中的级别。一个LOD可对应于八叉树结构中的一个级别，或者可对应于八叉树结构中的一个或更多个级别。如示例1900中所示，LOD0对应于级别0至级别3(或深度0至深度3)，LOD1对应于级别0至级别5(或深度0至深度5)，LOD2对应于八叉树结构中的级别0至级别7，最高级别(或深度0至深度7)。LOD与八叉树的级别(或深度)之间的关系不限于此示例。

图19的底部所示的示例1910表示几何比特流和属性比特流。根据实施方式的发送装置(例如，参照图1描述的发送装置10000或参照图12描述的发送装置)可生成并发送包括几何比特流和属性比特流的比特流(例如，参照图10描述的比特流)。另外，发送装置可基于切片来配置几何比特流和属性比特流中的每一个(而不管八叉树结构或LOD如何)，并将其发送。因此，如示例1910中所示，几何比特流包括与LOD 0至LOD N(最高级别(例如，级别7))对应的几何。属性比特流包括与LOD 0至LOD N对应的属性。即，为了如图18的示例1800中所示发送部分比特流，根据实施方式的发送装置应该分别对几何比特流和属性比特流进行解码，选择要发送的部分几何和部分属性，并对其进行编码。

在接收到示例1910中所示的比特流时，接收装置(例如，图1的接收装置10004、图10和图11的点云解码器或图13的接收装置)对所有比特流进行解码，仅选择必要数据，并且输出部分几何和部分属性，如图18的示例1810中描述的(例如，参照图18描述的接收装置的操作1812)。

因此，为了减少不必要的数据传输并缩短数据处理时间，根据实施方式的发送装置(或点云编码器)将几何比特流和/或属性比特流划分成层并将其发送。根据实施方式的点云数据具有基于诸如信噪比(SNR)、空间分辨率、颜色、时间频率和比特深度的各种参数的层结构。另外，根据实施方式的点云数据的层结构基于八叉树结构中的深度(级别)和/或LOD的级别。例如，点云数据的层可对应于八叉树结构中的各个深度或者一个或更多个深度。点云数据的层可对应于LOD的各个级别或者一个或更多个级别。根据实施方式，几何比特流的层可与属性比特流的层相同或不同。例如，当几何比特流的层为层3时，属性比特流的层为层3。另外，当几何比特流的层为层3时，属性比特流的层可为层2或4。

图20示出根据实施方式的示例性点云数据处理装置。

图20所示的根据实施方式的点云数据处理装置2000是参照图1描述的发送装置10000或参照图12描述的发送装置的示例。点云数据处理装置2000执行与参照图1至图17描述的发送装置的操作相同或相似的操作。尽管图20中未示出，点云数据处理装置2000还可包括一个或更多个元件以执行参照图1至图17描述的编码操作。

点云数据处理装置2000包括几何编码器2010、属性编码器2020、子比特流生成器2030、元数据生成器2040、复用器2050和发送器2060。

根据实施方式的点云数据(或点云压缩(PCC)数据)可以是点云编码器1800的输入数据，并且可包括几何和/或属性。根据实施方式的几何是指示点的位置的信息，并且可由诸如笛卡尔坐标系、柱坐标系或球坐标系的坐标系的参数表示。根据实施方式，属性指示点的属性(例如，颜色、透明度、反射率、灰度等)。几何可被称为几何信息(或几何数据)，属性可被称为属性信息(或属性数据)。

几何编码器2010执行参照图1至图17描述的几何编码并输出几何比特流。几何编码器2010的操作与参照图4描述的坐标变换器40000、量化器40001、八叉树分析器40002、表面近似分析器40003、算术编码器40004和几何重构器40005的操作相同或相似。另外，几何编码器2010的操作与参照图12描述的数据输入单元12100、量化处理器12001、体素化处理器12002、八叉树占用代码生成器12003、表面模型处理器12004、帧内/帧间编码处理器12005、算术编码器12006和元数据处理器12007的操作相同或相似。

属性编码器2020执行参照图1至图17描述的属性编码并输出属性比特流。

属性编码器2020的操作与参照图4描述的几何重构器40005、颜色变换器40006、属性变换器40007、RAHT变换器40008、LOD生成器40009、提升变换器40010、系数量化器40011和/或算术编码器40012的操作相同或相似。另外，属性编码器2020的操作与参照图12描述的颜色变换处理器12008、属性变换处理器12009、预测/提升/RAHT变换处理器12010和算术编码器12011的操作相同或相似。

根据实施方式的子比特流生成器2030接收几何比特流和属性比特流，并且分别逐层对几何比特流和属性比特流进行分层，以生成一个或更多个子比特流。根据实施方式的子比特流包括几何子比特流和属性子比特流。如参照图19描述的，根据实施方式的层结构基于八叉树结构和/或LOD。子比特流生成器2030可改变与各个层对应的子比特流的排序顺序并输出各个排序的层的一个或更多个子比特流(例如，与同一层对应的几何子比特流和属性子比特流)。根据实施方式的关于几何比特流和属性比特流的层划分或分层的分层结构信息被发送至元数据生成器2040。

元数据生成器2040可生成和/或处理与几何编码器2010的几何编码、属性编码器2020的属性编码和子比特流生成器2030的层结构有关的信令信息。元数据生成器2020的操作与参照图12描述的元数据处理器12007的操作相同或相似。

复用器2050可将一个或更多个子比特流和从元数据生成器2040输出的参数复用并输出。根据实施方式的发送器2060将从复用器2050输出的数据发送至接收装置。发送器2060是参照图1描述的发送器10003的示例，并且执行与发送器10003相同或相似的操作。

图21示出几何比特流和属性比特流的层。

如参照图18至图20描述的，根据实施方式的点云数据处理装置(例如，图20的点云数据处理装置2000或子比特流生成器2040)逐层对几何比特流和属性比特流进行分层并且生成一个或更多个子比特流。图21的示例2100示出几何比特流和属性比特流的基于LOD的层结构。

如参照图9描述的，包括在低级别LOD中的点被包括在更高级别的LOD中。如参照图19描述的，几何比特流2110对应于整个LOD。因此，点云数据处理装置通过基于仅包括在最高LOD中的几何信息对几何比特流进行分层来生成一个或更多个子比特流。通过对几何比特流2110进行分层，点云数据处理装置生成包括与LOD0、LOD1和LOD2对应的第一几何的第一几何子比特流2111、包括与LOD1和LOD2对应的第二几何R1的第二几何子比特流2112以及包括仅与LOD2对应的第三几何R2的第三几何子比特流2113。各个几何子比特流包含头(图中的灰色框)和有效载荷。

如参照图19描述的，属性比特流2120对应于整个LOD。因此，点云数据处理装置通过基于仅包括在最高LOD中的属性信息对属性比特流进行分层来生成一个或更多个子比特流。通过对属性比特流2120进行分层，点云数据处理装置生成包括与LOD0、LOD1和LOD2对应的第一属性的第一属性子比特流2121、包括与LOD1和LOD2对应的第二属性R1的第二属性子比特流2122以及包括仅与LOD2对应的第三属性R2的第三属性子比特流2123。各个属性子比特流包括头(图中的灰色框)和有效载荷。

根据实施方式的点云数据处理装置可改变一个或更多个子比特流的排序顺序。

图22示出根据实施方式的对子比特流进行排序的方法。

图22的示例2200示出顺序排序的几何子比特流和属性子比特流。

根据实施方式的点云数据处理装置(例如，参照图1描述的发送装置10000或参照图12描述的发送装置)可首先对一个或更多个几何子比特流2201(例如，参照图21描述的包括与LOD0、LOD1和LOD2对应的第一几何的第一几何子比特流2111、包括与LOD1和LOD2对应的第二几何R1的第二几何子比特流2112以及包括仅与LOD2对应的第三几何R2的第三几何子比特流2113)进行排序。此后，点云数据处理装置对一个或更多个属性子比特流(例如，参照图21描述的包括与LOD0、LOD1和LOD2对应的第一属性的第一属性子比特流2121、包括与LOD1和LOD2对应的第二属性R1的第二属性子比特流2122以及包括仅与LOD2对应的第三属性R2的第三属性子比特流2123)进行排序并发送。根据实施方式的接收装置(例如，图1的接收装置10004、图10和图11的点云解码器或图13的接收装置)可首先重构几何子比特流并基于重构的几何(或几何信息)来重构属性子比特流。

图22的示例2210示出并行排序的几何子比特流和属性子比特流。根据实施方式的点云数据处理装置可对与同一层对应的子比特流一起进行排序并发送。点云数据处理装置首先对包括与LOD0、LOD1和LOD2对应的第一几何的第一几何子比特流(例如，图21的第一几何子比特流2111)以及包括与LOD0、LOD1和LOD2对应的第一属性的第一属性子比特流(例如，图21的第一属性子比特流2121)进行排序(2211)。点云数据处理装置对包括与LOD1和LOD2对应的第二几何R1的第二几何子比特流(例如，图21的第二几何子比特流2112)以及包括与LOD1和LOD2对应的第二属性R1的第二属性子比特流(例如，图21的第二属性子比特流2122)进行排序(2212)。点云数据处理装置对包括仅与LOD2对应的第三几何R2的第三几何子比特流(例如，图21的第三几何子比特流2113)以及包括仅与LOD2对应的第三属性R2的第三属性子比特流(例如，图21的第三属性子比特流2123)进行排序(2213)。因此，接收装置可通过并行执行几何解码和属性解码来减少解码执行时间。另外，由于基于几何解码来执行属性解码，所以接收装置可处理与下层LOD0对应的几何并处理同一层的属性。

点云数据处理装置(例如，参照图20描述的点云数据处理装置2000)可将参照图21和图22描述的几何子比特流和属性子比特流复用并将其以比特流的形式发送。

考虑到传输信道的误差，点云数据发送装置可将点云数据的图像划分成一个或更多个分组并将其经由网络发送。根据实施方式，比特流可包括一个或更多个分组(例如，网络抽象层(NAL)单元)。因此，即使在差网络环境下丢失一些分组时，点云数据接收装置也可使用剩余分组来重构图像。点云数据可被分割为待处理的一个或更多个切片或一个或更多个拼块。根据实施方式的拼块和切片是通过分割点云数据的画面来执行点云压缩编码的区域。点云数据发送装置可根据点云数据的各个分割区域的重要性通过处理与各个区域对应的数据来提供高质量点云内容。即，根据实施方式的点云数据发送装置可对与对于用户而言重要的区域对应的数据执行具有更好压缩效率和适当延迟的点云压缩编码。

根据实施方式，点云内容的图像(或画面)可被分割为用于点云压缩编码的基本处理单元。根据实施方式的点云压缩编码的基本处理单元可包括(但不限于)编码树单元(CTU)和方块。

根据实施方式的切片是包括整数数量的一个或更多个基本处理单元以用于点云压缩编码的区域并且不具有矩形形状。根据实施方式的切片包括通过分组发送的数据。根据实施方式的拼块是图像中按矩形形状分割的区域，并且包括一个或更多个基本处理单元以用于点云压缩编码。根据实施方式，一个切片可包括在一个或更多个拼块中。另外，根据实施方式，一个拼块可包括在一个或更多个切片中。

根据实施方式的比特流可包括信令信息和一个或更多个切片，信令信息包括用于序列级别信令的序列参数集(SPS)、用于几何信息编码信令的几何参数集(GPS)、用于属性信息编码信令的属性参数集(APS)以及用于拼块级别信令的拼块参数集(TPS)。

根据实施方式的SPS是关于包括简档和级别的整个序列的编码信息，并且可包括关于整个文件的综合信息，例如画面分辨率和视频格式。

根据实施方式，切片包括切片头和切片数据。切片数据可包括一个几何比特流(Geom0⁰)和一个或更多个属性比特流(Attr0⁰、Attr1⁰)。几何比特流可包括头(例如，几何切片头)和有效载荷(例如，几何切片数据)。根据实施方式的几何比特流的头可包括GPS中所包括的参数集的标识信息(geom_geom_parameter_set_id)、拼块标识符(geom_tile id)、切片标识符(geom_slice_id)以及与包括在有效载荷中的数据有关的信息。属性比特流可包括头(例如，属性切片头或属性方块头)和有效载荷(例如，属性切片数据或属性方块数据)。

如上面参照图18至图22描述的，根据实施方式的点云数据处理装置(例如，参照图1描述的发送装置10000或参照图12描述的发送装置)生成关于几何比特流和属性比特流的层划分或分层的分层结构信息以用于生成子比特流。根据实施方式的点云数据处理装置可发送部分或全部的几何比特流和属性比特流(例如，参照图20至图22描述的几何子比特流和属性子比特流)以用于可伸缩表示。另外，根据实施方式的分层几何比特流(即，几何子比特流)可被包括在切片中。根据实施方式的包括几何子比特流的切片被称为几何切片。根据实施方式的分层属性比特流(即，属性子比特流)可被包括在切片(属性切片)中。根据实施方式的包括属性子比特流的切片被称为属性切片。

图23示出根据实施方式的SPS的示例。

图23示出根据实施方式的SPS的示例性句法。该句法可包括以下信息(或字段、参数等)。

profile_idc指示比特流的简档。此信息可具有特定值。特定值以外的值为未来使用预留。

profile_compatibility_flags指示比特流是否符合profile_idc的值(例如，j)所指示的简档。当profile_compatibility_flags等于1时，应用SPS的比特流是符合profile_idc值(例如，j)所指示的简档的比特流。当profile_compatibility_flags等于0时，应用SPS的比特流是符合profile_idc的允许值以外的值所指示的简档的比特流。

level_idc指示比特流的级别。此信息可具有特定值。profile_idc特定值以外的值为未来使用预留。

sps_bounding_box_present_flag指示在SPS中是否用信号通知源边界框偏移和大小信息。根据实施方式的源边界框包括点云数据的点作为以三维坐标系(例如，X、Y和Z轴)表示的三维空间中的框(例如，参照图5描述的边界框)。当sps_bounding_box_present_flag等于1时，sps_bounding_box_present_flag指示在SPS中用信号通知源边界框偏移和大小信息。当sps_bounding_box_present_flag等于0时，sps_bounding_box_present_flag指示在SPS中没有用信号通知源边界框偏移和大小信息。

当sps_bounding_box_present_flag等于1时，以下被配置为与源边界框有关的信息。

sps_bounding_box_offset_x以笛卡尔坐标指示源边界框的x偏移。当不存在sps_bounding_box_offset_x时，sps_bounding_box_offset_x的值被推断为0。

sps_bounding_box_offset_y以笛卡尔坐标指示源边界框的y偏移。当不存在sps_bounding_box_offset_y时，sps_bounding_box_offset_y的值被推断为0。

sps_bounding_box_offset_z以笛卡尔坐标指示源边界框的z偏移。当不存在sps_bounding_box_offset_z时，sps_bounding_box_offset_z的值被推断为0。

sps_bounding_box_scale_factor以笛卡尔坐标指示源边界框的比例因子。当不存在sps_bounding_box_scale_factor时，sps_bounding_box_scale_factor的值被推断为1。

sps_bounding_box_size_width以笛卡尔坐标指示源边界框的宽度。当不存在sps_bounding_box_size_width时，sps_bounding_box_size_width的值被推断为1。

sps_bounding_box_size_height以笛卡尔坐标指示源边界框的高度。当不存在sps_bounding_box_size_height时，sps_bounding_box_size_height的值被推断为1。

sps_bounding_box_size_depth以笛卡尔坐标指示源边界框的深度。当不存在sps_bounding_box_size_depth时，sps_bounding_box_size_depth的值被推断为1。

sps_source_scale_factor指示源点云(点云数据)的比例因子。根据实施方式的比例因子被表示为浮点或整数。

sps_seq_parameter_set_id提供用于标识SPS的标识符。此信息是为引用SPS的其它句法(例如，GPS、APS)提供的。在实施方式的范围内，sps_seq_parameter_set_id的值为0。0以外的任何值为未来使用预留。

sps_num_attribute_sets指示比特流中编码的属性的数量。根据实施方式的sps_num_attribute_sets的值在0至63的范围内。以下是关于sps_num_attribute_sets所指示的一个或更多个编码的属性当中的各个属性的信息。在图中，i表示各个属性。

attribute_dimension[i]指示第i属性的分量的数量。根据实施方式的属性指示反射率、颜色等。因此，在属性之间分量的数量不同。例如，与颜色对应的属性可具有三个颜色分量(例如，RGB)。因此，与反射率对应的属性可以是一维属性，与颜色对应的属性可以是三维属性。

attribute_instance_id[i]指示第i属性的实例ID(instance_id)。

attribute_bitdepth[i]指示第i属性的比特深度。

attribute_cicp_colour_primaries[i]指示第i属性的颜色属性源基色(例如，白色和黑色)的色度坐标的坐标值。

attribute_cicp_transfer_characteristics[i]指示第i属性(颜色属性)的光电传递特性函数(OTF)或逆OTF。根据实施方式的OTF是在0至1的标称实值范围内的源输入线性光强度Lc的函数。根据实施方式的逆OTF是在0至1的标称实值范围内的输出线性光强度Lo的函数。

attribute_cicp_matrix_coeffs[i]指示用于从第i属性的绿色、蓝色和红色或Y、Z和X基色推导亮度和色度信号的矩阵系数。

attribute_cicp_video_full_range_flag[i]指示从第i属性的E”和E’或E”和E’实值分量信号推导的亮度和色度信号的黑电平和范围。

known_attribute_label_flag[i]指示是否为第i属性用信号通知known_attribute_label。当known_attribute_label_flag[i]的值为1时，known_attribute_label_flag[i]指示为第i属性用信号通知known_attribute_label。当known_attribute_label_flag[i]的值为0时，known_attribute_label_flag[i]指示为第i属性用信号通知attribute_label_four_bytes[i]。

以下是当known_attribute_label_flag[i]的值为1时用信号通知的known_attribute_label_flag[i]。

known_attribute_label[i]具有0至2的值当中的任何值。

当known_attribute_label_flag[i]的值为0时，属性是颜色。

当known_attribute_label_flag[i]的值为1时，属性是反射率。

当known_attribute_label_flag[i]的值为2时，属性是帧索引。

以下是当known_attribute_label_flag[i]的值为0时用信号通知的attribute_label_four_bytes[i]。

attribute_label_four_bytes[i]用4字节代码指示已知属性类型。当attribute_label_four_bytes[i]的值为0时，属性类型是颜色。当attribute_label_four_bytes[i]的值为1时，属性类型是反射率。

以下信息与切片有关。

split_slice_flag指示点云数据是否被划分为一个或更多个切片。当split_slice_flag的值为1时，split_slice_flag指示点云数据(几何比特流和属性比特流)是否被划分为一个或更多个切片。当split_slice_flag的值为0时，split_slice_flag指示点云数据(几何比特流和属性比特流)包括在一个切片中。当split_slice_flag的值为1时，SPS包括split_type。

split_type指示将点云数据划分为一个或更多个切片的方法或方法类型，或者几何比特流和属性比特流的分层方法或类型。例如，当split_type的值为0时，split_type指示点云数据基于LOD划分为一个或更多个切片(例如，参照图20和图21描述的几何子比特流或属性子比特流)。例如，如参照图21至图22描述的，基于最高LOD划分的点云数据(例如，几何子比特流2113和属性子比特流2123)被包括在一个切片中。当split_type的值为1时，split_type指示点云数据根据八叉树结构中的级别被拆分为一个或更多个切片(例如，参照图20和图21描述的几何子比特流或属性子比特流)。例如，一个切片包括基于八叉树级别采样的点云数据(例如，基于与着色八叉树结构中的属性匹配的级别采样的点云数据)。即，根据实施方式的几何子比特流对应于八叉树级别。

当split_type的值为0时，SPS包括以下信息。

Num_LOD指示LOD的数量。如上所述，点云数据根据LOD的数量被拆分为一个或更多个切片。

full_res_flag指示所发送的点云数据对应于全LOD还是部分LOD。当full_res_flag的值为1时，full_res_flag指示发送与全LOD对应的几何和属性。即，当full_res_flag的值为1时，full_res_flag指示发送用于配置整个点云数据的信息。当full_res_flag的值为0时，full_res_flag指示发送与部分LOD对应的几何和属性。因此，接收装置基于此信息提供各种分辨率的点云内容，如参照图18和图19描述的。

当full_res_flag的值为0时，SPS包括以下信息。

full_geo_present_flag指示是否发送全几何。当full_geo_present_flag的值为1时，full_geo_present_flag指示发送全几何(与全属性的传输无关)。因此，即使当接收装置接收与部分LOD对应的属性时，其也可通过重构全几何来重构与全LOD对应的属性。当full_geo_present_flag的值为0时，full_geo_present_flag指示发送部分几何。部分几何对应于与所发送的部分属性相同的LOD。当部分几何对应于与所发送的部分属性不同的LOD时，可单独地用信号通知关于与部分几何对应的LOD和与部分属性对应的LOD的信息。

split_info_present_in_slice_header_flag指示是否在切片头中发送附加信息。当split_info_present_in_slice_header_flag的值为1时，split_info_present_in_slice_header_flag指示在切片头中发送附加信息。当split_info_present_in_slice_header_flag的值为0时，split_info_present_in_slice_header_flag指示在切片头中不发送附加信息。

sps_extension_present_flag指示在SPS句法结构中是否存在sps_extension_data的句法结构。当sps_extension_present_flag的值为0时，sps_extension_present_flag指示不存在sps_extension_data的句法结构。当sps_extension_present_flag的值为1时，sps_extension_present_flag指示存在sps_extension_data的句法结构。

sps_extension_data_flag具有任何值。此信息的存在和值不影响接收装置的解码性能。

图23所示的根据实施方式的SPS的句法不限于上述示例，还可包括图中未示出的附加信息(或字段、参数等)。

图24示出根据实施方式的几何切片比特流的示例性句法。

图24示出当点云数据被划分为一个或更多个切片时与一个切片对应的几何比特流(或几何切片比特流)的示例性句法。

图24所示的第一句法2400表示根据实施方式的几何切片比特流的示例性句法。几何切片比特流包括几何切片头(geometry_slice_header)和几何切片数据(geometry_slice_data)。

图24所示的第二句法2410是根据实施方式的几何切片头的示例性句法。几何切片头的句法可包括以下信息(或字段、参数等)。

gsh_geometry_parameter_set_id指定活动GPS的标识符或标识符的值。

gsh_tile_id指定几何切片头所引用的拼块的标识符或标识符的值。根据实施方式的gsh_tile_id的值在0至任意值的范围内。

gsh_slice_id标识切片头以供其它句法引用。gsh_slice_id的值在0至任意值的范围内。

independent_decodable_flag指示切片是否可被独立地解码。当independent_decodable_flag的值为1时，independent_decodable_flag指示切片可被独立地解码。当independent_decodable_flag的值为0时，independent_decodable_flag指示切片无法被独立地解码。因此，接收装置(例如，图1的接收装置10004、图10和图11的点云解码器或图13的接收装置)可基于另一切片对该切片进行解码。

如参照图1至图22描述的，较高LOD级别应该引用较低LOD级别的点云数据。因此，当参照图23描述的split_type的值为0时，与LOD 0对应的切片的independent_decodable_flag可等于1，与LOD 1至LoD N对应的切片的independent_decodable_flag可等于0。

当independent_decodable_flag的值为1时，配置以下相关信息。

gps_box_present_flag指示是否存在用于切片的边界框。当gps_box_present_flag的值为1时，gps_box_present_flag指示存在用于切片的边界框。当gps_box_present_flag的值为1时，几何切片头的句法还包括以下信息。

gps_gsh_box_log2_scale_present_flag指示边界框的原始比例是否等于gsh_box_log2_scale。根据实施方式的gsh_box_log2_scale指示应用于各个切片的比例因子。根据实施方式的gps_gsh_box_log2_scale指示共同应用于所有切片的比例因子。

当gps_gsh_box_log2_scale_present_flag的值为0时，gps_gsh_box_log2_scale_present_flag指示原始比例的值被定义为等于gsh_box_log2_scale的值。当gps_gsh_box_log2_scale_present_flag的值为1时，gps_gsh_box_log2_scale_present_flag指示原始比例的值被定义为等于gps_gsh_box_log2_scale的值。

当gps_gsh_box_log2_scale_present_flag的值为1时，几何切片头的句法2410包括gsh_box_log2_scale。

gsh_box_log2_scale指示由gsh_slice_id标识的各个切片的边界框的原点的比例因子。

gsh_box_origin_x指定按照gsh_box_log2_scale所指示的值缩放的边界框的原点的x的值。gsh_box_origin_x等于slice_origin_x且小于原始比例。

gsh_box_origin_y指定按照gsh_box_log2_scale所指示的值缩放的边界框的原点的y的值。gsh_box_origin_y等于slice_origin_y且小于原始比例。

gsh_box_origin_z指定按照gsh_box_log2_scale所指示的值缩放的边界框的原点的z的值。gsh_box_origin_z等于slice_origin_z且小于原始比例。

当gps_box_present_flag的值为0时，切片原点的x、y和z的值被推断为0。

当independent_decodable_flag的值为0时，配置以下相关信息。

ref_geom_slice_id指示在对切片进行解码时参考的几何切片比特流的ID。ref_geom_slice_id的值等于几何切片比特流的gsh_slice_id的值。

split_info_present_in_slice_header_flag指示在几何切片头中是否发送附加信息。当split_info_present_in_slice_header_flag的值为1时，split_info_present_in_slice_header_flag指示在几何切片头中发送附加信息。当split_info_present_in_slice_header_flag的值为0时，split_info_present_in_slice_header_flag指示在几何切片头中不发送附加信息。

当split_info_present_in_slice_header_flag的值为1时，几何切片头的句法2410包括layer_info。

layer_info指示包括在切片中的几何数据的层(例如，参照图19至图22描述的层)。当参照图23描述的split_type的值为0时，layer_info指示LOD级别。当参照图23描述的split_type信息的值为1时，layer_info指示八叉树级别(或八叉树深度)。

根据实施方式的几何切片头的句法2410还包括以下信息。

gsh_log2_cur_nodesize指示用于表示包括在切片中的点云数据的八叉树结构的节点大小。当切片通过基于八叉树结构的分层划分时，gsh_log2_cur_nodesize指示与各层对应的八叉树深度的节点大小。由于根据实施方式的节点表示三维立方体，所以节点大小被表示为N×N×N。N是整数。例如，当八叉树深度层为Max(即，八叉树节点大小为1×1×1)时，节点大小可被表示为1，当八叉树深度层为Max-1时表示为2，当八叉树深度层为Max-2时表示为2×2。gsh_log2_cur_nodesize等于1指示与原始点云数据相同的分辨率。另外，当参照图23描述的full_res_flag的值为0时，其可指示表示下采样的点云数据。

另外，当一个切片包括与一个或更多个八叉树深度对应的几何数据时，gsh_log2_cur_nodesize指示最接近叶节点的深度的节点大小。

gsh_log2_max_nodesize指定解码过程中使用的变量MaxNodeSize的值

MaxNodeSize表示如下。

MaxNodeSize＝2^{(gbh_log2_max_nodesize)}

八叉树的深度如下计算。

八叉树深度层＝gsh_log2_max_nodesize/gsh_log2_cur_nodesize

因此，根据实施方式的接收装置可基于gsh_log2_cur_nodesize和gsh_log2_max_nodesize来检查包括在当前几何切片中的点云数据(或几何)的八叉树结构深度。

gsh_points_number指示切片中编码的点的数量。

图24所示的根据实施方式的几何切片头的句法2410不限于上述示例，还可包括图中未示出的附加信息(或字段、参数等)。

图25示出根据实施方式的属性切片比特流的示例性句法。

图25示出当点云数据被划分为一个或更多个切片时与一个切片对应的属性比特流(或属性切片比特流)的示例性句法。

图25所示的第一句法2500是根据实施方式的属性切片比特流的示例性句法。属性切片比特流包括属性切片头(attribute_slice_header)和属性切片数据(attribute_slice_data)。

图25所示的第二句法2510是根据实施方式的属性切片头的示例性句法。属性切片头的句法可包括以下信息(或字段、参数等)。

ash_attr_parameter_set_id具有与活动APS的aps_attr_parameter_set_id相同的值(例如，包括在APS的句法中的aps_attr_parameter_set_id)。

ash_attr_sps_attr_idx标识包括在活动SPS中的属性集。

ash_attr_sps_attr_idx的值在0至包括在活动SPS中的sps_num_attribute_sets的值的范围内。

ash_attr_geom_slice_id指定活动几何切片头的gsh_slice_id(例如，参照图24描述的几何切片头的句法2410中的gsh_slice_id)的值。如参照图1至图24描述的，基于几何解码来执行属性解码。因此，ash_attr_geom_slice_id指示属性切片所引用的几何切片。

aps_slice_qp_delta_present_flag指示在属性切片头中是否包括量化参数。

当aps_slice_qp_delta_present_flag的值为1时，属性切片头的句法2510包括ash_qp_delta_luma和ash_qp_delta_chroma。

ash_qp_delta_luma指定相对于活动属性参数集中的初始切片qp的亮度增量ap。当未用信号通知此信息时，ash_qp_delta_luma的值被推断为0。

ash_qp_delta_chroma指定相对于活动属性参数集中的初始切片qp的色度增量ap。当未用信号通知此信息时，ash_qp_delta_chroma的值被推断为0。

independent_decodable_flag指示切片是否可被独立地解码。当independent_decodable_flag的值为1时，independent_decodable_flag指示切片可被独立地解码。当independent_decodable_flag的值为0时，independent_decodable_flag指示切片无法被独立地解码。因此，接收装置(例如，图1的接收装置10004、图10和图11的点云解码器或图13的接收装置)可基于另一切片对该切片进行解码。

当independent_decodable_flag的值为0时，配置以下相关信息。

ref_attr_slice_id指示在对切片进行解码时参考的另一切片(或属性切片比特流)的ID。ref_attr_slice_id的值等于属性切片比特流的ash_slice_id的值。如上所述，属性解码基于几何解码。因此，根据实施方式的接收装置可通过ref_geom_slice_id(例如，参照图24描述的几何切片头的句法2410中的ref_geom_slice_id)识别对ref_attr_slice_id所标识的切片进行解码所需的几何切片。另外，属性切片头的句法2510还可包括用于标识对ref_attr_slice_id所指示的切片进行解码所需的几何切片的信息(例如，ash_attr_geom_slice_id)。

split_info_present_in_slice_header_flag指示在属性切片头中是否发送附加信息。当split_info_present_in_slice_header_flag的值为1时，split_info_present_in_slice_header_flag指示在属性切片头中发送附加信息。当split_info_present_in_slice_header_flag的值为0时，split_info_present_in_slice_header_flag指示在属性切片头中不发送附加信息。

当split_info_present_in_slice_header_flag的值为1时，属性切片头的句法2510包括layer_info。

layer_info指示包括在切片中的属性数据的层(例如，参照图19至图22描述的层)。当参照图23描述的split_type的值为0时，layer_info指示LOD级别。当参照图23描述的split_type信息的值为1时，layer_info指示八叉树级别(或八叉树深度)。

图25所示的根据实施方式的属性切片头的句法2510不限于上述示例，还可包括图中未示出的附加信息(或字段、参数等)。

图26示出根据实施方式的信令信息的结构。

如参照图23至图25描述的，根据实施方式的比特流包括SPS、一个或更多个几何切片以及一个或更多个属性切片。根据实施方式的点云数据处理装置(例如，参照图1描述的发送装置10000或参照图12描述的发送装置)发送如图19的示例1910中所示的全分层几何(例如，与LOD 0至LOD N(最高级别N(例如，2))对应的几何)和分层属性(例如，与LOD 0至LOD N(最高级别N(例如，2))对应的属性)。图26示出全几何和全属性具有基于3级LOD的层结构时的信令信息的结构的示例。

图26的示例2600示出SPS的句法。根据实施方式的SPS包括参照图23描述的SPS的句法中所包括的信息(或参数)。因此，将省略SPS的句法中所包括的信息的描述。如图26所示，SPS包括SPS-id。由于根据实施方式的几何和属性具有基于3级LOD的层结构，所以split_slice flag为1，split_type为0，并且num_LOD为3。另外，由于根据实施方式的几何和属性对应于全LOD，所以full_res_flag为1。

如参照图19至图25描述的，切片包括一个几何子比特流或与一层对应的几何子比特流。

如上所述，几何具有基于三级LOD的层结构。因此，根据实施方式的几何包括与作为最低级别的第一级别(或第一层)对应的第一几何切片、与第二级别(或第二层)对应的第二几何切片以及与作为最高级别的第三级别(或第三层)对应的第三几何切片。

各个几何切片包括几何切片头和几何切片数据(或参照图19至图22描述的几何子比特流)。第一几何切片包括第一几何子比特流(例如，第一几何子比特流2111)，第二几何切片包括第二几何子比特流(例如，第二几何子比特流2112)，第三几何切片包括第三几何子比特流(例如，第三几何子比特流2113)。

图26的示例2610示出第一几何切片头的句法2611、第二几何切片头的句法2612和第三几何切片头的句法2613。第一几何切片头的句法2611、第二几何切片头的句法2612和第三几何切片头的句法2613被包括在各个几何切片中。为了简化，示例2610示出几何切片头的句法。

根据实施方式的各个几何切片头的句法包括参照图24描述的几何切片头的句法2410中所包括的信息(或参数)。因此，将省略根据实施方式的几何切片头的句法中所包括的信息的描述。

第一几何切片是首先出现的几何切片。因此，根据实施方式的第一几何切片头的句法2611中所包括的gsh_slice_id的值为0。如上所述，第一几何切片对应于最低级别(或层)。因此，根据实施方式的接收装置(例如，图1的接收装置10004、图10和图11的点云解码器或图13的接收装置)可在没有任何其它几何切片的情况下对包括在第一几何切片中的数据进行解码并且提供点云内容。因此，independent_decodable_flag的值为1。随着LOD级别降低，八叉树深度的节点大小增加。第一几何切片头的句法2611包括值为8的gsh_log2_cur_nodesize和值为128的gsh_log2_max_nodesize。第二几何切片是第二个出现的几何切片。因此，根据实施方式的第二几何切片头的句法2612中所包括的gsh_slice_id的值为1。如上所述，第二几何切片对应于第二级别(或层)。因此，为了对包括在第二几何切片中的数据进行解码，根据实施方式的接收装置需要级别低于第二几何切片的几何切片。因此，independent_decodable_flag的值为0。根据实施方式的第二几何切片头的句法2612还包括ref_geom_slice_id和layer_info。根据实施方式的ref_geom_slice_id的值等于0(第一几何切片的gsh_slice_id的值)。根据实施方式的layer_info指示第二几何切片的层。因此，layer_info的值为1。

随着LOD级别上升，八叉树深度的节点大小减小。第二几何切片头的句法2612包括值为4的gsh_log2_cur_nodesize和值为128的gsh_log2_max_nodesize。

第三几何切片是第三个出现的几何切片。因此，根据实施方式的第三几何切片头的句法2613中所包括的gsh_slice_id的值为2。如上所述，第三几何切片对应于第三级别(或层)。因此，为了对包括在第三几何切片中的数据进行解码，根据实施方式的接收装置需要级别低于第三几何切片的几何切片。因此，independent_decodable_flag的值为0。根据实施方式的第三几何切片头的句法2613还包括ref_geom_slice_id和layer_info。根据实施方式的ref_geom_slice_id的值等于1(第二几何切片的gsh_slice_id的值)。根据实施方式的layer_info指示第三几何切片的层。因此，layer_info的值为2。

随着LOD级别增加，八叉树深度的节点大小减小。第三几何切片头的句法2613包括值为1的gsh_log2_cur_nodesize和值为128的gsh_log2_max_nodesize。

如参照图19至图25描述的，切片包括一个属性子比特流或与一层对应的属性子比特流。

如上所述，属性具有基于三级LOD的层结构。因此，根据实施方式的属性包括与作为最低级别的第一级别(或第一层)对应的第一属性切片、与第二级别(或第二层)对应的第二属性切片以及与作为最高级别的第三级别(或第三层)对应的第三属性切片。

各个属性切片包括属性切片头和属性切片数据(或参照图19至图22描述的属性子比特流)。第一属性切片包括第一属性子比特流(例如，第一属性子比特流2121)，第二属性切片包括第二属性子比特流(例如，第二属性子比特流2122)，第三属性切片包括第三属性子比特流(例如，第三属性子比特流2123)。

图26的示例2620示出第一属性切片头的句法2621、第二属性切片头的句法2622和第三属性切片头的句法2623。第一属性切片头的句法2621、第二属性切片头的句法2622和第三属性切片头的句法2623被包括在各个属性切片中。为了简化，示例2620一起示出属性切片头的句法。

根据实施方式的各个属性切片头的句法包括参照图25描述的属性切片头的句法2510中所包括的信息(或参数)。因此，将省略根据实施方式的属性切片头的句法中所包括的信息的描述。

第一属性切片是首先出现的属性切片。因此，根据实施方式的第一属性切片头的句法2621中所包括的ash_slice_id的值为0。如上所述，第一属性切片对应于最低级别(或层)。因此，根据实施方式的接收装置可在没有任何其它属性切片的情况下对包括在第一属性切片中的数据进行解码并且提供点云内容。因此，independent_decodable_flag的值为1。

第二属性切片是第二个出现的属性切片。因此，根据实施方式的第二属性切片头的句法2622中所包括的ash_slice_id的值为1。如上所述，第二属性切片对应于第二级别(或层)。因此，为了对包括在第二属性切片中的数据进行解码，根据实施方式的接收装置需要级别低于第二属性切片的属性切片。因此，independent_decodable_flag的值为0。根据实施方式的第二属性切片头的句法2622还包括ref_attr_slice_id和layer_info。根据实施方式的ref_attr_slice_id的值等于0(第一属性切片的ash_slice_id的值)。根据实施方式的layer_info指示第二属性切片的层。因此，layer_info的值为1。

第三属性切片是第三个出现的属性切片。因此，根据实施方式的第三属性切片头的句法2623中所包括的ash_slice_id的值为2。如上所述，第三属性切片对应于第三级别(或层)。因此，为了对包括在第三属性切片中的数据进行解码，根据实施方式的接收装置需要级别低于第三属性切片的属性切片。因此，independent_decodable_flag的值为0。根据实施方式的第三属性切片头的句法2623还包括ref_attr_slice_id和layer_info。根据实施方式的ref_attr_slice_id的值等于1(第二属性切片的ash_slice_id的值)。根据实施方式的layer_info指示第三属性切片的层。因此，layer_info的值为2。

根据实施方式的属性切片头的句法还可包括关于相关几何切片的信息。

因此，接收装置可接收比特流，从参照图24至图26描述的SPS、几何切片头和属性切片头获取信令信息，并且对与特定层(或级别)对应的几何和属性进行解码以执行可伸缩表示。

图27示出根据实施方式的信令信息的结构。

图27示出参照图26描述的信令信息的示例性结构。

图27的顶部所示的示例2700表示当针对具有基于3级LOD的层结构的几何和属性发送与一个或更多个层对应的部分几何和部分属性时配置的信令信息的示例性结构。图27的顶部所示的示例2700表示在发送与第一层和第二层对应的第一几何切片和第二几何切片(例如，参照图26描述的第一几何切片和第二几何切片)以及第一属性切片和第二属性切片(例如，参照图26描述的第一属性切片和第二属性切片)时配置的信令信息的结构。

图27的示例2700包括SPS的句法2710。除了full_res_flag具有不同的值之外，包括在SPS的句法2710中的信息与参照图26描述的相同。由于根据实施方式的几何和属性仅对应于一些LOD，所以full_res_flag的值为0，full_geo_present_flag的值为0。由于包括在图27的示例2700中的第一几何切片头的句法2720和第二几何切片头的句法2721与参照图26描述的第一几何切片头的句法2611和第二几何切片头的句法2612相同，所以将省略其详细描述。由于包括在图27的示例2700中的第一属性切片头的句法2730和第二属性切片头的句法2731与参照图26描述的第一属性切片头的句法2621和第二属性切片头的句法2622相同，所以将省略其详细描述。

图27的底部所示的示例2740表示当针对具有基于2级LOD的层结构的几何和属性发送与一个或更多个层对应的部分几何和部分属性时的信令信息的示例性结构。图27的底部所示的示例2740表示在发送与第一层对应的第一几何切片(例如，参照图26描述的第一几何切片)和第一属性切片(例如，参照图26描述的第一属性切片)时配置的信令信息的结构。

图27的示例2740包括SPS的句法2750。SPS的句法2750包括与上述SPS的句法2710相同的信息，但具有不同的LOD级别。因此，num_LOD的值为2。由于图27的示例2740中所包括的第一几何切片头的句法2760与参照图26描述的第一几何切片头的句法2611相同，所以将省略其详细描述。由于图27的示例2740中所包括的第一属性切片头的句法2770与参照图26描述的第一属性切片头的句法2621相同，所以将省略其详细描述。

因此，根据实施方式的接收装置(例如，图1的接收装置10004、图10和图11的点云解码器或图13的接收装置)可接收比特流，从参照图24至图27描述的SPS、几何切片头和属性切片头获取信令信息，并且对与特定层(或级别)对应的几何和属性进行解码以执行可伸缩表示。

图28示出根据实施方式的信令信息的结构。

图28示出参照图26和图27描述的信令信息的示例性结构。图28中所示的示例2800表示当针对具有基于3级LOD的层结构的几何和属性发送与第一至第三层对应的第一至第三几何切片(例如，参照图26描述的第一至第三几何切片)以及与第一层和第二层对应的第一属性切片和第二属性切片(例如，参照图26描述的第一属性切片和第二属性切片)时配置的信令信息的示例性结构。

图28的示例2800包括SPS的句法2810。除了几何对应于整个LOD并且属性仅对应于一些LOD之外，包括在SPS的句法2810中的信息与参照图26描述的相同。因此，full_res_flag的值为0并且full_geo_present_flag的值为1。

由于从包括在图28的示例2800中的第一几何切片头的句法到第三几何切片头的句法的句法的示例2820与从参照图26描述的第一几何切片头的句法2611到第三几何切片头的句法2623的句法相同，所以将省略其详细描述。由于包括在图28的示例2800中的第一属性切片头的句法和第二属性切片头的句法的示例2830与参照图26描述的第一属性切片头的句法2621和第二属性切片头的句法2622相同，所以将省略其详细描述。

因此，根据实施方式的接收装置(例如，图1的接收装置10004、图10和图11的点云解码器或图13的接收装置)可接收比特流，从参照图24至图27描述的SPS、几何切片头和属性切片头获取信令信息，并且对与特定层(或级别)对应的几何和属性进行解码以执行可伸缩表示。

图29示出根据实施方式的示例性点云数据处理装置。

图29所示的根据实施方式的点云数据处理装置2900是图1的接收装置10004、图10和图11的点云解码器和图13的接收装置的示例。因此，点云数据处理装置2900执行与参照图20描述的点云数据处理装置2000的操作的逆过程对应的操作。点云数据处理装置2900执行与参照图1至图28描述的接收装置相同或相似的操作。尽管图29中未示出，点云数据处理装置2900还可包括一个或更多个元件以执行参照图1至图28描述的解码操作。

点云数据处理装置2900包括接收器2910、解复用器2920、元数据解析器2930、子比特流分类器2940、几何解码器2950、属性解码器2960和渲染器2970。

根据实施方式的接收器2910接收从发送装置(例如，参照图1描述的发送装置10000、参照图12描述的发送装置或参照图20描述的点云数据处理装置2000)输出的数据。接收器2910所接收的数据对应于参照图1描述的比特流以及从参照图20描述的发送器2060输出的数据。

根据实施方式的解复用器2920对所接收的数据进行解复用。即，所接收的数据可被解复用为几何比特流或几何子比特流、属性比特流或属性子比特流以及元数据(或信令信息、参数等)。

根据实施方式的元数据解析器2930获取从解复用器2920输出的元数据。根据实施方式的元数据可包括参照图23至图28描述的SPS。因此，根据实施方式的点云数据处理装置2900可基于元数据来确保与几何和属性的分层有关的信息。另外，元数据解析器2930可向各个解码器发送几何解码和/或属性解码所需的信息。根据实施方式的子比特流分类器2930基于包括在几何比特流或几何子比特流(例如，参照图21和图22描述的几何子比特流)和属性比特流或属性子比特流(例如，参照图21和图22描述的属性子比特流)的头(例如，参照图24和图25描述的几何切片头或属性切片头)中的信息和从元数据解析器2930输出的信息对解码所需的几何子比特流和属性子比特流进行分类。另外，子比特流分类器2940可选择几何和属性的层。根据实施方式的几何解码器2950接收与一个或更多个层对应的一个或更多个几何子比特流并执行几何解码。根据实施方式的几何解码器2950的操作与参照图11描述的算术解码器11000、八叉树合成器11001、表面近似合成器11002、几何重构器11003和坐标逆变换器11004的操作相同或相似，因此将省略其详细描述。

根据实施方式的属性解码器2960基于几何解码器2950的解码接收与一个或更多个层对应的一个或更多个属性子比特流并执行属性解码。根据实施方式的属性解码器2960的操作与参照图11描述的算术解码器11005、逆量化器11006、RAHT变换器11007、LOD生成器11008、逆提升器11009和/或颜色逆变换器11010的操作相同或相似，因此将省略其详细描述。根据实施方式的渲染器2970可接收几何和属性并将其变换为用于最终输出的格式。

图30示出根据实施方式的点云解码的操作。

图30示出接收比特流并分类或选择一个或更多个子流的点云数据处理装置(例如，参照图29描述的点云数据处理装置2900或子比特流分类器2940)的操作。

图30的顶部所示的示例3000表示根据实施方式的点云数据处理装置根据相同的层处理具有基于LOD的层结构的几何子比特流(例如，如参照图21描述的包括与LOD0、LOD1和LOD2对应的第一几何的第一几何子比特流2111、包括与LOD1和LOD2对应的第二几何R1的第二几何子比特流2112以及包括仅与LOD2对应的第三几何R2的第三几何子比特流2113)和属性子比特流(例如，如参照图21描述的包括与LOD0、LOD1和LOD2对应的第一属性的第一属性子比特流2121、包括与LOD1和LOD2对应的第二属性R1的第二属性子比特流2122以及包括仅与LOD2对应的第三属性R2的第三属性子比特流2123)的过程。根据实施方式的点云数据处理装置根据与直至LOD 1的LOD对应的层来选择并解码几何子比特流和属性子比特流。如示例3000的右部所示，为了处理与LOD 1对应的点云数据，与LOD 0对应的点云数据应该一起处理。因此，点云处理装置从所接收的比特流选择与LOD 0和LOD 1对应的几何子比特流和属性子比特流3001，并分别对其执行几何解码和属性解码。在示例3000中，R1表示仅包括在LOD 1中的几何和属性。点云处理装置不从所接收的比特流选择与比LOD 1更高级别的LOD(例如，LOD级别2)对应的几何子比特流和属性比特流3002。在示例3000中，R2表示仅包括在LOD 2中的几何和属性。

图30的底部所示的示例3010表示根据实施方式的点云数据处理装置根据不同的层处理具有基于LOD的层结构的几何子比特流和属性子比特流的过程。根据实施方式的点云数据处理装置根据与直至LOD 2的LOD对应的层来选择几何子比特流并且根据与直至LOD1的LOD对应的层来选择并解码属性子比特流。如示例3010的右部所示，为了对与LOD 2对应的几何进行解码，需要与LOD 0和LOD 1对应的几何。因此，点云处理装置从所接收的比特流选择与LOD 0、LOD 1和LOD 2对应的几何子比特流以及与LOD 0和LOD 1对应的属性子比特流3011，并且分别对其执行几何解码和属性解码。点云处理装置不从所接收的比特流选择与高于LOD 1的LOD(例如，LOD级别2)对应的属性比特流3012。

根据实施方式的发送装置(例如，参照图1描述的发送装置10000、参照图12描述的发送装置或参照图20描述的点云数据处理装置2000)可根据接收装置的性能来发送部分几何和部分属性或者通过去除部分属性而生成的比特流，如图30的示例3000和3010中所示。

图31示出根据实施方式的点云数据的发送和接收的配置。

图31示出用于可伸缩解码和可伸缩表示的点云数据的发送和接收的配置。

图31的顶部所示的示例3100是部分PCC比特流的发送和接收的示例性配置。根据实施方式的发送装置(例如，参照图1描述的发送装置10000、参照图12描述的发送装置或参照图20描述的点云数据处理装置2000)可根据参照图18至图29描述的层对源几何和源属性执行可伸缩编码并选择比特流(或参照图21和图22描述的子比特流)以生成部分PCC比特流。因此，发送装置可通过仅发送必要数据在带宽方面实现信息的高效传输。根据实施方式的接收装置(例如，图1的接收装置10004、图10和图11的点云解码器、图13的接收装置或参照图29描述的点云数据处理装置2900)接收并解码部分PC比特流，并且输出部分几何和部分属性(3102)。由于示例3100所示的配置不需要发送装置的附加数据处理(例如，解码和转码)，所以在数据处理过程中出现延迟的可能性降低。另外，由于发送装置也发送层相关信令信息(例如，参照图23至图28描述的信令信息)，所以接收装置可基于信令信息高效地解码部分几何和部分属性。

图31的底部所示的示例3110是完整PCC比特流的发送和接收的示例性配置。根据实施方式的发送装置执行可伸缩编码并存储编码的几何和属性。根据实施方式的发送装置逐切片对几何和属性进行分层并以切片为单位生成包括几何和属性的比特流(例如，完整PCC比特流)(3111)。由于发送装置也发送与几何和属性的层有关的信息(例如，参照图23至图28描述的信令信息)，所以接收装置可确保关于层和切片的信息。因此，接收装置接收比特流并在解码之前以切片为单位选择几何子比特流和/或属性子比特流，然后对全几何和属性进行解码，或者对与一些层对应的几何和属性进行解码以输出部分几何和部分属性(3112)。根据示例3110所示的配置，接收装置根据接收装置的性能或应用基于要表示的点云数据的密度来选择子比特流。另外，接收装置可在解码之前选择层以更高效地执行解码并支持各种性能的解码器。

图32是根据实施方式的处理点云数据的方法的示例性流程图。

图32的流程图3200示出由点云数据处理装置(例如，参照图1、图11、图14和图15描述的发送装置以及参照图20描述的点云数据处理装置2000)执行的点云数据处理方法。根据实施方式的点云数据处理装置可执行与参照图1至图31描述的编码操作相同或相似的操作。

根据实施方式的点云数据处理装置可对包括几何信息和属性信息的点云数据进行编码(3210)。根据实施方式的几何信息指示点云数据的点的位置。根据实施方式的属性信息指示点云数据的点的属性。

根据实施方式的点云数据处理装置对几何信息进行编码并输出几何比特流。另外，点云数据处理装置对属性信息进行编码并输出属性比特流。根据实施方式的点云数据处理装置执行与参照图1至图31描述的几何信息编码相同或相似的操作。另外，点云数据处理装置执行与参照图1至图31描述的属性信息编码相同或相似的操作。根据实施方式的点云数据处理装置(例如，参照图20描述的子比特流生成器2030)从几何比特流生成与一个或更多个层对应的一个或更多个几何子比特流(例如，参照图21描述的第一几何子比特流2111、第二几何子比特流2112和第三几何子比特流2113)。根据实施方式的点云数据处理装置(例如，参照图20描述的子比特流生成器2030)从属性比特流生成与一个或更多个层对应的一个或更多个属性子比特流(例如，参照图21描述的第一属性子比特流2121、第二属性子比特流2122和第三属性子比特流2123)。如参照图20至图28描述的，几何子比特流可被包括在几何切片中，属性子比特流可被包括在属性切片中。根据实施方式的比特流可包括一个或更多个几何切片和一个或更多个属性切片。比特流的细节与参照图23描述的那些相同。

根据实施方式的比特流承载信令信息(例如，参照图23至图28描述的信令信息)。比特流包括切片相关信息(例如，参照图23描述的切片相关信息)。切片相关信息包括指示几何比特流和属性比特流是否被划分为一个或更多个切片的第一信息(例如，参照图23描述的split_slice_flag)。当第一信息指示几何比特流和属性比特流被划分为一个或更多个切片时，切片相关信息可包括指示几何子比特流和属性子比特流的层是否基于八叉树结构的细节级别(LOD)或深度的第二信息(例如，参照图23描述的split_type)。由于根据实施方式的信令信息与参照图23至图28描述的相同，所以将省略其详细描述。

图33是根据实施方式的用于处理点云数据的方法的示例性流程图。

图33的流程图3300示出点云数据处理装置(例如，参照图1、图13、图14、图16和图25描述的点云数据接收装置或点云数据解码器或者参照图29描述的点云数据处理装置2900)的点云数据处理方法。根据实施方式的点云数据处理装置可执行与参照图1至图31描述的解码操作相同或相似的操作。

根据实施方式的点云数据处理装置接收包括点云数据的比特流(3310)。根据实施方式的几何信息指示点云数据的点的位置。根据实施方式的属性信息指示点云数据的点的属性。根据实施方式的比特流的结构与参照图23和图28描述的相同，因此将跳过其详细描述。如参照图20至图28描述的，几何子比特流可被包括在几何切片中并且属性子比特流可被包括在属性切片中。根据实施方式的比特流包括几何切片，其包括几何子比特流和属性子比特流。一个或更多个几何子比特流(例如，参照图21描述的第一几何子比特流2111、第二几何子比特流2112和第三几何子比特流2113)和一个或更多个属性子比特流(例如，参照图21描述的第一属性子比特流2121、第二属性子比特流2122和第三属性子比特流2123)对应于一个或更多个层。根据实施方式的比特流承载信令信息(例如，参照图23至图28描述的信令信息)。比特流包括切片相关信息(例如，参照图23描述的切片相关信息)。切片相关信息包括指示几何比特流和属性比特流是否被划分为一个或更多个切片的第一信息(例如，参照图23描述的split_slice_flag)。当第一信息指示几何比特流和属性比特流被划分为一个或更多个切片时，切片相关信息可包括指示几何子比特流和属性子比特流的层是否基于八叉树结构的细节级别(LOD)或深度的第二信息(例如，参照图23描述的split_type)。由于根据实施方式的信令信息与参照图23至图28描述的相同，所以将省略其详细描述。

根据实施方式的点云数据处理装置对点云数据进行解码(3320)。根据实施方式的点云数据处理装置基于切片相关信息对与层对应的几何子比特流进行解码并对与层对应的属性子比特流进行解码以执行可伸缩表示。

根据参照图1至图33描述的实施方式的点云数据处理装置的组件可被实现为硬件、软件、固件或其组合，其包括与存储器联接的一个或更多个处理器。根据实施方式的装置的组件可被实现为单个芯片，例如单个硬件电路。另选地，根据实施方式的点云数据处理装置的组件可被实现为单独的芯片。另外，根据实施方式的点云数据处理装置的至少一个组件可包括能够执行一个或更多个程序的一个或更多个处理器，其中，一个或更多个程序可包括执行或被配置为执行参照图1至图33描述的点云数据处理装置的一个或更多个操作/方法的指令。

尽管为了简单起见单独描述了附图，但是可通过将各个图中所示的实施方式合并来设计新的实施方式。根据本领域技术人员的需要设计可由计算机读取的记录有用于执行上述实施方式的程序的记录介质也落在所附权利要求及其等同物的范围内。根据实施方式的装置和方法可不限于上述实施方式的配置和方法。可通过选择性地组合所有或一些实施方式来对实施方式进行各种修改。尽管参照附图描述了优选实施方式，但本领域技术人员将理解，在不脱离所附权利要求中描述的本公开的精神或范围的情况下，可对实施方式进行各种修改和变化。这些修改不应从实施方式的技术思想或观点单独地理解。

可应用方法和装置的描述以彼此补充。例如，根据实施方式的点云数据传输方法可由根据实施方式的点云数据发送装置或包括在点云数据发送装置中的组件执行。另外，根据实施方式的点云数据接收方法可由根据实施方式的点云数据接收装置或包括在点云数据接收装置中的组件执行。

实施方式的装置的各种元件可由硬件、软件、固件或其组合实现。实施方式中的各种元件可由单个芯片(例如，单个硬件电路)实现。根据实施方式，根据实施方式的组件可分别被实现为单独的芯片。根据实施方式，根据实施方式的装置的至少一个或更多个组件可包括能够执行一个或更多个程序的一个或更多个处理器。一个或更多个程序可执行根据实施方式的任一个或更多个操作/方法或者包括用于执行其的指令。用于执行根据实施方式的装置的方法/操作的可执行指令可被存储在被配置为由一个或更多个处理器执行的非暂时性CRM或其它计算机程序产品中，或者可被存储在被配置为由一个或更多个处理器执行的暂时性CRM或其它计算机程序产品中。另外，根据实施方式的存储器可用作不仅涵盖易失性存储器(例如，RAM)，而且涵盖非易失性存储器、闪存和PROM的概念。另外，也可按载波(例如，经由互联网的传输)的形式实现。另外，处理器可读记录介质可分布到经由网络连接的计算机系统，使得处理器可读代码可按分布式方式存储和执行。

在本说明书中，术语“/”和“,”应该被解释为指示“和/或”。例如，表达“A/B”可意指“A和/或B”。此外，“A、B”可意指“A和/或B”。此外，“A/B/C”可意指“A、B和/或C中的至少一个”。另外，“A/B/C”可意指“A、B和/或C中的至少一个”。此外，在本说明书中，术语“或”应该被解释为指示“和/或”。例如，表达“A或B”可意指1)仅A、2)仅B或3)A和B二者。换言之，本文献中使用的术语“或”应该被解释为指示“另外地或另选地”。

诸如第一和第二的术语可用于描述实施方式的各种元件。然而，根据实施方式的各种组件不应受上述术语限制。这些术语仅用于将一个元件与另一元件相区分。例如，第一用户输入信号可被称为第二用户输入信号。类似地，第二用户输入信号可被称为第一用户输入信号。这些术语的使用应该不脱离各种实施方式的范围来解释。第一用户输入信号和第二用户输入信号均是用户输入信号，但除非上下文清楚地另外规定，否则并不意指相同的用户输入信号。

用于描述实施方式的术语是为了描述具体实施方式而使用的，并非旨在限制实施方式。如实施方式的描述和权利要求中使用的，除非上下文清楚地另外规定，否则单数形式包括复数个所指对象。表达“和/或”用于包括术语的所有可能组合。诸如“包括”或“具有”的术语旨在指示图形、数量、步骤、元件和/或组件的存在，应该理解为不排除另外存在图形、数量、步骤、元件和/或组件的可能性。如本文所使用的，诸如“如果”和“当”的条件表达不限于可选情况，旨在解释为当满足特定条件时执行相关操作，或者根据特定条件解释相关定义。

公开的模式

如上所述，在实现实施方式的最佳模式中描述了相关内容。

工业实用性

对于本领域技术人员而言将显而易见的是，可在实施方式的范围内对实施方式进行各种改变或修改。因此，实施方式旨在涵盖本公开的修改和变化，只要它们落在所附权利要求及其等同物的范围内。

Claims (20)

1.一种用于处理点云数据的方法，该方法包括以下步骤：

对包括几何信息和属性信息的所述点云数据进行编码，其中，所述几何信息表示所述点云数据的点的位置，并且所述属性信息表示所述点云数据的点的属性；以及

发送包括编码的点云数据的比特流。

2.根据权利要求1所述的方法，其中，对所述点云数据进行编码的步骤包括以下步骤：

对所述几何信息进行编码以输出几何比特流；以及

对所述属性信息进行编码以输出属性比特流。

3.根据权利要求2所述的方法，该方法包括以下步骤：

生成与所述几何比特流的一个或更多个层对应的一个或更多个几何子比特流并且生成与所述属性比特流的一个或更多个层对应的一个或更多个属性子比特流，

其中，所述比特流包括：

包括几何子比特流的几何切片和包括属性子比特流的属性切片。

4.根据权利要求3所述的方法，其中，所述比特流包括与切片有关的信息，与切片有关的所述信息包括：第一信息，该第一信息表示所述几何比特流和所述属性比特流是否被划分为一个或更多个切片。

5.根据权利要求4所述的方法，其中，

响应于所述第一信息表示所述几何比特流和所述属性比特流被划分为一个或更多个切片，与切片有关的所述信息包括：

第二信息，该第二信息表示所述几何子比特流和所述属性子比特流的层是否基于八叉树的细节级别LOD或深度。

6.一种用于处理点云数据的装置，该装置包括：

编码器，该编码器被配置为对包括几何信息和属性信息的所述点云数据进行编码，其中，所述几何信息表示所述点云数据的点的位置，并且所述属性信息表示所述点云数据的点的属性；以及

发送器，该发送器被配置为发送包括编码的点云数据的比特流。

7.根据权利要求6所述的装置，其中，所述编码器包括：

第一编码器，该第一编码器被配置为对所述几何信息进行编码以输出几何比特流；以及

第二编码器，该第二编码器被配置为对所述属性信息进行编码以输出属性比特流。

8.根据权利要求7所述的装置，其中，所述装置包括：

子比特流生成器，该子比特流生成器被配置为生成与所述几何比特流的一个或更多个层对应的一个或更多个几何子比特流并且生成与所述属性比特流的一个或更多个层对应的一个或更多个属性子比特流，

其中，所述比特流包括：

包括几何子比特流的几何切片和包括属性子比特流的属性切片。

9.根据权利要求8所述的装置，其中，所述比特流包括与切片有关的信息，与切片有关的所述信息包括：第一信息，该第一信息表示所述几何比特流和所述属性比特流是否被划分为一个或更多个切片。

10.根据权利要求9所述的装置，其中，

响应于所述第一信息表示所述几何比特流和所述属性比特流被划分为一个或更多个切片，与切片有关的所述信息包括：

第二信息，该第二信息表示所述几何子比特流和所述属性子比特流的层是否基于八叉树的细节级别LOD或深度。

11.一种用于处理点云数据的方法，该方法包括以下步骤：

接收包括点云数据的比特流，其中，所述点云数据包括几何信息和属性信息，其中，所述几何信息表示所述点云数据的点的位置，并且所述属性信息表示所述点云数据的点的属性；以及

对所述点云数据进行解码。

12.根据权利要求11所述的方法，其中，对所述点云数据进行解码的步骤包括以下步骤：

对所述几何信息进行解码以输出几何子比特流；以及

对所述属性信息进行解码以输出属性子比特流。

13.根据权利要求12所述的方法，其中，所述比特流包括几何切片，该几何切片包括几何子比特流和属性子比特流，一个或更多个几何子比特流和一个或更多个属性子比特流对应于一个或更多个层。

14.根据权利要求13所述的方法，其中，所述比特流包括与切片有关的信息，与切片有关的所述信息包括：第一信息，该第一信息表示几何比特流和属性比特流是否被划分为一个或更多个切片。

15.根据权利要求14所述的方法，其中，

响应于所述第一信息表示所述几何比特流和所述属性比特流被划分为一个或更多个切片，与切片有关的所述信息包括：

第二信息，该第二信息表示所述几何子比特流和所述属性子比特流的层是否基于八叉树的细节级别LOD或深度。

16.一种用于处理点云数据的装置，该装置包括：

接收器，该接收器被配置为接收包括点云数据的比特流，其中，所述点云数据包括几何信息和属性信息，其中，所述几何信息表示所述点云数据的点的位置，并且所述属性信息表示所述点云数据的点的属性；以及

解码器，该解码器被配置为对所述点云数据进行解码。

17.根据权利要求16所述的装置，其中，所述解码器包括：

第一解码器，该第一解码器被配置为对所述几何信息进行解码以输出几何子比特流；以及

第二解码器，该第二解码器被配置为对所述属性信息进行解码以输出属性子比特流。

18.根据权利要求17所述的装置，其中，所述比特流包括几何切片，该几何切片包括几何子比特流和属性子比特流，一个或更多个几何子比特流和一个或更多个属性子比特流对应于一个或更多个层。

19.根据权利要求18所述的装置，其中，所述比特流包括与切片有关的信息，与切片有关的所述信息包括：第一信息，该第一信息表示几何比特流和属性比特流是否被划分为一个或更多个切片。

20.根据权利要求19所述的装置，其中，

响应于所述第一信息表示所述几何比特流和所述属性比特流被划分为一个或更多个切片，与切片有关的所述信息包括：

第二信息，该第二信息表示所述几何子比特流和所述属性子比特流的层是否基于八叉树的细节级别LOD或深度。

Images